CN116958707B - 一种基于球机监控设备的图像分类方法、装置及相关介质 - Google Patents

一种基于球机监控设备的图像分类方法、装置及相关介质 Download PDF

Info

Publication number
CN116958707B
CN116958707B CN202311044091.4A CN202311044091A CN116958707B CN 116958707 B CN116958707 B CN 116958707B CN 202311044091 A CN202311044091 A CN 202311044091A CN 116958707 B CN116958707 B CN 116958707B
Authority
CN
China
Prior art keywords
image
distribution
frame extraction
preset
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311044091.4A
Other languages
English (en)
Other versions
CN116958707A (zh
Inventor
郑泽涛
黄甜甜
李婷婷
贺冬云
张晓鑫
李梦婷
赖世维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen All Things Yuncheng Space Operation Management Co ltd
Shenzhen Reed Ecological Environment Technology Service Co ltd
Wuhan Wanrui Digital Operation Co ltd
Shenzhen Vanke Property Service Co Ltd
Original Assignee
Shenzhen All Things Yuncheng Space Operation Management Co ltd
Shenzhen Reed Ecological Environment Technology Service Co ltd
Wuhan Wanrui Digital Operation Co ltd
Shenzhen Vanke Property Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen All Things Yuncheng Space Operation Management Co ltd, Shenzhen Reed Ecological Environment Technology Service Co ltd, Wuhan Wanrui Digital Operation Co ltd, Shenzhen Vanke Property Service Co Ltd filed Critical Shenzhen All Things Yuncheng Space Operation Management Co ltd
Priority to CN202311044091.4A priority Critical patent/CN116958707B/zh
Publication of CN116958707A publication Critical patent/CN116958707A/zh
Application granted granted Critical
Publication of CN116958707B publication Critical patent/CN116958707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于球机监控设备的图像分类方法、装置及相关介质，该方法包括：为球机监控设备配置不同的预置点；获取各预置点对应的底图，以及获取球机监控设备采集到的视频流，并从视频流中提取得到至少一张抽帧图像；对所有的底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布；利用JS散度计算每一底图数学分布和抽帧图像数学分布之间的散度距离；根据散度距离判断抽帧图像是否为球机监控设备中预置点的图像，以此构建图像判别模型，并通过图像判别模型对指定的目标图像进行分类处理。本发明通过获取图像的数学分布结合JS散度构建图像判别模型进行分类，解决了球机监控设备不同预置点的图像分类难度高的问题。

Description

一种基于球机监控设备的图像分类方法、装置及相关介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于球机监控设备的图像分类方法、装置及相关介质。
背景技术
近年来，随着高新技术的高速发展，越来越多的企业开始注重AI技术的研发和落地，以加快实现产业智能化和数字化的转型速度，而视觉分析技术与AI技术的联系非常密切，视觉分析技术既与AI技术相互赋能，同时视觉分析技术又是推动AI技术发展的重要因素。
计算机视觉分析最主要的数据来源是监控摄像头，利用监控摄像头结合AI技术和大数据分析可以实现各种事项的异常预警，视觉分析技术中的图像分类、物体检测和图像分割等技术在交通、农业、物业、家居、工业质检、海洋治理等越来越多的行业领域得到了应用，这些行业领域由于视觉分析技术的发展能够不断推出各种新技术和新方法，因此，公共监控摄像头和消费级摄像头的产量和使用率逐年不断提升。从功能上来看，随着摄像设备技术进步，摄像头的监控范围、距离及监控画面清晰度等都有所提升，利用摄像设备结合上AI技术赋能可实现目标识别、检测、追踪等功能。在摄像设备中，球机监控设备因为自身的转动属性，具有灵活性高、适应性强和性价比高等优势，从而逐渐成为目前监控设备选型的热门。但也正是由于球机监控设备的转动属性，导致在事先缺乏设备预置点参数的情况下，球机监控设备不同预置点的采集的图像分类的难度较高，从而导致后续的视觉分析存在困难。
发明内容
本发明实施例提供了一种基于球机监控设备的图像分类方法、装置、计算机设备及存储介质，旨在解决球机监控设备不同预置点采集的图像分类难度高的问题。
第一方面，本发明实施例提供了一种基于球机监控设备的图像分类方法，包括：
为球机监控设备配置不同的预置点；
获取各所述预置点对应的底图，以及获取所述球机监控设备采集到的视频流，并从所述视频流中提取得到至少一张抽帧图像；
对所有的所述底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布；
利用JS散度计算每一所述底图数学分布和所述抽帧图像数学分布之间的散度距离；
根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，以此构建图像判别模型，并通过所述图像判别模型对指定的目标图像进行分类处理。
第二方面，本发明实施例提供了一种基于球机监控设备的图像分类装置，包括：
预置点单元，用于为球机监控设备配置不同的预置点；
图像获取单元，用于获取各所述预置点对应的底图，以及获取所述球机监控设备采集到的视频流，并从所述视频流中提取得到至少一张抽帧图像；
数学分布单元，用于对所有的所述底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布；
散度计算单元，用于利用JS散度计算每一所述底图数学分布和所述抽帧图像数学分布之间的散度距离；
图像判别单元，用于根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，以此构建图像判别模型，并通过所述图像判别模型对指定的目标图像进行分类处理。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于球机监控设备的图像分类方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于球机监控设备的图像分类方法。
本发明实施例公开了一种基于球机监控设备的图像分类方法、装置及相关介质，该方法包括：为球机监控设备配置不同的预置点；获取各所述预置点对应的底图，以及获取所述球机监控设备采集到的视频流，并从所述视频流中提取得到至少一张抽帧图像；对所有的所述底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布；利用JS散度计算每一所述底图数学分布和所述抽帧图像数学分布之间的散度距离；根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，以此构建图像判别模型，并通过所述图像判别模型对指定的目标图像进行分类处理。本发明实施例首先获取预置点对应的底图，以及从球机监控设备的视频流中提取得到抽帧图像，其次分别将底图和抽帧图像进行数学分布表征得到底图数学分布和抽帧图像数学，并利用JS散度计算底图数学分布和抽帧图像数学分布之间的散度距离，再次根据散度距离对抽帧图像对应的预置点进行判断，以此构建图像判别模型，最终利用图像判别模型对需要进行分类的目标图像进行分类处理，从而实现了将球机监控设备采集到的图像与预置点对应，解决了球机监控设备不同预置点采集的图像分类的难度高的问题。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于球机监控设备的图像分类方法的流程示意图；
图2为本发明实施例提供的一种基于球机监控设备的图像分类方法的子流程示意图；
图3为本发明实施例提供的一种基于球机监控设备的图像分类方法中数学分布表征示意图；
图4为本发明实施例提供的一种基于球机监控设备的图像分类方法中图像判别模型的模型架构图；
图5为本发明实施例提供的一种基于球机监控设备的图像分类的装置的示意性框图；
图6为本发明实施例提供的一种基于球机监控设备的图像分类的装置的子示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种基于球机监控设备的图像分类方法的流程示意图，具体包括：步骤S101～S105。
S101、为球机监控设备配置不同的预置点；
S102、获取各所述预置点对应的底图，以及获取所述球机监控设备采集到的视频流，并从所述视频流中提取得到至少一张抽帧图像；
S103、对所有的所述底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布；
S104、利用JS散度计算每一所述底图数学分布和所述抽帧图像数学分布之间的散度距离；
S105、根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，以此构建图像判别模型，并通过所述图像判别模型对指定的目标图像进行分类处理。
在本实施例中，首先为球机监控设备配置不同的预置点并获取配置点相对应的底图，以及从球机监控设备的视频流中抽取抽帧图像，其次对底图和抽帧图像进行数学分布表征得到底图数学分布和抽帧图像数学分布，并利用JS散度计算底图数学分布和抽帧图像数学分布之间的散度距离，再次利用散度距离判断抽帧图像对应的预置点，以此构建图像判别模型，最后利用图像判别模型对目标图像进行分类处理。
球机监控设备一般存在多个预置点，并且工作过程中球机监控设备会进行周期性的转动，需要适配检测不同的场景，而本实施例基于JS散度(Jensen-Sha nnondivergence)构建图像判别模型，并利用图像判别模型对球机监控设备的视频流抽帧图像进行分类，能够实现在球机监控设备的预置点信息未知的情况下，将抽帧图像分类到相应的预置点，解决了由于球机监控设备自身的转动属性带来的图像分类难度高的问题。
在具体应用场景中，可以在通过图像判别模型对指定的目标图像完成分类处理得到目标图像对应的预置点后，利用目标检测算法(例如YOLOv5算法)对目标图像进行目标检测，并调用预置点关联的AI告警场景进行AI推理识别，从而识别得出目标图像对应的场景中存在的异常问题，并将预置点及其对应的异常问题进行推送告警，如此可以方便管理人员对异常问题进行处理，提高对于异常事件的处理效率。例如，将一张河畔图像经由图像判别模型、目标检测算法和AI告警场景处理后得到河畔图像对应的预置点信息和存在的异常问题，然后产生一个关于河畔问题的告警并推送至相应的管理平台，管理人员再根据管理平台的告警信息安排现场巡河人员进行处理，从而能够及时采取行动处理河畔异常问题。
结合图2所示，在一实施例中，所述步骤S102包括：步骤S201～S205：
S201、获取球机监控设备在各所述预置点采集的画面图像；
S205、判断画面图像是否达到预设参照标准；
S203、当判定所述画面图像达到预设参照标准时，将所述画面图像设置为对应预置点的底图；
S204、当判定所述画面图像未达到预设参照标准时，则继续采集对应预置点的下一画面图像，直至对应预置点的画面图像达到预设参照标准；
S205、获取球机监控设备采集视频流，并按照预设抽帧规则对所述视频流进行抽帧，得到所述抽帧图像。
在本实施例中，首先获取各预置点采集的画面图像并判断画面图像是否达到预设参照标准，然后将达到预设参照标准的画面图像设置为对应预置点的底图，从而将底图作为预置点的参照依据以进行后续的图像分类处理，未达到预设参照标准的画面图像则舍弃，并继续进行采集、判断直至达到预设参照标准，最后从球机监控设备采集得到的视频流中按照预设抽帧规则抽帧得到抽帧图像。
在具体实施例中，可以通过训练一个神经识别网络对画面图像进行清晰度判断，或者可以是人工对画面图像的清晰程度进行判断，将清晰度作为画面图像的预设参照标准。另外，抽帧图像预设抽帧规则可以是按照一定的时间间隔进行抽取，例如每五分钟抽取一张抽帧图像，也可以是按照不同季节或者不同天气进行抽取，具体的抽帧规则可以根据实际的需求和技术条件进行调整。
在一实施例中，所述步骤S103包括：
获取所述底图的所有底图单像素分布，以及获取所述抽帧图像的所有抽帧单像素分布；
将所有的所述底图单像素分布构建为第一多变量分布，以及将所有的所述抽帧单像素分布构建为第二多变量分布；
将所述第一多变量分布设置为所述底图数学分布，以及将所述第二多变量分布设置为抽帧图像数学分布。
在本实施例中，通过获取底图所有的单像素分布，然后将底图所有的单像素分布构建为第一多变量分布，并将第一多变量分布设置为底图数学分布；同理，通过获取抽帧图像所有的单像素分布以构建第二多变量分布，然后再将第二多变量分布设置为抽帧图像数学分布。由此得到了底图和抽帧图像各自的数学分布以进行后续的处理。
在具体应用场景中，所述底图和抽帧图像均为RGB色彩模式，即三通道图像。三通道图像通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化及叠加得到各种颜色系统，从而构成图像的每一个像素点，图像的每一个像素点均可通过三个像素值(取值范围0～255)进行表示。当图像的分辨率为m*n时，则图像包含的变量总数为m*n*3，将图像中每一个像素都对应一个单变量分布，将所有的像素结合(也就是将所有的单变量分布结合)就构成了一个多变量分布。以往常见的图像相似度处理方式是基于灰度图(单通道)进行比对，而采取RGB色彩模式(三通道)进行图像相似度处理对于不同光线角度、不同时间段、不同物理环境下的图像对比的效果更好，可以提高实用性，达到更好的处理效果。
举例来说，结合图3所示，图像的分辨率为640*640，该图像通过水平方向上的640个像素点和垂直方向上的640个像素点，构成了一个640*640维度的二维矩阵。将该二维矩阵中的每一个像素点分解为红、绿、蓝三个颜色通道，以三元变量分布的形式进行表示，由此基于色彩通道转换得到该图像的数学分布。
结合图4所示，在一实施例中，所述步骤S104包括：
针对每一所述抽帧图像，按照下式计算所述抽帧图像数学分布与每一所述底图数学分布的散度距离DJS：
其中，DJS(PA||PB)表示所述底图数学分布和抽帧图像数学分布之间的散度距离，PA表示所述底图数学分布，PB表示所述抽帧图像数学分布，DKL表示KL散度。
进一步的，所述基于球机监控设备的图像分类方法还包括：
按照下式计算所述KL散度：
其中，DKL(PA||PB)表示所述底图数学分布和抽帧图像数学分布之间的KL散度，D表示散度距离连续区间，x表示随机变量；
本实施例根据底图数学分布和抽帧图像数学分布计算散度距离，通过散度距离表示预置点的底图与球机监控设备的抽帧图像之间的相似程度，从而进行后续的分类处理。KL散度(Kullback-Leibler divergence)是统计变量之间独立性的重要指标，KL散度从概率分布的角度去衡量不同变量之间的距离，从而衡量不同变量之间的相似程度，被广泛应用于评估特征与目标变量之间的相关性。但在统计学上，KL散度具有不对称性，不对称性在图像相似度判别问题上的表现为：当判断图像A和图像B之间的相似度时，选取图像A作为真实值的结果和选取图像B作为真实值的结果是不同的，从而导致训练图像相似度判别网络时，会因为输入值顺序的不同造成网络输出结果不一致，因此为了克服KL散度的不对称性问题，需要引入JS散度。
JS散度是KL散度的变体形式，JS散度具有对称性，由此克服了因为输入值顺序导致输出结果不一致的问题。此外，JS散度还具有非负性，其取值范围为[0,1]，两个目标值之间越接近(或者越相似)则JS散度越接近0，两个目标值之间越不接近(或者越不相似)则JS散度越接近1。
在一实施例中，所述步骤S105包括：
将所述散度距离与预设距离阈值进行比较，并根据比较结果判断所述抽帧图像与所述底图的相似程度是否达到预设相似阈值；
若所述散度距离大于预设距离阈值，则判定所述抽帧图像与所述底图的相似程度未达到预设相似阈值；
若所述散度距离小于或等于预设距离阈值，则判定所述抽帧图像与所述底图的相似程度达到预设相似阈值。
进一步，所述步骤S105还包括：
针对每一所述抽帧图像，当所述抽帧图像与任一所述底图的相似程度均未达到预设相似阈值时，则舍弃所述抽帧图像；
当所述抽帧图像只与一个所述底图的相似程度达到预设相似阈值时，则将所述抽帧图像分类为所述底图对应的预置点的图像；
当所述抽帧图像与多个所述底图的相似程度均达到预设相似阈值时，则选取散度距离最小的底图，并将所述抽帧图像分类为散度距离最小的底图对应的预置点的图像。
在本实施例中，首先比较散度距离与预设距离阈值的大小，以判断抽帧图像与底图的相似程度是否达到预设相似阈值，其次还需要判断与抽帧图像相似程度达到预设相似阈值的底图的数量，由于存在多个预置点对应的底图，因此当抽帧图像与多个底图的相似程度均达到预设相似阈值时，则需要对比抽帧图像与多个底图的散度距离的大小，选取散度距离最小的底图，从而将抽帧图像分类为散度距离最小的底图对应的预置点的图像。
预设相似阈值的作用是对抽帧图像进行过滤和分类，设置预设相似阈值时需要结合实际项目情况和抽帧图像的质量进行综合考量，还需要对球机监控设备进行逐步的预设相似阈值试验和调优。
在具体实施例中，考虑到一般情况下，球机监控设备的抽帧图像质量为普通质量，图像的大小在100KB左右，再结合球机监控设备在室外采集图像数据会受到天气、阳光、固定物遮挡和阴晴等不定因素的影响，可以选取预设相似阈值为0.45。也即，当底图数学分布和抽帧图像数学分布之间的散度距离大于预设相似阈值0.45时，表示球机监控设备抽取的抽帧图像与预置点的底图的相似度不高，此抽帧图像可能是球机监控设备在旋转过程中采集到的模糊图像，此类图像可放弃，不进行分类；当底图数学分布和抽帧图像数学分布之间的散度距离小于或等于阈值0.45时，表示球机监控设备抽取的抽帧图像与预置点的底图相似，若抽帧图像相似的底图只有一个，则将该抽帧图像分类为此底图对应的预置点的图像；而当抽帧图像和多个预置点的底图均相似时(也即多个底图数学分布和抽帧图像数学分布之间的散度距离均小于或等于阈值0.45时)，则按照散度距离越小，相似程度越高的原理，选取其中最小的散度距离对应的底图，也即选取与抽帧图像相似程度最高的底图，并将相似程度最高的底图对应的预置点作为抽帧图像对应的预置点。此外，如果最小的散度距离对应的底图数量超过一张，则可以在最小的散度距离对应的多张底图中随机选取一张，并将随机选取得到的底图对应的预置点作为抽帧图像对应的预置点，或者还可以按照最小的散度距离对应的多张底图采集的顺序进行选取，将多张底图中最后采集的底图对应的预置点作为抽帧图像对应的预置点。
图5为本发明实施例提供的一种基于球机监控设备的图像分类装置500的示意性框图，该装置500包括：
预置点单元501，用于为球机监控设备配置不同的预置点；
图像获取单元502，用于获取各所述预置点对应的底图，以及获取所述球机监控设备采集到的视频流，并从所述视频流中提取得到至少一张抽帧图像；
数学分布单元503，用于对所有的所述底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布；
散度计算单元504，用于利用JS散度计算每一所述底图数学分布和所述抽帧图像数学分布之间的散度距离；
图像判别单元505，用于根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，以此构建图像判别模型，并通过所述图像判别模型对指定的目标图像进行分类处理。
结合图6所示，在一实施例中，所述图像获取单元502包括：
图像采集单元601，用于获取球机监控设备在各所述预置点采集的画面图像；
参照标准单元602，用于判断画面图像是否达到预设参照标准；
底图设置单元603，用于当判定所述画面图像达到预设参照标准时，将所述画面图像设置为对应预置点的底图；
继续采集单元604，用于当判定所述画面图像未达到预设参照标准时，则继续采集对应预置点的下一画面图像，直至对应预置点的画面图像达到预设参照标准；
视频抽帧单元605，用于获取球机监控设备采集视频流，并按照预设抽帧规则对所述视频流进行抽帧，得到所述抽帧图像。
在一实施例中，所述数学分布单元503包括：
像素获取单元，用于获取所述底图的所有底图单像素分布，以及获取所述抽帧图像的所有抽帧单像素分布；
多变量分布单元，用于将所有的所述底图单像素分布构建为第一多变量分布，以及将所有的所述抽帧单像素分布构建为第二多变量分布；
数学分布设置单元，用于将所述第一多变量分布设置为所述底图数学分布，以及将所述第二多变量分布设置为抽帧图像数学分布。
在一实施例中，所述散度计算单元504包括：
第一散度单元，用于针对每一所述抽帧图像，按照下式计算所述抽帧图像数学分布与每一所述底图数学分布的散度距离DJS：
其中，DJS(PA||PB)表示所述底图数学分布和抽帧图像数学分布之间的散度距离，PA表示所述底图数学分布，PB表示所述抽帧图像数学分布，DKL表示KL散度。
在一实施例中，所述的基于球机监控设备的图像分类装置500还包括：
第二散度单元，用于按照下式计算所述KL散度：
其中，DKL(PA||PB)表示所述底图数学分布和抽帧图像数学分布之间的KL散度，D表示散度距离连续区间，x表示随机变量
在一实施例中，所述图像判别单元505包括：
阈值比较单元，用于将所述散度距离与预设距离阈值进行比较，并根据比较结果判断所述抽帧图像与所述底图的相似程度是否达到预设相似阈值；
第一阈值判断单元，用于若所述散度距离大于预设距离阈值，则判定所述抽帧图像与所述底图的相似程度未达到预设相似阈值；
第二阈值判断单元，用于若所述散度距离小于或等于预设距离阈值，则判定所述抽帧图像与所述底图的相似程度达到预设相似阈值。
在一实施例中，所述图像判别单元505还包括：
图像舍弃单元，用于针对每一所述抽帧图像，当所述抽帧图像与任一所述底图的相似程度均未达到预设相似阈值时，则舍弃所述抽帧图像；
单底图相似单元，用于当所述抽帧图像只与一个所述底图的相似程度达到预设相似阈值时，则将所述抽帧图像分类为所述底图对应的预置点的图像；
多底图相似单元，用于当所述抽帧图像与多个所述底图的相似程度均达到预设相似阈值时，则选取散度距离最小的底图，并将所述抽帧图像分类为散度距离最小的底图对应的预置点的图像。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种基于球机监控设备的图像分类方法，其特征在于，包括：
为球机监控设备配置不同的预置点；
获取各所述预置点对应的底图，以及获取所述球机监控设备采集到的视频流，并从所述视频流中提取得到至少一张抽帧图像；
对所有的所述底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布；
利用JS散度计算每一所述底图数学分布和所述抽帧图像数学分布之间的散度距离；
根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，以此构建图像判别模型，并通过所述图像判别模型对指定的目标图像进行分类处理；
所述对所有的所述底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布，包括：
获取所述底图的所有底图单像素分布，以及获取所述抽帧图像的所有抽帧单像素分布；
将所有的所述底图单像素分布构建为第一多变量分布，以及将所有的所述抽帧单像素分布构建为第二多变量分布；
将所述第一多变量分布设置为所述底图数学分布，以及将所述第二多变量分布设置为抽帧图像数学分布。
2.根据权利要求1所述的基于球机监控设备的图像分类方法，其特征在于，所述获取各所述预置点对应的底图，以及获取所述球机监控设备采集到的视频流，并从所述视频流中提取得到至少一张抽帧图像，包括：
获取球机监控设备在各所述预置点采集的画面图像；
判断画面图像是否达到预设参照标准；
当判定所述画面图像达到预设参照标准时，将所述画面图像设置为对应预置点的底图；
当判定所述画面图像未达到预设参照标准时，则继续采集对应预置点的下一画面图像，直至对应预置点的画面图像达到预设参照标准；
获取球机监控设备采集视频流，并按照预设抽帧规则对所述视频流进行抽帧，得到所述抽帧图像。
3.根据权利要求1所述的基于球机监控设备的图像分类方法，其特征在于，所述利用JS散度计算每一所述底图数学分布和所述抽帧图像数学分布之间的散度距离，包括：
针对每一所述抽帧图像，按照下式计算所述抽帧图像数学分布与每一所述底图数学分布的散度距离DJS：
其中，DJS(PA||PB)表示所述底图数学分布和抽帧图像数学分布之间的散度距离，PA表示所述底图数学分布，PB表示所述抽帧图像数学分布，DKL表示KL散度。
4.根据权利要求3所述的基于球机监控设备的图像分类方法，其特征在于，还包括：
按照下式计算所述KL散度：
其中，DKL(PA||PB)表示所述底图数学分布和抽帧图像数学分布之间的KL散度，D表示散度距离连续区间，x表示随机变量。
5.根据权利要求1所述的基于球机监控设备的图像分类方法，其特征在于，所述根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，包括：
将所述散度距离与预设距离阈值进行比较，并根据比较结果判断所述抽帧图像与所述底图的相似程度是否达到预设相似阈值；
若所述散度距离大于预设距离阈值，则判定所述抽帧图像与所述底图的相似程度未达到预设相似阈值；
若所述散度距离小于或等于预设距离阈值，则判定所述抽帧图像与所述底图的相似程度达到预设相似阈值。
6.根据权利要求5所述的基于球机监控设备的图像分类方法，其特征在于，所述根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，还包括：
针对每一所述抽帧图像，当所述抽帧图像与任一所述底图的相似程度均未达到预设相似阈值时，则舍弃所述抽帧图像；
当所述抽帧图像只与一个所述底图的相似程度达到预设相似阈值时，则将所述抽帧图像分类为所述底图对应的预置点的图像；
当所述抽帧图像与多个所述底图的相似程度均达到预设相似阈值时，则选取散度距离最小的底图，并将所述抽帧图像分类为散度距离最小的底图对应的预置点的图像。
7.一种基于球机监控设备的图像分类装置，其特征在于，包括：
预置点单元，用于为球机监控设备配置不同的预置点；
图像获取单元，用于获取各所述预置点对应的底图，以及获取所述球机监控设备采集到的视频流，并从所述视频流中提取得到至少一张抽帧图像；
数学分布单元，用于对所有的所述底图和抽帧图像进行数学分布表征，得到对应的底图数学分布和抽帧图像数学分布；
散度计算单元，用于利用JS散度计算每一所述底图数学分布和所述抽帧图像数学分布之间的散度距离；
图像判别单元，用于根据所述散度距离判断所述抽帧图像是否为所述球机监控设备中预置点的图像，以此构建图像判别模型，并通过所述图像判别模型对指定的目标图像进行分类处理；
所述数学分布单元包括：
像素获取单元，用于获取所述底图的所有底图单像素分布，以及获取所述抽帧图像的所有抽帧单像素分布；
多变量分布单元，用于将所有的所述底图单像素分布构建为第一多变量分布，以及将所有的所述抽帧单像素分布构建为第二多变量分布；
数学分布设置单元，用于将所述第一多变量分布设置为所述底图数学分布，以及将所述第二多变量分布设置为抽帧图像数学分布。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于球机监控设备的图像分类方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于球机监控设备的图像分类方法。
CN202311044091.4A 2023-08-18 2023-08-18 一种基于球机监控设备的图像分类方法、装置及相关介质 Active CN116958707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311044091.4A CN116958707B (zh) 2023-08-18 2023-08-18 一种基于球机监控设备的图像分类方法、装置及相关介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311044091.4A CN116958707B (zh) 2023-08-18 2023-08-18 一种基于球机监控设备的图像分类方法、装置及相关介质

Publications (2)

Publication Number Publication Date
CN116958707A CN116958707A (zh) 2023-10-27
CN116958707B true CN116958707B (zh) 2024-04-23

Family

ID=88446333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311044091.4A Active CN116958707B (zh) 2023-08-18 2023-08-18 一种基于球机监控设备的图像分类方法、装置及相关介质

Country Status (1)

Country Link
CN (1) CN116958707B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378582A (zh) * 2013-08-16 2015-02-25 北京博思廷科技有限公司 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN108965797A (zh) * 2018-06-25 2018-12-07 珠海思诺锐创软件有限公司 一种预置点巡航桥梁结构可视化管理系统
CN111523347A (zh) * 2019-02-01 2020-08-11 北京奇虎科技有限公司 图像侦测方法、装置、计算机设备及存储介质
CN112990312A (zh) * 2021-03-15 2021-06-18 平安科技（深圳）有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN113052107A (zh) * 2021-04-01 2021-06-29 北京华夏启信科技有限公司 一种检测安全帽佩戴情况的方法、计算机设备及存储介质
CN113470374A (zh) * 2021-06-30 2021-10-01 平安科技（深圳）有限公司 车辆超速监测方法、装置、计算机设备及存储介质
CN114359828A (zh) * 2021-12-28 2022-04-15 浙江大华技术股份有限公司 目标行为的记录方法、装置、存储介质及电子装置
CN114550076A (zh) * 2021-10-19 2022-05-27 深圳市中博科创信息技术有限公司 区域异常行为监控方法、装置、设备及存储介质
CN115412704A (zh) * 2022-07-15 2022-11-29 浙江大华技术股份有限公司 视频监控系统的控制方法、视频监控系统和存储介质
CN115731144A (zh) * 2022-11-17 2023-03-03 元气森林(北京)食品科技集团有限公司 图像数据处理方法、设备及介质
CN115830641A (zh) * 2023-02-08 2023-03-21 四川弘和通讯集团有限公司 一种员工识别方法、装置、电子设备及存储介质
CN115980050A (zh) * 2022-12-15 2023-04-18 深圳市万物云科技有限公司 排水口的水质检测方法、装置、计算机设备及存储介质
WO2023088303A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 投影设备及避障投影方法
CN116486483A (zh) * 2023-04-24 2023-07-25 天津大学 基于高斯建模的跨视角行人重识别方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378582A (zh) * 2013-08-16 2015-02-25 北京博思廷科技有限公司 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN108965797A (zh) * 2018-06-25 2018-12-07 珠海思诺锐创软件有限公司 一种预置点巡航桥梁结构可视化管理系统
CN111523347A (zh) * 2019-02-01 2020-08-11 北京奇虎科技有限公司 图像侦测方法、装置、计算机设备及存储介质
CN112990312A (zh) * 2021-03-15 2021-06-18 平安科技（深圳）有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN113052107A (zh) * 2021-04-01 2021-06-29 北京华夏启信科技有限公司 一种检测安全帽佩戴情况的方法、计算机设备及存储介质
CN113470374A (zh) * 2021-06-30 2021-10-01 平安科技（深圳）有限公司 车辆超速监测方法、装置、计算机设备及存储介质
CN114550076A (zh) * 2021-10-19 2022-05-27 深圳市中博科创信息技术有限公司 区域异常行为监控方法、装置、设备及存储介质
WO2023088303A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 投影设备及避障投影方法
CN114359828A (zh) * 2021-12-28 2022-04-15 浙江大华技术股份有限公司 目标行为的记录方法、装置、存储介质及电子装置
CN115412704A (zh) * 2022-07-15 2022-11-29 浙江大华技术股份有限公司 视频监控系统的控制方法、视频监控系统和存储介质
CN115731144A (zh) * 2022-11-17 2023-03-03 元气森林(北京)食品科技集团有限公司 图像数据处理方法、设备及介质
CN115980050A (zh) * 2022-12-15 2023-04-18 深圳市万物云科技有限公司 排水口的水质检测方法、装置、计算机设备及存储介质
CN115830641A (zh) * 2023-02-08 2023-03-21 四川弘和通讯集团有限公司 一种员工识别方法、装置、电子设备及存储介质
CN116486483A (zh) * 2023-04-24 2023-07-25 天津大学 基于高斯建模的跨视角行人重识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Investigating the importance of shape features, color constancy, color spaces, and similaritymeasures in open-ended 3D object recognition;S. Hamidreza Kasaei 等;《Intelligent Service Robotics》;20210212;全文 *
基于智能磨矿介质及CNN 和优化SVM 模型的球磨机负荷识别方法;徐怀兵 等;《工程科学学报》;20221130;第44卷(第11期);全文 *

Also Published As

Publication number Publication date
CN116958707A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN110738127A (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别系统与方法
CN112396635B (zh) 一种基于多设备的复杂环境下多目标检测方法
CN113409362B (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN113887412A (zh) 污染排放的检测方法、检测终端、监控系统及存储介质
CN115620212A (zh) 一种基于监控视频的行为识别方法及系统
CN110880184A (zh) 一种基于光流场进行摄像头自动巡检的方法及装置
CN114898261A (zh) 一种基于视频和生理数据融合的睡眠质量评估方法及系统
CN115311623A (zh) 一种基于红外热成像的设备漏油检测方法及系统
CN111767881A (zh) 一种基于ai技术的自适应人群密度估计装置
CN1845607A (zh) 基于视频监控与图像识别的电力变压器风机状态识别方法
CN113052139A (zh) 一种基于深度学习双流网络的攀爬行为检测方法及系统
CN111611866B (zh) 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
CN112560574A (zh) 河流黑水排放检测方法及应用其的识别系统
CN116958707B (zh) 一种基于球机监控设备的图像分类方法、装置及相关介质
CN107341456B (zh) 一种基于单幅户外彩色图像的天气晴阴分类方法
CN109859200B (zh) 一种基于背景分析的低空慢速无人机快速检测方法
CN109034125B (zh) 基于场景复杂度的行人检测方法与系统
Panda et al. Robust real-time object tracking under background clutter
CN112419359A (zh) 一种基于卷积神经网络的红外弱小目标检测方法及装置
Sari et al. Detection of Moving Vehicle using Adaptive Threshold Algorithm in Varied Lighting
CN113902739B (zh) Nut线夹缺陷识别方法、装置及设备、可读存储介质
CN109583441A (zh) 基于监控平台的字幕识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant