CN109255360A - 一种目标分类方法、装置及系统 - Google Patents
一种目标分类方法、装置及系统 Download PDFInfo
- Publication number
- CN109255360A CN109255360A CN201710566173.3A CN201710566173A CN109255360A CN 109255360 A CN109255360 A CN 109255360A CN 201710566173 A CN201710566173 A CN 201710566173A CN 109255360 A CN109255360 A CN 109255360A
- Authority
- CN
- China
- Prior art keywords
- target
- detected
- frame
- video
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种目标分类方法、装置及系统,所述方法包括:针对待检测目标,根据一帧包含待检测目标的视频帧,对待检测目标进行目标分类,得到待检测目标对应的目标类型;当对待检测目标进行目标分类时,记录待检测目标的分类次数和分类时间;当待检测目标对应的目标类型不为预设类型时,判断待检测目标是否满足第一预设条件;当待检测目标满足第一预设条件时,获取视频帧之后的另一帧包含待检测目标的视频帧,并根据该视频帧再次进行目标分类,从而能够正确的对没有完全进入特定区域,或者在部分遮挡的情况下进入特定区域的目标进行分类。
Description
技术领域
本发明涉及视频监控技术领域,特别是涉及一种目标分类方法、装置及系统。
背景技术
随着社会的不断进步,视频监控技术得到了快速的发展,视频监控在人们的日常生活中发挥着越来越重要的作用。
随着视频监控技术的不断发展,视频监控系统不仅仅可以记录下所监控场景的画面,还可以对所监控场景的视频图像进行处理,从而获取更多的信息。在通过视频监控系统对进入特定区域的各类目标实现监控时,可以通过视频图像处理技术进行对所监控场景的视频图像进行相应处理,当有目标进入特定区域时,通知相关人员进行处理,其中,特定区域可以是人为预先划定的区域,例如,军事警戒区、重要消防通道等等。
然而在现有技术中,在对进入特定区域的目标进行目标分类时,一般采用人脸识别算法、建立人体头肩二维模型等方法等,可以确定出进入特定区域的人。然而当目标整体没有完全进入特定区域,或者目标在部分遮挡的情况下进入特定区域时,例如,有人打伞进入特定区域或部分进入特定区域。在这种情况下,现有的目标分类方法就不能正确的对目标进行分类。
发明内容
本发明实施例的目的在于提供一种目标分类方法、装置及系统,当目标整体没有完全进入特定区域,或者目标在部分遮挡的情况下进入特定区域时,能够反复的针对该目标进行分类,从而能够正确的对没有完全进入特定区域,或者在部分遮挡的情况下进入特定区域的目标进行分类。具体技术方案如下:
本发明实施例公开了一种目标分类方法,包括:
针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述待检测目标对应的目标类型;
当对所述待检测目标进行目标分类时,记录所述待检测目标的分类次数和分类时间,所述分类次数为对所述待检测目标进行目标分类的总次数;
当所述待检测目标对应的目标类型不为预设类型时,判断所述待检测目标是否满足第一预设条件,其中,所述第一预设条件包括:所述待检测目标的分类次数小于第一预设值,且所记录的所述待检测目标最后的分类时间与当前时间的时间间隔大于第二预设值;
当所述待检测目标满足第一预设条件时,获取所述视频帧之后的另一帧包含所述待检测目标的视频帧。
本发明实施例还公开了一种目标分类装置,包括:
第一分类模块,用于针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述待检测目标对应的目标类型;
记录模块,用于当对所述待检测目标进行目标分类时,记录所述待检测目标的分类次数和分类时间,所述分类次数为对所述待检测目标进行目标分类的总次数;
判断模块,用于当所述待检测目标对应的目标类型不为预设类型时,判断所述待检测目标是否满足第一预设条件,其中,所述第一预设条件包括:所述待检测目标的分类次数小于第一预设值,且所记录的所述待检测目标最后的分类时间与当前时间的时间间隔大于第二预设值;
获取模块,用于当当所述待检测目标满足第一预设条件时,获取所述视频帧之后的另一帧包含所述待检测目标的视频帧。
本发明实施例还公开了一种目标分类系统,包括:
数据采集设备、图像处理设备;
所述数据采集设备与所述图像处理设备通过数据总线相连接并完成相互间的通信;
所述数据采集设备用于采集监控场景的视频图像;
所述图像处理设备通过所存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行本发明实施例提供的目标分类的方法。
本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的目标分类的方法。
本发明实施例提供的一种目标分类方法、装置及系统。当待检测目标经过目标分类,其目标类型不是预设类型时,可以通过第一预设条件,反复的使用该待检测目标最新获取的目标图像进行目标分类,从而能够正确的对没有完全进入特定区域,或者在部分遮挡的情况下进入特定区域的目标进行分类,提高了目标分类的准确率。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标分类方法的一种流程图;
图2为本发明实施例提供的目标分类方法的另一种流程图;
图3为本发明实施例提供的目标分类装置的结构图;
图4为本发明实施例提供的目标分类系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参加图1,图1为本发明实施例提供的目标分类方法的一种流程图,包括:
步骤101,针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述各待检测目标对应的目标类型。
本发明实施例可以应用于进行图像采集或识别的电子设备,例如,监控摄像头、图像采集系统等设备。
电子设备可以通过各种图像采集方法,例如,录像、拍照等技术手段,获取所拍摄的监控场景的视频图像。视频图像可以是含有连读多个视频帧的视频,也可以是连续的多个照片,在实际应用中大多数情况下视频图像均为含有连读多个视频帧的视频,本发明实施例中仅以视频图像为视频的情况进行说明。
电子设备所采集的视频图像中可以包括各类的目标,这些目标可以作为待检测的目标。
可以从电子设备所采集的连续的多帧视频图像中选择出一帧包含待检测目标的视频帧。例如,可以在多帧视频图像中选择出待检测目标最为清晰、图像质量最优的一帧视频帧。
获取一帧包含待检测目标的视频帧后,可以使用一帧包含待检测目标的视频帧,对待检测目标进行目标分类,从而得到待检测目标对应的目标类型。
具体的,使用一帧包含待检测目标的视频帧进行目标分类,可以有很多方法,例如,可以将该视频帧通过各种图像识别算法进行分析,进而确定出该视频帧中待检测目标的目标类型。
目标类型可以是预先设置的多种类型中的一种。根据不同的监控场景,可以设置不同的目标类型。例如,可以预先设置人和车辆这两种目标类型。通过目标分类,可以确定出待检测目标是否是人或是车辆。
步骤102,当对待检测目标进行目标分类时,记录各待检测目标的分类次数和分类时间,分类次数为对待检测目标进行目标分类的总次数。
当针对待检测目标,电子设备使用一帧包含待检测目标的视频帧进行目标分类时,可以记录下待检测目标的分类次数和分类时间,针对一个待检测目标,每进行一次目标分类,分类次数增加一次,并且会更新分类时间。
步骤103,当待检测目标对应的目标类型不为预设类型时,判断待检测目标是否满足第一预设条件,其中,第一预设条件包括:待检测目标的分类次数小于第一预设值,且所记录的待检测目标最后的分类时间与当前时间的时间间隔大于第二预设值。
预设类型可以是根据需要预先设置的目标类型,例如,在大多数场景下,人和车辆可以作为最关注的目标,所以预设类型可以设置为人体和车辆这两种目标类型。
当待检测目标经过目标分类,并且经过分类的待检测目标不是预设类型时,电子设备就可以根据第一预设条件,来对该待检测目标进行筛选。通过待检测目标的分类次数和待检测目标的分类时间来判断,该待检测目标是否满足第一预设条件。
在第一预设条件中,第一预设值和第二预设值可以根据需要进行配置,具体数值在此不做限定;第一预设值和第二预设值还可以经过统计多种场景多种目标运动位移,并通过根据目标运动位移加权计算得到相应的统计数据,从而获得第一预设值和第二预设值。
步骤104,当待检测目标满足第一预设条件时,获取所述视频帧之后的另一帧包含待检测目标的视频帧。
当待检测目标满足第一预设条件时,则电子设备可以针对该待检测目标再次进行一次目标分类,但如果依然使用上一次进行目标分类时所使用的视频帧继续进行目标分类,则没有实际意义。所以电子设备可以获取已经经过目标分类的视频帧之后的,另一帧包含待检测目标的视频帧。并且可以使用该视频帧再次对待检测目标进行目标分类。另一帧包含待检测目标的视频帧,可以是已经经过目标分类的视频帧之后的任意一帧,例如,可以是最新采集的一帧包含待检测目标的视频帧。
在本发明实施例中,当使用一帧包含所述待检测目标的视频帧完成了目标分类之后,可能会出现分类错误或不准确的情况,例如由于该待检测目标没有完全进入预设区域或者该待检测目标被部分遮挡,从而使得该待检测目标的第一图像不够完整,不能正确的确定该第一图像对应的待检测目标的目标类型。
所以,当获取该视频帧之后的另一帧包含待检测目标的视频帧时,可以再次根据所获取的另一帧包含待检测目标的视频帧进行目标分类,并再次获取该待检测目标的目标类型。同时,更新该待检测目标的分类次数和分类时间。
如果该待检测目标的目标类型依然不是预设类型,可以通过第一预设条件,反复对该待检测目标进行目标分类,并且每一次该待检测目标满足第一预设条件时,都使用上一次所使用的视频帧之后的,一帧包含待检测目标的视频帧进行目标分类,直到该待检测目标不再满足第一预设条件,例如,待检测目标经过多次的目标分类,其分类次数已经大于第一预设阈值,则可以不再对该待检测目标进行目标分类。
在本发明实施例中,当待检测目标经过目标分类,其目标类型不是预设类型时,可以通过第一预设条件,反复的对该待检测目标进行目标分类,从而能够正确的对没有完全进入特定区域,或者在部分遮挡的情况下进入特定区域的目标进行分类,提高了目标分类的准确率。
可选的,在本发明实施例提供的目标分类方法中,在针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类的步骤,包括:
第一步,针对待检测目标,从包含所述待检测目标的视频帧中,获取仅含有所述待检测目标的区域图像。
第二步,根据所述仅含有所述待检测目标的区域图像,对所述待检测目标进行目标分类。
包含所述待检测目标的视频帧,是一副完整的视频图像,其中往往还可以含有很多非待检测目标的图像信息,例如,场景中的杂物,背景等等。
为了能够更加准确快捷的对待检测目标进行目标分类,可以从包含所述待检测目标的视频帧中,提取出仅含有所述待检测目标的区域图像,该区域图像省略了除待检测目标以外的其他图像信息。
直接使用该区域图像进行目标分类,可以排除了其他图像信息的干扰,从而可以提高目标分类准确率。
在实际应用中,可以通过抠图法、下采样法等图形处理方法从包含待检测目标的视频帧中得到待检测目标对应的区域图像,其中下采样法可以包括均值下采样、双线性下采样等方法。具体的,能够实现从视频帧中获取仅包含待检测目标本身的区域图像的图像处理技术,均可以用于本发明实施例,也均属于本发明实施例的保护范围。
可选的,在本发明实施例提供的目标分类方法中,针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述各待检测目标对应的目标类型的步骤之前,所述方法还包括:
第一步,确定进入监控场景中预设区域的一个或多个第一目标,并根据第一目标确定一个或多个待检测目标。
本发明实施例中,为了提高目标分类效率,可以不对监控场景中出现的每一个目标都进行分类,可以从监控场景中进入预设区域的第一目标中选择出一个或多个待检测目标进行分类。
监控场景中的预设区域可以是预先人为划定的区域,例如,当本发明实施例应用于安防系统时,通过摄像头进行监控的某个场景中的一个区域为重点安全防护的区域,该区域不允许有人或者车辆进入,该区域就可以作为该监控场景中的预设区域。所有进入该区域的各种目标,都可以作为第一目标。
进入监控场景中预设区域的第一目标中,往往存在有很多干扰性的目标,例如,在上述的安防系统的例子中,可能会有除了人或者车辆以外的目标,如,树枝、小动物或其他杂物等目标进入预设区域。
所以,在目标进行目标分类之前,可以先从全部的进入监控场景中预设区域的第一目标中排除明显为干扰性的错误目标,确定出一个或多个待检测目标,从而目标分类时需要进行分类的待检测目标的数量,减少了目标分类的运行负担,提高分类效率。
从全部的进入监控场景中预设区域的第一目标中排除明显为干扰性的错误目标,确定出一个或多个待检测目标可以有很多种方法,例如,可以通过电子设备所采集的视频图像中第一目标的目标面积进行选择;还可以通过第一目标在预设区域中的停留时间进行选择。如,在连续预设帧数的视频图像中第一目标均在预设区域时,可以将该第一目标作为待检测目标。
第二步,针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,并对所获取的第一视频图像进行筛选,确定出一帧包含该待检测目标的视频帧。
当确定出一个或多个待检测目标之后,电子设备可以从所拍摄的监控场景的视频图像中针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像。第一视频图像可以是电子设备所采集的第一帧数的包含该待检测目标的视频图像。第一帧数可以根据需要进行配置,如,第一帧数可以为3至5帧,从而可以提高第一视频图像的实时性。
针对每一个待检测目标,电子设备可以对该待检测目标对应的第一帧数的第一视频图像进行筛选,从第一帧数的第一视频图像中选择一帧作为包含该待检测目标的视频帧。具体的,选择的方式可以有很多种方法,例如,从第一帧数的第一视频图像中选择待检测目标面积最大的一帧视频帧;或者也可以从第一帧数的第一视频图像中选择待检测目标清晰度最高的一帧视频帧等等。
在本发明实施例中,通过在第一帧数的第一视频图像中选择一帧作为包含待检测目标的视频帧,可以选择出图像质量最高的包含待检测目标的视频帧,从而在对待检测目标进行目标分类时能够更加准确的对目标进行分类,同时可以避免对同一目标多次进行分类,提高效率。
可选的,在本发明实施例提供的目标分类方法中,确定进入监控场景中预设区域的一个或多个第一目标,可以通过以下步骤进行实现:
第一步,获取至少第二帧数的监控场景的第二视频图像,第二帧数大于或等于所述第一帧数。
电子设备可以获取至少第二帧数的监控场景的第二视频图像,第二视频图像可以是原始的直接拍摄得到的监控场景的视频图像。第二帧数可以根据需要进行配置,如,可以为5至10帧。由于后续的步骤中所使用的第一帧数的第一视频图像,均为从第二帧数的监控场景的第二视频图像中进行获取的,所以可以设置第二帧数大于或等于第一帧数。
第二步,提取第二视频图像中的每一个目标。
第二视频图像中可以包含有很多目标,在本发明实施例中,电子设备可以采用相应的图像处理方法,提取出第二视频图像中所包含的每一个目标。
有很多图像处理方法可以从视频图像中提取目标,例如帧差、单高斯、多高斯等前景提取方法均可以进行视频图像中目标的提取。
第三步,针对每个目标,在第二视频图像中确定出包含该目标的第三视频图像,并获取每一个目标在第三视频图像中的位置信息。
在第二视频图像中,不一定每一帧的第二视频图像中都包含每一个目标。所以针对每一个目标,可以在第二视频图像中确定出包含该目标的第三视频图像,第三视频图像的帧数小于或等于第二帧数。
针对每一个目标确定出第三视频图像后,就可以获取该目标在各第三视频图像中的位置信息,位置信息可以包括该目标在每一帧第三视频图像中的坐标位置。从而可以根据该目标在每一帧第三视频图像中的坐标位置,对该目标进行追踪,确定出该目标的运动轨迹和位置。
第四步,根据该目标在第三视频图像中的位置信息,确定该目标是否为进入监控场景中预设区域的第一目标。
针对每一个目标获取该目标在第三视频图像中的位置信息后,就可以根据位置信息,判断该目标是否进入了监控场景中预设区域。例如,可以判断该目标的位置与预设区域是否存在交集。当该目标进入或部分进入了监控场景中预设区域时,就可以将该目标作为第一目标。对每一个目标逐个进行判断,从而将与预设区域存在交集的全部目标确定为第一目标。
本发明实施例中,通过对第三视频图像中的每一个目标进行判断,确定出进入预设区域的一个或多个第一目标,不会造成目标的遗漏,可以进一步保证目标分类的准确性。
可选的,在本发明实施例提供的目标分类方法中,根据第一目标确定一个或多个待检测目标的步骤可以包括:
第一步,针对每个第一目标,对每一个第一目标按第二预设条件进行筛选,其中,第二预设条件包括:在第一帧数的包含该第一目标的第一视频图像中该第一目标的宽度均大于第三预设阈值,且该第一目标的高度均大于第四预设阈值。
第二步,当所述第一目标满足第二预设条件时,将所述第一目标作为待检测目标。
当电子设备获取了进入监控场景中预设区域的每一个第一目标后,可以根据第二预设条件,从每一个第一目标中筛选出符合第二预设条件的待检测目标。
其中,第二预设条件可以是根据第一目标在包含该第一目标的视频图像中的尺寸大小来来判断第一目标是否可以作为待检测目标的。第一目标有可能是进入预设区域中的树叶、雪花等无效或错误的目标。这些目标的尺寸一般较小。所以,可以通过判断在第一帧数的视频图像中第一目标的宽度和高度是否都大于都第三预设阈值和第四预设阈值,来排除第一目标是树叶、雪花等无效或错误目标的情况。其中第三预设阈值和第四预设阈值可以预先根据需要进行配置,具体数值不做限定。
通过第二预设条件对第一目标进行筛选,从而排除了无效或错误的目标,减轻了目标分类时的工作负担,可以提高目标分类的准确率。
相应的,在本发明实施例中,针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,并对所获取的第一视频图像进行筛选,确定出一帧包含该待检测目标的视频帧的步骤可以包括:
针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一帧数的第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧,并将该第一视频帧作为包含该待检测目标的视频帧。
针对每个待检测目标,电子设备获取到至少第一帧数的包含该待检测目标的第一视频图像后,可以对第一视频图像进行筛选。同样可以根据待检测目标的尺寸,在至少第一帧数的第一视频图像中,选择出待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧,由于所选择出的第一视频帧中待检测目标的目标面积最大,将该第一视频帧作为包含该待检测目标的视频帧,则使得待检测目标的图像质量更高,进而使得在进行目标分类时可以更加准确快速的进行目标分类。
可选的,在本发明实施例提供的目标分类方法中,当确定出多个待检测目标时,针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一帧数的第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧,并将该第一视频帧作为包含该待检测目标的视频帧的步骤包括:
第一步,针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一帧数的第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧。
本发明实施例中,当确定出多个待检测目标时,可以优先对多个待检测目标中最优选的待检测目标进行分类。所以可以针对该最优选的待检测目标,获取包含该待检测目标的视频帧。
通过上述的方法,针对每一个待检测目标,通过检测待检测目标在第一帧数的第一视频图像中的目标面积,从每一个待检测目标所对应第一帧数的第一视频图像中选择出每一个待检测目标所对应的第一视频帧。
第二步,在各待检测目标对应的第一视频帧中选择出待检测目标的目标面积最大的第一视频帧,作为最优视频帧。
当获取了每一个待检测目标对应的第一视频帧后,可以对多个第一视频帧再次进行筛选,选择出待检测目标的目标面积最大的第一视频帧。该目标面积最大的第一视频帧所对应的待检测目标,可以认为是最优选的待检测目标。从而将该目标面积最大的第一视频帧作为最优视频帧。
第三步,将最优视频帧作为包含待检测目标的视频帧。
确定出最优视频帧后,可以将最优视频帧作为包含待检测目标的视频帧,则此时输入至下一个步骤的包含待检测目标的视频帧就是包含有最优选的待检测目标的视频帧。在后续步骤中,就可以对包含有最优选的待检测目标的视频帧优先进行处理,并对最优选的待检测目标优先进行分类。
可选的,在本发明实施例提供的目标分类方法中,在各待检测目标对应的第一视频帧中选择出待检测目标的目标面积最大的第一视频帧,作为最优视频帧的步骤包括:
当存在多个待检测目标对应的第一视频帧中待检测目标的目标面积相同时,计算该多个待检测目标在第一帧数的第一视频图像中的目标面积的方差,选择方差最小的待检测目标所对应的第一视频帧,作为最优视频帧。
在上述方法中,针对每一个待检测目标,获取了每一个待检测目标所对应的第一视频帧后,可以根据待检测目标的目标面积从多个待检测目标对应的第一视频帧中选择出最优视频帧。然而,在选择的过程中有可能会出现多个待检测目标对应的第一视频帧中待检测目标的目标面积相同的情况。
当出现这种情况时,可以计算该多个待检测目标在第一帧数的第一视频图像中的目标面积的方差,第一帧数的第一视频图像中的目标面积的方差能反应该待检测目标是在第一帧数这段时间内是否稳定,方差越小则证明该待检测目标越稳定。稳定的待检测目标具有更大的价值,从而可以优先进行分类。
所以可以选择方差最小的待检测目标所对应的第一视频帧,作为最优视频帧。并与上述方法相同,将最优视频帧作为包含待检测目标的视频帧。
当然,如果同时存在多个待检测目标在第一帧数的第一视频图像中的目标面积的方差相同,且方差均最小时,则可以将该多个待检测目标所对应的多个第一视频帧均作为最优视频帧。
在本发明实施例中,通过待检测目标在第一帧数的第一视频图像中的目标面积的方差来选择出在第一帧数这段时间内最为稳定的待检测目标,并将该待检测目标对应的第一视频帧作为最优视频帧,从而能够优先对最为稳定的待检测目标进行分类,提高了目标分类的效率。
可选的,在本发明实施例提供的目标分类方法中,将各待检测目标对应的第一图像进行目标分类,得到各待检测目标对应的目标类型的步骤包括:
通过预先训练得到的目标卷积神经网络,对一帧包含所述待检测目标的视频帧进行目标分类,得到所述各待检测目标对应的目标类型和置信度,目标卷积神经网络为预先根据包含目标的样本图像,以及各样本图像对应的目标类型训练得到的。
电子设备获取了一帧包含待检测目标的视频帧之后,可以将该一帧包含所述待检测目标的视频帧输入已经经过训练的深度学习模型,进而深度学习模型可以根据所输入的视频帧,确定出该视频帧中的待检测目标所对应的目标类型和置信度。置信度是用于衡量所确定出的目标类型的可信程度,置信度越高则表示确定出的目标类型越准确可靠。通过置信度这一参数,可以更加完善的确定出待检测目标的目标类型,增加了目标分类的准确度。
深度学习模型可以包括卷积神经网络模型或深度置信网模型。
卷积神经网络模型是需要进行监督的机器学习模型,例如可以为googlenet网络模型等。
卷积神经网络模型可以通过大量的样本进行训练,例如,预设的目标类型是人和车辆时,就可以对卷积神经网络模型使用大量的包含人体图像和包含车辆图像的样本图像进行训练。使得卷积神经网络模型能够在进行深度学习的过程中提取并获得人体或车辆的特征信息。从而在获取了第一图像后,就能够根据该特征信息,确定出第一图像中的目标是人或者是车辆,进而确定出待检测目标对应的目标类型和置信度。
深度置信网模型可以是不需要进行监督的机器学习模型。可以在无监督的情况下,自主的对各种目标类型的样本进行逐层特征的提取,进行自主的深度学习。从而可以获得每一种目标类型的特征,根据所提取的特征,可以判断出待检测目标的目标类型和置信度。
所以根据上述深度学习模型原理,本发明实施例可以针对各种不同的目标类型来进行深度学习模型的训练,从而使得深度学习模型可以对各种目标类型进行分类。
在本发明实施例中,通过利用深度学习算法对一帧包含待检测目标的视频帧进行图像处理,可以确定出该视频帧中待检测目标的目标类型和置信度。由于使用了深度学习算法,能够对多种不同类型的待检测目标进行分类。从而大大扩展了视频监控系统对目标入侵特定区域进行时进行目标分类的应用范围。
结合上述的方法,可选的,在本发明实施例提供的目标分类方法中,在通过预先训练得到的目标卷积神经网络,对一帧包含待检测目标的视频帧进行目标分类,得到待检测目标对应的目标类型和置信度步骤之后,所述方法还包括:
当待检测目标的目标类型为预设类型,且置信度大于或等于对应所述预设类型的预设阈值时,针对该待检测目标进行报警。
当确定出待检测目标的目标类型后,如果该待检测目标的目标类型为预设类型,且该目标的置信度大于该目标的目标类型所对应的预设阈值时,可以针对该待检测目标进行报警并同时保存包含该待检测目标的视频图像。
目标类型所对应的预设阈值是针对一种目标类型所设置的阈值,例如,可以将人体这一目标类型的预设阈值设置为第一阈值,车辆这一目标类型的预设阈值设置为第二阈值。待检测目标经过分类,确定其目标类型为人体,且该待检测目标的置信度待大于第一阈值时,则可以针对该检测目标进行报警。
具体的,报警可以有多种方法,例如,保存并向有关人员发送包含该待检测目标的视频图像,或者直接在监控场景中产生声光电等报警信号等等。
结合上述的方法,可选的,在本发明实施例提供的目标分类方法中,针对该待检测目标进行报警的步骤包括:
第一步,获取监控场景的当前视频图像,并提取所述当前视频图像中的每一个目标。
第二步,判断每一个目标中是否存在该待检测目标。如果存在,针对该待检测目标进行报警。
当针对一个待检测目标进行报警时,可以判断该待检测目标在当前时刻是否依然存在于监控场景中。所以,可以获取监控场景的当前视频图像,并提取所述当前视频图像中的每一个目标;然后判断该待检测目标是否存在于所提取的目标中,如果存在,则证明待检测目标在当前时刻依然存在于监控场景中,可以针对该目标进行报警并同时保存该待检测目标的视频图像。如果不存在,则表示该目标在当前时刻已经离开了监控场景,可以保存该含有该待检测目标的视频图像,以便于有关人员查看并进行相应处理,但在当前时刻,由于该目标已经离开了监控场景,可以不再进行报警。从而减少了报警的次数,并且减少了无效的报警。
下面结合一个具体的实施例,对本发明提供的目标分类方法进行详细说明。参见图2,本发明实施例提供的目标分类方法,可以包括:
步骤201,获取至少第二帧数的监控场景的第二视频图像,并提取第二视频图像中的每一个目标。
电子设备可以获取至少第二帧数的监控场景的第二视频图像,并通过例如帧差、单高斯、多高斯等前景提取方法对视频图像中的每一个目标的进行提取。在通过上述方法进行目标提取时,可以获得针对每一个目标的位置信息和图像信息。其中位置信息可以包括目标在视频图像中的坐标位置,图像信息包括含有目标的至少第二帧数的视频图像。
为提取出的每一个目标,配置一个目标的标识。将提取出的目标组成目标列表,该目标列表中包括每一个目标的标识,以及每一个目标所对应的位置信息和图像信息。
容易理解的是,电子设备所获取的监控场景的视频图像是一个连续的过程,在本发明实施例中,可以每获取第二帧数的监控场景的第二视频图像进行一次目标的提取以及后续步骤的处理,在处理过程中依然会进行监控场景的视频图像的获取,所以可以认为整个对监控场景的视频图像进行处理其过程是连续的且实时的过程。
所以每进行一次对第二帧数的监控场景的第二视频图像中目标的提取,都可以更新一次目标列表,目标列表中只保存最近一次进行目标提取所获得的每一个目标,以及每一个目标最新的位置信息和图像信息,从而保证了整个处理过程的实时性。
步骤202,更新每一个目标的位置信息。
当在步骤201中获得了目标列表之后,可以对该目标列表中的每一个目标,通过mean-shift(均值漂移)算法等多目标跟踪方法对目标列表中的所有目标进行跟踪,跟踪的目的在于更新每一个目标的位置信息,使得目标列表中每一个目标的位置信息都是最靠近当前时间的视频帧中的目标的位置信息。
步骤203,从每一个目标中,确定出进入监控场景中预设区域的一个或多个第一目标。
根据目标列表中每一个目标的位置信息,判断该目标是否进入或部分进入了监控场景中预设区域。当该目标进入或部分进入了监控场景中预设区域时,就可以将该目标作为第一目标。
可以将本次所获取的所有第一目标加入入侵目标列表。入侵目标列表可以是一个动态的列表,其中不仅仅有本次处理过程中新加入的第一目标,并且还可以具有前面所进行的处理过程中的还没有被删除的待检测目标。
入侵目标列表中至少包括入侵目标列表中每一个目标的标识,每一个目标所对应的位置信息和图像信息。
入侵目标列表中还可以包括以下参数:入侵目标列表中每一个目标经过深度学习模型进行目标分类后所确定出的目标类型及置信度;每个目标的分类次数;每个目标最近一次进行目标分类的分类时间。对于新加入的第一目标,以上参数可以在后续步骤中获得,本步骤中新加入的第一目标列表内上述参数均为空,可以在随后的步骤中会进一步更新和完善。
当然,由于电子设备可以每获取第二帧数的监控场景的第二视频图像进行处理,所以新加入的第一目标,可能与前面所进行的处理过程中的还没有被删除的待检测目标重复,在这种情况下,可以直接更新该待检测目标的位置信息和图像信息。判断是否目标重复,可以通过目标的标识进行判断。
步骤204,根据第一目标确定一个或多个待检测目标,并获取包含一个或多个待检测目标的视频帧。
针对在上述步骤中的入侵目标列表,可以对入侵目标列表中的每一个目标进行筛选,进而确定出一个或多个待检测,并获取包含一个或多个待检测目标的视频帧。
首先可以从新加入的第一目标中确定出一个或多个待检测目标,新加入的第一目标可以认为是新的且没有经过深度学习模型进行目标分类的目标。
可以通过第二预设条件,对入侵目标列表中的每一个新加入的第一目标进行筛选,当第一目标满足第二预设条件时,将第一目标作为待检测目标。同时,还可以从入侵目标列表中,将不满足第二预设条件的第一目标删除。
从入侵目标列表中该待检测目标的图像信息中,可以获得第一帧数的包含待检测目标的第一视频图像,从该第一帧数的第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧,并将该第一视频帧作为包含该待检测目标的视频帧。
当多个新加入的第一目标均满足第二预设条件,均作为待检测目标时,可以针对每个待检测目标选择出每一个待检测目标所对应的第一视频帧,并从中选择出待检测目标的目标面积最大的第一视频帧,作为最优视频帧,并将最优视频帧作为包含待检测目标的视频帧。
当多个待检测目标对应的第一视频帧中待检测目标的目标面积相同时,计算该多个待检测目标在第一帧数的第一视频图像中的目标面积的方差,选择方差最小的待检测目标所对应的第一视频帧,作为最优视频帧,并将最优视频帧作为包含待检测目标的视频帧。
如果同时存在多个待检测目标在第一帧数的第一视频图像中的目标面积的方差相同,且方差均最小时,则可以将该多个待检测目标所对应的多个第一视频帧均作为最优视频帧。并将最优视频帧作为包含待检测目标的视频帧。
通过上述筛选方法,可以从新加入的第一目标中确定出一个或多个待检测目标,并且可以从中选择出最优先的待检测目标,并获取包含该待检测目标的视频帧用于后续的步骤。
当对新加入的第一目标完成筛选后,还可以对入侵目标列表中原有的没有被删除的待检测目标进行筛选。
可以通过判断原有的没有被删除的待检测目标是否满足第一预设条件来进行筛选,当满足第二预设条件时,将最新采集的的包含该待检测目标的一帧视频帧,作为包含该待检测目标的视频帧。同时,当原有的没有被删除的待检测目标的分类次数大于预设值时,可以将原有的没有被删除的待检测目标从入侵目标列表中删除。
步骤205,根据包含一个或多个待检测目标的视频帧,获取各待检测目标对应的区域图像。
根据上一步骤所得到的包含待检测目标的视频帧,其中,包含待检测目标的视频图像包括从新加入的第一目标中选择出的待检测目标的视频帧,和从原有的没有被删除的待检测目标中选择出的待检测目标的视频帧。可以通过抠图法、下采样法等图形处理方法,针对每一个待检测目标,得到进包含待检测目标的区域图像。
步骤206,针对每个待检测目标,将该待检测目标对应的区域图像通过预先训练的深度学习模型进行目标分类,得到该待检测目标对应的目标类型和置信度。
步骤207,当待检测目标的目标类型为预设类型,且置信度大于或等于对应预设类型的预设阈值时,针对该待检测目标进行报警。
当待检测目标的目标类型不为预设类型,或待检测目标的目标类型为预设类型,但是置信度小于对应预设类型的预设阈值时,在入侵目标列表中,针对该待检测目标,记录该待检测目标的分类次数和分类时间。
当待检测目标的目标类型为预设类型,且置信度大于或等于对应预设类型的预设阈值时,可以针对该待检测目标进行报警,同时保存包含该待检测目标的视频图像,并且可以从入侵目标列表,将该待检测目标删除。
当针对该待检测目标进行报警时,还可以判断该待检测目标在当前时刻是否依然存在与监控场景中。具体的,可以检测该待检测目标的标识是否存在于当前时刻的目标列表中,当该待检测目标的标识存在于当前时刻的目标列表中时,则表示该待检测目标在当前时刻依然存在与监控场景中,可以进行报警。
参见图3,图3为本发明实施例提供的目标分类装置的结构图,包括:
第一分类模块301,用于针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述待检测目标对应的目标类型;
记录模块302,用于当对所述待检测目标进行目标分类时,记录所述待检测目标的分类次数和分类时间,所述分类次数为对所述待检测目标进行目标分类的总次数;
判断模块303,用于当所述待检测目标对应的目标类型不为预设类型时,判断所述待检测目标是否满足第一预设条件,其中,所述第一预设条件包括:所述待检测目标的分类次数小于第一预设值,且所记录的所述待检测目标最后的分类时间与当前时间的时间间隔大于第二预设值;
获取模块304,用于当当所述待检测目标满足第一预设条件时,获取所述视频帧之后的另一帧包含所述待检测目标的视频帧。
在本发明实施例中,当待检测目标经过目标分类,其目标类型不是预设类型时,可以通过第一预设条件,反复的使用该待检测目标进行目标分类,从而能够正确的对没有完全进入特定区域,或者在部分遮挡的情况下进入特定区域的目标进行分类,提高了目标分类的准确率。
可选的,本发明实施例提供的目标分类装置中,所述第一分类模块301包括:
图像获取子模块,用于针对待检测目标,从包含所述待检测目标的视频帧中,获取仅含有所述待检测目标的区域图像;
目标分类子模块,用于根据所述仅含有所述待检测目标的区域图像,对所述待检测目标进行目标分类。
可选的,本发明实施例提供的目标分类装置中,所述装置还包括:
检测模块(图中未标出),用于确定进入监控场景中预设区域的一个或多个第一目标,并根据第一目标确定一个或多个待检测目标;
筛选模块(图中未标出),用于针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,并对所获取的第一视频图像进行筛选,确定出一帧包含该待检测目标的视频帧。
可选的,本发明实施例提供的目标分类装置中,所述检测模块,具体用于:
获取至少第二帧数的所述监控场景的第二视频图像,所述第二帧数大于或等于所述第一帧数;提取所述第二视频图像中的每一个目标;针对每个目标,在第二视频图像中确定出包含该目标的第三视频图像,并获取每一个目标在所述第三视频图像中的位置信息;根据该目标在所述第三视频图像中的位置信息,确定该目标是否为进入监控场景中预设区域的第一目标。
可选的,本发明实施例提供的目标分类装置中,所述检测模块,具体用于:
针对每个第一目标,对每一个所述第一目标按第二预设条件进行筛选,其中,所述第二预设条件包括:在第一帧数的包含该第一目标的视频图像中该第一目标的宽度均大于第三预设阈值,且该第一目标的高度均大于第四预设阈值;当所述第一目标满足第二预设条件时,将所述第一目标作为待检测目标;
所述筛选模块具体用于:
针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一帧数的第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧,并将该第一视频帧作为包含该待检测目标的视频帧。
可选的,本发明实施例提供的目标分类装置中,当所述检测模块确定出多个待检测目标时,所述筛选模块,具体用于:
针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一视频图像中选择该待检测目标的目标面积最大的一帧视频图像作为该待检测目标对应的第一视频帧;在各待检测目标对应的第一视频帧中选择出待检测目标的目标面积最大的第一视频帧,作为最优视频帧;将所述最优视频帧作为包含待检测目标的视频帧。
可选的,本发明实施例提供的目标分类装置中,所述筛选模块,具体用于:当存在多个待检测目标对应的第一视频帧中待检测目标的目标面积相同时,计算该多个待检测目标在第一帧数的第一视频图像中的目标面积的方差,选择方差最小的待检测目标所对应的第一视频帧,作为最优视频帧。
可选的,本发明实施例提供的目标分类装置中,所述装置还包括:
第二分类模块(图中未标出),用于针对待检测目标,根据所述另一帧包含所述待检测目标的视频帧,再次对对所述待检测目标进行目标分类,得到所述各待检测目标对应的目标类型。
可选的,本发明实施例提供的目标分类装置中,所述第一分类模块301,具体用于:通过预先训练得到的目标卷积神经网络,对一帧包含所述待检测目标的视频帧进行目标分类,得到所述各待检测目标对应的目标类型和置信度,所述目标卷积神经网络为预先根据包含目标的样本图像,以及各样本图像对应的目标类型训练得到的。
可选的,本发明实施例提供的目标分类装置中,所述装置还包括:
报警模块(图中未标出),用于当所述待检测目标的目标类型为预设类型,且所述置信度大于或等于对应所述预设类型的预设阈值时,针对该待检测目标进行报警。
可选的,本发明实施例提供的目标分类装置中,所述报警模块,具体用于:
获取所述监控场景的当前视频图像,并提取所述当前视频图像中的每一个目标;判断所述每一个目标中是否存在该待检测目标;如果存在,针对该待检测目标进行报警。
参见图4,图4为本发明实施例提供的目标分类系统的结构图,包括:
数据采集设备401、图像处理设备402;
数据采集设备401与图像处理设备402通过数据总线相连接并完成相互间的通信;
数据采集设备401用于数据采集器用于采集监控场景的视频图像,数据采集设备401可以包括感应器、镜头等图像采集硬件,从而实现对监控场景的视频图像的采集;
图像处理设备402可以为集成在一起的具有存储功能和数据处理功能的芯片或处理器,也可以包括相互独立的,并通过数据总线进行连接的存储器和数据处理器;
图像处理设备402通过所存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行本发明实施例提供的目标分类方法,所述目标分类方法包括:
针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述待检测目标对应的目标类型;
当对所述待检测目标进行目标分类时,记录所述待检测目标的分类次数和分类时间,所述分类次数为对所述待检测目标进行目标分类的总次数;
当所述待检测目标对应的目标类型不为预设类型时,判断所述待检测目标是否满足第一预设条件,其中,所述第一预设条件包括:所述待检测目标的分类次数小于第一预设值,且所记录的所述待检测目标最后的分类时间与当前时间的时间间隔大于第二预设值;
当所述待检测目标满足第一预设条件时,获取所述视频帧之后的另一帧包含所述待检测目标的视频帧。
在本发明实施例中,当待检测目标经过目标分类,其目标类型不是预设类型时,可以通过第一预设条件,反复的使用该待检测目标进行目标分类,从而能够正确的对没有完全进入特定区域,或者在部分遮挡的情况下进入特定区域的目标进行分类,提高了目标分类的准确率。
可选的,在本发明实施例提供的目标分类系统中,图像处理设备402包括存储器、至少两个处理器;
各处理器分别为独立的并行处理器,分别与所述存储器通过数据总线进行连接。
存储器可以用于存储的可执行程序代码和需要用到的各种数据信息,例如,所获取的监控场景的视频图像,以及从监控场景的视频图像中提取的目标的位置信息和图像信息等数据信息。
在本发明实施例中,通过当使用深度学习模型对目标进行目标分类时,深度学习模型计算量较大,需要占用较多的硬件资源,所以可以使用一个处理器单独的执行通过深度学习模型对目标进行目标分类的步骤,即可以使用一个单独的处理器作为深度学习模型运行的硬件环境,其余步骤可以在另一个处理器上运行。
通过至少两个并行的独立处理器,可以提高目标分类系统的运行效率,使得可以更加实时的对监控场景的视频图像进行处理。
另外,相应于上述实施例所提供的目标分类方法,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的目标分类方法,所述目标分类方法包括:
针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述待检测目标对应的目标类型;
当对所述待检测目标进行目标分类时,记录所述待检测目标的分类次数和分类时间,所述分类次数为对所述待检测目标进行目标分类的总次数;
当所述待检测目标对应的目标类型不为预设类型时,判断所述待检测目标是否满足第一预设条件,其中,所述第一预设条件包括:所述待检测目标的分类次数小于第一预设值,且所记录的所述待检测目标最后的分类时间与当前时间的时间间隔大于第二预设值;
当所述待检测目标满足第一预设条件时,获取所述视频帧之后的另一帧包含所述待检测目标的视频帧。
对于目标分类装置、系统以及计算机可读存储介质实施例而言,由于其所涉及的方法内容基本相似于前述的方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (24)
1.一种目标分类方法,其特征在于,包括:
针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述待检测目标对应的目标类型;
当对所述待检测目标进行目标分类时,记录所述待检测目标的分类次数和分类时间,所述分类次数为对所述待检测目标进行目标分类的总次数;
当所述待检测目标对应的目标类型不为预设类型时,判断所述待检测目标是否满足第一预设条件,其中,所述第一预设条件包括:所述待检测目标的分类次数小于第一预设值,且所记录的所述待检测目标最后的分类时间与当前时间的时间间隔大于第二预设值;
当所述待检测目标满足第一预设条件时,获取所述视频帧之后的另一帧包含所述待检测目标的视频帧。
2.根据权利要求1所述的方法,其特征在于,所述针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类的步骤,包括:
针对待检测目标,从包含所述待检测目标的视频帧中,获取仅含有所述待检测目标的区域图像;
根据所述仅含有所述待检测目标的区域图像,对所述待检测目标进行目标分类。
3.根据权利要求1所述的方法,其特征在于,在所述针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述各待检测目标对应的目标类型的步骤之前,所述方法包括:
确定进入监控场景中预设区域的一个或多个第一目标,并根据第一目标确定一个或多个待检测目标;
针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,并对所获取的第一视频图像进行筛选,确定出一帧包含该待检测目标的视频帧。
4.根据权利要求3所述的方法,其特征在于,所述确定进入监控场景中预设区域的一个或多个第一目标包括:
获取至少第二帧数的所述监控场景的第二视频图像,所述第二帧数大于或等于所述第一帧数;
提取所述第二视频图像中的每一个目标;
针对每个目标,在第二视频图像中确定出包含该目标的第三视频图像,并获取每一个目标在所述第三视频图像中的位置信息;
根据该目标在所述第三视频图像中的位置信息,确定该目标是否为进入监控场景中预设区域的第一目标。
5.根据权利要求3所述的方法,其特征在于,所述根据第一目标确定一个或多个待检测目标包括:
针对每个第一目标,对每一个所述第一目标按第二预设条件进行筛选,其中,所述第二预设条件包括:在第一帧数的包含该第一目标的视频图像中该第一目标的宽度均大于第三预设阈值,且该第一目标的高度均大于第四预设阈值;
当所述第一目标满足第二预设条件时,将所述第一目标作为待检测目标;
所述针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,并对所获取的第一视频图像进行筛选,确定出一帧包含该待检测目标的视频帧的步骤包括:
针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一帧数的第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧,并将该第一视频帧作为包含该待检测目标的视频帧。
6.根据权利要求5所述的方法,其特征在于,当确定出多个待检测目标时,所述针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一帧数的第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧,并将该第一视频帧作为包含该待检测目标的视频帧的步骤包括:
针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧;
在各待检测目标对应的第一视频帧中选择出待检测目标的目标面积最大的第一视频帧,作为最优视频帧;
将所述最优视频帧作为包含待检测目标的视频帧。
7.根据权利要求6所述的方法,其特征在于,在各待检测目标对应的第一视频帧中选择出待检测目标的目标面积最大的第一视频帧,作为最优视频帧的步骤包括:
当存在多个待检测目标对应的第一视频帧中待检测目标的目标面积相同时,计算该多个待检测目标在第一帧数的第一视频图像中的目标面积的方差,选择方差最小的待检测目标所对应的第一视频帧,作为最优视频帧。
8.根据权利要求1所述的方法,其特征在于,在所述当所述待检测目标满足第一预设条件时,获取在所述视频帧之后的另一帧包含所述待检测目标的视频帧的步骤之后,所述方法还包括:
针对待检测目标,根据所述另一帧包含所述待检测目标的视频帧,再次对对所述待检测目标进行目标分类,得到所述各待检测目标对应的目标类型。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述待检测目标对应的目标类型的步骤包括:
通过预先训练得到的目标卷积神经网络,对一帧包含所述待检测目标的视频帧进行目标分类,得到所述待检测目标对应的目标类型和置信度,所述目标卷积神经网络为预先根据包含目标的样本图像,以及各样本图像对应的目标类型训练得到的。
10.根据权利要求9所述的方法,其特征在于,在所述通过预先训练得到的目标卷积神经网络,对一帧包含所述待检测目标的视频帧进行目标分类,得到所述待检测目标对应的目标类型和置信度步骤之后,所述方法还包括:
当所述待检测目标的目标类型为预设类型,且所述置信度大于或等于对应所述预设类型的预设阈值时,针对该待检测目标进行报警。
11.根据权利要求10所述的方法,其特征在于,所述针对该待检测目标进行报警的步骤包括:
获取所述监控场景的当前视频图像,并提取所述当前视频图像中的每一个目标;
判断所述每一个目标中是否存在该待检测目标;如果存在,针对该待检测目标进行报警。
12.一种目标分类装置,其特征在于,包括:
第一分类模块,用于针对待检测目标,根据一帧包含所述待检测目标的视频帧,对所述待检测目标进行目标分类,得到所述待检测目标对应的目标类型;
记录模块,用于当对所述待检测目标进行目标分类时,记录所述待检测目标的分类次数和分类时间,所述分类次数为对所述待检测目标进行目标分类的总次数;
判断模块,用于当所述待检测目标对应的目标类型不为预设类型时,判断所述待检测目标是否满足第一预设条件,其中,所述第一预设条件包括:所述待检测目标的分类次数小于第一预设值,且所记录的所述待检测目标最后的分类时间与当前时间的时间间隔大于第二预设值;
获取模块,用于当当所述待检测目标满足第一预设条件时,获取所述视频帧之后的另一帧包含所述待检测目标的视频帧。
13.根据权利要求12所述的装置,其特征在于,所述第一分类模块包括:
图像获取子模块,用于针对各待检测目标,从包含所述待检测目标的视频帧中,获取仅含有所述待检测目标的区域图像;
目标分类子模块,用于根据所述仅含有所述待检测目标的区域图像,对所述待检测目标进行目标分类。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
检测模块,用于确定进入监控场景中预设区域的一个或多个第一目标,并根据第一目标确定一个或多个待检测目标;
筛选模块,用于针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,并对所获取的第一视频图像进行筛选,确定出一帧包含该待检测目标的视频帧。
15.根据权利要求12所述的装置,其特征在于,所述检测模块,具体用于:
获取至少第二帧数的所述监控场景的第二视频图像,所述第二帧数大于或等于所述第一帧数;提取所述第二视频图像中的每一个目标;针对每个目标,在第二视频图像中确定出包含该目标的第三视频图像,并获取每一个目标在所述第三视频图像中的位置信息;根据该目标在所述第三视频图像中的位置信息,确定该目标是否为进入监控场景中预设区域的第一目标。
16.根据权利要求14所述的装置,其特征在于,所述检测模块,具体用于:
针对每个第一目标,对每一个所述第一目标按第二预设条件进行筛选,其中,所述第二预设条件包括:在第一帧数的包含该第一目标的视频图像中该第一目标的宽度均大于第三预设阈值,且该第一目标的高度均大于第四预设阈值;当所述第一目标满足第二预设条件时,将所述第一目标作为待检测目标;
所述筛选模块具体用于:
针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一帧数的第一视频图像中选择该待检测目标的目标面积最大的一帧视频帧作为该待检测目标对应的第一视频帧,并将该第一视频帧作为包含该待检测目标的视频帧。
17.根据权利要求16所述的装置,其特征在于,当所述检测模块确定出多个待检测目标时,所述筛选模块,具体用于:
针对每个待检测目标,获取至少第一帧数的包含该待检测目标的第一视频图像,从该第一视频图像中选择该待检测目标的目标面积最大的一帧视频图像作为该待检测目标对应的第一视频帧;在各待检测目标对应的第一视频帧中选择出待检测目标的目标面积最大的第一视频帧,作为最优视频帧;将所述最优视频帧作为包含待检测目标的视频帧。
18.根据权利要求17所述的装置,其特征在于,所述筛选模块,具体用于:当存在多个待检测目标对应的第一视频帧中待检测目标的目标面积相同时,计算该多个待检测目标在第一帧数的第一视频图像中的目标面积的方差,选择方差最小的待检测目标所对应的第一视频帧,作为最优视频帧。
19.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第二分类模块,用于针对待检测目标,根据所述另一帧包含所述待检测目标的视频帧,再次对对所述待检测目标进行目标分类,得到所述各待检测目标对应的目标类型。
20.根据权利要求12至19中任一项所述的装置,其特征在于,所述第一分类模块,具体用于:通过预先训练得到的目标卷积神经网络,对一帧包含所述待检测目标的视频帧进行目标分类,得到所述各待检测目标对应的目标类型和置信度,所述目标卷积神经网络为预先根据包含目标的样本图像,以及各样本图像对应的目标类型训练得到的。
21.根据权利要求19所述的装置,其特征在于,所述装置还包括:
报警模块,用于当所述待检测目标的目标类型为预设类型,且所述置信度大于或等于对应所述预设类型的预设阈值时,针对该待检测目标进行报警。
22.根据权利要求21所述的装置,其特征在于,所述报警模块,具体用于:
获取所述监控场景的当前视频图像,并提取所述当前视频图像中的每一个目标;判断所述每一个目标中是否存在该待检测目标;如果存在,针对该待检测目标进行报警。
23.一种目标分类系统,其特征在于,包括:
数据采集设备、图像处理设备;
所述数据采集设备与所述图像处理设备通过数据总线相连接并完成相互间的通信;
所述数据采集设备用于采集监控场景的视频图像;
所述图像处理设备通过所存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行如权利要求1至11中任一项所述的目标分类方法。
24.根据权利要求23所述的系统,其特征在于,所述图像处理设备包括存储器、至少两个处理器;
各处理器分别为独立的并行处理器,分别与所述存储器通过数据总线进行连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710566173.3A CN109255360B (zh) | 2017-07-12 | 2017-07-12 | 一种目标分类方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710566173.3A CN109255360B (zh) | 2017-07-12 | 2017-07-12 | 一种目标分类方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109255360A true CN109255360A (zh) | 2019-01-22 |
CN109255360B CN109255360B (zh) | 2021-04-02 |
Family
ID=65050782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710566173.3A Active CN109255360B (zh) | 2017-07-12 | 2017-07-12 | 一种目标分类方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109255360B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110687806A (zh) * | 2019-09-30 | 2020-01-14 | 万翼科技有限公司 | 一种设备控制方法及相关装置 |
CN111836102A (zh) * | 2019-04-23 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 视频帧的分析方法和装置 |
CN113327284A (zh) * | 2021-05-27 | 2021-08-31 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN113365018A (zh) * | 2020-03-06 | 2021-09-07 | 杭州海康威视数字技术股份有限公司 | 一种周期调整方法、装置及设备 |
CN113780578A (zh) * | 2021-09-08 | 2021-12-10 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备及可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101266710A (zh) * | 2007-03-14 | 2008-09-17 | 中国科学院自动化研究所 | 一种基于规则的全天候智能视频分析监控方法 |
CN101577006A (zh) * | 2009-06-15 | 2009-11-11 | 北京中星微电子有限公司 | 视频监控中的徘徊检测方法和系统 |
CN101739551A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 运动目标识别方法及系统 |
CN102360434A (zh) * | 2011-10-09 | 2012-02-22 | 江苏大学 | 一种智能交通监控中车辆和行人的目标分类方法 |
US20120314064A1 (en) * | 2011-06-13 | 2012-12-13 | Sony Corporation | Abnormal behavior detecting apparatus and method thereof, and video monitoring system |
CN103679745A (zh) * | 2012-09-17 | 2014-03-26 | 浙江大华技术股份有限公司 | 一种运动目标检测方法及装置 |
CN106022314A (zh) * | 2016-06-14 | 2016-10-12 | 安徽清新互联信息科技有限公司 | 一种智能视频监控中刚性目标丢失的检测方法 |
-
2017
- 2017-07-12 CN CN201710566173.3A patent/CN109255360B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101266710A (zh) * | 2007-03-14 | 2008-09-17 | 中国科学院自动化研究所 | 一种基于规则的全天候智能视频分析监控方法 |
CN101739551A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 运动目标识别方法及系统 |
CN101577006A (zh) * | 2009-06-15 | 2009-11-11 | 北京中星微电子有限公司 | 视频监控中的徘徊检测方法和系统 |
US20120314064A1 (en) * | 2011-06-13 | 2012-12-13 | Sony Corporation | Abnormal behavior detecting apparatus and method thereof, and video monitoring system |
CN102360434A (zh) * | 2011-10-09 | 2012-02-22 | 江苏大学 | 一种智能交通监控中车辆和行人的目标分类方法 |
CN103679745A (zh) * | 2012-09-17 | 2014-03-26 | 浙江大华技术股份有限公司 | 一种运动目标检测方法及装置 |
CN106022314A (zh) * | 2016-06-14 | 2016-10-12 | 安徽清新互联信息科技有限公司 | 一种智能视频监控中刚性目标丢失的检测方法 |
Non-Patent Citations (2)
Title |
---|
XIAO CHEN: "Intelligent Monitoring Alarm Technology Based on Moving Object Detecting", 《2008 INTERNATIONAL CONFERENCE ON MULTIMEDIA AND INFORMATION TECHNOLOGY》 * |
王梦来等: "基于CNN的监控视频事件检测", 《自动化学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111836102A (zh) * | 2019-04-23 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 视频帧的分析方法和装置 |
CN110687806A (zh) * | 2019-09-30 | 2020-01-14 | 万翼科技有限公司 | 一种设备控制方法及相关装置 |
CN113365018A (zh) * | 2020-03-06 | 2021-09-07 | 杭州海康威视数字技术股份有限公司 | 一种周期调整方法、装置及设备 |
CN113365018B (zh) * | 2020-03-06 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 一种周期调整方法、装置及设备 |
CN113327284A (zh) * | 2021-05-27 | 2021-08-31 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN113327284B (zh) * | 2021-05-27 | 2022-08-26 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
CN113780578A (zh) * | 2021-09-08 | 2021-12-10 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备及可读存储介质 |
CN113780578B (zh) * | 2021-09-08 | 2023-12-12 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109255360B (zh) | 2021-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109922310B (zh) | 目标对象的监控方法、装置及系统 | |
CN109255360A (zh) | 一种目标分类方法、装置及系统 | |
JP6949988B2 (ja) | 領域特定方法、装置、記憶媒体及びプロセッサ | |
CN104680555B (zh) | 基于视频监控的越界检测方法及越界监控系统 | |
CN105745687B (zh) | 情景感知移动目标检测 | |
CN110428522A (zh) | 一种智慧新城的智能安防系统 | |
CN109886999B (zh) | 位置确定方法、装置、存储介质和处理器 | |
CN109919009A (zh) | 目标对象的监控方法、装置及系统 | |
KR102149832B1 (ko) | 딥러닝 기반의 자동 폭력 감지 시스템 | |
CN109299703A (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
KR102002812B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
CN112733814B (zh) | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 | |
CN111091025B (zh) | 图像处理方法、装置和设备 | |
CN106570478A (zh) | 视觉跟踪中的目标丢失判断方法和装置 | |
EP2413265B1 (en) | A system and method for classification of moving object during video surveillance | |
CN109886129A (zh) | 提示信息生成方法和装置,存储介质及电子装置 | |
KR102584708B1 (ko) | 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법 | |
KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
CN111814690A (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
CN110322472A (zh) | 一种多目标跟踪方法以及终端设备 | |
CN109831634A (zh) | 目标对象的密度信息确定方法及装置 | |
US20240111835A1 (en) | Object detection systems and methods including an object detection model using a tailored training dataset | |
CN111753587B (zh) | 一种倒地检测方法及装置 | |
CN111428626B (zh) | 一种移动物体的识别方法、装置、及存储介质 | |
CN106303461A (zh) | 基于视频分析的移动式智能安防装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |