CN111325769A - 一种目标对象检测方法及装置 - Google Patents
一种目标对象检测方法及装置 Download PDFInfo
- Publication number
- CN111325769A CN111325769A CN201811528536.5A CN201811528536A CN111325769A CN 111325769 A CN111325769 A CN 111325769A CN 201811528536 A CN201811528536 A CN 201811528536A CN 111325769 A CN111325769 A CN 111325769A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- determining
- gray
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000012544 monitoring process Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 10
- 230000002829 reductive effect Effects 0.000 abstract description 8
- 238000013461 design Methods 0.000 description 18
- 238000012549 training Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000036961 partial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理技术领域,尤其涉及一种目标对象检测方法及装置,所述方法包括:获取监控视频并确定所述监控视频中任意相邻两帧图像之间的像素信息差异度;然后基于所述任意相邻两帧图像之间的像素信息差异度,确定所述监控视频中所述像素信息差异度符合预设条件的候选图像;再从确定的候选图像中截取目标区域图像,并基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息。通过上述方法,可以减少目标对象检测的计算量,提高目标对象的检测效率。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种目标对象检测方法及装置。
背景技术
目前,在视频监控、安防、无人驾驶等应用领域中,都会涉及到对监控视频中的目标对象进行检测,目标对象例如为监控视频中出现的行人、或车辆等。现有监控视频中的目标对象进行检测时,主要是通过对监控视频中每帧图像、以及每帧图像的全部像素点进行分析,以便确定每帧图像中是否包括目标对象的特征信息。然而,由于目标对象可能并不会全程都出现在监控视频中,可能仅有监控视频中少部分帧图像中存在目标对象,故采用上述检测方式可能造成计算量较大,且检测效率较低的问题。
发明内容
有鉴于此,本申请实施例提供一种目标对象检测方法及装置,以减少目标对象检测过程中的计算量,提高目标对象的检测效率。
第一方面,本申请实施例提供了一种目标对象检测方法,包括:
获取监控视频并确定所述监控视频中任意相邻两帧图像之间的像素信息差异度;
基于所述任意相邻两帧图像之间的像素信息差异度,确定所述监控视频中所述像素信息差异度符合预设条件的候选图像;
从确定的候选图像中截取目标区域图像,并基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息。
在一种可能的实施方式中,所述确定所述监控视频中任意相邻两帧图像之间的像素信息差异度,包括:
针对所述监控视频中第i帧图像和第i+1帧图像,i为正整数,执行第一处理过程;其中,所述第一处理过程包括:
将所述第i帧图像转化为第一灰度图像,以及,将所述第i+1帧图像转换为第二灰度图像;
将所述第二灰度图像和所述第一灰度图像的逐个像素点的灰度值分别相减之后,得到第三灰度图像;
基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
在一种可能的实施方式中,所述基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度,包括:
确定所述第三灰度图像中灰度值大于第一设定阈值的第一类像素点、以及灰度值不大于所述第一设定阈值的第二类像素点;
将所述第一类像素点的灰度值调整为第一数值,以及将所述第二类像素点的灰度值调整为第二数值之后,得到第四灰度图像;
根据所述第四灰度图像中灰度值为所述第一数值的像素点的个数,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
在一种可能的实施方式中,所述确定所述监控视频中所述像素信息差异度符合预设条件的候选图像,包括:
当确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度大于设定差异度阈值时,根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像。
在一种可能的实施方式中,所述根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像,包括:
确定所述第四灰度图像中灰度值为所述第一数值的像素点所构成的灰度区域图像;
确定所述第i+1帧图像中与所述灰度区域图像匹配的候选区域图像;
将所述第i+1帧图像中除所述候选区域图像之外的其它区域图像的像素点的像素值调整为所述第二数值;
将调整后的所述第i+1帧图像确定为所述第i+1帧图像对应的候选图像。
在一种可能的实施方式中,所述从确定的候选图像中截取目标区域图像,包括:
针对确定的候选图像中的第j个候选图像,j为正整数,执行第二处理过程;其中,所述第二处理过程,包括:
确定所述第j个候选图像中像素值不为第二数值的像素点;
从所述第j个候选图像中截取包含有像素值不为第二数值的像素点的至少一个目标区域图像;
所述基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息,包括:
基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息。
在一种可能的实施方式中,所述基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息,包括:
将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像;
基于所述拼接后的第j个候选图像、以及预先训练好的目标对象识别模型,确定所述拼接后的第j个候选图像中包括的目标对象信息。
在一种可能的实施方式中,所述将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像,包括:
计算所述至少一个目标区域图像中每个目标区域图像的面积;
将各个目标区域图像的面积按照由大到小的顺序排列;
基于得到的排序结果,将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像。
在一种可能的实施方式中,所述拼接后的第j个候选图像对应的目标对象信息包括以下信息中的至少一种:
所述拼接后的第j个候选图像中出现有目标对象的区域图像的标记信息;
每个出现有目标对象的区域图像映射到所述监控视频中第i+1帧图像上的坐标位置信息,所述第i+1帧图像为每个出现有目标对象的区域图像所在的原图像。
在一种可能的实施方式中,根据以下方式检测每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置信息:
以所述监控视频中对应的图像中第一选定像素点的坐标位置为基准坐标位置,确定每个出现有目标对象的区域图像中第二选定像素点的坐标位置与所述第一选定像素点之间的相对坐标距离;
基于所述相对坐标距离,对每个出现有目标对象的区域图像中各像素点的坐标位置进行调整;
将每个出现有目标对象的区域图像中调整后的各像素点的坐标位置,确定为每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置。
第二方面,本申请实施例提供了一种目标对象检测装置,包括:
获取模块,用于获取监控视频并确定所述监控视频中任意相邻两帧图像之间的像素信息差异度;
确定模块,用于基于所述任意相邻两帧图像之间的像素信息差异度,确定所述监控视频中所述像素信息差异度符合预设条件的候选图像;
检测模块,用于从确定的候选图像中截取目标区域图像,并基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息。
一种可能的设计中,所述确定模块,在确定所述监控视频中任意相邻两帧图像之间的像素信息差异度时,具体用于:
针对所述监控视频中第i帧图像和第i+1帧图像,i为正整数,执行第一处理过程;其中,所述第一处理过程包括:
将所述第i帧图像转化为第一灰度图像,以及,将所述第i+1帧图像转换为第二灰度图像;
将所述第二灰度图像和所述第一灰度图像的逐个像素点的灰度值分别相减之后,得到第三灰度图像;
基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
一种可能的设计中,所述确定模块,在基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度时,具体用于:
确定所述第三灰度图像中灰度值大于第一设定阈值的第一类像素点、以及灰度值不大于所述第一设定阈值的第二类像素点;
将所述第一类像素点的灰度值调整为第一数值,以及将所述第二类像素点的灰度值调整为第二数值之后,得到第四灰度图像;
根据所述第四灰度图像中灰度值为所述第一数值的像素点的个数,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
一种可能的设计中,所述确定模块,在确定所述监控视频中所述像素信息差异度符合预设条件的候选图像时,具体用于:
当确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度大于设定差异度阈值时,根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像。
一种可能的设计中,所述确定模块,在根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像时,具体用于:
确定所述第四灰度图像中灰度值为所述第一数值的像素点所构成的灰度区域图像;
确定所述第i+1帧图像中与所述灰度区域图像匹配的候选区域图像;
将所述第i+1帧图像中除所述候选区域图像之外的其它区域图像的像素点的像素值调整为所述第二数值;
将调整后的所述第i+1帧图像确定为所述第i+1帧图像对应的候选图像。
一种可能的设计中,所述检测模块,在从确定的候选图像中截取目标区域图像时,具体用于:
针对确定的候选图像中的第j个候选图像,j为正整数,执行第二处理过程;其中,所述第二处理过程,包括:
确定所述第j个候选图像中像素值不为第二数值的像素点;
从所述第j个候选图像中截取包含有像素值不为第二数值的像素点的至少一个目标区域图像;
所述检测模块,在基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息时,具体用于:
基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息。
一种可能的设计中,所述检测模块,在基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息时,具体用于:
将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像;
基于所述拼接后的第j个候选图像、以及预先训练好的目标对象识别模型,确定所述拼接后的第j个候选图像中包括的目标对象信息。
一种可能的设计中,所述检测模块,在将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像时,具体用于:
计算所述至少一个目标区域图像中每个目标区域图像的面积;
将各个目标区域图像的面积按照由大到小的顺序排列;
基于得到的排序结果,将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像。
一种可能的设计中,所述拼接后的第j个候选图像对应的目标对象信息包括以下信息中的至少一种:
所述拼接后的第j个候选图像中出现有目标对象的区域图像的标记信息;
每个出现有目标对象的区域图像映射到所述监控视频中第i+1帧图像上的坐标位置信息,所述第i+1帧图像为每个出现有目标对象的区域图像所在的原图像。
一种可能的设计中,所述检测模块,根据以下方式检测每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置信息:
以所述监控视频中对应的图像中第一选定像素点的坐标位置为基准坐标位置,确定每个出现有目标对象的区域图像中第二选定像素点的坐标位置与所述第一选定像素点之间的相对坐标距离;
基于所述相对坐标距离,对每个出现有目标对象的区域图像中各像素点的坐标位置进行调整;
将每个出现有目标对象的区域图像中调整后的各像素点的坐标位置,确定为每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中所述的目标对象检测方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中所述的目标对象检测方法的步骤。
本申请实施例提供的目标对象检测方法及装置,基于监控视频中任意相邻两帧图像之间的像素信息差异度,从监控视频中筛选出像素信息差异度符合预设条件的候选图像,然后基于从候选图像中截取的目标区域图像,确定候选图像中所包含的目标对象信息。通过上述方式,无需对监控视频的每一帧图像进行检测,便可以确定出目标对象信息,降低了目标对象检测过程中的计算量,提高了检测效率。
为使本申请实施例的上述目的、特征和优点能更明显易懂,下面将结合实施例,并配合所附附图,作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种目标对象检测方法的流程示意图;
图2示出了本申请实施例提供的第一处理过程执行流程图;
图3示出了本申请实施例提供的第三灰度图像的计算过程示例示意图;
图4示出了本申请实施例提供的第四灰度图像确定方法示例示意图;
图5示出了本申请实施例提供的候选图像确定方法的流程示意图;
图6示出了本申请实施例提供的候选图像确定示例图;
图7示出了本申请实施例提供的候选图像确定示例图;
图8示出了本申请实施例提供的第二处理过程执行流程图;
图9示出了本申请实施例提供的目标区域图像拼接方法流程示意图;
图10示出了本申请实施例提供的拼接后的第j个候选图像示意图;
图11示出了本申请实施例提供的坐标变换示意图;
图12示出了本申请实施例提供的目标对象检测方法的流程示意图;
图13示出了本申请实施例提供的目标对象识别模型的训练方法的流程示意图;
图14示出了本申请实施例提供的目标对象检测装置1400的架构示意图;
图15示出了本申请实施例提供的一种电子设备150的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。以下对本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先,对本申请可适用的应用场景进行介绍。本申请可以应用于在监测某个区域内可能出现的嫌疑人、以及统计在指定时间段内某个区域出现的行人或车辆等应用场景下。现有技术中,主要通过对监控视频中的每一帧图像进行检测,并且对每帧图像的每一个像素点进行分析,进而从监控视频中检测出目标对象。
一示例中,在监控视频中检测目标对象时,若目标对象距离采集监控视频的摄像头较远,目标对象在监控视频中较小,或者目标对象在监控视频中的分辨率较低,这时监控视频的图像中大部分区域是不包含目标对象的图像特征的,如果仍对每帧完整的图像进行检测分析,一是需要检测不包含目标对象的区域,导致计算量较大,另外,由于考虑到检测结果容易受到不包含目标对象的区域的图像特征的影响,也容易使得检测的准确率较低。
又一示例中,在若在监控视频中长时间未出现有目标对象的情况下,如在深夜高速公路的监控视频中,可能仅有少量的几个车辆在某个监控时段内出现在监控视频中,但是现有的检测技术中,仍旧是对监控视频的全部监控时段内的每一帧图像进行检测,此时对很多帧图像的检测是不必要的,由此也造成了不必要的计算量。
值得注意的是,目标对象在监控视频中占的面积较小,目标对象在监控视频中的分辨率较低,或者监控视频中长时间未出现有目标对象的情况下,现有技术采用对监控视频的每一帧图像以及每一帧图像的每一个像素点进行检测,这种方式会增加不必要的计算量,且检测效率和准确率较低。
针对上述问题,本申请提供了一种目标对象检测方法及装置,基于监控视频中任意相邻两帧图像之间的像素信息差异度,从监控视频中筛选出像素信息差异度符合预设条件的候选图像,然后基于从候选图像中截取的目标区域图像,确定候选图像中所包含的目标对象信息。通过上述方式,无需对监控视频的每一帧图像进行检测,也无需对每一帧图像中的全部像素点进行分析,便可以确定出目标对象信息,可以降低目标对象检测过程中的计算量,并能够提高检测效率和准确率。
下面,结合具体实施例对本申请提供的目标对象检测方法及装置进行详细说明。
实施例一
参见图1所示,为本申请实施例提供的一种目标对象检测方法的流程示意图,包括以下步骤:
步骤101、获取监控视频并确定监控视频中任意相邻两帧图像之间的像素信息差异度。
其中,像素信息差异度可以理解为两帧图像之间像素信息的差异,在监控视频中相邻两帧图像中的像素信息发生变化时,相邻两帧图像之间的像素信息差异度不为零。
例如,若在监控视频所监控的某区域一直未出现运动的对象,监控视频中每帧图像监控的画面都是相同的,比如深夜对某个小区门口的监控视频,这种情况下,监控视频中相邻两帧图像的像素信息并未发生变化,因此,对应的像素信息差异度为零;反之,而在监控视频所监控的某区域中出现了运动的对象,那么监控视频中存在监控的画面不相同的图像,这种情况下这类相邻两帧图像之间的像素信息发生变化,因此,对应的像素信息差异度不为零。
步骤102、基于任意相邻两帧图像之间的像素信息差异度,确定监控视频中像素信息差异度符合预设条件的候选图像。
具体实施中,预设条件可以为当前帧图像与上一帧图像之间的像素信息差异度大于设定差异度阈值,当当前帧图像满足上述条件时,可以基于当前帧图像,确定当前帧图像的候选图像;而当当前帧图像与上一帧图像之间的像素信息差异度不大于设定差异度阈值时,说明当前帧图像中并不包含运动的对象,因此将不在执行步骤102之后的步骤。
其中,考虑到像素信息差异度是根据任意相连两帧图像之间的像素信息的差异得到的,当当前帧图像满足预设条件时,说明当前帧图像与上一帧图像之间的像素信息差异较大,因此,当前帧图像为可能有目标对象出现的图像。
然而,考虑到一些环境因素的干扰,如当监控视频中包含树叶时,而在外部环境中因为风力干扰,吹动了树叶,则在监控视频的相邻帧图像中所包含的树叶的部分的像素信息可能会发生变化,但此时,当前帧图像中并不包含目标对象,却可能确定当前帧图像为像素信息差异度符合预设条件的候选图像,因此,还可以对候选图像进行进一步处理,以便准确识别出监控视频中出现有目标对象的图像。
步骤103、从确定的候选图像中截取目标区域图像,并基于截取的目标区域图像,检测确定的候选图像中包括的目标对象信息。
本申请实施例中,根据像素信息差异度确定出候选图像后,为了精确地对像素信息发生变化的局部图像进行检测,可以从候选图像中截取目标区域图像。
例如图像A为当前帧图像,图像B为当前帧图像的前一帧图像,图像A和图像B均由1、2、3、4个区域图像组成,A图像和B图像之间的像素差异度满足预设条件,可以确定图像A对应的候选图像;但是如果只有图像A的1区域和B图像的1区域之间的像素信息差异较大,可以说明A图像的1区域可能存在有目标对象,那么在对图像A对应的候选图像进行检测时,可以截取出A图像的1区域作为目标区域图像。
具体的,从候选图像中截取目标区域图像的方法将在实施例二中展开说明,在此将暂不展开说明。
进一步地,从候选图像中截取目标区域图像后,可以基于截取的目标区域图像,检测确定的候选图像中包括的目标对象信息,例如可以将目标区域图像输入至预先训练好的目标对象识别模型中,以识别出候选图像中包括的目标对象信息,具体的方法将在实施例二中展开说明,在此暂不详细展开说明。
本申请实施例提供的目标对象检测方法,基于监控视频中任意相邻两帧图像之间的像素信息差异度,从监控视频中筛选出像素信息差异度符合预设条件的候选图像,然后基于从候选图像中截取的目标区域图像,确定候选图像中所包含的目标对象信息。通过上述方式,无需对监控视频的每一帧图像进行检测,也无需对每一帧图像中的全部像素点进行分析,便可以确定出目标对象信息,降低了目标对象检测过程中的计算量,提高了检测效率。
实施例二
结合实施例一所述的目标对象检测过程,下面对实施例一中所提供的目标对象检测方法进行具体介绍。
具体实施中,在确定监控视频中任意两帧图像之间的像素信息差异度时,以监控视频中第i帧图像和第i+1帧图像为例,i为正整数,执行第一处理过程,其中,第一处理过程的执行步骤可以参照图2所示的第一处理过程执行流程图,包括以下步骤:
步骤201、将第i帧图像转化为第一灰度图像,以及,将第i+1帧图像转换为第二灰度图像。
一种可能的实施方式中,在监控视频中每帧图像都是彩色图像的情况下,可以将第i帧图像转化为第一灰度图像,将第i+1帧图像转换为第二灰度图像,以便通过对比第i帧图像和第i+1帧图像之间的灰度值的差异来确定像素信息差异度。
步骤202、将第二灰度图像和第一灰度图像的逐个像素点的灰度值分别相减之后,得到第三灰度图像。
具体实施中,第一灰度图像和第二灰度图像来源于同一监控视频,因此,第一灰度图像和第二灰度图像的图像大小和分辨率是相同的,设第一灰度图像和第二灰度图像均包含M*N个像素点,则可以将两张图像中同一位置的两个像素点的灰度值进行相减,相减之后得到第三灰度图像。
例如,图3所示的第三灰度图像的计算过程示例示意图,图3中图像1为第一灰度图像,包含9个像素点,图像中的数字表示第一灰度图像中每个像素点的灰度值,图像2为第二灰度图像,包含9个像素点,图像中的数字表示第二灰度图像的每个像素点的灰度值,图像3为将第一灰度图像和第二灰度图像进行相减之后,得到的第三灰度图像,第三灰度图像包含9个像素点,图像中的数字表示第三灰度图像的每个像素点的灰度值。
步骤203、基于第三灰度图像,确定第i+1帧图像和第i帧图像之间的像素信息差异度。
一示例中,可以首先对第三灰度图像进行二值化处理,得到二值化处理的第四灰度图像。
具体的,可以将第三灰度图像中灰度值大于第一设定阈值的像素点确定为第一类像素点,将第三灰度图像中灰度值不大于第一设定阈值的像素点确定为第二类像素点;然后将第一类像素点的灰度值调整为第一数值,将第二类像素点的灰度值调整为第二数值,得到第四灰度图像;最后根据第四灰度图像中灰度值为第一数值的像素点的个数,确定第i+1帧图像和第i帧图像之间的像素信息差异度。其中,第一数值与第二数值不相等。
例如,图4所示的为第四灰度图像确定方法示例示意图,图像4为第三图像,图像4包含9个像素点,其中图像4上的数值表示每个数值对应的像素点的灰度值。设第一设定阈值为5,则图像5为将第三图像的每个像素点所确定的像素类型,图像5中的“1”表示该像素点为第一类像素点,图像5中的“2”表示该像素点为第二类像素点。
示例性的,第一数值可以为0,第二数值可以为255,则将图4中图像4可以转换为图像6,其中,第一数值可以为0,第二数值可以为255,则转换后的图像6为二值图像,实际应用中,也可以调整为非二值图像,本申请对此并不限定。
具体实施中,在经过调整灰度值得到第四灰度图像后,考虑到可能会有部分图像中的像素点的像素信息发生变化,但是经过计算转化后,并未在第四灰度图像中以正确的像素值进行显示,此时,需要对第四灰度图像进行细化处理,例如可以对第四灰度图像进行膨胀运算、腐蚀运算、开运算、以及闭运算等,使得第四灰度图像转化为边缘清晰,图像中间没有空洞的灰度图像。具体的,膨胀运算、腐蚀运算、开运算、以及闭运算的处理过程将不再展开说明。
一种可能的实施方式中,在根据第四灰度图像中灰度值为第一数值的像素点的个数,确定第i+1帧图像和第i帧图像之间的像素信息差异度时,例如可以将灰度值为第一数值的像素点的个数与整个图像中像素点的个数之间的比值作为像素信息差异度,或者直接将灰度值为第一数值的像素点的个数作为像素信息差异度。
在计算出监控视频中任意相邻两帧图像之间的像素信息差异度之后,还可以基于任意相邻两帧图像之间的像素信息差异度,确定监控视频中像素信息差异度符合预设条件的候选图像,具体的,可以当确定第i+1帧图像和第i帧图像之间的像素信息差异度大于设定差异度阈值时,根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像。
一示例中,确定第i+1帧图像对应的候选图像的方式,可以参照如图5所示的候选图像确定方法的流程示意图,包括以下步骤:
步骤501、确定第四灰度图像中灰度值为第一数值的像素点所构成的灰度区域图像。
因为第四灰度图像中像素点的灰度值有两个取值:第一数值和第二数值,灰度值为第一数值的像素点为与前一帧像素点之间的灰度值之差大于第一设定阈值的像素点,灰度值为第二数值的像素点为与前一帧像素点之间的灰度值之差不大于第一设定阈值的像素点,通过确定灰度区域图像,可以确定出当前帧图像和前一帧图像之间灰度值之差不大于第一设定阈值的图像区域。
步骤502、确定第i+1帧图像中与灰度区域图像匹配的候选区域图像。
一种可能的实施方式中,可以首先确定灰度区域图像在第四灰度图像中的坐标位置,然后,基于确定的坐标位置,确定出第i+1帧图像中符合确定的坐标位置的区域图像,将符合确定的坐标位置的区域图像作为候选区域图像。
步骤503、将第i+1帧图像中除候选区域图像之外的其它区域图像的像素点的像素值调整为第二数值。
一示例中,第二数值例如为255。经过上述处理,可以将第i+1帧图像中除候选区域图像之外的其它图像区域调整成白色区域,而仅保留第i+1帧图像中候选区域图像的像素信息。
步骤504、将调整后的第i+1帧图像确定为第i+1帧图像对应的候选图像。
一示例中,如图6所示,图6中图像A表示第四灰度图像,其中,第一数值为0,第二数值为255,图像B表示第i+1帧图像,图像C表示候选图像,图像A中黑色区域表示灰度值为0的灰度区域图像,图像B中白色线条所框的部分表示第i+1帧图像中与灰度区域图像匹配的图像,在将第i+1帧图像中除候选区域图像之外的其他区域图像的像素点的像素值调整为第二数值(即255)之后,得到图像C所示的候选图像。
考虑到,第四灰度图像中灰度区域图像可能不止一部分,如图7所示,图7的图像A中的两部分黑色区域表示第四图像的灰度区域图像,则在图像B所表示的第i+1帧图像中有两部分区域与图像A中的灰度区域图像匹配,进而可以得到图像C所示的包含有两部分目标区域图像的候选图像。
通过上述方式确定出候选图像中的目标区域图像之后,可以从候选图像中将目标区域图像截取出来,然后对目标区域图像进行识别,从而省去对整个候选区域图像进行识别的过程,减少计算量。
具体实施中,针对确定的候选图像中的第j个候选图像,j为正整数,执行第二处理过程,以从候选图像中截取出目标区域图像。
其中,第二处理过程可以如图8所示,包括以下步骤:
步骤801、确定第j个候选图像中像素值不为第二数值的像素点;
步骤802、从第j个候选图像中截取包含有像素值不为第二数值的像素点的至少一个目标区域图像。
进一步地,在基于截取的目标区域图像,检测确定的候选图像中是否包括目标对象信息时,可以基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息。
一种可能的实施方式中,可以将至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像;然后基于拼接后的第j个候选图像、以及预先训练好的目标对象识别模型,确定所述拼接后的第j个候选图像中包括的目标对象信息。
上述目标对象信息可以包括以下信息中的至少一种:
(1)、拼接后的第j个候选图像中出现有目标对象的区域图像的标记信息,例如可以在目标区域图像中对出现有目标对象的区域图像使用矩形框进行标记;
(2)、每个出现有目标对象的区域图像映射到监控视频中第i+1帧图像上的坐标位置信息,第i+1帧图像为每个出现有目标对象的区域图像所在的原图像。
示例性的,在对至少一个目标区域图像进行拼接时,可以参照如图9所示的目标区域图像拼接方法,包括以下步骤:
步骤901、计算至少一个目标区域图像中每个目标区域图像的面积。
步骤902、将各个目标区域图像的面积按照由大到小的顺序排列。
步骤903、基于得到的排序结果,将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像。
具体拼接时,可以按照面积最小的原则,拼接至少一个目标区域图像,得到拼接后的第j个候选图像。例如,可以在将至少一个目标区域按照由大到小的顺序进行排序后,利用二叉树的数据结构方式进行拼接,得到如图10所示的拼接后的第j个候选图像。
进一步地,可以将拼接后的第j个候选图像输入至预先训练好的目标对象识别模型中,目标对象识别模型可以对拼接后的第j个候选图像进行目标对象信息识别,并利用矩形框标记出出现有目标对象的区域图像等。
在另外一种可能的实施方式中,还可以调整目标区域图像的图像为相同尺寸的图像,然后将调整尺寸后的目标区域图像依次输入至目标对象识别模型中,目标对象识别模型在对每次输入的目标区域图像进行识别后,若检测到目标对象信息,可以对此次输入的目标区域图像进行标注。
具体的,目标对象识别模型可以为卷积神经网络(Convolutional NeuralNetworks,CNN)模型或循环神经网络(Recurrent Neural Network,RNN)模型,目标对象识别模型的训练方法将在实施例四中详细说明,在此暂不展开介绍。
本申请实施例中,在得到带有标注的目标对象区域图像之后,可以基于带有标注的目标对象区域图像,确定目标对象在监控视频第i+1帧图像上的位置坐标位置信息。
在一种可能的实施方式中,可以以监控视频中对应的图像中第一选定像素点的坐标位置为基准坐标位置,确定每个出现有目标对象的区域图像中第二选定像素点的坐标位置与第一选定像素点之间的相对坐标距离;然后基于相对坐标距离,对每个出现有目标对象的区域图像中各像素点的坐标位置进行调整;再将每个出现有目标对象的区域图像中调整后的各像素点的坐标位置,确定为每个出现有目标对象的区域图像映射到监控视频中对应的图像上的坐标位置。
如图11所示的坐标变换示意图,右侧灰色区域表示目标区域图像,左侧第i+1帧图像为目标区域图像所映射到的监控视频中对应的图像。
以第一选定像素点为第i+1帧图像中左上角的O点为例,以O点为原点在第i+1帧图像上建立第一坐标系,那么O点在第一坐标系中的位置为(0,0),其中,目标区域图像中左上角的A点在第一坐标系上的坐标位置为(x0,y0)。
以第二选定像素点为目标区域图像中左上角的A’点为例,以A’为原点在目标区域图像上建立第二坐标系,那么A’点在第二坐标系中的位置为(0,0)。
由于A’点与A点对应的是相同的像素点,所以可以确定出O点与A点之间的相对坐标距离,即为O点与A’点之间的相对坐标距离,由此可以确定出相对坐标距离为(x0,y0)。
进一步地,假设对候选图像进行检测后,确定图11所示的目标区域图像中的B’(x,y)点为出现有目标对象的区域图像中的某个像素点,那么在将B’点映射到第i+1帧图像上之后,所得到的B点在第i+1帧图像上的坐标位置为(x+x0,y+y0)。
在一种可能的实施方式中,在目标区域图像中检测出目标对象信息后,可以用方框的形式对目标区域图像中包含的目标对象进行标注,则可以确定标注目标对象的方框的四个顶点在目标区域图像中的坐标,然后可以根据目标区域图像的坐标位置与视频帧图像的坐标位置的对应关系,确定标注目标对象的方框的四个顶点在视频帧图像中的坐标,在视频帧图像中对目标对象进行标注,进而在视频帧图像中确定目标对象的位置。这里,视频帧图像即为目标区域图像所映射到的监控视频中对应的图像。
本申请实施例的方法,通过将当前视频帧图像和前一视频帧图像转化为灰度图像,然后利用逐个像素点之间灰度值之差,确定第三灰度图像,然后将第三灰度图像中,灰度值大于第一设定阈值的像素点的灰度值调整为第一数值,将灰度值不大于第一设定阈值的像素点的灰度值调整为第二数值,由此,确定第四灰度图像;然后,基于第四灰度图像和当前视频帧图像,确定候选图像;进一步的,从候选图像中截取至少一个目标区域图像,并对至少一个目标区域图像进行拼接;最后,基于拼接后的图像和目标对象识别模型,确定候选图像中包含的目标对象信息。通过这种方法,并不是对监控视频中的全部图像进行检测,而是对像素信息发生较大变化的图像的部分区域图像进行检测,减少了目标对象信息中的计算量;在确定候选图像后,截取目标区域图像,并对目标区域图像进行拼接,然后基于目标对象识别模型对拼接后的图像进行识别,也可以进一步提高检测的效率和准确率。
实施例三
本申请实施例中,将对实施例一提供的目标对象检测方法,结合实施例二,以监控视频中的第i帧和第i+1帧图像为例,对上述方法进行说明,如图12所包括以下步骤:
步骤1201、根据第i帧图像和第i+1帧图像,确定第三灰度图像。
具体的,可以将第i帧图像转换为第一灰度图像,将第i+1帧图像转化为第二灰度图像,然后将第一灰度图像和第二灰度图像的逐个像素点的灰度值进行相减之后,得到第三灰度图像。
步骤1202、调整第三灰度图像中每一个像素点的灰度值,并将调整后的图像确定为第四灰度图像。
一种可能的实施方式中,可以将第三灰度图像中灰度值大于第一设定阈值的点的灰度值调整为第一数值,将第三灰度图像中灰度值不大于第一设定阈值的点的灰度值调整为第二数值。因此,第四灰度图像中所包含的像素点的灰度值有两种可能的值:第一数值和第二数值。
步骤1203、根据第四灰度图像,确定第i+1帧图像和第i帧图像之间的像素信息差异度。
本申请一示例中,可以根据第四灰度图像中第一数值的像素点的个数在第i+1帧图像上的占比,作为像素信息差异度。
步骤1204、根据像素信息差异度,确定第i+1帧图像的候选图像。
具体实施中,当像素信息差异度大于设定差异度阈值时,确定第四灰度图像中灰度值为第一数值的像素点所构成的灰度区域图像;然后确定第i+1帧图像中与灰度区域图像相匹配的候选区域图像;在将第i+1帧图像中除候选区域图像之外的其他区域图像的像素点的像素值调整为第二数值,并将调整后的第i+1帧图像确定为第i+1帧图像对应的候选图像。
步骤1205、从候选图像中截取目标区域图像。
在一种那可能的实施方式中,从第i+1帧图像的候选图像中截取包含有像素值不为第二数值的像素点,并将这些像素点所构成的图像确定为目标区域图像,其中,确定的目标区域图像可以为至少一个。
步骤1206、基于目标区域图像,检测候选图像中包括的目标对象信息。
一示例中,可以先将截取的至少一个目标区域图像进行拼接,然后将拼接后的图像输入至预先训练好的目标对象识别模型中,对包含有目标对象的目标区域图像进行标注。
在得到带有标注的目标区域图像后,可以先确定候选图像中第一选定像素点的坐标位置为基准坐标位置,然后确定目标区域图像的第二选定像素点的坐标位置与第一选定像素点之间的相对坐标距离,再基于相对距离坐标,对目标区域图像中有目标对象出现的区域图像中的像素点的位置坐标进行调整,最后,将每个出现有目标对象的区域图像中调整后的各像素点的坐标位置,确定为每个出现有目标对象的区域图像映射到监控视频的第i+1帧图像中的坐标位置。
通过这种方法,并不是对监控视频中的全部图像进行检测,而是对像素信息发生较大变化的图像的部分区域图像进行检测,减少了目标对象信息中的计算量;在确定候选图像后,截取目标区域图像,并对目标区域图像进行拼接,然后基于目标对象识别模型对拼接后的图像进行识别,也可以进一步提高检测的效率和准确率。
实施例四
在本申请实施例四中,将对目标对象识别模型的训练过程进行详细介绍,如图13所示的目标对象识别模型的训练方法的流程示意图,包括以下步骤:
步骤1301、获取目标对象识别模型的训练样本图像集合和验证样本图像集合。
具体的,训练样本图像集合可以为包含目标对象的图像,其中,目标可以为至少一个目标对象。例如,训练样本图像集合可以为包含目标对象A的图像、包含目标对象B的图像、包含目标对象C的图像、包含目标对象D的图像的集合。验证样本图像集合为训练样本图像集合中包含的每一个样本图像经过目标对象信息标注的样本图像的集合。
步骤1302、将训练样本图像集合中的每个样本图像依次输入至目标识别模型中,得到训练样本图像集合的训练结果。
步骤1303、基于训练样本图像集合的训练结果和验证样本图像集合,确定目标对象识别模型的准确率。
步骤1304、判断准确率是否大于预设准确率。
若判断结果为是,则执行步骤1305;
若判断结果为否,则执行步骤1306。
步骤1305、确定目标对象识别模型训练完成。
步骤1306、调整目标对象识别模型的模型参数,然后返回执行步骤1301,继续训练目标对象识别模型,直至确定目标对象识别模型的训练结果的准确率大于预设准确率。
采用上述实施例,通过目标区域图像、以及预先训练的目标对象识别模型,可以识别出目标区域图像所包括的目标对象,避免了对图像的每一个像素点的识别,提高了目标对象识别的效率。
实施例五
参见图14所示,为本申请实施例提供的一种目标对象检测装置1400的架构示意图,包括获取模块1401、确定模块1402、以及检测模块1403,具体的:
获取模块1401,用于获取监控视频并确定所述监控视频中任意相邻两帧图像之间的像素信息差异度;
确定模块1402,用于基于所述任意相邻两帧图像之间的像素信息差异度,确定所述监控视频中所述像素信息差异度符合预设条件的候选图像;
检测模块1403,用于从确定的候选图像中截取目标区域图像,并基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息。
一种可能的设计中,确定模块1402,在确定所述监控视频中任意相邻两帧图像之间的像素信息差异度时,具体用于:
针对所述监控视频中第i帧图像和第i+1帧图像,i为正整数,执行第一处理过程;其中,所述第一处理过程包括:
将所述第i帧图像转化为第一灰度图像,以及,将所述第i+1帧图像转换为第二灰度图像;
将所述第二灰度图像和所述第一灰度图像的逐个像素点的灰度值分别相减之后,得到第三灰度图像;
基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
一种可能的设计中,确定模块1402,在基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度时,具体用于:
确定所述第三灰度图像中灰度值大于第一设定阈值的第一类像素点、以及灰度值不大于所述第一设定阈值的第二类像素点;
将所述第一类像素点的灰度值调整为第一数值,以及将所述第二类像素点的灰度值调整为第二数值之后,得到第四灰度图像;
根据所述第四灰度图像中灰度值为所述第一数值的像素点的个数,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
一种可能的设计中,确定模块1402,在确定所述监控视频中所述像素信息差异度符合预设条件的候选图像时,具体用于:
当确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度大于设定差异度阈值时,根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像。
一种可能的设计中,确定模块1402,在根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像时,具体用于:
确定所述第四灰度图像中灰度值为所述第一数值的像素点所构成的灰度区域图像;
确定所述第i+1帧图像中与所述灰度区域图像匹配的候选区域图像;
将所述第i+1帧图像中除所述候选区域图像之外的其它区域图像的像素点的像素值调整为所述第二数值;
将调整后的所述第i+1帧图像确定为所述第i+1帧图像对应的候选图像。
一种可能的设计中,检测模块1403,在从确定的候选图像中截取目标区域图像时,具体用于:
针对确定的候选图像中的第j个候选图像,j为正整数,执行第二处理过程;其中,所述第二处理过程,包括:
确定所述第j个候选图像中像素值不为第二数值的像素点;
从所述第j个候选图像中截取包含有像素值不为第二数值的像素点的至少一个目标区域图像;
检测模块1403,在基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息时,具体用于:
基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息。
一种可能的设计中,检测模块1403,在基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息时,具体用于:
将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像;
基于所述拼接后的第j个候选图像、以及预先训练好的目标对象识别模型,确定所述拼接后的第j个候选图像中包括的目标对象信息。
一种可能的设计中,检测模块1403,在将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像时,具体用于:
计算所述至少一个目标区域图像中每个目标区域图像的面积;
将各个目标区域图像的面积按照由大到小的顺序排列;
以排列在首位的目标区域图像作为基准区域图像,依次将排列在首位之后的目标区域图像拼接在所述基准区域图像的左侧和右侧,得到拼接后的第j个候选图像。
一种可能的设计中,拼接后的第j个候选图像对应的目标对象信息包括以下信息中的至少一种:
所述拼接后的第j个候选图像中出现有目标对象的区域图像的标记信息;
每个出现有目标对象的区域图像映射到所述监控视频中第i+1帧图像上的坐标位置信息,所述第i+1帧图像为每个出现有目标对象的区域图像所在的原图像。
一种可能的设计中,检测模块1403,根据以下方式检测每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置信息:
以所述监控视频中对应的图像中第一选定像素点的坐标位置为基准坐标位置,确定每个出现有目标对象的区域图像中第二选定像素点的坐标位置与所述第一选定像素点之间的相对坐标距离;
基于所述相对坐标距离,对每个出现有目标对象的区域图像中各像素点的坐标位置进行调整;
将每个出现有目标对象的区域图像中调整后的各像素点的坐标位置,确定为每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置。
本申请实施例提供的目标对象检测装置,基于监控视频中任意相邻两帧图像之间的像素信息差异度,从监控视频中筛选出像素信息差异度符合预设条件的候选图像,然后基于从候选图像中截取的目标区域图像,确定候选图像中所包含的目标对象信息。通过上述方式,无需对监控视频的每一帧图像进行检测,也无需对每一帧图像中的全部像素点进行分析,便可以确定出目标对象信息,降低了目标对象检测过程中的计算量,提高了检测效率。
实施例六
基于同一技术构思,本申请实施例还提供了一种电子设备。参照图15所示,为本申请实施例提供的电子设备150的结构示意图,包括处理器151、存储器152、和总线153。其中,存储器152用于存储执行指令,包括内存1521和外部存储器1522;这里的内存1521也称内存储器,用于暂时存放处理器151中的运算数据,以及与硬盘等外部存储器1522交换的数据,处理器151通过内存1521与外部存储器1522进行数据交换,当计算机设备150运行时,处理器151与存储器152之间通过总线153通信,使得处理器151在执行以下指令:
获取监控视频并确定所述监控视频中任意相邻两帧图像之间的像素信息差异度;
基于所述任意相邻两帧图像之间的像素信息差异度,确定所述监控视频中所述像素信息差异度符合预设条件的候选图像;
从确定的候选图像中截取目标区域图像,并基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息。
其中,处理器151的具体处理流程可以参照上述方法实施例的记载,这里不再赘述。
基于相同的技术构思,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述目标对象检测方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述目标对象检测方法,以减少目标对象检测过程中的计算量,提高目标对象的检测效率。
基于相同的技术构思,本申请实施例还提供了一种计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行上述目标对象检测方法的步骤,具体实现可参见上述方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (22)
1.一种目标对象检测方法,其特征在于,包括:
获取监控视频并确定所述监控视频中任意相邻两帧图像之间的像素信息差异度;
基于所述任意相邻两帧图像之间的像素信息差异度,确定所述监控视频中所述像素信息差异度符合预设条件的候选图像;
从确定的候选图像中截取目标区域图像,并基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息。
2.如权利要求1所述的方法,其特征在于,所述确定所述监控视频中任意相邻两帧图像之间的像素信息差异度,包括:
针对所述监控视频中第i帧图像和第i+1帧图像,i为正整数,执行第一处理过程;其中,所述第一处理过程包括:
将所述第i帧图像转化为第一灰度图像,以及,将所述第i+1帧图像转换为第二灰度图像;
将所述第二灰度图像和所述第一灰度图像的逐个像素点的灰度值分别相减之后,得到第三灰度图像;
基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
3.如权利要求2所述的方法,其特征在于,所述基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度,包括:
确定所述第三灰度图像中灰度值大于第一设定阈值的第一类像素点、以及灰度值不大于所述第一设定阈值的第二类像素点;
将所述第一类像素点的灰度值调整为第一数值,以及将所述第二类像素点的灰度值调整为第二数值之后,得到第四灰度图像;
根据所述第四灰度图像中灰度值为所述第一数值的像素点的个数,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
4.如权利要求3所述的方法,其特征在于,所述确定所述监控视频中所述像素信息差异度符合预设条件的候选图像,包括:
当确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度大于设定差异度阈值时,根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像。
5.如权利要求4所述的方法,其特征在于,所述根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像,包括:
确定所述第四灰度图像中灰度值为所述第一数值的像素点所构成的灰度区域图像;
确定所述第i+1帧图像中与所述灰度区域图像匹配的候选区域图像;
将所述第i+1帧图像中除所述候选区域图像之外的其它区域图像的像素点的像素值调整为所述第二数值;
将调整后的所述第i+1帧图像确定为所述第i+1帧图像对应的候选图像。
6.如权利要求1至5任一所述的方法,其特征在于,所述从确定的候选图像中截取目标区域图像,包括:
针对确定的候选图像中的第j个候选图像,j为正整数,执行第二处理过程;其中,所述第二处理过程,包括:
确定所述第j个候选图像中像素值不为第二数值的像素点;
从所述第j个候选图像中截取包含有像素值不为第二数值的像素点的至少一个目标区域图像;
所述基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息,包括:
基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息。
7.如权利要求6所述的方法,其特征在于,所述基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息,包括:
将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像;
基于所述拼接后的第j个候选图像、以及预先训练好的目标对象识别模型,确定所述拼接后的第j个候选图像中包括的目标对象信息。
8.如权利要求7所述的方法,其特征在于,所述将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像,包括:
计算所述至少一个目标区域图像中每个目标区域图像的面积;
将各个目标区域图像的面积按照由大到小的顺序排列;
基于得到的排序结果,将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像。
9.如权利要求7所述的方法,其特征在于,所述拼接后的第j个候选图像对应的目标对象信息包括以下信息中的至少一种:
所述拼接后的第j个候选图像中出现有目标对象的区域图像的标记信息;
每个出现有目标对象的区域图像映射到所述监控视频中第i+1帧图像上的坐标位置信息,所述第i+1帧图像为每个出现有目标对象的区域图像所在的原图像。
10.如权利要求9所述的方法,其特征在于,根据以下方式检测每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置信息:
以所述监控视频中对应的图像中第一选定像素点的坐标位置为基准坐标位置,确定每个出现有目标对象的区域图像中第二选定像素点的坐标位置与所述第一选定像素点之间的相对坐标距离;
基于所述相对坐标距离,对每个出现有目标对象的区域图像中各像素点的坐标位置进行调整;
将每个出现有目标对象的区域图像中调整后的各像素点的坐标位置,确定为每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置。
11.一种目标对象检测装置,其特征在于,包括:
获取模块,用于获取监控视频并确定所述监控视频中任意相邻两帧图像之间的像素信息差异度;
确定模块,用于基于所述任意相邻两帧图像之间的像素信息差异度,确定所述监控视频中所述像素信息差异度符合预设条件的候选图像;
检测模块,用于从确定的候选图像中截取目标区域图像,并基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息。
12.如权利要求11所述的装置,其特征在于,所述确定模块,在确定所述监控视频中任意相邻两帧图像之间的像素信息差异度时,具体用于:
针对所述监控视频中第i帧图像和第i+1帧图像,i为正整数,执行第一处理过程;其中,所述第一处理过程包括:
将所述第i帧图像转化为第一灰度图像,以及,将所述第i+1帧图像转换为第二灰度图像;
将所述第二灰度图像和所述第一灰度图像的逐个像素点的灰度值分别相减之后,得到第三灰度图像;
基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
13.如权利要求12所述的装置,其特征在于,所述确定模块,在基于所述第三灰度图像,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度时,具体用于:
确定所述第三灰度图像中灰度值大于第一设定阈值的第一类像素点、以及灰度值不大于所述第一设定阈值的第二类像素点;
将所述第一类像素点的灰度值调整为第一数值,以及将所述第二类像素点的灰度值调整为第二数值之后,得到第四灰度图像;
根据所述第四灰度图像中灰度值为所述第一数值的像素点的个数,确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度。
14.如权利要求13所述的装置,其特征在于,所述确定模块,在确定所述监控视频中所述像素信息差异度符合预设条件的候选图像时,具体用于:
当确定所述第i+1帧图像和所述第i帧图像之间的像素信息差异度大于设定差异度阈值时,根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像。
15.如权利要求14所述的装置,其特征在于,所述确定模块,在根据所述第i+1帧图像和所述第四灰度图像,确定所述第i+1帧图像对应的候选图像时,具体用于:
确定所述第四灰度图像中灰度值为所述第一数值的像素点所构成的灰度区域图像;
确定所述第i+1帧图像中与所述灰度区域图像匹配的候选区域图像;
将所述第i+1帧图像中除所述候选区域图像之外的其它区域图像的像素点的像素值调整为所述第二数值;
将调整后的所述第i+1帧图像确定为所述第i+1帧图像对应的候选图像。
16.如权利要求11至15任一所述的装置,其特征在于,所述检测模块,在从确定的候选图像中截取目标区域图像时,具体用于:
针对确定的候选图像中的第j个候选图像,j为正整数,执行第二处理过程;其中,所述第二处理过程,包括:
确定所述第j个候选图像中像素值不为第二数值的像素点;
从所述第j个候选图像中截取包含有像素值不为第二数值的像素点的至少一个目标区域图像;
所述检测模块,在基于截取的目标区域图像,检测所述确定的候选图像中包括的目标对象信息时,具体用于:
基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息。
17.如权利要求16所述的装置,其特征在于,所述检测模块,在基于所述第j个候选图像中截取的至少一个目标区域图像、以及预先训练好的目标对象识别模型,确定所述第j个候选图像中包括的目标对象信息时,具体用于:
将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像;
基于所述拼接后的第j个候选图像、以及预先训练好的目标对象识别模型,确定所述拼接后的第j个候选图像中包括的目标对象信息。
18.如权利要求17所述的装置,其特征在于,所述检测模块,在将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像时,具体用于:
计算所述至少一个目标区域图像中每个目标区域图像的面积;
将各个目标区域图像的面积按照由大到小的顺序排列;
基于得到的排序结果,将所述至少一个目标区域图像进行拼接,得到拼接后的第j个候选图像。
19.如权利要求17所述的装置,其特征在于,所述拼接后的第j个候选图像对应的目标对象信息包括以下信息中的至少一种:
所述拼接后的第j个候选图像中出现有目标对象的区域图像的标记信息;
每个出现有目标对象的区域图像映射到所述监控视频中第i+1帧图像上的坐标位置信息,所述第i+1帧图像为每个出现有目标对象的区域图像所在的原图像。
20.如权利要求19所述的装置,其特征在于,所述检测模块,根据以下方式检测每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置信息:
以所述监控视频中对应的图像中第一选定像素点的坐标位置为基准坐标位置,确定每个出现有目标对象的区域图像中第二选定像素点的坐标位置与所述第一选定像素点之间的相对坐标距离;
基于所述相对坐标距离,对每个出现有目标对象的区域图像中各像素点的坐标位置进行调整;
将每个出现有目标对象的区域图像中调整后的各像素点的坐标位置,确定为每个出现有目标对象的区域图像映射到所述监控视频中对应的图像上的坐标位置。
21.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至10任一所述的目标对象检测方法的步骤。
22.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一所述的目标对象检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811528536.5A CN111325769B (zh) | 2018-12-13 | 2018-12-13 | 一种目标对象检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811528536.5A CN111325769B (zh) | 2018-12-13 | 2018-12-13 | 一种目标对象检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111325769A true CN111325769A (zh) | 2020-06-23 |
CN111325769B CN111325769B (zh) | 2023-12-08 |
Family
ID=71172261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811528536.5A Active CN111325769B (zh) | 2018-12-13 | 2018-12-13 | 一种目标对象检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111325769B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052844A (zh) * | 2021-06-01 | 2021-06-29 | 天津御锦人工智能医疗科技有限公司 | 肠道内窥镜观察视频中图像的处理方法、装置及存储介质 |
CN113223043A (zh) * | 2021-03-26 | 2021-08-06 | 西安闻泰信息技术有限公司 | 一种移动目标的检测方法、装置、设备及介质 |
CN113361458A (zh) * | 2021-06-29 | 2021-09-07 | 北京百度网讯科技有限公司 | 基于视频的目标对象识别方法、装置、车辆及路侧设备 |
CN113505760A (zh) * | 2021-09-08 | 2021-10-15 | 科大讯飞(苏州)科技有限公司 | 目标检测方法、装置、相关设备及计算机可读存储介质 |
CN113596573A (zh) * | 2021-07-28 | 2021-11-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN114155227A (zh) * | 2021-12-07 | 2022-03-08 | 苏州佳祺仕信息科技有限公司 | 一种柔性产品尺寸的检测方法、装置和系统 |
CN114882065A (zh) * | 2022-07-12 | 2022-08-09 | 深圳市瑞图生物技术有限公司 | 检测对象的流动性判断方法、装置、分析仪及存储介质 |
CN115082400A (zh) * | 2022-06-21 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、计算机设备及可读存储介质 |
CN115620214A (zh) * | 2022-12-20 | 2023-01-17 | 浙江奥鑫云科技有限公司 | 一种用于网络信息数据的安全处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600625A (zh) * | 2016-12-13 | 2017-04-26 | 广东沅朋网络科技有限公司 | 检测小型生物的图像处理方法及装置 |
CN106846359A (zh) * | 2017-01-17 | 2017-06-13 | 湖南优象科技有限公司 | 基于视频序列的运动目标快速检测方法 |
CN107454395A (zh) * | 2017-08-23 | 2017-12-08 | 上海安威士科技股份有限公司 | 一种高清网络摄像机及智能码流控制方法 |
CN107480653A (zh) * | 2017-08-30 | 2017-12-15 | 安徽理工大学 | 基于计算机视觉的客流量检测方法 |
US20180173966A1 (en) * | 2015-12-29 | 2018-06-21 | Sengled Co., Ltd. | Method and device for target detection |
-
2018
- 2018-12-13 CN CN201811528536.5A patent/CN111325769B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180173966A1 (en) * | 2015-12-29 | 2018-06-21 | Sengled Co., Ltd. | Method and device for target detection |
CN106600625A (zh) * | 2016-12-13 | 2017-04-26 | 广东沅朋网络科技有限公司 | 检测小型生物的图像处理方法及装置 |
CN106846359A (zh) * | 2017-01-17 | 2017-06-13 | 湖南优象科技有限公司 | 基于视频序列的运动目标快速检测方法 |
CN107454395A (zh) * | 2017-08-23 | 2017-12-08 | 上海安威士科技股份有限公司 | 一种高清网络摄像机及智能码流控制方法 |
CN107480653A (zh) * | 2017-08-30 | 2017-12-15 | 安徽理工大学 | 基于计算机视觉的客流量检测方法 |
Non-Patent Citations (1)
Title |
---|
蒋翠清 等: "基于相对欧氏距离的背景差值法视频目标检测", 《计算机技术与发展》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113223043A (zh) * | 2021-03-26 | 2021-08-06 | 西安闻泰信息技术有限公司 | 一种移动目标的检测方法、装置、设备及介质 |
CN113052844A (zh) * | 2021-06-01 | 2021-06-29 | 天津御锦人工智能医疗科技有限公司 | 肠道内窥镜观察视频中图像的处理方法、装置及存储介质 |
CN113361458A (zh) * | 2021-06-29 | 2021-09-07 | 北京百度网讯科技有限公司 | 基于视频的目标对象识别方法、装置、车辆及路侧设备 |
CN113596573B (zh) * | 2021-07-28 | 2023-04-11 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN113596573A (zh) * | 2021-07-28 | 2021-11-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN113505760A (zh) * | 2021-09-08 | 2021-10-15 | 科大讯飞(苏州)科技有限公司 | 目标检测方法、装置、相关设备及计算机可读存储介质 |
CN113505760B (zh) * | 2021-09-08 | 2021-12-21 | 科大讯飞(苏州)科技有限公司 | 目标检测方法、装置、相关设备及计算机可读存储介质 |
CN114155227A (zh) * | 2021-12-07 | 2022-03-08 | 苏州佳祺仕信息科技有限公司 | 一种柔性产品尺寸的检测方法、装置和系统 |
CN114155227B (zh) * | 2021-12-07 | 2024-01-26 | 苏州佳祺仕科技股份有限公司 | 一种柔性产品尺寸的检测方法、装置和系统 |
CN115082400A (zh) * | 2022-06-21 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、计算机设备及可读存储介质 |
CN114882065B (zh) * | 2022-07-12 | 2023-03-14 | 深圳市瑞图生物技术有限公司 | 检测对象的流动性判断方法、装置、分析仪及存储介质 |
CN114882065A (zh) * | 2022-07-12 | 2022-08-09 | 深圳市瑞图生物技术有限公司 | 检测对象的流动性判断方法、装置、分析仪及存储介质 |
CN115620214A (zh) * | 2022-12-20 | 2023-01-17 | 浙江奥鑫云科技有限公司 | 一种用于网络信息数据的安全处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111325769B (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325769B (zh) | 一种目标对象检测方法及装置 | |
Yuan et al. | A robust and efficient approach to license plate detection | |
CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
CN106599792B (zh) | 一种手部驾驶违规行为的检测方法 | |
CN101142584A (zh) | 面部特征检测的方法 | |
CN109740609B (zh) | 一种轨距检测方法及装置 | |
EP3584742A1 (en) | System and method for traffic sign recognition | |
CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
CN111191611A (zh) | 基于深度学习的交通标志标号识别方法 | |
CN110288612B (zh) | 铭牌定位与校正方法及设备 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN114387591A (zh) | 车牌识别方法、系统、设备及存储介质 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN111402185B (zh) | 一种图像检测方法及装置 | |
CN113065454B (zh) | 一种高空抛物目标识别比较的方法及装置 | |
Moseva et al. | Development of a System for Fixing Road Markings in Real Time | |
Choodowicz et al. | Hybrid algorithm for the detection and recognition of railway signs | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
CN110188693B (zh) | 改进的复杂环境车辆特征提取和停车判别方法 | |
CN116612272A (zh) | 一种图像处理智能数字化的检测系统及其检测方法 | |
CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
CN111178359A (zh) | 车牌号码识别方法、装置和设备及计算机存储介质 | |
CN111583341B (zh) | 云台像机移位检测方法 | |
KR20230099590A (ko) | 코드인식장치 및 이를 이용한 문자코드 추출 방법 | |
CN113870280A (zh) | 预测以细胞为基质的抗体核型类别的方法、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |