CN111723634B - 一种图像检测方法、装置、电子设备及存储介质 - Google Patents
一种图像检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111723634B CN111723634B CN201911298959.7A CN201911298959A CN111723634B CN 111723634 B CN111723634 B CN 111723634B CN 201911298959 A CN201911298959 A CN 201911298959A CN 111723634 B CN111723634 B CN 111723634B
- Authority
- CN
- China
- Prior art keywords
- target
- determining
- sequence
- column
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000007613 environmental effect Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000005286 illumination Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像检测方法、装置、电子设备及存储介质,该方法基于获取的环境图像序列利用帧差法,得到二值图像;基于二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;从列像素总值序列确定目标列;确定目标列中每行的像素总值,得到行像素总值序列;从行像素总值序列确定目标区域;基于目标区域确定待检测区域;从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域;基于目标的位置区域确定出目标相对于环境图像的位置信息。本申请提供的方法适用于高分辨率场景,可以实现快速高精度的运动目标检测,且鲁棒性好、时效性高。
Description
技术领域
本申请涉及图像检测技术领域,特别涉及一种图像检测方法、装置、电子设备及存储介质。
背景技术
对于野外无人值守监控系统,高精度实时性的运动目标检测是非常重要的。对于野外环境,为了保证大视场和图像质量,图像的分辨率很高,同时受到较多的噪声干扰,比如光线变化、局部运动、伪装目标等等。在高分辨率场景下,精确的运动目标的检测和识别是很耗时和消耗资源的。
现有技术中对于运动目标的检测,主要有以下两种方案:
第一种,利用传统算法如帧差法,光流法,背景减法等进行运动目标的检测。而传统的人工设计的算法,在复杂情况下,比如光照变化、伪装、烟尘拖尾、复杂背景、局部运动等,并不能表现的很好。例如,帧差法鲁棒性较差,受局部运动(树叶运动或者云朵飘移)的影响很大;背景减法是计算当前图像与背景模型的差异得到运动区域,需要背景建模、比较耗时,而且对光照变化、伪装目标等没有很好的处理效果。
第二种,利用深度学习的方法,设计运动目标检测网络,运用编码解码网络,进行前景提取。考虑到计算复杂度和消耗时间,现有的运动目标检测网络仅能够处理分辨率很低的图像,无法应用到高分辨率的场景。
发明内容
本申请实施例提供了一种图像检测方法、装置、电子设备及存储介质,可以在高分辨率的场景下使用,还可以提高鲁棒性和实时性。
一方面,本申请实施例提供了一种图像检测方法,包括:
获取环境图像序列;环境图像序列包括连续多帧环境图像;
基于环境图像序列利用帧差法,得到二值图像;
基于二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;
从列像素总值序列确定目标列;
确定目标列中每行的像素总值,得到行像素总值序列;
从行像素总值序列确定目标区域;
基于目标区域确定待检测区域;
从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域;
确定待检测区域基于环境图像的第一相对位置信息;
确定目标的位置区域基于待检测区域的第二相对位置信息;
基于第一相对位置信息和第二相对位置信息确定出目标相对于环境图像的位置信息。
另一方面,本申请实施例提供了一种图像检测装置,包括:
获取模块,用于获取环境图像序列;环境图像序列包括连续多帧环境图像;
图像处理模块,用于基于环境图像序列利用帧差法,得到二值图像;
目标区域确定模块,用于基于二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;从列像素总值序列确定目标列;确定目标列中每行的像素总值,得到行像素总值序列;从行像素总值序列确定目标区域;
待检测区域确定模块,用于基于目标区域确定待检测区域;
目标检测模块,用于从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域;
目标位置确定模块,用于确定待检测区域基于环境图像的第一相对位置信息;确定目标的位置区域基于待检测区域的第二相对位置信息;基于第一相对位置信息和第二相对位置信息确定出目标相对于环境图像的位置信息。
另一方面,本申请实施例提供了一种电子设备,电子设备包括处理器和存储器,存储器中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行上述的图像检测方法。
另一方面,本申请实施例提供了一种计算机存储介质,存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现上述的图像检测方法。
本申请实施例提供的一种图像检测方法、装置、电子设备及存储介质具有如下有益效果:
通过获取环境图像序列;环境图像序列包括连续多帧环境图像;基于环境图像序列利用帧差法,得到二值图像;基于二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;从列像素总值序列确定目标列;确定目标列中每行的像素总值,得到行像素总值序列;从行像素总值序列确定目标区域;基于目标区域确定待检测区域;从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域;确定待检测区域基于环境图像的第一相对位置信息;确定目标的位置区域基于待检测区域的第二相对位置信息;基于第一相对位置信息和第二相对位置信息确定出目标相对于环境图像的位置信息。如此,可以实现快速高精度的运动目标检测,鲁棒性好、时效性高;另外,本申请提供的图像检测方法适用于高分辨率场景,可以降低功耗、提高检测效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用场景的示意图;
图2是本申请实施例提供的一种图像检测方法的流程示意图;
图3是本申请实施例提供的一种野外大视场高分辨的场景示意图;
图4是本申请实施例提供的一种连通区域分析方法的示意图;
图5是本申请实施例提供的一种连通区域分析结果的示意图;
图6是本申请实施例提供的一种图像检测结果的示意图;
图7是本申请实施例提供的一种图像检测结果的示意图;
图8是本申请实施例提供的一种图像检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1是本申请实施例提供的一种应用场景的示意图,包括图像处理模块101、目标区域确定模块102、待检测区域确定模块103、目标检测模块104和目标位置确定模块105。由图像处理模块101、目标区域确定模块102、待检测区域确定模块103、目标检测模块104和目标位置确定模块105组成的整体获取获取环境图像序列后,依次经过图像处理模块101、目标区域确定模块102、待检测区域确定模块103和目标检测模块104输出环境图像序列中目标的类别,再经过目标位置确定模块105输出该目标相对于环境图像的位置信息。
环境图像序列输入图像处理模块101;环境图像序列包括连续多帧环境图像。图像处理模块101基于环境图像序列利用帧差法,得到二值图像,并输出该二值图像至目标区域确定模块102。目标区域确定模块102基于二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;从列像素总值序列确定目标列;确定目标列中每行的像素总值,得到行像素总值序列;从行像素总值序列确定目标区域,并输出该目标区域至待检测区域确定模块103。待检测区域确定模块103基于目标区域确定待检测区域。目标检测模块104从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域,并将目标的位置区域输入目标位置确定模块105。目标位置确定模块105确定待检测区域基于环境图像的第一相对位置信息;确定目标的位置区域基于待检测区域的第二相对位置信息;基于第一相对位置信息和第二相对位置信息确定出目标相对于环境图像的位置信息。
本申请实施例中,图像处理模块101、目标区域确定模块102、待检测区域确定模块103、目标检测模块104和目标位置确定模块105可以被设置在同一个设备中,比如移动终端、计算机终端、服务器或者类似的运算装置;可选的,图像处理模块101、目标区域确定模块102、待检测区域确定模块103、目标检测模块104和目标位置确定模块105可以被设置在多个设备中,该多个设备处于一个系统中;可选的,图像处理模块101、目标区域确定模块102、待检测区域确定模块103、目标检测模块104和目标位置确定模块105可以被设置在一个平台上。因此,本申请实施例的执行主体可以是移动终端、计算机终端、服务器或者类似的运算装置;可以是某个系统,还可以是某个平台。
以下介绍本申请一种图像检测方法的具体实施例,图2是本申请实施例提供的一种图像检测方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:
S201:获取环境图像序列;环境图像序列包括连续多帧环境图像。
本申请实施例中,环境图像序列由野外无人值守监控系统的摄像头获取,且环境图像的分辨率很高,例如1920*1080p的分辨率。
可选的,环境图像序列可以包括连续两帧环境图像,也可以包括连续三帧环境图像。
S203:基于环境图像序列利用帧差法,得到二值图像。
本申请实施例中,利用摄像机采集的视频或图像序列具有连续性的特点,如果场景内没有运动目标,则连续帧的变化很微弱,如果存在运动目标,则连续的帧和帧之间会有明显地变化。帧差法(Frame Difference)就是借鉴了上述思想。由于场景中的目标在运动,运动目标的影像在不同图像帧中的位置不同。帧差法通过对时间上连续的两帧或三帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,当绝对值超过一定阈值时,即可判断为运动目标,从而实现运动目标的检测。
一种可选的基于环境图像序列利用帧差法,得到二值图像的实施方式中,确定环境图像序列对应的灰度图像序列;将灰度图像序列的每帧灰度图像进行滤波处理;基于灰度图像序列进行差分运算,得到差分图像;将差分图像进行二值化处理,得到二值图像;将二值图像进行形态学处理,得到处理后的二值图像。
具体的,通过野外无人值守监控系统的摄像头获取的环境图像序列为彩色图像序列,将环境图像序列的每帧环境图像灰度化,得到对应的灰度图像序列;将灰度图像序列的每帧灰度图像进行滤波处理;对灰度图像序列进行差分运算,得到差分图像;将差分图像通过选取适当的阈值进行二值化处理,得到二值图像,将二值图像进行形态学处理,得到处理后的二值图像,二值图像中像素点的灰度值均为0或者255。进行滤波处理和进行形态学处理的好处是可以减少高频噪声的影响。请参阅图3,图3是本申请实施例提供的一种野外大视场高分辨的场景示意图,其中,图3(a)是环境图像灰度化后的灰度图像,图3(b)是进行滤波处理后的图像,图3(c)是二值图像,图3(d)是进行形态学处理后的图像。
S205:基于二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列。
S207:从列像素总值序列确定目标列。
S209:确定目标列中每行的像素总值,得到行像素总值序列。
S211:从行像素总值序列确定目标区域。
由于图像受到光照等噪声影响,得到的二值图像中目标区域可能发生断裂,本申请实施例步骤S205-S211描述了一种将被分离的目标合并的连通区域分析方法。首先,基于二值图像中每个像素点的像素值计算出每列的像素总值,得到列像素总值序列。其次,从列像素总值序列确定出目标列。计算目标列中每行的像素总值,得到行像素总值序列。最后,从行像素总值序列确定目标区域。
一种可选的从列像素总值序列确定目标列的实施方式中,若列像素总值序列存在有预设的列像素总值子序列,将列像素总值子序列从列像素总值序列中删除,得到目标列。其中,列像素总值子序列为列像素总值的数量大于等于第一预设数量,且每个列像素总值为零的子序列。
一种可选的从行像素总值序列确定目标区域的实施方式中,若行像素总值序列存在有预设的行像素总值子序列,将行像素总值子序列从行像素总值序列中删除,得到目标区域;行像素总值子序列为行像素总值的数量大于等于第二预设数量,且每个行像素总值为零的子序列。
可选的,第二预设数量与第一预设数量相等。
需要说明的是,本申请实施例中将得到的目标列中的连续列(连续零的数量小于第二预设数量或第一预设数量的子序列也视为连续)作为整体,计算该连续列的每行的像素总值,得到行像素总值序列。
本申请实施例中,基于目标区域还可以进行细化得到该目标区域的粗粒度位置信息。可选的,计算该目标区域内每个列的像素总值,将得到的列像素总值序列前后为零的列删除,确定剩余列的行位置信息和列位置信息,得到该目标区域的粗粒度位置信息。
下面通过一个具体的例子阐述上文的内容,请参阅图4,图4是本申请实施例提供的一种连通区域分析方法的示意图。假设二值图像的大小为10*10,共100个像素点。二值图像中黑色像素点的灰度值为0,白色像素点的灰度值为255,其中白色像素点均为基于帧差法得到的待确认的运动目标像素点。由于每列的像素总值与像素点数量存在线性关系,本申请为了便于说明,图4中每列的像素总值将用对应的数量来表示,例如第二列的像素总值为255*2,则以对应的数量2来表示。首先,根据二值图像中每个像素点的像素值计算出每列的像素总值,得到列像素总值序列为1,2,2,0,1,1,0,0,0,3。下面基于第一种情况进行说明,请参阅图4(a)。该情况下第一预设数量为1,则预设的列像素总值子序列可以是0,也可以是0,0,也可以是0,0,0……满足列像素总值的数量大于等于1的都是列像素总值子序列。将列像素总值子序列从列像素总值序列中删除,得到的目标列为第1列至第3列、第5列至第6列和第10列。其次,针对第1列至第3列计算每行的像素总值,得到行像素总值序列为0,0,2,2,1,0,0,0,0,0。第二预设数量与第一预设数量相等,第二预设数量为1,则预设的行像素总值子序列可以是0,也可以是0,0,也可以是0,0,0……将行像素总值子序列从行像素总值序列中删除,得到目标区域Region1。同理,针对第5列至第6列得到目标区域Region2,针对第10列得到目标区域Region3。下面基于第二种情况进行说明,请参阅图4(b)。该情况下第一预设数量为3,则预设的列像素总值子序列可以是0,0,0,也可以是0,0,0,0,也可以是0,0,0,0,0……满足列像素总值的数量大于等于3的都是列像素总值子序列。将列像素总值子序列从列像素总值序列中删除,得到的目标列为第1列至第6列和第10列。其次,针对第1列至第6列计算每行的像素总值,得到行像素总值序列为2,0,2,2,1,0,0,0,0,0。第二预设数量与第一预设数量相等,第二预设数量为3,则预设的行像素总值子序列可以是0,0,0,也可以是0,0,0,0,也可以是0,0,0,0,0……将行像素总值子序列从行像素总值序列中删除,得到目标区域Region4。同理,针对第10列得到目标区域Region5。
下面基于第三种情况进行说明,请参阅图4(c)。该情况下第一预设数量为2,则预设的列像素总值子序列可以是0,0,也可以是0,0,0,也可以是0,0,0,0……满足列像素总值的数量大于等于2的都是列像素总值子序列。将列像素总值子序列从列像素总值序列中删除,得到的目标列为第2列至第4列和第8列至第10列。其次,针对第2列至第4列计算每行的像素总值,得到行像素总值序列为0,0,2,2,0,0,0,0,2,0。第二预设数量与第一预设数量相等,第二预设数量为2,则预设的行像素总值子序列可以是0,0,也可以是0,0,0,也可以是0,0,0,0……将行像素总值子序列从行像素总值序列中删除,得到目标区域Region6和Region7。同理,针对第8列至第10列得到目标区域Region8。另外,基于目标区域还可以进行细化得到该目标区域的粗粒度位置信息。例如,计算目标区域Region6内每个列的像素总值,将像素总值为零的第3列删除,确定剩余列的行位置信息和列位置信息为2≤i≤3,3≤j≤4,其中,i表示列;j表示行;将该行位置信息和列位置信息作为目标区域Region6的粗粒度位置信息;同理,计算目标区域Region7内每个列的像素总值,将像素总值为零的第1列删除,确定剩余列的行位置信息和列位置信息为3≤i≤4,9≤j≤9,将该行位置信息和列位置信息作为目标区域Region7的粗粒度位置信息;同理,计算目标区域Region8内每个列的像素总值,得到的列像素总值序列前后均不为零,则确定剩余列的行位置信息和列位置信息为8≤i≤10,1≤j≤3,将该行位置信息和列位置信息作为目标区域Region8的粗粒度位置信息。
请参阅图5,图5是本申请实施例提供的一种连通区域分析结果的示意图。图5是二值化后的图像,其中白色像素点均为待确认的运动目标像素点。经过步骤S205-S211的连通区域分析后,图5灰色框即为确定的目标区域,其余白色像素点将被过滤掉。
S213:基于目标区域确定待检测区域。
S215:从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域。
本申请实施例中,基于目标区域进行细化可以得到目标的粗粒度位置信息,但为了得到更精确的目标位置信息和目标类别,本申请实施例通过步骤S213-S215对得到的目标区域进行细粒度检测,可以得到更加精确的目标位置信息和类别。
一种可选的从待检测区域确定目标的类别和位置的实施方式中,根据已训练的目标检测模型从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域。其中,已训练的目标检测模型可以基于YOLOv3或TinyYOLOv3一步检测网络模型进行改进得到。在确定目标区域之后,目标占运动区域很大面积,因此不需要过于复杂的网络进行细粒度的目标检测,一步检测网络模型的优点是速度快。请参阅图6,图6是本申请实施例提供的一种图像检测结果的示意图。使用改进后的YOLOv3(得到anchor的聚类方式为相对值(目标的宽高与图片宽高比值)聚类)一步检测网络模型进行目标检测,得到目标类别为person,0.75为该目标为person的置信度将结果映射回原图上。
具体的,将TinyYOLOv3一步检测网络模型中候选框(anchor)的数量调整为2,将作为模型输入的待检测区域的尺寸调整为96*96,如此,可以进一步加快检测速度。得到anchor的聚类方式为相对值(目标的宽高与图片宽高比值)聚类。
一种可选的实施方式中,在执行步骤S213之前,对目标区域进行筛选过滤。具体的,确定目标区域中像素点总数;从目标区域的像素点中确定出目标像素点的数量;目标像素点的像素值大于预设像素值;基于像素点总数和目标像素点的数量确定目标区域的紧凑度。若紧凑度大于等于预设紧凑度,且像素点总数大于等于预设像素点总数,则基于目标区域确定待检测区域,根据已训练的目标检测模型从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域。
可选的,预设紧凑度可以是0.2,预设像素点总数可以是50。
基于上述的例子进行说明,如图4(a)所示,预设像素值可以是0,预设紧凑度可以是0.5,预设像素点总数可以是9。Region1的像素点总数为9,目标像素点的数量为5,紧凑度约为0.56,Region1的像素点总数等于预设像素点总数,且紧凑度大于预设紧凑度。Region2的像素点总数为2,Region3的像素点总数为3,均小于预设像素点总数,将Region2和Region3过滤或删除,如此可以减少噪声的影响。如图4(b)所示,预设像素值可以是0,预设紧凑度可以是0.2,预设像素点总数可以是20。Region4的像素点总数为30,目标像素点的数量为7,紧凑度约为0.23,Region4的像素点总数大于预设像素点总数,且紧凑度大于预设紧凑度。Region5的像素点总数为3,小于预设像素点总数,将Region5过滤或删除。
S217:确定待检测区域基于环境图像的第一相对位置信息。
S219:确定目标的位置区域基于待检测区域的第二相对位置信息。
S221:基于第一相对位置信息和第二相对位置信息确定出目标相对于环境图像的位置信息。
本申请实施例中,待检测区域基于环境图像的第一相对位置信息包括待检测区域位于环境图像的行位置信息和列位置信息,行位置信息和列位置信息可以直接从图像上读出。其次,确定目标的位置区域基于待检测区域的第二相对位置信息,即确定出目标的位置区域位于待检测区域的行位置信息和列位置信息。根据第一相对位置信息和第二相对位置信息确定出目标相对于环境图像的位置信息。相较于传统方法,本申请可以确定出更精确的目标的位置信息。
本申请实施例中,在野外大视场高分辨率场景下进行测试,分辨率为1920*1080。数据集标注遵循Pascal VOC标注准则,包含各种复杂的情况,例如伪装、局部运动、光照变化、复杂背景、烟尘拖尾等等。表1是本申请实施例提供的一种图像检测方法在测试集上进行检测的时间和精度,包括了两种根据不同具体实施方法得到的数据。不同具体实施方法在于上述步骤S215,表1第一行的方法在实施步骤S215时采用的已训练的目标检测模型是基于YOLOv3的网络模型进行改进得到的;表1第二行的方法在实施步骤S215时采用的已训练的目标检测模型是基于TinyYOLOv3的网络模型进行改进得到的。平台为NVIDIA1080TI,时间为均值。请参阅图7,图7是本申请实施例提供的一种图像检测结果的示意图,其中,图7(a)、图7(b)和图7(c)均为基于YOLOv3的网络模型进行改进的目标检测模型进行检测的结果,图7(d)和图7(e)为基于Tiny YOLOv3的网络模型进行改进的目标检测模型进行检测的结果。由上述实验结果可知,本申请实施例提供的图像检测方法在测试集上进行检测的时间短,且精度高。
表1:目标检测模型在测试集上进行目标检测的时间和精度
方法 | mAP(%) | 时间(s) |
基于YOLOv3 | 82.70 | 0.085 |
基于Tiny YOLOv3 | 75.12 | 0.028 |
本申请实施例还提供了一种图像检测装置,图8是本申请实施例提供的一种图像检测装置的结构示意图,如图8所示,该装置包括:
获取模块801,用于获取环境图像序列;环境图像序列包括连续多帧环境图像;
图像处理模块802,用于基于环境图像序列利用帧差法,得到二值图像;
目标区域确定模块803,用于基于二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;从列像素总值序列确定目标列;确定目标列中每行的像素总值,得到行像素总值序列;从行像素总值序列确定目标区域;
待检测区域确定模块804,用于基于目标区域确定待检测区域;
目标检测模块805,用于从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域;
目标位置确定模块806,用于确定待检测区域基于环境图像的第一相对位置信息;确定目标的位置区域基于待检测区域的第二相对位置信息;基于第一相对位置信息和第二相对位置信息确定出目标相对于环境图像的位置信息。
本申请实施例中的装置与方法实施例基于同样地申请构思。
本申请的实施例提供了一种电子设备,电子设备包括处理器和存储器,存储器中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行上述的图像检测方法。
本申请的实施例提供了一种计算机存储介质,存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现上述的图像检测方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的一种图像检测方法、装置、电子设备或存储介质的实施例可见,本申请中通过获取环境图像序列;环境图像序列包括连续多帧环境图像;基于环境图像序列利用帧差法,得到二值图像;基于二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;从列像素总值序列确定目标列;确定目标列中每行的像素总值,得到行像素总值序列;从行像素总值序列确定目标区域;基于目标区域确定待检测区域;从待检测区域确定目标的类别,并从待检测区域中确定目标的位置区域;确定待检测区域基于环境图像的第一相对位置信息;确定目标的位置区域基于待检测区域的第二相对位置信息;基于第一相对位置信息和第二相对位置信息确定出目标相对于环境图像的位置信息。如此,可以实现快速高精度的运动目标检测,鲁棒性好、时效性高;另外,本申请提供的图像检测方法适用于高分辨率场景,可以降低功耗、提高检测效率。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种图像检测方法,其特征在于,包括:
获取环境图像序列;所述环境图像序列包括连续多帧环境图像;
基于所述环境图像序列利用帧差法,得到二值图像;
基于所述二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;
从所述列像素总值序列确定目标列;
确定所述目标列中每行的像素总值,得到行像素总值序列;
从所述行像素总值序列确定目标区域;
基于所述目标区域确定待检测区域;
根据已训练的改进YOLO系列网络从所述待检测区域确定目标的类别,并从所述待检测区域中确定所述目标的位置区域;
确定所述待检测区域基于所述环境图像的第一相对位置信息;
确定所述目标的位置区域基于所述待检测区域的第二相对位置信息;
基于所述第一相对位置信息和所述第二相对位置信息确定出所述目标相对于所述环境图像的位置信息;
所述从所述列像素总值序列确定目标列,包括:
若所述列像素总值序列存在有预设的列像素总值子序列,将所述列像素总值子序列从所述列像素总值序列中删除,得到所述目标列;所述列像素总值子序列为列像素总值的数量大于等于第一预设数量,且每个所述列像素总值为零的子序列;
所述从所述行像素总值序列确定目标区域,包括:
若所述行像素总值序列存在有预设的行像素总值子序列,将所述行像素总值子序列从所述行像素总值序列中删除,得到所述目标区域;所述行像素总值子序列为行像素总值的数量大于等于第二预设数量,且每个所述行像素总值为零的子序列。
2.根据权利要求1所述的方法,其特征在于,所述基于所述环境图像序列利用帧差法,得到二值图像,包括:
确定所述环境图像序列对应的灰度图像序列;
将所述灰度图像序列的每帧灰度图像进行滤波处理;
基于所述灰度图像序列进行差分运算,得到差分图像;
将所述差分图像进行二值化处理,得到所述二值图像;
所述得到所述二值图像之后,还包括:
将所述二值图像进行形态学处理,得到处理后的二值图像。
3.根据权利要求1所述的方法,其特征在于,所述从所述行像素总值序列确定目标区域之后,还包括:
确定所述目标区域中像素点总数;
从所述目标区域的像素点中确定出目标像素点的数量;所述目标像素点的像素值大于预设像素值;
基于所述像素点总数和所述目标像素点的数量确定所述目标区域的紧凑度。
4.根据权利要求3所述的方法,其特征在于,所述从所述待检测区域确定目标的类别,并从所述待检测区域中确定所述目标的位置区域,包括:
若所述紧凑度大于等于预设紧凑度,且所述像素点总数大于等于预设像素点总数,则从所述待检测区域确定所述目标的类别和所述目标的位置区域。
5.根据权利要求1所述的方法,其特征在于,所述已训练的改进YOLO系列网络中候选框的数量为2,输入尺寸为96*96,得到anchor的聚类方式为相对值聚类;
所述根据已训练的改进YOLO系列网络从所述待检测区域确定目标的类别,并从所述待检测区域中确定所述目标的位置区域,包括:
将所述待检测区域的尺寸调整为96*96;
根据已训练的改进YOLO系列网络对调整后的待检测区域进行检测,得到所述目标的类别和所述目标的位置区域。
6.一种图像检测装置,其特征在于,包括:
获取模块,用于获取环境图像序列;所述环境图像序列包括连续多帧环境图像;
图像处理模块,用于基于所述环境图像序列利用帧差法,得到二值图像;
目标区域确定模块,用于基于所述二值图像中每个像素点的像素值确定每列的像素总值,得到列像素总值序列;从所述列像素总值序列确定目标列;确定所述目标列中每行的像素总值,得到行像素总值序列;从所述行像素总值序列确定目标区域;所述从所述列像素总值序列确定目标列,包括:若所述列像素总值序列存在有预设的列像素总值子序列,将所述列像素总值子序列从所述列像素总值序列中删除,得到所述目标列;所述列像素总值子序列为列像素总值的数量大于等于第一预设数量,且每个所述列像素总值为零的子序列;所述从所述行像素总值序列确定目标区域,包括:若所述行像素总值序列存在有预设的行像素总值子序列,将所述行像素总值子序列从所述行像素总值序列中删除,得到所述目标区域;所述行像素总值子序列为行像素总值的数量大于等于第二预设数量,且每个所述行像素总值为零的子序列;
待检测区域确定模块,用于基于所述目标区域确定待检测区域;
目标检测模块,用于根据已训练的改进YOLO系列网络从所述待检测区域确定目标的类别,并从所述待检测区域中确定所述目标的位置区域;
目标位置确定模块,用于确定所述待检测区域基于所述环境图像的第一相对位置信息;确定所述目标的位置区域基于所述待检测区域的第二相对位置信息;基于所述第一相对位置信息和所述第二相对位置信息确定出所述目标相对于所述环境图像的位置信息。
7.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-5任一项所述的图像检测方法。
8.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-5任一项所述的图像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911298959.7A CN111723634B (zh) | 2019-12-17 | 2019-12-17 | 一种图像检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911298959.7A CN111723634B (zh) | 2019-12-17 | 2019-12-17 | 一种图像检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111723634A CN111723634A (zh) | 2020-09-29 |
CN111723634B true CN111723634B (zh) | 2024-04-16 |
Family
ID=72564014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911298959.7A Active CN111723634B (zh) | 2019-12-17 | 2019-12-17 | 一种图像检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111723634B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658169A (zh) * | 2021-08-26 | 2021-11-16 | 歌尔科技有限公司 | 图像斑点检测方法、设备、介质及计算机程序产品 |
CN113762266B (zh) * | 2021-09-01 | 2024-04-26 | 北京中星天视科技有限公司 | 目标检测方法、装置、电子设备和计算机可读介质 |
CN114708224B (zh) * | 2022-03-31 | 2023-06-23 | 吴江市双泽纺织有限公司 | 基于人工智能的纺织品织纹质量评估方法及系统 |
CN114881981B (zh) * | 2022-05-19 | 2023-03-10 | 常州市新创智能科技有限公司 | 一种玻纤布面的蚊虫检测方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700430A (zh) * | 2014-10-05 | 2015-06-10 | 安徽工程大学 | 机载显示器的运动检测方法 |
CN105261037A (zh) * | 2015-10-08 | 2016-01-20 | 重庆理工大学 | 一种自适应复杂场景的运动目标检测方法 |
CN108010047A (zh) * | 2017-11-23 | 2018-05-08 | 南京理工大学 | 一种结合样本一致性和局部二值模式的运动目标检测方法 |
CN108345841A (zh) * | 2018-01-23 | 2018-07-31 | 杭州视在科技有限公司 | 一种智能过滤视频图像处理方法 |
CN109558790A (zh) * | 2018-10-09 | 2019-04-02 | 中国电子科技集团公司电子科学研究院 | 一种行人目标检测方法、装置及系统 |
CN109584266A (zh) * | 2018-11-15 | 2019-04-05 | 腾讯科技(深圳)有限公司 | 一种目标检测方法及装置 |
CN109919008A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技(深圳)有限公司 | 运动目标检测方法、装置、计算机设备及存储介质 |
CN110555863A (zh) * | 2019-09-11 | 2019-12-10 | 湖南德雅坤创科技有限公司 | 一种运动目标检测方法、装置和计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104183127B (zh) * | 2013-05-21 | 2017-02-22 | 北大方正集团有限公司 | 交通监控视频检测方法和装置 |
-
2019
- 2019-12-17 CN CN201911298959.7A patent/CN111723634B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700430A (zh) * | 2014-10-05 | 2015-06-10 | 安徽工程大学 | 机载显示器的运动检测方法 |
CN105261037A (zh) * | 2015-10-08 | 2016-01-20 | 重庆理工大学 | 一种自适应复杂场景的运动目标检测方法 |
CN108010047A (zh) * | 2017-11-23 | 2018-05-08 | 南京理工大学 | 一种结合样本一致性和局部二值模式的运动目标检测方法 |
CN108345841A (zh) * | 2018-01-23 | 2018-07-31 | 杭州视在科技有限公司 | 一种智能过滤视频图像处理方法 |
CN109558790A (zh) * | 2018-10-09 | 2019-04-02 | 中国电子科技集团公司电子科学研究院 | 一种行人目标检测方法、装置及系统 |
CN109584266A (zh) * | 2018-11-15 | 2019-04-05 | 腾讯科技(深圳)有限公司 | 一种目标检测方法及装置 |
CN109919008A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技(深圳)有限公司 | 运动目标检测方法、装置、计算机设备及存储介质 |
CN110555863A (zh) * | 2019-09-11 | 2019-12-10 | 湖南德雅坤创科技有限公司 | 一种运动目标检测方法、装置和计算机可读存储介质 |
Non-Patent Citations (5)
Title |
---|
Moving object detection with deep CNNs;Haidi Zhu等;《IEEE Access》;第8卷;29729-29741 * |
Moving target detection and tracking algorithm based on context information;Jing Li等;《IEEE Access》;第7卷;70966-70974 * |
Spaghetti labeling:directed acyclic graphs for block-based connected components labeling;Federico Bolelli等;《IEEE Transactions on Image Processing》;第29卷;1999-2012 * |
基于形态学的高斯模型和八邻域帧差法混合运动目标检测算法;杨树国等;《计算机与现代化》;第7卷;32-36 * |
视频监控中运动行人检测算法研究及FPGA实现;司琦;《中国优秀硕士学位论文全文数据库 信息科技辑》;第2019卷(第8期);I135-231 * |
Also Published As
Publication number | Publication date |
---|---|
CN111723634A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723634B (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN110175609B (zh) | 界面元素检测方法、装置及设备 | |
US8724851B2 (en) | Aerial survey video processing | |
CN109389096B (zh) | 检测方法和装置 | |
CN111079638A (zh) | 基于卷积神经网络的目标检测模型训练方法、设备和介质 | |
CN110210480B (zh) | 文字识别方法、装置、电子设备和计算机可读存储介质 | |
CN108629792A (zh) | 基于背景建模与背景差分的激光目标检测方法和装置 | |
CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
CN111598913B (zh) | 一种基于机器人视觉的图像分割方法和系统 | |
CN117011250A (zh) | 缺陷检测方法、装置及存储介质 | |
AlAzawee et al. | Using morphological operations—Erosion based algorithm for edge detection | |
CN113963333A (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
CN113537253B (zh) | 一种红外图像目标检测方法、装置、计算设备及存储介质 | |
CN112348011B (zh) | 一种车辆定损方法、装置及存储介质 | |
CN114783042A (zh) | 基于多移动目标的人脸识别方法、装置、设备及存储介质 | |
Rodin et al. | Document image quality assessment via explicit blur and text size estimation | |
CN113887523A (zh) | 数据集更新方法、装置、电子设备和存储介质 | |
CN111353991A (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
CN111160358A (zh) | 一种图像二值化方法、装置、设备、介质 | |
CN112131418A (zh) | 目标标注方法、目标标注装置和计算机可读存储介质 | |
CN116935189B (zh) | 一种基于神经网络的伪装目标检测方法、装置及存储介质 | |
CN111242054B (zh) | 一种检测器的捕获率的检测方法及装置 | |
CN112307908B (zh) | 一种视频语义提取方法及装置 | |
Atitallah et al. | New Gamma Correction Method for real time image text extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |