CN114898279A - 物体检测方法及装置、计算机设备、存储介质 - Google Patents
物体检测方法及装置、计算机设备、存储介质 Download PDFInfo
- Publication number
- CN114898279A CN114898279A CN202210663962.XA CN202210663962A CN114898279A CN 114898279 A CN114898279 A CN 114898279A CN 202210663962 A CN202210663962 A CN 202210663962A CN 114898279 A CN114898279 A CN 114898279A
- Authority
- CN
- China
- Prior art keywords
- target object
- detection result
- image
- reference image
- background reference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 202
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000004044 response Effects 0.000 claims abstract description 39
- 230000008859 change Effects 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 230000014759 maintenance of location Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000000717 retained effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000012465 retentate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例公开了一种物体检测方法及装置、计算机设备、存储介质。所述方法包括：基于背景参考图像，对视频中的图像帧进行前景检测，得到第一检测结果；响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像；基于更新后的背景参考图像，对所述视频中待检测的图像帧进行前景检测，得到第二检测结果；至少根据所述第二检测结果，确定所述视频中物体的检测结果。通过该方法，使得物体检测方法环境适应能力强，且能提升物体检测的精度，减少误报。
Description
技术领域
本公开涉及机器视觉技术领域，尤其涉及一种物体检测方法及装置、计算机设备、存储介质。
背景技术
在工厂厂房、社区消防通道、地下车库等相对空旷且人员较少的区域中，往往会存在一些被随意摆放、弃置的物体，可能会妨碍安全生产或是阻塞消防逃生通道。此外，一些易燃易爆等危险物体也会产生安全隐患。
为解决基于人工巡查或人工查看监控等方式排查上述隐患带来的人力成本高的问题，出现了基于机器视觉的物体检测技术，如何提升物体检测的检测精度一直以来备受关注。
发明内容
有鉴于此，本公开实施例期望提供一种物体检测方法及装置、计算机设备、存储介质。
第一方面，本公开实施例提供一种物体检测方法，包括：
基于背景参考图像，对视频中的图像帧进行前景检测，得到第一检测结果；
响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像；
基于更新后的背景参考图像，对所述视频中待检测的图像帧进行前景检测，得到第二检测结果；
至少根据所述第二检测结果，确定所述视频中物体的检测结果。
第二方面，本公开实施例提供一种物体检测装置，包括：
第一检测模块，用于基于背景参考图像，对视频中的图像帧进行前景检测，得到第一检测结果；
更新模块，用于响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像；
第二检测模块，用于基于更新后的背景参考图像，对所述视频中待检测的图像帧进行前景检测，得到第二检测结果；
第一确定模块，用于至少根据所述第二检测结果，确定所述视频中物体的检测结果。
第三方面，本公开实施例提供一种计算机设备，包括：
存储器，用于存储计算机可执行指令；
处理器，与所述存储器连接，用于通过执行所述计算机可执行指令，实现上述第一方面中所述的方法。
第四方面，本公开实施例提供一种存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行之后，能够实现上述第一方面中所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开提供的物体检测方法，在确定存在对象尺寸大于预设尺寸阈值的目标对象的情况下，进行背景参考图像的更新后再确认视频中物体的检测结果。通过自适应背景更新，使得本公开的物体检测方法环境适应能力强，能提升物体检测的精度，减少误报。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
图1为本公开实施例示出的一种物体检测方法流程图；
图2a是本公开实施例提供的一幅待检测的图像帧的示例图；
图2b是图2a对应的前景检测结果示例图；
图3是本公开实施例示出的一种自适应背景更新方法流程示例图；
图4为本公开实施例示出的一种物体检测方法流程示例图；
图5为本公开实施例提供的一种物体检测装置示例图；
图6为本公开实施例中计算机设备的一种硬件实体示意图。
具体实施方式
以下结合说明书附图及具体实施例对本公开的技术方案做进一步的详细阐述。
本公开实施例提供的物体检测方法，其执行主体可以是物体检测装置，例如，物体检测方法可以由终端设备或服务器或其它电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，物体检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
在本公开的实施例中，物体检测装置可以包括图像采集组件，从而利用图像采集组件采集某一场景的连续帧图像获得视频，物体检测装置可对实时采集的视频流进行解码处理后执行本公开的方案。此外，物体检测装置也可以接收其他设备中存储的某一固定位置的视频，例如无人机设备拍摄的视频，并对该事先拍摄的视频执行本公开的方案。本公开的物体检测装置可接入任意视频源进行处理，且本公开实施例对物体检测装置获取视频的方式，以及视频源的形式不做限制。
图1为本公开实施例示出的一种物体检测方法流程图，如图1所示，物体检测方法包括以下步骤：
S11、基于背景参考图像，对视频中的图像帧进行前景检测，得到第一检测结果；
S12、响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像；
S13、基于更新后的背景参考图像，对所述视频中待检测的图像帧进行前景检测，得到第二检测结果；
S14、至少根据所述第二检测结果，确定所述视频中物体的检测结果。
本公开实施例中，物体检测装置基于背景参考图像对视频中的图像帧进行前景检测，背景参考图像可以是指定的视频中的一幅图像，例如视频的第一帧图像作为背景参考图像。此外，也可以采用如混合高斯背景模型来计算背景参考图像。混合高斯背景模型由多个单高斯成分来组成，每个单高斯成分为一种高斯分布，例如可通过计算视频中的初始图像帧中的像素点与各个单高斯分布是否匹配来进行前景和背景的分割，得到前景图像和背景图像。通过混合高斯背景模型得到的背景图像即背景参考图像。
在确定背景参考图像之后，将视频中待检测的图像帧与背景参考图像进行差分，就得到前景的检测结果。需要说明的是，本公开的物体检测装置在基于差分的方式进行前景检测后，还可对差分图像做预处理，例如通过边缘检测算法检测前景的像素连通块，并基于超像素算法对像素连通块进行融合从而得到检测结果，或者基于种子填充法获取差分图像中的像素连通块从而得到检测结果。
本公开前景检测得到的检测结果中，包括至少一个对象，一个对象即一个连通块，物体检测装置会记录每一对象的像素点信息，包括像素点的位置信息，以及像素值等。其中，检测结果包括本公开实施例的第一检测结果和第二检测结果。本公开中，对视频中的物体进行检测，是指确定视频中是否存在滞留时长超过预设滞留时长阈值的物体。
在步骤S11中，物体检测装置基于背景参考图像，对视频中的图像帧进行前景检测时，可以是按预设间隔选取视频中的图像帧进行前景检测，例如该预设间隔是预设时间间隔或预设帧数间隔。可以理解的是，考虑到视频中的相邻图像帧通常存在冗余信息，因而通过间隔选帧的方式，能提升对视频中物体检测的效率。
在本公开的实施例中，物体检测装置会根据第一检测结果确定是否存在对象尺寸大于预设尺寸阈值的目标对象，并在步骤S12中，当确定存在该目标对象时，根据能检测到目标对象的图像帧更新背景参考图像。
需要说明的是，在本公开的实施例中，在基于背景参考图像对图像帧采用前述差分方式进行前景检测，得到的第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象的原因在于，当前检测的图像帧相对于原背景参考图像发生了较大变化。例如因开关灯或白天到黑夜的切换等光照影响带来的整个画面的亮度变化；或者，当前检测的图像帧的背景内容发生了大面积的变化，例如地铁站场景的视频，在视频采集过程中，地铁工作人员更换了背景广告牌，或电子广告牌自动更新，使得采集到的图像帧相对更换广告牌之前的背景参考图像发生了大面积变化。
此外，由于通常尺寸较大的物品不容易被遗忘且较容易被发现，因而滞留的可能性小，带来的安全隐患也较少。例如，快递盒、手机或背包等小物件更容易被遗忘。因而本公开在检测到尺寸大于预设尺寸阈值的目标对象时，可不将其纳入到可疑物体的跟踪对象。且考虑到拍摄画面污点噪声等影响，还可能会存在尺寸非常小的对象，通常尺寸过小的对象也不是滞留物，因而本公开还可过滤尺寸较小的对象，也不将尺寸较小的对象纳入可疑物体的跟踪对象。
图2a是本公开实施例提供的一幅待检测的图像帧的示例图，图2b是图2a对应的前景检测结果示例图，如图2a和2b所示，图2a中L1标识的快递盒之外的部分均属于背景部分，也即背景参考图像的内容；图2b检测到的快递盒L2即前景的部分，例如属于本公开实施例中第一检测结果中检测到的对象。但因该对象的尺寸较小，不属于目标对象，因而不更新背景参考图像。
在本公开的实施例中，考虑到采集到的图像帧相对背景参考图像发生较大变化的原因还可能是突发的、非持久的情形，例如由于视频采集装置的信号突发异常后又恢复，或者移动对象的影响等，只有部分图像帧发生较大变化，此时可能无需更新背景参考图像。对此，本公开在检测到存在目标对象的情况下，还可进一步确定是否有必要更新背景参考图像。
本公开在步骤S12中，根据能检测到目标对象的图像帧更新背景参考图像，以便于在步骤S13-S14中，基于更新后的背景参考图像对未进行检测的图像帧进行前景检测，得到第二检测结果，并至少根据第二检测结果确定视频中物体的检测结果。在本公开的实施例中，待检测的图像帧是指视频中还未进行前景检测的图像帧。
在一些实施例中，在更新背景参考图像之前，存在滞留的物体且已经被检测出了，则只需根据后续未检测的图像帧的第二检测结果确定后续未检测的图像帧中是否存在滞留的物体。
在另一些实施例中，若在更新背景参考图像之前，存在疑似滞留的物体，还未确定是否确实为滞留物，此时还需综合第二检测结果以及更新背景参考图像之前的第一检测结果综合确定是否存在滞留的物体。
需要说明的是，本公开在确定是否存在滞留的物体时，例如，根据多个图像帧对应的第二检测结果，确定能够在多个图像帧的预设位置差异范围内检测到同一对象，且检测到同一对象的时长超过设定的时长阈值的情况下，确定该同一对象为滞留对象。其中，限定在预设位置差异范围，考虑的是例如采集视频的设备存在轻微抖动导致的物体在视频的不同图像帧中存在轻微的位置差异；同一对象可通过前景检测时检测到的对象的形状来约束。
本公开在检测到滞留的物体(即滞留对象)后，物体检测装置也可输出告警信息，该告警信息例如包括滞留对象出现的起始时间、滞留对象的局部图像以及在各图像帧上滞留对象的二维检测框等，物体检测装置可针对视频中的一个或多个滞留对象输出告警信息。其中，滞留对象出现的起始时间，是指滞留对象在视频中被首次检测到的时刻。
假若因光照变化或背景画面内容发生变化的情况下，仍基于原背景参考图像进行物体检测，获得的检测结果中可能会包括一个或多个满足报警条件的对象，而该对象并非是滞留的物体，例如是因光照变化误将建筑物的一部分当成滞留的物体，或者将背景广告牌的部分内容作为了滞留的物体，此时存在误检，容易造成误报警。
对此，本公开提供的物体检测方法，在确定存在对象尺寸大于预设尺寸阈值的目标对象的情况下，进行自适应背景更新，使得本公开的物体检测方法环境适应能力强，能提升物体检测的精度，减少误报。在一些实施例中，所述响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，确定累计在至少两个图像帧中检测到所述目标对象的第一时长；
响应于所述第一时长大于第一预设时长阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
在该实施例中，若能在多个图像帧中检测到目标对象，且累计检测到目标对象的第一时长大于第一预设时长阈值，则说明该更新不属于突发的、非持久的情形，此时有必要进行背景更新。而若第一时长小于或等于第一预设时长阈值，则本公开确定没必要进行背景更新。
示例性的，本公开实施例中，在确定累计在至少两个图像帧中检测到目标对象的第一时长时，例如可以是将首次检测到目标对象的时刻记录为0，后续每在一个图像帧中检测到目标对象，则时长加1。
需要说明的是，本公开确定累计在至少两个图像帧中检测到目标对象的第一时长时，至少两个图像帧可以是相邻的图像帧，也可以是不相邻的图像帧，但若图像帧不相邻，图像帧之间的间隔也不应过大，以便于确定图像帧相对背景参考图像发生较大变化的连续性。
可以理解的是，本公开在确定检测到目标对象的第一时长大于第一预设时长阈值的情况下，再更新背景参考图像，能减少不必要的背景更新，使得背景参考图像的更新时机更为精准，从而节省物体检测装置的算力。
在一些实施例中，所述响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，确定所述目标对象的像素值相对所述背景参考图像的像素值的幅度变化；
响应于所述幅度变化大于预设幅度变化阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
在该实施例中，考虑到基于差分方式获得前景的检测结果时，可能是基于灰度图进行差分，并基于差分后的灰度图二值化后获得属于前景的对象，例如将差分后的灰度图上，像素值不为0的像素点直接赋值为0，其它像素值为0的像素点赋值为255得到前景图像，此时，容易存在对象尺寸大于预设尺寸阈值的目标对象。但是，实际上当前检测的图像帧，背景可能并未发生较大的变化，例如仅是因为视频采集装置出现了异常，导致轻微的亮度变化等。可以理解的是，在该种背景实际并未发生较大变化的情况下，也无需更新背景参考图像。
对此，本公开确定目标对象的像素值相对背景参考图像的像素值的幅度变化，并在像素值的幅度变化大于预设幅度变化阈值的情况下，即当前图像帧与背景参考图像的差异很大的情况下才更新背景参考图像。而在像素值的幅度变化小于或等于预设幅度变化阈值的情况下，确定不更新背景参考图像。
可以理解的是，基于像素值的幅度变化来确定是否需要更新背景参考图像，也能减少不必要的背景更新，使得背景参考图像的更新时机更为精准，从而节省物体检测装置的算力。
在一些实施例中，所述响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第一检测结果中存在对象的像素点个数与所述图像帧的总像素点个数的比值大于预设比例阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
在该实施例中，在确定是否存在满足尺寸阈值的目标对象时，确定第一检测结果中对象的像素点的个数与图像帧的总像素点个数的比值，并将该比值预设比例阈值进行比较，即根据对象与整个画面的相对比例，来确定是否为目标对象。
可以理解的是，通过该种相对比例判定的方式，能较为精准的判断是否存在目标对象，从而进一步触发是否要更新背景参考图像，能提升背景参考图像更新时机确定的准确性。
当然，本公开并不限定于上述尺寸判定方式，例如也可限定目标对象的像素点个数满足预设个数阈值等，本公开实施例不做限制。
在一些实施例中，所述响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据在至少两个图像帧中检测到的所述目标对象的位置信息，确定所述目标对象的位移；
响应于所述位移小于预设位移阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
在本公开的实施例中，若目标对象的位移小于预设位移阈值，则说明目标对象不是移动对象，否则，目标对象为移动对象。移动对象例如是人、动物或移动汽车等。
以视频为地铁站场景的视频为例，由于地铁站人员流动较为频繁，容易出现以人为主的移动对象。当多个人较为集中的移动，此时对图像帧进行前景检测时，容易将集中移动的多个人当为同一对象，该对象的尺寸大于预设尺寸阈值，物体检测装置会将该移动对象当成目标对象。
然而，由于移动对象只是短暂的出现在画面中，当移动对象离开视频采集装置的采集范围后，背景相对原背景参考图像可能并未发生变化，此时，也没必要对背景进行更新。因而在本公开的实施例中，在确定目标对象不为移动对象时，对背景进行更新；而在确定目标对象为移动对象时，确定不对背景进行更新。
需要说明的是，本公开对目标对象的位置进行跟踪以确定是否是移动对象时，可以是对前述第一时长内全部或部分的至少两个图像帧中的目标对象进行跟踪；也可以是对超过第一时长的时长范围内的至少两个图像帧中的目标对象进行跟踪，本公开实施例不做限制。
可以理解的是，通过跟踪目标对象，基于目标对象的位移确定是否为移动对象，并在目标对象不是移动对象的情况下更新背景参考图像，也能减少因短暂的背景变化带来不必要的频繁更新，使得背景参考图像的更新时机更为精准，节省物体检测装置的算力。
需要说明的是，在本公开的实施例中，也可基于检测到目标对象的第一时长、目标对象的像素值相对背景参考图像的像素值的幅度变化、以及目标对象是否为移动对象中的至少两个综合来确定是否更新背景参考图像，以进一步提升对背景参考图像更新时机确定的准确性。此外，本公开当根据上述三者之中任意之一确定不需要更新背景参考图像时，可不对背景参考图像进行更新。
在一些实施例中，所述根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
根据能检测到所述目标对象的至少两个图像帧，确定融合图像；
将所述融合图像作为更新后的背景参考图像。
在该实施例中，在根据能检测到目标对象的至少两个图像帧，确定融合图像时，例如可以采用像素级的融合方法，例如计算至少两个相邻图像帧的均值图像，将该均值图像作为融合图像；还可以是采用特征级的融合方法，例如先对各图像帧进行简单的预处理，再通过一定模型对各图像帧的角点、边缘、形状等特征信息进行提取，并基于预设的融合规则对这些特征信息进行选取和融合，最后生成一幅融合图像。本公开并不限定融合处理的具体方式，但融合处理的效果在于得到更为准确的背景参考图像。
需要说明的是，在本公开的实施例中，能检测到目标对象的至少两个图像帧，可以是包括能检测到目标对象的初始时刻在内的图像帧，也可以不包括能检测到目标对象的初始时刻在内的图像帧；此外，在选取至少两个图像帧进行图像融合时，可以是预设时长内的连续图像帧，以减少图像帧跨越过大而造成的错误背景估计。
可以理解的是，本公开基于能检测到目标对象的多帧图像获得融合图像，并将融合图像作为更新后的背景参考图像，能提升背景参考图像更新的准确性，提升物体检测的准确度。
在一些实施例中，所述方法还包括：
根据能检测到所述目标对象的至少两个图像帧的检测结果，确定能在预设位置差异范围内检测到所述目标对象之外的同一对象的第二时长；
所述根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第二时长大于第二预设时长阈值，在能检测到所述目标对象的图像帧上过滤所述同一对象后更新所述背景参考图像；
所述至少根据所述第二检测结果，确定所述视频中物体的检测结果，包括：
根据能检测到所述同一对象的至少两个图像帧对应的第二检测结果，确定在所述预设位置差异范围内检测到所述同一对象的第三时长；
根据所述第二时长和所述第三时长，确定所述视频中物体的检测结果。
在该实施例中，若根据能检测到目标对象的至少两个图像帧的第一检测结果，确定还能在预设位置差异范围内检测到目标对象之外的同一对象，且累计检测到该同一对象的第二时长超过了第二预设时长阈值，则该不满足目标对象的尺寸条件的同一对象可能为疑似滞留对象。
例如，对于地铁站场景的视频，背景参考图像更新前跟踪到了疑似滞留的物体，在还未来得及确定的间隙，地铁站的背景广告牌自动更新了，由于疑似滞留的物体可能会持续出现在后续的图像帧中，若直接将能检测到目标对象的初始时刻的图像帧确定为背景参考图像或根据能检测到目标对象的多帧图像的融合图像确定背景参考图像，则可能将该疑似滞留对象当成背景的一部分，从而导致后续无法再检测到该疑似滞留对象。
对此，本公开在能检测到目标对象的图像帧上过滤该疑似滞留对象后更新背景参考图像，并基于更新后的背景参考图像对待检测的图像帧进行前景检测获得第二检测结果后，根据第二检测结果确定能在预设位置差异范围内检测到该同一对象的第三时长，并基于第二时长和第三时长确定是否是滞留的物体。例如，在第二时长与第三时长的和值大于前述滞留物体判断对应的时长阈值的情况下，确定该同一对象为滞留对象。
可以理解的是，在该实施例中，若在背景更新前确定有疑似有滞留对象，则在更新背景参考图像时，过滤掉疑似滞留对象后更新背景，并结合更新背景参考图前的第一检测结果以及背景参考图像更新后的第二检测结果来确定是否存在滞留的物体，能减少对滞留的物体的漏检，提升检全率。
在一些实施例中，所述在能检测到所述目标对象的图像帧上过滤所述同一对象后更新所述背景参考图像，包括：
确定所述目标对象的像素均值；
利用所述像素均值，替换能检测到所述目标对象的图像帧中所述同一对象的像素值；
基于替换后的图像帧，更新所述背景参考图像。
在该实施例中，利用目标对象的像素均值来替换同一对象所在位置的像素点的像素值，并基于上述替换后的图像帧更新背景参考图像，使得背景参考图像的整体性更好，即同一对象的所在位置的像素点的像素值不会与图像帧上目标对象的像素值差异过大，从而能提升对背景参考图像更新的准确性，以进一步提升滞留的物体检测的准确率。
当然，本公开并不限定采用目标对象的像素均值来过滤同一对象，例如还可以是利用整个图像帧的像素均值或中间值来过滤同一对象，本公开实施例对此不做限制。
图3是本公开实施例示出的一种自适应背景更新方法流程示例图，如图3所示，自适应背景更新方法包括以下步骤：
S21、前景检测；
在该实施例中，前景检测即基于背景参考图像，对视频中的图像帧进行前景检测，以获得第一检测结果。
S22、检测到的前景对象占整个画面的比例是否大于预设比例阈值；若是，执行步骤S23，若否，执行步骤S27；
在该实施例中，检测到的前景对象占整个画面的比例是否大于预设比例阈值即检测第一检测结果中是否存在对象的像素点个数与图像帧的总像素点个数的比值大于预设比例阈值的目标对象。如果检测到目标对象，则执行步骤S23；如果未检测到目标对象，则执行步骤S27。
S23、计时器加1；
在该实施例中，计时器加1，即累计计时，获得能在至少两个图像帧中检测到目标对象的第一时长。
S24、累计时长是否大于第一预设时长阈值，且前景对象相对背景参考图像的幅度变化是否大于预设幅度变化阈值；若是，执行步骤S25，若否，执行步骤S21；
在该实施例中，累计时长是否大于第一预设时长阈值，且即第一时长是否大于第一预设时长阈值；前景对象相对背景参考图像的幅度变化是否大于预设幅度变化阈值，即目标对象的像素值相对背景参考图像的像素值的幅度变化是否大于预设幅度变化阈值。本公开实施例可在第一时长大于第一预设时长阈值，且幅度变化大于预设幅度变化阈值的情况下进一步执行步骤S25；若其中任意之一条件不符合，则确定无需更新背景参考图像，并返回执行步骤S21。
S25、前景对象是否为运动对象；若是，执行步骤S21，若否，执行步骤S26；
在该实施例中，前景对象是否为运动对象，即目标对象的位移是否小于预设位移阈值，若是，则目标对象为运动对象，确定不更新背景参考图像，并返回执行步骤S21；若否，则目标对象不为运动对象，确定需要进行背景更新，执行步骤S26。
S26、背景更新，并继续执行步骤S21。
在该实施例中，背景更新，即更新背景参考图像，例如可以是前述的根据能检测到目标对象的至少两个图像帧，确定融合图像，并将融合图像作为更新后的背景参考图像。
可以理解的是，本公开提供的自适应背景更新方法，基于检测到目标对象的第一时长、目标对象的像素值相对背景参考图像的像素值的幅度变化、以及目标对象综合来确定是否更新背景参考图像，可提升对背景参考图像更新时机确定的准确性，从而提升物体检测的精度，减少误报。
图4为本公开实施例示出的一种物体检测方法流程示例图，如图4所示，物体检测方法包括以下步骤：
S31、视频流；
在该实施例中，视频流可以是物体检测装置实时采集的视频流。
S32、视频解码，得到图像帧；
在该实施例中，物体检测装置对实时采集的视频流进行解码后，得到解码后的图像帧，即可对图像帧进行处理。
S33、背景提取及前景检测；
在该实施例中，可以将视频流中的初始图像帧作为背景参考图像，也可基于混合高斯背景模型确定背景参考图像，并基于背景参考图像对视频流中的当前未检测的图像帧进行前景检测。
S34、是否更新背景；若是，执行步骤S35，若否，执行步骤S36。
在该实施例中，物体检测装置根据步骤S33中的前景检测结果，即本公本公开的第一检测结果，确定是否更新背景。在确定是否更新背景时，可以根据前述基于检测到目标对象的第一时长、目标对象的像素值相对背景参考图像的像素值的幅度变化、以及目标对象是否为移动对象中的一个或多个综合来确定对背景参考图像进行更新，例如图3所示的方法，此处不再详述。本公开实施例中，若确定要进行背景更新，则继续执行步骤S35，否则执行步骤S36。
S35、更新背景；
在该实施例中，更新背景图像即更新背景参考图像，例如前述的根据能检测到目标对象的至少两个图像帧，确定融合图像，并将融合图像作为更新后的背景参考图像。
S36、前景检测及单帧后处理；
在该实施例中，在更新背景后，继续对待检测的图像帧进行前景检测以及单帧后处理，此处的后处理例如是过滤较小尺寸的对象，或者是对连通成分进行分析等，本公开实施例不做限制。
S37、多目标跟踪；
在该实施例中，如前所述的，检测结果中可能包括一个或多个对象，例如在第二检测结果中包括多个对象时，需要对各对象进行跟踪，以确定是否为滞留对象。在确定是否为滞留对象时，例如可根据同一对象的位置信息以及滞留时长来综合判断，此处不再详述。
S38、事件报警。
本公开在确定为滞留的物体后，即对该滞留对象进行事件报警，输出告警信息，该告警信息例如包括滞留对象出现的起始时间、滞留对象的局部图像以及在各图像帧上滞留对象的二维检测框等。
可以理解的是，该实施例中，通过自适应背景更新后再确认是否存在滞留的物体，使得本公开的物体检测方法环境适应能力强，能提升物体检测的精度，减少误报。
图5为本公开实施例提供的一种物体检测装置示例图，由图5可知，物体检测装置500包括：
第一检测模块501，用于基于背景参考图像，对视频中的图像帧进行前景检测，得到第一检测结果；
更新模块502，用于响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像；
第二检测模块503，用于基于更新后的背景参考图像，对所述视频中待检测的图像帧进行前景检测，得到第二检测结果；
第一确定模块504，用于至少根据所述第二检测结果，确定所述视频中物体的检测结果。
在一些实施例中，所述更新模块502，还用于响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，确定累计在至少两个图像帧中检测到所述目标对象的第一时长；响应于所述第一时长大于第一预设时长阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
在一些实施例中，所述更新模块502，还用于响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，确定所述目标对象的像素值相对所述背景参考图像的像素值的幅度变化；响应于所述幅度变化大于预设幅度变化阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
在一些实施例中，所述更新模块502，还用于响应于所述第一检测结果中存在对象的像素点个数与所述图像帧的总像素点个数的比值大于预设比例阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
在一些实施例中，所述更新模块502，还用于响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据在至少两个图像帧中检测到的所述目标对象的位置信息，确定所述目标对象的位移；响应于所述位移小于预设位移阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
在一些实施例中，所述更新模块502，还用于根据能检测到所述目标对象的至少两个图像帧，确定融合图像；将所述融合图像作为更新后的背景参考图像。
在一些实施例中，所述装置还包括：
第二确定模块505，用于根据能检测到所述目标对象的至少两个图像帧对应的第一检测结果，确定能在预设位置差异范围内检测到所述目标对象之外的同一对象的第二时长；
所述更新模块502，还用于响应于所述第二时长大于第二预设时长阈值，在能检测到所述目标对象的图像帧上过滤所述同一对象后更新所述背景参考图像；
所述第二确定模块505，还用于根据能检测到所述同一对象的至少两个图像帧对应的第二检测结果，确定在所述预设位置差异范围内检测到所述同一对象的第三时长；根据所述第二时长和所述第三时长，确定所述视频中物体的检测结果。
在一些实施例中，所述更新模块502，还用于确定所述目标对象的像素均值；利用所述像素均值，替换能检测到所述目标对象的图像帧中所述同一对象的像素值；基于替换后的图像帧，更新所述背景参考图像。
图6为本公开实施例中计算机设备的一种硬件实体示意图，如图6所示，该计算机设备600的硬件实体包括：处理器601、通信接口602和存储器603，其中：
处理器601通常控制计算机设备600的总体操作。
通信接口602可以使计算机设备通过网络与其他终端或服务器通信。
存储器603配置为存储由处理器601可执行的指令和应用，还可以缓存待处理器601以及计算机设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。处理器601、通信接口602和存储器603之间可以通过总线604进行数据传输。其中，处理器601用于执行上述方法中的部分或全部步骤。
对应地，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述方法中的部分或全部步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种物体检测方法，其特征在于，所述方法包括：
基于背景参考图像，对视频中的图像帧进行前景检测，得到第一检测结果；
响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像；
基于更新后的背景参考图像，对所述视频中待检测的图像帧进行前景检测，得到第二检测结果；
至少根据所述第二检测结果，确定所述视频中物体的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，确定累计在至少两个图像帧中检测到所述目标对象的第一时长；
响应于所述第一时长大于第一预设时长阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
3.根据权利要求1或2所述的方法，其特征在于，所述响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，确定所述目标对象的像素值相对所述背景参考图像的像素值的幅度变化；
响应于所述幅度变化大于预设幅度变化阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第一检测结果中存在对象的像素点个数与所述图像帧的总像素点个数的比值大于预设比例阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据在至少两个图像帧中检测到的所述目标对象的位置信息，确定所述目标对象的位移；
响应于所述位移小于预设位移阈值，根据能检测到所述目标对象的图像帧更新所述背景参考图像。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
根据能检测到所述目标对象的至少两个图像帧，确定融合图像；
将所述融合图像作为更新后的背景参考图像。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据能检测到所述目标对象的至少两个图像帧对应的第一检测结果，确定能在预设位置差异范围内检测到所述目标对象之外的同一对象的第二时长；
所述根据能检测到所述目标对象的图像帧更新所述背景参考图像，包括：
响应于所述第二时长大于第二预设时长阈值，在能检测到所述目标对象的图像帧上过滤所述同一对象后更新所述背景参考图像；
所述至少根据所述第二检测结果，确定所述视频中物体的检测结果，包括：
根据能检测到所述同一对象的至少两个图像帧对应的第二检测结果，确定在所述预设位置差异范围内检测到所述同一对象的第三时长；
根据所述第二时长和所述第三时长，确定所述视频中物体的检测结果。
8.根据权利要求7所述的方法，其特征在于，所述在能检测到所述目标对象的图像帧上过滤所述同一对象后更新所述背景参考图像，包括：
确定所述目标对象的像素均值；
利用所述像素均值，替换能检测到所述目标对象的图像帧中所述同一对象的像素值；
基于替换后的图像帧，更新所述背景参考图像。
9.一种物体检测装置，其特征在于，所述装置包括：
第一检测模块，用于基于背景参考图像，对视频中的图像帧进行前景检测，得到第一检测结果；
更新模块，用于响应于所述第一检测结果中存在对象尺寸大于预设尺寸阈值的目标对象，根据能检测到所述目标对象的图像帧更新所述背景参考图像；
第二检测模块，用于基于更新后的背景参考图像，对所述视频中待检测的图像帧进行前景检测，得到第二检测结果；
第一确定模块，用于至少根据所述第二检测结果，确定所述视频中物体的检测结果。
10.一种计算机设备，其特征在于，所述装置包括：
存储器，用于存储计算机可执行指令；
处理器，与所述存储器连接，用于通过执行所述计算机可执行指令，实现权利要求1至8任一项所述的方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行之后，能够实现权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210663962.XA CN114898279A (zh) | 2022-06-10 | 2022-06-10 | 物体检测方法及装置、计算机设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210663962.XA CN114898279A (zh) | 2022-06-10 | 2022-06-10 | 物体检测方法及装置、计算机设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114898279A true CN114898279A (zh) | 2022-08-12 |
Family
ID=82727861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210663962.XA Withdrawn CN114898279A (zh) | 2022-06-10 | 2022-06-10 | 物体检测方法及装置、计算机设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114898279A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576490A (zh) * | 2024-01-16 | 2024-02-20 | 口碑(上海)信息技术有限公司 | 一种后厨环境检测方法和装置、存储介质和电子设备 |
-
2022
- 2022-06-10 CN CN202210663962.XA patent/CN114898279A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576490A (zh) * | 2024-01-16 | 2024-02-20 | 口碑(上海)信息技术有限公司 | 一种后厨环境检测方法和装置、存储介质和电子设备 |
| CN117576490B (zh) * | 2024-01-16 | 2024-04-05 | 口碑(上海)信息技术有限公司 | 一种后厨环境检测方法和装置、存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166261B (zh) | 基于图像识别的图像处理方法、装置、设备及存储介质 | |
| CN103270536B (zh) | 停止物体探测 | |
| CN106878670B (zh) | 一种视频处理方法及装置 | |
| CN109766779B (zh) | 徘徊人员识别方法及相关产品 | |
| US20180144476A1 (en) | Cascaded-time-scale background modeling | |
| US20070019071A1 (en) | Smoke detection | |
| WO2018026427A1 (en) | Methods and systems of performing adaptive morphology operations in video analytics | |
| US20180046858A1 (en) | Methods and systems of performing blob filtering in video analytics | |
| WO2019089441A1 (en) | Exclusion zone in video analytics | |
| CN111010547A (zh) | 目标对象的追踪方法及装置、存储介质、电子装置 | |
| CN106803928B (zh) | 一种提醒方法、装置及终端 | |
| CN113012383B (zh) | 火灾检测报警方法、相关系统、相关设备及存储介质 | |
| WO2018031104A1 (en) | Methods and systems of maintaining object trackers in video analytics | |
| CN110569770A (zh) | 人体入侵行为识别方法、装置、存储介质及电子设备 | |
| CN113628404A (zh) | 一种减少无效告警的方法及装置 | |
| CN109815839B (zh) | 微服务架构下的徘徊人员识别方法及相关产品 | |
| US20160210759A1 (en) | System and method of detecting moving objects | |
| WO2018031105A1 (en) | Methods and systems of maintaining lost object trackers in video analytics | |
| JP4999794B2 (ja) | 静止領域検出方法とその装置、プログラム及び記録媒体 | |
| CN114332702A (zh) | 目标区域的检测方法和装置、存储介质及电子设备 | |
| CN112800846A (zh) | 高空抛物的监测方法、装置、电子设备及存储介质 | |
| CN114885119A (zh) | 一种基于计算机视觉的智能监控报警系统及方法 | |
| CN107832598B (zh) | 解锁控制方法及相关产品 | |
| CN114821414A (zh) | 一种基于改进yolov5的烟火检测方法、系统及电子设备 | |
| CN114898279A (zh) | 物体检测方法及装置、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220812 |