CN105469380A - 对于对象的遮挡进行检测的方法和装置 - Google Patents
对于对象的遮挡进行检测的方法和装置 Download PDFInfo
- Publication number
- CN105469380A CN105469380A CN201410450330.0A CN201410450330A CN105469380A CN 105469380 A CN105469380 A CN 105469380A CN 201410450330 A CN201410450330 A CN 201410450330A CN 105469380 A CN105469380 A CN 105469380A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- template image
- matching
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了检测目标场景中的对象的遮挡的方法和装置。该方法包括,获得该对象的图像,并且获得该对象的预定模板图像;将该对象的图像与该预定模板图像进行匹配,获得匹配结果;基于该匹配结果检测是否存在对该对象的遮挡;以及输出遮挡的检测结果。由此,能够将对象的图像与预定模板图像进行匹配以获得匹配结果,同时基于该匹配结果来进行遮挡检测,从而可以迅速检测出是否存在对该对象的任何遮挡。
Description
技术领域
本申请涉及图像处理领域,更具体地,涉及用于对于对象的遮挡进行检测的方法和装置。
背景技术
当前,对象检测和跟踪技术广泛应用于各种领域中,比如可以应用于智能交通系统、图像捕捉系统、智能监控系统等等。例如,可以对目标场景中的诸如车辆和行人的对象进行检测和跟踪,以用于视觉识别和车辆控制等等。
对象匹配是检测跟踪技术中的重要部分,通过将目标场景中的对象的图像与模板进行匹配,可以迅速地检测对象。
在某些目标场景中,例如在城市道路中,在相邻的对象之间经常可能发生部分遮挡或者持续的遮挡,经常导致漏检测、检测错误或检测结果不准确。现有的检测技术并不能很好地应对此情况,因为基于颜色、梯度、直方图等的分段匹配方法通常对于匹配对象敏感,并且很难对对象的遮挡情况进行检测分析。能够处理一些遮挡的其他鲁棒特征需要结合机器学习方法来进行,导致检测过程是耗时的,而且不能对检测结果进行分析说明。
发明内容
基于上述问题,本发明的目的在于提出一种能够迅速且有效地对目标场景中的对象的遮挡进行检测的方法和装置。
本发明人经过广泛研究发现,如果在未被遮挡情况下获得被检测对象的图像,并以此为模板,将被检测对象与该模板进行对比的情况下,能够迅速、有效、准确地检测出被检测对象有无遮挡。在此基础上,提出了基于模板匹配来检测目标场景中的对象的遮挡的方法和装置。
根据本发明的一个方面,提供了检测目标场景中的对象的遮挡的方法,该方法可以包括:获得该对象的图像,并且获得该对象的预定模板图像;将该对象的图像与该预定模板图像进行匹配,获得匹配结果;以及基于该匹配结果检测是否存在对该对象的遮挡,获得检测结果。
在一个实施例中,所述将该对象的图像与该预定模板图像进行匹配的步骤可以包括:根据相同的预定规则将该对象的图像与该预定模板图像分别划分为多个单元;提取该对象的图像的多个单元中的每个单元的单元特征以及该预定模板图像的多个单元中的每个单元的单元特征;以及将该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配。所述匹配结果可以是该对象的图像的多个单元与该预定模板图像的多个单元的单元特征的整体匹配度最高的匹配结果。
在一个实施例中,所述整体匹配度最高的匹配结果可以是其中对象的图像的每个单元与该预定模板图像的相应单元的匹配度之和最大的匹配结果,或者其中对象的图像的每个单元与该预定模板图像的相应单元的匹配度的均方差之和最小的匹配结果。
在一个实施例中,所述基于该匹配结果检测是否存在对该对象的遮的步骤可以包括:根据所述匹配结果,选择在该对象的图像的多个单元中与该预定模板图像的相应单元的匹配度低于预定阈值的单元;以及针对所述匹配度低于预定阈值的单元检测是否存在遮挡。
在一个实施例中,可以通过对以下图像特征的至少一个进行分析来检测是否存在遮挡:视差分布特征、深度特征、颜色特征、边缘特征。
在一个实施例中,所述检测目标场景中的对象的遮挡的方法还可以包括:当检测到当前帧中存在遮挡时,基于当前帧以及预定数量的历史帧中的遮挡的检测结果,预测下一帧中是否存在遮挡;以及当预测下一帧中将存在遮挡时,基于当前帧中的遮挡的检测结果更新所述模板图像,将更新后的模板图像作为下一帧的候选模板图像。
在一个实施例中,更新所述模板图像可以包括用在当前帧的图像中存在遮挡的特征单元来更新模板图像中的相应特征单元。
在一个实施例中,所述检测目标场景中的对象的遮挡的方法还可以包括:输出所述检测结果。
根据本发明的另一方面,提供了检测目标场景中的对象的遮挡的装置,该装置可以包括:图像获取部件,获得该对象的图像,并且获得该对象的预定模板图像;匹配部件,将该对象的图像与该预定模板图像进行匹配,获得匹配结果;检测部件,基于该匹配结果检测是否存在对该对象的遮挡,获得检测结果。
在一个实施例中,所述匹配部件可以包括:单元划分部件,根据相同的预定规则将该对象的图像与该预定模板图像分别划分为多个单元;特征提取部件,提取该对象的图像的多个单元中的每个单元的单元特征以及该预定模板图像的多个单元中的每个单元的单元特征;以及特征匹配部件,将该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配,以获得匹配结果。
在一个实施例中,所述检测部件可以包括:单元选择部件,根据所述匹配结果,选择在该对象的图像的多个单元中与该预定模板图像的相应单元的匹配度低于预定阈值的单元;以及单元检测部件,针对所述匹配度低于预定阈值的单元检测是否存在遮挡。
在一个实施例中,所述装置还包括输出部件,用于输出所述检测结果。
根据本发明实施例的检测目标场景中的对象的遮挡的方法和装置,能够将对象的图像与预定模板图像进行匹配以获得匹配结果,同时基于该匹配结果来进行遮挡检测,从而可以迅速检测出是否存在对该对象的任何遮挡。更进一步地,由于在模板匹配过程中采用特征单元进行匹配并且在遮挡检测中以特征单元为基础进行检测,所以能够迅速准确地定位遮挡区域。
附图说明
图1示出根据本发明的一个实施例的检测目标场景中的对象的遮挡的方法的流程图。
图2中示出了示例的目标场景中所包括的车辆的视差图和相应的灰度图。
图3示出了用于图2中所示的车辆对象的模板视差图以及相应的模板灰度图。
图4示出了根据本申请的用于将该对象的图像与该预定模板图像进行匹配的模板匹配方法的流程图。
图5(a)和(b)分别示出对车辆对象的图像与该预定模板图像的特征单元划分示例。
图6示出了在车辆对象的模板匹配结果中的弱匹配单元的例子。
图7(a)和(b)分别示出了与图6的视差图对应的视差值分布曲线和视差点分布直方图。
图8是示出了对与图6的视差图对应的灰度图进行遮挡分析的示意图。
图9示出了对图2所示的车辆对象的检测结果。
图10(a)-(c)示出了根据本申请的实施例的更新下一帧的模板的示意图。
图11示出了本申请的一个实施例的遮挡检测装置的功能框图。
图12是示出根据本申请的一个实施例的实现对检测目标场景中的对象的遮挡检测的系统的硬件配置的示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
图1示出根据本发明的一个实施例的检测目标场景中的对象的遮挡的方法的流程图。
如图1所示,该检测方法100可以包括:步骤S110,获得该对象的图像,并且获得该对象的预定模板图像;步骤S120,将该对象的图像与该预定模板图像进行匹配,获得匹配结果;步骤S130,基于该匹配结果检测是否存在对该对象的遮挡;以及步骤S140,输出遮挡的检测结果。
在步骤S110,可以利用相机拍摄目标场景的图像而获得该目标场景中所包括的对象的图像。在采用对象的视差图进行检测的情况下,例如,可以使用双目相机拍摄对象的左右图像,并以左图像和右图像中的任意一者作为参考图像,通过立体匹配算法等等获得对象的视差图。当然,获得目标场景的视差图的方法不限于此。而且,尽管在本发明以下的描述中基于视差图进行该检测方法100,但是本发明也可以采用除了视差图之外的图像,比如灰度图、雷达图像或者红外图像等等。这些图像的获取方法对于本领域技术人员而言也是已知的。
获得目标场景的视差图之后,可以通过对视差分布进行分析来获得要检测的对象的大致轮廓,从而指定该视差图像中的包括该对象的大致轮廓在内的图像作为该对象的图像,即该对象的视差图。例如,图2中示出了示例的目标场景中所包括的车辆的视差图和相应的灰度图,其中左图为视差图,右图为相应的灰度图。
在步骤S110中,还获取该对象的预定模板图像。该预定模板图像可以是预先获得的并且存储在存储器中。例如,该模板图像可以是在该对象处于静止状态并且无遮挡的情况下所获得的该对象的图像。该模板图像的类型与待检测的对象的图像的类型相同,例如在待检测的对象的图像是视差图或者灰度图的情况下,该模板图像相应地也是视差图或者灰度图。例如,图3示出了对于图2中所示的车辆对象的模板视差图以及相应的模板灰度图,其中左图为模板视差图,右图为模板灰度图。
由此,在步骤S110中,获得待检测对象的图像以及相应的模板图像。接下来,在步骤S120中,将该对象的图像与该预定模板图像进行匹配,获得匹配结果。
图4示出了根据本发明的用于将该对象的图像与该预定模板图像进行匹配的模板匹配方法的一个例子。如图4所示,该模板匹配方法400可以包括以下步骤:步骤S410,根据相同的预定规则将该对象的图像与该预定模板图像分别划分为多个单元;步骤S420,提取该对象的图像的多个单元中的每个单元的单元特征以及该预定模板图像的多个单元中的每个单元的单元特征;以及步骤S430,将该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配,以获得匹配结果。
在步骤S410中,将该对象的图像与该预定模板图像分别划分为多个单元,下文中称之为特征单元。可以根据相同的预定规则对该对象的图像与该预定模板图像进行划分以便进行匹配。该预定规则指定特征单元的诸如形状、尺寸等等的参数。
特征单元的形状可以是竖直的条状、水平的条状、方形网格单元等等形状。对于特征单元的尺寸,可以根据具体情况进行选择,总体原则是:如果存在对象被遮挡的情况,则特征单元的尺寸不能大于对象被遮挡区域的尺寸。通常情况下,划分的尺寸不能太小,否则进行模板匹配次数多,计算量会比较大,同时对噪声就会变得敏感;划分的尺寸也不能太大,否则细节丢失,得不到理想的匹配效果。
在本实施例中,将对象的图像与该预定模板图像分别划分为具有相同宽度的多个竖直条状的特征单元。例如,在待检测对象是图2所示的车辆的情况下,将该车辆对象的视差图以及模板视差图分别划分为竖直方向的十个条状特征单元。参考图5,图5(a)和(b)分别示出该对象的图像与该预定模板图像被划分为标号1-10的10个完整的特征单元。
可选地,步骤S410中,在进行特征单元的划分之前,可以评估该预定模板与该对象的图像的尺寸对应性。这是为了确保该模板与该图像区域在同一个尺寸维度上进行匹配,因为本领域技术人员知道,图像中的同一对象在相似距离下会呈现出相似的尺寸,尺寸的变化与距离的变化呈线性关系,例如在视差图中,视差值的大小与对象距镜头距离成反比例关系。因此,如果已知适当的立体相机参数例如两镜头距离,焦距等,就可以计算出对象的距离和尺寸等信息;同样就灰度图或其他图像而言,有了距离信息和一些辅助信息则也可以计算出尺寸的变化。
不过,在大多数情况下前后帧中对象不会有太剧烈的位置距离变化,因此此评估步骤也可以省略,认为该模板与该图像区域尺寸近似相等。而且,因为本发明所提出的特征单元匹配方法具备一定程度的鲁棒性,所以小范围的尺寸误差是可以完全容忍的,因此此评估步骤是一个可选的步骤,即使不进行此步骤,也不会对后续处理造成较大影响。
在步骤S420中,对于在步骤S410中所划分的该对象的图像的多个特征单元以及该预定模板图像的多个特征单元中的每个特征单元,分别提取每个特征单元的图像特征。在对象的图像以及模板图像是视差图的情况下,该图像特征可以是视差分布的特征,比如视差图中的轮廓特征、视差值的直方图等等。当然,在对象的图像以及模板图像是其他图像的情况下,所提取的特征是相应图像中的其他图像特征,例如在灰度图中,提取的图像特征可以是灰度特征,比如灰度图中的边缘特征等等。
在步骤S430中,将在步骤S420中所提取的该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配,从而获得匹配结果。
在一个实施例中,可以采用滑动的方式进行对象图像与模板图像的匹配。例如,可以在该对象图像的区域内滑动模板图像。滑动方向可以任意选择,例如从左到右、从中间到两侧等等。每次滑动的步长可以根据对图像进行特征单元划分时所遵循的预定规则而确定,例如,该步长可以是特征单元的尺寸。在如图5所示将图像划分为竖直条状的特征单元的情况下,该步长可以是该条状单元的宽度。
针对每个滑动的位置,对重叠区域内的对象图像的每个特征单元和相应位置的模板图像的特征单元进行特征匹配计算。也就是说,计算对位特征的相似度,即对象的图像的每个单元的单元特征与模板图像的相应单元的单元特征的匹配程度,从而基于该对象的图像中的所有特征单元与模板图像的对应单元的匹配程度来度量该滑动位置的总体匹配度。
在一个实施例中,该总体匹配度可以是该对象的图像中的所有特征单元的匹配度之和。或者,在另一实施例中,可以基于该对象的图像中的所有特征单元的匹配度的均方差之和来评价该整体匹配度。
在计算了当前滑动位置的总体匹配度之后,判断是否滑动遍历了所有的可能匹配位置。如果已经遍历了所有的可能匹配位置,则结束滑动;否则,继续滑动,并针对每个滑动位置,如上所述计算对象的图像的每个特征单元与模板图像的相应单元的匹配度以及在该滑动位置处该对象图像与该模板图像的总体匹配度,如此重复直到已经遍历了所有的可能匹配位置。
随后,基于所获得的每个滑动位置处的匹配度而决定最佳匹配位置,即匹配度最高的匹配位置。通常的寻找最佳匹配度的方法是全局最优方法,例如,在如上所述总体匹配度是所有特征单元的匹配度之和的情况下,所有特征单元的匹配度之和最大的位置即为最佳匹配位置。或者,在基于所有特征单元的匹配度的均方差之和来评价该整体匹配度的情况下,该均方差之和最小的位置即为最佳匹配位置。
由此,根据该模板匹配方法400,在步骤S120中获得该对象的图像与该预定模板图像的匹配结果。接下来,在步骤S130,基于在该步骤S120中所获得的该匹配结果检测是否存在对该对象的遮挡。
可以通过对所获得的匹配结果进行分析来检测遮挡并预测遮挡区域。例如,可以分析在当前匹配结果中每个特征单元与模板图像的相应单元的匹配度,即每个特征单元对整体匹配度的贡献程度,并且针对匹配度较低的特征单元进行检测遮挡,因为匹配度比较低的区域通常是出现异常的区域,出现异常的原因可能包括例如由于自身形态的变化或者由于存在遮挡等等。下文中将这些匹配度较低的特征单元称为弱匹配单元。
作为一个例子,预先设置匹配度阈值,将当前匹配结果中每个特征单元与模板图像的相应单元的匹配度与该匹配度阈值比较,并且将其中匹配度低于该阈值的特征单元作为弱匹配单元。此匹配度阈值可以由本领域技术人员根据具体应用情况而设置,一个简单的例子是将此匹配度阈值取为该匹配结果中的所有特征单元的匹配度的平均值。当然,该匹配度阈值的设置不限于此。
仍以图2中检测对象为车辆的视差图为例,进一步参考图6,图6示出了在该对象的模板匹配结果中的弱匹配单元的例子。例如,在图6中上图为所拍摄到的目标场景中的对象的视差图,下图为特征单元匹配结果,其中标号为4、5的特征单元显示为灰色,表示其匹配度较低。从对应于上方的视差图中可以看出,造成此匹配度低的原因是在该车辆前方存在行人对其的遮挡,如该视差图中的椭圆框所示。
如上所述,检测该匹配结果中的弱匹配单元之中是否存在任何遮挡。存在多种用来检测遮挡的方法。例如,在对象的图像是视差图的情况下,可以通过分析弱匹配单元中的视差值分布特征来检测遮挡。另外,在对象的图像是灰度图的情况下,也可以通过分析灰度图的垂直边缘等等来分析遮挡情况。当然,还可以通过分析深度特征、颜色特征等等其他图像特征或其任意组合来进行遮挡检测。以下举例说明。
图7(a)示出了与图6的视差图对应的视差值分布曲线,其中x轴是与图像相同的x横坐标,y轴表示视差值的分布。本领域技术人员知道,视差值的大小可以表示对象的远近,并且距离相机越近的对象视差值越大。从图7(a)中可以看出,视差分布的中心位置不连续,也就表明对象表面的视差点的分布或者说对象的距离是不连续的,并且不连续的区域在更近处有视差点的分布,因此可以判断在该对象前方存在遮挡的物体。
进一步地,可以预先确定在该视差值分布图中确定对象(例如车辆)的视差分布阈值,即对象的视差值在图7(a)中的y轴上的主体视差分布位置,该主体视差分布位置可以通过对视差值的直方图统计分析而得到,如图7(a)中的虚线位置所示,并且确定超出此阈值的视差分布所对应的x轴位置,结合之前已经确定的弱匹配单元的位置,能够确定遮挡区域的具体位置。例如,图7(a)中的视差分布超出阈值部分的x轴位置与图6中的编号4、5的特征单元的位置对应,则可以判定在特征单元4、5中存在遮挡。
图7(b)示出了与图6的视差图对应的视差点分布直方图,其中x轴仍是与图像相同的x横坐标,y轴表示视差点的数量。同样,可以预先确定该视差点分布的阈值,如图7(b)中的虚线所示。该阈值可以设置在x轴上每单位距离中对象的视差点的平均数量的预定倍数,比如平均数量的1.2倍,或者该阈值可以设置在x轴上每单位距离中对象的视差点的最大数量的预定比例,比如最大数量的0.9倍。从图7(b)中可以看出,第三与第四柱中的视差点数量明显高于阈值,由此判定在与该第三和第四柱对应的x轴位置处存在距离更近的物体。由此,结合之前已经确定的弱匹配单元的位置,从该视差点分布直方图也能够判断存在遮挡区域并可以确定遮挡区域的具体位置。
图8是示出了对与图6的视差图对应的灰度图进行遮挡分析的示意图。在该灰度图中,通过虚线示意性地示出了对该灰度图进行边缘分析而获得的对车辆进行遮挡的行人的边缘特征。在对象的图像是灰度图的情况下,也可以通过分析灰度图的垂直边缘等等来分析遮挡情况。
当然,以上为了容易理解而描述了判断遮挡区域的具体例子,本领域技术人员能够理解,判断是否存在遮挡以及确定遮挡区域的具体位置的方法不限于此。
由此,在步骤S130中,基于该对象的图像与该预定模板图像的匹配结果检测是否存在对该对象的遮挡。从而,在步骤S140,可以输出遮挡的检测结果用于显示,或者可以存储该检测结果,用于进一步的处理,然后结束该检测方法100。
例如,图9示出了对图2所示的示例的车辆对象的检测结果,其中左图为视差图,右图为相应的灰度图。通过上述检测方法100,可以检测出该对象与目标匹配,但是在车辆前方的如图中的虚线框所示的区域存在遮挡。
根据上述的检测方法100,可以将对象的图像与预定模板图像进行匹配以获得匹配结果,同时基于该匹配结果来进行遮挡检测,从而可以迅速检测出是否存在对该对象的任何遮挡。而且,由于在模板匹配过程中采用特征单元进行匹配并且在遮挡检测中以特征单元为基础进行检测,所以能够迅速准确地定位遮挡区域。
在另一实施例中,在已经获得遮挡检测结果之后,还可以基于该遮挡检测结果对模板进行更新。
具体地,可以获取所存储的当前帧以及预定数量的历史帧中的遮挡检测结果,以确定是否存在持续的遮挡。该预定可以根据情况而设定,比如1帧、2帧、3帧、5帧等等。当遮挡检测结果表明在当前帧以及该预定数量的历史帧中均检测到遮挡时,确定存在持续的遮挡。
接下来,确定该持续存在的遮挡在当前帧以及该预定数量帧的历史帧中是否是由相同的遮挡物引起的。这可以通过在这些帧之间进行遮挡区域的比较而确定。例如,如果这些帧之中的遮挡区域的面积相近并且视差分布也近似,则可以确定是相同的遮挡物。
由此,通过对这些帧之中的遮挡物的分析可以确定该遮挡物的轨迹,由此可以基于遮挡物的轨迹及其历史位置信息来预测该遮挡物在下一帧中的可能位置,即下一帧中可能存在遮挡的区域。存在多种基于历史的遮挡位置信息来预测遮挡的方法,例如简单的线性加和,有卡尔曼滤波,粒子滤波等等。通过这些方法,可以预测出下一帧是否存在遮挡以及在可能存在遮挡的情况下,该遮挡的可能区域。
当预测下一帧中可能存在遮挡时,基于当前帧中的遮挡检测结果来更新该预定模板,作为下一帧的候选模板。例如,可以将该预定模板中的与预测的遮挡区域对应的位置处的特征单元的特征更新为在当前帧中的检测到的遮挡区域处的特征单元的特征。
例如,图10示出了根据本发明的此实施例的更新用于下一帧的模板的示意图,其中基于当前帧(帧n)和在当前帧之前的一帧(帧n-1)中的遮挡检测结果来更新用于下一帧(帧n+1)的模板。图10(a)中上图示出帧n-1的视差图,下图示出该帧n-1的模板匹配结果(遮挡检测结果),其中标示为灰色的特征单元3-10表示与模板匹配的区域,标示为黑色区域的特征单元1、2为在其中检测到遮挡的区域;图10(b)中上图示出当前帧n的视差图,下图示出该帧n的模板匹配结果,其中标示为灰色的特征单元1、2、5-10表示与模板匹配的区域,标示为黑色的特征单元3、4为在其中检测到遮挡的区域;图10(c)中上图示出帧n+1的视差图,下图示出用于该帧n+1的模板更新情况。如图10(c)所示,根据对图10(a)和10(b)中示出的遮挡检测结果的分析,预测帧n+1中的遮挡区域可能出现在特征单元6、7的位置处,因此,将用于帧n+1的模板中的特征单元6、7的单元特征更新为帧n中的存在遮挡的特征单元3、4的单元特征。
由此,当检测到在当前帧的图像中存在对于对象的遮挡时,可以基于当前帧的遮挡检测结果以及在该当前帧之前的预定数量的历史帧中的遮挡检测结果,预测下一帧中是否存在遮挡。当预测下一帧中将存在遮挡时,基于当前帧中的遮挡的检测结果更新所述模板图像,将更新后的模板图像作为下一帧的候选模板图像。
可以将该候选模板图像存储在存储器中,用于在对在对下一帧的对象图像进行模板匹配时使用。例如,由于预先已经存储了该对象的预定模板,并且存储了为该下一帧更新的模板,因此在进行模板匹配之前,可以通过对该下一帧的图像进行初始的遮挡分析,以便基于分析结果来选择使用原预定模板还是更新后的模板。例如,这可以通过简单的视差值直方图分析来实现,当该下一帧的图像存在超过阈值的视差分布时(例如图7(b)所示的情况),表明该图像中可能存在遮挡等异常情况,则可以选择使用更新后的模板;否则,仍使用该预定模板。
由此,根据上述实施例,在存在连续遮挡的情况下,可以基于当前帧的遮挡检测结果来更新下一帧的模板,从而在进行下一帧匹配时,可以快速进行匹配,并且可以更加迅速地检测下一帧中是否存在遮挡情况。
接下来,描述根据本发明的一个实施例的检测目标场景中的对象的遮挡的装置。
图11示出了该实施例的遮挡检测装置的功能框图。如图11所示,该遮挡检测装置1100包括:图像获取部件1110,获得该对象的图像,并且获得该对象的预定模板图像;匹配部件1120,将该对象的图像与该预定模板图像进行匹配,获得匹配结果;检测部件1130,基于该匹配结果检测是否存在对该对象的遮挡;以及输出部件1140,输出遮挡的检测结果。
可选地,该匹配部件1120可以包括:单元划分部件,根据相同的预定规则将该对象的图像与该预定模板图像分别划分为多个单元;特征提取部件,提取该对象的图像的多个单元中的每个单元的单元特征以及该预定模板图像的多个单元中的每个单元的单元特征;以及特征匹配部件,将该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配,以获得匹配结果。
可选地,该检测部件1130可以包括:单元选择部件,根据所述匹配结果,选择在该对象的图像的多个单元中与该预定模板图像的相应单元的匹配度低于预定阈值的单元;以及单元检测部件,针对所述匹配度低于预定阈值的单元检测是否存在遮挡。
可选地,该遮挡检测装置1100还可以包括:预测部件,当该检测部件1130检测到当前帧中存在遮挡时,基于当前帧以及预定数量的历史帧中的遮挡的检测结果,预测下一帧中是否存在遮挡;以及更新部件,当该预测部件预测下一帧中将存在遮挡时,基于当前帧中的遮挡的检测结果更新所述模板图像,将更新后的模板图像作为下一帧的候选模板图像。
关于图11所示的遮挡检测装置1100的各部件的操作可以参考结合图1所示的流程图进行的描述,这里不再赘述。通过该遮挡检测装置,可以将对象的图像与预定模板图像进行匹配以获得匹配结果,同时基于该匹配结果来进行遮挡检测,从而可以迅速检测出是否存在对该对象的任何遮挡。而且,由于该遮挡检测装置在模板匹配过程中采用特征单元进行匹配并且在遮挡检测中以特征单元为基础进行检测,所以能够迅速准确地定位遮挡区域。
接下来,参考图12描述根据本发明的一个实施例的实现对检测目标场景中的对象的遮挡检测的系统的硬件配置。如图12所示,系统1200包括:输入设备1210,用于从外部输入将要处理的图像,例如双目相机拍摄的目标场景的左右图像、目标场景中的对象的视差图等,该输入设备1210可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等;处理设备1220,用于实施上述的按照本发明实施例的对象的遮挡检测方法,或者实施为上述的按照本发明实施例的遮挡检测装置,例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等,可以连接到诸如因特网的网络(未示出),根据处理过程的需要而从网络获取数据例如视差图等等;输出设备1230,用于向外部输出上述遮挡检测的结果,包括模板匹配结果以及遮挡检测结果等等,该输出设备1230可以包括例如显示器、打印机、以及通信网络及其所连接的远程输出设备等等;以及存储设备1240,包括上文中所述的存储器,用于以易失或非易失的方式存储上述遮挡的过程所涉及的图像、数据、所获得的结果、命令以及中间数据等等,该存储设备1240可以包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
当然,为了简化,图12中仅示出了该系统中与本发明有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,系统1200还可以包括任何其他适当的组件。
以上已经参考附图详细描述了根据本发明的实施例的对象遮挡检测方法、装置和系统。尽管在以上以检测目标场景中的车辆为例进行描述,但是本领域技术人员很清楚,本发明可应用的检测对象不限于车辆,可以是任何其他运动或静止的物体、建筑物等等,当然,对目标对象的遮挡物也不限于行人,并且也可以是任何其他运动或静止的物体。
本公开中涉及的装置、设备、系统的方框图仅作为例示性的例子,并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子,并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的,可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序;这些词语仅用于引导读者通读这些方法的描述。此外,例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此,本发明不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
Claims (12)
1.一种对于目标场景中的对象的遮挡进行检测的方法,包括:
获得该对象的图像,并且获得该对象的预定模板图像;
将该对象的图像与该预定模板图像进行匹配,获得匹配结果;以及
基于该匹配结果检测是否存在对该对象的遮挡,获得检测结果。
2.如权利要求1所述的方法,其中所述将该对象的图像与该预定模板图像进行匹配包括:
根据相同的预定规则将该对象的图像与该预定模板图像分别划分为多个单元;
提取该对象的图像的多个单元中的每个单元的单元特征以及该预定模板图像的多个单元中的每个单元的单元特征;以及
将该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配,
其中所述匹配结果是该对象的图像的多个单元与该预定模板图像的多个单元的单元特征的整体匹配度最高的匹配结果。
3.如权利要求2所述的方法,其中所述整体匹配度最高的匹配结果是其中对象的图像的每个单元与该预定模板图像的相应单元的匹配度之和最大的匹配结果,或者其中对象的图像的每个单元与该预定模板图像的相应单元的匹配度的均方差之和最小的匹配结果。
4.如权利要求2所述的方法,其中所述基于该匹配结果检测是否存在对该对象的遮挡包括:
根据所述匹配结果,选择在该对象的图像的多个单元中与该预定模板图像的相应单元的匹配度低于预定阈值的单元;以及
针对所述匹配度低于预定阈值的单元检测是否存在遮挡。
5.如权利要求4所述的方法,其中通过对以下图像特征的至少一个进行分析来检测是否存在遮挡:视差分布特征、深度特征、颜色特征、边缘特征。
6.如权利要求4所述的方法,还包括:
当检测到当前帧中存在遮挡时,基于当前帧以及预定数量的历史帧中的遮挡的检测结果,预测下一帧中是否存在遮挡;以及
当预测下一帧中将存在遮挡时,基于当前帧中的遮挡的检测结果更新所述模板图像,将更新后的模板图像作为下一帧的候选模板图像。
7.如权利要求6所述的方法,其中更新所述模板图像包括用在当前帧的图像中存在遮挡的特征单元来更新模板图像中的相应特征单元。
8.如权利要求1~7中任一项所述的方法,还包括:
输出所述检测结果。
9.一种对于目标场景中的对象的遮挡进行检测的装置,包括:
图像获取部件,获得该对象的图像,并且获得该对象的预定模板图像;
匹配部件,将该对象的图像与该预定模板图像进行匹配,获得匹配结果;以及
检测部件,基于该匹配结果检测是否存在对该对象的遮挡,获得检测结果。
10.如权利要求9所述的装置,其中所述匹配部件包括:
单元划分部件,根据相同的预定规则将该对象的图像与该预定模板图像分别划分为多个单元;
特征提取部件,提取该对象的图像的多个单元中的每个单元的单元特征以及该预定模板图像的多个单元中的每个单元的单元特征;以及
特征匹配部件,将该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配,以获得匹配结果。
11.如权利要求10所述的装置,其中所述检测部件包括:
单元选择部件,根据所述匹配结果,选择在该对象的图像的多个单元中与该预定模板图像的相应单元的匹配度低于预定阈值的单元;以及
单元检测部件,针对所述匹配度低于预定阈值的单元检测是否存在遮挡。
12.如权利要求9~11中任一项所述的装置,还包括:
输出部件,用于输出所述检测结果。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410450330.0A CN105469380A (zh) | 2014-09-05 | 2014-09-05 | 对于对象的遮挡进行检测的方法和装置 |
EP15183572.5A EP2993621B1 (en) | 2014-09-05 | 2015-09-02 | Method and apparatus for detecting shielding against object |
JP2015173099A JP6679858B2 (ja) | 2014-09-05 | 2015-09-02 | 対象の遮蔽を検出する方法と装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410450330.0A CN105469380A (zh) | 2014-09-05 | 2014-09-05 | 对于对象的遮挡进行检测的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105469380A true CN105469380A (zh) | 2016-04-06 |
Family
ID=54151064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410450330.0A Pending CN105469380A (zh) | 2014-09-05 | 2014-09-05 | 对于对象的遮挡进行检测的方法和装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2993621B1 (zh) |
JP (1) | JP6679858B2 (zh) |
CN (1) | CN105469380A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952294A (zh) * | 2017-02-15 | 2017-07-14 | 北京工业大学 | 一种基于rgb‑d数据的视频跟踪方法 |
CN107766885A (zh) * | 2017-10-19 | 2018-03-06 | 北京小米移动软件有限公司 | 检测摄像头的遮罩膜的方法及装置 |
CN107924568A (zh) * | 2016-07-08 | 2018-04-17 | 欧姆龙株式会社 | 图像处理装置和图像处理方法 |
CN108875528A (zh) * | 2018-01-08 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸形状点定位方法及装置、存储介质 |
CN110472486A (zh) * | 2019-07-03 | 2019-11-19 | 北京三快在线科技有限公司 | 一种货架障碍物识别方法、装置、设备及可读存储介质 |
CN112967399A (zh) * | 2021-03-31 | 2021-06-15 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维时序图像生成方法、装置、计算机设备和存储介质 |
CN114268807A (zh) * | 2021-12-24 | 2022-04-01 | 杭州当虹科技股份有限公司 | 一种实时智能遮台标的自动化测试方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10332272B2 (en) | 2017-08-07 | 2019-06-25 | Caterpillar Inc. | Systems and methods for testing an automatic perception system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7142600B1 (en) * | 2003-01-11 | 2006-11-28 | Neomagic Corp. | Occlusion/disocclusion detection using K-means clustering near object boundary with comparison of average motion of clusters to object and background motions |
CN101887588A (zh) * | 2010-08-04 | 2010-11-17 | 中国科学院自动化研究所 | 一种基于表观分块的遮挡处理方法 |
WO2014085025A1 (en) * | 2012-11-29 | 2014-06-05 | Pelco, Inc. | Object removable detection using 3-d depth information |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4467838B2 (ja) * | 2001-06-15 | 2010-05-26 | パナソニック株式会社 | 画像認識装置および画像認識方法 |
JP4096757B2 (ja) * | 2003-02-25 | 2008-06-04 | 松下電工株式会社 | 画像追跡装置 |
ATE487201T1 (de) * | 2005-03-17 | 2010-11-15 | British Telecomm | Verfolgen von objekten in einer videosequenz |
KR100814424B1 (ko) * | 2006-10-23 | 2008-03-18 | 삼성전자주식회사 | 폐색영역 검출장치 및 검출방법 |
JP2009199417A (ja) * | 2008-02-22 | 2009-09-03 | Denso Corp | 顔追跡装置及び顔追跡方法 |
-
2014
- 2014-09-05 CN CN201410450330.0A patent/CN105469380A/zh active Pending
-
2015
- 2015-09-02 EP EP15183572.5A patent/EP2993621B1/en active Active
- 2015-09-02 JP JP2015173099A patent/JP6679858B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7142600B1 (en) * | 2003-01-11 | 2006-11-28 | Neomagic Corp. | Occlusion/disocclusion detection using K-means clustering near object boundary with comparison of average motion of clusters to object and background motions |
CN101887588A (zh) * | 2010-08-04 | 2010-11-17 | 中国科学院自动化研究所 | 一种基于表观分块的遮挡处理方法 |
WO2014085025A1 (en) * | 2012-11-29 | 2014-06-05 | Pelco, Inc. | Object removable detection using 3-d depth information |
Non-Patent Citations (4)
Title |
---|
AHRA JO ET AL: "Occlusion detection using horizontally segmented windows for vehicle tracking", 《SPRINGER》 * |
HIEU T.NGUYEN ET AL: "Occlusion robust adaptive template tracking", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
周围: "基于稀疏表示的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
王展青 等: "跟踪遮挡目标的一种鲁棒算法", 《计算机工程与应用》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107924568A (zh) * | 2016-07-08 | 2018-04-17 | 欧姆龙株式会社 | 图像处理装置和图像处理方法 |
CN107924568B (zh) * | 2016-07-08 | 2021-08-10 | 欧姆龙株式会社 | 图像处理装置、图像处理方法和存储介质 |
CN106952294A (zh) * | 2017-02-15 | 2017-07-14 | 北京工业大学 | 一种基于rgb‑d数据的视频跟踪方法 |
CN106952294B (zh) * | 2017-02-15 | 2019-10-08 | 北京工业大学 | 一种基于rgb-d数据的视频跟踪方法 |
CN107766885A (zh) * | 2017-10-19 | 2018-03-06 | 北京小米移动软件有限公司 | 检测摄像头的遮罩膜的方法及装置 |
CN108875528A (zh) * | 2018-01-08 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸形状点定位方法及装置、存储介质 |
CN108875528B (zh) * | 2018-01-08 | 2021-01-29 | 北京旷视科技有限公司 | 一种人脸形状点定位方法及装置、存储介质 |
CN110472486A (zh) * | 2019-07-03 | 2019-11-19 | 北京三快在线科技有限公司 | 一种货架障碍物识别方法、装置、设备及可读存储介质 |
CN112967399A (zh) * | 2021-03-31 | 2021-06-15 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维时序图像生成方法、装置、计算机设备和存储介质 |
CN114268807A (zh) * | 2021-12-24 | 2022-04-01 | 杭州当虹科技股份有限公司 | 一种实时智能遮台标的自动化测试方法 |
CN114268807B (zh) * | 2021-12-24 | 2023-08-01 | 杭州当虹科技股份有限公司 | 一种实时智能遮台标的自动化测试方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2016058085A (ja) | 2016-04-21 |
EP2993621A1 (en) | 2016-03-09 |
EP2993621B1 (en) | 2020-08-05 |
JP6679858B2 (ja) | 2020-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105469380A (zh) | 对于对象的遮挡进行检测的方法和装置 | |
Yeum et al. | Vision‐based automated crack detection for bridge inspection | |
CN105046235B (zh) | 车道线的识别建模方法和装置、识别方法和装置 | |
Du et al. | Vision-based approach towards lane line detection and vehicle localization | |
CN108596128B (zh) | 对象识别方法、装置及存储介质 | |
KR101609303B1 (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
Pless et al. | Evaluation of local models of dynamic backgrounds | |
US20170103258A1 (en) | Object detection method and object detection apparatus | |
US9317765B2 (en) | Human image tracking system, and human image detection and human image tracking methods thereof | |
CN107657626B (zh) | 一种运动目标的检测方法和装置 | |
CN107885224A (zh) | 基于三目立体视觉的无人机避障方法 | |
CN107909012B (zh) | 一种基于视差图的实时车辆跟踪检测方法与装置 | |
CN112528974B (zh) | 测距方法、装置、电子设备及可读存储介质 | |
CN112633255B (zh) | 目标检测方法、装置及设备 | |
CN104408711A (zh) | 一种基于多尺度区域融合的显著区域检测方法 | |
Satzoda et al. | On performance evaluation metrics for lane estimation | |
CN109191513A (zh) | 基于全局优化的电力设备立体匹配方法 | |
Meshram et al. | Traffic surveillance by counting and classification of vehicles from video using image processing | |
Farag | A comprehensive real-time road-lanes tracking technique for autonomous driving | |
CN108596032B (zh) | 一种视频中打架行为检测方法、装置、设备及介质 | |
CN112883948A (zh) | 一种语义分割与边缘检测模型建立及护栏异常监测方法 | |
Haberdar et al. | Disparity map refinement for video based scene change detection using a mobile stereo camera platform | |
JP6326622B2 (ja) | 人物検出装置 | |
CN115909219A (zh) | 一种基于视频分析的场景变更检测方法与系统 | |
Lu et al. | Monocular multi-kernel based lane marking detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160406 |
|
WD01 | Invention patent application deemed withdrawn after publication |