CN103424105A - 对象检测方法和装置 - Google Patents
对象检测方法和装置 Download PDFInfo
- Publication number
- CN103424105A CN103424105A CN2012101529418A CN201210152941A CN103424105A CN 103424105 A CN103424105 A CN 103424105A CN 2012101529418 A CN2012101529418 A CN 2012101529418A CN 201210152941 A CN201210152941 A CN 201210152941A CN 103424105 A CN103424105 A CN 103424105A
- Authority
- CN
- China
- Prior art keywords
- distance
- candidate object
- candidate
- error
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 110
- 238000005259 measurement Methods 0.000 claims abstract description 79
- 238000009826 distribution Methods 0.000 claims description 89
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 51
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
提供了一种对象检测方法和装置。该对象检测方法包括:获得包括对象的视差图,该视差图是基于双目测距原理利用确定摄像机采集的;从视差图中检测候选对象;确定所述候选对象的距离;基于所述候选对象的距离,确定是否接受候选对象;以及如果确定不接受候选对象,则基于统计手段进一步检查候选对象的有效性。利用根据本发明实施例的对象检测方法和装置,对于基于候选对象的距离判定为不接受的候选对象,并非简单地弃之不用,而是基于统计手段进一步检查候选对象的有效性。由此提供了更加丰富的检测信息,降低了漏检和误检,提高了对信息的利用程度。
Description
技术领域
本发明总体上涉及对象检测方法与装置,更具体地涉及使用视差图检测对象的方法和装置。
背景技术
对象检测技术是视频监控、机器人导航、智能驾驶辅助系统以及互联网搜索等应用所需的关键技术。目前,其精度和效率仍难以满足真实应用的需要。使用深度图像或视差图像是提高对象的检测精度的比较实际的选择。然而,对于深度图像的采集设备例如双目摄像机而言,误差是一个固有的问题。基本上,随着测量距离的增长,测量误差在增加。测量误差对于深度测量和后续的处理,例如对象检测和跟踪等,都有很大的负面影响。
难点在于这种误差是固有的,在多数的实际应用场景中,其难以被去除或者消减。因此,在做实际的对象检测和跟踪时,使用的深度图像是带有误差的。
专利文献US20090122136 A1公开了一种车辆对象检测装置,其包括:第一检测装置,基于立体相机的视差图(相当于深度图)来检测对象;第二检测装置,基于毫米波传感器来检测对象。该技术的基本思想是使用多种数据补偿视差图的误差。其使用融合的结果来增加基于立体相机的距离的测量精度。该技术需要使用多种传感器,同时其融合的思想难以适用于复杂的场景。
专利文献US20110267430 A1公开了一种平面区域的检测装置。该检测装置包括用于获取左、右图像的图像获取装置和平面区域校正装置。该技术的基本思想是要考虑振动引发的误差,其通过在时域多次进行平面区域的校正来减少误差的影响。其处理了一种特殊的误差场景,该场景并不通用,因此,其应用范围非常有限。
非专利文献“Multiple-Person Tracking Using a Plan-View Map withError Estimation”,ACCV 2006 Paper,Mitsubishi Electric Co.and KyotoUniversity中,公开了一种基于立体相机进行多人的检测和跟踪的方法。其使用平面视图,即投影的三维数据的二维直方图统计,基于平面视图来计算特征,根据特征判断是否为人。该技术的基本思想是生成一个大的搜索窗口来应对误差的问题。但使用大的搜索窗口的策略会引发更多的噪声和对象粘连。其仅在一些特殊的场景下有效,例如,多个人相聚较远。该方法是基于平面视图的,其应用范围比较有限。
当前利用视差图的对象检测方法,主要有三种策略来应对误差。第一种,当距离较远时,不进行对象的检测;第二种,当误差大于一定阈值后,不进行对象的检测;第三种,不考虑误差,直接进行对象的检测。第一种和第二种策略本质上是一样的,其减少了处理时间和误检,但引入了漏检;第三种策略没有考虑误差的影响,引发很多误检。
发明内容
鉴于上述情况,提出了本发明。
本发明的一个目标是找到一种对象检测方法和装置,其考虑到误差的影响,在合理的处理时间内,既减少漏检,也减少误检。
根据本发明的一个方面,提供了一种对象检测方法,可以包括:获得包括对象的视差图,该视差图是基于双目测距原理利用确定摄像机采集的;从视差图中检测候选对象;确定所述候选对象的距离;基于所述候选对象的距离,确定是否接受候选对象;以及如果确定不接受候选对象,则基于统计手段进一步检查候选对象的有效性。
根据本发明的再一个方面,提供了一种对象检测装置,可以包括:视差图像获得部件,用于获得包括对象的视差图像,该视差图像是基于双目测距原理利用确定摄像机采集的;候选对象检测部件,用于从视差图像中检测候选对象;距离确定部件,用于确定所述候选对象的距离;判定部件,用于基于所述候选对象的距离,确定是否接受候选对象;以及有效性检查部件,用于如果确定不接受候选对象,则基于统计手段进一步检查候选对象的有效性。
利用根据本发明实施例的对象检测方法和装置,对于基于候选对象的距离,判定为不接受的候选对象,并非简单地弃之不用,而是基于统计手段,例如基于该确定摄像机在某测量距离对应的表征误差的统计分布与测量对象的距离分布之间的统计相似性,来进一步检查候选对象的有效性。由此提供了更加丰富的检测信息,对于被判断为有效的结果,将其加入检测结果列表,由此降低了漏检。而对于被判断为无效的结果,优选地可以进一步进行局部的再检测,由此进一步降低了漏检,提高了对信息的利用程度。
附图说明
图1示出了根据本发明第一实施例的对象检测方法的总体流程图。
图2根据一个实施例给出了基于候选对象的距离确定是否接受候选对象的第一示例性方法的流程图。
图3示出根据本发明实施例的简略方法给出的误差和Z/B的关系曲线。
图4根据一个实施例给出了基于候选对象的距离确定是否接受候选对象的第二示例性方法的流程图。
图5示出根据本发明一个实施例表征摄像机与特定距离相关联的定位误差的高斯分布的示意图。
图6示出根据本发明实施例的、不同距离的定位误差的高斯分布有不同的峰值的示意图。
图7示出根据本发明一个实施例的、基于统计手段进一步检查候选对象的有效性的示例性方法的流程图。
图8示出了根据本发明第二实施例的对象检测方法的总体流程图。
图9示出了本发明实施例的方法应用于基于视差图检测车辆的情况下的检测结果示意图。
图10是根据本发明一个实施例的对象检测装置的功能配置框图。
图11是示出按照本发明实施例的对象检测系统的总体硬件框图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
下面首先介绍一下基本概念,以便于理解。
视差,实际指从某一基线两端各引一直线到同一较远物体时,其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角,叫做这两个点的视差角,两点之间的距离称作基线。只要知道视差角度和基线长度,就可以计算出目标和观测者之间的距离。公知地,视差和距离之间成反比关系,距离越近,视差越大,距离越远,视差越小。
视差图(disparity map)是以任一幅图像为基准,其大小为该基准图像的大小,元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以例如从双目相机拍摄的左图像和右图像中计算得到,或者通过立体视图中的深度图计算得到。
本文中,有些情况下,将视差也称为深度。
将按如下顺序进行描述:
1、第一实施例
1.1、对象检测方法示例的总体流程图
1.2基于候选对象的距离确定是否接受候选对象的第一示例性方法
1.3基于候选对象的距离确定是否接受候选对象的第二示例性方法
1.4基于统计手段进一步检查候选对象的有效性的示例性方法
2、第二实施例
3、对象检测装置
4、系统硬件配置
1、第一实施例
1.1、对象检测方法示例的总体流程图
图1示出了根据本发明第一实施例的对象检测方法100的总体流程图。
如图1所示,在步骤S110中,获得包括对象的视差图,该视差图是基于双目测距原理利用确定摄像机采集的。
任何现有的获取视差图的方法均可以用于本发明。例如,可以通过双目相机、多目相机、立体相机拍摄并计算得到包括该对象部分的视差图。具体地,例如,可以通过双目相机来拍得左图像和右图像,基于左图像和右图像计算得到视差图。或者,可以从立体视图中获得深度图,根据深度图得到视差图。
需要说明的是,这里的视差图并不限于必需由多个相机才能得到,而是也可以由一个相机基于时域得到。例如,可以由一个相机在一个时刻拍摄得到一幅图像作为左图像,然后在下一时刻,将该相机稍稍移动位置后拍摄得到另一幅图像作为右图像,基于如此得到的左图像和右图像也可以计算得到视差图。
在步骤S120中,从视差图中检测候选对象。
具体地,例如,可以通过在视差图像中查找在预定的视差范围内的连通区域,来从视差图像获取候选对象。
另外,在此步骤中,可以进行适当的尺寸过滤。例如,可以过滤掉面积过小或过大的连通区域,这样的连通区域更可能是噪声。
此外,在此步骤中,还可以进行位置过滤。例如,在检测车辆的情况下,车辆不可能出现在天空中,因此,可以采用预定高度阈值rh(例如,rh为大于普通车辆高度的数值)来将自路面起高度大于rh的所有点移除。
上述检测方法仅为示例,任何用于从视差图中检测对象的方法均可以用于本发明。这并非本发明重点,这里不再对此详述。
在步骤S130中,确定所述候选对象的距离。
这里,候选对象的距离指的是候选对象相对于拍摄的摄像机的距离。
在步骤S120后,得到了一个候选对象区域,候选对象区域中的各个像素的视差值已知。如前所述,视差值和距离之间成反比关系。因此根据候选对象区域中的各个像素的视差值,可以获得对象的距离。
例如,可以取各个像素的视差值的平均值,得到候选对象区域的平均视差值,然后基于平均视差值来计算对象的距离。
或者,出于计算速度考虑,也可以取若干样本像素点,取这些样本像素点的视差值的均值,进而计算对象的距离。
更简单地,如果距离的绝对值不重要的话,也可以直接以视差值的均值或者其他代表性视差值的倒数作为对象距离的表征。
不过,取平均距离仅为示例,根据需要,也可以选取例如所有像素点的距离中的最近距离(视差最大的像素点)作为对象距离,或者选取例如所有像素点的距离中的最远距离(视差最小的像素点)作为对象距离。
在步骤S140中,基于所述候选对象的距离,确定是否接受候选对象。
如前所述,一般的应用情况下,随着测量距离的增长,测量误差增加。
因此,一个简单方法是,设置一阈值距离Dth,如果候选对象的距离小于阈值距离Dth,则认为候选对象的检测结果是可靠的,可以接受;否则可以认为候选对象的检测结果是不可靠的,需要进一步确认或者处理。
不过该方法仅为示例,也可以基于候选对象的距离,来获得测量误差,基于测量误差来确定是否接受候选对象。后面将参考图2、图3对该方法进一步详细描述。
或者,也可以从概率统计的视角,以高斯分布表征与距离相关联的测量置信度值,进而确定是否接受候选对象。后面将参考图4对该方法进一步详细描述。
在步骤S150中,如果作为步骤S140的确定结果,确定不接受候选对象,则基于统计手段进一步检查候选对象的有效性。
可以一方面确定候选对象内部的各个像素的距离的统计上分布特性,以及另一方面假设已知该确定摄像机在该候选对象的距离上的统计上的误差分布,基于此两者之间的比较来检查候选对象的有效性。
基于统计手段进一步检查候选对象的有效性的基本想法是:假设事先已经进行了该确定摄像机在各个距离上的误差变化状况的统计并获得统计数据,当前用摄像机获得了候选对象的视差图,且得到候选对象内的各个像素的距离测量结果,则因为是同样的摄像机设备(例如同一台双目摄像机)在两种不同场景下的测量,因此在某个确定的测量距离上,两者在统计特性上应该是相似的。
下面将参考图7给出在利用高斯分布表征测量距离对应的误差的情况下,基于统计手段进一步检查候选对象的有效性的方法的示例。
作为检查候选对象的有效性的结果,可以获得是否有效的二值结果,也可以获得表示有效(或无效)的可能性程度的度量。由此,可以提供更丰富的候选对象检测信息。
作为示例,如果检查结果为候选对象有效,则接受候选对象,并可以输出。如果检查结果为候选对象无效,则根据需求,可以丢弃候选对象,或者可以进行局部再检测,如后面将详细描述的。
利用根据本发明实施例的对象检测方法,对于基于候选对象的距离,判定为不接受的候选对象,并非简单地弃之不用,而是基于统计手段,例如基于该确定摄像机在某测量距离对应的表征误差的统计分布与测量对象的距离分布之间的统计相似性,来进一步检查候选对象的有效性。由此提供了更加丰富的检测信息。对于被判断为有效的结果,可以将其加入检测结果列表,由此降低了漏检。而对于被判断为无效的结果,优选地可以进一步进行局部的再检测,由此可进一步降低漏检,提高对信息的利用程度。
1.2基于候选对象的距离确定是否接受候选对象的第一示例性方法
下面将参考图2描述基于候选对象的距离确定是否接受候选对象的第一示例性方法140。该第一示例性方法140可以应用于图1的步骤S140。
图2根据一个实施例给出了基于候选对象的距离确定是否接受候选对象的第一示例性方法的流程图。
如图2所示,在步骤S141,获得表示所述摄像机的测量误差与测量距离之间关系的误差变化状况。
可通过实验或者误差估计计算两种方法,来得到双目摄像机的误差变化状况。通过实验来确定双目摄像机的误差变化状况,指通过对比对象到双目摄像机的真实距离和测量距离来测定误差。通过误差估计计算来得到双目摄像机的误差分布状况,可以使用已有的公式和方法,有关详细介绍,可以在例如张广军著的书籍《视觉测量》,北京:科学出版社,2008和刘琼等的“双目视觉测量系统结构参数设计及精度分析”,中国机械工程,Vol.19 No.22,2008/11 2728-2732中找到。
优选地,根据本发明一个实施例,可以使用一种简略方法来计算某测量距离对应的测量误差,如公式(1)和公式(2)所示。
Δxz表示估计的误差,B表示双目摄像机中两个相机间的距离;Z表示检测对象到双目摄像机的距离;δB是误差的单位。
图3示出基于公式(1)和公式(2)的本发明实施例的简略方法给出的误差和Z/B的关系曲线,其中B表示双目摄像机中两个相机间的距离,Z表示检测对象到双目摄像机的距离。由图3可以看出当Z/B值在[0.2,1.4]的区间内时,双目摄像机设备的误差保持在低的水平,Z/B值位于其他地方时,误差明显增大。在双目摄像机确定后,B值确定,因此误差由距离Z决定,而且因为一般应用情况都是远距情况,即Z/B值较大的情况,所以一般情况下,都满足距离越大,误差越大的规律。
优选地,在通过误差计算或者通过实验测定误差后,可以构建一个用于存储双目摄像机在不同距离上的测量的误差值的误差查找表。
在步骤S142,基于误差变化状况,根据候选对象的距离,获得所述摄像机的对应测量误差。
在已经制备了误差查找表的情况下,可以根据候选对象的距离,从误差查找表中查找得到对应的测量误差。
如果没有制备误差查找表,则因为已知距离Z和摄像机的参数B,所以可以根据上述公式(1)和(2)来计算得到对应的测量误差。
在步骤S143,基于测量误差来确定是否接受候选对象。
相比于测量距离,测量误差给出了一个更清楚的指示检测可靠性的指标。
作为示例,可以预先确定一个测量误差阈值,如果候选对象的测量误差小于此测量误差阈值,则接受该候选对象,可以将该候选对象加入检测出的对象列表;否则如果候选对象的测量误差大于测量误差阈值,则可以根据需要来决定如何处理该候选对象。
1.3基于候选对象的距离确定是否接受候选对象的第二示例性方法
下面将参考图4描述根据本发明实施例的、基于候选对象的距离确定是否接受候选对象的第二示例性方法140’。该第二示例性方法140’可以应用于图1的步骤S140。
与图3所示的第一示例性方法140不同,图4的第二示例性方法140’根据实验利用高斯分布来表征某对象距离对应的测量误差。
图4根据一个实施例给出了基于候选对象的距离确定是否接受候选对象的第二示例性方法140’的流程图。
如图4所示,在步骤S141’中,以高斯分布来表征摄像机与特定距离相关联的定位误差,利用高斯分布的峰值表征摄像机与距离相关联的测量置信度值。
图5示出根据本发明一个实施例表征摄像机与特定距离相关联的定位误差的高斯分布的示意图。下文均值μ表示对象距离双目摄像机的测量距离的平均值,σ表示对象在该平均距离上的测量误差。
可以采用实验的方法来获取双目采集设备的误差,公式(3)和公式(4)用于获取统计意义上的均值和误差。
可以以高斯分布的峰值作为置信度值来表征双目摄像机的某个测量距离上的测量精度水平。如果该值较大(接近1),则意味着该双目摄像机在该测量距离上的测量精度高。
图6示出根据本发明实施例、不同距离的定位误差的高斯分布有不同的峰值的示意图。图6中的(a)图表示一种小误差的情景,其中高斯分布的σ值小,高斯分布的峰值大致为0.8,其对应的置信度值为0.8。图6中的(b)图表示一种大误差的情景,其中高斯分布的σ值大,高斯分布的峰值大致为0.2,其对应的置信度值为0.2。
在计算得到双目摄像机在不同测量距离上的置信度值后,为加快后续的处理,可以构建并存储一个置信度查找表来存储不同距离上的双目摄像机的置信度值。
在步骤S142’中,根据候选对象的距离,获得所述摄像机的对应测量置信度值。
作为示例,在已经制备了置信度查找表的情况下,可以根据候选对象的距离,从置信度查找表中查找得到与候选对象距离对应的测量置信度值。
在步骤S143’中,基于测量置信度值来确定是否接受候选对象。
测量置信度给出了一个更清楚的检测可靠性的指标。
可以预先确定一个测量置信度阈值,如果候选对象的测量置信度值大于此测量置信度阈值,则接受该候选对象,可以将该候选对象加入检测出的对象列表;否则如果候选对象的测量置信度值小于测量置信度阈值,则可以根据需要来决定如何处理该候选对象。
1.4基于统计手段进一步检查候选对象的有效性的示例性方法
下面将参考图7描述根据本发明一个实施例的、基于统计手段进一步检查候选对象的有效性的示例性方法150。该示例性方法150可以应用于图1的步骤S150。
如图7所示,在步骤S151中,获得表示所述摄像机的测量误差与测量距离之间关系的误差变化状况,其中测量距离对应的误差以第一高斯分布来表征。
如前文关于图4的步骤S141’所述的,以高斯分布来表征摄像机的与某测量距离对应的误差,称其为第一高斯分布,利用上述公式(3)和(4)获得该第一高斯分布的参数μ1(即距离)和σ1,实际应用中,在估计第一高斯分布时使用的拍摄对象的像素(即样本)的个数用n1表示,第一高斯分布的参数μ和σ实际上以样本均值和样本偏差来估计。
此第一高斯分布参数可以是事先确定的,并例如以三元组形式存储在存储器中。
在步骤S152中,对于所检测的候选对象,估计该候选对象内部的像素的距离的第二高斯分布的参数。
这里,认为候选对象内部的像素的距离(或视差)的分布应该满足高斯分布。
可以基于极大似然估计来计算所检测候选对象的高斯分布的参数。公式(3)和公式(4)可直接用于获得所检测候选对象在真实应用场景中的距离测量得到的结果的第二高斯分布参数μ2(即距离)和σ2,在估计第二高斯分布时使用的拍摄对象的像素(即样本)的个数用n2表示,则第二高斯分布的参数μ和σ实际上以样本均值和样本方差来估计。
在步骤S153中,通过置信区间估计来计算候选对象的第二高斯分布和所述两个摄像机在与候选对象的距离对应的距离上的误差的第一高斯分布的统计相似度,并基于统计相似度,确定第一高斯分布和第二高斯分布在统计上是否相似,以及如果这两个分布在统计上相似,则确定该候选对象是有效的,否则确定该候选对象是无效的。
如前所述,因为是同一台双目摄像机设备在两种不同场景下的测量,因此在某个确定的测量距离上,第一高斯分布和第二高斯分布这两个高斯分布的参数“方差”在统计上应当是相似的。
作为示例,可以根据下述公式(5)通过F分布来计算置信区间,
其中,是置信区间的置信下限,,是置信区间的置信下限,F(n1-1,n2-1)是F分布,n1和n2分别是估计第一高斯分布和第二高斯分布参数时使用的第一样本集合的样本数和第二样本集合的样本数,是第一样本集合的标准偏差,是第二样本集合的标准偏差,α表示统计上的置信水平为1-α。
作为示例,基于统计相似度确定第一高斯分布和第二高斯分布是否相似可以包括:如果置信区间包括1.0,则确定这两个高斯分布在统计上相似;如果置信区间不包括1.0,即确定这两个高斯分布在统计上不相似。例如,置信区间为(0.7,2),包括1.0,确定第一高斯分布和第二高斯分布在统计上相似,所检测的候选对象是有效的;置信区间为(0.6,0.9),不包括1.0,确定第一高斯分布和第二高斯分布在统计上不相似,所检测的候选对象是无效的;置信区间为(1.5,4),不包括1.0,确定第一高斯分布和第二高斯分布在统计上不相似,所检测的候选对象是无效的。
上述示例中描述了使用F分布来计算第一高斯分布和第二高斯分布在统计上相似的置信区间。不过这仅为示例,任何能判断两个分布是否相似的手段均可以用于本发明。
2、第二实施例
图8示出了根据本发明第二实施例的对象检测方法200的总体流程图。
第二实施例的对象检测方法200与第一实施例的对象检测方法100不同在于多了步骤S260,第二实施例的对象检测方法200中的步骤S210-S250与第一实施例的对象检测方法100中的步骤S110-S150类似,下文将详细描述步骤S260,而略去对步骤S210-S250的描述。
在步骤S260中,如果根据前面步骤S250的检测候选对象的有效性结果为无效,进行局部的再检测。
执行该步骤的基本思想在于,虽然候选对象被判断为无效的,但是该被判断为无效的候选对象仍然可能为我们提供一些可用信息,比如很有可能在该候选对象的附近区域内存在着待检测的对象。
具体地,可以如下在被确定为无效的候选对象的局部深度区域内再次进行对象的检测:统计无效的候选对象的深度范围;在每一个局部的深度区域,调整对象分割方法的参数;基于调整后的对象分割方法进行对象的再分割;对于再分割得到的候选对象,可以同样参考例如图7所示的方法基于统计手段进一步检查候选对象的有效性。这个过程可以重复多次,重复的次数需要一个上限来限定,该上限例如可以取为3等。经过对象的局部优化检测,许多小的分割碎片在某些情况下,可以被合并为有效的检测对象。例如,分割碎片在三维空间中离的比较近,合并后的对象符合要检测对象的尺寸约束。
通过此局部检测步骤,可以进一步减少对象漏检率。
图9示出了本发明实施例的方法应用于基于视差图检测车辆的情况下的检测结果示意图。图9中由近及远地显示了基于本发明检测到的对象。检测到的对象通过矩形框进行了标记,其分别为对象-1、对象-2和对象-3。
3、对象检测装置
图10是根据本发明一个实施例的对象检测装置8000的功能配置框图。
如图10所示,对象检测装置8000可以包括:视差图像获得部件8100,用于获得包括对象的视差图像,该视差图像是基于双目测距原理利用确定摄像机采集的;候选对象检测部件8200,用于从视差图像中检测候选对象;距离确定部件8300,用于确定所述候选对象的距离;判定部件8400,用于基于所述候选对象的距离,确定是否接受候选对象;以及有效性检查部件8500,用于如果确定不接受候选对象,则基于统计手段进一步检查候选对象的有效性。
虽然图中未示出,但是对象检测装置8000还可以包括:局部再检测部件,用于如果检测候选对象的有效性结果为无效,进行局部的再检测。
判定部件8400基于所述候选对象的距离确定是否接受候选对象可以包括:获得表示所述摄像机的测量误差与测量距离之间关系的误差变化状况;基于误差变化状况,根据候选对象的距离,获得所述摄像机的对应测量误差;以及基于测量误差来确定是否接受候选对象。
其中获得所述摄像机的误差变化状况可以包括:根据如下公式来计算估计的误差:
其中Δxz表示估计的误差,B表示两个摄像机间的距离;Z表示检测对象到摄像机的距离;δB是误差的单位。
或者,判定部件8400基于所述候选对象的距离确定是否接受候选对象可以包括:以高斯分布来表征摄像机与特定距离相关联的定位误差,利用高斯分布的峰值表征摄像机与距离相关联的测量置信度值;根据候选对象的距离,获得所述摄像机的对应测量置信度值;以及基于测量置信度值来确定是否接受候选对象。
有效性检查部件8500基于统计手段进一步检查候选对象的有效性可以包括:获得表示所述摄像机的测量误差与测量距离之间关系的误差变化状况,其中测量距离对应的误差以第一高斯分布来表征;对于所检测的候选对象,估计该候选对象内部的像素的距离的第二高斯分布的参数;通过置信区间估计来计算候选对象的第二高斯分布和所述两个摄像机在与候选对象的距离对应的距离上的误差的第一高斯分布的统计相似度,并基于统计相似度,确定第一高斯分布和第二高斯分布在统计上是否相似,以及如果这两个分布在统计上相似,则确定该候选对象是有效的,否则确定该候选对象是无效的。
其中置信区间估计的计算可以包括:根据下述公式通过F分布来计算置信区间,
其中,是置信区间的置信下限,,是置信区间的置信下限,F(n1-1,n2-1)是F分布,n1和n2分别是估计第一高斯分布和第二高斯分布参数时使用的第一样本集合的样本数和第二样本集合的样本数,是第一样本集合的标准偏差,是第二样本集合的标准偏差,α表示统计上的置信水平为1-α。
基于统计相似度,确定第一高斯分布和第二高斯分布是否相似可以包括:如果置信区间包括1.0,则确定这两个高斯分布的方差在统计上相似;如果置信区间不包括1.0,即确定这两个高斯分布的方差在统计上不相似。
利用根据本发明实施例的对象检测装置,对于基于候选对象的距离,判定为不接受的候选对象,并非简单地弃之不用,而是基于统计手段,例如基于该确定摄像机在某测量距离对应的表征误差的统计分布与测量对象的距离分布之间的统计相似性,来进一步检查候选对象的有效性。由此提供了更加丰富的检测信息,对于被判断为有效的结果,将其加入检测结果列表,由此降低了漏检。而对于被判断为无效的结果,优选地可以进一步进行局部的再检测,由此进一步降低了漏检,提高了对信息的利用程度。
4、系统硬件配置
本发明还可以通过一种对象检测硬件系统来实施。图11是示出按照本发明实施例的对象检测系统1000的总体硬件框图。如图11所示,对象检测系统1000可以包括:输入设备1100,用于从外部输入有关图像或信息,例如对象的视差图,或者多个摄像机拍摄的图像、摄像机之间的距离等,例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等;处理设备1200,用于实施上述的按照本发明实施例的对象检测方法,或者实施为上述的对象检测装置,例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等,可以连接到诸如因特网的网络(未示出),根据处理过程的需要向远程传送作为检测结果的对象图像等等;输出设备1300,用于向外部输出实施上述对象检测过程所得的结果,例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等;以及存储设备1400,用于以易失或非易失的方式存储上述对象检测过程所涉及的图像、多个摄像机的参数、误差变化状况图、距离误差查找表、距离置信度查找表等等,例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种对象检测方法,包括:
获得包括对象的视差图,该视差图是基于双目测距原理利用确定摄像机采集的;
从视差图中检测候选对象;
确定所述候选对象的距离;
基于所述候选对象的距离,确定是否接受候选对象;以及
如果确定不接受候选对象,则基于统计手段进一步检查候选对象的有效性。
2.根据权利要求1的对象检测方法,还包括:
如果检测候选对象的有效性结果为无效,进行局部的再检测。
3.根据权利要求1的对象检测方法,所述基于所述候选对象的距离,确定是否接受候选对象包括:
获得表示所述摄像机的测量误差与测量距离之间关系的误差变化状况;
基于误差变化状况,根据候选对象的距离,获得所述摄像机的对应测量误差;以及
基于测量误差来确定是否接受候选对象。
4.根据权利要求1的对象检测方法,所述基于所述候选对象的距离,确定是否接受候选对象包括:
以高斯分布来表征摄像机与特定距离相关联的定位误差,利用高斯分布的峰值表征摄像机与距离相关联的测量置信度值;
根据候选对象的距离,获得所述摄像机的对应测量置信度值;以及
基于测量置信度值来确定是否接受候选对象。
5.根据权利要求1的对象检测方法,所述基于统计手段进一步检查候选对象的有效性包括:
获得表示所述摄像机的测量误差与测量距离之间关系的误差变化状况,其中测量距离对应的误差以第一高斯分布来表征;
对于所检测的候选对象,估计该候选对象内部的像素的距离的第二高斯分布的参数;
通过置信区间估计来计算候选对象的第二高斯分布和所述摄像机在与候选对象的距离对应的距离上的误差的第一高斯分布的统计相似度,并基于统计相似度,确定第一高斯分布和第二高斯分布在统计上是否相似,以及如果这两个分布在统计上相似,则确定该候选对象是有效的,否则确定该候选对象是无效的。
7.根据权利要求5所述的对象检测方法,其中,基于统计相似度,确定第一高斯分布和第二高斯分布是否相似包括:如果置信区间包括1.0,则确定这两个高斯分布在统计上相似;如果置信区间不包括1.0,即确定这两个高斯分布在统计上不相似。
8.根据权利要求2的对象检测方法,所述进行局部的再检测包括:计算被检查为无效的候选对象的深度范围,调整对象检测算法的参数,再次进行对象检测。
9.根据权利要求3的对象检测方法,获得所述摄像机的误差变化状况包括:根据如下公式来计算估计的误差:
其中Δxz表示估计的误差,B表示两个摄像机间的距离;Z表示检测对象到摄像机的距离;δB是误差的单位。
10.一种对象检测装置,包括:
视差图像获得部件,用于获得包括对象的视差图像,该视差图像是基于双目测距原理利用确定摄像机采集的;
候选对象检测部件,用于从视差图像中检测候选对象;
距离确定部件,用于确定所述候选对象的距离;
判定部件,用于基于所述候选对象的距离,确定是否接受候选对象;以及
有效性检查部件,用于如果确定不接受候选对象,则基于统计手段进一步检查候选对象的有效性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210152941.8A CN103424105B (zh) | 2012-05-16 | 2012-05-16 | 对象检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210152941.8A CN103424105B (zh) | 2012-05-16 | 2012-05-16 | 对象检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103424105A true CN103424105A (zh) | 2013-12-04 |
CN103424105B CN103424105B (zh) | 2016-02-10 |
Family
ID=49649210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210152941.8A Active CN103424105B (zh) | 2012-05-16 | 2012-05-16 | 对象检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103424105B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765440A (zh) * | 2014-01-02 | 2015-07-08 | 株式会社理光 | 手检测方法和设备 |
CN104794429A (zh) * | 2015-03-23 | 2015-07-22 | 中国科学院软件研究所 | 一种面向监控视频的关联可视分析方法 |
CN105898265A (zh) * | 2014-12-18 | 2016-08-24 | 陆婷 | 一种基于立体视频的人体追踪新方法 |
CN106415606A (zh) * | 2014-02-14 | 2017-02-15 | 河谷控股Ip有限责任公司 | 一种基于边缘的识别、系统和方法 |
CN106471803A (zh) * | 2014-12-04 | 2017-03-01 | 深圳市大疆创新科技有限公司 | 成像系统及方法 |
CN106952310A (zh) * | 2016-01-29 | 2017-07-14 | 法拉第未来公司 | 用于确定能见度状态的系统及方法 |
CN107490365A (zh) * | 2016-06-10 | 2017-12-19 | 手持产品公司 | 尺寸度量器中的场景变化检测 |
CN109191512A (zh) * | 2018-07-27 | 2019-01-11 | 深圳市商汤科技有限公司 | 双目图像的深度估计方法及装置、设备、程序及介质 |
CN111182210A (zh) * | 2019-12-31 | 2020-05-19 | 浙江大学 | 一种双目分析双云台多目标跟踪摄像机 |
CN112513573A (zh) * | 2018-08-13 | 2021-03-16 | 日立汽车系统株式会社 | 立体摄像机装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001012945A (ja) * | 1999-06-30 | 2001-01-19 | Honda Motor Co Ltd | 距離検出装置 |
CN101527046A (zh) * | 2009-04-28 | 2009-09-09 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种运动检测方法、装置和系统 |
US20110267430A1 (en) * | 2010-04-28 | 2011-11-03 | Hitachi, Ltd. | Detection Device of Planar Area and Stereo Camera System |
-
2012
- 2012-05-16 CN CN201210152941.8A patent/CN103424105B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001012945A (ja) * | 1999-06-30 | 2001-01-19 | Honda Motor Co Ltd | 距離検出装置 |
CN101527046A (zh) * | 2009-04-28 | 2009-09-09 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种运动检测方法、装置和系统 |
US20110267430A1 (en) * | 2010-04-28 | 2011-11-03 | Hitachi, Ltd. | Detection Device of Planar Area and Stereo Camera System |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765440B (zh) * | 2014-01-02 | 2017-08-11 | 株式会社理光 | 手检测方法和设备 |
CN104765440A (zh) * | 2014-01-02 | 2015-07-08 | 株式会社理光 | 手检测方法和设备 |
CN106415606A (zh) * | 2014-02-14 | 2017-02-15 | 河谷控股Ip有限责任公司 | 一种基于边缘的识别、系统和方法 |
US10728514B2 (en) | 2014-12-04 | 2020-07-28 | SZ DJI Technology Co., Ltd. | Imaging system and method |
CN106471803A (zh) * | 2014-12-04 | 2017-03-01 | 深圳市大疆创新科技有限公司 | 成像系统及方法 |
CN105898265A (zh) * | 2014-12-18 | 2016-08-24 | 陆婷 | 一种基于立体视频的人体追踪新方法 |
CN104794429B (zh) * | 2015-03-23 | 2018-10-23 | 中国科学院软件研究所 | 一种面向监控视频的关联可视分析方法 |
CN104794429A (zh) * | 2015-03-23 | 2015-07-22 | 中国科学院软件研究所 | 一种面向监控视频的关联可视分析方法 |
CN106952310A (zh) * | 2016-01-29 | 2017-07-14 | 法拉第未来公司 | 用于确定能见度状态的系统及方法 |
CN107490365A (zh) * | 2016-06-10 | 2017-12-19 | 手持产品公司 | 尺寸度量器中的场景变化检测 |
CN107490365B (zh) * | 2016-06-10 | 2021-06-15 | 手持产品公司 | 尺寸度量器中的场景变化检测 |
CN109191512A (zh) * | 2018-07-27 | 2019-01-11 | 深圳市商汤科技有限公司 | 双目图像的深度估计方法及装置、设备、程序及介质 |
CN109191512B (zh) * | 2018-07-27 | 2020-10-30 | 深圳市商汤科技有限公司 | 双目图像的深度估计方法及装置、设备、程序及介质 |
US11295466B2 (en) | 2018-07-27 | 2022-04-05 | Shenzhen Sensetime Technology Co., Ltd. | Method and apparatus for estimating depth of binocular image, device, program, and medium |
CN112513573A (zh) * | 2018-08-13 | 2021-03-16 | 日立汽车系统株式会社 | 立体摄像机装置 |
CN112513573B (zh) * | 2018-08-13 | 2022-06-10 | 日立安斯泰莫株式会社 | 立体摄像机装置 |
CN111182210A (zh) * | 2019-12-31 | 2020-05-19 | 浙江大学 | 一种双目分析双云台多目标跟踪摄像机 |
Also Published As
Publication number | Publication date |
---|---|
CN103424105B (zh) | 2016-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103424105B (zh) | 对象检测方法和装置 | |
EP3489898B1 (en) | Method and apparatus for estimating disparity | |
US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
US9361696B2 (en) | Method of determining a ground plane on the basis of a depth image | |
EP2840528B1 (en) | Method and apparatus for tracking object | |
EP3582488A1 (en) | Autofocus for stereoscopic camera | |
US8989481B2 (en) | Stereo matching device and method for determining concave block and convex block | |
US20190080464A1 (en) | Stereo matching method and apparatus | |
CN104346811A (zh) | 基于视频图像的目标实时追踪方法及其装置 | |
US20130080111A1 (en) | Systems and methods for evaluating plane similarity | |
KR101854048B1 (ko) | 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치 | |
US7561732B1 (en) | Method and apparatus for three-dimensional shape estimation using constrained disparity propagation | |
CN106875436A (zh) | 一种基于特征点密度由聚焦堆栈估计深度的方法和装置 | |
CN103761768A (zh) | 一种三维重建的立体匹配方法 | |
US20140161313A1 (en) | Tracking device | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
CN103714528B (zh) | 物体分割装置和方法 | |
CN108062765A (zh) | 双目图像处理方法、成像装置及电子设备 | |
CN105931231A (zh) | 一种基于全连接随机场联合能量最小化的立体匹配方法 | |
US20230037958A1 (en) | System and Methods for Depth Estimation | |
Xiao et al. | A segment-based stereo matching method with ground control points | |
JP6055307B2 (ja) | 対応点探索装置およびカメラ姿勢推定装置ならびにこれらのプログラム | |
KR101220003B1 (ko) | 시차 맵 생성 방법 | |
CN111784756A (zh) | 视差置信度的估计方法、装置、电子设备及介质 | |
CN107948629B (zh) | 一种视差确定方法、装置及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |