CN105335955B - 对象检测方法和对象检测装置 - Google Patents

对象检测方法和对象检测装置 Download PDF

Info

Publication number
CN105335955B
CN105335955B CN201410341591.9A CN201410341591A CN105335955B CN 105335955 B CN105335955 B CN 105335955B CN 201410341591 A CN201410341591 A CN 201410341591A CN 105335955 B CN105335955 B CN 105335955B
Authority
CN
China
Prior art keywords
disparity map
original graph
detection object
history
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410341591.9A
Other languages
English (en)
Other versions
CN105335955A (zh
Inventor
游赣梅
刘媛
师忠超
鲁耀杰
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201410341591.9A priority Critical patent/CN105335955B/zh
Priority to US14/797,667 priority patent/US9576367B2/en
Priority to JP2015141707A priority patent/JP2016029564A/ja
Publication of CN105335955A publication Critical patent/CN105335955A/zh
Application granted granted Critical
Publication of CN105335955B publication Critical patent/CN105335955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种对象检测方法和装置，用于在当前帧的图像对中检测对象，所述当前帧的图像对包括当前帧原始图和对应的当前帧视差图，所述原始图包括灰度图和彩色图中的至少一个。所述对象检测方法包括：获得在所述当前帧视差图中检测到的第一视差图检测对象；获得在所述当前帧原始图中检测到的原始图检测对象；根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象；以及输出所述第二视差图检测对象。因此，本申请的实施例不但可以使得基于原始图像的对象检测方法对环境的变化更加鲁棒，而且可以使得基于视差图像的对象检测方法更加准确，即使是在视差很稀疏的情况。

Description

对象检测方法和对象检测装置
技术领域
本申请一般地涉及数字图像处理领域，更具体地，本申请涉及一种对象检测方法和对象检测装置。
背景技术
对象检测方法的应用日渐普及。具体地，在计算机视觉领域中，对象的检测和跟踪已经成为了活跃的研究对象，因为它可以为计算机自动地感知特定对象所提供关键的信息，并且为一些高层应用(例如，对象的活动识别和场景理解)提供底层服务。例如，应用于驾驶辅助系统的路上车辆检测方法可以有效地检测或识别车辆的有无、距离、速度、方位等等，以便帮助驾驶员避免交通事故。
目前，主要存在以下两类对象检测方法。
一方面，已经开发了许多基于视差图像(或深度图像)来检测物体的对象检测方法，其例如可以基于视差图像来检测行人、车辆、栅栏等。基于视差图的对象检测方法由于不容易受到外界因素的影响，所以对于环境变化非常鲁棒。
但是，有时，由于相机的性能限制或者场景本身的特性等因素，可能只会得到视差点比较稀疏的视差图，后文称之为稀疏视差图。这里，稀疏是一个相对意义上的词汇，其含义是指只存在少量的有效视差像素，而且主要是不连续地出现在对象的边缘。出现这种现象的原因可能是一些立体匹配算法只匹配强纹理点或只采纳高置信度的点。这样，由于这种稀疏视差图效应，可能使得难于检测到或完整地检测到物体(诸如，行人、车辆等)。
另一方面，还存在基于原始图像(例如，灰度图或彩色图)的对象检测方法，其例如可以利用丰富灰度信息或颜色信息来检测各种对象。
然而，在这种对象检测方法中，由于灰度特征或颜色特征通常会容易受到诸如光照之类的环境因素的影响，所以可能由于同一物体在不同图像帧中的视觉特征变化而产生检测对象失配，并最终造成在某些图像帧中的对象丢失。
发明内容
为了解决上述技术问题，根据本申请的一个方面，提供了一种对象检测方法，用于在当前帧的图像对中检测对象，所述当前帧的图像对包括当前帧原始图和对应的当前帧视差图，所述原始图包括灰度图和彩色图中的至少一个，所述方法包括：获得在所述当前帧视差图中检测到的第一视差图检测对象；获得在所述当前帧原始图中检测到的原始图检测对象；根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象；以及输出所述第二视差图检测对象。
此外，根据本申请的另一方面，提供了一种对象检测装置，用于在当前帧的图像对中检测对象，所述当前帧的图像对包括当前帧原始图和对应的当前帧视差图，所述原始图包括灰度图和彩色图中的至少一个，所述装置包括：视差图对象获得单元，用于获得在所述当前帧视差图中检测到的第一视差图检测对象；原始图对象获得单元，用于获得在所述当前帧原始图中检测到的原始图检测对象；视差图对象校正单元，用于根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象；以及输出单元，用于输出所述第二视差图检测对象。
与现有技术相比，采用根据本申请实施例的对象检测方法和装置能够在对象检测过程中，使得视差图检测方法和原始图检测方法相互配合，即使用基于视差图像的对象检测方法和基于原始图像的对象检测方法之间的相互作用来精确检测物体。
具体地，在本申请的实施例中，可以使用基于原始图像的对象检测方法在当前帧原始图中检测到的原始图检测对象，来对使用基于视差图像的对象检测方法在当前帧视差图中检测到的视差图检测对象进行校正，以便在随后帧的视差图中，使用该校正结果作为历史检测对象来继续检测视差图检测对象，从而获得更加准确的视差图检测对象。
同样地，在本申请的实施例中，还可以使用基于视差图像的对象检测方法在当前帧视差图中检测到的视差图检测对象，来对在基于原始图像的对象检测方法中使用的特定检测参数进行调整，以便在随后帧的原始图中，使用该调整结果作为当前检测参数来继续检测原始图检测对象，从而获得更加准确的原始图检测对象。
因此，本申请的实施例不但可以使得基于原始图像的对象检测方法对环境的变化更加鲁棒，而且可以使得基于视差图像的对象检测方法更加准确，即使是在视差很稀疏的情况。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。在附图中：
图1A和图1B分别图示了双目摄像机分别在第N帧、第N+1帧所得到的视差图，并且图1C图示了基于视差图像的对象检测方法中的补偿处理。
图2A和图2B分别图示了双目摄像机分别在第N帧、第N+1帧所得到的原始图。
图3是图示了根据本申请实施例的对象检测方法的总体流程图。
图4图示了根据本申请实施例具体示例的图像捕捉系统。
图5A和图5B分别图示了该图像捕捉系统在第N帧所得到的当前帧的图像对。
图6是图示了根据本申请实施例具体示例的对象检测方法的流程图。
图7是图示了根据本申请实施例具体示例的基于视差图的对象检测方法所检测到的当前检测对象。
图8A和图8B分别图示了根据本申请实施例具体示例的用于历史对象模板的区域划分和用于原始图候选对象的区域划分。
图9图示了根据本申请具体实施例的灰度图历史对象模板的灰度直方图。
图10是图示了根据本申请实施例具体示例的基于第N帧原始图的对象检测方法所检测到的当前检测对象。
图11图示了根据本申请实施例具体示例的第一视差图检测对象和所述原始图检测对象的匹配判断处理。
图12图示了根据本申请实施例具体示例的匹配的灰度图检测对象和视差图检测对象。
图13图示了根据本申请实施例具体示例的根据视差图检测对象来校正灰度图历史对象模板的权重系数的处理。
图14图示了根据本申请实施例具体示例的基于第N+1帧原始图的对象检测方法所检测到的当前检测对象。
图15图示了根据本申请实施例具体示例的根据灰度图检测对象来校正视差图检测对象的处理。
图16图示了根据本申请实施例的对象检测装置的功能配置框图。
图17图示了根据本申请实施例的对象检测系统的功能结构图。
图18图示了根据本申请实施例的用于对象检测的硬件系统的总体硬件框图。
图19图示了根据本申请实施例的用于对象检测的硬件系统的系统序列图。
具体实施方式
将参照附图详细描述根据本申请的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。
为了使本领域技术人员更好地理解本申请，将按下列顺序来对本申请作进一步详细说明。
1、现有技术的简要介绍
2、本申请的思想概述
3、对象检测方法
3.1、具体示例
4、对象检测装置
5、对象检测系统
6、用于对象检测的硬件系统
1、现有技术的简要介绍
在对本申请的实施例进行描述之前，为了便于理解，将首先简要地介绍根据现有技术的对象检测方法。
如背景技术所描述的，作为常用的对象检测方法，当前主要存在基于视差图像的对象检测方法和基于原始图像的对象检测方法。
下面，首先，将参考图1A到图1C来描述根据现有技术的基于视差图像的对象检测方法。
一般地，视差图像可以通过立体匹配方法来获得。立体匹配方法的基本原理是对通过图像捕捉设备(例如，立体相机)所拍摄的两个不同视角下(当双目相机时)或更多个不同视角下(当多目相机时)同一物体的图像进行比较，通过寻找对应像素来计算图像的像素点之间的位置偏差，从而得到视差信息，并依据该视差信息来绘制视差图像。
图1A和图1B分别图示了双目摄像机分别在第N帧、第N+1帧所得到的视差图，并且图1C图示了基于视差图像的对象检测方法中的补偿处理。
如图1A和图1B所图示的，在视差图中存在两个车辆，即，在画面的偏右位置存在一个距离摄像机位置较近的车辆、和在画面的中间位置存在一个距离摄像机位置较远的车辆。
由于相机的性能限制、场景本身的特性、或立体匹配算法的原理等因素，如图1A和图1B所图示的视差图是仅仅包括少量有效视差像素的稀疏视差图。当使用这种稀疏视差图来检测对象时，由于在视差图中一些目标对象的视差点过于稀疏，以至于它们可能无法被检测到或只能被部分检测到。
例如，下面，将以较远的车辆作为待检测对象为例来说明基于视差图像的对象检测方法。
假设在一个试验结果中，在第N(其中，N是正整数)帧的情况下，基于稀疏视差图的对象检测方法能够检测到目标对象，如图1A左图中的矩形区域所示。其中，环绕目标对象的矩形框指示出在灰度图像中检测到特定对象，并且该矩形框的大小指示出该特定对象的像素尺寸。更进一步，如图1A右侧的局部放大图所图示的，在第N帧中，相对完整地检测到了远处车辆的完整区域。然而，即使是这样，由于在第N帧的视差图中，远处车辆的稀疏视差点大部分都分布在偏左位置处，所以关于该对象的距离计算可能并不准确。这就导致对于该对象的运动速度的计算也会出现误差，并进而导致在随后帧的视差图中估计出错误的感兴趣区域(ROI)。
因而，接下来，在跟随在第N帧之后的第N+1帧的对象检测处理中，受到上述因素的影响，基于稀疏视差图的对象检测方法可能只能检测到待检测对象中的部分区域，如图1B左图中的矩形区域所示。对比图1B和图1A中的左图可以看出，在第N+1帧视差图中检测到的对象区域显然要大大小于在第N帧中检测到的对象区域。更进一步，如图1B右侧的局部放大图所图示的，在第N+1帧中，仅仅检测到了远处车辆的左侧区域，即未能完整地检测到相关对象。
这时，即使在基于稀疏视差图的对象检测方法中使用基于历史检测结果的补偿处理，例如，将第N帧视差图中的检测对象与第N+1帧视差图中检测对象之间的加权和作为第N+1帧的最终检测结果，如图1C所图示的，最终的检测结果仍然未能覆盖整个对象区域。
因此，由于这种稀疏视差图效应，基于稀疏视差图的对象检测方法可能使得难于检测到或完整地检测到物体(诸如，行人、车辆等)。
接下来，将参考图2A和2B来描述根据现有技术的基于原始图像的对象检测方法。
例如，原始图像可以是通过双目摄像机直接捕捉的灰度图像或彩色图像，其根据感光元件的位置不同而被分别称为左图像和右图像。下面，所提及的原始图可以是指左图像和右图像中的任意一个，并且在一个实施例中，可以是指用于生成视差图所基于的那一个原始图像。
图2A和图2B分别图示了双目摄像机分别在第N帧、第N+1帧所得到的原始图。
例如，图2A和图2B所图示的原始图可以是灰度图，其分别对应于图1A和图1B所图示的视差图。这里，为了描述方便，假设图2A和图2B所图示的都是通过双目相机在左视角中拍摄到的左图像。
方便起见，下面，将仍然以较远的车辆作为待检测对象为例来说明基于原始图像的对象检测方法。
通常而言，基于原始图像的对象检测方法可以基于对象模板匹配来实现。例如，假设对象模板与如图2A右侧的局部放大图完全一样。这样，在一个试验结果中，在第N帧的情况下，由于在灰度图中待检测对象的区域与对象模板完全匹配，所以基于灰度图的对象检测方法能够很容易地检测到远处车辆的完整区域，如图2A左图中的矩形区域所示。其中，同样地，环绕目标对象的矩形框指示出在原始图像中检测到特定对象，并且该矩形框的大小指示出该特定对象的像素尺寸。
接下来，在跟随在第N帧之后的第N+1帧的对象检测处理中，如图1B右侧的局部放大图所图示的，受到诸如光照因素之类的环境影响，该远处车辆的右侧部分出现明显的亮度增加。这样，由于待检测对象的灰度特征受到光照因素影响而产生较大变化，所以在灰度图中待检测对象的区域与对象模板无法正常匹配，并最终造成在第N+1个图像帧中的对象丢失。如图2B左图所示，其中无法标记出用于表示特定对象的矩形区域。
显然，无论是基于视差图像的对象检测方法，还是基于原始图像的对象检测方法，其所获得的检测结果都是无法令人满意的。
2、本申请的思想概述
下面，将首先简要地描述本申请的主要思想。
为了解决现有技术中的技术问题，在本申请中提出了一种对象检测方法和对象检测装置，其能够在对象检测过程中，使得视差图检测方法和原始图检测方法相互配合，即使用基于视差图像的对象检测方法和基于原始图像的对象检测方法之间的相互作用来精确检测物体。
3、对象检测方法
在下文中，将参考图3来描述根据本申请实施例的对象检测方法的总体流程示例。
图3是图示了根据本申请实施例的对象检测方法的总体流程图。
如图3所示，该对象检测方法可以用于在当前帧的图像对中检测对象，所述当前帧的图像对包括当前帧原始图和对应的当前帧视差图，所述原始图包括灰度图和彩色图中的至少一个，并且该对象检测方法可以包括：
在步骤S110中，获得在所述当前帧视差图中检测到的第一视差图检测对象。
例如，该步骤S110可以对应于基于视差图像的对象检测方法。
在一个实施例中，该步骤S110可以包括：获得来自历史帧视差图的历史检测对象；基于所述历史检测对象来在所述当前帧视差图中估计与所述历史检测对象对应的当前估计对象；在所述当前帧视差图中确定多个视差图候选对象；分别确定每一个视差图候选对象与所述当前估计对象之间的匹配程度；以及将具有最大匹配程度的视差图候选对象确定为所述第一视差图检测对象。
在一个示例中，可以基于历史检测对象的位置和尺寸来在所述当前帧视差图中估计与所述历史检测对象对应的当前估计对象的位置和尺寸。
在一个示例中，可以根据视差图候选对象与当前估计对象在水平面上的重叠面积来确定两者之间的匹配程度。
具体地，分别确定每一个视差图候选对象与所述当前估计对象之间的匹配程度可以包括：分别计算每一个视差图候选对象与当前估计对象在水平面上重叠的面积。如果视差图候选对象之一与当前估计对象在所述水平面上重叠的面积最大，则将该视差图候选对象确定为与所述当前估计对象之间的匹配程度最大，并且将具有最大匹配程度的视差图候选对象确定为所述第一视差图检测对象。
这时，计算每一个视差图候选对象与所述当前估计对象在水平面上重叠的面积可以意味着只考虑各个对象的宽度和深度，而不考虑对象的高度。
在一个示例中，进一步地，只有当视差图候选对象之一与当前估计对象在所述水平面上重叠的面积最大并且大于或等于一个预定阈值时，才将该视差图候选对象确定为所述第一视差图检测对象。
如果每一个视差图候选对象与当前估计对象在所述水平面上重叠的面积都小于该预定阈值，则认为没有在当前帧视差图中找到与当前估计对象匹配的视差图候选对象，并因而，确定出未能在当前视差图中检测到该第一视差图检测对象。
替换地，当无法通过重叠面积来在当前帧视差图中找到与当前估计对象匹配的视差图候选对象时，可以进一步计算未匹配的每一个视差图候选对象与所述当前估计对象之间的距离。如果视差图候选对象之一与当前估计对象之间的距离最小且小于或等于一个预定阈值，则将该视差图候选对象确定为与所述当前估计对象之间的匹配程度最大，并且将具有最大匹配程度的视差图候选对象确定为所述第一视差图检测对象。
此外，如果两个以上视差图候选对象与当前估计对象在所述水平面上重叠的面积同时最大，则计算所述两个以上视差图候选对象与当前估计对象在深度面上重叠的面积；如果所述两个以上视差图候选对象之一与当前估计对象在深度面上重叠的面积最大，则将该视差图候选对象确定为与所述当前估计对象之间的匹配程度最大。
这时，计算每一个视差图候选对象与所述当前估计对象在深度面上重叠的面积可以意味着只考虑各个对象的宽度和高度，而不考虑对象的深度。
在步骤S120中，获得在所述当前帧原始图中检测到的原始图检测对象。
例如，该步骤S120可以对应于基于原始图像的对象检测方法。
在一个实施例中，该步骤S120可以基于步骤S110的先验信息来实现，并且例如可以包括：在所述当前帧原始图中，获得在所述当前估计对象的预定范围中检测到的原始图检测对象。替换地，该步骤S120也可以在没有任何先验信息的情况下单独在原始图像中执行。
在一个实施例中，该步骤S120可以包括：获得历史对象模板和用于所述历史对象模板的历史权重系数，其中，所述历史对象模板被划分为多个区域，并且所述多个区域被分别分配有所述历史权重系数；根据所述历史对象模板来在所述原始图中确定多个原始图候选对象；根据所述多个区域和所述历史权重系数来分别计算每一个原始图候选对象与所述历史对象模板之间的加权相似性；以及将具有最大加权相似性的原始图候选对象确定为所述原始图检测对象。
在一个示例中，根据所述多个区域和所述历史权重系数来分别计算每一个原始图候选对象与所述历史对象模板之间的加权相似性可以包括：对于每一个原始图候选对象，按照所述多个区域在所述历史对象模板中的划分方式来将所述原始图候选对象划分为多个区域；计算所述原始图候选对象中的每一个区域与对应的所述历史对象模板中的每一个区域之间的相似性；使用所述历史权重系数来对所计算的每一个相似性进行加权；以及对所有的加权后的相似性进行求和，以作为所述原始图候选对象与所述历史对象模板之间的加权相似性。
此外，在一个示例中，只有当原始图候选对象与所述历史对象模板之间的加权相似性最大并且大于或等于一个预定阈值时，才将该原始图候选对象确定为所述原始图检测对象。
在步骤S130中，根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象。
在一个实施例中，该步骤S130可以包括：根据所述原始图检测对象来在所述当前帧视差图中确定当前校正区域；以及至少根据在所述当前校正区域中包括的视差点的集合来形成所述第二视差图检测对象。
在一个示例中，在所述当前校正区域中包括的视差点的集合可以仅仅包括：在所述当前校正区域中距离所述第一视差图检测对象预定距离之内的视差点的集合。
在步骤S140中，输出所述第二视差图检测对象。
此外，在步骤S120之后，在一个实施例中，该对象检测方法还可以包括以下附加步骤：根据所述第一视差图检测对象来将所述历史权重系数调整为当前权重系数，其中，在随后帧原始图中，所述当前权重系数充当所述历史权重系数。
在一个示例中，根据所述第一视差图检测对象来将所述历史权重系数调整为当前权重系数可以包括：确定所述第一视差图检测对象在所述原始图检测对象中划分的多个区域中的视差点分布；以及通过根据所述多个区域中的视差点分布调整所述历史权重系数，来生成用于每一个区域的当前权重系数。
具体地，向每一个区域所分配的当前权重系数可以与其中包括的视差点的数量成正比。或者，向每一个区域所分配的当前权重系数可以与其中包括的视差点的密度成正比。
另外，在上述附加步骤和步骤S130之前，在一个实施例中，该对象检测方法还可以包括：判断所述第一视差图检测对象与所述原始图检测对象是否匹配。
在一个示例中，判断所述第一视差图检测对象与所述原始图检测对象是否匹配可以包括：判断所述第一视差图检测对象和所述原始图检测对象的重叠面积是否大于或等于预定阈值，如果是，则判断出两者匹配。
替换地，在另一示例中，判断所述第一视差图检测对象与所述原始图检测对象是否匹配可以包括：判断所述第一视差图检测对象与所述原始图检测对象之间的距离是否小于或等于预定阈值，如果是，则判断出两者匹配。
由此可见，本申请的实施例提供了一种对象检测方法，其能够在对象检测过程中，使得视差图检测方法和原始图检测方法相互配合，即使用基于视差图像的对象检测方法和基于原始图像的对象检测方法之间的相互作用来精确检测物体。
具体地，在本申请的实施例中，可以使用基于原始图像的对象检测方法在当前帧原始图中检测到的原始图检测对象，来对使用基于视差图像的对象检测方法在当前帧视差图中检测到的视差图检测对象进行校正，以便在随后帧的视差图中，使用该校正结果作为历史检测对象来继续检测视差图检测对象，从而获得更加准确的视差图检测对象。
同样地，在本申请的实施例中，还可以使用基于视差图像的对象检测方法在当前帧视差图中检测到的视差图检测对象，来对在基于原始图像的对象检测方法中使用的特定检测参数进行调整，以便在随后帧的原始图中，使用该调整结果作为当前检测参数来继续检测原始图检测对象，从而获得更加准确的原始图检测对象。
因此，本申请的实施例不但可以使得基于原始图像的对象检测方法对环境的变化更加鲁棒，而且可以使得基于视差图像的对象检测方法更加准确，即使是在视差很稀疏的情况。
3.1、具体示例
在下文中，将参考图4到图15来描述根据本申请实施例具体示例的对象检测方法的总体流程。
根据本申请实施例具体示例的对象检测方法用于使用当前帧的多视角原始图像及其对应的当前帧的视差图像来检测待检测对象。例如，可以将该当前帧的多视角原始图像及其对应的当前帧的视差图像称为一个当前帧的图像对。为了便于描述，假设该当前帧是图像序列中的第N帧，其中N是正整数。
一般地，该多视角原始图像可以是指通过图像捕捉设备(例如，立体相机)所拍摄的多个不同视角下同一物体的原始图像。显然，该多个不同视角可以包括两个以上的视角，并且所拍摄的图像可以由处于不同位置坐标的一系列像素点构成，该原始图像中的每一个像素点可以具有相同或不同的像素值。例如，该图像可以是灰度图，其中每一个像素点通过灰度值(一个分量)来表示。替换地，该图像也可以是彩色图，其中每一个像素点通过彩色值(例如，RGB三个分量)来表示。
下面，为了便于描述，将以通过双目相机针对同一物体在左右视角中所拍摄到的双视角灰度图像作为该多视角图像的示例进行说明。例如，该双视角图像集合可以是指一个原始图像对，其包括由双目相机在左侧视角中拍摄到的左图像和由双目相机在右侧视角中拍摄到的右图像。
此外，该视差图像可以是基于双目测距原理、利用确定的摄像机所采集的。显然的是，任何现有的获取视差图的方法均可以用于本申请。例如，该视差图可以是由专门的视差摄像机直接拍摄而成的。替换地，也可以通过双目相机、多目相机、立体相机拍摄灰度图(或彩色图)，并然后根据所述灰度图来计算得到对应的视差图。具体地，例如，在检测的对象(或称为目标)是道路上的对象如车辆或行人的情况下，可以通过车载双目相机来拍得左图像和右图像，其中以左图像(或右图像)作为这里的灰度图，并且基于左图像和右图像之间的差异来计算得到这里的视差图，并且基于左图像(或右图像)来绘制出该视差图。
图4图示了根据本申请实施例具体示例的图像捕捉系统，并且图5A和图5B分别图示了该图像捕捉系统在第N帧所得到的当前帧的图像对。
这里，在一个实施例中，可以例如通过位于本地车辆的照相机来实现灰度图和视差图的获取。如图4所图示的，在例如车辆上安装双目摄像机，以便在车辆行驶过程中拍摄左图像和右图像。然后，可以使用专用或通用的处理器(例如，处理芯片)来从所拍摄的左图像和右图像中生成视差图。在此，从所拍摄的左图像和右图像中生成视差图的方式是本领域技术人员公知的，因此不再赘述。这样，可以按照间隔预定时间(例如在25帧/秒的情况下，间隔1/25秒)来进行这种拍摄，使得将生成的两个或更多视差图输入处理器中，进行确定道路上的行人或车辆等对象在该预定时间(例如1/25秒)期间的跟踪匹配关系，即确定道路上的行人或车辆等对象在该预定时间(例如1/25秒)之后是否仍然能检测到。
在图5A中示出了通过该双目相机所获得的灰度图，其中以左图像作为这里的灰度图，并且在图5B中示出了基于左图像和右图像之间的差异来计算并且基于左图像来绘制的视差图。
或者，在另一个实施例中，也可以利用例如有线网络或者无线网络来从位于远程车辆的照相机获得灰度图和对应的视差图。
在这里，显然，有关图像拍摄装置(例如，照相机)不是必需安装在车辆上，而是，例如，也可以根据需要而安装在路边建筑物上，或者适于拍摄待检测对象的其他位置等。此外，在车辆上应用本申请的对象检测方法和系统仅是示例的一个例子，基于实际需求、例如交通监视、机器人视觉导航、工业产品检测、医疗诊断、虚拟现实等等，还可以在其他物体上应用本申请的对象检测方法和系统以达到对象检测、跟踪和定位的目的。
图6是图示了根据本申请实施例具体示例的对象检测方法的流程图。
如图6所示，该对象检测方法可以包括：
在步骤S210中，获得在当前帧视差图中检测到的第一视差图检测对象。
在一个实施例中，可以在当前帧视差图中，使用U-视差图上的聚类方法、根据不同对象的深度信息不同的原理来直接地得到第一视差图检测对象。其中，U-视差图意味着在水平面上的，从上往下看去的各个对象的样子。并且正是由于这种U-视差图仅考虑从上向下看去的对象的样子，因此可以适当地消除双目摄像机的上下偏移而导致的误差。
在另一实施例中，为了减少计算量，可以首先获得来自历史帧视差图的历史检测对象，并且根据该历史检测对象来在当前帧视差图中预测一个对象感兴趣区域(ROI)，然后，在该对象感兴趣区域中进一步地检测对象，以输出第一视差图检测对象。
具体地，首先，在处理历史帧视差图(例如，第N-1帧视差图)的过程中，可以检测在历史帧视差图中的一个或多个历史检测对象，并且可以确定各个历史检测对象的位置。例如，可以将某一个历史检测对象的位置确定为构成该历史检测对象的视差点集合中的某一个视差点的位置，例如，中心视差点、中心视差点或边缘视差点等。
然后，在处理当前帧视差图(例如，第N帧视差图)的过程中，可以获得各个历史检测对象的位置。并且，将各个历史检测对象的位置转换为基于历史帧视差图中的第一预定参考点的坐标的各个历史检测相对位置，并且基于各个历史检测相对位置和各个历史检测对象的预定运动方向和预定运动速度，来预估在当前帧视差图中对应于各个历史检测对象的各个当前估计对象的预估位置(即，对象感兴趣区域ROI)。
也就是说，如果确定了第N-1帧中的各个对象的运动方向和运动速度，则可以通过第N-1帧和第N帧之间相隔的时间间隔Δt来推算出各个对象在X、Y、Z方向上的各自的移动距离(ΔX,ΔY,ΔZ)。其中，该ΔX,ΔY,ΔZ中的任何一个(例如，ΔX)取正值，则对应于对象在X轴上的运动方向为X轴的正方向，而取负值，则对应于对象在X轴上的运动方向为X轴的负方向。这些各个对象的运动方向和运动速度可以预先设定，也可以通过公知方式计算、预测等等，在此不赘述。例如，下面的等式(1)例示出了当前估计对象的预估位置的计算方法：
XN＝XN-1+ΔX＝XN-1+VX×Δt
YN＝YN-1+ΔY＝YN-1+VY×Δt
ZN＝ZN-1+ΔZ＝ZN-1+VZ×Δt 等式(1)
其中，XN是在第N帧中当前估计对象的预估位置的X坐标，XN是在第N-1帧中历史检测对象的检测位置的X坐标，ΔX是历史检测对象在从第N-1帧变化到第N帧时在X方向上的移动距离，VX是历史检测对象在从第N-1帧变化到第N帧时在X方向上的移动速度，Δt是第N-1帧与第N帧之间的时间间隔(即，时隙)。关于Y和Z的相关变量具有相同含义，并因而省略其详细描述。
接下来，可以通过聚类等方法来检测在当前帧视差图中的一个或多个视差图候选对象且获得各个视差图候选对象的位置。然后，将各个视差图候选对象的位置转换为基于当前帧视差图中的第二预定参考点的坐标的各个当前检测相对位置。最后，基于各个当前估计对象的预估位置以及所述各个视差图候选对象的当前检测相对位置，来确定与各个当前估计对象对应的各个历史检测对象与各个视差图候选对象之间的检测匹配程度，并且将具有最大匹配程度的视差图候选对象确定为所述第一视差图检测对象。
上述第一视差图中的第一预定参考点和第二视差图中的第二预定参考点可以相互关联，且可以指示同一物理含义。例如，该第一预定参考点和第二预定参考点可以是、但不限于道路的消失点，其还可以是其他具有相同物理含义的点，例如太阳的点等。
使用来自历史帧视差图的历史检测对象(或称之为历史跟踪对象)来与当前帧视差图中的检测对象进行匹配的方法可以在相同申请人于2012年06月08日向中国专利局提交的申请号为201210188661.2的题为“在视差图中的对象跟踪方法和系统”的专利申请中找到，在此，将这些文献引用附于此。当然，本领域技术人员也可以使用其他或未来可能出现的基于视差图的对象检测方法来确定当前帧视差图中的当前检测对象(即，第一视差图检测对象)。
图7是图示了根据本申请实施例具体示例的基于视差图的对象检测方法所检测到的当前检测对象。
如图7所图示的，在当前帧视差图中，总共检测到两个对象，即视差图检测对象1和视差图检测对象2，以供随后使用。
下面，为了便于描述，将仍然以较远的车辆(即，视差图检测对象1)作为待检测对象为例来说明根据本申请实施例具体示例的对象检测方法。
在步骤S220中，获得在当前帧原始图中检测到的原始图检测对象。
在一个实施例中，为了避免出现漏检的可能性，可以在当前帧原始图的整个区域中检测原始图检测对象，然而，这就意味着将产生较大的计算量。
替换地，在另一实施例中，为了减少计算量，也可以首先获得在步骤S210中确定的对象感兴趣区域(ROI)，并然后，在该当前帧原始图中的该对象感兴趣区域中进一步地检测原始图检测对象。
需要说明的是，尽管该对象感兴趣区域是在当前帧视差图中确定的，但是由于在本具体示例中，假设该当前帧视差图就是基于该当前帧原始图(例如，左图像)所绘制的，所以两者之间具有相同的坐标系。此外，即使该当前帧原始图不是左图像、而是右图像，但是由于左图像与右图像之间具有已知的位置偏移，所以也可以将该对象感兴趣区域准确地映射到该右图像中，使得仍然可以在右图像中基于该ROI来完成对象检测操作。
下面，将以加权的灰度图历史对象模板匹配方法来检测原始图检测对象。然而，本申请不限于此，能够在原始图中检测对象的任何其他方法均可使用在本申请的实施例中。
首先，针对作为待检测对象的较远车辆，获得其历史对象模板。
例如，该历史对象模板可以是在开始执行原始图对象检测之前，预先设置的一个初始对象模板。替换地，也可以将在当前第N帧之前的第N-1帧中所获得的原始图检测对象，作为该历史对象模板。
接下来，可以在当前帧原始图的对象感兴趣区域中，根据该历史对象模板的长和宽进行逐行或逐列扫描，以确定与之具有相同形状和尺寸的多个原始图候选对象，并且判断所述多个原始图候选对象与历史对象模板的加权相似性。
为了确定加权相似性，首先，需要对该历史对象模板进行预定图案的划分。
例如，可以将一个历史对象模板(也称之为，该对象的灰度模板)分割成M个垂直块，M为正整数。这里，因为每个物体的垂直块在视觉特征上是相对稳定的，所以可以采用垂直块。然而，本申请不限于此。同样地，可以将一个历史对象模板分割成M个水平块、M行×L列的矩形块、或其他任意图案。
在分割得到的M个垂直块中，可以向每个块分配一个权重w。显然的是，各个权重之和是1，即∑1≤i≤M wi＝1。并且，假设初始时所有块的权重都相等，即，w1＝w2＝…＝wM。
然后，可以按照相同的划分方式来对每一个原始图候选对象进行区域划分，使得该原始图候选对象中的每一个区域唯一地对应于所述历史对象模板中的每一个区域。
图8A和图8B分别图示了根据本申请实施例具体示例的用于历史对象模板的区域划分和用于原始图候选对象的区域划分。
在图8A中，该对象的灰度模板被垂直地划分成5块，每一块具有其各自的权重。同样地，在图8B中，某一个原始图候选对象也被垂直地划分成5块。
接下来，可以获得在历史的第N-1帧之后所计算出的用于该灰度模板的权重值。这里，为了便于描述，假设在历史的第N-1帧之后，各个垂直块的权重w仍然等于初始权重。也就是说，w1＝w2＝w3＝w4＝w5＝1/5。
在确定了用于历史对象模板的区域划分、用于原始图候选对象的区域划分、和每个区域的权重值之后，可以计算历史对象模板和某一个原始图候选对象(R)的加权相似性。例如，可以按照等式(2)来计算这种加权相似性：
对象的加权相似度Object similarity score(regionR)＝∑1≤i≤M wi*si
等式(2)其中，wi是第i分块的权重，si是灰度图模板中第i分块和灰度图区域regionR的第i分块之间的块相似值。
在一个实施例中，si可以是基于历史对象模板和某一个原始图候选对象的两个对应块的灰度直方图来计算的。下面，以历史对象模板和某一个原始图候选对象R的分块1为例，进行具体说明。
首先，可以在对象灰度模板的分块1中计算在每个灰度等级([0，255])的像素点个数。例如，这可以通过确定该分块1的灰度直方图来确定。
图9图示了根据本申请具体实施例的灰度图历史对象模板的灰度直方图。
如图9所示，水平轴是灰度等级([0，255])，而竖直轴是每个灰度等级所对应的像素的点数。
然后，可以按照同样的方式来得到原始图候选对象区域R中第一个分块(分块1)直方图。
接下来，可以按照等式(3)来计算历史对象模板和某一个原始图候选对象R中第一个分块的相似度s1。
分块1的相似值s1＝1–(∑0≤j≤255((N_blockj–N_regionj)*(N_blockj–N_regionj)/(N_blockj+N_regionj)))
等式(3)其中，N_blockj是灰度模板中块1的灰度等级为j时的像素点数，并且N_regionj是原始图候选对象区域t中块1的灰度等级为j时的像素点数。
这样，就可以计算出灰度模板和某一个原始图候选对象R的分块1之间的相似性s1。
相似地，按照同样的方式，重复上述的三个步骤，可以分别计算出灰度模板和某一个原始图候选对象R的分块2、3、4、5之间的相似性s2、s3、s4、和s5。
在获得上述所有分块之间的相似性之后，最终，可以按照上面的等式(2)来确定出历史对象模板和某一个原始图候选对象(R)之间的加权相似值。
照这样，通过针对每一个原始图候选对象重复相同的步骤，可以分别地确定出历史对象模板和每一个原始图候选对象之间的加权相似值。
随后，可以通过比较与每一个原始图候选对象对应的加权相似性，来找出其中的最大值max(Object similarity score(regionR))，并且判断该最大加权相似性是否大于一个预设阈值T1，例如，该预设阈值T1可以根据以往的经验值来设置或人为地设置。如果，该最大加权相似性max(Object similarity score(regionR))大于一个预设阈值T1，则判断出与之对应的原始图候选对象为当前检测对象(即，原始图检测对象)。也就是说，这时，该较远的车辆在第N帧原始图中被发现。
图10是图示了根据本申请实施例具体示例的基于第N帧原始图的对象检测方法所检测到的当前检测对象。
如图10所图示的，已经基于较远车辆的历史灰度模板而在当前帧原始图中检测到该较远车辆。
在步骤S230中，匹配第一视差图检测对象与原始图检测对象。
在对视差图检测结果和原始图检测结果进行相互校正之前，在一个实施例中，可以首先判断一下两者之间的匹配程度，以避免使用并非彼此对应的第一视差图检测对象与原始图检测对象来进行相互校正，从而产生错误的校正结果。显然，无须赘述的是，为了节省计算量或者当在视差图和原始图中仅仅存在一个待检测对象时，这个匹配步骤也可以省略。
例如，可以根据所述第一视差图检测对象和所述原始图检测对象的重叠面积来判断两者是否匹配。
为此，可以通过直接映射或坐标转换来将第一视差图检测对象和所述原始图检测对象放置到同一坐标系下。然后，可以计算第一视差图检测对象和所述原始图检测对象之间的区域重叠率。如果该区域重叠率大于预设的阈值T2，则认为两者间之间很好地匹配。相似地，该预设阈值T2可以从试验中得到或人为地设置。
图11图示了根据本申请实施例具体示例的第一视差图检测对象和所述原始图检测对象的匹配判断处理。
如图11所图示的，灰度图检测对象gobj和视差图检测对象在同一坐标系中存在重叠的区域，并且在一个示例中，可以根据等式(4)来定义两者之间的重叠区域率：
重叠区域率Overlap ratio(gobj,dobj)＝gobj与dobj之间重叠面积/min(gobj的面积,dobj的面积) 等式(4)其中，gobj的面积是灰度图检测对象的对象面积(或像素面积)，dobj的面积是视差图检测对象的对象面积，并且对象面积＝对象的像素高*对象的像素宽，而gobj与dobj之间重叠面积＝重叠区域的像素高*重叠区域的像素宽。
如果计算的结果指示出重叠区域率大于预定阈值T2，则可以判断出灰度图检测对象gobj和视差图检测对象相似。
图12图示了根据本申请实施例具体示例的匹配的灰度图检测对象和视差图检测对象。
如图12所图示的，通过使用以上方法，可以在当前帧的视差图与当前帧的灰度图之间，得到待检测对象(远处的车辆)的匹配的灰度检测对象和视差图检测对象。
在步骤S240中，根据第一视差图检测对象来调整历史原始图对象模板的权重系数。
由于已经获得了匹配的原始图检测对象和视差图检测对象，所以可以认为两者之间具有相同的位置和尺寸，因此，可以基于当前帧视差图中的视差图检测对象来校正当前帧灰度图中灰度模板的每个分块的权重，以用于随后灰度图的灰度图对象检测。
在一个示例中，可以利用等式(5)来校正灰度模板中分块i的权重wi：
w’i＝(wi+(ni/∑1≤k≤M nk))/2 等式(5)
其中，w’i是灰度模板块i在校正之后的权重，wi灰度模板块i在校正之前的权重，ni是在灰度图检测对象块i中视差图检测对象的像素点数，并且∑1≤k≤M nk是所有在灰度图检测对象上的视差图检测对象的总像素点数，k用于指示灰度模板中的块k。
可以看出，此等式(5)表明灰度模板中某一个分块上的视差像素点越多，则此分块的权重越高，也就是说，它的置信度越高。
图13图示了根据本申请实施例具体示例的根据视差图检测对象来校正灰度图历史对象模板的权重系数的处理。
如图13所示，可以看出在第N帧的视差图检测对象中，分块1中的视差点最多，分块2中的视差点其次，分块3-5中的视差点几乎为零。这样，可以得知，假设灰度模板块i在校正之前的权重wi的大小关系为w1＝w2＝w3＝w4＝w5，则灰度模板块i在校正之后的权重w’i的大小关系为w’1>w’2>w’3＝w’4＝w’5。
在当前第N帧中对该灰度模板的各个分块的权重值进行校正之后，可以将该校正之后的权重系数作为新的历史权重系数，而应用于在随后的第N+1帧原始图中检测待检测对象的操作之中。
接下来，在随后的第N+1帧灰度图中，可以使用新的权重系数，并且通过执行上述的步骤S220来检测新的灰度图检测对象。
假设双目摄像机在第N+1帧所得到的灰度图是如图2B所图示的灰度图。通过对比图2B右侧的局部放大图与图8B所示的布局放大图，可以看出，与第N帧相比，在第N+1帧中，由于受到诸如光照因素之类的环境影响，该远处车辆的右侧部分出现明显的亮度增加。
如参考图2A和图2B所描述的，这时，如果使用根据现有技术的基于原始图像的对象检测方法，则由于没有对对象模板进行权重系数的分配和后续的校正过程，所以在灰度图中待检测对象的区域与对象模板之间的匹配程度max(Object similarity score(regionR))<T1，也就是说，即使最为匹配的原始图候选对象也无法满足匹配程度上的阈值要求，而导致最终判断出两者不相似，因而，该原始图候选对象可能在第N+1帧的灰度图中被错误地判断为是新对象，从而最终造成在第N+1个图像帧中的对象跟踪丢失。
相反地，采用根据本申请实施例的对象检测方法，可以在第N+1帧灰度图中，可以使用在第N帧中经过校正后的权重系数来进行更加准确的对象检测。
图14图示了根据本申请实施例具体示例的基于第N+1帧原始图的对象检测方法所检测到的当前检测对象。
如图14所图示的，可以利用校正后的权重系数来在第N+1帧原始图中执行上述步骤S220。由于在第N+1帧中max(Object similarity score)＝∑1≤i≤M w’i*si，而不再是∑1≤i≤M wi*si，所以可以得到相应的∑w’i*si>预设阈值T1，并因此，可以在第N+1帧的原始图中很好地检测到该较远的车辆。
因此，可以看出，在根据本发明实施例具体示例中，权重系数的校正操作提高了灰度图区域中的对象检测的准确率。
在步骤S250中，根据原始图检测对象来将第一视差图检测对象校正为第二视差图检测对象。
此外，在已经获得了匹配的原始图检测对象和视差图检测对象之后，由于认为两者之间应该具有相同的位置和尺寸，所以还可以基于当前帧灰度图中的灰度图检测对象来校正当前帧视差图中视差图检测对象，以输出更加准确的视差图检测对象。
由于基于灰度图的对象检测方法可以利用灰度图对象模板来检测各种对象，所以所检测到的灰度图检测对象也必然拥有丰富灰度信息，也就是说，与视差图检测对象相比，该灰度检测对象的位置和区域可能更加准确。
图15图示了根据本申请实施例具体示例的根据灰度图检测对象来校正视差图检测对象的处理。
如图15所图示的，可以根据灰度图检测对象的位置和区域来扩展和收缩检测所得到的第一视差图检测对象的位置和区域，并且重新生成一个第二视差图检测对象，并且使得该第二视差检测对象的位置和区域完全对应于该灰度图检测对象的位置和区域，以输出更加准确的视差图区域中的对象检测结果。
此外，本申请人进一步注意到，由于在灰度检测对象的区域中包括的某一个视差点可能表示与双目相机之间的任何距离，然而，视差图检测对象(例如，较远的车辆)与双目相机的距离显然是在一定范围内的，因此，例如，在一个实施例中，可以仅仅将在灰度图检测对象区域中距离视差图检测对象的一个距离范围内的视差点添加到视差图检测对象中。该距离范围可以根据车辆与双目相机之间的相对速度来确定，也可以人为地设定为一个固定值。
这样，可以在当前第N帧中获得更加准确的视差图检测对象，即校正后的对象的视差点集合。因而，在随后的第N+1帧灰度图中，可以使用校正后的对象的视差点集合，并且执行上述的步骤S210来检测对象。也就是说，可以使用校正后的对象的视差点集合来确定第N帧中的历史检测对象的位置，并且根据第N-1帧和第N帧中的历史检测对象的位置和两帧之间的时间间隔来确定该待检测对象的新的运行速度和方向，从而使得关于第N+1帧的对象位置的预测更加准确。
由此可见，本申请实施例的具体示例提供了一种对象检测方法，其能够使用基于灰度图的检测方法和基于视差图的检测方法之间的相互作用来精确检测物体。也就是说，可以使用视差图检测待检测对象的视差分布和相应的灰度图来确定对象在视差维度上的稳定部分和稳定特征，根据稳定部分和稳定特征来调整灰度模板上的分块，同时根据灰度检测对象来发现视差图中的噪音块或丢失的块，然后扩展或收缩视差图检测对象，并且可以通过重复这个过程来使得检测到的物体会越来越准确。因此，在本申请实施例的具体示例中，基于灰度图的对象检测方法变得对环境变化更加鲁棒，同时基于视差图的对象检测方法也变得更加准确，即使视差图是稀疏视差图。
需要说明的是，尽管在上述具体示例中按照特定顺序来描述了对象检测方法，但是本申请不限于此。例如，当通过在当前帧原始图的整个区域中检测原始图检测对象来执行步骤S220时，该步骤S220也可以在步骤S210之前执行或与之并行执行。同样地，步骤S250也可以在步骤S240之前执行或与之并行执行。
4、对象检测装置
本申请的实施例还可以通过一种对象检测装置来实施。在下文中，将参考图16来描述根据本申请实施例的对象检测装置的功能配置框图。
图16图示了根据本申请实施例的对象检测装置的功能配置框图。
如图16所示，该对象检测装置100可以用于在当前帧的图像对中检测对象，所述当前帧的图像对包括当前帧原始图和对应的当前帧视差图，所述原始图包括灰度图和彩色图中的至少一个，并且所述对象检测装置可以包括：视差图对象获得单元110、原始图对象获得单元120、视差图对象校正单元130、和输出单元140。
此外，所述对象检测装置还可以包括：对象匹配单元150和/或灰度图权重校正单元160。
该视差图对象获得单元110可以用于获得在所述当前帧视差图中检测到的第一视差图检测对象；
该原始图对象获得单元120可以用于获得在所述当前帧原始图中检测到的原始图检测对象；
该视差图对象校正单元130可以用于根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象；以及
该输出单元140可以用于输出所述第二视差图检测对象。
在一个实施例中，该视差图对象获得单元110可以通过以下操作获得在所述当前帧视差图中检测到的第一视差图检测对象：获得来自历史帧视差图的历史检测对象；基于所述历史检测对象来在所述当前帧视差图中估计与所述历史检测对象对应的当前估计对象；在所述当前帧视差图中确定多个视差图候选对象；分别确定每一个视差图候选对象与所述当前估计对象之间的匹配程度；以及将具有最大匹配程度的视差图候选对象确定为所述第一视差图检测对象。
在一个实施例中，该原始图对象获得单元120可以通过以下子操作获得在所述当前帧原始图中检测到的原始图检测对象：在所述当前帧原始图中，获得在所述当前估计对象的预定范围中检测到的原始图检测对象。
在一个实施例中，该原始图对象获得单元120可以通过以下操作获得在所述当前帧原始图中检测到的原始图检测对象：获得历史对象模板和用于所述历史对象模板的历史权重系数，其中，所述历史对象模板被划分为多个区域，并且所述多个区域被分别分配有所述历史权重系数；根据所述历史对象模板来在所述原始图中确定多个原始图候选对象；根据所述多个区域和所述历史权重系数来分别计算每一个原始图候选对象与所述历史对象模板之间的加权相似性；以及将具有最大加权相似性的原始图候选对象确定为所述原始图检测对象。
具体地，该原始图对象获得单元120可以通过以下子操作根据所述多个区域和所述历史权重系数来分别计算每一个原始图候选对象与所述历史对象模板之间的加权相似性：对于每一个原始图候选对象，按照所述多个区域在所述历史对象模板中的划分方式来将所述原始图候选对象划分为多个区域；计算所述原始图候选对象中的每一个区域与对应的所述历史对象模板中的每一个区域之间的相似性；使用所述历史权重系数来对所计算的每一个相似性进行加权；以及对所有的加权后的相似性进行求和，以作为所述原始图候选对象与所述历史对象模板之间的加权相似性。
在一个实施例中，该对象匹配单元150可以在根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象之前，判断所述第一视差图检测对象与所述原始图检测对象是否匹配。
具体地，该对象匹配单元150可以通过以下操作中的至少一个判断所述第一视差图检测对象与所述原始图检测对象是否匹配：判断所述第一视差图检测对象和所述原始图检测对象的重叠面积是否大于或等于预定阈值，如果是，则判断出两者匹配；以及判断所述第一视差图检测对象与所述原始图检测对象之间的距离是否小于或等于预定阈值，如果是，则判断出两者匹配。
在一个实施例中，该灰度图权重校正单元160可以用于根据所述第一视差图检测对象来将所述历史权重系数调整为当前权重系数，其中，在随后帧原始图中，所述当前权重系数充当所述历史权重系数。
具体地，该灰度图权重校正单元160可以通过以下子操作根据所述第一视差图检测对象来将所述历史权重系数调整为当前权重系数：确定所述第一视差图检测对象在所述原始图检测对象中划分的多个区域中的视差点分布；以及通过根据所述多个区域中的视差点分布调整所述历史权重系数，来生成用于每一个区域的当前权重系数。
在一个实施例中，该视差图对象校正单元130可以根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象：根据所述原始图检测对象来在所述当前帧视差图中确定当前校正区域；以及至少根据在所述当前校正区域中包括的视差点的集合来形成所述第二视差图检测对象。
上述视差图对象获得单元110、原始图对象获得单元120、视差图对象校正单元130、输出单元140、对象匹配单元150、和灰度图权重校正单元160的具体功能和操作已经在上面参考图1到图15描述的对象检测方法中详细介绍，并因此，将省略其重复描述。
需要说明的是，上述对象检测装置100的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU(微处理单元)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、ASIC(专用集成电路)等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在特定位置(例如，车辆)上，并且与安装在特定位置上的用于对道路和道路相关联的对象成像的成像设备例如照相机进行通信，以便在照相机拍摄获得的二维图像和立体图像中检测待检测对象。另外，该对象检测装置100的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，对象检测装置100的各个部件也可以利用软件和硬件的结合来实现。
5、对象检测系统
此外，本申请还可以通过一种对象检测系统来实施。在下文中，将参考图17来描述根据本申请实施例的对象检测系统的功能结构。
图17图示了根据本申请实施例的对象检测系统的功能结构图。
如图17所示，该对象检测系统200可以包括：用于对对象成像的成像设备210，如单目相机、双目相机、多目相机等等；对象检测设备220，用于在当前帧的图像对中检测对象，该对象检测设备220例如可以利用图16所示的对象检测设备100的配置来实现。
具体地，该对象检测系统200的输入为灰度图或彩色图等，例如可以由安装在特定位置处的双目相机来拍摄得到。该输入经过对象检测设备之后，输出对象检测结果，输出形式可以是多样的，例如在显示器上输出可视形式的灰度图或视差图。
6、用于对象检测的硬件系统
本申请还可以通过一种用于对象检测的硬件系统来实施。在下文中，将参考图18来描述根据本申请实施例的用于对象检测的硬件系统。
图18图示了根据本申请实施例的用于对象检测的硬件系统的总体硬件框图。
如图18所示，该对象检测系统300可以包括：输入设备310，用于从外部输入有关信息，例如灰度图、彩色图、相机设置信息等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等，并且可以包括用于对对象成像的成像设备、以及用于对所形成的图像进行图像解码的解码设备等；处理设备320，用于实施上述的按照本申请实施例的对象检测方法，或者实施为上述的对象检测设备，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络(未示出)，根据处理过程的需要向远程传送处理后的结果等等；输出设备330，用于向外部输出实施上述视差计算过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备340，用于以易失或非易失的方式存储上述对象检测过程所涉及的数据，诸如视差图等数据，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
图19图示了根据本申请实施例的用于对象检测的硬件系统的系统序列图。
如图19所图示的，输入设备310输入视差图像序列(视频)(步骤S310)和灰度图像序列(视频)(步骤S320)。在处理设备320中，基于视差图的对象检测器根据视差图来检测对象并输出视差图检测对象(步骤S330)，基于灰度图像的对象检测器根据灰度图对象模板来检测对象并输出灰度图检测对象(步骤S340)；对象匹配器匹配灰度图检测对象和视差图检测对象(步骤S350)；灰度图模板校正器根据对象的视差分布来校正用于灰度对象模板的检测参数(步骤S360)；视差图校正器根据灰度图检测对象来校正视差图检测对象(步骤S370)，并向输出设备330或存储设备340输出检测到的对象(步骤S380)。
在上面详细描述了本申请的各个实施例。然而，本领域技术人员应该理解，在不脱离本申请的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本申请的范围内。

Claims (9)

1.一种对象检测方法，用于在当前帧的图像对中检测对象，所述当前帧的图像对包括当前帧原始图和对应的当前帧视差图，所述原始图包括灰度图和彩色图中的至少一个，其特征在于，所述方法包括：
获得在所述当前帧视差图中检测到的第一视差图检测对象；
获得在所述当前帧原始图中检测到的原始图检测对象；
根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象；以及
输出所述第二视差图检测对象；
其中，获得在所述当前帧原始图中检测到的原始图检测对象包括：
获得历史对象模板和用于所述历史对象模板的历史权重系数，其中，
所述历史对象模板被划分为多个区域，并且所述多个区域被分别分配有所述历史权重系数；
根据所述历史对象模板来在所述原始图中确定多个原始图候选对象；
根据所述多个区域和所述历史权重系数来分别计算每一个原始图候选对象与所述历史对象模板之间的加权相似性；以及
将具有最大加权相似性的原始图候选对象确定为所述原始图检测对象；
所述方法还包括：
根据所述第一视差图检测对象来将所述历史权重系数调整为当前权重系数，
其中，在随后帧原始图中，所述当前权重系数充当所述历史权重系数。
2.根据权利要求1的方法，其特征在于，根据所述多个区域和所述历史权重系数来分别计算每一个原始图候选对象与所述历史对象模板之间的加权相似性包括：
对于每一个原始图候选对象，按照所述多个区域在所述历史对象模板中的划分方式来将所述原始图候选对象划分为多个区域；
计算所述原始图候选对象中的每一个区域与对应的所述历史对象模板中的每一个区域之间的相似性；
使用所述历史权重系数来对所计算的每一个相似性进行加权；以及
对所有的加权后的相似性进行求和，以作为所述原始图候选对象与所述历史对象模板之间的加权相似性。
3.根据权利要求1的方法，其特征在于，根据所述第一视差图检测对象来将所述历史权重系数调整为当前权重系数包括：
确定所述第一视差图检测对象在所述原始图检测对象中划分的多个区域中的视差点分布；以及
通过根据所述多个区域中的视差点分布调整所述历史权重系数，来生成用于每一个区域的当前权重系数。
4.根据权利要求1的方法，其特征在于，获得在所述当前帧视差图中检测到的第一视差图检测对象包括：
获得来自历史帧视差图的历史检测对象；
基于所述历史检测对象来在所述当前帧视差图中估计与所述历史检测对象对应的当前估计对象；
在所述当前帧视差图中确定多个视差图候选对象；
分别确定每一个视差图候选对象与所述当前估计对象之间的匹配程度；以及
将具有最大匹配程度的视差图候选对象确定为所述第一视差图检测对象。
5.根据权利要求4的方法，其特征在于，获得在所述当前帧原始图中检测到的原始图检测对象包括：
在所述当前帧原始图中，获得在所述当前估计对象的预定范围中检测到的原始图检测对象。
6.根据权利要求1的方法，其特征在于，根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象包括：
根据所述原始图检测对象来在所述当前帧视差图中确定当前校正区域；以及
至少根据在所述当前校正区域中包括的视差点的集合来形成所述第二视差图检测对象。
7.根据权利要求1的方法，其特征在于，在根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象之前，所述方法还包括：
判断所述第一视差图检测对象与所述原始图检测对象是否匹配。
8.根据权利要求7的方法，其特征在于，判断所述第一视差图检测对象与所述原始图检测对象是否匹配包括以下各项中的至少一个：
判断所述第一视差图检测对象和所述原始图检测对象的重叠面积是否大于或等于预定阈值，如果是，则判断出两者匹配；以及
判断所述第一视差图检测对象与所述原始图检测对象之间的距离是否小于或等于预定阈值，如果是，则判断出两者匹配。
9.一种对象检测装置，用于在当前帧的图像对中检测对象，所述当前帧的图像对包括当前帧原始图和对应的当前帧视差图，所述原始图包括灰度图和彩色图中的至少一个，其特征在于，所述装置包括：
视差图对象获得单元，用于获得在所述当前帧视差图中检测到的第一视差图检测对象；
原始图对象获得单元，用于获得在所述当前帧原始图中检测到的原始图检测对象；
视差图对象校正单元，用于根据所述原始图检测对象来将所述第一视差图检测对象校正为第二视差图检测对象；以及
输出单元，用于输出所述第二视差图检测对象；
其中，所述原始图对象获得单元还用于：
获得历史对象模板和用于所述历史对象模板的历史权重系数，其中，
所述历史对象模板被划分为多个区域，并且所述多个区域被分别分配有所述历史权重系数；
根据所述历史对象模板来在所述原始图中确定多个原始图候选对象；
根据所述多个区域和所述历史权重系数来分别计算每一个原始图候选对象与所述历史对象模板之间的加权相似性；以及
将具有最大加权相似性的原始图候选对象确定为所述原始图检测对象；
所述对象检测装置还用于：
根据所述第一视差图检测对象来将所述历史权重系数调整为当前权重系数，
其中，在随后帧原始图中，所述当前权重系数充当所述历史权重系数。
CN201410341591.9A 2014-07-17 2014-07-17 对象检测方法和对象检测装置 Active CN105335955B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410341591.9A CN105335955B (zh) 2014-07-17 2014-07-17 对象检测方法和对象检测装置
US14/797,667 US9576367B2 (en) 2014-07-17 2015-07-13 Object detection method and device
JP2015141707A JP2016029564A (ja) 2014-07-17 2015-07-15 対象検出方法及び対象検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410341591.9A CN105335955B (zh) 2014-07-17 2014-07-17 对象检测方法和对象检测装置

Publications (2)

Publication Number Publication Date
CN105335955A CN105335955A (zh) 2016-02-17
CN105335955B true CN105335955B (zh) 2018-04-10

Family

ID=55074979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410341591.9A Active CN105335955B (zh) 2014-07-17 2014-07-17 对象检测方法和对象检测装置

Country Status (3)

Country Link
US (1) US9576367B2 (zh)
JP (1) JP2016029564A (zh)
CN (1) CN105335955B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426922B (zh) * 2015-12-08 2019-02-12 同方威视技术股份有限公司 列车车型识别方法和系统及安全检查方法和系统
WO2017130639A1 (ja) * 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP7119317B2 (ja) * 2016-11-28 2022-08-17 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
WO2018119744A1 (zh) * 2016-12-28 2018-07-05 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
CN107506711B (zh) * 2017-08-15 2020-06-30 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN107729848B (zh) * 2017-10-20 2019-10-25 北京大学 对象检测方法及装置
CN107948620B (zh) * 2017-12-28 2020-06-23 智车优行科技（北京）有限公司 基于高级驾驶辅助系统的双目摄像头调试方法
CN110637268A (zh) * 2018-01-23 2019-12-31 深圳市大疆创新科技有限公司 目标检测方法、装置和可移动平台
US10332543B1 (en) * 2018-03-12 2019-06-25 Cypress Semiconductor Corporation Systems and methods for capturing noise for pattern recognition processing
CN108961322B (zh) * 2018-05-18 2021-08-10 辽宁工程技术大学 一种适用于降落序列影像的误匹配剔除方法
CN111382591B (zh) * 2018-12-27 2023-09-29 海信集团有限公司 一种双目相机测距校正方法及车载设备
CN109859182B (zh) * 2019-01-29 2021-02-19 上海联影医疗科技股份有限公司 医学图像失配检测方法、装置、计算机设备和存储介质
CN110309729A (zh) * 2019-06-12 2019-10-08 武汉科技大学 基于异常峰值检测和孪生网络的跟踪与重检测方法
CN110660078B (zh) * 2019-08-20 2024-04-05 平安科技（深圳）有限公司 对象追踪方法、装置、计算机设备和存储介质
CN110738731B (zh) * 2019-10-16 2023-09-22 光沦科技(深圳)有限公司 一种用于双目视觉的3d重建方法和系统
CN112698315B (zh) * 2019-10-23 2024-04-09 浙江菜鸟供应链管理有限公司 移动设备定位系统、方法及设备
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11451758B1 (en) * 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
US11790665B2 (en) * 2021-04-29 2023-10-17 Hitachi Astemo, Ltd. Data driven dynamically reconfigured disparity map
CN113409364B (zh) * 2021-06-01 2024-03-29 诡谷子人工智能科技(深圳)有限公司 一种基于像素相似性的立体匹配算法、系统和计算机介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473757A (zh) * 2012-06-08 2013-12-25 株式会社理光 在视差图中的对象跟踪方法和系统
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US8363909B2 (en) 2007-03-20 2013-01-29 Ricoh Company, Limited Image processing apparatus, image processing method, and computer program product
CN101271515B (zh) 2007-03-21 2014-03-19 株式会社理光 能识别多角度目标的图像检测装置
CN101271514B (zh) 2007-03-21 2012-10-10 株式会社理光 一种快速目标检测和目标输出的图像检测方法及装置
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US8666146B1 (en) * 2011-01-18 2014-03-04 Disney Enterprises, Inc. Discontinuous warping for 2D-to-3D conversions
CN103177236B (zh) 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
JP2014115978A (ja) * 2012-11-19 2014-06-26 Ricoh Co Ltd 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
CN103729860B (zh) * 2013-12-31 2016-10-05 华为软件技术有限公司 一种图像目标跟踪的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473757A (zh) * 2012-06-08 2013-12-25 株式会社理光 在视差图中的对象跟踪方法和系统
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
适用于遮挡车辆检测的子块带权模板匹配方法;李璟 等;《计算机应用研究》;20120731;第29卷(第7期);第2751页摘要、第2752页第1.2-1.3节 *

Also Published As

Publication number Publication date
JP2016029564A (ja) 2016-03-03
US9576367B2 (en) 2017-02-21
CN105335955A (zh) 2016-02-17
US20160019683A1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
CN105335955B (zh) 对象检测方法和对象检测装置
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
CN109034047B (zh) 一种车道线检测方法及装置
CN112292711B (zh) 关联lidar数据和图像数据
CN107230218B (zh) 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备
CN106408940B (zh) 基于微波和视频数据融合的交通检测方法及装置
JP4943034B2 (ja) ステレオ画像処理装置
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN111369617B (zh) 一种基于卷积神经网络的单目视图的3d目标检测方法
US20190065824A1 (en) Spatial data analysis
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
JP2007527569A (ja) 立体視に基づく差し迫った衝突の検知
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
WO2017051480A1 (ja) 画像処理装置及び画像処理方法
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20190180121A1 (en) Detection of Objects from Images of a Camera
El Bouazzaoui et al. Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
CN113505643B (zh) 违章目标物检测方法及相关装置
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN114140659B (zh) 一种基于无人机视角下人体检测的社交距离监控方法
US11747141B2 (en) System and method for providing improved geocoded reference data to a 3D map representation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant