CN103530868B - 使用最小费用流网络的宽基线双目物体匹配方法 - Google Patents

使用最小费用流网络的宽基线双目物体匹配方法 Download PDF

Info

Publication number
CN103530868B
CN103530868B CN201310265291.2A CN201310265291A CN103530868B CN 103530868 B CN103530868 B CN 103530868B CN 201310265291 A CN201310265291 A CN 201310265291A CN 103530868 B CN103530868 B CN 103530868B
Authority
CN
China
Prior art keywords
image
image block
block
summit
camera system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310265291.2A
Other languages
English (en)
Other versions
CN103530868A (zh
Inventor
S.曾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103530868A publication Critical patent/CN103530868A/zh
Application granted granted Critical
Publication of CN103530868B publication Critical patent/CN103530868B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种使用最小费用流网络的宽基线双目物体匹配方法，包括捕获第一图像和第二图像，第一图像从第一摄像机装置捕获并且第二图像从第二摄像机装置捕获。多个图像应用于第一图像和第二图像并且确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用。确定各对应于第一图像与第二图像之间的图像块的选定的匹配对中的相应匹配对的多个匹配费用。基于检测费用和匹配费用确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径并且基于至少一个费用流路径跟踪目标物体。

Description

使用最小费用流网络的宽基线双目物体匹配方法
技术领域
本公开涉及使用双目摄像机系统的物体检测和匹配。
背景技术
这部分的陈述主要提供关于本公开的背景信息。因此这些陈述并非旨在承认构成现有技术。
主动安全和驾驶员辅助系统(ASDAS)利用单目视觉系统作为检测目标物体诸如沿道路行进的前车辆的低费用解决方案。单目视觉系统基于平地的假设来估计深度。但是，当平地假设并不适用时，深度估计偏离其真实值。例如，当平地假设并不适用时，单目视觉系统可能将离目标物体的距离估计为比目标物体实际距离更远。
众所周知，例如，利用距离检测装置诸如雷达和激光雷达来检测目标物体的存在和离目标物体的距离。但是，这种距离检测装置费用较高，增加了配备ASDAS的车辆的价格。
还已知，例如，通过从两个捕获的图像(每个图像来自相应的摄像机装置)的视差图提取三维特征，且匹配关键点的稀疏集以利用立体成像方案来确定目标物体的存在。但是，这种立体成像方案具有深度不准确的缺点，这归因于两个摄像机装置之间的窄基线，因为深度准确度随深度以二次方降级。此外，当两个摄像机装置之间的基线增加时，可出现导致不能用的视差图的像素对应问题。
因此，需要改进使用立体成像而不提取三维特征(其需要使用视差图)的深度准确度。
发明内容
利用双目系统跟踪目标物体的方法包括：捕获第一图像和第二图像，第一图像从第一摄像机装置捕获，而第二图像从第二摄像机装置捕获。多个图像应用于第一图像和第二图像并且确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用。确定各与第一图像与第二图像之间的图像块的选定的匹配对中的相应匹配对相对应的多个匹配费用。基于检测费用和匹配费用确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径并且基于至少一个费用流路径跟踪目标物体。
本发明包括以下方案：
方案1．一种利用双目摄像机系统跟踪目标物体的方法，包括：
捕获第一图像和第二图像，第一图像从第一摄像机装置捕获，而第二图像从第二摄像机装置捕获；
将多个图像块应用到第一图像和第二图像中的每一个；
确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用；
确定各与第一图像与第二图像之间的图像块的匹配对中的相应匹配对相对应的多个选定匹配费用；
基于检测费用和匹配费用确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径；以及
基于至少一个费用流路径跟踪目标物体。
方案2．根据方案1所述的方法，其中跟踪目标物体包括下列中的至少一个：
跟踪离目标物体的距离；以及
跟踪目标物体的速度。
方案3．根据方案1所述的方法，其中第一摄像机装置安装于源车辆挡风玻璃的第一端附近并且第二摄像机装置安装于源车辆挡风玻璃的第二端附近。
方案4．根据方案1所述的方法，其中将多个图像块应用到第一图像和第二图像中的每一个包括 ：
将预定数量的图像块应用到第一图像和第二图像，每个图像块包括矩形框并且具有离散尺寸和位置。
方案5．根据方案4所述的方法，其中应用于第一图像的多个图像块中的每一个由第一图像的第一层和第一图像的第二层表示，并且应用于第二图像的多个图像块中的每一个由第二图像的第一层和第二图像的第二层表示。
方案6．根据方案5所述的方法，其中由相应第一层表示的应用于的第一图像的多个图像块中的每一个链结到源顶点并且由相应第二层表示的应用于第二图像的多个图像块中的每一个链结到沉顶点。
方案7．根据方案1所述的方法，其中确定各与应用于第一图像和第二图像的图像块的相应图像块相关联的多个检测费用包括：
应用包括多个判定边界的线性向量分类器到应用于第一图像和第二图像的图像块中的每一个，每个判定边界对应于可能的目标物体的相应视角；以及下列情况的一种：
当线性向量分类器的量值小于零时，确定与相应图像块相关联的负检测费用，以及
当线性向量分类器的量值至少为零时，确定与相应图像块相关联的正检测费用。
方案8．根据方案7所述的方法，还包括：
当确定了相关联的负检测费用时，将相应图像块指定为被占据；以及
当确定了相关联的正检测费用时，将相应图像块指定为未被占据。
方案9．根据方案7所述的方法，其中包括判定边界的向量分类器包括线性权向量和预定偏置检测阈值。
方案10．根据方案1所述的方法，其中第一图像与第二图像之间的图像块的选定匹配对中的相应匹配对如下来选择：
监视应用于第一图像和第二图像的图像块中的每一个的位置信息；
监视应用于第一图像和第二图像的图像块中的每一个的外观信息；
选择所述匹配对包括选择具有相关外观信息和相关位置信息的应用于第一图像的图像块中的选定图像块和应用于第二图像的图像块中的选定图像块。
方案11．根据方案10所述的方法，还包括
当应用于第一图像和第二图像的图像块中的选定图像块的每一个的监视的位置信息以小于预定位置阈值偏离时，认为图像块中的选定图像块的每一个之间的位置信息为相关的。
方案12．根据方案10所述的方法，还包括：
当应用于第一图像和第二图像的图像块中的选定图像块中每一个的监视的外观信息以小于预定外观阈值偏离时，认为图像块中的选定图像块中每一个之间的外观信息为相关的。
方案13．根据方案1所述的方法，其中确定各与第一图像与第二图像之间的图像块的选定匹配对中的相应匹配对相对应的多个匹配费用包括：
监视与每个选定匹配对相关联的图像块中的每一个的位置信息；
监视与每个选定匹配对相关联的图像块中的每一个的外观信息；
测量与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点；
测量与每个选定匹配对相关联的图像块中每一个之间的外观信息的相异点；以及
基于与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点和外观信息的相异点来确定多个匹配费用。
方案14．根据方案1所述的方法，其中确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径包括：
监视从第一图像的源顶点到第二图像的沉顶点的多个费用流路径；
将每个费用流路径分段成多个运载单元，
每个运载单元包括下列之一：检测成本之一和匹配费用之一；
基于从每个相应费用流路径分段的每个运载单元的之和来确定每个费用流路径的总累积费用；以及
基于具有最低总累积费用的费用流路径来选择最少费用流路径。
方案15．根据方案11所述的方法，其中最少费用流路径包括负的总累积费用。
方案16．使用立体成像用于估计离前目标车辆的距离的方法，包括：
从安装于驾驶员侧A-柱附近的第一向前的摄像机装置捕获第一图像；
从安装于乘客侧A-柱附近的第二向前的摄像机装置捕获第二图像；
将预定数量的图像块应用于第一图像和第二图像的每一个，每个图像块包括矩形框并且具有离散尺寸和位置；
应用线性向量分类器到应用于第一图像和第二图像的图像块中的每一个来确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用；
选择图像块的匹配对，包括基于具有相关外观信和相关位置信息的应用于第一图像的图像块中选定图像块以及应用于第二图像的图像块中选定图像块；
确定各对应于图像块的选定匹配对中的相应匹配对的多个匹配费用；
基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的最小费用流路径；以及
基于最小费用流路径估计前目标车辆的距离。
方案17．根据方案16所述的方法，其中应用线性向量分类器到图像块中的每一个包括下列之一：
当线性向量分类器的量值小于零时，确定与相应图像块相关联的负检测费用以及将相应图像块指定为被占据；以及
当线性向量分类器的量值至少为零时，确定与相应图像块相关联的正检测费用以及将相应图像块指定为未被占据。
方案18．根据方案16所述的方法，其中确定各对应于图像块的匹配对中的相应匹配对的多个匹配费用包括：
监视与每个选定匹配对相关联的图像块中的每一个的位置信息；
监视与每个选定匹配对相关联的图像块中的每一个的外观信息；
测量与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点；
测量与每个选定匹配对相关联的图像块中每一个之间的外观信息的相异点；以及
基于与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点和外观信息的相异点来确定多个匹配费用。
方案19．根据方案16所述的方法，其中基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的最小费用流路径包括：
监视从第一图像的源顶点到第二图像的沉顶点的多个费用流路径；
将每个费用流路径分段成多个运载单元，
每个运载单元包括下列之一：检测费用之一和匹配费用之一；
基于从每个相应费用流路径分段的每个装配单元的之和来确定每个费用流路径的总累积费用；以及
基于具有最低总累积费用的费用流路径选择最小费用流路径。
方案20．一种利用双目摄像机系统跟踪目标物体的设备，包括：
包括第一摄像机装置和第二摄像机装置的双目摄像机系统，第一摄像机装置安装于源车辆挡风玻璃的第一端附近并且第二摄像机装置安装于源车辆挡风玻璃的第二端附近；以及
物体检测和匹配模块；
捕获第一图像和第二图像，第一图像从第一摄像机装置捕获并且第二图像从第二摄像机装置捕获；
将多个图像块应用于第一图像和第二图像的每一个；
确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用；
确定各对应于第一图像与第二图像之间的图像块的匹配对中的相应匹配对的多个匹配费用；
基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径；以及
基于至少一个费用流路径来跟踪目标物体。
附图说明
现将参考附图以举例方式描述一个或多个实施例，其中：
图1示出根据本公开的单目摄像机装置和雷达装置的实验和导出数据，其描绘了在弯曲路面上离目标物体的距离测量；
图2示出根据本公开利用双目摄像机系统来跟踪目标物体的示例性主动安全驾驶员辅助系统(ASDAS)；
图3示出根据本公开的具有宽基线的示例性双目摄像机系统，其包括安装于源车辆挡风玻璃的第一端附近的第一摄像机装置和安装于源车辆挡风玻璃的第二端附近的第二摄像机装置；
图4示出根据本公开的从图3的第一摄像机装置捕获的第一图像和应用于第一图像的多个图像块；
图5示出根据本公开的从图3的第二摄像机装置捕获的第二图像和应用于第二图像的多个图像块；
图6示出根据本公开的图4的第一图像和图5的第二图像的示例性四层有向图，用来基于与图像块相关联的检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的费用流路径；
图7示出根据本公开的示例性四层有向图，其示出从第一图像的源顶点到第二图像的沉顶点的两个费用流路径；
图8示出根据本公开的来自第一摄像机装置、第二摄像机装置和双目摄像机系统的实验数据和导出数据，其描绘了根据每帧错误物体检测的漏失的物体检测；
图9示出根据本公开的来自第一摄像机装置、第二摄像机装置和双目摄像机系统的实验数据和导出数据，其描绘了根据每帧错误物体检测的多个物体检测精确度；
图10用曲线图示出根据本公开，来自单目摄像机装置、雷达装置和双目摄像机系统的实验数据和导出数据，其描绘了离目标物体距离的估计；以及
图11为根据本公开的利用双目摄像机系统来跟踪目标物体的示例性流程图。
具体实施方式
现参考附图，其中展示图只是出于示出某些示例性实施例的目的而不用于限制它们的目的，图1用曲线图示出根据本公开的来自单目摄像机装置和雷达装置的实验数据和导出数据的曲线100，其描绘了在弯曲路面上的离目标物体的距离测量。水平轴线表示以秒为单位的测试时间，而竖直轴线表示以米为单位的离目标物体的间距。曲线100描绘了使用单目摄像机装置估计的离目标物体的距离测量分布曲线102以及使用具有分米准确度的雷达装置的离目标物体的实际距离测量分布曲线104。使用雷达装置进行的目标物体检测可称作地面实况，其提供离目标物体的实际距离或尽可能接近准确距离的距离。应意识到违背了平地假设，因为目标物体是在弯曲路面上，且因此，由于违背平地假设，所以在估计距离测量分布曲线102与实际测量曲线图104之间存在显著偏差。
图2示出根据本公开的利用双目摄像机系统201和物体检测和匹配(ODM)模块200来跟踪目标物体的示例性主动安全驾驶员辅助系统(ASDAS)250。ASDAS 250位于源车辆内。本公开不限于ASDAS 250所在的源车辆的部分或车厢。显然的是，当违背平地假设时，利用具有与示例性ODM模块200相关联的宽基线的双目摄像机系统201允许准确估计离目标物体的距离，而无需从视差图提取三维特征。跟踪目标物体可包括估计离前目标车辆的距离和估计前目标车辆的速度中的至少一个。
参考图3，示出了根据本公开的示例性双目摄像机系统具有宽基线310，包括第一摄像机装置302和第二摄像机装置304。第一摄像机装置302安装于源车辆挡风玻璃305的第一端307附近(例如，左侧)和驾驶员侧A-柱附近。因此，第一摄像机装置302可称作驾驶员侧摄像机装置。第二摄像机装置304安装于源车辆挡风玻璃305的第二端309的附近(例如，右侧)和乘客侧A-柱的附近。因此，第二摄像机装置304可称作乘客侧摄像机装置。因此，具有宽基线310的双目摄像机系统能提供立体成像以增加深度和距离估计的准确度。在示例性实施例中，宽基线310为大约两米。应意识到距离估计准确度分别随着第一摄像机装置302与第二摄像机装置304之间的基线310宽度增加而增加。第一摄像机装置320和第二摄像机装置304中的每一个分别被配置成捕获车辆前方的道路场景的相应图像，包括目标物体315，例如如在道路场景上行进的目标车辆。第一摄像机装置302和第二摄像机装置304分别可各被称作朝前摄像机装置。应意识到这里讨论的实施例可同样实施为使用两个朝后摄像机装置的双目摄像机系统。
示例性ODM模块200分别从双目摄像机系统201接收第一图像203和第二图像205。双目摄像机系统201包括第一个摄像机装置202和第二摄像机装置204。第一摄像机装置202可包括驾驶员侧摄像机装置和乘客侧摄像机装置之一，而第二摄像机装置204包括右侧摄像机装置和左侧摄像机装置中的另一个。第一图像203从第一摄像机装置捕获。为了简单起见，第一图像203对应于从包括驾驶员侧摄像机装置的第一摄像机装置捕获的驾驶员侧图像。第二图像205从第二摄像机装置捕获。为了简单起见，第二图像205对应于从包括乘客侧摄像机装置的第二摄像机装置捕获的乘客侧图像。在示例性实施例中，第一摄像机装置202对应于图3的第一摄像机装置302，而第二摄像机装置204对应于图3的第二摄像机装置304。
ASDAS 250包括双目摄像机系统201、ODM模块200和车辆控制模块230。ODM模块200包括图像块检测模块206、流网络模块212、费用模块216、费用流模块222和跟踪模块226。费用模块216还包括检测费用模块218和匹配费用模块220。跟踪模块226被配置成跟踪或估计离目标物体的距离227和/或目标物体的速度。车辆控制模块230配置成基于目标物体的跟踪来自动地或半自动地控制源车辆。例如，如果目标物体在预定距离内或低于预定速度行进，那么车辆控制模块230可发送制动请求来降低源车辆的速度。
控制模块、模块、控件、控制器、控制单元、处理器和类似术语表示下列中的任一个或者一个或多个的各种组合：(多个)专用集成电路(ASIC)、(多个)电子电路、(多个)中央处理单元(优选地(多个)微处理器)，和执行一个或多个软件或固件程序或例程的相关存储器和储存装置(只读、可编程只读、随机存取、硬驱动等)、(多个)组合逻辑电路、(多个)输入/输出电路和装置，适当信号条件和缓冲器电路以及提供所描述的功能的其它组件。软件、固件、程序、指令、例程、代码、算法和类似术语表示任何控制器可执行的指令集合，包括校准和查找表。控制模块具有通过执行来提供所需功能的控制例程。通过诸如中央处理单元来执行例程， 并且例程可通过操作以监视自传感装置和其它联网的控制模块的输入，并且执行控制和诊断例程来控制致动器的操作。在正在进行发动机和车辆操作期间可以固定间隔执行例程，例如每3.125、6.25、12.5、25和100毫秒。
参考图4，示出第一图像203包括在源车辆前方的驾驶场景上的目标物体403(例如，图3的目标物体315)。在示例性实施例中，第一图像203为从驾驶员侧摄像机装置捕获的驾驶员侧图像，驾驶员侧摄像机装置安装于源车辆挡风玻璃的驾驶员侧附近和驾驶员侧 A-柱附近。参考图5，示出第二图像205包括在源车辆前方的驾驶场景上的目标物体415(例如，图3的目标物体315)。在示例性实施例中，第二图像205为从乘客侧摄像机装置捕获的乘客侧图像，乘客侧摄像机装置安装于源车辆挡风玻璃的乘客侧的附近和乘客侧 A-柱的附近。
图像块检测模块206分别从双目摄像机系统201接收第一图像203和第二图像205。预定数量的图像块208应用于第一图像203且通过流网络模块212接收。同样，预定数量的图像块210应用于第二图像205且通过流网络模块212接收。这些图像块中的每一个指示关注的包含物体的候选物(例如，在本实施例中包括前目标车辆的目标物体)。在示例性实施例中，参看图4和图5，图像块检测模块206将多个图像块1、2、3、4、5分别应用于第一图像203和第二图像205中的每一个。因此，预定数量的图像块208对应于应用于在图4中示出的第一图像203的图像块1、2、3、4、5且预定数量的图像块210对应于应用于在图5中示出的第二图像205的图像块1、2、3、4、5。应用于第一图像203的每个图像块1、2、3、4、5包括具有相对于第一图像203的离散尺寸和位置的矩形框，且应用于第二图像205的每个图像块1、2、3、4、5包括具有相对于第二图像205的离散尺寸和位置的矩形框。应意识到相同预定数量的图像块将分别应用于第一图像203和第二图像205中的每一个。每个图像块1、2、3、4、5可称作物体候选物。参考检测费用模块218在下文中更详细讨论，基于图像块1、2、3、4、5中的每一个的检测费用，图像块中的每一个可被指定为被目标物体占据或不被目标物体占据之一。为了确定图像块是否被目标物体占据或不被目标物体占据中的一种情况，可比较每个图像块与考虑到例如客车的目标物体的视角的目标模板。例如，可比较每个图像块与表示客车不同视角的六个模板之一。
流网络模块212接收应用于第一图像203的预定数量的图像块208和应用于第二图像205的预定数量的图像块210。流网络模块212基于与图像块相关联的检测费用和匹配费用生成四层有向图214来最终确定从第一图像的源顶点到第二图像的沉顶点的费用流路径。
参考图6，四层有向图214包括第一图像203，第一图像203具有包括第一层601和第二层602的两层。四层有向图214还包括第二图像205，第二图像205具有包括第三层603和第四层604的两层。对于第一层601的所有可能图像块，应用于第一图像203的图像块208将被列举为1-1、1-2、1-3、1-4、1-5。因此，所列举的图像块1-1、1-2、1-3、1-4、1-5为第一层601的顶点并且分别对应于应用于图4中示出的第一图像203的图像块1、2、3、4、5中的相应图像块。对于第二层602的所有可能图像块而言，应用于第一图像203的图像块208还被列举为2-1、2-2、2-3、2-4、2-5。因此，所列举的图像块2-1、2-2、2-3、2-4、2-5为第二层602的顶点。第二层602被认为是第一层601的阴影，且因此，第二层602包括与第一层601相同的结构。因此，应用于第一图像203的多个图像块1、2、3、4、5中的每一个由第一图像203的第一层601和第二层602表示。第一层601和第二层602中的每一个的相应所列举的图像块之间的弧分别表示检测费用ζα610。例如，检测费用ζα610由在1-1与2-1、1-2与2-2、1-3与2-3、1-4与2-4以及1-5与2-5之间的弧中的每一个确定。换言之，确定各与应用于第一图像203的图像块中的相应图像块相关联的多个检测费用ζα610。在下文参考费用模块216更详细讨论确定检测费用ζα610 。
对于第三层603的所有可能图像块，应用于第二图像205的图像块210被列举为3-1、3-2、3-3、3-4、3-5。因此，所列举的图像块3-1、3-2、3-3、3-4、3-5为第三层603的顶点并且分别对应于应用于图5中示出的第二图像205的图像块1、2、3、4、5的相应图像块。对于第四层604的所有可能图像块，应用于第二图像205的图像块210被进一步列举为4-1、4-2、4-3、4-4、4-5。因此，所列举的图像块4-1、4-2、4-3、4-4、4-5为第四层604的顶点。第四层604被认为是第三层603的阴影，且因此，第四层604包括与第三层603相同的结构。因此，应用于第二图像205的多个图像块1、2、3、4、5中的每一个由第二图像205的第三层603和第四层604表示。第三层603和第四层604中的每一个的相应所列举的图像块之间的弧分别表示检测费用ζ β 620。例如，检测费用ζ β 620由在3-1与4-1、3-2与4-2、3-3与4-3、3-4与4-4以及3-5与4-5之间的弧中的每一个来确定。换言之，确定各与应用于第二图像205的图像块中的相应图像块相关联的多个检测费用ζβ620。在下文参考费用模块216更详细讨论确定或计算检测费用ζβ620。
由第二层602和第三层603表示的所列举的图像块之间的附随的弧分别表示应用于第一图像203的图像块与应用于第二图像205的图像块之间的可能匹配。μαβ630表示应用于第一图像203的图像块与应用于第二图像205的图像块之间的可能匹配的费用。例如，匹配费用μαβ630由2-2与3-2、2-3与3-2、2-3与3-3、2-3与3-4以及2-4与3-2之间的弧中的每一个来确定。换言之，确定各对应于第一图像与第二图像之间的图像块的匹配对中的相应匹配对的多个匹配费用。在下文中参考费用模块216将更详细讨论确定或计算匹配费用μαβ630。
由第一层601表示的应用于第一图像203的多个图像块1-1、1-2、1-3、1-4、1-5中的每一个链结到源顶点0。到源顶点0的每一个链路的成本为零，如由虚线所示。由第四层604表示的应用于第二图像205的多个图像块4-1、4-2、4-3、4-4、4-5中的每一个链结到沉顶点50。到沉顶点50的每一个链路的成本为零，如由虚线所示。
参考图2和图6，四层有向图214输入至费用模块216。费用模块216包括检测费用模块218和匹配费用模块220。检测费用模块218确定分别应用于第一图像203和第二图像205的图像块208和210中的每一个的检测费用219。显然，基于相应图像块的检测费用，可以检测在图像块内目标物体的存在(例如，图像块被占据)。图6所示的检测费用ζα610和ζβ620由输入到费用流模块222的检测费用219表示。
检测费用模块218可包括线性支持向量机(SVM)，其被训练为基于每个图像块的检测费用219来确定应用于第一图像和第二图像的每个图像块是否被占据或未被占据中的一种情况。SVM将线性向量分类器应用于用于第一图像和第二图像的图像块中的每一个。在示例性实施例中，线性向量分类器应用于图像块1、2、3、4、5中的每一个，图像块1、2、3、4、5分别应用于在图4和图5中示出的第一图像203和第二图像205。线性分类器包括多个判定边界。每个判定边界对应于可能的目标物体的相应视角。例如，可能的目标物体的视角可包括车辆的边缘。判定边界可包括线性权向量和预定偏置检测阈值。线性向量分类器应用到用于第一图像的图像块中的每一个来确定与分别应用于第一图像203和第二图像205的图像块中的相应图像块相关联的检测费用219，可表达如下：
[1]
其中，ζ(a)为与所应用的图像块之一相关联的检测费用，
wj为对于j=1,…J的线性权向量，
f(a)对应于线性向量分类器对于所应用的图像块中相应图像块的应用，且
b为偏置检测阈值。
存在于相应图像块内而未被检测到的漏失检测率随着偏置检测阈值b减小而减小。但是，将目标物体错误地检测为在相应图像块内存在的错误检测率随着偏置检测阈值的减小而增大。在示例性实施例中，预定偏置检测阈值b足够低以避免在图像块中的相应图像块中的目标物体的漏检。
在方程式[1]中计算的线性向量分类器的量值与相应图像块相关联的检测费用直接成正比。因此，ζ(a)可为负检测费用和正检测费用之一。换言之，当线性向量分类器的量值小于零时，确定与相应图像块相关联的负检测费用。同样，当线性向量分类器的量值至少为零时，确定与相应图像块相关联的正检测费用。因此，当确定了负检查费用时相应图像块被指定为被占据的，或者当确定了正检测费用时，相应图像块被指定为未被占据。将相应图像块指定为被占据和未被占据中的一种情况的判定规则可表达如下：
[2]
其中，h(a)=1对应于相应图像块指定为被占据，且
h(a)=0,对应于相应图像块指定为未被占据。
指定为被占据的相应图像块可能包含目标物体。指定为未被占据的相应图像块可能包含背景信息。检测费用越低，例如，负检测费用越低，指定为被占据的相应图像块包含目标物体的置信度越高。
参考图6，方程式[1]用于根据1-1与2-1、1-2与2-2、1-3与2-3、1-4与2-4以及1-5与2-5之间的弧中的每一个来确定检测费用ζα610。在示例性实施例中，每个检测费用ζα610与应用于图4所示的第一图像203的图像块1、2、3、4、5中的相应图像块相关联。在示例性实施例中，在第一层601和第二层602的图像块1-3与2-3(例如，阴影的)之间的弧分别包括负检测费用。因此，基于应用在方程式[1]所表达的线性向量分类器和在方程式[2]的判定规则，对应于分别应用到第一图像203的第一层601和第二层602的图像块1-3和2-3中的每一个被指定为被占据。参考图4，图像块3包括目标物体。
同样，方程式[1]用于根据在3-1与4-1、3-2与4-2、3-3与4-3、3-4与4-4以及3-5与4-5之间的弧中的每一个来确定检测费用ζ β 620。在示例性实施例中，每个检测费用ζ β 620与应用于图5所示的第二图像205的图像块1、2、3、4、5中的相应图像块相关联。在示例性实施例中，在第二层602的图像块3-2与4-2(例如，阴影的)之间的弧包括负检测费用。因此，基于应用在方程式[1]所表达的向量分类器和在方程式[2]的判定规则，图像块3-2和4-2中的每一个被指定为被占据。参考图5，图像块2包括目标物体415。
返回参考图2，匹配费用模块220确定多个匹配费用221，匹配费用221各对应于分别应用于第一图像203和第二图像205的图像块的匹配对中的相应匹配对。图6所示的匹配费用μαβ630由输入到费用流模块222的匹配费用221表示。
参考图2和图6，匹配费用模块220首先选择第一图像与第二图像之间的图像块的匹配对。如将显然的是，匹配费用模块220提供分别在由双目摄像机系统201的第一摄像机装置202和第二摄像机装置204分别捕获的第一图像203和第二图像205内的物体的立体匹配。如前文所提到的那样，分别由第二层602和第三层603表示的所列举的图像块之间的附随的弧表示应用于第一图像203的图像块与应用于第二图像205的图像块之间的可能匹配。监视分别应用于第一图像203和第二图像205的图像块中的每一个的外观信息。具体而言，分别监视第二层602和第三层603的列举图像块的外观信息。外观信息可包括但不限于每个图像的像素矩阵，在相应图像块内的对比度、边缘和形状。而且，监视应用于第一图像203和第二图像205的图像块中的每一个的位置信息。具体而言，分别监视第二层602和第三层603的列举图像块的位置信息。位置信息可包括在图像中的每一个中的相应图像块的位置，诸如在相对应图像中的每一个内的行索引和列索引。因此，每个匹配对包括具有相关外观信息和相关位置信息的应用于第一图像的图像块中的选定的图像块以及应用于第二图像的图像块中的选定的图像块。如图6所示，多个匹配对包括2-2与3-2、2-3与3-2、2-3与3-3、2-3与3-4以及2-4与3-2。
在示例性实施例中，基于相应预定的阈值，确定具有相关外观信息和相关位置信息的应用于第一图像和第二图像的图像块。例如，当应用于第一图像和第二图像的选定图像块中的每一个的监视的位置信息以小于预定位置阈值偏离时，选定图像块中的每一个的之间位置信息认为是相关的。同样，当应用于第一图像和第二图像的选定图像块中的每一个的监视的外观信息以小于预定的外观阈值偏离时，选定图像块中的每一个的之间外观信息认为是相关的。
匹配费用模块220还确定各对应于图像块的匹配对中的相对应匹配对的多个匹配费用221。匹配费用221应用于费用流模块222。监视与每个匹配对相关联的选定图像块中的每一个的位置信息。监视与每个匹配对相关联的选定图像块中的每一个的外观信息。如前文所提到的那样，监视的外观信息可包括与每个匹配对相关联的选定图像块中每一个的监视的像素矩阵并且监视的位置信息可包括相对应图像内的行索引和列索引。可测量与每个匹配对相关联的选定图像块中的每一个之间的位置信息的相异点。同样，可测量与每个匹配对相关联的选定图像块中的每一个之间的外观信息的相异点。因此，基于与每个匹配对相关联的选定图像块中的每一个之间的位置信息和外观信息的相异点来确定多个匹配费用221，即，匹配费用μαβ630。确定多个匹配费用221，即，匹配费用μαβ630，每个分别对应于第一图像203与第二图像205之间的图像块的匹配对中的相应匹配对，可表达如下：
[3]
其中，μαβ为匹配费用，
为与匹配对相关联并且应用于第一图像的选定图像块的位置信息，
为与匹配对相关联并且应用于第二图像的选定图像块的位置信息，
为与匹配对相关联并且应用于第一图像的选定图像块的像素矩阵，
为与匹配对相关联并且应用于第二图像的选定图像块的像素矩阵，
为已知的基本矩阵，从摄像机校准过程导出，
为翘曲函数，
p为目标物体的3D位置的参数向量，
为用于位置匹配的调谐参数，以及
为用于外形匹配的调谐参数。
图像块的位置信息包括相对应图像内的行索引和列索引。假定第一摄像机装置202和第二摄像机装置204中的每一个分别被首先标定。翘曲函数(W(I,p))基于参数向量p使图像块I翘曲。参数向量p为目标的3-D位置，包括从先前循环的估计导出的物体间距。应意识到，如由方程式[3]表达的匹配费用221中的每一个，即，匹配费用μαβ630，限定为与每个匹配对相关联的选定图像块中的每一个之间的外观信息和位置信息的相异点测量。因此，对应于图6所示的匹配对3-2和2-3的匹配费用μαβ630表示为从外极线和外观的相异点测量的偏差。
参考图2和图6，检测费用219和匹配费用221被输入到费用流模块222。应了解检测费用219和匹配费用221可同时地确定。基于检测费用219和匹配费用221，费用流模块222生成或确定从第一图像203的源顶点0到第二图像205的沉顶点50的至少一个费用流路径224。在示例性实施例中，最小费用流(MCF)应用于四层有向图214，允许准确和稳健地跟踪目标物体而无需从视差图提取三维图像。
MCF首先监视从第一图像的源顶点0到第二图像205的沉顶点的多个费用流路径。每个费用流路径224包括检测费用ζα610之一、检测费用ζ β 620之一、以及匹配费用μαβ630之一。每个费用流路径224分段为多个运载单元f，每个运载单元f包括下列之一：检测费用ζα610和检测费用ζβ620之一以及匹配费用μαβ630之一。基于自每个相应费用流路径分段的每个运载单元的总和，确定每个费用流路径的总累积费用。基于具有最低总累积费用的费用流路径224，选择最少费用流路径。在下文中参考跟踪模块226更详细地讨论，基于最少费用流路径跟踪目标物体。基于具有最低总累积费用的费用流路径，选择最少费用流路径，即，MCF，可表达如下：
最小化 [4]
服从，
其中，u、v为两个顶点(第一层601、第二层602、第三层603和第四层604)
s为源顶点0，
t为沉顶点50
T为最少费用流路径，例如，MCF，
为从s到t的最大流单元，
为从顶点u到顶点v附随的弧，并且E为所有弧的集合。
方程式[4]展示了运载单元f可被认为是从s(例如，源顶点0)到t(例如，沉顶点50)的路径的数量。在费用流模块222内植入的例程可用于运算方程式[4]的最少费用流路径，其中该例程依赖于已知的运载单元f的数量。但是，如果运载单元f的数量是未知的，那么能实现f的每个容许值的搜索。也可包括二分搜索的替代实施例。
在示例性实施例中，参考图6，在四层有向图214中从源顶点0到沉顶点的最少费用流路径(例如，最小费用流路径)包括图像块列举的顶点1-3、2-3、3-2、4-2。如方程式[1]所展示顶点1-3与2-3之间的弧是负检测费用并且3-2与4-2之间的弧也是负检测费用。如方程式[3]所展示对应于匹配对3-2和2-3的匹配费用μαβ630具有最少匹配费用。因此利用方程式[4] 将MCF应用到四层有向图214，最少费用流路径(例如，具有最低总累积费用的费用流路径)表示为源顶点0→1-3→2-3→2-4→4-2→沉顶点50。
应意识到如由方程式[3]所表达的匹配费用221中的每一个，即，匹配费用μαβ630，限定为与每个匹配对相关联的选定图像块中的每一个之间的外观信息和位置信息的相异点测量。因此，对应于图6所示的匹配对3-2和2-3的匹配费用μαβ630表示为与外观的外极线和相异点测量的偏差。
最少费用流路径224被输入到跟踪模块226，其中跟踪目标物体。分别利用具有宽基线，分别由第一摄像机装置203和第二摄像机装置205捕获的第一图像203和第二图像205来选择最少费用流路径以跟踪目标物体，当违反平地假设时，增加了离目标物体的距离估计的准确度。如上文所提到的那样，当使用单目摄像机装置违背平地假设时，离目标物体的距离估计随离目标物体的距离增加以二次方降级。跟踪目标物体可包括跟踪离目标物体的距离和跟踪目标物体的速度。因此，所跟踪的离目标物体的距离227和所跟踪的目标物体的速度229各被输入到车辆控制模块230。车辆控制模块可基于所跟踪的距离227和所跟踪的速度自主地或半自主地控制源车辆。例如，如果确定目标物体(例如，前目标车辆)太接近源车辆时，车辆控制模块230可发出命令以向源车辆施加制动。
虽然本文所讨论的实施例和示例包括跟踪一个目标物体(例如图4和图5所示的前目标车辆415)，物体检测和匹配(ODM)模块200同样可应用于跟踪多个目标物体。
参看图7，描绘了包括第一图像710的四层有向图700，第一图像710具有包括第一层701和第二层702的两层。第一图像710可为从安装于驾驶员侧A-柱附近的驾驶员侧摄像机装置的驾驶员侧图像。四层有向图700还包括第二图像720，第二图像720具有包括第三层703和第四层704的两层。第二图像720可为从安装于乘客侧A-柱附近的乘客侧摄像机装置得到的乘客侧图像。对于第一层701的所有可能图像块，应用于第一图像710的两个图像块列举为1-7、1-8，并且对于第二层702的所有可能图像块，应用于第一图像710的两个图像块列举为2-7、2-8。对于第三层703的所有可能图像块，应用于第二图像720的两个图像块列举为3-7、3-8，并且对于第四层704的所有可能图像块，应用于第二图像720的两个图像块列举为4-7、4-8。四层有向图700还包括链结到第一层701的1-7、1-8中的每一个的源顶点70以及链结到第二层704的4-7、4-8中的每一个的沉顶点75。
如上文所提到的那样，利用方程式[1]能确定多个检测费用。每个检测费用与应用于第一图像和第二图像的图像块的相应图像块相关联。1-8与2-8之间的弧包括(-10)的检测费用。因此，因为确定了负检测费用，所以相应图像块1-8可能被占据。3-8与4-8之间的弧为(3)。因此，由于确定了正检测费用，相应图像块3-8可能未被占据。1-7与2-7之间的弧为(10)。3-7与4-7之间的弧为(-10)。
如上文所提到的那样，利用方程式[3]能确定多个匹配费用。每个匹配费用对应于第一图像与第二图像之间的图像块的匹配对的相应匹配对。2-8与3-7之间的弧包括匹配费用(70)。2-8与3-8之间的弧包括匹配费用(2)。2-7与3-8之间的弧包括匹配费用(50)。2-7与3-7之间的弧包括匹配费用(100)。
利用方程式[4] 将MCF应用到图7的示例性四层有向图700，确定最少费用流路径，例如，具有最低总累积费用的费用流路径，表示为源顶点70→1-8→2-8→3-8→4-8→沉顶点75。应意识到确定最少费用流路径允许2-8与3-8之间的间隙桥接，这是因为与图像块3-8相关联的检测费用由于基于3-8与4-8之间的弧确定的正检测费用(3)，指定为未被占据，而与图像块1-8相关联的检测费用由于基于1-8与4-8之间的弧确定的负检测费用(-10)，指定为被占据。但是，存在基于2-8与3-8之间的弧确定的相对较少的匹配费用(2)。因此，即使3-8与4-8之间的检测费用(2)是正的，也存在具有为负的总累积费用的从源顶点70到沉顶点75的费用流路径。
而且，表示为源顶点70→1-8→2-8→3-8→4-8→沉顶点75的最少费用流路径允许去除错误的物体检测。而由于基于3-7与4-7之间的弧确定的负检测费用(-10)，与3-7相关联的检测费用被指定为被占据的，图像块3-7与第一图像710中的图像块隔离，如由在2-8与3-7之间的弧上的较大的匹配费用值以及在2-7与3-7之间的弧上的较大的匹配费用值所示。因此，包含3-7的任何费用流路径将导致正的总累积费用。因此，3-7被移除，因为它可能为错误检测的目标。
图8用曲线图示出了驾驶员侧单目摄像机装置、乘客侧单目摄像机装置和双目摄像机系统的实验和导出数据的曲线800，描绘了根据每帧错误物体检测率的变化的偏置检测阈值。应了解偏置检测阈值对应于方程式[1]的偏置检测阈值b。水平轴线指示每帧错误物体检测率并且竖直轴线指示每帧漏失检测率。分布曲线802指示随着偏置检测阈值变化，驾驶员侧摄像机装置的错误物体检测率。分布曲线804指示随着偏置检测阈值变化，乘客侧摄像机装置的错误物体检测率。分布曲线806表指示随着偏置检测阈值变化，图3的双目摄像机系统201的错误物体检测率。应意识到分布曲线802、804、806为由线性支持向量机(SVM)利用方程式[1]生成的接收器工作特征(ROC)曲线，其中偏置检测阈值b是变化的。随着偏置检测阈值b减小，每帧错误物体检测率增加。指示双目摄像机系统的错误物体检测率的分布曲线806比驾驶员侧摄像机系统和乘客侧摄像机系统更有力，因为其表现为漏失检测率减少10%。
图9用曲线图示出了驾驶员侧单目摄像机装置、乘客侧单目摄像机装置和双目摄像机系统的实验和导出数据的曲线900，描绘了根据每帧错误物体检测率的多物体检测精确度(MODP)。水平轴线指示每帧的错误物体检测率，而竖直轴线指示MODP。应意识到MODP为性能度量，提供手动地标记的图像块(例如，利用雷达装置确定的地面实况)与从线性支持向量机(SVM)输出的所应用的图像块之间的空间重叠的指示。MODP因此描绘了在一帧中检测的总空间精确度。分布曲线902指示根据驾驶员侧摄像机装置的错误物体检测率的MODP。曲线904指示根据乘客侧摄像机装置的错误物体检测率的MODP。分布曲线906指示根据双目摄像机系统的错误物体检测率的MODP。分布曲线906指示了根据双目摄像机系统的错误物体检测率的MODP，其比驾驶员侧单目摄像机装置和乘客侧单目摄像机装置更有力，因为其表现为MODP减小10%。
图10用曲线图示出了单目摄像机装置、雷达装置和双目摄像机系统的实验和导出数据的曲线1000，描绘了随着时间而变的离目标物体的距离或间距。目标物体为在道路上的前目标车辆。水平轴线指示以秒为单位的测试时间，而竖直轴线表示以米为单位的间距。分布曲线1002指示利用单目摄像机装置检测或测量的离目标物体的距离。分布曲线1004指示利用双目摄像机系统检测或测量的离目标物体的距离。分布曲线1006指示利用雷达装置检测或测量的离目标物体的距离。如上文所提到的那样，雷达装置具有分米内的测量准确度，并且因此用作地面实况或实际距离。分布曲线1004指示了利用双目摄像机系统检测或测量的离目标物体的距离，展示了与由分布曲线1002示出的单目摄像机装置的距离测量相比具有增加的准确度的距离测量。
图11示出了根据本公开，利用与图2的双目摄像机系统201和ODM 200相关联的双目摄像机系统来跟踪目标物体的流程图1100。表1被提供为图11的关键点，其中数字标出的框和对应功能如下陈述：
流程图1100利用上文提到的图2的双目摄像机系统201和ODM 模块202。流程图始于框1102，其中捕获第一图像和第二图像。第一图像由双目摄像机系统的第一摄像机装置捕获，而第二图像由双目摄像机系统的第二摄像机捕获。第一摄像机装置和第二摄像机装置由宽基线分开，其中第一摄像机装置可安装在驾驶员侧A-柱附近并且第二摄像机装置可安装在乘客侧A-柱附近。流程图进展到框1104，其中多个图像块应用于第一图像和第二图像中的每一个。图像块中的每一个可为具有离散尺寸和位置的矩形框。图像块可称作物体候选物，其描述了图像块可为被目标物体占据和不被目标物体占据中的一种情况。流程图1100进展到框1106。
框1106确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用。如果与相应图像块相关联的检测费用是负的，那么图像块被指定为被占据的并且可能在其中包含目标物体。如果与相应图像块相关联的检测费用是正的，那么图像块被指定为不被占据并且可能其中不包含目标物体。流程图进展到框1108。
框1108确定各对应于第一图像与第二图像之间的图像块的匹配对中的相应匹配对的多个匹配费用。每个匹配对包括具有相关外观信息和相关位置的应用于第一图像的图像块中的选定图像块以及应用于第二图像的图像块中的选定图像块。测量与每个匹配对相关联的选定图像块中的每一个之间的外观信息的相异点。基于与每个匹配对相关联的选定图像块中每一个之间的位置信息的相异点和外观信息的相异点，确定多个匹配费用。流程图1100进展到框1110。
框1110基于检测费用和匹配费来确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径。具有从源顶点到沉顶点的最低总累积费用的费用流路径被选择为最少费用流路径。流程图进展到框1112，其中当存在多于一个费用流路径时，基于具有最低总累积费用的最少费用流路径来跟踪目标物体。
本公开描述了某些优选实施例和其修改。在阅读和理解说明书后，其他人可能想到另外的修改和更改。因此，意图本公开并不限于作为实施本公开的最佳实施方式所公开的(多个)特定实施例，而是本公开将包括落在所附权利要求范围内的所有实施例。

Claims (17)

1.一种利用双目摄像机系统跟踪目标物体的方法，包括：
捕获第一图像和第二图像，第一图像从第一摄像机装置捕获，而第二图像从第二摄像机装置捕获；
将多个图像块应用到第一图像和第二图像中的每一个；
确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用；
确定各与第一图像与第二图像之间的图像块的匹配对中的相应匹配对相对应的多个选定匹配费用；
基于检测费用和匹配费用确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径；以及
基于至少一个费用流路径跟踪目标物体；
其中将多个图像块应用到第一图像和第二图像中的每一个包括 ：将预定数量的图像块应用到第一图像和第二图像，每个图像块包括矩形框并且具有离散尺寸和位置；
其中应用于第一图像的多个图像块中的每一个由第一图像的第一层和第一图像的第二层表示，并且应用于第二图像的多个图像块中的每一个由第二图像的第一层和第二图像的第二层表示；
其中由相应第一层表示的应用于的第一图像的多个图像块中的每一个链结到源顶点并且由相应第二层表示的应用于第二图像的多个图像块中的每一个链结到沉顶点。
2.根据权利要求1所述的方法，其中跟踪目标物体包括下列中的至少一个：
跟踪离目标物体的距离；以及
跟踪目标物体的速度。
3.根据权利要求1所述的方法，其中第一摄像机装置安装于源车辆挡风玻璃的第一端附近并且第二摄像机装置安装于源车辆挡风玻璃的第二端附近。
4.根据权利要求1所述的方法，其中确定各与应用于第一图像和第二图像的图像块的相应图像块相关联的多个检测费用包括：
应用包括多个判定边界的线性向量分类器到应用于第一图像和第二图像的图像块中的每一个，每个判定边界对应于可能的目标物体的相应视角；以及下列情况的一种：
当线性向量分类器的量值小于零时，确定与相应图像块相关联的负检测费用，以及
当线性向量分类器的量值大于等于零时，确定与相应图像块相关联的正检测费用。
5.根据权利要求4所述的方法，还包括：
当确定了相关联的负检测费用时，将相应图像块指定为被占据；以及
当确定了相关联的正检测费用时，将相应图像块指定为未被占据。
6.根据权利要求4所述的方法，其中包括判定边界的向量分类器包括线性权向量和预定偏置检测阈值。
7.根据权利要求1所述的方法，其中第一图像与第二图像之间的图像块的选定匹配对中的相应匹配对如下来选择：
监视应用于第一图像和第二图像的图像块中的每一个的位置信息；
监视应用于第一图像和第二图像的图像块中的每一个的外观信息；
选择所述匹配对包括选择具有相关外观信息和相关位置信息的应用于第一图像的图像块中的选定图像块和应用于第二图像的图像块中的选定图像块。
8.根据权利要求7所述的方法，还包括
当应用于第一图像和第二图像的图像块中的选定图像块的每一个的监视的位置信息以小于预定位置阈值偏离时，认为图像块中的选定图像块的每一个之间的位置信息为相关的。
9.根据权利要求7所述的方法，还包括：
当应用于第一图像和第二图像的图像块中的选定图像块中每一个的监视的外观信息以小于预定外观阈值偏离时，认为图像块中的选定图像块中每一个之间的外观信息为相关的。
10.根据权利要求1所述的方法，其中确定各与第一图像与第二图像之间的图像块的选定匹配对中的相应匹配对相对应的多个匹配费用包括：
监视与每个选定匹配对相关联的图像块中的每一个的位置信息；
监视与每个选定匹配对相关联的图像块中的每一个的外观信息；
测量与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点；
测量与每个选定匹配对相关联的图像块中每一个之间的外观信息的相异点；以及
基于与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点和外观信息的相异点来确定多个匹配费用。
11.根据权利要求1所述的方法，其中确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径包括：
监视从第一图像的源顶点到第二图像的沉顶点的多个费用流路径；
将每个费用流路径分段成多个运载单元，
每个运载单元包括下列之一：检测成本之一和匹配费用之一；
基于从每个相应费用流路径分段的每个运载单元之和来确定每个费用流路径的总累积费用；以及
基于具有最低总累积费用的费用流路径来选择最少费用流路径。
12.根据权利要求11所述的方法，其中最少费用流路径包括负的总累积费用。
13.使用立体成像用于估计离前目标车辆的距离的方法，包括：
从安装于驾驶员侧A-柱附近的第一向前的摄像机装置捕获第一图像；
从安装于乘客侧A-柱附近的第二向前的摄像机装置捕获第二图像；
将预定数量的图像块应用于第一图像和第二图像的每一个，每个图像块包括矩形框并且具有离散尺寸和位置；
应用线性向量分类器到应用于第一图像和第二图像的图像块中的每一个来确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用；
选择图像块的匹配对，包括基于具有相关外观信息和相关位置信息的应用于第一图像的图像块中选定图像块以及应用于第二图像的图像块中选定图像块；
确定各对应于图像块的选定匹配对中的相应匹配对的多个匹配费用；
基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的最小费用流路径；以及
基于最小费用流路径估计前目标车辆的距离；
其中，应用于第一图像的多个图像块中的每一个由第一图像的第一层和第一图像的第二层表示，并且应用于第二图像的多个图像块中的每一个由第二图像的第一层和第二图像的第二层表示；
其中由相应第一层表示的应用于的第一图像的多个图像块中的每一个链结到源顶点并且由相应第二层表示的应用于第二图像的多个图像块中的每一个链结到沉顶点。
14.根据权利要求13所述的方法，其中应用线性向量分类器到图像块中的每一个包括下列之一：
当线性向量分类器的量值小于零时，确定与相应图像块相关联的负检测费用以及将相应图像块指定为被占据；以及
当线性向量分类器的量值大于等于零时，确定与相应图像块相关联的正检测费用以及将相应图像块指定为未被占据。
15.根据权利要求13所述的方法，其中确定各对应于图像块的匹配对中的相应匹配对的多个匹配费用包括：
监视与每个选定匹配对相关联的图像块中的每一个的位置信息；
监视与每个选定匹配对相关联的图像块中的每一个的外观信息；
测量与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点；
测量与每个选定匹配对相关联的图像块中每一个之间的外观信息的相异点；以及
基于与每个选定匹配对相关联的图像块中每一个之间的位置信息的相异点和外观信息的相异点来确定多个匹配费用。
16.根据权利要求13所述的方法，其中基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的最小费用流路径包括：
监视从第一图像的源顶点到第二图像的沉顶点的多个费用流路径；
将每个费用流路径分段成多个运载单元，
每个运载单元包括下列之一：检测费用之一和匹配费用之一；
基于从每个相应费用流路径分段的每个装配单元之和来确定每个费用流路径的总累积费用；以及
基于具有最低总累积费用的费用流路径选择最小费用流路径。
17.一种利用双目摄像机系统跟踪目标物体的设备，包括：
包括第一摄像机装置和第二摄像机装置的双目摄像机系统，第一摄像机装置安装于源车辆挡风玻璃的第一端附近并且第二摄像机装置安装于源车辆挡风玻璃的第二端附近；以及
物体检测和匹配模块；
捕获第一图像和第二图像，第一图像从第一摄像机装置捕获并且第二图像从第二摄像机装置捕获；
将多个图像块应用于第一图像和第二图像的每一个；
确定各与应用于第一图像和第二图像的图像块中相应图像块相关联的多个检测费用；
确定各对应于第一图像与第二图像之间的图像块的匹配对中的相应匹配对的多个匹配费用；
基于检测费用和匹配费用来确定从第一图像的源顶点到第二图像的沉顶点的至少一个费用流路径；以及
基于至少一个费用流路径来跟踪目标物体；
其中，应用于第一图像的多个图像块中的每一个由第一图像的第一层和第一图像的第二层表示，并且应用于第二图像的多个图像块中的每一个由第二图像的第一层和第二图像的第二层表示；其中由相应第一层表示的应用于的第一图像的多个图像块中的每一个链结到源顶点并且由相应第二层表示的应用于第二图像的多个图像块中的每一个链结到沉顶点。
CN201310265291.2A 2012-06-28 2013-06-28 使用最小费用流网络的宽基线双目物体匹配方法 Expired - Fee Related CN103530868B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/535,538 US9228833B2 (en) 2012-06-28 2012-06-28 Wide baseline binocular object matching method using minimal cost flow network
US13/535,538 2012-06-28
US13/535538 2012-06-28

Publications (2)

Publication Number Publication Date
CN103530868A CN103530868A (zh) 2014-01-22
CN103530868B true CN103530868B (zh) 2016-10-05

Family

ID=49754339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310265291.2A Expired - Fee Related CN103530868B (zh) 2012-06-28 2013-06-28 使用最小费用流网络的宽基线双目物体匹配方法

Country Status (3)

Country Link
US (1) US9228833B2 (zh)
CN (1) CN103530868B (zh)
DE (1) DE102013211930A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10412368B2 (en) * 2013-03-15 2019-09-10 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
CN103841000B (zh) * 2014-03-12 2017-05-24 湖州师范学院 一种基于最小费用流模型的虚拟链路映射算法
US9599706B2 (en) 2015-04-06 2017-03-21 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
US9931964B2 (en) 2015-06-17 2018-04-03 Ford Global Technologies, Llc Occupant weight and height estimation
US10338225B2 (en) 2015-12-15 2019-07-02 Uber Technologies, Inc. Dynamic LIDAR sensor controller
US10281923B2 (en) 2016-03-03 2019-05-07 Uber Technologies, Inc. Planar-beam, light detection and ranging system
US9952317B2 (en) 2016-05-27 2018-04-24 Uber Technologies, Inc. Vehicle sensor calibration system
CN106295526B (zh) * 2016-07-28 2019-10-18 浙江宇视科技有限公司 车辆图像匹配的方法及装置
US10746858B2 (en) 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10775488B2 (en) 2017-08-17 2020-09-15 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10339670B2 (en) * 2017-08-29 2019-07-02 Trimble Inc. 3D tool tracking and positioning using cameras
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
CN108564595A (zh) * 2017-12-27 2018-09-21 北京市商汤科技开发有限公司 图像跟踪方法和装置、电子设备、存储介质、程序
US10914820B2 (en) 2018-01-31 2021-02-09 Uatc, Llc Sensor assembly for vehicles
CN111380458A (zh) * 2018-12-29 2020-07-07 顺丰科技有限公司 车厢载货体积的测量方法及装置
US10943355B2 (en) * 2019-01-31 2021-03-09 Uatc, Llc Systems and methods for detecting an object velocity
CN110751205A (zh) * 2019-10-17 2020-02-04 北京百度网讯科技有限公司 物体关联方法、装置、设备和介质
CN113269181A (zh) * 2020-02-14 2021-08-17 富士通株式会社 信息处理装置、信息处理方法及计算机可读记录介质
CN115626159A (zh) * 2021-07-01 2023-01-20 信扬科技(佛山)有限公司 车辆示警系统、方法及汽车
CN114942009A (zh) * 2022-06-20 2022-08-26 山东信通电子股份有限公司 一种基于输电线路的隐患预警方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046763A (en) * 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence
US6421463B1 (en) * 1998-04-01 2002-07-16 Massachusetts Institute Of Technology Trainable system to search for objects in images
CN201355241Y (zh) * 2008-10-30 2009-12-02 北京航空航天大学 基于视觉的空间目标位姿测量装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805388B2 (en) * 1998-05-01 2010-09-28 Health Discovery Corporation Method for feature selection in a support vector machine using feature ranking
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
WO2005022077A2 (en) * 2003-08-28 2005-03-10 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8566761B2 (en) * 2011-11-21 2013-10-22 International Business Machines Corporation Network flow based datapath bit slicing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046763A (en) * 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence
US6421463B1 (en) * 1998-04-01 2002-07-16 Massachusetts Institute Of Technology Trainable system to search for objects in images
CN201355241Y (zh) * 2008-10-30 2009-12-02 北京航空航天大学 基于视觉的空间目标位姿测量装置

Also Published As

Publication number Publication date
US9228833B2 (en) 2016-01-05
US20140002650A1 (en) 2014-01-02
CN103530868A (zh) 2014-01-22
DE102013211930A1 (de) 2014-01-02

Similar Documents

Publication Publication Date Title
CN103530868B (zh) 使用最小费用流网络的宽基线双目物体匹配方法
US10466714B2 (en) Depth map estimation with stereo images
US10043262B2 (en) Abnormal image detection device, image processing system having abnormal image detection device, and vehicle incorporating image processing system
US9047518B2 (en) Method for the detection and tracking of lane markings
US8749631B2 (en) Vehicle detecting system
US9607220B1 (en) Image-based vehicle speed estimation
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
CN103424105B (zh) 对象检测方法和装置
US20150269451A1 (en) Object detection device, object detection method, and computer readable non-transitory storage medium comprising object detection program
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
US20190325607A1 (en) Movement information estimation device, abnormality detection device, and abnormality detection method
JP2016170708A (ja) 道路状態判定装置および道路状態判定方法
CN108027230A (zh) 信息处理设备、信息处理方法和程序
US20150288953A1 (en) Stereo Image Processing Device and Stereo Image Processing Method
EP2913998B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
US9955136B2 (en) Distance measuring device and vehicle provided therewith
US9280826B2 (en) Distance determination using a monoscopic imager in a vehicle
US9041778B2 (en) Image processing device and method of processing image
US20130142388A1 (en) Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus
KR101263158B1 (ko) 차량의 검출 방법 및 장치
CN112078580A (zh) 用于确定对象与行车带的重合度的方法，装置和存储介质
CN110728710B (zh) 视觉里程计算方法、装置和计算机可读存储介质
US20220309776A1 (en) Method and system for determining ground level using an artificial neural network
US11267477B2 (en) Device and method for estimating the attention level of a driver of a vehicle
KR101266623B1 (ko) 차량간 거리 추정방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161005

Termination date: 20190628

CF01 Termination of patent right due to non-payment of annual fee