CN104915943B - 用于在视差图中确定主要视差值的方法和装置 - Google Patents

用于在视差图中确定主要视差值的方法和装置 Download PDF

Info

Publication number
CN104915943B
CN104915943B CN201410090019.XA CN201410090019A CN104915943B CN 104915943 B CN104915943 B CN 104915943B CN 201410090019 A CN201410090019 A CN 201410090019A CN 104915943 B CN104915943 B CN 104915943B
Authority
CN
China
Prior art keywords
parallax value
target
detected
parallax
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410090019.XA
Other languages
English (en)
Other versions
CN104915943A (zh
Inventor
贺娜
刘殿超
师忠超
鲁耀杰
李静雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201410090019.XA priority Critical patent/CN104915943B/zh
Publication of CN104915943A publication Critical patent/CN104915943A/zh
Application granted granted Critical
Publication of CN104915943B publication Critical patent/CN104915943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种用于在视差图中确定主要视差值的方法和装置。所述方法包括:将所述视差图划分为多个图像块;确定每一个图像块的代表性视差值,所述代表性视差值是在所述每一个图像块中取其值的像素的个数最多的视差值;确定与代表性视差值对应的候选位置区域的外形特性;以及根据与所述待检测目标的外形特性相关联的第一过滤条件来对所述候选位置区域的外形特性进行过滤,以从所述代表性视差值中确定所述主要视差值。因此,在本发明中,可以获得对于背景的影响更加鲁棒的目标检测结果。

Description

用于在视差图中确定主要视差值的方法和装置
技术领域
本发明涉及数字图像处理领域,更具体地,本发明涉及一种用于在视差图中确定主要视差值的方法和装置。
背景技术
目前,已经开发了许多基于深度图(或称之为,视差图)来检测诸如人、车辆、栅栏之类的各种目标的方法。例如,在数字图像处理和模式识别领域中,目标的检测已经成为了活跃的研究对象,因为它可以为计算设备自动地感知各种目标提供关键的信息,并且为后续的高层应用(例如,目标识别)提供底层服务。
目标识别的应用很多,如智能交通,智能监控等。例如,用于车辆的驾驶辅助系统的应用日渐普及,这样的驾驶辅助系统通常在车辆上安装有图像捕获装置(例如,立体相机),并且能够通过分析图像捕获装置所拍摄的图像和/或视频来向驾驶员提供有利于安全驾驶的信息。为此,在驾驶辅助系统中,道路场景中各种目标(例如,车辆、行人、路肩石、白线、栅栏、高楼、树木等)的检测非常重要。
然而,由于各种因素的影响,目标识别还是一项十分困难的课题。影响目标识别的一个重要因素是,在所生成的目标检测结果中目标在目标位置区域中的位置偏移,这种位置偏移通常由于现有的目标检测方法的限制而导致并且很难避免。因而,在目标识别之前对目标检测结果进行处理以校正目标位置是一项十分必要的工作。
目前的目标检测方法主要包括:在视差图中确定与待检测目标所在的目标位置区域对应的主要视差值,并且根据该主要视差值来在视差图中确定与该目标对应的目标位置区域。在现有技术中,用于确定主要视差值的步骤目前主要包括以下两种解决方案。
第一解决方案是基于均值或者中值的确定方法。具体地,该第一解决方案在于,在视差图中计算所有视差值的中值或均值,并且将计算得到的中值或均值作为视差图中的主要视差值。
然而,该第一解决方案的问题在于,所得到的主要视差值的准确与否特别依赖于视差图。当视差图不是十分准确时,特别是在稀疏视差图中,背景物体的视差值所占的像素数可能会超过目标物体的视差值所占像素数,这样会导致计算出的均值或者中值并非对应于所要检测的目标物体的视差值,而是对应于背景中某个物体的视差值,从而导致目标检测结果产生错误。
为了解决第一解决方案的上述技术问题,提出了第二解决方案。该第二解决方案在第一解决方案的基础上,进一步基于分块处理来确定主要视差值。具体地,该第二解决方案在于,首先对视差图进行分块,然后在每一个分块中,计算所有视差值的中值或均值,统计与每一个视差值中值或均值对应的分块个数,并且将分块个数最多的视差值中值或均值确定为主要视差值。
然而,该第二解决方案同样存在一定缺陷,即所得到的主要视差值的准确与否取决于对视差图进行分块的方式,也就是说,取决于视差图中的内容,不同的分块方式可能会导致每一个分块中包括的图像部分不同,从而最终得到不同的目标检测结果。例如,对于同一个视差图,在按照一种方式来对其进行分块(例如,将该视差图划分为宽×高为4×8的分块)时,所得到的主要视差值可能是准确的,而在按照另一种方式来对其进行分块(例如,将该视差图划分为宽×高为3×5的分块)时,所得到的主要视差值可能是错误的。
发明内容
根据本发明的一个方面,提供了一种用于在视差图中确定主要视差值的方法,所述主要视差值是在所述视差图中与待检测目标所在的目标位置区域对应的视差值,所述方法包括:将所述视差图划分为多个图像块;确定每一个图像块的代表性视差值,所述代表性视差值是在所述每一个图像块中取其值的像素的个数最多的视差值;确定与代表性视差值对应的候选位置区域的外形特性;以及根据与所述待检测目标的外形特性相关联的第一过滤条件来对所述候选位置区域的外形特性进行过滤,以从所述代表性视差值中确定所述主要视差值。
此外,根据本发明的另一方面,提供了一种用于在视差图中确定主要视差值的装置,所述主要视差值是在所述视差图中与待检测目标所在的目标位置区域对应的视差值,所述装置包括:图像块划分单元,用于将所述视差图划分为多个图像块;代表性视差值确定单元,用于确定每一个图像块的代表性视差值,所述代表性视差值是在所述每一个图像块中取其值的像素的个数最多的视差值;外形特性确定单元,用于确定与代表性视差值对应的候选位置区域的外形特性;以及主要视差值确定单元,用于根据与所述待检测目标的外形特性相关联的第一过滤条件来从所述代表性视差值中确定所述主要视差值。
与现有技术相比,采用根据本发明实施例的用于在视差图中确定主要视差值的方法,可以在确定与待检测的目标相关的主要视差值的过程中,可以利用待检测目标在实际场景中的目标属性来判断与所得到的候选视差值对应的后续位置区域与目标位置区域的真实属性分布是否吻合,以获得对于背景的影响更加鲁棒的目标检测结果。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1示出了根据本发明实施例的用于在视差图中确定主要视差值的方法的总体流程图。
图2示出了根据本发明实施例的将视差图划分为多个图像块的步骤的具体流程图。
图3A示出了根据本发明实施例的原始灰度图的示意图。
图3B示出了根据本发明实施例的在图3A所示的原始灰度图中进行初始目标检测的结果示意图。
图3C示出了根据本发明实施例的将图3B所示的初始位置区域1进行局部放大并且转换为视差图的示意图。
图3D示出了根据本发明实施例的图像块划分方式的示意图。
图3E示出了根据本发明实施例的对图3C所示的初始位置区域1进行分块的结果图。
图3F示出了根据本发明实施例的用于图3E所示的初始位置区域1的代表性视差值确定方式和结果示意图。
图3G示出了根据本发明实施例的用于图3E所示的初始位置区域1的目标位置区域的示意图。
图3H示出了根据本发明实施例的对图3G所示的目标位置区域1进行分块的结果图。
图3I示出了根据本发明实施例的经过迭代操作获得的最终目标位置区域的示意图。
图3J示出了根据本发明实施例的将图3I所示的最终目标位置区域转换为灰度图的示意图。
图4示出了根据本发明实施例的确定每一个图像块的代表性视差值的步骤的具体流程图。
图5示出了根据本发明实施例的确定与代表性视差值对应的候选位置区域的外形特性的步骤的具体流程图。
图6A示出了根据本发明实施例的代表性视差值的视差分布直方图。
图6B示出了根据本发明实施例的候选视差值所对应的实际高度分布图。
图6C示出了根据本发明实施例的候选视差值所对应的实际宽度分布图。
图6D示出了根据本发明实施例的用于确定保留视差值范围的视差分布直方图。
图7示出了根据本发明实施例的待检测目标是车辆情况下的视差分布示意图。
图8A示出了立体相机设置的示意图。
图8B示出了在水平投影图中计算行人宽度的示意图。
图9示出了根据本发明实施例的根据第一过滤条件来对所述候选位置区域的外形特性进行过滤的步骤的具体流程图。
图10示出了根据本发明实施例的根据主要视差值来在视差图中确定与待检测目标对应的目标位置区域的步骤的具体流程图。
图11示出了根据本发明实施例的用于在视差图中确定主要视差值的装置的功能配置框图。
图12示出了根据本发明实施例的用于检测目标的系统的功能结构图。
图13示出了根据本发明实施例的用于检测目标的硬件系统的总体硬件框图。
具体实施方式
将参照附图详细描述根据本发明的各个实施例。这里,需要注意的是,在附图中,将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分,并且将省略关于它们的重复描述。
首先,将简要地描述本申请中的基本概念,以便于理解。
视差,实际指从某一基线两端各引一直线到同一较远物体时,其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角,叫做这两个点的视差角,两点之间的距离称作基线。只要知道视差角度和基线长度,就可以计算出目标和观测者之间的距离。公知地,视差和距离之间成反比关系,距离越近,视差越大,距离越远,视差越小。
视差图(disparity map)是以任一幅图像为基准,其大小为该基准图像的大小,元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以例如从双目相机拍摄的左图像和右图像中计算得到,或者通过立体视图中的深度图计算得到。
在本文中,有些情况下,将视差也称为深度。
有时,由于相机的性能限制或者场景本身的特性等因素,可以仅仅获得实际场景中物体的某些位置(该位置例如可以是物体的特征点,诸如拐角点、边缘点、特定形状点、特定颜色点等)处的视差值,这样会得到视差点比较稀疏的视差图,在本文中称之为稀疏视差图。由于稀疏视差图效应,可能使得难于检测到诸如行人、车辆等物体。相反地,如果在视差图中获得实际场景中物体的所有点的视差值,则将该视差图称之为稠密视差图。
下面,将简要地描述本申请的主要思想。
目前,诸如视差值之类的视差信息已广泛应用于目标识别的各种应用中。然而,如背景技术中所描述的,由于现有的目标检测方法的限制常常导致以下情况发生,即在所生成的目标检测结果中待检测的目标在目标位置区域中出现位置偏移,也就是说,所生成的目标检测结果不够准确。
因此,如果在目标检测时能够准确地确定与待检测目标所在的目标位置区域相关的目标属性,并且利用该目标属性来修正上述位置偏移,则在视差图中进行目标位置区域的检测将简单且有效,这将十分有利于后续的目标识别。
为此,本申请的主要思想在于,由于很多感兴趣的待检测目标在实际场景中往往具有自己独特的目标属性,这种目标属性例如可能是与该目标的外形(appearance)相关的特性,因此在目标检测方法中,具体地,在确定与待检测的目标相关的主要视差值的过程中,可以利用这种目标属性来判断与所得到的候选视差值对应的候选位置区域与目标位置区域的真实目标属性分布是否吻合,以获得对于背景的影响更加鲁棒的目标检测结果。
在下文中,将参考图1到图10来描述根据本发明实施例的用于在视差图中确定主要视差值的方法的总体流程示例。
图1示出了根据本发明实施例的用于在视差图中确定主要视差值的方法的总体流程图。
如图1所示,该主要视差值确定方法可以包括:
在步骤S110中,将视差图划分为多个图像块。
例如,当用户希望使用计算设备来实现对于特定视差图的目标检测、乃至是后续的目标识别时,可以首先获得包括待检测目标的视差图。
然后,在一个简单的示例中,可以对所获得的视差图直接进行分块操作,以确定其中的主要视差值。然而,由于待检测目标(例如,车辆、行人、路肩石、白线、栅栏、高楼、树木等)在该视差图中往往仅仅占据一小部分区域、反而是背景物体占据视差图中的绝大部分区域,所以直接在整幅视差图中检测目标必然造成计算量很大,并且待检测目标容易受到周围背景物体的影响而难以进行准确区分。
因此,在一个优选的示例中,可以首先对所获得的视差图进行初始目标检测,以确定所述待检测目标在所述视差图中的初始位置区域,然后基于初始目标检测结果来执行上述分块操作。
下面,将参考图2来描述根据本发明实施例的将视差图划分为多个图像块的步骤的具体流程示例。
图2示出了根据本发明实施例的将视差图划分为多个图像块的步骤的具体流程图。
如图2所示,该将视差图划分为多个图像块的步骤可以包括:
在步骤S1110中,获取视差图。
如上所述,为了在视差图中确定与待检测目标所在的目标位置区域对应的主要视差值,可以首先获得包括待检测目标的视差图。例如,该视差图是基于双目测距原理利用确定的摄像机采集的。
显然的是,任何现有的获取视差图的方法均可以用于本发明。例如,该视差图可以是由专门的视差摄像机直接拍摄而成的。替换地,也可以通过双目相机、多目相机、立体相机拍摄灰度图,并然后根据所述灰度图来计算得到对应的视差图。具体地,例如,在检测的对象是道路上的对象如车辆或行人的情况下,可以通过车载双目相机来拍得左图像和右图像,其中以左图像(或右图像)作为这里的灰度图,以及基于左图像和右图像计算得到视差图。
这里,在一个实施例中,可以例如通过位于本地的车载相机来实现灰度图和视差图的获取。或者在另一个实施例中,也可以利用例如有线网络或者无线网络来从位于远程的照相机获得灰度图和对应的视差图。另外,有关图像拍摄装置(例如,照相机)不是必需安装在车辆上,例如,也可以根据需要而安装在路边建筑上,或者适于拍摄待检测对象的其他位置等。
需要说明的是,这里的视差图并不限于必需由多个相机才能得到,而是也可以由一个相机基于时域得到。例如,可以由一个相机在一个时刻拍摄得到一幅图像作为左图像,然后在下一时刻,将该相机稍稍移动位置后拍摄得到另一幅图像作为右图像,基于如此得到的左图像和右图像也可以计算得到视差图。
此外,需要说明的是,尽管在上文中以灰度图作为示例进行了说明。然而,本领域技术人员能够理解的是,在摄像机的摄像参数和计算设备的计算性能等参数允许的情况下,也可以使用彩色图来代替该灰度图。
在步骤S1120中,对视差图进行初始目标检测,以确定待检测目标在视差图中的初始位置区域。
初始目标检测往往基于以下假设而执行,即在一幅图像中可能存在许多物体,并且与每一个物体相关的像素值是在一个很小的预定范围内变动的。基于这个假设,初始目标检测可以通过聚类或聚簇的方式将图像中具有相似像素值的像素点划分到一起。例如,初始目标检测可以在视差图或灰度图中完成,并且由于在视差图及其灰度图之间具有一一对应的关系,所以当在视差图和灰度图中的一者中获得了初始检测结果时,也就得到了在视差图和灰度图中的另一者中的初始检测结果。
具体地,初始目标检测方法有很多种,其中最常使用的是区域生长方法。以视差图为例,该区域生长方法例如可以在该视差图中设定一个主值点(即,视差值),根据周围像素点的像素值(即,视差值)的梯度变化而划定区域,从而将视差图中具有相似颜色的区域(即,具有相似视差值的区域)标识出来,并且认为其属于同一个待检测目标。替换地,以灰度图为例,该区域生长方法同样可以在该灰度图中设定一个主值点(即,灰度值),根据周围像素点的像素值(即,灰度值)来进行分割和聚类,从而将灰度图中具有接近颜色的区域(即,具有相似灰度值的区域)标识出来,并且认为其属于同一个待检测目标。
图3A示出了根据本发明实施例的原始灰度图的示意图,并且图3B示出了根据本发明实施例的在图3A所示的原始灰度图中进行初始目标检测的结果示意图。
例如,图3A可以是通过摄像机直接捕捉的原始灰度图,并且图3B是对图3A所示的原始灰度图进行以行人作为待检测目标的初始目标检测的结果。对比图3A和图3B可以看出,通过聚类的方法,在图3B所示出的灰度图中,初步地检测到与目标行人相关的三个初始位置区域1、2、和3。
然而,通过仔细观察图3B可知,检测到的三个目标行人的位置区域都不是很准确。例如,在初始位置区域1中,目标行人与旁边的广告板连接在一起,导致目标结果框由于包含了其它背景目标而过宽;在初始位置区域2中,目标行人由于缺少了头部而导致目标结果框不完整;并且在初始位置区域3中,目标行人与旁边的栅栏连接在一起,同样导致目标结果框由于包含了其它背景目标而过宽。
注意到,尽管由于初始目标检测方法的局限性和图像的复杂性,初始目标检测结果通常不是非常准确,但是通过初始目标检测步骤,仍然可以得到待检测目标在视差图或灰度图中的大致位置。因此,优选地,在随后的步骤S1130中,可以获取初始目标检测结果作为输入,并且基于待检测目标在所述视差图中的初始位置区域来执行后续分块步骤。这样,通过在图像块划分之前,进行粗略的物体检测,并基于物体检测的结果来进行图像块划分,使得能够避免在一个图像块中,包括不同的物体,尤其是明显视差不同的物体。
此外,如果初始目标检测是基于灰度图进行的,则为了方便后续操作,需要将在灰度图中标识出的初始位置区域映射到视差图中,以便确定与待检测目标所在的目标位置区域对应的主要视差值。替换地,该初始目标检测也可以是直接基于视差图进行的,这时,该初始位置区域可以是在视差图中直接标识出的。
下面,将以图3B所示的初始位置区域1中的行人作为待检测目标来继续描述本方法。
图3C示出了根据本发明实施例的将图3B所示的初始位置区域1进行局部放大并且转换为视差图的示意图。
在图3C所示的局部视差图中,不同的像素值表示不同的视差值。例如,较浅色的像素点可以标识视差值较小,即其距离照相机较远;而较深色的像素点可以标识视差值较大,即其距离照相机较近。然而,本发明不限于此。显然,根据应用需要,较浅色的像素点也可以标识视差值较大,并且较深色的像素点也可以标识视差值较小。
与上面参考图3B描述的问题相似地,通过仔细观看图3C可知,检测到的初始位置区域1不是很准确。即,在初始位置区域中,除了包括作为待检测目标的处于近处的一个人之外,还包括了作为背景的广告板以及处于远处的另一个人。为此,需要继续执行本方法的后续步骤来得到更加准确的目标位置区域。
需要说明的是,该初始目标检测步骤可以包括在本方法中进行执行;或者该初始目标检测步骤也可以独立于本方法来实现,并且在执行本方法时通过各种方式来获取该步骤所得到的初始目标检测结果。
在步骤S1130中,将初始位置区域划分为多个图像块。
在得到了初始位置区域的视差图之后,可以将表示了目标的初始检测结果的矩形区域(如图3C所示)划分为若个分块。
图3D示出了根据本发明实施例的图像块划分方式的示意图,并且图3E示出了根据本发明实施例的对图3C所示的初始位置区域1进行分块的结果图。
如图3D所示,可以将初始位置区域划分为宽×高为M×N个图像块,并且使得每一个图像块包括m×n个像素。其中,M、N、m、和n都是大于1的正整数。
具体地,如图3E所示,可以将初始位置区域划分为宽×高为4×8的多个矩形图像区域,并且在每一个矩形图像区域中可以包括例如4×4个像素点(即,视差点)。
下面,将返回参考图1来继续描述根据本发明实施例的用于在视差图中确定主要视差值的方法的总体流程示例。
在步骤S120中,确定每一个图像块的代表性视差值。
在将视差图划分为多个图像块之后,优选地,在将视差图中的初始位置区域划分为多个图像块之后,可以进一步确定每一个图像块的代表性视差值。
在一个示例中,图像块的代表性视差值可以计算为图像块的所有有效像素的视差值之和的均值或中值。需要说明的是,在本文中,除非特别说明,否则像素或有效像素是指具有有效视差值的像素。在另一个示例中,图像块的代表性视差值可以为图像块的所有视差取值之中取其值的像素个数最多的视差值。不过,代表性视差值的定义不构成对本发明的限制,可以根据需要限定其它意义上的代表性视差值。
下面,将参考图4来描述根据本发明实施例的确定每一个图像块的代表性视差值的步骤的具体流程示例。
图4示出了根据本发明实施例的确定每一个图像块的代表性视差值的步骤的具体流程图。
如图4所示,该确定每一个图像块的代表性视差值的步骤可以包括:
在步骤S1210中,在每一个图像块中,扫描各个像素的视差值。
首先,可以在视差图中,选择一个图像块。
这里对于图像块选取的顺序没有限制,可以按从上到下或从下到上的顺序进行从左到右或者从右到左的行扫描,或者也可以按其它顺序例如随机顺序进行图像块选取,只要能够以某种方式遍历所有图像块即可。
然后,可以在一个图像块中,选择一个像素点,并且记录该像素点的像素值(即,视差值)。相似地,对于图像块中的像素点选取的顺序也没有限制。
例如,在图3E所示的初始位置区域1分块结果中,该初始位置区域共包括4×8=32个图像块,并且每一个图像块包括4×4=16个像素点。在本步骤中,可以从这32个图像块中首先选择一个图像块,例如,位于左上角的图像块。然后,从该图像块中按照任意顺序逐个地扫描其中每一个像素点的视差值。
在步骤S1220中,统计取不同视差值的像素的个数。
在一个图像块中,通过不断地扫描并记录每一个像素点所对应的视差值来统计在一个图像块中包括的所有像素点所对应的视差值。
例如,在图3E所示的初始位置区域1分块结果中,对于位于左上角的图像块,在扫描并得到其中存在的16个像素点的视差值之后,对这16个视差值进行统计,以确定每个视差值对应于几个像素点。
在步骤S1230中,针对每一个图像块,将取其值的像素的个数最多的视差值作为图像块的代表性视差值,该代表性视差值将代表这个区域。
在得到上述统计结果之后,例如,可以将具有最大出现频率(即,出现次数最多)的视差值确定为该图像块的代表性视差值。
尽管在上述示例中描述了可以将取某一视差值的像素个数最多的视差值作为图像块的代表性视差值,但是,本发明不限于此。例如,当在步骤S1220中统计取不同视差值的像素的个数时,为了尽快得到收敛的结果,该统计操作可以具有一定的容忍范围。在一个示例中,可以以视差取值落入某一视差值范围中的所有像素的视差值的均值或中值等作为该视差范围的代表性视差。具体地,如果将容忍范围设置为5,则在统计取不同视差值的像素的个数的过程中,可以将视差值取值为1-5的像素全部作为视差值等于3的像素进行统计,可以将视差值取值为6-10的像素全部作为视差值等于8的像素进行统计,如此类推。
相似地,循环地执行上述步骤S1210到S1230,以确定每一个图像块的代表性视差值。
图3F示出了根据本发明实施例的用于图3E所示的初始位置区域1的代表性视差值确定方式和结果示意图。
如图3F中的左图所示,针对图3E所示的初始位置区域1分块结果,可以确定其中包括的32个图像块的代表性视差值。例如,可以将第1列第6行和第4列第4行的图像块的代表性像素值确定为深橙色(在图中利用附图标记F来表示深橙色),如此类推,以得到如图3F中的右图所示的代表性视差值确定结果。在该代表性视差确定结果中,共包括6种代表性视差值,其中利用附图标记A来表示相关图像块的代表性像素值(即,代表性视差值)为黑色,利用附图标记B来表示相关图像块的代表性像素值(即,代表性视差值)为绿色,利用附图标记C来表示相关图像块的代表性像素值(即,代表性视差值)为浅黄色,利用附图标记D来表示相关图像块的代表性像素值(即,代表性视差值)为深黄色,利用附图标记E来表示相关图像块的代表性像素值(即,代表性视差值)为浅橙色,利用附图标记F来表示相关图像块的代表性像素值(即,代表性视差值)为深橙色,其中黑色可以表示相关图像块的代表性视差值为无效(视差值为无效是由于图3C是稀疏视差图而导致的,如上所述,在稀疏视差图中,仅仅获得目标的特征部分的视差值,而没有计算该目标的其他部分的视差值),并且从绿色到深橙色的颜色变化可以表示相关图像块的代表性视差值逐渐变大。
下面,将返回参考图1来继续描述根据本发明实施例的用于在视差图中确定主要视差值的方法的总体流程示例。
在步骤S130中,确定与代表性视差值对应的候选位置区域的外形特性。
在确定出每一个图像块的代表性视差值之后,可以对于这些代表性视差值,确定与其对应的候选位置区域的外形特性,然后可以可选地绘制这些候选位置区域的外形特性分布图,以在后续步骤中判断该候选位置区域的外形特性与所述待检测目标的外形特性是否匹配。
例如,所述待检测目标的外形特性可以包括以下各项中的至少一个:所述待检测目标的实际高度、所述待检测目标的实际宽度、所述待检测目标的宽高比、和构成所述待检测目标的不同部分的形状分布。显然,本发明不限于此,与待检测目标的外形、形状、轮廓、尺寸等相关的其他属性均可以用作待检测目标的独特目标属性。
例如,在一个简单的示例中,可以直接确定与每一个代表性视差值对应的候选位置区域的外形特性。然而,由于代表性视差值的个数可能很多,如果针对每一个代表性视差值来确定与其对应的候选位置区域的外形特性,则可能导致计算量过大。
为此,本发明人注意到,由于确定候选位置区域的外形特性的操作是基于初始目标检测结果来进行的,所以我们可以假设在初始目标检测结果中,待检测目标所对应的位置区域在整幅视差图中所占的面积相对较大,也就是说,待检测目标所对应的主要视差值通常是在多个代表性视差值之中某一个或多个峰值所对应的视差值。
因此,在一个优选的示例中,可以基于上述假设来对数量较多的代表性视差值进行一次过滤,以减少在确定候选位置区域的外形特性时的计算量,从而加快本方法的执行速度。
下面,将参考图5来描述根据本发明实施例的确定与代表性视差值对应的候选位置区域的外形特性的步骤的具体流程示例。
图5示出了根据本发明实施例的确定与代表性视差值对应的候选位置区域的外形特性的步骤的具体流程图。
如图5所示,该确定与代表性视差值对应的候选位置区域的外形特性的步骤可以包括:
在步骤S1310中,在视差图中,扫描各个图像块的代表性视差值。
首先,可以在视差图中,选择一个图像块,并且记录该图像块的代表性像素值(即,代表性视差值)。与步骤S1210相似地,对于视差图中的图像块选取的顺序没有限制。
在步骤S1320中,统计每一个代表性视差值的个数。
在一个视差图中,通过不断地扫描并记录每一个图像块所对应的代表性视差值来统计在视差图中包括的所有M×N个图像块所对应的代表性视差值。由此,可以统计出每一个代表性视差值的个数,即取该代表性视差值的图像块的个数,以在步骤S1340中根据个数阈值来选择多个代表性视差值中的峰值视差值。
在步骤S1330中,生成代表性视差值的视差分布直方图。
在统计出每一个代表性视差值的个数之后,可以根据代表性视差值的数值与其个数之间的对应关系而绘制一幅视差分布直方图。
图6A示出了根据本发明实施例的代表性视差值的视差分布直方图。
图6A所示的视差分布直方图对应于图3F中的右图所示的代表性视差值确定结果。视差分布直方图表示了所有的代表性视差值与其所对应的图像块个数之间的对应关系。在图6A中,为了方便起见,仅仅例示了三个代表性视差值峰值,即利用附图标记F表示的深橙色视差值、利用附图标记E表示的浅橙色视差值、和利用附图标记C表示的浅黄色视差值。通过视差分布直方图,可以相对直观地确定出代表性视差值的个数峰值。
显然,无需说明的是,本步骤是可选的,也就是说,本方法在这里也可以不绘制视差分布直方图,而直接进行后续操作。
在步骤S1340中,根据与个数相关联的第二过滤条件来从代表性视差值中确定候选视差值。
在统计出每一个代表性视差值的个数之后,可以基于上述假设来对数量较多的代表性视差值进行一次过滤,仅仅保留与视差值的一个或多个峰值对应的候选视差值,而滤除其他的代表性视差值。
例如,第二过滤条件可以是与一个预设的个数阈值进行比较。这个个数阈值可以设定为与最大视差值对应的图像块个数的一定比例,例如二分之一、三分之二等,也可以设置为所有代表性视差值总数的一定比例,或者以其他方式设置。
例如,在图6A中将该个数阈值设置为5。这样,可以将与其对应的图像块个数大于或等于5的代表性视差值确定为候选视差值,以继续后续操作,并且不再考虑与其对应的图像块个数小于5的代表性视差值。
在步骤S1350中,确定与每一个候选视差值对应的候选位置区域的外形特性。
在确定出数量相对较少的候选视差值之后,可以通过较小的计算量来确定与每一个候选视差值对应的候选位置区域的外形特性。候选位置区域的外形特性取决于待检测目标的外形特征,例如可以是该候选位置区域的实际高度、实际宽度、实际宽高比、和/或构成该候选位置区域的不同部分的形状分布。
在第一示例中,如果我们需要检测的目标是行人,则所述待检测目标的外形特性一般地可以是人类的正常高度和正常宽度分布范围(例如,在正常情况下,一个成年人的高度一般在1.5米到2米之间,宽度一般在0.5米到1米之间)。替换地,在待检测目标是特定目标行人的情况下,所述待检测目标的外形特性也可以是该目标行人的实际高度和实际宽度分布(例如,某个人的体型、胖瘦、高矮等)。实际上,该外形特性也可以是行人的其他目标属性,诸如宽高比、身材等。
在第二示例中,如果我们需要检测的目标是车辆,则所述待检测目标的外形特性可以是车辆的视差分布情况。
图7示出了根据本发明实施例的待检测目标是车辆情况下的视差分布示意图。
在一般情况下,车辆的视差图呈现一定的视差分布规律。例如,如图7所示,车辆后备箱处的视差值几乎不变,而车辆后车窗处的视差值成一定规律变化。也就是说,在与车辆后备箱的垂直表面对应的图像部分,其视差值保持相同,而与车辆的垂直高度无关;而在与车辆后车窗的倾斜表面对应的图像部分,其视差值的变化与车辆的垂直高度的变化呈函数关系(例如,一次函数),并且垂直高度越低,视差值越大。
相似地,在其他示例中,如果要检测的目标是其它类型的物体,那目标属性也相应地可以是其它对应的属性。
下面,将以在第一示例为例,继续说明本步骤的具体操作。在待检测的目标是行人的情况下,可以计算每个候选视差值所对应的候选位置区域的实际高度和实际宽度,以在后续步骤中判断该候选位置区域的外形特性与所述待检测目标的外形特性是否匹配。
为此,首先可以计算每个候选视差值所对应的候选位置区域在视差图中的像素高度和像素宽度。这里,可以将像素高度被定义为此候选视差值所占的图像块(或称之为,区域块)在竖直方向的最大差值,并且将像素宽度定义为此候选视差值所占的区域块在水平方向的最大差值。例如,如图3F的右图所示,对于占了3个图像块的附图标记为B(绿色)的候选视差值,其宽度为4个块且高度为1个块;对于占了6个图像块的附图标记为C(浅黄色)的候选视差值,其宽度为3个块且高度为4个块。
然后,可以计算每个候选视差值所对应的实际高度和宽度,并且可选地绘制这些候选位置区域的外形特性分布图。
下面,参考图8A和图8B来描述如何计算每个候选视差值所对应的实际高度和实际宽度。
在相机和拍摄对象之间距离已知的情况下,拍摄对象的实际物理大小与在相机的图像中的像素大小之间存在一定的换算关系。相机和拍摄对象之间距离由视差体现。因此根据对象的视差以及对象的实际物理大小,可以推导出该对象在图像中的大小。
下面参考图8A和图8B来概要描述该推导过程,其中图8A示出了立体相机设置的示意图,并且图8B示出了在水平投影图中计算行人宽度的示意图。
在给定相机设置和视差值d的情况下对象距相机的距离或所谓的深度Z可以通过如下公式(1)来计算:
其中,Z为对象点P(X,Y,Z)的深度,d为视差值,xl和xr分别是左图和右图中对应像素的水平坐标,f是镜头长度,并且b为基线距离,如图8A所示。
从水平投影图,即图8B可知,候选视差值所对应的实际宽度可以通过如下公式(2)来计算:
并且,候选视差值所对应的实际高度可以通过如下公式(3)来计算:
其中,H是视差值d所对应的实际高度,W是视差值d所对应的实际宽度,Z为对象点P(X,Y,Z)的深度,d为视差值,xl和xr分别是左图和右图中对应像素的水平坐标,f是镜头长度,b为基线距离,h是在视差图中的像素高度,并且w是在视差图中的像素宽度。
这样,通过上面的公式(1)到公式(3),可以获得候选视差值所对应的实际高度和实际宽度分布情况。
图6B示出了根据本发明实施例的候选视差值所对应的实际高度分布图,并且图6C示出了根据本发明实施例的候选视差值所对应的实际宽度分布图。
如图6B和6C所示,在相机和拍摄对象之间距离已知的情况下,可以通过候选视差值所对应的候选位置区域的像素宽度和像素高度来推导出该候选位置区域在现实世界中的实际宽度分布和实际高度分布。
下面,将返回参考图1来继续描述根据本发明实施例的用于在视差图中确定主要视差值的方法的总体流程示例。
在步骤S140中,根据与所述待检测目标的外形特性相关联的第一过滤条件来对所述候选位置区域的外形特性进行过滤,以从所述代表性视差值中确定所述主要视差值。
在确定与代表性视差值对应的候选位置区域的外形特性之后,可以通过待检测目标在实际场景中的独特目标属性来对这些候选位置区域进行过滤,以最终地确定待检测目标所在的目标位置区域。
下面,将参考图9来描述根据本发明实施例的根据第一过滤条件来对所述候选位置区域的外形特性进行过滤的步骤的具体流程示例。
图9示出了根据本发明实施例的根据第一过滤条件来对所述候选位置区域的外形特性进行过滤的步骤的具体流程图。
如图9所示,该根据第一过滤条件来对所述候选位置区域的外形特性进行过滤的步骤可以包括:
在步骤S1410中,生成第一过滤条件。
如上所述,很多感兴趣的待检测目标在实际场景中往往具有自己独特的目标属性,这种目标属性例如可以是与该目标的外形相关的特性。因此,可以将第一过滤条件设置为与所述待检测目标的外形特性相关联。
具体地,如果我们需要检测的目标是普通的行人,则所述待检测目标的外形特性可以是人类的正常高度和正常宽度分布范围。这时,可以将第一过滤条件设置为一个成年人在正常情况下的实际高度和实际宽度范围,例如该实际高度可以在1.5米到2米的范围之间,并且实际宽度可以在0.5米到1米的范围之间。
在步骤S1420中,判断候选位置区域的外形特性是否符合待检测目标的外形特性。
在得到候选视差值所对应的实际高度分布图和实际宽度分布图之后,可以在这些分布图上确定目标行人的正常高度和正常宽度分布范围,如图6B和6C中的两条水平线所示。
接下来,可以判断候选位置区域的外形特性是否符合待检测目标的外形特性,也就是说,候选位置区域是否落入到如图6B和6C所示的两条水平线之间。
在步骤S1430中,如果符合,则将与候选位置区域的外形特性对应的代表性视差值作为主要视差值。
如果候选位置区域没有落入到如图6B和6C所示的两条水平线之间,则认为候选位置区域与目标位置区域的外形特性不相符,并且判断出与这些候选位置区域对应的候选视差值(或一般地,代表性视差值)并非是与待检测目标所在的目标位置区域对应的主要视差值。相反地,如果候选位置区域落入到如图6B和6C所示的两条水平线之间,则认为候选位置区域与目标位置区域的外形特性相符,也就是说,与该一个或多个候选位置区域对应的候选视差值(或一般地,代表性视差值)是与待检测目标所在的目标位置区域对应的主要视差值。
如图6B和6C所示,可以看出,与利用附图标记E表示的浅橙色候选视差值对应的候选位置区域的实际高度小于1.5米,并且与利用附图标记C表示的浅黄色候选视差值对应的候选位置区域的实际宽度大于1米,均不符合待检测目标行人的外形特性;而与利用附图标记F表示的深橙色候选视差值对应的候选位置区域的实际宽度和实际高度均符合待检测目标行人的外形特性。因此,可以将利用附图标记F表示的深橙色候选视差值确定为与待检测目标所在的目标位置区域对应的主要视差值。
由此可见,采用根据本发明实施例的用于在视差图中确定主要视差值的方法,可以在确定与待检测的目标相关的主要视差值的过程中,可以利用待检测目标在实际场景中的目标属性来判断与所得到的候选视差值对应的后续位置区域与目标位置区域的真实属性分布是否吻合,以获得对于背景的影响更加鲁棒的目标检测结果。
下面,将返回参考图1来继续描述根据本发明实施例的用于在视差图中确定主要视差值的方法的总体流程示例。
在步骤S150中,根据主要视差值来在视差图中确定与待检测目标对应的目标位置区域。
在确定了与待检测的目标相关的主要视差值之后,可选地,为了执行后续的目标识别操作,可以进一步根据所述主要视差值来在视差图中确定与待检测目标对应的目标位置区域。
下面,将参考图10来描述根据本发明实施例的根据主要视差值来在视差图中确定与待检测目标对应的目标位置区域的步骤的具体流程示例。
图10示出了根据本发明实施例的根据主要视差值来在视差图中确定与待检测目标对应的目标位置区域的步骤的具体流程图。
如图10所示,该根据主要视差值来在视差图中确定与待检测目标对应的目标位置区域的步骤可以包括:
在步骤S1510中,获得代表性视差值的视差分布直方图。
为了基于主要视差值裁剪得到最终目标检测结果,可以首先获得代表性视差值的视差分布直方图。例如,该视差分布直方图可以在上述的步骤S1330中直接生成,也可以在本方法之外的其他处理中生成并且通过读取操作而读入到本方法中。
在步骤S1520中,在视差分布直方图中,保留与主要视差值相差预定视差值范围内的所有视差值。
在所获得的原始视差分布直方图中,对每个像素点的像素值(即,视差值)进行保留或丢弃。例如,当其与主要视差值的差值在一定范围内时,在视差图中保留该像素点,否则丢弃该像素点。
图6D示出了根据本发明实施例的用于确定保留视差值范围的视差分布直方图。
如图6D所示,预定视差值范围通常是比较大的,该范围被设定为两条虚线表示的两个视差值之间。也就是说,当某一视差值与主要视差值(在图6D中,例如利用附图标记F表示的深橙色视差值)相差预定视差值范围内时,保留该视差值。该预定视差值范围可以根据经验值来确定。
例如,可以将该预定视差值范围设置为以利用附图标记F表示的深橙色视差值峰值为中心,并且以利用附图标记F表示的深橙色视差值峰值和与之相邻的视差值峰值(例如,利用附图标记E表示的浅橙色视差值峰值)之间的距离或距离的一半为半径的区域。替换地,也可以将该预定视差值范围设置为以利用附图标记F表示的深橙色视差值峰值为中心,并且以利用附图标记F表示的深橙色视差值峰值和与之相邻的视差值峰值(例如,利用附图标记E表示的浅橙色视差值峰值)之间的波谷视差值为半径的区域。显然的是,任何其他的合适的预定视差值范围均可以用于本发明,以用于计算尽量准确的预定视差值范围的视差方差。
在步骤S1530中,计算预定视差值范围的视差方差。
接下来,可以计算在被保留下的视差点图像中视差的方差。具体地,可以通过如下公式(4)来计算视差的方差:
其中,N是视差像素点的个数,是输入的主要视差值(即,视差均值),xi是第i个像素点的视差值,δ是视差的标准差,并且δ2为方差。
在步骤S1540中,确定保留视差值范围。
由于根据正态分布的性质,大部分的视差值(大约为67%)都会落在视差值区间中,所以可以如此地确定该保留视差值范围。如图6D所示,两条实线之间的部分是计算得到的视差区间。
在步骤S1550中,根据保留视差值范围来对视差图进行剪裁,以获得待检测目标在视差图中的目标位置区域。
在得到保留视差值范围之后,可以对视差图进行剪裁,即在视差图中保留与在所计算的视差范围内的视差值对应的像素点。
图3G示出了根据本发明实施例的用于图3E所示的初始位置区域1的目标位置区域的示意图。
结合地参考图3C和图3G,其中,图3C示出了根据本发明实施例的初始位置区域1的原始视差图,而图3G示出了被保留的视差点图像,也就是裁剪结果。从这两幅图中,我们可以看到,与现有技术的图3C相比,在图3G所示的目标位置区域中,成功地将目标行人与旁边的广告板分割开,并且同样去除了处于远处的另一个人以及其他无关的图像部分,使得目标结果框准确地包围在待检测目标(即处于近处的那个人)的周围。
在步骤S160中,对目标位置区域进行后处理,以提高目标检测结果的准确性。
尽管根据本发明实施例所获得的图3G与根据现有技术所获得的图3C相比,获得了更加准确的目标位置区域,但是如果仔细地观察图3G仍然可以发现,在图3G的裁剪结果中仍然存在一定的噪声部分。具体地,尽管在图3G中去除了与目标行人距离很近的广告板的绝大部分区域,但是在图3G的右下角部分中仍然可以看到该广告板的零星部分。
对此,为了进一步获得更加准确的目标位置区域,可以优选地对图3G所示的视差图进行各种后处理,以进一步准确地获得待检测目标所处的目标位置区域。
在一个简单的示例中,可以直接对图3G所示的视差图进行去噪处理,通过各种滤波器来去除除了待检测目标之外的噪声区域。然而,由于直接去噪处理在去除噪声的同时,也有可能会将与目标位置区域有关的有用视差值去除,所以这种方式并不是最优的。
替换地,如果在上述步骤中能够精确地确定目标行人的实际高度和实际宽度,则可以在生成第一过滤条件时,将待检测目标的实际高度和实际宽度分布范围设置得更加狭小。然而,由于行人在视差图中可以处于侧身或弯腰等非正常站立状态,所以这种方式同样可能会将与目标位置区域有关的有用视差值去除。
为此,本发明人想到,在一个优选的示例中,可以迭代地进行上述的视差图分块、主要视差值计算和裁剪操作,以便将相近的视差点进一步区分开,使得更加准确地获得最终的目标位置区域。
图3H示出了根据本发明实施例的对图3G所示的目标位置区域1进行分块的结果图。
如图3H所示,例如,可以将通过上述步骤所获得的图3G所示的目标位置区域作为步骤S110中的视差图(或初始位置区域)进行分块处理。由于该目标位置区域已经通过上述的步骤S130获得了其实际尺寸,所以可以在该分块处理中根据实际尺寸来将视差图划分为M×N个图像块。例如,这时可以将每个图像块的尺寸设置为宽度0.1米且高度0.2米等。
然后,与之前的各个步骤一样,通过视差直方图和目标属性分布计算出主要视差值,然后根据主要视差值对目标区域进行裁剪操作。
优选地,可以将步骤S150的输出作为步骤S110的输入来迭代地执行步骤S110到S150,并且迭代的终止条件可以是当连续两次迭代所得结果视差值的差值小于一个预设阈值(例如2)。
图3I示出了根据本发明实施例的经过迭代操作获得的最终目标位置区域的示意图,并且图3J示出了根据本发明实施例的将图3I所示的最终目标位置区域转换为灰度图的示意图。
通过对比图3G与图3I可以看出,在图3I中进一步去除了图3G的裁剪结果中存在的微弱噪声部分,从而得到了最为准确的待检测目标所在的目标位置区域。相似地,通过参考图3J所示的灰度图同样可以看出,最终的目标位置区域仅仅包括了作为待检测目标的行人的相关区域,而不再包括任何其他的无关区域。
由此可见,本发明的实施例提供了一种基于视差直方图和目标属性的特定目标检测方法,其包括:初始目标检测、以及基于初始目标检测结果的裁剪,从而得到更加准确的目标检测结果。在本发明的实施例中,可以解决根据现有技术的解决方案中存在的技术问题并且得到准确的目标检测结果,这主要是由于以下两个原因:第一,在本发明的实施例中,可以将视差直方图的峰值和目标属性分布结果进行融合,以得到主要视差值,使得这种方法对于背景的影响更加鲁棒;第二,在本发明的实施例中,可以迭代地进行主要视差值计算和基于主要视差值的裁剪操作,使得随着不断的迭代,目标检测的结果将越来越准确,直到迭代终止为止。
显然,上面描述的根据目标的特定属性来在视差图和灰度图中进行目标检测的方法可以被用于立体相机的各种应用,如车辆驾驶辅助系统和自动驾驶系统等应用领域。
本发明还可以通过一种用于在视差图中确定主要视差值的装置来实施。在下文中,将参考图11来描述根据本发明实施例的用于在视差图中确定主要视差值的装置的功能配置框图。
图11示出了根据本发明实施例的用于在视差图中确定主要视差值的装置的功能配置框图。
如图11所示,该用于在视差图中确定主要视差值的装置100可以包括:图像块划分单元110,用于将所述视差图划分为多个图像块;代表性视差值确定单元120,用于确定每一个图像块的代表性视差值,所述代表性视差值是在所述每一个图像块中取其值的像素的个数最多的视差值;外形特性确定单元130,用于确定与代表性视差值对应的候选位置区域的外形特性;以及主要视差值确定单元140,用于根据与所述待检测目标的外形特性相关联的第一过滤条件来从所述代表性视差值中确定所述主要视差值。可选地,为了完成目标检测的功能,可选地,该装置100还可以包括:目标位置区域确定单元(未示出),用于根据主要视差值来在视差图中确定与待检测目标对应的目标位置区域;和/或后处理单元(未示出),用于对目标位置区域进行后处理,以提高目标检测结果的准确性。
上述图像块划分单元110、代表性视差值确定单元120、外形特性确定单元130、主要视差值确定单元140、目标位置区域确定单元(未示出)、和后处理单元(未示出)的具体功能和操作已经在上面参考图1到图10描述的用于在视差图中确定主要视差值的方法中详细介绍,并因此,将省略其重复描述。
需要说明的是,上述主要视差值确定装置100的部件可以用软件程序来实现,例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上,在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外,除了通用计算机上,还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU(微处理单元)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、ASIC(专用集成电路)等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在特定位置(例如,车辆上),并且与安装在特定位置上的用于对道路和道路相关联的对象成像的成像设备例如照相机进行通信,以便对照相机拍摄获得的二维图像和/或立体图像进行分析来检测目标。另外,主要视差值确定装置100的各个部件可以用专门的硬件来实现,例如特定的现场可编程门阵列、专用集成电路等。另外,主要视差值确定装置100的各个部件也可以利用软件和硬件的结合来实现。
本发明还可以通过一种用于检测目标的系统来实施。在下文中,将参考图12来描述根据本发明实施例的用于检测目标的系统的功能结构。
图12示出了根据本发明实施例的用于检测目标的系统的功能结构图。
如图12所示,该目标检测系统200可以包括:用于对对象成像的成像设备210,如单目相机、双目相机、多目相机等等;目标检测设备220,用于对来自成像设备210所拍摄的图像进行分析以检测目标,该目标检测设备220例如可以利用图11所示的主要视差值确定装置100的配置来实现,在通过主要视差值确定装置100获得与待检测目标所在的目标位置区域对应的主要视差值之后,可以进一步根据主要视差值来在视差图中确定与待检测目标对应的目标位置区域,以检测目标。
具体地,该目标检测系统200的输入为灰度图或对应的视差图,例如可以由安装在特定位置处的双目相机来拍摄得到。该输入经过目标检测设备后,输出为目标检测结果,输出形式可以是多样的,例如在显示器上输出指示检测到的目标的可视形式,或者以麦克风形式进行语音提示,或者以文本形式输出目标检测结果信息等。
本发明还可以通过一种用于检测目标的硬件系统来实施。在下文中,将参考图13来描述根据本发明实施例的用于检测目标的硬件系统。
图13示出了根据本发明实施例的用于检测目标的硬件系统的总体硬件框图。
如图13所示,该目标检测系统300可以包括:输入设备310,用于从外部输入有关信息,例如灰度图、视差图、相机设置信息等,例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等,并且可以包括用于对对象成像的成像设备、以及用于对所形成的图像进行图像解码的解码设备等;处理设备320,用于实施上述的按照本发明实施例的目标检测方法,或者实施为上述的主要视差值确定装置,例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等,可以连接到诸如因特网的网络(未示出),根据处理过程的需要向远程传送处理后的结果等等;输出设备330,用于向外部输出实施上述目标检测过程所得的结果,例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等;以及存储设备340,用于以易失或非易失的方式存储上述目标检测过程所涉及的数据,诸如目标的左右位置、目标的顶部和目标位置等数据,例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
在上面详细描述了本发明的各个实施例。然而,本领域技术人员应该理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行各种修改,组合或子组合,并且这样的修改应落入本发明的范围内。

Claims (9)

1.一种用于在视差图中确定主要视差值的方法,所述主要视差值是在所述视差图中与待检测目标所在的目标位置区域对应的视差值,其特征在于,所述方法包括:
将所述视差图划分为多个图像块;
确定每一个图像块的代表性视差值;
确定与代表性视差值对应的候选位置区域的外形特性;以及
根据与所述待检测目标的外形特性相关联的第一过滤条件来对所述候选位置区域的外形特性进行过滤,以从所述代表性视差值中确定所述主要视差值,
其中所述根据与所述待检测目标的外形特性相关联的第一过滤条件来对所述候选位置区域的外形特性进行过滤、以从所述代表性视差值中确定所述主要视差值的步骤包括:
生成所述第一过滤条件,所述第一过滤条件与所述待检测目标的外形特性相关联;
判断所述候选位置区域的外形特性是否符合所述待检测目标的外形特性;以及
如果所述候选位置区域的外形特性符合所述待检测目标的外形特性,则将与所述候选位置区域的外形特性对应的代表性视差值作为所述主要视差值。
2.根据权利要求1的方法,其特征在于,所述将所述视差图划分为多个图像块的步骤包括:
获取所述视差图;
对所述视差图进行初始目标检测,以确定所述待检测目标在所述视差图中的初始位置区域;以及
将所述初始位置区域划分为所述多个图像块。
3.根据权利要求1的方法,其特征在于,所述确定每一个图像块的代表性视差值的步骤包括:
在所述每一个图像块中,扫描各个像素的视差值;
统计取不同视差值的像素的个数;以及
针对所述每一个图像块,将取其值的像素的个数最多的视差值作为所述图像块的代表性视差值。
4.根据权利要求1的方法,其特征在于,所述确定与代表性视差值对应的候选位置区域的外形特性的步骤包括:
在所述视差图中,扫描各个图像块的代表性视差值;
统计每一个代表性视差值的个数;
根据与个数相关联的第二过滤条件来从所述代表性视差值中确定候选视差值;以及
确定与每一个候选视差值对应的候选位置区域的外形特性。
5.根据权利要求1的方法,其特征在于,所述待检测目标的外形特性包括以下各项中的至少一个:所述待检测目标的实际高度、所述待检测目标的实际宽度、所述待检测目标的宽高比、和构成所述待检测目标的不同部分的形状分布。
6.根据权利要求1的方法,其特征在于,所述方法还包括:
根据所述主要视差值来在视差图中确定与待检测目标对应的目标位置区域。
7.根据权利要求6的方法,其特征在于,所述根据所述主要视差值来在视差图中确定与待检测目标对应的目标位置区域的步骤包括:
获得所述代表性视差值的视差分布直方图,所述视差分布直方图表示每一个代表性视差值与其个数之间的对应关系;
在所述视差分布直方图中,保留与所述主要视差值相差预定视差值范围内的所有视差值;
根据以下公式来计算所述预定视差值范围的视差方差:
其中N是在所述预定视差值范围内的所有视差的个数,是所述主要视差值,xi是第i个视差值,δ是所述预定视差值范围的视差标准差,δ2为所述预定视差值范围的视差方差;
将视差区间作为所述保留视差值范围;以及
根据所述保留视差值范围来对所述视差图进行剪裁,以获得所述待检测目标在所述视差图中的所述目标位置区域。
8.根据权利要求6的方法,其特征在于,所述方法还包括:
将所述目标位置区域确定为所述视差图;以及
迭代地执行所述将所述视差图划分为多个图像块的步骤、所述确定每一个图像块的代表性视差值的步骤、所述确定与代表性视差值对应的候选位置区域的外形特性的步骤、和所述从所述代表性视差值中确定所述主要视差值的步骤,直到连续两次迭代所确定出的主要视差值之间的差值小于预定阈值为止。
9.一种用于在视差图中确定主要视差值的装置,所述主要视差值是在所述视差图中与待检测目标所在的目标位置区域对应的视差值,其特征在于,所述装置包括:
图像块划分单元,用于将所述视差图划分为多个图像块;
代表性视差值确定单元,用于确定每一个图像块的代表性视差值,所述代表性视差值是在所述每一个图像块中取其值的像素的个数最多的视差值;
外形特性确定单元,用于确定与代表性视差值对应的候选位置区域的外形特性;以及
主要视差值确定单元,用于根据与所述待检测目标的外形特性相关联的第一过滤条件来从所述代表性视差值中确定所述主要视差值,
其中所述根据与所述待检测目标的外形特性相关联的第一过滤条件来对所述候选位置区域的外形特性进行过滤、以从所述代表性视差值中确定所述主要视差值的步骤包括:
生成所述第一过滤条件,所述第一过滤条件与所述待检测目标的外形特性相关联;
判断所述候选位置区域的外形特性是否符合所述待检测目标的外形特性;以及
如果所述候选位置区域的外形特性符合所述待检测目标的外形特性,则将与所述候选位置区域的外形特性对应的代表性视差值作为所述主要视差值。
CN201410090019.XA 2014-03-12 2014-03-12 用于在视差图中确定主要视差值的方法和装置 Active CN104915943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410090019.XA CN104915943B (zh) 2014-03-12 2014-03-12 用于在视差图中确定主要视差值的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410090019.XA CN104915943B (zh) 2014-03-12 2014-03-12 用于在视差图中确定主要视差值的方法和装置

Publications (2)

Publication Number Publication Date
CN104915943A CN104915943A (zh) 2015-09-16
CN104915943B true CN104915943B (zh) 2018-03-06

Family

ID=54084983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410090019.XA Active CN104915943B (zh) 2014-03-12 2014-03-12 用于在视差图中确定主要视差值的方法和装置

Country Status (1)

Country Link
CN (1) CN104915943B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447766B (zh) * 2016-09-28 2019-07-09 成都通甲优博科技有限责任公司 一种基于移动设备单目相机的场景重建方法及装置
CN107886029B (zh) * 2016-09-30 2020-08-25 比亚迪股份有限公司 定位交通灯背景框的方法、装置及车辆
CN106600583B (zh) * 2016-12-07 2019-11-01 西安电子科技大学 基于端到端神经网络的视差图获取方法
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
CN108647579B (zh) * 2018-04-12 2022-02-25 海信集团有限公司 一种障碍物检测方法、装置及终端
US20230106278A1 (en) * 2020-02-21 2023-04-06 Harman International Industries, Incorporated Image processing method, apparatus, device and medium
CN113570755A (zh) * 2021-07-20 2021-10-29 菲特(天津)检测技术有限公司 生产线体车间的人员进出监控及报警系统、方法、介质及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739553A (zh) * 2009-12-10 2010-06-16 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法
CN102254348A (zh) * 2011-07-25 2011-11-23 北京航空航天大学 一种基于块匹配视差估计的中间视图合成方法
CN102567964A (zh) * 2011-12-08 2012-07-11 北京控制工程研究所 一种用于立体视觉视差图的滤波方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076249B2 (en) * 2012-05-31 2015-07-07 Industrial Technology Research Institute Hole filling method for multi-view disparity maps

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739553A (zh) * 2009-12-10 2010-06-16 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法
CN102254348A (zh) * 2011-07-25 2011-11-23 北京航空航天大学 一种基于块匹配视差估计的中间视图合成方法
CN102567964A (zh) * 2011-12-08 2012-07-11 北京控制工程研究所 一种用于立体视觉视差图的滤波方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视差图的未知环境下农田障碍物检测方法;苟琴等;《计算机工程与设计》;20130228;第34卷(第2期);第707-710页 *

Also Published As

Publication number Publication date
CN104915943A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
CN104915943B (zh) 用于在视差图中确定主要视差值的方法和装置
JP6439820B2 (ja) 対象識別方法、対象識別装置、及び分類器訓練方法
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
KR101537174B1 (ko) 스테레오스코픽 영상에서의 주요 객체 검출 방법
EP2811423B1 (en) Method and apparatus for detecting target
US7986831B2 (en) Image processing apparatus, image processing method and computer program
CN101601287B (zh) 产生照片级真实感图像缩略图的设备和方法
US20140161359A1 (en) Method for detecting a straight line in a digital image
CN101542529A (zh) 图像的深度图的生成
JP6111745B2 (ja) 車輌検知方法及び装置
US7224831B2 (en) Method, apparatus and program for detecting an object
EP2983131A1 (en) Method and device for camera calibration
CN107004256A (zh) 用于噪声深度或视差图像的实时自适应滤波的方法和装置
CN104597057A (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
JP2009157821A (ja) 距離画像生成装置、環境認識装置、及びプログラム
JP6361313B2 (ja) 車両検出方法及び装置
JP2013030183A (ja) 環境認識装置及びプログラム
CN112699885A (zh) 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统
CN102376090A (zh) 图像处理装置和方法以及程序
CN103390268A (zh) 物体区域分割方法和装置
JP4285640B2 (ja) オブジェクト識別方法および装置ならびにプログラム
CN103955886A (zh) 一种基于图论和灭点检测的2d-3d图像转换方法
JP4874836B2 (ja) 画像検索方法及び画像検索システム
CN104252707A (zh) 对象检测方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant