CN104217208B - 目标检测方法和装置 - Google Patents

Abstract

本发明提供了一种目标检测方法，包括：捕获当前场景的原始视差图和灰度图；基于视差图进行目标聚类处理，以便初步检测原始视差图中的目标候选对象；以及基于原始视差图和灰度图以及所述目标候选对象，获取确定的感兴趣区域ROI，提取所述确定ROI的线特征，并基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象。

Description

目标检测方法和装置

技术领域

本发明涉及一种目标检测方法和装置。具体而言，本发明涉及一种在车辆自主驾驶过程中通过提取线特征来识别路面目标对象的目标检测方法和装置。

背景技术

随着视频检测的广泛使用，人们对在视频图像中检测对象的精度有了越来越高的要求。而且随着人们对自动驾驶技术的需要，如何可靠地获取3D道路环境对于车辆的自主驾驶十分重要。3D道路环境识别任务主要包括路面估计，消失点计算，目标检测等，其中，目标检测作为最为重要的部分，对自主车的控制有着直接的影响。

针对各种对象在图像中体现的各种特性，人们提出了各种对象检测方法。题目为“Method for stereo image object detection”的美国专利申请US005937079A提出了一种用于立体图像对象检测的方法。在该美国专利申请中，该立体图像对象检测方法仅通过视差值进行目标检测。但是，这种方法在立体图像中的某一目标的同一距离处存在相邻的目标时，该方法就不能将相邻的同距离目标区分开。而且，根据该方法，如果在给定的区域内存在多个对象，则仅通过视差值的直方图无法进行目标的分割。授予微软的题目为“System and method for automatically detecting and extracting objects indigital i mage data”的美国专利US2007162084B2提出了一种在数字图像数据中自动检测和提取对象的系统和方法。该美国发明利用水平和垂直投影进行目标分割，因此，很难处理那些很多目标的复杂场景。而且，该发明专利对具有已知形状的目标进行分类，很显然，其识别对象具有一定的限制性。

总体而言，目前的目标检测算法主要可以分为三类：（1）基于先验知识的方法；（2）基于运动的方法；（3）基于立体视觉的方法。第一种方法采用先验知识（包括：对称性，颜色，灰度，阴影，纹理等）来进行目标定位。这类方法对于简单场景下的目标检测非常有效，但需要使用多种特征对多类目标进行检测，这在复杂场景下将导致许多错误检测。第二类方法通过计算光流等进行运动估计，但这类方法的一个明显的局限性在于不能检测静止的目标。第三类方法包含两类子方法：基于稠密视差图与基于稀疏视差图的方法。稠密视差图保证图像中所有的点都具有视差值以便进行目标检测，其缺点是计算量大。基于稀疏视差图的方法是一种被广泛使用的检测方法，但是这类方法仍有许多问题。首先，由于相机参数不精确，视差值的计算精度受到影响，因此同一个目标上的视差方差过大，难于区分相邻的物体。如图1A和1B所示，其中从图1A的灰度图中看出来属于两个目标的行人和车辆在视差图1B中被识别为同一目标。在图1B中的矩形框是检测到的目标区域。其次，在稀疏视差图中，水平双目相机所获得视差图中的目标的水平边缘几乎没有视差值，因此容易将同一个目标分割为不同的小目标。如图2A和2B所示，由于水平双目相机获得视差图在车辆的中间部分无法获得正确的匹配结果，因此车辆尾部的中间水平边缘部分没有视差，因此该车辆被识别为两个部分。如图2B所示，其中两个矩形框是检测到的目标区域。

发明内容

为了解决上述问题，本发明提出了一种基于灰度图与稀疏视差图来检测目标的方法和系统。总体而言，本发明首先在视差图中进行第一次聚类以得候选目标区域。然后，利用线特征结合视差与灰度信息进行候选目标区域的合并与分割，以得到真实的目标区域。

具体而言，根据本发明的一个方面，提供了一种目标检测方法，包括：捕获当前场景的原始视差图和灰度图；基于视差图进行目标聚类处理，以便初步检测原始视差图中的目标候选对象；以及基于原始视差图和灰度图以及所述目标候选对象，获取确定的感兴趣区域ROI，提取所述确定ROI的线特征，并基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象。

根据本发明的目标检测方法，所述获取确定的感兴趣区域ROI的步骤包括：将原始视差图中在水平方向、垂直方向以及深度方向上彼此相邻且彼此距离小于预定距离阈值的目标候选对象选取为一个候选目标集合，同时将其与的候选目标各自单独选取为候选目标集合；以及对于每个候选目标集合，采用包围所述候选目标集合所有目标候选对象的区域的包络线作为确定的ROI。

根据本发明的目标检测方法，所述提取确定ROI的线上特征的步骤包括：针对所述确定ROI，检测预先设定的线上的灰度的相似性以及视差的均匀性、检测边缘线的连通性或者检测边缘包络轮廓线。

根据本发明的目标检测方法，所述检测预先设定的线上的灰度的相似性以及视差的均匀性的步骤包括：对于每个确定ROI区域，设置预定数量的贯穿前景目标的水平线；通过计算每条水平线上所有像素点的灰度的方差获取相应水平线的灰度相似度以及通过对每条水平线上所有像素点进行PCA分析获得视差的均匀度；以及当相应水平线的灰度的相似度以及视差值的均匀度都满足预定阈值时，则判断该水平线具有同质性，同时标注不满足预定阈值的像素点作为相应水平线的间断点。

根据本发明的目标检测方法，所述基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象的步骤包括：当所述定确定ROI区域的预定数量的水平线中具有同质性的水平线的数量大于或等于预定阈值时，则判定所述确定ROI区域仅仅包含一个目标对象；以及当所述定确定ROI区域的预定数量的水平线中具有同质性的水平线的数量小于预定阈值时，则判断所述确定ROI区域包含一个以上的目标对象，并采用所标注的间断点作为分割线将所述确定ROI区域分割为独立的目标对象。

根据本发明的目标检测方法，所述检测边缘线的连通性的步骤通过检测水平边缘的连通性实现，包括：对于每个确定ROI区域，根据其灰度图像生成水平边缘图像；在所生成的水平边缘图像中检测是否存在贯通所述确定ROI区域的前景目标区域的连贯水平边缘线，并标注同一水平线上不连贯的边缘线之间的间断点；以及对每个确定ROI区域的原始视差图进行分析，并将视差值相差巨大的不同边缘线标注为不同目标对象的边缘线。

根据本发明的目标检测方法，所述基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象的步骤包括：当检测到在水平边缘图像中存在一条贯通所述确定ROI区域的前景目标区域的水平边缘线时，则判定所述确定ROI区域仅仅包含一个目标对象；当检测到水平边缘图像的水平边缘线中没有任何一条贯穿所述确定ROI区域的前景目标区域时，则判断所述确定ROI区域包含一个以上的目标对象，并采用所标注的间断点作为分割线将所述确定ROI区域分割为独立的目标对象。

根据本发明的目标检测方法，所述检测边缘线的连通性的步骤通过检测垂直边缘的连通性实现，包括：对于每个确定ROI区域，根据其灰度图像生成垂直边缘图像；在所生成的垂直边缘图像中检测是否存在贯通所述确定ROI区域的前景目标区域的连贯垂直边缘线；以及对每个确定ROI区域的原始视差图进行分析，并将视差值相差巨大的不同边缘线标注为不同目标对象的边缘线。

根据本发明的目标检测方法，所述基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象的步骤包括：当检测到在垂直边缘图像中不存在贯通所述确定ROI区域的前景目标区域的垂直边缘线时，则判定所述确定ROI区域只包含一个的目标对象；以及当检测到垂直边缘图像中存在垂直边缘线贯穿所述确定ROI区域的前景目标区域时，则判断所述确定ROI区域包含一个以上的目标对象，并采用所检测到的垂直边缘线作为分割线将所述确定ROI区域分割为多个独立的目标对象。

根据本发明的目标检测方法，所述检测边缘包络轮廓线的步骤通过针对每个确定ROI的原始灰度图像中提取轮廓线实现。

根据本发明的目标检测方法，所述基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象的步骤包括：确定所提取的轮廓线中存在一个轮廓线将对应的确定ROI中的所有前景目标区域包络其中，则判定在该确定ROI中只有一个目标，否则则判定有多于一个目标在此ROI中，并依据相应的轮廓线来将所述确定ROI分割为多个独立的目标对象。

根据本发明的目标检测方法，所述将所述确定ROI分割为多个独立的目标对象步骤通过在分割线的两侧进行基于灰度与视差信息的分析来找到目标的边界。

根据本发明的目标检测方法，所述基于原始视差图进行目标聚类处理，以便初步检测原始视差图中的目标候选对象的步骤可以通过基于原始视差图的U视差图进行目标聚类或者通过直接在原始视差图上进行目标聚类实现。

根据本发明的目标检测方法，所述通过基于原始视差图的U视差图进行目标聚类步骤包括：将输入的原始视差图进行从上到下的俯视图投影获得U视差图；采用连接成分分析法CCA方法或K均值法在U视差图中进行目标聚类；基于目标聚类结果，返回到原始视差图中确定目标区域；以及基于具体检测对象，排除尺寸明显不符合检测对象的目标区域。

根据本发明的目标检测方法，所述通过直接在原始视差图上进行目标聚类步骤包括：对原始视差图像进行平滑处理，以便填补目标边缘的微小间隙，连接弱的边缘；采用连接成分分析法CCA方法或K均值法在在视差图像中进行目标聚类以确定目标区域；以及基于具体检测对象，排除尺寸明显不符合检测对象的目标区域。

根据本发明的另一个方面，提供了一种目标检测系统，包括：目标检测系统包括图像获取单元，捕获当前场景的原始视差图和灰度图；候选目标初步检测单元，基于视差图进行目标聚类处理，以便初步检测原始视差图中的目标候选对象；以及目标合并分割单元，基于原始视差图和灰度图以及所述目标候选对象，获取确定的感兴趣区域ROI，提取所述确定ROI的线特征，并基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象。

根据本发明的目标检测方法，通过基于线特征的合并，能有效处理由于稀疏视差图中目标水平边缘缺失而导致的同一个目标被错误分裂的情况。与此同时，本发明的目标检测方法能有效分割两个相邻的物体。与基于稠密视差图的目标检测方法相比本发明的目标检测方法由于采用的是稀疏视差图，计算量大为减小。本发明的目标检测方法针对这两个问题采用线特征进行目标的分割合并，以得到真实的目标区域。

而且，本发明的目标检测方法在2D或3D空间中进行目标聚类，目标之间不会交叠，都可以被检测到。并且，本发明的目标检测方法可以结合灰度信息与视差信息进行相邻目标的分割。

此外，本发明的目标检测方法不需要预先知道目标的形状，对多种场景有更强的适应性。而且，由于本发明的目标检测方法采用线特征结合灰度与视差信息进行相邻目标的分割与合并，对复杂场景有较强的鲁棒性。

附图说明

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

图1A和1B是现有技术中视差图中的两个相邻目标被识别为一个目标的示意图。

图2A和2B是现有技术中视差图中的一个目标被识别为两个目标的示意图。

图3所示的是根据本发明的目标检测方法的总体流程图。

图4所示的是根据本发明的实施例的基于原始视差图对目标进行初步聚类的一种实例的流程图。

图5A和5B所示的分别根据本发明实施例要处理的一对灰度图和视差图的示例。

图5C所示的是将图5B中的原始视差图进行俯视投影变换后的U视差图的示意图。

图5D和5E所示的是通过局部放大方式显示车辆分别在原始视差图及U视差图中的示意图。

图6A显示了经过聚类得到的目标区域。

图6B通过对图6A中的聚类结果进行逆映射后获得其中含有确定目标区域的原始视差图的实例的示意图。

图7A所示的是从视差图中去除不符合限制条件的目标区域的实例的示意图。

图7B是通过放大方式在左侧显示其中作为目标的车辆被划分成两个目标区域的示意图。

图8所示的是对对所获得的候选目标进行合并和分割处理的流程图。

图9A和9B所示的分别是这种选取过程的实例的示意图。

图10A和10B示意性显示了候选目标集合合并的过程的一个实例。

图11A和11B示意性显示了单一候选目标的候选目标集合的合并的过程的实例。

图12A-12C所示的是表示对第一确定ROI实例进行线上特征提取的过程的示意图。

图13A-13C所示的是表示对第二确定ROI实例进行线上特征提取的过程的示意图

图14A-14C所示的是表示对第三确定ROI实例进行线上特征提取的过程的示意图

图15A-15C所示的是表示对第一确定ROI实例进行水平边缘的连通性提取的过程的示意图。

图16A-16C所示的是表示对第二确定ROI实例进行水平边缘的连通性提取的过程的示意图。

图17A-17C所示的是表示对第三确定ROI实例进行水平边缘的连通性提取的过程的示意图。

图18A-18C所示的是表示对第一确定ROI实例进行垂直边缘的连通性提取的过程的示意图。

图19A-19C所示的是表示对第二确定ROI实例进行垂直边缘的连通性提取的过程的示意图。

图20A-20C所示的是表示对第三确定ROI实例进行垂直边缘的连通性提取的过程的示意图。

图21A-21C所示的是表示对第一确定ROI实例进行轮廓包络提取的过程的示意图。

图22A-22C所示的是表示对第二确定ROI实例进行轮廓包络提取的过程的示意图。

图23A-23C所示的是表示对第三确定ROI实例进行轮廓包络提取的过程的示意图。

图24A和24B所示的是最终的新目标区域与初步聚类所获得目标区域相同的情况。

图25A和25B所示的是最终的新目标区域是由与初步聚类所获得多个目标区域组合而成的情况。

图26A-26C所示的是最终的新目标区域是将初步聚类所获得一个目标区域分割而成的情况。

图27所示的是根据本发明的目标检测系统的功能模块示意图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

根据本发明的实施例，如图3所示，提供了一种目标检测方法。首先，在步骤S10处，由诸如双目相机的图像获取单元10捕获即时画面，包括当前场景的视差图和灰度图，并将所捕获的原始视差图和灰度图输出到候选目标初步检测单元11。接着，在步骤S11处，候选目标初步检测单元11基于视差图进行初步聚类和过滤，从而获得候选目标，并将所获得候选目标输入到目标合并分割单元12。随后，在步骤12处，目标合并分割单元12对基于线特征对候选目标进行合并和分割处理，输出最终的目标对象。最后，在步骤S13处，有检测结果输出单元13输出所检测到的目标。

图4显示了根据本发明的实施例的基于原始视差图对目标进行初步聚类的一种实例的流程图。根据本发明，在原始稀疏视差图中进行候选目标点的聚类的主要方法有两类：一类是基于原始稀疏视差图的U视差图的聚类方法，另一种是直接基于原视疏视差图进行聚类的方法。无论是哪一种，都是对原始视差图进行粗略的对象检测，获得粗略的候选对象目标。下面仅仅以第一种聚类方法对初步聚类进行举例说明。图5A和5B所示的分别根据本发明实施例要处理的一对灰度图和视差图的示例。

如图4所示，首先，在步骤S110处，接收来自图像获取单元10捕获的原始视差图。接着，在步骤S111处，候选目标初步检测单元11中的U视差图构造单元111基于如图5B中的视差图构造U视差图。原始视差图的每个像素点具备三个参数，即水平轴U坐标参数，垂直轴V坐标参数，以及D轴的深度参数。具体而言，构造U视差图就是将输入的原视差图进行俯视投影变换以得到U视差图。如图5B所示，视差图中的每个点表示了三维空间中的一个点(U-水平维度、V-垂直维度、D-深度维度)。图5C所示的是将图5B中的原始视差图进行俯视投影变换后的U视差图的示意图。如图5C所示，经过投影到水平面（U-D平面)，所有点的V维度消失。U视差图中每个点的强度值表示了原视差图中像素点在V方向上的数量累积。在新的U视差图中，目标得到了增强，总的点数大大减少了。图5D和5E是通过局部放大方式显示了车辆分别在原视差图及U视差图中的示意图。很显然，在U视差图中，作为目标的车辆的总点数极大减少了。在此，简单介绍了U视差图的构造过程，关于更详细的U视差图构造，可以参考以下文献：Zhencheng Hu,Francisco Lamosa,Keiichi Uchimura.A Complete U-V-DisparityStudy for Stereovision Based3D Driving Environment Analysis.Proceedings ofthe Fifth International Conference on3-D Digital Imaging and Modeling.2005。

返回到图4。在步骤S112处，候选目标初步检测单元11中的聚类单元112对所获得U视差图执行目标聚类处理。在稀疏视差图中，目标的上的点是不连续的，所以要对相邻的点进行聚类以得到候选目标区域。目前有许多的聚类算法，如连接部件分析（CCA），K-means算法等。经过聚类得到的目标区域如图6A所示。矩形框表示聚类后得到的目标区域。从图6A中右侧放大示意图可以看到，车辆被错误的聚类成了两个目标。更多关于CCA的介绍可以参考以下内容：http://en.wikipedia.org/wiki/Connected-component_labeling。更多关于K-means的介绍可以参考以下内容：http://en.wikipedia.org/wiki/K-means_clustering。

在步骤S112处通过聚类单元112对所获得U视差图执行目标聚类处理之后，将U视差图逆映射回原视差图。随后，在步骤S113处，候选目标初步检测单元11中的目标确定单元113根据在U视差图中检测到的目标位置信息，可以得到每个目标的最大、最小视差值以及U坐标。然后在原始视差图中进行主成份分析与点的分布特征分析，即可确定V坐标的最大、最小视差值。综上，目标在视差图中的位置即可确定。更多关于主成份分析的介绍可以参考以下内容：http://en.wikipedia.org/wiki/Principal_component_analysis。图6B显示了通过对图6A中的聚类结果进行逆映射后获得其中含有确定目标区域的原始视差图的实例的示意图。如图6B所示，图中矩形框指示了聚类得到的原始视差图中的目标区域。

通常情况下，通过聚类会得到许多的目标，其中有很多都不是预期的目标。为此，在步骤S114处，候选目标初步检测单元11中目标区域过滤单元114为了得到更为准确的目标区域，需要将那些过大、过小、过高、过低的目标进行去除，仅保留那些预期的目标进行后处理。在原始视差图中，每个点强度表示深度信息，即包含了真实世界中的3D信息（高，宽，距离），其单位是米。对于特定的应用，我们可以设定不同的尺寸、高度等限制进行目标过滤。例如，为了检测车辆，则按照车辆的通常实际尺寸进行限制，对所确定的目标进行过滤，即将尺寸不符合通常车辆实际尺寸的目标区域去除。图7A所示的是从视差图中去除不符合限制条件的目标区域的实例的示意图。如图7A所示，其中目标区域中含有叉的区域为被去除的目标区域。图7B是通过放大方式在左侧显示其中作为目标的车辆被划分成两个目标区域的示意图。如图7B所示，由于在U视差图中聚类得到的车辆被分成了两半，在视差图中它依然是被分开的。

通过上述处理，实现了基于视差图进行的目标的初步检测，获得候选目标，并在步骤S115处输出初步检测出的候选目标。在此基础上，需要对候选目标进行进一步检测，以便获得最终的确定对象目标。为此，根据本发明的实施例，通过目标合并分割单元12在步骤12处基于线特征对所获得的候选目标进行合并和分割处理，输出最终的目标对象。图8所示的是对对所获得的候选目标进行合并和分割处理的流程图。

如图8所示，首先，在步骤S120处，目标合并分割单元12接收所获得的候选目标视差图和灰度图。

然后，在步骤S121处，目标合并分割单元12中的目标集合选取单元121从目标的初步检测单元11所经过聚类和过滤得到的候选目标中进行选取，将它们分别组成候选目标集合以进行后处理。这种候选按目标集合的选取首先将那些在U方向、V方向以及D方向（深度方向）上相邻距离都在预定阈值范围内的候选目标选择作为一个候选目标集合，其次将其余未被选择的候选目标分别被作为单独的目标集合。

视差图中的点是与真实世界中的宽、高、距离相对应，所以相邻目标的选取预定阈值是基于实际尺寸设定的。根据本发明方法的应用环境，可以将该阈值设置为1米、2米、3米、4米等。通过这种在步骤S121中进行的目标集合选取，使得在图7B中所示的车辆被确定为两个候选目标的情况被选取到一个候选目标集合。图9A和9B所示的分别是这种选取过程的实例的示意图。如图9A所示，表示车辆的两个分离的相邻候选目标区域由于在水平距离在预定阈值范围内而被选取到一个候选集合中。其中另外在实际上为两个小柱子的两个相邻的候选目标区域由于在深度方向，即D方向的距离较远而不能被选取到同一个候选目标集合中。同样，如图9B所示，表示车辆的两个分离的相邻候选目标区域由于在水平距离在预定阈值范围内而被选取到一个候选集合中。其中表示车辆的两个分离的相邻候选目标区域中的一个与另外一个相邻的候选目标区域由于在U-V方向的水平U距离较远而不能被选取到同一个候选目标集合中。

在目标集合选取单元121将集合选取结果供应到合并单元122之后，在步骤S122处，合并单元122对每一个目标候选集合执行合并处理，从而确定感兴趣区域ROI。具体而言，对于那些包含多个候选目标的候选目标集合，取该候选目标集合中所有候选目标区域的包络作为该集合的确定ROI。图10A和10B示意性显示了候选目标集合合并的过程。如图10A和10B所示，所选的目标集合包含两个目标，其中图10A中的矩形框表示聚类得到的并被选取为同一集合的候选目标区域，图10B中的虚点线表示确定的ROI的包络线。另外，对于仅包含一个候选目标的目标集合，则直接将先前聚类得到的目标区域作为确定的ROI。图11A和11B示意性显示了只包含单一候选目标的候选目标集合的合并的过程的实例。如图11A和11B所示，候选目标集合中仅有一个候选目标，其中，图11A中的矩形框表示聚类得到的单一候选目标区域，图11B中的虚点线表示确定的ROI的包络线。此处的合并并不是对集合中的对象进行实质合并，仅仅表示在后续处理中作为一个整体进行处理。

合并单元122在执行完合并处理之后，将被合并的确定ROI供应给线特征提取单元123。在步骤S123处，线特征提取单元123其采用确定ROI的线特征，结合该确定ROI的灰度与视差信息，进行线上的同质性度量，以进行该确定ROI中目标的合并与分割。线上的同质性特征包括两个方面：灰度的同质性与视差的同质性。视差的同质性度量与灰度的同质性度量的进行，既可以先进行视差的同质性度量，也可以先进行灰度的同质性度量。两者没有先后之分。灰度的同质性指的是在预先设定的某条线上，具有相似的灰度、边缘等。视差的同质性度量是先采用视差信息主成份分析（PCA）来确定前景与背景点，去除背景点并将对保留下来的前景点进行视差的同质性度量。视差的同质性指的是在前景点中在预先设定的某条线上具有相似的是视差值。对于视差的同质性，也可通过PCA方法来进行度量。因此，只有灰度与视差都满足同质性条件才被认为是满足同质性。通过这种线上同质性特征度量，提取确定ROI的线特征用于后面进行新目标区域的确定。

具体到本发明而言，本发明采用了如下四种具体的线特征：（1）在水平线上的同质性、（2）水平边缘的连通性、（3）垂直边缘的连通性、以及（4）轮廓包络性。这四种形式的线特征的每一种都可以单独提取用于后面进行目标的合并与分割以进行新目标区域的确定，或者与其他三个特征中的任意一个、两个或其余三个组合在一起用于后面进行目标的合并与分割以进行新目标区域的确定新目标区域的确定。不同之处在于，提出的线特征越多，得到结果越准确。当然，ROI的线特征并不限于上述四种，而是有很多种。四种仅仅是例举。因此，ROI的其他线特征也可以用于本发明。下面详细描述各个线特征。

首先，描述水平线上的同质性。水平线上的同质性是用来衡量一个目标中的特定水平线上的灰度和视差同质性。在每个要进行合并和分割的确定ROI区域内，我们可以设置一些水平方向的线。这些线需要在水平方向上贯穿前景目标，但这些线并不需要完全水平，只需要近似在水平方向即可。如果这条预先设定的线上的点几乎都具有相似的灰度和视差值，那么这条线就满足同质性。否则，这条线不满足同质性条件。对于视差的同质性，可能通过PCA方法来进行度量。另外，对于灰度在一条线上的同质性，可以通过计算线上所有点的灰度方差来确定。有一点需要说明的是，可以通过视差值的主成份分析来得到确定ROI区域的前景和背景区域。然后只考虑前景区域及其内部的点来进行同质性度量。对于外部区域，如左上角，右上角，都不用来进行同质性度量。

图12A-12C所示的是表示对第一确定ROI实例进行线上特征提取的过程的示意图。实际中本申请考虑确定ROI内的每一行。如图12A-12C所示，图12A为深度图或视差图，而图12B为灰度图，图12C是基于图12A和12B进行线上特征提取后的结果示意图。同一场景的图12A-12C显示了一个包含两个人的目标集合ROI。在这两个人的上半身位置，视差值差别非常大。两个人上半身所在位置的视差值与两人之间部分的视差值有较大的差别。在目前的附图中，由于是申请文件只能采用灰度图来提交，因此所提交的图12A不能直接显示出两者的视差的差别。在通常的视差图中，采用不同的颜色来表示不同的距离。因此在图12A的对应彩色视差图中，两人上半身的位置的视差值与两人之间部分的视差值由于颜色不同的体现处两者的视差值的巨大差别。通过对ROI进行PCA分析得出两人之间的位置属于背景。所以尽管两个人上半身的视差值非常接近并都属于前景，但是由于中间被背景分割开，故这些水平线并不满足同质性。接下来再看下半身，两个人腿部的颜色差异较大，只有当灰度和视差都满足同质性，该水平线才算满足同质性，故下半身的那些线也不满足同质性。在图12C中，用直线表示在某一水平线上满足同质性，间断线表示在某一水平线上不满足同质性。这里的直线或间断线只是为了进行说明，它们的位置并不一定精确。因此，基于处于同一集合中的两个候选目标的不具有线上特征的同质性，可以在后续处理中直接基于这种线上特征的提取结果而直接将这连个候选目标分割开作为新的确定目标。

图13A-13C所示的是表示对第二确定ROI实例进行线上特征提取的过程的示意图。如图13A-13C所示，图13A为深度图或视差图，而图13B为灰度图，图13C是基于图13A和13B进行线上特征提取后的结果示意图。同一场景的图13A-13C显示了一个包含被分裂车辆的目标集合ROI实例。车尾部的视差值都较为接近，因此，认为该ROI实例具有线上视差同质性。与此同时，车尾部的灰度值在水平方向上也较为接近，除了车灯区域，因为车灯区域的色彩与车尾的其他部分存在显著的不同。因此，在图13C所显示的线上特征提取结果示意图中，只有车灯所在的水平线部分采用间断线表示该车灯所在部分不具有水平方向上线上特征的同质性，其余大部分区域满足水平方向上的同质性，并采用直线表示。

图14A-14C所示的是表示对第三确定ROI实例进行线上特征提取的过程的示意图。如图14A-14C所示，图14A为深度图或视差图，而图14B为灰度图，图14C是基于图14A和14B进行线上特征提取后的结果示意图。同一场景的图14A-14C所示的是在单一候选目标对象构成一个候选目标集合ROI中包含了行人和车辆的目标集合。很显然，由于任何车辆之间存在间隔以及人灰度值与车辆的灰度值之间的差别，因此在大部分水平线都不具有同质性，因此，其中间断线的较多，表示图14A-14C所示ROI实例不满足水平方向上的同质性。如果在该组图中的人直接趴在车上，并且所穿的衣服与车的颜色相同或相近，则该ROI实例很可能满足水平方向上的同质性，但是这种假设的可能性极小。

由于任何候选目标集合区域ROI都可能既存在具有同质性的水平线也存在不具有同质性的水平线，因此，要判断整个ROI中的前景对象是否符合线上同质性，需要为满足同质性的水平线的行数设置一个预定的阈值来判断该ROI是否一个目标。如果满足同质性的水平线的行数待遇该阈值，则判断ROI只含有一个目标，否则，判定为有一个以上的目标在此ROI中。该预定阈值行数通常设定为ROI中所有水平线行数的60%以上。因此，如果提取行数为100行，则可将阈值设置为60、70、80、90行等。并且，将在每一行中的不具有同质性的间断点用来确定不同目标区域间的分割线，以便用于后面确定新目标时用来分割不同目标。

现在描述第二种线上特征的提取，即提取水平边缘的连通性。在水平边缘的连通性特征当中，水平边缘被用来测量目标在特定水平线上的连通性。概括而言，根据原来灰度图生成水平边缘图像来进行线特征分析，与此同时，根据视差分析，具有差异非常大的视差值的边缘被确定为属于不同的目标的边缘，因此将不同的目标分割开。在将要被合并及分割的每个先前确定的ROI区域内，如果在水平方向上，有一些贯穿于前景目标区域的水平边缘，可以判定，在该确定的ROI区域内只有一个目标，否则，有一个以上的目标在此ROI区域内。另外，在应用此特征时，这些线在水平方向上贯穿，但不需要完全水平。另外，在每一行中的间断点可以被用来确定对象的分割线。图15A-15C所示的是表示对第一确定ROI实例进行水平边缘的连通性提取的过程的示意图。图16A-16C所示的是表示对第二确定ROI实例进行水平边缘的连通性提取的过程的示意图。图17A-17C所示的是表示对第三确定ROI实例进行水平边缘的连通性提取的过程的示意图。图15A、16A以及17A为第一至第三ROI实例的视差图，图15B、16B以及17B为第一至第三ROI实例的灰度图，而图15C、16C以及17C为第一至第三ROI实例的基于各自的灰度图生成的水平边缘。如何生成水平边缘图属于本领域的公知常识，因此，不在此进行赘述。图15C、16C以及17C显示了第一至第三ROI实例中不同目标集合的水平边缘连通性，其中，有一些水平边缘贯穿整个ROI的前景区域，如第二ROI实例的前景区域，它们满足水平边缘的连通性。而第一ROI实例包含两个行人的目标集合而第三ROI实例包含一个行人与车辆的目标集合，没有水平边缘贯穿ROI前景区域。基于所获得的各自的这种水平边缘的连通性，在返回到原始视差图和灰度图中在确定ROI候选目标集合中进行对象的合并和分割处理。

现在描述第三种线上特征的提取，即提取垂直边缘的连通性。在垂直边缘的连通性特征当中，垂直边缘被用来测量目标在特定垂直线上的连通性。概括而言，根据原来灰度图生成垂直边缘图像来进行线特征分析，与此同时，根据视差分析，差异非常大的视差值的边缘被确定为属于不同的目标的边缘，因此将不同的目标分割开。在将要被合并及分割的每个先前确定的ROI区域内，如果在垂直方向上，有一些贯穿于前景目标区域的垂直边缘，可以判定，在该确定的ROI区域内有一个以上的目标，否则，只有一个目标在此ROI区域内。另外，在应用此特征时，这些线在垂直方向上贯穿，但不需要完全垂直。而且，此处的“贯穿”不能在ROI区域的垂直边缘图像的外侧部分，而是在ROI区域的垂直边缘图像的两侧之内的部分。此外，这些垂直贯穿的线可以被用来确定对象的分割线。因为，若有两个目标在一个确定的ROI区域内，则会有两条垂直边缘贯穿该确定的ROI区域内前景目标区域的内部。通常，将存在两条垂直边缘的ROI区域内的左边的那条边缘作为左边目标的右边缘，右边的那条边缘作为右边目标的左边缘。因此，这些垂直方向贯穿的线可以用来确定目标的分割线。图18A-18C所示的是表示对第一确定ROI实例进行垂直边缘的连通性提取的过程的示意图。图19A-19C所示的是表示对第二确定ROI实例进行垂直边缘的连通性提取的过程的示意图。图20A-20C所示的是表示对第三确定ROI实例进行垂直边缘的连通性提取的过程的示意图。图18A、19A以及20A为第一至第三ROI实例的视差图，图18B、19B以及20B为第一至第三ROI实例的灰度图，而图18C、19C以及20C为第一至第三ROI实例的基于各自的灰度图生成的垂直边缘。如何生成垂直边缘图属于本领域的公知常识，因此，不在此进行赘述。图18C、19C以及20C显示了第一至第三ROI实例中不同目标集合ROI中的垂直边缘连通性，其中，有一些垂直边缘贯穿整个ROI的前景区域，如图19C所示，对于包含被分裂车辆的目标集合，不存在垂直边缘贯穿ROI中的前景目标区域（前景由视差值的主成分分析得到），仅存在两条垂直边缘贯穿前景目标的左右侧（外侧），因此该垂直边缘连通性显示第二ROI实例中只有一个候选目标。如图18C和20C所示，第一ROI实例包含两个行人的目标集合而第三ROI实例包含一个行人与车辆的目标集合，在图18C和20C所示的垂直边缘图像的前景目标区域的内部存在两条垂直边缘贯穿所选取的包含两个行人以及包含行人和车辆的目标集合区域。因此，基于这两条垂直边缘贯穿线所体现的这种垂直边缘的连通性，返回到原始视差图和灰度图中在确定第一和第三ROI候选目标集合中进行对象的分割处理。

最后，描述第四种线上特征的提取，即提取轮廓包络。基于所提取的轮廓包络特征中，进行目标的分割与合并。从原始灰度图像中提取轮廓线进行线特征分析。在每个将要进行合并分割处理的先前确定的ROI中，若存在一个轮廓线将所有前景目标区域包络其中，则可以判定，在此ROI中，只有一个目标，否则，有多于一个目标在此ROI中。此外，轮廓线可以用来确定目标之间的分割线。图21A-21C所示的是表示对第一确定ROI实例进行轮廓包络提取的过程的示意图。图22A-22C所示的是表示对第二确定ROI实例进行轮廓包络提取的过程的示意图。图23A-23C所示的是表示对第三确定ROI实例进行轮廓包络提取的过程的示意图。图21A、22A以及23A为第一至第三ROI实例的视差图，图21B、22B以及23B为第一至第三ROI实例的灰度图，而图21C、22C以及23C为第一至第三ROI实例的基于各自的灰度图生成的轮廓包络图。如何生成轮廓包络图属于本领域的公知常识，因此，不在此进行赘述。图21C、22C以及23C显示了第一至第三ROI实例中不同目标集合的轮廓包络线的情况，其中，有一些轮廓包络线将整个ROI的前景区域包围起来，如第二ROI实例的前景区域，它们满足轮廓包络的线上特征。而第一ROI实例包含两个行人的目标集合而第三ROI实例包含一个行人与车辆的目标集合，不存在一个外轮廓将整个前景区域包围起来，只存在一些小的轮廓包围目标前景的各个子区域。基于所获得的各自的这种轮廓包络特征，在返回到原始视差图和灰度图中在确定ROI候选目标集合中进行对象的合并和分割处理。

由于目标对象存在多种线上特征，但为了节省篇幅，不在此一一描述，但是这种其他线上特征的提取都可以用于本发明的方法中。

在通过上述方式进行了线上特征的提取后，基于各自所提取的线上特征的各自的特性，在步骤S124处，由目标合并分割单元12的新目标区域确定单元124基于所提取的线上特征的各自特性进行对每个ROI候选目标集合进行合并和分割处理并输出新的目标区域。以上在针对每种线上特征提取的描述中已经分别描述了如何合并以及分割ROI候选目标集合的方法。新目标区域的确定通常存在以下三种情况。第一种情况是对于没有进行合并与分割操作的ROI，保留原始聚类得到的目标区域作为新的目标区域。图24A和24B所示的是最终的新目标区域与初步聚类所获得目标区域相同的情况。第二种情况是对于进行合并操作的ROI，则将多个目标的区域的包络作为新的目标区域。图25A和25B所示的是最终的新目标区域是由与初步聚类所获得多个目标区域组合而成的情况。第三中情况是对于进行分割操作的ROI，要确定目标区域之间的分割线。图26A-26C所示的是最终的新目标区域是将初步聚类所获得一个目标区域分割而成的情况。有多种确定分割线的方法，仅以基于轮廓的方法进行说明。如图26A-26C所示，提取每个子目标的轮廓，对于左边的目标，以其轮廓线的最靠右的U坐标作为左分割线的U坐标；对于右边的目标，以其轮廓线的最靠左的U坐标作为右分割线的U坐标。于是该ROI就被分为三个部分，两边的两个部分是进行后处理的目标区域，中间部分是背景区域。进而，在分割线的两侧进行基于灰度与视差信息的分析，可以找到目标的边界。

基于以上对本发明的详细描述，可以获知，本发明消除传统检测方法中由于在稀疏视差图中目标的水平边缘不连续导致车辆或其他物体被错误的检测成了两个目标的情况。由于本发明采用了线特征并结合视差与灰度信息进行合并，本文方法能较为准确的检测到目标。而且，本发明解决了传统方法的检测结果中将相邻的两个对象（例如行人和车辆）混在了一起的问题，由于采用本发明提出的分割方法，相邻的两个对象（例如行人和车辆）被准确的分割开了。因此本发明采用线特征通过合并算法提出了一种基于灰度图与视差图的目标检测方法，对于在稀疏视差图中水平边缘不连续的目标具有较好的检测效果。与此同时，本发明能有效分割相邻的目标。与基于稠密视差图的目标检测相比较，本方法由于采用了是稀疏视差图，计算量大大减小。

而且，相对于有些现有基于先验知识需要使用多种特征对多类目标进行检测的方法以及基于运动的检测方法，本发明提出的方法首先在视差图中进行聚类，然后再根据线特征进行目标的合并与分割。本方法不依赖于特定的目标特征（如形状，尺寸，纹理等），对于多种目标检测有较强的适用性。与此同时，本方法不使用运动信息，能有效检测静态目标。相比于基于稠密视差图的检测方法，本发明由于采用的是稀疏视差图，计算量大为减小。

图27所示的是根据本发明的目标检测系统的功能模块示意图。如图27所示，目标检测系统包括图像获取单元10、候选目标初步检测单元11以及目标合并分割单元12。其中候选目标初步检测单元11包括：候选目标初步检测单元11、U视差图构造单元111、聚类单元112、目标确定单元113以及目标区域过滤单元114。目标合并分割单元12包括目标集合选取单元121、合并单元122、线特征提取单元123以及新目标区域确定单元124。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种目标检测方法，包括：

捕获当前场景的原始视差图和灰度图；

基于视差图进行目标聚类处理，以便初步检测原始视差图中的目标候选对象；以及

基于原始视差图和灰度图以及所述目标候选对象，获取确定的感兴趣区域ROI，提取所述确定ROI的线特征，并基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象，

其中，所述提取确定ROI的线特征的步骤包括检测预先设定的线上的灰度的相似性以及视差的均匀性，包括：

对于每个确定ROI区域，设置预定数量的贯穿前景目标的水平线；

通过计算每条水平线上所有像素点的灰度的方差获取相应水平线的灰度相似度以及通过对每条水平线上所有像素点进行PCA分析获得视差的均匀度；以及

当相应水平线的灰度的相似度以及视差值的均匀度都满足预定阈值时，则判断该水平线具有同质性，同时标注不满足预定阈值的像素点作为相应水平线的间断点。

2.如权利要求1所述的目标检测方法，所述基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象，包括：

当所述确定ROI区域的预定数量的水平线中具有同质性的水平线的数量大于或等于预定阈值时，则判定所述确定ROI区域仅仅包含一个目标对象；以及

当所述确定ROI区域的预定数量的水平线中具有同质性的水平线的数量小于预定阈值时，则判断所述确定ROI区域包含一个以上的目标对象，并采用所标注的间断点作为分割线将所述确定ROI区域分割为独立的目标对象。

3.如权利要求1所述的目标检测方法，所述提取确定ROI的线特征的步骤还包括检测边缘线的连通性的步骤，通过检测水平边缘的连通性实现，包括：

对于每个确定ROI区域，根据其灰度图像生成水平边缘图像；

在所生成的水平边缘图像中检测是否存在贯通所述确定ROI区域的前景目标区域的连贯水平边缘线，并标注同一水平线上不连贯的边缘线之间的间断点；以及

对每个确定ROI区域的原始视差图进行分析，并将视差值相差巨大的不同边缘线标注为不同目标对象的边缘线。

4.如权利要求3所述的目标检测方法，所述基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象的步骤包括：

当检测到在水平边缘图像中存在一条贯通所述确定ROI区域的前景目标区域的水平边缘线时，则判定所述确定ROI区域仅仅包含一个目标对象；

当检测到水平边缘图像的水平边缘线中没有任何一条贯穿所述确定ROI区域的前景目标区域时，则判断所述确定ROI区域包含一个以上的目标对象，并采用所标注的间断点作为分割线将所述确定ROI区域分割为独立的目标对象。

5.如权利要求1所述的目标检测方法，所述提取确定ROI的线特征的步骤还包括检测边缘线的连通性的步骤，通过检测垂直边缘的连通性实现，包括：

对于每个确定ROI区域，根据其灰度图像生成垂直边缘图像；

在所生成的垂直边缘图像中检测是否存在贯通所述确定ROI区域的前景目标区域的连贯垂直边缘线；以及

对每个确定ROI区域的原始视差图进行分析，并将视差值相差巨大的不同边缘线标注为不同目标对象的边缘线。

6.如权利要求5所述的目标检测方法，所述基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象的步骤包括：

当检测到在垂直边缘图像中不存在贯通所述确定ROI区域的前景目标区域的垂直边缘线时，则判定所述确定ROI区域只包含一个的目标对象；以及

当检测到垂直边缘图像中存在垂直边缘线贯穿所述确定ROI区域的前景目标区域时，则判断所述确定ROI区域包含一个以上的目标对象，并采用所检测到的垂直边缘线作为分割线将所述确定ROI区域分割为多个独立的目标对象。

7.如权利要求1所述的目标检测方法，所述提取确定ROI的线特征的步骤还包括检测边缘包络轮廓线的步骤，通过针对每个确定ROI的原始灰度图 像中提取轮廓线实现。

8.如权利要求7所述的目标检测方法，所述基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象的步骤包括：

确定所提取的轮廓线中存在一个轮廓线将对应的确定ROI中的所有前景目标区域包络其中，则判定在该确定ROI中只有一个目标，否则则判定有多于一个目标在此ROI中，并依据相应的轮廓线来将所述确定ROI分割为多个独立的目标对象。

9.一种目标检测系统，包括：

目标检测系统包括图像获取单元，捕获当前场景的原始视差图和灰度图；

候选目标初步检测单元，基于视差图进行目标聚类处理，以便初步检测原始视差图中的目标候选对象；以及

目标合并分割单元，基于原始视差图和灰度图以及所述目标候选对象，获取确定的感兴趣区域ROI，提取所述确定ROI的线特征，并基于所提取的线特征对确定ROI进行合并和分割处理，获取新的目标对象，

其中，所述目标合并分割单元通过检测预先设定的线上的灰度的相似性以及视差的均匀性提取所述确定ROI的线特征，

其中，所述目标合并分割单元执行以下操作以检测所述预先设定的线上的灰度的相似性以及视差的均匀性：

对于每个确定ROI区域，设置预定数量的贯穿前景目标的水平线；

过计算每条水平线上所有像素点的灰度的方差获取相应水平线的灰度相似度以及通过对每条水平线上所有像素点进行PCA分析获得视差的均匀度；以及

当相应水平线的灰度的相似度以及视差值的均匀度都满足预定阈值时，则判断该水平线具有同质性，同时标注不满足预定阈值的像素点作为相应水平线的间断点。