CN110378942A - 基于双目相机的障碍物标识方法、系统、设备和存储介质 - Google Patents

Abstract

本发明公开了一种基于双目相机的障碍物标识方法、系统、设备和存储介质，其中障碍物标识方法包括：双目相机拍摄获得原始图像；处理原始图像，获得RGB图像和深度图像；对RGB图像进行机器学习，获得至少一个识别框；对于每一识别框，从所有框内像素点中选取若干框内像素点，根据其在深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对深度图像进行聚类，获得多个深度点，进而获得包括多个深度点的已识别点集合，将已识别点集合标识为识别框所表示的障碍物。本发明以识别框中的若干框内像素点为引在深度图像中确定原始聚类中心，对深度图像聚类，以获得与识别框匹配的已识别点集合，如此十分准确地标识出图像中的障碍物。

Description

基于双目相机的障碍物标识方法、系统、设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于双目相机的障碍物标识方法、系统、设备和存储介质。

背景技术

在无人驾驶技术领域，当前通常采用以下方案来标识障碍物：

基于单目相机来进行障碍物的标识，具体地，将单目相机获得的一帧 RGB(三原色光模式)图像输入到经训练的学习网络中，以获得一系列的识别框，其中，每个识别框框示一个障碍物并标示该障碍物的种类。但是，在识别框中包括多个其他障碍物的情况下，对障碍物的种类的标识容易出错，造成标识准确率的降低。

基于双目相机来进行障碍物的标识，具体地，对双目相机获得的3D(3dimensional，三维)点云数据进行欧式聚类或者其他聚类，以获得一系列的聚类BOX(长方体)框，其中，每个聚类BOX框包含一个聚类障碍物，进而根据BOX模型和先验库中典型BOX的尺寸匹配来识别聚类障碍物的种类。但是，对点云进行聚类处理其计算量较大，并且上述尺寸匹配的方式识别率较低，存在大量误识别以及漏识别的情况，进而标识准确率也比较低。

基于单目相机和激光雷达的组合来进行障碍物的标识，具体地，该方案仍需将RGB图像输入经训练的学习网络中，以获得一系列的识别框，从而该方案在识别框中包括多个其他障碍物的情况下，也容易造成标识准确率的降低。

发明内容

本发明要解决的技术问题是为了克服现有技术中对障碍物的标识准确率较低的缺陷，提供一种对障碍物的标识准确率较低。

本发明是通过下述技术方案来解决上述技术问题：

一种基于双目相机的障碍物标识方法，其特点在于，所述障碍物标识方法包括：

双目相机拍摄获得原始图像；

处理所述原始图像，获得RGB图像和深度图像，所述RGB图像的像素点与所述深度图像的深度点的位置相对应；

对所述RGB图像进行机器学习，获得至少一个识别框，每一识别框包含所述RGB图像中的一个障碍物并且包含多个框内像素点；

对于每一识别框，从所有框内像素点中选取若干框内像素点，根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述识别框所表示的障碍物。

较佳地，所述根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心的步骤具体包括：

获取选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值的序列；

从所述序列中选取若干深度值并计算选取的所有深度值的深度均值；

确定与框内像素点位置对应，并且深度值与所述深度均值的差值在阈值范围内的所有深度点为原始聚类中心。

较佳地，所述从所述序列中选取若干深度值并计算选取的所有深度值的深度均值的步骤具体包括：

按照深度值的大小对所述序列进行排序；

从经排序的序列中选取若干相邻的深度值并计算选取的所有深度值的深度均值。

较佳地，所述对所述深度图像进行聚类的步骤具体包括：

对于每一原始聚类中心，均执行聚类操作；

判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；

若是，则对每一新的聚类中心均重复执行所述聚类操作，并返回所述判断经由所述聚类操作是否产生新的聚类中心的步骤。

较佳地，所述障碍物标识方法还包括：

对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，以获得至少一个未识别点集合；

将所述未识别点集合标识为未知障碍物。

较佳地，所述障碍物标识方法还包括：

根据已识别点集合来进一步标识所述已识别点集合标识的障碍物的位置信息；

根据未识别点集合来进一步标识所述未识别点集合标识的未知障碍物的位置信息。

较佳地，所述障碍物标识方法还包括：

输出已识别点集合，以及所述已识别点集合标识的障碍物、障碍物的位置信息；

输出未识别点集合，以及所述未识别点集合标识的未知障碍物、未知障碍物的位置信息。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特点在于，所述处理器执行所述计算机程序时实现上述任一种基于双目相机的障碍物标识方法。

一种计算机可读存储介质，其上存储有计算机程序，其特点在于，所述计算机程序被处理器执行时实现上述任一种基于双目相机的障碍物标识方法的步骤。

一种基于双目相机的障碍物标识系统，其特点在于，所述障碍物标识系统包括：

双目相机，用于拍摄获得原始图像；

处理模块，用于处理所述原始图像，获得RGB图像和深度图像，所述 RGB图像的像素点与所述深度图像的深度点的位置相对应；

学习模块，用于对所述RGB图像进行机器学习，获得至少一个识别框，每一识别框包含所述RGB图像中的一个障碍物并且包含多个框内像素点；

聚类模块，对于每一识别框，用于从所有框内像素点中选取若干框内像素点，根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述识别框所表示的障碍物。

较佳地，所述聚类模块包括：

深度值序列获取单元，用于获取选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值的序列；

深度均值计算单元，用于从所述序列中选取若干深度值并计算选取的所有深度值的深度均值；

原始聚类中心确定单元，用于确定与框内像素点位置对应，并且深度值与所述深度均值的差值在阈值范围内的所有深度点为原始聚类中心。

较佳地，所述深度均值计算单元包括：

排序子单元，用于按照深度值的大小对所述序列进行排序；

计算子单元，用于从经排序的序列中选取若干相邻的深度值并计算选取的所有深度值的深度均值。

较佳地，所述聚类模块还包括：

聚类单元，对于每一原始聚类中心，均用于执行聚类操作；

判断单元，用于判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；

若是，则调用所述聚类单元对每一新的聚类中心均重复执行所述聚类操作，并继续执行判断动作。

较佳地，所述聚类单元还用于对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，以获得至少一个未识别点集合，并将所述未识别点集合标识为未知障碍物。

较佳地，所述障碍物标识系统还包括：

位置信息标识模块，用于根据已识别点集合来进一步标识所述已识别点集合标识的障碍物的位置信息，以及用于根据未识别点集合来进一步标识所述未识别点集合标识的未知障碍物的位置信息。

较佳地，所述障碍物标识系统还包括：

输出模块，用于输出已识别点集合，以及所述已识别点集合标识的障碍物、障碍物的位置信息，以及用于输出未识别点集合，以及所述未识别点集合标识的未知障碍物、未知障碍物的位置信息。

本发明的积极进步效果在于：本发明首先基于双目相机获得的一组RGB 图像和深度图像，进而对RGB图像进行机器学习以获得包含障碍物的识别框，再根据识别框中的部分框内像素点在深度图像中确定原始聚类中心，对深度图像进行聚类，以获得与RGB图像中识别框匹配的深度图像中的已识别点集合，如此十分准确地标识出图像中的障碍物。

附图说明

图1为根据本发明实施例1的基于双目相机的障碍物标识方法的流程图。

图2为根据本发明实施例1的基于双目相机的障碍物标识方法中步骤S4 的流程图。

图3为根据本发明实施例2的电子设备的硬件结构示意图。

图4为根据本发明实施例4的基于双目相机的障碍物标识方法的流程图。

图5为根据本发明实施例7的基于双目相机的障碍物标识系统的模块示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种基于双目相机的障碍物标识方法，图1示出了本实施例的流程图。参见图1，本实施例的障碍物标识方法包括：

S1、双目相机拍摄获得原始图像；

S2、处理原始图像，获得RGB图像和深度图像；

在上述步骤中，双目相机中的左目相机用于拍摄以获得左图，右目相机同时用于拍摄以获得右图，该左图和右图经匹配之后，得到一组RGB图像和深度图像，从而同组RGB图像和深度图像中，RGB图像的像素点与深度图像的深度点的位置相对应。

S3、对RGB图像进行机器学习，获得至少一个识别框；

在该步骤中，可以利用机器学习的方法训练分类网络，对RGB图像进行行人、车辆、垃圾箱、树木等常见障碍物的识别，进而可以用识别框来框式已识别的障碍物，其中，每一识别框包含RGB图像中的一个障碍物并且包含多个框内像素点。

S4、对于每一识别框，从所有框内像素点中选取若干框内像素点，根据选取的所有框内像素点在深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对深度图像进行聚类，获得多个深度点，进而获得包括多个深度点的已识别点集合，将已识别点集合标识为识别框所表示的障碍物。

具体地，参见图2，该步骤可以包括：

S41、获取选取的所有框内像素点在深度图像中对应位置处的深度点的深度值的序列；

S42、从序列中选取若干深度值并计算选取的所有深度值的深度均值；

S43、确定与框内像素点位置对应，并且深度值与深度均值的差值在阈值范围内的所有深度点为原始聚类中心。

在上述步骤中，可以从所有框内像素点中随机选取1/3的框内像素点，获取选取的所有框内像素点在深度图像中对应位置处的深度点，进而获得上述所有深度点的深度值的序列，再通过该序列来计算多个深度点的深度均值 (深度值的平均值)。更进一步地，可以按照深度值的大小对该序列进行排序，再从经排序的序列中选取若干相邻的深度值(诸如该序列中间40％的深度值)，进而计算最终选取的所有深度值的深度均值。由此，可以去除掉一些没有深度值的深度点，也可以去除掉一些深度值过大的深度点(诸如识别框中作为背景的深度点)，以此来提高深度均值的参考价值，进而根据框内像素点的像素位置以及预设的阈值范围(可以根据具体应用自定义设置)来获得更加准确的原始聚类中心。

参见图2，在步骤S43之后，步骤S4还可以包括：

S44、对于每一原始聚类中心，执行聚类操作；

S45、判断经由聚类操作是否产生新的聚类中心；

若是，则转至步骤S46；若否，则停止执行聚类操作；

S46、对每一新的聚类中心均重复执行聚类操作，并返回步骤S45。

在上述步骤中，基于原始聚类中心对深度图像进行聚类时，该原始聚类中心即为上述识别框表示的已识别障碍物的内点，可以对该原始聚类中心附近的深度点进行FLOODFILL(泛洪填充算法)填充，具体地，判断该原始聚类中心附近是否存在深度值满足第一预设条件(可以根据具体应用自定义设置)并且与当前聚类中心之间的距离满足第二预设条件(可以根据具体应用自定义设置)的新的聚类中心，其中，新的聚类中心与原始聚类中心同属上述识别框表示的已识别障碍物的内点。

之后，遍历各个新的聚类中心，重复执行上述聚类操作，并判断经由聚类操作是否产生新的聚类中心，如此继续对深度图像进行聚类，直至没有产生新的聚类中心，以实现对该已识别障碍物的聚类，获得所有被标识为上述已识别障碍物内点的深度点，进而获得包括所有被标识为上述已识别障碍物内点的深度点的已识别点集合。

进一步地，在该步骤中，可能存在一较佳的原始聚类中心，根据该原始聚类中心对深度图像进行聚类得到初始已识别点集合后，根据其他原始聚类中心进行聚类操作，无法产生新的聚类中心，也即，初始已识别点集合即为最终获得的已识别点集合。

当然，在该步骤中，也可能存在这样的原始聚类中心，根据该原始聚类中心对深度图像进行聚类后得到初始已识别点集合后，根据另一原始聚类中心进行聚类操作，产生了新的聚类中心，也即，对初始已识别点集合进行了更新，具体地，更新了并未包括所有实质上属于上述已识别障碍物内点的深度点的已识别点集合。例如，上述已识别障碍物是树木，其中间躯干部分被遮挡，那么以遮挡部分以下的深度点为聚类中心进行聚类时，其遮挡部分以上的部分可能因为与聚类中心之间的距离不满足第二预设条件而未被标识为树木的内点，但实际上遮挡部分以上的部分仍应当属于树木的内点。于是，本实施例能够使得对深度图像进行聚类后所获得的已识别点集合包括所有实质上属于上述已识别障碍物内点的深度点。

此外，已经在深度图像中匹配出与RGB图像中识别框对应的已识别点集合，那么，可以将已识别点集合标识为其对应的识别框所表示的障碍物，实现对障碍物种类的标识。

进一步地，在本实施例中，还可以根据已识别点集合，结合双目相机的参数等，将其中的深度点转换成三维坐标，从而标识该已识别点集合所标识的障碍物的位置信息，进而可以确定该障碍物的轮廓、体积等。

进一步地，在本实施例中，还可以输出已识别点集合，以及已识别点集合标识的障碍物、障碍物的位置信息。

在本实施例中，首先基于双目相机获得的一组RGB图像和深度图像，进而对RGB图像进行机器学习以获得包含障碍物的识别框，再根据识别框中的部分框内像素点在深度图像中确定原始聚类中心，对深度图像进行聚类，以获得与RGB图像中识别框匹配的深度图像中的已识别点集合，如此十分准确地标识出图像中的障碍物种类、位置、体积等。

实施例2

本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现 (例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例 1提供的基于双目相机的障碍物标识方法。

图3示出了本实施例的硬件结构示意图，如图3所示，电子设备9具体包括：

至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：

总线93包括数据总线、地址总线和控制总线。

存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。

存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具 925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的基于双目相机的障碍物标识方法。

电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例3

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1提供的基于双目相机的障碍物标识方法。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中的基于双目相机的障碍物标识方法。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

实施例4

本实施例提供的基于双目相机的障碍物标识方法是对实施例1的进一步改进，图4示出了本实施例的流程图。参见图4，本实施例较之实施例1的改进在于，在步骤S4之后，本实施例的障碍物标识方法还包括：

S5、对深度图像中不包括在所有已识别点集合中的深度点进行聚类，获得至少一个未识别点集合，并将未识别点集合标识为未知障碍物；

在该步骤之前，已经就RGB图像各识别框在深度图像中进行聚类得到各已识别点集合，从而对于深度图像中不包括在已识别点集合中的深度点，其在RGB图像中对应位置处的像素点即为经机器学习而未被识别出来的像素点，进而，在深度图像中，对于这些深度点进行聚类，可以将深度图像中未被识别出来的获得以未识别点集合的形式表现出来。之后，在该步骤中，可以将未识别点集合标识为未知障碍物，实现对未知障碍物的标识。

进一步地，在本实施例中，还可以根据未识别点集合，结合双目相机的参数等，将其中的深度点转换成三维坐标，从而标识该未识别点集合所标识的未知障碍物的位置信息，进而可以确定该未知障碍物的轮廓、体积等。

进一步地，在本实施例中，还可以输出未识别点集合，以及未识别点集合标识的未知获得、未知获得的位置信息。

本实施例在实施例1的基础上，对深度图像中不包括在已识别点集合中的深度点进行聚类，以获得标识为未知获得的未识别点集合，进而可以十分准确地标识出图像中未知障碍物的位置、体积等。

实施例5

本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现 (例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例 4提供的基于双目相机的障碍物标识方法。

实施例6

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例4提供的基于双目相机的障碍物标识方法。

实施例7

本实施例提供一种基于双目相机的障碍物标识系统，图5示出了本实施例的模块示意图。参见图5，本实施例的障碍物标识系统包括：双目相机1、处理模块2、学习模块3、聚类模块4、位置信息标识模块5、输出模块6。具体地：

双目相机1用于拍摄获得原始图像，处理模块2用于处理原始图像，获得RGB图像和深度图像。其中，双目相机1中的左目相机用于拍摄以获得左图，右目相机同时用于拍摄以获得右图，该左图和右图经匹配之后，得到一组RGB图像和深度图像，从而同组RGB图像和深度图像中，RGB图像的像素点与深度图像的深度点的位置相对应。

学习模块3用于对RGB图像进行机器学习，获得至少一个识别框。具体地，可以利用机器学习的方法训练分类网络，对RGB图像进行行人、车辆、垃圾箱、树木等常见障碍物的识别，进而可以用识别框来框示已识别的障碍物，其中，每一识别框包含RGB图像中的一个障碍物并且包含多个框内像素点。

聚类模块4用于对于每一识别框，从所有框内像素点中选取若干框内像素点，根据选取的所有框内像素点在深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对深度图像进行聚类，获得多个深度点，进而获得包括多个深度点的已识别点集合，将已识别点集合标识为识别框所表示的障碍物。参见图5，聚类模块4包括：深度值序列获取单元41、深度均值计算单元42、原始聚类中心确定单元43、聚类单元44、判断单元45。

其中，深度值序列获取单元41用于获取选取的所有框内像素点在深度图像中对应位置处的深度点的深度值的序列，深度均值计算单元42用于从序列中选取若干深度值并计算选取的所有深度值的深度均值，原始聚类中心确定单元43用于确定与框内像素点位置对应，并且深度值与深度均值的差值在阈值范围内的所有深度点为原始聚类中心。

具体地，可以从所有框内像素点中随机选取1/3的框内像素点，深度值序列获取单元41获取选取的所有框内像素点在深度图像中对应位置处的深度点，进而获得上述所有深度点的深度值的序列，深度均值计算单元42再通过该序列来计算多个深度点的深度均值(深度值的平均值)。更进一步地，深度均值计算单元42中的排序子单元可以按照深度值的大小对该序列进行排序，深度均值计算单元42中的计算子单元再从经排序的序列中选取若干相邻的深度值(诸如该序列中间40％的深度值)，进而计算最终选取的所有深度值的深度均值。由此，可以去除掉一些没有深度值的深度点，也可以去除掉一些深度值过大的深度点(诸如识别框中作为背景的深度点)，以此来提高深度均值的参考价值，进而根据框内像素点的像素位置以及预设的阈值范围(可以根据具体应用自定义设置)来获得更加准确的原始聚类中心。

聚类单元44用于对于每一原始聚类中心，执行聚类操作，判断单元45 用于判断经由聚类操作是否产生新的聚类中心，若判断为是，则调用聚类单元44对每一新的聚类中心均重复执行上述聚类操作，并继续执行判断动作；若判断为否，则停止调用聚类单元44。

具体地，聚类单元44基于原始聚类中心对深度图像进行聚类时，该原始聚类中心即为上述识别框表示的已识别障碍物的内点，可以对该原始聚类中心附近的深度点进行FLOODFILL(泛洪填充算法)填充，具体地，判断单元45判断该原始聚类中心附近是否存在深度值满足第一预设条件(可以根据具体应用自定义设置)并且与当前聚类中心之间的距离满足第二预设条件(可以根据具体应用自定义设置)的新的聚类中心，其中，新的聚类中心与原始聚类中心同属上述识别框表示的已识别障碍物的内点。

之后，遍历各个新的聚类中心，聚类单元44重复执行上述聚类操作，判断单元45判断经由聚类操作是否产生新的聚类中心，如此继续对深度图像进行聚类，直至没有产生新的聚类中心，以实现对该已识别障碍物的聚类，获得所有被标识为上述已识别障碍物内点的深度点，进而获得包括所有被标识为上述已识别障碍物内点的深度点的已识别点集合。

进一步地，可能存在一较佳的原始聚类中心，根据该原始聚类中心对深度图像进行聚类得到初始已识别点集合后，根据其他原始聚类中心进行聚类操作，无法产生新的聚类中心，也即，初始已识别点集合即为最终获得的已识别点集合。

当然，也可能存在这样的原始聚类中心，根据该原始聚类中心对深度图像进行聚类后得到初始已识别点集合后，根据另一原始聚类中心进行聚类操作，产生了新的聚类中心，也即，对初始已识别点集合进行了更新，具体地，更新了并未包括所有实质上属于上述已识别障碍物内点的深度点的已识别点集合。例如，上述已识别障碍物是树木，其中间躯干部分被遮挡，那么以遮挡部分以下的深度点为聚类中心进行聚类时，其遮挡部分以上的部分可能因为与聚类中心之间的距离不满足第二预设条件而未被标识为树木的内点，但实际上遮挡部分以上的部分仍应当属于树木的内点。于是，本实施例能够使得对深度图像进行聚类后所获得的已识别点集合包括所有实质上属于上述已识别障碍物内点的深度点。

此外，已经在深度图像中匹配出与RGB图像中识别框对应的已识别点集合，那么，可以将已识别点集合标识为其对应的识别框所表示的障碍物，实现对障碍物种类的标识。

进一步地，在本实施例中，位置信息标识模块5可以根据已识别点集合，结合双目相机的参数等，将其中的深度点转换成三维坐标，从而标识该已识别点集合所标识的障碍物的位置信息，进而可以确定该障碍物的轮廓、体积等。

进一步地，在本实施例中，输出模块6可以输出已识别点集合，以及已识别点集合标识的障碍物、障碍物的位置信息。

在本实施例中，首先基于双目相机获得的一组RGB图像和深度图像，进而对RGB图像进行机器学习以获得包含障碍物的识别框，再根据识别框中的部分框内像素点在深度图像中确定原始聚类中心，对深度图像进行聚类，以获得与RGB图像中识别框匹配的深度图像中的已识别点集合，如此十分准确地标识出图像中的障碍物种类、位置、体积等。

实施例8

本实施例提供的基于双目相机的障碍物标识系统是对实施例7的进一步改进。

在实施例7的基础上，已经就RGB图像各识别框在深度图像中进行聚类得到各已识别点集合，从而对于深度图像中不包括在已识别点集合中的深度点，其在RGB图像中对应位置处的像素点即为经机器学习而未被识别出来的像素点，进而，在本实施例中，聚类模块4还用于对深度图像中的这些深度点进行聚类，以将深度图像中未被识别出来的障碍物以未识别点集合的形式表现出来，并将未识别点集合标识为未知障碍物，实现对未知障碍物的标识。

进一步地，在本实施例中，位置信息标识模块5还可以根据未识别点集合，结合双目相机的参数等，将其中的深度点转换成三维坐标，从而标识该未识别点集合所标识的未知障碍物的位置信息，进而可以确定该未知障碍物的轮廓、体积等。

进一步地，在本实施例中，输出模块6还可以输出未识别点集合，以及未识别点集合标识的未知获得、未知获得的位置信息。

本实施例在实施例7的基础上，对深度图像中不包括在已识别点集合中的深度点进行聚类，以获得标识为未知获得的未识别点集合，进而可以十分准确地标识出图像中未知障碍物的位置、体积等。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (16)

1.一种基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法包括：

双目相机拍摄获得原始图像；

处理所述原始图像，获得RGB图像和深度图像，所述RGB图像的像素点与所述深度图像的深度点的位置相对应；

对所述RGB图像进行机器学习，获得至少一个识别框，每一识别框包含所述RGB图像中的一个障碍物并且包含多个框内像素点；

对于每一识别框，从所有框内像素点中选取若干框内像素点，根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述识别框所表示的障碍物。

2.如权利要求1所述的基于双目相机的障碍物标识方法，其特征在于，所述根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心的步骤具体包括：

获取选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值的序列；

从所述序列中选取若干深度值并计算选取的所有深度值的深度均值；

确定与框内像素点位置对应，并且深度值与所述深度均值的差值在阈值范围内的所有深度点为原始聚类中心。

3.如权利要求2所述的基于双目相机的障碍物标识方法，其特征在于，所述从所述序列中选取若干深度值并计算选取的所有深度值的深度均值的步骤具体包括：

按照深度值的大小对所述序列进行排序；

从经排序的序列中选取若干相邻的深度值并计算选取的所有深度值的深度均值。

4.如权利要求2所述的基于双目相机的障碍物标识方法，其特征在于，所述对所述深度图像进行聚类的步骤具体包括：

对于每一原始聚类中心，均执行聚类操作；

判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；

若是，则对每一新的聚类中心均重复执行所述聚类操作，并返回所述判断经由所述聚类操作是否产生新的聚类中心的步骤。

5.如权利要求1所述的基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法还包括：

对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，以获得至少一个未识别点集合；

将所述未识别点集合标识为未知障碍物。

6.如权利要求5所述的基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法还包括：

根据已识别点集合来进一步标识所述已识别点集合标识的障碍物的位置信息；

根据未识别点集合来进一步标识所述未识别点集合标识的未知障碍物的位置信息。

7.如权利要求6所述的基于双目相机的障碍物标识方法，其特征在于，所述障碍物标识方法还包括：

输出已识别点集合，以及所述已识别点集合标识的障碍物、障碍物的位置信息；

输出未识别点集合，以及所述未识别点集合标识的未知障碍物、未知障碍物的位置信息。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的基于双目相机的障碍物标识方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于双目相机的障碍物标识方法的步骤。

10.一种基于双目相机的障碍物标识系统，其特征在于，所述障碍物标识系统包括：

双目相机，用于拍摄获得原始图像；

处理模块，用于处理所述原始图像，获得RGB图像和深度图像，所述RGB图像的像素点与所述深度图像的深度点的位置相对应；

学习模块，用于对所述RGB图像进行机器学习，获得至少一个识别框，每一识别框包含所述RGB图像中的一个障碍物并且包含多个框内像素点；

聚类模块，对于每一识别框，用于从所有框内像素点中选取若干框内像素点，根据选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值来确定原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述识别框所表示的障碍物。

11.如权利要求10所述的基于双目相机的障碍物标识系统，其特征在于，所述聚类模块包括：

深度值序列获取单元，用于获取选取的所有框内像素点在所述深度图像中对应位置处的深度点的深度值的序列；

深度均值计算单元，用于从所述序列中选取若干深度值并计算选取的所有深度值的深度均值；

原始聚类中心确定单元，用于确定与框内像素点位置对应，并且深度值与所述深度均值的差值在阈值范围内的所有深度点为原始聚类中心。

12.如权利要求11所述的基于双目相机的障碍物标识系统，其特征在于，所述深度均值计算单元包括：

排序子单元，用于按照深度值的大小对所述序列进行排序；

计算子单元，用于从经排序的序列中选取若干相邻的深度值并计算选取的所有深度值的深度均值。

13.如权利要求11所述的基于双目相机的障碍物标识系统，其特征在于，所述聚类模块还包括：

聚类单元，对于每一原始聚类中心，均用于执行聚类操作；

判断单元，用于判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；

若是，则调用所述聚类单元对每一新的聚类中心均重复执行所述聚类操作，并继续执行判断动作。

14.如权利要求10所述的基于双目相机的障碍物标识系统，其特征在于，所述聚类单元还用于对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，以获得至少一个未识别点集合，并将所述未识别点集合标识为未知障碍物。

15.如权利要求14所述的基于双目相机的障碍物标识系统，其特征在于，所述障碍物标识系统还包括：

位置信息标识模块，用于根据已识别点集合来进一步标识所述已识别点集合标识的障碍物的位置信息，以及用于根据未识别点集合来进一步标识所述未识别点集合标识的未知障碍物的位置信息。

16.如权利要求15所述的基于双目相机的障碍物标识系统，其特征在于，所述障碍物标识系统还包括：

输出模块，用于输出已识别点集合，以及所述已识别点集合标识的障碍物、障碍物的位置信息，以及用于输出未识别点集合，以及所述未识别点集合标识的未知障碍物、未知障碍物的位置信息。