CN109740443A - 检测障碍物的方法、装置及运动设备 - Google Patents

Abstract

本发明公开了一种检测障碍物的方法、装置及运动设备，该方法包括：获取摄像装置同时采集的可见光图像和深度图像；识别所述可见光图像中存在障碍物的障碍区域，并获得所述障碍区域在所述可见光图像中的位置坐标；根据所述位置坐标，以及所述可见光图像与所述深度图像间的位置映射关系，获取所述障碍区域在所述深度图像中的映射位置；根据所述映射位置，计算所述障碍区域在所述深度图像中的深度值；根据所述障碍区域在所述深度图像中的深度值，获得所述障碍物的距离检测结果。

Description

检测障碍物的方法、装置及运动设备

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种检测障碍物的方法、一种检测障碍物的装置、及一种运动设备。

背景技术

在运动控制领域，需要通过障碍物检测进行被控运动物体的路径规划，例如，具有自动驾驶功能的车辆需要在行驶过程中进行障碍物的检测，以保证车辆能够正常行驶，避免发生行驶事故。

现有的障碍物检测方法大多是基于雷达等距离感应装置来获取被控运动物体与障碍物间的距离，进而实现避障控制，该种检测方法存在硬件成本高及检测精度受外界环境影响较大的问题，因此，有必要提供一种用于检测障碍物的新的技术方案。

发明内容

本发明实施例的一个目的是提供一种利用可见光图像和深度图像进行障碍物检测的新技术方案。

根据本发明的第一方面，提供了一种检测障碍物的方法，其包括：

获取摄像装置同时采集的可见光图像和深度图像；

识别所述可见光图像中存在障碍物的障碍区域，并获得所述障碍区域在所述可见光图像中的位置坐标；

根据所述位置坐标，以及所述可见光图像与所述深度图像间的位置映射关系，获取所述障碍区域在所述深度图像中的映射位置；

根据所述映射位置，计算所述障碍区域在所述深度图像中的深度值；

根据所述障碍区域在所述深度图像中的深度值，获得所述障碍物的距离检测结果。

可选地，所述识别所述可见光图像中存在障碍物的障碍区域的步骤，包括：

提取所述可见光图像中的障碍物特征，生成图像特征图；

基于所述图像特征图，获得所述可见光图像中存在障碍物特征的至少一个预测区域，形成预测区域集合；

计算每一所述预测区域对应每一预训练障碍物类别的类别概率；

根据所述类别概率，得到所述可见光图像中存在障碍物的障碍区域。

可选地，所述根据所述类别概率，得到所述可见光图像中存在障碍物的障碍区域的步骤，包括：

在所述预测区域集合中，筛选出最大类别概率对应的第一预测区域为第一障碍区域；

获得所述可见光图像中存在障碍物的障碍区域至少包括所述第一障碍区域。

可选地，所述根据所述类别概率，得到所述可见光图像中存在障碍物的障碍区域的步骤，还包括：

在获得所述第一预测区域为第一障碍区域之后，遍历所述预测区域集合中除所述第一预测区域之外的其余预测区域，计算每一其余预测区域与所述第一预测区域之间的重叠面积占所述第一预测区域的面积的比例；

对所述预测区域集合进行过滤，去除所述第一预测区域以及去除所述其余预测区域中使得所述比例大于设定阈值的预测区域，得到过滤后的预测区域集合；

在过滤后的预测区域集合中，筛选出最大类别概率对应的第二预测区域为第二障碍区域；

获得所述可见光图像中存在障碍物的障碍区域还包括所述第二障碍区域。

可选地，所述方法还包括：

获取所述障碍区域对应的障碍物类别，获得所述障碍物的类别检测结果。

可选地，所述方法还包括：

获取当前裁切参数；

根据所述当前裁切参数裁切所述可见光图像，以基于裁切后的可见光图像，执行所述识别所述可见光图像中存在障碍物的障碍区域及所述障碍区域对应的障碍物类别的步骤。

可选地，所述获取当前裁切参数的步骤，包括：

获取所述摄像装置相对被控运动物体的相对位置关系；

根据所述相对位置关系，获得所述当前裁切参数。

可选地，所述方法还包括：

响应于设置裁切参数的操作，提供设置入口；

获取通过所述设置入口输入的裁切参数；

更新所述当前裁切参数为所述输入的裁切参数。

可选地，所述获得所述障碍区域在所述可见光图像中的位置坐标的步骤，包括：

获取所述障碍区域的中心点在所述可见光图像中的位置坐标；

所述根据所述位置坐标，以及所述可见光图像与所述深度图像间的位置映射关系，获取所述障碍区域在所述深度图像中的映射位置的步骤，包括：

根据所述位置坐标和所述位置映射关系，将所述中心点映射至所述深度图像中，获得所述障碍区域在所述深度图像中的映射位置。

根据本发明的第二方面，还提供一种检测障碍物的装置，其包括存储器和处理器，所述存储器存储可执行指令，所述处理器用于根据所述指令的控制进行操作，以执行根据本发明第一方面中任一项所述的方法。

根据本发明的第三方面，还提供一种运动设备，其包括被控运动物体、摄像装置、运动控制装置及根据本发明第二方面中所述的检测障碍物的装置；

所述摄像装置安装在所述被控运动物体上，用于采集可见光图像和深度图像提供至所述检测障碍物的装置；

所述检测障碍物的装置用于将检测得到的检测结果输出至所述运动控制装置；

所述运动控制装置用于根据所述检测结果控制所述被控运动物体运动。

可选地，所述被控运动物体为车辆；

所述运动设备包括两个所述摄像装置，其中一个所述摄像装置安装在所述车辆的左侧后视镜上的背面上，另一个所述摄像装置安装在所述车辆的右侧后视镜的背面上。

本发明的一个有益效果在于，本发明实施例的方法利用可见光图像获取障碍区域，同时，利用同步获取的深度图像，获得障碍区域在深度图像中的映射位置的深度值，进而获得检测结果，以使运动控制装置能够根据该检测结果控制被控运动物体运动，实现对被控运动物体的自动运动控制。根据本实施例的方法基于图像检测技术实现障碍物检测，因此具有较低的硬件成本和较高的精确度。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明实施例的运动设备的示意性原理框图；

图2是根据本发明实施例的检测障碍物的方法的流程示意图；

图3是根据本发明另一实施例的检测障碍物的方法的流程示意图；

图4是根据本发明第三实施例的检测障碍物的方法的流程示意图；

图5是根据本发明第四实施例的检测障碍物的方法的流程示意图；

图6是根据本发明第五实施例的检测障碍物的方法的流程示意图；

图7是根据本发明一个例子的可见光图像的示意图；

图8是根据本发明一个例子的检测障碍物的方法的交互流程示意图；

图9是根据本发明实施例的检测障碍物的装置的硬件结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<设备实施例>

图1是根据本发明实施例的运动设备100的硬件配置的原理框图。

根据图1所示，运动设备100包括被控运动物体1000、摄像装置2000、运动控制装置3000以及检测障碍物的装置4000。

被控运动物体1000可以是具有自动驾驶功能的任意车辆，例如各种燃油车、各种电动车、及各种混合动力车型等。

被控运动物体1000也可以是各种机器人等，包括工业机器人、家用机器人，在此不做限定。

摄像装置2000安装在被控运动物体1000上，用于采集可见光图像和深度图像并提供至检测障碍物的装置4000。

该摄像装置2000可以包括深度摄像头，以至少采集深度图像。

摄像装置2000可以通过相同的摄像头同时采集可见光图像和深度图像，也可以通过不同的摄像头分别采集可见光图像和深度图像。

检测障碍物的装置4000用于将检测得到的所有检测结果输出至运动控制装置3000，以供运动控制装置3000根据这些检测结果确定运动控制策略，并基于该运动控制策略控制被控运动物体1000运动，进而避开障碍物。

在本实施例中，运动控制装置3000可以采用任意的避障算法确定该运动控制策略，在此不做任何限定。

在一个例子中，检测障碍物的装置4000可以设置在被控运动物体1000上，并与摄像装置2000建立有线或者无线连接，以获取摄像装置2000采集到的可见光图像和深度图像。

在一个例子中，检测障碍物的装置4000也可以根据使用场景需求而并非设置在被控运动物体上，并与摄像装置2000建立有线或者无线连接。

运动控制装置3000用于根据所有检测结果控制被控运动物体1000运动。

在一个例子中，运动控制装置3000可以设置在被控运动物体1000上。

在一个例子中，运动控制装置3000也根据使用场景需求而并非设置在被控运动物体1000上，并利用远距离通信手段或者近距离通信手段控制被控运动物体1000的运动。

在一个实施例中，如图1所示，检测障碍物的装置4000可以包括至少一个处理器4100和至少一个存储器4200。

本实施例中，检测障碍物的装置4000的存储器4200用于存储指令，该指令用于控制处理器4100进行操作以执行根据本发明任意实施例的检测障碍物的方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

参见图1所示，检测障碍物的装置4000还可以进一步包括接口装置4300、通信装置4400、显示装置4500、输入装置4600、扬声器4700、麦克风4800等等。

接口装置4300例如包括USB接口、耳机接口等。通信装置4400例如能够进行有线或无线通信，通信装置4400可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置4400也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置4500例如是液晶显示屏、触摸显示屏等。输入装置4600例如可以包括触摸屏、键盘等。检测障碍物的装置4000可以通过扬声器4700输出语音信息，例如输出障碍物检测结果。检测障碍物的装置4000可以通过麦克风4800获取用户指令等。

尽管在图1中示出了检测障碍物的装置4000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，检测障碍物的装置4000只涉及存储器4200和处理器4100。

本实施例中的运动控制装置3000可以具有类似于检测障碍物的装置4000的硬件结构。

在一个例子中，检测障碍物的装置4000与运动控制装置3000可以是相互单独的控制盒或者电路板等。

在一个例子中，检测障碍物的装置4000与运动控制装置3000也可以集成在一个控制盒或者电路板上，且二者可以共用至少部分处理器和/或至少部分存储器。

本实施例中，摄像装置2000安装在被控运动物体1000上，用于采集可见光图像和深度图像提供至检测障碍物的装置4000，检测障碍物的装置4000则基于该可见光图像和深度图像实施根据本发明任意实施例的方法，以得到对于障碍物的检测结果，并将这些检测结果输出至运动控制装置3000，运动控制装置3000则根据所有检测结果控制被控运动物体1000运动。

在一个例子中，被控运动物体1000可以为车辆，运动设备100还可以包括两个摄像装置2000，其中一个摄像装置2000安装在车辆的左侧后视镜上的背面上，另一个摄像装置2000安装在车辆的右侧后视镜的背面上。

在该例子中，对于两个摄像装置2000各自提供的图像(包括可见光图像和深度图像)，检测障碍物的装置4000将分别根据本发明任意实施例的检测障碍物的方法获得各自的检测结果，并将各自的检测结果提供给运动控制装置3000进行被控运动物体1000的运动控制。

<方法实施例>

图2是根据本发明实施例的检测障碍物的方法的流程示意图，该方法可以由图1中的检测障碍物的装置4000实施。

根据图2所示，本实施例的检测障碍物的方法可以包括如下步骤：

步骤S2100，检测障碍物的装置4000获取摄像装置2000同时采集的可见光图像和深度图像。

可见光图像为人的肉眼能够感知到的电磁波波长内的图像，通常，人的肉眼能够感知到的电磁波波长可以在400nm～760nm之间，也可以在380nm～780nm，在此不做限定。

以上可见光图像可以基于RGB色彩模式显示该可见光图像中的任意一个像素点，在RGB色彩模式中，任意一个像素点的像素值例如可以使用一个32位二进制数进行表示，其中，前8位二进制数用于表示该像素点的红(R)色通道像素值，接下来的8位二进制数用于表示该像素点的绿(G)色通道像素值，之后的8位二进制数用于表示该像素点的蓝(B)色通道像素值，后8位用于表示该像素点的透明度。

深度图像中的每一个像素点的像素值即为深度值，该深度值表示摄像装置2000距离拍摄场景中的对应该像素点的实物特征的真实距离。

在步骤S2100中，摄像装置2000在向检测障碍物的装置4000提供可见光图像和深度图像时，可以携带表示图像采集时间的时间戳，检测障碍物的装置4000可以根据时间戳识别出同时采集的一对可见光图像和深度图像。

在步骤S2100中，摄像装置2000也可以在向检测障碍物的装置4000提供可见光图像和深度图像时，按照设定的先后顺序分组发送，其中，同时采集的可见光图像和深度图像为一组图像，检测障碍物的装置4000可以根据获取图像的时序识别出各组图像。

步骤S2200，检测障碍物的装置4000识别可见光图像中存在障碍物的障碍区域，并获得障碍区域在可见光图像中的位置坐标。

在步骤S2200中，识别可见光图像中存在障碍物的障碍区域用于确定障碍物所在的位置区域。例如，该障碍区域对应障碍物的外接矩形框。

以可见光图像中存在两个障碍物，分别为栏杆和行人为例，通过该步骤S2200可以识别出两个障碍区域，并分别获得该两个障碍区域在可见光图像中的位置坐标。

步骤S2300，检测障碍物的装置4000根据位置坐标，以及可见光图像与深度图像间的位置映射关系，获取障碍区域在深度图像中的映射位置。

仍以可见光图像中存在两个障碍物，分别为栏杆和行人为例，通过该步骤S2300可以根据识别出的两个障碍区域在可见光图像中的位置坐标，以及可见光图像与深度图像间的位置映射关系，分别得到两个障碍区域在深度图像中对应的映射位置。

步骤S2400，检测障碍物的装置4000根据映射位置，计算障碍区域在深度图像中的深度值。

在步骤S2400中，障碍区域在深度图像中的深度值即为障碍区域距离拍摄装置2000的真实距离。

仍以可见光图像中存在两个障碍物，分别为栏杆和行人为例，通过步骤S2300识别出两个障碍区域，通过该步骤S2400将分别得到该两个障碍区域在深度图像中的深度值。

步骤S2500，检测障碍物的装置4000根据障碍区域在深度图像中的深度值，获得障碍物的距离检测结果。

仍以可见光图像中存在两个障碍物，分别为栏杆和行人为例，通过步骤S2400可以计算得到对应栏杆的障碍区域在深度图像中的深度值为X，及对应行人的障碍区域在深度图像中的深度值为Y，在步骤S2500中，可以根据深度值X获得对应栏杆的距离检测结果，以及根据深度值Y获得对应行人的距离检测结果。

在一个例子中，所获得的障碍物的距离检测结果可以包括障碍物至摄像装置2000的距离，即障碍区域在深度图像中的深度值。仍以可见光图像中存在两个障碍物，分别为栏杆和行人为例，在步骤S2500，将获得障碍物的距离检测结果包括拍摄装置2000与“栏杆”之间的距离，即深度值X所表示的距离，及拍摄装置2000与“行人”之间的距离，即深度值Y所表示的距离。

在另一个例子中，所获得的障碍物的距离检测结果可以包括被控运动物体1000与障碍物在被控运动物体1000的当前运动方向上的距离。这样，运动控制装置3000可以直接根据该距离检测结果对被控运动物体1000进行准确的运动控制，有利于提高检测障碍物的准确性，并减少被控运动物体1000在执行避障算法时的数据处理量。

在该例子中，检测障碍物的装置4000可以获取摄像装置2000相对被控运动物体1000的相对位置关系；并根据该相对位置关系和深度值，获得被控运动物体1000与障碍物在被控运动物体1000的当前运动方向上的距离。

该相对位置关系可以包括摄像装置2000在被控运动物体1000上的安装位置，及摄像装置2000的光轴与被控运动物体1000的坐标系的三个坐标轴间的夹角，其中，该坐标系的Y方向与被控运动物体1000的当前运动方向一致，坐标系的Z方向沿竖直方向，且坐标系的X方向与Y方向和Z方向正交，而安装位置也可以用摄像装置2000在该坐标系中的位置坐标表示。

该例子中，由于根据相对位置关系能够获得摄像装置2000与被控运动物体1000的任意点间的距离，这样，在已知摄像装置2000沿自身光轴方向与障碍物间的距离(该障碍物所在障碍区域的深度值)的情况下，便可获得被控运动物体1000与障碍物在被控运动物体1000的当前运动方向上的距离。

根据本发明该实施例，其利用可见光图像获取障碍区域，同时，利用同步获取的深度图像，获得障碍区域在深度图像中的映射位置的深度值，进而获得检测结果，以使运动控制装置能够根据该检测结果控制被控运动物体运动，实现对被控运动物体的自动运动控制。根据本实施例的方法基于图像检测技术实现障碍物检测，因此具有较低的硬件成本和较高的精确度。

图3是根据本发明另一实施例的检测障碍物的方法的流程示意图。

根据图3所示，在实施例中，上述步骤S2200中识别可见光图像中存在障碍物的障碍区域可以进一步包括：

步骤S2210，检测障碍物的装置4000提取可见光图像中的障碍物特征，生成图像特征图。

在步骤S2210中，可以通过卷积神经网络对可见光图像进行障碍物特征提取生成该图像特征图。

步骤S2220，检测障碍物的装置4000基于图像特征图，获得可见光图像中存在障碍物特征的至少一个预测区域，形成预测区域集合。

该预测区域为可见光图像中可能存在障碍物的区域。

步骤S2230，检测障碍物的装置4000计算每一预测区域对应每一预训练障碍物类别的类别概率。

根据该步骤S2230，识别过程所基于的模型预训练有多个障碍物类别，因此，可以计算得到每一预测区域对应每一预训练障碍物类别的类别概率。

例如，识别过程所基于的模型预训练有100个障碍物类别，通过步骤S2220获得3个预测区域，则在步骤S2230中，将针对每一预测区域计算得到100个类别概率，一共计算得到300个类别概率。

步骤S2240，检测障碍物的装置4000根据类别概率，得到可见光图像中存在障碍物的障碍区域。

例如，该例子中可以基于大型复杂公开数据集(比如Image net数据集)预训练的深度学习网络模型进行识别。该深度学习网络模型可以包括两个卷积神经网络，一个是区域生成网络(Region Proposal Network,RPN)，另一个是分类网络，两个网络共用特征提取结构，即共用卷积层，通过该特征提取结构对可见光图像进行卷积处理可以实现特征提取，得到图像特征图；进一步地，在该图像特征图上，区域生成网络使用一个窗口在图像特征图上滑动遍历卷积，将局部的特征图像转换成低维特征，预测得到存在障碍物特征的至少一个预测区域；之后，再通过分类网络对预测网络进行分类计算，得到每一预测区域对应每一预训练障碍物类别的类别概率。

又例如，该例子也可以通过选择性搜索网络(Selective Search)在图像特征图的基础上预测得到存在障碍物特征的至少一个预测区域。

本实施例先基于图像特征图得到可能包含障碍物的预测区域，再通过对预测区域处理得到存在障碍物的障碍区域，这不仅可以提高障碍物检测的准确性，而且还可以通过缩短识别时间来进一步提高障碍物检测的实时性。

图4是根据本发明另一实施例的检测障碍物的方法的流程示意图。

根据图4所示，在实施例中，上述步骤S2240中根据类别概率，得到可见光图像中存在障碍物的障碍区域可以进一步包括：

步骤S2241，检测障碍物的装置4000在预测区域集合中，筛选出最大类别概率对应的第一预测区域为第一障碍区域。

例如，预测区域集合中共有4个预测区域，每一预测区域具有对应100个障碍物类别的100个类别概率，则可以先确定每一预测区域对应的障碍物类别分别为各自的最大类别概率表示的障碍物类别，其中，预测区域A的最大类别概率为0.98，表示的障碍物类别为“栏杆”，预测区域B的最大类别概率为0.93，表示的障碍物类别为“栏杆”，预测区域C的最大类别概率为0.96，表示的障碍物类别仍为“行人”，预测区域D的最大类别概率为0.95，表示的障碍物类别为“行人”，则在该步骤S2241，将筛选出最大类别概率0.98对应的预测区域A为第一预测区域，也即为第一障碍区域。

步骤S2242，检测障碍物的装置4000获得可见光图像中存在障碍物的障碍区域至少包括第一障碍区域。

本实施例基于最大类别概率从预测区域中筛选出高概率存在障碍物的障碍区域，这有利于缩减识别时间，提高障碍物检测的实时性。

图5是根据本发明另一实施例的检测障碍物的方法的流程示意图。

根据图5所示，在实施例中，上述步骤S2240中根据类别概率，得到可见光图像中存在障碍物的障碍区域还可以进一步包括：

步骤S2243，检测障碍物的装置4000在获得第一预测区域为第一障碍区域之后，遍历预测区域集合中除第一预测区域之外的其余预测区域，计算每一其余预测区域与第一预测区域之间的重叠面积占第一预测区域的面积的比例。

例如，继续步骤S2241中的举例说明，遍历预测区域集合中除第一预测区域之外的其余预测区域，包括预测区域B、预测区域C和预测区域D，计算预测区域B与第一预测区域之间的重叠面积占第一预测区域的面积的比例为S1，计算预测区域C与第一预测区域之间的重叠面积占第一预测区域的面积的比例为S2，及计算预测区域D与第一预测区域之间的重叠面积占第一预测区域的面积的比例为S3。

步骤S2244，检测障碍物的装置4000对预测区域集合进行过滤，去除第一预测区域以及去除其余预测区域中使得比例大于设定阈值的预测区域，得到过滤后的预测区域集合。

例如，继续步骤S2243中的举例说明，比例S1大于设定阈值，比例S2和比例S3均小于或者等于设定阈值，则根据该步骤S2244，得到过滤后的预测区域集合将包括预测区域C和预测区域D。

该设定阈值可以根据可见光图像的尺寸、使用场景及两个不同类别的障碍物在图像上重叠又能加以区分开的合理重叠面积确定。

例如，该设定阈值可以在0.5-0.7之间。

步骤S2245，检测障碍物的装置4000在过滤后的预测区域集合中，筛选出最大类别概率对应的第二预测区域为第二障碍区域。

例如，继续步骤S2244中的举例说明，在该步骤S2245中，确定预测区域C的最大类别概率0.96为过滤后的预测区域集合中的最大类别概率，因此，确定预测区域C为第二预测区域，即为第二障碍区域。

步骤S2246，检测障碍物的装置4000获得可见光图像中存在障碍物的障碍区域还包括第二障碍区域。

根据本发明实施例，可以以简单有效的方式确定可见光图像中存在的两个以上障碍物，以实现对可见光图像中存在的两个以上障碍物进行检测的目的。

另外，在步骤S2246之后，如果过滤后的预测区域集合中除第二预测区域之外还有其余预测区域，则可以参照图5所示实施例，继续过滤预测区域集合以筛选出存在障碍物的其他障碍物区域，直至最终过滤后的预测区域集合中没有预测区域为止。

例如，继续步骤S2246中的举例说明，该步骤S2246后，遍历过滤后的预测区域集合中除第二预测区域之外的其余预测区域仅包括预测区域D，计算预测区域D与第二预测区域之间的重叠面积占第二预测区域的比例为S4，如果该比例S4大于设定阈值，则进一步过滤预测区域集合后将不具有任何预测区域，识别结束；如果该比例S4小于或者等于设定阈值，则进一步过滤预测区域集合后仅剩预测区域D，其将被确定为第三障碍区域，识别结束。

在一个实施例中，本发明的检测障碍物的方法还可以包括：获取障碍区域对应的障碍物类别，获得障碍物的类别检测结果。

在该实施例中，识别障碍区域对应的障碍物类别用于确定障碍区域中障碍物的具体类别。

该障碍物类别的细化程度取决于识别所基于的模型的训练精度，例如，基于模型可以识别到障碍物类别为“栏杆”，如果识别所基于的模型对不同种类的栏杆均进行了训练，则基于模型可以识别到障碍物类别为“防护栏”等。

以可见光图像中存在两个障碍物，分别为栏杆和行人为例，通过该实施例可以识别出一个障碍区域对应的障碍物类别为栏杆，另一个障碍区域对应的障碍物类别为行人。

在一个例子中，获取障碍区域对应的障碍物类别，获得障碍物的类别检测结果可以包括：根据类别概率，得到可见光图像中存在障碍物的障碍区域及障碍区域对应的障碍物类别。

在一个例子中，参照图4所示实施例，获取障碍区域对应的障碍物类别，获得障碍物的类别检测结果也可以包括：获得第一障碍区域对应的障碍物类别为最大类别概率对应的预训练障碍物类别，进而获得障碍区域对应的障碍物类别至少包括第一障碍区域对应的障碍物类别。

该例子中，确定第一障碍区域对应的障碍物类别也即为确定以上步骤S2241中筛选出的最大类别概率表示的障碍物类别为第一障碍区域对应的障碍物类别。继续步骤S2241中的举例说明，该例子中，确定最大类别概率0.98表示的障碍物类别“栏杆”为第一障碍区域对应的障碍物类别。

在一个例子中，参照图5所示实施例，获取障碍区域对应的障碍物类别，获得障碍物的类别检测结果还可以包括：获得第二障碍区域对应的障碍物类别为在过滤后的预测区域集合中筛选出的最大类别概率对应的预训练障碍物类别，获得障碍区域对应的障碍物类别还包括第二障碍区域对应的障碍物类别。

该例子中，确定第二障碍区域对应的障碍物类别也即为确定步骤S2245中筛选出的最大类别概率表示的障碍物类别为第二障碍区域对应的障碍物类别。继续步骤S2245中的举例说明，该例子中，确定过滤后的预测区域集合中的最大类别概率0.96表示的障碍物类别“行人”为第二障碍区域对应的障碍物类别。

根据本实施例的方法能够提供障碍物的类别，这有效丰富了对于障碍物的检测结果项，有利于对被控运动物体进行更准确、更灵活的运动控制。

图6是根据本发明另一实施例的检测障碍物的方法的流程示意图。

根据图6所示，本实施例中，本发明的检测障碍物的方法还可以包括如下步骤：

步骤S6100，检测障碍物的装置4000获取当前裁切参数。

裁切参数可以被预先获得而保存在检测障碍物的装置4000中，也可以是由检测障碍物的装置4000根据摄像装置2000与被控运动物体1000的相对位置自动计算，只要能保证裁切后的可见光图像中能够完整的看到障碍物的裁切参数均是可行的，在此不做限定。

步骤S6200，检测障碍物的装置4000根据当前裁切参数裁切可见光图像，以基于裁切后的可见光图像，执行识别可见光图像中存在障碍物的障碍区域及障碍区域对应的障碍物类别的步骤。

本发明该实施例基于对可见光图像进行裁切的基础上，才执行识别可见光图像的操作，从而可以减少数据处理量，提高处理速度。

在一个实施例中，上述步骤S6100中获取当前裁切参数可以进一步包括如下步骤：

步骤S6110，检测障碍物的装置4000获取摄像装置2000相对被控运动物体1000的相对位置关系。

摄像装置2000相对被控运动物体1000的相对位置关系可以用摄像装置2000在被控运动物体1000的坐标系中的空间坐标表示，该空间坐标可以包括摄像装置2000的三维位置坐标，及摄像装置2000的光轴与被控运动物体1000的坐标系的三个坐标轴间的夹角。

在一个例子中，被控运动物体1000为车辆，车辆上可以安装有两个摄像装置2000，可以是一个摄像装置2000安装在车辆的左侧后视镜上的背面上，另一个摄像装置2000安装在车辆的右侧后视镜的背面上，以全方位的检测车辆前方范围内的障碍物。在该例子中，可以根据摄像装置2000在车辆上的安装位置和安装方位，获得上述相对位置坐标。

在一个例子中，对于设置有云台的摄像装置2000，摄像装置2000可以通过云台调整光轴方向(拍摄方向)，此时，检测障碍物的装置4000还可以是从摄像装置2000获取摄像装置2000的运动参数，以确定上述相对位置关系。

步骤S6120，检测障碍物的装置4000根据相对位置关系，获得当前裁切参数。

裁切参数的设置要求为：使得裁切后的可见光图像包含可能成为该被控运动物体1000的障碍物的完整障碍区域，该完整障碍区域也即为可见光图像中的感兴趣区域，位于可见光图像的其他区域上的实物不会对被控运动物体1000造成影响，即不会成为被控运动物体1000的障碍物。

该步骤S6120中，检测障碍物的装置4000可以根据摄像装置2000与被控运动物体1000间的相对位置关系，确定感兴趣区域在可见光图像中的位置，进而确定当前裁切参数。

以被控运动物体为车辆为例，现有的道路中每条机动车道的宽度均是有规定的，例如，城市道路每条机动车道宽度可以为3.5米，又例如，交叉路口分流车道每条机动车车道宽度可以为2.3～2.5米，还例如，干线公路每条机动车车道宽度为3.75米。而现有的普通家用车辆宽度为2米左右，因此，可以基于以上情况，感兴趣区域在可见光图像中的宽度范围为0.2*Width～0.8*Width，高度范围为0.5*Height～0.9*Height，其中，Width为可见光图像的宽度，Height为可见光图像的高度，即，当前裁切参数为0.2、0.8、0.5、0.9。

该例子中，以裁切后的可见光图像中存在一个障碍物，该障碍物为栏杆为例，参照图7所示，可见光图像A为检测障碍物的装置4000从摄像装置2000中获取到的可见光图像，可见光图像A的宽度为Width，可见光图像A的长度为Height，以可见光图像A的左上角点坐标为坐标原点(0,0)，建立直角坐标系，其中，X轴为宽度方向，Y轴为高度方向。在图7所示的例子中，感兴趣区域C对应的图像即为裁切后的可见光图像A，为了裁切得到感兴趣区域对应的图像，在此，可以是先从可见光图像A的左侧0.2*Width的位置进行裁切，再从可见光图像A的右侧0.2*Width的位置裁切，接着从可见光图像A的上侧0.5*Height的位置裁切，最后从可见光图像A的下侧0.1*Height的位置裁切，得到裁切后的可见光图像A，从而，得到四个点a、b、c、d四个点的坐标值分别为a(0.2*Width，0.5*Height)、b(0.8*Width，0.5*Height)、c(0.2*Width，0.9*Height)以及d(0.8*Width，0.9*Height)，该四个坐标值唯一确定一个矩形方框，该矩形方框为裁剪后的可见光图像A，也即为感兴趣区域C对应的图像。

在一个实施例中，本发明的检测障碍物的方法还可以包括如下步骤：

步骤S3100，检测障碍物的装置4000响应于设置裁切参数的操作，提供设置入口。

该输入接口可以是输入框、下拉列表、语音输入等，例如，检测人员可以通过输入框输入裁切参数“0.2、0.8、0.5、0.9”；又例如，检测人员可以通过下拉列表选择裁切参数“0.2、0.8、0.5、0.9”；又例如，操作人员可以语音输入目标检测特征为裁切参数“0.2、0.8、0.5、0.9”。

步骤S3200，检测障碍物的装置4000获取通过设置入口输入的裁切参数。

步骤S3300，检测障碍物的装置4000更新当前裁切参数为输入的裁切参数。

例如，如果当前裁切参数为“0.2、0.8、0.5、0.9”，通过设置入口输入的裁切参数为“0.1、0.8、0.5、0.9”，在此，可以是将裁切参数“0.2、0.8、0.5、0.9”更新为“0.1、0.8、0.5、0.9”。

本发明该实施例提供人机交互接口，以支持检测人员根据当前的实际需要选择所需要的裁切参数，实现定制化设计。

在一个实施例中，以上步骤S2200中获得障碍区域在可见光图像中的位置坐标可以进一步包括：获取障碍区域的中心点在可见光图像中的位置坐标。

以上步骤S2300中根据位置坐标，以及可见光图像与深度图像间的位置映射关系，获取障碍区域在深度图像中的映射位置的步骤可以进一步包括：根据位置坐标和位置映射关系，将中心点映射至深度图像中，获得障碍区域在深度图像中的映射位置。

本发明该实施例是将障碍区域的中心点映射至深度图像中以获得深度值，即用障碍区域的中心点在深度图像中的深度值表示障碍区域在深度图像中的深度值，这有利于在不影响运动控制效果的同时，大大减少数据处理量，提高障碍物检测及避障的响应速度。

<例子>

图8是根据本发明一个例子的摄像装置2000、检测障碍物的装置4000、运动控制装置3000以及被控运动物体1000之间的交互流程示意图，该例子中，被控运动物体1000可以为车辆。

根据图8所示，该例子的检测障碍物的方法的交互过程可以包括如下步骤：

步骤S8110，摄像装置2000采集可见光图像和深度图像。

步骤S8120，摄像装置2000将该可见光图像和深度图像发送至检测障碍物的装置4000。

步骤S8210，检测障碍物的装置4000获取摄像装置2000同时采集的可见光图像和深度图像。

步骤S8220，检测障碍物的装置4000获取当前裁切参数，并根据当前裁切参数裁切可见光图像。

例如，当前的裁切参数分别为0.2、0.8、0.5、0.9，并根据该裁切参数裁切可见光图像。

步骤S8230，检测障碍物的装置4000基于裁切后的可见光图像，识别可见光图像中存在障碍物的障碍区域及障碍区域对应的障碍物类别，获得类别检测结果。

步骤S8240，检测障碍物的装置4000获得该障碍区域的中心点在可见光图像的位置坐标。

以裁切后的可见光图像中存在一个障碍物，该障碍物为栏杆为例，参照图7，裁切可见光图像A得到感兴趣区域C，可以在感兴趣区域C中识别出对应的“栏杆”的外接矩形框B之后，确定该外接矩形框B在感兴趣区域C的四个顶点的坐标值(x_min，y_min)，(x_min，y_max),(x_max，y_min)，(x_max，y_max)之后，进而获得该外接矩形框B在可见光图像A中的该四个顶点的坐标值(x1_min，y1_min)，(x1_min，y1_max),(x1_max，y1_min)，(x1_max，y1_max)，其中，x1_min＝x_min+0.2*Width，y1_min＝y_min+0.5*Height，x1_max＝x_max+0.2*Width，y1_max＝y_max+0.5*Height，在此，可以进一步获得该外接矩形框B的中心点在可见光图像中A的位置坐标为(x1_{min_center}，y1_{min_center})，其中，x1_{min_center}＝(x1_min+x1_max)/2，y1_{min_center}＝(y1_min+y1_max)/2。

步骤S8250，检测障碍物的装置4000根据位置坐标，以及可见光图像与深度图像间的位置映射关系，将中心点映射至深度图像中，获得障碍区域在深度图像中的映射位置。

步骤S8260，检测障碍物的装置4000根据映射位置，计算障碍区域在深度图像中的深度值。

步骤S8270，检测障碍物的装置4000根据障碍区域在深度图像中的深度值，以及摄像装置2000与被控运动物体1000间的相对位置关系，获得障碍物与被控运动物体在被控运动物体的当前运动方向上的距离，作为距离检测结果。

步骤S8280，检测障碍物的装置4000将检测得到的所有检测结果，包括以上类别检测结果和距离检测结果，输出至运动控制装置3000。

步骤S8310，运动控制装置3000根据获得的检测结果控制被控运动物体1000运动。

<装置实施例>

图9是根据本发明实施例的检测障碍物的装置的硬件结构示意图。

根据图9所示，本实施例的检测障碍物的装置4000可以包括处理器4100和存储器4200。

处理器4100可以是移动版处理器、台式机处理器、服务器处理器等。

存储器4200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。

本实施例中，检测障碍物的装置4000的存储器4200用于存储指令，该指令用于控制处理器4100进行操作以执行根据本发明任意实施例的检测障碍物的方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (12)

1.一种检测障碍物的方法，其特征在于，包括：

获取摄像装置同时采集的可见光图像和深度图像；

识别所述可见光图像中存在障碍物的障碍区域，并获得所述障碍区域在所述可见光图像中的位置坐标；

根据所述位置坐标，以及所述可见光图像与所述深度图像间的位置映射关系，获取所述障碍区域在所述深度图像中的映射位置；

根据所述映射位置，计算所述障碍区域在所述深度图像中的深度值；

根据所述障碍区域在所述深度图像中的深度值，获得所述障碍物的距离检测结果。

2.根据权利要求1所述的方法，其特征在于，所述识别所述可见光图像中存在障碍物的障碍区域的步骤，包括：

提取所述可见光图像中的障碍物特征，生成图像特征图；

基于所述图像特征图，获得所述可见光图像中存在障碍物特征的至少一个预测区域，形成预测区域集合；

计算每一所述预测区域对应每一预训练障碍物类别的类别概率；

根据所述类别概率，得到所述可见光图像中存在障碍物的障碍区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述类别概率，得到所述可见光图像中存在障碍物的障碍区域的步骤，包括：

在所述预测区域集合中，筛选出最大类别概率对应的第一预测区域为第一障碍区域；

获得所述可见光图像中存在障碍物的障碍区域至少包括所述第一障碍区域。

4.根据权利要求3所述的方法，其特征在于，所述根据所述类别概率，得到所述可见光图像中存在障碍物的障碍区域的步骤，还包括：

在获得所述第一预测区域为第一障碍区域之后，遍历所述预测区域集合中除所述第一预测区域之外的其余预测区域，计算每一其余预测区域与所述第一预测区域之间的重叠面积占所述第一预测区域的面积的比例；

对所述预测区域集合进行过滤，去除所述第一预测区域以及去除所述其余预测区域中使得所述比例大于设定阈值的预测区域，得到过滤后的预测区域集合；

在过滤后的预测区域集合中，筛选出最大类别概率对应的第二预测区域为第二障碍区域；

获得所述可见光图像中存在障碍物的障碍区域还包括所述第二障碍区域。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

获取所述障碍区域对应的障碍物类别，获得所述障碍物的类别检测结果。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

获取当前裁切参数；

根据所述当前裁切参数裁切所述可见光图像，以基于裁切后的可见光图像，执行所述识别所述可见光图像中存在障碍物的障碍区域及所述障碍区域对应的障碍物类别的步骤。

7.根据权利要求6所述的方法，其特征在于，所述获取当前裁切参数的步骤，包括：

获取所述摄像装置相对被控运动物体的相对位置关系；

根据所述相对位置关系，获得所述当前裁切参数。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

响应于设置裁切参数的操作，提供设置入口；

获取通过所述设置入口输入的裁切参数；

更新所述当前裁切参数为所述输入的裁切参数。

9.根据权利要求1至4中任一项所述的方法，其特征在于，所述获得所述障碍区域在所述可见光图像中的位置坐标的步骤，包括：

获取所述障碍区域的中心点在所述可见光图像中的位置坐标；

所述根据所述位置坐标，以及所述可见光图像与所述深度图像间的位置映射关系，获取所述障碍区域在所述深度图像中的映射位置的步骤，包括：

根据所述位置坐标和所述位置映射关系，将所述中心点映射至所述深度图像中，获得所述障碍区域在所述深度图像中的映射位置。

10.一种检测障碍物的装置，其特征在于，包括存储器和处理器，所述存储器存储可执行指令，所述处理器用于根据所述指令的控制进行操作，以执行根据权利要求1-9中任一项所述的方法。

11.一种运动设备，其特征在于，包括被控运动物体、摄像装置、运动控制装置及权利要求10所述的检测障碍物的装置；

所述摄像装置安装在所述被控运动物体上，用于采集可见光图像和深度图像提供至所述检测障碍物的装置；

所述检测障碍物的装置用于将检测得到的检测结果输出至所述运动控制装置；

所述运动控制装置用于根据所述检测结果控制所述被控运动物体运动。

12.根据权利要求11所述的运动设备，其特征在于，所述被控运动物体为车辆；

所述运动设备包括两个所述摄像装置，其中一个所述摄像装置安装在所述车辆的左侧后视镜上的背面上，另一个所述摄像装置安装在所述车辆的右侧后视镜的背面上。