CN117770711A - 障碍物的定位方法和装置、存储介质及电子装置 - Google Patents

Abstract

本申请提供了一种障碍物的定位方法和装置、存储介质及电子装置，其中，上述方法包括：对待识别图像进行障碍物识别，得到第一识别框，其中，待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；对第一识别框执行调整操作，得到第二识别框，其中，调整操作为扩大第一识别框的操作；根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像；对障碍物图像进行边缘点检测，得到障碍物的边缘点，并根据障碍物的边缘点对障碍物进行定位。通过本申请，可以进一步提高障碍物定位的准确性。

Description

障碍物的定位方法和装置、存储介质及电子装置

【技术领域】

本申请涉及智能家居领域，具体而言，涉及一种障碍物的定位方法和装置、存储介质及电子装置。

【背景技术】

在移动体移动的过程中，为了避免由于与移动路线上的障碍物发生碰撞、剐蹭等导致设备损坏等异常情况，可以基于实时获取的检测图像进行障碍物定位，从而基于定位到的障碍物，利用预先配置的避障策略进行避障。然而，由于障碍物所处的环境复杂，基于检测图像进行障碍物定位时，易出现障碍物定位偏差、甚至定位失败的情况。

【发明内容】

本申请的目的在于提供一种障碍物的定位方法和装置、存储介质及电子装置，以进一步提高障碍物定位的准确性。

本申请的目的是通过以下技术方案实现：

根据本申请实施例的一个方面，提供了一种障碍物的定位方法，包括：对待识别图像进行障碍物识别，得到第一识别框，其中，所述待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；对所述第一识别框执行调整操作，得到第二识别框，其中，所述调整操作为扩大所述第一识别框的操作；根据所述第二识别框，从所述待识别图像中获取包含所述障碍物的障碍物图像；对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点，并根据所述障碍物的边缘点对所述障碍物进行定位。

在一个示例性实施例中，所述对所述第一识别框执行调整操作，得到第二识别框，包括：对所述第一识别框的下边缘执行下拉操作，得到所述第二识别框，其中，所述第一识别框中除了所述下边缘以外的其他边缘的位置保持不变。

在一个示例性实施例中，所述对所述第一识别框的下边缘执行下拉操作，得到所述第二识别框，包括：按照预设下拉距离对所述第一识别框的下边缘执行下拉操作，得到所述第二识别框，其中，所述预设下拉距离至少与障碍物的类型相适配。

在一个示例性实施例中，所述对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点，包括：确定包含所述障碍物图像中的所述障碍物的凸包，得到目标凸包；从所述目标凸包的下边沿中选取出多个下边沿点，得到所述障碍物的边缘点，其中，所述目标凸包的下边沿为与地面之间的距离小于或者等于预设距离阈值的部分。

在一个示例性实施例中，所述从所述目标凸包的下边沿中选取出多个下边沿点，得到所述障碍物的边缘点，包括：从所述目标凸包的下边沿中等距离选取出多个下边沿点，得到所述障碍物的边缘点。

在一个示例性实施例中，在所述对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点之前，所述方法还包括：对所述障碍物图像执行分割操作，得到分割后的一组分割图像；通过对所述一组分割图像中的每个分割图像分别执行预处理操作，获取预处理后的所述障碍物图像，其中，所述预处理操作包括以下至少之一：图像膨胀操作，图像腐蚀操作。

在一个示例性实施例中，所述根据所述障碍物的边缘点对所述障碍物进行定位，包括：确定所述障碍物的边缘点在图像坐标系中的参考高度信息和参考深度信息，其中，所述图像坐标系是以所述图像采集部件为坐标原点的坐标系，所述参考高度信息用于表示在所述图像坐标系中所述障碍物的边缘点相对于所述坐标原点的高度，所述参考深度信息用于表示在所述图像坐标系中所述障碍物的边缘点相对于所述坐标原点的深度；根据所述参考高度信息、所述参考深度信息以及所述图像采集部件的部件高度信息，确定所述障碍物的边缘点的深度信息，其中，所述部件高度信息用于表示所述图像采集部件相对于与地面的高度。

根据本申请实施例的另一个方面，还提供了一种障碍物的定位装置，包括：识别单元，用于对待识别图像进行障碍物识别，得到第一识别框，其中，所述待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；调整单元，用于对所述第一识别框执行调整操作，得到第二识别框，其中，所述调整操作为扩大所述第一识别框的操作；获取单元，用于根据所述第二识别框，从所述待识别图像中获取包含所述障碍物的障碍物图像；检测单元，用于对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点；定位单元，用于根据所述障碍物的边缘点对所述障碍物进行定位。

在一个示例性实施例中，所述调整单元包括：执行模块，用于对所述第一识别框的下边缘执行下拉操作，得到所述第二识别框，其中，所述第一识别框中除了所述下边缘以外的其他边缘的位置保持不变。

在一个示例性实施例中，所述执行模块包括：执行子模块，用于按照预设下拉距离对所述第一识别框的下边缘执行下拉操作，得到所述第二识别框，其中，所述预设下拉距离至少与障碍物的类型相适配。

在一个示例性实施例中，所述检测单元包括：第一确定模块，用于确定包含所述障碍物图像中的所述障碍物的凸包，得到目标凸包；选取模块，用于从所述目标凸包的下边沿中选取出多个下边沿点，得到所述障碍物的边缘点，其中，所述目标凸包的下边沿为与地面之间的距离小于或者等于预设距离阈值的部分。

在一个示例性实施例中，所述选取模块包括：选取子模块，用于从所述目标凸包的下边沿中等距离选取出多个下边沿点，得到所述障碍物的边缘点。

在一个示例性实施例中，所述装置还包括：第一执行单元，用于在所述对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点之前，对所述障碍物图像执行分割操作，得到分割后的一组分割图像；第二执行单元，用于通过对所述一组分割图像中的每个分割图像分别执行预处理操作，获取预处理后的所述障碍物图像，其中，所述预处理操作包括以下至少之一：图像膨胀操作，图像腐蚀操作。

在一个示例性实施例中，所述定位单元包括：第二确定模块，用于确定所述障碍物的边缘点在图像坐标系中的参考高度信息和参考深度信息，其中，所述图像坐标系是以所述图像采集部件为坐标原点的坐标系，所述参考高度信息用于表示在所述图像坐标系中所述障碍物的边缘点相对于所述坐标原点的高度，所述参考深度信息用于表示在所述图像坐标系中所述障碍物的边缘点相对于所述坐标原点的深度；第三确定模块，用于根据所述参考高度信息、所述参考深度信息以及所述图像采集部件的部件高度信息，确定所述障碍物的边缘点的深度信息，其中，所述部件高度信息用于表示所述图像采集部件相对于与地面的高度。

根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述障碍物的定位方法。

根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述障碍物的定位方法。

在本申请实施例中，先对待识别图像进行障碍物识别，得到第一识别框，其中，待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；再对第一识别框执行调整操作，得到第二识别框，其中，调整操作为扩大第一识别框的操作；根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像；对障碍物图像进行边缘点检测，得到障碍物的边缘点，并根据障碍物的边缘点对障碍物进行定位。本申请实施例通过先对采集的图像进行初步的障碍物轮廓识别，再针对初步得到的障碍物识别框进行调整，扩大识别框的覆盖范围，提高识别框覆盖完整的障碍物图像的可能性，之后，再基于该识别框所覆盖的图像进行障碍物边缘的提取，基于提取的障碍物边缘进行障碍物的定位，可以有效降低复杂环境对障碍物定位的影响，提高障碍物定位的精度。

【附图说明】

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的一种可选的障碍物的定位方法的硬件环境的示意图；

图2是根据本申请实施例的一种可选的障碍物的定位方法的流程示意图；

图3是根据本申请实施例的一种可选的障碍物的定位方法的示意图；

图4是根据本申请实施例的另一种可选的障碍物的定位方法的示意图；

图5是根据本申请实施例的另一种可选的障碍物的定位方法的流程示意图；

图6是根据本申请实施例的一种可选的障碍物的定位装置的结构框图；

图7是根据本申请实施例的一种可选的电子装置的结构框图。

【具体实施方式】

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

根据本申请实施例的一个方面，提供了一种障碍物的定位方法。可选地，在本实施例中，上述障碍物的定位方法可以应用于如图1所示的由移动体102、基站104和云平台106所构成的硬件环境中。如图1所示，移动体102可以通过网络与基站104和/或云平台106进行连接，以实现移动体102与基站104和/或云平台106之间的交互。

上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙，红外。移动体102与基站104和/或云平台106进行通信所使用的网络与基站104与云平台106进行通信所使用的网络可以是相同的，也可以是不同的。移动体102可以包括但不限于：清洁机器人，例如，扫地机、洗地机、集洗脱于一体的洗脱一体机等，配送机器人，例如，送餐机器人、物品配送机器人等，还可以是其他可移动的设备。

本申请实施例的障碍物的定位方法可以由移动体102、基站104或者云平台106单独来执行，也可以由移动体102、基站104和云平台106中的至少两个共同执行。其中，移动体102或者基站104执行本申请实施例的障碍物的定位方法也可以是由安装在其上的客户端来执行。

以由移动体102来执行本实施例中的障碍物的定位方法为例，图2是根据本申请实施例的一种可选的障碍物的定位方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：

步骤S202，对待识别图像进行障碍物识别，得到第一识别框，其中，待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像。

本实施例中的障碍物的定位方法可以应用到目标移动体(移动体102的一种示例)对障碍物进行识别并定位的场景中。从功能上区分，上述移动体可以是清洁机器人、配送机器人等，从形态上区分，上述目标移动体可以是仿生机器人，例如，四足机器人，爬行机器人等。在目标移动体的前进路上可能阻碍目标移动体正常行进的物体都可以作为障碍物，障碍物的形状、大小、颜色可以是多种多样的。本实施例中对于目标移动体和障碍物不作限定。

可选地，识别并定位障碍物可以是在目标移动体处于静止状态的过程中、处于移动状态的过程中执行的。例如，在清洁机器人对清洁区域执行清洁任务的过程中、清洁机器人从基站出发到达清洁区域的过程中、从清洁区域返回基站的的过程中，均可以对障碍物进行识别和定位。

在本实施例中，目标移动体上可以安装有用于进行图像采集的图像采集部件，图像采集部件可以是单目相机、双目相机、或者其他能够进行图像采集的部件等，其安装位置可以是目标移动体的前端、顶端、左侧、右侧等能够采集到目标移动体移动方向的前端区域或者预设的其他区域的位置。本实施例中对于目标传感器的类型和设置位置不做限定。

在本实施例中，目标移动体可以使用图像采集部件对待测区域进行环境检测，即，对待测区域进行图像采集，得到待识别图像。对于得到的待识别图像，可以进行障碍物的智能识别，得到对应的第一识别框。这里的智能识别可以是通过AI(ArtificialIntelligence，人工智能)模型对待识别图像进行障碍物的自动识别。第一识别框可以是在待识别图像上对识别到的障碍物进行框选的初始框，其形状可以是矩形等常见形状，本实施例对此不做限定。

步骤S204，对第一识别框执行调整操作，得到第二识别框，其中，调整操作为扩大第一识别框的操作。

在图像采集部件进行图像采集得到的采集图像中，可能会因图像背景和障碍物的差异较小、图像背景环境复杂、障碍物形状不规则等原因，出现智能识别框选出的障碍物不完整的情况。当识别框选出的障碍物不完整，可能无法对障碍物的边缘进行准确测距，易出现存在定位误差或者定位失败的情况。

在本实施例中，可以通过对智能识别获得的第一识别框执行识别框的调整操作，得到第二识别框。这里的调整操作可以是扩大第一识别框的操作，即，扩大第一识别框的框选区域的操作，可以是将第一识别框的指定边缘进行向外扩大的操作。例如，可以将所有边缘均向外扩大的操作、或者部分边缘保持不动、部分边缘向外扩大的操作，所针对的边缘可以根据定位需求设定，本实施例中不做限定。

步骤S206，根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像。

在本实施例中，调整后的第二识别框相对于第一识别框可以更加完整地覆盖障碍物。在得到第二识别框之后，可以根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像。这里的障碍物图像可以是由第二识别框所框选出的待识别图像中的局部图像，可以为至少包含了障碍物的全部或者部分边缘的障碍物图像。

步骤S208，对障碍物图像进行边缘点检测，得到障碍物的边缘点，并根据障碍物的边缘点对障碍物进行定位。

在本实施例中，可以对获取到的障碍物图像进行障碍物的边缘点检测，得到障碍物的边缘点。边缘点可以是障碍物边缘上的点，边缘点连成线可以作为障碍物的大致轮廓。可选地，在对障碍物图像进行边缘点检测时，可以首先确定障碍物的障碍物轮廓(可以是障碍物的大致轮廓)，在所得的障碍物轮廓上取多个点，作为障碍物的边缘点。

在得到障碍物的边缘点之后，可以根据障碍物的边缘点对障碍物进行定位。可选地，根据障碍物的各个边缘点与目标移动体之间的距离，可以确定障碍物与目标移动体的距离，从而完成障碍物的定位，例如，可以将各个边缘点与目标移动体之间的距离的平均值，确定为障碍物与目标移动体的距离。

通过上述步骤S202至步骤S208，对待识别图像进行障碍物识别，得到第一识别框，其中，待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；对第一识别框执行调整操作，得到第二识别框，其中，调整操作为扩大第一识别框的操作；根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像；对障碍物图像进行边缘点检测，得到障碍物的边缘点，并根据障碍物的边缘点对障碍物进行定位，可以进一步提高障碍物定位的精度。

在一个示例性实施例中，对第一识别框执行调整操作，得到第二识别框，包括：

S11，对第一识别框的下边缘执行下拉操作，得到第二识别框，其中，第一识别框中除了下边缘以外的其他边缘的位置保持不变。

障碍物所处的环境通常较为复杂，特别对于地面上散落的袜子、耳机、纸巾等形状不规则的障碍物，障碍物边缘很难全部准确定位，本实施例中，可以基于障碍物与地面接近或接触的下边缘进行障碍物定位。地面相对于房间内的其他环境相对更容易定位，相应的，可以基于障碍物与地面接近或接触的下边缘部分实现对障碍物的定位，以进一步降低复杂环境对障碍物定位的影响，提高障碍物定位的准确性。且定位出障碍物的下边缘即可有效辅助移动体执行避障操作，从而也可以进一步降低避障操作所涉及的数据处理量，进而提高避障处理效率。

相应的，在本实施例中，可以保持第一识别框中除了下边缘以外的的其他边缘的位置不变，仅对其下边缘执行下拉操作，实现对第一识别框的调整。通过下拉操作，扩大第一识别框的长度，可以扩大所框选的包含障碍物的图像长度，从而可以保证障碍物的下边缘尽可能完整的被识别框框住。第二识别框所框选出的障碍物图像包含更多靠近障碍物底部的图像区域，从而有更大的可能框选出障碍物的下边缘，即，提取出障碍物接近地面或直接与地面接触的部分。

例如，如图3所示，可以先利用AI检测对采集的耳机图像进行耳机初检测，再对初始识别框向下拉伸，其他位置不变，把矩形向下拉长，扩大覆盖耳机的图像区域，如图3所示，扩大覆盖区域的矩形框甚至覆盖了耳机在地面上的投影，从而可以进一步增加耳机下边缘被全部定位的可能性，有效避免移动体与障碍物发生碰撞的概率。

当然，鉴于本实施例的操作可能导致非障碍物区域(如图3中耳机线的投影)也被定位为障碍物，可以进一步结合其他传感器所测得的信息进行噪声去除，或者结合图像中噪声处理相关技术进行噪声去除，以进一步提高障碍物定位的准确性。

本实施例，通过下拉识别框的下边缘，可以提高识别框完整覆盖障碍物下边缘的概率，进而提高障碍物接近地面或与地面接触的部分被完整识别的概率，再结合提取的该部分信息进行障碍物定位，可以降低复杂环境对障碍物定位的影响，提高障碍物定位的准确性。

在一个示例性实施例中，对第一识别框的下边缘执行下拉操作，得到第二识别框，包括：

S21，按照预设下拉距离对第一识别框的下边缘执行下拉操作，得到第二识别框，其中，预设下拉距离至少与障碍物的类型相适配。

在对第一识别框的下边缘执行下拉操作时，可以首先确定所需下拉的距离，即，下拉距离，然后按照确定的下拉距离对第一识别框的下边缘执行下拉操作，得到第二识别框。在确定下拉距离时，可以识别障碍物的障碍物特征(例如，障碍物尺寸)，基于障碍物特征确定出下拉距离。然而，上述确定下拉距离的操作复杂，所需的计算资源量过大。

在本实施例中，在一般情况下，通过智能识别确定的第一识别框基本可以包含完整的障碍物，针对少数因背景环境等原因导致的框选的障碍物不完整的情况，第一识别框的下边缘与障碍物的下边沿之间的距离通常不会太大，因此，可以基于经验值预先设定下拉距离，即，预设下拉距离，按照预设下拉距离对第一识别框的下边缘执行下拉操作，得到第二识别框。

可选地，可以使用标注了障碍物的下边沿的图像样本进行相关模拟训练，得到确定的识别框的下边缘与障碍物的下边沿之间的距离，得到所需下拉的距离，从而可以得到对应的下拉经验值，得到的下拉经验值可以作为预设下拉距离，或者，也可以是由相关人员基于经验值直接手动设置的预设下拉距离。

不同类型的障碍物的下边缘通常是不一样的，第一识别框所识别到的下边缘和障碍物的下边缘之间的距离通常也会有较大的区别。例如，纸巾团作为障碍物时，因其本身的大小的限制，第一识别框的下边缘和纸巾团本身的下边缘之间的距离也不会太大，而当障碍物是耳机线时，因耳机线的长度较长，作为障碍物时的面积大小范围有很大的不确定性，对应的第一识别框的下边缘和耳机线的下边缘之间的距离可能会较大，也可能会很小。对此，可以针对不同障碍物类型对应设置预设下拉距离。

根据待识别图像中的障碍物的类别，可以确定出与其匹配的预设下拉距离，并根据匹配的预设下拉距离对第一识别框的下边缘执行下拉操作。或者，也可以根据各种情况下的下拉经验值，确定一个针对不同障碍物都能最大可能保证得到完整障碍物下边缘的、固定的预设下拉距离，还可以是其他设置预设下拉距离的方式，本实施例中对此不做限定。

通过本实施例，通过使用障碍物所属的类别对应的预先设定的下拉距离对识别框的下边缘执行下拉操作，可以进一步提高框选出障碍物完整下边缘的可能性，进而提高障碍物定位的准确性。

在一个示例性实施例中，对障碍物图像进行边缘点检测，得到障碍物的边缘点，包括：

S31，确定包含障碍物图像中的障碍物的凸包，得到目标凸包；

S32，从目标凸包的下边沿中选取出多个下边沿点，得到障碍物的边缘点，其中，目标凸包的下边沿为与地面之间的距离小于或者等于预设距离阈值的部分。

对于一个点集而言，如果存在一个凸多边形完全地包含了这个点集的所有点，也就是说，该点集内的点要么在这个凸多边形的边上，要么就是在这个凸多边形的内部，那么，可以称这个凸多边形是这个点集的凸包。障碍物图像中的障碍物可以看做是包含许多个障碍物点的障碍物点集。

在本实施例中，可以通过计算障碍物的凸包，确定障碍物的大致轮廓，再从凸包中选取多个下边沿点，从而得到障碍物的边缘点。这里的凸包可以是包围障碍物的最小多边形。可以计算出包含障碍物(即，障碍物点集)的凸包，得到目标凸包。可选地，确定凸包的过程可以是：使用Graham扫描法，先找到一个纵坐标最小的点，再朝一个方向不断加点，保证所有的点在里面并且是一个凸多边形。

在本实施例中，由于计算障碍物与地面接触的部分即可确定障碍物的位置，进行的障碍物的边缘点检测可以是只对障碍物下边缘的边缘点的检测。基于此，在得到目标凸包之后，可以从目标凸包的下边沿中选取出多个下边沿点，得到障碍物的边缘点。这里的目标凸包的下边沿，可以是与地面之间的距离小于或者等于预设距离阈值的部分。预设距离阈值可以是预先设定的距离阈值，可以用于判断目标凸包的下边沿。

在本实施例中，从目标凸包的下边沿取多个下边沿点时，对于不同大小和形状的目标凸包，取点的数量可以是固定的，也可以是根据大小形状的不同而不同的，任意相邻两点之间的距离可以是固定的，也可以是根据目标凸包大小形状的不同而不同的。可以是相同的，也可以是不同的。取点的数量可以是根据目标凸包的大小按照经验值设定的，也可以是随机的。

通过本实施例，通过在障碍物的凸包上取边缘点，可以较快确定障碍物的大致轮廓及其轮廓上的边缘点，从而提升障碍物取点的准确度，并提高障碍物定位的速度。

在一个示例性实施例中，在从目标凸包的下边沿中选取出多个下边沿点，得到障碍物的边缘点之前，上述方法还包括：

S41，从目标凸包的下边沿中等距离选取出多个下边沿点，得到障碍物的边缘点。

在本实施例中，从目标凸包的下边沿中，可以等距离选取出多个下边沿点，从而得到等距离的障碍物的边缘点。对于目标凸包下边沿的取点，可以是根据设定的点数确定等距离取点时任意相邻两点之间的距离，也可以是根据设定的距离确定目标凸包上的点数。

可选地，当根据一定的点数进行等距离的取点时，可以根据经验值设定目标凸包的下边沿上的点数，然后根据点数按相同的距离在目标凸包的下边沿上进行取点。当根据一定的距离进行取点时，可以根据经验值设定相邻的两边缘点之间的距离，根据设定的距离在目标凸包的下边沿上进行取点。

通过本实施例，通过在障碍物凸包的下边沿上等距离选取边缘点，可以保证所选边缘点分布的均匀性，从而提高障碍物定位的准确性。

在一个示例性实施例中，在对障碍物图像进行边缘点检测，得到障碍物的边缘点之前，上述方法还包括：

S51，对障碍物图像执行分割操作，得到分割后的一组分割图像；

S52，通过对一组分割图像中的每个分割图像分别执行预处理操作，获取预处理后的障碍物图像，其中，预处理操作包括以下至少之一：图像膨胀操作，图像腐蚀操作。

在本实施例中，在进行边缘点检测之前，可以对得到的障碍物图像进行分割和预处理操作，以得到一个更层次分明图像，从而使障碍物更清晰的在图像中显示。首先，可以对障碍物图像执行分割操作，得到分割后的一组分割图像。这里的分割操作可以是自适应阈值分割，即，对于图像不同区域亮度分布，自适应计算不同的阈值。根据图像不同区域的亮度分布，确定局部阈值的方式可以是：通过计算某个邻域(局部)的均值、中值、高斯加权平均(高斯滤波)等来确定的。这里的一组分割图像可以包含整个障碍物图像分割后的各个子图像。

在本实施例中，通过对一组分割图像中的每个分割图像分别执行预处理操作，可以获取预处理后的障碍物图像，这里，在执行完预处理操作之后，可以直接得到一张预处理后的障碍物图像，或者，得到预处理后的一组分割图像，基于分割图像之间的位置关系，可以拼接出预处理后的障碍物图像。

这里的预处理操作可以包括以下至少之一：图像膨胀操作，图像腐蚀操作。图像膨胀操作和图像腐蚀操作可以是很对图像中高亮部分进行的处理操作。其中，图像膨胀操作可以是对图像中高亮部分进行膨胀，处理后的图像拥有比原图更大的高亮区域。图像腐蚀操作可以是对图像中高亮部分进行腐蚀，处理后的图像拥有比原图更小的高亮区域。

可选地，可以先执行图像膨胀操作，再执行图像腐蚀操作。通过先膨胀再腐蚀的操作，可以弥合图像中较窄的间断和细长的沟壑，消除小的孔洞，填补轮廓线中的断裂。或者，可以先执行图像腐蚀操作，再执行图像膨胀操作。通过先腐蚀再膨胀的操作，可以平滑图像中物体的轮廓，断开较窄的狭颈并消除细的突出物。

通过本实施例，通过分割、膨胀和腐蚀对障碍物图像进行预处理，可以使障碍物在障碍物图像中更清晰，从而提高障碍物下边缘识别的准确性。

在一个示例性实施例中，根据障碍物的边缘点对障碍物进行定位，包括：

S61，确定障碍物的边缘点在图像坐标系中的参考高度信息和参考深度信息，其中，图像坐标系是以图像采集部件为坐标原点的坐标系，参考高度信息用于表示在图像坐标系中障碍物的边缘点相对于坐标原点的高度，参考深度信息用于表示在图像坐标系中障碍物的边缘点相对于坐标原点的深度；

S62，根据参考高度信息、参考深度信息以及图像采集部件的部件高度信息，确定障碍物的边缘点的深度信息，其中，部件高度信息用于表示图像采集部件相对于与地面的高度。

在本实施例中，根据障碍物的边缘点对障碍物进行定位的方式可以是：确定障碍物的边缘点与目标移动体之间的距离，从而确定整个障碍物的定位信息。而障碍物的边缘点与目标移动体之间的距离，可以通过障碍物的边缘点的深度信息表示。

在本实施例中，障碍物的边缘点的深度信息可以是根据障碍物的边缘点在图像坐标系中的参考高度信息和参考深度信息，结合图像采集部件的部件高度信息确定的：首先，可以在以图像采集部件为坐标原点构建图像坐标系中，确定障碍物的边缘点在图像坐标系中的参考高度信息和参考深度信息。这里的参考高度信息可以用于表示在图像坐标系中障碍物的边缘点相对于坐标原点的高度，参考深度信息可以用于表示在图像坐标系中障碍物的边缘点相对于坐标原点的深度。

根据确定的参考高度信息和参考深度信息，可以结合图像采集部件的部件高度信息，通过相似三角形原理，确定障碍物的边缘点的深度信息。障碍物的边缘点的深度信息可以是障碍物边缘点相对于图像采集部件的水平距离。

例如，如图4所示，根据2D(Two Dimensional，二维)障碍物点处于与相机光轴垂直的图像归一化平面上时，在相机坐标系中的坐标，可以确定2D障碍物点相对于相机坐标系(即，图像坐标系)的x、z轴的数值。结合3D(Three Dimensional，三维)障碍物在相机坐标系中的z轴数值，根据相似三角形原理，可求得3D障碍物在相机坐标系中的x轴数值，再通过相机坐标系与机体坐标系之间的矩阵变换，可求得障碍物边缘点在机体坐标系中的真实坐标，及与机器人的距离。

通过本实施例，通过障碍物边缘点在图像坐标系中的位置以及图像采集部件的高度，可以直接确定障碍物边缘点与目标移动体的位置，从而提高确定障碍物定位的速度。

下面结合可选示例对本申请实施例中的障碍物的定位方法进行解释说明。在本可选示例中，图像采集部件为单目相机。

本可选示例提供了一种基于单目相机的障碍物定位方案，可以根据对障碍物识别的初始矩形框进行下拉操作，获得包含障碍物下边沿的图像，通过对下边沿进行选点计算，从而确定障碍物的定位。

结合图5所示，本可选示例中的障碍物定位方法的流程可以包括以下步骤：

步骤S502，对AI检测的矩形框向下拉伸，从图像中获取包含障碍物下边沿的局部图像；

步骤S504，针对局部图像进行自适应阈值分割，再进行膨胀、腐蚀等图像处理，从而获取障碍物的分割结果；

步骤S506，针对障碍物的分割结果计算凸包，在包含凸包下边沿等距离取n个点，即获取了障碍物边缘点；

步骤S508，参考相机高度先验，通过相似三角形原理计算障碍物边缘点的深度信息。

通过本可选示例，通过下拉障碍物的初始识别框，可以提高获取的障碍物图像的完整度，提升障碍物定位的精度。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

根据本申请实施例的另一个方面，还提供了一种用于实施上述障碍物的定位方法的障碍物的定位装置。图6是根据本申请实施例的一种可选的障碍物的定位装置的结构框图，如图6所示，该装置可以包括：

识别单元602，用于对待识别图像进行障碍物识别，得到第一识别框，其中，待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；

调整单元604，与识别单元602相连，用于对第一识别框执行调整操作，得到第二识别框，其中，调整操作为扩大第一识别框的操作；

获取单元606，与调整单元604相连，用于根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像；

检测单元608，与获取单元606，用于对障碍物图像进行边缘点检测，得到障碍物的边缘点，并根据障碍物的边缘点对障碍物进行定位。

需要说明的是，该实施例中的识别单元602可以用于执行上述步骤S202，该实施例中的调整单元604可以用于执行上述步骤S204，该实施例中的获取单元606可以用于执行上述步骤S206，该实施例中的检测单元608可以用于执行上述步骤S208。

通过上述模块，对待识别图像进行障碍物识别，得到第一识别框，其中，待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；对第一识别框执行调整操作，得到第二识别框，其中，调整操作为扩大第一识别框的操作；根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像；对障碍物图像进行边缘点检测，得到障碍物的边缘点，并根据障碍物的边缘点对障碍物进行定位，可以进一步提高障碍物定位的精度。

在一个示例性实施例中，调整单元包括：

执行模块，用于对第一识别框的下边缘执行下拉操作，得到第二识别框，其中，第一识别框中除了下边缘以外的其他边缘的位置保持不变。

本实施方案的可选示例可以参考上述设备的运行控制方法中所示的示例，本实施方案中在此不再赘述。

在一个示例性实施例中，执行模块包括：

执行子模块，用于按照预设下拉距离对第一识别框的下边缘执行下拉操作，得到第二识别框，其中，预设下拉距离至少与障碍物的类型相适配。

本实施方案的可选示例可以参考上述设备的运行控制方法中所示的示例，本实施方案中在此不再赘述。

在一个示例性实施例中，检测单元包括：

第一确定模块，用于确定包含障碍物图像中的障碍物的凸包，得到目标凸包；

选取模块，用于从目标凸包的下边沿中选取出多个下边沿点，得到障碍物的边缘点，其中，目标凸包的下边沿为与地面之间的距离小于或者等于预设距离阈值的部分。

本实施方案的可选示例可以参考上述设备的运行控制方法中所示的示例，本实施方案中在此不再赘述。

在一个示例性实施例中，选取模块包括：

选取子模块，用于从目标凸包的下边沿中等距离选取出多个下边沿点，得到障碍物的边缘点。

本实施方案的可选示例可以参考上述设备的运行控制方法中所示的示例，本实施方案中在此不再赘述。

在一个示例性实施例中，上述装置还包括：

第一执行单元，用于在对障碍物图像进行边缘点检测，得到障碍物的边缘点之前，对障碍物图像执行分割操作，得到分割后的一组分割图像；

第二执行单元，用于通过对一组分割图像中的每个分割图像分别执行预处理操作，获取预处理后的障碍物图像，其中，预处理操作包括以下至少之一：图像膨胀操作，图像腐蚀操作。

本实施方案的可选示例可以参考上述设备的运行控制方法中所示的示例，本实施方案中在此不再赘述。

在一个示例性实施例中，定位单元包括：

第二确定模块，用于确定障碍物的边缘点在图像坐标系中的参考高度信息和参考深度信息，其中，图像坐标系是以图像采集部件为坐标原点的坐标系，参考高度信息用于表示在图像坐标系中障碍物的边缘点相对于坐标原点的高度，参考深度信息用于表示在图像坐标系中障碍物的边缘点相对于坐标原点的深度；

第三确定模块，用于根据参考高度信息、参考深度信息以及图像采集部件的部件高度信息，确定障碍物的边缘点的深度信息，其中，部件高度信息用于表示图像采集部件相对于与地面的高度。

本实施方案的可选示例可以参考上述设备的运行控制方法中所示的示例，本实施方案中在此不再赘述。

此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。

根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行本申请实施例中上述任一项障碍物的定位方法的程序代码。

可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

S1，对待识别图像进行障碍物识别，得到第一识别框，其中，待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；

S2，对第一识别框执行调整操作，得到第二识别框，其中，调整操作为扩大第一识别框的操作；

S3，根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像；

S4，对障碍物图像进行边缘点检测，得到障碍物的边缘点，并根据障碍物的边缘点对障碍物进行定位。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

根据本申请实施例的又一个方面，还提供了一种用于实施上述障碍物的定位方法的电子装置，该电子装置可以是服务器、终端、或者其组合。

图7是根据本申请实施例的一种可选的电子装置的结构框图，如图7所示，上述电子装置包括处理器702、通信接口704、存储器706和通信总线708，其中，处理器702、通信接口704和存储器706通过通信总线708完成相互间的通信，其中，

存储器706，用于存储计算机程序；

处理器702，用于执行存储器706上所存放的计算机程序时，实现如下步骤：

S1，对待识别图像进行障碍物识别，得到第一识别框，其中，待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；

S2，对第一识别框执行调整操作，得到第二识别框，其中，调整操作为扩大第一识别框的操作；

S3，根据第二识别框，从待识别图像中获取包含障碍物的障碍物图像；

S4，对障碍物图像进行边缘点检测，得到障碍物的边缘点，并根据障碍物的边缘点对障碍物进行定位。

可选地，在本实施例中，通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子装置与其他设备之间的通信。

上述的存储器可以包括RAM，也可以包括非易失性存储器(non-volatilememory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

作为一种示例，上述存储器706中可以但不限于包括上述设备的控制装置中的识别单元602、调整单元604、获取单元606以及检测单元608。此外，还可以包括但不限于上述设备的控制装置中的其他模块单元，本示例中不再赘述。

上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

本领域普通技术人员可以理解，图7所示的结构仅为示意，实施上述障碍物的定位方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图6其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图6所示的不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种障碍物的定位方法，其特征在于，包括：

对待识别图像进行障碍物识别，得到第一识别框，其中，所述待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；

对所述第一识别框执行调整操作，得到第二识别框，其中，所述调整操作为扩大所述第一识别框的操作；

根据所述第二识别框，从所述待识别图像中获取包含所述障碍物的障碍物图像；

对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点，并根据所述障碍物的边缘点对所述障碍物进行定位。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一识别框执行调整操作，得到第二识别框，包括：

对所述第一识别框的下边缘执行下拉操作，得到所述第二识别框，其中，所述第一识别框中除了所述下边缘以外的其他边缘的位置保持不变。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一识别框的下边缘执行下拉操作，得到所述第二识别框，包括：

按照预设下拉距离对所述第一识别框的下边缘执行下拉操作，得到所述第二识别框，其中，所述预设下拉距离至少与障碍物的类型相适配。

4.根据权利要求1所述的方法，其特征在于，所述对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点，包括：

确定包含所述障碍物图像中的所述障碍物的凸包，得到目标凸包；

从所述目标凸包的下边沿中选取出多个下边沿点，得到所述障碍物的边缘点，其中，所述目标凸包的下边沿为与地面之间的距离小于或者等于预设距离阈值的部分。

5.根据权利要求4所述的方法，其特征在于，所述从所述目标凸包的下边沿中选取出多个下边沿点，得到所述障碍物的边缘点，包括：

从所述目标凸包的下边沿中等距离选取出多个下边沿点，得到所述障碍物的边缘点。

6.根据权利要求1所述的方法，其特征在于，在所述对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点之前，所述方法还包括：

对所述障碍物图像执行分割操作，得到分割后的一组分割图像；

通过对所述一组分割图像中的每个分割图像分别执行预处理操作，获取预处理后的所述障碍物图像，其中，所述预处理操作包括以下至少之一：图像膨胀操作，图像腐蚀操作。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述障碍物的边缘点对所述障碍物进行定位，包括：

确定所述障碍物的边缘点在图像坐标系中的参考高度信息和参考深度信息，其中，所述图像坐标系是以所述图像采集部件为坐标原点的坐标系，所述参考高度信息用于表示在所述图像坐标系中所述障碍物的边缘点相对于所述坐标原点的高度，所述参考深度信息用于表示在所述图像坐标系中所述障碍物的边缘点相对于所述坐标原点的深度；

根据所述参考高度信息、所述参考深度信息以及所述图像采集部件的部件高度信息，确定所述障碍物的边缘点的深度信息，其中，所述部件高度信息用于表示所述图像采集部件相对于与地面的高度。

8.一种障碍物的定位装置，其特征在于，包括：

识别单元，用于对待识别图像进行障碍物识别，得到第一识别框，其中，所述待识别图像为目标移动体上的图像采集部件进行图像采集得到的图像；

调整单元，用于对所述第一识别框执行调整操作，得到第二识别框，其中，所述调整操作为扩大所述第一识别框的操作；

获取单元，用于根据所述第二识别框，从所述待识别图像中获取包含所述障碍物的障碍物图像；

检测单元，用于对所述障碍物图像进行边缘点检测，得到所述障碍物的边缘点；

定位单元，用于根据所述障碍物的边缘点对所述障碍物进行定位。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至7中任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。