CN112639400A - 基于语义分割的测距方法、装置、设备及系统 - Google Patents

基于语义分割的测距方法、装置、设备及系统 Download PDF

Info

Publication number
CN112639400A
CN112639400A CN202080004229.6A CN202080004229A CN112639400A CN 112639400 A CN112639400 A CN 112639400A CN 202080004229 A CN202080004229 A CN 202080004229A CN 112639400 A CN112639400 A CN 112639400A
Authority
CN
China
Prior art keywords
movable platform
image
obstacle
distance
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080004229.6A
Other languages
English (en)
Inventor
刘宝恩
李鑫超
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112639400A publication Critical patent/CN112639400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于语义分割的测距方法、装置(140)、设备及系统(10)，方法包括：在可移动平台移动至第一位置情况下，获取单目摄像头采集到的第一图像，第一图像包括障碍物，处理第一图像得到包含语义信息的第一特征图(201)；在可移动平台由第一位置移动至第二位置情况下，获取单目摄像头采集到的第二图像，第二图像包括障碍物，处理第二图像得到包含语义信息的第二特征图(202)；根据第一特征图和第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离(203)。提高了确定障碍物到可移动平台距离的针对性。

Description

基于语义分割的测距方法、装置、设备及系统
技术领域
本申请涉及测距技术领域，尤其涉及一种基于语义分割的测距方法、装置、设备及系统。
背景技术
近年来，随着可移动平台的广泛应用，可移动平台实现障碍物测距的需求也越来越多。
通常，可以通过在可移动平台上设置测距装置测量可移动平台到障碍物的距离，具体的，测距装置可以基于单目摄像头拍摄得到的图像进行测距。其测距原理具体为：先通过图像匹配进行障碍物识别，以识别出障碍物，例如各种车型、行人、物体，再通过障碍物在图像中的大小去估算到障碍物的距离。
然而，上述测距方式，难以针对性地确定出某个障碍物点与可移动平台之间的距离，因此存在针对性较差的问题。
发明内容
本申请实施例提供一种基于语义分割的测距方法、装置、设备及系统，用以解决现有技术中难以针对性地确定出某个障碍物点与可移动平台之间的距离，因此存在针对性较差的问题。
第一方面，本申请实施例提供一种基于语义分割的测距方法，应用于可移动平台，所述可移动平台上设置有单目摄像头，所述方法包括：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；
在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；
根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
第二方面，本申请实施例提供一种基于语义分割的测距装置，所述测距装置应用于可移动平台，所述可移动平台包括单目摄像头，所述装置包括：存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；
在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；
根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
第三方面，本申请实施例提供一种可移动平台，包括单目摄像头以及测距装置；
其中，所述单目摄像头用于采集图像；所述测距装置包括存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；以及，根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
第四方面，本申请实施例提供一种基于语义分割的测距系统，包括单目摄像头以及测距装置，所述单目摄像头设置于可移动平台上，用于采集图像；所述测距装置包括存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；以及，根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第一方面任一项所述的方法。
第六方面，本申请实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述第一方面任一项所述的方法。
本申请实施例提供一种基于语义分割的测距方法、装置、设备及系统，通过在可移动平台移动至第一位置情况下，获取单目摄像头采集到的包括障碍物的第一图像，处理第一图像得到包含语义信息的第一特征图，在可移动平台由第一位置移动至第二位置情况下，获取单目摄像头采集到的包括该障碍物的第二图像，处理第二图像得到包含语义信息的第二特征图，并根据第一特征图和第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离，实现了根据第一位置下包含语义信息的第一特征图，以及由第一位置运动至第二位置下包含语音信息的第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离，使得在确定障碍物到可移动平台的距离时，能够确定障碍物的特定障碍物点到可移动平台的距离，从而提高了确定障碍物到可移动平台距离的针对性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于语义分割的测距方法的应用场景示意图；
图2为本申请一实施例提供的基于语义分割的测距方法的流程示意图；
图3A为本申请一实施例提供的第一图像；
图3B为图3A所示第一图像的第一特征图；
图4为本申请另一实施例提供的基于语义分割的测距方法的流程示意图；
图5为本申请一实施例提供的可移动平台原地旋转的示意图；
图6为本申请实施例提供的神经网络模型的结构示意图；
图7为本申请实施例提供的确定第一角度的示意图；
图8为本申请一实施例提供的确定障碍物到可移动平台距离的示意图；
图9为本申请另一实施例提供的确定障碍物到可移动平台距离的示意图；
图10为本申请又一实施例提供的基于语义分割的测距方法的流程示意图；
图11A为本申请另一实施例提供的第一图像；
图11B为图11A所示第一图像的第一特征图；
图12A为本申请又一实施例提供的第一图像；
图12B为图12A所示第一图像的第一特征图；
图13为本申请又一实施例提供的确定障碍物到可移动平台距离的示意图；
图14为本申请一实施例提供的基于语义分割的测距装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的基于语义分割的测距方法可以应用于如图1所示的测距系统10，测距系统10包括单目摄像头11和控制器12。其中，单目摄像头11可以设置在可移动平台上，用于采集图像；控制器12可以从单目摄像头11获取单目摄像头11采集到的图像，并根据单目摄像头1采集到的图像采用本申请实施例提供的方法进行处理，以实现基于语义分割的测距方式。其中，可移动平台例如可以为无人飞行器、无人车等。
示例性的，可移动平台可以包括控制器12，以实现可移动平台的控制器12根据可移动平台上设置的单目摄像头采集到的图像进行测距。可以理解的是，可移动平台可以包括单目摄像头11也可以不包括单目摄像头11。
本申请实施例提供的基于语义分割的测距方法，通过根据可移动平台移动至第一位置情况下单目摄像头采集到的第一图像其包含语义信息的第一特征图，以及可移动平台由第一位置移动至第二位置情况下单目摄像头采集到的第二图像其包含语义信息的第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离，实现了在确定障碍物到可移动平台的距离时，能够确定障碍物的特定障碍物点到可移动平台的距离，从而提高了确定障碍物到可移动平台距离的针对性。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。需要说明的是，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图2为本申请一实施例提供的基于语义分割的测距方法的流程示意图，本实施例的执行主体可以为图1中控制器，具体可以是可移动平台包括的控制器。如图2所示，本实施例的方法可以包括：
步骤201，在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图。
本步骤中，第一位置可以为所述可移动平台移动过程中的任一位置。所述单目摄像头的视野方向可以与所述可移动平台的目标运动方向一致，用以实现目标运动方向上的障碍物测距。在实际应用中，单目摄像头的视野方向与可移动平台的目标运动方向可以相同，例如单目摄像头的视野方向可以为可移动平台的正前方，又例如对于无人飞行器，单目摄像头的视野方向还可以为可移动平台的正上方；或者，单目摄像头的视野方向与可移动平台的目标运动方向可以相差一定角度，例如单目摄像头的视野方向可以为可移动平台的左前方，又例如对于无人飞行器，单目摄像头的视野方向还可以为可移动平台的上前方。
需要说明的是，在所述单目摄像头采集到的单张图像能够包括目标运动方向全部兴趣场景内容情况下，所述第一图像可以为单目摄像头采集到的单张图像；在所述单目摄像头采集到的单张图像仅能够包括部分兴趣场景内容情况下，所述第一图像可以为所述单目摄像头采集到视野方向不同的多张图像的合并图像。
其中，第一特征图包含语义信息的具体方式可以是特征图中的像素值表征对应像素的对象语义，其中，对象语义可以包括能够识别出的对象类别。可选的，可移动平台能够识别出图像中是否包含障碍物类别的对象，基于此，第一特征图中像素值是1可以表示对应像素是障碍物类别，像素值是0可以表示对应像素不是障碍物类别。或者，可选的，可移动平台能够识别出图像中具体包含哪些类别的对象，例如，天空、树木、建筑物等，基于此，假设像素值为1可以表示建筑物、像素值为2可以表示树木、像素值为3可以表示天空，则处理第一图像所得到的第一特征图中，像素值为1的像素位置即为识别为建筑物的像素位置，像素值为2的像素位置即为识别为树木的像素位置，像素值为3的像素位置即为识别为天空的像素位置。
对于图3A所示的第一图像，其包含语义信息的第一特征图例如可以如图3B所示。图3B中不同灰度可以表示不同的对象类别，具体包括了“天空”、“建筑物”、“树木”以及“其他”，其中，“其他”可以表示无法识别的对象类别。
需要说明的是，影响可移动平台运动的障碍物的类型可以与可移动平台针对的场景有关，例如在可移动平台为无人飞行器场景下，障碍物可以包括建筑物、树木等。
步骤202，在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图。
本步骤中，所述第二位置与所述第一位置不同，且在所述可移动平台位于所述第二位置的情况下，单目摄像头采集到的第二图像中可以包括与第一图像中相同的障碍物，以基于同一障碍物在第一图像和第二图像中分别的成像确定障碍物到所述可移动平台的距离。
需要说明的是，第二特征图与第一特征图的具体内容类似，在此不再赘述。
需要说明的是，对于处理第一图像得到第一特征图，与获取第二图像的先后顺序，本申请不做限定。可选的，可以在获取到第二图像之后，再分别处理第一图像和第二图像，以得到第一特征图和第二特征图。
步骤203，根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
本步骤中，第一特征图中的所述特征像素点与第二特征图中的所述特定像素点对应所述障碍物的同一部位。所述特定像素点为特征图中感兴趣的障碍物像素点，具体可以是决定障碍物与可移动平台之间距离的关键像素点。示例性的，所述特定像素点可以为所述障碍物的所有边缘像素点中在所述可移动平台的目标运动方向上，距离所述可移动平台最近的像素点。
由于第一位置和第二位置为不同位置，因此障碍物与第一位置下可移动平台的相对位置关系，较障碍物与第二位置下可移动平台的相对位置关系不同，因此障碍物的同一部位在第一特征图和第二特征图中的像素位置不同。
并且，由于第一位置下障碍物的一部位到可移动平台的距离、第二位置下障碍物的该部位到可移动平台的距离，与该部位在第一特征图和第二特征图中的像素位置之间存在一定的数学关系，因此可以根据第一特征图和第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离。
本实施例中，通过在可移动平台移动至第一位置情况下，获取单目摄像头采集到的包括障碍物的第一图像，处理第一图像得到包含语义信息的第一特征图，在可移动平台由第一位置移动至第二位置情况下，获取单目摄像头采集到的包括该障碍物的第二图像，处理第二图像得到包含语义信息的第二特征图，并根据第一特征图和第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离，实现了根据第一位置下包含语义信息的第一特征图，以及由第一位置运动至第二位置下包含语音信息的第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离，使得在确定障碍物到可移动平台的距离时，能够确定障碍物的特定障碍物点到可移动平台的距离，从而提高了确定障碍物到可移动平台距离的针对性。
前述方法实施例中，在第一图像为视野方向不同的多张图像的合并图像情况下，在获取第一图像时可以通过用于使得单目摄像头相对于可移动平台移动的云台，改变所述图像获取装置的视野范围，以得到视野方向不同的多张图像；或者，也可以通过改变可移动平台的姿态，以得到视野方向不同的多张图像。以下，主要针对后者进行具体说明。
图4为本申请另一实施例提供的基于语义分割的测距方法的流程示意图，本实施例在图2所示实施例的基础上给出了一种可选的实现方式。如图4所示，本实施例的方法可以包括：
步骤401，在所述可移动平台移动至第一位置情况下，控制所述可移动平台在所述第一位置原地旋转第一目标角度，并在所述可移动平台原地旋转所述第一目标角度的过程中，获取所述单目摄像头以预设角度为间隔采集到的多张图像。
本步骤中，受单目摄像头视野方向以及视场角的限制，所述单目摄像头采集的单张图像可能无法包含全部兴趣场景内容，由此可以通过可移动平台在第一位置原地旋转，以得到能包含全部兴趣内容的第一图像。如图5所示，在可移动平台在第一位置原地旋转的过程中，可以不断改变单目摄像头的视野范围，从而获得包括其他部分兴趣场景内容的图像。需要说明的是，图5中箭头方向可以表示可移动平台的朝向，箭头方向的变化表示可移动平台原地旋转时朝向的变化。图5中两条直线对应的范围表示单目摄像头的视野范围。图5顺时针的旋转方向仅为举例。
根据采集图像的需求，第一目标角度可以根据需求灵活实现。示例性的，第一目标角度可以为360度，即在所述可移动平台移动至第一位置情况下，控制所述可移动平台在所述第一位置原地旋转一周。
其中，预设角度可以根据需求灵活实现。具体的，预设角度越大，原地旋转采集到图像的数量越少，相邻时刻采集到的图像之间重叠的内容越少；预设角度越小，原地旋转采集到图像的数量越多，相邻时刻采集到的图像之间重叠的内容越多。
步骤402，对所述多张图像进行图像合并，以得到所述第一图像。
本步骤中，所述第一图像为可移动平台在所述第一位置原地旋转第一目标角度中单目摄像头采集到的多张图像的合并图像。因此，第一图像中可以包括目标运动方向全部兴趣场景内容。
步骤403，在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像。
本步骤中，可选的，获取第二图像的方式可以与步骤401-步骤402的方式类似，即可以在可移动平台第二位置原地旋转第一目标角度的过程中，获取单目摄像头以预设角度为间隔采集到的多张图像，并对该多张图像进行合并以得到第二图像。其中，在第一目标角度不为360°时，在第二位置原地旋转时可移动平台的起始朝向可以与第一位置原地旋转时可移动平台的起始朝向相同，基于此两次原地旋转的旋转方向可以相同；或者，在第一目标角度不为360°时，在第二位置原地旋转时可移动平台的起始朝向可以与第一位置原地旋转时可移动平台的结束朝向相同，基于此两次原地旋转的旋转方向可以相反。
或者，可选的，步骤403具体可以包括如下步骤A1-步骤A3。
步骤A1，确定所述多张图像中包括所述障碍物的目标图像。
其中，所述多张图像为步骤401采集获得的图像，由于该多张图像中并不一定每张图像均包括障碍物，并且对于包括障碍物的部分图像其关于障碍物的场景内容可能重复，因此可以从该多张图像的包括障碍物的部分图像中确定出用于确定距离的目标图像。目标图像的数量可以为一张或多张。
示例性的，可以针对所述多张图像中的每张图像均进行图像识别处理，以识别每张图像中是否包括障碍物，为了减少计算量，这里无需获得每张图像的包含语义信息的特征图，只需识别出每张图像是包含障碍物还是不包含障碍物即可。
步骤A2，确定所述单目摄像头采集所述目标图像所旋转的第二目标角度。
其中，所述目标图像为所述单目摄像头在可移动平台旋转特定角度采集获得，该特定角度即为第二目标角度。第二目标角度可以对应可移动平台的特定朝向。在所述目标图像为多张情况下，第二目标角度的个数可以为多个。
步骤A3，在所述可移动平台移动至所述第二位置，并旋转至所述第二目标角度对应朝向的情况下，获取所述单目摄像头采集到的第二图像。
可以理解的是，所述单目摄像头采集第二图像时所述可移动平台的朝向，与所述单目摄像头采集目标图像时所述可移动平台的朝向相同。
通过上述步骤A1-步骤A3，可以实现在第二位置时，直接控制可移动平台旋转至特定朝向，并在特定朝向下获取单目摄像头采集到的第二图像，与原地旋转过程中获取单目摄像头以预设角度为间隔采集到的多张图像，并对该多张图像进行合并以得到第二图像相比，减少了单目摄像头图像采集的次数，有利于缩短获得第二图像的时长。
步骤404，处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图。
本步骤中，示例性的，可以采用预先训练好的神经网络模型，分别处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图。所述神经网络模型具体可以为卷积神经网络(Convolutional Neural Networks，CNN)模型。所述神经网络模型的结构例如可以如图6所示。如图6所示，所述神经网络模型可以包括多个计算节点，每个计算节点中可以包括卷积(Conv)层、批量归一化(Batch Normalization，BN)以及激活函数ReLU，计算节点之间可以采用跳跃连接(Skip Connection)方式连接，K×H×W的输入数据可以输入所述神经网络模型，经过所述神经网络模型处理后，可以获得C×H×W的输出数据。其中，K可以表示输入通道的个数，K可以等于4，分别对应红(R，red)、绿(G，green)、蓝(B，blue)和深度(D，deep)共四个通道；H可以表示输入图像(即第一图像或第二图像)的高，W可以表示输入图像的宽，C可以表示类别数。
需要说明的是，当输入图像过大时，可以将一个输入图像切割为N个子图像，相应的，输入数据可以为N×K×H’×W’，输出数据可以为N×C×H’×W’，其中，H’可以表示子图像的高，W’可以表示子图像的宽。当然，在其他实施例中，也可以通过其他方式获得第一特征图和第二特征图，本申请对此不做限定。
以神经网络模型处理第一图像为例，示例性的，基于预先训练好的神经网络模型处理第一图像，得到第一特征图，具体可以包括如下步骤B1和步骤B2。
步骤B1，将所述第一图像输入所述神经网络模型，得到所述神经网络模型的模型输出结果。
其中，所述神经网络模型的模型输出结果可以包括多个输出通道分别输出的置信度特征图，该多个输出通道可以与多个对象类别一一对应，单个对象类别的置信度特征图的像素值用于表征像素是所述对象类别的概率。
步骤B2，根据所述神经网络模型的模型输出结果，得到包含语义信息的第一特征图。
示例性的，可以将与该多个输出通道一一对应的多个置信度特征图中同一像素位置像素值最大的置信度特征图对应的对象类别，作为所述像素位置的对象类别，从而得到第一特征图。
假设，所述神经网络模型的输出通道的个数为4，4个置信度特征图分别为置信度特征图1至置信度特征图4，且置信度特征图1对应天空、置信度特征图2对应建筑物、置信度特征图3对应树木、置信度特征图4对应“其他”。例如，当置信度特征图1中像素位置(100,100)的像素值是70，置信度特征图2中像素位置(100,100)的像素值是50，置信度特征图3中像素位置(100,100)的像素值是20，置信度特征图4中像素位置(100,100)的像素值是20时，可以确定像素位置(100,100)是天空。又例如，当置信度特征图1中像素位置(100,80)的像素值是20，置信度特征图2中像素位置(100,80)的像素值是30，置信度特征图3中像素位置(100,80)的像素值是20，置信度特征图4中像素位置(100,80)的像素值是70时，可以确定像素位置(100,80)是其他，即不是树木、建筑物和树木中的任意一种。
步骤405，根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
本步骤中，示例性的，具体可以包括如下步骤C1-步骤C3。
步骤C1，根据所述单目摄像头的视场角，确定所述第一特征图中所述特定像素点偏移所述第一图像视野中心的第一角度。
其中，可以以第一图像视野中心为参考，计算第一特征图中特定像素点偏移第一图像视野中心的角度，即第一角度。为了便于说明，以第一图像为单目摄像头采集到的单张图像为例进行说明，假设单目摄像头的视场角中水平视场角为80°，垂直视场角为60°且单目摄像头所采集图像的分辨率为9×6，则可以表示图7中特定像素点A偏移第一图像视野中心的第一角度可以包括水平方向的第一角度A11以及垂直方向的第一角度A12，其中，A11等于80°÷8×3＝30°，A12等于60°÷6×2＝20°。需要说明的是，图7中一个方格表示一个像素点，圆点表示视野中心。
步骤C2，根据所述视场角，确定所述第二特征图中所述特定像素点偏移所述第二图像视野中心的第二角度。
其中，可以以第二图像视野中心为参考，计算第二特征图中特定像素点偏移第二图像视野中心的角度，即第二角度。关于确定第二角度的方式与步骤C1中确定第一角度的方式类似，在此不再赘述。
步骤C3，根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离。
其中，为了便于说明，以下以第一图像和第二图像的视野方向相同，且与可移动平台的目标运动方向相同，第一位置到第二位置的连线方向与目标运动方向相同为例进行说明，基于此，第一图像和第二图像的视野中心可以相同，如图8所示，步骤C3具体可以包括：按照所述第一位置O1、所述第二位置O2、所述第一图像的视野中心O以及所述特定像素点A满足如下约束条件，确定所述障碍物到所述可移动平台的距离；所述约束条件包括：所述第一位置O1、所述第二位置O2分别与所述视野中心O以及所述特定像素点A围城两个直角三角形，且所述第一位置对应的顶角为第一角度α1，所述第二位置对应的顶角为第二角度α2。
其中，两个直角三角形分别为直角三角形AO1O，以及直角三角形AO2O。以需要确定所述障碍物到所述可移动平台的目标运动方向的垂直距离，即图8中的d为例，根据图8可以获得如下公式(1)和公式(2)。
Figure BDA0002921632190000121
Figure BDA0002921632190000122
整理公式(1)、公式(2)，可以得到如下公式(3)。
Figure BDA0002921632190000123
其中，l1表示第一位置与第二位置之间的距离，其为已知量，α1和α2也均为已知量，因此可以求得d。需要说明的是，对于图8所示的两个直角三角形，还可以确定出两个斜边的长度，从而可以确定出可移动平台在第一位置或第二位置处与障碍物的直线距离。
可以理解的是，对于第一图像和第二图像的视野方向相同，且与可移动平台的目标运动方向相同，第一位置到第二位置的连线方向与目标运动方向相反的场景，也可以基于前述约束条件确定距离。例如，如图9所示，两个直角三角形分别为直角三角形AO2O，以及直角三角形AO1O。以需要确定所述障碍物到所述可移动平台的目标运动方向的垂直距离，即图9中的d为例，根据图9可以获得如下公式(4)和公式(5)。
Figure BDA0002921632190000124
Figure BDA0002921632190000125
整理公式(4)、公式(5)，可以得到如下公式(6)。
Figure BDA0002921632190000131
需要说明的是，对于第一图像和第二图像的视野方向不同，视野方向与目标运动方向不同，第一位置到第二位置的连线方向与目标运动方向不相同或相反的其他场景，可以通过取与目标运动方向分量的方式，获得两个直角三角形，并进一步采用与图8、图9类似的方式确定可移动平台到障碍物的距离。
可选的，在确定所述障碍物到所述可移动平台的目标运动方向的垂直距离之后，可以根据确定的该距离进行通行判断，以实现基于障碍物到可移动平台的距离进行可移动平台的运动控制。示例性的，步骤405之后还可以包括如下步骤：判断所述障碍物到所述可移动平台的距离是否大于预设距离；若所述障碍物到所述可移动平台的距离大于所述预设距离，则确定所述目标运动方向对应的区域为可移动区域，即所述可移动平台可以沿所述目标运动方向移动。进一步的，若所述障碍物到所述可移动平台的距离小于或等于所述预设距离，则确定所述目标运动方向对应的区域为不可移动区域，即所述可移动平台不可以沿所述目标运动方向移动。
其中，所述预设距离可以理解为所述可移动平台能够通过所述目标运动方向对应区域条件下，所述可移动平台到所述障碍物的距离应满足的最低条件。示例性的，在所述可移动平台为无人飞行器的情况下，所述目标运动方向可以包括垂直向上方向，相应的，所述预设距离为所述可移动平台的机身中心与所述可移动平台的机翼之间的最大距离。
本实施例中，通过在可移动平台移动至第一位置情况下，控制可移动平台在第一位置原地旋转第一目标角度，并在可移动平台原地旋转第一目标角度的过程中，获取单目摄像头以预设角度为间隔采集到的多张图像，对多张图像进行图像合并以得到第一图像，在可移动平台由第一位置移动至第二位置情况下，获取单目摄像头采集到的第二图像，处理第一图像和第二图像得到包含语义信息的第一特征图和第二特征图，并根据第一特征图和第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离，使得在确定障碍物到可移动平台的距离时，能够确定障碍物的特定障碍物点到可移动平台的距离，从而提高了确定障碍物到可移动平台距离的针对性。另外，通过在第一位置原地旋转的方式获得第一图像，降低了对可移动平台上设置的单目摄像头视场角的要求，有利于节省成本。
图10为本申请又一实施例提供的基于语义分割的测距方法的流程示意图，本实施例在图2所示实施例的基础上给出了可移动平台为无人飞行器情况下一种可选的实现方式。如图10所示，本实施例的方法可以包括：
步骤101，在可移动平台移动至第一位置情况下，获取单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图。
本步骤中，所述单目摄像头可以为可上视摄像头，用于采集可移动平台上方的场景内容。步骤101获取的第一图像可以如图11A所示，相应的第一特征图可以如图11B所示，图11B中O可以表示第一图像的视野中心，A可以表示特定像素点，外圆可以表示第一图像的兴趣区域，内圆可以表示障碍物即树木与可移动平台之间需要确定的距离。其中，兴趣区域可以表示需要进行障碍物测距的区域，即当障碍物位于兴趣区域内时可以对该障碍物进行测距，当障碍物位于兴趣区域之外时可以不对该障碍物进行测距。需要说明的是，图11A和图11B中以第一图像的视野方向以及目标运动方向均为垂直向上方向为例。
需要说明的是，步骤101获取第一图像以及第一特征图的具体方式可以参见前述实施例的相关描述，在此不再赘述。
步骤102，在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降预设高度，以控制所述可移动平台由所述第一位置移动至所述第二位置。
本步骤中，所述第一位置和所述第二位置可以对应所述可移动平台的不同高度，具体的，所述第一位置和所述第二位置对应所述可移动平台的高度可以相差所述预设高度。可以理解的是，所述预设高度即为所述第一位置与所述第二位置之间的距离。
考虑到无人飞行器上升或下降时，可能受到气流等的影响导致飞行出现扰动，为了减小扰动，提高测距的精确性，所述预设距离可以较小，例如为几厘米。
可替换的，步骤102可以替换为：在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台上升预设高度，以控制所述可移动平台由所述第一位置移动至所述第二位置。由于无人飞行器的下方通常安装有雷达传感器，而无人飞行器的上方通常未雷达传感器，步骤102中通过控制可移动平台下降预设高度的方式，较通过控制可移动平台上升预设高度的方式，可以避免在移动至第二位置的过程中撞到障碍物，有利于提高无人飞行器的安全性。
步骤102中控制所述可移动平台下降预设高度的目的可以为进行障碍物的测距。考虑到障碍物距离较远情况下无需进行测距的场景，为了简化实现，步骤102之前可以进一步判断第一图像的兴趣区域中是否包括障碍物。若包括障碍物可以表征需要进行障碍物测距，因此可以进一步执行步骤102；若不包括障碍物可以表征不需要进行障碍物测距，因此可以不执行步骤102，此时可以表征目标运动方向对应区域为可移动区域。
步骤103，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图。
需要说明的是，步骤103获取第二图像以及第二特征图的具体方式可以参见前述实施例的相关描述，在此不再赘述。步骤103获取的第二图像可以如图12A所示，相应的第二特征图可以如图12B所示，图12B中O可以表示第二图像的视野中心，A可以表示特定像素点，外圆可以表示第二图像的兴趣区域，内圆可以表示障碍物即树木与可移动平台之间需要确定的距离。需要说明的是，图12A和图12B中以第二图像的视野方向以及目标运动方向均为垂直向上方向为例。
步骤104，根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
本步骤中，对应于图11B和图12B，可以参照图13障碍物到所述可移动平台的距离
Figure BDA0002921632190000151
图13中，l1表示预设距离，O1表示第一位置，O2表示第二位置，O表示视野中心，A表示特定像素点，箭头方向表示目标运动方向。
本实施例中，通过在可移动平台移动至第一位置情况下，获取可上视的单目摄像头采集到的包括障碍物的第一图像，处理第一图像得到包含语义信息的第一特征图，在可移动平台位于第一位置的情况下，控制可移动平台下降预设高度，以控制可移动平台由第一位置移动至第二位置，获取单目摄像头采集到的包括障碍物的第二图像，处理第二图像得到包含语义信息的第二特征图，根据第一特征图和第二特征图中障碍物的特定像素点，确定障碍物到可移动平台的距离，使得能够确定可移动平台上方的障碍物到可移动平台的距离，与相关技术中未对可移动平台上方进行障碍物测距在无人飞行器进行返航时默认无人飞行器的上方为安全空域相比，提高了可移动平台的安全性。
图14为本申请一实施例提供的基于语义分割的测距装置的结构示意图，所述测距装置应用于可移动平台，所述可移动平台包括单目摄像头，如图14所示，该装置140可以包括：处理器141和存储器142。
所述存储器142，用于存储程序代码；
所述处理器141，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；
在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；
根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
本实施例提供的基于语义分割的测距装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
本申请实施例还提供一种可移动平台，包括用于采集图像的单目摄像头以及图14所示的基于语义分割的测距装置。
本申请实施例还提供一种基于语义分割的测距系统，包括设置于可移动平台上用于采集图像的单目摄像头图14所示的基于语义分割的测距装置。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (74)

1.一种基于语义分割的测距方法，应用于可移动平台，所述可移动平台上设置有单目摄像头，其特征在于，所述方法包括：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；
在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；
根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
2.根据权利要求1所述的方法，其特征在于，所述在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，包括：
在所述可移动平台移动至第一位置情况下，控制所述可移动平台在所述第一位置原地旋转第一目标角度；
在所述可移动平台原地旋转所述第一目标角度的过程中，获取所述单目摄像头以预设角度为间隔采集到的多张图像；
对所述多张图像进行图像合并，以得到所述第一图像。
3.根据权利要求2所述的方法，其特征在于，所述第一目标角度为360度。
4.根据权利要求2所述的方法，其特征在于，所述在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，包括：
确定所述多张图像中包括所述障碍物的目标图像；
确定所述单目摄像头采集所述目标图像所旋转的第二目标角度；
在所述可移动平台移动至所述第二位置，并旋转至所述第二目标角度对应朝向的情况下，获取所述单目摄像头采集到的第二图像。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述可移动平台包括无人飞行器。
6.根据权利要求5所述的方法，其特征在于，所述第一位置和所述第二位置对应所述可移动平台的不同高度。
7.根据权利要求6所述的方法，其特征在于，所述单目摄像头为可上视摄像头。
8.根据权利要求7所述的方法，其特征在于，所述获取所述单目摄像头采集到的第二图像之前，还包括：
在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降或者上升预设高度，以控制所述可移动平台由所述第一位置移动至所述第二位置。
9.根据权利要求8所述的方法，其特征在于，所述可移动平台的目标运动方向包括垂直向上方向。
10.根据权利要求8所述的方法，其特征在于，所述控制所述可移动平台下降或者上升预设高度，包括：
确定所述第一图像的兴趣区域中是否包括障碍物；
若所述第一图像的兴趣区域中包括障碍物，则在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降或者上升预设高度。
11.根据权利要求1所述的方法，其特征在于，处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图，包括：
采用训练好的神经网络模型，分别处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图。
12.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离，包括：
根据所述单目摄像头的视场角，确定所述第一特征图中所述特定像素点偏移所述第一图像视野中心的第一角度；
根据所述视场角，确定所述第二特征图中所述特定像素点偏移所述第一图像视野中心的第二角度；
根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离。
13.根据权利要求12所述的方法，其特征在于，所述第一图像和所述第二图像的视野方向相同，且与所述可移动平台的目标运动方向相同；所述根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离，包括：
按照所述第一位置、所述第二位置、所述第一图像的视野中心以及所述特定像素点满足如下约束条件，确定所述障碍物到所述可移动平台的距离；
所述约束条件包括：所述第一位置、所述第二位置分别与所述视野中心以及所述特定像素点围城两个直角三角形，且所述第一位置对应的顶角为第一角度，所述第二位置对应的顶角为第二角度。
14.根据权利要求1-4任一项所述的方法，其特征在于，所述特定像素点为所述障碍物的所有边缘像素点中在所述可移动平台的目标运动方向上，距离所述可移动平台最近的像素点。
15.根据权利要求14所述的方法，其特征在于，所述障碍物到所述可移动平台的距离包括：所述障碍物到所述可移动平台的目标运动方向的垂直距离。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
判断所述障碍物到所述可移动平台的距离是否大于预设距离；
若所述障碍物到所述可移动平台的距离大于所述预设距离，则确定所述目标运动方向对应的区域为可移动区域。
17.根据权利要求16所述的方法，其特征在于，所述方法还包括：
若所述障碍物到所述可移动平台的距离小于或等于所述预设距离，则确定所述目标运动方向对应的区域为不可移动区域。
18.根据权利要求16所述的方法，其特征在于，所述目标运动方向包括垂直向上方向，所述可移动平台为无人飞行器，所述预设距离为所述可移动平台的机身中心与所述可移动平台的机翼之间的最大距离。
19.一种基于语义分割的测距装置，所述测距装置应用于可移动平台，所述可移动平台包括单目摄像头，其特征在于，所述装置包括：存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；
在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；
根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
20.根据权利要求19所述的装置，其特征在于，所述处理器用于在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，具体包括：
在所述可移动平台移动至第一位置情况下，控制所述可移动平台在所述第一位置原地旋转第一目标角度；
在所述可移动平台原地旋转所述第一目标角度的过程中，获取所述单目摄像头以预设角度为间隔采集到的多张图像；
对所述多张图像进行图像合并，以得到所述第一图像。
21.根据权利要求20所述的装置，其特征在于，所述第一目标角度为360度。
22.根据权利要求20所述的装置，其特征在于，所述处理器用于在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，具体包括：
确定所述多张图像中包括所述障碍物的目标图像；
确定所述单目摄像头采集所述目标图像所旋转的第二目标角度；
在所述可移动平台移动至所述第二位置，并旋转至所述第二目标角度对应朝向的情况下，获取所述单目摄像头采集到的第二图像。
23.根据权利要求19-22任一项所述的装置，其特征在于，所述可移动平台包括无人飞行器。
24.根据权利要求23所述的装置，其特征在于，所述第一位置和所述第二位置对应所述可移动平台的不同高度。
25.根据权利要求24所述的装置，其特征在于，所述单目摄像头为可上视摄像头。
26.根据权利要求25所述的装置，其特征在于，所述处理器用于获取所述单目摄像头采集到的第二图像之前，还用于：
在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降或者上升预设高度，以控制所述可移动平台由所述第一位置移动至所述第二位置。
27.根据权利要求26所述的装置，其特征在于，所述可移动平台的目标运动方向包括垂直向上方向。
28.根据权利要求26所述的装置，其特征在于，所述处理器用于控制所述可移动平台下降或者上升预设高度，具体包括：
确定所述第一图像的兴趣区域中是否包括障碍物；
若所述第一图像的兴趣区域中包括障碍物，则在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降或者上升预设高度。
29.根据权利要求19所述的装置，其特征在于，所述处理器用于处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图，具体包括：
采用训练好的神经网络模型，分别处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图。
30.根据权利要求19-22任一项所述的装置，其特征在于，所述处理器用于根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离，具体包括：
根据所述单目摄像头的视场角，确定所述第一特征图中所述特定像素点偏移所述第一图像视野中心的第一角度；
根据所述视场角，确定所述第二特征图中所述特定像素点偏移所述第一图像视野中心的第二角度；
根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离。
31.根据权利要求30所述的装置，其特征在于，所述第一图像和所述第二图像的视野方向相同，且与所述可移动平台的目标运动方向相同；所述处理器用于根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离，具体包括：
按照所述第一位置、所述第二位置、所述第一图像的视野中心以及所述特定像素点满足如下约束条件，确定所述障碍物到所述可移动平台的距离；
所述约束条件包括：所述第一位置、所述第二位置分别与所述视野中心以及所述特定像素点围城两个直角三角形，且所述第一位置对应的顶角为第一角度，所述第二位置对应的顶角为第二角度。
32.根据权利要求19-22任一项所述的装置，其特征在于，所述特定像素点为所述障碍物的所有边缘像素点中在所述可移动平台的目标运动方向上，距离所述可移动平台最近的像素点。
33.根据权利要求32所述的装置，其特征在于，所述障碍物到所述可移动平台的距离包括：所述障碍物到所述可移动平台的目标运动方向的垂直距离。
34.根据权利要求33所述的装置，其特征在于，所述处理器还用于：
判断所述障碍物到所述可移动平台的距离是否大于预设距离；
若所述障碍物到所述可移动平台的距离大于所述预设距离，则确定所述目标运动方向对应的区域为可移动区域。
35.根据权利要求34所述的装置，其特征在于，所述处理器还用于：
若所述障碍物到所述可移动平台的距离小于或等于所述预设距离，则确定所述目标运动方向对应的区域为不可移动区域。
36.根据权利要求34所述的装置，其特征在于，所述目标运动方向包括垂直向上方向，所述可移动平台为无人飞行器，所述预设距离为所述可移动平台的机身中心与所述可移动平台的机翼之间的最大距离。
37.一种可移动平台，其特征在于，包括单目摄像头以及测距装置；
其中，所述单目摄像头用于采集图像；所述测距装置包括存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；以及，根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
38.根据权利要求37所述的可移动平台，其特征在于，所述处理器用于在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，具体包括：
在所述可移动平台移动至第一位置情况下，控制所述可移动平台在所述第一位置原地旋转第一目标角度；
在所述可移动平台原地旋转所述第一目标角度的过程中，获取所述单目摄像头以预设角度为间隔采集到的多张图像；
对所述多张图像进行图像合并，以得到所述第一图像。
39.根据权利要求38所述的可移动平台，其特征在于，所述第一目标角度为360度。
40.根据权利要求38所述的可移动平台，其特征在于，所述处理器用于在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，具体包括：
确定所述多张图像中包括所述障碍物的目标图像；
确定所述单目摄像头采集所述目标图像所旋转的第二目标角度；
在所述可移动平台移动至所述第二位置，并旋转至所述第二目标角度对应朝向的情况下，获取所述单目摄像头采集到的第二图像。
41.根据权利要求37-40任一项所述的可移动平台，其特征在于，所述可移动平台包括无人飞行器。
42.根据权利要求41所述的可移动平台，其特征在于，所述第一位置和所述第二位置对应所述可移动平台的不同高度。
43.根据权利要求42所述的可移动平台，其特征在于，所述单目摄像头为可上视摄像头。
44.根据权利要求43所述的可移动平台，其特征在于，所述处理器用于获取所述单目摄像头采集到的第二图像之前，还用于：
在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降或者上升预设高度，以控制所述可移动平台由所述第一位置移动至所述第二位置。
45.根据权利要求44所述的可移动平台，其特征在于，所述可移动平台的目标运动方向包括垂直向上方向。
46.根据权利要求44所述的可移动平台，其特征在于，所述处理器用于控制所述可移动平台下降或者上升预设高度，具体包括：
确定所述第一图像的兴趣区域中是否包括障碍物；
若所述第一图像的兴趣区域中包括障碍物，则在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降或者上升预设高度。
47.根据权利要求37所述的可移动平台，其特征在于，所述处理器用于处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图，具体包括：
采用训练好的神经网络模型，分别处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图。
48.根据权利要求37-40任一项所述的可移动平台，其特征在于，所述处理器用于根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离，具体包括：
根据所述单目摄像头的视场角，确定所述第一特征图中所述特定像素点偏移所述第一图像视野中心的第一角度；
根据所述视场角，确定所述第二特征图中所述特定像素点偏移所述第一图像视野中心的第二角度；
根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离。
49.根据权利要求48所述的可移动平台，其特征在于，所述第一图像和所述第二图像的视野方向相同，且与所述可移动平台的目标运动方向相同；所述处理器用于根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离，具体包括：
按照所述第一位置、所述第二位置、所述第一图像的视野中心以及所述特定像素点满足如下约束条件，确定所述障碍物到所述可移动平台的距离；
所述约束条件包括：所述第一位置、所述第二位置分别与所述视野中心以及所述特定像素点围城两个直角三角形，且所述第一位置对应的顶角为第一角度，所述第二位置对应的顶角为第二角度。
50.根据权利要求37-40任一项所述的可移动平台，其特征在于，所述特定像素点为所述障碍物的所有边缘像素点中在所述可移动平台的目标运动方向上，距离所述可移动平台最近的像素点。
51.根据权利要求50所述的可移动平台，其特征在于，所述障碍物到所述可移动平台的距离包括：所述障碍物到所述可移动平台的目标运动方向的垂直距离。
52.根据权利要求51所述的可移动平台，其特征在于，所述处理器还用于：
判断所述障碍物到所述可移动平台的距离是否大于预设距离；
若所述障碍物到所述可移动平台的距离大于所述预设距离，则确定所述目标运动方向对应的区域为可移动区域。
53.根据权利要求52所述的可移动平台，其特征在于，所述处理器还用于：
若所述障碍物到所述可移动平台的距离小于或等于所述预设距离，则确定所述目标运动方向对应的区域为不可移动区域。
54.根据权利要求52所述的可移动平台，其特征在于，所述目标运动方向包括垂直向上方向，所述可移动平台为无人飞行器，所述预设距离为所述可移动平台的机身中心与所述可移动平台的机翼之间的最大距离。
55.一种基于语义分割的测距系统，其特征在于，包括单目摄像头以及测距装置，所述单目摄像头设置于可移动平台上，用于采集图像；所述测距装置包括存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，所述第一图像包括障碍物，处理所述第一图像得到包含语义信息的第一特征图；在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，所述第二图像包括所述障碍物，处理所述第二图像得到包含语义信息的第二特征图；以及，根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离。
56.根据权利要求55所述的系统，其特征在于，所述处理器用于在所述可移动平台移动至第一位置情况下，获取所述单目摄像头采集到的第一图像，具体包括：
在所述可移动平台移动至第一位置情况下，控制所述可移动平台在所述第一位置原地旋转第一目标角度；
在所述可移动平台原地旋转所述第一目标角度的过程中，获取所述单目摄像头以预设角度为间隔采集到的多张图像；
对所述多张图像进行图像合并，以得到所述第一图像。
57.根据权利要求56所述的系统，其特征在于，所述第一目标角度为360度。
58.根据权利要求56所述的系统，其特征在于，所述处理器用于在所述可移动平台由所述第一位置移动至所述第二位置情况下，获取所述单目摄像头采集到的第二图像，具体包括：
确定所述多张图像中包括所述障碍物的目标图像；
确定所述单目摄像头采集所述目标图像所旋转的第二目标角度；
在所述可移动平台移动至所述第二位置，并旋转至所述第二目标角度对应朝向的情况下，获取所述单目摄像头采集到的第二图像。
59.根据权利要求55-58任一项所述的系统，其特征在于，所述可移动平台包括无人飞行器。
60.根据权利要求59所述的系统，其特征在于，所述第一位置和所述第二位置对应所述可移动平台的不同高度。
61.根据权利要求60所述的系统，其特征在于，所述单目摄像头为可上视摄像头。
62.根据权利要求61所述的系统，其特征在于，所述处理器用于获取所述单目摄像头采集到的第二图像之前，还用于：
在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降或者上升预设高度，以控制所述可移动平台由所述第一位置移动至所述第二位置。
63.根据权利要求62所述的系统，其特征在于，所述可移动平台的目标运动方向包括垂直向上方向。
64.根据权利要求62所述的系统，其特征在于，所述处理器用于控制所述可移动平台下降或者上升预设高度，具体包括：
确定所述第一图像的兴趣区域中是否包括障碍物；
若所述第一图像的兴趣区域中包括障碍物，则在所述可移动平台位于所述第一位置的情况下，控制所述可移动平台下降或者上升预设高度。
65.根据权利要求55所述的系统，其特征在于，所述处理器用于处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图，具体包括：
采用训练好的神经网络模型，分别处理所述第一图像和所述第二图像，得到包含语义信息的第一特征图和第二特征图。
66.根据权利要求55-58任一项所述的系统，其特征在于，所述处理器用于根据所述第一特征图和所述第二特征图中所述障碍物的特定像素点，确定所述障碍物到所述可移动平台的距离，具体包括：
根据所述单目摄像头的视场角，确定所述第一特征图中所述特定像素点偏移所述第一图像视野中心的第一角度；
根据所述视场角，确定所述第二特征图中所述特定像素点偏移所述第一图像视野中心的第二角度；
根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离。
67.根据权利要求66所述的系统，其特征在于，所述第一图像和所述第二图像的视野方向相同，且与所述可移动平台的目标运动方向相同；所述处理器用于根据所述第一角度、所述第二角度以及所述第一位置与所述第二位置之间的距离，确定所述障碍物到所述可移动平台的距离，具体包括：
按照所述第一位置、所述第二位置、所述第一图像的视野中心以及所述特定像素点满足如下约束条件，确定所述障碍物到所述可移动平台的距离；
所述约束条件包括：所述第一位置、所述第二位置分别与所述视野中心以及所述特定像素点围城两个直角三角形，且所述第一位置对应的顶角为第一角度，所述第二位置对应的顶角为第二角度。
68.根据权利要求55-58任一项所述的系统，其特征在于，所述特定像素点为所述障碍物的所有边缘像素点中在所述可移动平台的目标运动方向上，距离所述可移动平台最近的像素点。
69.根据权利要求68所述的系统，其特征在于，所述障碍物到所述可移动平台的距离包括：所述障碍物到所述可移动平台的目标运动方向的垂直距离。
70.根据权利要求69所述的系统，其特征在于，所述处理器还用于：
判断所述障碍物到所述可移动平台的距离是否大于预设距离；
若所述障碍物到所述可移动平台的距离大于所述预设距离，则确定所述目标运动方向对应的区域为可移动区域。
71.根据权利要求70所述的系统，其特征在于，所述处理器还用于：
若所述障碍物到所述可移动平台的距离小于或等于所述预设距离，则确定所述目标运动方向对应的区域为不可移动区域。
72.根据权利要求70所述的系统，其特征在于，所述目标运动方向包括垂直向上方向，所述可移动平台为无人飞行器，所述预设距离为所述可移动平台的机身中心与所述可移动平台的机翼之间的最大距离。
73.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求1-18任一项所述的方法。
74.一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如权利要求1-18任一项所述的方法。
CN202080004229.6A 2020-01-21 2020-01-21 基于语义分割的测距方法、装置、设备及系统 Pending CN112639400A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/073657 WO2021146970A1 (zh) 2020-01-21 2020-01-21 基于语义分割的测距方法、装置、设备及系统

Publications (1)

Publication Number Publication Date
CN112639400A true CN112639400A (zh) 2021-04-09

Family

ID=75291526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004229.6A Pending CN112639400A (zh) 2020-01-21 2020-01-21 基于语义分割的测距方法、装置、设备及系统

Country Status (2)

Country Link
CN (1) CN112639400A (zh)
WO (1) WO2021146970A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018215A (zh) * 2022-01-04 2022-02-08 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质
WO2022227876A1 (zh) * 2021-04-29 2022-11-03 北京石头世纪科技股份有限公司 一种测距方法、装置、机器人和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150078619A1 (en) * 2012-07-31 2015-03-19 Harman International Industries, Incorporated System and method for detecting obstacles using a single camera
CN104677329A (zh) * 2015-03-19 2015-06-03 广东欧珀移动通信有限公司 基于摄像头的目标测距方法及装置
CN105716582A (zh) * 2016-02-15 2016-06-29 中林信达（北京）科技信息有限责任公司 摄像机视场角的测量方法、装置以及摄像机视场角测量仪
CN106529495A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的障碍物检测方法和装置
CN106643667A (zh) * 2016-12-14 2017-05-10 中国石油天然气集团公司 测距方法和装置
CN106767720A (zh) * 2016-12-30 2017-05-31 广州地理研究所 基于无人机的单镜头倾斜摄影测量方法、装置和系统
CN107687841A (zh) * 2017-09-27 2018-02-13 中科创达软件股份有限公司 一种测距方法及装置
CN109443319A (zh) * 2018-12-21 2019-03-08 联创汽车电子有限公司 基于单目视觉的障碍物测距系统及其测距方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6410231B2 (ja) * 2015-02-10 2018-10-24 株式会社デンソーアイティーラボラトリ 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN109074476A (zh) * 2016-08-01 2018-12-21 深圳市大疆创新科技有限公司 用于障碍物规避的系统以及方法
CN106910206B (zh) * 2017-01-17 2020-02-18 邢惠钧 一种目标跟踪方法及装置
CN106970618A (zh) * 2017-04-06 2017-07-21 北京臻迪科技股份有限公司 一种无人船控制方法及系统
CN108051831B (zh) * 2017-11-08 2021-09-28 哈尔滨工业大学 基于地物坐标信息的目标快速定位的方法、装置、卫星搭载设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150078619A1 (en) * 2012-07-31 2015-03-19 Harman International Industries, Incorporated System and method for detecting obstacles using a single camera
CN104677329A (zh) * 2015-03-19 2015-06-03 广东欧珀移动通信有限公司 基于摄像头的目标测距方法及装置
CN105716582A (zh) * 2016-02-15 2016-06-29 中林信达（北京）科技信息有限责任公司 摄像机视场角的测量方法、装置以及摄像机视场角测量仪
CN106529495A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的障碍物检测方法和装置
CN106643667A (zh) * 2016-12-14 2017-05-10 中国石油天然气集团公司 测距方法和装置
CN106767720A (zh) * 2016-12-30 2017-05-31 广州地理研究所 基于无人机的单镜头倾斜摄影测量方法、装置和系统
CN107687841A (zh) * 2017-09-27 2018-02-13 中科创达软件股份有限公司 一种测距方法及装置
CN109443319A (zh) * 2018-12-21 2019-03-08 联创汽车电子有限公司 基于单目视觉的障碍物测距系统及其测距方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227876A1 (zh) * 2021-04-29 2022-11-03 北京石头世纪科技股份有限公司 一种测距方法、装置、机器人和存储介质
CN114018215A (zh) * 2022-01-04 2022-02-08 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021146970A1 (zh) 2021-07-29

Similar Documents

Publication Publication Date Title
US11915502B2 (en) Systems and methods for depth map sampling
CN112567201B (zh) 距离测量方法以及设备
US11195011B2 (en) Object detection and avoidance for aerial vehicles
EP3581890B1 (en) Method and device for positioning
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
CN106529538A (zh) 一种飞行器的定位方法和装置
CN113298053B (zh) 多目标无人机追踪识别方法、装置、电子设备及存储介质
CN111856963A (zh) 一种基于车载环视系统的泊车仿真方法及装置
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
CN112639400A (zh) 基于语义分割的测距方法、装置、设备及系统
CN112711255B (zh) 移动机器人避障方法、控制设备及存储介质
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN111510704A (zh) 校正摄像头错排的方法及利用其的装置
CN115223135B (zh) 车位跟踪方法、装置、车辆及存储介质
Avola et al. Automatic estimation of optimal UAV flight parameters for real-time wide areas monitoring
CN112396634B (zh) 运动目标检测方法、装置、车辆及存储介质
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
KR100998709B1 (ko) 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법
WO2021223166A1 (zh) 状态信息确定方法、装置、系统、可移动平台和存储介质
CN117392234A (zh) 相机与激光雷达的标定方法及装置
KR101167099B1 (ko) 비전기반의 소실점을 이용한 자율 주행로봇의 구조적 랜드마크 인식 방법
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210409

WD01 Invention patent application deemed withdrawn after publication