CN109709977A - 移动轨迹规划的方法、装置及移动物体 - Google Patents
移动轨迹规划的方法、装置及移动物体 Download PDFInfo
- Publication number
- CN109709977A CN109709977A CN201711014150.8A CN201711014150A CN109709977A CN 109709977 A CN109709977 A CN 109709977A CN 201711014150 A CN201711014150 A CN 201711014150A CN 109709977 A CN109709977 A CN 109709977A
- Authority
- CN
- China
- Prior art keywords
- target object
- information
- dimensional
- mobile object
- threedimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明实施例提供了一种移动轨迹规划的方法、装置及移动物体，其中，所述方法包括：确定目标对象的三维模型；基于所述三维模型，规划移动物体的移动轨迹。本发明实施例可以实现三维路线的规划，节省人力打点的成本，路线规划的自动化程度更高，效率也更高。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种移动轨迹规划的方法、一种移动轨迹规划的装置、一种移动物体以及一种计算机可读存储介质。
背景技术
随着无人机植保技术的发展，使得无人机植保具有对作物损害小、农药利用率高等特点。越来越多的农户或农场主利用无人机进行植保作业，特别是利用无人机进行农药喷洒和化肥喷洒。
一般地，现有的植保无人机都在平整的农田中作业效果良好，然而实际作业场景并不那么理想，例如果树林，丘陵地带的茶园等。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种移动轨迹规划的方法和相应的一种移动轨迹规划的装置、一种移动物体以及一种计算机可读存储介质。
为了解决上述问题，本发明实施例公开了一种移动轨迹规划的方法，所述方法包括：
确定目标对象的三维模型；
基于所述三维模型，规划移动物体的移动轨迹。
优选地，所述确定目标对象的三维模型的步骤包括：
获取所述目标对象的二维特征信息；
根据所述二维特征信息确定所述目标对象的三维特征信息；
根据所述三维特征信息构建目标对象的三维模型。
优选地，所述根据所述二维特征信息确定所述目标对象的三维特征信息的步骤包括：
根据所述二维特征信息确定所述目标对象的位置信息；
控制所述移动物体移动到所述位置信息对应的位置；
通过所述移动物体的传感设备，确定所述目标对象的三维特征信息。
优选地，所述控制所述移动物体移动到所述位置信息对应的位置的步骤包括：
控制所述移动物体往所述目标对象的位置水平移动，在水平移动的过程中，按照预设的时间间隔，获取所述移动物体与所述目标对象的实时距离；
当所述实时距离小于或等于预设阈值时，控制所述移动物体上升移动到距离所述目标对象的预设距离处；
控制所述移动物体移动到所述位置信息对应的位置，以使得所述移动物体位于所述目标对象的上方。
优选地，所述在水平移动的过程中，按照预设的时间间隔，获取所述移动物体与所述目标对象的实时距离的步骤包括：
在水平移动过程中，通过所述移动物体中的图像采集装置，按照预设时间间隔采集实时图像数据；
获取所述实时图像数据对应的第一景深图；
基于所述第一景深图，确定所述移动物体距离目标对象的景深信息，作为所述移动物体与所述目标对象的实时距离。
优选地，所述三维特征信息包括水平方向的第一三维点云数据以及垂直方向的第二三维点云数据；
所述通过所述移动物体的传感设备，确定所述目标对象的三维特征信息的步骤包括：
在水平移动时，当所述实时距离小于或等于预设阈值时，通过所述移动物体的传感设备，获取所述目标对象对应的第一三维点云数据；
当所述移动物体位于所述目标对象的上方时，通过所述移动物体的传感设备，获取所述目标对象对应的第二三维点云数据。
优选地，所述获取所述目标对象对应的第一三维点云数据的步骤包括：
获取基于所述目标对象的第二景深图；
基于所述第二景深图，计算所述目标对象的第一三维点云数据。
优选地，所述根据所述三维特征信息构建目标对象的三维模型的步骤包括：
对所述第一三维点云数据以及所述第二三维点云数据进行融合，得到三维点云数据集合；
基于所述三维点云数据集合对所述目标对象进行三维重建，获得所述目标对象的三维模型。
优选地，所述传感设备包括如下设备的至少一种：双目摄像头、激光雷达传感器、声呐传感器。
优选地，所述获取所述目标对象的二维特征信息的步骤包括：
获取包含所述目标对象的正射影像；
基于所述正射影像，确定所述目标对象的二维特征信息。
优选地，所述基于所述正射影像，确定所述目标对象的二维特征信息的步骤包括：
获取所述正射影像中的标注信息，作为所述目标对象的二维特征信息，其中，所述标注信息为用户在所述正射影像中标注的信息；
和/或，
对所述正射影像进行图像分割处理以及特征提取，获得所述目标对象的二维特征信息；
和/或，
将所述正射影像输入预先生成的机器模型，输出所述目标对象的二维特征信息。
优选地，所述获取包含目标对象的正射影像的步骤包括：
确定所述目标对象所在的指定区域；
获取所述指定区域的一张正射影像，或者，获取由所述指定区域的多张正射影像拼接而成的正射影像。
优选地，在所述确定目标对象的三维模型的步骤之后，还包括：
对所述三维模型进行压缩处理。
优选地，所述对所述三维模型进行压缩处理的步骤包括：
基于所述三维模型，确定三维方向中各个方向对应的最小边长；
对所述各个方向对应的最小边长所确定的区域进行空间划分，获得多个方块；
将所述三维模型中的三维点云数据，填充到所述多个方块中。
优选地，所述基于所述三维模型，规划移动物体的移动轨迹的步骤包括：
基于所述三维模型，确定目标对象的属性信息，所述属性信息包括所述目标对象的高程信息、大小信息、形状信息；
基于所述属性信息，规划所述移动物体对所述目标对象进行作业的移动轨迹；
控制所述移动物体按照所述移动轨迹对所述目标对象进行作业。
本发明实施例还公开了一种移动轨迹规划的装置，所述装置包括：
三维模型确定模块，用于确定目标对象的三维模型；
路线规划模块，用于基于所述三维模型，规划移动物体的移动轨迹。
优选地，所述三维模型确定模块包括：
二维特征信息获取子模块，用于获取所述目标对象的二维特征信息；
三维特征信息获取子模块，用于根据所述二维特征信息确定所述目标对象的三维特征信息；
三维模型构建子模块，用于根据所述三维特征信息构建目标对象的三维模型。
优选地，所述三维特征信息获取子模块包括：
位置信息确定单元，用于根据所述二维特征信息确定所述目标对象的位置信息；
移动单元，用于控制所述移动物体移动到所述位置信息对应的位置；
三维特征信息确定单元，用于通过所述移动物体的传感设备，确定所述目标对象的三维特征信息。
优选地，所述移动单元包括：
水平移动子单元，用于控制所述移动物体往所述目标对象的位置水平移动，在水平移动的过程中，按照预设的时间间隔，获取所述移动物体与所述目标对象的实时距离；
上升移动子单元，用于当所述实时距离小于或等于预设阈值时，控制所述移动物体上升移动到距离所述目标对象的预设距离处；
位置移动子单元，用于控制所述移动物体移动到所述位置信息对应的位置，以使得所述移动物体位于所述目标对象的上方。
优选地，所述水平移动子单元还用于：
在水平移动过程中，通过所述移动物体中的图像采集装置，按照预设时间间隔采集实时图像数据；
获取所述实时图像数据对应的第一景深图；
基于所述第一景深图，确定所述移动物体距离目标对象的景深信息，作为所述移动物体与所述目标对象的实时距离。
优选地，所述三维特征信息包括水平方向的第一三维点云数据以及垂直方向的第二三维点云数据；
所述三维特征信息确定单元包括：
第一点云数据获取子单元，用于在水平移动时，当所述实时距离小于或等于预设阈值时，通过所述移动物体的传感设备，获取所述目标对象对应的第一三维点云数据；
第二点云数据获取子单元，用于当所述移动物体位于所述目标对象的上方时，通过所述移动物体的传感设备，获取所述目标对象对应的第二三维点云数据。
优选地，所述第一点云数据获取子单元还用于：
获取基于所述目标对象的第二景深图；
基于所述第二景深图，计算所述目标对象的第一三维点云数据。
优选地，所述三维模型构建子模块包括：
点云融合单元，用于对所述第一三维点云数据以及所述第二三维点云数据进行融合，得到三维点云数据集合；
三维重建单元，用于基于所述三维点云数据集合对所述目标对象进行三维重建，获得所述目标对象的三维模型。
优选地，所述传感设备包括如下设备的至少一种：双目摄像头、激光雷达传感器、声呐传感器。
优选地，所述二维特征信息获取子模块包括：
正射影像获取单元，用于获取包含所述目标对象的正射影像；
二维特征信息确定单元，用于基于所述正射影像，确定所述目标对象的二维特征信息。
优选地，所述二维特征信息确定单元还用于：
获取所述正射影像中的标注信息，作为所述目标对象的二维特征信息，其中，所述标注信息为用户在所述正射影像中标注的信息；
和/或，
对所述正射影像进行图像分割处理以及特征提取，获得所述目标对象的二维特征信息；
和/或，
将所述正射影像输入预先生成的机器模型，输出所述目标对象的二维特征信息。
优选地，所述正射影像获取单元包括：
指定区域确定子单元，用于确定所述目标对象所在的指定区域；
正射影像获取子单元，用于获取所述指定区域的一张正射影像，或者，获取由所述指定区域的多张正射影像拼接而成的正射影像。
优选地，还包括：
压缩模块，用于对所述三维模型进行压缩处理。
优选地，所述压缩模块包括：
边长确定子模块，用于基于所述三维模型，确定三维方向中各个方向对应的最小边长；
空间划分子模块，用于对所述各个方向对应的最小边长所确定的区域进行空间划分，获得多个方块；
数据填充子模块，用于将所述三维模型中的三维点云数据，填充到所述多个方块中。
优选地，所述路线规划模块包括：
属性信息确定子模块，用于基于所述三维模型，确定目标对象的属性信息，所述属性信息包括所述目标对象的高程信息、大小信息、形状信息；
轨迹规划子模块，用于基于所述属性信息，规划所述移动物体对所述目标对象进行作业的移动轨迹；
作业子模块，用于控制所述移动物体按照所述移动轨迹对所述目标对象进行作业。
本发明实施例还公开了一种移动物体，所述移动物体包括控制器、定位装置以及传感设备，其中，
所述定位装置，用于获取目标对象的位置信息，并控制所述移动物体移动到所述位置信息对应的位置；
所述传感设备，用于确定所述目标对象的三维模型；
所述控制器，用于基于所述三维模型，规划移动物体的移动轨迹。
本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明实施例包括以下优点：
本发明实施例能够获取目标对象的三维模型，并根据该目标对象的三维模型规划移动物体的移动轨迹，从而实现三维路线的规划，节省人力打点的成本，路线规划的自动化程度更高，效率也更高。
另外，根据三维模型规划三维移动轨迹，可以获取更优的移动轨迹，提高路线规划的质量和可行性，方便移动物体更好地移动，保证了飞行安全，提高了作业效率以及灵活度。
附图说明
图1是本发明的一种移动轨迹规划的方法实施例的步骤流程图；
图2是本发明的一种移动轨迹规划的方法另一实施例的步骤流程图；
图3是本发明的一种移动轨迹规划的装置实施例的结构框图；
图4是本发明的一种移动物体实施例的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种移动轨迹规划的方法实施例的步骤流程图，可以包括如下步骤：
步骤101，确定目标对象的三维模型；
步骤102，基于所述三维模型，规划移动物体的移动轨迹。
本发明实施例可以应用于能够进行路线规划的路线规划装置中，该路线规划装置可以包括移动物体的控制器、服务器或者其他的路线规划设备，该路线规划装置能够获取目标对象的三维模型，并根据该目标对象的三维模型规划移动物体的移动轨迹，从而实现三维路线的规划，节省人力打点的成本，路线规划的自动化程度更高，效率也更高。
另外，根据三维模型规划三维移动轨迹，可以获取更优的移动轨迹，提高路线规划的质量和可行性，方便移动物体更好地移动，保证了飞行安全，提高了作业效率以及灵活度。
参照图2，示出了本发明的一种移动轨迹规划的方法另一实施例的步骤流程图，本发明实施例可以应用于移动物体中，该移动物体可以包括能够接收指令进行移动的对象，例如，该移动物体可以包括无人机、移动机器人、移动家居、汽车等。优选地，该移动物体可以包括能够实施植保作业的植保设备，如植保无人机、植保无人车等。
本发明实施例具体可以包括如下步骤：
步骤201，确定目标对象的三维模型；
作为本发明实施例的一种优选示例，该目标对象可以为被作业的、占据一定空间位置的对象，例如，果树、棉花、农田、茶园等目标对象。
移动物体可以通过控制器(例如无人机中的飞行控制器)来获取目标对象的三维模型。
在本发明实施例的一种实施方式中，控制器可以从预先生成的三维模型数据库中获取目标对象的三维模型。具体的，该三维模型数据库中可以保存多个指定对象的三维模型，在本发明实施例中，每个指定对象的三维模型可以包括该指定对象的位置信息。当确定目标对象的位置信息以后，可以根据该位置信息在三维模型数据库中进行匹配，获得匹配该位置信息的三维模型。
在本发明实施例的另一种实施方式中，可以实时生成三维模型，步骤201可以包括如下子步骤：
子步骤S11，获取所述目标对象的二维特征信息；
在实现中，该二维特征信息可以为从目标对象的二维图像中提取的信息。
在本发明实施例的一种实施方式中，子步骤S11进一步可以包括如下子步骤：
子步骤S111，获取包含所述目标对象的正射影像；
具体的，正射影像是指具有正射投影性质的遥感影像。在实现时，该正射影像可以表示成二维高清地图。
在一种实施方式中，该包含目标对象的正射影像可以采用如下步骤获取：
确定所述目标对象所在的指定区域；获取与所述指定区域对应的，经由图像采集装置采集的一张或多张正射影像；若所述正射影像有多张，则将所述多张正射影像拼接成所述指定区域的正射影像。
指定区域可以为目标对象所在的区域，例如，移动物体进行作业的作业区域等。在实现时，可以从服务器或地面站等设备中获取指定区域，该指定区域可以表示为多个定位点的集合。
在实际中，该指定区域可以包括但不限于：用户在地图中圈定或设置的区域、测绘人员通过打点的方式确定的区域，等等。例如，该指定区域可以包括无人机进行作业的果园、农田等。
除了上述确定指定区域的方式以外，还可以通过其他方式确定指定区域，例如，可以首先获取目标对象的位置，然后确定该位置指定半径范围的区域作为指定区域，本发明实施例对指定区域的确定方式不作限定。
当确定指定区域以后，可以获取该指定区域范围内的所有正射影像，在具体实现中，正射影像可以由图像采集装置采集得到，图像采集装置可以通过遥感技术拍摄正射影像。
该图像采集装置可以为移动物体内部的部件，如摄像头、遥感传感器等；该图像采集装置也可以是与移动物体连接的其他的设备，包括测绘无人机等航拍设备等。
在具体实现中，若图像采集装置为移动物体内的部件，则移动物体的控制器可以调用相关接口从该图像采集装置中获得正射图像。
若图像采集装置为移动物体外部的设备，移动物体的控制器可以直接与图像采集装置通信，获得指定区域范围内的正射影像。
或者，移动物体的控制器还可以直接通过服务器获得由图像采集装置采集的正射影像，具体的，图像采集装置采集正射影像以后，可以将该正射影像存储在服务器中，当移动物体确定指定区域以后，可以从服务器中获得该指定区域范围内的正射影像。
若指定区域范围内的正射影像有多张，则移动物体的控制器可以采用正射影像拼接技术将该多幅正射影像拼接成一幅正射影像，作为指定区域的正摄影像。
在另外一种实施方式中，该包含目标对象的正射影像可以采用如下步骤获取：
确定所述目标对象所在的指定区域；获取所述指定区域的一张正射影像，或者，获取由所述指定区域的多张正射影像拼接而成的正射影像。
该实施例与上一实施例的区别在于，正射影像不是由移动物体的控制器实时拼接，而是由其他的设备完成拼接，则移动物体可以直接获取该指定区域的正射影像即可，无需进行拼接过程，提高了移动物体的工作效率。
子步骤S112，基于所述正射影像，确定所述目标对象的二维特征信息。
得到该目标对象的正射影像以后，可以根据该正射影像，获取目标对象的二维特征信息。
在一种实施方式中，子步骤S112进一步可以包括如下子步骤：
获取所述正射影像中的标注信息，作为所述目标对象的二维特征信息，其中，所述标注信息为用户在所述正射影像中标注的信息。
在具体实现中，根据指定区域的正射影像可以定位到图像中每个具体位置的经纬度。
当移动物体获得指定区域的正射影像以后，可以通过用户界面显示该正射影像。例如，将该正射影像发送至手持遥控器或者地面站进行展示。
在实现中，用户可以在该正射影像上进行标注，则控制器可以将用户标注的信息(即标注信息)作为目标对象的二维特征信息。
在另一种实施方式中，子步骤S112进一步可以包括如下子步骤：
对所述正射影像进行图像分割处理以及特征提取，获得所述目标对象的二维特征信息。
在具体实现中，可以对正射影像进行图像分割处理，以果树园为例，可以根据果树的颜色特征、大小特征、纹理特征、形状特征等特征，从正射影像中将果树识别出来，并自动标记果树位置，最终可以得到该正射影像的二维特征信息。又如，若指定区域为带状地形的区域，则对该指定区域对应的二维特征信息可以为带状的地形特征，由于是对正射影像进行特征提取，则提取的特征可以包括目标对象的地理位置信息。
在另一种实施方式中，子步骤S112进一步可以包括如下子步骤：
将所述正射影像输入预先生成的机器模型，输出所述目标对象的二维特征信息。
在具体实现中，可以预先训练好机器模型，例如，卷积神经网络模型，该机器模型以二维地图作为输入，输出该二维地图对应的二维特征信息。则在本发明实施例中，得到指定区域的正射影像以后，可以将该正射影像输入机器模型中，由机器模型输出该正射影像对应的二维特征信息，该二维特征信息可以包含目标对象的地理位置信息。
需要说明的是，本发明实施例并不限于上述确定目标对象的二维特征信息的方式，本领域技术人员采用其他方式获取目标对象的二维特征信息均是可以的。
子步骤S12，根据所述二维特征信息确定所述目标对象的三维特征信息；
得到目标对象的二维特征信息以后，可以根据该二维特征信息，确定目标对象的三维特征信息。
其中，三维特征信息反映的是目标对象在三维空间的特征信息。
例如，二维特征信息是在正射影像中标记的一颗果树，对应的二维特征信息可以包括果树的位置信息、形状信息、大小信息、品种信息等，移动物体移动时，可以实时获取果树的高程信息、空间形状信息等，结合该高程信息、空间形状信息与该二维特征信息，可以确定目标对象的三维特征信息。
在本发明实施例的一种优选实施例中，子步骤S12进一步可以包括如下子步骤：
子步骤S121，根据所述二维特征信息确定所述目标对象的位置信息；
在具体实现中，由于正射影像可以包含经纬度信息，则得到的二维特征信息可以包含地理位置信息，根据二维特征信息所在的正射影像位置，可以得到目标对象的地理位置信息。
例如，用户在正射影像上标注以后，可以将该标注的位置作为目标对象的位置，并从正射影像中获得该标注的位置对应的经纬度信息，作为目标对象的位置信息。子步骤S122，控制所述移动物体移动到所述位置信息对应的位置；
确定目标对象的位置信息以后，控制中心可以利用移动物体中的定位装置，控制移动物体向该位置信息对应的位置移动。其中，该定位装置可以包括GPS(GlobalPositioning System，全球定位系统)等。
在具体实现时，确定目标对象的位置信息以后，控制器可以规划移动物体当前的位置信息与该目标对象的位置信息之间的路线，按照该路线，采用定位装置控制移动物体移动。
需要说明的是，若指定区域中存在多个目标对象，可以根据每个目标对象的位置信息，确定移动物体到达每个目标对象的顺序，并控制移动物体按照该顺序顺次移动到每个目标对象中。
在本发明实施例的一种优选实施例中，子步骤S122进一步可以包括如下子步骤：
子步骤S1221，控制所述移动物体往所述目标对象的位置信息水平移动，在水平移动的过程中，按照预设的时间间隔，获取所述移动物体与所述目标对象的实时距离；
确定目标对象的位置信息以后，移动物体可以通过定位装置，控制移动物体往该目标对象的位置信息水平移动，以逐步靠近目标对象。
在水平移动的过程中，控制器可以按照预设时间间隔获取移动物体与目标对象之间的实时距离。
在本发明实施例的一种优选实施例中，子步骤S1221进一步可以包括如下子步骤：
子步骤S12211，在水平移动过程中，通过所述移动物体中的图像采集装置，按照预设时间间隔采集实时图像数据；
在移动物体的水平移动过程中，可以采用移动物体中的图像采集装置，按照一定的时间间隔，采集前方视场的实时图像数据。
在一种实施方式中，该图像采集装置可以包括移动设备中预先标定好的双目摄像头，则该实时图像数据可以包括左视图以及右视图。
具体的，摄像头标定的目的是为了消除畸变以及得到内外参数矩阵，内参数矩阵可以理解为焦距相关，它是一个从平面到像素的转换，焦距不变它就不变，所以确定以后就可以重复使用，而外参数矩阵反映的是摄像机坐标系与世界坐标系的转换，至于畸变参数，一般也包含在内参数矩阵中。从作用上来看，内参数矩阵是为了得到镜头的信息，并消除畸变，使得到的图像更为准确，外参数矩阵是为了得到相机相对于世界坐标的联系，是为了最终的测距。
在实现中，在摄像头标定的过程中，可以先分别标定各个摄像头的内参数，包括焦距主点和畸变，再标定两个摄像头之间的相对运动，包括旋转R和位移t。
对双目摄像头标定以后，得到的标定结果可以存储在指定文件中。
获得左视图以及右视图以后，可以从指定文件中获得标定参数，对该左视图以及右视图进行极线校正，以将两个视图校正至同一参考系中。
作为一种示例，该标定参数可以包括但不限于：焦距主点、畸变，以及两个摄像头之间的相对变换。
在具体实现中，可以通过假设一个参考平面，根据相对变换与内参数可以计算左右摄像头各自相对于参考平面的旋转R1、R2以及投影矩阵P1、P2，再将旋转和投影作用于原始图像则可以使两个图像矫正至同一参考系中。
具体的，可以采用Bouguet的极线校正的算法来进行极线校正，可以包括如下过程：将右视图平面相对于左视图平面的旋转矩阵分解成两个矩阵Rl和Rr，称为左右摄像头的合成旋转矩阵；将左右摄像头各旋转一半，使得左右摄像头的光轴平行，此时左右摄像头的成像面达到平行，但是基线与成像平面不平行；构造变换矩阵Rrect使得基线与成像平面平行，构造的方法是通过右摄像头相对于左摄像头的偏移矩阵T完成的；通过合成旋转矩阵与变换矩阵相乘获得左右摄像头的整体旋转矩阵，左右摄像头坐标系乘以各自的整体旋转矩阵就可使得左右摄像头的主光轴平行，且像平面与基线平行；通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的双目立体系图像。
当然，本发明实施例并不限于上述校正方法，本领域技术人员采用其他方式进行极线校正均是可以的。
子步骤S12212，获取所述实时图像数据对应的第一景深图；
根据上述子步骤S12211得到左视图以及右视图以后，可以将左视图与右视图进行特征匹配。
在具体实现中，可以采用归一化交叉相关性(NCC)进行左视图与右视图的稠密匹配。其中，NCC是一种基于统计学计算两组样本数据相关性的算法，其取值范围是[-1,1]之间，如果对于左视图中某个邻域子集与右视图中某个邻域子集完全匹配，则其NCC值为1，表示相关性很高。若NCC值为-1，表示完全不相关。
具体而言，对左视图中每一个待测像素(x,y)，可以利用其8邻域构建相关窗口，形成9维向量WL(x,y)(即第一多维向量)，对向量WL(x,y)求均值UL(x,y)(即第一均值)，在右视图同一水平线上每个像素(m,n)位置构建相关窗口WR(m,n)(即第二多维向量)，并对其求均值UR(m,n)(即第二均值)。
然后，可以采用如下公式对左视图、右视图两个像素相关窗口计算相关性：
对右视图中同一水平线上的所有像素(m,n)，通过计算与左视图待测像素(x,y)的相关性，使得NCC(x,y)值最大的右视图的像素(m,n)即为左视图待测像素(x,y)的最优匹配。
需要说明的是，关于特征匹配的方案，除了当前使用的基于像素亮度值差异的NCC方案以外，其他基于像素亮度值的方案还有MAD(平均绝对差算法)、SAD(平均绝对差算法)、SSD(误差平方和算法)、MSD(平均误差平方和算法)、SSDA(平均误差平方和算法)等，此外还有基于特征点的特征匹配方法，本发明实施例对特征匹配的具体方案不作限定。
根据上述特征匹配的匹配结果，可以采用匹配像素的水平位置之差(xr-xl)计算得到当前时刻的图像数据的视差图。
需要说明的是，由于上述搜索匹配过程只在待匹配像素同一水平线上的右视图中进行，因此各行像素的匹配可以独立进行，因此可以利用并行加速处理，匹配效率能够达到实时性要求。
得到视差图以后，可以结合该视差图以及双目立体匹配原理以及双目摄像头的参数，得到当前时刻的图像数据的第一景深图。
在具体实现中，某个像素的深度信息Z可以由如下公式得到：
其中，f为相机焦距，Tx为双目相机基线，(xr-xl)为视差。
对视差图中所有像素求解深度信息可以得到第一景深图。
需要说明的是，除了使用视差图来恢复景深图以外，还可以使用三角化的方法来得到景深图，本发明实施例对此不作限定。
子步骤S12213，基于所述第一景深图，确定所述移动物体距离目标对象的景深信息，作为所述移动物体与所述目标对象的实时距离。
具体的，得到第一景深图以后，可以根据目标对象的位置信息，在该第一景深图中提取移动物体距离目标对象的景深信息，作为移动物体与目标对象的实时距离。
需要说明的是，本发明实施例并不限于上述通过景深图来确定移动物体与目标对象的实时距离的方式，本领域技术人员还可以采用其他方式来计算移动物体与目标对象的实时距离，例如，通过超声波传感器、雷达传感器或声呐传感器等发射超声波或雷达，计算传播时间即可知道移动物体当前与目标对象的实时距离。
子步骤S1222，当所述实时距离小于或等于预设阈值时，控制所述移动物体上升移动到距离所述目标对象的预设距离处；
得到实时距离以后，可以将实时距离与预设阈值进行比较，以判断移动物体是否已经到达目标对象附近，具体的，若该实时距离小于或等于预设阈值，则可以判定移动物体已经到达目标对象附近，若该实时距离大于预设阈值，则可以判定移动物体没有到达目标对象附近，需要继续往目标对象所在位置移动。
在实际中，预设阈值的设定可以与目标对象的直径最大的部位的直径有关，其可以设定为大于该目标对象的最大直径与最小直径的差值，例如，若目标对象为一颗果树，其树冠大概直径有10米，树干大概直径有3米，那么预设阈值可以取值为8-10米，这样可以保证移动物体在上升过程不会撞到东西。
在不断地检测移动物体与目标对象的实时距离的过程中，一旦检测到该实时距离小于或等于预设阈值，则可以通过移动物体的定位装置控制移动物体上升移动，在上升移动的过程中，可以按照一定时间间隔计算移动物体距离目标对象顶部的实时距离，当该实时距离大于或等于预设距离阈值时，表示移动物体上升得足够高。
子步骤S1223，控制所述移动物体移动到所述位置信息对应的位置，以使得所述移动物体位于所述目标对象的上方。
移动物体上升得足够高时，可以根据目标对象的位置信息，通过移动物体的定位装置，控制移动物体移动至目标对象的位置信息处，此时，移动物体位于目标对象的正上方。
子步骤S123，通过所述移动物体的传感设备，确定所述目标对象的三维特征信息。
当移动物体移动到目标对象所在的位置以后，可以通过移动物体的传感设备，确定该目标对象的三维特征信息，则该三维特征信息为与目标对象的位置信息相关联的三维信息。
作为一种示例，该传感设备可以包括如下设备的至少一种：双目摄像头、激光雷达传感器、声呐传感器。
在本发明实施例的一种优选实施例中，子步骤S123进一步可以包括如下子步骤：
在本发明实施例中，目标对象的三维特征信息可以包括水平方向的第一三维点云数据以及垂直方向的第二三维点云数据。
在本发明实施例的一种优选实施例中，子步骤S123进一步可以包括如下子步骤：
子步骤S1231，在水平移动时，当所述实时距离小于或等于预设阈值时，通过所述移动物体的传感设备，获取所述目标对象对应的第一三维点云数据；
在移动物体向目标对象水平移动的过程中，若检测到该移动物体与目标对象之间的实时距离小于或等于预设阈值，则可以通过移动物体的传感设备，获取该目标对象对应的第一三维点云数据。
在本发明实施例的一种优选实施例中，子步骤S1231进一步可以包括如下子步骤：
获取基于所述目标对象的第二景深图；基于所述第二景深图，计算所述目标对象的第一三维点云数据。
具体的，在移动物体水平移动至目标对象的过程中，当检测到两者的实时距离小于或等于预设阈值，表示移动物体已经到达目标对象附近，此时，移动物体的传感设备可以根据实时获取的图像数据，确定该图像数据的第二景深图，具体方式可以参照上述第一景深图的确定方式，此处不再赘述了。
需要说明的是，如果是采用景深图来确定实时距离，则可以直接利用实时距离小于或等于预设阈值对应的第一景深图作为第二景深图。
得到第二景深图以后，可以根据该第二景深图中计算目标对象的第一三维点云数据，作为水平移动的方向(即与目标对象垂直的垂直方向)上的三维点云数据。
在具体实现中，可以根据第二景深图以及相机内参数，利用投影方程计算像素点空间位置，得到第一三维点云数据，例如，可以采用如下公式，对第二景深图的像素位置为(u,v)的点计算其三维点云数据：
其中，z为第二景深图中像素(u,v)的深度信息；(Cx,Cy)为相机光心位置、f为相机焦距，均为相机内参数；(x,y,z)即为像素(u,v)对应的三维点云数据。
按照上述方法，对第二景深图中的每个像素点计算对应的第一三维点云数据，最后可以得到一个关于目标对象的第一三维点云数据集合。
子步骤S1232，当所述移动物体位于所述目标对象的上方时，通过所述移动物体的传感设备，获取所述目标对象对应的第二三维点云数据。
具体的，为了获得更加丰富的三维点云数据，还可以获取垂直移动的方向上的第二三维点云数据，例如，针对目标对象为果树的情形，水平移动的方向获得的可以为树干的三维点云数据，垂直移动的方向获得的可以为树冠的三维点云数据。
在具体实现中，第二三维点云数据的获取方式与上述第一三维点云数据的获取方式类似，具体可以参照第一三维点云数据的获取方式。
需要说明的是，本发明实施例并不限于上述通过水平移动的方向以及垂直移动的方向的方式获取三维点云数据，本领域技术人员还可以采用其他方式计算三维点云数据，例如，控制移动物体以螺旋状方式绕着目标对象旋转来采集双目图像，同时计算三维点云数据，这种方式计算出的三维点云数据会更加具体。
子步骤S13，根据所述三维特征信息构建目标对象的三维模型。
得到三维特征信息以后，可以采用三维重建的算法，对该三维特征信息进行三维重建，得到该目标对象的三维模型。
在本发明实施例的一种优选实施例中，子步骤S13进一步可以包括如下子步骤：
对所述第一三维点云数据以及所述第二三维点云数据进行融合，得到三维点云数据集合；基于所述三维点云数据集合对所述目标对象进行三维重建，获得所述目标对象的三维模型。
在具体实现中，得到第一三维点云数据以及第二三维点云数据以后，可以将所有的第一三维点云数据以及第二三维点云数据采用融合算法拼接起来，得到三维点云数据集合。然后，可以采用三维重建算法对该三维点云数据集合进行三维重建，得到该目标对象的三维模型。
本发明实施例得到的三维模型能够融合目标对象的位置信息，为后续的避障、导航等处理提供了数据保障。
步骤202，对所述三维模型进行压缩处理；
由于三维模型中包括大量的三维点云数据，一个640*480的图像会产生30万个空间点，因此，存储三维模型对内存消耗十分严重。即使经过一些滤波之后，三维模型也是很大的。而且它的“大”并不是必需的，三维模型中提供了很多不必要的细节，例如，对于地毯上的褶皱、阴暗处的影子，这些都不需要关心，把它们放在三维模型里是浪费空间。
并且，由于三维点云数据是描述一个点的空间的数据，对于移动物体而言，用点云数据导航和/或避障显然是不现实的。
基于此，本发明实施例在得到三维模型以后，还可以将该三维模型进行压缩处理，这样既节省内存资源，又能用于导航和/或避障。
在本发明实施例的一种优选实施例中，步骤202可以包括如下子步骤：
子步骤S21，基于所述三维模型，确定三维方向中各个方向对应的最小边长；
在具体实现中，可以首先根据三维模型确定x、y、z三轴对应的最小边长。
在本发明实施例的一种优选实施例中，子步骤S21进一步可以包括如下子步骤：
从所述第二三维点云数据中确定目标对象的高度最大值，作为高度坐标系的最小边长；获取所述第一三维点云数据中横坐标系上的最大值以及最小值，将所述最大值以及所述最小值的距离作为横坐标系的最小边长；获取装置第一三维点云数据中纵坐标系上的最大值以及最小值，将所述最大值以及所述最小值的距离作为纵坐标系的最小边长。
具体的，由于第二三维点云数据是移动物体上升后得到的三维点云数据，因此，第二三维点云数据的高度信息均比第一三维点云数据的高度信息高，为了减少计算量，此处只需要从第二三维点云数据中确定目标对象的高度最大值。
在实现时，由于每个第二三维点云数据都有(x,y,z)三个坐标，那么可以根据z的大小，对所有的第二三维点云数据进行排序，将最大的z作为高度最大值Zmax，即z轴上的最小边长。
随后，分别获取x轴方向中的最大值Xmax以及最小值Xmin，以及，y轴方向中的最大值Ymax以及最小值Ymin，将Xmax-Xmin可以得到x轴上的最小边长，将Ymax-Ymin可以得到y轴上的最小边长。
子步骤S22，对所述各个方向对应的最小边长所确定的区域进行空间划分，获得多个方块；
得到x轴上的最小边长、y轴上的最小边长以及z轴上的最小边长以后，可以将上述三者所确定的区域作为目标对象的空间区域，并根据预设分辨率对该目标对象的空间区域进行空间划分，得到多个方块。
在实际中，该分辨率即是压缩后的三维模型中最小方格的边长。该预设分辨率可以由预设参数决定，该预设参数可以取决于对地图精度的要求以及所能提供的计算资源。
子步骤S23，将所述三维模型中的三维点云数据，填充到所述多个方块中。
子步骤S22中得到的方块具有对应的位置范围，可以将三维模型中的每个三维点云数据，按照其对应的位置信息，匹配对应的方块，如果该位置信息落在对应的方块的位置范围内，则将该三维点云数据填充到对应的方块中。三维模型中的所有的三维点云数据都遍历完成以后，可以得到压缩后的三维模型。
在具体实现中，该压缩后的三维模型可以为八叉树地图模型(octomap)。其中，八叉树地图模型以八叉树(octotree)的形式存储地图，相比点云地图模型，八叉树地图模型能够省下很多的存储空间。
其中，八叉树就是一个树根不断地往下扩，每次分成八个枝，直到叶子为止，而叶子节点代表了分辨率最高的情况，例如分辨率设成0.01m，那么每个叶子就是一个1cm见方的小方块。
需要说明的是，根据分辨率的不同，八叉树地图模型中一个方块中包含的点云数量也随之不同。但是，八叉树地图模型对三维模型做了极大的压缩，可以节省非常多内存资源，更重要的是该八叉树地图模型可以用于导航和避障。
步骤203，基于所述三维模型，确定目标对象的属性信息，所述属性信息包括所述目标对象的高程信息、大小信息、形状信息；
在具体实现中，目标对象的三维模型中可以包括目标对象的高程信息、大小信息、形状信息等属性信息。
获得目标对象的三维模型以后，可以存储该三维模型，当需要进行路线规划时，可以从目标对象的三维模型中提取对应的属性信息。
步骤204，基于所述属性信息，规划所述移动物体对所述目标对象进行作业的移动轨迹；
得到目标对象的属性信息以后，可以根据该属性信息规划移动物体的移动轨迹，在规划的过程中，还可以根据该三维模型进行避障处理。
具体的，在八叉树地图模型中，每个小方块都有一个数描述它是否被占据。在最简单的情况下，可以用0和1两个数值表示，但在实际中可以使用用0～1之间的浮点数表示它被占据的概率，0.5表示未确定，越大则表示被占据的可能性越高，反之亦然。由于它是八叉树，那么一个节点的八个子节点都有一定的概率被占据或不被占据。
在具体实现中，可以设定一个概率阈值，当某个方块的概率大于该概率阈值时，表示其被占据，此时，可以判定该方块的位置为障碍物的位置。在移动轨迹的规划过程中，可以避开该障碍物的位置进行规划，达到避障的目的。
步骤205，控制所述移动物体按照所述移动轨迹对所述目标对象进行作业。
路线规划完成以后，移动物体可以按照该移动轨迹，对目标对象进行作业。
在本发明实施例中，通过获取包含目标对象的位置信息的三维模型，来对目标对象进行定位以及规划移动物体的移动轨迹，从而实现三维路线的规划，路线规划的自动化程度更高，效率也更高。
另外，根据三维模型规划的三维移动轨迹，能够达到避障的目的，有利于优化移动轨迹，提高了路线规划的质量和可行性，方便移动物体更好地移动。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明的一种移动轨迹规划的装置实施例的结构框图，可以包括如下模块：
三维模型确定模块301，用于确定目标对象的三维模型；
路线规划模块302，用于基于所述三维模型，规划移动物体的移动轨迹。
在本发明实施例的一种优选实施例中，所述三维模型确定模块301包括：
二维特征信息获取子模块，用于获取所述目标对象的二维特征信息；
三维特征信息获取子模块，用于根据所述二维特征信息确定所述目标对象的三维特征信息；
三维模型构建子模块，用于根据所述三维特征信息构建目标对象的三维模型。
在本发明实施例的一种优选实施例中，所述三维特征信息获取子模块包括：
位置信息确定单元，用于根据所述二维特征信息确定所述目标对象的位置信息；
移动单元，用于控制所述移动物体移动到所述位置信息对应的位置；
三维特征信息确定单元，用于通过所述移动物体的传感设备，确定所述目标对象的三维特征信息。
在本发明实施例的一种优选实施例中，所述移动单元包括：
水平移动子单元，用于控制所述移动物体往所述目标对象的位置水平移动，在水平移动的过程中，按照预设的时间间隔，获取所述移动物体与所述目标对象的实时距离；
上升移动子单元，用于当所述实时距离小于或等于预设阈值时，控制所述移动物体上升移动到距离所述目标对象的预设距离处；
位置移动子单元，用于控制所述移动物体移动到所述位置信息对应的位置，以使得所述移动物体位于所述目标对象的上方。
在本发明实施例的一种优选实施例中，所述水平移动子单元还用于：
在水平移动过程中，通过所述移动物体中的图像采集装置，按照预设时间间隔采集实时图像数据；
获取所述实时图像数据对应的第一景深图；
基于所述第一景深图，确定所述移动物体距离目标对象的景深信息，作为所述移动物体与所述目标对象的实时距离。
在本发明实施例的一种优选实施例中，所述三维特征信息包括水平方向的第一三维点云数据以及垂直方向的第二三维点云数据；
所述三维特征信息确定单元包括：
第一点云数据获取子单元，用于在水平移动时，当所述实时距离小于或等于预设阈值时，通过所述移动物体的传感设备，获取所述目标对象对应的第一三维点云数据；
第二点云数据获取子单元，用于当所述移动物体位于所述目标对象的上方时，通过所述移动物体的传感设备，获取所述目标对象对应的第二三维点云数据。
在本发明实施例的一种优选实施例中，所述第一点云数据获取子单元还用于：
获取基于所述目标对象的第二景深图；
基于所述第二景深图，计算所述目标对象的第一三维点云数据。
在本发明实施例的一种优选实施例中，所述三维模型构建子模块包括：
点云融合单元，用于对所述第一三维点云数据以及所述第二三维点云数据进行融合，得到三维点云数据集合；
三维重建单元，用于基于所述三维点云数据集合对所述目标对象进行三维重建，获得所述目标对象的三维模型。
在本发明实施例的一种优选实施例中，所述传感设备包括如下设备的至少一种：双目摄像头、激光雷达传感器、声呐传感器。
在本发明实施例的一种优选实施例中，所述二维特征信息获取子模块包括：
正射影像获取单元，用于获取包含所述目标对象的正射影像；
二维特征信息确定单元，用于基于所述正射影像，确定所述目标对象的二维特征信息。
在本发明实施例的一种优选实施例中，所述二维特征信息确定单元还用于：
获取所述正射影像中的标注信息，作为所述目标对象的二维特征信息，其中，所述标注信息为用户在所述正射影像中标注的信息；
和/或，
对所述正射影像进行图像分割处理以及特征提取，获得所述目标对象的二维特征信息；
和/或，
将所述正射影像输入预先生成的机器模型，输出所述目标对象的二维特征信息。
在本发明实施例的一种优选实施例中，所述正射影像获取单元包括：
指定区域确定子单元，用于确定所述目标对象所在的指定区域；
正射影像获取子单元，用于获取所述指定区域的一张正射影像，或者，获取由所述指定区域的多张正射影像拼接而成的正射影像。
在本发明实施例的一种优选实施例中，所述装置还包括：
压缩模块，用于对所述三维模型进行压缩处理。
在本发明实施例的一种优选实施例中，所述压缩模块包括：
边长确定子模块，用于基于所述三维模型，确定三维方向中各个方向对应的最小边长；
空间划分子模块，用于对所述各个方向对应的最小边长所确定的区域进行空间划分，获得多个方块；
数据填充子模块，用于将所述三维模型中的三维点云数据，填充到所述多个方块中。
在本发明实施例的一种优选实施例中，所述路线规划模块302包括：
属性信息确定子模块，用于基于所述三维模型，确定目标对象的属性信息，所述属性信息包括所述目标对象的高程信息、大小信息、形状信息；
轨迹规划子模块，用于基于所述属性信息，规划所述移动物体对所述目标对象进行作业的移动轨迹；
作业子模块，用于控制所述移动物体按照所述移动轨迹对所述目标对象进行作业。
对于图3的装置实施例而言，由于其与上述的方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图4，示出了本发明的一种移动物体实施例的结构示意图，该移动物体40至少可以包括控制器401、定位装置402以及传感设备403，其中，
所述定位装置402，用于获取目标对象的位置信息，并控制所述移动物体移动到所述位置信息对应的位置；
所述传感设备403，用于确定所述目标对象的三维模型；
所述控制器401，用于基于所述三维模型，规划移动物体的移动轨迹。
本发明实施例的移动物体能够获取目标对象的三维模型，并根据该目标对象的三维模型规划移动物体的移动轨迹，从而可以获取更优的移动轨迹，提高路线规划的质量和可行性，方便移动物体更好地移动。
另外，本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所述方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种移动轨迹规划的方法、装置及移动物体进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (32)
1.一种移动轨迹规划的方法，其特征在于，所述方法包括：
确定目标对象的三维模型；
基于所述三维模型，规划移动物体的移动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述确定目标对象的三维模型的步骤包括：
获取所述目标对象的二维特征信息；
根据所述二维特征信息确定所述目标对象的三维特征信息；
根据所述三维特征信息构建目标对象的三维模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述二维特征信息确定所述目标对象的三维特征信息的步骤包括：
根据所述二维特征信息确定所述目标对象的位置信息；
控制所述移动物体移动到所述位置信息对应的位置；
通过所述移动物体的传感设备，确定所述目标对象的三维特征信息。
4.根据权利要求3所述的方法，其特征在于，所述控制所述移动物体移动到所述位置信息对应的位置的步骤包括：
控制所述移动物体往所述目标对象的位置水平移动，在水平移动的过程中，按照预设的时间间隔，获取所述移动物体与所述目标对象的实时距离；
当所述实时距离小于或等于预设阈值时，控制所述移动物体上升移动到距离所述目标对象的预设距离处；
控制所述移动物体移动到所述位置信息对应的位置，以使得所述移动物体位于所述目标对象的上方。
5.根据权利要求4所述的方法，其特征在于，所述在水平移动的过程中，按照预设的时间间隔，获取所述移动物体与所述目标对象的实时距离的步骤包括：
在水平移动过程中，通过所述移动物体中的图像采集装置，按照预设时间间隔采集实时图像数据；
获取所述实时图像数据对应的第一景深图；
基于所述第一景深图，确定所述移动物体距离目标对象的景深信息，作为所述移动物体与所述目标对象的实时距离。
6.根据权利要求4或5所述的方法，其特征在于，所述三维特征信息包括水平方向的第一三维点云数据以及垂直方向的第二三维点云数据；
所述通过所述移动物体的传感设备，确定所述目标对象的三维特征信息的步骤包括：
在水平移动时，当所述实时距离小于或等于预设阈值时，通过所述移动物体的传感设备，获取所述目标对象对应的第一三维点云数据；
当所述移动物体位于所述目标对象的上方时，通过所述移动物体的传感设备，获取所述目标对象对应的第二三维点云数据。
7.根据权利要求6所述的方法，其特征在于，所述获取所述目标对象对应的第一三维点云数据的步骤包括：
获取基于所述目标对象的第二景深图；
基于所述第二景深图，计算所述目标对象的第一三维点云数据。
8.根据权利要求6所述的方法，其特征在于，所述根据所述三维特征信息构建目标对象的三维模型的步骤包括：
对所述第一三维点云数据以及所述第二三维点云数据进行融合，得到三维点云数据集合；
基于所述三维点云数据集合对所述目标对象进行三维重建，获得所述目标对象的三维模型。
9.根据权利要求3或4或5所述的方法，其特征在于，所述传感设备包括如下设备的至少一种：双目摄像头、激光雷达传感器、声呐传感器。
10.根据权利要求2所述的方法，其特征在于，所述获取所述目标对象的二维特征信息的步骤包括：
获取包含所述目标对象的正射影像；
基于所述正射影像，确定所述目标对象的二维特征信息。
11.根据权利要求10所述的方法，其特征在于，所述基于所述正射影像，确定所述目标对象的二维特征信息的步骤包括：
获取所述正射影像中的标注信息，作为所述目标对象的二维特征信息，其中，所述标注信息为用户在所述正射影像中标注的信息；
和/或，
对所述正射影像进行图像分割处理以及特征提取，获得所述目标对象的二维特征信息；
和/或，
将所述正射影像输入预先生成的机器模型，输出所述目标对象的二维特征信息。
12.根据权利要求10或11所述的方法，其特征在于，所述获取包含目标对象的正射影像的步骤包括：
确定所述目标对象所在的指定区域；
获取所述指定区域的一张正射影像，或者，获取由所述指定区域的多张正射影像拼接而成的正射影像。
13.根据权利要求1-5任一项或10或11所述的方法，其特征在于，在所述确定目标对象的三维模型的步骤之后，还包括：
对所述三维模型进行压缩处理。
14.根据权利要求13所述的方法，其特征在于，所述对所述三维模型进行压缩处理的步骤包括：
基于所述三维模型，确定三维方向中各个方向对应的最小边长；
对所述各个方向对应的最小边长所确定的区域进行空间划分，获得多个方块；
将所述三维模型中的三维点云数据，填充到所述多个方块中。
15.根据权利要求1所述的方法，其特征在于，所述基于所述三维模型，规划移动物体的移动轨迹的步骤包括：
基于所述三维模型，确定目标对象的属性信息，所述属性信息包括所述目标对象的高程信息、大小信息、形状信息；
基于所述属性信息，规划所述移动物体对所述目标对象进行作业的移动轨迹；
控制所述移动物体按照所述移动轨迹对所述目标对象进行作业。
16.一种移动轨迹规划的装置，其特征在于，所述装置包括：
三维模型确定模块，用于确定目标对象的三维模型；
路线规划模块，用于基于所述三维模型，规划移动物体的移动轨迹。
17.根据权利要求16所述的装置，其特征在于，所述三维模型确定模块包括：
二维特征信息获取子模块，用于获取所述目标对象的二维特征信息；
三维特征信息获取子模块，用于根据所述二维特征信息确定所述目标对象的三维特征信息；
三维模型构建子模块，用于根据所述三维特征信息构建目标对象的三维模型。
18.根据权利要求17所述的装置，其特征在于，所述三维特征信息获取子模块包括：
位置信息确定单元，用于根据所述二维特征信息确定所述目标对象的位置信息；
移动单元，用于控制所述移动物体移动到所述位置信息对应的位置；
三维特征信息确定单元，用于通过所述移动物体的传感设备，确定所述目标对象的三维特征信息。
19.根据权利要求18所述的装置，其特征在于，所述移动单元包括：
水平移动子单元，用于控制所述移动物体往所述目标对象的位置水平移动，在水平移动的过程中，按照预设的时间间隔，获取所述移动物体与所述目标对象的实时距离；
上升移动子单元，用于当所述实时距离小于或等于预设阈值时，控制所述移动物体上升移动到距离所述目标对象的预设距离处；
位置移动子单元，用于控制所述移动物体移动到所述位置信息对应的位置，以使得所述移动物体位于所述目标对象的上方。
20.根据权利要求19所述的装置，其特征在于，所述水平移动子单元还用于：
在水平移动过程中，通过所述移动物体中的图像采集装置，按照预设时间间隔采集实时图像数据；
获取所述实时图像数据对应的第一景深图；
基于所述第一景深图，确定所述移动物体距离目标对象的景深信息，作为所述移动物体与所述目标对象的实时距离。
21.根据权利要求19或20所述的装置，其特征在于，所述三维特征信息包括水平方向的第一三维点云数据以及垂直方向的第二三维点云数据；
所述三维特征信息确定单元包括：
第一点云数据获取子单元，用于在水平移动时，当所述实时距离小于或等于预设阈值时，通过所述移动物体的传感设备，获取所述目标对象对应的第一三维点云数据；
第二点云数据获取子单元，用于当所述移动物体位于所述目标对象的上方时，通过所述移动物体的传感设备，获取所述目标对象对应的第二三维点云数据。
22.根据权利要求21所述的装置，其特征在于，所述第一点云数据获取子单元还用于：
获取基于所述目标对象的第二景深图；
基于所述第二景深图，计算所述目标对象的第一三维点云数据。
23.根据权利要求21所述的装置，其特征在于，所述三维模型构建子模块包括：
点云融合单元，用于对所述第一三维点云数据以及所述第二三维点云数据进行融合，得到三维点云数据集合；
三维重建单元，用于基于所述三维点云数据集合对所述目标对象进行三维重建，获得所述目标对象的三维模型。
24.根据权利要求18或19或20所述的装置，其特征在于，所述传感设备包括如下设备的至少一种：双目摄像头、激光雷达传感器、声呐传感器。
25.根据权利要求17所述的装置，其特征在于，所述二维特征信息获取子模块包括：
正射影像获取单元，用于获取包含所述目标对象的正射影像；
二维特征信息确定单元，用于基于所述正射影像，确定所述目标对象的二维特征信息。
26.根据权利要求25所述的装置，其特征在于，所述二维特征信息确定单元还用于：
获取所述正射影像中的标注信息，作为所述目标对象的二维特征信息，其中，所述标注信息为用户在所述正射影像中标注的信息；
和/或，
对所述正射影像进行图像分割处理以及特征提取，获得所述目标对象的二维特征信息；
和/或，
将所述正射影像输入预先生成的机器模型，输出所述目标对象的二维特征信息。
27.根据权利要求25或26所述的装置，其特征在于，所述正射影像获取单元包括：
指定区域确定子单元，用于确定所述目标对象所在的指定区域；
正射影像获取子单元，用于获取所述指定区域的一张正射影像，或者，获取由所述指定区域的多张正射影像拼接而成的正射影像。
28.根据权利要求16-20任一项或25或26所述的装置，其特征在于，还包括：
压缩模块，用于对所述三维模型进行压缩处理。
29.根据权利要求28所述的装置，其特征在于，所述压缩模块包括：
边长确定子模块，用于基于所述三维模型，确定三维方向中各个方向对应的最小边长；
空间划分子模块，用于对所述各个方向对应的最小边长所确定的区域进行空间划分，获得多个方块；
数据填充子模块，用于将所述三维模型中的三维点云数据，填充到所述多个方块中。
30.根据权利要求16所述的装置，其特征在于，所述路线规划模块包括：
属性信息确定子模块，用于基于所述三维模型，确定目标对象的属性信息，所述属性信息包括所述目标对象的高程信息、大小信息、形状信息；
轨迹规划子模块，用于基于所述属性信息，规划所述移动物体对所述目标对象进行作业的移动轨迹；
作业子模块，用于控制所述移动物体按照所述移动轨迹对所述目标对象进行作业。
31.一种移动物体，其特征在于，所述移动物体包括控制器、定位装置以及传感设备，其中，
所述定位装置，用于获取目标对象的位置信息，并控制所述移动物体移动到所述位置信息对应的位置；
所述传感设备，用于确定所述目标对象的三维模型；
所述控制器，用于基于所述三维模型，规划移动物体的移动轨迹。
32.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至15任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711014150.8A CN109709977B (zh) | 2017-10-26 | 2017-10-26 | 移动轨迹规划的方法、装置及移动物体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711014150.8A CN109709977B (zh) | 2017-10-26 | 2017-10-26 | 移动轨迹规划的方法、装置及移动物体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109709977A true CN109709977A (zh) | 2019-05-03 |
| CN109709977B CN109709977B (zh) | 2022-08-16 |
Family
ID=66253524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711014150.8A Active CN109709977B (zh) | 2017-10-26 | 2017-10-26 | 移动轨迹规划的方法、装置及移动物体 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109709977B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111490489A (zh) * | 2020-04-16 | 2020-08-04 | 北京天下宏图空间信息技术有限公司 | 一种用于输电线路巡检的无人机轨迹规划方法及装置 |
| CN111539473A (zh) * | 2020-04-23 | 2020-08-14 | 中国农业大学 | 基于3D Lidar的果园行间导航线提取方法 |
| CN111758424A (zh) * | 2020-06-22 | 2020-10-13 | 华中农业大学 | 一种田间棉花自动打顶装置 |
| CN112130577A (zh) * | 2019-06-25 | 2020-12-25 | 理光软件研究所（北京）有限公司 | 一种无人飞行设备的路径规划方法、装置、无人飞行设备和存储介质 |
| CN112710313A (zh) * | 2020-12-31 | 2021-04-27 | 广州极飞科技股份有限公司 | 覆盖路径生成方法、装置、电子设备和存储介质 |
| CN113359811A (zh) * | 2020-03-04 | 2021-09-07 | 贾敏忠 | 无人机的物流运营任务规划管理系统及其方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559711A (zh) * | 2013-11-05 | 2014-02-05 | 余洪山 | 基于三维视觉系统图像特征和三维信息的运动估计方法 |
| CN105096386A (zh) * | 2015-07-21 | 2015-11-25 | 中国民航大学 | 大范围复杂城市环境几何地图自动生成方法 |
| CN106204443A (zh) * | 2016-07-01 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于多目复用的全景无人机系统 |
| CN106570820A (zh) * | 2016-10-18 | 2017-04-19 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
| CN106871902A (zh) * | 2017-02-16 | 2017-06-20 | 广东工业大学 | 一种无人机导航的方法、装置以及系统 |
| US20170248947A1 (en) * | 2014-04-22 | 2017-08-31 | Pc-Tel, Inc. | System, apparatus, and method for the measurement, collection, and analysis of radio signals utilizing unmanned aerial vehicles |
-
2017
- 2017-10-26 CN CN201711014150.8A patent/CN109709977B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559711A (zh) * | 2013-11-05 | 2014-02-05 | 余洪山 | 基于三维视觉系统图像特征和三维信息的运动估计方法 |
| US20170248947A1 (en) * | 2014-04-22 | 2017-08-31 | Pc-Tel, Inc. | System, apparatus, and method for the measurement, collection, and analysis of radio signals utilizing unmanned aerial vehicles |
| CN105096386A (zh) * | 2015-07-21 | 2015-11-25 | 中国民航大学 | 大范围复杂城市环境几何地图自动生成方法 |
| CN106204443A (zh) * | 2016-07-01 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于多目复用的全景无人机系统 |
| CN106570820A (zh) * | 2016-10-18 | 2017-04-19 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
| CN106871902A (zh) * | 2017-02-16 | 2017-06-20 | 广东工业大学 | 一种无人机导航的方法、装置以及系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112130577A (zh) * | 2019-06-25 | 2020-12-25 | 理光软件研究所（北京）有限公司 | 一种无人飞行设备的路径规划方法、装置、无人飞行设备和存储介质 |
| CN113359811A (zh) * | 2020-03-04 | 2021-09-07 | 贾敏忠 | 无人机的物流运营任务规划管理系统及其方法 |
| CN111490489A (zh) * | 2020-04-16 | 2020-08-04 | 北京天下宏图空间信息技术有限公司 | 一种用于输电线路巡检的无人机轨迹规划方法及装置 |
| CN111539473A (zh) * | 2020-04-23 | 2020-08-14 | 中国农业大学 | 基于3D Lidar的果园行间导航线提取方法 |
| CN111539473B (zh) * | 2020-04-23 | 2023-04-28 | 中国农业大学 | 基于3D Lidar的果园行间导航线提取方法 |
| CN111758424A (zh) * | 2020-06-22 | 2020-10-13 | 华中农业大学 | 一种田间棉花自动打顶装置 |
| CN111758424B (zh) * | 2020-06-22 | 2022-03-08 | 华中农业大学 | 一种田间棉花自动打顶装置 |
| CN112710313A (zh) * | 2020-12-31 | 2021-04-27 | 广州极飞科技股份有限公司 | 覆盖路径生成方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109709977B (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109709977A (zh) | 移动轨迹规划的方法、装置及移动物体 | |
| CN108401461B (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及系统 | |
| Liang et al. | Forest data collection using terrestrial image-based point clouds from a handheld camera compared to terrestrial and personal laser scanning | |
| CN106940186B (zh) | 一种机器人自主定位与导航方法及系统 | |
| CN111275750B (zh) | 基于多传感器融合的室内空间全景图像生成方法 | |
| KR102343989B1 (ko) | 주행 경로 생성 방법 및 장치 | |
| KR20180079428A (ko) | 자동 로컬리제이션을 위한 장치 및 방법 | |
| Rovira-Más et al. | Stereo vision three-dimensional terrain maps for precision agriculture | |
| Gee et al. | Lidar guided stereo simultaneous localization and mapping (SLAM) for UAV outdoor 3-D scene reconstruction | |
| Negahdaripour et al. | Stereovision imaging on submersible platforms for 3-D mapping of benthic habitats and sea-floor structures | |
| CN107036594A (zh) | 智能电站巡检智能体的定位与多粒度环境感知技术 | |
| Costante et al. | Exploiting photometric information for planning under uncertainty | |
| Chen et al. | Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework | |
| Bresson et al. | Real-time monocular SLAM with low memory requirements | |
| CN109883418A (zh) | 一种室内定位方法及装置 | |
| CN108230247A (zh) | 基于云端的三维地图的生成方法、装置、设备及应用程序 | |
| CN106408601A (zh) | 一种基于gps的双目融合定位方法及装置 | |
| CN104794713A (zh) | 基于arm和双目视觉的温室作物数字化成像方法 | |
| CN115267796B (zh) | 定位方法、装置、机器人和存储介质 | |
| Zhu et al. | Real-time global localization with a pre-built visual landmark database | |
| US8509522B2 (en) | Camera translation using rotation from device | |
| CN112991440A (zh) | 车辆的定位方法和装置、存储介质和电子装置 | |
| CN111609854A (zh) | 基于多个深度相机的三维地图构建方法及扫地机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Applicant after: Guangzhou Jifei Technology Co.,Ltd. Address before: No.3a01, No.1 Sicheng Road, Gaotang Software Park, Tianhe District, Guangzhou, Guangdong 510000 Applicant before: Guangzhou Xaircraft Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |