CN111174765A - 基于视觉引导的行星车目标探测控制方法及装置 - Google Patents

基于视觉引导的行星车目标探测控制方法及装置 Download PDF

Info

Publication number
CN111174765A
CN111174765A CN202010111643.9A CN202010111643A CN111174765A CN 111174765 A CN111174765 A CN 111174765A CN 202010111643 A CN202010111643 A CN 202010111643A CN 111174765 A CN111174765 A CN 111174765A
Authority
CN
China
Prior art keywords
detection
vehicle
planet
binocular
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010111643.9A
Other languages
English (en)
Other versions
CN111174765B (zh
Inventor
王镓
于天一
汪塞进
赵焕洲
荣志飞
何锡明
游祎
张宽
卢皓
可荣硕
赵瑞
韩绍金
刘晓慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Control Center
Original Assignee
Beijing Aerospace Control Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Control Center filed Critical Beijing Aerospace Control Center
Priority to CN202010111643.9A priority Critical patent/CN111174765B/zh
Publication of CN111174765A publication Critical patent/CN111174765A/zh
Application granted granted Critical
Publication of CN111174765B publication Critical patent/CN111174765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/16—Extraterrestrial cars
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉引导的行星车目标探测控制方法及装置，该方法包括：对探测实施条件分析，确定行星车的探测时间区间和探测方位；根据确定的探测时间区间和探测方位，控制行星车移动至探测起始点位置；获取行星车上的双目导航相机对待探测对象进行立体成像的第一双目影像，根据第一双目影像控制行星车从探测起始点位置移动至探测目标点位置；获取行星车上的双目避障相机对待探测对象进行立体成像的第二双目影像，确定行星车上的探测设备在第二双目影像中的视场范围预测结果；当视场范围预测结果满足预设探测条件的情况下，获取探测设备对待探测对象进行探测的探测数据。本发明能够精确控制地外天体表面上行星车的移动，使其准确探测目标。

Description

基于视觉引导的行星车目标探测控制方法及装置
技术领域
本发明涉及地外天体探测领域，尤其涉及一种基于视觉引导的行星车目标探测控制方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
众所周知，当行星车着陆地外天体表面后，控制行星车接近特定的科学目标，并利用其上安装的科学载荷采集相关科学探测数据，对地外天体的探测十分重要。
行星车上的科学载荷，通常固定安装于车体前面板上，视场角较小，以“玉兔二号”月球车为例，该月球车上安装的VNIR(可见光近红外)和SWIR(短波红外)成像设备的视场角分别为8.5°和3.6°，可见，只有对行星车的航向和移动距离进行精确控制，才能使其接近并指向科学目标，利用其上安装的科学载荷对科学目标进行探测，获取有效的探测数据。
由于地外天体地形条件复杂，行星车移动控制的实施难度极大，因而，如何对地外天体表面行星车的航向和移动距离进行精确控制，以实现科学目标相关科学探测数据的有效获取，是亟待要解决的技术问题。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供一种基于视觉引导的行星车目标探测控制方法，用以解决现有技术在面对复杂地外天体地形条件的情况下，无法精确控制行星车的航向和移动距离，使其逐渐接近待探测对象来获取相关探测数据的技术问题，该方法包括：对探测实施条件分析，确定行星车的探测时间区间和探测方位，其中，探测实施条件为行星车对地外天体表面上待探测对象进行探测的现场实施条件；根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置，其中，探测起始点位置为预先选定的一个位置；获取行星车上的双目导航相机对待探测对象进行立体成像的第一双目影像，根据第一双目影像控制行星车从探测起始点位置移动至探测目标点位置，其中，探测目标点位置为行星车对待探测对象进行探测的位置；获取行星车上的双目避障相机对待探测对象进行立体成像的第二双目影像，确定行星车上的探测设备在第二双目影像中的视场范围预测结果；当探测设备的视场范围预测结果满足预设探测条件的情况下，获取探测设备对待探测对象进行探测的探测数据。
本发明实施例还提供一种基于视觉引导的行星车目标探测控制装置，用以解决现有技术在面对复杂地外天体地形条件的情况下，无法精确控制行星车的航向和移动距离，使其逐渐接近待探测对象来获取相关探测数据的技术问题，该装置包括：探测实施条件分析模块，用于对探测实施条件分析，确定行星车的探测时间区间和探测方位，其中，探测实施条件为行星车对地外天体表面上待探测对象进行探测的现场实施条件；第一路径导航模块，用于根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置，其中，探测起始点位置为预先选定的一个位置；第二路径导航模块，用于获取行星车上的双目导航相机对待探测对象进行立体成像的第一双目影像，根据第一双目影像控制行星车从探测起始点位置移动至探测目标点位置，其中，探测目标点位置为行星车对待探测对象进行探测的位置；探测设备视场预测模块，用于获取行星车上的双目避障相机对待探测对象进行立体成像的第二双目影像，确定行星车上的探测设备在第二双目影像中的视场范围预测结果；探测数据获取模块，用于当探测设备的视场范围预测结果满足预设探测条件的情况下，获取探测设备对待探测对象进行探测的探测数据。
本发明实施例还提供一种计算机设备，用以解决现有技术在面对复杂地外天体地形条件的情况下，无法精确控制行星车的航向和移动距离，使其逐渐接近待探测对象来获取相关探测数据的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于视觉引导的行星车目标探测控制方法。
本发明实施例还提供一种计算机可读存储介质，用以解决现有技术在面对复杂地外天体地形条件的情况下，无法精确控制行星车的航向和移动距离，使其逐渐接近待探测对象来获取相关探测数据的技术问题，该计算机可读存储介质存储有执行上述基于视觉引导的行星车目标探测控制方法的计算机程序。
本发明实施例中，通过分析行星车对地外天体表面上待探测对象进行探测的探测实施条件，确定行星车的探测时间区间和探测方位，进而根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置；当行星车移动到探测起始点位置后，通过行星车上的双目导航相机对待探测对象进行立体成像，得到第一双目影像，进而根据第一双目影像控制行星车从探测起始点位置移动至探测目标点位置；当行星车移动到探测目标点位置后，通过行星车上的双目避障相机对待探测对象进行立体成像，得到第二双目影像，进而确定行星车上的探测设备在第二双目影像中的视场范围预测结果；最后在探测设备的视场范围预测结果满足预设探测条件的情况下，通过探测设备对待探测对象进行探测。
通过本发明实施例，能够对地外天体表面行星车的航向角和移动距离进行精确控制，使行星车上的探测设备(即科学载荷)逐渐接近并指向待探测对象(即科学目标)，获取到准确、有效的探测数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种基于视觉引导的行星车目标探测控制方法流程图；
图2为本发明实施例中提供的一种可选的基于视觉引导的行星车目标探测控制方法流程图；
图3为本发明实施例中提供的一种对探测实施条件分析的流程图；
图4为本发明实施例中提供的一种计算科学目标位置的方法流程图；
图5为本发明实施例中提供的一种控制行星车移动到探测起始点位置的方法流程图；
图6为本发明实施例中提供的一种计算探测起始点航向角、理论移动距离和理论探测目标点位置的流程图；
图7为本发明实施例中提供的探测起始点位置、理论探测目标点位置、科学目标位置和探测起始点航向角之间位置关系的示意图；
图8为本发明实施例中提供的一种预测探测设备的视场范围的方法流程图；
图9a为本发明实施例中提供的利用左导航相机成像的影像结果示意图；
图9b为本发明实施例中提供的利用右导航相机成像的影像结果示意图；
图10为本发明实施例中提供的双目相机特征点立体匹配结果示意图；
图11为本发明实施例中提供的一种确定探测起始点位置的示意图；
图12为本发明实施例中提供的一种控制行星车移动到探测起始点位置的路径规划示意图；
图13a为本发明实施例中提供的利用左避障相机成像的影像结果示意图；
图13b为本发明实施例中提供的利用右避障相机成像的影像结果示意图；
图14a为本发明实施例中提供的利用双目避障影像构建的DEM图示意图；
图14b为本发明实施例中提供的红外光谱仪在DEM图中的视场预测结果示意图；
图15a为本发明实施例中提供的预测的红外光谱仪视场在避障影像中的第一投影结果示意图；
图15b为本发明实施例中提供的预测的红外光谱仪视场在避障影像中的第二投影结果示意图；
图15c为本发明实施例中提供的预测的红外光谱仪视场在避障影像中的第三投影结果示意图；
图16为本发明实施例中提供的一种基于视觉引导的行星车目标探测控制装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本发明实施例中提供了一种基于视觉引导的行星车目标探测控制方法，图1为本发明实施例中提供的一种基于视觉引导的行星车目标探测控制方法流程图，如图1所示，该方法可以包括如下步骤：
S101，对探测实施条件分析，确定行星车的探测时间区间和探测方位，其中，探测实施条件为行星车对地外天体表面上待探测对象进行探测的现场实施条件。
需要说明的是，由于行星上安装的双目导航相机、双目避障相机和探测设备受太阳光照等因素影响，在不同的时间段内，具有不同的成像阴影区。因而，作为一种可选的实施方式，上述S101具体可以包括如下步骤：根据行星车的数据传输链路情况，确定行星车的一个或多个探测时间区间；基于时变因素对行星车上双目导航相机、双目避障相机和探测设备的成像阴影区进行预测，根据预测结果确定行星车在各个探测时间区间的探测方位。
本发明实施例根据数据传输链路的可用情况，选取可用的探测时间区间，并基于时变因素对成像设备在不同探测时间区间的成像阴影区进行预测，完成探测方位的确定，进而控制行星车在不同探测时间区间，具有对应的探测方位，能够使得行星车上的成像设备获得高质量的图像，探测设备获得有效的探测数据。
S102，根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置，其中，探测起始点位置为预先选定的一个位置。
需要说明的是，本发明实施例对探测起始点的位置进行选择的时候，可以考虑但不限于如下几方面的因子：距离因子、坡度角因子、安全性因子。一种可选的实施方式中，在执行上述S102之前，还可以通过如下步骤来选择探测起始点位置：获取在行星车工作坐标系中任选的一个备选探测起始点；根据备选探测起始点对应的距离因子、坡度角因子和安全性因子，判断备选探测起始点是否满足预设探测起始点条件；将满足预设探测起始点条件的备选探测起始点，确定为行星车的探测起始点。
S103，获取行星车上的双目导航相机对待探测对象进行立体成像的第一双目影像，根据第一双目影像控制行星车从探测起始点位置移动至探测目标点位置，其中，探测目标点位置为行星车对待探测对象进行探测的位置。
具体地，上述S103可以通过如下步骤来实现：控制行星车上的双目导航相机对待探测对象进行立体成像，得到第一双目影像；根据第一双目影像，确定待探测对象在行星车工作坐标系中的位置；根据行星车和待探测对象在行星车工作坐标系中的位置，确定行星车在探测起始点位置的航向角，以及行星车从探测起始点位置移动至探测目标点位置的理论距离；控制行星车按照航向角，移动理论距离。
S104，获取行星车上的双目避障相机对待探测对象进行立体成像的第二双目影像，确定行星车上的探测设备在第二双目影像中的视场范围预测结果。
需要说明的是，由于双目导航相机适合较远距离的双目立体成像，在近距离双目立体成像时会存在视野盲区，因而，当控制行星车从探测起始点位置移动至探测目标点位置后，本发明实施例通过双目避障相机来对待探测对象进行立体成像，进而利用双目避障相机得到的双目影像预测行星车上探测设备的视场范围。
具体地，上述S104可以通过如下步骤来实现：控制行星车上的双目避障相机对待探测对象进行立体成像，得到第二双目影像；根据第二双目影像，构建数字高程模型图(即DEM图)；预测行星车上的探测设备在数字高程模型图中的视场范围；将探测设备在数字高程模型图中的视场范围，投影到第二双目影像，得到探测设备在第二双目影像中的视场范围预测结果。
其中，在预测行星车上的探测设备在数字高程模型图中的视场范围的时候，可以通过如下步骤来实现：按照固定距离间隔，沿探测设备视场范围采样预设数量的离散点；遍历每个离散点，建立每个离散点到光心位置的直线方程，其中，光心位置为探测设备在行星车上的安装位置；求解每个直线方程与数字高程模型图的交点；将所有交点连接，得到探测设备在数字高程模型图中的视场范围。
S105，当探测设备的视场范围预测结果满足预设探测条件的情况下，获取探测设备对待探测对象进行探测的探测数据。
需要说明的是，只有探测设备的视场范围能够覆盖待探测对象的情况下，才能获取有效的探测数据，因而，上述预设探测条件至少要包括：预测出的探测设备的视场范围是否能够覆盖待探测对象。一种可选的实施方式，在执行上述S105之前，本发明实施例提供的基于视觉引导的行星车目标探测控制方法还可以包括如下步骤：判断探测设备的视场范围预测结果是否覆盖待探测对象；如果探测设备的视场范围预测结果覆盖待探测对象，则确定探测设备的视场范围预测结果满足预设探测条件；如果探测设备的视场范围预测结果未覆盖待探测对象，则确定探测设备的视场范围预测结果不满足预设探测条件。
由于预测出的探测设备视场范围的中心与待探测对象的中心重合，能够获得更好的探测效果，因而，本发明实施例上述S105中的预设探测条件可以是：①探测设备的视场范围覆盖待探测对象，②探测设备的视场范围中心与待探测对象的中心重合。
一种可选的实施方式中，当预测出的探测设备视场范围能够覆盖待探测对象的情况下，可以对行星车的航向角进行微调，使得预测出的探测设备视场范围的中心与待探测对象的中心重合。
由上可知，本发明实施例提供的基于视觉引导的行星车目标探测控制方法中，通过分析行星车对地外天体表面上待探测对象进行探测的探测实施条件，确定行星车的探测时间区间和探测方位，进而根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置；当行星车移动到探测起始点位置后，通过行星车上的双目导航相机对待探测对象进行立体成像，得到第一双目影像，进而根据第一双目影像控制行星车从探测起始点位置移动至探测目标点位置；当行星车移动到探测目标点位置后，通过行星车上的双目避障相机对待探测对象进行立体成像，得到第二双目影像，进而确定行星车上的探测设备在第二双目影像中的视场范围预测结果；最后在探测设备的视场范围预测结果满足预设探测条件的情况下，通过探测设备对待探测对象进行探测。
通过本发明实施例提供的基于视觉引导的行星车目标探测控制方法，能够对地外天体表面行星车的航向角和移动距离进行精确控制，使行星车上的探测设备逐渐接近并指向待探测对象，获取到准确、有效的探测数据。
此处需要说明的是，本发明实施例上述步骤S101～S105中的待探测对象即为探测任务中的科学目标；上述步骤S101～S105中的双目导航相机和双目避障相机即为安装在行星车上的双目视觉系统，其中，双目导航相机用于较远距离的立体成像，双目避障相机用于较近距离的立体成像；上述步骤S101～S105中的探测设备即为安装在行星车上的科学载荷；上述步骤S101～S105中通过探测设备获取到的探测数据即为探测任务中通过安装在行星车上的科学载荷获取到的探测数据。
以控制行星车上的科学载荷探测地外天体表面的科学目标为例，图2为本发明实施例中提供的一种可选的基于视觉引导的行星车目标探测控制方法流程图，如图2所示，包括如下步骤：
S201，对探测实施条件分析：根据数据传输链路可用情况计算可选取的探测时间区间；基于时变因素对双目视觉系统和科学载荷的成像阴影区进行预测，确定探测方位。
由于开展探测任务时，需要通过数据传输链路完成对行星车的多种控制指令的发送和探测数据及图像数据的下传，因而需要计算行星车探测科学目标可选取的探测时间区间。又由于行星车的科学载荷一般只能探测到可见光部分，因此在探测时对太阳方位角及车体航向均有一定的约束要求。因此，在可选取的时间区间内，需进一步结合行星表面的太阳光照变化情况，预测不同方位角下行星车的视觉系统及科学载荷的成像阴影区，从而最终确定探测方位。
图3为本发明实施例中提供的一种对探测实施条件分析的流程图，如图3所示，首先，在获取传输链路上传控制命令的时间段和下传数据的时间段后，求取交集，以获得传输链路可用的时间段，作为可选取的探测时间区间；然后在不同的时间区间内，根据太阳方位角变化情况，预测行星车上视觉系统和科学载荷的成像阴影区，进而确定行星车不同时间区间对应的探测方位。
S202，计算科学目标的位置信息。具体地，控制行星车的双目视觉系统对特定的科学目标成像，精确计算科学目标在行星车当前工作坐标系中的位置。一般来说，行星车上都会配置多套双目视觉系统，主要用于行星车的中、远距离导航和近距离避障，主要包括双目导航相机及双目避障相机。相机都经过精确标定，安装位置参数及相机内参数均可视为已知量。
图4为本发明实施例中提供的一种计算科学目标位置的方法流程图，如图4所示，利用双目导航相机对科学目标进行立体成像，根据摄影测量的相关理论精确计算出科学目标的位置信息，具体包括如下步骤：
①立体影像匹配。在双目影像的左影像中选取科学目标点，记为pl，其像坐标记为(ul,vl)。依次采用相关系数法、最小二乘法进行双目影像匹配运算，可以求解其右影像中的同名特征点，记为pr，其像坐标记为(ur,vr)。
②像点坐标畸变校正。依据图像匹配的像坐标、导航相机畸变模型及相机标定的内参数可以得到畸变改正量，如下：
Figure BDA0002390231880000091
其中，r2＝(x-x0)2+(y-y0)2；k1,k2为径向畸变系数，p1,p2为切向畸变系数，x0,y0为像主点，α为像素的非正方形比例因子，β为CCD相机阵列排列非正交性的畸变系数，这些参数均为已知。
根据上述式(1)得到的畸变改正量，可通过式(2)求得校正后像点在像平面坐标系的坐标(ul′,vl′)及(ur′,vr′)：
Figure BDA0002390231880000092
③外方位求解。由于双目导航相机通常安装在行星车的桅杆上，因而可通过控制桅杆的三个活动关节，即展开机构、俯仰机构和偏航机构，使导航相机调整到既定的位置和姿态。而桅杆的位置及姿态信息可通过整车的状态信息获取，视为已知量。
另外，由于相机的安装位置为已知量，可根据桅杆的位置和姿态信息，求得相机的位置和姿态信息，即求解左、右导航相机在行星车车体下的外方位元素，分别记为
Figure BDA0002390231880000093
及
Figure BDA0002390231880000094
④根据共线方程进行前方交会可得式(3)：
Figure BDA0002390231880000095
其中，fl、fr分别为左右相机的焦距，为已知量；Rl及Rr分别为左、右导航影像的外方位角元素计算得到的矩阵，可通过式(4)计算，也可视为已知量：
Figure BDA0002390231880000101
将科学目标在车体坐标系的位置记为(Xp,Yp,Zp)，为待求解量。
⑤已知行星车在当前工作坐标系位置(Xrover,Yrover,Zrover)及姿态矩阵Rrover，可以求得科学目标在当前工作坐标系的理论位置(Xp′,Yp′,Zp′)，具体见式(5)：
Figure BDA0002390231880000102
S203，控制行星车移动至探测起始点位置。具体控制过程如图5所示，主要包括如下几步：
①控制行星车的双目视觉系统(此处采用双目导航相机)对周围环境进行感知成像，构建数字高程模型(DEM)图，用于探测起始点位置的选择和地形量测。
②确定探测起始点的位置。由于行星车移动至探测起始点后，可能需要再次进行航向调整而进行原地转弯控制，因此在选择探测起始点的位置时需考虑以下几方面因子，主要包括：距离因子、坡度角因子、安全性因子。
令探测起始点的位置为(X0,Y0,Z0)，科学目标的位置为(Xp′,Yp′,Zp′)，单位均为米，则有：
A.距离因子d：表示探测起始点与科学目标的距离，单位为米。考虑到实施探测时探测区域的地势一般来说都会选择较为平坦的区域，高程的变化量不会很大，因此在计算距离因子时仅考虑了水平方向的距离，可采用如下公式表示：
Figure BDA0002390231880000103
B.坡度角因子slope：反映了探测起始点地表单元的起伏程度，单位为度，采用如下方法计算：利用探测起始点周围的数字高程图，设定一定的窗口大小，使用最小二乘法对数字高程图中窗口区域内的所有像元进行平面拟合，那么该拟合平面与水平面的夹角即为坡度角，采用如下公式表示：
Figure BDA0002390231880000104
拟合得到平面方程如下公式：
ax+by+cz+d＝0 (8)
可见，坡度角越小说明坡度越缓和，代表地形越平坦。
C.安全性因子safe：表示在探测起始点进行原地转向控制时碾压区有无石块。safe为布尔型变量，可假设safe＝1表示安全，safe＝0表示危险。
③路径规划。根据选定的探测起始点位置及探测方位，进行路径搜索，设计一条由当前起点位置移动至探测起始点位置的移动路线。
④根据规划的路径，控制行星车移动至探测起始点位置。将移动完成后行星车的位置记为(Xrover′,Yrover′,Zrover′)，该值可以通过行星车的状态信息获取，因此可以视为已知量。一般来说，行星车实际移动后到达的位置(Xrover′,Yrover′,Zrover′)与规划的理论位置(X0,Y0,Z0)会有一定偏差，但该偏差量不会太大。
S204，计算行星车在探测起始点位置的航向角、由探测起始点位置移动到探测目标点位置的理论移动距离和探测目标点的理论位置信息。具体计算过程如图6所示，主要包括如下几步：
①求解探测起始点航向角yaw。
图7示出了探测起始点位置、理论探测目标点位置、科学目标位置和探测起始点航向角之间的位置关系。已知科学载荷视场在行星车车体系的位置(Xpay,Ypay,Zpay)，根据科学目标的位置，可求解行星车在探测起始点位置的航向角yaw，具体计算过程如下：
S1代表行星车探测起始点位置，即(Xrover′,Yrover′,Zrover′)，为已知量；
S2代表行星车探测理论移动的目标终点位置，记为(Xend,Yend,Zend)，为代求解量；
D代表科学目标点的位置，同时该点也是期望科学载荷视场覆盖的中心点的位置，即(Xp′,Yp′,Zp′)，该数值已通过步骤二求解，可视为已知量。
那么，可以求出S1与D的距离d0，见式(9)：
Figure BDA0002390231880000111
进而根据三角函数可以求解角度θ，即
Figure BDA0002390231880000121
其中，y＝Ypay，为已知量。
角度β可通过下式求解：
Figure BDA0002390231880000122
令行星车在探测起始点位置的航向角为在水平面(北O东)上，以正北方向开始，沿顺时针方向至行星车前进方向的夹角，即图7中所示的角度
Figure BDA0002390231880000126
通过式(12)求解行星车在探测起始点位置的航向角yaw：
Figure BDA0002390231880000123
②求解理论移动距离dis，即图7中点S1与S2的水平距离，具体如下：
Figure BDA0002390231880000124
其中，x＝Xpay，为已知量。
③求解理论探测目标点位置，即图7中点S2的位置，具体如下：
Figure BDA0002390231880000125
S205，控制行星车移动至理论探测目标点位置。具体地，首先控制行星车原地转向至探测起始点航向角；然后控制行星车移动至理论探测目标点。
S206，预测行星车上科学载荷的成像视场。科学载荷成像视场的预测方法具体如图8所示，主要包括如下几步：
①控制行星车的双目视觉系统(此处使用双目避障相机)再次对特定目标进行感知成像。采用双目避障相机对探测目标进行立体成像，主要原因如下：一是避障相机多选用鱼眼镜头，视场角较大，通过避障相机图像能够更加清晰地看清行星车近距离的场景；二是此时行星车距离探测目标较近，导航相机的视场不能覆盖探测目标。
②利用立体避障相机影像，构建DEM图。
③已知行星车的位置和姿态信息、科学载荷在行星车的安装位置以及科学载荷的视场，预测此时科学载荷在DEM图中的投影范围，具体包括如下步骤：
A.已知科学载荷成像的图幅大小，沿视场范围边沿以固定间隔采样若干离散点；
B.已知科学载荷在行星车的安装位置，即科学载荷的光心位置，对每个离散点分别建立光心到离散点的射线；
C.求解该直线与DEM图的交点；
D.重复步骤B和C，直到遍历所有的离散点；
E.连接所有交点即为预测的科学载荷视场在DEM图中的投影范围。
④将该预测的视场范围反投影至避障影像上。具体包括如下步骤：
A.根据避障相机成像模型，已知交点的三维坐标计算无畸变情况下的二维像坐标，记为
Figure BDA0002390231880000135
可建立如下方程：
Figure BDA0002390231880000131
式中，A为避障相机的内参数矩阵，P为交点的三维坐标，fx、fy分别表示焦距在x方向和y方向上的分量，(x0,y0)表示像主点的图像坐标，以上参数均为已知量。
B.根据避障相机畸变模型，进行像点坐标畸变添加，如下：
Figure BDA0002390231880000132
式中，k1,k2,k3为径向畸变系数，p1,p2为切向畸变系数，α、β分别为x方向和y方向的正交改正系数，以上参数均已知；(x,y)是无畸变条件下的二维像点坐标，(xd,yd)为待求解量，且满足r＝(xd-x0)2+(yd-y0)2。
在求解出(xd,yd)之后，可根据式(17)求解得到最终的畸变二维像坐标(x′,y′)：
Figure BDA0002390231880000133
式中，
Figure BDA0002390231880000134
⑤对预测的科学载荷成像视场进行效果评估。
在预测出科学载荷的成像视场后，评估其是否满足探测实施要求，例如，判断预测的科学载荷成像视场是否覆盖科学目标。如果满足要求，跳至S207。如果不满足要求，根据预测结果对航向进行向左或向右小角度的调整，并预测调整后的成像视场，直至满足探测实施要求。如果最终满足探测实施要求的航向角度为yaw′，则控制行星车原地转向至yaw′。
S207，获取科学载荷的探测数据。控制科学载荷设备开机，获取相应的探测数据。
S208，控制行星车离开。当探测数据获取完毕后，关闭科学载荷设备，控制行星车退回至探测起始点。
下面，以“玉兔二号”月球车对科学目标探测为例，对本发明实施例上述S201～S208提供的方案进行说明。
需要说明的是，“玉兔二号”月球车上携带了一种称为红外光谱仪的科学载荷。由于红外光谱仪为无源探测设备，只能探测光照可见部分，因此在探测时对太阳方位有严格要求。另外，由于红外光谱仪固定安装于月球车车体的正前方，因此实施探测时只能通过调整月球车车体的航向来满足探测方位的约束要求。
以“玉兔二号”月球车的第13月昼工作期间为例，具体实现方法如下：
步骤一：对探测实施条件进行分析。根据“玉兔二号”月球车的传输链路的可用情况，确定第13月昼期间可用于实施科学目标探测的时间区间。为确保整个科学探测实施过程的连续性、完整性，可选取在1～2天完成。
对于第13月昼，根据玉兔二号月球车的休眠唤醒策略，在月昼上午(即由唤醒至进入月午)和月昼下午(即由出月午至休眠)，可用的时间均为2天；且在该期间内，中继星的高度角都较高，不会对通信造成遮挡，均适合开展探测。
结合太阳方位角的变化规律情况，预测不同方位角条件下月球车视觉系统和红外光谱仪的成像阴影区，从而确定探测范围。“玉兔二号”月球车着陆月球背面，在月昼上午期间，太阳高度角从约5°升高至33°，太阳方位角从约85°变化至50°，为避开阴影、过曝等成像区域，此区间探测方位为西南；在月昼下午期间，太阳高度角从约33°降低至9°，太阳方位角从约-52°变化至-80°，为避开阴影、过曝等成像区域，此区间探测方位为西南。
根据上述分析，确定月球车在第13月昼实施探测的时间区间和探测方位为：①如果探测时间区间是月昼上午，则探测方位为西北；②如果探测时间区间是月昼下午探测，则探测方位为西南。本发明实施例以第13月昼下午进行说明。
步骤二：计算科学目标的位置。首先控制月球车的导航相机对探测目标进行立体成像，图9a和图9b分别为利用左导航相机和右导航相机成像的影像结果，图9a中白色标记区域内的石块为待测的科学目标。在对该科学目标探测时，期望通过控制月球车的航向和前进距离，使得红外光谱仪的成像视场覆盖石块的中心区域。
在左导航影像中选取石块的中心点作为探测目标的中心点pl，像坐标为(383.38，183.90)。经双目影像匹配运算后，可以在右导航影像中求得该点的同名特征点pr，像坐标为(339.00，183.00)，匹配结果如图10中白色“十”字符号表示。经计算，石块中心点在工作坐标系下的位置为：(-7.333，-2.070)，单位为米。
步骤三：选定探测起始点，控制月球车移动至探测起始点。具体包括：
①探测起始点的选取。
图11为本发明实施例中提供的一种确定探测起始点位置的示意图。已知探测目标(即科学目标)的粗略位置，探测起始点与科学目标的距离d一般需满足如下条件：1.0＜d＜3.0，由此可确定探测起始点的范围1。
在范围1内，根据S201确定的探测方位，缩小范围1，获得范围2。
考虑到探测起始点周围地形需较平坦，坡度角slope一般满足以下条件：0＜slope＜3.0；在范围2的基础上缩小范围2，得到范围3。
最后在范围3内判断周围有无石块，从而确定探测起始点位置。
令“玉兔二号”月球车当前位置作为起点、探测起始点的位置作为终点、探测方位作为目标航向角，采用A-star算法进行路径搜索，路径规划如图12所示。即起点坐标(0，0)，起点航向：165°；终点坐标(-5.5，-1.7)，终点航向：-160°，终点坡度：1.5°。
根据路径搜索结果，基于月球车各移动机构运动性能生成相应的移动指令。经通信链路将这些指令传输至月球车，待月球车接收到指令后完成相应的移动，到达探测起始点。移动到位后，“玉兔二号”月球车的位置信息(即探测起始点位置(Xrover′,Yrover′,Zrover′))为：(-5.630，-1.661，-0.065)，航向：-160.2°。
步骤四：已知红外光谱仪在月球车车体系的安装位置，令Xpay＝1.4，Ypay＝0.2，那么根据上述公式(7)～(12)，可以求解探测起始点航向、理论移动距离、理论探测目标点位置，即有：
Figure BDA0002390231880000151
dis＝0.34米、Xend＝-5.967Yend＝-1.702。
步骤五：控制月球车原地左转12.9°至探测起始点航向(由-160.2°转至-173.1°)，待转向控制完成后，继续控制月球车直线前进0.34米到达理论探测目标点位置。
步骤六：在避障影像中显示红外光谱仪的成像视场：首先控制月球车的避障相机对探测目标进行立体成像，得到图13a和图13b的影像结果。其中，图13a示出了利用左避障相机得到的影像结果，图13b示出了利用右避障相机得到的影像结果；然后利用图13a和图13b所示的双目影像，构建得到图14a所示的DEM图，并在DEM图中显示月球车上红外光谱仪的成像视场，如图14b中图标140所示；最后将图14b所示的成像视场范围预测结果投影至避障影像中，得到图15a所示的结果，图15a中图标150所示的区域为预测的红外光谱仪的成像视场范围。
步骤七：效果评估及实施。
图15a中预测的红外视场(即红外光谱仪的成像视场范围)中心点与科学目标的中心点未完全重合，为了完全覆盖，还可以通过微调月球车的航向角来满足探测要求。例如，图15b所示为控制月球车航向角原地向右转3°和4°的红外视场预测效果图，图标151所示为右转3°的红外视场预测结果，图标152所示为右转4°的红外视场预测结果，可以看出，右转3°的红外视场能够更好地覆盖科学目标。因而，最后控制月球车原地右转3°，再次进行红外光谱仪视场预测，得到图15c所示的结果，从图15c所示的结果可以看出，图标153所示的红外视场中心与探测目标中心点重合，符合探测要求。
步骤八：开启红外光谱仪设备，获取相应的探测数据。完成后，控制月球车离开。
基于同一发明构思，本发明实施例中还提供了一种基于视觉引导的行星车目标探测控制装置，如下面的实施例所述。由于该装置实施例解决问题的原理与基于视觉引导的行星车目标探测控制方法相似，因此该装置实施例的实施可以参见方法的实施，重复之处不再赘述。
图16为本发明实施例中提供的一种基于视觉引导的行星车目标探测控制装置示意图，如图16所示，该装置可以包括：探测实施条件分析模块161、第一路径导航模块162、第二路径导航模块163、探测设备视场预测模块164和探测数据获取模块165。
其中，探测实施条件分析模块161，用于对探测实施条件分析，确定行星车的探测时间区间和探测方位，其中，探测实施条件为行星车对地外天体表面上待探测对象进行探测的现场实施条件；第一路径导航模块162，用于根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置，其中，探测起始点位置为预先选定的一个位置；第二路径导航模块163，用于获取行星车上的双目导航相机对待探测对象进行立体成像的第一双目影像，根据第一双目影像控制行星车从探测起始点位置移动至探测目标点位置，其中，探测目标点位置为行星车对待探测对象进行探测的位置；探测设备视场预测模块164，用于获取行星车上的双目避障相机对待探测对象进行立体成像的第二双目影像，确定行星车上的探测设备在第二双目影像中的视场范围预测结果；探测数据获取模块165，用于当探测设备的视场范围预测结果满足预设探测条件的情况下，获取探测设备对待探测对象进行探测的探测数据。
由上可知，本发明实施例提供的基于视觉引导的行星车目标探测控制装置中，通过探测实施条件分析模块161分析行星车对地外天体表面上待探测对象进行探测的探测实施条件，以确定行星车的探测时间区间和探测方位；通过第一路径导航模块162根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置；通过第二路径导航模块163在行星车移动到探测起始点位置的情况下，利用行星车上的双目导航相机对待探测对象进行立体成像，得到第一双目影像，进而根据第一双目影像控制行星车从探测起始点位置移动至探测目标点位置；通过探测设备视场预测模块164在行星车移动到探测目标点位置的情况下，利用行星车上的双目避障相机对待探测对象进行立体成像，得到第二双目影像，进而确定行星车上的探测设备在第二双目影像中的视场范围预测结果；通过探测数据获取模块165在探测设备的视场范围预测结果满足预设探测条件的情况下，通过探测设备对待探测对象进行探测。
通过本发明实施例提供的基于视觉引导的行星车目标探测控制装置，能够对地外天体表面行星车的航向角和移动距离进行精确控制，使行星车上的探测设备逐渐接近并指向待探测对象，获取到准确、有效的探测数据。
可选地，上述探测实施条件分析模块161具体用于：根据行星车的数据传输链路情况，确定行星车的一个或多个探测时间区间；基于时变因素对行星车上双目导航相机、双目避障相机和探测设备的成像阴影区进行预测，根据预测结果确定行星车在各个探测时间区间的探测方位。
可选地，上述第一路径导航模块162具体用于：控制行星车上的双目导航相机对待探测对象进行立体成像，得到第一双目影像；根据第一双目影像，确定待探测对象在行星车工作坐标系中的位置；根据行星车和待探测对象在行星车工作坐标系中的位置，确定行星车在探测起始点位置的航向角，以及行星车从探测起始点位置移动至探测目标点位置的理论距离；控制行星车按照航向角，移动理论距离。
可选地，上述探测设备视场预测模块164具体用于：控制行星车上的双目避障相机对待探测对象进行立体成像，得到第二双目影像；根据第二双目影像，构建数字高程模型图；预测行星车上的探测设备在数字高程模型图中的视场范围；将探测设备在数字高程模型图中的视场范围，投影到第二双目影像，得到探测设备在第二双目影像中的视场范围预测结果。
进一步地，上述探测设备视场预测模块164还用于：按照固定距离间隔，沿探测设备视场范围采样预设数量的离散点；遍历每个离散点，建立每个离散点到光心位置的直线方程，其中，光心位置为探测设备在行星车上的安装位置；求解每个直线方程与数字高程模型图的交点；将所有交点连接，得到探测设备在数字高程模型图中的视场范围。
在一种可选的实施例中，本发明实施例提供的基于视觉引导的行星车目标探测控制装置还可以包括：预测结果评估模块166，具体用于：判断探测设备的视场范围预测结果是否覆盖待探测对象；如果探测设备的视场范围预测结果覆盖待探测对象，则确定探测设备的视场范围预测结果满足预设探测条件；如果探测设备的视场范围预测结果未覆盖待探测对象，则确定探测设备的视场范围预测结果不满足预设探测条件。
在一种可选的实施例中，本发明实施例提供的基于视觉引导的行星车目标探测控制装置还可以包括：探测起始点位置选择模块167，具体用于：获取在行星车工作坐标系中任选的一个备选探测起始点；根据备选探测起始点对应的距离因子、坡度角因子和安全性因子，判断备选探测起始点是否满足预设探测起始点条件；将满足预设探测起始点条件的备选探测起始点，确定为行星车的探测起始点。
基于同一发明构思，本发明实施例还提供了一种计算机设备，用以解决现有技术在面对复杂地外天体地形条件的情况下，无法精确控制行星车的航向和移动距离，使其逐渐接近待探测对象来获取相关探测数据的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于视觉引导的行星车目标探测控制方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，用以解决现有技术在面对复杂地外天体地形条件的情况下，无法精确控制行星车的航向和移动距离，使其逐渐接近待探测对象来获取相关探测数据的技术问题，该计算机可读存储介质存储有执行上述基于视觉引导的行星车目标探测控制方法的计算机程序。
综上所述，本发明实施例提供了一种基于视觉引导的行星车目标探测控制方法、装置、计算设备及计算机存储介质，通过对探测实施条件分析确定行星车的探测时间区间和探测方位(结合传输链路可用情况分析可选取的探测时间区间、基于时变因素对视觉系统及科学载荷的成像阴影区进行预测，完成探测方位确定)，利用摄影测量相关原理，基于双目导航相机得到的立体影像精确计算待探测对象的位置，综合考虑距离因子、坡度角因子、安全性因子等选择探测起始点位置，并控制行星车移动至探测起始点，根据行星车的当前的状态信息，计算探测起始点位置的航向角、从探测起始点到探测目标点位置的理论移动距离和理论的探测目标点位置，根据计算结果，调整行星车的航向，控制行星车移动至探测目标点位置，控制行星车上的双目避障相机对待探测对象进行感知成像，预测行星车上探测设备(科学载荷)的成像视场范围；将预测出的成像视场范围与预先设定的期望的成像视场范围比较，评估行星车的航向是否满足预设探测条件，并在不满足预设探测条件的情况下，继续调整航向，直至满足预设探测条件。当探测设备的成像视场预测结果满足预设探测条件的情况下，获取探测设备的探测数据，最后控制行星车离开。
通过本发明实施例，能够精确控制行星车的移动，使得行星车上的探测设备(科学载荷)的成像视场范围覆盖待探测对象(科学目标)，进而获取相关探测数据，具有精度高、效率高等优点。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉引导的行星车目标探测控制方法，其特征在于，包括：
对探测实施条件分析，确定行星车的探测时间区间和探测方位，其中，所述探测实施条件为行星车对地外天体表面上待探测对象进行探测的现场实施条件；
根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置，其中，探测起始点位置为预先选定的一个位置；
获取行星车上的双目导航相机对待探测对象进行立体成像的第一双目影像，根据所述第一双目影像控制行星车从探测起始点位置移动至探测目标点位置，其中，探测目标点位置为行星车对待探测对象进行探测的位置；
获取行星车上的双目避障相机对待探测对象进行立体成像的第二双目影像，确定行星车上的探测设备在所述第二双目影像中的视场范围预测结果；
当探测设备的视场范围预测结果满足预设探测条件的情况下，获取探测设备对所述待探测对象进行探测的探测数据。
2.如权利要求1所述的方法，其特征在于，获取行星车上的双目导航相机对待探测对象进行立体成像的第一双目影像，根据所述第一双目影像控制行星车从探测起始点位置移动至探测目标点位置，包括：
控制行星车上的双目导航相机对待探测对象进行立体成像，得到第一双目影像；
根据所述第一双目影像，确定待探测对象在行星车工作坐标系中的位置；
根据行星车和待探测对象在行星车工作坐标系中的位置，确定行星车在探测起始点位置的航向角，以及行星车从探测起始点位置移动至探测目标点位置的理论距离；
控制行星车按照所述航向角，移动所述理论距离。
3.如权利要求1所述的方法，其特征在于，获取行星车上的双目避障相机对待探测对象进行立体成像的第二双目影像，确定行星车上的探测设备在所述第二双目影像中的视场范围预测结果，包括：
控制行星车上的双目避障相机对待探测对象进行立体成像，得到第二双目影像；
根据所述第二双目影像，构建数字高程模型图；
预测行星车上的探测设备在所述数字高程模型图中的视场范围；
将探测设备在所述数字高程模型图中的视场范围，投影到所述第二双目影像，得到探测设备在所述第二双目影像中的视场范围预测结果。
4.如权利要求3所述的方法，其特征在于，预测行星车上的探测设备在所述数字高程模型图中的视场范围，包括：
按照固定距离间隔，沿探测设备视场范围采样预设数量的离散点；
遍历每个离散点，建立每个离散点到光心位置的直线方程，其中，光心位置为探测设备在行星车上的安装位置；
求解每个直线方程与数字高程模型图的交点；
将所有交点连接，得到探测设备在所述数字高程模型图中的视场范围。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
判断探测设备的视场范围预测结果是否覆盖待探测对象；
如果探测设备的视场范围预测结果覆盖待探测对象，则确定探测设备的视场范围预测结果满足预设探测条件；
如果探测设备的视场范围预测结果未覆盖待探测对象，则确定探测设备的视场范围预测结果不满足预设探测条件。
6.如权利要求1所述的方法，其特征在于，在根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置之前，所述方法还包括：
获取在行星车工作坐标系中任选的一个备选探测起始点；
根据备选探测起始点对应的距离因子、坡度角因子和安全性因子，判断备选探测起始点是否满足预设探测起始点条件；
将满足预设探测起始点条件的备选探测起始点，确定为行星车的探测起始点。
7.如权利要求1所述的方法，其特征在于，对探测实施条件分析，确定行星车的探测时间区间和探测方位，包括：
根据行星车的数据传输链路情况，确定行星车的一个或多个探测时间区间；
基于时变因素对行星车上双目导航相机、双目避障相机和探测设备的成像阴影区进行预测，根据预测结果确定行星车在各个探测时间区间的探测方位。
8.一种基于视觉引导的行星车目标探测控制装置，其特征在于，包括：
探测实施条件分析模块，用于对探测实施条件分析，确定行星车的探测时间区间和探测方位，其中，所述探测实施条件为行星车对地外天体表面上待探测对象进行探测的现场实施条件；
第一路径导航模块，用于根据行星车的探测时间区间和探测方位，控制行星车移动至探测起始点位置，其中，探测起始点位置为预先选定的一个位置；
第二路径导航模块，用于获取行星车上的双目导航相机对待探测对象进行立体成像的第一双目影像，根据所述第一双目影像控制行星车从探测起始点位置移动至探测目标点位置，其中，探测目标点位置为行星车对待探测对象进行探测的位置；
探测设备视场预测模块，用于获取行星车上的双目避障相机对待探测对象进行立体成像的第二双目影像，确定行星车上的探测设备在所述第二双目影像中的视场范围预测结果；
探测数据获取模块，用于当探测设备的视场范围预测结果满足预设探测条件的情况下，获取探测设备对所述待探测对象进行探测的探测数据。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述基于视觉引导的行星车目标探测控制方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7任一项所述基于视觉引导的行星车目标探测控制方法的计算机程序。
CN202010111643.9A 2020-02-24 2020-02-24 基于视觉引导的行星车目标探测控制方法及装置 Active CN111174765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111643.9A CN111174765B (zh) 2020-02-24 2020-02-24 基于视觉引导的行星车目标探测控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111643.9A CN111174765B (zh) 2020-02-24 2020-02-24 基于视觉引导的行星车目标探测控制方法及装置

Publications (2)

Publication Number Publication Date
CN111174765A true CN111174765A (zh) 2020-05-19
CN111174765B CN111174765B (zh) 2021-08-13

Family

ID=70656890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111643.9A Active CN111174765B (zh) 2020-02-24 2020-02-24 基于视觉引导的行星车目标探测控制方法及装置

Country Status (1)

Country Link
CN (1) CN111174765B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113103228A (zh) * 2021-03-29 2021-07-13 航天时代电子技术股份有限公司 遥操作机器人
CN113671957A (zh) * 2021-08-13 2021-11-19 哈尔滨工业大学 星球熔岩管探测机器人的控制方法
CN113788162A (zh) * 2021-09-18 2021-12-14 北京空间飞行器总体设计部 一种高性能火星车

Citations (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0068896A2 (en) * 1981-07-01 1983-01-05 Hitachi, Ltd. Image distortion-free, image rotation-free electron microscope
JPH03136580A (ja) * 1989-06-29 1991-06-11 Univ New York State 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置
WO2005082714A1 (fr) * 2004-02-26 2005-09-09 Oleg Alexandrovich Alexandrov Procede de changement d'orientation et de deplacement local d'un appareil spatial et dispositif correspondant
JP2006027331A (ja) * 2004-07-13 2006-02-02 Hiroboo Kk 無人飛行体を利用した航空映像情報の収集方法
EP1672456A2 (en) * 2004-12-14 2006-06-21 Honda Motor Co., Ltd. Target object detection apparatus and robot provided with the same
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN101214851A (zh) * 2008-01-10 2008-07-09 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
US20110260007A1 (en) * 2008-10-30 2011-10-27 Ihi Aerospace Co., Ltd. Space probing apparatus
CN102243074A (zh) * 2010-05-13 2011-11-16 中国科学院遥感应用研究所 基于光线追踪技术的航空遥感成像几何变形仿真方法
CN102510436A (zh) * 2011-10-17 2012-06-20 河海大学常州校区 高速微小目标仿蝇视觉在线实时检测装置及检测方法
WO2012091814A2 (en) * 2010-12-30 2012-07-05 Irobot Corporation Mobile robot system
KR101197167B1 (ko) * 2012-05-09 2012-11-05 주식회사 유삼씨앤씨 이미지 합성에 따른 도화이미지 내 지형물 변형 편집을 위한 지아이에스 기반 영상편집용 수치전용 영상도화시스템
CN102928201A (zh) * 2012-10-24 2013-02-13 北京控制工程研究所 一种动态的月面成像敏感器的目标模拟系统
CN103345062A (zh) * 2013-07-10 2013-10-09 北京空间机电研究所 高分辨率立体测绘侦察一体化相机光学系统
CN103487921A (zh) * 2013-09-30 2014-01-01 中国科学院西安光学精密机械研究所 大视场高分辨三线阵立体航测相机光学系统
CN103512574A (zh) * 2013-09-13 2014-01-15 北京航天飞行控制中心 一种基于小行星序列图像的深空探测器光学导航方法
CN103698900A (zh) * 2013-12-30 2014-04-02 苏州大学 用于大规模高分辨率遥感相机的光学成像方法及其系统
CN103888738A (zh) * 2014-04-03 2014-06-25 华中师范大学 一种多源多面阵无人车gis数据采集平台
CN103885455A (zh) * 2014-03-25 2014-06-25 许凯华 跟踪测量机器人
CN103927739A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种基于拼接图像的巡视器定位方法
CN103925919A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种基于鱼眼相机的行星车探测点定位方法
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
CN105594191A (zh) * 2013-10-02 2016-05-18 奥林巴斯株式会社 摄像装置、图像处理装置以及图像处理方法
US20170308088A1 (en) * 2014-10-17 2017-10-26 Sony Corporation Control device, control method, and computer program
CN107329478A (zh) * 2017-08-22 2017-11-07 深圳普思英察科技有限公司 一种生命探测车、可穿戴设备和虚拟现实探测系统
WO2018036412A1 (zh) * 2016-08-25 2018-03-01 四川行之智汇知识产权运营有限公司 一种圆柱体制品外观检测系统
CN207571578U (zh) * 2017-11-16 2018-07-03 湖北大学 一种基于psd测距和ccd夜视成像的水下自动航行器
TWI629461B (zh) * 2017-08-07 2018-07-11 赫鼎自動化科技有限公司 物件檢測裝置
US20180215313A1 (en) * 2017-02-02 2018-08-02 Magna Electronics Inc. Vehicle vision system using at least two cameras
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法
CN108845569A (zh) * 2018-04-27 2018-11-20 厦门维斯云景信息科技有限公司 生成三维高清道路图水平弯道行车线的半自动点云方法
CN108983781A (zh) * 2018-07-25 2018-12-11 北京理工大学 一种无人车目标搜索系统中的环境探测方法
CN109254579A (zh) * 2017-07-14 2019-01-22 上海汽车集团股份有限公司 一种双目视觉相机硬件系统、三维场景重建系统及方法
US20190077414A1 (en) * 2017-09-12 2019-03-14 Harman International Industries, Incorporated System and method for natural-language vehicle control
CN109782776A (zh) * 2019-03-28 2019-05-21 北京百度网讯科技有限公司 无人车的车道选择方法、装置及存储介质
CN109917786A (zh) * 2019-02-04 2019-06-21 浙江大学 一种面向复杂环境作业的机器人感知系统及系统运行方法
CN110220500A (zh) * 2019-05-06 2019-09-10 深圳市华芯技研科技有限公司 一种基于双目相机的无人驾驶用测距方法
CN110422341A (zh) * 2019-07-31 2019-11-08 南京航空航天大学 一种用于火星探测的火星车系留飞艇系统及其工作方法

Patent Citations (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0068896A2 (en) * 1981-07-01 1983-01-05 Hitachi, Ltd. Image distortion-free, image rotation-free electron microscope
JPH03136580A (ja) * 1989-06-29 1991-06-11 Univ New York State 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置
WO2005082714A1 (fr) * 2004-02-26 2005-09-09 Oleg Alexandrovich Alexandrov Procede de changement d'orientation et de deplacement local d'un appareil spatial et dispositif correspondant
JP2006027331A (ja) * 2004-07-13 2006-02-02 Hiroboo Kk 無人飛行体を利用した航空映像情報の収集方法
EP1672456A2 (en) * 2004-12-14 2006-06-21 Honda Motor Co., Ltd. Target object detection apparatus and robot provided with the same
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN101214851A (zh) * 2008-01-10 2008-07-09 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
US20110260007A1 (en) * 2008-10-30 2011-10-27 Ihi Aerospace Co., Ltd. Space probing apparatus
CN102243074A (zh) * 2010-05-13 2011-11-16 中国科学院遥感应用研究所 基于光线追踪技术的航空遥感成像几何变形仿真方法
WO2012091814A2 (en) * 2010-12-30 2012-07-05 Irobot Corporation Mobile robot system
CN102510436A (zh) * 2011-10-17 2012-06-20 河海大学常州校区 高速微小目标仿蝇视觉在线实时检测装置及检测方法
KR101197167B1 (ko) * 2012-05-09 2012-11-05 주식회사 유삼씨앤씨 이미지 합성에 따른 도화이미지 내 지형물 변형 편집을 위한 지아이에스 기반 영상편집용 수치전용 영상도화시스템
CN102928201A (zh) * 2012-10-24 2013-02-13 北京控制工程研究所 一种动态的月面成像敏感器的目标模拟系统
CN103345062A (zh) * 2013-07-10 2013-10-09 北京空间机电研究所 高分辨率立体测绘侦察一体化相机光学系统
CN103512574A (zh) * 2013-09-13 2014-01-15 北京航天飞行控制中心 一种基于小行星序列图像的深空探测器光学导航方法
CN103487921A (zh) * 2013-09-30 2014-01-01 中国科学院西安光学精密机械研究所 大视场高分辨三线阵立体航测相机光学系统
CN105594191A (zh) * 2013-10-02 2016-05-18 奥林巴斯株式会社 摄像装置、图像处理装置以及图像处理方法
CN103698900A (zh) * 2013-12-30 2014-04-02 苏州大学 用于大规模高分辨率遥感相机的光学成像方法及其系统
CN103925919A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种基于鱼眼相机的行星车探测点定位方法
CN103927739A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种基于拼接图像的巡视器定位方法
CN103885455A (zh) * 2014-03-25 2014-06-25 许凯华 跟踪测量机器人
CN103888738A (zh) * 2014-04-03 2014-06-25 华中师范大学 一种多源多面阵无人车gis数据采集平台
US20170308088A1 (en) * 2014-10-17 2017-10-26 Sony Corporation Control device, control method, and computer program
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
WO2018036412A1 (zh) * 2016-08-25 2018-03-01 四川行之智汇知识产权运营有限公司 一种圆柱体制品外观检测系统
US20180215313A1 (en) * 2017-02-02 2018-08-02 Magna Electronics Inc. Vehicle vision system using at least two cameras
CN109254579A (zh) * 2017-07-14 2019-01-22 上海汽车集团股份有限公司 一种双目视觉相机硬件系统、三维场景重建系统及方法
TWI629461B (zh) * 2017-08-07 2018-07-11 赫鼎自動化科技有限公司 物件檢測裝置
CN107329478A (zh) * 2017-08-22 2017-11-07 深圳普思英察科技有限公司 一种生命探测车、可穿戴设备和虚拟现实探测系统
US20190077414A1 (en) * 2017-09-12 2019-03-14 Harman International Industries, Incorporated System and method for natural-language vehicle control
CN207571578U (zh) * 2017-11-16 2018-07-03 湖北大学 一种基于psd测距和ccd夜视成像的水下自动航行器
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法
CN108845569A (zh) * 2018-04-27 2018-11-20 厦门维斯云景信息科技有限公司 生成三维高清道路图水平弯道行车线的半自动点云方法
CN108983781A (zh) * 2018-07-25 2018-12-11 北京理工大学 一种无人车目标搜索系统中的环境探测方法
CN109917786A (zh) * 2019-02-04 2019-06-21 浙江大学 一种面向复杂环境作业的机器人感知系统及系统运行方法
CN109782776A (zh) * 2019-03-28 2019-05-21 北京百度网讯科技有限公司 无人车的车道选择方法、装置及存储介质
CN110220500A (zh) * 2019-05-06 2019-09-10 深圳市华芯技研科技有限公司 一种基于双目相机的无人驾驶用测距方法
CN110422341A (zh) * 2019-07-31 2019-11-08 南京航空航天大学 一种用于火星探测的火星车系留飞艇系统及其工作方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WEI DONG HUANG: "Double Closed-Loop Motor Modeling and Analysis for Lunar Rover Simulation", 《ADVANCED MATERIALS RESEARCH》 *
吴伟仁: "嫦娥三号_玉兔号_巡视器遥操作中的关键技术", 《中国科学》 *
孙泽洲等: "嫦娥三号探测器地面验证技术", 《中国科学》 *
支慧敏: "月球探测车双目立体视觉系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郭延宁: "行星车视觉导航与自主控制进展与展望", 《宇航学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113103228A (zh) * 2021-03-29 2021-07-13 航天时代电子技术股份有限公司 遥操作机器人
CN113103228B (zh) * 2021-03-29 2023-08-15 航天时代电子技术股份有限公司 遥操作机器人
CN113671957A (zh) * 2021-08-13 2021-11-19 哈尔滨工业大学 星球熔岩管探测机器人的控制方法
CN113671957B (zh) * 2021-08-13 2024-05-17 哈尔滨工业大学 星球熔岩管探测机器人的控制方法
CN113788162A (zh) * 2021-09-18 2021-12-14 北京空间飞行器总体设计部 一种高性能火星车

Also Published As

Publication number Publication date
CN111174765B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110243358B (zh) 多源融合的无人车室内外定位方法及系统
CN111174765B (zh) 基于视觉引导的行星车目标探测控制方法及装置
US8494225B2 (en) Navigation method and aparatus
US8494687B2 (en) Method for enhancing a three dimensional image from a plurality of frames of flash LIDAR data
Trebi-Ollennu et al. Design and analysis of a sun sensor for planetary rover absolute heading detection
US9378585B2 (en) System and method for automatic geometric correction using RPC
CN110837080B (zh) 激光雷达移动测量系统的快速标定方法
EP3669141A1 (en) Vehicle positioning system using lidar
US20150323648A1 (en) Method and system for estimating information related to a vehicle pitch and/or roll angle
KR101688331B1 (ko) 위성체 제어 장치 및 그 방법
CN111220120B (zh) 一种动平台双目测距自校准方法及装置
Karachevtseva et al. Cartography of the Luna-21 landing site and Lunokhod-2 traverse area based on Lunar Reconnaissance Orbiter Camera images and surface archive TV-panoramas
CN102519436A (zh) 一种ce-1立体相机与激光高度计数据联合平差方法
DE102009040468A1 (de) Tragbare mobile Erfassungseinrichtung und Verfahren zur dreidimensionalen geometrischen Erfassung einer Umgebung
CN105043392A (zh) 一种飞行器位姿确定方法及装置
CN110853142A (zh) 基于无人机拍摄的机场净空三维模型构建方法及装置
CN116106870A (zh) 车辆激光雷达外参的标定方法和装置
IL267309B2 (en) Terrestrial observation device with positioning functionality
CN112857306B (zh) 一种视频卫星任意视向点的连续太阳高度角确定方法
CN110411449B (zh) 一种航空侦察载荷目标定位方法、系统及终端设备
Eisenman et al. Sun sensing on the Mars exploration rovers
Eisenman et al. Mars exploration rover engineering cameras
Wang et al. Terrain reconstruction from Chang'e-3 PCAM images
Hwangbo et al. Integration of orbital and ground image networks for the automation of rover localization
Paar et al. Vision and image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Jia

Inventor after: Kerongshuo

Inventor after: Zhao Rui

Inventor after: Han Shaojin

Inventor after: Liu Xiaohui

Inventor after: Yu Tianyi

Inventor after: Wang Saijin

Inventor after: Zhao Huanzhou

Inventor after: Rong Zhifei

Inventor after: He Ximing

Inventor after: You Dai

Inventor after: Zhang Kuan

Inventor after: Lu Hao

Inventor before: Wang Jia

Inventor before: Kerongshuo

Inventor before: Zhao Rui

Inventor before: Han Shaojin

Inventor before: Liu Xiaohui

Inventor before: Yu Tianyi

Inventor before: Wang Saijin

Inventor before: Zhao Huanzhou

Inventor before: Rong Zhifei

Inventor before: He Ximing

Inventor before: You Dai

Inventor before: Zhang Kuan

Inventor before: Lu Hao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant