CN108829116A - 基于单目摄像头的避障方法及设备 - Google Patents
基于单目摄像头的避障方法及设备 Download PDFInfo
- Publication number
- CN108829116A CN108829116A CN201811178820.4A CN201811178820A CN108829116A CN 108829116 A CN108829116 A CN 108829116A CN 201811178820 A CN201811178820 A CN 201811178820A CN 108829116 A CN108829116 A CN 108829116A
- Authority
- CN
- China
- Prior art keywords
- ambient enviroment
- image
- robot
- track
- current location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
Abstract
本发明的目的是提供一种基于单目摄像头的避障方法及设备，本发明通过单目摄像采集的图像和机器人在移动过程中的当前位置与前一位置的坐标差值，恢复出机器人的当前位置的环境结构即三维环境点云，并根据所述三维环境点云对运动预测的轨迹进行评分，选取最优的轨迹，用来控制机器人精确避障运动。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种基于单目摄像头的避障方法及设备。
背景技术
目前，各类机器人层出不穷，自主定位与导航是其关键技术。作为导航的重要的一部分---避障是机器人必不可少的。
发明内容
本发明的一个目的是提供一种基于单目摄像头的避障方法及设备。
根据本发明的一个方面，提供了一种基于单目摄像头的避障方法，该方法包括：
获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
控制所述机器人沿着所述最优轨迹移动。
进一步的，上述方法中，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值，包括：
根据机器在移动过程中的定位信息或里程计信息，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值。
进一步的，上述方法中，根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，包括：
根据所述坐标差值，判断当前位置的周围环境的图像是否分别为关键帧，若是关键帧，
对为关键帧的当前位置的周围环境的图像进行特征提取，得到第二特征点；
对前一位置的周围环境的图像进行特征提取，得到第一特征点，其中，前一位置的周围环境的图像为关键帧；
将所述前一位置的周围环境的图像中第一特征点与所述当前位置的周围环境的图像中第二特征点进行匹配，得到匹配特征点；
根据所述匹配特征点，并根据对极几何的原理，对前一位置的周围环境的图像和当前位置的周围环境的图像求解本质矩阵；
将得到的本质矩阵进行分解求解，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的相对运动；
根据所述相对运动，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的两个位姿增量，分别为由所述坐标差值得到的位姿增量和由所述本质矩阵分解得到的位姿增量，根据由所述坐标差值得到的位姿增量中的尺度，及根据所述坐标差值，对由所述本质矩阵分解得到的位姿增量进行尺度对齐，以恢复由所述本质矩阵分解得到的位姿增量的尺度；
根据所述匹配特征点和恢复尺度之后的由本质矩阵分解得到的位姿增量，三角化出初步的三维环境点云；
根据所述初步的三维环境点云、恢复尺度之后的由所述本质矩阵分解得到的位姿增量和由所述坐标差值得到的位姿增量，进行最小二乘优化求解，计算得到最终的三维环境点云。
进一步的，上述方法中，进行最小二乘优化求解，包括：
为视觉的重投影误差求解和里程计信息的运动误差求解。
进一步的，上述方法中，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹，包括：
获取每条运动预测的轨迹中的的每个点距所述三维环境点云的每个点的最小距离，根据所述最小距离得到每条运动预测的轨迹的代价，其中，每条运动预测的轨迹的代价，等于该条运动预测的轨迹中的每个点的距所述三维环境点云的每个点的最小距离的倒数和；
挑选出代价最小的一条运动预测的轨迹作为运动的最优轨迹。
根据本发明的另一方面，还提供了一种基于单目摄像头的避障设备，该设备包括：
第一装置，用于获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
第二装置，用于获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
第三装置，用于根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
第四装置，用于获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
第五装置，用于控制所述机器人沿着所述最优轨迹移动。
进一步的，上述设备中，所述第二装置，用于根据机器在移动过程中的定位信息或里程计信息，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值。
进一步的，上述设备中，所述第三装置，用于根据所述坐标差值，判断当前位置的周围环境的图像是否分别为关键帧，若是关键帧，对为关键帧的当前位置的周围环境的图像进行特征提取，得到第二特征点；对前一位置的周围环境的图像进行特征提取，得到第一特征点，其中，前一位置的周围环境的图像为关键帧；将所述前一位置的周围环境的图像中第一特征点与所述当前位置的周围环境的图像中第二特征点进行匹配，得到匹配特征点；根据所述匹配特征点，并根据对极几何的原理，对前一位置的周围环境的图像和当前位置的周围环境的图像求解本质矩阵；将得到的本质矩阵进行分解求解，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的相对运动；根据所述相对运动，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的两个位姿增量，分别为由所述坐标差值得到的位姿增量和由所述本质矩阵分解得到的位姿增量，根据由所述坐标差值得到的位姿增量中的尺度，及根据所述坐标差值，对由所述本质矩阵分解得到的位姿增量进行尺度对齐，以恢复由所述本质矩阵分解得到的位姿增量的尺度；根据所述匹配特征点和恢复尺度之后的由本质矩阵分解得到的位姿增量，三角化出初步的三维环境点云；根据所述初步的三维环境点云、恢复尺度之后的由所述本质矩阵分解得到的位姿增量和由所述坐标差值得到的位姿增量，进行最小二乘优化求解，计算得到最终的三维环境点云。
进一步的，上述设备中，最小二乘优化求解，包括：
为视觉的重投影误差求解和里程计信息的运动误差求解。
进一步的，上述设备中，所述第四装置，用于获取每条运动预测的轨迹中的的每个点距所述三维环境点云的每个点的最小距离，根据所述最小距离得到每条运动预测的轨迹的代价，其中，每条运动预测的轨迹的代价，等于该条运动预测的轨迹中的每个点的距所述三维环境点云的每个点的最小距离的倒数和；
挑选出代价最小的一条运动预测的轨迹作为运动的最优轨迹。
根据本发明的另一面，还提供一种基于计算的设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
控制所述机器人沿着所述最优轨迹移动。
根据本发明的另一面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
控制所述机器人沿着所述最优轨迹移动。
与现有技术相比，本发明通过单目摄像采集的图像和机器人在移动过程中的当前位置与前一位置的坐标差值，恢复出机器人的当前位置的环境结构即三维环境点云，并根据所述三维环境点云对运动预测的轨迹进行评分，选取最优的轨迹，用来控制机器人精确避障运动。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本发明一个方面的一种基于单目摄像头的避障方法的原理图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、 磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
如图1所示，本发明提供一种基于单目摄像头的避障方法，包括：
步骤S1，获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像（camera image），其中，前一位置的周围环境的图像为关键帧；
步骤S2，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
步骤S3，根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
步骤S4，获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
步骤S5，控制所述机器人沿着所述最优轨迹移动。
在此，本发明提供了一种单目相机的避障方法，通过单目摄像采集的图像和机器人在移动过程中的当前位置与前一位置的坐标差值，恢复出机器人的当前位置的环境结构即三维环境点云，并根据所述三维环境点云对运动预测的轨迹进行评分，选取最优的轨迹，用来控制机器人精确避障运动。
本发明的基于单目摄像头的避障方法一实施例中，步骤S2，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值，包括：
根据机器在移动过程中的定位信息(position)或里程计信息(odom)，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值。
在此，机器人上一般设置有定位装置或里程计，可以通过定位装置的获取机器人的定位信息，或者通过里程计是机器人的里程计信息，然后根据机器在移动过程中的定位信息或里程计信息，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值，从而保证获取的所述坐标差值准确、可靠。
本发明的基于单目摄像头的避障方法一实施例中，步骤S3，根据所述所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，包括：
步骤S31，根据所述坐标差值，判断当前位置的周围环境的图像是否分别为关键帧，若是关键帧，
步骤S32，对为关键帧的当前位置的周围环境的图像进行特征提取，得到第二特征点；
在此，关键帧（KeyFrame），对图像的高频率数据，并不需要每一帧都用来计算，这样做太浪费计算资源，对于视差比较大的时候才用来计算有两个好处，第一个节约计算资源，第二个视差较大计算的结果也更准确；因此判断是否为关键帧就是看机器人位移变动大于一定值的时候的图像数据；
在此，特征点为横向坐标x和/或纵向坐标方向颜色变化大于预设阈值的图像；
步骤S33，对前一位置的周围环境的图像进行特征提取，得到第一特征点，其中，前一位置的周围环境的图像为关键帧；
步骤S34，将所述前一位置的周围环境的图像中第一特征点与所述当前位置的周围环境的图像中第二特征点进行匹配，得到匹配特征点；
在此，步骤S31～步骤S34是特征提取与匹配的过程；
步骤S35，根据所述匹配特征点，并根据对极几何的原理，对前一位置的周围环境的图像和当前位置的周围环境的图像求解本质矩阵；
在此，是对相邻的两个关键帧求解本质矩阵；
步骤S36，将得到的本质矩阵进行分解求解，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的相对运动；
在此，是对本质矩阵分解求解，以得到相邻两个关键帧之间的相对运动；
步骤S37，根据所述相对运动，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的的两个位姿增量，分别为由所述坐标差值得到的位姿增量和由所述本质矩阵分解得到的位姿增量，根据由所述坐标差值得到的位姿增量中的尺度，及根据所述坐标差值，对由所述本质矩阵分解得到的位姿增量进行尺度对齐，以恢复由所述本质矩阵分解得到的位姿增量的尺度；
在此，根据所述相对运动，可以得到相邻的两个关键帧之间的两个位姿增量，分别为由所述坐标差值得到的位姿增量和由所述本质矩阵分解得到的位姿增量，其中，由所述本质矩阵分解得到的位姿增量不具有尺度，因此需要根据所述坐标差值对由所述本质矩阵分解得到的位姿增量进行尺度对齐，以恢复由所述本质矩阵分解得到的位姿增量不尺度；
步骤S38，根据所述匹配特征点和恢复尺度之后的由本质矩阵分解得到的位姿增量，三角化出初步的三维环境点云；
在此，通过恢复尺度之后的由所述本质矩阵分解得到的位姿增量和相邻两关键帧之间的匹配特征点，可以三角化出初步的点云结构；
步骤S39，根据所述初步的三维环境点云、恢复尺度之后的由所述本质矩阵分解得到的位姿增量和由所述坐标差值得到的位姿增量，进行最小二乘优化求解，计算得到最终的三维环境点云，即准确的三维环境点云。
在此，步骤S35～步骤S39是三角化与优化求解，以获得准确的三维环境点云。
本发明的基于单目摄像头的避障方法一实施例中，进行最小二乘优化求解，包括：
为视觉的重投影误差求解和里程计信息的运动误差求解，从而保证后续可以获得更准确的三维环境点云。
本发明的基于单目摄像头的避障方法一实施例中，步骤S4，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹，包括：
步骤S41，获取每条运动预测的轨迹中的每个点距所述三维环境点云的每个点的最小距离，根据所述最小距离得到每条运动预测的轨迹的代价，其中，每条运动预测的轨迹的代价，等于该条运动预测的轨迹中的每个点的距所述三维环境点云的每个点的最小距离的倒数和；
步骤S4，挑选出代价最小的一条运动预测的轨迹作为运动的最优轨迹。
在此，本实施例是运动规划选取最优轨迹进行避障的过程，通过前述实施例，会得到机器人当前环境的点云信息，对于机器人运动规划来说，机器人需要避开点云信息中所记录的障碍物。
因此，本实施例构建了一种 Point Cloud Cost Function（点云代价函数）的方式，以对于运动规划预测得到的轨迹进行评分，具体评分的原理是：将每条运动预测的轨迹中的每个点和所述三维环境点云的每个点的位置进行比较，距离近的cost（代价）会比较大，距离远的cost（代价）会比较小。对每条运动预测的轨迹中的所有点，计算每个点距所述三维环境点云的每个点的最小距离，每条运动预测的轨迹的cost（代价） 等于该条运动预测的轨迹中的每个点的距所述三维环境点云的每个点的最小距离的倒数和。
最后，可以挑选出cost（代价） 最小的一条运动预测的轨迹作为运动的最优轨迹。
根据本发明的另一方面，还提供了一种基于单目摄像头的避障设备，该设备包括：
第一装置，用于获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
第二装置，用于获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
第三装置，用于根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
第四装置，用于获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
第五装置，用于控制所述机器人沿着所述最优轨迹移动。
进一步的，上述设备中，所述第二装置，用于根据机器在移动过程中的定位信息或里程计信息，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值。
进一步的，上述设备中，所述第三装置，用于根据所述坐标差值，判断当前位置的周围环境的图像是否分别为关键帧，若是关键帧，对为关键帧的当前位置的周围环境的图像进行特征提取，得到第二特征点；对前一位置的周围环境的图像进行特征提取，得到第一特征点，其中，前一位置的周围环境的图像为关键帧；将所述前一位置的周围环境的图像中第一特征点与所述当前位置的周围环境的图像中第二特征点进行匹配，得到匹配特征点；根据所述匹配特征点，并根据对极几何的原理，对前一位置的周围环境的图像和当前位置的周围环境的图像求解本质矩阵；将得到的本质矩阵进行分解求解，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的相对运动；根据所述相对运动，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的的两个位姿增量，分别为由所述坐标差值得到的位姿增量和由所述本质矩阵分解得到的位姿增量，根据由所述坐标差值得到的位姿增量中的尺度，及根据所述坐标差值，对由所述本质矩阵分解得到的位姿增量进行尺度对齐，以恢复由所述本质矩阵分解得到的位姿增量的尺度；根据所述匹配特征点和恢复尺度之后的由本质矩阵分解得到的位姿增量，三角化出初步的三维环境点云；根据所述初步的三维环境点云、恢复尺度之后的由所述本质矩阵分解得到的位姿增量和由所述坐标差值得到的位姿增量，进行最小二乘优化求解，计算得到最终的三维环境点云。
进一步的，上述设备中，最小二乘优化求解，包括：
为视觉的重投影误差求解和里程计信息的运动误差求解。
进一步的，上述设备中，所述第四装置，用于获取每条运动预测的轨迹中的的每个点距所述三维环境点云的每个点的最小距离，根据所述最小距离得到每条运动预测的轨迹的代价，其中，每条运动预测的轨迹的代价，等于该条运动预测的轨迹中的每个点的距所述三维环境点云的每个点的最小距离的倒数和；
挑选出代价最小的一条运动预测的轨迹作为运动的最优轨迹。
根据本发明的另一面，还提供一种基于计算的设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
控制所述机器人沿着所述最优轨迹移动。
根据本发明的另一面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
控制所述机器人沿着所述最优轨迹移动。
本发明的各设备和存储介质实施例的详细内容，具体可参见各方法实施例的对应部分，在此，不再赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路（ASIC）、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序（包括相关的数据结构）可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (12)
1.一种基于单目摄像头的避障方法，其中，该方法包括：
获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
控制所述机器人沿着所述最优轨迹移动。
2.根据权利要求1所述的基于单目摄像头的避障方法，其中，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值，包括：
根据机器在移动过程中的定位信息或里程计信息，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值。
3.根据权利要求1所述的基于单目摄像头的避障方法，其中，根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，包括：
根据所述坐标差值，判断当前位置的周围环境的图像是否分别为关键帧，若是关键帧，
对为关键帧的当前位置的周围环境的图像进行特征提取，得到第二特征点；
对前一位置的周围环境的图像进行特征提取，得到第一特征点，其中，前一位置的周围环境的图像为关键帧；
将所述前一位置的周围环境的图像中第一特征点与所述当前位置的周围环境的图像中第二特征点进行匹配，得到匹配特征点；
根据所述匹配特征点，并根据对极几何的原理，对前一位置的周围环境的图像和当前位置的周围环境的图像求解本质矩阵；
将得到的本质矩阵进行分解求解，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的相对运动；
根据所述相对运动，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的两个位姿增量，分别为由所述坐标差值得到的位姿增量和由所述本质矩阵分解得到的位姿增量，根据由所述坐标差值得到的位姿增量中的尺度，及根据所述坐标差值，对由所述本质矩阵分解得到的位姿增量进行尺度对齐，以恢复由所述本质矩阵分解得到的位姿增量的尺度；
根据所述匹配特征点和恢复尺度之后的由本质矩阵分解得到的位姿增量，三角化出初步的三维环境点云；
根据所述初步的三维环境点云、恢复尺度之后的由所述本质矩阵分解得到的位姿增量和由所述坐标差值得到的位姿增量，进行最小二乘优化求解，计算得到最终的三维环境点云。
4.根据权利要求3所述的基于单目摄像头的避障方法，其中，进行最小二乘优化求解，包括：
为视觉的重投影误差求解和里程计信息的运动误差求解。
5.根据权利要求1所述的基于单目摄像头的避障方法，其中，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹，包括：
获取每条运动预测的轨迹中的每个点距所述三维环境点云的每个点的最小距离，根据所述最小距离得到每条运动预测的轨迹的代价，其中，每条运动预测的轨迹的代价，等于该条运动预测的轨迹中的每个点的距所述三维环境点云的每个点的最小距离的倒数和；
挑选出代价最小的一条运动预测的轨迹作为运动的最优轨迹。
6.一种基于单目摄像头的避障设备，其中，该设备包括：
第一装置，用于获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
第二装置，用于获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
第三装置，用于根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
第四装置，用于获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
第五装置，用于控制所述机器人沿着所述最优轨迹移动。
7.根据权利要求6所述的基于单目摄像头的避障设备，其中，所述第二装置，用于根据机器在移动过程中的定位信息或里程计信息，获取所述机器人在移动过程中的当前位置与前一位置的坐标差值。
8.根据权利要求6所述的基于单目摄像头的避障设备，其中，所述第三装置，用于根据所述坐标差值，判断当前位置的周围环境的图像是否分别为关键帧，若是关键帧，对为关键帧的当前位置的周围环境的图像进行特征提取，得到第二特征点；对前一位置的周围环境的图像进行特征提取，得到第一特征点，其中，前一位置的周围环境的图像为关键帧；将所述前一位置的周围环境的图像中第一特征点与所述当前位置的周围环境的图像中第二特征点进行匹配，得到匹配特征点；根据所述匹配特征点，并根据对极几何的原理，对前一位置的周围环境的图像和当前位置的周围环境的图像求解本质矩阵；将得到的本质矩阵进行分解求解，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的相对运动；根据所述相对运动，得到前一位置的周围环境的图像和当前位置的周围环境的图像之间的两个位姿增量，分别为由所述坐标差值得到的位姿增量和由所述本质矩阵分解得到的位姿增量，根据由所述坐标差值得到的位姿增量中的尺度，及根据所述坐标差值，对由所述本质矩阵分解得到的位姿增量进行尺度对齐，以恢复由所述本质矩阵分解得到的位姿增量的尺度；根据所述匹配特征点和恢复尺度之后的由本质矩阵分解得到的位姿增量，三角化出初步的三维环境点云；根据所述初步的三维环境点云、恢复尺度之后的由所述本质矩阵分解得到的位姿增量和由所述坐标差值得到的位姿增量，进行最小二乘优化求解，计算得到最终的三维环境点云。
9.根据权利要求8所述的基于单目摄像头的避障设备，其中，最小二乘优化求解，包括：
为视觉的重投影误差求解和里程计信息的运动误差求解。
10.根据权利要求6所述的基于单目摄像头的避障设备，其中，所述第四装置，用于获取每条运动预测的轨迹中的每个点距所述三维环境点云的每个点的最小距离，根据所述最小距离得到每条运动预测的轨迹的代价，其中，每条运动预测的轨迹的代价，等于该条运动预测的轨迹中的每个点的距所述三维环境点云的每个点的最小距离的倒数和；
挑选出代价最小的一条运动预测的轨迹作为运动的最优轨迹。
11. 一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
控制所述机器人沿着所述最优轨迹移动。
12.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
获取机器人上的单目摄像头采集的所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像；
获取所述机器人在移动过程中的当前位置与前一位置的坐标差值；
根据所述机器人在移动过程中的前一位置的周围环境的图像和当前位置的周围环境的图像、及所述坐标差值，构建所述机器人移动过程中的当前位置的周围环境的三维环境点云，其中，所述三维环境点云中的各点表示周围环境中障碍物表面的特征点及其位姿信息；
获取多条运动预测的轨迹，根据所述三维环境点云对各条运动预测的轨迹进行代价评分，根据代价评分结果，从各条运动预测的轨迹中选择一条轨迹作为最优轨迹；
控制所述机器人沿着所述最优轨迹移动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811178820.4A CN108829116B (zh) | 2018-10-09 | 2018-10-09 | 基于单目摄像头的避障方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811178820.4A CN108829116B (zh) | 2018-10-09 | 2018-10-09 | 基于单目摄像头的避障方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108829116A true CN108829116A (zh) | 2018-11-16 |
| CN108829116B CN108829116B (zh) | 2019-01-01 |
Family
ID=64150013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811178820.4A Active CN108829116B (zh) | 2018-10-09 | 2018-10-09 | 基于单目摄像头的避障方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108829116B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109579844A (zh) * | 2018-12-04 | 2019-04-05 | 电子科技大学 | 定位方法及系统 |
| CN109696913A (zh) * | 2018-12-13 | 2019-04-30 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于深度学习的扫地机器人智能避障系统及方法 |
| CN109887033A (zh) * | 2019-03-01 | 2019-06-14 | 北京智行者科技有限公司 | 定位方法及装置 |
| CN110275531A (zh) * | 2019-06-21 | 2019-09-24 | 北京三快在线科技有限公司 | 障碍物的轨迹预测方法、装置及无人驾驶设备 |
| CN110717457A (zh) * | 2019-10-10 | 2020-01-21 | 郑州迈拓信息技术有限公司 | 用于车辆的行人位姿解算方法 |
| CN110764531A (zh) * | 2019-11-12 | 2020-02-07 | 西北工业大学 | 基于激光雷达与人工势场法的无人机编队飞行避障方法 |
| CN111351497A (zh) * | 2018-12-20 | 2020-06-30 | 北京初速度科技有限公司 | 一种车辆的定位方法、装置、地图的构建方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104236548A (zh) * | 2014-09-12 | 2014-12-24 | 清华大学 | 一种微型无人机室内自主导航方法 |
| CN105550670A (zh) * | 2016-01-27 | 2016-05-04 | 兰州理工大学 | 一种目标物体动态跟踪与测量定位方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| CN108364344A (zh) * | 2018-02-08 | 2018-08-03 | 重庆邮电大学 | 一种基于回环测试的单目实时三维重建方法 |
| CN108510530A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种三维点云匹配方法及其系统 |
-
2018
- 2018-10-09 CN CN201811178820.4A patent/CN108829116B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104236548A (zh) * | 2014-09-12 | 2014-12-24 | 清华大学 | 一种微型无人机室内自主导航方法 |
| CN105550670A (zh) * | 2016-01-27 | 2016-05-04 | 兰州理工大学 | 一种目标物体动态跟踪与测量定位方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| CN108510530A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种三维点云匹配方法及其系统 |
| CN108364344A (zh) * | 2018-02-08 | 2018-08-03 | 重庆邮电大学 | 一种基于回环测试的单目实时三维重建方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109579844A (zh) * | 2018-12-04 | 2019-04-05 | 电子科技大学 | 定位方法及系统 |
| CN109579844B (zh) * | 2018-12-04 | 2023-11-21 | 电子科技大学 | 定位方法及系统 |
| CN109696913A (zh) * | 2018-12-13 | 2019-04-30 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于深度学习的扫地机器人智能避障系统及方法 |
| CN111351497A (zh) * | 2018-12-20 | 2020-06-30 | 北京初速度科技有限公司 | 一种车辆的定位方法、装置、地图的构建方法和装置 |
| CN111351497B (zh) * | 2018-12-20 | 2022-06-03 | 北京魔门塔科技有限公司 | 一种车辆的定位方法、装置、地图的构建方法和装置 |
| CN109887033A (zh) * | 2019-03-01 | 2019-06-14 | 北京智行者科技有限公司 | 定位方法及装置 |
| CN110275531A (zh) * | 2019-06-21 | 2019-09-24 | 北京三快在线科技有限公司 | 障碍物的轨迹预测方法、装置及无人驾驶设备 |
| CN110717457A (zh) * | 2019-10-10 | 2020-01-21 | 郑州迈拓信息技术有限公司 | 用于车辆的行人位姿解算方法 |
| CN110764531A (zh) * | 2019-11-12 | 2020-02-07 | 西北工业大学 | 基于激光雷达与人工势场法的无人机编队飞行避障方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108829116B (zh) | 2019-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108829116B (zh) | 基于单目摄像头的避障方法及设备 | |
| CN110243360B (zh) | 机器人在运动区域的地图构建及定位方法 | |
| CN107160395B (zh) | 地图构建方法及机器人控制系统 | |
| CN109506642B (zh) | 一种机器人多相机视觉惯性实时定位方法及装置 | |
| Strasdat et al. | Double window optimisation for constant time visual SLAM | |
| CN112652016B (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN108827249B (zh) | 一种地图构建方法和装置 | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| JP6434513B2 (ja) | 視覚に基づく慣性ナビゲーション | |
| US10307910B2 (en) | Apparatus of recognizing position of mobile robot using search based correlative matching and method thereof | |
| CN109671105B (zh) | 一种视觉导航系统的跟踪恢复方法和装置 | |
| CN103377374A (zh) | 信息处理系统、信息处理方法和程序 | |
| JP2021518622A (ja) | 自己位置推定、マッピング、およびネットワークトレーニング | |
| Fathian et al. | Quest: A quaternion-based approach for camera motion estimation from minimal feature points | |
| CN112418288B (zh) | 一种基于gms和运动检测的动态视觉slam方法 | |
| WO2023273169A1 (zh) | 一种融合视觉与激光的2.5d地图构建方法 | |
| CN106688017A (zh) | 生成点云地图的方法、计算机系统和装置 | |
| Ram et al. | Rp-vio: Robust plane-based visual-inertial odometry for dynamic environments | |
| CN110111389A (zh) | 一种基于slam的移动增强现实跟踪注册方法和系统 | |
| CN109048903A (zh) | 机械臂插轴入孔的方法及设备 | |
| Zhu et al. | PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios | |
| CN112348854A (zh) | 一种基于深度学习视觉惯性里程检测方法 | |
| DeFranco | Detecting and tracking moving objects from a small unmanned air vehicle | |
| Hu et al. | Accuracy enhancement for the front-end tracking algorithm of RGB-D SLAM | |
| CN114577216A (zh) | 导航地图构建方法、装置、机器人及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |