CN110244746B - 一种基于视觉注意的机器人动态障碍物避开方法及系统 - Google Patents
一种基于视觉注意的机器人动态障碍物避开方法及系统 Download PDFInfo
- Publication number
- CN110244746B CN110244746B CN201910624165.9A CN201910624165A CN110244746B CN 110244746 B CN110244746 B CN 110244746B CN 201910624165 A CN201910624165 A CN 201910624165A CN 110244746 B CN110244746 B CN 110244746B
- Authority
- CN
- China
- Prior art keywords
- robot
- dynamic
- visual attention
- video information
- dangerous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004888 barrier function Effects 0.000 title abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000001133 acceleration Effects 0.000 claims abstract description 25
- 238000009616 inductively coupled plasma Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 19
- 230000005284 excitation Effects 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于视觉注意的机器人动态障碍物避开方法，其步骤包括：S1、获取机器人上的两个摄像头所获取的两路视频信息；S2、对两路视频信息进行处理获得视觉注意图；S3、将视觉注意图中视觉注意值高于危险阈值的动态物体确定为危险动态物体；S4、估计危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到危险动态物体的预测动态量；S5、使用ICP算法对两路视频信息进行特征匹配得到机器人的机器人动态量；S6、结合机器人动态量和预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；本发明还公开了一种机器人动态障碍物避开系统，通过本发明的技术方案，可以实现移动机器人对动态障碍物体更高效更精确的躲避。
Description
技术领域
本发明属于机器人视觉检测领域，具体涉及一种基于视觉注意的机器人动态障碍物避开方法及系统。
背景技术
对环境中的动态障碍物进行避开的功能，对于移动机器人的应用有着重要的作用，其使得机器人的一些关键应用如机器人环境自动探测，导航等得到良好的效果。随着机器人技术的发展，其在机器人应用具有广阔的发展前途，其研发也占据着越来越重要的地位。
目前，公知的机器人动态障碍物避开的方法主要包括基于人工势场方法(Artificial Potential Field)、基于概率的避障方法和基于控制理论的避障方法。但基于人工势场方法没有考虑障碍物的动态，缺乏对动态障碍物的运动估计，当机器人工作在复杂的环境时仍然存在一定的安全隐患。基于概率的避障方法考虑到了动态环境的不确定性，机器人避障效率较高，但缺点是计算复杂，内存消耗巨大，需要高性能的CPU处理器。基于控制理论的避障方法可以考虑更多的约束条件，但机器人工作复杂的环境中，太多的约束条件(比如环境中存在许多的动态障碍物)导致系统的计算量呈指数增长，从而使得计算效率降低和资源消耗增大。
由上可知，现有的机器人动态障碍物避开方法普遍存在效率低、资源消耗大的问题。
发明内容
本发明的目的在于针对现有技术的缺陷，提供一种基于视觉注意的机器人动态障碍物避开方法及系统，采用基于视觉显著性的视觉检测方法，结合数字信号处理(DSP)系统，可实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性。
本发明的技术方案如下：
一种基于视觉注意的机器人动态障碍物避开方法，包括如下步骤:
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对所述两路视频信息进行处理获得视觉注意图；所述视觉注意图包括多个动态物体的视觉注意值；
S3、将所述视觉注意图中视觉注意值高于危险阈值的动态物体确定为危险动态物体；
S4、估计所述危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到所述危险动态物体在下一时刻的预测动态量；所述预测动态量包括所述危险动态物体在下一时刻的位移、速度及加速度；
S5、使用ICP算法对所述两路视频信息进行特征匹配，得到机器人的机器人动态量；所述机器人动态量包括机器人的位移、速度及加速度；
S6、结合所述机器人动态量和所述预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；所述机器人控制量用于控制机器人避开所述危险动态物体。
与现有技术相比，本方法的有益技术效果如下：
本方法提供了一种基于视觉注意的机器人动态障碍物避开方法，通过对实时视频信息进行处理获得视觉注意图，再对危险度高的动态物体进行动态预测，结合危险动态物体的预测动态和机器人本身的动态进行机器人控制量的求解，可以实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性。
本方法的进一步改进在于，所述步骤S2的具体步骤包括：
S21、对所述两路视频信息中相邻两帧图像通过块匹配算法处理得到初始视觉注意图；
S22、对所述两路视频信息进行动态目标分离后提取得到目标特征，对所述目标特征进行离线特征学习和在线特征学习得到特征视觉注意图；
S23、对所述两路视频信息通过聚类算法进行图像分割后，与所述特征视觉注意图合成得到正向激励视觉注意图；
S24、对所述两路视频信息通过背景抑制算法处理得到反向激励视觉注意图；
S25、将所述初始视觉注意图、正向激励视觉注意图和反向激励视觉注意图合成所述视觉注意图。
本方法的进一步改进在于，所述步骤S22中通过均值漂移算法对所述两路视频信息进行动态目标分离。
本方法的进一步改进在于，所述步骤S22中，在对所述目标特征进行离线特征学习时，使用预设的特征库对所述目标特征进行分类；对所述目标特征进行在线特征学习时，使用贝叶斯分类算法那或向量机分类算法对两路视频信息的所实时提取的目标特征进行实时分类。
本方法的进一步改进在于，所述步骤S23中的聚类算法为K-均值聚类算法。
本方法的进一步改进在于，所述步骤S24中采用以下公式对两路视频信息进行处理得到所述反向激励视觉注意图：
ΔM＝Mimg-Mo
其中Φ2(ΔM)＝K*ΔM；其中K为调整系数为ΔM的函数，Mo为显著目标特征的像素均值，Mimg为视频信息中的整副图像的像素均值，Xi为初期视觉注意图，
为所述反向激励视觉注意图。
本方法的进一步改进在于，所述步骤S4的具体步骤包括：
S41、采用以下公式对所述危险动态物体当前时刻的速度及加速度进行估计：
其中：Δs为每相邻两帧图像中所述危险动态物体的特征点位移的变化量，
为每相邻两帧图像的时间间隔；Δs1为相邻3帧图像中的第1帧图像和第2帧图像的所述危险动态物体的位移变化量，Δs2为第2帧图像和第3帧图像的所述危险动态物体的位移变化量；v为所述危险动态物体当前时刻的速度；a为所述危险动态物体当前时刻的加速度；
S42、使用B样条函数根据所述危险动态物体当前时刻的速度及加速度，计算所述危险动态物体的B样条曲线，以及预测所述危险动态物体下一时刻的所述预测动态量。
本方法的进一步改进在于，所述步骤S6中的约束条件为：
DC＝Max(ri)<Dmax
其中ri为所预估的机器人的位置到估计的所述危险动态物体的B样条曲线切线的距离；Max(·)为求最大值函数，Dmax为给定的距离阈值。
本方法的进一步改进在于，所述步骤S6中的代价函数为：
其中ξ1为机器人的实际行驶路径和理想行驶路径间的路径偏差；ξ2为所述机器人控制量；ξ3为所述机器人动态量；Ri为惩罚矩阵；DC为所述约束条件；为所述预测动态量。
本发明还对应公开了一种基于视觉注意的机器人动态障碍物避开系统，包括移动机器人和数字信号处理系统；所述移动机器人包括：
通讯模块，用于与所述数字信号处理系统建立连接并传输数据及指令；
机器人控制单元，用于根据接收到的机器人控制量控制机器人的移动；
两个摄像头，对周围环境进行摄取而得到两路视频信息；
所述数字信号处理系统为嵌入式系统，包括：
通讯模块，用于与所述移动机器人建立连接并传输数据及指令；
数字信号处理器，用于执行上述方法中的步骤以获得所述机器人控制量。
与现有技术相比，本系统的有益技术效果如下：
本系统提供了一种基于视觉注意的机器人动态障碍物避开系统，数字信号处理器通过对实时视频信息进行处理获得视觉注意图，再对危险度高的动态物体进行动态预测，结合危险动态物体的预测动态和机器人本身的动态进行机器人控制量的求解，可以实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性，同时由于系统尺寸较小且易嵌入其它系统，增加了其使用的多样性及简便性。
附图说明
图1是本发明实施例1的一种基于视觉注意的机器人动态障碍物避开方法的流程示意图。
图2是本发明实施例2的一种基于视觉注意的机器人动态障碍物避开系统的结构示意图。
具体实施方式
为了充分地了解本发明的目的、特征和效果，以下将结合附图对本发明的几种优选的实施方式进行说明。
实施例1
如图1所示，本实施例1公开了一种基于视觉注意的机器人动态障碍物避开方法，包括如下步骤:
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对两路视频信息进行处理获得视觉注意图；视觉注意图包括多个动态物体的视觉注意值；
具体的，步骤S2的具体步骤包括：
S21、对两路视频信息中相邻两帧图像通过块匹配(Block Matching)算法处理得到初始视觉注意图；
S22、对两路视频信息通过均值漂移算法进行动态目标分离后提取得到目标特征，对目标特征进行离线特征学习和在线特征学习得到特征视觉注意图；
具体的，进行离线特征学习时，使用预设的特征库对目标特征进行分类，进行在线特征学习时，使用贝叶斯分类(Bayes)算法对两路视频信息的所实时提取的目标特征进行实时分类。
S23、对两路视频信息通过K-均值聚类算法进行图像分割后，与特征视觉注意图合成得到正向激励视觉注意图；
S24、对两路视频信息通过背景抑制算法处理得到反向激励视觉注意图；具体的，采用以下公式对两路视频信息进行处理：
ΔM＝Mimg-Mo
其中Φ2(ΔM)＝K*ΔM；其中K为调整系数为ΔM的函数，Mo为显著目标的像素均值，Mimg为视频信息中的整副图像的像素均值，Xi为初期视觉注意图，
为反向激励视觉注意图。
S25、根据以下公式将初始视觉注意图、正向激励视觉注意图和反向激励视觉注意图合成最终的视觉注意图：
其中分别为正向激励视觉注意图和反向激励视觉注意图，Xi为初期视觉注意图，S为最终的视觉注意图。
S3、根据以下公式将视觉注意图S中视觉注意值高于危险阈值的动态物体确定为危险动态物体：
Di＝Si>ST
其中，D表示动态物体的危险度；S即最终的视觉注意图中动态物体的视觉注意值；i表示第i个动态物体；ST为预设的危险阈值。
S4、估计危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到危险动态物体在下一时刻的预测动态量；预测动态量包括危险动态物体在下一时刻的位移、速度及加速度；
具体的，步骤S4的具体步骤包括：
S41、采用以下公式对危险动态物体当前时刻的速度及加速度进行估计：
其中：Δs为每相邻两帧图像中危险动态物体的特征点位移的变化量，
为每相邻两帧图像的时间间隔；Δs1为相邻3帧图像中的第1帧图像和第2帧图像的危险动态物体的位移变化量，Δs2为第2帧图像和第3帧图像的危险动态物体的位移变化量；v为危险动态物体当前时刻的速度；a为危险动态物体当前时刻的加速度；
S42、使用B样条函数根据危险动态物体当前时刻的速度及加速度，计算危险动态物体的B样条曲线，以及预测危险动态物体下一时刻的预测动态量。
S5、使用ICP算法对两路视频信息进行特征匹配，得到机器人的机器人动态量；机器人动态量包括机器人的位移、速度及加速度；
S6、结合机器人动态量和预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；机器人控制量用于控制机器人避开危险动态物体。
具体的，约束条件为：
DC＝Max(ri)<Dmax
其中ri为所预估的机器人的位置到估计的危险动态物体的B样条曲线切线的距离；Max(·)为求最大值函数，Dmax为给定的距离阈值。
具体的，代价函数为：
其中ξ1为机器人的实际行驶路径和理想行驶路径间的路径偏差；ξ2为机器人控制量；ξ3为机器人动态量；Ri为惩罚矩阵，会被赋予一个初始值，并在求解过程中不断优化调整；DC为约束条件；
为预测动态量。
本实施例公开了一种基于视觉注意的机器人动态障碍物避开方法，通过对实时视频信息进行处理获得视觉注意图，再对危险度高的动态物体进行动态预测，结合危险动态物体的预测动态和机器人本身的动态进行机器人控制量的求解，可以实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性。
实施例2
如图2所示，本实施例公开了一种基于视觉注意的机器人动态障碍物避开系统，其包括移动机器人和数字信号处理系统；移动机器人包括：
通讯模块1，用于与数字信号处理系统建立连接并传输数据及指令；
机器人控制单元2，用于根据接收到的机器人控制量控制机器人的移动；
两个摄像头3，对周围环境进行摄取而得到视频信息；
数字信号处理系统为嵌入式系统，包括：
通讯模块4，用于与移动机器人建立连接并传输数据及指令；
数字信号处理器5，内置有执行代码，用于执行以下步骤以获得机器人控制量:
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对两路视频信息进行处理获得视觉注意图；视觉注意图包括多个动态物体的视觉注意值；
具体的，步骤S2的具体步骤包括：
S21、对两路视频信息中相邻两帧图像通过块匹配(Block Matching)算法处理得到初始视觉注意图；
S22、对两路视频信息通过均值漂移算法进行动态目标分离后提取得到目标特征，对目标特征进行离线特征学习和在线特征学习得到特征视觉注意图；
具体的，进行离线特征学习时，使用预设的特征库对目标特征进行分类，进行在线特征学习时，使用贝叶斯分类(Bayes)算法对两路视频信息的所实时提取的目标特征进行实时分类。
S23、对两路视频信息通过K-均值聚类算法进行图像分割后，与特征视觉注意图合成得到正向激励视觉注意图；
S24、对两路视频信息通过背景抑制算法处理得到反向激励视觉注意图；具体的，采用以下公式对两路视频信息进行处理：
ΔM＝Mimg-Mo
其中Φ2(ΔM)＝K*ΔM；其中K为调整系数为ΔM的函数，Mo为显著目标的像素均值，Mimg为视频信息中的整副图像的像素均值，Xi为初期视觉注意图，
为反向激励视觉注意图。
S25、根据以下公式将初始视觉注意图、正向激励视觉注意图和反向激励视觉注意图合成最终的视觉注意图：
其中
分别为正向激励视觉注意图和反向激励视觉注意图，Xi为初期视觉注意图，S为最终的视觉注意图。
S3、根据以下公式将视觉注意图S中视觉注意值高于危险阈值的动态物体确定为危险动态物体：
Di＝Si>ST
其中，D表示动态物体的危险度；S即最终的视觉注意图中动态物体的视觉注意值；i表示第i个动态物体；ST为预设的危险阈值。
S4、估计危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到危险动态物体在下一时刻的预测动态量；预测动态量包括危险动态物体在下一时刻的位移、速度及加速度；
具体的，步骤S4的具体步骤包括：
S41、采用以下公式对危险动态物体当前时刻的速度及加速度进行估计：
其中：Δs为每相邻两帧图像中危险动态物体的特征点位移的变化量，
为每相邻两帧图像的时间间隔；Δs1为相邻3帧图像中的第1帧图像和第2帧图像的危险动态物体的位移变化量，Δs2为第2帧图像和第3帧图像的危险动态物体的位移变化量；v为危险动态物体当前时刻的速度；a为危险动态物体当前时刻的加速度；
S42、使用B样条函数算法根据危险动态物体当前时刻的速度及加速度，计算危险动态物体的B样条曲线，以及预测危险动态物体下一时刻的预测动态量。
S5、使用ICP算法对两路视频信息进行特征匹配估计得到机器人的机器人动态量；机器人动态量包括机器人的位移、速度及加速度；
S6、结合机器人动态量和预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；机器人控制量用于控制机器人避开危险动态物体。
具体的，约束条件为：
DC＝Max(ri)<Dmax
其中ri为所预估的机器人的位置到估计的危险动态物体的B样条曲线切线的距离；Max(·)为求最大值函数，Dmax为给定的距离阈值。
具体的，代价函数为：
其中ξ1为机器人的实际行驶路径和理想行驶路径间的路径偏差；ξ2为机器人控制量；ξ3为机器人动态量；Ri为惩罚矩阵，会被赋予一个初始值，并在求解过程中不断优化调整；DC为约束条件；
为预测动态量。
具体的，数字信号处理系统可选择嵌入至机器人内作为机器人的信号处理中枢，以执行上述方法步骤对机器人的两个摄像头所获取的视频信息进行处理并求解得到机器人的控制量。
本实施例公开了一种基于视觉注意的机器人动态障碍物避开系统，数字信号处理器6通过对实时视频信息进行处理获得视觉注意图，再对危险度高的动态物体进行动态预测，结合危险动态物体的预测动态和机器人本身的动态进行机器人控制量的求解，并通过机器人控制单元2可以实现移动机器人对动态障碍物体更高效更精确的躲避，从而提高移动机器人在移动过程中的安全性，同时由于数字信号处理系统为嵌入式系统，其尺寸较小且易嵌入其它系统，增加了其使用的多样性及简便性。
以上详细描述了本发明的较佳具体实施例，应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明构思在现有技术基础上通过逻辑分析、推理或者根据有限的实验可以得到的技术方案，均应该在由本权利要求书所确定的保护范围之中。
Claims (9)
1.一种基于视觉注意的机器人动态障碍物避开方法，其特征在于，包括如下步骤:
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对所述两路视频信息进行处理获得视觉注意图；所述视觉注意图包括多个动态物体的视觉注意值；所述步骤S2的具体步骤包括：
S21、对所述两路视频信息中相邻两帧图像通过块匹配算法处理得到初始视觉注意图；
S22、对所述两路视频信息进行动态目标分离后提取得到目标特征，对所述目标特征进行离线特征学习和在线特征学习得到特征视觉注意图；
S23、对所述两路视频信息通过聚类算法进行图像分割后，与所述特征视觉注意图合成得到正向激励视觉注意图；
S24、对所述两路视频信息通过背景抑制算法处理得到反向激励视觉注意图；
S25、将所述初始视觉注意图、正向激励视觉注意图和反向激励视觉注意图合成所述视觉注意图；
S3、将所述视觉注意图中视觉注意值高于危险阈值的动态物体确定为危险动态物体；
S4、估计所述危险动态物体当前时刻的速度及加速度，使用B样条函数预测得到所述危险动态物体在下一时刻的预测动态量；所述预测动态量包括所述危险动态物体在下一时刻的位移、速度及加速度；
S5、使用ICP算法对所述两路视频信息进行特征匹配，得到机器人的机器人动态量；所述机器人动态量包括机器人的位移、速度及加速度；
S6、结合所述机器人动态量和所述预测动态量，在预设的约束条件下，通过求解代价函数得到最优的机器人控制量；所述机器人控制量用于控制机器人避开所述危险动态物体。
2.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S22中通过均值漂移算法对所述两路视频信息进行动态目标分离。
3.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S22中，在对所述目标特征进行离线特征学习时，使用预设的特征库对所述目标特征进行分类；对所述目标特征进行在线特征学习时，使用贝叶斯分类算法对两路视频信息的所实时提取的目标特征进行实时分类。
4.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S23中的聚类算法为K-均值聚类算法。
5.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S24中采用以下公式对两路视频信息进行处理得到所述反向激励视觉注意图：
ΔM＝Mimg-Mo
其中Φ2(ΔM)＝K*ΔM；其中K为调整系数为ΔM的函数，Mo为显著目标特征的像素均值，Mimg为视频信息中的整副图像的像素均值，Xi为初期视觉注意图，
为所述反向激励视觉注意图。
6.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S4的具体步骤包括：
S41、采用以下公式对所述危险动态物体当前时刻的速度及加速度进行估计：
其中：Δs为每相邻两帧图像中所述危险动态物体的特征点位移的变化量，为每相邻两帧图像的时间间隔；Δs1为相邻3帧图像中的第1帧图像和第2帧图像的所述危险动态物体的位移变化量，Δs2为第2帧图像和第3帧图像的所述危险动态物体的位移变化量；v为所述危险动态物体当前时刻的速度；a为所述危险动态物体当前时刻的加速度；
S42、使用B样条函数根据所述危险动态物体当前时刻的速度及加速度，计算所述危险动态物体的B样条曲线，以及预测所述危险动态物体下一时刻的所述预测动态量。
7.如权利要求1所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S6中的约束条件为：
DC＝Max(ri)<Dmax
其中ri为所预估的机器人的位置到估计的所述危险动态物体的B样条曲线切线的距离；Max(·)为求最大值函数，Dmax为给定的距离阈值。
8.如权利要求3所述的基于视觉注意的机器人动态障碍物避开方法，其特征在于，所述步骤S6中的代价函数为：
其中ξ1为机器人的实际行驶路径和理想行驶路径间的路径偏差；ξ2为所述机器人控制量；ξ3为所述机器人动态量；Ri为惩罚矩阵；DC为所述约束条件；为所述预测动态量。
9.一种基于视觉注意的机器人动态障碍物避开系统，其特征在于，包括移动机器人和数字信号处理系统；所述移动机器人包括：
通讯模块，用于与所述数字信号处理系统建立连接并传输数据及指令；
机器人控制单元，用于根据接收到的机器人控制量控制机器人的移动；
两个摄像头，对周围环境进行摄取而得到两路视频信息；
所述数字信号处理系统为嵌入式系统，包括：
通讯模块，用于与所述移动机器人建立连接并传输数据及指令；
数字信号处理器，用于执行如权利要求1-8任一项所述的方法的步骤以求得所述机器人控制量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624165.9A CN110244746B (zh) | 2019-07-11 | 2019-07-11 | 一种基于视觉注意的机器人动态障碍物避开方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624165.9A CN110244746B (zh) | 2019-07-11 | 2019-07-11 | 一种基于视觉注意的机器人动态障碍物避开方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110244746A CN110244746A (zh) | 2019-09-17 |
| CN110244746B true CN110244746B (zh) | 2020-02-18 |
Family
ID=67891860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910624165.9A Active CN110244746B (zh) | 2019-07-11 | 2019-07-11 | 一种基于视觉注意的机器人动态障碍物避开方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110244746B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601432B (zh) * | 2022-11-08 | 2023-05-30 | 肇庆学院 | 一种基于fpga的机器人位置最优估计方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175222A (zh) * | 2011-03-04 | 2011-09-07 | 南开大学 | 基于立体视觉的吊车避障系统 |
| CN105069475A (zh) * | 2015-08-06 | 2015-11-18 | 电子科技大学 | 基于视觉注意机制模型的图像处理方法 |
| CN107867290A (zh) * | 2017-11-07 | 2018-04-03 | 长春工业大学 | 一种考虑运动障碍物的汽车紧急避撞分层式控制方法 |
| CN108427931A (zh) * | 2018-03-21 | 2018-08-21 | 合肥工业大学 | 一种基于机器视觉的矿井机车前障碍物的检测方法 |
| CN108694725A (zh) * | 2018-05-14 | 2018-10-23 | 肇庆学院 | 一种基于视觉显著性的机器人动态跟踪方法及系统 |
| CN109855639A (zh) * | 2019-01-15 | 2019-06-07 | 天津大学 | 基于障碍物预测与mpc算法的无人驾驶轨迹规划方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101977458B1 (ko) * | 2017-03-06 | 2019-05-10 | 지엠 글로벌 테크놀러지 오퍼레이션스 엘엘씨 | 레이더 센서와 upa 센서를 이용하는 충돌 예측 알고리즘 |
-
2019
- 2019-07-11 CN CN201910624165.9A patent/CN110244746B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175222A (zh) * | 2011-03-04 | 2011-09-07 | 南开大学 | 基于立体视觉的吊车避障系统 |
| CN105069475A (zh) * | 2015-08-06 | 2015-11-18 | 电子科技大学 | 基于视觉注意机制模型的图像处理方法 |
| CN107867290A (zh) * | 2017-11-07 | 2018-04-03 | 长春工业大学 | 一种考虑运动障碍物的汽车紧急避撞分层式控制方法 |
| CN108427931A (zh) * | 2018-03-21 | 2018-08-21 | 合肥工业大学 | 一种基于机器视觉的矿井机车前障碍物的检测方法 |
| CN108694725A (zh) * | 2018-05-14 | 2018-10-23 | 肇庆学院 | 一种基于视觉显著性的机器人动态跟踪方法及系统 |
| CN109855639A (zh) * | 2019-01-15 | 2019-06-07 | 天津大学 | 基于障碍物预测与mpc算法的无人驾驶轨迹规划方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于双目视觉的显著性区域检测;刘中，等;《浙江大学学报（工学版）》;20140228;第48卷(第2期);354-359页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110244746A (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
| US10510157B2 (en) | Method and apparatus for real-time face-tracking and face-pose-selection on embedded vision systems | |
| CN108875683B (zh) | 一种机器人视觉跟踪方法及其系统 | |
| CN107274445B (zh) | 一种图像深度估计方法和系统 | |
| Tavakkoli et al. | Non-parametric statistical background modeling for efficient foreground region detection | |
| Zhang et al. | Moving vehicles detection based on adaptive motion histogram | |
| US10325169B2 (en) | Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction | |
| CN111539265B (zh) | 一种电梯轿厢内异常行为检测方法 | |
| CN111639571B (zh) | 基于轮廓卷积神经网络的视频动作识别方法 | |
| CN113396423A (zh) | 处理来自基于事件的传感器的信息的方法 | |
| Godha | On-road obstacle detection system for driver assistance | |
| Kumar et al. | Real time target tracking with pan tilt zoom camera | |
| CN110244746B (zh) | 一种基于视觉注意的机器人动态障碍物避开方法及系统 | |
| CN117561540A (zh) | 使用帧序列执行计算机视觉任务的系统和方法 | |
| CN107437071B (zh) | 一种基于双黄线检测的机器人自主巡检方法 | |
| Hu et al. | Effective moving object detection from videos captured by a moving camera | |
| Wang et al. | Improving target detection by coupling it with tracking | |
| CN110111358B (zh) | 一种基于多层时序滤波的目标跟踪方法 | |
| CN112116630A (zh) | 目标跟踪的方法 | |
| Chang et al. | Robust abandoned object detection and analysis based on online learning | |
| Jung et al. | Applying HOG feature to the detection and tracking of a human on a bicycle | |
| CN115619827A (zh) | 基于Transformer和时空记忆的多目标跟踪方法 | |
| CN113450385B (zh) | 一种夜间工作工程机械视觉跟踪方法、装置及存储介质 | |
| Beksi et al. | Point cloud culling for robot vision tasks under communication constraints | |
| EP3896651A1 (en) | Method and apparatus for evaluating temporal characteristics of semantic image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230616 Address after: 526060 Room 207, Building A, E-commerce Park, University Science Park, Zhaoqing University, Duanzhou District, Zhaoqing, Guangdong Province Patentee after: Zhaoqing Shengyuan Culture Technology Co.,Ltd. Address before: 526061 School of Electronics and Electrical Engineering, Donggang Zhaoqing College, Duanzhou District, Zhaoqing City, Guangdong Province Patentee before: ZHAOQING University |