CN109048926A - 一种基于立体视觉的机器人智能避障系统及方法 - Google Patents
一种基于立体视觉的机器人智能避障系统及方法 Download PDFInfo
- Publication number
- CN109048926A CN109048926A CN201811245374.4A CN201811245374A CN109048926A CN 109048926 A CN109048926 A CN 109048926A CN 201811245374 A CN201811245374 A CN 201811245374A CN 109048926 A CN109048926 A CN 109048926A
- Authority
- CN
- China
- Prior art keywords
- barrier
- robot
- formula
- camera
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于立体视觉的机器人智能避障系统及方法。该系统包括双目相机、工控机和驱动器;工控机分别与双目相机和驱动器连接。该方法是双目相机采集机器人工作区域内的视频图像信息,发送给工控机;工控机接收双目相机发送的视频图像信息,并根据视频图像信息和双目相机的内外参数计算每个像素的深度,生成工作区域内的深度图像;再依据深度学习对深度图像中的障碍物进行识别并依据深度图像对障碍物进行三维重建,计算障碍物三维坐标,与机器人的运动路径对比检测是否碰撞,调整机器人的运动轨迹,生成相应的运动轨迹信息并将运动轨迹信息传输给驱动器;驱动器接收到工控机发出的运动轨迹信息,调整机器人运动轨迹。
Description
技术领域
本发明涉及机器人避障领域,具体是一种基于立体视觉的机器人智能避障系统及方法。
背景技术
机器人作为21世纪高科技的代表作之一,其发展具有创新性和挑战性,对国家的发展具有巨大的影响。而随着“工业4.0”和“中国制造2025”的浪潮兴起,机器人行业也迎来了爆炸式的机遇与发展。
我国机器人行业迅速发展,尤其是对工业机器人的需求暴增,然而,随着科技的发展和市场的需求,传统的工业机器人已不能满足人们的要求,现在的新兴制造业急需与人能在同一工作环境下紧密协作的机器人,而人机协作最重要的前提是必须保证人机的安全,因此,避免与外界障碍物发生碰撞这项功能对机器人就显得十分重要,这也使机器人避障成为了热点研究之一。
为了实现全自动化的生产线,这就要求机器人能够更加的智能化,这就要求机器人能够在未知的环境下进行非预测性的避障,也就是需求机器人有一双眼睛去看到障碍物,这就是机器人传感技术,加入传感器主要目的是为了对未知环境中的障碍物进行精准地识别、定位。计算机视觉系统主要包括单目视觉和立体视觉,单目视觉只能够获得物体的平面二维信息,无法获得物体的三维信息,在物体识别和定位方面具有较大的局限性,而立体视觉中应用最多的就是双目立体视觉。
到目前为止,机器人领域所应用的视觉识别、定位方法受环境光照影响较大,识别效果不好,定位精度较低,且应用的环境限制较多,越来越不能满足要求。申请号为201611197327.8的文献公开了一种基于视觉的机械臂避障方法,公开了基于SIFT算法的特征点提取的特征点和基于小波变换的边缘点提取的边缘点进行匹配识别的方法,所识别障碍物的准确率不高,受背景环境、光照变换影响较大,误匹配率较高并不适用于高精度的人机协同作业环境。因此,亟待研发一种多种环境下兼容的、能够高精准目标识别与定位的避障方法。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是,提供一种基于立体视觉的机器人智能避障系统及方法。
本发明解决所述系统技术问题的技术方案是,提供一种基于立体视觉的机器人智能避障系统,其特征在于该系统包括双目相机、工控机和驱动器;所述工控机分别与双目相机和驱动器连接。
本发明解决所述方法技术问题的技术方案是,提供一种基于立体视觉的机器人智能避障方法,其特征在于该方法包括以下步骤:
步骤1,搭建智能避障系统;该系统包括双目相机、工控机和驱动器;工控机分别与双目相机和驱动器连接;
步骤2、在机器人运动过程中,调用双目相机,通过左右两个相机采集机器人工作区域内的视差图,发送给工控机;
步骤3、工控机根据双目相机采集到的视差图和相机内外参数计算每个像素的深度,生成工作区域内的深度图像;
步骤4、应用已训练过的神经网络在深度图像上提取障碍物特征,对提取的特征进行分类判断,再在深度图像中标识出判断为障碍物的图像区域,得到障碍物的二维坐标;
步骤5、通过深度图像提供的深度信息,得到障碍物到双目相机的距离参数;将障碍物的二维坐标和距离参数进一步换算到世界坐标下,对障碍物进行三维重建,得到障碍物在空间中的三维坐标,完成障碍物定位;
步骤6、通过障碍物的三维坐标信息与机器人的运动路径计算出障碍物与机器人之间的距离,判断是否会发生碰撞,若未发生碰撞则按照原轨迹运动;若发生碰撞则应用梯度投影法调整机器人的运动轨迹,将调整后的运动轨迹信息发送至驱动器,对机器人的运动进行控制。
与现有技术相比,本发明有益效果在于:
(1)本方法应用卷积神经网络对目标障碍物进行识别、定位,减小了环境光照影响,大大提高了其识别、定位的准确率和精度,对取景范围内的障碍物进行综合性分析评估,得到最优的避障路径,和人类的视觉神经避障具有极大的相似性。
(2)卷积神经网络系统框架通过了大量数据训练学习,可以应用在各种环境下对障碍物进行识别、定位,克服了传统视觉识别系统对应用环境的要求,且通过神经网络能准确识别分割人体,提高了人机协作的安全性。
(3)双目相机的稳定性高于红外传感器,精度优于超声波,采集的图像信息更直接丰富,相比其他传感器更适用于对机器人作业中障碍物的检测,且较传统的单目工业相机测距的繁琐复杂,双目相机在测距和三维重建上有更好的表现。
附图说明
图1为本发明基于立体视觉的机器人智能避障系统及方法一种实施例的智能避障系统结构示意图。
图2为本发明基于立体视觉的机器人智能避障系统及方法一种实施例的双目相机测距原理图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明,不限制本申请权利要求的保护范围。
本发明提供了一种基于立体视觉的机器人智能避障系统(简称系统,参见图1),其特征在于该系统包括双目相机1、工控机2和驱动器3;所述工控机2分别与双目相机1和驱动器3连接;具体是所述双目相机1通过USB线与工控机2连接,工控机2通过串口线(CAN线)与驱动器3连接。
所述双目相机1由左右两个摄像机构成的,用于采集机器人工作区域内的视频图像信息,发送给工控机2;
所述工控机2用于接收双目相机1发送的视频图像信息,并根据视频图像信息和双目相机1的内外参数计算每个像素的深度,生成工作区域内的深度图像;再依据深度学习对深度图像中的障碍物进行识别并依据深度图像对障碍物进行三维重建,计算障碍物三维坐标,与机器人4的运动路径对比检测是否碰撞,调整机器人4的运动轨迹,生成相应的运动轨迹信息并通过串口线将运动轨迹信息传输给驱动器3;
所述驱动器3接收到工控机2发出的运动轨迹信息,对机器人4发送控制信息来控制机器人4的相应关节电机,对机器人进行运动控制,完成机器人4的运动轨迹调整。
本发明同时提供了一种基于立体视觉的机器人智能避障方法(简称方法),其特征在于该方法包括以下步骤:
步骤1,搭建智能避障系统;该系统包括双目相机1、工控机2和驱动器3;工控机2分别与双目相机1和驱动器3连接;
步骤2、在机器人4运动过程中,调用双目相机1,通过左右两个相机采集机器人工作区域内的视差图,发送给工控机2;应用双目相机采集机器人工作区域内的视差图前需要对相机进行标定,从而获得相机的焦距F、主点等相机固有的内部参数;
步骤3、工控机2根据双目相机1采集到的视差图和相机内外参数计算每个像素的深度,生成工作区域内的深度图像;
计算像素深度的方法是(参见图2):两摄像机坐标轴互相平行,且x轴重合,两摄像机在x轴方向的间距为基线距离B;
由相似三角形原理,可得式(1):
由式(1)得,像素点P距离双目相机的深度Z:
Z=FB/(Xl-Xr) (2)
式(2)中,Pl和Pr分别是左右视图的主点,Cl和Cr分别是左右摄像机透镜的光心,F为摄像机焦距;障碍物P在左右视图中的成像点横坐标分别为Xl和Xr;
步骤4、应用已训练过的神经网络在深度图像上提取障碍物特征,对提取的特征进行分类判断,再在深度图像中标识出判断为障碍物的图像区域,得到障碍物的二维坐标;
通过神经网络对障碍物识别及定位的方法中使用的神经网络为Tensorflow框架下编写的卷积神经网络,在使用前需要多次训练方可准确的对障碍物进行分类判断。具体实施时,将生成的深度图像传入已训练过的神经网络中,调用卷积核对每个候选框内的像素区域并进行特征提取,对候选框中提取出的特征使用分类器识别并判别是否属于一个特定类,对于属于某一特征的候选框,用回归器进一步调整障碍物区域的位置完成定位;
步骤5、通过深度图像提供的深度信息,得到障碍物到双目相机1的距离参数;将障碍物的二维坐标和距离参数进一步换算到世界坐标下,对障碍物进行三维重建,得到障碍物在空间中的三维坐标,完成障碍物定位;
得到障碍物在空间中的三维坐标的方法是:
首先,将世界坐标系转换到摄像机坐标系,已知某点在世界坐标系中的坐标为(Xw,Yw,Zw),由旋转和平移矩阵可得摄像机坐标系和世界坐标系的关系为式(3):
然后将摄像机坐标系转换到像面坐标系如式(4):
其中[u v 1]τ为点在图像坐标系中的坐标,[xc yc zc 1]τ为点在摄像机坐标系中的坐标,为摄像机内参数矩阵;
最终得到:
式(5)是像面坐标与世界坐标转换公式,带入障碍物的坐标求得其世界坐标下障碍物的三维坐标;
步骤6、通过障碍物的三维坐标信息与机器人的运动路径计算出障碍物与机器人之间的距离,判断是否会发生碰撞,若未发生碰撞则按照原轨迹运动;若发生碰撞则应用梯度投影法调整机器人4的运动轨迹,将调整后的运动轨迹信息发送至驱动器3,对机器人4的运动进行控制。
梯度投影法具体方法如下:
梯度投影法的基本公式如式(6):
式(6)中,为机器人机械臂关节速度矢量,J为机械臂末端雅克比矩阵,J+为J的广义逆矩阵,为机械臂末端的操作速度,k为放大系数,I为单位矩阵,为优化指标的梯度;
基于梯度投影法,并运用最短距离避障指标,为了让机器人能躲避障碍物,需要使标志点x0具有一个躲避障碍物的速度即:
式(7)中为标志点躲避障碍物的速度,J0为标识点处的雅克比矩阵,将式(7)代入式(6)可得:
式(8)是基于梯度投影法的避障算法公式;在执行避障任务时,式(8)等式右边第一项是满足机械臂末端轨迹的跟踪,也就是机械臂末端的运动;右边第二项是在不影响末端轨迹的前提下通过机械臂的自由运动来实现障碍物的躲避;式(8)的物理意义可以描述如下:机械臂机器人首先完成末端期望轨迹的跟踪任务,这是首要任务,在保证首要任务的基础上,通过零空间的自动运动完成对障碍物的躲避运动,即末期期望轨迹的跟踪任务第一,避障任务第二,避障任务是在末端期望轨迹的跟踪任务的零空间进行的,避障任务不会影响机械臂对末期期望轨迹及的跟踪任务。
本发明未述及之处适用于现有技术。
Claims (7)
1.一种基于立体视觉的机器人智能避障系统,其特征在于该系统包括双目相机、工控机和驱动器;所述工控机分别与双目相机和驱动器连接。
2.一种基于立体视觉的机器人智能避障方法,其特征在于该方法包括以下步骤:
步骤1,搭建智能避障系统;该系统包括双目相机、工控机和驱动器;工控机分别与双目相机和驱动器连接;
步骤2、在机器人运动过程中,调用双目相机,通过左右两个相机采集机器人工作区域内的视差图,发送给工控机;
步骤3、工控机根据双目相机采集到的视差图和相机内外参数计算每个像素的深度,生成工作区域内的深度图像;
步骤4、应用已训练过的神经网络在深度图像上提取障碍物特征,对提取的特征进行分类判断,再在深度图像中标识出判断为障碍物的图像区域,得到障碍物的二维坐标;
步骤5、通过深度图像提供的深度信息,得到障碍物到双目相机的距离参数;将障碍物的二维坐标和距离参数进一步换算到世界坐标下,对障碍物进行三维重建,得到障碍物在空间中的三维坐标,完成障碍物定位;
步骤6、通过障碍物的三维坐标信息与机器人的运动路径计算出障碍物与机器人之间的距离,判断是否会发生碰撞,若未发生碰撞则按照原轨迹运动;若发生碰撞则应用梯度投影法调整机器人的运动轨迹,将调整后的运动轨迹信息发送至驱动器,对机器人的运动进行控制。
3.根据权利要求2所述的基于立体视觉的机器人智能避障方法,其特征在于步骤3中计算像素深度的方法是:两摄像机坐标轴互相平行,且x轴重合,两摄像机在x轴方向的间距为基线距离B;
由相似三角形原理,可得式(1):
由式(1)得,像素点P距离双目相机的深度Z:
Z=FB/(Xl-Xr) (2)
式(2)中,Pl和Pr分别是左右视图的主点,Cl和Cr分别是左右摄像机透镜的光心,F为摄像机焦距;障碍物P在左右视图中的成像点横坐标分别为Xl和Xr。
4.根据权利要求2所述的基于立体视觉的机器人智能避障方法,其特征在于所述神经网络为Tensorflow框架下编写的卷积神经网络,在使用前需要多次训练。
5.根据权利要求2所述的基于立体视觉的机器人智能避障方法,其特征在于步骤4具体是:将生成的深度图像传入已训练过的神经网络中,调用卷积核对每个候选框内的像素区域并进行特征提取,对候选框中提取出的特征使用分类器判别是否属于一个特定类,对于属于某一特征的候选框,用回归器进一步调整障碍物区域的位置完成定位。
6.根据权利要求2所述的基于立体视觉的机器人智能避障方法,其特征在于步骤5中得到障碍物在空间中的三维坐标的方法是:
首先,将世界坐标系转换到摄像机坐标系,已知某点在世界坐标系中的坐标为(Xw,Yw,Zw),由旋转和平移矩阵可得摄像机坐标系和世界坐标系的关系为式(3):
然后将摄像机坐标系转换到像面坐标系如式(4):
其中[u v 1]τ为点在图像坐标系中的坐标,[xc yc zc 1]τ为点在摄像机坐标系中的坐标,为摄像机内参数矩阵;
最终得到:
式(5)是像面坐标与世界坐标转换公式,带入障碍物的坐标求得其世界坐标下障碍物的三维坐标。
7.根据权利要求2所述的基于立体视觉的机器人智能避障方法,其特征在于梯度投影法具体方法如下:
梯度投影法的基本公式如式(6):
式(6)中,为机器人机械臂关节速度矢量,J为机械臂末端雅克比矩阵,J+为J的广义逆矩阵,为机械臂末端的操作速度,k为放大系数,I为单位矩阵,为优化指标的梯度;
基于梯度投影法,并运用最短距离避障指标,为了让机器人能躲避障碍物,需要使标志点x0具有一个躲避障碍物的速度即:
式(7)中为标志点躲避障碍物的速度,J0为标识点处的雅克比矩阵,将式(7)代入式(6)可得:
式(8)是基于梯度投影法的避障算法公式;在执行避障任务时,式(8)等式右边第一项是满足机械臂末端轨迹的跟踪;右边第二项是在不影响末端轨迹的前提下通过机械臂的自由运动来实现障碍物的躲避。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811245374.4A CN109048926A (zh) | 2018-10-24 | 2018-10-24 | 一种基于立体视觉的机器人智能避障系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811245374.4A CN109048926A (zh) | 2018-10-24 | 2018-10-24 | 一种基于立体视觉的机器人智能避障系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109048926A true CN109048926A (zh) | 2018-12-21 |
Family
ID=64764414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811245374.4A Pending CN109048926A (zh) | 2018-10-24 | 2018-10-24 | 一种基于立体视觉的机器人智能避障系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109048926A (zh) |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109521774A (zh) * | 2018-12-27 | 2019-03-26 | 南京芊玥机器人科技有限公司 | 一种基于强化学习的喷涂机器人轨迹优化方法 |
CN109602345A (zh) * | 2019-01-10 | 2019-04-12 | 轻客小觅智能科技(北京)有限公司 | 一种视觉扫地机器人及其避障方法 |
CN109664301A (zh) * | 2019-01-17 | 2019-04-23 | 中国石油大学(北京) | 巡检方法、装置、设备及计算机可读存储介质 |
CN109927012A (zh) * | 2019-04-08 | 2019-06-25 | 清华大学 | 移动抓取机器人和自动取货方法 |
CN110084133A (zh) * | 2019-04-03 | 2019-08-02 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
CN110216674A (zh) * | 2019-06-20 | 2019-09-10 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障系统 |
CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
CN110293345A (zh) * | 2019-07-04 | 2019-10-01 | 哈尔滨理工大学 | 一种基于嵌入式视觉的相贯线焊接机器人 |
CN110315537A (zh) * | 2019-06-27 | 2019-10-11 | 深圳乐动机器人有限公司 | 一种控制机器人运动的方法、装置及机器人 |
CN110345948A (zh) * | 2019-08-16 | 2019-10-18 | 重庆邮智机器人研究院有限公司 | 基于神经网络与q学习算法结合的动态避障方法 |
CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
CN110675449A (zh) * | 2019-09-02 | 2020-01-10 | 山东科技大学 | 一种基于双目相机的离岸流检测方法 |
CN110717404A (zh) * | 2019-09-17 | 2020-01-21 | 禾多科技(北京)有限公司 | 单目相机障碍物感知方法 |
CN110732601A (zh) * | 2019-09-27 | 2020-01-31 | 上海应用技术大学 | 基于视觉检测的机械手辅助上下料和避障检测系统及方法 |
CN111113389A (zh) * | 2019-12-17 | 2020-05-08 | 深圳供电局有限公司 | 电缆沟蛇形巡检机器人 |
CN111358359A (zh) * | 2018-12-26 | 2020-07-03 | 珠海市一微半导体有限公司 | 机器人的避线方法、装置、芯片及扫地机器人 |
CN111523353A (zh) * | 2019-02-02 | 2020-08-11 | 顾泽苍 | 一种机器理解雷达数据处理的方法 |
CN111563446A (zh) * | 2020-04-30 | 2020-08-21 | 郑州轻工业大学 | 一种基于数字孪生的人-机交互安全预警与控制方法 |
CN111633665A (zh) * | 2020-07-03 | 2020-09-08 | 桂林电子科技大学 | 抓取电磁换能器协助无损检测的装置及其轨迹规划方法 |
CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
CN111906778A (zh) * | 2020-06-24 | 2020-11-10 | 深圳市越疆科技有限公司 | 基于多重感知的机器人安全控制方法及装置 |
WO2020231319A1 (en) * | 2019-05-15 | 2020-11-19 | Unibap Ab | Robot cell setup system and process |
CN112116644A (zh) * | 2020-08-28 | 2020-12-22 | 辽宁石油化工大学 | 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置 |
CN112140102A (zh) * | 2020-06-08 | 2020-12-29 | 深圳市越疆科技有限公司 | 一种工业机器人的避障方法、装置和系统 |
CN112148013A (zh) * | 2020-09-25 | 2020-12-29 | 深圳优地科技有限公司 | 机器人避障方法、机器人及存储介质 |
CN112223273A (zh) * | 2020-08-21 | 2021-01-15 | 宁波辰峰自动化科技有限公司 | 一种工业机器人视觉检测及避障系统 |
CN112297011A (zh) * | 2020-10-29 | 2021-02-02 | 久瓴(上海)智能科技有限公司 | 农林机器人避障方法、装置、计算机设备和存储介质 |
CN112508933A (zh) * | 2020-12-21 | 2021-03-16 | 航天东方红卫星有限公司 | 一种基于复杂空间障碍物定位的柔性机械臂运动避障方法 |
WO2021052403A1 (zh) * | 2019-09-20 | 2021-03-25 | 杭州海康机器人技术有限公司 | 一种移动机器人感知障碍信息的方法、装置 |
CN112621751A (zh) * | 2020-12-10 | 2021-04-09 | 珠海格力电器股份有限公司 | 机器人的碰撞检测方法及装置、机器人 |
CN113031597A (zh) * | 2021-03-02 | 2021-06-25 | 南京理工大学 | 一种基于深度学习和立体视觉的自主避障方法 |
CN113075925A (zh) * | 2021-02-22 | 2021-07-06 | 江苏柯林博特智能科技有限公司 | 一种基于清洁机器人的特殊区域管控系统 |
CN113232025A (zh) * | 2021-06-07 | 2021-08-10 | 上海大学 | 一种基于接近觉感知的机械臂避障方法 |
CN113499094A (zh) * | 2021-07-08 | 2021-10-15 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
CN113510699A (zh) * | 2021-04-28 | 2021-10-19 | 哈尔滨理工大学 | 一种基于改进蚁群优化算法的机械臂运动轨迹规划方法 |
CN113870338A (zh) * | 2020-06-30 | 2021-12-31 | 北京瓦特曼科技有限公司 | 一种基于三维重建的锌槽扒渣方法 |
CN113954986A (zh) * | 2021-11-09 | 2022-01-21 | 昆明理工大学 | 一种基于视觉的烟叶辅料运送小车 |
CN116661505A (zh) * | 2023-05-31 | 2023-08-29 | 深圳市普渡科技有限公司 | 机器人、机器人跟随方法、装置和存储介质 |
CN117226843A (zh) * | 2023-09-27 | 2023-12-15 | 盐城工学院 | 一种基于视觉伺服的机器人移动轨迹控制方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000283753A (ja) * | 1999-03-31 | 2000-10-13 | Fuji Heavy Ind Ltd | ステレオ画像による測距装置 |
CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
CN105389543A (zh) * | 2015-10-19 | 2016-03-09 | 广东工业大学 | 基于全方位双目视觉深度信息融合的移动机器人避障装置 |
CN106127788A (zh) * | 2016-07-04 | 2016-11-16 | 触景无限科技(北京)有限公司 | 一种视觉避障方法和装置 |
CN107943024A (zh) * | 2017-11-07 | 2018-04-20 | 东莞理工学院 | 全方位避障和障碍物识别装置 |
CN108205315A (zh) * | 2016-12-19 | 2018-06-26 | 广东技术师范学院 | 一种基于双目视觉的机器人自动导航方法 |
-
2018
- 2018-10-24 CN CN201811245374.4A patent/CN109048926A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000283753A (ja) * | 1999-03-31 | 2000-10-13 | Fuji Heavy Ind Ltd | ステレオ画像による測距装置 |
CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
CN105389543A (zh) * | 2015-10-19 | 2016-03-09 | 广东工业大学 | 基于全方位双目视觉深度信息融合的移动机器人避障装置 |
CN106127788A (zh) * | 2016-07-04 | 2016-11-16 | 触景无限科技(北京)有限公司 | 一种视觉避障方法和装置 |
CN108205315A (zh) * | 2016-12-19 | 2018-06-26 | 广东技术师范学院 | 一种基于双目视觉的机器人自动导航方法 |
CN107943024A (zh) * | 2017-11-07 | 2018-04-20 | 东莞理工学院 | 全方位避障和障碍物识别装置 |
Non-Patent Citations (1)
Title |
---|
张倩茹: "遥操作增强现实中冗余机器人动态避障路径规划策略研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111358359A (zh) * | 2018-12-26 | 2020-07-03 | 珠海市一微半导体有限公司 | 机器人的避线方法、装置、芯片及扫地机器人 |
CN111358359B (zh) * | 2018-12-26 | 2021-08-24 | 珠海市一微半导体有限公司 | 机器人的避线方法、装置、芯片及扫地机器人 |
CN109521774A (zh) * | 2018-12-27 | 2019-03-26 | 南京芊玥机器人科技有限公司 | 一种基于强化学习的喷涂机器人轨迹优化方法 |
CN109521774B (zh) * | 2018-12-27 | 2023-04-07 | 南京芊玥机器人科技有限公司 | 一种基于强化学习的喷涂机器人轨迹优化方法 |
CN109602345A (zh) * | 2019-01-10 | 2019-04-12 | 轻客小觅智能科技(北京)有限公司 | 一种视觉扫地机器人及其避障方法 |
CN109664301A (zh) * | 2019-01-17 | 2019-04-23 | 中国石油大学(北京) | 巡检方法、装置、设备及计算机可读存储介质 |
CN109664301B (zh) * | 2019-01-17 | 2022-02-01 | 中国石油大学(北京) | 巡检方法、装置、设备及计算机可读存储介质 |
CN111523353A (zh) * | 2019-02-02 | 2020-08-11 | 顾泽苍 | 一种机器理解雷达数据处理的方法 |
CN110084133B (zh) * | 2019-04-03 | 2022-02-01 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
CN110084133A (zh) * | 2019-04-03 | 2019-08-02 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
CN109927012A (zh) * | 2019-04-08 | 2019-06-25 | 清华大学 | 移动抓取机器人和自动取货方法 |
WO2020231319A1 (en) * | 2019-05-15 | 2020-11-19 | Unibap Ab | Robot cell setup system and process |
CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
CN110216674A (zh) * | 2019-06-20 | 2019-09-10 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障系统 |
CN110216674B (zh) * | 2019-06-20 | 2021-10-01 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障系统 |
CN110315537A (zh) * | 2019-06-27 | 2019-10-11 | 深圳乐动机器人有限公司 | 一种控制机器人运动的方法、装置及机器人 |
CN110293345A (zh) * | 2019-07-04 | 2019-10-01 | 哈尔滨理工大学 | 一种基于嵌入式视觉的相贯线焊接机器人 |
US11042760B2 (en) | 2019-08-14 | 2021-06-22 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Mobile robot, control method and control system thereof |
CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
WO2021026831A1 (zh) * | 2019-08-14 | 2021-02-18 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
CN110345948A (zh) * | 2019-08-16 | 2019-10-18 | 重庆邮智机器人研究院有限公司 | 基于神经网络与q学习算法结合的动态避障方法 |
CN110675449A (zh) * | 2019-09-02 | 2020-01-10 | 山东科技大学 | 一种基于双目相机的离岸流检测方法 |
CN110717404B (zh) * | 2019-09-17 | 2021-07-23 | 禾多科技(北京)有限公司 | 单目相机障碍物感知方法 |
CN110717404A (zh) * | 2019-09-17 | 2020-01-21 | 禾多科技(北京)有限公司 | 单目相机障碍物感知方法 |
WO2021052403A1 (zh) * | 2019-09-20 | 2021-03-25 | 杭州海康机器人技术有限公司 | 一种移动机器人感知障碍信息的方法、装置 |
CN110732601B (zh) * | 2019-09-27 | 2024-05-14 | 上海应用技术大学 | 基于视觉检测的机械手辅助上下料和避障检测系统及方法 |
CN110732601A (zh) * | 2019-09-27 | 2020-01-31 | 上海应用技术大学 | 基于视觉检测的机械手辅助上下料和避障检测系统及方法 |
CN111113389A (zh) * | 2019-12-17 | 2020-05-08 | 深圳供电局有限公司 | 电缆沟蛇形巡检机器人 |
CN111563446A (zh) * | 2020-04-30 | 2020-08-21 | 郑州轻工业大学 | 一种基于数字孪生的人-机交互安全预警与控制方法 |
CN112140102A (zh) * | 2020-06-08 | 2020-12-29 | 深圳市越疆科技有限公司 | 一种工业机器人的避障方法、装置和系统 |
CN111906778A (zh) * | 2020-06-24 | 2020-11-10 | 深圳市越疆科技有限公司 | 基于多重感知的机器人安全控制方法及装置 |
CN111906778B (zh) * | 2020-06-24 | 2023-04-28 | 深圳市越疆科技有限公司 | 基于多重感知的机器人安全控制方法及装置 |
CN113870338A (zh) * | 2020-06-30 | 2021-12-31 | 北京瓦特曼科技有限公司 | 一种基于三维重建的锌槽扒渣方法 |
CN111633665B (zh) * | 2020-07-03 | 2023-10-03 | 桂林电子科技大学 | 抓取电磁换能器协助无损检测的装置及其轨迹规划方法 |
CN111633665A (zh) * | 2020-07-03 | 2020-09-08 | 桂林电子科技大学 | 抓取电磁换能器协助无损检测的装置及其轨迹规划方法 |
CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
CN112223273A (zh) * | 2020-08-21 | 2021-01-15 | 宁波辰峰自动化科技有限公司 | 一种工业机器人视觉检测及避障系统 |
CN112116644A (zh) * | 2020-08-28 | 2020-12-22 | 辽宁石油化工大学 | 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置 |
CN112148013A (zh) * | 2020-09-25 | 2020-12-29 | 深圳优地科技有限公司 | 机器人避障方法、机器人及存储介质 |
CN112297011A (zh) * | 2020-10-29 | 2021-02-02 | 久瓴(上海)智能科技有限公司 | 农林机器人避障方法、装置、计算机设备和存储介质 |
CN112621751A (zh) * | 2020-12-10 | 2021-04-09 | 珠海格力电器股份有限公司 | 机器人的碰撞检测方法及装置、机器人 |
CN112508933A (zh) * | 2020-12-21 | 2021-03-16 | 航天东方红卫星有限公司 | 一种基于复杂空间障碍物定位的柔性机械臂运动避障方法 |
CN113075925A (zh) * | 2021-02-22 | 2021-07-06 | 江苏柯林博特智能科技有限公司 | 一种基于清洁机器人的特殊区域管控系统 |
CN113031597A (zh) * | 2021-03-02 | 2021-06-25 | 南京理工大学 | 一种基于深度学习和立体视觉的自主避障方法 |
CN113510699A (zh) * | 2021-04-28 | 2021-10-19 | 哈尔滨理工大学 | 一种基于改进蚁群优化算法的机械臂运动轨迹规划方法 |
CN113232025B (zh) * | 2021-06-07 | 2022-04-22 | 上海大学 | 一种基于接近觉感知的机械臂避障方法 |
CN113232025A (zh) * | 2021-06-07 | 2021-08-10 | 上海大学 | 一种基于接近觉感知的机械臂避障方法 |
CN113499094B (zh) * | 2021-07-08 | 2023-07-25 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
CN113499094A (zh) * | 2021-07-08 | 2021-10-15 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
CN113954986A (zh) * | 2021-11-09 | 2022-01-21 | 昆明理工大学 | 一种基于视觉的烟叶辅料运送小车 |
CN116661505A (zh) * | 2023-05-31 | 2023-08-29 | 深圳市普渡科技有限公司 | 机器人、机器人跟随方法、装置和存储介质 |
CN117226843A (zh) * | 2023-09-27 | 2023-12-15 | 盐城工学院 | 一种基于视觉伺服的机器人移动轨迹控制方法及系统 |
CN117226843B (zh) * | 2023-09-27 | 2024-02-27 | 盐城工学院 | 一种基于视觉伺服的机器人移动轨迹控制方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109048926A (zh) | 一种基于立体视觉的机器人智能避障系统及方法 | |
CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
Zhu et al. | Online camera-lidar calibration with sensor semantic information | |
CN105866790B (zh) | 一种考虑激光发射强度的激光雷达障碍物识别方法及系统 | |
CN103049912B (zh) | 一种基于任意三面体的雷达-相机系统外部参数标定方法 | |
Ye et al. | Universal semantic segmentation for fisheye urban driving images | |
CN109472831A (zh) | 面向压路机施工过程的障碍物识别测距系统及方法 | |
CN111151463B (zh) | 一种基于3d视觉的机械臂分拣抓取系统及方法 | |
CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
CN110097553A (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
CN110458025B (zh) | 一种基于双目摄像头的目标识别与定位方法 | |
WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
CN110231013A (zh) | 一种基于双目视觉的车前行人检测与人车距离获取方法 | |
CN106003036A (zh) | 一种基于双目视觉引导的物体抓取与放置系统 | |
CN104281148A (zh) | 基于双目立体视觉的移动机器人自主导航方法 | |
CN110136202A (zh) | 一种基于ssd与双摄像头的多目标识别与定位方法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN110334701A (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN105059190A (zh) | 基于视觉的汽车开门碰撞预警装置及方法 | |
CN118135526B (zh) | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 | |
CN109508673A (zh) | 一种基于棒状像素的交通场景障碍检测与识别方法 | |
CN114677531B (zh) | 一种融合多模态信息的水面无人艇目标检测与定位方法 | |
CN103426170A (zh) | 基于非结构光场合成孔径成像的隐藏目标成像方法 | |
CN113792593A (zh) | 一种基于深度融合的水下近距离目标识别跟踪方法及系统 | |
Li et al. | Traffic police gesture recognition for autonomous driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |