CN106607907B - 一种移动视觉机器人及其测控方法 - Google Patents
一种移动视觉机器人及其测控方法 Download PDFInfo
- Publication number
- CN106607907B CN106607907B CN201611207262.0A CN201611207262A CN106607907B CN 106607907 B CN106607907 B CN 106607907B CN 201611207262 A CN201611207262 A CN 201611207262A CN 106607907 B CN106607907 B CN 106607907B
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- robot
- coordinate
- target
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000006073 displacement reactions Methods 0.000 claims description 7
- 238000006243 chemical reactions Methods 0.000 claims description 5
- 238000000034 methods Methods 0.000 claims description 5
- 230000000875 corresponding Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000006011 modification reactions Methods 0.000 claims description 2
- 230000035807 sensation Effects 0.000 claims description 2
- 230000003068 static Effects 0.000 claims description 2
- 230000001131 transforming Effects 0.000 claims description 2
- 235000020127 ayran Nutrition 0.000 claims 4
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000005516 engineering processes Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 239000003086 colorants Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixtures Substances 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium Ion Chemical compound data:image/svg+xml;base64,PD94bWwgdmVyc2lvbj0nMS4wJyBlbmNvZGluZz0naXNvLTg4NTktMSc/Pgo8c3ZnIHZlcnNpb249JzEuMScgYmFzZVByb2ZpbGU9J2Z1bGwnCiAgICAgICAgICAgICAgeG1sbnM9J2h0dHA6Ly93d3cudzMub3JnLzIwMDAvc3ZnJwogICAgICAgICAgICAgICAgICAgICAgeG1sbnM6cmRraXQ9J2h0dHA6Ly93d3cucmRraXQub3JnL3htbCcKICAgICAgICAgICAgICAgICAgICAgIHhtbG5zOnhsaW5rPSdodHRwOi8vd3d3LnczLm9yZy8xOTk5L3hsaW5rJwogICAgICAgICAgICAgICAgICB4bWw6c3BhY2U9J3ByZXNlcnZlJwp3aWR0aD0nMzAwcHgnIGhlaWdodD0nMzAwcHgnIHZpZXdCb3g9JzAgMCAzMDAgMzAwJz4KPCEtLSBFTkQgT0YgSEVBREVSIC0tPgo8cmVjdCBzdHlsZT0nb3BhY2l0eToxLjA7ZmlsbDojRkZGRkZGO3N0cm9rZTpub25lJyB3aWR0aD0nMzAwJyBoZWlnaHQ9JzMwMCcgeD0nMCcgeT0nMCc+IDwvcmVjdD4KPHRleHQgeD0nMTM4LjU3NScgeT0nMTcwJyBjbGFzcz0nYXRvbS0wJyBzdHlsZT0nZm9udC1zaXplOjQwcHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojM0I0MTQzJyA+TDwvdGV4dD4KPHRleHQgeD0nMTY0Ljg1MicgeT0nMTcwJyBjbGFzcz0nYXRvbS0wJyBzdHlsZT0nZm9udC1zaXplOjQwcHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojM0I0MTQzJyA+aTwvdGV4dD4KPHRleHQgeD0nMTc1LjM0NCcgeT0nMTU0JyBjbGFzcz0nYXRvbS0wJyBzdHlsZT0nZm9udC1zaXplOjI2cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojM0I0MTQzJyA+KzwvdGV4dD4KPC9zdmc+Cg== data:image/svg+xml;base64,PD94bWwgdmVyc2lvbj0nMS4wJyBlbmNvZGluZz0naXNvLTg4NTktMSc/Pgo8c3ZnIHZlcnNpb249JzEuMScgYmFzZVByb2ZpbGU9J2Z1bGwnCiAgICAgICAgICAgICAgeG1sbnM9J2h0dHA6Ly93d3cudzMub3JnLzIwMDAvc3ZnJwogICAgICAgICAgICAgICAgICAgICAgeG1sbnM6cmRraXQ9J2h0dHA6Ly93d3cucmRraXQub3JnL3htbCcKICAgICAgICAgICAgICAgICAgICAgIHhtbG5zOnhsaW5rPSdodHRwOi8vd3d3LnczLm9yZy8xOTk5L3hsaW5rJwogICAgICAgICAgICAgICAgICB4bWw6c3BhY2U9J3ByZXNlcnZlJwp3aWR0aD0nODVweCcgaGVpZ2h0PSc4NXB4JyB2aWV3Qm94PScwIDAgODUgODUnPgo8IS0tIEVORCBPRiBIRUFERVIgLS0+CjxyZWN0IHN0eWxlPSdvcGFjaXR5OjEuMDtmaWxsOiNGRkZGRkY7c3Ryb2tlOm5vbmUnIHdpZHRoPSc4NScgaGVpZ2h0PSc4NScgeD0nMCcgeT0nMCc+IDwvcmVjdD4KPHRleHQgeD0nMzUuMzc4OScgeT0nNTMuNTkwOScgY2xhc3M9J2F0b20tMCcgc3R5bGU9J2ZvbnQtc2l6ZToyM3B4O2ZvbnQtc3R5bGU6bm9ybWFsO2ZvbnQtd2VpZ2h0Om5vcm1hbDtmaWxsLW9wYWNpdHk6MTtzdHJva2U6bm9uZTtmb250LWZhbWlseTpzYW5zLXNlcmlmO3RleHQtYW5jaG9yOnN0YXJ0O2ZpbGw6IzNCNDE0MycgPkw8L3RleHQ+Cjx0ZXh0IHg9JzUwLjYwNzQnIHk9JzUzLjU5MDknIGNsYXNzPSdhdG9tLTAnIHN0eWxlPSdmb250LXNpemU6MjNweDtmb250LXN0eWxlOm5vcm1hbDtmb250LXdlaWdodDpub3JtYWw7ZmlsbC1vcGFjaXR5OjE7c3Ryb2tlOm5vbmU7Zm9udC1mYW1pbHk6c2Fucy1zZXJpZjt0ZXh0LWFuY2hvcjpzdGFydDtmaWxsOiMzQjQxNDMnID5pPC90ZXh0Pgo8dGV4dCB4PSc1Ni42ODc5JyB5PSc0NC4zMTgyJyBjbGFzcz0nYXRvbS0wJyBzdHlsZT0nZm9udC1zaXplOjE1cHg7Zm9udC1zdHlsZTpub3JtYWw7Zm9udC13ZWlnaHQ6bm9ybWFsO2ZpbGwtb3BhY2l0eToxO3N0cm9rZTpub25lO2ZvbnQtZmFtaWx5OnNhbnMtc2VyaWY7dGV4dC1hbmNob3I6c3RhcnQ7ZmlsbDojM0I0MTQzJyA+KzwvdGV4dD4KPC9zdmc+Cg== [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical methods Methods 0.000 description 1
- 230000000295 complement Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001939 inductive effects Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000051 modifying Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
Abstract
本发明一种移动视觉机器人及其测控方法，利用机器视觉检测方法来获取移动机器人以及机器人操作目标的定位和状态信息，同时根据视觉图像所提供的信息控制机器人的移动和其他操作；机器人视觉图像由两个相机提供，其中一个相机固定于移动平台，采集机器人移动路径上的图像，另一个固定于机械手末端，采集机械手操作目标的图像细节；本发明根据获取的图像信息，采用图像畸变矫正和模式识别方法计算移动机器人以及特定目标的定位和状态信息，进而控制机器人对目标物体完成指令动作，同时提出了一种依靠视觉图像消除机器人运行过程中产生的累积误差的方法；本发明具有精度高，抗干扰强的特点，不需要复杂的环境支持，适用于各种实验室和工厂环境。
Description
一种移动视觉机器人及其测控方法
技术领域
[0001] 本发明属于机器视觉图像测量与自动控制技术领域，特别涉及一种移动视觉机器 人及其测控方法。
背景技术
[0002] 随着机器人性能不断地完善，移动机器人的应用范围随之扩展，不仅在工业、农 业、医疗、服务等行业中得到广泛的应用，而且在城市安全、国防和空间探测领域等有害与 危险场合得到很好的应用。因此，移动机器人技术已经得到世界各国的普遍关注。移动机器 人在代替人工劳动以及在危险环境中工作都起到了很好的效果，因此一款高效，安全，可靠 的移动机器人对于自动化工业生产十分重要。而现有移动机器人的引导方式又有很大的局 限性，GPS引导误差很大，无法进行精确的移动和操作，而常见的电磁感应式或类似的引导 又对工作环境要求很高，并且移动路径几乎完全固定。
发明内容
[0003] 为了克服上述现有技术的缺点，本发明的目的在于提供一种移动视觉机器人及其 测控方法，移动机器人通过视觉图像方法进行引导，使移动机器人实现灵活准确的移动方 式，并且为了进一步提高机器人精度，采取全局图像和局部细节图像两套图像互补的方法， 同时利用视觉信息消除累积误差。
[0004] 为了实现上述目的，本发明采用的技术方案是：
[0005] —种移动视觉机器人，包括一个四轮全方位的移动平台1，移动平台1上固定一个 可旋转并执行多种动作的机械手2,在移动平台1上用支架3固定有一台相机一 4,可拍摄机 器人正前方移动路径以及周围环境的全局图像，此外，在机械手2末端固定有一台相机二5， 可根据实际情况调整机械手2位置及角度从而拍摄特定对象的细节图像，机器人移动平台1 内部安装一台工控机6,用于接收动作指令，处理视觉图像，路径规划及发送操作指令等等。
[0006] 所述四轮全方位移动平台1由四个安装有编码器7的直流电机8分别驱动四个全方 位轮9所控制，可以实现狭小空间内各个方向的直行以及原地旋转等动作，所述相机一 4可 根据需求调整俯仰角和焦距等参数以满足对不同环境中的视距和视野范围等需求，所述相 机二5位置跟随机械手2动作，视角总与机械手2操作平面相垂直。
[0007] 工控机6通过串口向控制器10发送操作指令，控制器10生成对应的控制信号发送 至移动平台1及机械手2的各个电机，并接收实时反馈信号实现负反馈控制，所述相机一 4和 相机二5同时将实时图像发送至工控机6以进行视觉分析，并根据视觉图像所提供的反馈信 息实时控制移动机器人的各个动作。
[0008] 本发明还提供了一种移动视觉机器人测控方法，包括以下步骤：
[0009] 给定机器人具体动作指令，指令包含内容为对何种物体进行何种动作，以及目标 物体的坐标方位；
[0010] 计算并规划机器人移动平台1实际移动路径，工控机6根据路径产生操作指令控制 机器人移动平台1转向目标位置；
[0011] 机器人向目标位置移动，相机一4和相机二5实时采集移动路径上的图像，修正方 向偏差并避免碰撞；
[0012] 经过一次或多次移动接近目标位置后，根据相机一 4采集的图像判断目标物体的 具体方位坐标，修正移动路径；
[0013] 令机器人机械手2移动至目标物体正上方后，根据相机二5采集的图像获取目标物 体的精确位置与姿态信息，进而机械手2对目标物体完成指令中给定的动作；
[0014] 根据相机一 4采集的图像中的标定信息修正机器人移动平台1和机械手2的坐标误 差，等待下一轮动作指令。
[0015] 对于图像中目标物体的判断，是根据目标物体的多个特征构成的模型进行的，这 些特征包括但不仅限于颜色特征，形状特征，大小特征，以及对应某些物体独有的突出特 征，对于需要操作的物体需要分别对应相机一 4采集的图像和相机二5采集的图像建立两套 模型。主要思想是根据实际情况，首先根据颜色等特征对图像中的所有对象进行一次筛选， 之后对筛选剩下的对象的提取轮廓进行模板匹配，从而得到目标物体在图像中的坐标位 置。由于相机获取的图像会存在不同程度的畸变，因此需要对识别得到的目标物体在图像 中的坐标进行坐标转换计算得到其世界坐标。
[0016] 给定机器人移动指令时，仅需指出移动目的地的坐标，机器人便可自动计算最佳 移动路径以并开始移动操作，同时记录并更新自身的坐标和方位角，同时机器人可根据周 围环境特征修正移动误差造成的坐标偏移，防止累积误差产生而导致错误发生；误差修正 过程主要利用相机一 4采集的图像中可利用的正交于世界坐标系的直线特征或是标记，采 用视觉方法计算这些直线的角度以及与机器人的距离，依次计算机器人的实际坐标和方位 角，从而达到修正误差的目的。
[0017] 与采用其他方式进行引导的移动机器人相比，本发明采用视觉检测方法，两台相 机分别获取全局图像和局部图像，通过模式识别方法并利用全局图像与局部图像互补对目 标物体进行定位，根据定位信息现场规划机器人移动路径，并根据图像信息实现对机器人 的控制、方位修正和对目标的操作。实现了不同场景情况下的目标识别与定位、现场路径规 划、机器人移动误差修正和计算机对移动机器人的自动控制。从而在具有较高移动和操作 精度的前提下，可以灵活的给定移动机器人不同的操作指令使机器人对目标物体自动完成 一些复杂的操作。并且对环境要求较小，抗干扰能力强，仅需简单的直线标志甚至不需要专 用的标志便可完成运行。
附图说明
[0018] 图1为本发明实验平台系统结构框图。
[0019] 图2为本发明中移动机器人3D示意图。
[0020] 图3为本发明中机器人移动平台底盘的内部俯视图。
[0021] 图4为本发明的机器人视觉测控方法总体流程图。
[0022] 图5为本发明的目标识别与定位图像算法流程图。
具体实施方式
[0023] 下面结合附图和实施例详细说明本发明的实施方式。
[0024] 本发明移动视觉机器人测控方法主要是给定机器人具体动作指令，指令包含内容 为对何种物体进行何种动作，以及目标物体的坐标方位;计算并规划移动平台1实际移动路 径，工控机6根据路径产生操作指令控制移动平台1转向目标位置;机器人向目标位置移动， 相机一 4和相机二5实时采集移动路径上的图像，修正方向偏差并避免碰撞;经过一次或多 次移动接近目标位置后，根据相机一 4采集的图像判断目标物体的具体方位坐标，修正移动 路径;令机械手2移动至目标物体正上方后，根据相机二5采集的图像获取目标物体的精确 位置与姿态信息，进而机械手2对目标物体完成指令中给定的动作;根据相机一4采集的图 像中的标定信息修正移动平台1和机械手2的坐标误差，等待下一轮动作指令。
[0025] 本发明搭建如下实验平台对该方法的可行性进行验证。
[0026] 本发明使用移动移动平台1为四轮全方位移动平台，其上搭载一台五自由度机械 手2，移动平台1内部搭载有一台工控机6可通过Wi-Fi接收远程指令并处理视觉图像，计算 移动路径，发送操作指令。在移动平台1上机械手2后面使用支架3固定有一视角倾斜向下的 相机一 4,在机械手2夹具末端固定有另一相机二5视角朝向机械手操作方向。
[0027] 对于移动机器人，其相机一 4用于采集机器人正前方以及移动路径上的全局图像， 可根据需求调整俯仰角和焦距等参数以满足对不同环境中的视距和视野范围等需求，相机 二5用于采集不同操作情况下各种对象的细节图像，相机二5位置跟随机械手2动作，视角总 与机械手2操作平面相垂直。相机一 4和相机二5均通过USB接口与工控机6相连，以便将两部 相机采集的图像都发送至工控机进行处理。
[0028] 移动移动平台1内部安装工控机6、无线收发模块、控制器10和驱动器11，移动平台 1的底盘上安装四个带有光电编码器7测速模块的12V直流电机8,直流电机8驱动四个全方 位轮9带动移动平台1，通过一块12V锂离子电池12为机器人的所有电机和控制器10以及工 控机6提供电源。控制器10和驱动器11通过串口与工控机6相连，控制器10接收到工控机6指 令后，其处理器将指令解析并调制PWM信号输出值驱动器11，从而令驱动器11通过改变输入 电压达到控制移动平台1各个电机以及机械手2的各个关节的运动。同时移动平台1电机编 码器7和机械手2将反馈信号实时返回至控制器10,计算得到移动平台1各个电机的实际速 度和机械手2的实际姿态，根据实际数据使用PID控制计算控制器10输出信号，令移动平台1 各个电机速度趋近于给定速度，机械手2姿态趋近于给定姿态，从而实现负反馈控制。
[0029] 基于该系统装置，基于相机一 4和相机二5获取到的图像，首先采用canny算子获取 图像中的所有轮廓，设定合适的面积阈值，超过阈值的轮廓为图像中的有效目标，其余为噪 声，之后对每一个轮廓进行判断，判定轮廓为已知目标物体或是地面标示和移动路径上的 障碍。判定轮廓的方法为，首先计算轮廓中的相减混色，即提取轮廓内部图像中的RGB分量 分别对应计算混合颜色空间模型参数并取平均，包括R-B，R-G，B-G分量，通过比较混合颜色 空间模型与模板的相似度对轮廓进行第一轮分类，混合颜色空间模型可以有效提取出目标 轮廓的显著颜色特征而受光照强弱影响较小，避免了现场光照变化对装置效果产生的影 响。之后对这些轮廓采用归一化相关系数匹配法与可能存在的目标模板进行模板匹配，目 标模板在加入新目标时采集得到，分为对应相机一4图像和相机二5图像的两套模板。在提 取出可能存在的所有目标后，便可得知目标物体在图像中的坐标，对于图像中的其他轮廓， 首先滤除噪声干扰，之后根据轮廓大小判断是否为移动路径上的障碍或是其他标示。
[0030] 通过分析相机一4拍摄到的图片并获取到目标物体在图像中的坐标后，由于图像 存在畸变，对于矩形图片对应的实际地面为一倒立的梯形，因此需要通过畸变校正将图像 坐标系转换为世界坐标系，转换方法如下:假设目标在图像中的坐标为(u，V)，相机一4俯仰 角为Θ，焦距为f，视角为α，相机一 4距地面高度为h，对比图像与实际地面可以发现，产生的 畸变分为横向畸变和纵向畸变两类，对于横向畸变，即X轴方向上的畸变，可近似认为是线 性的；而对于纵向畸变，即Y轴上的畸变，相机一4远处的目标会被压缩，并且目标距离相机 一4越远时，压缩越严重，这种压缩是非线性的。因此计算目标在世界坐标系中的坐标(X，y) 中坐标X的近似值为：
[0031] x = kuv
[0032] 其中k为图像坐标系中像素距离与世界坐标系中实际距离在X轴方向上的比例系 数。
[0033] 坐标y的近似值为：
[0035] 由于上述的坐标变换及机器人的移动均会存在一定的误差，若要对目标物体做到 更精确的操作，必须达到更高的定位精度，因此在机器人接近目标物体后，使用相机二5拍 摄得到的图像进行精确定位。当机械手2末端大致位于目标物体上方且相机二5视角与物体 放置表面垂直时，通过上述目标定位方法可识别出目标物体在相机二5拍摄得到图像中的 坐标，由于拍摄距离较近，图像畸变可忽略不计，从而通过线性变换便可求得目标物体相对 于机械手2末端的坐标，由于机械手2末端的位置是可知的，因此可以得到目标物体的世界 坐标，据此便可进一步对目标物体进行各种精确操作。
[0036] 在机器人移动时，给定移动目的地世界坐标(Xd，yd)后，根据机器人所记录的自身 坐标(xc；，y。)和方位角Θ。，计算得到相应的机器人转向角度为：
[0038] 机器人移动距离d为：
[0040] 得到机器人的转向角度0*和移动距离d之后，据此进行移动，并更新机器人自身坐 标(Uc)和方位角Θ。。在移动过程中，由于地面环境等多种因素，每次移动之后会累积一定 的误差，若不进行修正，则多次移动后误差累积过大，同时机器人自身坐标(X。，y。)和方位角 Θ。偏差过大导致坐标系混乱无法使用。因此在每3到5次移动之后应进行误差修正，使方位 角Θ。和机器人自身坐标(Xc，y。)保持准确。方位角的修正过程主要根据周围环境特征进行， 一般机器人的运行环境地面会有正交于世界坐标系的直线特征可供利用，例如墙壁于地面 接壤处，地表纹路，以及桌面边沿等等，如果运行环境中不存在类似的特征，则需增加简单 的直线标示。机器人在静止状态下时，使用Hough变换检测得到相机一 4得到的图像中的所 有直线，根据当前机器人方位角Θ。提取出倾斜角度接近于
和-Θ。并且长度大于所设 定阈值的直线，通过该直线倾斜角度便可得到机器人准确的方位角。机器人自身坐标的修 正则需要依靠某个已知坐标的标定点，根据识别出相机一4得到的图像中标定点的坐标，转 换得到标定点相对于移动平台1的坐标，进一步便可得到移动平台1的准确坐标。
[0041] 通过以上方法，便可以实现移动机器人的目标定位，自动控制和误差修正等功能。 本发明根据获取的图像信息，采用图像畸变矫正和模式识别方法计算移动机器人以及特定 目标的定位和状态信息，进而控制机器人对目标物体完成指令动作，具有精度高，抗干扰强 的特点，不需要复杂的环境支持，适用于各种实验室和工厂环境。
Claims (7)
1. 一种移动视觉机器人的测控方法，所述移动视觉机器人，包括一个四轮全方位的移 动平台（1)，移动平台上⑴固定一个可旋转并执行多种动作的机械手(2)，在移动平台（1) 上用支架⑶固定有一台用于拍摄机器人正前方移动路径以及周围环境全局图像的相机一 (4)，在机械手（2)末端固定有朝向操作方向的相机二（5)，用于根据实际情况调整机械手 (2)位置及角度从而拍摄特定对象的细节图像，在移动平台⑴内部安装一台工控机(6)，用 于接收动作指令，处理视觉图像，路径规划及发送操作指令； 其特征在于，包括以下步骤： 给定机器人具体动作指令，指令包含内容为对何种物体进行何种动作，以及目标物体 的坐标方位； 计算并规划移动平台（1)实际移动路径，工控机(6)根据路径产生操作指令控制移动平 台⑴转向目标位置； 移动平台（1)向目标位置移动，相机一 (4)和相机二(5)实时采集移动路径上的图像，修 正方向偏差并避免碰撞； 在经过一次或多次移动接近目标位置后，根据相机一 (4)采集的图像判断目标物体的 具体方位坐标，修正移动路径； 令机器人机械手(2)移动至目标物体正上方后，根据相机二(5)采集的图像获取目标物 体的精确位置与姿态信息，进而机械手(2)对目标物体完成指令中给定的动作； 根据相机一⑷采集的图像中的标定信息修正机器人移动平台⑴和机械手(2)的坐标 误差，等待下一轮动作指令。
2. 根据权利要求1所述的测控方法，其特征在于，对于图像中目标物体位置和方位的判 断，是利用对目标物体的多个特征构造的模型进行模板匹配进行的，对于需要操作的目标 物体，对应相机一 (4)采集的图像和相机二⑶采集的图像建立两套模型，分别用于两种图 像的目标物体定位;首先根据特征对图像中的所有对象进行一次筛选，之后对筛选剩下的 对象的提取轮廓进行模板匹配，从而得到目标物体在图像中的坐标位置。
3. 根据权利要求2所述的测控方法，其特征在于，所述目标物体在图像中的坐标位置通 过如下方法获取： 首先采用canny算子获取图像中的所有轮廓，设定合适的面积阈值，超过阈值的轮廓为 图像中的有效目标，其余为噪声，之后对每一个轮廓进行判断，判定轮廓为已知目标物体或 是地面标示和移动路径上的障碍； 之后对这些轮廓采用归一化相关系数匹配法与可能存在的目标模板进行模板匹配，目 标模板在加入新目标时采集得到，分为对应相机一 (4)图像和相机二(5)图像的两套模板， 在提取出可能存在的所有目标后，即获取目标物体在图像中的坐标，对于图像中的其他轮 廓，首先滤除噪声干扰，之后根据轮廓大小判断是否为移动路径上的障碍或是其他标示。
4. 根据权利要求2所述的测控方法，其特征在于，所述特征包含颜色特征，形状特征，大 小特征，以及对应某些目标物体独有的突出特征;对得到的目标物体在图像中坐标进行坐 标转换获取其世界坐标，以消除相机拍摄的图像存在的不同程度的畸变。
5. 根据权利要求4所述的测控方法，其特征在于，所述对得到的目标物体在图像中坐标 进行坐标转换获取其世界坐标的转换方法如下： 假设目标在图像中的坐标为(u，v)，相机一 (4)俯仰角为Θ，焦距为f，视角为α，相机一 ⑷距地面高度为h，目标在世界坐标系中的坐标(x，y)中坐标X的近似值为： x = kuv 其中k为图像坐标系中像素距离与世界坐标系中实际距离在X轴方向上的比例系数； 坐标y的近似值为：
在机器人接近目标物体后，使用相机二（5)拍摄得到的图像进行精确定位；当机械手 (2)末端大致位于目标物体上方且相机二⑶视角与物体放置表面垂直时，识别出目标物体 在相机二⑶拍摄得到图像中的坐标，通过线性变换求得目标物体相对于机械手⑵末端的 坐标，进而得到目标物体的世界坐标。
6. 根据权利要求1所述的测控方法，其特征在于，给定机器人移动指令时，仅指出移动 目的地的坐标，机器人自动计算最佳移动路径以并开始移动操作，同时记录并更新自身的 坐标和方位角，并根据周围环境特征修正移动误差造成的坐标偏移，防止累积误差产生而 导致错误发生；误差修正过程主要利用相机一 (4)采集的图像中可利用的正交于世界坐标 系的直线特征或是标记，采用视觉方法计算这些直线的角度以及与机器人的距离，依次计 算机器人的实际坐标和方位角，从而达到修正误差的目的。
7. 根据权利要求1所述的测控方法，其特征在于，在机器人移动时，给定移动目的地世 界坐标(xd，yd)后，根据机器人所记录的自身坐标(X。，y。)和方位角Θ。，计算得到相应的机器 人转向角度为：
机器人移动距离d为：
得到机器人的转向角度9*和移动距离d之后，据此进行移动，并更新机器人自身坐标 (xc，yc)和方位角Θ。； 在机器人每3到5次移动之后进行误差修正，使方位角Θ。和机器人自身坐标(Xc，y。)保持 准确，方位角的修正过程主要根据周围环境特征进行，首先选择利用正交于世界坐标系的 已有直线特征，如果运行环境中不存在该特征，则增加直线标示，机器人在静止状态下时， 使用Hough变换检测得到相机一 (4)得到的图像中的所有直线，根据当前机器人方位角Θ。提 取出倾斜角度接近弓
和-Θ。并且长度大于所设定阈值的直线，通过该直线倾斜角度 得到机器人准确的方位角；同时依靠某个已知坐标的标定点修正机器人自身坐标，根据识 别出相机一⑷得到的图像中标定点的坐标，转换得到标定点相对于移动平台⑴的坐标， 并进一步得到移动平台（1)的准确坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611207262.0A CN106607907B (zh) | 2016-12-23 | 2016-12-23 | 一种移动视觉机器人及其测控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611207262.0A CN106607907B (zh) | 2016-12-23 | 2016-12-23 | 一种移动视觉机器人及其测控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106607907A CN106607907A (zh) | 2017-05-03 |
| CN106607907B true CN106607907B (zh) | 2017-09-26 |
Family
ID=58636627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611207262.0A CN106607907B (zh) | 2016-12-23 | 2016-12-23 | 一种移动视觉机器人及其测控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106607907B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107212976B (zh) * | 2017-05-08 | 2018-12-14 | 深拓科技（深圳）有限公司 | 一种物体抓取设备的物体抓取方法、装置及物体抓取设备 |
| CN107248177B (zh) * | 2017-05-24 | 2020-05-22 | 深圳优地科技有限公司 | 一种轮式机器人的定位方法和装置 |
| CN107962014B (zh) * | 2017-06-09 | 2020-02-07 | 国网智能科技股份有限公司 | 自动识别绝缘子的变电站设备带电水冲洗机器人及方法 |
| CN107544507A (zh) * | 2017-09-28 | 2018-01-05 | 速感科技（北京）有限公司 | 可移动机器人移动控制方法及装置 |
| CN108536151A (zh) * | 2018-05-06 | 2018-09-14 | 长春北方化工灌装设备股份有限公司 | 一种视觉导引的闭环执行系统及视觉导引方法 |
| CN108890693A (zh) * | 2018-07-06 | 2018-11-27 | 陕西大中科技发展有限公司 | 一种基于视觉的工业机器人码垛方法 |
| CN109045676B (zh) * | 2018-07-23 | 2020-04-10 | 西安交通大学 | 一种象棋识别学习算法和基于该算法的机器人智动化系统与方法 |
| CN109191499A (zh) * | 2018-09-05 | 2019-01-11 | 顺德职业技术学院 | 一种基于运动目标跟踪的机器人跟踪路线更新方法及系统 |
| CN109129397A (zh) * | 2018-09-07 | 2019-01-04 | 北京特种机械研究所 | 利用agv位置信息标定其搭载机械臂位置的系统 |
| CN109571477B (zh) * | 2018-12-17 | 2020-09-22 | 西安工程大学 | 一种改进的机器人视觉与传送带综合标定方法 |
| CN110275532B (zh) * | 2019-06-21 | 2020-12-15 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、视觉设备的控制方法及装置 |
| CN110480642A (zh) * | 2019-10-16 | 2019-11-22 | 遨博（江苏）机器人有限公司 | 工业机器人及其利用视觉标定用户坐标系的方法 |
| CN110962122A (zh) * | 2019-11-11 | 2020-04-07 | 中广核工程有限公司 | 一种管道清理机器人控制系统以及方法 |
| CN111590595A (zh) * | 2020-06-30 | 2020-08-28 | 深圳市银星智能科技股份有限公司 | 一种定位方法、装置、移动机器人及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3770073B2 (ja) * | 2000-10-30 | 2006-04-26 | 株式会社日立製作所 | 遠隔移動ロボット |
| CN101377547B (zh) * | 2008-09-28 | 2011-02-16 | 东南大学 | 基于遥操作移动机器人的核化污染检测方法 |
| CN101476995A (zh) * | 2009-01-16 | 2009-07-08 | 东南大学 | 小型车载污水取样装置 |
| CN101774170B (zh) * | 2010-01-29 | 2012-11-21 | 华北电力大学 | 核电站作业机器人及其控制系统 |
| JP2013220495A (ja) * | 2012-04-13 | 2013-10-28 | Honda Motor Co Ltd | アームロボット |
| CN205343105U (zh) * | 2016-01-14 | 2016-06-29 | 任曲波 | 一种核电站救援与操作机器人 |
-
2016
- 2016-12-23 CN CN201611207262.0A patent/CN106607907B/zh active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| CN106607907A (zh) | 2017-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104848858B (zh) | 二维码以及用于机器人的视觉-惯性组合导航系统及方法 | |
| CN105841687B (zh) | 室内定位方法和系统 | |
| CN104848851B (zh) | 基于多传感器数据融合构图的变电站巡检机器人及其方法 | |
| Veľas et al. | Calibration of rgb camera with velodyne lidar | |
| US20170221226A1 (en) | Camera calibration | |
| CN104200086B (zh) | 宽基线可见光相机位姿估计方法 | |
| US10796151B2 (en) | Mapping a space using a multi-directional camera | |
| Scaramuzza et al. | Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes | |
| KR101988083B1 (ko) | 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법 | |
| KR100766434B1 (ko) | 영상 인식이 가능한 이동체와 이동체 유도 방법 | |
| CN102929288B (zh) | 基于视觉伺服的输电线路无人机巡检云台控制方法 | |
| CN104197899B (zh) | 移动机器人定位方法及系统 | |
| AU2007355942B2 (en) | Arrangement and method for providing a three dimensional map representation of an area | |
| KR101913168B1 (ko) | 에고모션 추정 시스템 및 방법 | |
| CN101419055B (zh) | 基于视觉的空间目标位姿测量装置和方法 | |
| KR101049266B1 (ko) | 이동형 로봇 | |
| CN104280036B (zh) | 一种交通信息的检测与定位方法、装置及电子设备 | |
| CN105928498A (zh) | 通过基于模板的uav控制来确定对象数据 | |
| Pink et al. | Visual features for vehicle localization and ego-motion estimation | |
| JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| CN104932001B (zh) | 一种实时3d核辐射环境重建监测系统 | |
| Saska et al. | Documentation of dark areas of large historical buildings by a formation of unmanned aerial vehicles using model predictive control | |
| CN103941746A (zh) | 无人机巡检图像处理系统及方法 | |
| CN105045263A (zh) | 一种基于Kinect的机器人自定位方法 | |
| US8508527B2 (en) | Apparatus and method of building map for mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |