CN103365292A - 基于视觉识别和多传感器数据融合的捡球方法 - Google Patents

基于视觉识别和多传感器数据融合的捡球方法 Download PDF

Info

Publication number
CN103365292A
CN103365292A CN2013102941429A CN201310294142A CN103365292A CN 103365292 A CN103365292 A CN 103365292A CN 2013102941429 A CN2013102941429 A CN 2013102941429A CN 201310294142 A CN201310294142 A CN 201310294142A CN 103365292 A CN103365292 A CN 103365292A
Authority
CN
China
Prior art keywords
infrared sensor
degree
sensor
ball
picking robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013102941429A
Other languages
English (en)
Inventor
曹洁
马飞
牛丽波
耿振节
陈牧
张红
李晓旭
刘嘉琪
李玉琴
王川
吴亚坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN2013102941429A priority Critical patent/CN103365292A/zh
Publication of CN103365292A publication Critical patent/CN103365292A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

基于视觉识别和多传感器数据融合的捡球方法，其步骤为：步骤A，通过红外传感器阵列获取周围环境信息，摄像头在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息并将其进行处理；步骤B，捡球机器人向右旋转15度，进入下一个位置，重复步骤A；步骤C，重复步骤B；步骤D，捡球机器人前进2米，进入下一个位置，重复步骤A；步骤E，捡球机器人向左旋转15度，进入下一个位置，重复步骤A；步骤F，重复步骤E；步骤G，捡球机器人前进2米，进入下一个位置；至此，一次循环结束，重新开始循环执行步骤A以及后续步骤。

Description

基于视觉识别和多传感器数据融合的捡球方法
技术领域
本发明涉及一种适用于在乒乓球、网球等球类运动场馆使用的智能捡球机器人的捡球技术。
背景技术
目前，已提出专利申请的双模智能捡球机器人控制系统（申请号：CN201310155091.1）利用两种工作模式相互结合的特点有效的解决了智能捡取乒乓球、网球的问题。但是，该发明并不具备自主识别球体的功能，同时该发明的传感器布局均为固定式的，所采集的环境信息有限，不能全方位多角度的采集环境信息。
发明内容
 本发明的目的是提供一种基于视觉识别和多传感器数据融合的捡球方法。
本发明是基于视觉识别和多传感器数据融合的捡球方法，其步骤为：
步骤A：通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤B：捡球机器人9向右旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤C：重复步骤B；
步骤D：捡球机器人9前进2米，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤E：捡球机器人9向左旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤F：重复步骤E；
步骤G：捡球机器人9前进2米，进入下一个位置；一次循环结束，重新开始循环执行步骤A以及后续步骤。
本发明的有益之处在于：将传感器阵列采集信息和摄像头采集图像、处理图像两个过程有机结合在一起，并将折线形的运动轨迹应用于捡球机器人，达到了高效避障、高精度捡取球体的目的。
附图说明
图1是本发明的算法原理框图，图2是本发明的传感器阵列布局及摄像头转动角度示意图，图3是本发明的运动控制舵机安装角度示意图，图4是本发明的运动轨迹示意图，附图标记及对应名称为：1、第一红外传感器，2、第二红外传感器，3、第三红外传感器，4、第四红外传感器，5、第五红外传感器，6、第六红外传感器，7、第七红外传感器，8、摄像头，9、捡球机器人，10、第一数字舵机，11、第二数字舵机，12、第三数字舵机，13、第四数字舵机。
具体实施方式
本发明是基于视觉识别和多传感器数据融合的捡球方法，其步骤为：
步骤A：通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤B：捡球机器人9向右旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤C：重复步骤B；
步骤D：捡球机器人9前进2米，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤E：捡球机器人9向左旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤F：重复步骤E；
步骤G：捡球机器人9前进2米，进入下一个位置；一次循环结束，重新开始循环执行步骤A以及后续步骤。
 本发明的是在USB摄像头作为图像采集工具、漫反射式光电开关作为障碍物信息采集工具的支持下实现的，球体检测的原理主要用到了球体颜色特征和球体所占像素点多少的特征等特性进行分析的，障碍物检测的原理主要用到了光电开关的特性。以下结合图1、图2、图3、图4，详细说明本方法的具体实施方式。
步骤A：捡球机器人9开机启动后，安装于捡球机器人9四周的固定位置的第一红外传感器1、第二红外传感器2、第三红外传感器3、第四红外传感器4开始扫描周围环境，同时，由数字舵机控制的、可转动角度的第五红外传感器5、第六红外传感器6、第七红外传感器7也开始扫描周围环境：
（1）如果扫描到周围有障碍物，则进行相应的避障处理；如：位于右前方的第一红外传感器1检测到有障碍物存在，则第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13共同控制捡球机器人9向左旋转，直到第一红外传感器1检测范围内没有障碍物；第二红外传感器2、第三红外传感器3、第四红外传感器4、第五红外传感器5、第六红外传感器6、第七红外传感器7的工作原理类似于第一红外传感器1；其中，第五红外传感器5、第六红外传感器6、第七红外传感器7由数字舵机控制可达到扫描前方、左方、右方三个方向所占据的所有角度的效果。
（2）如果没有扫描到障碍物信息，则摄像头8在数字舵机的控制下转动到0度位置采集图像信息并将图像从RGB空间转换到HIS空间进行处理（乒乓球和网球具有不同的HIS值），如果所采集到的图像中有球体存在，则按照距离图像中心点最近的原则来确定所需捡取的球体的坐标值S（X，Y），同时，确定该球体所占据的像素点SUM，捡球机器人9将按照SUM值的大小（乒乓球、网球的SUM值的判断阈值不同）来判断所识别的球体是否属于要捡取的球体，然后，捡球机器人9将按照球体的坐标值S（X，Y）来确定球体和机器人之间的相对位置，并不断缩小该相对位置以捡取球体；如果所采集到的图像中没有球体存在，则在数字舵机的控制下调整摄像头的角度到45度位置采集图像，并根据图像处理的结果进行类似于摄像头在0度时的动作，然后在数字舵机的控制下调整摄像头的角度到90度位置采集图像并根据图像处理的结果进行上述类似动作。
步骤B：捡球机器人9在第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13的控制下向右旋转15度，进入下一个位置，然后重复进行步骤A中的动作。
步骤C：重复步骤B的动作。完成步骤A、步骤B和步骤C后，捡球机器人（9）完成了在第一个位置上三个方向的扫描障碍物、球体和捡球的任务，接着将前进到下一个位置扫描障碍物、球体并捡取球体。
步骤D：捡球机器人9在第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13的控制下前进2米，进入下一个位置，然后重复步骤A中的动作。
步骤E：捡球机器人9在第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13的控制下向左旋转15度，然后重复步骤A中的动作。
步骤F：重复步骤E的动作。完整步骤D、步骤E和步骤F后，捡球机器人9完成了在第二个位置上三个方向的扫描障碍物、球体和捡球的任务，接着前进到下一个位置扫描障碍物、球体并捡取球体。
步骤G：捡球机器人9在第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13的控制下前进2米，进入下一个位置。至此，所述基于视觉识别和多传感器数据融合的捡球方法的算法流程结束一次完整的动作，在完成步骤G的相关动作后再次开始循环执行步骤A以及后续步骤。
所述摄像头8采用USB摄像头，其中，摄像头8由数字舵机控制可在0度、45度、90度三个角度自由摆动并采集图像。
所述近红外传感器阵列由第一红外传感器1、第二红外传感器2、第三红外传感器3、第四红外传感器4、第五红外传感器5、第六红外传感器6、第七红外传感器7组成，其中，第一红外传感器1、第二红外传感器2、第三红外传感器3、第四红外传感器4为固定位置的传感器，第五红外传感器5、第六红外传感器6、第七红外传感器7为能成角度转动的传感器。上述红外传感器均采用漫反射式光电开关。
第一红外传感器1、第二红外传感器2、第三红外传感器3、第四红外传感器4摆放的方向与捡球机器人9的底盘对角线所在方向一致；第五红外传感器5、第六红外传感器6、第七红外传感器7分别位于捡球机器人9的正前方、右方和左方，分别由三个数字舵机来控制。
所述捡球机器人9的运动由四个按设定的角度安装的第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13来控制。
捡球机器人9的运动轨迹为折线形路径。
捡球机器人9的第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13与捡球机器人9的对称轴的夹角为60度。
捡球机器人9的前进速度为0.5米/秒，旋转角速度为7.5度/秒，其中，捡球机器人9每次向左或向右旋转15度所用的时间约为2秒，捡球机器人9每次前进2米所用的时间约为4秒。

Claims (9)

1.基于视觉识别和多传感器数据融合的捡球方法，其步骤为：
步骤A：通过红外传感器阵列获取周围环境信息，摄像头（8）在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤B：捡球机器人（9）向右旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，摄像头（8）在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤C：重复步骤B；
步骤D：捡球机器人（9）前进2米，进入下一个位置，通过红外传感器阵列获取周围环境信息，摄像头（8）在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤E：捡球机器人（9）向左旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，摄像头（8）在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤F：重复步骤E；
步骤G：捡球机器人（9）前进2米，进入下一个位置；至此，一次循环结束，重新开始循环执行步骤A以及后续步骤。
2.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述摄像头（8）采用USB摄像头，其中，摄像头（8）由数字舵机控制可在0度、45度、90度三个角度自由摆动并采集图像。
3.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述近红外传感器阵列由第一红外传感器（1）、第二红外传感器（2）、第三红外传感器（3）、第四红外传感器（4）、第五红外传感器（5）、第六红外传感器（6）、第七红外传感器（7）组成，其中，第一红外传感器（1）、第二红外传感器（2）、第三红外传感器（3）、第四红外传感器（4）为固定位置的传感器，第五红外传感器（5）、第六红外传感器（6）、第七红外传感器（7）为能成角度转动的传感器。
4.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述固定位置的第一红外传感器（1）、第二红外传感器（2）、第三红外传感器（3）、第四红外传感器（4）摆放的方向与捡球机器人（9）的底盘对角线所在方向一致；所述可成角度转动的第五红外传感器（5）、第六红外传感器（6）、第七红外传感器（7）分别位于捡球机器人（9）的正前方、右方和左方，分别由三个数字舵机来控制。
5.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述捡球机器人（9）的运动由四个按设定的角度安装的第一数字舵机（10）、第二数字舵机（11）、第三数字舵机（12）、第四数字舵机（13）来控制。
6.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述捡球机器人（9）的运动轨迹为折线形路径。
7.根据权利要求1所述的基于视觉识别和多传感器数据融合的捡球方法，其特征在于捡球机器人（9）的第一红外传感器（1）、第二红外传感器（2）、第三红外传感器（3）、第四红外传感器（4）、第五红外传感器（5）、第六红外传感器（6）、第七红外传感器（7）采用漫反射式光电开关。
8.根据权利要求1所述的基于视觉识别和多传感器数据融合的捡球方法，其特征在于捡球机器人（9）的第一数字舵机（10）、第二数字舵机（11）、第三数字舵机（12）、第四数字舵机（13）与捡球机器人（9）的对称轴的夹角为60度。
9.根据权利要求1所述的基于视觉识别和多传感器数据融合的捡球方法，其特征在于捡球机器人（9）的前进速度为0.5米/秒，旋转角速度为7.5度/秒，其中，捡球机器人（9）每次向左或向右旋转15度所用的时间约为2秒，捡球机器人（9）每次前进2米所用的时间约为4秒。
CN2013102941429A 2013-07-15 2013-07-15 基于视觉识别和多传感器数据融合的捡球方法 Pending CN103365292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013102941429A CN103365292A (zh) 2013-07-15 2013-07-15 基于视觉识别和多传感器数据融合的捡球方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013102941429A CN103365292A (zh) 2013-07-15 2013-07-15 基于视觉识别和多传感器数据融合的捡球方法

Publications (1)

Publication Number Publication Date
CN103365292A true CN103365292A (zh) 2013-10-23

Family

ID=49366859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013102941429A Pending CN103365292A (zh) 2013-07-15 2013-07-15 基于视觉识别和多传感器数据融合的捡球方法

Country Status (1)

Country Link
CN (1) CN103365292A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104070527A (zh) * 2014-07-15 2014-10-01 广州大学 球场捡球机器人
CN108168431A (zh) * 2017-12-29 2018-06-15 思博赛睿（北京）科技有限公司 一种基于视觉辨识的网球机器人定位系统及方法
CN109782753A (zh) * 2018-12-18 2019-05-21 江汉大学 一种收拣装置的控制方法
CN109828568A (zh) * 2019-02-15 2019-05-31 武汉理工大学 对RoboCup比赛的NAO机器人寻球步态优化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000078414A1 (de) * 1999-06-17 2000-12-28 Rudolf Linner Anlage für wettkampfspiel mit eishockeyschläger und eishockeypuck
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
EP2343106A2 (en) * 2010-01-12 2011-07-13 Foxtenn Bgreen, S.L. Method, system and apparatus for the automatic collection and delivery of spherical game elements
CN202446752U (zh) * 2012-01-11 2012-09-26 张宇航 网球收球机器人
CN102908763A (zh) * 2012-10-19 2013-02-06 广东工业大学 一种自动捡球机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000078414A1 (de) * 1999-06-17 2000-12-28 Rudolf Linner Anlage für wettkampfspiel mit eishockeyschläger und eishockeypuck
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
EP2343106A2 (en) * 2010-01-12 2011-07-13 Foxtenn Bgreen, S.L. Method, system and apparatus for the automatic collection and delivery of spherical game elements
CN202446752U (zh) * 2012-01-11 2012-09-26 张宇航 网球收球机器人
CN102908763A (zh) * 2012-10-19 2013-02-06 广东工业大学 一种自动捡球机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104070527A (zh) * 2014-07-15 2014-10-01 广州大学 球场捡球机器人
CN108168431A (zh) * 2017-12-29 2018-06-15 思博赛睿（北京）科技有限公司 一种基于视觉辨识的网球机器人定位系统及方法
CN109782753A (zh) * 2018-12-18 2019-05-21 江汉大学 一种收拣装置的控制方法
CN109828568A (zh) * 2019-02-15 2019-05-31 武汉理工大学 对RoboCup比赛的NAO机器人寻球步态优化方法
CN109828568B (zh) * 2019-02-15 2022-04-15 武汉理工大学 对RoboCup比赛的NAO机器人寻球步态优化方法

Similar Documents

Publication Publication Date Title
CN100487724C (zh) 一种快速目标识别与定位系统及方法
KR20180044279A (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
Momeni-k et al. Height estimation from a single camera view
CN109946564B (zh) 一种配网架空线路巡检数据采集方法及巡检系统
CN107665507B (zh) 基于平面检测实现增强现实的方法及装置
CN103365292A (zh) 基于视觉识别和多传感器数据融合的捡球方法
CN106863259A (zh) 一种轮式多机械手智能捡球机器人
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN105373011B (zh) 检测光电跟踪设备的实时仿真系统和计算机
CN108106617A (zh) 一种无人机自动避障方法
Lang et al. Vision based object identification and tracking for mobile robot visual servo control
Song et al. Calibration of event-based camera and 3d lidar
Liu et al. A deep-learning based multi-modality sensor calibration method for usv
Wang et al. Application of machine vision image feature recognition in 3D map construction
CN109977884A (zh) 目标跟随方法和装置
CN107229279A (zh) 双目视觉自动捡球机器人的工作方式
Wang et al. Development of a vision system and a strategy simulator for middle size soccer robot
CN107346111A (zh) 一种基于多传感器融合的智能机器人系统
KR101668649B1 (ko) 주변 환경 모델링 방법 및 이를 수행하는 장치
Silvers et al. Human machine interface in weld seam detection using an RGB-D camera
Sun et al. Vision odometer based on RGB-D camera
CN107632598A (zh) 一种具有场景记忆供的机器人
Wang et al. Agv navigation based on apriltags2 auxiliary positioning
CN112036213A (zh) 一种机器人的手势定位方法、机器人以及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131023