CN111002349A - 一种机器人跟随转向方法及采用该方法的机器人系统 - Google Patents

一种机器人跟随转向方法及采用该方法的机器人系统 Download PDF

Info

Publication number
CN111002349A
CN111002349A CN201911282942.2A CN201911282942A CN111002349A CN 111002349 A CN111002349 A CN 111002349A CN 201911282942 A CN201911282942 A CN 201911282942A CN 111002349 A CN111002349 A CN 111002349A
Authority
CN
China
Prior art keywords
robot
image
neural network
target object
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911282942.2A
Other languages
English (en)
Inventor
尚鹏
侯增涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911282942.2A priority Critical patent/CN111002349A/zh
Publication of CN111002349A publication Critical patent/CN111002349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机器人控制领域，具体涉及一种机器人跟随转向方法及采用该方法的机器人系统。其方法通过图像三分法判定机器人需要面对的方向，即把一副图像平分成左、中、右三部分，当需要跟随的目标物出现在哪一部分，机器人就转向该方向，直至目标物处于图像中间部分，即机器人前方。避免了超声定位时声波被周围物体反射，影响定位准确性。采用预先通过神经网络，训练生成.pb格式的人工智能模型再部署到机器人硬件中，以提高对目标物的判断准确性且同时该机器人系统采用外接算力的方式提高了硬件的计算速度的判断能力。

Description

一种机器人跟随转向方法及采用该方法的机器人系统
技术领域
本发明涉及机器人控制领域，具体涉及一种机器人跟随转向方法及采用该方法的机器人系统。
背景技术
目前，机器人跟随转向主要靠主动控制转向或预设轨道转向，很少有依靠机器人自身判断跟随对象的转向情况来跟着转向的成功案例。有文献记载用超声波发射器作为引导源控制机器人转向的案例，它主要利用的是三角测距原理，机器人身上装两个相隔一定距离的超声波接收器，使用者手持引导源，当其朝左运动时，左侧接收器测出的距离会小于右侧的，从而机器人判定使用者朝左转了，自身也朝左转，直到引导源位于两个接收器中间为止。由于超声波属于声波范畴，很容易被周围物体反射，影响定位准确性，特别是在室内，基本没法使用。
对于目标物的识别，现有技术在机器人上也做了很多的尝试，但受限于机器人自动转向的程序的复杂和嵌入式硬件的计算能力，识别速度很慢，具有明显的滞后性，以典型的嵌入式硬件--树莓派3为例，视觉判断滞后5s以上，难以胜任实时跟随的任务，现有技术存在不足。
发明内容
本发明了基于单个摄像头对图像的实时采集，从软件和硬件两个方面同时入手对实时图像进行目标物识别判断，解决在不降低识别准确性的前提下，提高机器人的视觉判断和机器人跟随速度的技术问题。
本发明提供一种机器人跟随转向方法，将摄像头设置于所述机器人前部并持续采集前方的图像；包括以下步骤：
s1、将摄像头采集到的图像在水平方向上均分为三个区域；
s2、识别所述图像中是否存在的目标物；若存在，计算所述目标物的中心在所述图像中的位置；
s3、当所述目标物的中心在所述图像中的左侧1/3位置区域时，机器人向左转；当所述目标物的中心在所述图像中的右侧1/3位置区域时，机器人向右转；当所述目标物的中心进入所述图像的中间1/3位置区域时，机器人停止旋转。
本发明还提供一种自动跟随转向的机器人系统，将摄像头设置于所述机器人前部并持续采集前方的图像；其特征在于，还包括与所述摄像头电连接的嵌入式硬件系统、接受所述嵌入式硬件系统控制驱动机器人转向的运动执行机构、通过外部接口接入所述嵌入式硬件系统的神经网络计算棒；
所述嵌入式硬件系统将所述摄像头采集到的图像在水平方向上均分为三个区域；
所述嵌入式硬件系统通过所述神经网络计算棒识别所述图像中是否存在的目标物；若存在，计算所述目标物的中心在所述图像中的位置；
所述嵌入式硬件系统驱动所述运动执行机构，当所述目标物的中心在所述图像中的左侧1/3位置区域时，机器人向左转；当所述目标物的中心在所述图像中的右侧1/3位置区域时，机器人向右转；当所述目标物的中心进入所述图像的中间1/3位置区域时，机器人停止旋转。
与现有技术比较本发明的有益效果在于：
本发明通过图像三分法判定机器人需要面对的方向，即把一副图像平分成左、中、右三部分，当需要跟随的目标物出现在哪一部分，机器人就转向该方向，直至目标物处于图像中间部分，即机器人前方。避免了超声定位时声波被周围物体反射，影响定位准确性。采用预先通过神经网络，训练生成.pb格式的人工智能模型再部署到机器人硬件中，以提高对目标物的判断准确性且同时采用外接算力的方式提高了机器人系统的计算速度的判断能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中具体流程的框架结构示意图；
图2为本发明实施例2中机器人系统的结构示意图；
图3为本发明实施例1中跟随转向方法的主要流程示意图。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
实施例1
一种机器人跟随转向方法，将摄像头设置于机器人前部并持续采集前方的图像；包括以下步骤：
s1、将摄像头采集到的图像在水平方向上均分为三个区域；
s2、识别图像中是否存在的目标物；若存在，计算目标物的中心在图像中的位置；
s3、当目标物的中心在图像中的左侧1/3位置区域时，机器人向左转；当目标物的中心在图像中的右侧1/3位置区域时，机器人向右转；当目标物的中心进入图像的中间1/3位置区域时，机器人停止旋转。
采用视觉定向方式对目标物行进方向判断能准确反应目标物方位且反应速度快。同时，左右方向的定义通过中间带隔离，也能够避免了机器人扰动并对摄像头的数量没有特殊要求，仅依靠单目摄像头实现跟随目标物转向。
在优选的实施例中，采用将图像在水平方向上划分为三个以上的区域以减小每个区域的宽度，有助于提高目标物在机器人前方位置的分辨精度，增加机器人跟随转向的准确性。
优选的，步骤s2中目标物由预先在台式机上利用人工智能算法对不同环境下采集的目标物图片进行训练，生成的.pb神经网络模型对图像进行识别得到。将人工智能模型的训练和使用分开，有效提高人工智能模型在机器人上的可用性。
优选的，步骤s1至步骤s3采用外接的神经网络计算棒负责神经网络模型的计算。
优选的，将生成的.pb神经网络模型的模型文件在台式机上转化为.bin和.xml组合的模型文件，优化编译后部署到外接有神经网络计算棒和摄像头的嵌入式硬件中。
优选的，优化编译采用OpenVINO软件。
优选的，步骤s2中，通过python环境运行.bin和.xml组合的模型文件，对目标物进行实时识别。
实施例2
本发明还提供一种采用上述自动跟随转向方法的机器人系统，将摄像头设置于机器人前部并持续采集前方的图像；还包括与摄像头电连接的嵌入式硬件系统、接受嵌入式硬件系统控制驱动机器人转向的运动执行机构、通过外部接口接入嵌入式硬件系统的神经网络计算棒；
嵌入式硬件系统将摄像头采集到的图像在水平方向上均分为三个区域；
嵌入式硬件系统通过神经网络计算棒识别图像中是否存在的目标物；若存在，计算目标物的中心在图像中的位置；
嵌入式硬件系统驱动运动执行机构，当目标物的中心在图像中的左侧1/3位置区域时，机器人向左转；当目标物的中心在图像中的右侧1/3位置区域时，机器人向右转；当目标物的中心进入图像的中间1/3位置区域时，机器人停止旋转。
采用摄像头与切入式硬件系统搭配来实现视觉定向，能准确反应目标物方位且反应速度快。同时，左右方向的定义通过中间带隔离，也能够避免了机器人扰动并对摄像头的数量没有特殊要求，仅依靠单目摄像头实现跟随目标物转向。
优选的，嵌入式硬件系统通过USB接口接入神经网络计算棒，结构简单易行，且神经网络计算棒可以有效的补充切入式硬件系统计算能力有限的缺陷，提高识别和计算的速度。
优选的，神经网络计算棒用于神经网络模型的计算。
优选的，摄像头为单目摄像头。
在上述实施例中，本发明的方法及其系统分别如图1和2所示，所涉及的方法可以细化为8个步骤，分别为：1.目标物图片采集；2.台式机训练生成.pb模型；3.pb模型优化编译成.xml和.bin组合模型；4.部署到嵌入式系统中；5.通过Python环境运行模型；6.对摄像头采集到的图像进行目标物识别；7.图像三分法判定目标物所处方向；8机器人跟随转向。
具体的，如图1所示，采集到一定数量的目标物图片后，放到性能强劲的台式机上通过tensorflow训练神经网络，生成.pb格式的人工智能模型，然后再利用intel公司的OpenVINO软件进行优化编译，把.pb模型文件转化为.bin和.xml组合的模型文件，接着部署优化编译后的模型文件到插有神经网络计算棒和摄像头的嵌入式硬件系统中，通过python环境运行模型，并调用摄像头进行目标物实时识别，当识别到目标物时，用图像三分法判定方向，把一副图像平分成左、中、右三部分，计算其中心在图像中的位置，当目标物在图像中的左侧1/3位置区域时，机器人向左转，当目标物在图像中的右侧1/3位置区域时，机器人向右转，直到目标物进入中间1/3位置区域为止才停止旋转。与该方法配合的机器人系统由目标物和机器人组成，如图2所示，包括：目标物、摄像头、嵌入式硬件系统、神经网络计算棒和运动执行机构。目标物贴在使用者身上，摄像头负责实时采集图像，嵌入式硬件系统负责控制摄像头和运动执行机构，并将摄像头传来的图像传递给神经网络计算棒处理和识别，当识别完成后，神经网络计算棒会将目标物在图像中的像素位置回传给嵌入式硬件系统，嵌入式硬件系统利用图像三分法根据目标物在图像中的像素位置来决定机器人的转向，并控制运动执行机构做相应的动作。
本申请通过图像三分法来决定机器人的转向，使基于单目摄像头的机器人实时跟随转向成为可能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机器人跟随转向方法，将摄像头设置于所述机器人前部并持续采集前方的图像；其特征在于，包括以下步骤：
s1、将摄像头采集到的图像在水平方向上均分为三个区域；
s2、识别所述图像中是否存在的目标物；若存在，计算所述目标物的中心在所述图像中的位置；
s3、当所述目标物的中心在所述图像中的左侧1/3位置区域时，机器人向左转；当所述目标物的中心在所述图像中的右侧1/3位置区域时，机器人向右转；当所述目标物的中心进入所述图像的中间1/3位置区域时，机器人停止旋转。
2.如权利要求1所述的机器人跟随转向方法，其特征在于，所述步骤s2中所述目标物由预先在台式机上利用人工智能算法对不同环境下采集的目标物图片进行训练，生成的.pb神经网络模型对所述图像进行识别得到。
3.如权利要求2所述的机器人跟随转向方法，其特征在于，所述步骤s1至步骤s3采用外接的神经网络计算棒负责神经网络模型的计算。
4.如权利要求3所述的机器人跟随转向方法，其特征在于，将生成的所述.pb神经网络模型的模型文件在台式机上转化为.bin和.xml组合的模型文件，优化编译后部署到外接有所述神经网络计算棒和摄像头的嵌入式硬件中。
5.如权利要求4所述的机器人跟随转向方法，其特征在于，所述优化编译采用OpenVINO软件。
6.如权利要求4所述的机器人跟随转向方法，其特征在于，所述步骤s2中，通过python环境运行.bin和.xml组合的模型文件，对所述目标物进行实时识别。
7.一种自动跟随转向的机器人系统，将摄像头设置于所述机器人前部并持续采集前方的图像；其特征在于，还包括与所述摄像头电连接的嵌入式硬件系统、接受所述嵌入式硬件系统控制驱动机器人转向的运动执行机构、通过外部接口接入所述嵌入式硬件系统的神经网络计算棒；
所述嵌入式硬件系统将所述摄像头采集到的图像在水平方向上均分为三个区域；
所述嵌入式硬件系统通过所述神经网络计算棒识别所述图像中是否存在的目标物；若存在，计算所述目标物的中心在所述图像中的位置；
所述嵌入式硬件系统驱动所述运动执行机构，当所述目标物的中心在所述图像中的左侧1/3位置区域时，机器人向左转；当所述目标物的中心在所述图像中的右侧1/3位置区域时，机器人向右转；当所述目标物的中心进入所述图像的中间1/3位置区域时，机器人停止旋转。
8.如权利要求7所述的机器人系统，其特征在于，所述所述嵌入式硬件系统通过USB接口接入所述神经网络计算棒。
9.如权利要求8所述的机器人系统，其特征在于，所述神经网络计算棒用于神经网络模型的计算。
10.如权利要求9所述的机器人系统，其特征在于，所述摄像头为单目摄像头。
CN201911282942.2A 2019-12-13 2019-12-13 一种机器人跟随转向方法及采用该方法的机器人系统 Pending CN111002349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911282942.2A CN111002349A (zh) 2019-12-13 2019-12-13 一种机器人跟随转向方法及采用该方法的机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911282942.2A CN111002349A (zh) 2019-12-13 2019-12-13 一种机器人跟随转向方法及采用该方法的机器人系统

Publications (1)

Publication Number Publication Date
CN111002349A true CN111002349A (zh) 2020-04-14

Family

ID=70115584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911282942.2A Pending CN111002349A (zh) 2019-12-13 2019-12-13 一种机器人跟随转向方法及采用该方法的机器人系统

Country Status (1)

Country Link
CN (1) CN111002349A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597821A (zh) * 2020-12-11 2021-04-02 齐鲁工业大学 一种机械臂动作识别方法、系统、终端及存储介质
CN113500596A (zh) * 2021-07-07 2021-10-15 上海建工七建集团有限公司 动火作业辅助机器人系统及其监控方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102431034A (zh) * 2011-09-05 2012-05-02 天津理工大学 基于颜色识别的机器人追踪方法
WO2017201023A1 (en) * 2016-05-20 2017-11-23 Google Llc Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment
CN109164802A (zh) * 2018-08-23 2019-01-08 厦门理工学院 一种机器人迷宫行走方法、装置及机器人
CN113192107A (zh) * 2021-05-06 2021-07-30 上海锵玫人工智能科技有限公司 一种目标识别追踪方法及机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102431034A (zh) * 2011-09-05 2012-05-02 天津理工大学 基于颜色识别的机器人追踪方法
WO2017201023A1 (en) * 2016-05-20 2017-11-23 Google Llc Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment
CN109164802A (zh) * 2018-08-23 2019-01-08 厦门理工学院 一种机器人迷宫行走方法、装置及机器人
CN113192107A (zh) * 2021-05-06 2021-07-30 上海锵玫人工智能科技有限公司 一种目标识别追踪方法及机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TANGARF: "《使用神经计算棒二代在OpenVino下推理基于Keras转换的TensorFlow 模型》", 8 January 2019 *
天然玩家: "《Tensorflow训练神经网络保存*.pb模型及载入*.pb模型》", 23 March 2019 *
董慧颖: "《典型目标识别与图像除雾技术》", 31 October 2016 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597821A (zh) * 2020-12-11 2021-04-02 齐鲁工业大学 一种机械臂动作识别方法、系统、终端及存储介质
CN113500596A (zh) * 2021-07-07 2021-10-15 上海建工七建集团有限公司 动火作业辅助机器人系统及其监控方法

Similar Documents

Publication Publication Date Title
WO2022188379A1 (zh) 服务于电力机器人的人工智能系统及方法
CN104503450B (zh) 实现智能化越障的服务机器人
CN104898662B (zh) 一种实现智能化越障的服务机器人
US8060272B2 (en) System and method for image mapping and visual attention
US10659670B2 (en) Monitoring system and control method thereof
CN105760824A (zh) 一种运动人体跟踪方法和系统
CN112589232A (zh) 一种基于独立纠偏型深度学习的焊缝跟踪方法及装置
CN110648319B (zh) 基于双相机的设备图像采集诊断系统及方法
CN111002349A (zh) 一种机器人跟随转向方法及采用该方法的机器人系统
CN105759650A (zh) 一种用于智能机器人系统实时跟踪人脸的方法
CN106371459A (zh) 目标跟踪方法及装置
CN116934719B (zh) 一种用于带式输送设备的自动检测系统
Xiao et al. A novel visual guidance framework for robotic welding based on binocular cooperation
CN107403437A (zh) 机器人跟踪物体的方法、装置及机器人
CN117021059A (zh) 采摘机器人及其果实定位方法、装置、电子设备及介质
CN205490869U (zh) 运动目标捕捉与跟踪设备
CN112683266A (zh) 机器人及其导航方法
Zhou et al. Visual servo control system of 2-DOF parallel robot
CN112509138B (zh) 一种基于lcos的室内抹灰机器人高精度三维重建系统
CN211028657U (zh) 一种智能焊接机器人系统
CN204241962U (zh) 实现智能化越障的服务机器人
Grigorescu et al. Controlling Depth Estimation for Robust Robotic Perception
CN112605990A (zh) 一种机器人视觉控制方法和系统
KR20210115842A (ko) 인공지능 영상처리로 사용자를 인식하고 추종하는 이동체 장치 및 동작방법
CN112578909B (zh) 设备交互的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200414

RJ01 Rejection of invention patent application after publication