CN110834331A - 一种基于视觉控制的仿生机器人动作控制方法 - Google Patents
一种基于视觉控制的仿生机器人动作控制方法 Download PDFInfo
- Publication number
- CN110834331A CN110834331A CN201911097035.0A CN201911097035A CN110834331A CN 110834331 A CN110834331 A CN 110834331A CN 201911097035 A CN201911097035 A CN 201911097035A CN 110834331 A CN110834331 A CN 110834331A
- Authority
- CN
- China
- Prior art keywords
- robot
- action
- computer vision
- vision
- bionic robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 77
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 230000000875 corresponding effect Effects 0.000 claims abstract description 42
- 230000013016 learning Effects 0.000 claims abstract description 38
- 230000001276 controlling effect Effects 0.000 claims abstract description 5
- 230000009012 visual motion Effects 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于视觉控制的仿生机器人动作控制方法，其特征在于：包括以下步骤：（a）机器人电源软件开关控制；（b）操作员做出视觉动作控制仿生机器人；当电脑视觉预设模板没有与视觉动作匹配时，电脑视觉处理识别模块生成相应的电脑视觉学习模板并记录于电脑视觉处理识别模块上，操作员控制仿生机器人做出相应的动作，相关的动作数据和电脑视觉学习模板录入机器人主板上；当电脑视觉预设模板与视觉动作匹配时，电脑视觉处理识别模块生成相应的视觉控制指令，仿生机器人从机器人主板中调取动作数据进行播放。本基于视觉控制的仿生机器人动作控制方法可通过电脑视觉影像控制机器人，也可通过电脑视觉设定相对应的动作。
Description
技术领域
本发明涉及一种机器人控制系统，具体是一种基于视觉控制的仿生机器人动作控制方法。
背景技术
电脑视觉基本上就是一个可以执行多种任务的摄像头，从检测运动物体到传输带上的零件定位等等。市场上一些智能相机可以检测零件并协助机器人确定零件的位置，机器人就可以根据接收到的信息适当调整其动作；但是目前还没有完整的电脑视觉控制机器人技术（机器人可以接收电脑视觉并做出相应的动作），即现有技术不能通过电脑视觉来设定相对应的动作。
因此，需要进一步改进。
发明内容
本发明的目的在于克服上述现有技术存在的不足，而提供一种基于视觉控制的仿生机器人动作传感系统，本系统可通过电脑视觉影像控制机器人，也可通过电脑视觉设定相对应的动作。
本发明的目的是这样实现的：
一种基于视觉控制的仿生机器人动作控制方法，其特征在于：
包括以下步骤：
（a）机器人电源软件开关控制，电脑视觉处理识别模块识别操作员的开关动作后生成相应的动作开关指令，并发送至仿生机器人上，仿生机器人根据接收到的动作开关指令打开机械部分总电源、机器人右手电源开关和/或机器人左手电源开关；
（b）操作员做出视觉动作控制仿生机器人；
当记录于机器人主板上的电脑视觉预设模板没有与视觉动作匹配时，仿生机器人进入“记录电脑视觉控制动作”功能：电脑视觉处理识别模块根据视觉动作生成相应的电脑视觉学习模板并记录于电脑视觉处理识别模块上，然后匹配出相应的视觉学习指令发送至仿生机器人上，仿生机器人进入记录动作模式并做出相应的动作，相关的动作数据和电脑视觉学习模板录入机器人主板上；
当记录于机器人主板上的一个以上电脑视觉预设模板和/或电脑视觉学习模板与视觉动作匹配时，仿生机器人进入“识别电脑视觉控制动作”功能：电脑视觉处理识别模块识别视觉动作后生成相应的视觉控制指令，并发送至仿生机器人上，仿生机器人从机器人主板中调取与所述视觉控制指令匹配的动作数据进行播放。
所述操作员头部佩戴有头部控制器，头部控制器上设置有头部通讯模块，所述视觉学习指令和/或视觉控制指令通过头部通讯模块发送至仿生机器人上；所述头部通讯模块通过5G信号、WIFI或蓝牙与仿生机器人沟通互联。
所述电脑视觉学习模板以电脑视觉处理识别模块匹配出的视觉学习指令来命名相应的动作名称，并把相应的动作数据存储于机器人主板上。
所述机器人主板与云端沟通互联，所述电脑视觉学习模板和/或电脑视觉预设模板上传至云端。
所述机器人主板从所在的主板内存和/或云端查找与视觉动作相匹配的电脑视觉学习模板和/或电脑视觉预设模板。
所述机器人主板上预先录入有用于控制机器人电源软件开关的电源电脑视觉模板；所述开关动作为与电源电脑视觉模板对应的动作。
本发明的有益效果如下：
仿生机器人可做出与编程内电脑视觉预设模板相应的动作，同时可做出编程外电脑视觉学习模板相应的工作，操作员只要做出预先录制或之前录制的视觉动作就可以控制仿生机器人做出相应的动作；对电脑视觉学习模板的学习如下，首先电脑视觉处理识别模块记录并生成视觉学习指令，然后输入与视觉学习指令匹配的视觉动作，完成视觉动作后机器人主板录入，当下次操作员再次输入上述视觉学习指令时，仿生机器人就根据学习记录做出相应的动作；可见，通过本控制方法可使电脑视觉指令无限扩展，而且操作简单方便。机器人主板与云端沟通互联，各电脑视觉模板可上传至云端，当有需要的时候不同的机器人主板可以随意下载需要的电脑视觉模板。本控制方法中，电脑视觉的数据处理、动作匹配的数据处理、及编程的动作分别存储于机器人主板上，进而可通过视觉控制系统控制仿生机器人动作。
此外，现有的机器人动作控制方法在应用过程中往往容易出现以下问题：当需要控制机器人时，所有指令都必须通过控制器生成，在这种情况下，手拿式控制器一般不影响对触屏的操作，但如果是靠动作传感来控制机器人动作的穿戴式控制器（尤其是手套控制器，该手套控制器的指套上一般设置有传感器）就很难实现边做动作边用手指在触屏上输入指令（若触屏类型是电容感应的，那就还需要把手套控制器脱下来才能使用触屏，否则触屏就不会感应得到相关的接触）。通过对本基于视觉控制的仿生机器人动作控制方法的应用可很好的解决上述问题，使机器人的控制更具人性化，操作更加方便。
附图说明
图1为本发明一实施例的原理图。
具体实施方式
下面结合附图及实施例对本发明作进一步描述。
参见图1，本基于视觉控制的仿生机器人动作控制方法， 包括以下步骤：
（a）机器人电源软件开关控制，电脑视觉处理识别模块识别操作员的开关动作后生成相应的动作开关指令，并发送至仿生机器人上，仿生机器人根据接收到的动作开关指令打开机械部分总电源、机器人右手电源开关和/或机器人左手电源开关；
（b）操作员做出视觉动作控制仿生机器人；
当记录于机器人主板上的电脑视觉预设模板没有与视觉动作匹配时，仿生机器人进入“记录电脑视觉控制动作”功能：电脑视觉处理识别模块根据视觉动作生成相应的电脑视觉学习模板并记录于电脑视觉处理识别模块上，然后匹配出相应的视觉学习指令发送至仿生机器人上，仿生机器人进入记录动作模式并做出相应的动作，相关的动作数据和电脑视觉学习模板录入机器人主板的主板内存上；
当记录于机器人主板上的一个以上电脑视觉预设模板和/或电脑视觉学习模板与视觉动作匹配时，仿生机器人进入“识别电脑视觉控制动作”功能：电脑视觉处理识别模块识别视觉动作后生成相应的视觉控制指令，并发送至仿生机器人上，仿生机器人从机器人主板（主板内存）中调取与所述视觉控制指令匹配的动作数据进行播放。
进一步地，操作员头部佩戴有头部控制器，头部控制器上设置有头部通讯模块，视觉学习指令和/或视觉控制指令通过头部通讯模块发送至仿生机器人上；头部通讯模块通过5G信号、WIFI或蓝牙等通讯技术与仿生机器人上的机器人主板（机器人主板上设置有通讯模块）沟通互联。
进一步地，电脑视觉学习模板以电脑视觉处理识别模块匹配出的视觉学习指令来命名相应的动作名称，并把相应的动作数据存储于机器人主板上。
进一步地，机器人主板通过通讯模块与云端沟通互联，电脑视觉学习模板和/或电脑视觉预设模板分别上传至云端，不同的仿生机器人可随时调取所需的语音模板使用，实现视觉动作共享，避免了同一视觉动作需要进行多次学习的尴尬现象。
进一步地，视觉控制过程中，机器人主板从所在的主板内存和云端查找与视觉动作相匹配的电脑视觉学习模板和电脑视觉预设模板，克服了传统视觉控制机器人技术的局限性。
进一步地，机器人主板上预先录入有用于控制机器人电源软件开关的电源电脑视觉模板；开关动作为与电源电脑视觉模板对应的动作，及操作员可通过固定的开关动作打开或关闭机器人电源软件开关；当然，操作员还可通过上述“记录电脑视觉控制动作”功能重新定义开关动作，使本视觉控制更加个性化。
进一步地，参见图1：
“电脑视觉影像录入”和“电脑视觉处理”部分用到电脑视觉处理识别模块；
“头部控制器对电脑视觉模块的指令进行功能选择”是通过电脑视觉处理识别模块发送的指令对机器人主板实现控制；电脑视觉模块用于采集操作员所做出的视觉动作。
“机器人电源软件开关控制”包括仿生机器人触摸屏上的机械部分总电源的开关控制、机器人右手电源开关的开关控制和机器人左手电源开关的开关控制；
“记录电脑视觉控制动作”是录制操作员做出的视觉动作，然后通过动作传感编程动作生成相应的动作数据，并记录在机器人主板的主板内存上；
“识别电脑视觉控制动作”是通过视觉来控制仿生机器人做出相应的动作，视觉动作和与之对应的动作数据记录于主板内存或从云端下载。
上述为本发明的优选方案，显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域的技术人员应该了解本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。
Claims (6)
1.一种基于视觉控制的仿生机器人动作控制方法，其特征在于：
包括以下步骤：
(a)机器人电源软件开关控制，电脑视觉处理识别模块识别操作员的开关动作后生成相应的动作开关指令，并发送至仿生机器人上，仿生机器人根据接收到的动作开关指令打开机械部分总电源、机器人右手电源开关和/或机器人左手电源开关；
(b)操作员做出视觉动作控制仿生机器人；
当记录于机器人主板上的电脑视觉预设模板没有与视觉动作匹配时，仿生机器人进入“记录电脑视觉控制动作”功能：电脑视觉处理识别模块根据视觉动作生成相应的电脑视觉学习模板并记录于电脑视觉处理识别模块上，然后匹配出相应的视觉学习指令发送至仿生机器人上，仿生机器人进入记录动作模式并做出相应的动作，相关的动作数据和电脑视觉学习模板录入机器人主板上；
当记录于机器人主板上的一个以上电脑视觉预设模板和/或电脑视觉学习模板与视觉动作匹配时，仿生机器人进入“识别电脑视觉控制动作”功能：电脑视觉处理识别模块识别视觉动作后生成相应的视觉控制指令，并发送至仿生机器人上，仿生机器人从机器人主板中调取与所述视觉控制指令匹配的动作数据进行播放。
2.根据权利要求1所述基于视觉控制的仿生机器人动作控制方法，其特征在于：所述操作员头部佩戴有头部控制器，头部控制器上设置有头部通讯模块，所述视觉学习指令和/或视觉控制指令通过头部通讯模块发送至仿生机器人上；所述头部通讯模块通过5G信号、WIFI或蓝牙与仿生机器人沟通互联。
3.根据权利要求1所述基于视觉控制的仿生机器人动作控制方法，其特征在于：所述电脑视觉学习模板以电脑视觉处理识别模块匹配出的视觉学习指令来命名相应的动作名称，并把相应的动作数据存储于机器人主板上。
4.根据权利要求1所述基于视觉控制的仿生机器人动作控制方法，其特征在于：所述机器人主板与云端沟通互联，所述电脑视觉学习模板和/或电脑视觉预设模板上传至云端。
5.根据权利要求4所述基于视觉控制的仿生机器人动作控制方法，其特征在于：所述机器人主板从所在的主板内存和/或云端查找与视觉动作相匹配的电脑视觉学习模板和/或电脑视觉预设模板。
6.根据权利要求1所述基于视觉控制的仿生机器人动作控制方法，其特征在于：所述机器人主板上预先录入有用于控制机器人电源软件开关的电源电脑视觉模板；所述开关动作为与电源电脑视觉模板对应的动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911097035.0A CN110834331A (zh) | 2019-11-11 | 2019-11-11 | 一种基于视觉控制的仿生机器人动作控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911097035.0A CN110834331A (zh) | 2019-11-11 | 2019-11-11 | 一种基于视觉控制的仿生机器人动作控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110834331A true CN110834331A (zh) | 2020-02-25 |
Family
ID=69574932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911097035.0A Pending CN110834331A (zh) | 2019-11-11 | 2019-11-11 | 一种基于视觉控制的仿生机器人动作控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110834331A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839040A (zh) * | 2012-11-27 | 2014-06-04 | 株式会社理光 | 基于深度图像的手势识别方法和装置 |
| CN105291093A (zh) * | 2015-11-27 | 2016-02-03 | 深圳市神州云海智能科技有限公司 | 一种家用机器人系统 |
| CN106826838A (zh) * | 2017-04-01 | 2017-06-13 | 西安交通大学 | 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法 |
| CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制系统及方法 |
| CN108297098A (zh) * | 2018-01-23 | 2018-07-20 | 上海大学 | 人工智能驱动的机器人控制系统及方法 |
| US20180250829A1 (en) * | 2015-08-25 | 2018-09-06 | Kawasaki Jukogyo Kabushiki Kaisha | Remote control robot system |
| CN109333544A (zh) * | 2018-09-11 | 2019-02-15 | 厦门大学 | 一种观众参与的提线木偶表演的人偶交互方法 |
-
2019
- 2019-11-11 CN CN201911097035.0A patent/CN110834331A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839040A (zh) * | 2012-11-27 | 2014-06-04 | 株式会社理光 | 基于深度图像的手势识别方法和装置 |
| US20180250829A1 (en) * | 2015-08-25 | 2018-09-06 | Kawasaki Jukogyo Kabushiki Kaisha | Remote control robot system |
| CN105291093A (zh) * | 2015-11-27 | 2016-02-03 | 深圳市神州云海智能科技有限公司 | 一种家用机器人系统 |
| CN106826838A (zh) * | 2017-04-01 | 2017-06-13 | 西安交通大学 | 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法 |
| CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制系统及方法 |
| CN108297098A (zh) * | 2018-01-23 | 2018-07-20 | 上海大学 | 人工智能驱动的机器人控制系统及方法 |
| CN109333544A (zh) * | 2018-09-11 | 2019-02-15 | 厦门大学 | 一种观众参与的提线木偶表演的人偶交互方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴伟国: "《面向地面及空间技术的仿生机器人与智能运动控制》", 哈尔滨工业大学出版社, pages: 60 - 65 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7353082B2 (en) | Method and a system for programming an industrial robot | |
| CN104936748B (zh) | 徒手机器人路径教导 | |
| US7653458B2 (en) | Robot device, movement method of robot device, and program | |
| KR101860200B1 (ko) | 카메라를 이용한 장치 또는 물체의 선택 | |
| JPH04344503A (ja) | ロボットの数値制御装置 | |
| CN109571513B (zh) | 一种沉浸式移动抓取服务机器人系统 | |
| CN107756398B (zh) | 机器人视觉引导方法、装置及设备 | |
| JP2020135623A (ja) | 物体検出装置、制御装置及び物体検出用コンピュータプログラム | |
| Gourob et al. | A robotic hand: Controlled with vision based hand gesture recognition system | |
| CN105511603A (zh) | 设备控制方法和装置 | |
| CN110363811B (zh) | 用于抓取设备的控制方法、装置、存储介质及电子设备 | |
| KR20180081773A (ko) | 산업적 시설을 제어하기 위한 응용프로그램들의 단순화된 변경을 위한 방법 | |
| CN109877828A (zh) | 机器点位调试方法、装置、计算机设备和存储介质 | |
| CN110834331A (zh) | 一种基于视觉控制的仿生机器人动作控制方法 | |
| CN106774178B (zh) | 一种自动化控制系统及方法、机械设备 | |
| CN109213101B (zh) | 一种机器人系统下预处理的方法及系统 | |
| EP3411195B1 (en) | Controlling an industrial robot using interactive commands | |
| Shaikh et al. | Voice assisted and gesture controlled companion robot | |
| CN110162204B (zh) | 触发设备功能的方法、装置以及控制进行图像捕获的方法 | |
| US11288470B2 (en) | Scanning device and method of automatically triggering operation through specific motion trajectory | |
| CN116685916A (zh) | 示教装置 | |
| CN110788860A (zh) | 一种基于语音控制的仿生机器人动作控制方法 | |
| US10885335B2 (en) | Electronic device and controlling method thereof | |
| CN114683267A (zh) | 标定方法、装置、电子设备和存储介质 | |
| JP2022076572A5 (zh) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200225 |