CN206200967U - 机器人目标定位追随系统 - Google Patents
机器人目标定位追随系统 Download PDFInfo
- Publication number
- CN206200967U CN206200967U CN201621046734.4U CN201621046734U CN206200967U CN 206200967 U CN206200967 U CN 206200967U CN 201621046734 U CN201621046734 U CN 201621046734U CN 206200967 U CN206200967 U CN 206200967U
- Authority
- CN
- China
- Prior art keywords
- controller
- robot
- module
- motion
- target positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
Abstract
本实用新型公开了一种机器人目标定位追随系统，包括视觉模组、麦克风阵列模组、主控制器、运动控制器、脖子转动伺服舵机和底盘转动伺服舵机，其中，视觉模组、麦克风阵列模组和运动控制器分别连接主控制器，脖子转动伺服舵机和底盘转动伺服舵机分别连接运动控制器。本实用新型结合声源定位以及人工视觉解决定位精度低的问题，可以实现连续定位，进而控制机器人的脖子或者底盘转动，达到正面面向目标人脸的目的，提升交互的人性化和智能性。
Description
技术领域
本实用新型涉及机器人，尤其涉及一种基于声源定位和双目视觉的机器人目标定位追随系统。
背景技术
随着技术的日益发展，人们对机器人尤其是服务型机器人的智能性要求越来越高，不仅要求能听会说能动，还要能准确的知道人的方位，这样就可以转向说话人，增强人机交互的智能性。
目前的机器人定位大多是基于麦克风阵列的声源定位系统。声源定位的基本原理，就是将采集声音信号的传声器在空间上布成一定拓扑结构的接收阵列，传声器工作在被动接收的状态下，接收来自目标声场的声音信息并采用一定的算法对声源信号进行处理，从而估计出目标声源在空间上的位置和运动速度等信息。声波到达传声器阵列中各个阵元的时间和角度不同，则导致不同阵元之间接收到的声音信号在时间上存在差值，即通常所说的时间延时。声源定位技术正是利用对这些时延信息进行处理，最后估算出声源的位置和方向信息，即实现声源定位。
目前声源定位的缺陷一是无法做到精确定位，大概在10度左右的精度，二是定位技术手段单一，只能依靠声音，连续定位需要人不停的说话。三是在嘈杂的环境下，定位效果很差。
发明内容
发明目的：本实用新型针对现有技术存在的问题，提供一种机器人目标定位追随系统，该系统结合声源定位以及人工视觉解决定位精度低的问题，可以实现连续定位，进而控制机器人的脖子或者底盘转动，达到正面面向目标人脸的目的，提升交互的人性化和智能性。
技术方案：本实用新型所述的机器人目标定位追随系统，包括视觉模组、麦克风阵列模组、主控制器、运动控制器、脖子转动伺服舵机和底盘转动伺服舵机，其中，视觉模组、麦克风阵列模组和运动控制器分别连接主控制器，脖子转动伺服舵机和底盘转动伺服舵机分别连接运动控制器。
进一步的，所述视觉模组和麦克风阵列模组分别通过串口/USB/I2C连接主控制器，运动控制器通过RS422串口连接主控制器，脖子转动伺服舵机和底盘转动伺服舵机分别通过RS485总线连接运动控制器。
进一步的，所述视觉模组安装于机器人眼部上方，麦克风阵列模组安装于机器人头顶部，主控制器和运动控制器安装于机器人头内，脖子转动伺服舵机安装于机器人头部下方，用于机器人头部的俯仰动作和转动动作控制，底盘转动伺服舵机安装于机器人脚底，用于机器人整体的转动动作控制。
进一步的，所述视觉模组具体为单摄像头模组或双摄像头模组。
进一步的，所述麦克风阵列模组为五麦克风阵列或四麦克风阵列。
有益效果：本实用新型与现有技术相比，其显著优点是：
1、定位技术双重保障，麦克风定位主要是触发以及粗定位，粗定位以及试探后可以把人脸定在摄像头的视场范围内，进而依靠视觉进行自动连续定位。
2、麦克风阵列定位360度无死角。
3、借助视觉定位可以做到更精细，因为视觉人脸检测的精度是像素级的，远远高于声源定位的精度，弥补不足。
4、脖子和底盘结合的转动方式，目标人在身前时，使用脖子转动，目标人在身后时，使用底盘转动，精细定位时再依靠脖子转动进行微矫正，更具智能性，更拟人。
5、在现有技术声源定位10度左右的误差的情形下，采用左右转动试探的方式，进行扫描，可以基本排除人脸在视场边缘未被检出的情况，有效降低漏检率。
附图说明
图1是本实用新型的一个实施例的系统框图；
图2是本实用新型的实体机器人头部示意图；
图3是本实用新型的实体机器人颈部示意图；
图4是本图3的侧视图；
图5是本实用新型的实体机器人的整体示意图；
图6是本实用新型的工作原理流程图。
具体实施方式
如图1所示，本实施例的机器人目标定位追随系统包括视觉模组1、麦克风阵列模组2、主控制器3、运动控制器4、脖子转动伺服舵机5和底盘转动伺服舵机6。其中，视觉模组1和麦克风阵列模组2分别通过串口/USB/I2C连接主控制器3，运动控制器通过RS422串口连接主控制器3，脖子转动伺服舵机5和脖子转动伺服舵机6分别通过RS485总线连接运动控制器4。主控制器3具体为ARM Cortex-A17架构处理器。运动控制器4具体为ST的MCU。
如图2所示，视觉模组1具体为双摄像头模组(也可以为单摄像头模组)，安装于机器人眼部上方，视觉模组1可以得到视场范围内的物体的深度信息，进行人脸检测进而得到人脸的位置信息，深度信息结合人脸的位置可以得到人脸距离机器人本体的距离。麦克风阵列模组2具体为五麦克风阵列(也可以为四麦克风阵列)，安装于机器人头顶部，麦克风阵列模组可以在采集到周围的声音，并且实时向主控制器3输出声源在水平面的角度，可以得到0到360度范围的角度，这个角度的起始点是根据麦克风的位置摆放人为定义的，可以定义机器人正前方为90度，向左减小，向右增大，角度范围0～360。主控制器3和运动控制器4安装于机器人头内。如图3和图4所示，脖子转动伺服舵机5安装于机器人头部下方，用于机器人头部的俯仰动作和转动动作控制(上方的舵机负责俯仰，下方的舵机负责转动)。如图5所示，底盘转动伺服舵机6安装于机器人脚底，用于机器人整体的前后转动动作控制。为了机器人转动时角度计算方便，定义脖子和底盘的舵机水平方向上的绝对角度跟麦克风阵列模组的绝对角度一致。
如图6所示，本实用新型的定位方案的步骤主要是采用声源定位进行粗定位，然后实用视觉进行精确定位。具体到细节，考虑到声源定位精度问题，当到达声源定位的角度后，如果还没有发现人脸，则向左转一定角度，再检测人脸，如果未发现人脸再往右转2倍的角度。这个角度设定根据不同的摄像头模组的视场范围来定(例如本方案的摄像头视场范围为53度)。发现人脸后要计算水平方向上人脸的中点相对于图片的中点偏离的角度，然后再控制脖子转动矫正。直到人脸居中，居中的定义为人脸的中心点到图片左边框的距离与图片的宽的比例m满足0.5-n<m<0.5+n(0.5>n>0)，n是人为设定的阈值。其中，人脸的中点相对于图片的中点(即视场中点)偏离角度的计算方法：arctan(tan(θ/2)×|d/s-0.5|),其中θ为摄像头的视场范围，d为人脸中点到图片左边框的距离，s为图片宽度。
以上所揭露的仅为本实用新型一种较佳实施例而已，不能以此来限定本实用新型之权利范围，因此依本实用新型权利要求所作的等同变化，仍属本实用新型所涵盖的范围。
Claims (7)
1.一种机器人目标定位追随系统，其特征在于：包括视觉模组、麦克风阵列模组、主控制器、运动控制器、脖子转动伺服舵机和底盘转动伺服舵机，其中，视觉模组、麦克风阵列模组和运动控制器分别连接主控制器，脖子转动伺服舵机和底盘转动伺服舵机分别连接运动控制器。
2.根据权利要求1所述的机器人目标定位追随系统，其特征在于：所述视觉模组和麦克风阵列模组分别通过串口/USB/I2C连接主控制器，运动控制器通过RS422串口连接主控制器，脖子转动伺服舵机和底盘转动伺服舵机分别通过RS485总线连接运动控制器。
3.根据权利要求1所述的机器人目标定位追随系统，其特征在于：所述视觉模组安装于机器人眼部上方，麦克风阵列模组安装于机器人头顶部，主控制器和运动控制器安装于机器人头内，脖子转动伺服舵机安装于机器人头部下方，用于机器人头部的俯仰动作和转动动作控制，底盘转动伺服舵机安装于机器人脚底，用于机器人整体的转动动作控制。
4.根据权利要求1所述的机器人目标定位追随系统，其特征在于：所述视觉模组具体为单摄像头模组或双摄像头模组。
5.根据权利要求1所述的机器人目标定位追随系统，其特征在于：所述麦克风阵列模组为五麦克风阵列或四麦克风阵列。
6.根据权利要求1所述的机器人目标定位追随系统，其特征在于：所述主控制器具体为ARM Cortex-A17架构处理器。
7.根据权利要求1所述的机器人目标定位追随系统，其特征在于：所述运动控制器具体为ST的MCU。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201621046734.4U CN206200967U (zh) | 2016-09-09 | 2016-09-09 | 机器人目标定位追随系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201621046734.4U CN206200967U (zh) | 2016-09-09 | 2016-09-09 | 机器人目标定位追随系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN206200967U true CN206200967U (zh) | 2017-05-31 |
Family
ID=58760284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201621046734.4U Expired - Fee Related CN206200967U (zh) | 2016-09-09 | 2016-09-09 | 机器人目标定位追随系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN206200967U (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622248A (zh) * | 2017-09-27 | 2018-01-23 | 威盛电子股份有限公司 | 一种注视识别及互动方法与装置 |
| CN107932511A (zh) * | 2017-11-29 | 2018-04-20 | 芜湖星途机器人科技有限公司 | 自动控制人脸姿态的机器人 |
| CN108647633A (zh) * | 2018-05-08 | 2018-10-12 | 腾讯科技（深圳）有限公司 | 识别跟踪方法、识别跟踪装置和机器人 |
| CN109318243A (zh) * | 2018-12-11 | 2019-02-12 | 珠海市微半导体有限公司 | 一种视觉机器人的声源跟踪系统、方法和清洁机器人 |
| CN110300355A (zh) * | 2019-05-07 | 2019-10-01 | 广东工业大学 | 一种可跟随声源位置移动的智能话筒 |
| CN110858426A (zh) * | 2018-08-24 | 2020-03-03 | 深圳市神州云海智能科技有限公司 | 一种彩票机器人与用户交互的方法、装置及彩票机器人 |
| CN111331590A (zh) * | 2020-04-02 | 2020-06-26 | 上海国民集团健康科技有限公司 | 一种机器人头部拟人化转动机构及方法 |
| CN112936245A (zh) * | 2021-02-05 | 2021-06-11 | 华南理工大学 | 一种类人机器人头部和眼睛注视控制装置及方法 |
-
2016
- 2016-09-09 CN CN201621046734.4U patent/CN206200967U/zh not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622248A (zh) * | 2017-09-27 | 2018-01-23 | 威盛电子股份有限公司 | 一种注视识别及互动方法与装置 |
| TWI683575B (zh) * | 2017-09-27 | 2020-01-21 | 威盛電子股份有限公司 | 一種注視識別及互動方法與裝置 |
| CN107932511A (zh) * | 2017-11-29 | 2018-04-20 | 芜湖星途机器人科技有限公司 | 自动控制人脸姿态的机器人 |
| CN108647633A (zh) * | 2018-05-08 | 2018-10-12 | 腾讯科技（深圳）有限公司 | 识别跟踪方法、识别跟踪装置和机器人 |
| CN108647633B (zh) * | 2018-05-08 | 2023-12-22 | 腾讯科技（深圳）有限公司 | 识别跟踪方法、识别跟踪装置和机器人 |
| CN110858426A (zh) * | 2018-08-24 | 2020-03-03 | 深圳市神州云海智能科技有限公司 | 一种彩票机器人与用户交互的方法、装置及彩票机器人 |
| CN109318243A (zh) * | 2018-12-11 | 2019-02-12 | 珠海市微半导体有限公司 | 一种视觉机器人的声源跟踪系统、方法和清洁机器人 |
| CN110300355A (zh) * | 2019-05-07 | 2019-10-01 | 广东工业大学 | 一种可跟随声源位置移动的智能话筒 |
| CN111331590A (zh) * | 2020-04-02 | 2020-06-26 | 上海国民集团健康科技有限公司 | 一种机器人头部拟人化转动机构及方法 |
| CN112936245A (zh) * | 2021-02-05 | 2021-06-11 | 华南理工大学 | 一种类人机器人头部和眼睛注视控制装置及方法 |
| CN112936245B (zh) * | 2021-02-05 | 2023-07-18 | 华南理工大学 | 一种类人机器人头部和眼睛注视控制装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN206200967U (zh) | 机器人目标定位追随系统 | |
| CN104049634B (zh) | 基于Camshift算法的智能体模糊动态避障方法 | |
| US11117261B2 (en) | Motion trajectory generation apparatus | |
| CN106291278B (zh) | 一种基于多视觉系统的开关柜局部放电自动检测方法 | |
| CN108408080A (zh) | 一种飞机翼身对接装配装置、方法及系统 | |
| CN109048926A (zh) | 一种基于立体视觉的机器人智能避障系统及方法 | |
| CN109318243B (zh) | 一种视觉机器人的声源跟踪系统、方法和清洁机器人 | |
| CN102073148B (zh) | 一种微小型结构件高精度视觉同轴光学对位装配系统 | |
| JP4982407B2 (ja) | 移動体画像追尾装置及び方法 | |
| WO2017088720A1 (zh) | 规划最优跟随路径的方法、装置及计算机存储介质 | |
| CN101976079A (zh) | 智能导航控制系统及方法 | |
| CN203151672U (zh) | 一种具有声源定位功能的视频系统 | |
| CN102902271A (zh) | 基于双目视觉的机器人目标识别与抓取系统及方法 | |
| CN102096927A (zh) | 自主林业机器人目标跟踪方法 | |
| Bustamante et al. | Towards information-based feedback control for binaural active localization | |
| CN209579577U (zh) | 一种视觉机器人的声源跟踪系统和清洁机器人 | |
| CN108571963A (zh) | 一种果园机器人及其多超声视频点组合导航方法 | |
| CN111142836A (zh) | 屏幕朝向角度的调整方法、装置、电子产品及存储介质 | |
| CN113721639A (zh) | 一种用于小型水下机器人入坞的路径规划方法及控制方法 | |
| CN108931979A (zh) | 基于超声波辅助定位的视觉跟踪移动机器人及控制方法 | |
| CN109145697A (zh) | 一种语音召唤智能居家康护机器人的方法 | |
| CN206536471U (zh) | 一种基于人脸追踪进行智能跟随的机器人 | |
| CN110249793A (zh) | 一种棚架葡萄收获的机器人末端-深度相机配置方法与伺服控制方法 | |
| Okuno et al. | Sound and visual tracking for humanoid robot | |
| Cheng et al. | Fusing sound and dead reckoning for multi-robot cooperative localization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20181226 Address after: 210046 No. 2, 57 Zidong Road, Maqun Street, Qixia District, Nanjing, Jiangsu Province Patentee after: JIANGSU XINCHENHAI INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 210046 Building 406, No. 2 Qingma Road, Qixia District, Nanjing City, Jiangsu Province Patentee before: NANJING MASITENG INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220418 Address after: Lishui County, Jiangsu Province Patentee after: Zhang Xiaoli Address before: 210046 No. 2, 57 Zidong Road, Maqun Street, Qixia District, Nanjing, Jiangsu Province Patentee before: JIANGSU XINCHENHAI INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170531 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |