CN106514667B - 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 - Google Patents
基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 Download PDFInfo
- Publication number
- CN106514667B CN106514667B CN201611106214.2A CN201611106214A CN106514667B CN 106514667 B CN106514667 B CN 106514667B CN 201611106214 A CN201611106214 A CN 201611106214A CN 106514667 B CN106514667 B CN 106514667B
- Authority
- CN
- China
- Prior art keywords
- robot
- control module
- information
- kinect
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统，属于人机协作技术领域，它包括：机器人、人机交互控制模块、信息采集模块及智能控制模块；所述人机交互模块包括Kinect和远程控制单元，所述Kinect通过其摄像头采集人体骨骼的位姿信息，并把该位姿信息传输给远程控制单元，远程控制单元再把该位姿信息传递给智能控制模块；所述信息采集模块通过摄像采集机器人在工作台上的具体工作任务场景的信息后，发送给智能控制模块；所述智能控制模块接收到所述位姿信息和图像信息并进行处理后，得到机器人的运动指令，并将该运动指令发送给机器人；本发明通过利用Kinect骨骼追踪技术实现了人体动作对机器人的非接触式控制。
Description
技术领域
本发明属于人机协作技术领域，具体涉及一种基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统。
背景技术
机器人具有工作效率高、稳定可靠、重复精度好、能在高危环境下作业等优势，在传统制造业，特别是劳动密集型产业的转型升级中可发挥重要作用。“工业4.0”和“中国制造2015”都提出了智能制造和智能工厂，目标是建立一个高度灵活的个性化和数字化的产品与服务的生产模式。在过去几十年的工业制造中，机器人与人类的工作范围相对独立。传统的工业机器人无法满足现代工业生产复杂化、柔性化、个性化和定制化的要求。协作型机器人作为一种新型机器人，将装配、码垛等自动化应用带入了一个全新时代，把人和机器人各自的优势发挥到极致，使得两者可以共同完成一个任务，实现了工人与机器人的和谐共处。这其中的核心技术就是人机协作技术。人机协作技术吸引了广大科研工作者的研究兴趣，现正处于初期阶段。人机交互技术和智能控制技术是人机协作领域的核心问题。
人机交互技术主要分为：基本交互技术、图形交互技术、语音交互技术、体感交互技术。随着信息技术的高速发展，人机交互在科技与需求的双轮驱动下发生了三次革命。苹果公司设计的世界第一款大众普及鼠标“Lisa”，是“自然人机交互”的始祖；苹果公司的多点触控技术带来了全新的基于手势的交互体验；Kinect作为第三代人机交互的划时代产品，具有即时动态捕捉、影像识别、语音设别等功能，实现了不需要任何手持设备即可进行人机交互的全新体验。在现有的人机协作型机器人系统中，常见的交互技术是通过一些接触式的设备,比如键盘、操作杆、触摸屏等，来实现对机器人的控制。在面对复杂的工作环境时，这样的人机交互技术工作效果和体验效果均欠佳，因此提高人机交互模块的自主性、灵活性和智能性是十分必要的。
机器人智能控制技术是智能机器人的核心。视觉伺服控制是基于视觉信息的反馈控制，作为一种智能控制方法在工件装配、产品分拣等工厂流水线操作中有广泛的应用前景。视觉伺服控制主要分为基于标定的视觉伺服控制和无标定的视觉伺服控制，后者具备更高的智能性和灵活性。现有的视觉伺服控制技术主要集中在简单静态环境下的视觉伺服任务，人机协作机器人任务的复杂性、灵活性和可靠性要求对视觉伺服控制提出了进一步的需求。
发明内容
有鉴于此，本发明的目的是提供一种基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统，通过利用Kinect骨骼追踪技术实现了人体动作对机器人的非接触式控制，通过引入无标定视觉伺服控制实现了对机器人的智能化控制。
本发明是通过下述技术方案实现的：
一种基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统，包括：机器人、人机交互控制模块、信息采集模块及智能控制模块；
其外围设备为工作台，用于提供机器人完成工作任务的场所；
所述人机交互模块包括Kinect和远程控制单元，所述Kinect通过其摄像头采集人体骨骼的位姿信息，并把该位姿信息传输给远程控制单元，远程控制单元再把该位姿信息传递给智能控制模块；
所述信息采集模块通过摄像采集机器人在工作台上的具体工作任务场景的信息后，存储为图像信息，并对该图像信息进行去噪和滤波处理后，发送给智能控制模块；
所述智能控制模块接收到所述位姿信息和图像信息后，根据现有的无标定视觉伺服控制技术对位姿信息和图像信息进行处理后，得到机器人的运动指令，并将该运动指令发送给机器人；同时，所述智能控制模块还接收机器人的实际运动反馈信息，并根据现有的无标定视觉伺服技术对该实际运动反馈信息进行处理，得到机器人的运动修正指令，并将该运动修正指令发送给机器人。
进一步的，所述机器人包括：移动底盘、机械手臂以及底层控制模块；所述底层控制模块接收到所述运动指令后，对机械手臂的各关节的运动和移动底盘的运动进行控制；进而通过移动底盘的运动实现机器人相对工作台的位置变化，通过机械手臂各关节的运动实现机器人完成在工作台的工作任务；同时，底层控制模块接收机械手臂各关节的运动反馈信息和移动底盘的运动反馈信息，进而对机械手臂的各关节的运动和移动底盘的运动进行运动修正。
进一步的，所述信息采集模块还包括照明单元；所述智能控制模块对接收到的信息采集模块提供的图像信息进行清晰度判断，若清晰度满足设定要求，则控制信息采集模块中的照明单元不进行照明，若清晰度不满足设定要求，则控制信息采集模块中的照明单元进行照明。
进一步的，所述智能控制模块的无标定视觉伺服控制技术为基于扩展卡尔曼滤波的无标定视觉伺服控制。
有益效果：(1)本发明针对人机协作的实际工业需求和现有的人机系统的缺点，人机交互控制模块采用基于Kinect骨骼追踪的人机交互技术，智能控制模块采用基于无标定视觉伺服的智能控制技术；这两种技术的结合实现了对机器人的远程控制(即非接触式控制)与自主智能控制，提高了机器人运动控制的效率和灵活性，在提高智能性的同时保证了系统的安全性能；实现了人与机器人的协同工作的可靠性，且结构简单，易于操作。
(2)本发明的基于扩展卡尔曼滤波算法的无标定视觉伺服控制技术具有工作效率高、稳定性好的特点，适合工厂中多变复杂的环境；且在无标定视觉伺服控制系统中，将待估的雅可比矩阵参数作为系统的状态，用扩展卡尔曼滤波算法对系统的状态进行观测，解决问题的同时增加了雅可比矩阵估计的鲁棒性。
附图说明
图1为本发明的系统架构图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统，包括：机器人、人机交互控制模块、信息采集模块及智能控制模块；
其外围设备为工作台，用于提供机器人完成工作任务的场所；
所述人机交互控制模块包括Kinect和远程控制单元，所述Kinect通过其摄像头采集人体骨骼的位姿信息，并把该位姿信息传输给远程控制单元，远程控制单元再把该位姿信息传递给智能控制模块；其中，该位姿信息为控制机器人运动的交互信号；
所述信息采集模块通过摄像采集机器人在工作台上的具体工作任务场景的信息后，存储为图像信息，并对该图像信息进行去噪和滤波处理后，发送给智能控制模块；其中，信息采集模块还包括照明单元，所述照明单元受控于智能控制模块，在工作台的环境光照不理想时，对工作台进行照明；
所述智能控制模块接收到所述位姿信息和图像信息后，根据现有的无标定视觉伺服控制技术对位姿信息和图像信息进行处理后，得到机器人的运动指令，并将该运动指令发送给机器人；同时，所述智能控制模块还接收机器人的实际运动反馈信息，并根据现有的无标定视觉伺服控制技术对该实际运动反馈信息进行处理，得到机器人的运动修正指令，并将该运动修正指令发送给机器人；且所述智能控制模块判断接收到的所述图像信息的清晰度，若清晰度满足设定要求，则控制信息采集模块中的照明单元不进行照明，若清晰度不满足设定要求，则控制信息采集模块中的照明单元进行照明；
所述机器人包括：移动底盘、机械手臂以及底层控制模块；所述底层控制模块接收到所述运动指令后，对机械手臂的各关节的运动和移动底盘的运动进行控制；进而通过移动底盘的运动实现机器人相对工作台的位置变化，通过机械手臂各关节的运动实现机器人完成在工作台的工作任务；同时，底层控制模块接收机械手臂各关节的运动反馈信息和移动底盘的运动反馈信息，进而对机械手臂的各关节的运动和移动底盘的运动进行运动修正；
其中，所述智能控制模块的“根据现有的无标定视觉伺服控制技术对位姿信息和图像信息进行处理”的核心算法是基于扩展卡尔曼滤波的无标定视觉伺服；无标定视觉伺服控制的主要问题是机器人的机械手臂与视觉观测器的关系，这种关系可以描述为图像雅可比矩阵，图像雅可比矩阵实际上是一个静态的非线性系统，本发明将该静态的非线性系统近似为一个时变的线性系统；对雅可比矩阵的辨识也就是对此线性时变系统的参数辨识；将需要估计的雅可比矩阵当作系统的状态量，这样就可以用扩展卡尔曼滤波算法对系统的状态进行观测，从而实现对雅可比矩阵的在线辨识；基于扩展卡尔曼滤波的在线辨识方法速度较快，提高了系统响应频率，无标定技术的引入提高了系统的鲁棒性。
基于所述一种基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统的工作流程如下：
第一步，根据机器人需要完成的具体工作任务对智能控制模块进行初始设定，即设置无标定视觉伺服控制系统的目标特征；
第二步，对Kinect和信息采集模块的内外参数进行初始标定，并设置Kinect的摄像头的俯仰角，设置人机交互触发动作为操作人员的双手展开平举；
第三步，操作人员通过预先设定的触发动作来触发人机交互控制模块，即操作人员面对Kinect的摄像头进行双手展开平举的动作，Kinect通过其摄像头采集人体骨骼的位姿信息，并把该位姿信息传输给通过远程控制单元传递给智能控制模块，智能控制模块通过骨骼的位姿信息识别人体各部位，从而建立人体各个环节的空间坐标系；
第四步，触发人机交互控制模块后，智能控制模块控制机器人从初始位置移动到工作台附近后，通过信息采集模块采集工作台上的图像信息，发送给智能控制模块；智能控制模块根据该图像信息检测机器人的工作环境是否安全，是否有人在工作区内，判断工作区内的障碍物情况，检测目标物的位置，进行路径规划；
第五步，智能控制模块根据设定的路径规划控制机器人的机械手臂运动完成工作任务，智能控制模块控制机器人回到初始位置；
第六步，机器人的工作任务完成后，智能控制模块通过Kinect的摄像头对工作任务完成的装配工件进行检测，检测合格后，机器人发出声音报告并恢复到人的远程控制状态。
其中，在第二步中的“Kinect的摄像头和信息采集模块的内外参数进行初始标定”，初始标定的标定参数包括Kinect的摄像头的焦距、在工作空间中的位置及操作人员与机器人之间的坐标变换关系；Kinect的摄像头的标定原理是根据张正友算法的原理，通过对一标定板在不同方向多次完整拍照，不需要知道标定板的运动方式，直接获得相机的内参和畸变系数；该标定方法精度高于自标定法，而且不需要高精度的定位仪器；此算法中主要包括两个模型，一个是经典针孔模型，包含了四个坐标系，另一个是畸变模型，包括径向畸变、切线畸变和薄棱镜畸变。
在第三步中的“Kinect通过其摄像头采集人体骨骼的位姿信息”主要基于Kinect的骨骼识别技术；Kinect的摄像头可以捕获操作人员骨骼节点的运动，并对获取的骨骼序列进行实时追踪；它作为新一代的体感设备，最多可以追踪人体20个骨骼节点的三维空间位置；本实施例主要采用的骨骼节点为操作人员上半身的骨骼节点，其他部位的骨骼节点作为辅助的阈值判断条件。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统，其特征在于，包括：机器人、人机交互控制模块、信息采集模块及智能控制模块；
其外围设备为工作台，用于提供机器人完成工作任务的场所；
所述人机交互控制模块包括Kinect和远程控制单元，所述Kinect通过其摄像头采集人体骨骼的位姿信息，并把该位姿信息传输给远程控制单元，远程控制单元再把该位姿信息传递给智能控制模块；
所述信息采集模块通过摄像采集机器人在工作台上的具体工作任务场景的信息后，存储为图像信息，并对该图像信息进行去噪和滤波处理后，发送给智能控制模块；
所述智能控制模块接收到所述位姿信息和图像信息后，根据现有的无标定视觉伺服控制技术对位姿信息和图像信息进行处理后，得到机器人的运动指令，并将该运动指令发送给机器人；同时，所述智能控制模块还接收机器人的实际运动反馈信息，并根据现有的无标定视觉伺服技术对该实际运动反馈信息进行处理，得到机器人的运动修正指令，并将该运动修正指令发送给机器人；所述智能控制模块的无标定视觉伺服控制技术为基于扩展卡尔曼滤波的无标定视觉伺服控制；
移动底盘、机械手臂以及底层控制模块；所述底层控制模块接收到所述运动指令后，对机械手臂的各关节的运动和移动底盘的运动进行控制；进而通过移动底盘的运动实现机器人相对工作台的位置变化，通过机械手臂各关节的运动实现机器人完成在工作台的工作任务；同时，底层控制模块接收机械手臂各关节的运动反馈信息和移动底盘的运动反馈信息，进而对机械手臂的各关节的运动和移动底盘的运动进行运动修正。
2.如权利要求1所述的一种基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统，其特征在于，所述信息采集模块还包括照明单元；所述智能控制模块对接收到的信息采集模块提供的图像信息进行清晰度判断，若清晰度满足设定要求，则控制信息采集模块中的照明单元不进行照明，若清晰度不满足设定要求，则控制信息采集模块中的照明单元进行照明。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611106214.2A CN106514667B (zh) | 2016-12-05 | 2016-12-05 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611106214.2A CN106514667B (zh) | 2016-12-05 | 2016-12-05 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106514667A CN106514667A (zh) | 2017-03-22 |
| CN106514667B true CN106514667B (zh) | 2020-12-08 |
Family
ID=58341316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611106214.2A Active CN106514667B (zh) | 2016-12-05 | 2016-12-05 | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106514667B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107049496B (zh) * | 2017-05-22 | 2019-07-26 | 清华大学 | 一种多任务手术机器人的视觉伺服控制方法 |
| CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制系统及方法 |
| CN108527370B (zh) * | 2018-04-16 | 2020-06-02 | 北京卫星环境工程研究所 | 基于视觉的人机共融安全防护控制系统 |
| US20210187728A1 (en) * | 2018-06-19 | 2021-06-24 | Bae Systems Plc | Workbench system |
| US11110610B2 (en) | 2018-06-19 | 2021-09-07 | Bae Systems Plc | Workbench system |
| CN109407709B (zh) * | 2018-09-25 | 2022-01-18 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统 |
| CN109483538A (zh) * | 2018-11-16 | 2019-03-19 | 左志强 | 一种基于Kinect技术的VR动作投影机器人系统 |
| CN111230854A (zh) * | 2018-11-28 | 2020-06-05 | 沈阳东联智慧科技有限公司 | 一种智能协作机器人安全控制软件系统 |
| CN111300421A (zh) * | 2020-03-17 | 2020-06-19 | 北京理工大学 | 一种应用于人形机器人双手动作模仿的映射方法 |
| CN113829343B (zh) * | 2021-09-23 | 2023-09-29 | 浙江工业大学 | 基于环境感知的实时多任务多人人机交互系统 |
| CN116079697B (zh) * | 2022-12-23 | 2024-05-28 | 北京纳通医用机器人科技有限公司 | 一种基于图像的单目视觉伺服方法、装置、设备及介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3204400A1 (en) * | 2014-06-08 | 2015-12-17 | Hsien-Hsiang Chiu | Gestural interface with virtual control layers |
| CN104570731A (zh) * | 2014-12-04 | 2015-04-29 | 重庆邮电大学 | 一种基于Kinect的无标定人机交互控制系统及方法 |
| CN104440926A (zh) * | 2014-12-09 | 2015-03-25 | 重庆邮电大学 | 一种基于Kinect的机械臂体感远程控制方法及系统 |
| CN204450555U (zh) * | 2015-02-16 | 2015-07-08 | 南京信息工程大学 | 一种基于Kinect的人体姿势同步机器人装置 |
| CN105138248A (zh) * | 2015-07-08 | 2015-12-09 | 安徽瑞宏信息科技有限公司 | 一种基于Kinect的人机交互系统 |
| CN105184019A (zh) * | 2015-10-12 | 2015-12-23 | 中国科学院自动化研究所 | 机器人抓取方法及系统 |
| CN105291138B (zh) * | 2015-11-26 | 2017-10-20 | 华南理工大学 | 一种增强虚拟现实浸入感的视觉反馈平台 |
| CN105945947A (zh) * | 2016-05-20 | 2016-09-21 | 西华大学 | 基于手势控制的机器人写字系统及其控制方法 |
-
2016
- 2016-12-05 CN CN201611106214.2A patent/CN106514667B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106514667A (zh) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106514667B (zh) | 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统 | |
| US20210023694A1 (en) | System and method for robot teaching based on rgb-d images and teach pendant | |
| Ferraguti et al. | Augmented reality based approach for on-line quality assessment of polished surfaces | |
| Li | Human–robot interaction based on gesture and movement recognition | |
| Eswaran et al. | Augmented reality-based guidance in product assembly and maintenance/repair perspective: A state of the art review on challenges and opportunities | |
| CN108838991A (zh) | 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 | |
| Neto et al. | CAD-based off-line robot programming | |
| Lambrecht et al. | Spatial programming for industrial robots based on gestures and augmented reality | |
| CN105583824A (zh) | 力控牵引和摆位的多自由度机械臂控制装置及其控制方法 | |
| US20160346921A1 (en) | Portable apparatus for controlling robot and method thereof | |
| CN105643607A (zh) | 一种具备感知和认知能力的智能工业机器人 | |
| CN113829343B (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| CN102830798A (zh) | 单臂机器人基于Kinect的无标记人手跟踪方法 | |
| CN112109074A (zh) | 一种机器人目标图像抓取方法 | |
| CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互系统及方法 | |
| Skoglund et al. | Programming by demonstration of pick-and-place tasks for industrial manipulators using task primitives | |
| Lambrecht et al. | Markerless gesture-based motion control and programming of industrial robots | |
| Hu et al. | Performance evaluation of optical motion capture sensors for assembly motion capturing | |
| Ge | Programming by demonstration by optical tracking system for dual arm robot | |
| CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
| Du et al. | A gesture-and speech-guided robot teleoperation method based on mobile interaction with unrestricted force feedback | |
| Pedersen et al. | Using human gestures and generic skills to instruct a mobile robot arm in a feeder filling scenario | |
| CN110202581A (zh) | 机器人末端执行器工作误差的补偿方法、装置及电子设备 | |
| Su et al. | Development of a 3D AR-based interface for industrial robot manipulators | |
| Savatekar et al. | Design of control system for articulated robot using leap motion sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |