CN107097227B - 一种人机协作机器人系统 - Google Patents

一种人机协作机器人系统 Download PDF

Info

Publication number
CN107097227B
CN107097227B CN201710248017.2A CN201710248017A CN107097227B CN 107097227 B CN107097227 B CN 107097227B CN 201710248017 A CN201710248017 A CN 201710248017A CN 107097227 B CN107097227 B CN 107097227B
Authority
CN
China
Prior art keywords
gaze
component
robot
target
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710248017.2A
Other languages
English (en)
Other versions
CN107097227A (zh
Inventor
陶永
谢先武
陈友东
魏洪兴
熊禾根
刘辉
高进芃
谢光
许曦
房增亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fangyuan intelligent (Beijing) Technology Co., Ltd
Original Assignee
Beijing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Aeronautics and Astronautics filed Critical Beijing University of Aeronautics and Astronautics
Priority to CN201710248017.2A priority Critical patent/CN107097227B/zh
Publication of CN107097227A publication Critical patent/CN107097227A/zh
Application granted granted Critical
Publication of CN107097227B publication Critical patent/CN107097227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种人机协作机器人系统，包括凝视跟踪组件、目标识别定位组件、意图预测组件、预期运动规划组件。凝视跟踪组件通过眼动仪跟踪捕获机器人使用者的凝视焦点；目标识别定位组件分析凝视数据确定机器人使用者所注视的区域，并对区域内的目标进行检测和识别；意图预测组件对机器人使用者关注的目标和使用者的真实意图之间的相关性进行建模，判断出机器人使用者的意图；预期运动规划组件利用意图预测组件提供的预测值对机器人进行运动规划。所述人机协作机器人系统，在人机协作场景中，使机器人系统能够监测操作者的注视模式并预测任务意图，并基于这些预测执行相应的预期运动，实现机器人与机器人使用者之间的流畅、高效的协作。

Description

一种人机协作机器人系统
技术领域
本发明属于计算机视觉与工业机器人的交叉领域，具体地，本发明涉及一种人机协作机器人系统。
背景技术
机器人工业自动化在大规模制造中取得了显着的成功，因为它在诸如焊接，切割，冲压，喷漆，重材料处理，精密材料加工等任务中具有显着的优势。机器人自动化在大规模制造中的成功已导致将机器人自动化的使用扩展到中小型制造企业(“中小型企业”)的长期愿望。然而，与大规模制造相比，中小型企业的生产方法通常特征在于小批量、定制化、短周期，没有太多的资金对生产线进行大规模改造，并且对产品的投资回报率更为敏感。这要求机器人具有较低的综合成本、快速部署、简单上手的使用方法，而这些，传统机器人很难满足。
此外，在某些机器人应用的新兴行业中，即使是大企业也面临与中小企业同样的问题，3C产业是这个方面的典型代表。3C市场中如手机、平板、可穿戴设备等主流产品的更新换代速度非常快，基本上生命周期只有1～2年，短的甚至只有几个月。如果采用传统机器人方案，建设相应的生产线需要投入大量资源、大量时间，并且有可能连成本都没收回来，所生产的产品就该从市场退出了。而如果对生产线再进行改造，又要投入巨大的资源，这是企业不能接受的。除了资金投入，3C行业很多时候更关心时间，常见机器人自动化改造方案耗时1个月到数个月不等，但3C产品无法在每一次换代都等待这么久。
这些新兴行业中的特点是产品种类很多、体积普遍不大、对操作人员的灵活度/柔性要求高。现有的机器人很难在成本可控的情况下给出性能满意的解决方案，因此需要提供灵活、有效的人机交互协作系统。由人类负责对柔性，触觉，灵活性要求比较高的工序，机器人则利用其快速、准确的特点来负责重复性的工作。
发明内容
为了解决以上现有技术中存在的问题，本发明提供了一种人机协作机器人系统，涉及监视机器人操作者注视模式，预测操作者任务意图，并根据预测的操作者意图主动控制机器人执行任务，作为使用直接、明确的操作者输入的反应控制方法的替代。对于机器人，这个方法使他们主动推断操作者的需求以及在正确的时间自动采取相应的动作，以实现更无缝协作。
一种人机协作机器人系统，包括：通过通信链路连接的凝视跟踪组件、目标识别定位组件、意图预测组件和预期运动规划组件，其中：
所述凝视跟踪组件捕获跟踪眼睛的凝视数据；
所述目标识别定位组件分析凝视数据，确定机器人操作者所注视的区域，并对所述机器人操作者所关注区域内的目标进行检测和识别；
所述意图预测组件推断机器人操作者意图并且提供置信度；
所述预期运动规划组件基于所述意图预测组件提供的置信度对机器人进行运动规划，完成协作任务。
进一步的，所述凝视跟踪组件包括眼动仪，用于执行双目瞳孔跟踪、三维重建环境和与其它组件进行交互通信，机器人操作者的凝视位置以红点体现在所述三维重建环境和中，通过雅可比矩阵方法和预定义的Aruco标记实现三维重建环境和物理任务空间中的位置与环境项目之间的映射关联。
进一步的，所述目标识别定位组件包括视觉行为分类器、注意力提取部分和目标识别部分。
进一步的，所述视觉行为分类器区分意图注视行为和无意识注视行为。
进一步的，所述注意力提取部分从所述意图注视行为的凝视数据提取注意力信息，通过反向最小生成树将关注范围内的目标点聚类，使用自适应滑动窗口过滤器过滤原始凝视点，以消除叠加的扫视和非有意的眼睛运动的影响，用圆形将注意力群集等效表示出来，凝视目标完全或部分地在圆形区域中，且具有最大值的凝视点的群集作为机器人操作者所注视的区域。
进一步的，所述目标识别部分将所述机器人操作者所注视的区域与场景图像重叠，并且通过深度学习网络算法识别机器人操作者的有意注视目标。
进一步的，所述意图预测组件包括分别由语义知识和行为知识构成的两个意图知识库，均通过朴素贝叶斯图形概率模型建立；通过朴素贝叶斯分类器，基于所述目标识别定位组件发送来的有意注视目标，计算每个可能意图的条件概率，将最大概率作为置信度发送给所述预期运动规划组件。
进一步的，所述预期运动规划组件通过将所述置信度与阈值进行比较，通过进行主动规划和执行朝向预测目标的运动；所述预期运动规划组件包括由候选运动规划任务构成的规划库。
进一步的，当置信度高于0.36时，所述预期运动规划组件规划朝预测目标方向的运动；当置信度高于0.43时，机器人执行规划运动。
进一步的，所述预期运动规划组件包括运动规划线程和执行运动规划的执行线程，其中，运动规划线程将运动请求放入计划队列中，执行线程定期检查计划队列并执行。
本发明的优点在于机器人系统可以监测其用户的注视，根据观察到的注视模式预测他或她的任务意图，并根据其预测值即置信度，并相应地规划自己的行动执行预期任务，实现用户与机器人的无缝和高效的团队合作。
附图说明
图1为本发明中的人机协作机器人系统的连接关系图。
图2为本发明的人机协作机器人系统的硬件结构示意图。
图3为本发明的人机协作机器人系统的控制方法流程框图。
图4为本发明的人机协作机器人系统的支持向量机分类过程。
图5为本发明的人机协作机器人系统的用于表示对象意图知识数据库的朴素贝叶斯模型。
具体实施方式
下面结合实施例及其附图详细叙述本发明。实施例是以本发明所述技术方案为前提进行的具体实施，给出了详细的实施方式，但本申请的权利要求保护范围不限于下属实施例的描述。
下面将结合附图对本发明做进一步的详细说明。
图1提供了本发明的实施方式的用于执行协作任务的人机协作机器人系统的示意图。该人机协作机器人系统包括：眼动仪101负责凝视跟踪；目标识别定位组件102，其适于与所述凝视跟踪组件101通信；意图预测组件106，其适于与所述目标识别定位组件102通信；以及预期运动规划组件107，其适于与所述意图预测组件106通信；其中，所述凝视跟踪组件101确定用户所注视的区域；然后，所述目标识别定位组件102对所述用户所关注区域内的目标进行检测和识别；最后，所述预期运动规划组件107基于所述意图预测组件106提供的意图预测值对机器人进行运动规划，完成协作任务中的一部分。
图2提供了本发明所涉及机器人系统硬件结构图。实验所采用的控制系统由SMI公司的眼睛式眼动仪202和一台笔记本电脑203搭建而成。该眼动仪202以30Hz的采样速率和0.5°的凝视位置精度执行双目瞳孔跟踪。眼镜都包含一个前向高清(HD)摄像头，用于以24fps录制音频和视频。操作者201通过佩戴眼动仪202查看三维重建环境可以与本地物理布置交互。为了使眼睛跟踪功能正常，需要对眼动仪执行5点校准。在该过程之后，当操作者待着眼动仪朝任何方向上观看时，表示他或她的注视的红点将出现在环境中。该信息是以3D获取的，用于不同的交互。为了提供直接反馈，眼镜里的场景中的目标工件的颜色随着用户观看它们而改变。该眼动仪收集到数据之后，通过千兆网卡传输到电脑里进行注意力的提取、目标工件的识别，操作者意图的推测；然后根据得到的置信度，确定了目标工件，使用雅可比矩阵方法执行投影变换以将相机视图空间中的凝视位置映射到物理任务空间中的位置，最后使用相关机器人控制平台来控制机器人204抓取操作者想要的工件205并把他们放置在期望的位置上。
图3本发明涉及机器人系统控制方法流程框图。人机协作场景中，在用户开始表达意图之前，将按下按钮通知系统。眼动仪开始捕获追踪操作者的凝视，系统也开始分析眼睛注视数据，判断用户是否是有意凝视，还是无意凝视。在判断操作者是有意凝视后，提取视觉注意力，进行目标工件的检测。提取到注视的目标工件，系统开始从它们推测出用户的意图，得到预测值即置信度。然后根据当前的置信度与给定的阈值进行比较，判断预测是否准确，最后作出相应的运动规划。
机器人操作者201佩戴的一对眼睛跟踪眼镜101捕获凝视位置。该眼动仪101以30Hz的采样率和0.5°的凝视位置精度进行双目瞳孔跟踪。眼镜都包含一个前向高清(HD)摄像头，用于以24fps录制音频和视频。然后，它使用雅可比矩阵方法执行投影变换以将相机视图空间中的凝视位置映射到物理任务空间中的位置。这些点随后用于推断与什么目标工件被注视。相机视图空间和物理之间的映射通过定位一组预定义的Aruco标记来实现空间和物理空间中的位置与环境项目之间的关联。
目标识别定位组件102：当人的眼睛聚焦在物体上时，视觉注意可以表现为该对象上的凝视点簇。为了检测视觉注意力，设计基于视觉行为的分类器，区分来自自然视觉行为的视觉注意力的特定眼睛注视模式。这个具体眼睛注视模式被命名为“意图注视”，这意味着机器人操作者正在看着具有操纵意图的视觉目标，而其余的被称为“无意识注视”(例如，搜索、探索或看着没有操纵意图的对象)。与常见的长时间注视方式和故意眨眼相比，使用自然视觉行为的注意力检测不需要操作者学习和记住特殊指令或执行人为动作，因此减少了操作者所做的刻意努力。在检测到每个注意力之后，使用反向最小生成树(MST)方法将目标工件上的凝视点聚类，并且计算等效圆以表示注视点的聚类。最后，从操作者注意力区域(由等效圆表示)与场景图像的重叠，可以检测和识别出目标工件。
注意力提取103：机器人操作者的注意力可以从分析他/她的凝视中提取。凝视是操作者从他/她的眼睛运动中观察一个瞬时时间点的地方的估计。用于检测意图注视的视觉行为的分类器是基于支持向量机(SVM)分类器，并且分类过程在图4中示出。该分类器使用从自然可视化提取的眼睛注视特征，其不强迫操作者表现任何不自然的视觉行为，例如长时间的注视或有意的眨眼。用于该分类器的特征包括凝视停留时间，瞳孔大小及梯度变化，凝视速度和凝视次数。这些特征是基于实验观察选择的。分类器在其可以区分有意注视和无意识注视之前被训练。在使用期间，所提取的眼睛注视特征被输入到分类器中，并且输出是其对操作者所处的可视化状态的最佳猜测。仅当检测到有意注视时才检测到视觉注意。
在检测到视觉注意力之后，使用反向最新生成树(MST)方法来聚集凝视点。MST使用从一个凝视点到一个聚类的所有其他点的最小空间距离作为判断注视点是否属于聚类的标准。聚类过程从凝视点开始反向完成，在该凝视点处检测到有意的凝视。使用自适应滑动窗口过滤器过滤原始凝视点，以消除叠加的扫视和非有意的眼睛运动(例如滚动，眼球震颤，漂移或微倾斜)的影响。而在大多数现有应用中，视觉注意被认为是单个点，没有尺寸。而本发明计算可以覆盖群集中的注视点的圆来表示该群集，使用圆来表示虚拟注意力的主要优点是它可以减少心理负担因为它不需要操作者有意地将他/她的注视集中在一个单个点上，使得操作者可以自然地感知外部信息。其次，由于环境中的所有对象具有尺寸，圆形区域更适合于指示对象。理想地，凝视目标应完全或部分地在圆形区域中，且具有最大值的凝视点的群集将被认为是注意力位置。
目标识别102：通过将注视圈与场景图像重叠，可以检测并识别用户有意注视的对象。由于深度学习算法的通用性很强，对于目标工件检测识别，在传统算法里面，针对不同的物体需要定制化不同的算法。而基于深度学习的算法更加通用，比如faster RCNN在人脸、行人、一般物体检测任务上都可以取得非常好的效果。同时深度学习获得的特征(feature)有很强的迁移能力。所谓特征迁移能力，指的是在A任务上学习到一些特征，在B任务上使用也可以获得非常好的效果。例如在ImageNet(物体为主)上学习到的特征在场景分类任务上也能取得非常好的效果。因此本发明采用深度学习网络算法来识别不同类型的工件。
意图知识库105：从用户特别注意的对象，可以推断出与内部意图有关的许多信息，因为人的意图的完成明显地取决于基本对象。这是一种非常自然的行为，当人/她有一个意图时，人首先看相关对象。这样，通过监视用户观看的对象，可以推断他/她的意图。以拿取螺丝刀为例，如果机器人操作者看着螺丝刀，我们可以直接得出结论，用户想用这个工具。为了执行意图推断，需要创建一个推理机并且提供意图知识。用于分类的先进机器学习算法可以用于创建引擎。向推理机提供现有知识的过程称为推理机的训练。之后，推理机准备推断人的意图。对象注视的对象将被发送到推理引擎，并且结果将是系统对用户意图的最佳猜测。本发明为了能够从操作者有意地注视的对象识别人类意图，系统需要关于目标对象和意图之间的相关性的知识。这种知识是目标对象如何与某种类型的意图或如何用目标对象实现某种类型的意图相关的表示。该知识被建模为朴素贝叶斯图形概率模型，如图5所示。对象(Oj，j＝1～M，其中M是目标工件的数量)与具有不同相关强度(Pj|i，Oj与Ii之间的相关强度)的各种类型的人类意图(Ii，i＝1～N，其中N是可能的意图类型的总数)相连，Pj|i其表示当Ii发生时Oj出现的可能性。在朴素贝叶斯模型演示中(见图5)，用短连接显示强相关，而用较长连接显示弱相关。没有连接意味着无关。相关性的强度Pj|i由使用(1)这种相关的出现确定，其中Ai,j是Ii与Oj之间的相关性的表征，Ai是Ii的表征。
图5用于表示对象意图知识数据库的朴素贝叶斯模型，其中，Oj是第j个对象，Ii是第i个意图。每个链接指示对象对一种类型的意图的条件表征概率(Pj|i)。较长的链接意味着较低的概率，反之亦然。
分别使用调查和实验观察来建立两个意图知识库。在调查中，向每位操作者提供一系列对象和一系列各种类型的意图，并且操作者选择目标对象的子集以完成一种类型的意图。由调查构建的知识被称为语义知识Vs，其表示工件如何在逻辑上/字面上与一种意图类型相关。实验观察方法用于实验观察操作者如何通过注视目标工件来表达某种意图，并且其建立行为知识Vb。在这两种方法中，实验者自由选择任何数量的对象。报告的意图和对应的目标对象在意图-对象对中被格式化为：{Ii：O1，O2，O3，...，Oj}，表示一个意图实例Ii已经与对象O1，O2和O3等发生联系。
知识库Vb和Vs是某种类型的意图如何与对象相关的两个表达形式。这两个表达形式Vb和Vs在使用阶段用如(2)-(4)所示的不同融合策略进行融合。在线性求和融合策略(2)中，α是融合系数，从0到1变化。在(3)和(4)中，最终条件概率分别取最大值或最小值，
V＝αVb+(1-α)VS (2)
V＝Min(Vb,Vs) (3)
V＝Max(Vb,Vs) (4)
意图预测组件106：在使用阶段，使用来自可视化目标的朴素贝叶斯分类器来推断人类意图。使用可视化对象，可以计算每个可能的意图的条件概率，并且具有最大概率的那个被认为是最可能的意图，最大概率也称为置信度。分类器以公式(5)表示，其中{1，...，k}是在用户已注视的目标对象。
预期运动规划组件107：使用相关机器人控制平台，预期运动计划器利用意图预测组件提供的预测值即置信度，进行主动规划和执行朝向预测目标工件的运动。如果预测的置信度高于planThreshold，其值为0.36，则运动计划器规划朝预测工件方向的运动。如果置信度高于execThreshold，其值为0.43，则它仅根据其当前置信度执行规划运动的一部分(请参阅下面对splitPlan方法的描述)。从我们大量的实验可以得知，这些阈值表明，如果预测的置信度高于0.36，预测可能是正确的，如果它超过0.43，预测是正确的。
不是直接使用意图预测组件当前的预测值和置信度分别表示为currPred和currProb，而是预期运动计划器保持包括当前预测及15个最新预测的历史。注视跟踪组件提供大约30Hz的读数，因此预测历史的长度选择为大约500毫秒。然后使用预测历史来计算加权预测值p′i，其使用在等式6中定义的指数衰减函数对过去的预测进行衰减。
p′i＝pi×(1-decayRate)i (6)
在该函数中，pi表示第i个预测的概率。设置为0.25的decayRate表示预测权重衰减的速率，并且所得到的预测(weightedPred，即p′i)是预测历史上的权重最高的预测值。
预期运动规划器维护着一个存储一系列候选运动规划任务的规划库，当机器人预测出用户请求时，就从所述规划库中选择相应的运动。变量currMotionTarget表示与最近规划相关联的运动目标。makePlan函数使用RRT-Connect算法创建朝向weightedPred项目的运动计划。splitPlan函数采取一个运动计划，并根据预测的置信度weightedProb，按比例将其分割成两个连续的子计划。更高的置信度值使机器人越来越接近预测的目标。
预测运动规划组件的实现包括两个线程：实现算法1的规划线程，执行运动规划的执行线程。计划线程使用requestExec函数将运动请求放入计划队列中。执行线程定期检查计划队列并执行它们。
可以理解的是，以上是为了阐述本发明的原理和可实施性的示例，本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (3)

1.一种人机协作机器人系统，其特征在于，包括：通过通信链路连接的凝视跟踪组件、目标识别定位组件、意图预测组件和预期运动规划组件，其中：
所述凝视跟踪组件跟踪捕获眼睛的凝视数据；
所述目标识别定位组件分析凝视数据，确定机器人操作者所注视的区域，并对所述机器人操作者所关注区域内的目标进行检测和识别；
所述意图预测组件推断机器人操作者意图并且提供置信度；
所述预期运动规划组件基于所述意图预测组件提供的置信度对机器人进行运动规划，完成协作任务；
所述凝视跟踪组件包括眼动仪，用于执行双目瞳孔跟踪、三维重建环境和与其它组件进行交互通信，机器人操作者的凝视位置以红点体现在所述三维重建环境和中，通过雅可比矩阵方法和预定义的Aruco标记实现三维重建环境和物理任务空间中的位置与环境项目之间的映射关联；
所述目标识别定位组件包括视觉行为分类器、注意力提取部分和目标识别部分；
所述视觉行为分类器区分意图注视行为和无意识注视行为；
所述注意力提取部分从所述意图注视行为的凝视数据提取注意力信息，通过反向最小生成树将关注范围内的目标点聚类，使用自适应滑动窗口过滤器过滤原始凝视点，以消除叠加的扫视和非有意的眼睛运动的影响，用圆形将注意力群集等效表示出来，凝视目标完全或部分地在圆形区域中，且具有最大值的凝视点的群集作为机器人操作者所注视的区域。
2.根据权利要求1所述的人机协作机器人系统，其特征在于，所述目标识别部分将所述机器人操作者所注视的区域与场景图像重叠，并且通过深度学习网络算法识别机器人操作者的有意注视目标。
3.根据权利要求2所述的人机协作机器人系统，其特征在于，所述意图预测组件包括分别由语义知识和行为知识构成的两个意图知识库，均通过朴素贝叶斯图形概率模型建立；通过朴素贝叶斯分类器，基于所述目标识别定位组件发送来的有意注视目标，计算每个可能意图的条件概率，将最大概率作为置信度发送给所述预期运动规划组件。
CN201710248017.2A 2017-04-17 2017-04-17 一种人机协作机器人系统 Active CN107097227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710248017.2A CN107097227B (zh) 2017-04-17 2017-04-17 一种人机协作机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710248017.2A CN107097227B (zh) 2017-04-17 2017-04-17 一种人机协作机器人系统

Publications (2)

Publication Number Publication Date
CN107097227A CN107097227A (zh) 2017-08-29
CN107097227B true CN107097227B (zh) 2019-12-06

Family

ID=59675330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710248017.2A Active CN107097227B (zh) 2017-04-17 2017-04-17 一种人机协作机器人系统

Country Status (1)

Country Link
CN (1) CN107097227B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10682774B2 (en) * 2017-12-12 2020-06-16 X Development Llc Sensorized robotic gripping device
US10792809B2 (en) 2017-12-12 2020-10-06 X Development Llc Robot grip detection using non-contact sensors
CN108284444B (zh) * 2018-01-25 2021-05-11 南京工业大学 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法
CN112105486B (zh) * 2018-03-26 2024-05-10 伺服创立自动化解决方案有限公司 用于工业机器人的增强现实
JP7087675B2 (ja) * 2018-05-25 2022-06-21 富士通株式会社 情報処理装置、ロボット作業決定方法及びロボット作業決定プログラム
US11351671B2 (en) 2018-10-29 2022-06-07 Toyota Research Institute, Inc. Intent based control of a robotic device
US11426874B2 (en) * 2019-04-30 2022-08-30 Flexiv Ltd. Robot-based insertion mounting of workpieces
WO2021040958A1 (en) * 2019-08-23 2021-03-04 Carrier Corporation System and method for early event detection using generative and discriminative machine learning models
CN110796090A (zh) * 2019-10-30 2020-02-14 武汉理工大学 基于循环神经网络的人机协作人体行为意图判别方法
CN111152220B (zh) * 2019-12-31 2021-07-06 浙江大学 一种基于人机融合的机械臂控制方法
CN113778070B (zh) * 2020-07-17 2024-04-19 北京京东振世信息技术有限公司 机器人的控制方法和装置
CN113111745B (zh) * 2021-03-30 2023-04-07 四川大学 基于openpose的产品关注度的眼动识别的方法
CN112861828B (zh) * 2021-04-12 2022-06-14 山东大学 一种基于历史视觉行为的注视意图识别方法及系统
CN113386130B (zh) * 2021-05-21 2023-02-03 北部湾大学 一种仿生蛇形机器人控制系统及其控制方法
CN113524175B (zh) * 2021-06-22 2022-08-12 香港理工大学深圳研究院 一种基于多模态行为在线预测的人机协作方法和系统
CN116690565B (zh) * 2023-06-20 2023-12-26 苏州快捷智能科技有限公司 一种协作机器人及控制方法
CN117338436B (zh) * 2023-12-06 2024-02-27 鸡西鸡矿医院有限公司 一种机械手及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
CN106104650A (zh) * 2014-03-12 2016-11-09 微软技术许可有限责任公司 经由凝视检测进行远程设备控制
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8271132B2 (en) * 2008-03-13 2012-09-18 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
CN106104650A (zh) * 2014-03-12 2016-11-09 微软技术许可有限责任公司 经由凝视检测进行远程设备控制
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法

Also Published As

Publication number Publication date
CN107097227A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
CN107097227B (zh) 一种人机协作机器人系统
Ballard et al. Principles of animate vision
US11321965B2 (en) Scalable gesture and eye-gaze tracking in virtual, augmented, and mixed reality (xR) applications
Hales et al. Interacting with objects in the environment by gaze and hand gestures
Sivasangari et al. Eyeball based cursor movement control
Moutinho et al. Deep learning-based human action recognition to leverage context awareness in collaborative assembly
Pettersson et al. Human movement direction classification using virtual reality and eye tracking
Manns et al. Identifying human intention during assembly operations using wearable motion capturing systems including eye focus
Terreran et al. A general skeleton-based action and gesture recognition framework for human–robot collaboration
Terreran et al. Skeleton-based action and gesture recognition for human-robot collaboration
CN109144262B (zh) 一种基于眼动的人机交互方法、装置、设备及存储介质
KR102181897B1 (ko) 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
Raković et al. The gaze dialogue model: Nonverbal communication in hhi and hri
Benmessabih et al. Online human motion analysis in industrial context: A review
Cai et al. FedHIP: Federated learning for privacy-preserving human intention prediction in human-robot collaborative assembly tasks
Adebayo et al. Hand-eye-object tracking for human intention inference
Pettersson et al. Human movement direction prediction using virtual reality and eye tracking
Bature et al. Boosted gaze gesture recognition using underlying head orientation sequence
Bhowmick et al. A Framework for Eye-Based Human Machine Interface
Cao Eye tracking in human-computer interaction recognition
Xiahou et al. Integrated approach of dynamic human eye movement recognition and tracking in real time
Miah et al. Mouse Cursor Movement and Control using Eye Gaze-A Human Computer Interaction
Vincze et al. Integrated vision system for the semantic interpretation of activities where a person handles objects
Razali et al. Using eye gaze to forecast human pose in everyday pick and place actions
Khambhaita et al. Help me to help you: How to learn intentions, actions and plans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201125

Address after: Room 706, building 5, No.98 courtyard, lianshihu West Road, Mentougou District, Beijing

Patentee after: Fangyuan intelligent (Beijing) Technology Co., Ltd

Address before: 100191 Haidian District, Xueyuan Road, No. 37,

Patentee before: BEIHANG University