CN106604804A - 碰撞检测 - Google Patents

碰撞检测 Download PDF

Info

Publication number
CN106604804A
CN106604804A CN201580029813.6A CN201580029813A CN106604804A CN 106604804 A CN106604804 A CN 106604804A CN 201580029813 A CN201580029813 A CN 201580029813A CN 106604804 A CN106604804 A CN 106604804A
Authority
CN
China
Prior art keywords
robot
aforementioned
collision
articular
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580029813.6A
Other languages
English (en)
Other versions
CN106604804B (zh
Inventor
S·达利巴尔
D·古艾列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aldebaran SAS
Original Assignee
SoftBank Robotics Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Robotics Europe SAS filed Critical SoftBank Robotics Europe SAS
Publication of CN106604804A publication Critical patent/CN106604804A/zh
Application granted granted Critical
Publication of CN106604804B publication Critical patent/CN106604804B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37622Detect collision, blocking, stall by change, lag in position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37624Detect collision, blocking by measuring change of velocity or torque
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39011Fixed camera detects deviation end effector from reference on workpiece, object

Abstract

公开了一种确定对象与机器人之间的碰撞的计算机实现的方法,包括通过测量与所述机器人的一个或多个关节部分的实际位移相关联的参数监测所述一个或多个关节部分;将所述测量参数与关联于对应的命令位移的预期参数进行比较;以及确定与对象发生碰撞的概率。所述开发包括排除系统故障,通过计算机视觉或通过与所述对象通信识别所述碰撞对象,执行例如安全模式的一个或多个动作,识别执行比较中的系统差异,分组属于相同的关节链的关节部分以及机器人的相互监视。公开了电容传感器、保险杠传感器以及磁性旋转编码器的使用。

Description

碰撞检测
技术领域
本专利涉及数字数据处理领域,更具体而言,涉及检测对象与机器人之间的碰撞的系统和方法。
背景技术
机器人不仅越来越多地出现在工厂中,而且越来越多地出现在家庭中(例如,作为陪伴类人机器人)。
机器人与其环境交互并且可以与静止的或移动的对象(例如,玩具)或障碍物(例如,动物)发生碰撞。
现有技术的大多数解决方案公开了用于避免碰撞的方法和系统。
出于安全考虑,并且更一般地,对于丰富的人机交互,需要用于检测并且适当地处理对象(或障碍物)与机器人之间的碰撞的系统和方法。
发明内容
公开了一种确定对象与机器人之间的碰撞的方法,包括:通过测量与所述机器人的一个或多个关节部分的实际位移相关联的参数监测所述一个或多个关节部分;将所测量的参数与关联于对应的命令位移的预期参数进行比较;以及确定与对象发生碰撞的概率。
所述机器人的部分包括头部、腿、脚、手臂、手、躯干或其他部分(传感器、电机、诸如CPU和通信板的电路)。所述机器人的运动可以通过其不同部分的几何位置和运动速度来表征。
在一实施例中,在所述机器人的实际测量运动与关联于发送命令(命令被转化为张力或电流以施加于通常位于关节位置处的某个电机)的预期运动之间执行比较。
例如,一个关节的传感器可以显示实际(如测得的)与计算(如建模的或如预期的或按照指示的或如命令的)之间的差异。在典型的情况下,当已经发送恒定命令时,可以检测到人给予机器人的握手,同时检测所述手臂的特定运动。
为了保持有效的行为,通常连续执行测量和比较。在一些实施例中,间断性地或甚至周期性地执行测量(例如,利用内插法)。
关于所述测量,所述机器人可以在所述头部、腿、脚、手臂、手、躯干或其他部分上嵌入传感器。这些传感器的部分可以是电容性的(即,可以检测人体皮肤触摸)。这些传感器数量有限。因此全局方法,设想所述机器人作为一个整体系统可以帮助整合(integrate)和理解全局情况。
在一开发中,所述确定与对象发生碰撞的概率的步骤包括排除与所述机器人的所述一个或多个部分相关联的一个或多个故障的步骤。
在可能通过独立或至少其他装置过滤可能的系统故障(例如,一个手臂中的电机被阻挡在某一位置)构成的可选步骤之后,可以推断所述机器人的哪个部分遇到了障碍物。
在一开发中,所述方法进一步包括通过计算机视觉或通过与所述对象进行通信来识别所碰撞到的对象的步骤。
可以进一步识别或评估或确定所碰撞到的对象(小孩、家具、动物、玩具等)的类型。如果存在连接或可连接的设备(物联网,通过无线局域网(Wifi)、低功耗蓝牙(BLE)等等),用于执行这种识别的主要方法包括图像识别和/或通信,。
在一开发中,所述方法进一步包括执行一个或多个动作的步骤。
基于发生所述碰撞的概率的确定,可以执行某些预定义任务或运动或动作。在特定实施例中,例如一旦认定(图像识别或在所碰撞到的对象中的无线射频识别(RFID)标签可以提供标识给所述机器人)所述对象类型,就可以执行其他动作。
在一开发中,动作与安全模式相关联。
在检测到与障碍物的碰撞之后,可以采取不同的动作。这些动作通常由软件应用程序开发者定义。在一些情况下,“编程的”好奇心可以致使所述机器人尝试更新接触。在一些其他情况下,其他程序或活动可以致使所述机器人尝试避免更新接触。可以执行(更新接触但以低速进行等)中间动作。
在大多数情况下,所述机器人为了安全的原因而减速。特别地,当被外力移动时,所述机器人可以放松其控制(例如,这将不会使其关节僵化,通常将减速以避免进一步的碰撞,主要是避免伤害人并为了避免损坏自身)。减速有利于使得能够最小化进一步的冲击(如果有的话)。
换而言之,为了安全起见,在一实施例中,如果不完全停止其移动,则所述机器人可以采用包括减慢其移动(例如,降低速度和/或幅值或移动)的默认策略。事件的某些组合可以致使机器人“理解”:用户愿意玩它或与其交互,并且在这种情况下,所述机器人可以采取其他动作。
在一开发中,所测量的参数包括几何位置参数和/或位移速度参数。
在一开发中,所述方法进一步包括识别执行比较中的系统差异的步骤。
在一些实施例中,长期学习可以从系统偏差的检测中导出,例如在安装的基础上随时间的统计学测量。所述机器人的几何位置的组合被计算并是已知的(几何形状和自由度已知,即,具有足够的精度)。所述机器人的动力学的组合不是完全已知的,例如关于所述机器人的复杂的和快速的运动。例如,一些快速的动画可以不按照计划被准确地执行。实际的测量可以致使发现特殊的运动(例如,跳舞、空手道)可以证明导致磨损迹象或意味着危险平衡。进而,可以抑制(例如,通过靠着安装基座分布的补片(patch))所考虑的运动公差。如果重复发生,也可以诊断命令执行中的故障。
在一开发中,所述机器人的关节部分与所述头部,或所述腿,或所述脚,或所述手臂,或所述手,或所述躯干相关联。
在一开发中,所述确定与对象发生碰撞的概率的步骤包括整合针对所述机器人的属于相同的关节链的关节部分执行的所述比较,所述关节链将相关的关节部分进行分组的步骤。
关节链由关节部分组成。例如,考虑到机器人具有两个手臂以及在每个手上的一些电容传感器,可以定义一组“右手臂”,其包含所述右手臂的所有关节部分(或关节)以及右手的所有电容传感器。
在进一步的步骤中,关节、触觉传感器和保险杠(bumper)被组合在一起以输出可靠的信息,提供对所述机器人的运动的全面理解。公开了融合(fusing)来自电容传感器,保险杠和多个磁性旋转编码器(MRE)的测量的步骤。电容传感器、保险杠以及基于触摸检测的MRE可以经受快速振荡(触摸/未触摸)。这对于使用触摸信息的应用来说是不希望的。为了最小化振荡,在一实施例中,所述方法通过关节链对节点(joints)和传感器进行分组。
在一开发中,所述分组的步骤是动态的。
虽然在一些实施例中,可以预定义关节链(即,每个链以稳定方式包括多个关节部分),但是在一些其他实施例中,关节链可以被动态定义(例如,躯干和右手臂将在特定的时间被认为是对应于同样的并且唯一的主体,在其他时候周界将是不同的)。本实施例可以简化计算。
在一开发中,所述测量步骤和所述比较步骤由所述机器人独立执行。
在一实施例中,两个步骤(处理测量/比较)都由所述(相同的)机器人执行。例如,软件实现可以获得“看门狗”或“守护进程”以连续不断地在后台运行来执行这些操作。处理可以保持“独立”,直到一些点(相同的机器人主持(host)这两个处理)。传感器和致动器是物理上独立的,但是可以在逻辑上关联或相关。
在一实施例中,电路可以是冗余的。在另一实施例中,甚至与这种冗余电路关联的能量源也可以是冗余的。
在一实施例中,所述测量步骤由所述机器人执行并且所述比较步骤由独立实体执行。
在一实施例中,所述独立实体可以是例如第二机器人。在一实施中,所述独立实体可以由多个其他机器人(机器人可以观察和监控自己)组成。在一个实施例中,在所述机器人附近的独立相机(例如由用户佩戴的,例如智能眼镜或公寓中的网络摄像头等)可以提供对所述机器人的运动或位移的这种独立评估。
公开了一种计算机程序,其包括用于当所述计算机程序在合适的计算机设备上执行时执行所述方法的一个或多个步骤的指令。
公开了一种系统,包括适于执行所述方法的一个或多个的步骤的装置。所述机器人可以保持附近的心象地图(例如,通过计算机视觉,因为GPS可能不在地下或公寓内或住宅内工作)。
在一开发中,所述机器人的一部分的实际位移由磁性旋转编码器测量。例如,可以测量关节命令与传感器测量(例如,通过一个或多个这种磁性旋转编码器测量的关节位置)之间的误差。
在进一步的开发中,所述机器人的一部分的测量位移由电容传感器或保险杠传感器(这些传感器可以检测与障碍物或动物或对象的接触,特别是可以检测皮肤触摸)确认。关于所述机器人与对象或障碍物的碰撞,实际上存在几种可能。可以首先存在接触,而没有进一步的位移(即,只触摸所述机器人)。可以存在接触,接着有位移(即,所述机器人被触摸并碰撞和/或发生碰撞,并且检测到接触位置)。也可以是存在位移,而没有先前检测到的接触(即,在所述接触位置没有传感器)。关于接触的信息可以用作对进一步测量位移的确认(但像这样的接触信息不是必需的)。可以考虑关于所述接触的确切位置的信息(如果可用的话),以便计算所述碰撞的表征。
附图说明
现在将参照附图通过举例的方式描述本发明的实施例,其中,相同的附图标记表示相同的元件,并且其中:
图1例示了本发明的总体的技术环境;
图2例示了机器人与障碍物之间的碰撞的示例;
图3A、图3B和图3C示出了命令运动与测量运动之间的比较示例;
图4详述了本方法的一些方面。
具体实施方式
机器人通常监测其环境及其自己的内部状态。机器人可能与一个或多个障碍物发生碰撞。
障碍物例如可以是一件家具(例如,椅子或桌子)、人(例如,小孩)、动物(例如,猫)、对象(例如,玩具、气球)。障碍物可以是静止的或移动的。机器人可以是静止的或移动的。
由于各种系统装置和方法(例如,保持机器人周围的安全区域),可以执行避免预期的碰撞(例如,与对象或障碍物),但是一些方法可能被限制并且错过某些碰撞(在视线之外,不可达到,缺乏传感器,轻触等)和/或不能正确地表征碰撞(例如,柔软度,硬度,柔性,自身运动等)
根据本发明所公开的实施例,可以表征并进一步处理意外的(与一个或多个对象或障碍物)碰撞。
根据本发明的实施例,例如在短距离(例如,在其紧邻处)借助于计算机视觉装置或遥测技术或激光,机器人(例如,放置在寓所中的陪伴机器人)连续评估(例如,测量)其环境。与障碍物(潜在的障碍物或意外遇到的)相关的信息可以被连续监测(例如收集,集中)并与从传感器接收的数据比较。此外,预期的运动与所执行的运动之间的比较可以被执行并且可以导致进一步表征检测到的碰撞。
在一实施例中,机器人嵌入传感器,所述传感器连续捕捉环境。特别地,机器人在一些实施例中可以嵌入电容传感器(例如,对触摸敏感的)、“保险杠”传感器或其他类型的传感器(运动检测、红外辐射(IR)、气动传感器、传声器、相机等)。
这些传感器必需数量有限(成本、制造、设计等),因此可能发生的是:障碍物(或接收用户请求)可能未被检测到(例如,如果机器人在缺乏合适的传感器的位置处(例如,在两个触觉传感器之间)被接触)。但间接检测是可能的。通过将预期的运动与实际测量的执行运动进行比较,通常可以评估是否已经(或者没有)遇到障碍物和/或运动执行中的故障是否已经发生。
图1例示了本发明的总体技术环境。机器人130包括传感器和致动器。逻辑或“思维”100在机器人中实现或者与其关联(例如,远程地),并且包括软件集合110和硬件部件120。机器人130与一个或多个用户150交互(通过双边或双向通信系统140,其包括一个或多个对话框会话)。所述一个或多个用户可以访问其他计算设备160(例如,诸如可穿戴计算机或智能手机或平板电脑的个人计算机),其可以是被连接的设备(与服务器云和/或其他机器人的队列或连接的对象等通信)。具体而言,被连接的设备可以是可穿戴计算机(例如,手表、眼镜、沉浸式头盔等等)。
图上的特定机器人130仅作为可以实现本发明的类人机器人的示例。图上的机器人的下肢不具有行走的功能,但可以在其基座上沿任意方向移动,所述基座在其放置的表面上转动。本发明在适于行走的机器人中可以容易地实现。机器人可以让人想起人类或动物的形态。
在本发明的一些实施例中,机器人可以包括各种类型的传感器。它们中的一些用于控制机器人的位置和移动。这是例如位于机器人躯干中的惯性单元的情况,所述惯性单元包括3轴陀螺仪和3轴加速度计。机器人还可以包括在机器人的前额上(顶部和底部)的两个2D彩色RGB相机。3D传感器还可以被包括在机器人的眼睛后面。机器人还可以选择性地包括激光线发生器,例如在头部和基座,以便于能够感测其与其环境中的物体/生命体的相对位置。机器人还可以包括能够感测其环境中的声音的麦克风。本发明的机器人还可以包括可能位于其基座的前部和后部的声呐传感器,以测量在其环境中与对象/人类的距离。机器人还可以包括在其头上和其手上的触觉传感器,以允许与人类的交互。机器人还可以包括在其基座上的保险杠,以感测其在其路线上遇到的障碍物。为了在其环境中转化其情绪并与人类进行交流,本发明的机器人还可以包括多个LED(例如,在其眼睛、耳朵中以及在其肩膀上)和扬声器(例如,位于其耳朵中)。机器人可以通过各种网络(3G、4G/LTE、Wifi、BLE、无线网状网等等)经由其他连接设备或经由其他机器人与基站进行通信。机器人包括电池或能量源。机器人可以接入适合其包括的电池类型的充电站。考虑到传感器的测量结果,机器人的位置/移动由其电机使用算法来控制,该算法激活由每个肢体限定的链和在每个肢体的末端限定的效应器。
在特定实施例中,机器人能够嵌入平板电脑,借助该平板电脑其可以将消息(音频、视频、网页)传送给其环境,或者通过平板电脑的触觉接口从用户接收输入。在另一实施例中,机器人不嵌入或存在屏幕,但它具有视频投影仪,利用该视频投影仪可以将数据或信息投影在机器人附近的表面上。所述表面可以是平的(例如,地板)或不是平的(例如,可以补偿投影表面的变形以获得大体上平的投影)。在两个实施例中(具有屏幕和/或具有投影仪),本发明的实施例保持有效:交互模型仅由视觉交互装置补充或者补足。在任何情况下,图形装置是否是无序的或故意停用,交互的会话模式保持。
在一实施例中,机器人不包括这样的用户接口装置。既有的类人机器人通常具有高级语音能力,但通常不具有图形用户接口(GUI)。增加用户社区可能不会使用图形装置(例如,平板电脑、智能手机),甚至作为补充,以根据选择和/或必要性(年轻人、受损者、由于实际情况等)与机器人进行通信。
软件集合110(非穷尽地)包括彼此交互的软件模块或对象或软件代码部分,包括“提取器”111、“活动建议”112、“思维优先级”113、“包管理器”114、“用户历史数据”115、“聚焦自主活动”116和“聚焦对话框主题”117以及“健康监测服务”118。
“提取器服务”111通常感测或感知机器人内部或外部的某物,并提供短期的数据到机器人的存储器中。提取器服务从机器人传感器接收输入读数,这些传感器读数被预处理以便提取与机器人位置、在其环境中的对象/人类的识别、所述对象/人类的距离、人类发出的词语或者其情绪有关的相关数据。提取器服务具体包括:面部识别、人类感知、参与区域、挥动检测、微笑检测、凝视检测、情感检测、语音分析、语音识别、声音定位、运动检测、全景指南针、机器人姿势、机器人健康诊断、电池、二维码(QR code)处理、家庭自动化、群(tribes)、时间和日程。
“致动器服务”使得机器人130物理地做或执行动作。运动跟踪、多个LED、行为管理器是“致动器服务”的示例。
“数据服务”提供长期存储的数据。数据服务的示例是用户会话服务115和包管理器服务114。用户会话服务115存储用户数据以及数据服务对机器人所执行的历史。包管理器服务114提供数据服务的高级定义、启动条件和标签给由机器人执行的程序的可扩展储存器。“包管理器”特别提供了活动和对话框的可扩展储存器以及清单。“清单”包含诸如启动条件、标签和高级描述的元数据。
“思维服务”(例如,服务思维优先级113)是这样的服务:在其开始动作时将由机器人的中心的“思维”控制。“思维服务”将“致动器服务”130、“提取器服务”111和“数据服务”115配合在一起。基本意识是一种“思维服务”。它订阅“提取器服务”,例如人类感知、移动检测和声音本地化,以告诉运动服务进行移动。“思维”113根据情况配置基本意识的行为。在其他时候,基本意识要么自己动作,要么正在由运行活动配置。
“自主生活”是一种“思维服务”。它执行行为活动。基于情况的背景,思维可以告诉自主生活要聚焦的活动(“聚焦的自主活动”116)。清单中的元数据将此信息与思维联系起来。任何活动都可以使用操作系统的多个API中的一个或多个。活动也可以直接告诉自主生活要聚焦的活动,或者告诉对话框服务要重点关注的主题。
“对话框”服务可以被配置为思维服务。它订阅语音识别提取器并且可以使用“动画语音致动器服务”来说话。基于情况的背景,思维可以告诉对话框要聚焦的主题(“对话框主题”)。“对话框”服务还具有用于管理对话的算法,并且通常自己动作。对话框服务的一个组成部分可以是“聚焦对话框主题”服务117。对话框主题可以以编程方式告诉思维随时将焦点切换到(或执行或启动)不同的活动或对话框主题。确定对话框主题的可能方法的一个示例可以包括:在对话框主题或活动的启动条件变为真或假时,将当前所有可能的活动或对话框主题的列表发送到思维;根据活动优先级对该列表进行过滤;使该列表顺序随机化;对该列表进行排序(或打分),以给予“唯一”并且较少启动的活动或对话框主题优先考虑;特殊检查,以确保该列表中的顶部对话框主题或活动不是与所执行的在先的活动相同的活动。可以根据用户的偏好再次对该列表进行排序和过滤。
机器人可以实施“健康监测”服务118。这样的服务可以充当守护进程或“看门狗”,以考虑或控制或调节机器人的不同优先级。这样的服务可以监测(连续,间歇地或周期性地)机器人的内部部件的状态以及测量或预见或预测或校正硬件故障。在开发中,监测机器人的队列(fleet)(例如安装基座)。嵌入式服务可以连续地检测故障情况并使它们与“云”服务同步(例如,每分钟一次)。
硬件部件120包括处理装置121、存储器装置122、输入/输出I/O装置123、大容量存储装置124以及网络接入装置125,所述装置彼此交互(缓存、交换、分布式计算、负载均衡等)。处理装置121可以是CPU(单核或多核)或者FPGA。存储器装置122包括一个或多个闪存或随机存取存储器。I/O装置123可以包括一个或多个屏幕(例如,触摸屏)、灯或LED、触觉反馈、虚拟键盘、鼠标、轨迹球、操纵杆或投影仪(包括激光投影仪)。存储装置124可以包括硬盘驱动器或固态硬盘驱动器(SSD)中的一个或多个。网络接入装置可以提供接入一个或多个网络(例如3G、4G/LTE、Wifi、BLE或无线网状网)。网络流量可以被加密(例如,安全加密链路、加密套接字协议层(SSL)等等)。
在一实施例中,可以远程访问计算资源(计算、存储器、I/O装置、储存和连通性),例如作为本地资源(在机器人本身中可用)的补充。例如,可以通过云访问其他CPU单元进行语音识别计算任务。计算资源也可以共享。特别地,多个机器人可以共享资源。在机器人附近的连接的设备也可以在一定程度上共享资源,例如通过安全协议。显示装置也可以共享。例如,电视可以用作机器人在经过时的另一显示器。
图2例示了机器人与障碍物之间的碰撞的示例。机器人130正在规划手臂的轨迹或姿势或移动或运动序列,例如,假设开始于位置211并终止于位置213。在某一时刻,与障碍物200(或对象)的意外的碰撞将手臂阻挡在位置212。通过根据预期的轨迹将真实的或所获得的位置与预期的或计算的手臂位置进行比较,机器人可以推断已经发生碰撞,并且在一些实施例中,在何处、在何时以及如何发生碰撞。
图3A、图3B和图3C示出了发送的命令与相应的观察到的运动之间的差异的示例。提供了可能的解释(例如,对象强制机器人移动,机器人在某个点被障碍物阻挡,意外的障碍物减慢机器人的运动)。
在图3A中,命令是稳定的,传感器指示了运动的存在:某物强加于附接到关节的身体上。在被监测的某个关节电机(例如)处发送恒定命令313。与该被监测的身体部分相关联的角度312在指示时间的不同循环数311期间等于零。突然,然后越来越多地测量到角度偏差(或间隙或差异或扩展或差别或变化)。由于超过了预定义的测量误差阈值,因此可以推断出发生了碰撞(即,碰撞被认为是确定的按模计算的测量精度)。
图3B中,命令指示运动,但传感器不遵循:某物正在阻挡附接到关节的身体。旋转运动是有序的(命令323显示角度312随时间311增加)。所观察或测量的实际运动324仅指示稳定位置(该角度不超过某一值)。在超过预定义的误差测量阈值之后,可以断定障碍物已经与机器人发生碰撞。
图3C中,发送的命令和传感器的测量都指示运动,但差异逐渐增加。特定的命令333被发送(例如,命令323显示角度322被假设为随时间321(例如在编排期间)增加然后减少)。所观察或测量的实际运动324指示实际的运动遵循该命令但该运动未完成(例如,增加延时或减少幅度)。如果超过了预定义的误差测量阈值,可以充分自信地断定障碍物已经与机器人发生碰撞(或机器人已经与碰撞的对象发生碰撞,由于运动是相对的)并且正在减慢预期的运动。通常可以推断障碍物是可移动的和/或重量轻的和/或可变形的(例如,枕头、玩具、移动动物等)。
可以考虑其他参数,以重新定义并详细说明碰撞情况。传感器的数据可以确定机器人是否在移动并且碰撞对象或者是否移动的对象正在碰撞静止的机器人(或是否两个对象都在移动)。计算机视觉(结合音频分析)可以帮助对碰撞事件进行分类。
可以由机器人执行可选择地取决于分类的事件的其他动作。如果例如机器人是静止的并且碰撞到气球或用户(面部检测),或者机器人正在移动并与寓所中的家具发生碰撞,则机器人的反应可以是不同的。在实践中,这种碰撞评估将影响机器人在短期内执行的运动的进一步的幅度和速度。
图4详细描述了本方法的一个实施例的一些方面。更详细地,先前的(例如,过去或存档的)关节命令401被检索或评估并与(实际的)关节传感器的读数402(例如,通过磁性旋转编码器)进行比较。然后计算关节误差411(例如,测量误差阈值)。所述误差例如可以与绝对的或相对的位置测量误差测量和/或与传感器的延迟相关联。传感器的延迟指明命令被发送的时间与其效果对于运动控制器是可见的(例如,通过磁性旋转编码器(MRE)的读数)的时间之间的时间延迟。如果传感器延迟之后,测量节点的关节位置远离发送的关节命令,则可能机器人外部的某物在附接到该节点的机器人身体上施加力。还可以通过观察在关节指令和传感器的一阶导数(速度)上测量的误差更快地检测这种力。考虑误差411以执行命令运动与测量运动之间的比较。对属于同一关节链(例如,右臂)的一个或多个节点(或关节部分)(如果不是所有部分)重复前述步骤。数据与电容传感器的读数(其数量有限)融合。如果可用,这种读数可以有助于评估碰撞情况(即,确定关节组是否被接触或碰撞420)。其他传感器数据被用于重新定义并表征421碰撞情况(相对运动、施加的力的强度、速度/速率、计算机视觉、与周围的连接对象和/或其他机器人的通信、音频环境、面部检测等)。根据所收集的事实和决策规则,由机器人执行其他动作422(例如,运动、语言和动画)。
进一步公开了检测机器人与轨迹上的一个或多个障碍物的碰撞的方法。轨迹可以是由机器人构件执行的手势或运动的集合。节点和/或关节链的运动以这样的方式被监测:使得检测与一个或多个障碍物的一个或多个碰撞成为可能。
运动或移动或手势可以与几何和动力学表征(例如,节点和/或关节链的幅度和速度)的参数相关联。
在一实施例中,在控制循环处,运动控制器将机器人的一个或多个关节的节点目标位置和/或速度作为输入。目标可以来自编排动画,或者可以是计算的结果;可选地来自这样的目标位置,该方法计算机器人(“包络”)的每个考虑点的目标位置和/或速度;对于所有点,该方法随后适时地测量一个或多个对应点的实际或获得的位置和/或速度。如果有的话,然后该方法推断机器人的哪个部分经历了碰撞。在一实施例中,公式化碰撞假设(例如,障碍物的位置和机器人的相应碰撞部分)并执行模拟。如果实际测量值与模拟值的比较超过了预定义阈值,则选择假设,否则重复该步骤。
在一些实施例中,执行更快处理的优化:可以考虑可变数量的点(例如,可以仅考虑关节链,或相反,可以精确地确定身体包络的位置和动力学)。考虑的点的数量也可以随着时间演变。
公开的方法可以采用完全硬件实施例(例如,FPGA)、完全软件实施例或包含硬件和软件元件二者的实施例。软件实施例包括但不限制于固件、常驻软件、微代码等等。本发明可以采用从计算机可用的或计算机可读的介质可访问的计算机程序产品的形式,该计算机可用的或计算机可读的介质提供由计算机或任何指令执行系统使用或与其结合使用的程序代码。计算机可用的或计算机可读的可以是可以包含、存储、通信、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何装置。该介质可以是电子的、磁的、光学的、电磁的、红外线的或半导体的系统(或装置或设备)或传播介质。

Claims (16)

1.一种确定对象与机器人之间的碰撞的计算机实现的方法,包括:
通过测量与所述机器人的一个或多个关节部分的实际位移相关联的参数来监测所述一个或多个关节部分;
将所测量的参数与关联于对应的命令位移的预期参数进行比较;以及
确定与对象发生碰撞的概率。
2.根据权利要求1所述的方法,其中,所述确定与对象发生碰撞的概率的步骤包括排除与所述机器人的所述一个或多个部分相关联的一个或多个故障的步骤。
3.根据权利要求1或2所述的方法,进一步包括通过计算机视觉或通过与所述对象进行通信来识别所碰撞的对象的步骤。
4.根据前述权利要求中的任一项所述的方法,进一步包括执行一个或多个动作的步骤。
5.根据前述权利要求所述的方法,其中,动作与安全模式相关联。
6.根据前述权利要求中的任一项所述的方法,其中,所测量的参数包括几何位置参数和/或位移速度参数。
7.根据前述权利要求中的任一项所述的方法,进一步包括识别所执行的比较中的系统差异。
8.根据前述权利要求中的任一项所述的方法,其中,所述机器人的关节部分与头部,或腿,或脚,或手臂,或手,或躯干相关联。
9.根据前述权利要求中的任一项所述的方法,其中,所述确定与对象发生碰撞的概率的步骤包括:整合针对所述机器人的属于相同的关节链的关节部分执行的所述比较,所述关节链将相关的关节部分进行分组。
10.根据权利要求9所述的方法,其中,所述分组步骤是动态的。
11.根据前述权利要求中的任一项所述的方法,其中,由所述机器人独立地执行所述测量步骤和所述比较步骤。
12.根据前述权利要求中的任一项所述的方法,其中,由所述机器人执行所述测量步骤并且由独立的实体执行所述比较步骤。
13.一种计算机程序,包括用于当所述计算机程序在合适的计算机设备上执行时执行根据权利要求1至12中的任一项所述的方法的步骤的指令。
14.一种系统,包括适于执行根据权利要求1至12中的任一项所述的方法的步骤的装置。
15.根据权利要求14所述的系统,其中,所述机器人的一部分的实际位移由磁性旋转编码器来测量。
16.根据权利要求15所述的系统,其中,所述机器人的一部分的所述位移由电容传感器或保险杠传感器来确认。
CN201580029813.6A 2014-06-05 2015-06-05 碰撞检测 Expired - Fee Related CN106604804B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305848.5 2014-06-05
EP14305848.5A EP2952300A1 (en) 2014-06-05 2014-06-05 Collision detection
PCT/EP2015/062539 WO2015185710A2 (en) 2014-06-05 2015-06-05 Collision detection

Publications (2)

Publication Number Publication Date
CN106604804A true CN106604804A (zh) 2017-04-26
CN106604804B CN106604804B (zh) 2019-12-06

Family

ID=51022793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580029813.6A Expired - Fee Related CN106604804B (zh) 2014-06-05 2015-06-05 碰撞检测

Country Status (13)

Country Link
US (1) US10369697B2 (zh)
EP (1) EP2952300A1 (zh)
JP (1) JP6462008B2 (zh)
KR (1) KR101982420B1 (zh)
CN (1) CN106604804B (zh)
AU (2) AU2015270430A1 (zh)
BR (1) BR112016028360A2 (zh)
CA (1) CA2951087C (zh)
MX (1) MX2016015826A (zh)
NZ (1) NZ727012A (zh)
RU (1) RU2016152157A (zh)
SG (1) SG11201609562XA (zh)
WO (1) WO2015185710A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2952301B1 (en) 2014-06-05 2019-12-25 Softbank Robotics Europe Humanoid robot with collision avoidance and trajectory recovery capabilities
DE102016104600B4 (de) * 2016-03-14 2019-03-14 Hiwin Technologies Corp. Antriebsvorrichtung für elektrische Greifer und Antriebsverfahren dafür
US10258851B2 (en) * 2016-09-13 2019-04-16 AO Kaspersky Lab System and method for calculating projected impact generated by sports implements and gaming equipment
FR3066131B1 (fr) * 2017-05-15 2019-06-14 Fogale Nanotech Robot dote d'une detection capacitive
JP7000704B2 (ja) * 2017-05-16 2022-01-19 富士フイルムビジネスイノベーション株式会社 移動式サービス提供装置及びプログラム
CN110662635B (zh) 2017-05-29 2022-11-22 富兰卡爱米卡股份有限公司 机器人的碰撞处理
EP3460400B1 (en) 2017-09-22 2021-12-22 Softbank Robotics Europe Improved localization of a mobile device based on image and radio words
US10383786B2 (en) * 2017-12-18 2019-08-20 International Business Machines Corporation Utilizing a human compound eye using an internet of things (“HCEI”) for obstacle protection of a user
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
JP6761194B2 (ja) * 2019-01-30 2020-09-23 株式会社安川電機 ロボットシステム、ロボット制御方法、ロボットコントローラ及びプログラム
US20220168895A1 (en) * 2019-03-28 2022-06-02 Genesis Robotics And Motion Technologies, LP Collision detection
WO2023095926A1 (ja) * 2021-11-29 2023-06-01 京セラ株式会社 ロボット制御装置、ロボット制御システム、及びロボット制御方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214362A (en) * 1988-08-11 1993-05-25 Fanuc Limited Method for detecting a collision and stopping drive of a machine driven by servomotors
JP2003159674A (ja) * 2001-11-21 2003-06-03 Sony Corp ロボット装置、ロボット装置の外力検出方法及びロボット装置の外力検出プログラム、並びにロボット装置の外力検出のためのキャリブレーション方法及びロボット装置の外力検出のためのキャリブレーションプログラム
EP1477284A1 (en) * 2002-02-18 2004-11-17 Kawasaki Jukogyo Kabushiki Kaisha Drive control method and drive controller
US20060129348A1 (en) * 2002-09-30 2006-06-15 Sven Hooge System for collision a voidance of rotary atomizer
JP2007155700A (ja) * 2005-11-09 2007-06-21 Denso Corp 車両用衝突検知装置
CN103386684A (zh) * 2013-08-21 2013-11-13 福州大学 一种防止机器人产生意外碰撞的装置及设计方法
CN103722565A (zh) * 2014-01-23 2014-04-16 哈尔滨工业大学 仿人机器人自碰撞监控系统及监控方法
WO2014068578A1 (en) * 2012-11-05 2014-05-08 Ofek Eshkolot Research And Development Ltd. A method and system for developing cognitive responses in a robotic apparatus

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01230107A (ja) * 1988-03-10 1989-09-13 Fanuc Ltd サーボモータにより駆動される被駆動体の衝突検出方法
JP2000326808A (ja) * 1999-05-24 2000-11-28 Toyota Central Res & Dev Lab Inc 車両用衝突判別装置
US7162409B2 (en) * 1999-12-30 2007-01-09 Sony Corporation Diagnostic system, diagnostic device and diagnostic method
JP2001282570A (ja) * 1999-12-30 2001-10-12 Sony Corp 診断システム、診断装置及び診断方法
JP2001341092A (ja) * 2000-06-02 2001-12-11 Sharp Corp 多関節ロボットおよび多関節ロボットの位置教示方法
JP4739556B2 (ja) * 2001-03-27 2011-08-03 株式会社安川電機 制御対象の遠隔調整及び異常判断装置
EP2345945B1 (en) * 2001-06-12 2016-08-10 iRobot Corporation Method and system for multi-mode coverage for an autonomous robot
JP4295947B2 (ja) * 2002-02-15 2009-07-15 ソニー株式会社 脚式移動ロボット及びその移動制御方法
US7761184B2 (en) * 2003-03-23 2010-07-20 Sony Corporation Robot apparatus and control method thereof
JP2004306247A (ja) * 2003-03-23 2004-11-04 Sony Corp ロボット装置及びその制御方法
US9691651B2 (en) * 2005-01-28 2017-06-27 Brooks Automation, Inc. Substrate handling system for aligning and orienting substrates during a transfer operation
US7972298B2 (en) * 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
JP4305323B2 (ja) * 2004-08-11 2009-07-29 ソニー株式会社 ロボット装置の動作制御装置及び動作制御方法
JP4577607B2 (ja) * 2004-10-20 2010-11-10 株式会社安川電機 ロボットの制御装置およびロボットシステム
JP2006123153A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット用開発支援装置および開発支援プログラム
JP4129452B2 (ja) * 2004-11-30 2008-08-06 株式会社東芝 移動ロボット
US8679096B2 (en) * 2007-06-21 2014-03-25 Board Of Regents Of The University Of Nebraska Multifunctional operational component for robotic devices
JP5156836B2 (ja) * 2007-10-26 2013-03-06 本田技研工業株式会社 リアルタイム自己衝突および障害物回避
FR2929873B1 (fr) * 2008-04-09 2010-09-03 Aldebaran Robotics Architecture de controle-commande d'un robot mobile utilisant des membres articules
JP2010082714A (ja) * 2008-09-30 2010-04-15 Mitsubishi Heavy Ind Ltd コミュニケーションロボット
JP5493844B2 (ja) * 2009-12-25 2014-05-14 富士通株式会社 機構体、外力検出方法及び機構体の制御方法
JP2011185328A (ja) * 2010-03-05 2011-09-22 Honda Motor Co Ltd 直動アクチュエータ及びこれを備えたロボット
US20140067660A1 (en) * 2011-03-11 2014-03-06 Kevin Terrill Cornish Method and process for an electric vehicle charging system to automatically engage the charging apparatus of an electric vehicle
JP5899660B2 (ja) * 2011-06-03 2016-04-06 ソニー株式会社 アクチュエーター装置、多軸駆動装置、並びにロボット装置
JP2014018941A (ja) * 2012-07-23 2014-02-03 Daihen Corp 制御装置、及び制御方法
US9186793B1 (en) * 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
EP2913163B1 (en) * 2012-10-25 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Robot malfunction indication method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214362A (en) * 1988-08-11 1993-05-25 Fanuc Limited Method for detecting a collision and stopping drive of a machine driven by servomotors
JP2003159674A (ja) * 2001-11-21 2003-06-03 Sony Corp ロボット装置、ロボット装置の外力検出方法及びロボット装置の外力検出プログラム、並びにロボット装置の外力検出のためのキャリブレーション方法及びロボット装置の外力検出のためのキャリブレーションプログラム
EP1477284A1 (en) * 2002-02-18 2004-11-17 Kawasaki Jukogyo Kabushiki Kaisha Drive control method and drive controller
US20060129348A1 (en) * 2002-09-30 2006-06-15 Sven Hooge System for collision a voidance of rotary atomizer
JP2007155700A (ja) * 2005-11-09 2007-06-21 Denso Corp 車両用衝突検知装置
WO2014068578A1 (en) * 2012-11-05 2014-05-08 Ofek Eshkolot Research And Development Ltd. A method and system for developing cognitive responses in a robotic apparatus
CN103386684A (zh) * 2013-08-21 2013-11-13 福州大学 一种防止机器人产生意外碰撞的装置及设计方法
CN103722565A (zh) * 2014-01-23 2014-04-16 哈尔滨工业大学 仿人机器人自碰撞监控系统及监控方法

Also Published As

Publication number Publication date
JP2017516674A (ja) 2017-06-22
US20170173791A1 (en) 2017-06-22
AU2019200969A1 (en) 2019-02-28
JP6462008B2 (ja) 2019-01-30
AU2015270430A1 (en) 2016-12-08
CA2951087A1 (en) 2015-12-10
RU2016152157A (ru) 2018-07-10
MX2016015826A (es) 2017-10-04
CA2951087C (en) 2019-06-04
NZ727012A (en) 2018-04-27
US10369697B2 (en) 2019-08-06
WO2015185710A3 (en) 2016-03-10
CN106604804B (zh) 2019-12-06
KR20170041678A (ko) 2017-04-17
RU2016152157A3 (zh) 2018-07-10
WO2015185710A2 (en) 2015-12-10
KR101982420B1 (ko) 2019-05-27
SG11201609562XA (en) 2016-12-29
EP2952300A1 (en) 2015-12-09
BR112016028360A2 (pt) 2017-08-22

Similar Documents

Publication Publication Date Title
CN106604804A (zh) 碰撞检测
US11009941B2 (en) Calibration of measurement units in alignment with a skeleton model to control a computer system
US11238717B2 (en) Proximity-based personnel safety system and method
WO2021011888A1 (en) System and method for error detection and correction in virtual reality and augmented reality environments
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
RU2664841C2 (ru) Система, способ и компьютерный программный продукт для обработки взаимодействия человекоподобного робота с человеком
US10775946B2 (en) Universal handheld controller of a computer system
CN108027657A (zh) 增强和/或虚拟现实环境中的场境敏感用户界面激活
US10540543B2 (en) Human-computer-interaction through scene space monitoring
CN106104423A (zh) 姿势参数调节
EP3800532A1 (en) Monitoring
KR102071116B1 (ko) 휴머노이드 로봇의 대기 모드
US9829708B1 (en) Method and apparatus of wearable eye pointing system
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
US20180203515A1 (en) Monitoring
CN117337426A (zh) 音频加强的增强现实
Rodić et al. Building technology platform aimed to develop service robot with embedded personality and enhanced communication with social environment
Kumar Dynamic speed and separation monitoring with on-robot ranging sensor arrays for human and industrial robot collaboration
WO2018016192A1 (ja) 仮想感性評価支援システム
US11620097B2 (en) Information processing apparatus and information processing method for displaying a figure corresponding to an autonomous moving body
Tang et al. Informationally Structured Space for Life Log Monitoring in Elderly Care
Chu et al. A study of motion recognition system using a smart phone
Ghribi et al. Architectural proposal for a mobile telepresence robot, REGIMTEL

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1236890

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191206

Termination date: 20210605

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1236890

Country of ref document: HK