CN110785269B - 用于管理机器人和相关治疗机器人的运动的设备 - Google Patents

用于管理机器人和相关治疗机器人的运动的设备 Download PDF

Info

Publication number
CN110785269B
CN110785269B CN201880042150.5A CN201880042150A CN110785269B CN 110785269 B CN110785269 B CN 110785269B CN 201880042150 A CN201880042150 A CN 201880042150A CN 110785269 B CN110785269 B CN 110785269B
Authority
CN
China
Prior art keywords
generic model
robot
dimensional representation
point
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880042150.5A
Other languages
English (en)
Other versions
CN110785269A (zh
Inventor
F·伊索蒂尔
G·吉贝特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kapsikes
Original Assignee
Kapsikes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kapsikes filed Critical Kapsikes
Publication of CN110785269A publication Critical patent/CN110785269A/zh
Application granted granted Critical
Publication of CN110785269B publication Critical patent/CN110785269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H23/00—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms
    • A61H23/02—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms with electric or magnetic drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H9/00—Pneumatic or hydraulic massage
    • A61H9/005—Pneumatic massage
    • A61H9/0057—Suction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1657—Movement of interface, i.e. force application means
    • A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/85—Contour of the body
    • A61H2230/855—Contour of the body used as a control parameter for the apparatus
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37205—Compare measured, vision data with computer model, cad data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45084—Service robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Fuzzy Systems (AREA)
  • Vascular Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Percussion Or Vibration Massage (AREA)
  • Massaging Devices (AREA)

Abstract

本发明涉及一种用于管理配置为处理表面的机器人的运动的设备，所述设备包括：‑用于获取所述待处理表面的三维表示(Re)的获取装置(14)；和‑用于根据待处理表面的三维表示(Re)确定运动顺序的确定装置；‑所述确定装置包括至少一个已知多个运动序列(Tx)的三维通用模型(m1‑m3)；‑所述设备包括调整装置(18、23)，所述调整装置用于利用所述待处理表面的所述三维表示(Re)调整所述通用模型(m1‑m3)，所述调整装置(18、23)能够使所述通用模型(m1‑m3)和已知的运动序列(Tx)变形，以对应于所述待处理表面的所述三维表示(Re)。

Description

用于管理机器人和相关治疗机器人的运动的设备
技术领域
本发明涉及管理在非常不同的几何形状的表面上操作的机器人的运动的领域。
本发明可以应用于其中机器人的工作表面不是先验已知的许多技术领域。例如，本发明可以被实现为一种用于绘画手工瓷器的机器人，其中该机器人必须被调整为适合由工匠生产的瓷器的不同形状。
本发明提供了用于移动诸如按摩机器人之类的治疗机器人的机动手臂的特别有利的应用。
背景技术
与被编程为遵循预定路径的工业机器人不同，在未知表面上操作的机器人必须包括能够分析待处理表面以确定路径的运动管理装置。
识别机器人通常包括至少一个照相机和图像处理装置，用于随着时间的推移分析探索表面并确定机器人将遵循的路径。
这种分析未知表面的方法需要很高的计算能力，才能随着时间的推移精确地引导机器人的运动。随之而来的是，探索机器人缓慢移动，以使得用于管理运动的设备能够基于由相机获取并由图像处理装置处理的信息来优化机器人的运动。
另外，对于按摩机器人或用于绘画手工瓷器的机器人，机器人的运动必须极其精确，以便按摩个人身体上的期望区域或将颜料层施加到期望区域。
为此，已知扫描三维表面以便使操作员能够使用待被机器人处理的表面的三维数值建模来编程机器人的运动。
例如，国际专利申请号为WO2015/187092描述了一种按摩机器人，该按摩机器人包括三维扫描仪，该三维扫描仪用于扫描患者的身体并且使从业者能够通过使用触摸平板上的患者身体的三维模型的投影来确定机器人的按摩路径。
然而，该按摩机器人不是自主的，因为从业者必须在场以利用他的专业知识并在数字模型上对按摩机器人的路径进行编程。
因此，技术问题在于以高运动精度自动管理在未知表面上操作的机器人的运动。
发明内容
发明的目的是通过与用于调整待用通用模型处理(treated)的表面的装置相关联的通用模型的多个已知运动序列来解决该技术问题，从而调整通用模型的已知运动顺序，并将其应用于待处理表面。
因此，尽管当在通用模型上对运动序列进行编程时待处理表面的几何形状是未知的，但是机器人能够通过将通用模型的形状调整为待处理表面的形状来自动调整运动序列。
为此，根据第一方面，本发明涉及一种用于管理构造成处理表面的机器人的运动的设备，所述设备包括：
-获取装置，所述获取装置用于获取所述待处理表面的三维表示；和
-确定装置，所述确定装置用于基于所述待处理表面的所述三维表示来确定运动序列。
本发明的特征在于，所述确定装置包括至少一个三维通用模型，对于所述三维通用模型而言，多个运动序列(Tx)是已知的；所述设备包括调整装置，所述调整装置用于利用所述待处理表面的所述三维表示来调整所述通用模型，为了对应于所述待处理表面的所述三维表示，所述调整装置能够使所述通用模型变形，将所述通用模型的变形应用于已知的运动序列，从而至少获得基于所述待处理表面的维度(dimensions)而被调整的新的运动序列；所述机器人被配置为基于新的运动序列之一来处理所述表面。
因此，本发明使得能够在通用模型上使用多个已知的运动序列，以便将它们应用于待处理表面，当学习运动序列时，其几何形状是未知的。在用于绘画手工瓷器的机器人的示例中，绘画者可以通过相对于标准杯子的通用模型记录这些设计来定义要在杯子上绘画的标准设计。然后，机器人可以扫描新创建的杯子的表面，并通过基于新创建的杯子的表面使通用模型变形来应用标准设计之一。
在按摩机器人的示例中，人体的通用模型是根据对真实人物的测量得出的。然后以三个维度表示该通用模型，以便从业者可以定义通过通用模型不同敏感点的按摩路径，以获得有效的按摩效果。
通用模型的这些敏感点可以匹配区域，例如，围绕敏感点在垂直于该点的表面的方向上在半径50毫米半径内延伸的区域。
当使用机器人对新患者进行按摩时，将扫描患者的身体，并将通用模型的形状调整为患者的形状，以使通用模型的变形允许获得按摩路径的变形，以便在尊重从业者记录的按摩准确性的同时，将机器人的运动调整到患者的身体形状。结果，本发明能够再现非常高水平的按摩质量，并且按摩感觉非常接近从业者的按摩或甚至与从业者相同。
根据本发明，多个按摩路径可以被数字化，以便执行几种不同类型的按摩。还可以通过创建几种通用模型来改善通用模型对患者身体的适应性，例如通过针对每种性别使用三种类型的通用模型：大、中、小尺寸人以及不同年龄：儿童、青少年和成人。
根据实施例，至少一个已知的运动序列整合了位置，其中为所述机器人预编程了针对所述位置的动作。
该实施例使得能够在机器人的运动期间控制致动器的操作。在用于绘画手工瓷器的机器人的示例中，该机器人可以在某些位置执行特定的表面处理。在按摩机器人的示例中，机器人的某些位置可以控制加热装置的触发，以提高舒适度和/或按摩效果。另外，已知的运动序列可以包括以触击-滚动运动执行的多个路径，而以另一种类型的运动执行其他运动。
根据实施例，将所述通用模型和所述待处理表面的所述三维表示被以散点图的形式进行规范化(formalisés)，所述调整装置包括：
-计算装置，用于计算所述待处理表面的所述三维表示的每个点的法向方向；和
-搜索装置，用于针对所述三维表示的散点图的每个点，在附近搜索通用模型符合以下条件的点：对于所述点，通用模型的点的法线方向与感兴趣的点的法线方向之间的差异最小；
-确定装置，用于确定所述通用模型的被检测到的点与所述感兴趣的点之间的距离；和
-搜索装置，用于基于针对所述三维表示的散点图的所有点所确定的距离，对所述通用模型的全部变换进行搜索。
法线方向使得可以获得与通用模型的侧面的方向以及待处理表面的三维表示有关的信息。与简单的点对点坐标比较不同，边的比较可以实现更有效的识别。
另外，通过基于距离的平均值逐渐修改通用模型来逐步进行通用模型的调整。结果，该实施例能够通过比较通用模型的每个点的法线方向和待处理表面的三维表示的法线方向来有效地调整通用模型。
根据一个实施例，所述搜索装置被配置用于在感兴趣点周围的预定球体中搜索通用模型的点。该实施例旨在限制通用模型的点的搜索区域，从而限制计算时间。另外，搜索区域的限制还使得能够限制两个比较之间的通用模型的修改范围，从而增加通用模型的修改的准确性。
根据一个实施例，通过利用最接近感兴趣的点的三个或四个点的坐标构造侧面来确定法线方向。
该实施例使得能够有效构造通用模型的侧面以及待处理表面的三维表示。
根据一个实施例，所述调整装置包括：
-用于在所述三维表示上检测特征点的装置；和
-用于使通用模型旋转和/或平移变形的装置，使得所述特征点的所述位置对应于通用模型的特征点的位置。
该实施例使得能够对通用模型进行第一粗略调整，以便提高利用法线进行的精确调整的速度。在用于绘画手工瓷器的机器人的示例中，特征点可以对应于瓷器的上端和下端。在按摩机器人的示例中，特征点可以对应于头骨的上端、腋窝的位置以及腹股沟的位置。
根据一个实施例，所述获取装置包括预处理装置，其用于通过捕获多个三维表示并对在不同的三维表示中的点坐标的进行平均，从而对所述三维表示进行预处理。该实施例使得能够提高三维表示的准确性，并因此提高通用模型的调整的准确性。
根据一个实施例，所述预处理装置对不同的三维表示中的点坐标的所述平均值进行过滤。
该实施例还使得能够提高三维表示的准确性，并因此提高通用模型的调整的准确性。
根据第二方面，本发明涉及一种治疗(treatment)机器人，包括：
-铰接的臂；
-放置在铰接的臂的一端的执行器；
-三维图像捕获设备；和
-根据本发明的第一方面的用于管理运动的设备。
本发明的第二方面涉及一种治疗机器人，对于该治疗机器人而言，机器人的运动准确性是避免对患者造成伤害的基本要求。
根据一个实施例，所述获取装置布置在所述铰接的臂上或在所述执行器上。该实施例使得能够移动获取装置以便准确地获取三维表示。
附图说明
从以下实施例中可以清楚地了解本发明的实施方式及其所产生的优点，以下实施例仅供参考而非限制，参照图1，其包括根据本发明的实施例的用于管理按摩机器人的运动的设备的操作步骤的流程图。
公开了以按摩机器人为目的的本发明，以显示该机器人的调节能力，因为很明显，人体表面具有很大的差异。
然而，本发明不限于该特定应用，并且本发明可以用于在其几何形状不是预定的表面上工作的多个机器人，并且必须对其执行精确运动。
具体实施方式
如图1所示，待处理表面的分析是通过获取装置14进行的，该获取装置14能够提供待处理表面的三维表示Re。
三维表示Re采用散点图的形式，其中每个点都具有正交系统的三个坐标：x、y和z。
这些获取装置14可以对应于一组图像传感器、一组红外传感器、断层图像传感器、立体传感器或能够获取表面的三维表示的任何其他已知传感器。
例如，可以使用
Figure BDA0002332275300000051
的
Figure BDA0002332275300000052
相机来获得此三维表示Re。
为了在不捕获环境的情况下获得该三维表示Re，可以捕获与环境相对应的第一散点图和与要在其环境中被处理的表面相对应的第二散点图。仅保留两个散点图之间的不同点，以便从环境中提取与待处理表面相对应的点。此方法可以摆脱标准化环境的限制，可以记录和适应任何环境。
如图1所示，这些传感器14通常使用预处理装置15来实现，以提供具有改进质量或准确性的三维表示Re。例如，预处理装置15可能对应于一种算法，用于均衡直方图、过滤、平均多个连续表示中的表示……
例如，可以使用在科学出版物中公开的方法“KinectFusion：使用移动深度相机进行实时3D重构和交互”，其在2011年10月16日发表在UIST’11上，。
然后，该设备执行计算机处理，以将通用模型m1、m2、m3调整为三维表示Re，以便将在每个通用模型m1、m2、m3上预编程的运动序列Tx转换为三维表示Re。例如，运动序列Tx可以被投影到与待处理表面相对应的第二散点图上。另外，这些运动序列Tx可以包括针对所述机器人预编程了动作的位置。
通用模型m1、m2、m3也以散点图的形式形式化，其中每个点表示正交系统的三个坐标：x、y和z。优选地，通用模型由三个坐标的N个顶点的平均值(average)模型ModMoy和由3N个坐标(即N个顶点的三个坐标)组成的M个形态分量的变形矩阵ModSigma组成。
需要大量不同的人来丰富每个通用模型m1、m2、m3，例如一千个人。
对主要分量进行分析以减少数据量。通过对这些数据进行主要分量分析，可以确定数据的差异并将分量上的常见差异相关联。因此，不是每个人只保留一个分量，而是每个通用模型m1、m2、m3存储大约二十个分量，这将解释数千人的大部分差异。
该方法更详细的公开在科学出版物《为3D人体建模，Pishchulin和所有对象构建统计形状空间》中，其在2015年3月19日发表在期刊《模式识别2017》上。
优选地，通用模型m1、m2、m3被存储在存储器中，该存储器可由设备的图像处理装置访问，该设备能够将通用模型m1、m2、m3调整为三维表示Re。
为此，当获得三维表示Re时，该设备通过数字处理装置16实现对该三维表示Re的特征点Pref的检测。在图1的示例中，特征点Pref对应于头骨的上端、腋窝的位置以及腹股沟的位置。这些数字处理装置16可以实施所有已知的用于检测图像上元素的方法，例如Viola和Jones方法。
优选地，为了检测特征点Pref，将散点图转换成深度图像，即灰度图像，例如以12位编码，从而能够对0至4095mm的深度范围进行编码。然后，对该深度图像进行阈值化和二值化，以避免使与感兴趣的对象/物体相对应的像素值为1，与环境相对应的像素值为0。接下来，使用例如在Suzuki,S.和Abe,K.，《通过边界跟随的数字化二进制图像的拓扑结构分析》，CVGIP 301，第32-46页中(1985)公开的方法对该二进制图像进行轮廓检测。轮廓的凸点及其凸度缺陷(例如，使用Sklansky，J.，《查找简单多边形的凸包》,RL1$number,第79-83页(1982)的方法确定)用作特征点Pref。
然后实施通用模型m1、m2、m3的选择装置17，以选择最接近三维表示Re的通用模型m1、m2、m3。
例如，可以通过计算头骨的顶点的特征点Pref与腹股沟的特征点之间的距离，以便粗略估计三维表示Re的高度，并通过选择对于其高度尺寸最接近的通用模型m1、m2、m3来执行该选择。相似地或附加地，使用通过计算腋窝特征点Pref之间的距离得到的三维表示Re的宽度，进行通用模型m1、m2、m3的选择。
此外，通用模型m1、m2、m3可以通过代表人体骨架最重要骨骼的虚拟骨骼进行铰接。例如，可以在通用模型m1、m2、m3上建模十五个虚拟骨骼，以定义脊柱、股骨、胫骨、尺骨、肱骨和头骨的位置和形状。这些虚拟骨骼的方向可以定义通用模型的姿势，即，如果通用模型m1、m2、m3的一只手臂悬在空中，双腿分开……
通用模型m1、m2、m3的这种姿势也可以由选择装置17通过比较距离确定(例如，使用Hu方法进行计算，矩不变量的视觉模式识别(Visual Pattern Recognition by MomentInvariants)，IRE信息理论交易，8：2，第179-187页，1962)，该距离为感兴趣的对象/物体的深度图像轮廓与通用模型在数千个姿势中的深度图像轮廓数据库之间的距离。选择最接近感兴趣的对象/物体的深度图像的铰接的(articulated)通用模型m1、m2、m3的深度图像，并保存虚拟骨骼的旋转值。
然后由调整装置18通过使所选的通用模型变形以接近三维表示Re来进行第一调整。例如，该第一调整可以简单地使所选的通用模型的宽度和高度变形，以使所选的通用模型的特征点Pref的间距对应于三维表示Re的特征点Pref的间距。
该第一调整还可以定义通用模型m1、m2、m3的虚拟骨骼的姿势。
当调整通用模型时，即，修改顶点的位置时，以相同方式调整在通用模型上预编程的运动序列Tx的点的位置。
在此相当粗糙的第一调整之后，可以通过使用由三维表示Re的点之间定义的每个表面形成的法线方向来进行更精确的第二调整。
为此，该设备包括用于计算三维表示Re的每个表面和所选的通用模型的法线19的装置。例如，可以通过利用最接近感兴趣的点的三个或四个点的坐标构造三维表示Re的每个侧面(side)来确定法线方向。或者，可以在定义通用模型的步骤中计算通用模型的法线方向。或者，可以在单个且相同的步骤中同时执行两个调整。
然后，该设备使用搜索装置20，该搜索装置20能够针对三维表示Re的散点图的每个点，检测(或搜索)所选的通用模型中处于附近且满足以下条件的点：通用模型的点的法线方向与感兴趣的点的法线方向之间的差异最小。当虚拟骨骼是所选的通用模型的组成部分时，搜索装置20通过更改每个虚拟骨骼的特征来调整虚拟骨骼的位置和尺寸，以便将虚拟骨骼调整到三维表示Re上存在的身体部件的位置。
例如，搜索装置20可以配置为在感兴趣的点周围的预定球体中搜索通用模型的点。优选地，基于通用模型的顶点数量和感兴趣的对象/物体的尺寸来确定该球体的半径，使得在该球体中包括大约十个点。
使用这些法线方向的集合，然后该设备可以使用确定装置21计算具有三维表示Re的所选的通用模型之间的差异，该确定装置21可以计算感兴趣的点与通过搜索装置在所选的通用模型上检测到的点之间的距离。这些距离的集合形成转换向量，必须将其应用于感兴趣的点，以使其对应于检测到的点。
搜索装置22旨在确定这些转换向量的平均值，以便获得所选的通用模型的整体转换。
换句话说，通过考虑M个分量的新转换向矢量CompVec，可以通过应用以下公式来了解顶点的三维配置Pts3D：
Pts3D＝ModMoy+CompVec*ModSigma
对于未知配置Pts3D，例如对于一个新患者，目标是在知道平均模型ModMoyen和变形矩阵ModSigma的情况下，寻找与该人相对应的形态分量DifiMod的值。
为此，搜索装置22计算顶点的三维配置Pts3D和平均值模型ModMoyen以及ModSigma的伪逆矩阵ModSigmaInv之间的差。例如，可以通过使用以下关系将矩阵ModSigma分解为奇异值来计算伪逆矩阵ModSigmaInv：
ModSigma＝U E V*；
ModSigmaInv＝V Et U*；
Et对应于E的转置矩阵；
V*是V的反共轭矩阵；和
U*是U的反共轭矩阵。
使用这些数据，搜索装置22通过以下公式计算形态分量DiffMod：
DiffMod*ModSigmaInv＝CompVec*ModSigma*ModSigmaInv
也就是说，CompVec＝DiffMod*ModSigmaInv也可以获得特定患者的形态分量DiffMod。
然后将转换向量CompVec应用于所选的通用模型，再次按照以前的方法估算姿势，并在必要时调整通用模型，然后进行新的搜索，直到通用模型与三维表示Re非常接近为止。当通用模型的所有顶点与其散点图上的对应点之间的平均欧几里得距离小于基于通用模型的顶点数量和感兴趣的对象/物体的尺寸定义的阈值(例如2毫米)时，循环停止，或者达到最大迭代次数(例如100次迭代)而未达到小于阈值的平均距离时，循环停止。
以与以前相同的方式，当调整通用模型时，即，修改顶点的位置时，以相同方式调整在通用模型上预编程的运动序列Tx的点的位置。
通常必须在传感器14和机器人之间执行校准阶段。实际上，运动序列Tx是在传感器14的正交参考系中的通用模型m1、m2、m3上定义的，并且机器人在其正交参考系中接收的命令不同于从传感器14接收的命令。为了校准视觉传感器14和机器人，可以在两个参考系中记录至少三个共同点的坐标。实际上，优选使用大于三个的点N。机器人在工作区域上移动并停靠N次。在每个停靠点处，通过计算由机器人的运动设定点执行的运动来记录机器人的位置，并通过视觉传感器14进行检测，从而知道该停靠点的三维位置。
在这些N个停靠点的末端，在两个参考系中已知N个点的坐标。使用以下关系确定两个参考系中N个点的分布的重心：
对于i＝1至N，重心A＝1/N sum(PA(i))，其中PA(i)是传感器14的参考系中的点；和
对于i＝1到N的重心B＝1/N sum(PB(i))，其中PB(i)是机器人参考系中的点。
然后通过以下关系确定协方差矩阵C：
C＝对于i＝1至N的总和((PA(i)-重心A)(PB(i)-重心B)t)
然后将此协方差矩阵C分解为奇异值：
C＝U E V*
然后通过以下关系式获得两个参考系之间的旋转矩阵R：
R＝V Ut；如果R的行列式为负，则可以将旋转矩阵R的第三列乘以-1。
通过以下关系确定要在两个参考系之间应用的平移：
T＝-R*重心A+重心B
因此，通过应用以下关系，可以将传感器14Pa的参考系的任何点变为机器人Pb的参考系：
Pb＝R*Pa+T
因此，本发明使得能够在一个或多个通用模型m1-m3上编程多个运动序列Tx，并有效地调整这些通用模型m1-m3，以便在学习运动序列Tx时，精确地在几何形状未知的表面上再现运动序列Tx。
因此，机器人可以遵循由用户或操作员选择的运动序列Tx。运动序列Tx可能比点的简单的集合更为复杂，并且可能包括旨在实现运动序列Tx的不同参数，例如执行速度或执行压力。另外，运动序列Tx可以包括针对机器人预编程了动作的位置，例如施加了振动、吸力或温度。
也可以在机器人执行运动序列之前或期间，由用户或操作员调整所选的运动序列Tx的动作或参数。因此，在用于绘画手工瓷器的机器人的示例中，操作员可以设置绘画速度和刷子在瓷器上的力。在按摩机器人的示例中，用户自己可以通过实时设置机器人的压力来选择按摩的速度和力度，以便根据自己的感觉调整这些参数。他还可以设置按摩手发出的温度或该按摩手产生的效果，例如振动或吸力。

Claims (10)

1.一种用于管理配置为处理表面的机器人的运动的设备，其中，所述设备包括：
-获取装置(14)，所述获取装置(14)用于获取待处理的表面的三维表示(Re)；和
-确定装置，所述确定装置用于基于所述待处理表面的所述三维表示(Re)，
来确定运动序列；
其特征在于，所述确定装置包括至少一个三维通用模型(m1-m3)，所述三维通用模型(m1-m3)包括形态分量的变形矩阵，对于所述三维通用模型(m1-m3)而言，多个运动序列(Tx)是已知的；所述设备包括调整装置(18、23)，所述调整装置(18、23)用于利用所述待处理表面的所述三维表示(Re)来调整所述通用模型(m1-m3)，所述调整装置(18、23)能够寻找所述变形矩阵的所述形态分量的值，所述通用模型(m1-m3)对应于所述待处理表面的所述三维表示(Re)，将所述通用模型(m1-m3)的变形应用于已知的运动序列(Tx)，从而至少获得基于所述待处理表面的维度(dimensions)(Re)而被调整的新的运动序列；所述机器人被配置为基于所述新的运动序列之一来处理所述表面。
2.根据权利要求1所述的设备，其特征在于，至少一个已知的运动序列(Tx)整合了位置，其中为所述机器人预编程了针对所述位置的动作。
3.根据权利要求1所述的设备，其特征在于，所述通用模型(m1-m3)和所述待处理表面的所述三维表示(Re)被以散点图的形式进行规范化(formalisés)，所述调整装置(23)包括：
-计算装置(19)，用于计算所述待处理表面的所述三维表示(Re)的每个点的法向方向；和
-搜索装置(20)，用于针对所述三维表示(Re)的散点图的每个点，在附近搜索通用模型(m1-m3)符合以下条件的点：对于所述点，通用模型(m1-m3)的点的法线方向与感兴趣的点的法线方向之间的差异最小；
-确定装置(21)，用于确定所述通用模型(m1-m3)的被检测到的点与所述感兴趣的点之间的距离；和
-搜索装置(22)，用于基于针对所述三维表示(Re)的散点图的所有点所确定的距离，对所述通用模型(m1-m3)的全部变换进行搜索。
4.根据权利要求3所述的设备，其特征在于，所述搜索装置(20)被配置用于在所述感兴趣的点周围的预定球体中搜索所述通用模型的点。
5.根据权利要求3或4所述的设备，其特征在于，通过利用最接近所述感兴趣的点的三个或四个点的坐标构造侧面来确定所述法线方向。
6.根据权利要求1至4中任一项所述的设备，其特征在于，所述调整装置(18)包括：
-用于检测所述三维表示(Re)上的特征点(Pref)的装置(16)；和
-用于使通用模型(m1-m3)旋转和/或平移变形的装置(18)，使得所述特征点的位置对应于通用模型的特征点的位置。
7.根据权利要求1至4中任一项所述的设备，其特征在于，所述获取装置(14)包括：预处理装置(15)，其用于通过捕获多个三维表示(Re)并对在不同的三维表示(Re)中对点坐标进行平均，从而对所述三维表示(Re)进行预处理。
8.根据权利要求7所述的设备，其特征在于，所述预处理装置(15)对不同的三维表示(Re)中的点坐标的所述平均值进行过滤。
9.一种治疗机器人，其特征在于，包括：
-铰接的臂；
-放置在所述铰接的臂的一端的执行器；
-三维图像捕获设备(Re)；和
-根据权利要求1至8中任一项所述的用于管理运动的设备(10)。
10.根据权利要求9所述的治疗机器人，其特征在于，所述获取装置(14)布置在所述铰接的臂(12)或所述执行器上。
CN201880042150.5A 2017-06-26 2018-06-21 用于管理机器人和相关治疗机器人的运动的设备 Active CN110785269B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1755812A FR3067957B1 (fr) 2017-06-26 2017-06-26 Dispositif de gestion des deplacements d'un robot et robot de soin associe
FR1755812 2017-06-26
PCT/EP2018/066672 WO2019002104A1 (fr) 2017-06-26 2018-06-21 Dispositif de gestion des deplacements d'un robot et robot de soin associe

Publications (2)

Publication Number Publication Date
CN110785269A CN110785269A (zh) 2020-02-11
CN110785269B true CN110785269B (zh) 2023-04-07

Family

ID=59521126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042150.5A Active CN110785269B (zh) 2017-06-26 2018-06-21 用于管理机器人和相关治疗机器人的运动的设备

Country Status (9)

Country Link
US (1) US11338443B2 (zh)
EP (1) EP3645218A1 (zh)
JP (1) JP7097956B2 (zh)
KR (1) KR102500626B1 (zh)
CN (1) CN110785269B (zh)
CA (1) CA3067555A1 (zh)
FR (1) FR3067957B1 (zh)
SG (1) SG11201912547UA (zh)
WO (1) WO2019002104A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3104054B1 (fr) * 2019-12-10 2022-03-25 Capsix Dispositif de definition d’une sequence de deplacements sur un modele generique
USD1009283S1 (en) 2020-04-22 2023-12-26 Aescape, Inc. Therapy end effector
US11858144B2 (en) 2020-05-12 2024-01-02 Aescape, Inc. Method and system for autonomous body interaction
WO2021231663A2 (en) 2020-05-12 2021-11-18 Aescape, Inc. Method and system for autonomous object interaction
US11999061B2 (en) 2020-05-12 2024-06-04 Aescape, Inc. Method and system for autonomous object manipulation
CN111571611B (zh) * 2020-05-26 2021-09-21 广州纳丽生物科技有限公司 一种基于面部及皮肤特征的面部作业机器人轨迹规划方法
FR3127428A1 (fr) * 2021-09-30 2023-03-31 Exel Industries Procede de peinture d’une piece comprenant la generation d’une trajectoire adaptee a la piece reelle
FR3141853A1 (fr) 2022-11-14 2024-05-17 Capsix Effecteur de massage

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006005958A1 (de) * 2006-02-08 2007-08-16 Kuka Roboter Gmbh Verfahren zum Erzeugen eines Umgebungsbildes
CN101082765A (zh) * 2006-06-01 2007-12-05 高宏 一种三维人像摄影系统及其实现方法
CN101456112A (zh) * 2007-12-11 2009-06-17 通用电气公司 用于自适应加工的系统和方法
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN106407930A (zh) * 2016-09-18 2017-02-15 长沙军鸽软件有限公司 一种按摩机器人的服务方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02148307A (ja) * 1988-11-30 1990-06-07 Kobe Steel Ltd 工業用ロボットの教示データ作成装置
US5083552A (en) * 1990-06-05 1992-01-28 Harvey Lipowitz Computer controlled massage device
JP3670700B2 (ja) * 1994-04-27 2005-07-13 株式会社日立製作所 ロボット機構制御方法
JPH10128684A (ja) * 1996-10-30 1998-05-19 Asahi Sanac Kk ロボットの動作プログラム作成方法及びその作成装置
US6267737B1 (en) * 1997-05-15 2001-07-31 Algis A. Meilus Robotic system for lengthening muscles and method of use
IL133551A0 (en) * 1999-12-16 2001-04-30 Nissim Elias Human touch massager
JP2001246582A (ja) * 2000-02-29 2001-09-11 Mitsubishi Heavy Ind Ltd 作業用ロボット装置
SE524818C2 (sv) 2003-02-13 2004-10-05 Abb Ab En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
JP2005138223A (ja) * 2003-11-06 2005-06-02 Fanuc Ltd ロボット用位置データ修正装置
FR2875043B1 (fr) * 2004-09-06 2007-02-09 Innothera Sa Lab Dispositif pour etablir une representation tridimensionnelle complete d'un membre d'un patient a partir d'un nombre reduit de mesures prises sur ce membre
US8918211B2 (en) * 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9817389B2 (en) * 2013-03-05 2017-11-14 Rolls-Royce Corporation Adaptively machining component surfaces and hole drilling
SG10201402803RA (en) * 2014-06-02 2016-01-28 Yizhong Zhang A mobile automatic massage apparatus
KR20160033325A (ko) * 2014-09-17 2016-03-28 전자부품연구원 로봇암으로 제어되는 의료용 레이저 장치
US20170360578A1 (en) * 2014-12-04 2017-12-21 James Shin System and method for producing clinical models and prostheses
JP6497953B2 (ja) * 2015-02-03 2019-04-10 キヤノン株式会社 オフライン教示装置、オフライン教示方法及びロボットシステム
US20170266077A1 (en) * 2016-03-21 2017-09-21 Christian Campbell Mackin Robotic massage machine and method of use

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006005958A1 (de) * 2006-02-08 2007-08-16 Kuka Roboter Gmbh Verfahren zum Erzeugen eines Umgebungsbildes
CN101082765A (zh) * 2006-06-01 2007-12-05 高宏 一种三维人像摄影系统及其实现方法
CN101456112A (zh) * 2007-12-11 2009-06-17 通用电气公司 用于自适应加工的系统和方法
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN106407930A (zh) * 2016-09-18 2017-02-15 长沙军鸽软件有限公司 一种按摩机器人的服务方法

Also Published As

Publication number Publication date
JP2020525306A (ja) 2020-08-27
US11338443B2 (en) 2022-05-24
KR102500626B1 (ko) 2023-02-15
US20210154852A1 (en) 2021-05-27
CN110785269A (zh) 2020-02-11
EP3645218A1 (fr) 2020-05-06
JP7097956B2 (ja) 2022-07-08
FR3067957B1 (fr) 2020-10-23
KR20200023646A (ko) 2020-03-05
FR3067957A1 (fr) 2018-12-28
WO2019002104A1 (fr) 2019-01-03
CA3067555A1 (fr) 2019-01-03
SG11201912547UA (en) 2020-01-30

Similar Documents

Publication Publication Date Title
CN110785269B (zh) 用于管理机器人和相关治疗机器人的运动的设备
US20220414291A1 (en) Device for Defining a Sequence of Movements in a Generic Model
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9898651B2 (en) Upper-body skeleton extraction from depth maps
JP6708260B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Tara et al. Hand segmentation from depth image using anthropometric approach in natural interface development
WO2017222072A1 (ja) 姿勢分析装置、姿勢分析方法、及びコンピュータ読み取り可能な記録媒体
Procházka et al. The MS kinect image and depth sensors use for gait features detection
KR20130030117A (ko) 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법
Victorova et al. Follow the curve: Robotic ultrasound navigation with learning-based localization of spinous processes for scoliosis assessment
Bhanu et al. Individual recognition by kinematic-based gait analysis
JP2009288917A (ja) 情報処理装置、情報処理方法、およびプログラム
Wang et al. Hybrid model and appearance based eye tracking with kinect
Grest et al. Human model fitting from monocular posture images
Alcantara et al. Localized components analysis
Charoenpong et al. A new method to estimate rotation angle of a 3D eye model from single camera
Khairunnisaa et al. Facial-paralysis diagnostic system based on 3D reconstruction
Alothmany et al. Accuracy of joint angles tracking using markerless motion system
Luchetti et al. Multidimensional assessment of daily living activities in a shared Augmented Reality environment
Rychlik et al. Numerical analysis of geometrical features of 3D biological objects, for three-dimensional biometric and anthropometric database
Musavi et al. Object tracking based on active contour modeling
Kerdvibulvech Real-time framework of hand tracking based on distance transform
Wang et al. Automatic Recognition of the Micro-Expressions of Human Torso Posture in the Environment of Interrogation
CN115620390A (zh) 基于手势控制的空调送风角度调节方法、系统及控制装置
Jantima et al. A New Method to Estimate Rotation Angle of a 3D Eye Model from Single Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant