CN114599487A - 用于在通用模型上定义运动序列的设备 - Google Patents

用于在通用模型上定义运动序列的设备 Download PDF

Info

Publication number
CN114599487A
CN114599487A CN202080074843.XA CN202080074843A CN114599487A CN 114599487 A CN114599487 A CN 114599487A CN 202080074843 A CN202080074843 A CN 202080074843A CN 114599487 A CN114599487 A CN 114599487A
Authority
CN
China
Prior art keywords
generic model
dimensional representation
point
model
motion sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080074843.XA
Other languages
English (en)
Inventor
F·埃索蒂埃
G·吉伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kapsikes
Original Assignee
Kapsikes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kapsikes filed Critical Kapsikes
Publication of CN114599487A publication Critical patent/CN114599487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及一种用于在通用模型上定义通用运动序列(Tx)的设备，所述设备包括：‑用于获取在表面上运动的参考元素的位置的装置；所述参考元素被配置为执行实际运动序列；‑用于记录(41)所述实际运动序列(Tr)的装置；‑用于获取(14)所述表面的三维表示(Re)的装置；‑用于调整所述通用模型以适应所述表面的所述三维表示(Re)的装置；和‑用于通过将所述通用模型与所述表面的所述三维表示(Re)之间的所述调整应用于所述实际运动序列来在所述通用模型上定义(42)通用运动序列的装置。

Description

用于在通用模型上定义运动序列的设备
技术领域
本发明涉及在通用模型上定义至少一个运动序列的领域，即在具有预设参数的数字化模型上定义至少一个运动序列以表示一组对象的领域。
本发明可以应用于许多技术领域，在这些领域中，工作面在对象组内的多个个体之间是可变的。典型地，本发明发现了用于在一般人体上定义一个或多个按摩轨迹的特别有利的应用。或者，对象组中的个体可以对应于物理对象。例如，该组对象可以对应于瓷盘，本发明可以应用于定义这些瓷盘上的绘画轨迹。
在通用模型上使用参考元素的这种运动序列也是可变的。实际上，通过记录与不同对象相关的几个运动序列并在通用模型上定义它们，就可以比较在不同对象上执行的两个动作。此外，使用通用模型定义的该运动序列也可以用于控制机器人，该机器人包括用于调整通用运动序列以适应特定对象的装置。
背景技术
与编程为遵循预设轨迹的工业机器人不同，在未知表面上操作的机器人必须包括一种管理运动的装置，该装置可以分析该表面以确定轨迹。
例如，侦察机器人通常集成至少一个摄像机和图像处理装置，所述图像处理装置随着时间的推移分析探测表面并确定所述机器人要遵循的轨迹。
这种分析未知表面的方法需要大量的计算能力来精确地指导机器人随时间的运动。因此，侦察机器人应缓慢运动，以允许运动管理装置根据由摄像机获取并由图像处理装置处理的信息来优化机器人的运动。
此外，对于按摩机器人或手工瓷器绘画机器人来说，机器人的动作必须非常精确，才能按摩个人身体所需的区域或将油漆层涂到所需的位置。
为此目的，扫描三维表面的已知过程使得操作者能够通过使用要由机器人处理的表面的三维数字建模来对机器人的运动进行编程。例如，文献WO 2015/187092描述了一种包含三维扫描仪的按摩机器人，该三维扫描仪用于扫描患者的身体并且允许从业者使用在触摸板上的患者身体的三个维度的模型投影来确定机器人的按摩轨迹。
也可以使用具有至少一个运动序列已知的通用模型的机器人。然后，机器人可以根据对象调整通用模型，同时使运动序列变形，以便对特定对象实施治疗。
对于这种类型的机器人，还需要在通用模型上定义至少一个运动序列。对于在文献WO 2015/187092中给出的定义，通用模型上的至少一个运动序列的定义通常由操作者在通用模型上追踪绘图手动执行。
因此，由于所寻求的精度，该运动序列的定义可能特别长。
本发明的技术问题包括促进在通用模型上定义至少一个运动序列的过程。
发明内容
本发明旨在通过获取在可变几何形状表面上演变的参考元素的运动并且通过调整在通用模型上捕获的运动来应对该技术问题。
在本发明的含义内，“参考元素”可以对应于操纵装置或者对应于物理元素的一个点或一组参考点。例如，参考元素可以对应于代表从业者的手的手套或一组点。可以使用两种方法来调整实际运动以适应通用模型。
第一种方法包括在获取运动序列之前变换通用模型以适应对象。然后将运动序列的获取直接记录在变换后的通用模型上。当运动序列完成后，再次变换通用模型以收回这些初始参数，然后通过收回与应用于通用模型的变换相同的变换来变换运动序列，从而将实际运动序列变换为通用运动序列。
第二种方法是独立于通用模型获取运动序列，并计算对象与通用模型之间的差异，以将该差异应用于运动序列，以将实际运动序列变换为通用运动序列。然而，第二种方法需要在通用模型上正确地重新定位通用运动序列。
第二种方法仅适用于平移、旋转和缩放类型的变换，而第一种方法可以应用于其他类型的变换。在这两种情况下，本发明都涉及一种用于在通用模型上定义通用运动序列的设备，所述设备包括：
-用于获取在表面上运动的参考元素的位置的装置；所述参考元素被配置为执行实际运动序列；
-用于记录所述实际运动序列的装置；
-用于获取所述表面的三维表示的装置；
-用于调整所述通用模型以适应所述表面的所述三维表示的装置；和
-用于通过将所述通用模型与所述表面的所述三维表示之间的所述调整应用于所述实际运动序列以在所述通用模型上定义通用运动序列的装置。
在第一种情况下，所述调整装置被配置为调整所述通用模型以适应所述表面的所述三维表示；所述记录装置被配置在所述通用模型上记录所述实际运动序列，同时其适应于所述表面的所述三维表示的所述维度(dimension)；并且所述定义装置被配置为利用记录的所述运动序列来变换所述通用模型，以使所述通用模型恢复这些初始参数。
在第二种情况下，所述调整装置被配置为计算所述通用模型与所述表面的三维表示之间的差异；所述记录装置被配置为独立于所述通用模型来记录实际运动序列；所述定义装置被配置为根据调整装置计算的差异来变换记录的运动序列，并且所述设备包括用于将所述通用运动序列定位在所述通用模型上的装置。
无论使用何种调整方法，本发明都可以在不需要可视化表面的三维表示或通用模型的情况下在通用模型上实际地定义运动序列。
因此，可以捕获多个运动序列并调整它们以适应相同的通用模型，以比较在所述相同表面或多个不同表面上执行的多个轨迹。
在手工瓷器绘画示例中，本发明因此可以知道画家最常进行的动作。此外，通过检查不同的效果图，可以确定哪些动作最有效。
同样，在按摩轨迹的跟踪的示例中，可以知道从业者最常请求的点，或者记录一个或多个按摩轨迹，以便机器人可以再现它们。这些按摩轨迹也可以记录在不同的个体上。此外，可以将多个运动序列数字化以执行几种不同类型的按摩。还可以创建若干通用模型来改进通用模型和患者身体的适应度，例如，通过为每种性别(大、小和中等身材)、为不同年龄类型(儿童、青少年和成人)和/或为每个记录姿势(坐姿、站姿和躺卧姿势)使用三种通用模型。
根据一个实施例，用于获取参考元素位置的所述装置被配置为拾取所述参考元素的方向，以将该方向传递到所述通用运动序列的不同点。
根据一个实施例，用于获取参考元素位置的所述装置被配置为拾取由所述参考元素执行的动作或所承受的约束，以在所述通用运动序列的不同点上报告这些动作或这些约束。
该实施例使得例如可以在机器人的运动期间控制执行器的操作成为可能。在手工瓷器绘画机器人的示例中，机器人可以在某些地方进行特定的表面处理。在按摩机器人的示例中，机器人的某些位置可以控制触发振动的装置，以提高按摩的舒适性和/或效果。此外，通用运动序列因此可以包括通过触诊-滚动运动执行的若干轨迹，而其他运动可以通过另一种类型的运动执行。因此，由参考元素所承受的应力可以对应于物理应力(例如压力或温度)或者外部应力(例如在按摩或精油的扩散期间发出的声音)。
根据一个实施例，所述通用模型和所述表面的三维表示被格式化为所述点云的形状，所述调整装置包括：
-用于计算所述表面的所述三维表示的每个点的法线方向的装置；和
-用于对于所述三维表示的点云的每个点，搜索通用模型的点的法线方向与感兴趣的点的法线方向之间的差异最小的邻近通用模型的点的装置；
-用于确定所述通用模型的所述检测点和所述感兴趣的点之间的距离的装置；和
-用于搜索作为对所述三维表示的所有点云点确定的所述距离的函数的所述通用模型的全局变换的装置。
所述法线方向可以获得与所述通用模型的表面的方向和所述表面的三维表示相关的信息。与简单的点对点坐标比较不同，表面比较可提供更有效的识别。
此外，根据所述距离的平均值，通过一点一点地修改通用模型或运动序列，逐步地执行通用模型或运动序列的调整。
因此，该实施例使得可以通过比较通用模型或运动序列的每个点的法线方向和表面的三维表示的法线方向来有效地调整通用模型或运动序列。
根据一个实施例，所述搜索装置被配置为在围绕所述感兴趣的点的预设球体中搜索通用模型的点。
本实施例旨在限制通用模型点的搜索区域以限制计算时间。此外，所述搜索区域的限制还使得可以限制通用模型在两次比较之间的修改幅度，从而提高通用模型的修改精度。
根据一个实施例，通过使用最接近感兴趣的点的三个或四个点的坐标构造表面来确定法线方向。
该实施例使得可以有效地构造通用模型的表面和表面的三维表示。
根据一个实施例，所述调整装置包括：
-用于检测所述三维表示上的特征点的装置；以及
-用于在旋转和/或平移中变换通用模型使得所述特征点的所述位置对应于所述通用模型的特征点的位置的装置。
该实施例允许创建通用模型的第一粗略调整，以提高通过法线执行的精确调整的速度。在手工瓷器绘画机器人的示例中，所述特征点可以对应于瓷器的上端和下端。
在按摩机器人的示例中，所述特征点可以对应于头骨的上端、腋窝的位置和胯部的位置。
根据一个实施例，所述获取装置包括用于通过捕获多个三维表示并对不同三维表示之间的点的坐标进行平均来预处理所述三维表示的装置。该实施例使得可以提高三维表示的精度，因此可以提高通用模型的适应度。
根据一个实施例，所述预处理装置对不同三维表示之间的点的坐标的所述平均值进行滤波。该实施例还可以提高三维表示的精度，因此可以提高通用模型的适应度。
根据一个实施例，所述参考元素对应于手套，并且所述运动序列对应于所述手套在按摩期间做出的运动。
附图说明
从以下实施例中可以清楚地了解本发明的实施方式及其所产生的优点，以下实施例仅供参考而非限制，该实施例通过指示而非限制的方式给出，参见图1至3，其构成为：
图1：根据本发明的一个实施例的确定通用模型的变换的步骤的流程图；
图2：根据第一实施例的在通用模型上定义通用运动序列的设备的操作步骤的流程图；和
图3：根据第二实施例的在通用模型上定义通用运动序列的设备的操作步骤的流程图。
在下面的描述中，参考按摩序列的定义来描述本发明。然而，本发明不限于该特定应用，并且它可以用于与几何形状未预设的表面相关联的各种运动序列。
具体实施方式
如图1所示，通过能够提供表面的三维表示Re的获取装置14进行表面分析。三维表示Re采用点云的形式，其中每个点都具有正交系统的三个坐标：x、y和z。
该获取装置14可以对应于一组摄影传感器、一组红外传感器、断层扫描传感器、立体传感器或任何其他已知的能够获取表面的三维表示的传感器。例如，可以使用
Figure BDA0003614399700000051
的
Figure BDA0003614399700000052
摄像机来获取这个三维表示Re。
为了在未捕获环境的情况下获得这个三维表示Re，可以捕获对应于环境的第一点云以及对应于其环境中的表面的第二点云。仅保留两个点云之间的不同点，以从环境中提取与表面相对应的点。这种方法可以从标准化环境中抽象出来以进行记录并适应任何环境。
如图1所示，这些传感器14通常用预处理装置15来实现，以提供具有改进的质量或精度的三维表示Re。例如，预处理装置15可以对应于用于均衡直方图、过滤、在多个连续表示上平均表示的算法等。
例如，可以使用在科学出版物中描述的方法“KinectFusion:Real-time 3DReconstruction and Interaction Using a Moving Depth Camera*”，其于2011年10月16日发表在UIST’11上，以获得质量更好的三维表示。然后，该设备执行计算机处理以用三维表示Re调整通用模型m1,m2,m3。通用模型m1,m2,m3还被格式化为点云的形状，其中每个点都具有正交系统的三个坐标：x、y和z。优选地，通用模型包括三个坐标的N个顶点的平均模型ModMoy和由3N个坐标(即N个顶点的三个坐标)组成的M个形态分量的变换矩阵ModSigma。需要大量不同的人(例如一千人)来丰富每个通用模型m1,m2,m3。
采用主成分分析法对数据进行降维处理。通过对这些数据应用主成分分析，可以确定数据中的方差，并将共同方差与一个分量相关联。因此，每个通用模型m1,m2,m3不是保留每个人的一个组件，而是存储大约20个组件，解释了这一千个人的大部分方差。该方法在2015年3月19日发表于“Pattern Recognition 2017”期刊的科学出版物“BuildingStatistical Shape Spaces for 3D Human Modeling,Pishchulin et al.”中有更详细的描述。
优选地，通用模型m1,m2,m3存储在由能够使得通用模型m1,m2,m3和三维表示Re适应的设备的图像处理装置可访问的存储器中。
为此，当获得三维表示Re，该设备通过数字处理装置16执行该三维表示Re的特征点Pref的检测。在图1的示例中，特征点Pref对应于头骨的上端、腋窝的位置和胯部的位置。该数字处理装置16可以执行用于检测图像中的元素的所有已知方法(例如Viola和Jones方法)。
优选地，为了检测特征点Pref，点云被变换为深度图像(即灰度级图像)，例如12比特编码，从而能够对0到4095mm的深度范围进行编码。然后对该深度图像进行阈值化和二值化，以仅突出显示与感兴趣的对象/身体对应的值为1的像素和与环境对应的值为0的像素。接下来，使用例如在Suzuki,S.和Abe,K.，《Topological Structural Analysis ofDigitized Binary Images by Border Following》，CVGIP 30 1，第32-46页中(1985)公开的方法对该二值化图像进行边缘检测。最后，轮廓的凸点及其凸度缺陷(例如，使用Sklansky，J.，《Finding the Convex Hull of a Simple Polygon》,RL1$number,第79-83页(1982)的方法确定)用作特征点Pref。
然后实施用于选择通用模型m1,m2,m3的装置17以选择最接近三维表示Re的通用模型m1,m2,m3。
例如，可以通过计算头骨的顶部的特征点Pref与胯部的特征点之间的距离来粗略估计三维表示Re的高度尺寸并通过选择高度尺寸最接近的通用模型m1,m2,m3来进行这种选择。同样地，通用模型m1,m2,m3的选择可以通过使用三维表示Re的宽度，通过计算腋窝特征点Pref之间的距离来执行。
此外，通用模型m1,m2,m3可以通过代表人体骨骼中最重要骨骼的虚拟骨骼进行铰接(articulated)。例如，可以在通用模型m1,m2,m3上建模十五个虚拟骨骼，以定义脊柱、股骨、胫骨、尺骨、肱骨和头骨的位置和形状。此外，这些虚拟骨骼的方向使得定义通用模型的姿势成为可能，即，如果通用模型m1,m2,m3有一只手臂在空中，双腿分开……
选择还可以由装置17通过将进入感兴趣对象/身体的深度图像轮廓的距离与具有数千个姿势的通用模型的深度图像轮廓数据库进行比较来确定通用模型m1,m2,m3的该姿势(例如，使用Hu方法进行计算，矩不变量的视觉模式识别(Visual Pattern Recognitionby Moment Invariants)，IRE信息理论交易，8：2，第179-187页，(1962))。选择与感兴趣对象/身体的深度图像最接近的铰接的通用模型m1,m2,m3的深度图像，并保存虚拟骨骼的旋转值。
然后由调整装置18通过变换所选择的通用模型以接近三维表示Re来执行第一调整。例如，该第一调整可以简单地变换所选择的通用模型的宽度和高度，使得所选择的通用模型的特征点Pref的间距对应于三维表示Re的特征点Pref的间距。该第一调整也可以定义通用模型m1,m2,m3的虚拟骨骼的姿势。
在相当粗略的该第一调整之后，可以通过使用由在三维表示Re的点之间定义的每个表面形成的法线方向来使用更精确的第二调整。为此，该设备包含用于计算三维表示Re和所选择的通用模型的每个表面的法线的装置19。
例如，法线方向可以通过使用最接近感兴趣的点的三个或四个点的坐标来构造三维表示Re的每个表面来确定。作为一种变形，可以在定义通用模型的步骤期间计算通用模型的法线方向。
然后，该设备使用搜索装置20，该搜索装置20对于三维表示Re的点云的每个点，能够检测在其附近选择的通用模型的点，其中通用模型的点的法线方向与感兴趣的点的法线方向之间的差异最小。当虚拟骨骼是所选择的通用模型的组件时，搜索装置20通过改变每个虚拟骨骼的特征来调整虚拟骨骼的位置和尺寸，以将虚拟骨骼调整到三维表示Re中存在的身体元素的位置。
例如，搜索装置20可以被配置为在围绕感兴趣的点的预设球体中搜索通用模型的点。优选地，该球体的半径根据通用模型的顶点的数量和感兴趣的物体/身体的尺寸来确定，使得该球体中包括大约10个点。
使用所有这些法线方向，然后设备可以使用能够计算感兴趣的点与由搜索装置在所选择的通用模型上检测到的点之间的距离的确定装置21计算所选择的通用模型与三维表示Re之间的差。所有这些距离形成应该应用于感兴趣的点以对应于检测到的点的变换向量。搜索装置22旨在确定这些变换向量的平均值，以获得所选择的通用模型的整体变换。
换言之，通过考虑M个分量的新变换向量CompVec，可以通过应用以下等式了解顶点的三维配置Pts3D：
Pts3D＝ModAv+CompVec*ModSigma
对于一个未知的配置Pts3D，例如，在新患者的情况下，目标是寻找与知道平均模型ModAverage和变换矩阵ModSigma的人相对应的形态学分量CompVec的值。
为此，搜索装置22计算顶点的三维配置Pts3D与平均模型ModMoyen和ModSigma的伪逆矩阵ModSigmaInv之间的差DiffMod。
例如，可以通过使用以下等式将矩阵ModSigma分解为奇异值来计算伪逆矩阵ModSigmaInv：
ModSigma＝VU*；
ModSigmaInv＝VEt U*；
Et对应于E的转置矩阵；
V*是V的反共轭矩阵；和
U*是U的反共轭矩阵。
利用这些数据，搜索装置22使用以下等式计算形态学分量CompVec：
DiffMod*ModSigmaInv＝CompVec*ModSigma*ModSigmaInv
也就是说，CompVec＝DiffMod*ModSigmaInv,这也使得获得特定患者的形态分量CompVec成为可能。
然后将变换向量CompVec应用于所选择的通用模型。再次像之前一样估计姿势，必要时调整通用模型，并执行新的搜索，直到通用模型足够接近三维表示Re。最后，当通用模型的所有顶点与点云上与它们对应的顶点之间的平均欧几里德距离小于根据通用模型的顶点数量和感兴趣的对象/身体的尺寸定义的阈值(例如2毫米)时，或者当尚未达到小于阈值的平均距离而达到最大迭代次数(例如100次迭代)时，循环停止。
传感器14与机器人之间的校准阶段必须经常被执行。为了校准视觉传感器14和机器人，可以记录两个标记中的至少三个公共点的坐标。在实践中，使用点的数量N优选地大于3。机器人在工作区域上运动并停靠N次。
在每个停靠点，通过计算机器人的运动命令执行的运动来记录机器人的位置，并且通过视觉传感器14的检测可以在三个维度上知道该停靠点的位置。
在这N个停靠点结束时，N个点的坐标在两个参考系中是已知的。使用以下等式确定两个参考系中的N个点的分布重心(barycenter)：
对于i＝1到N，BarycentreA＝1/N sum(PA(i))，其中PA(i)是传感器14的参考系中的点；和
对于i＝1到N，BarycentreB＝1/N sum(PB(i))，其中PB(i)是机器人参考系中的点。
然后，由以下等式确定协方差矩阵C：
对于i＝1到N，C＝sum((PA(i)-BarycentreA)(PB(i)-BarycentreB)t)
然后将协方差矩阵C分解为奇异值：
C＝UEV*
然后由下面的等式得到两个参考标记之间的旋转矩阵R：
R＝VUt；如果R的行列式为负，则可以将旋转矩阵R的第3列乘以-1。
由以下等式确定要在两个标记之间应用的平移：
T＝-R*BarycentreA+BarycentreB
因此，可以通过应用以下等式将传感器14的参考系Pa的任何点变换到机器人的参考系Pb：
Pb＝R*Pa+T
在本发明的第一实施例中，如图2所示，所选择的通用模型的调整使得可以直接在调整的通用模型上获取参考元素45的位置Pr。
在步骤40中，通过确定参考元素45在表面的三维表示Re上的位置Pr来执行获取。参考元素可以对应于执行器或对应于物理元素的参考点或参考点集合。例如，参考元素可以对应于代表从业者的手的手套或一组点。参考元素45在表面的三维表示Re上的位置Pr可以通过位置三角测量模块或通过类似于用于捕获表面的三维表示Re的图像处理分析来确定。除了参考元素45在表面的三维表示Re上的位置Pr之外，该获取还可以捕获参考元素45的方向或使用参考元素45执行的动作(例如加热)，或特定运动。
在步骤41中，该获取被重复多次，以形成说明由参考元素45执行的实际运动的一系列记录Tr。例如，该获取可以每0.1s被执行一次。
当运动序列Tr完成时，序列Tr的点被投影到变换为人的形态的通用模型上。然后，再次变换通用模型以恢复这些初始参数。
为此，从初始参数到变换后的通用模型的参数，计算通用模型的变换。然后，运动序列Tr使用与应用于通用模型的变换相同的变换进行变换。
因此，Tr的实际运动序列被变换为与通用模型相关联的通用运动序列Tx。
在本发明的第二实施例中，如图3所示，获取45独立于通用模型执行。在本实施例中，图1的步骤23仅确定了通用模型的变换，而没有实际应用它们。为了将运动序列Tx与通用模型匹配，运动序列可以经过表面形态的特征点。例如，获取45可以通过在对象的头骨顶部和腋窝处移动参考元素来执行。
在步骤46中，当运动序列Tr被记录下来，步骤47应用通用模型与表面的三维表示Re之间的差异，将实际运动序列Tr变换为通用运动序列Tr。在最后步骤48中，在所选择的通用模型上重新定位通用运动序列。优选地，该步骤48通过寻求匹配参考元素45经过的特征点和这些特征点在通用模型上的位置来执行。该步骤48也可以通过考虑对象的位置来执行。
因此，本发明能够以实用的方式在通用模型上定义通用运动序列Tx，也就是说，操作者无需使用计算机或数字平板电脑的屏幕。因此，由于操作者在实际情况下的实际记录期间通常更有效率，本发明可以大大简化定义运动序列的过程。
然后，该运动序列可以用于各种应用，例如比较几个运动序列或机器人的控制，该机器人包括用于调整通用运动序列以适应特定对象的装置。

Claims (10)

1.一种用于在通用模型(m1-m3)上定义通用运动序列(Tx)的设备，其特征在于，所述设备包括：
-用于获取(40,45)在表面上运动的参考元素(45)的位置(Pr)的装置；所述参考元素(45)被配置为执行实际运动序列(Tr)；
-用于记录(41,46)所述实际运动序列(Tr)的装置；
-用于获取(14)所述表面的三维表示(Re)的装置；
-用于调整(23)所述通用模型(m1-m3)以适应所述表面的所述三维表示(Re)的装置；和
-用于通过将所述通用模型(m1-m3)与所述表面的所述三维表示(Re)之间的所述调整应用于所述实际运动序列(Tr)来在所述通用模型(m1-m3)上定义(42,47)通用运动序列(Tx)的装置。
2.根据权利要求1所述的设备，其特征在于，所述调整装置(23)被配置为将所述通用模型(m1-m3)拟合到所述表面的所述三维表示(Re)；所述记录装置(41)被配置为当所述通用模型被拟合到所述表面的所述三维表示(Re)的所述维度，在所述通用模型(m1-m3)上记录所述实际运动序列(Tr)；并且所述定义装置(42)被配置为利用记录的所述运动序列变换所述通用模型(m1-m3)，以使所述通用模型恢复这些初始参数。
3.根据权利要求1所述的设备，其特征在于，所述调整装置(23)被配置为计算所述通用模型(m1-m3)与所述表面的所述三维表示(Re)之间的差异；所述记录装置(46)被配置为独立于所述通用模型(m1-m2)来记录所述实际运动序列(Tr)；所述定义装置(47)被配置为根据由所述调整装置(23)计算的所述差异来变换所述记录的运动序列；并且其中该设备包括用于在所述通用模型上定位(48)所述通用运动序列的装置。
4.根据权利要求2或3所述的设备，其特征在于，所述参考元素(45)的所述位置(Pr)的所述获取装置(40、45)被配置为检测所述参考元素(45)的方向，以在所述通用运动序列(Tx)的各个点上报告该方向。
5.根据权利要求2或3所述的设备，其特征在于，所述参考元素(45)的所述位置(Pr)的所述获取装置(40，45)被配置为检测所述参考元素(45)所执行的动作或所承受的应力，以将这些动作或这些应力传递到所述通用运动序列(Tx)的各个点。
6.根据权利要求1所述的设备，其特征在于，所述通用模型(m1-m3)和所述表面的所述三维表示(Re)被格式化为点云的形状，所述调整装置(23)包括：
-用于计算(19)所述表面的所述三维表示(Re)的每个点的法线方向的装置；和
-用于对于所述三维表示(Re)的所述点云的每个点，在邻近邻域中搜索(20)所述通用模型(m1-m3)的点的法线方向与感兴趣的点的法线方向之间的所述差异最小的所述通用模型(m1-m3)的点的装置；
-用于确定(21)所述通用模型(m1-m3)的所述检测点和所述感兴趣的点之间的距离的装置；和
-用于搜索(22)作为对所述三维表示(Re)的所述点云的所有点确定的所述距离的函数的所述通用模型(m1-m3)的全局变换的装置。
7.根据权利要求6所述的设备，其特征在于，所述搜索装置(22)被配置为在围绕所述感兴趣的点的预设球体中搜索所述通用模型的所述点。
8.根据权利要求6或7所述的设备，其特征在于，所述法线方向是通过使用最接近所述感兴趣的点的三个或四个点的坐标构造的面来确定的。
9.根据权利要求1至8中任一项所述的设备，其特征在于，所述调整装置(23)包括:
-用于检测(16)所述三维表示(Re)上的特征点(Pref)的装置；以及
-用于在旋转和/或平移中变换(18)所述通用模型(m1-m3)以使所述特征点的所述位置对应于所述通用模型的特征点的位置的装置。
10.根据权利要求1至9中任一项所述的设备，其特征在于，所述参考元素(45)对应于手套，并且所述运动序列(Tr，Tx)对应于所述手套在按摩期间执行的运动。
CN202080074843.XA 2019-12-10 2020-11-30 用于在通用模型上定义运动序列的设备 Pending CN114599487A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1914019A FR3104054B1 (fr) 2019-12-10 2019-12-10 Dispositif de definition d’une sequence de deplacements sur un modele generique
FRFR1914019 2019-12-10
PCT/FR2020/052217 WO2021116554A1 (fr) 2019-12-10 2020-11-30 Dispositif de definition d'une sequence de deplacements sur un modele generique

Publications (1)

Publication Number Publication Date
CN114599487A true CN114599487A (zh) 2022-06-07

Family

ID=70154526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080074843.XA Pending CN114599487A (zh) 2019-12-10 2020-11-30 用于在通用模型上定义运动序列的设备

Country Status (8)

Country Link
US (1) US20220414291A1 (zh)
EP (1) EP4072794B1 (zh)
JP (1) JP2023505749A (zh)
KR (1) KR20230011902A (zh)
CN (1) CN114599487A (zh)
CA (1) CA3155473A1 (zh)
FR (1) FR3104054B1 (zh)
WO (1) WO2021116554A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1009283S1 (en) 2020-04-22 2023-12-26 Aescape, Inc. Therapy end effector
US11858144B2 (en) 2020-05-12 2024-01-02 Aescape, Inc. Method and system for autonomous body interaction

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010014781A1 (en) * 1999-12-16 2001-08-16 Elias Nissim Human touch massager
CN1529880A (zh) * 2001-06-25 2004-09-15 ���ء����߸� 带有力反馈和运动反馈的可编程关节模拟器
CN102157009A (zh) * 2011-05-24 2011-08-17 中国科学院自动化研究所 基于运动捕获数据的三维人体骨架运动编辑方法
US20140222207A1 (en) * 2012-08-03 2014-08-07 Stryker Corporation Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes
JP2014145717A (ja) * 2013-01-30 2014-08-14 Toyota Motor Corp 触覚センサシステム、軌道取得装置、及び、ロボットハンド
CN104856858A (zh) * 2015-06-10 2015-08-26 管存忠 一种示教再现按摩机械手
CN105690386A (zh) * 2016-03-23 2016-06-22 北京轩宇智能科技有限公司 一种新型机械手臂遥操作系统及遥操作方法
CN106456996A (zh) * 2014-06-02 2017-02-22 张艺钟 移动式自动按摩设备
US20170266077A1 (en) * 2016-03-21 2017-09-21 Christian Campbell Mackin Robotic massage machine and method of use
CN107341179A (zh) * 2017-05-26 2017-11-10 深圳奥比中光科技有限公司 标准运动数据库的生成方法、装置及存储装置
WO2019002104A1 (fr) * 2017-06-26 2019-01-03 Capsix Dispositif de gestion des deplacements d'un robot et robot de soin associe
CN109571432A (zh) * 2018-11-26 2019-04-05 南京航空航天大学 一种基于力传感器的机器人直接示教方法
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
CN109907950A (zh) * 2017-12-13 2019-06-21 曹可瀚 按摩机和按摩方法
CN110199293A (zh) * 2016-12-14 2019-09-03 玛涅蒂马瑞利有限公司 基于通用自适应3d模型的对象识别

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010014781A1 (en) * 1999-12-16 2001-08-16 Elias Nissim Human touch massager
CN1529880A (zh) * 2001-06-25 2004-09-15 ���ء����߸� 带有力反馈和运动反馈的可编程关节模拟器
CN102157009A (zh) * 2011-05-24 2011-08-17 中国科学院自动化研究所 基于运动捕获数据的三维人体骨架运动编辑方法
US20170128147A1 (en) * 2012-08-03 2017-05-11 Stryker Corporation Surgical Manipulator and Method for Transitioning Between Operating Modes
US20140222207A1 (en) * 2012-08-03 2014-08-07 Stryker Corporation Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes
JP2014145717A (ja) * 2013-01-30 2014-08-14 Toyota Motor Corp 触覚センサシステム、軌道取得装置、及び、ロボットハンド
CN106456996A (zh) * 2014-06-02 2017-02-22 张艺钟 移动式自动按摩设备
CN104856858A (zh) * 2015-06-10 2015-08-26 管存忠 一种示教再现按摩机械手
US20170266077A1 (en) * 2016-03-21 2017-09-21 Christian Campbell Mackin Robotic massage machine and method of use
CN105690386A (zh) * 2016-03-23 2016-06-22 北京轩宇智能科技有限公司 一种新型机械手臂遥操作系统及遥操作方法
CN110199293A (zh) * 2016-12-14 2019-09-03 玛涅蒂马瑞利有限公司 基于通用自适应3d模型的对象识别
CN107341179A (zh) * 2017-05-26 2017-11-10 深圳奥比中光科技有限公司 标准运动数据库的生成方法、装置及存储装置
WO2019002104A1 (fr) * 2017-06-26 2019-01-03 Capsix Dispositif de gestion des deplacements d'un robot et robot de soin associe
CN109907950A (zh) * 2017-12-13 2019-06-21 曹可瀚 按摩机和按摩方法
CN109571432A (zh) * 2018-11-26 2019-04-05 南京航空航天大学 一种基于力传感器的机器人直接示教方法
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置

Also Published As

Publication number Publication date
EP4072794A1 (fr) 2022-10-19
JP2023505749A (ja) 2023-02-13
EP4072794C0 (fr) 2023-11-22
FR3104054B1 (fr) 2022-03-25
US20220414291A1 (en) 2022-12-29
CA3155473A1 (fr) 2021-06-17
FR3104054A1 (fr) 2021-06-11
KR20230011902A (ko) 2023-01-25
EP4072794B1 (fr) 2023-11-22
WO2021116554A1 (fr) 2021-06-17

Similar Documents

Publication Publication Date Title
CN110785269B (zh) 用于管理机器人和相关治疗机器人的运动的设备
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
US8086027B2 (en) Image processing apparatus and method
WO2007010893A1 (ja) 関節物体位置姿勢推定装置及びその方法ならびにプログラム
JP5699697B2 (ja) ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
CN114599487A (zh) 用于在通用模型上定义运动序列的设备
CN113766997A (zh) 用于引导机械臂的方法、引导系统
Mittrapiyanumic et al. Calculating the 3d-pose of rigid-objects using active appearance models
Bhanu et al. Individual recognition by kinematic-based gait analysis
Darujati et al. Facial motion capture with 3D active appearance models
Singh et al. Estimating a patient surface model for optimizing the medical scanning workflow
JP6977337B2 (ja) 部位認識方法、装置、プログラム、及び撮像制御システム
JPH103544A (ja) ジェスチャ認識装置
JP2006215743A (ja) 画像処理装置及び画像処理方法
US6931145B1 (en) Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model
WO2020261403A1 (ja) 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
Grest et al. Human model fitting from monocular posture images
Vignola et al. Progressive human skeleton fitting
KR101923405B1 (ko) 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템
Dai Modeling and simulation of athlete’s error motion recognition based on computer vision
KR102623494B1 (ko) 포즈인식 패키지를 이용한 보행 분석 장치, 방법 및 프로그램 기록 매체
CN112861598B (zh) 用于人体模型估计的系统和方法
Charoenpong et al. A new method to estimate rotation angle of a 3D eye model from single camera
Rychlik et al. Numerical analysis of geometrical features of 3D biological objects, for three-dimensional biometric and anthropometric database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination