CN106164978A - 使用参数化可变形网状物来构造个性化具体化的方法和系统 - Google Patents

使用参数化可变形网状物来构造个性化具体化的方法和系统 Download PDF

Info

Publication number
CN106164978A
CN106164978A CN201580006226.5A CN201580006226A CN106164978A CN 106164978 A CN106164978 A CN 106164978A CN 201580006226 A CN201580006226 A CN 201580006226A CN 106164978 A CN106164978 A CN 106164978A
Authority
CN
China
Prior art keywords
net
summit
point cloud
materialization
embody
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580006226.5A
Other languages
English (en)
Other versions
CN106164978B (zh
Inventor
马锴
陈德仁
V.K.辛格
张耀仁
M.韦尔斯
G.佐扎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Healthcare GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN106164978A publication Critical patent/CN106164978A/zh
Application granted granted Critical
Publication of CN106164978B publication Critical patent/CN106164978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

公开了用于从深度照相机图像生成人的3D个性化网状物以用于医学成像扫描规划的方法和装置。将对象的深度照相机图像转换成3D点云。在3D点云中检测多个解剖标志。通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化。通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物。该优化服从将对象所穿的衣服和对象躺在其上面的工作台的存在考虑在内的约束。

Description

使用参数化可变形网状物来构造个性化具体化的方法和系统
本申请要求2015年1月26日提交的美国专利申请号14/604,829的权益，其要求2014年1月28日提交的临时申请号61/932,441的权益，该申请的公开被整体地通过引用结合到本文中。
背景技术
本发明涉及构造人类对象（subject）的个性化具体化（personalized avatar），并且更特别地涉及从使用深度传感器获得的单个图像来构造人类对象的3D网状物模型。
深度传感器是提供深度信息以及典型图像信息（诸如RGB（红色、绿色、蓝色）数据）的照相机。深度照相机可以是基于结构光的照相机（诸如Microsoft Kinect或ASUSXtion）、立体照相机或飞行时间照相机（诸如Creative TOF照相机）。从深度照相机获得的图像数据通常称为RGB-D（RGB＋深度）数据，其通常包括RGB图像（其中每个像素具有RGB值）以及深度图像（其中每个像素的值对应于深度或像素离照相机的距离）。随着Kinect的到来，已提出了各种方法以根据RGB-D数据估计人体骨骼。然而，此类方法通常要求多个传感器或视频序列以获得人的网状物。
SCAPE是在Draomir Anguelov等人在ACM Trans. W Graph, Vol 24 (2005), pp.408-416中的“SCAPE: Shape Completion and Animation of People”中描述的一种用于人体建模的方法。SCAPE由于其以紧凑式方式对人体形状和姿势变化进行建模的能力而被广泛地使用。作为针对许多相关姿势和形状参数学习复杂函数的替代，SCAPE将模型解耦并从具有不同姿势的一个人学习姿势变形模型，并且然后从具有一个姿势的不同人学习形状变形模型。然而，SCAPE仅被应用到皮肤包层对象，并且并未准确地处理封闭变化和传感器噪声。
发明内容
本发明提供了用于从使用深度照相机获得的图像进行人的3D网状物的自动生成的方法和系统。本发明的实施例从来自深度照相机传感器的单个快照（甚至从身体的部分视图）重构人的详细网状物。本发明的实施例提供了在衣服下面的人的身体形状估计，并且提供传感器噪声统计建模以获得精确的姿势和身体形状。本发明的实施例生成患者的3D网状物并将该3D网状物用于医学成像扫描规划。
在本发明的一个实施例中，对象的深度照相机图像到3D点云。在3D点云中检测多个解剖标志。通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化。通过使用已训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物。
通过参考以下详细描述和附图，本发明的这些及其它优点对于本领域的普通技术人员而言将是显而易见的。
附图说明
图1图示出使用点云和多边形网状物来表示表面的示例；
图2图示出从已训练姿势变形模型获得的姿势变形的示例；
图3图示出使用已训练形状变形模型获得的形状变形的示例；
图4图示出具有不同姿势的合成网状物实例；
图5图示出具有不同身体形状的合成网状物实例；
图6图示出模板网状物模型的示例；
图7图示出根据本发明的实施例的生成用于患者的个性化3D具体化网状物模型的方法；
图8示出了安装在CT扫描仪上的深度照相机传感器的示例；
图9图示出使用已训练PDM从RGB-D图像数据生成个性化具体化网状物的示例性结果；以及
图10是能够实现本发明的计算机的高级框图。
具体实施方式
本发明涉及一种用于从使用深度照相机获得的图像进行人的个性化3D网状物的自动生成的方法和系统。在本文中描述了本发明的实施例以给出个性化网状物生成方法的直观理解。数字图像常常由一个或多个物体（或形状）的数字表示构成。在本文中常常就识别和操纵物体来来描述物体的数字表示。此类操纵是在计算机系统的存储器或其它电路/硬件中实现的虚拟操纵。因此，应理解的是可使用存储于计算机系统内存储的数据在计算机系统内执行本发明的实施例。
本发明的实施例生成人的个性化3D网状物模型，其根据从深度照相机（诸如Microsoft Kinect深度照相机）获得的RGB-D图像数据来估计人的详细身体姿势以及形状。在本文中将人的此类个性化3D网状物模型称为具体化。不同于用以从视频序列的多个传感器获得个性化网状物的其它方法，本发明的实施例根据来自捕捉人的部分视图并处理身体衣服的深度照相机的单个快照而生成个性化网状物。本发明的实施例提供甚至来自身体的部分视图的详细身体形状（网状物）的重构、根据来自任何深度照相机传感器的单个快照进行的身体形状估计、在衣服下面的人的身体形状估计以及适当的传感器噪声统计建模以获得精确的身体姿势和形状。
为了生成人的个性化3D网状物，本发明的实施例采用基于模型的方法来将人类骨骼模型拟合到人的深度图像数据。然后使用估计姿势骨骼来将在离线训练阶段中学习的详细参数化可变形网状物（PDM）初始化。然后优化该PDM以通过扰乱身体姿势和形状来拟合输入深度数据。与SCAPE模型相比，重要的差别是用以将PDM拟合到深度数据的基于采样的优化程序。不同于仅仅应用于具有皮肤包层对象的数据的SCAPE模型，本发明的实施例利用这个基于采样的方法来处理对象的衣服变化。此外，基于采样的方法还使得本发明的实施例能够处理由于传感器噪声而引入的偏置。
本发明的实施例可以在用于使用计算机断层成像（CT）或正电子发射断层成像（PET）扫描仪的患者扫描的工作流程中使用。在用于使用CT或PET扫描仪的患者扫描的典型工作流程中，放射学家/技术人员首先通过从轮廓（profile）的观点观察患者轮廓来大致地估计扫描区的患者等中心（iso-center），并且然后使该患者等中心与通常由激光投射反映的扫描仪构台中心对准。如果完美地进行该对准，则将实现最佳成像质量。然而，由放射学家/技术人员完成的当前对准是不准确的且不一致的。本发明的实施例可以用来生成准确地拟合患者的个性化3D具体化网状物，其将被进一步用来计算扫描区的等中心。与放射学家/技术人员所使用的传统工作流程相比，这可以提供等中心的更准确且一致的估计。另外，在用于使用CT或PET扫描仪的患者扫描的典型工作流程中，首先用扫描仪来生成存储图（x射线）图像以帮助放射学家确定必要的扫描区。
本发明的实施例可以用来从使用深度照相机获得的快照生成准确地拟合患者的个性化3D具体化网状物，并且可以作为存储图的替代而使用个性化3D具体化网状物以预测患者体内的器官的位置以便确定扫描区。这可以提供针对器官的扫描范围的更准确估计并减小患者对辐射的暴露。
在计算机图形中，一般地用三维（3D）表面X来表示3D物体形状。用以表示3D表面的两个流行方式是使用点云（通过对表面进行点采样生成）和使用多边形网状物（通过表面的多边形近似生成）。一般地将点云视为物体表面的传感器读数的集合，其中，云中的每个元素表示表面点的3D坐标。虽然点云可能与其它模型相比更加在计算上可管理，尤其是对于复杂表面而言，但点云丢弃关于表面连续性的信息，包括表面连接性的拓扑。可以将表面X的点云表示为。这是用以表示从3D获取设备（诸如Microsoft Kinect深度照相机）获得的数据的常见方式。
多边形网状物是定义物体的形状的顶点和边缘的集合。可以将表面X的多边形网状物表示为，其中，表示顶点，并且包括定义当前多边形的边缘的顶点索引。在网状物中一般地使用三角形作为多边形，并且使用三个顶点（）和三个边缘（）来表示每个三角形tk。应理解的是本发明不限于使用三角形的多边形网状物，并且还可在多边形网状物中使用其它多边形，诸如四面体。图1图示出使用点云和多边形网状物来表示表面的示例。如图1中所示，使用点云102和多边形网状物104来表示人体表面100。
本发明的实施例利用人体的已学习参数可变形模型（PDM）来生成用于患者的个性化具体化模型。PDM将全人体变形划分成两个单独的变形，姿势和形状变形，其中，可以将姿势变形进一步划分成刚性和非刚性变形。根据有利实施方式，可以使用包括一组三角形的多边形网状物来表示人体。因此，可以将表示人体的任何给定网状物Mi中的三角形表示为具有某些变形的模板网状物的三角形。将模板网状物中的三角形表示为，并且将每个三角形的两个边缘表示为。然后，可以将Mi中的三角形表示为：
(1)
其中，是针对属于同一身体部分l的所有三角形具有同一值的刚性旋转，是形状变形矩阵，并且是姿势变形矩阵。
为了从一组训练数据学习姿势变形模型，针对每个三角形tk学习回归，其作为它的两个最接近关节的扭曲的函数而估计姿势变形矩阵Q
(2)
在上述等式中，可以根据刚性旋转矩阵R来计算∆r。如果给定Q，则可以容易地计算回归参数。然而，用于每个三角形的非刚性变形矩阵Q是未知的。因此，通过对优化问题求解来对用于三角形中每个的变形矩阵求解，其以平滑性约束为依据而使变形模板网状物与训练网状物数据之间的距离最小化。可以将此优化问题表示为：
(3)
其中，第一项使变形模板网状物与训练网状物数据之间的距离最小化，并且第二项是优选属于同一身体部分的相邻三角形中的类似变形的平滑性约束。是可以用来调谐平滑性约束的权重，并且l（）在相邻三角形属于同一身体部分时等于单位矩阵I，并且在相邻三角形不属于同一身体部分时等于零。
在姿势变形模型的训练之后，可以操纵网状物模型以通过用不同的值对刚性旋转矩阵R进行初始化来形成不同的身体姿势。图2图示出从已训练姿势变形模型获得的姿势变形的示例。如图2中所示，图像202示出了使用已训练姿势变形模型获得的驾驶姿势，图像204示出了模板姿势，并且图像206示出了使用已训练姿势变形模型获得的行走姿势。使用已用具有不同姿势的200个训练实例训练的姿势变形模型来获得图2的姿势变形。
为了从一组训练数据学习形状变形，采用主分量分析（PCA）来将形状变形矩阵建模为本征空间的小集合的线性组合。
（4）
在等式（4）中，F是PCA系数β的函数，μ是均值矢量，并且U是完成PCA维度缩减时的数据的本征矢量。类似于姿势估计，用于每个三角形的形状变形矩阵S是未知的。再次地，使用以平滑性约束为依据使变形模板网状物与训练网状物数据之间的距离最小化的优化问题来估计矩阵S：
其中，第一项使变形模板网状物与训练网状物数据之间的距离最小化，并且第二项是优选相邻三角形中的类似形状变形的平滑性约束。
一旦获得了PCA参数（即，本征矢量的集合），则可以操纵网状物模型以通过扰乱β来形成不同的身体形状（高至矮、体重不足至超重、强壮至瘦弱等）。图3图示出使用已训练形状变形模型获得的形状变形的示例。图3的形状变形是通过沿着第一主分量（β）的方向的PDM形状变形获得的。如图3中所示，图像302示出了使用已训练形状变形模型获得的体重不足身体形状的极端情况，图像304示出了模板网状物，并且图像306示出了使用已训练形状变形模型获得的超重身体形状的极端情况。图3的形状变形是使用用具有不同身体形状的200个训练实例训练的形状变形模型获得的。
用以训练用于PDM的姿势变形模型和形状变形模型的训练过程要求许多3D网状物训练示例。从实际人类模型构建此类数据集是一个貌似合理的解决方案，但是其是昂贵且耗时的。从实际人类模型构建训练数据集要求从不同视角捕捉每个人的高精度激光扫描仪。然后，配准算法需要被应用以从部分视图构造用于每个人的全身模型。另外，填充孔、去除噪声以及对表面进行平滑化也可要求巨大的人类努力。
在本发明的有利实施例中，可以使用合成人类模型来训练PDM。与使用实际人类模型相比，来自3D商用软件的合成人类模型生成起来更简单且更快得多。在示例性实施方式中，可以使用称为POSER的3D动画软件来生成合成人类模型以填充训练数据集。POSER是可以用于人类的3D多边形网状物的姿势确定和动画的3D再现软件。此软件从具有关节和形状参数的大自由度的预先构建人类模型的库开始。连同Python编程界面一起，POSER可以在约一小时内生成具有不同姿势和形状的数千个3D人类网状物实例。使用POSER的另一优点是源自于同一网状物模板的所有网状物实例被完全标记并配准。例如，每个网状物实例中的顶点的数目与模板网状物相同，并且顶点顺序保持相同，而无论网状物形成的姿势的种类如何。然而，使用POSER来生成用于训练数据集的网状物存在两个问题。首先，数据生成是完全无监督的，仅仅用某些初始用户输入，因此可以生成对于实际的人而言不切实际的某些姿势。因此，检查使用POSER生成的网状物并手动地去除不切实际的网状物可能是必要的。其次，POSER本身并不模拟人体的重力效果，因此具有站立姿势的人具有与躺下姿势的那个人相同的身体形状。图4图示出采用使用POSER生成的不同姿势的网状物实例402、404和406。图5图示出具有使用POSER生成的不同身体形状的网状物实例502、504和506。
在原始SCAPE工作中，用采取各种姿势的同一人类对象的不同网状物实例来训练姿势变形模型，而用来自采取中立姿势的许多对象的网状物实例来训练形状变形模型。然而，形状和姿势变形的此类解耦可能导致问题。例如，如果对于姿势训练数据而言人类对象是男性，则用于给定女性对象的姿势和形状估计将是不准确的。根据本发明的有利实施例，我们具有知道测试对象的性别的强大的先验，因此此类解耦不是问题。根据有利实施方式，训练两个单独的姿势变形模型（男性和女性），并且当根据患者的已知性别来生成用于患者的个性化具体化网状物时应用已训练姿势变形模型中的适当的一个。
在所有训练网状物实例之中，选择具有平常（例如，平均或中值）身体尺寸和中立姿势的人作为模板网状物。模板网状物的全身被划分成多个不同身体部分，并且手动地选择模板网状物上的多个关节标志。根据示例性实施方式，可以将模板网状物划分成18个身体 部分，并且选择模板网状物上的16个点作为关节标志。在本示例性实施方式中，18个身体部分（和用来识别身体部分的索引）如下：左和右脚（0、1）、左和右小腿（2、3）、左和右大腿（4、5）、骨盆（6）、左和右手（7、8）、左和右前臂（9、10）、左和右上臂（11、12）、腹部（13）、胸部（14）、左和右肩膀（15、16）以及头（17）。关节标志对应于各种关节的位置及其它显著解剖位置。在示例性实施方式中，16个关节标志（和识别标志的索引）如下：左和右踝（0、1）、左和右膝（2、3）、左和右腰（4、5）、腹股沟（6）、左和右手腕（7、8）、左和右肘（9、10）、左和右膀尖（11、12）、胸部中心（13）、头部底部（14）以及头部顶部（15）。图6图示出模板网状物模型的示例。如图6中所示，模板网状物模型600被划分成18个身体部分（左和右脚、左和右小腿、左和右大腿、骨盆、左和右手、左和右前臂、左和右上臂、腹部、胸部、左和右肩膀以及头部）并用16个关节标志（左和右踝、左和右膝、左和右腰、腹股沟、左和右手腕、左和右肘、左和右膀尖、胸部中心、头部底部以及头部顶部）来注释。
图7图示出根据本发明的实施例的生成用于患者的个性化3D具体化网状物模型的方法。可以使用图7的方法作为扫描规划程序的一部分来规划用于获取患者的医学图像数据的扫描，诸如CT扫描或PET扫描。图7的方法利用先验，诸如病人躺在工作台上的知识以及患者被衣服、辐射防护器、毯子、枕头等覆盖的知识，并且将对应于此类先验的约束应用到患者的3D具体化网状物模型的生成。参考图7，在步骤702处，从深度照相机接收患者的RGB-D图像数据。在示例性实施例中，可以在来自深度照相机的单个快照中获得RGB-D图像数据。深度照相机可以是基于结构光的照相机（诸如Microsoft Kinect或ASUS Xtion）、立体照相机或飞行时间照相机（诸如Creative TOF照相机）。RGB-D（RGB＋深度）图像数据包括RGB图像（其中每个像素具有RGB值）以及深度图像（其中每个像素的值对应于深度或像素与照相机的距离）。假设患者在用于医学图像获取的工作台上，应适当地安装深度照相机，使得其具有工作台上的患者的无障碍视界。例如，可将深度照相机安装在工作台上方的天花板上或者在医学图像扫描仪上。图8示出了安装在CT扫描仪804上的深度照相机传感器802的示例。可以直接地从深度照相机接收RGB-D图像数据，或者可以通过加载患者的先前获取RGB-D图像数据来进行接收。
返回到图7，在步骤704处，将RGB-D图像数据转换成3D点云。特别地，使用RGB-D图像数据的深度图像来将RGB图像中的每个像素映射到3D位置，导致表示患者的3D点云。
在步骤706处，在3D点云中检测解剖标志。特别地，在3D点云中检测在模板网状物中选择的关节标志中的每个。可以使用基于加注释训练数据训练的基于已训练机器学习的分类器来在3D点云中检测关节标志。例如，可以针对关节标志中的每个训练相应的随机概率增进树（PBT）分类器，并且可以通过使用相应已训练PBT分类器来扫描3D点云而检测每个关节标志。可以在标志检测中利用标志的相对位置也是可能的。例如，可以在区别性解剖网络（DAN）中连接用于每个关节标志的已训练分类器以将标志的相对位置考虑在内，或者可以将已训练分类器按照预定顺序应用到3D点云，其中，检测到的每个标志帮助缩窄用于后续标志的搜索范围。在其它可能的实施方式中，可以将PBT分类器训练成检测多个身体部分（例如，头、躯干、骨盆），并且可以使用检测到的身体部分来约束用于被用来检测关节标志的PBT分类器的搜索范围。
在步骤708处，使用检测到的解剖标志在3D点云中将模板网状物模型初始化。如上所述，模板网状物模型是从具有平常（例如，平均或中值）身体尺寸和中立姿势的训练数据集中的网状物中选择的网状物。将模板网状物模型划分成多个身体部分，并且存储用于模板网状物上的所述多个关节标志中的每一个的相应位置。通过计算模板网状物到3D点云的刚性变换（其使3D点云中的关节标志的检测位置与模板网状物中的关节标志的相应位置之间的误差最小化）而在3D点云中对模板网状物进行初始化。此刚性变换提供初始刚性旋转矩阵R，其在被应用于模板网状物时导致初始化具体化网状物模型。
在步骤710处，通过使用已训练参数可变形模型（PDM）使模板网状物变形以拟合3D点云来生成个性化具体化网状物。如上所述，通过根据训练数据来训练姿势变形模型和形状变形模型而离线训练PDM。在步骤710中，将已训练PDM直接地应用到数据完成的任务。给定3D点云和关节标志，PDM可以通过使以下目标函数最小化来生成与部分数据一致的逼真的全3D网状物输出：
(6)
其中，Rk是刚性旋转矩阵，是已训练形状变形模型，是已训练姿势变形模型，表示模板网状物中的三角形的边缘，y表示估计具体化网状物模型的顶点，并且L是具体化顶点yl与3D点云Z中的相应点zl之间的对应的集合。此目标函数的第一项将网状物输出定义成与已学习PDM模型一致，并且第二项调节优化以找到最佳地拟合输入点云的集合。为了平衡两个项的重要性，应用权重项wz。
在本发明的实施例中利用的PDM与SCAPE之间的一个显著差异是等式（6）中的另一权重项wl的添加。在原始SCAPE工作中，输入数据id来自激光扫描，因此可以对每个点相等地加权。然而，在图7的方法中，输入来自深度照相机传感器，其中，数据准确度可能受到深度照相机传感器与每个点之间的实际距离的影响。因此，本发明人已创建噪声模型以模拟离深度照相机的距离对3D点云中的点的准确度的影响。噪声模型基于每个关节标志与深度照相机的距离而针对每个配准点（例如，每个关节标志）生成wl的不同值。
在等式（6）中，存在要优化的三个参数集（R、Y和β）。这形成标准的非线性和非凸面优化问题。为了避免收敛到次最佳解的可能性，本发明的实施例利用迭代过程来优化该三个参数。特别地，分开地处理三组参数，每次仅优化其中的一个，同时保持其它两个固定。根据本发明的有利实施例，可以如下执行三步优化：
（1）在S和Y固定的情况下优化R，然后相应地更新∆R和Q；
（2）在R和S固定的情况下优化Y；以及
（3）在R、Q和Y固定的情况下优化S。
在三步优化程序的步骤（1）中，使用等式（6）来优化刚性旋转矩阵R，而估计具体化网状物模型的形状变形S和顶点Y是固定的。这导致用于估计具体化网状物模型中的每个三角形的∆r的更新值，并且使用已训练姿势变形模型而基于已更新∆r来更新用于每个三角形的姿势变形Q。因此，优化程序的步骤（1）优化估计具体化模型的姿势。在三步优化程序的步骤（2）中，使用等式（6）来优化估计具体化网状物的顶点Y的位置，而形状变形S和刚性旋转矩阵R（和姿势变形）是固定的。此步骤是微调步骤，其将顶点Y的位置调整成更好地匹配3D点云。在优化程序的步骤（3）中，使用等式（6）来优化形状变形S，而估计具体化网状物的刚性旋转矩阵R、姿势变形Q以及顶点Y是固定的。特别地，调整第一主分量β以找到使用使等式（6）中的目标函数最小化的已训练变形模型计算的形状变形。因此，该三步优化程序首先找到最佳姿势变形，然后执行估计具体化模型的顶点的微调调整，并且然后找到最佳形状变形。可以将此三步优化程序重复多次。例如，可以将该三步优化程序重复预定次数或者可以进行重复直至其收敛为止。
等式（6）中的第二项要求找到3D点云与3D网状物模型上的标志之间的对应。在图7的方法中，我们首先基于3D点云中的所检测关节标志来估计初始R（步骤708）。然后，将上述三步优化程序重复多次以获得当前估计网状物模型Mcurr，其中仅使用关节标志来找到对应。例如，仅使用关节标志来找到对应的三步优化程序可以被重复预定次数或者可以被重复直至其收敛为止。接下来，可以执行基于迭代最近点算法的配准算法来得到3D点云与当前3D网状物模型Mcurr之间的完全配准。一旦执行了3D点云与当前3D网状物模型Mcurr之间的配准，则去除3D点云中的相应点对与具有大于预定阈值的距离（）的当前3D网状物模型之间的对应。然后使用其余对应来估计新的刚性旋转矩阵R，并且重复三步优化程序。重复此优化配准过程直至收敛为止。
上文针对使用已训练PDM的部分数据完成所述的优化程序生成貌似合理的3D具体化，其紧密地拟合到患者的实际姿势和形状。然而，系统准确度可能由于患者所穿的衣服的影响而被破坏。由于模板具体化是在裸体情形中从PSOER生成的，但是3D点云是从通常穿着衣服的实际患者捕捉到的，所以对等式（6）求解（其使具体化网状物表面与3D点云之间的差最小化）将可能导致误差。这个情况在患者穿着宽松衣服时特别严重。在本发明的有利实施例中，利用处理衣服影响的新优化方法。
为了处理患者所穿的衣服的影响，本发明的实施例搜索具有在一定程度上全部在输入3D点云之下的顶点的3D具体化网状物模型。为此，可以将衣服约束dcloth定义为：
(7)
其中，L是具体化顶点yl与3D点云中的相应点zl之间的对应的集合，并且nzl是点zl的法线。当，时，具体化网状物在3D点云下面。项确保具体化网状物在衣服区域内充分地位于输入3D点云下面，而在无衣服区域中具体化与输入3D点云重叠。用下式来确定的值：
(8)
其中，表示具体化顶点属于无衣服区域的概率。使用在统计上从地面实况训练数据学习的已训练概率模型来计算概率P(Y)。阈值τ表示具体化表面与衣服表面之间的最大距离，包括衣服的厚度。应理解的是可以将该衣服约束不仅应用于衣服，而且应用于覆盖患者的任何东西，诸如辐射防护器、毯子、枕头等。因为覆盖患者的东西可以被称为先验，所以可以针对不同的患者覆盖物（例如，衣服、辐射防护器、毯子等）训练不同的概率模型，并且可以基于正在覆盖患者的东西来调整阈值τ。
因为在有利实施例中，输入3D点云数据是从已从躺在工作台上的患者收集的RGB-D图像数据生成的，所以可以利用在本文中称为工作台约束的另一约束dtable来指定具体化网状物的所有顶点应在工作台之上。特别地，我们尝试使下式最小化：
(9)
其中，是具体化顶点yk的z轴值（垂直于工作台的表面），htable是当前工作台高度（其是已知的），并且项etable确保具体化网状物充分地位于工作台之上。
上面的等式具有许多解。为了实现看似真实地变形的具体化网状物，可以用平滑化项来调整该解，其使下式最小化：
(10)
其中，y表示新具体化网状物的顶点，表示当前具体化网状物的顶点，并且Nk是邻近于顶点yk的顶点的集合。此调整优选这样的顶点的变形，即所述变形与其相邻顶点的平均变形类似。
根据本发明的实施例，可以将上述约束组合以获得使下式最小化的优化函数：
(11)
其中，第一项与等式（6）中的第一项相同，第二项是在等式（7）中定义的衣服约束dcloth(Y)，第三项是在等式（9）中定义的工作台约束dtable(Y)，并且第四项是在等式（10）中定义的平滑化约束s(Y)。可以使用等式（11）的成本函数来代替在等式（6）中表示的成本函数以优化参数集（R、Y和β）。特别地，可以使用上述迭代优化配准过程（包括迭代三步优化程序）来找到最佳参数以使等式（11）的成本函数最小化。重复此程序直至收敛为止，导致用于患者的3D个性化具体化网状物。
返回图7，在步骤712处，输出用于患者的3D个性化具体化网状物。例如，可以通过在计算机系统的显示屏上显示3D个性化具体化网状物来输出3D个性化具体化网状物。
在步骤714处，将患者的3D个性化具体化网状物用于医学成像扫描规划。在一个实施方式中，3D个性化具体化网状物可以提供患者的器官的位置的预测。例如，可以将器官的图集与用于患者的3D个性化具体化网状物对准并将其叠加在患者身体上。这可以帮助操作员指定用于医学成像（例如CT或PET）扫描的特定器官的扫描范围。可以使用患者的3D个性化具体化网状物来代替形貌扫描以规划CT或PET扫描。在当前工作流程中，针对重力的中心（所谓的等中心）的图像区域来预期最佳CT扫描质量。由于3D具体化网状物准确地拟合到患者，所以还可以以最小的误差根据3D具体化网状物来估计扫描的等中心，由此帮助生成高质量CT扫描图像。
图9图示出使用已训练PDM从RGB-D图像数据生成个性化具体化网状物的示例性结果。如图9中所示，图像（a）示出了RGB图像，并且图像（b）示出了相应深度图像。图像（c）示出了在从工作台上方看时被重新投影为3D点云的RGB-D图像数据。图像（d）将PDM初始化示为所检测关节标志。图像（e）示出了在优化的四次迭代之后的估计3D具体化网状物，并且图像（f）示出了使用PDM获得的最终个性化3D具体化网状物。
可使用众所周知的计算机处理器、存储器单元、存储设备、计算机软件及其它部件来在计算机上实现用于生成人的3D个性化具体化网状物的上述方法。在图10中图示出此类计算机的高级框图。计算机1002包含处理器1004，其通过执行定义此类操作的计算机程序指令来控制计算机1002的总体操作。可将计算机程序指令存储在存储设备1012（例如，磁盘）中并在期望计算机程序指令的执行时将其加载到存储器1010中。因此，图7的方法的步骤可由存储在存储器1010和/或储存器1012中的计算机程序指令定义并由执行计算机程序指令的处理器1004控制。可以将深度照相机1020连接到计算机1002以向计算机1002输入RGB-D图像数据。深度照相机1020和计算机1002可被直接地连接，或者可通过网络或其它无线通信协议无线地进行通信。还可以将医学图像获取设备（未示出）（诸如CT扫描设备）连接到计算机1002以向计算机1002输入医学图像数据。将医学图像获取设备和计算机1002实现为一个设备也是可能的。计算机1002还包括用于经由网络与其它设备通信的一个或多个网络接口1006。计算机1002还包括使得能够与计算机1002进行用户交互的其它输入/输出设备1008（例如，显示器、键盘、鼠标、扬声器、按钮等）。可将此类输入/输出设备1008与一组计算机程序相结合地用作用以对从图像获取设备1020接收到的体积加注释的注释工具。本领域技术人员将认识到实际计算机的实施方式也可以包含其它部件，并且图10是出于说明性目的的此类计算机的某些组件的高级表示。
应将前述详细描述理解为在每个方面是说明性和示例性的而非限制性的，并且不应根据详细描述、而是确切地说根据如根据专利法许可的全范围解释的权利要求来确定在本文中公开的本发明的范围。应理解的是在本文中示出并描述的实施例仅仅说明本发明的原理，并且在不脱离本发明的范围和精神的情况下可由本领域的技术人员实现各种修改。在不脱离本发明的范围和精神的情况下，本领域的技术人员可以实现各种其它特征组合。

Claims (50)

1.一种从深度照相机图像生成人类对象的个性化3D具体化网状物以便进行医学成像扫描规划的方法，包括：
将对象的深度照相机图像转换成3D点云；
检测3D点云中的多个解剖标志；
通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化；以及
通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物。
2.权利要求1的方法，其中，所述深度照相机图像包括红色、绿色、蓝色（RGB）图像和深度图像，并且将对象的深度照相机图像转换成3D点云包括：
针对RGB图像中的多个像素中的每一个，基于深度图像中的相应深度值而将那个像素映射到3D点云中的位置。
3.权利要求1的方法，其中检测3D点云中的多个解剖标志包括：
检测对应于3D点云中的对象的关节的位置的多个关节标志。
4.权利要求1的方法，其中，检测3D点云中的多个解剖标志包括：
使用相应的已训练分类器来检测所述多个解剖标志中的每一个。
5.权利要求1的方法，其中，所述已训练PDM包括已训练姿势变形模型和已训练形状变形模型。
6.权利要求5的方法，其中，基于多个训练实例来训练所述已训练PDM，并且所述多个训练实例包括多个合成人类网状物，其具有使用3D再现软件生成的多个姿势和身体形状。
7.权利要求1的方法，
其中，通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物包括：
优化已训练PDM的参数，其控制3D具体化网状物的姿势和形状以及3D具体化网状物的顶点的位置以使成本函数最小化。
8.权利要求7的方法，其中，所述成本函数包括衣服约束，其促使所述优化将衣服区域中的3D具体化的顶点移动至3D点云的相应点以下。
9.权利要求8的方法，其中，所述衣服约束是基于针对3D具体化网状物的每个顶点计算的顶点在非衣服区域中的概率，并且用于每个顶点的概率是使用已训练概率模型计算的。
10.权利要求7的方法，其中所述成本函数包括工作台约束，其促使所述优化使3D具体化的顶点移动至对象躺在其上面的工作台之上。
11.权利要求7的方法，其中，所述成本函数包括平滑性约束，其对3D具体化网状物中的顶点的与邻近于该顶点的顶点的平均变形不同的变形施以处罚。
12.权利要求7的方法，其中，要最小化的成本函数是：
其中，Rk是刚性旋转矩阵，是已训练形状变形模型，是已训练姿势变形模型，表示模板网状物中的三角形的边缘，y表示估计具体化网状物模型的顶点，L是具体化顶点yl与3D点云中的相应点zl之间的对应的集合，是衣服约束， 是工作台约束，并且s(Y)是平滑化约束。
13.权利要求12的方法，
其中 ，
其中，是点的法线，当，时，具体化网状物的顶点在3D点云以下，是由确定的，
其中，表示使用已训练概率模型计算的3D具体化网状物的顶点属于非衣服区域的概率，并且τ是表示具体化表面与衣服表面之间的最大距离的阈值，包括衣服的厚度。
14.权利要求12的方法，
其中
其中，是具体化顶点的z轴值，是当前工作台高度，并且确保具体化网状物充分地位于工作台之上。
15.权利要求12的方法，
其中
由此，y表示新具体化网状物的顶点，表示当前具体化网状物的顶点，并且是邻近于顶点的顶点集合。
16.权利要求1的方法，其中，通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物包括：
（a）通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用PDM来优化3D具体化网状物而生成当前3D具体化网状物；
（b）执行当前3D具体化网状物与3D点云之间的完全配准；
（c）从该组对应去除对于其而言3D具体化网状物中的顶点与3D点云中的相应点之间的距离大于阈值的对应；
（d）基于该组对应中的其余对应而将当前3D具体化网状物重新对准到3D点云；以及
（e）重复步骤（a）—（d）直至当前3D具体化网状物收敛为止。
17.权利要求16的方法，其中，通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用PDM来优化3D具体化网状物而生成当前3D具体化网状物包括：
优化刚性旋转矩阵以确定模板网状物的姿势变形，其导致用于当前3D具体化网状物的最佳姿势，同时将模板网状物的形状变形和当前3D具体化网状物的顶点保持固定；
优化当前3D网状物的顶点的位置以基于3D点云对顶点的位置进行微调，同时将模板网状物的形状变形和刚性旋转矩阵保持固定；以及
优化模板网状物的形状变形以确定导致用于当前3D具体化网状物的最佳形状的形状变形，同时将当前3D具体化网状物的刚性旋转矩阵、姿势变形以及顶点保持固定。
18.权利要求17的方法，其中，通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用PDM来优化3D具体化网状物而生成当前3D具体化网状物还包括：
重复刚性旋转矩阵的优化、当前3D具体化网状物的顶点的位置的优化、以及形状变形的优化达多次重复。
19.权利要求1的方法，还包括：
基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划。
20.权利要求19的方法，其中，基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划包括：
使用对象的3D具体化网状物来检测患者等中心；以及
基于患者等中心来确定用于医学图像获取的扫描计划。
21.权利要求19的方法，其中，基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划包括：
基于对象的3D具体化网状物来检测对象的至少一个器官的位置；以及
基于所述至少一个器官的位置来确定用于医学图像获取的扫描计划。
22.一种用于从深度照相机图像生成对象的个性化3D具体化网状物以便进行医学成像扫描规划的装置，包括：
用于将对象的深度照相机图像转换成3D点云的装置；
用于检测3D点云中的多个解剖标志的装置；
用于通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化的装置；以及
用于通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物的装置。
23.权利要求22的装置，其中，用于检测3D点云中的多个解剖标志的装置包括：
用于检测对应于3D点云中的对象的关节的位置的多个关节标志的装置。
24.权利要求22的装置，其中，已训练PDM包括已训练姿势变形模型和已训练形状变形模型。
25.权利要求22的装置，其中，用于通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物的装置包括：
用于优化已训练PDM的参数的装置，其控制3D具体化网状物的姿势和形状以及3D具体化网状物的顶点的位置以使成本函数最小化。
26.权利要求25的装置，其中，所述成本函数包括衣服约束，其促使所述优化将衣服区域中的3D具体化的顶点移动至3D点云的相应点以下。
27.权利要求26的装置，其中，所述衣服约束是基于针对3D具体化网状物的每个顶点计算的顶点在非衣服区域中的概率，并且用于每个顶点的概率是使用已训练概率模型计算的。
28.权利要求25的装置，其中，所述成本函数包括工作台约束，其促使所述优化使3D具体化的顶点移动至对象躺在其上面的工作台之上。
29.权利要求25的装置，其中，所述成本函数包括平滑性约束，其对3D具体化网状物中的顶点的与邻近于该顶点的顶点的平均变形不同的变形进行处罚。
30.权利要求22的装置，其中，用于通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物的装置包括：
用于通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用PDM来优化3D具体化网状物而生成当前3D具体化网状物的装置；
用于执行当前3D具体化网状物与3D点云之间的完全配准的装置；
用于从该组对应去除对于其而言3D具体化网状物中的顶点与3D点云中的相应点之间的距离大于阈值的对应的装置；以及
用于基于该组对应中的其余对应而将当前3D具体化网状物重新对准到3D点云的装置。
31.权利要求30的装置，其中，用于通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用PDM来优化3D具体化网状物而生成当前3D具体化网状物的装置包括：
用于优化刚性旋转矩阵以确定模板网状物的姿势变形的装置，其导致用于当前3D具体化网状物的最佳姿势，同时将模板网状物的形状变形和当前3D具体化网状物的顶点保持固定；
用于优化当前3D网状物的顶点的位置以基于3D点云对顶点的位置进行微调、同时将模板网状物的形状变形和刚性旋转矩阵保持固定的装置；以及
用于优化模板网状物的形状变形以确定导致用于当前3D具体化网状物的最佳形状的形状变形、同时将当前3D具体化网状物的刚性旋转矩阵、姿势变形以及顶点保持固定的装置。
32.权利要求22的装置，还包括：用于基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划的装置。
33.权利要求32的装置，其中，用于基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划的装置包括：
用于使用对象的3D具体化网状物来检测患者等中心的装置；以及
用于基于患者等中心来确定用于医学图像获取的扫描计划的装置。
34.权利要求19的装置，其中，用于基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划的装置包括：
用于基于对象的3D具体化网状物来检测对象的至少一个器官的位置的装置；以及
用于基于所述至少一个器官的位置来确定用于医学图像获取的扫描计划的装置。
35.一种非临时计算机可读介质，其存储用于从深度照相机图像生成对象的个性化3D具体化网状物以便进行医学成像扫描规划的计算机程序指令，所述计算机程序指令在被处理器执行时促使处理器执行操作，该操作包括：
将对象的深度照相机图像转换成3D点云；
检测3D点云中的多个解剖标志；
通过基于所检测解剖标志将模板网状物对准到3D点云来将3D具体化网状物初始化；以及
通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物。
36.权利要求35的非临时计算机可读介质，其中，所述深度照相机图像包括红色、绿色、蓝色（RGB）图像和深度图像，并且将对象的深度照相机图像转换成3D点云包括：
针对RGB图像中的多个像素中的每一个，基于深度图像中的相应深度值而将该像素映射到3D点云中的位置。
37.权利要求35的非临时计算机可读介质，其中，检测3D点云中的多个解剖标志包括：
检测对应于3D点云中的对象的关节的位置的多个关节标志。
38.权利要求35的非临时计算机可读介质，其中，检测3D点云中的多个解剖标志包括：
使用相应的已训练分类器来检测所述多个解剖标志中的每一个。
39.权利要求35的非临时计算机可读介质，其中，已训练PDM包括已训练姿势变形模型和已训练形状变形模型。
40.权利要求35的非临时计算机可读介质，其中，通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物包括：
优化已训练PDM的参数，其控制3D具体化网状物的姿势和形状以及3D具体化网状物的顶点的位置以使成本函数最小化。
41.权利要求40的非临时计算机可读介质，其中，所述成本函数包括衣服约束，其促使所述优化将衣服区域中的3D具体化的顶点移动至3D点云的相应点以下。
42.权利要求41的非临时计算机可读介质，其中，所述衣服约束是基于针对3D具体化网状物的每个顶点计算的顶点在非衣服区域中的概率，并且用于每个顶点的概率是使用已训练概率模型计算的。
43.权利要求40的非临时计算机可读介质，其中，所述成本函数包括工作台约束，其促使所述优化使3D具体化的顶点移动至对象躺在其上面的工作上之上。
44.权利要求40的非临时计算机可读介质，其中，所述成本函数包括平滑性约束，其对3D具体化网状物中的顶点的与邻近于该顶点的顶点的平均变形不同的变形进行处罚。
45.权利要求35的非临时计算机可读介质，其中，通过使用经训练参数可变形模型（PDM）来优化3D具体化网状物而生成对象的个性化3D具体化网状物包括：
（a）通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用PDM来优化3D具体化网状物而生成当前3D具体化网状物；
（b）执行当前3D具体化网状物与3D点云之间的完全配准；
（c）从该组对应去除对于其而言3D具体化网状物中的顶点与3D点云中的相应点之间的距离大于阈值的对应；
（d）基于该组对应中的其余对应而将当前3D具体化网状物重新对准到3D点云；以及
（e）重复步骤（a）—（d）直至当前3D具体化网状物收敛为止。
46.权利要求45的非临时计算机可读介质，其中，通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用PDM来优化3D具体化网状物而生成当前3D具体化网状物包括：
优化刚性旋转矩阵以确定模板网状物的姿势变形，其导致用于当前3D具体化网状物的最佳姿势，同时将模板网状物的形状变形和当前3D具体化网状物的顶点保持固定；
优化当前3D网状物的顶点的位置以基于3D点云对顶点的位置进行微调，同时将模板网状物的形状变形和刚性旋转矩阵保持固定；以及
优化模板网状物的形状变形以确定导致用于当前3D具体化网状物的最佳形状的形状变形，同时将当前3D具体化网状物的刚性旋转矩阵、姿势变形以及顶点保持固定。
47.权利要求46的非临时计算机可读介质，其中，通过基于最初包括在3D点云中检测到的解剖标志与3D具体化网状物中的相应解剖标志之间的对应的一组对应使用PDM来优化3D具体化网状物而生成当前3D具体化网状物还包括：
重复刚性旋转矩阵的优化、当前3D具体化网状物的顶点的位置的优化以及形状变形的优化达多次重复。
48.权利要求35的非临时计算机可读介质，其中，所述操作还包括：
基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划。
49.权利要求48的非临时计算机可读介质，其中，基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划包括：
使用对象的3D具体化网状物来检测患者等中心；以及
基于患者等中心来确定用于医学图像获取的扫描计划。
50.权利要求48的非临时计算机可读介质，其中基于对象的个性化3D具体化网状物来确定用于医学图像获取的扫描计划包括：
基于对象的3D具体化网状物来检测对象的至少一个器官的位置；以及
基于所述至少一个器官的位置来确定用于医学图像获取的扫描计划。
CN201580006226.5A 2014-01-28 2015-01-27 使用参数化可变形网状物来构造个性化具体化的方法和系统 Active CN106164978B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461932441P 2014-01-28 2014-01-28
US61/932441 2014-01-28
US14/604829 2015-01-26
US14/604,829 US9524582B2 (en) 2014-01-28 2015-01-26 Method and system for constructing personalized avatars using a parameterized deformable mesh
PCT/US2015/013013 WO2015116563A1 (en) 2014-01-28 2015-01-27 Method and system for constructing personalized avatars using a parameterized deformable mesh

Publications (2)

Publication Number Publication Date
CN106164978A true CN106164978A (zh) 2016-11-23
CN106164978B CN106164978B (zh) 2019-11-01

Family

ID=53679531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580006226.5A Active CN106164978B (zh) 2014-01-28 2015-01-27 使用参数化可变形网状物来构造个性化具体化的方法和系统

Country Status (5)

Country Link
US (1) US9524582B2 (zh)
EP (1) EP3100236B1 (zh)
KR (1) KR101833364B1 (zh)
CN (1) CN106164978B (zh)
WO (1) WO2015116563A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020078292A1 (en) * 2018-10-17 2020-04-23 Midea Group Co., Ltd. System and method for generating acupuncture points and pressure point maps
CN111402397A (zh) * 2020-02-28 2020-07-10 清华大学 基于无监督数据的tof深度数据优化方法及装置
CN114651506A (zh) * 2019-10-31 2022-06-21 斑马技术公司 用于自动相机安装引导（cig）的系统和方法

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2811463B1 (en) 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
US20150106993A1 (en) 2013-10-18 2015-04-23 The Regents Of The University Of California Anatomy shading for garments
US10314357B2 (en) 2013-10-18 2019-06-11 Vf Corporation Anatomy shading for garments
EP2874118B1 (en) 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
DE102014210051A1 (de) * 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Bestimmung einer Oberflächentopographie eines Körpers
US9911220B2 (en) * 2014-07-28 2018-03-06 Adobe Systes Incorporated Automatically determining correspondences between three-dimensional models
CN107405123B (zh) * 2014-11-06 2020-08-21 西门子保健有限责任公司 利用深度传感器数据的扫描数据检索
EP3032495B1 (en) 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
US10515259B2 (en) * 2015-02-26 2019-12-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining 3D object poses and landmark points using surface patches
WO2017040905A1 (en) * 2015-09-03 2017-03-09 Stc.Unm Accelerated precomputation of reduced deformable models
EP3188033B1 (en) * 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
DE102016200225B4 (de) * 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils
USD802256S1 (en) 2016-01-29 2017-11-14 V.F. Corporation Pant with anatomy enhancing pockets
US10127717B2 (en) * 2016-02-16 2018-11-13 Ohzone, Inc. System for 3D Clothing Model Creation
WO2017141344A1 (ja) 2016-02-16 2017-08-24 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム
US10936892B2 (en) * 2016-02-29 2021-03-02 Koninklijke Philips N.V. Device, system and method for verifying image-related information of a medical image
US9919217B2 (en) 2016-03-08 2018-03-20 Electronic Arts Inc. Dynamic difficulty adjustment
EP3452956A4 (en) * 2016-05-04 2020-01-08 Styku LLC METHOD AND SYSTEM FOR BODY SCAN AND DISPLAY OF BIOMETRIC DATA
US9898858B2 (en) 2016-05-18 2018-02-20 Siemens Healthcare Gmbh Human body representation with non-rigid parts in an imaging system
US10215858B1 (en) * 2016-06-30 2019-02-26 Google Llc Detection of rigid shaped objects
US10327487B2 (en) * 2016-07-19 2019-06-25 Vf Corporation Body-enhancing garment and garment design
US20180014590A1 (en) 2016-07-18 2018-01-18 Vf Corporation Body-enhancing garment and garment construction
EP4131172A1 (en) 2016-09-12 2023-02-08 Dassault Systèmes Deep convolutional neural network for 3d reconstruction of a real object
US10384133B1 (en) 2016-12-30 2019-08-20 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
CN108310677B (zh) * 2017-01-11 2020-02-28 南京中硼联康医疗科技有限公司 基于医学影像数据的平滑几何模型建立方法
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US11367198B2 (en) * 2017-02-07 2022-06-21 Mindmaze Holding Sa Systems, methods, and apparatuses for tracking a body or portions thereof
CN110892408A (zh) 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的系统、方法和装置
US10546415B2 (en) * 2017-02-07 2020-01-28 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
US10182771B2 (en) 2017-02-10 2019-01-22 Siemens Healthcare Gmbh Method and system for dose-optimized computed tomography scanning of a target organ
EP3583579A1 (en) * 2017-02-20 2019-12-25 PCMS Holdings, Inc. Dynamically presenting augmented reality information for reducing peak cognitive demand
US10635930B2 (en) * 2017-02-24 2020-04-28 Siemens Healthcare Gmbh Patient position control for scanning
US10357718B2 (en) 2017-02-28 2019-07-23 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
US10595039B2 (en) 2017-03-31 2020-03-17 Nvidia Corporation System and method for content and motion controlled action video generation
US10507002B2 (en) 2017-05-23 2019-12-17 Siemens Healthcare Gmbh X-ray system and method for standing subject
KR102376948B1 (ko) * 2017-06-07 2022-03-21 구글 엘엘씨 고속, 고성능 얼굴 추적
US10425629B2 (en) * 2017-06-28 2019-09-24 Siemens Healthcare Gmbh System for dense registration of two-dimensional depth images
US10186038B1 (en) 2017-07-18 2019-01-22 Siemens Healthcare Gmbh Segmentation and representation network for pose discrimination
US10732284B2 (en) 2017-07-28 2020-08-04 The Boeing Company Live metrology of an object during manufacturing or other operations
US10354444B2 (en) 2017-07-28 2019-07-16 The Boeing Company Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud
US10438408B2 (en) 2017-07-28 2019-10-08 The Boeing Company Resolution adaptive mesh for performing 3-D metrology of an object
US10470825B2 (en) * 2017-08-16 2019-11-12 Synaptive Medical (Barbados) Inc. Method, system and apparatus for surface rendering using medical imaging data
KR102357355B1 (ko) * 2017-10-23 2022-01-28 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치
US10842412B2 (en) 2017-10-31 2020-11-24 Pixa4 Llc Systems and methods to estimate human length
EP3483839A1 (en) * 2017-11-08 2019-05-15 Siemens Healthcare GmbH Dynamic generation of a medical scene model
CN107798726B (zh) * 2017-11-14 2021-07-20 刘芳圃 三维漫画的制作方法和装置
EP3503113B1 (de) 2017-12-22 2024-02-21 Siemens Healthineers AG Cloudbasierte mr-bildgebung
CN109961504B (zh) * 2017-12-25 2023-07-21 宏达国际电子股份有限公司 三维模型重建方法、电子装置及非暂态电脑可读取记录媒体
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
US10748034B2 (en) * 2018-01-10 2020-08-18 Siemens Healthcare Gmbh Method and system for learning to obtain medical scans of patients
JP7476104B2 (ja) * 2018-01-19 2024-04-30 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群処理
CN108319786B (zh) * 2018-02-05 2021-08-10 湖南省忘不了服饰有限公司 一种机织物下摆卷边缝制工艺参数的智能制定方法
WO2019168673A1 (en) * 2018-02-27 2019-09-06 Magic Leap, Inc. Matching meshes for virtual avatars
US10925565B2 (en) 2018-04-11 2021-02-23 Siemens Healthcare Gmbh Machine-learning based contrast agent administration
CN108895979B (zh) * 2018-05-10 2020-04-07 西安电子科技大学 线段编码的结构光深度获取方法
FI20185517A1 (en) 2018-06-06 2019-12-07 Nomo Tech Oy Measurement of surface distances on human bodies
US10713543B1 (en) 2018-06-13 2020-07-14 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information
HK1253750A2 (zh) * 2018-07-04 2019-06-28 Bun Kwai 用於將3d掃描對象轉換為化身的方法和裝置
WO2020018931A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
US10950024B2 (en) 2018-07-27 2021-03-16 Magic Leap, Inc. Pose space dimensionality reduction for pose space deformation of a virtual character
US20200051257A1 (en) * 2018-08-08 2020-02-13 Siemens Medical Solutions Usa, Inc. Scan alignment based on patient-based surface in medical diagnostic ultrasound imaging
FR3085521A1 (fr) * 2018-09-04 2020-03-06 Exsens Procede ameliore de creation d’une representation tridimensionnelle virtuelle du buste d’une personne
US10621788B1 (en) 2018-09-25 2020-04-14 Sony Corporation Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance
US10799206B2 (en) 2018-09-28 2020-10-13 General Electric Company System and method for calibrating an imaging system
CN112889092A (zh) * 2018-11-09 2021-06-01 三星电子株式会社 有纹理的神经化身
US10984609B2 (en) * 2018-11-21 2021-04-20 Electronics And Telecommunications Research Institute Apparatus and method for generating 3D avatar
KR102655987B1 (ko) * 2018-11-21 2024-04-11 한국전자통신연구원 3차원 아바타 생성 장치 및 방법
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
EP3671557A1 (en) * 2018-12-20 2020-06-24 RaySearch Laboratories AB Data augmentation
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
CN109859306A (zh) * 2018-12-24 2019-06-07 青岛红创众投科技发展有限公司 一种基于机器学习的从照片中提取人体模型的方法
WO2020140044A1 (en) * 2018-12-28 2020-07-02 Activ Surgical, Inc. Generation of synthetic three-dimensional imaging from partial depth maps
US11703373B2 (en) 2019-02-25 2023-07-18 Siemens Healthcare Gmbh Patient weight estimation from surface data using a patient model
US10891744B1 (en) 2019-03-13 2021-01-12 Argo AI, LLC Determining the kinetic state of a body using LiDAR point cloud registration with importance sampling
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
US10953334B2 (en) * 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
US11282180B1 (en) 2019-04-24 2022-03-22 Apple Inc. Object detection with position, pose, and shape estimation
EP3751524A1 (en) * 2019-06-13 2020-12-16 RaySearch Laboratories AB Method, computer program product and computer system for providing an approximate image
CN112085846A (zh) 2019-06-14 2020-12-15 通用电气精准医疗有限责任公司 用于在成像系统中生成对象3d点云的方法和系统
CN112102223B (zh) * 2019-06-18 2024-05-14 通用电气精准医疗有限责任公司 用于自动设置扫描范围的方法和系统
US11430168B2 (en) * 2019-08-16 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for rigging 3D scanned human models
US11592820B2 (en) 2019-09-13 2023-02-28 The Boeing Company Obstacle detection and vehicle navigation using resolution-adaptive fusion of point clouds
US11317884B2 (en) 2019-12-20 2022-05-03 GE Precision Healthcare LLC Methods and systems for mammography and biopsy workflow optimization
US11276166B2 (en) 2019-12-30 2022-03-15 GE Precision Healthcare LLC Systems and methods for patient structure estimation during medical imaging
KR102326902B1 (ko) * 2020-01-10 2021-11-17 (주)내스타일 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
US11547323B2 (en) * 2020-02-14 2023-01-10 Siemens Healthcare Gmbh Patient model estimation from camera stream in medicine
US11734849B2 (en) 2020-03-10 2023-08-22 Siemens Healthcare Gmbh Estimating patient biographic data parameters
US11284850B2 (en) 2020-03-13 2022-03-29 Siemens Healthcare Gmbh Reduced interaction CT scanning
KR20210121628A (ko) 2020-03-31 2021-10-08 주식회사 만도 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템
CN112017296B (zh) * 2020-09-01 2024-02-23 上海融军科技有限公司 基于rimd变形成分的人体网格变形方法及系统
US20220319114A1 (en) * 2021-04-01 2022-10-06 Sony Group Corporation Automatic blending of human facial expression and full-body poses for dynamic digital human model creation using integrated photo-video volumetric capture system and mesh-tracking
US20220375621A1 (en) * 2021-05-23 2022-11-24 Innovision LLC Digital twin
CN113742809B (zh) * 2021-11-04 2022-02-11 山东神力索具有限公司 索具网格的调整方法、装置以及电子设备
US11810256B2 (en) * 2021-11-11 2023-11-07 Qualcomm Incorporated Image modification techniques
KR20230089228A (ko) 2021-12-13 2023-06-20 주식회사 케이티 점군 데이터 증강장치 및 점군 데이터 증강방법
CN114913149B (zh) * 2022-05-11 2023-03-10 盐城工学院 一种基于ct影像的头部可变形统计图谱构建方法
CN117315196B (zh) * 2023-10-08 2024-06-11 广州中望龙腾软件股份有限公司 一种模型的构建方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057569A1 (en) * 2003-08-26 2005-03-17 Berger Michael A. Static and dynamic 3-D human face reconstruction
CN101627411A (zh) * 2007-01-16 2010-01-13 西姆博尼克斯有限公司 手术前的手术模拟
US7978918B2 (en) * 2006-07-20 2011-07-12 Eastman Kodak Company Digital image cropping using a blended map
CN102625669A (zh) * 2009-06-08 2012-08-01 外科视象设备公司 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入系统
CN102800103A (zh) * 2012-06-18 2012-11-28 清华大学 基于多视角的深度相机的无标记动作捕捉方法及装置
US20130237842A1 (en) * 2012-03-06 2013-09-12 Spectrascience, Inc. Determining condition of tissue using spectral analysis

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067362A1 (en) 1998-11-06 2002-06-06 Agostino Nocera Luciano Pasquale Method and system generating an avatar animation transform using a neutral face image
US6993193B2 (en) * 2002-03-26 2006-01-31 Agilent Technologies, Inc. Method and system of object classification employing dimension reduction
WO2003088085A1 (en) * 2002-04-04 2003-10-23 Arizona Board Of Regents Three-dimensional digital library system
US20110115798A1 (en) * 2007-05-10 2011-05-19 Nayar Shree K Methods and systems for creating speech-enabled avatars
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
BRPI0917864A2 (pt) * 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
CN102625670B (zh) * 2009-06-16 2015-07-15 核磁共振成像介入技术有限公司 Mri导向装置以及能够近实时地跟踪和生成该装置的动态可视化的mri导向的介入系统
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US20110298897A1 (en) * 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US9734637B2 (en) 2010-12-06 2017-08-15 Microsoft Technology Licensing, Llc Semantic rigging of avatars
EP2689396A4 (en) * 2011-03-21 2015-06-03 Intel Corp PROCESS FOR ADVANCED CHANGES WITH 3D FACE MODELING AND MARKING ALIGNMENT
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9344707B2 (en) * 2011-06-29 2016-05-17 Microsoft Technology Licensing, Llc Probabilistic and constraint based articulated model fitting
WO2013020248A1 (en) 2011-08-09 2013-02-14 Intel Corporation Image-based multi-view 3d face generation
US8885904B2 (en) * 2012-04-19 2014-11-11 General Electric Company Systems and methods for landmark correction in magnetic resonance imaging
US9418475B2 (en) * 2012-04-25 2016-08-16 University Of Southern California 3D body modeling from one or more depth cameras in the presence of articulated motion
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
EP2864961A4 (en) 2012-06-21 2016-03-23 Microsoft Technology Licensing Llc AVATAR CONSTRUCTION USING A DEPTH CAMERA
US9536338B2 (en) * 2012-07-31 2017-01-03 Microsoft Technology Licensing, Llc Animating objects using the human body
US8867786B2 (en) * 2012-10-31 2014-10-21 Microsoft Corporation Scenario-specific body-part tracking
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
US9639748B2 (en) * 2013-05-20 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for detecting persons using 1D depths and 2D texture
JP6397904B2 (ja) * 2013-06-07 2018-09-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 磁気共鳴プロトコルのための視覚的プレスキャン患者情報
GB2515343B (en) * 2013-06-21 2018-02-07 Toshiba Res Europe Limited Methods and systems for generating a three dimensional representation of a subject
US9508197B2 (en) * 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
US9300901B2 (en) * 2013-12-04 2016-03-29 Disney Enterprises, Inc. Augmenting physical appearance using illumination

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057569A1 (en) * 2003-08-26 2005-03-17 Berger Michael A. Static and dynamic 3-D human face reconstruction
US7978918B2 (en) * 2006-07-20 2011-07-12 Eastman Kodak Company Digital image cropping using a blended map
CN101627411A (zh) * 2007-01-16 2010-01-13 西姆博尼克斯有限公司 手术前的手术模拟
CN102625669A (zh) * 2009-06-08 2012-08-01 外科视象设备公司 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入系统
US20130237842A1 (en) * 2012-03-06 2013-09-12 Spectrascience, Inc. Determining condition of tissue using spectral analysis
CN102800103A (zh) * 2012-06-18 2012-11-28 清华大学 基于多视角的深度相机的无标记动作捕捉方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ALEXANDRU O.B˘ALAN ET AL.: "The Naked Truth：Estimating Body Shape Under Clothing", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
DRAGOMIR ANGUELOV ET AL.: "SCAPE: Shape Completion and Animation of People", 《ACM TRANS GRAPH》 *
N. HASLER ET AL.: "A Statistical Model of Human Pose and Body Shape", 《EUROGRAPHICS》 *
NILS HASLER ET AL.: "Multilinear Pose and Body Shape Estimation of Dressed Subjects from Image Sets", 《IEEE》 *
PENG GUAN ET AL.: "Estimating Human Shape and Pose from a Single Image", 《IEEE 12TH 2009 INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
童晶: "基于深度相机的三维物体与人体扫描重建", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020078292A1 (en) * 2018-10-17 2020-04-23 Midea Group Co., Ltd. System and method for generating acupuncture points and pressure point maps
US11475630B2 (en) 2018-10-17 2022-10-18 Midea Group Co., Ltd. System and method for generating acupuncture points on reconstructed 3D human body model for physical therapy
CN114651506A (zh) * 2019-10-31 2022-06-21 斑马技术公司 用于自动相机安装引导（cig）的系统和方法
CN111402397A (zh) * 2020-02-28 2020-07-10 清华大学 基于无监督数据的tof深度数据优化方法及装置
CN111402397B (zh) * 2020-02-28 2022-07-29 清华大学 基于无监督数据的tof深度数据优化方法及装置

Also Published As

Publication number Publication date
US9524582B2 (en) 2016-12-20
WO2015116563A1 (en) 2015-08-06
EP3100236A1 (en) 2016-12-07
CN106164978B (zh) 2019-11-01
KR20160115959A (ko) 2016-10-06
EP3100236B1 (en) 2019-07-10
KR101833364B1 (ko) 2018-02-28
US20150213646A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
CN106164978B (zh) 使用参数化可变形网状物来构造个性化具体化的方法和系统
US10507002B2 (en) X-ray system and method for standing subject
US10842379B2 (en) Multi-modality image fusion for 3D printing of organ morphology and physiology
CN108475439B (zh) 三维模型生成系统、三维模型生成方法和记录介质
US8571698B2 (en) Simple techniques for three-dimensional modeling
JP5931215B2 (ja) 姿勢を推定する方法及び装置
Mundermann et al. Accurately measuring human movement using articulated ICP with soft-joint constraints and a repository of articulated models
CN104718563B (zh) 追踪三维物体的方法
US9990764B2 (en) Virtual try on simulation service
CN106037931A (zh) 改进的经导管主动脉瓣植入规划的方法和系统
Wang et al. Virtual human modeling from photographs for garment industry
US9715759B2 (en) Reference object for three-dimensional modeling
Corazza et al. Automatic generation of a subject-specific model for accurate markerless motion capture and biomechanical applications
CN108369736A (zh) 用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和系统
JP2008282110A (ja) 対象物の関節構造の取得方法及び装置
JP2004008419A (ja) 解剖学的特徴位置検出装置および被写体構造計測装置
US11461914B2 (en) Measuring surface distances on human bodies
WO2002003304A2 (en) Predicting changes in characteristics of an object
US11922576B2 (en) System and method for mapping the skin
Wuhrer et al. Human shape correspondence with automatically predicted landmarks
Gonzalez-Tejeda et al. Calvis: Chest, waist and pelvis circumference from 3d human body meshes as ground truth for deep learning
Tejeda et al. Calvis: chest, waist and pelvis circumference from 3d human body meshes as ground truth for deep learning
US11948250B2 (en) Multi-view patient model construction
WO2023162223A1 (ja) 学習プログラム、生成プログラム、学習方法および生成方法
Zhang et al. Registration of Lung CT Images Using B-spline Based Free-Form Deformation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant