CN110335358A - 可变形数字人解剖学模型的个性化变形方法 - Google Patents
可变形数字人解剖学模型的个性化变形方法 Download PDFInfo
- Publication number
- CN110335358A CN110335358A CN201910525919.5A CN201910525919A CN110335358A CN 110335358 A CN110335358 A CN 110335358A CN 201910525919 A CN201910525919 A CN 201910525919A CN 110335358 A CN110335358 A CN 110335358A
- Authority
- CN
- China
- Prior art keywords
- model
- organ
- deformation
- image
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 210000003484 anatomy Anatomy 0.000 claims abstract description 28
- 210000000056 organ Anatomy 0.000 claims description 96
- 210000001835 viscera Anatomy 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 33
- 230000011218 segmentation Effects 0.000 claims description 28
- 230000000877 morphologic effect Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 19
- 210000000988 bone and bone Anatomy 0.000 claims description 10
- 241000121189 Lonchura Species 0.000 claims description 7
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 7
- 210000004072 lung Anatomy 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 239000000700 radioactive tracer Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000037396 body weight Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000004260 weight control Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000003325 tomography Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 abstract description 2
- 238000003759 clinical diagnosis Methods 0.000 abstract 1
- 238000002224 dissection Methods 0.000 description 6
- 238000009206 nuclear medicine Methods 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 230000005311 nuclear magnetism Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种可变形数字人解剖学模型的个性化变形方法。该方法通过获取用户的人体测量学参数以及医学影像数据作为参考,输入到数字人体模型使其形变后的模型外观和内部解剖结构的形态变得与用户个人相近,生成针对用户个人的解剖结构模型,达到个性化全身解剖结构建模的目的。本发明采用的技术方案是根据用户的解剖形态特征参数或医学影像引导模型进行变形,模型的个性化变形可以通过手动调节或自动配准的方式来实现。通过本发明生成的个性化数字人体模型,将为医患交流、仿真模拟、临床诊断等领域提供有价值的参考数据。
Description
技术领域
本发明公开了一种数字人解剖学模型的变形控制方法,借助用户的人体测量学参数以及医学影像数据实现数字人体模型的变形调控,使模型在人体外观和内部器官形态上接近用户个体,生成针对用户个人的个性化的数字解剖人体模型,用于与用户个体相关的医疗信息管理、人体建模仿真、个性化解剖结构展示、病患沟通、解剖学教育等诸多领域。
背景技术
近年来随着大数据时代的到来,三维数字人体模型被运用在医疗、人体建模仿真、服装设计、体育运动等领域,但目前现有的数字模型大多是不可变形的标准人体模型,缺乏相关的个体解剖形态差异信息。如果建立一个可变形的人体解剖模型,实现数字人模型与病人个体变形配准,则可以通过数字人变形生成一个与病人本身解剖形态相似的个性化数字人,作为病人本身的虚拟数字化代表,为医患交流、模拟仿真、临床诊疗提供个性化的人体解剖模型。
为实现人体解剖结构的个性化形态建模,需要首先获取受试者本身的解剖特征参数。受试者体表外观的形态特征参数可以通过简单的测量获得(如身高、体重、三维、胸腹高、肩宽、四肢长度与周长、腰腹比、头围、面部器官尺寸等),也可以通过外观照片或三维体表扫描获取。受试者内脏器官的形态特征(如内脏器官形状、心率、皮下脂肪含量、内脏脂肪含量、呼吸状态、各脑区形态等)可以通过医学影像采集获取(如CT、核磁、核医学或超声影像)。通过这些外观的和内部的解剖形态特征,可以引导数字人体模型发生变形,使其外表形态和内部解剖结构的形态变得与受试者相似,从而构建个性化的解剖结构模型。
发明内容
本发明提出一种数字人体解剖模型的变形方法,以受试者的体表测量尺寸、外观照片、三维体表扫描数据和医学影像为参照,通过数字人模型的变形使其外观和内部解剖结构的形态变得与受试者相近,生成针对个体受试者的解剖结构模型,达到个性化全身解剖结构建模的目的。
本发明的技术方案:
一种可变形数字人解剖学模型的个性化变形方法,步骤如下:
第一步,为数字人体解剖模型赋予变形能力
可变形人体模型是指包含全身解剖结构的三维数字人体模型,与标准的数字人体模型不同,该可变形的人体模型具有改变自身的外观与内部解剖结构形态的能力,通过调节众多解剖学特征参数控制人体模型发生由内到外的解剖形态变化,使人体模型的外观和内脏器官形态变得类似个体人类;
可变形的数字人以一个标准的数字人体解剖模型为基础形态,通过对基础形态施加变形向量实现模型的变形;数字人体解剖模型采用专利申请号201711097463.4的三维网格曲面的方式表示,三维网格曲面的顶点坐标描述为X0=[x1,y1,z1,…,xi,yi,zi,…,xn,yn,zn]T,其中(xi,yi,zi)表示第i个顶点的三维坐标;数字人体解剖模型的变形是由多个形态特征参数控制的,每一个形态特征参数具有一套与之对应的变形向量;第k个特征的变形向量表示为Vk=[vk,1(x),vk,1(y),vk,1(z),…,vk,i(x),vk,i(y),vk,i(z),…,vk,n(x),vk,n(y),vk,n(z)]T,其中(vk,i(x),vk,i(y),vk,i(z))表示针对第i个顶点的位移向量;基于上述描述,数字人体解剖模型的变形方程描述为:
X=X0+∑kαkVk (1)
其中,X表示模型变形后的网格顶点坐标,αk为第k个形态特征参数所对应的变形幅度;αk的取值决定模型的变形结果,其值由用户人为调整,或由自动算法根据受试者的形态信息自动调整;数字人体解剖模型的基础形态X0采用已有的各种标准数字人体解剖模型,而各个形态参数的变形向量Vk则通过一定数量的真实人体解剖形态数据进行统计形状训练生成;
第二步,根据受试者的解剖形态特征引导模型变形
数字人体解剖模型的个性化变形通过手动调节或自动配准的方式来实现;
手动调节方法即指人为输入受试者个体的外观和内脏器官形态学参数,模型根据所输入的参数实现变形,变得与病人个体形态相似;
在第一步中,模型的变形幅度αk作为手动调节的参数,通过改变变形幅度αk对对应的人体解剖模型的可调控形态参数进行调整,达到控制模型变形的目的,通过目测变形的结果使模型变化到用户想要的形态;
自动配准是指通过自动化的参数优化方法使模型自动变得与受试者个体的解剖形态相似,需提供受试者的照片、体表扫描、医学影像一种或两种以上作为模型配准的目标对象;
根据所提供的受试者数据对象不同,分为基于受试者的照片的变形、基于体表扫描的变形和基于医学影像的变形,分别描述如下:
(1)受试者的照片配准是通过二维图像的几何投影关系来确定模型在三维空间中的位置和形态,先将模型投影到照片的成像平面,并将模型的投影图像与每个视角的照片影像分别配准,得到每个视角的二维形变场,再把各角度的二维形变场反投影回三维空间,生成三维形变场,驱动模型产生三维变形,此过程反复迭代直至收敛;在配准的过程中,模型的变形分为两个部分:一是由骨关节转动造成的姿态变化,二是由身长、体重控制的身体外形轮廓变化,这两种变化分别对应不同的变形向量Vk;在配准过程中,将通过同时优化所有Vk的权重αk来实现配准,优化方法采用经典的多参数的Levenberg–Marquardt方法,实现模型投影区域与照片中的人体区域之间的最大面积重合比;
由于受试者的照片中没有内脏器官的显影,因此模型在变形过程中,内脏器官跟随体表外形发生变化;通过体表外形变化来带动内脏器官变形的方法是条件高斯模型;条件高斯模型是建立在大量的训练样本基础上的,需要分别对图像中的体表外形和内脏器官建立统计形状模型;设αA和αB分别代表体表和内脏器官的形状参数向量,当已知αA时,αB的条件高斯模型描述如公式如下:
其中,是条件高斯模型得到的内脏器官的形状参数的均值,CB|A是条件高斯模型得到的内脏器官的形状参数的协方差矩阵;αA和αB是每个训练样本的形状参数;CA,B和CB|A是αA和αB之间的互协方差矩阵;CA和CB是αA和αB在训练集中的协方差矩阵;P(αB|αA)是已知αA时,αB的条件高斯模型,N是指高斯分布;
基于此模型,当通过上述投影配准方法得到体表的形状系数之后αA,根据公式(2)计算内脏器官的形状系数再将带入公式(1)得到内脏器官模型的各顶点坐标,完成对内脏器官形态的估计;
(2)人体的体表扫描影像通过结构光扫描设备获取,影像的形式为三维空间中的表面点云;配准是通过优化整个模型的变形,实现模型表面与扫描点云的配准;体表点云的配准借鉴成熟的点云配准方法;假设通过点云配准后得到的模型表面顶点坐标为X,根据公式(1),以通过解线性方程组的方法反求得到模型的形态特征参数αA,再根据公式(2)计算内脏器官的形状系数再将带入公式(1)得到内脏器官模型的各顶点坐标,完成对内脏器官形态的估计;
(3)医学影像,模型与医学影像的配准中所涉及的影像模式包括CT、MR和核医学影像;在具体的配准过程中,先从图像中分割出高对比度的器官区域,模型与高对比度器官的分割结果相配准,借助已分割的高对比器官来配准低对比度器官,完成模型与三维图像之间的配准;具体实施步骤如下:
1)高对比度器官的自动分割:不同模式的三维影像具有不同的图像特征,应针对不同影像模式采取不同的器官分割方法;其中
CT图像中骨骼和肺部具有较高的对比度,器官的自动分割通过HU阈值方法,再辅以形态学开闭运算来去除阈法得到的小块错误分割;
MRI图像的器官分割算法采用Graph Cuts方法;
PET和SPECT同属于核医学影像范畴,二者的共同特点是器官的对比度由示踪剂决定,这使得核医学影像的器官对比度具有较大不确定性;采用局部均值分析法对器官进行自动分割;
2)高对比度器官的模型配准:得到受试者影像高对比度器官的分割结果后,通过Marching Cubes算法将器官的分割区域转化为表面点云,然后借助成熟的点云配准方法,将模型中的同名器官与受试者高对比度器官实现点云配准;
3)低对比度器官的模型配准:实现高对比度器官的配准后,得到高对比器官的个性化形状参数,进一步根据器官之间的相对位置关系来配准那些难以分割的低对比度器官,所使用的数学模型也是前面在外观照片配准方法中提到的条件高斯模型,这里针对低对比度器官的模型配准做具体描述:
CGM是建立在大量的训练样本基础上的,需要分别对图像中的高对比度和低对比度器官建立统计形状模型;统计形状模型将解剖结构的形状描述为一个平均形状加上一组形变分量的线性组合其中P是长度为3n向量,存储着模型表面上所有n个点的三维坐标,用来描述模型的三维形状;是所有训练样本的平均形状,V是3n×m矩阵,存储着m个形状变化分量,V通过主分量分析从训练样本中提取;b是m维向量,代表模型的形状系数,通过改变b的各个元素值控制模型的形状变化;设bH和bL分别代表图像中高对比度器官和低对比度器官的形状系数,则二者之间的条件概率分布用CGM来描述:
其中,和∑L|H分别为条件概率分布的均值和协方差矩阵,∑H和∑L分别为bH和bL的均值和协方差矩阵,∑L,H和∑H,L是bH和bL之间的互协方差矩阵;∑H,∑L,∑L,H和∑h,L的值通过训练样本集来求得;根据CGM的公式,当分割出高对比度器官时,通过统计形状模型拟合得到的bH,进而计算bL的条件分布均值和协方差,给出低对比度器官形状和位置的估计;对于不同器官之间的CGM通过可变形人体全身模型的训练样本集构建,之后根据不同的影像模式定义不同的高对比度与低对比度器官,并针对所选的高、低对比度器官训练相应的CGM;
其中对于CT,高对比度器官主要为骨骼和肺部;
对于MRI,需要根据实验来确定通过自动分割算法稳定地提取出来的器官部位;
对于PET和SPECT核医学影像,则需要对每种常用示踪剂选定独特的高、低对比度器官组合。
本发明的效果和益处是:借助受试者提供的相关参数数据,实现可变形数字人模型与病人个体变形配准,生成针对个体受试者的解剖结构模型,达到个性化全身解剖结构建模的目的。个性化数字人可作为病人本身的虚拟数字化代表,提供个体相关的解剖形态信息,可用于与用户个体相关的医疗信息管理、人体建模仿真、个性化解剖结构展示、病患沟通、解剖学教育等诸多领域。
附图说明
图1是特征参数对人体解剖形状变化的控制结果示意图;(a)为变形结果1;(b)为变形结果2。
图2是可变形数字人体解剖模型与受试者外观照片的配准流程图;(a)配准前;(b)配准后。
图3是可变形数字人体解剖模型与受试者体表扫描点云的配准流程图。
图4是可变形数字人体解剖模型与受试者医学影像的配准流程图。
具体实施方式
为了使本发明目的、技术方案更加清楚明白,下面结合实施例,对本发明作进一步的详细说明。
一种可变形数字人解剖学模型的个性化变形方法,步骤如下:
第一步,为数字人体解剖模型赋予变形能力
可变形人体模型是指包含全身解剖结构的三维数字人体模型,与标准的数字人体模型不同,该可变形的人体模型具有改变自身的外观与内部解剖结构形态的能力,通过调节众多解剖学特征参数控制人体模型发生由内到外的解剖形态变化,使人体模型的外观和内脏器官形态变得类似个体人类;
表1数字人体解剖模型的可调控形态参数列表
可变形的数字人以一个标准的数字人体解剖模型为基础形态,通过对基础形态施加变形向量实现模型的变形;数字人体解剖模型采用专利申请号201711097463.4的三维网格曲面的方式表示,三维网格曲面的顶点坐标描述为X0=[x1,y1,z1,…,xi,yi,zi,…,xn,yn,zn]T,其中(xi,yi,zi)表示第i个顶点的三维坐标;数字人体解剖模型的变形是由多个形态特征参数控制的,每一个形态特征参数具有一套与之对应的变形向量;第k个特征的变形向量表示为Vk=[vk,1(x),vk,1(y),vk,1(z),…,vk,i(x),vk,i(y),vk,i(z),…,vk,n(x),vk,n(y),vk,n(z)]T,其中(vk,i(x),vk,i(y),vk,i(z))表示针对第i个顶点的位移向量;基于上述描述,数字人体解剖模型的变形方程描述为:
X=X0+∑kαkVk (1)
其中,X表示模型变形后的网格顶点坐标,αk为第k个形态特征参数所对应的变形幅度;αk的取值决定模型的变形结果,其值由用户人为调整,或由自动算法根据受试者的形态信息自动调整,图1展示了通过调整αk到达对人体解剖形态变化的控制;数字人体解剖模型的基础形态X0采用已有的各种标准数字人体解剖模型,而各个形态参数的变形向量Vk则通过一定数量的真实人体解剖形态数据进行统计形状训练生成;
下面针对Vk的统计形状训练方法做展开阐述:
假设一共采集了M个真实人体的形态样本,则第j个样本的形态表示为Xj=[xj,1,yj,1,zj,1,…,xj,i,yj,i,zj,i,…,xj,n,yj,n,zj,n]T,Xj中包含了体表(即皮肤)和内部解剖结构网格曲面顶点,其中体表的网格曲面通过体表三维扫描获得,内部解剖结构的网格曲面需要先采集样本个体的断层医学影像,再对医学影像进行解剖结构分割并用提取表面网格;医学影像的分割方法采用卷积神经网络或图谱配准等现有方法,解剖结构的表面网格提取采取移动立方体算法(Marching Cubes);基于M个真实人体形态向量,得到训练集的形态矩阵X=[X1,…,Xj,…,XM],基于X求协方差矩阵C=XXT,对C做特征向量分解,得到M个特征向量V1,…,Vk,…,VM,即是模型的变形向量,它们反映了从真实人体样本学习得到的、广大人群中的解剖结构形态个体差异变化模式;
第二步,根据受试者的解剖形态特征引导模型变形
数字人体解剖模型的个性化变形通过手动调节或自动配准的方式来实现;
手动调节方法即指人为输入受试者个体的外观和内脏器官形态学参数,模型根据所输入的参数实现变形,变得与病人个体形态相似;
在第一步中,模型的变形幅度αk作为手动调节的参数,通过改变变形幅度αk对对应的人体解剖模型的可调控形态参数(详情见表1)进行调整,达到控制模型变形的目的,通过目测变形的结果使模型变化到用户想要的形态;
自动配准是指通过自动化的参数优化方法使模型自动变得与受试者个体的解剖形态相似,需提供受试者的照片、体表扫描、医学影像一种或两种以上作为模型配准的目标对象;
根据所提供的受试者数据对象不同,分为基于受试者的照片的变形、基于体表扫描的变形和基于医学影像的变形,分别描述如下:
(1)受试者的照片配准的目的是通过二维图像的几何投影关系来确定模型在三维空间中的位置和形态,先将模型投影到照片的成像平面,并将模型的投影图像与每个视角的照片影像分别配准(如图2所示),得到每个视角的二维形变场,再把各角度的二维形变场反投影回三维空间,生成三维形变场,驱动模型产生三维变形,此过程反复迭代直至收敛;在配准的过程中,模型的变形分为两个部分:一是由骨关节转动造成的姿态变化,二是由身长、体重控制的身体外形轮廓变化,这两种变化分别对应不同的变形向量Vk;在配准过程中,将通过同时优化所有Vk的权重αk来实现配准,优化方法采用经典的多参数的Levenberg–Marquardt方法,实现模型投影区域与照片中的人体区域之间的最大面积重合比;
由于受试者的照片中没有内脏器官的显影,因此模型在变形过程中,内脏器官跟随体表外形发生变化;通过体表外形变化来带动内脏器官变形的方法是条件高斯模型;条件高斯模型是建立在大量的训练样本基础上的,需要分别对图像中的体表外形和内脏器官建立统计形状模型(参见上文中公式(1));设αA和αB分别代表体表和内脏器官的形状参数向量,当已知αA时,αB的条件高斯模型描述如公式如下:
其中,是条件高斯模型得到的内脏器官的形状参数的均值,CB|A是条件高斯模型得到的内脏器官的形状参数的协方差矩阵;αA和αB是每个训练样本的形状参数;CA,B和CB|A是αA和αB之间的互协方差矩阵;CA和CB是αA和αB在训练集中的协方差矩阵;P(αB|αA)是已知αA时,αB的条件高斯模型,N是指高斯分布。
基于此模型,当通过上述投影配准方法得到体表的形状系数之后αA,根据公式(2)计算内脏器官的形状系数再将带入公式(1)得到内脏器官模型的各顶点坐标,完成对内脏器官形态的估计;
(2)人体的体表扫描影像通过结构光扫描设备获取,影像的形式为三维空间中的表面点云;配准的目的是通过优化整个模型的变形,实现模型表面与扫描点云的配准;体表点云的配准借鉴成熟的点云配准方法,比如基于薄板样条插值的点云配准算法(Thin-Plate Spline Robust Point Matching,TPS-RPM),或多高斯混合模型的点云配准方法(Gaussian Mixed Model Registration,GMMREG)等。假设通过点云配准后得到的模型表面顶点坐标为X,根据公式(1),以通过解线性方程组的方法反求得到模型的形态特征参数αA,再根据公式(2)计算内脏器官的形状系数再将带入公式(1)得到内脏器官模型的各顶点坐标,完成对内脏器官形态的估计;图3展示了模型与人体表面点云的配准流程。
(3)医学影像,模型与医学影像的配准中所涉及的影像模式包括CT、MR和核医学影像(PET或SPECT)。在具体的配准过程中,先从图像中分割出高对比度的器官区域,模型与高对比度器官的分割结果相配准,借助已分割的高对比器官来配准低对比度器官,完成模型与三维图像之间的配准;图4展示了整个配准流程,具体实施步骤如下:
1)高对比度器官的自动分割:不同模式的三维影像具有不同的图像特征,应针对不同影像模式采取不同的器官分割方法;其中
CT图像中骨骼和肺部具有较高的对比度,器官的自动分割通过HU(CT数)阈值方法,再辅以形态学开闭运算来去除阈法得到的小块错误分割(如胃里的气泡或肠道中的高HU值食物)。
MRI图像具有较好的软组织对比度和较差的骨骼对比度;在实际图像中,内脏器官的灰度会因为所用射频序列的不同而产生较大差别,图像质量也会受成像参数、磁场强度、采集时间因素的影响,因此MRI图像的器官分割算法采用Graph Cuts方法,可以鲁棒性较好的分割结果。
PET和SPECT同属于核医学影像范畴,二者的共同特点是器官的对比度由示踪剂决定,这使得核医学影像的器官对比度具有较大不确定性;相比CT和MRI,核医学影像分辨率更差,像素的部分容积效应严重,器官边界难以确定;结合上述因素综合考虑采用局部均值分析法(local means analysis method,LMA)对器官进行自动分割,LMA方法具有很好的稳定性,并充分考虑了部分容积效应;
2)高对比度器官的模型配准:得到受试者影像高对比度器官的分割结果后,通过Marching Cubes算法将器官的分割区域转化为表面点云,然后借助成熟的点云配准方法,如基于薄板样条插值的点云配准算法(Thin-Plate Spline Robust Point Matching,TPS-RPM),或多高斯混合模型的点云配准方法(Gaussian Mixed Model Registration,GMMREG)等,将模型中的同名器官与受试者高对比度器官实现点云配准;
3)低对比度器官的模型配准:实现高对比度器官的配准后,得到高对比器官的个性化形状参数,进一步根据器官之间的相对位置关系来配准那些难以分割的低对比度器官,所使用的数学模型也是前面在外观照片配准方法中提到的条件高斯模型,这里针对低对比度器官的模型配准做具体描述:
CGM是建立在大量的训练样本基础上的,需要分别对图像中的高对比度和低对比度器官建立统计形状模型。统计形状模型将解剖结构的形状描述为一个平均形状加上一组形变分量的线性组合其中P是长度为3n向量,存储着模型表面上所有n个点的三维坐标,用来描述模型的三维形状;是所有训练样本的平均形状,V是3n×m矩阵,存储着m个形状变化分量,V可通过主分量分析从训练样本中提取;b是m维向量,代表模型的形状系数,通过改变b的各个元素值可以控制模型的形状变化;设bH和bL分别代表图像中高对比度器官和低对比度器官的形状系数,则二者之间的条件概率分布可以用CGM来描述:
其中和∑L|H分别为条件概率分布的均值和协方差矩阵,∑H和∑L分别为bH和bL的均值和协方差矩阵,∑L,H和∑H,L是bH和bL之间的互协方差矩阵。∑H,∑L,∑L,H和∑H,L的值可以通过训练样本集来求得。根据CGM的公式,当分割出高对比度器官时,可以通过统计形状模型拟合得到的bH,进而计算bL的条件分布均值和协方差,给出低对比度器官形状和位置的估计。对于不同器官之间的CGM通过可变形人体全身模型的训练样本集构建,之后根据不同的影像模式定义不同的高对比度与低对比度器官,并针对所选的高、低对比度器官训练相应的CGM。
其中对于CT,高对比度器官主要为骨骼和肺部;
对于MRI,需要根据实验来确定可以通过自动分割算法稳定地提取出来的器官部位;
对于PET和SPECT核医学影像,则需要对每种常用示踪剂选定独特的高、低对比度器官组合。
Claims (2)
1.一种可变形数字人解剖学模型的个性化变形方法,其特征在于,步骤如下:
第一步,为数字人体解剖模型赋予变形能力
可变形人体模型是指包含全身解剖结构的三维数字人体模型,与标准的数字人体模型不同,该可变形的人体模型具有改变自身的外观与内部解剖结构形态的能力,通过调节众多解剖学特征参数控制人体模型发生由内到外的解剖形态变化,使人体模型的外观和内脏器官形态变得类似个体人类;
可变形的数字人以一个标准的数字人体解剖模型为基础形态,通过对基础形态施加变形向量实现模型的变形;数字人体解剖模型采用三维网格曲面的方式表示,三维网格曲面的顶点坐标描述为X0=[x1,y1,z1,…,xi,yi,zi,…,xn,yn,zn]T,其中(xi,yi,zi)表示第i个顶点的三维坐标;数字人体解剖模型的变形是由多个形态特征参数控制的,每一个形态特征参数具有一套与之对应的变形向量;第k个特征的变形向量表示为Vk=[vk,1(x),vk,1(y),vk,1(z),…,vk,i(x),vk,i(y),vk,i(z),…,vk,n(x),vk,n(y),vk,n(z)]T,其中(vk,i(x),vk,i(y),vk,i(z))表示针对第i个顶点的位移向量;基于上述描述,数字人体解剖模型的变形方程描述为:
X=X0+∑kαkVk (1)
其中,X表示模型变形后的网格顶点坐标,αk为第k个形态特征参数所对应的变形幅度;αk的取值决定模型的变形结果,其值由用户人为调整,或由自动算法根据受试者的形态信息自动调整;数字人体解剖模型的基础形态X0采用已有的各种标准数字人体解剖模型,而各个形态参数的变形向量Vk则通过一定数量的真实人体解剖形态数据进行统计形状训练生成;
第二步,根据受试者的解剖形态特征引导模型变形
数字人体解剖模型的个性化变形通过手动调节或自动配准的方式来实现;
手动调节方法即指人为输入受试者个体的外观和内脏器官形态学参数,模型根据所输入的参数实现变形,变得与病人个体形态相似;
在第一步中,模型的变形幅度αk作为手动调节的参数,通过改变变形幅度αk对对应的人体解剖模型的可调控形态参数进行调整,达到控制模型变形的目的,通过目测变形的结果使模型变化到用户想要的形态;
自动配准是指通过自动化的参数优化方法使模型自动变得与受试者个体的解剖形态相似,需提供受试者的照片、体表扫描、医学影像一种或两种以上作为模型配准的目标对象;
根据所提供的受试者数据对象不同,分为基于受试者的照片的变形、基于体表扫描的变形和基于医学影像的变形,分别描述如下:
(1)受试者的照片配准是通过二维图像的几何投影关系来确定模型在三维空间中的位置和形态,先将模型投影到照片的成像平面,并将模型的投影图像与每个视角的照片影像分别配准,得到每个视角的二维形变场,再把各角度的二维形变场反投影回三维空间,生成三维形变场,驱动模型产生三维变形,此过程反复迭代直至收敛;在配准的过程中,模型的变形分为两个部分:一是由骨关节转动造成的姿态变化,二是由身长、体重控制的身体外形轮廓变化,这两种变化分别对应不同的变形向量Vk;在配准过程中,将通过同时优化所有Vk的权重αk来实现配准,优化方法采用经典的多参数的Levenberg–Marquardt方法,实现模型投影区域与照片中的人体区域之间的最大面积重合比;
由于受试者的照片中没有内脏器官的显影,因此模型在变形过程中,内脏器官跟随体表外形发生变化;通过体表外形变化来带动内脏器官变形的方法是条件高斯模型;条件高斯模型是建立在大量的训练样本基础上的,需要分别对图像中的体表外形和内脏器官建立统计形状模型;设αA和αB分别代表体表和内脏器官的形状参数向量,当已知αA时,αB的条件高斯模型描述如公式如下:
其中,是条件高斯模型得到的内脏器官的形状参数的均值,CB|A是条件高斯模型得到的内脏器官的形状参数的协方差矩阵;αA和αB是每个训练样本的形状参数;CA,B和CB|A是αA和αB之间的互协方差矩阵;CA和CB是αA和αB在训练集中的协方差矩阵;P(αB|αA)是已知αA时,αB的条件高斯模型,N是指高斯分布;
基于此模型,当通过上述投影配准方法得到体表的形状系数之后αA,根据公式(2)计算内脏器官的形状系数再将带入公式(1)得到内脏器官模型的各顶点坐标,完成对内脏器官形态的估计;
(2)人体的体表扫描影像通过结构光扫描设备获取,影像的形式为三维空间中的表面点云;配准是通过优化整个模型的变形,实现模型表面与扫描点云的配准;体表点云的配准借鉴成熟的点云配准方法;假设通过点云配准后得到的模型表面顶点坐标为X,根据公式(1),以通过解线性方程组的方法反求得到模型的形态特征参数αA,再根据公式(2)计算内脏器官的形状系数再将带入公式(1)得到内脏器官模型的各顶点坐标,完成对内脏器官形态的估计;
(3)医学影像,模型与医学影像的配准中所涉及的影像模式包括CT、MR和核医学影像;在具体的配准过程中,先从图像中分割出高对比度的器官区域,模型与高对比度器官的分割结果相配准,借助已分割的高对比器官来配准低对比度器官,完成模型与三维图像之间的配准;具体实施步骤如下:
1)高对比度器官的自动分割:不同模式的三维影像具有不同的图像特征,应针对不同影像模式采取不同的器官分割方法;其中
CT图像中骨骼和肺部具有较高的对比度,器官的自动分割通过HU阈值方法,再辅以形态学开闭运算来去除阈法得到的小块错误分割;
MRI图像的器官分割算法采用Graph Cuts方法;
PET和SPECT同属于核医学影像范畴,二者的共同特点是器官的对比度由示踪剂决定,这使得核医学影像的器官对比度具有较大不确定性;采用局部均值分析法对器官进行自动分割;
2)高对比度器官的模型配准:得到受试者影像高对比度器官的分割结果后,通过Marching Cubes算法将器官的分割区域转化为表面点云,然后借助成熟的点云配准方法,将模型中的同名器官与受试者高对比度器官实现点云配准;
3)低对比度器官的模型配准:实现高对比度器官的配准后,得到高对比器官的个性化形状参数,进一步根据器官之间的相对位置关系来配准那些难以分割的低对比度器官,所使用的数学模型也是前面在外观照片配准方法中提到的条件高斯模型,这里针对低对比度器官的模型配准做具体描述:
CGM是建立在大量的训练样本基础上的,需要分别对图像中的高对比度和低对比度器官建立统计形状模型;统计形状模型将解剖结构的形状描述为一个平均形状加上一组形变分量的线性组合其中P是长度为3n向量,存储着模型表面上所有n个点的三维坐标,用来描述模型的三维形状;是所有训练样本的平均形状,V是3n×m矩阵,存储着m个形状变化分量,V通过主分量分析从训练样本中提取;b是m维向量,代表模型的形状系数,通过改变b的各个元素值控制模型的形状变化;设bH和bL分别代表图像中高对比度器官和低对比度器官的形状系数,则二者之间的条件概率分布用CGM来描述:
其中,和∑L|H分别为条件概率分布的均值和协方差矩阵,和分别为bH和bL的均值和协方差矩阵,∑L,H和∑H,L是bH和bL之间的互协方差矩阵;和∑H,L的值通过训练样本集来求得;根据CGM的公式,当分割出高对比度器官时,通过统计形状模型拟合得到的bH,进而计算bL的条件分布均值和协方差,给出低对比度器官形状和位置的估计;对于不同器官之间的CGM通过可变形人体全身模型的训练样本集构建,之后根据不同的影像模式定义不同的高对比度与低对比度器官,并针对所选的高、低对比度器官训练相应的CGM;
其中对于CT,高对比度器官主要为骨骼和肺部;
对于MRI,需要根据实验来确定通过自动分割算法稳定地提取出来的器官部位;
对于PET和SPECT核医学影像,则需要对每种常用示踪剂选定独特的高、低对比度器官组合。
2.根据权利要求1所述的可变形数字人解剖学模型的个性化变形方法,其特征在于,针对Vk的统计形状训练方法做展开阐述:
假设一共采集了M个真实人体的形态样本,则第j个样本的形态表示为Xj=[xj,1,yj,1,zj,1,…,xj,i,yj,i,zj,i,…,xj,n,yj,n,zj,n]T,Xj中包含了体表和内部解剖结构网格曲面顶点,其中体表的网格曲面通过体表三维扫描获得,内部解剖结构的网格曲面需要先采集样本个体的断层医学影像,再对医学影像进行解剖结构分割并用提取表面网格;医学影像的分割方法采用卷积神经网络或图谱配准现有方法,解剖结构的表面网格提取采取移动立方体算法;基于M个真实人体形态向量,得到训练集的形态矩阵X=[X1,…,Xj,…,XM],基于X求协方差矩阵C=XXT,对C做特征向量分解,得到M个特征向量V1,…,Vk,…,VM,即是模型的变形向量,它们反映了从真实人体样本学习得到的、广大人群中的解剖结构形态个体差异变化模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910525919.5A CN110335358B (zh) | 2019-06-18 | 2019-06-18 | 可变形数字人解剖学模型的个性化变形方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910525919.5A CN110335358B (zh) | 2019-06-18 | 2019-06-18 | 可变形数字人解剖学模型的个性化变形方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110335358A true CN110335358A (zh) | 2019-10-15 |
CN110335358B CN110335358B (zh) | 2021-11-05 |
Family
ID=68142539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910525919.5A Active CN110335358B (zh) | 2019-06-18 | 2019-06-18 | 可变形数字人解剖学模型的个性化变形方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110335358B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110880366A (zh) * | 2019-12-03 | 2020-03-13 | 上海联影智能医疗科技有限公司 | 一种医学影像处理系统 |
CN111127488A (zh) * | 2019-12-29 | 2020-05-08 | 兰州理工大学 | 一种基于统计形状模型自动构建患者解剖结构模型的方法 |
CN111243413A (zh) * | 2020-03-06 | 2020-06-05 | 吉林大学 | 一种颜面部解剖教学的建模方法及教学系统 |
CN111583385A (zh) * | 2020-04-15 | 2020-08-25 | 滨州医学院 | 一种可变形数字人解剖学模型的个性化变形方法及系统 |
CN112070731A (zh) * | 2020-08-27 | 2020-12-11 | 佛山读图科技有限公司 | 应用人工智能引导人体模型图集与病例ct图像配准的方法 |
CN112598669A (zh) * | 2021-03-04 | 2021-04-02 | 之江实验室 | 一种基于数字人技术的肺叶分割方法 |
CN112669450A (zh) * | 2020-12-31 | 2021-04-16 | 武汉联影智融医疗科技有限公司 | 人体模型构建方法和个性化人体模型构建方法 |
CN112837426A (zh) * | 2019-11-25 | 2021-05-25 | 京东方科技集团股份有限公司 | 人体信息展示方法、装置、设备及计算机可读存储介质 |
WO2021104300A1 (zh) * | 2019-11-25 | 2021-06-03 | 京东方科技集团股份有限公司 | 健康管理系统以及用于其的人体信息显示方法和人体模型生成方法 |
CN113506333A (zh) * | 2021-09-09 | 2021-10-15 | 之江实验室 | 基于可变形图谱的医学影像配准网络训练数据集扩充方法 |
CN114155286A (zh) * | 2021-11-09 | 2022-03-08 | 大连理工大学 | 一种骨骼ct图像的解剖形态和材料力学特性模板库的个性化配准方法 |
CN114201098A (zh) * | 2021-12-06 | 2022-03-18 | 北京泽桥医疗科技股份有限公司 | 一种基于三维建模的医学教学课件生成方法、装置及设备 |
CN114913149A (zh) * | 2022-05-11 | 2022-08-16 | 盐城工学院 | 一种基于ct影像的头部可变形统计图谱构建方法 |
CN115798725A (zh) * | 2022-10-27 | 2023-03-14 | 佛山读图科技有限公司 | 用于核医学的带病灶人体仿真影像数据制作方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101882326A (zh) * | 2010-05-18 | 2010-11-10 | 广州市刑事科学技术研究所 | 基于中国人全面部结构形数据的三维颅面复原方法 |
CN102208117A (zh) * | 2011-05-04 | 2011-10-05 | 西安电子科技大学 | 脊椎的三维几何与有限元混合模型的构建方法 |
CN106952285A (zh) * | 2017-02-15 | 2017-07-14 | 上海交通大学 | 基于先验统计运动模型及自适应配准的肺部运动估计方法 |
CN107067393A (zh) * | 2017-04-14 | 2017-08-18 | 大连理工大学 | 一种基于用户交互和形状先验知识的三维医学图像分割方法 |
CN107993293A (zh) * | 2017-11-09 | 2018-05-04 | 大连理工大学 | 一种包含中国人群差异的三维可交互式解剖教学方法 |
-
2019
- 2019-06-18 CN CN201910525919.5A patent/CN110335358B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101882326A (zh) * | 2010-05-18 | 2010-11-10 | 广州市刑事科学技术研究所 | 基于中国人全面部结构形数据的三维颅面复原方法 |
CN102208117A (zh) * | 2011-05-04 | 2011-10-05 | 西安电子科技大学 | 脊椎的三维几何与有限元混合模型的构建方法 |
CN106952285A (zh) * | 2017-02-15 | 2017-07-14 | 上海交通大学 | 基于先验统计运动模型及自适应配准的肺部运动估计方法 |
CN107067393A (zh) * | 2017-04-14 | 2017-08-18 | 大连理工大学 | 一种基于用户交互和形状先验知识的三维医学图像分割方法 |
CN107993293A (zh) * | 2017-11-09 | 2018-05-04 | 大连理工大学 | 一种包含中国人群差异的三维可交互式解剖教学方法 |
Non-Patent Citations (2)
Title |
---|
屠睿博等: "基于随机森林算法的小鼠micro-CT影像中骨骼关节特征点定位", 《中国生物医学工程学报》 * |
王洪凯等: "机器学习算法诊断PET/CT纵膈淋巴结性能评估", 《浙江大学学报(工学版)》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837426A (zh) * | 2019-11-25 | 2021-05-25 | 京东方科技集团股份有限公司 | 人体信息展示方法、装置、设备及计算机可读存储介质 |
WO2021104300A1 (zh) * | 2019-11-25 | 2021-06-03 | 京东方科技集团股份有限公司 | 健康管理系统以及用于其的人体信息显示方法和人体模型生成方法 |
CN110880366B (zh) * | 2019-12-03 | 2022-10-25 | 上海联影智能医疗科技有限公司 | 一种医学影像处理系统 |
CN110880366A (zh) * | 2019-12-03 | 2020-03-13 | 上海联影智能医疗科技有限公司 | 一种医学影像处理系统 |
CN111127488A (zh) * | 2019-12-29 | 2020-05-08 | 兰州理工大学 | 一种基于统计形状模型自动构建患者解剖结构模型的方法 |
CN111243413A (zh) * | 2020-03-06 | 2020-06-05 | 吉林大学 | 一种颜面部解剖教学的建模方法及教学系统 |
CN111583385A (zh) * | 2020-04-15 | 2020-08-25 | 滨州医学院 | 一种可变形数字人解剖学模型的个性化变形方法及系统 |
CN111583385B (zh) * | 2020-04-15 | 2024-02-13 | 滨州医学院 | 一种可变形数字人解剖学模型的个性化变形方法及系统 |
CN112070731A (zh) * | 2020-08-27 | 2020-12-11 | 佛山读图科技有限公司 | 应用人工智能引导人体模型图集与病例ct图像配准的方法 |
CN112070731B (zh) * | 2020-08-27 | 2021-05-11 | 佛山读图科技有限公司 | 应用人工智能引导人体模型图集与病例ct图像配准的方法 |
CN112669450A (zh) * | 2020-12-31 | 2021-04-16 | 武汉联影智融医疗科技有限公司 | 人体模型构建方法和个性化人体模型构建方法 |
CN112669450B (zh) * | 2020-12-31 | 2024-02-27 | 武汉联影智融医疗科技有限公司 | 人体模型构建方法和个性化人体模型构建方法 |
CN112598669A (zh) * | 2021-03-04 | 2021-04-02 | 之江实验室 | 一种基于数字人技术的肺叶分割方法 |
CN112598669B (zh) * | 2021-03-04 | 2021-06-01 | 之江实验室 | 一种基于数字人技术的肺叶分割方法 |
CN113506333A (zh) * | 2021-09-09 | 2021-10-15 | 之江实验室 | 基于可变形图谱的医学影像配准网络训练数据集扩充方法 |
CN114155286B (zh) * | 2021-11-09 | 2022-05-10 | 大连理工大学 | 一种骨骼ct图像的解剖形态和材料力学特性模板库的个性化配准方法 |
CN114155286A (zh) * | 2021-11-09 | 2022-03-08 | 大连理工大学 | 一种骨骼ct图像的解剖形态和材料力学特性模板库的个性化配准方法 |
CN114201098A (zh) * | 2021-12-06 | 2022-03-18 | 北京泽桥医疗科技股份有限公司 | 一种基于三维建模的医学教学课件生成方法、装置及设备 |
CN114913149A (zh) * | 2022-05-11 | 2022-08-16 | 盐城工学院 | 一种基于ct影像的头部可变形统计图谱构建方法 |
CN114913149B (zh) * | 2022-05-11 | 2023-03-10 | 盐城工学院 | 一种基于ct影像的头部可变形统计图谱构建方法 |
CN115798725A (zh) * | 2022-10-27 | 2023-03-14 | 佛山读图科技有限公司 | 用于核医学的带病灶人体仿真影像数据制作方法 |
CN115798725B (zh) * | 2022-10-27 | 2024-03-26 | 佛山读图科技有限公司 | 用于核医学的带病灶人体仿真影像数据制作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110335358B (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110335358A (zh) | 可变形数字人解剖学模型的个性化变形方法 | |
CN104851123B (zh) | 一种三维人脸变化模拟方法 | |
Hill et al. | A strategy for automated multimodality image registration incorporating anatomical knowledge and imager characteristics | |
CN106164978B (zh) | 使用参数化可变形网状物来构造个性化具体化的方法和系统 | |
Segars et al. | Modeling respiratory mechanics in the MCAT and spline-based MCAT phantoms | |
CN103229210B (zh) | 图像配准装置 | |
CN104240287B (zh) | 一种利用ct图像生成冠脉全景图的方法及系统 | |
CN110047128A (zh) | 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统 | |
CN110459301A (zh) | 基于热力图和面部关键点的脑部神经外科导航配准方法 | |
CN110189352A (zh) | 一种基于口腔cbct图像的牙根提取方法 | |
WO2009093146A1 (en) | Interactive image segmentation | |
CN103310458A (zh) | 结合凸包匹配和多尺度分级策略的医学图像弹性配准方法 | |
CN106548476B (zh) | 利用医学图像统计肺部三维特征形状方法 | |
CN106960439B (zh) | 一种脊椎骨识别装置及方法 | |
CN107945169A (zh) | 一种冠状动脉影像分析方法及数据结构 | |
CN107680110A (zh) | 基于统计形状模型的内耳三维水平集分割方法 | |
CN106846330A (zh) | 人体肝脏特征建模及血管模型空间归一方法 | |
CN107993293A (zh) | 一种包含中国人群差异的三维可交互式解剖教学方法 | |
Wang et al. | Deformable torso phantoms of Chinese adults for personalized anatomy modelling | |
Levine et al. | Mesh processing in medical-image analysis—a tutorial | |
Zhu et al. | A virtual ultrasound imaging system for the simulation of ultrasound-guided needle insertion procedures | |
CN109741439A (zh) | 一种二维mri胎儿图像的三维重建方法 | |
Cameron et al. | Patient-Specific Anatomic Models-Geometric Surface Generation from Three-Dimensional Medical Images Using a Specified Polygonal Budget | |
KR101657285B1 (ko) | 초음파 치료 시뮬레이션시스템 | |
Huesman et al. | Deformable registration of multimodal data including rigid structures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |