CN105631931A - 一种低复杂度的心脏表面三维形态在线建模系统及方法 - Google Patents

一种低复杂度的心脏表面三维形态在线建模系统及方法 Download PDF

Info

Publication number
CN105631931A
CN105631931A CN201510965184.XA CN201510965184A CN105631931A CN 105631931 A CN105631931 A CN 105631931A CN 201510965184 A CN201510965184 A CN 201510965184A CN 105631931 A CN105631931 A CN 105631931A
Authority
CN
China
Prior art keywords
dimensional
heart
historical
target area
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510965184.XA
Other languages
English (en)
Other versions
CN105631931B (zh
Inventor
杨波
郑文锋
刘珊
谢建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510965184.XA priority Critical patent/CN105631931B/zh
Publication of CN105631931A publication Critical patent/CN105631931A/zh
Application granted granted Critical
Publication of CN105631931B publication Critical patent/CN105631931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种低复杂度的心脏表面三维形态在线建模系统及方法,包括如下步骤:A、通过立体视觉匹配从跳动心脏表面的历史影像数据中,获得目标区域的三维历史形态数据;B、对三维历史形态数据进行空间相对坐标处理和时域零均值化处理;C、对处理后的三维历史形态数据进行主成分分析,提取出若干个主分量;D、利用提取的主分量建立低复杂度形态模型,从当前获取的心脏表面立体影像中通过立体视觉匹配确定该模型参数,从而确定心脏表面目标区域当前的三维形态;通过本发明的系统能够在心胸微创手术中对患者心脏表面目标区域的三维形态进行快速、准确的三维重构,给医生提供直观、准确的三维形态信息,辅助医生更好的完成手术操作。

Description

一种低复杂度的心脏表面三维形态在线建模系统及方法
技术领域
本发明属于光通信技术领域,更为具体地讲,涉及一种低复杂度的心脏表面三维形态在线建模系统及方法。
背景技术
近年来,以内窥镜手术为代表的微创手术技术越来越多的应用于心脏外科手术。在这类手术中,医生通过观察探入患者体内的内窥镜反馈回的实时影像,操控微创手术器械完成复杂的心脏外科手术。
以脱泵冠脉搭桥术(offpumpCABG)为例,这种心脏不停跳的手术可使患者摆脱人工心肺机,从而降低了体外循环对患者身体的损害,降低并发症的风险,缩短患者的康复时间。但是由于直接视觉的缺失,手术医生无法准确、直观的感知跳动心脏表面目标区域的三维形态,给完成复杂精细的手术操作带来困难。手术医生需通过长期专业的训练,才能顺利完成这类心脏外科微创手术,对患者而言则意味着巨额的医疗费用和较大的手术风险。
为了给手术医生提供实时、准确的三维形态信息,国外学者尝试利用各种传感器对心脏表面三维形态进行重构。由于微创手术空间狭小,无法植入大型三维扫描设备,并且心跳运动频率高、心脏表面软组织形变复杂,心脏表面三维形态重构成为医学工程领域中的难点。因此,不需要额外设备接口,基于立体内窥镜的心脏表面三维形态检测方法逐渐受到科研和临床界的重视。基于立体内窥镜获取的双目图像数据,利用立体视觉匹配技术可以重构心脏表面目标区域的三维形态。为此,国内外研究人员应用多种经典的空间形变模型对心脏表面进行三维重构。如T.Ortmaier等在文献《Motionestimationinbeatingheartsurgery》中使用的仿射变换模型,W.Lau等在文献《Stereo-basedendoscopictrackingofcardiacsurfacedeformation》中使用的B样条模型,D.Stoyanov,等在文献《Apracticalapproachtowardsaccuratedense3-Ddepthrecoveryforroboticlaparoscopicsurgery》中使用的分片双线性映射模型,以及R.Richa等在文献《Three-dimensionalmotiontrackingforbeatingheartsurgeryusingathin-platesplinedeformablemodel》中使用的薄板样条模型等。但是,上述方法中所采用的形变模型为通用性模型,并非针对特定心脏表面而设计。这些模型在描述和表示心脏表面三维形态时,均存在实时性与准确性之间的矛盾。仿射变换模型,复杂度较低、实时性好,但模型过于简单,无法准确表征心脏表面特有的三维形态。分片双线性映、B样条和薄板样条模型,可以通过大量控制点,精确刻画心脏表面三维形态,但模型过于复杂,无法满足实时性要求。由于心跳运动的准周期性,心脏表面目标区域在不同时刻的三维形态具有一定规律性。而上述模型均未能有效的利用这些心脏运动特性和统计规律,降低模型复杂度。
发明内容
本发明的目的在于克服现有技术的不足,提供一种低复杂度的心脏表面三维形态在线建模系统及方法,通过提取待建模心脏表面目标区域的三维形态历史数据的主分量,建立新的适应该心脏表面形态特性和运动规律的低复杂度的线性最优的形态模型,实现对心脏表面目标区域快速、准确的三维重建。
为实现上述发明目的,本发明一种低复杂度的心脏表面三维形态在线建模方法,其特征在于,包括以下步骤:
(1)、利用立体内窥镜视觉采集设备获取跳动心脏表面的多帧影像图像,并传输保存在历史影像数据中;
(2)、依次处理历史影像数据中的每一帧影像图像,通过立体视觉匹配法获取每一帧影像图像中心脏表面目标区域的三维历史形态数据;
(3)、分别处理步骤(2)中所有的三维历史形态数据,获得不同时刻心脏表面目标区域各点相对其中心点的空间三维坐标,再空间三维坐标进行时域零均值化处理;
(4)、提取步骤(3)中处理完成后的三维历史形态数据的主分量;
(5)、利用提取的主分量建立低复杂度形态模型,再从当前获取的立体影像中,通过立体视觉匹配法确定该模型的参数,从而确定心脏表面目标区域当前的三维形态。
其中,所述步骤(3)中,处理三维历史形态数据的具体步骤为:
(2.1)、设历史影像数据中共有K帧影像图像,每帧影像图像中心脏表面目标区域共有N个目标点;
(2.2)、获取每帧影像图像中心脏表面目标区域各点相对其中心点的空间三维坐标,具体计算方程为:
p n ′ ( k ) = p n ( k ) - p 0 ( k )
其中,为目标区域中心点在第k(k=1,2,...,K)帧时的三维坐标列向量,为心脏表面目标区域第n(n=1,2,...,N)个点在第k帧中的三维坐标列向量,为该点在第k帧中相对中心点的空间三维坐标列向量;
(2.3)、对所有帧的心脏表面目标区域各点的空间三维坐标列向量进行时域零均值化处理,具体计算方程为:
p n ′ ′ ( k ) = p n ′ ( k ) - p ‾ n ′
其中,为心脏表面目标区域第n个点在第k帧零均值化处理后的空间三维坐标列向量,为心脏表面目标区域第n个点在第k帧中相对其中心点的三维坐标平均值列向量,即
p ‾ n ′ = 1 K Σ k = 1 K p n ′ ( k ) .
所述步骤(4)中,主分量的提取方法为:
(3.1)、利用步骤(3)处理后的空间三维坐标列向量构造历史数据矩阵P;
其中,P为所构造的3N×K维的历史数据矩阵,N为心脏表面目标区域的总点数,K为影像图像总帧数;
(3.2)、对构造历史数据矩阵P进行奇异值分解,其分解结果可表示为:
P=UΛVT
其中,U是3N×3N的正交矩阵;Λ是3N×K的对角矩阵,Λ的对角线元素(即矩阵P的奇异值)按由大到小顺序排列:a11≥a22≥...≥a3N3N≥0,其它非对角线元素值为零;V是K×K的正交矩阵;
(3.3)、提取历史数据矩阵P的主分量;设Λ中前M个奇异值的数值大于预设的阈值,则提取正交矩阵U中的前M个列向量u1,u2,...,uM为主分量。
所述步骤(5)中,确定出心脏表面目标区域当前三维形态的方法为:
(4.1)、利用步骤(4)提取的主分量和心脏表面目标区域中心点的三维坐标构建低复杂度模型,具体模型方程为
p = f ( w 1 , w 2 , ... , w M , x , y , z ) = w 1 u 1 + w 2 u 2 + ... + w M u M + xi 1 + yi 2 + zi 3 + p ‾ ′
其中,i1是由N个三维单位列向量 1 0 0 纵向排列构成的3N维的列向量,i2是由N个 0 1 0 纵向排列构成的3N维的列向量,i3是由N个 0 0 1 纵向排列构成的3N维的列向量; p ‾ ′ = p ‾ 1 ′ p ‾ 2 ′ . . . p ‾ N ′ 是步骤(2.3)中N个心脏表面目标区域点的三维坐标平均值纵向排列构成的3N维列向量;w1,w2,...,wM为各主分量的加权系数,x,y,z为目标区域中心点的空间三维坐标; p = p 1 p 2 . . . p N 为3N维的输出列向量,其包含了心脏表面目标区域N个点的三维坐标值,可以表征目标区域当前的三维形态;
(4.2)、按照步骤(1)所述的方法获取跳动心脏表面的当前影像图像;
(4.3)、对当前影像图像进行立体视觉匹配,确定出参数w1,w2,...,wM和x,y,z,再其代入到步骤(4.1)所述的模型方程,从而确定心脏表面目标区域当前的三维形态。
进一步的,本发明还提供一种低复杂度的心脏表面三维形态在线建模系统,其特征在于,包括:
一视觉数据采集设备,包括立体内窥镜镜体、连接光纤和数字相机;用于获取跳动心脏表面的影像图像,并将采集的影像图像保存在历史影像数据中;
一数据处理设备,主要包括:三维历史形态检测模块、三维历史形态数据处理模块、主成分分析模块、低复杂度建模模块和三维形态渲染模块;用于对采集到的影像图像进行三维历史形态检测、三维历史形态数据处理、主成分分析、低复杂度建模计算和三维形态渲染;
其中,所述的三维历史形态检测模块,通过立体视觉匹配从多帧的历史影像图像中,获得心脏表面目标区域的三维历史形态数据;
所述的三维历史形态数据处理模块,用于获得不同时刻心脏表面目标区域点相对其中心点的空间三维坐标,并对各点的三维坐标进行时域零均值化处理;
所述的主成分分析模块,用于构造三维坐标数据矩阵,并对其进行主分量分析和提取;
所述的低复杂度建模模块,利用提取的主分量和中心点三维坐标建立低复杂度形态模型,基于当前获取的影像图像通过立体视觉匹配确定该模型的参数,从而获得心脏表面目标区域当前时刻的空间三维坐标数据;
所述的三维形态渲染模块,基于获取的空间三维坐标数据,应用计算机三维图形呈现目标区域的三维形态,并通过显卡驱动图形显示设备;
一图形显示设备,用于显示目标区域的三维形态,供手术医生查看。
本发明的发明目的是这样实现的:
本发明一种低复杂度的心脏表面三维形态在线建模方法,包括如下步骤:A、通过立体视觉匹配从跳动心脏表面的历史影像数据中,获得目标区域的三维历史形态数据;B、对三维历史形态数据进行空间相对坐标处理和时域零均值化处理;C、对处理后的三维历史形态数据进行主成分分析,提取出若干个主分量;D、利用提取的主分量建立低复杂度形态模型,从当前获取的心脏表面立体影像中通过立体视觉匹配确定该模型参数,从而确定心脏表面目标区域当前的三维形态;另外,本发明还公开了一种低复杂度的心脏表面三维形态在线建模系统,通过该系统能够在心胸微创手术中对患者心脏表面目标区域的三维形态进行快速、准确的三维重构,给医生提供直观、准确的三维形态信息,辅助医生更好的完成手术操作。
同时,本发明一种低复杂度的心脏表面三维形态在线建模系统及方法还具有以下有益效果:
(1)、充分利用心跳运动的准周期性和特定心脏表面的形态特性,从待建模心脏表面的三维形态历史数据中提取主分量,对该心脏表面三维形态进行在线建模,用较少的模型参数快速、准确的重构心脏表面当前的三维形态,为手术医生提供直观、准确的手术区域三维形态信息。
(2)、利用主分量建立的低复杂度模型是最小平方误差意义下对该目标区域线性最优的模型,它能够以最少的模型参数最大程度的反映和刻画该目标区域的三维形态,解决了实时性和准确性之间的矛盾。
(3)、本发明中模型的复杂度可控可调,可根据实际应用中的实时性和准确性需求在线调整所提取的主分量的个数M,以控制和调节模型复杂度。
附图说明
图1是本发明一种低复杂度的心脏表面三维形态在线建模系统的结构示意图;
图2是图1所示的数据处理设备中各子模块示意图;
图3是本发明一种低复杂度的心脏表面三维形态在线建模方法的流程示意图;
图4是利用本发明方法重建的某心脏表面目标区域在某时刻的三维形态图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是本发明一种低复杂度的心脏表面三维形态在线建模系统的结构示意图。
在本实施例中,如图1所示,本发明一种低复杂度的心脏表面三维形态在线建模系统,包括:视觉数据采集设备1、数据处理设备2和图形显示设备3。
视觉数据采集设备1,包括立体内窥镜镜体10、连接光纤11和数字相机12;用于获取跳动心脏表面的影像图像,并将采集的影像图像保存在历史影像数据中;
在本实施例中,如图2所示,数据处理设备2,主要包括:三维历史形态检测模块20、三维历史形态数据处理模块21、主成分分析模块22、低复杂度建模模块23和三维形态渲染模块24;用于对采集到的影像图像进行三维历史形态检测、三维历史形态数据处理、主成分分析、低复杂度建模计算和三维形态渲染。
下面结合图2,对数据处理设备2中各个模块的功能进行详细描述。
三维历史形态检测模块20,通过立体视觉匹配从多帧的历史影像图像中,获得心脏表面目标区域的三维历史形态数据;
三维历史形态数据处理模块21,用于获得不同时刻心脏表面目标区域点相对其中心点的空间三维坐标,并对各点的三维坐标进行时域零均值化处理;
主成分分析模块22,用于构造三维坐标数据矩阵,并对其进行主成分分析,提取少量的主分量;
低复杂度建模模块23,利用提取的主分量和中心点三维坐标建立低复杂度形态模型,基于当前获取的影像图像通过立体视觉匹配确定该模型的参数,从而获得心脏表面目标区域当前时刻的空间三维坐标数据;
三维形态渲染模块24,基于获取的空间三维坐标数据,应用计算机三维图形呈现目标区域的三维形态,并通过显卡驱动图形显示设备;
图形显示设备3,用于显示目标区域的三维形态,供手术医生查看。在本实施例中,图形显示设备3可以采用液晶显示屏。
下面结合上述所建立的系统,对本发明一种低复杂度的跳动心脏表面三维形态在线建模方法进行详细说明,如图3所示,其具体包括以下步骤:
S1、利用立体内窥镜视觉采集设备获取跳动心脏表面的多帧影像图像,并传输保存在历史影像数据中;在本实施例中,采集了K=1000帧(时长40秒,帧率25赫兹)的影像图像。
S2、依次处理历史影像数据中的每一帧影像图像,通过立体视觉匹配法获取每一帧影像图像中心脏表面目标区域的三维历史形态数据;在本实施例中,设目标区域点个数N=100;立体视觉匹配法可以采用:R.Richa等在文献《Three-dimensionalmotiontrackingforbeatingheartsurgeryusingathin-platesplinedeformablemodel》中使用的基于薄板样条模型的立体视觉匹配方法。
S3、分别处理步骤S2中所有的三维历史形态数据,获得不同时刻心脏表面目标区域各点相对其中心点的空间三维坐标,再空间三维坐标进行时域零均值化处理;
具体步骤为:
S3.1、设历史影像数据中共有K=1000帧影像图像,每帧影像图像中心脏表面目标区域共有N=100个目标点;
S3.2)、获取每帧影像图像中心脏表面目标区域各点相对其中心点的空间三维坐标,具体计算方程为:
p n ′ ( k ) = p n ( k ) - p 0 ( k )
其中,为目标区域中心点在第k(k=1,2,...,K)帧时的三维坐标列向量,为心脏表面目标区域第n(n=1,2,...,N)个点在第k帧中的三维坐标列向量,为该点在第k帧中相对中心点的空间三维坐标列向量;
S3.3)、对所有帧的心脏表面目标区域各点的空间三维坐标列向量进行时域零均值化处理,具体计算方程为:
p n ′ ′ ( k ) = p n ′ ( k ) - p ‾ n ′
其中,为心脏表面目标区域第n个点在第k帧零均值化处理后的空间三维坐标列向量,为心脏表面目标区域第n个点在第k帧中相对其中心点的三维坐标平均值列向量,即
p ‾ n ′ = 1 K Σ k = 1 K p n ′ ( k ) .
S4、提取步骤S3中处理完成后的三维历史形态数据的主分量;其中,主分量的具体提取方法为:
S4.1)、利用步骤S3处理后的空间三维坐标列向量构造历史数据矩阵P;
其中,P为所构造的3N×K维的历史数据矩阵,N为心脏表面目标区域的总点数,K为影像图像总帧数;
S4.2)、对构造历史数据矩阵P进行奇异值分解,其分解结果可表示为:
P=UΛVT
其中,U是3N×3N的正交矩阵;Λ是3N×K的对角矩阵,Λ的对角线元素(即矩阵P的奇异值)按由大到小顺序排列:a11≥a22≥...≥a3N3N≥0,其它非对角线元素值为零;V是K×K的正交矩阵;由于心跳运动的准周期性,P矩阵中各列向量之间存在较强的相关性,因此,矩阵奇异值a11,a22,...,a3N3N中仅有排在最前的少数几个值较大,其它值接近零;
S4.3)、提取历史数据矩阵P的主分量;设Λ中前M个奇异值的数值大于预设的阈值,则提取正交矩阵U中的前M个列向量u1,u2,...,uM为主分量。
S5、利用提取的主分量建立低复杂度形态模型,再从当前获取的影像图像中,通过立体视觉匹配法确定该模型的参数,从而确定心脏表面目标区域当前的三维形态;
其中,确定出心脏表面目标区域当前三维形态的具体方法为:
S5.1、利用步骤S4提取的主分量和心脏表面目标区域中心点的三维坐标构建低复杂度模型,具体模型方程为
p = f ( w 1 , w 2 , ... , w M , x , y , z ) = w 1 u 1 + w 2 u 2 + ... + w M u M + xi 1 + yi 2 + zi 3 + p ‾ ′
其中,i1是由N个三维单位列向量 1 0 0 纵向排列构成的3N维的列向量,i2是由N个 0 1 0 纵向排列构成的3N维的列向量,i3是由N个 0 0 1 纵向排列构成的3N维的列向量; p ‾ ′ = p ‾ 1 ′ p ‾ 2 ′ . . . p ‾ N ′ 是步骤S3.3中N个心脏表面目标区域点的三维坐标平均值纵向排列构成的3N维列向量;w1,w2,...,wM为各主分量的加权系数,x,y,z为目标区域中心点的空间三维坐标; p = p 1 p 2 . . . p N 为3N维的输出列向量,其包含了心脏表面目标区域N个点的三维坐标值,可以表征目标区域当前的三维形态;
S5.2、按照步骤S1所述的方法获取跳动心脏表面的当前影像图像;
S5.3、对当前影像图像进行立体视觉匹配,确定出参数w1,w2,...,wM和x,y,z,再其代入到步骤S5.1所述的模型方程,从而确定心脏表面目标区域当前的三维形态。
图4是利用本发明方法重建的某心脏表面目标区域在某时刻的三维形态图。
在本实施例中,如图4所示,三维历史形态检测模块采集了K=1000帧(时长40秒,帧率25赫兹)的历史影像图像,且目标区域点个数N=100,构造出大小为300×1000的三维历史数据矩阵P,经主成分分析从中提取出M=10个主分量u1,u2,...,u10,根据当前获取的立体图像对确定的模型参数分别为:
w1=0.124,w2=0.823,w3=-0.214,w4=0.452,w5=-1.233,
w6=0.877,w7=-0.223,w8=0.437,w9=-0.323,w10=0.523
x=4.14,y=-1.22,z=-41.11。
将上述参数代入模型方程
p = f ( w 1 , w 2 , ... , w 10 , x , y , z ) = w 1 u 1 + w 2 u 2 + ... + w 10 u 10 + xi 1 + yi 2 + zi 3 + p ‾
获得目标区域N个点当前的三维坐标数据;在计算机三维坐标系中,应用这些坐标数据控制计算机三维网格,并叠加目标区域的图像像素信息,得到如图4所示三维形态图。
综上所述,本发明提供的一种低复杂度的心脏表面三维形态在线建模系统及方法,它充分利用了心跳运动的准周期性,从待建模心脏表面目标区域的三维形态历史数据中提取出可以最大程度的反映该心脏表面目标区域运动特性和形态特征的主分量,利用这些主分量建立低复杂度的模型;该模型可以实时、准确的重构心脏目标区域当前的三维形态;通过三维形态渲染软件模块和显卡、显示器等硬件设备,为执行心脏微创手术的医生提供患者心脏表面手术区域直观、准确的三维形态信息,辅助医生更好的完成手术。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种低复杂度的心脏表面三维形态在线建模方法,其特征在于,包括以下步骤:
(1)、利用立体内窥镜视觉采集设备获取跳动心脏表面的多帧影像图像,并传输保存在历史影像数据中;
(2)、依次处理历史影像数据中的每一帧影像图像,通过立体视觉匹配法获取每一帧影像图像中心脏表面目标区域的三维历史形态数据;
(3)、分别处理步骤(2)中所有的三维历史形态数据,获得不同时刻心脏表面目标区域各点相对其中心点的空间三维坐标,再空间三维坐标进行时域零均值化处理;
(4)、提取步骤(2)中处理完成后的三维历史形态数据的主分量;
(5)、利用提取的主分量建立低复杂度形态模型,再从当前获取的立体影像中,通过立体视觉匹配法确定该模型的参数,从而确定心脏表面目标区域当前的三维形态。
2.根据权利要求1所述的一种低复杂度的心脏表面三维形态在线建模方法,其特征在于,所述步骤(3)中,处理三维历史形态数据的具体步骤为:
(2.1)、设历史影像数据中共有K帧影像图像,每帧影像图像中心脏表面目标区域共有N个目标点;
(2.2)、获取每帧影像图像中心脏表面目标区域各点相对其中心点的空间三维坐标,具体计算方程为:
p n ′ ( k ) = p n ( k ) - p 0 ( k )
其中,为目标区域中心点在第k(k=1,2,…,K)帧时的三维坐标列向量,为心脏表面目标区域第n(n=1,2,…,N)个点在在第k帧中的三维坐标列向量,为该点在第k帧中相对中心点的空间三维坐标列向量;
(2.3)、对所有帧的心脏表面目标区域各点的空间三维坐标列向量进行时域零均值化处理,具体计算方程为:
p n ′ ′ ( k ) = p n ′ ( k ) - p ‾ n ′
其中,为心脏表面目标区域第n个点在第k帧零均值化处理后的空间三维坐标列向量,为心脏表面目标区域第n个点在第k帧中相对其中心点的三维坐标平均值列向量,即
p ‾ n ′ = 1 K Σ k = 1 K p n ′ ( k ) .
3.根据权利要求1所述的一种低复杂度的心脏表面三维形态在线建模方法,其特征在于,所述步骤(3)中,主分量的提取方法为:
(3.1)、利用步骤(3)处理后的空间三维坐标列向量构造历史数据矩阵P;
其中,P为所构造的3N×K维的历史数据矩阵,N为心脏表面目标区域的总点数,K为影像图像总帧数;
(3.2)、对构造历史数据矩阵P进行奇异值分解,其分解结果可表示为:
P=UΛVT
其中,U是3N×3N的正交矩阵;Λ是3N×K的对角矩阵,Λ的对角线元素(即矩阵P的奇异值)按由大到小顺序排列:a11≥a22≥...≥a3N3N≥0,其它非对角线元素值为零;V是K×K的正交矩阵;
(3.3)、提取历史数据矩阵P的主分量;设Λ中前M个奇异值的数值大于预设的阈值,则提取正交矩阵U中的前M个列向量u1,u2,...,uM为主分量。
4.根据权利要求1所述的一种低复杂度的跳动心脏表面三维形态在线建模方法,其特征在于,所述步骤(5)中,确定出心脏表面目标区域当前三维形态的方法为:
(4.1)、利用步骤(4)提取的主分量和心脏表面目标区域中心点的三维坐标构建低复杂度模型,具体模型方程为
p = f ( w 1 , w 2 , ... , w M , x , y , z ) = w 1 u 1 + w 2 u 2 + ... + w M u M + xi 1 + yi 2 + zi 3 + p ‾ ′
其中,i1是由N个三维单位列向量 1 0 0 纵向排列构成的3N维的列向量,i2是由N个 0 1 0 纵向排列构成的3N维的列向量,i3是由N个 0 0 1 纵向排列构成的3N维的列向量; p ‾ ′ = p ‾ 1 ′ p ‾ 2 ′ · · · p ‾ N ′ 是步骤(2.3)中N个心脏表面目标区域点的三维坐标平均值纵向排列构成的3N维列向量;w1,w2,...,wM为各主分量的加权系数,x,y,z为目标区域中心点的空间三维坐标; p = p 1 p 2 · · · p N 为3N维的输出列向量,其包含了心脏表面目标区域N个点的三维坐标值,可以表征目标区域当前的三维形态;
(4.2)、按照步骤(1)所述的方法获取跳动心脏表面的当前影像图像;
(4.3)、对当前影像图像进行立体视觉匹配,确定出参数w1,w2,...,wM和x,y,z,再其代入到步骤(4.1)所述的模型方程方程,从而确定心脏表面目标区域当前的三维形态。
5.一种低复杂度的心脏表面三维形态在线建模系统,其特征在于,包括:
一视觉数据采集设备,包括立体内窥镜镜体、连接光纤和数字相机;用于获取跳动心脏表面的影像图像,并将采集的影像图像保存在历史影像数据中;
一数据处理设备,主要包括:三维历史形态检测模块、三维历史形态数据处理模块、主成分分析模块、低复杂度建模模块和三维形态渲染模块;用于对采集到的影像图像进行三维历史形态检测、三维历史形态数据处理、主成分分析、低复杂度建模计算和三维形态渲染;
其中,所述的三维历史形态检测模块,通过立体视觉匹配从多帧的历史影像图像中,获得心脏表面目标区域的三维历史形态数据;
所述的三维历史形态数据处理模块,用于获得不同时刻心脏表面目标区域点相对其中心点的空间三维坐标,并对各点的三维坐标进行时域零均值化处理;
所述的主成分分析模块,用于构造三维坐标数据矩阵,并对其进行主分量分析和提取;
所述的低复杂度建模模块,利用提取的主分量和中心点三维坐标建立低复杂度形态模型,基于当前获取的影像图像通过立体视觉匹配确定该模型的参数,从而获得心脏表面目标区域当前时刻的空间三维坐标数据;
所述的三维形态渲染模块,基于获取的空间三维坐标数据,应用计算机三维图形呈现目标区域的三维形态,并通过显卡驱动图形显示设备;
一图形显示设备,用于显示目标区域的三维形态,供手术医生查看。
CN201510965184.XA 2015-12-21 2015-12-21 一种低复杂度的心脏表面三维形态在线建模系统及方法 Active CN105631931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510965184.XA CN105631931B (zh) 2015-12-21 2015-12-21 一种低复杂度的心脏表面三维形态在线建模系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510965184.XA CN105631931B (zh) 2015-12-21 2015-12-21 一种低复杂度的心脏表面三维形态在线建模系统及方法

Publications (2)

Publication Number Publication Date
CN105631931A true CN105631931A (zh) 2016-06-01
CN105631931B CN105631931B (zh) 2018-05-04

Family

ID=56046813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510965184.XA Active CN105631931B (zh) 2015-12-21 2015-12-21 一种低复杂度的心脏表面三维形态在线建模系统及方法

Country Status (1)

Country Link
CN (1) CN105631931B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909653A (zh) * 2017-11-15 2018-04-13 电子科技大学 一种基于稀疏主成分分析的心脏软组织三维重建方法
EP3326527A1 (en) * 2016-11-23 2018-05-30 TTY-säätiö sr Method and arrangement for electromagnetic radiation based non-invasive monitoring of a performance of an anatomic object during an operation or medical intervention
CN109961508A (zh) * 2019-03-25 2019-07-02 东南大学 一种心脏静态三维模型重建方法
CN111080778A (zh) * 2019-12-23 2020-04-28 电子科技大学 一种双目内窥镜软组织图像的在线三维重建方法
CN116958456A (zh) * 2023-09-21 2023-10-27 天津市胸科医院 基于图像配准的心脏三维模型构建方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001016886A2 (en) * 1999-08-27 2001-03-08 Isis Innovation Limited Non-rigid motion image analysis
CN101448453A (zh) * 2006-05-17 2009-06-03 圣朱德医疗有限公司房颤分公司 使用多表面模型的解剖体复杂几何结构建模的系统和方法
US20100310140A1 (en) * 2009-06-09 2010-12-09 Siemens Corporation Method of compensation of respiratory motion in cardiac imaging
US20130101187A1 (en) * 2011-09-28 2013-04-25 Siemens Corporation Coronary artery motion modeling
CN103729875A (zh) * 2013-12-09 2014-04-16 深圳先进技术研究院 心脏磁共振图像的左心室三维轮廓重建方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001016886A2 (en) * 1999-08-27 2001-03-08 Isis Innovation Limited Non-rigid motion image analysis
CN101448453A (zh) * 2006-05-17 2009-06-03 圣朱德医疗有限公司房颤分公司 使用多表面模型的解剖体复杂几何结构建模的系统和方法
US20100310140A1 (en) * 2009-06-09 2010-12-09 Siemens Corporation Method of compensation of respiratory motion in cardiac imaging
US20130101187A1 (en) * 2011-09-28 2013-04-25 Siemens Corporation Coronary artery motion modeling
CN103729875A (zh) * 2013-12-09 2014-04-16 深圳先进技术研究院 心脏磁共振图像的左心室三维轮廓重建方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO YANG等: "3D soft-tissue tracking using spatial-color joint probability distribution and thin-plate spline model", 《PATTERN RECOGNITION》 *
HENG HUANG等: "High dimensional statistical shape model for medical image analysis", 《IN PROCEEDINGS OF 5TH IEEE INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING: FROM NANO TO MACRO》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3326527A1 (en) * 2016-11-23 2018-05-30 TTY-säätiö sr Method and arrangement for electromagnetic radiation based non-invasive monitoring of a performance of an anatomic object during an operation or medical intervention
CN107909653A (zh) * 2017-11-15 2018-04-13 电子科技大学 一种基于稀疏主成分分析的心脏软组织三维重建方法
CN107909653B (zh) * 2017-11-15 2021-03-30 电子科技大学 一种基于稀疏主成分分析的心脏软组织三维重建方法
CN109961508A (zh) * 2019-03-25 2019-07-02 东南大学 一种心脏静态三维模型重建方法
CN111080778A (zh) * 2019-12-23 2020-04-28 电子科技大学 一种双目内窥镜软组织图像的在线三维重建方法
CN111080778B (zh) * 2019-12-23 2023-03-31 电子科技大学 一种双目内窥镜软组织图像的在线三维重建方法
CN116958456A (zh) * 2023-09-21 2023-10-27 天津市胸科医院 基于图像配准的心脏三维模型构建方法、系统及存储介质
CN116958456B (zh) * 2023-09-21 2023-12-08 天津市胸科医院 基于图像配准的心脏三维模型构建方法、系统及存储介质

Also Published As

Publication number Publication date
CN105631931B (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN105631931B (zh) 一种低复杂度的心脏表面三维形态在线建模系统及方法
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
CN104376549B (zh) 血管内超声与血管内oct图像的融合方法
CN109598722B (zh) 基于递归神经网络的图像分析方法
CN103948361B (zh) 无标志点的内窥镜定位跟踪方法和系统
CN106901834A (zh) 微创心脏外科手术的术前规划及手术虚拟现实模拟方法
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
US11954860B2 (en) Image matching method and device, and storage medium
CN112618026A (zh) 远程手术数据融合交互显示系统及方法
CN107427279A (zh) 使用具有用户控制的心脏模型腔室的心脏功能的超声诊断
KR102433473B1 (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN111080778A (zh) 一种双目内窥镜软组织图像的在线三维重建方法
CN107909653B (zh) 一种基于稀疏主成分分析的心脏软组织三维重建方法
CN116188677A (zh) 血管介入手术区域三维重建方法、系统及装置
Abou El-Seoud et al. An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries
CN114897726A (zh) 基于三维生成对抗网络的胸腔ct图像伪影去除方法与系统
CN115421597A (zh) 一种基于双脑耦合特征的脑机接口控制方法及系统
Bucioli et al. Holographic real time 3D heart visualization from coronary tomography for multi-place medical diagnostics
CN105616003B (zh) 一种基于径向样条插值的软组织三维视觉跟踪方法
CN106420052A (zh) 一种靶点位置的导航方法及系统
CN108830915A (zh) 口腔影像3d模拟动画实现方法及装置
KR101657285B1 (ko) 초음파 치료 시뮬레이션시스템
KR102213412B1 (ko) 기복모델 생성방법, 장치 및 프로그램
CN109859840A (zh) 脉象感知位置的确定方法、装置、计算机设备及存储介质
Lassige et al. Comparison of septal defects in 2D and 3D echocardiography using active contour models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant