CN105631931B - 一种低复杂度的心脏表面三维形态在线建模系统及方法 - Google Patents

Abstract

本发明公开了一种低复杂度的心脏表面三维形态在线建模系统及方法，包括如下步骤：A、通过立体视觉匹配从跳动心脏表面的历史影像数据中，获得目标区域的三维历史形态数据；B、对三维历史形态数据进行空间相对坐标处理和时域零均值化处理；C、对处理后的三维历史形态数据进行主成分分析，提取出若干个主分量；D、利用提取的主分量建立低复杂度形态模型，从当前获取的心脏表面立体影像中通过立体视觉匹配确定该模型参数，从而确定心脏表面目标区域当前的三维形态；通过本发明的系统能够在心胸微创手术中对患者心脏表面目标区域的三维形态进行快速、准确的三维重构，给医生提供直观、准确的三维形态信息，辅助医生更好的完成手术操作。

Description

一种低复杂度的心脏表面三维形态在线建模系统及方法

技术领域

本发明属于光通信技术领域，更为具体地讲，涉及一种低复杂度的心脏表面三维形态在线建模系统及方法。

背景技术

近年来，以内窥镜手术为代表的微创手术技术越来越多的应用于心脏外科手术。在这类手术中，医生通过观察探入患者体内的内窥镜反馈回的实时影像，操控微创手术器械完成复杂的心脏外科手术。

以脱泵冠脉搭桥术(off pump CABG)为例，这种心脏不停跳的手术可使患者摆脱人工心肺机，从而降低了体外循环对患者身体的损害，降低并发症的风险，缩短患者的康复时间。但是由于直接视觉的缺失，手术医生无法准确、直观的感知跳动心脏表面目标区域的三维形态，给完成复杂精细的手术操作带来困难。手术医生需通过长期专业的训练，才能顺利完成这类心脏外科微创手术，对患者而言则意味着巨额的医疗费用和较大的手术风险。

为了给手术医生提供实时、准确的三维形态信息，国外学者尝试利用各种传感器对心脏表面三维形态进行重构。由于微创手术空间狭小，无法植入大型三维扫描设备，并且心跳运动频率高、心脏表面软组织形变复杂，心脏表面三维形态重构成为医学工程领域中的难点。因此，不需要额外设备接口，基于立体内窥镜的心脏表面三维形态检测方法逐渐受到科研和临床界的重视。基于立体内窥镜获取的双目图像数据，利用立体视觉匹配技术可以重构心脏表面目标区域的三维形态。为此，国内外研究人员应用多种经典的空间形变模型对心脏表面进行三维重构。如T.Ortmaier等在文献《Motion estimation in beatingheart surgery》中使用的仿射变换模型，W.Lau等在文献《Stereo-based endoscopictracking of cardiac surface deformation》中使用的B样条模型，D.Stoyanov,等在文献《A practical approach towards accurate dense 3-D depth recovery for roboticlaparoscopic surgery》中使用的分片双线性映射模型，以及R.Richa等在文献《Three-dimensional motion tracking for beating heart surgery using a thin-platespline deformable model》中使用的薄板样条模型等。但是，上述方法中所采用的形变模型为通用性模型，并非针对特定心脏表面而设计。这些模型在描述和表示心脏表面三维形态时，均存在实时性与准确性之间的矛盾。仿射变换模型，复杂度较低、实时性好，但模型过于简单，无法准确表征心脏表面特有的三维形态。分片双线性映、B样条和薄板样条模型，可以通过大量控制点，精确刻画心脏表面三维形态，但模型过于复杂，无法满足实时性要求。由于心跳运动的准周期性，心脏表面目标区域在不同时刻的三维形态具有一定规律性。而上述模型均未能有效的利用这些心脏运动特性和统计规律，降低模型复杂度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种低复杂度的心脏表面三维形态在线建模系统及方法，通过提取待建模心脏表面目标区域的三维形态历史数据的主分量，建立新的适应该心脏表面形态特性和运动规律的低复杂度的线性最优的形态模型，实现对心脏表面目标区域快速、准确的三维重建。

为实现上述发明目的，本发明一种低复杂度的心脏表面三维形态在线建模方法，其特征在于，包括以下步骤：

(1)、利用立体内窥镜视觉采集设备获取跳动心脏表面的多帧影像图像，并传输保存在历史影像数据中；

(2)、依次处理历史影像数据中的每一帧影像图像，通过立体视觉匹配法获取每一帧影像图像中心脏表面目标区域的三维历史形态数据；

(3)、分别处理步骤(2)中所有的三维历史形态数据，获得不同时刻心脏表面目标区域各点相对其中心点的空间三维坐标，再空间三维坐标进行时域零均值化处理；

(4)、提取步骤(3)中处理完成后的三维历史形态数据的主分量；

(5)、利用提取的主分量建立低复杂度形态模型，再从当前获取的立体影像中，通过立体视觉匹配法确定该模型的参数，从而确定心脏表面目标区域当前的三维形态。

其中，所述步骤(3)中，处理三维历史形态数据的具体步骤为：

(2.1)、设历史影像数据中共有K帧影像图像，每帧影像图像中心脏表面目标区域共有N个目标点；

(2.2)、获取每帧影像图像中心脏表面目标区域各点相对其中心点的空间三维坐标，具体计算方程为：

其中，为目标区域中心点在第k(k＝1,2,...,K)帧时的三维坐标列向量，为心脏表面目标区域第n(n＝1,2,...,N)个点在第k帧中的三维坐标列向量，为该点在第k帧中相对中心点的空间三维坐标列向量；

(2.3)、对所有帧的心脏表面目标区域各点的空间三维坐标列向量进行时域零均值化处理，具体计算方程为：

其中，为心脏表面目标区域第n个点在第k帧零均值化处理后的空间三维坐标列向量，为心脏表面目标区域第n个点在第k帧中相对其中心点的三维坐标平均值列向量，即

所述步骤(4)中，主分量的提取方法为：

(3.1)、利用步骤(3)处理后的空间三维坐标列向量构造历史数据矩阵P；

其中，P为所构造的3N×K维的历史数据矩阵，N为心脏表面目标区域的总点数，K为影像图像总帧数；

(3.2)、对构造历史数据矩阵P进行奇异值分解，其分解结果可表示为：

P＝UΛV^T

其中，U是3N×3N的正交矩阵；Λ是3N×K的对角矩阵，Λ的对角线元素(即矩阵P的奇异值)按由大到小顺序排列：a₁₁≥a₂₂≥...≥a_3N3N≥0，其它非对角线元素值为零；V是K×K的正交矩阵；

(3.3)、提取历史数据矩阵P的主分量；设Λ中前M个奇异值的数值大于预设的阈值，则提取正交矩阵U中的前M个列向量u₁,u₂,...,u_M为主分量。

所述步骤(5)中，确定出心脏表面目标区域当前三维形态的方法为：

(4.1)、利用步骤(4)提取的主分量和心脏表面目标区域中心点的三维坐标构建低复杂度模型，具体模型方程为

其中，i₁是由N个三维单位列向量纵向排列构成的3N维的列向量，i₂是由N个纵向排列构成的3N维的列向量，i₃是由N个纵向排列构成的3N维的列向量；是步骤(2.3)中N个心脏表面目标区域点的三维坐标平均值纵向排列构成的3N维列向量；w₁,w₂,...,w_M为各主分量的加权系数，x,y,z为目标区域中心点的空间三维坐标；为3N维的输出列向量，其包含了心脏表面目标区域N个点的三维坐标值，可以表征目标区域当前的三维形态；

(4.2)、按照步骤(1)所述的方法获取跳动心脏表面的当前影像图像；

(4.3)、对当前影像图像进行立体视觉匹配，确定出参数w₁,w₂,...,w_M和x,y,z，再其代入到步骤(4.1)所述的模型方程，从而确定心脏表面目标区域当前的三维形态。

进一步的，本发明还提供一种低复杂度的心脏表面三维形态在线建模系统，其特征在于，包括：

一视觉数据采集设备，包括立体内窥镜镜体、连接光纤和数字相机；用于获取跳动心脏表面的影像图像，并将采集的影像图像保存在历史影像数据中；

一数据处理设备，主要包括：三维历史形态检测模块、三维历史形态数据处理模块、主成分分析模块、低复杂度建模模块和三维形态渲染模块；用于对采集到的影像图像进行三维历史形态检测、三维历史形态数据处理、主成分分析、低复杂度建模计算和三维形态渲染；

其中，所述的三维历史形态检测模块，通过立体视觉匹配从多帧的历史影像图像中，获得心脏表面目标区域的三维历史形态数据；

所述的三维历史形态数据处理模块，用于获得不同时刻心脏表面目标区域点相对其中心点的空间三维坐标，并对各点的三维坐标进行时域零均值化处理；

所述的主成分分析模块，用于构造三维坐标数据矩阵，并对其进行主分量分析和提取；

所述的低复杂度建模模块，利用提取的主分量和中心点三维坐标建立低复杂度形态模型，基于当前获取的影像图像通过立体视觉匹配确定该模型的参数，从而获得心脏表面目标区域当前时刻的空间三维坐标数据；

所述的三维形态渲染模块，基于获取的空间三维坐标数据，应用计算机三维图形呈现目标区域的三维形态，并通过显卡驱动图形显示设备；

一图形显示设备，用于显示目标区域的三维形态，供手术医生查看。

本发明的发明目的是这样实现的：

本发明一种低复杂度的心脏表面三维形态在线建模方法，包括如下步骤：A、通过立体视觉匹配从跳动心脏表面的历史影像数据中，获得目标区域的三维历史形态数据；B、对三维历史形态数据进行空间相对坐标处理和时域零均值化处理；C、对处理后的三维历史形态数据进行主成分分析，提取出若干个主分量；D、利用提取的主分量建立低复杂度形态模型，从当前获取的心脏表面立体影像中通过立体视觉匹配确定该模型参数，从而确定心脏表面目标区域当前的三维形态；另外，本发明还公开了一种低复杂度的心脏表面三维形态在线建模系统，通过该系统能够在心胸微创手术中对患者心脏表面目标区域的三维形态进行快速、准确的三维重构，给医生提供直观、准确的三维形态信息，辅助医生更好的完成手术操作。

同时，本发明一种低复杂度的心脏表面三维形态在线建模系统及方法还具有以下有益效果：

(1)、充分利用心跳运动的准周期性和特定心脏表面的形态特性，从待建模心脏表面的三维形态历史数据中提取主分量，对该心脏表面三维形态进行在线建模，用较少的模型参数快速、准确的重构心脏表面当前的三维形态，为手术医生提供直观、准确的手术区域三维形态信息。

(2)、利用主分量建立的低复杂度模型是最小平方误差意义下对该目标区域线性最优的模型，它能够以最少的模型参数最大程度的反映和刻画该目标区域的三维形态，解决了实时性和准确性之间的矛盾。

(3)、本发明中模型的复杂度可控可调，可根据实际应用中的实时性和准确性需求在线调整所提取的主分量的个数M，以控制和调节模型复杂度。

附图说明

图1是本发明一种低复杂度的心脏表面三维形态在线建模系统的结构示意图；

图2是图1所示的数据处理设备中各子模块示意图；

图3是本发明一种低复杂度的心脏表面三维形态在线建模方法的流程示意图；

图4是利用本发明方法重建的某心脏表面目标区域在某时刻的三维形态图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种低复杂度的心脏表面三维形态在线建模系统的结构示意图。

在本实施例中，如图1所示，本发明一种低复杂度的心脏表面三维形态在线建模系统，包括：视觉数据采集设备1、数据处理设备2和图形显示设备3。

视觉数据采集设备1，包括立体内窥镜镜体10、连接光纤11和数字相机12；用于获取跳动心脏表面的影像图像，并将采集的影像图像保存在历史影像数据中；

在本实施例中，如图2所示，数据处理设备2，主要包括：三维历史形态检测模块20、三维历史形态数据处理模块21、主成分分析模块22、低复杂度建模模块23和三维形态渲染模块24；用于对采集到的影像图像进行三维历史形态检测、三维历史形态数据处理、主成分分析、低复杂度建模计算和三维形态渲染。

下面结合图2，对数据处理设备2中各个模块的功能进行详细描述。

三维历史形态检测模块20，通过立体视觉匹配从多帧的历史影像图像中，获得心脏表面目标区域的三维历史形态数据；

三维历史形态数据处理模块21，用于获得不同时刻心脏表面目标区域点相对其中心点的空间三维坐标，并对各点的三维坐标进行时域零均值化处理；

主成分分析模块22，用于构造三维坐标数据矩阵，并对其进行主成分分析，提取少量的主分量；

低复杂度建模模块23，利用提取的主分量和中心点三维坐标建立低复杂度形态模型，基于当前获取的影像图像通过立体视觉匹配确定该模型的参数，从而获得心脏表面目标区域当前时刻的空间三维坐标数据；

三维形态渲染模块24，基于获取的空间三维坐标数据，应用计算机三维图形呈现目标区域的三维形态，并通过显卡驱动图形显示设备；

图形显示设备3，用于显示目标区域的三维形态，供手术医生查看。在本实施例中，图形显示设备3可以采用液晶显示屏。

下面结合上述所建立的系统，对本发明一种低复杂度的跳动心脏表面三维形态在线建模方法进行详细说明，如图3所示，其具体包括以下步骤：

S1、利用立体内窥镜视觉采集设备获取跳动心脏表面的多帧影像图像，并传输保存在历史影像数据中；在本实施例中，采集了K＝1000帧(时长40秒，帧率25赫兹)的影像图像。

S2、依次处理历史影像数据中的每一帧影像图像，通过立体视觉匹配法获取每一帧影像图像中心脏表面目标区域的三维历史形态数据；在本实施例中，设目标区域点个数N＝100；立体视觉匹配法可以采用：R.Richa等在文献《Three-dimensional motiontracking for beating heart surgery using a thin-plate spline deformablemodel》中使用的基于薄板样条模型的立体视觉匹配方法。

S3、分别处理步骤S2中所有的三维历史形态数据，获得不同时刻心脏表面目标区域各点相对其中心点的空间三维坐标，再空间三维坐标进行时域零均值化处理；

具体步骤为：

S3.1、设历史影像数据中共有K＝1000帧影像图像，每帧影像图像中心脏表面目标区域共有N＝100个目标点；

S3.2)、获取每帧影像图像中心脏表面目标区域各点相对其中心点的空间三维坐标，具体计算方程为：

其中，为目标区域中心点在第k(k＝1,2,...,K)帧时的三维坐标列向量，为心脏表面目标区域第n(n＝1,2,...,N)个点在第k帧中的三维坐标列向量，为该点在第k帧中相对中心点的空间三维坐标列向量；

S3.3)、对所有帧的心脏表面目标区域各点的空间三维坐标列向量进行时域零均值化处理，具体计算方程为：

其中，为心脏表面目标区域第n个点在第k帧零均值化处理后的空间三维坐标列向量，为心脏表面目标区域第n个点在第k帧中相对其中心点的三维坐标平均值列向量，即

S4、提取步骤S3中处理完成后的三维历史形态数据的主分量；其中，主分量的具体提取方法为：

S4.1)、利用步骤S3处理后的空间三维坐标列向量构造历史数据矩阵P；

其中，P为所构造的3N×K维的历史数据矩阵，N为心脏表面目标区域的总点数，K为影像图像总帧数；

S4.2)、对构造历史数据矩阵P进行奇异值分解，其分解结果可表示为：

P＝UΛV^T

其中，U是3N×3N的正交矩阵；Λ是3N×K的对角矩阵，Λ的对角线元素(即矩阵P的奇异值)按由大到小顺序排列：a₁₁≥a₂₂≥...≥a_3N3N≥0，其它非对角线元素值为零；V是K×K的正交矩阵；由于心跳运动的准周期性，P矩阵中各列向量之间存在较强的相关性，因此，矩阵奇异值a₁₁,a₂₂,...,a_3N3N中仅有排在最前的少数几个值较大，其它值接近零；

S4.3)、提取历史数据矩阵P的主分量；设Λ中前M个奇异值的数值大于预设的阈值，则提取正交矩阵U中的前M个列向量u₁,u₂,...,u_M为主分量。

S5、利用提取的主分量建立低复杂度形态模型，再从当前获取的影像图像中，通过立体视觉匹配法确定该模型的参数，从而确定心脏表面目标区域当前的三维形态；

其中，确定出心脏表面目标区域当前三维形态的具体方法为：

S5.1、利用步骤S4提取的主分量和心脏表面目标区域中心点的三维坐标构建低复杂度模型，具体模型方程为

其中，i₁是由N个三维单位列向量纵向排列构成的3N维的列向量，i₂是由N个纵向排列构成的3N维的列向量，i₃是由N个纵向排列构成的3N维的列向量；是步骤S3.3中N个心脏表面目标区域点的三维坐标平均值纵向排列构成的3N维列向量；w₁,w₂,...,w_M为各主分量的加权系数，x,y,z为目标区域中心点的空间三维坐标；为3N维的输出列向量，其包含了心脏表面目标区域N个点的三维坐标值，可以表征目标区域当前的三维形态；

S5.2、按照步骤S1所述的方法获取跳动心脏表面的当前影像图像；

S5.3、对当前影像图像进行立体视觉匹配，确定出参数w₁,w₂,...,w_M和x,y,z，再其代入到步骤S5.1所述的模型方程，从而确定心脏表面目标区域当前的三维形态。

图4是利用本发明方法重建的某心脏表面目标区域在某时刻的三维形态图。

在本实施例中，如图4所示，三维历史形态检测模块采集了K＝1000帧(时长40秒，帧率25赫兹)的历史影像图像，且目标区域点个数N＝100，构造出大小为300×1000的三维历史数据矩阵P，经主成分分析从中提取出M＝10个主分量u₁,u₂,...,u₁₀，根据当前获取的立体图像对确定的模型参数分别为：

w₁＝0.124,w₂＝0.823,w₃＝-0.214,w₄＝0.452,w₅＝-1.233,

w₆＝0.877,w₇＝-0.223,w₈＝0.437,w₉＝-0.323,w₁₀＝0.523

x＝4.14,y＝-1.22,z＝-41.11。

将上述参数代入模型方程

获得目标区域N个点当前的三维坐标数据；在计算机三维坐标系中，应用这些坐标数据控制计算机三维网格，并叠加目标区域的图像像素信息，得到如图4所示三维形态图。

综上所述，本发明提供的一种低复杂度的心脏表面三维形态在线建模系统及方法，它充分利用了心跳运动的准周期性，从待建模心脏表面目标区域的三维形态历史数据中提取出可以最大程度的反映该心脏表面目标区域运动特性和形态特征的主分量，利用这些主分量建立低复杂度的模型；该模型可以实时、准确的重构心脏目标区域当前的三维形态；通过三维形态渲染软件模块和显卡、显示器等硬件设备，为执行心脏微创手术的医生提供患者心脏表面手术区域直观、准确的三维形态信息，辅助医生更好的完成手术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种低复杂度的心脏表面三维形态在线建模方法，其特征在于，包括以下步骤：

(1)、利用立体内窥镜视觉采集设备获取跳动心脏表面的多帧影像图像，并传输保存在历史影像数据中；

(2)、依次处理历史影像数据中的每一帧影像图像，通过立体视觉匹配法获取每一帧影像图像中心脏表面目标区域的三维历史形态数据；

(3)、分别处理步骤(2)中所有的三维历史形态数据，获得不同时刻心脏表面目标区域各点相对其中心点的空间三维坐标，再将空间三维坐标进行时域零均值化处理；

(4)、提取步骤(3)中处理完成后的三维历史形态数据的主分量；

(5)、利用提取的主分量建立低复杂度形态模型，再从当前获取的立体影像中，通过立体视觉匹配法确定该模型的参数，从而确定心脏表面目标区域当前的三维形态；

其中，所述步骤(3)中，处理三维历史形态数据的具体步骤为：

(2.1)、设历史影像数据中共有K帧影像图像，每帧影像图像中心脏表面目标区域共有N个目标点；

(2.2)、获取每帧影像图像中心脏表面目标区域各点相对其中心点的空间三维坐标，具体计算方程为：

其中，为目标区域中心点在第k(k＝1,2,…,K)帧时的三维坐标列向量，为心脏表面目标区域第n(n＝1,2,…,N)个点在第k帧中的三维坐标列向量，为该点在第k帧中相对中心点的空间三维坐标列向量；

(2.3)、对所有帧的心脏表面目标区域各点的空间三维坐标列向量进行时域零均值化处理，具体计算方程为：

其中，为心脏表面目标区域第n个点在第k帧零均值化处理后的空间三维坐标列向量，为心脏表面目标区域第n个点在第k帧中相对其中心点的三维坐标平均值列向量，即

其中，所述步骤(4)中，主分量的提取方法为：

(3.1)、利用步骤(3)处理后的空间三维坐标列向量构造历史数据矩阵P；

其中，P为所构造的3N×K维的历史数据矩阵，N为心脏表面目标区域的总点数，K为影像图像总帧数；

(3.2)、对构造历史数据矩阵P进行奇异值分解，其分解结果可表示为：

P＝UΛV^T

其中，U是3N×3N的正交矩阵；Λ是3N×K的对角矩阵，Λ的对角线元素即矩阵P的奇异值按由大到小顺序排列：a₁₁≥a₂₂≥...≥a_3N3N≥0，其它非对角线元素值为零；V是K×K的正交矩阵；

(3.3)、提取历史数据矩阵P的主分量；设Λ中前M个奇异值的数值大于预设的阈值，则提取正交矩阵U中的前M个列向量u₁,u₂,...,u_M为主分量。

2.根据权利要求1所述的低复杂度的心脏表面三维形态在线建模方法，其特征在于，所述步骤(5)中，确定出心脏表面目标区域当前三维形态的方法为：

(4.1)、利用步骤(4)提取的主分量和心脏表面目标区域中心点的三维坐标构建低复杂度模型，具体模型方程为

其中，i₁是由N个三维单位列向量纵向排列构成的3N维的列向量，i₂是由N个纵向排列构成的3N维的列向量，i₃是由N个纵向排列构成的3N维的列向量；是步骤(2.3)中N个心脏表面目标区域点的三维坐标平均值纵向排列构成的3N维列向量；w₁,w₂,...,w_M为各主分量的加权系数，x,y,z为目标区域中心点的空间三维坐标；为3N维的输出列向量，其包含了心脏表面目标区域N个点的三维坐标值，可以表征目标区域当前的三维形态；

(4.2)、按照步骤(1)所述的方法获取跳动心脏表面的当前影像图像；

(4.3)、对当前影像图像进行立体视觉匹配，确定出参数w₁,w₂,...,w_M和x,y,z，再其代入到步骤(4.1)所述的模型方程，从而确定心脏表面目标区域当前的三维形态。