CN113538665A - 一种器官三维图像重建补偿方法 - Google Patents

Abstract

本发明公开了一种器官三维图像重建补偿方法，包括以下步骤：步骤1.器官三维图像重构；步骤2.器官三维图像信息补偿判断；步骤3.图像信息补偿计算；步骤4.三维图像信息替换。本发明三维成像补偿方法使用方便，建立模型的精度高，结果实时可见，具有较高的临床使用价值。

Description

一种器官三维图像重建补偿方法

技术领域

本发明涉及图像处理领域，尤其涉及一种器官三维图像重建补偿算法。

背景技术

基于2D医疗图像重建器官组织的三维图像对于手术导航具有重要的意义，特别是对于使用机器人辅助的手术系统，为其实现自动术前规划和术中实时配准提供了必需的参考依据。

近些年来，机器人辅助手术和导航技术得到越来越广泛的应用，在医学影像导航的研究中，超声波的应用越来越广泛。但是由于超声波为物体的机械振动波,属于声波范畴,它具有声的共同物理特性。这些物理特性使得超声在传播过程中与人体介质之间相互作用,包括反射、折射、散射、声衰減等。还有超声场本身的复杂性及其影响。因为这些物理特性，在利用超声波进行探测时容易产生超声伪像。超声波束具有一定的厚度，其扫描面并非一层很薄的断层切面。探头接收到的回波信号不只来自超声探头长轴的中心切面,还有一部分来自相邻的切面。超声设备将这些不同平面的回波信号全部叠加在一起显示在一幅声像图上,由此引起的伪像即为部分容积效应伪像。如何有效的解决超声波产生的伪像，成为了利用超声波进行三维图像重建的关键问题。

为此，本发明提出了一种器官三维图像重建补偿方法，与当前的技术方案相比，有效解决了三维重建过程中容易受到超声波伪像影响的问题，提高了手术的精准性和安全性，尤其是对重建小型肿块图像有巨大帮助。

发明内容

为实现本发明之目的，采用以下技术方案予以实现：

一种器官三维图像重建补偿方法，包括以下步骤：

步骤1.器官三维图像重构；

步骤2.器官三维图像信息补偿判断；

步骤3.图像信息补偿计算；

步骤4.三维图像信息替换。

所述的三维图像重建补偿方法，其中步骤1包括：

1)超声图像与对应姿态信息的匹配：对于超声探头姿态信息，每隔预定的时间差采样连续的预定个数的姿态信息作为一个姿态信息组，每个姿态信息组与和其自身的组序号相同的视频帧序号的视频帧相对应，每组超声探头姿态信息中选第1个姿态信息与对应的视频帧相匹配。

所述的三维图像重建补偿方法，其中步骤1还包括：

2)超声图像中器官的识别和识别结果显示采样：对采集到的每帧图像，进行图像识别，提取对应的想要建立模型的器官轮廓，对器官轮廓进行采样，得到轮廓采样点；

3)基于采样得到的器官轮廓采样点，进行三维坐标变化，获取该帧图片各轮廓点在机器人坐标系中的实际位置。

所述的三维图像重建补偿方法，其中步骤1中，基于采样得到的器官轮廓点，进行三维坐标变化，获取该帧图片各轮廓点在机器人坐标系中的实际位置按如下方式进行：

机器人坐标系、探头坐标系和图像坐标系分别定义为{B}，{P}和{I}，{P}到{B}的转换矩阵为

{I}到{P}的转换矩阵为

(a)超声图像像素坐标到探头坐标转换

设采样后某一点A在超声图像中像素点坐标为A(a,b),则其转换后的物理坐标为A(a′,b′,c′)，其中m和n为比例系数，a为x轴坐标，b为y轴坐标，a’为x轴坐标，b’为y轴坐标，c’为z轴坐标，转换公式如下

a′＝m*a (1)

b′＝n*b (2)

c′＝0 (3)

根据超声图像与探头之间的实际位置关系，点A的图像坐标到探头坐标系{P}中的坐标(a″,b″,c″)转换方式如下：

a″＝0 (4)

b″＝a′-0.5*w (5)

c″＝-b′ (6)

其中w是超声探头底部宽度；

(b)探头坐标到机器人坐标系转换

根据机器人坐标变化，从探头坐标系到机器人坐标系坐标变换为：

若求得某张超声图像对应的姿态为(x,y,z,γ,β,α)，(x,y,z)指的是探头在机器人坐标系中位置，(γ,β,α)指的是探头机器人坐标系的旋转,根据欧拉坐标系变换，将公式7展开为公式8，其中c是cos的简写，s是sin的简写；

所述的三维图像重建补偿方法，其中步骤2包括：依照扫描的顺序，将超声图像表示成一个数组S_i，其中i为自然数，每帧超声图像的值分别用1或者0表示，1表示该超声图像中有要识别的器官，0表示没有要识别的器官，数组中相邻两个元素差值为Δ＝S_n-S_n+1，当Δ＝1或-1时，对应的S_n超声图像根据此时机械臂末端的位置和姿态确定在机器人坐标系下的探头中心截面方程，该中心截面的平面表达式为：ε＝Ax+By+Cz+D，其中A、B、C、D为系数，x、y、z为坐标变量；对于该帧超声图像S_n以外的其他超声图像上的采集点，按下式计算该采集点与上述探头中心截面间的距离

若r小于

则需要进行补偿，且当Δ＝1时，需要对该采集点所在的超声图像帧之前的帧图像中的采集点进行补偿，当Δ＝-1时，需要对该采集点所在的超声图像帧之后的帧图像中的采集点进行补偿。

所述的三维图像重建补偿方法，其中步骤3包括：

1)对获得的距离r小于

的点，对其进行补偿，具体补偿方式为：计算每个采集点与到该采集点所在帧的超声图像顶部的真实距离h，其值与公式2中的b’相同，即h＝b’＝n*b；

根据超声探头的工作原理，其声波传输可简化成图4所示。其中超声波的焦点距离f，超声波的波长λ计算的超声波的系数α、超声波声束长度L和超声波声束直径d，计算公式如下：

计算出以上数据之后，将上个步骤中计算出的h与

和

的值进行比较，根据不同情况计算出不同的补偿值Δa；

2)当

时，

当

时，

当

时，

3)计算出对应的补偿值Δa后，在图像坐标到探头坐标系{P}中的坐标(a″,b″,c″)转换中，当Δ＝1时，a″＝Δa；当Δ＝-1时，a″＝-Δa，再次进行步骤1中探头坐标到机器人坐标系转换的过程，得到补偿过后的采集点坐标。

所述的三维图像重建补偿方法，其中步骤4包括：用经过图像信息补偿的采集点坐标代替补偿前的采集点的坐标，并删除补偿前的采集点坐标。

所述的三维图像重建补偿方法，其中步骤4还包括：稀疏处模型的插补：

当前一帧某采样点A(x1,y1,z1)与当前帧所有采样点中的B(x2,y2,z2)最小距离d大于预定精度阈值q时，需进行稀疏处模型的插补，基于点A所在帧的前一帧，其上所有轮廓点距离A点最小的轮廓点为C(x3,y3,z3)，根据A,B,C三点拟合出圆弧f(x)，采用以下插值方式：

基于f(x)从A点到B点，依次插入插补点，使得第一插补点与A点之间的圆弧长度以及相邻插补点之间的圆弧长度都为l，直到当前插补点与B点之间的圆弧长度小于或等于l为止，圆弧长度l的计算公式为：

l＝q/(n_a n_b s_a s_b) (16)

上式中，n_a表示点A所在帧的采样点总个数,s_a表示点A在采集序列中的值，n_b表示点B在其所在帧的采样点总个数，s_b表示点B在采集序列中的值。

附图说明

附图1为本发明的系统框图；

附图2为本发明的工作原理流程图；

附图3为三维融合系统坐标转换示意图；

附图4为超声波工作示意图。

具体实施方式

下面结合附图1-4对本发明的具体实施方式进行详细说明。在下面的描述了具体实施细节以便充分理解本发明，但是，本发明还可以采用其他不同与此的实现方式，因此本发明并不限于下面公开的具体实施例限制。且本实施例中使用到的各种参数也只是一种具体实现方式，与此原理相似都应该视为被该发明包括，因此本发明也不限于具体实施例提到的具体参数。

如图1所示，本实施例中相应的器官三维图像重建补偿系统包括：协作机械臂，超声设备，图像采集卡以及控制器，各部分的连接和关系如图所示。其中超声设备用于获取被扫描处的超声图像，并将该图像通过图像采集卡传送给控制器；协作机械臂用于采集扫描过程中的末端探头的实时位置；控制器用于接收超声图像和末端探头位置，获得超声视频信息和超声探头姿态信息(x,y,z,γ,β,α)，使用这些信息将识别的超声图像中人体器官如二维的血管经过补偿算法处理融合成3D模型。本实施例中协作机械臂末端有支架用于固定超声探头。为方便医生的操作和使用，协作机械臂采用零力驱动控制方式，医生可根据需要，开启或者关闭该功能。开启时，探头可以被医生灵活地拖动，协作臂各关节随着探头的受力情况，快速而灵敏地做出响应并；关闭时，探头被稳定地把持并保持不动。

如图2所示，器官三维图像重建补偿方法包括以下步骤：

步骤1：器官三维图像重构

1)一般来说超声视频信息进入系统延迟较大，而探头姿态信息延迟较小，两者之间存在一个稳定的时间差值，可由测试获取，本实施例为30ms。超声视频中每一帧和探头姿态信息依30ms时间差进行匹配，因探头姿态信息记录数据的频率是视频数据频率的4倍，匹配时需要对探头姿态信息进行采样，每四个数采集一个，最终的数据中，每一帧图片对应一个相应的姿态信息。具体来说：对于姿态信息，每隔30ms采样连续的4个姿态信息作为一个姿态信息组，组序号从1开始顺序编号，每个姿态信息组与和其自身的组序号相同的视频帧序号的视频帧相对应，每组姿态信息中选第1个姿态信息与对应的视频帧相匹配；

2)对采集到的每帧图像，进行图像识别，提取对应的想要建立模型的器官轮廓，对器官轮廓进行采样，得到轮廓采样点，以降低轮廓中包含点的数量，提高3维重建的实时性。因测试模型血管和周围对比明显，本实施例使用opencv二值化进行血管的提取，灰度值按照阈值110为分界线，大于该值的部分为白色，小于该值的部分为黑色，黑色部分即为血管，最终获得血管边界轮廓。对于提取到的轮廓，其包含点太过密集，为减小最终模型的数据量和提高处理速度，需对该轮廓进行采样，本实施例按照采集点概率和特征轮廓点属性进行采样，生成轮廓采样点。将采样后的轮廓采样点叠加到原来的超声图像上；

3)基于采样得到的器官轮廓采样点，进行三维坐标变化，获取该帧图片各轮廓点在探头坐标系中的位置，按如下方式进行：

如图3所示：机器人坐标系、探头坐标系和图像坐标系分别定义为{B}，{P}和{I}，{P}到{B}的转换矩阵为

{I}到{P}的转换矩阵为

(a)超声图像像素坐标到探头坐标转换

设采样后某一点A在超声图像中像素点坐标为A(a,b),则其转换后的物理坐标为A(a′,b′,c′)，其中m和n为比例系数，a为x轴坐标，b为y轴坐标，a’为x轴坐标，b’为y轴坐标，c’为z轴坐标，转换公式如下

a′＝m*a (1)

b′＝n*b (2)

c′＝0 (3)

根据超声图像与探头之间的实际位置关系，点A的图像坐标到探头坐标系{P}中的坐标(a″,b″,c″)转换方式如下：

a″＝0 (4)

b″＝a′-0.5*w (5)

c″＝-b′ (6)

其中w是超声探头底部宽度；

(b)探头坐标到机器人坐标系转换

根据机器人坐标变化，从探头坐标系到机器人坐标系坐标变换为：

若求得某张超声图像对应的姿态为(x,y,z,γ,β,α)，(x,y,z)指的是探头在机器人坐标系中位置，(γ,β,α)指的是探头机器人坐标系的旋转,根据欧拉坐标系变换，将公式7展开为公式8，其中c是cos的简写，s是sin的简写；

步骤2：器官三维图像信息补偿判断

依照扫描的顺序，将超声图像表示成一个数组S_i(i为自然数)，每帧超声图像的值分别用1或者0表示，1表示该超声图像中有要识别的器官，0表示没有要识别的器官，数组中相邻两个元素差值为Δ(S_n-S_n+1)。当Δ＝1或-1时，对应的超声图像S_n根据此时机械臂末端的位置和姿态，可以确定在机器人坐标系下的探头中心截面方程，该中心截面所在的平面表达式为：

ε＝Ax+By+Cz+D，其中A,B,C和D是根据探头姿态计算出来的系数，x,y,z为坐标变量。对于该帧超声图像S_n以外的其他超声图像上的采集点，需要计算该采集点(已建立的3维点云模型)与上述探头中心截面间的距离，该距离可以根据公式

计算得到，若r小于

则需要进行补偿,与公式5中w含义一样，为超声探头底部宽度。公式9中，x₁，y₁和z₁指的是已经建立的点云模型的各个点在机器人坐标系中的三维坐标(附图3中{B})。根据附图4超声波工作示意图，超声显示的图像实际是超声探头探测到的一个立体空间信息的融合显示，立体空间沿着超声探头宽度方向的超声探测区域如附图4所示。使用探头扫描时，某个器官第一次出现在超声图像里，其位置实际是在附图4中的最大成像边缘面，而非附图4中的探头中心截面。此时与理想情况相比，误差最大可以达到

(有几毫米)，特别是被检测物体较小时，误差可能比实际尺寸还要大，这将大大影响诊疗精度。同样地，当扫描时，器官由存在到消失的过程中，也存在着最大

的误差。故当Δ＝1时，需要对该采集点所在的超声图像帧之前的帧图像中的采集点进行补偿，当Δ＝-1时，需要对该采集点所在的超声图像帧之后的帧图像中的采集点进行补偿。

步骤3：图像信息补偿计算

1)对获得的距离r小于

的点，对其进行补偿，基本的补偿原理是，依据步骤2中计算获取的需要进行补偿的点，把其对应的超声图像的位置的误差去除。根据该点距离超声探头底部(与实际超声图像顶部重合)的距离，按照超声原理可以计算出该点与探头中心截面的实际长度，之后使用公式4-8重新计算该点的实际坐标信息。具体补偿方式为：计算每个采集点与到该采集点所在帧的超声图像顶部的真实距离h(其值与公式2中的b’相同)，h＝b’＝n*b。

将计算得到的h值与超声波的参数进行对比。如图4所示，f为超声波的焦点距离，λ为超声波的波长，这些是超声波已知的数据，根据这些，可以根据公式对其他数据进行计算。需要计算的数据有超声波的系数α、超声波声束长度L和超声波声束直径d，计算公式如下：

计算出以上数据之后，将上个步骤中计算出的h与

和

的值进行比较，根据不同情况计算出不同的补偿值Δa。

2)当

时，

当

时，

当

时，

3)计算出对应的补偿值Δa后，在图像坐标到探头坐标系{P}中的坐标(a″,b″,c″)转换中，当Δ＝1时，a″＝Δa；当Δ＝-1时，a″＝-Δa。再次进行步骤1中探头坐标到机器人坐标系转换的过程，得到补偿过后的点云坐标。

步骤4：三维图像信息替换

用经过图像信息补偿的采集点坐标代替补偿前的采集点的坐标，并删除补偿前已经生成的重复点云，此时已形成较为完整的三维点云，但由于扫描的速度不均匀是不可避免的，过快的扫描速度会导致建立的三维模型中部分点相隔距离较远，造成模型精度降低。而人体组织是连续变化的，基于此，为解决上述问题，需要对较为稀疏处继续进行插补。

当前一帧某采样点A(x1,y1,z1)与当前帧所有采样点中的B(x2,y2,z2)最小距离d大于预定精度阈值q时，需进行稀疏处模型的插补，基于点A所在帧的前一帧，其上所有轮廓点距离A点最小的轮廓点为C(x3,y3,z3)，根据A,B,C三点拟合出圆弧f(x)，采用以下插值方式：

基于f(x)从A点到B点，依次插入插补点，使得第一插补点与A点之间的圆弧长度以及相邻插补点之间的圆弧长度都为l，直到当前插补点与B点之间的圆弧长度小于或等于l为止，圆弧长度l的计算公式为：

l＝q/(n_a n_b s_a s_b) (16)

上式中，n_a表示点A所在帧的采样点总个数,s_a表示点A在采集序列中的值，n_b表示点B在其所在帧的采样点总个数，s_b表示点B在采集序列中的值。

通过本发明，并未在当前的协作臂辅助的超声医疗系统中加入新的硬件，而是利用算法对三维重建的点云进行补偿，使得超声波伪影对临床的影响降到最低。本发明三维成像补偿方法使用方便，建立模型的精度高，结果实时可见，具有较大的临床使用价值。

Claims (2)

1.一种器官三维图像重建补偿方法，其特征在于包括以下步骤：

步骤1.器官三维图像重构；

步骤2.器官三维图像信息补偿判断；

步骤3.图像信息补偿计算；

步骤4.三维图像信息替换。

2.根据权利要求1所述的三维图像重建补偿方法，其特征在于步骤1包括：

1)超声图像与对应姿态信息的匹配：对于超声探头姿态信息，每隔预定的时间差采样连续的预定个数的姿态信息作为一个姿态信息组，每个姿态信息组与和其自身的组序号相同的视频帧序号的视频帧相对应，每组超声探头姿态信息中选第1个姿态信息与对应的视频帧相匹配。

Images