CN115953377A - 消化道超声内窥镜图像融合方法和系统 - Google Patents
消化道超声内窥镜图像融合方法和系统 Download PDFInfo
- Publication number
- CN115953377A CN115953377A CN202211699776.8A CN202211699776A CN115953377A CN 115953377 A CN115953377 A CN 115953377A CN 202211699776 A CN202211699776 A CN 202211699776A CN 115953377 A CN115953377 A CN 115953377A
- Authority
- CN
- China
- Prior art keywords
- image
- ultrasonic
- dimensional
- medical
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种消化道超声内窥镜图像融合方法和系统，该方法包括以下步骤：S1、通过医用内窥镜摄像头获取病灶的可见光图像，并通过医用超声探头获取病灶相同位置处的二维超声图像；S2、实时获取医用内窥镜摄像头和医用超声探头之间的位置关系P；S3、利用二维超声图像序列获取体数据，对体数据进行三维重建生成三维超声图像；S4、将三维超声图像投影到可见光图像所在的二维坐标系中，与可见光图像叠加进行图像融合，得到融合图像。本发明在不增加探头的情况下，能够通过短时间扫描完成快速的超声‑可见光图像采集和融合，可用于辅助医生诊断，能减少医生的工作量，降低诊断时间，并提高诊断准确率。
Description
技术领域
本发明涉及医学图像处理领域，特别涉及一种消化道超声内窥镜图像融合方法和系统。
背景技术
早期消化道肿瘤基本上可以通过常规外科手术和内窥镜切除术治愈，早期消化道肿瘤大多是无症状的，但也因其无症状，通常直到其浸润整个消化道外壁甚至扩散到壁外才会被发现。在消化道病变的检查和诊断中，内镜超声检查是最常用的手段之一，检查时，通过光学内窥镜的引导，在消化道腔内使用超声探头完成对消化道壁黏膜及管腔周围组织或器官的超声扫描成像检查，可以从病灶起源部位、病变性质、浸润深度和范围等多个层面对消化道肿瘤进行诊断评估。
目前常见的超声内窥镜成像系统只输出独立的光学图像和超声图像，二者图像维度、负载信息不统一，医生只能依靠经验分析检查结果，不能良好地构建病灶的全部信息。本技术将光学和超声图像融合成像，完全利用三维空间信息，可辅助医生进行诊断，减少医生的工作量，降低诊断时间，并提升诊断准确度。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种消化道超声内窥镜图像融合方法和系统。
为解决上述技术问题，本发明采用的技术方案是：一种消化道超声内窥镜图像融合方法，包括以下步骤：
S1、通过医用内窥镜摄像头获取病灶的可见光图像，并通过医用超声探头获取病灶相同位置处的二维超声图像；
S2、实时获取医用内窥镜摄像头和医用超声探头之间的位置关系P；
S3、利用二维超声图像序列获取体数据，对体数据进行三维重建生成三维超声图像；
S4、将三维超声图像投影到可见光图像所在的二维坐标系中，与可见光图像叠加进行图像融合，得到融合图像。
优选的是，所述步骤S2具体为：
在医用内窥镜摄像头和医用超声探头进行图像采集前标定两者的初始位置，获得初始的坐标转换矩阵W，对病灶进行探测时，实时获取医用超声探头的坐标，并更新坐标转换矩阵W，获得当前医用内窥镜摄像头和医用超声探头之间的位置关系P。
优选的是，所述步骤S3具体包括：
S3-1、图像格式转换：将二维超声图像序列按时序间隔和扫描位置对齐后进行堆叠、转码，生成DICOM超声体数据；
S3-2、光线交点求取：利用光线投射，让光线穿透所有体素，然后利用三线性插值计算最终的数据点位置；
S3-3、计算方向梯度：方向梯度通过中心差分操作计算得到，其计算方式为：
其中，Gx、Gy、Gz为x，y，z三轴方向上的梯度结果，C(i+1,j,k)为坐标(i+1,j,k)处点的颜色值，Δx、Δy、Δz为两像素在x，y，z三轴方向上的距离值；
S3-4、数据值分类：根据数据点的灰度值Gray和梯度G计算对应的颜色值C和不透明度值A；
S3-5、数据重采样与合成：根据光线的方向对所有数据点进行采样，通过计算获得的颜色和不透明度按照从后向前的顺序对光线上的采样点进行合成，获得三维超声图像。
优选的是，所述步骤S3-4中颜色值C和不透明度值A的计算公式为：
其中，M为系数。
优选的是，所述步骤S3-5中对采样点进行合成的方式为：
Ci＝(1-A(Pi))Ci+1+C(Pi)；
Ai＝(1-A(Pi))Ai+1+A(Pi)；
其中，A(Pi)、C(Pi)为步骤S3-4中计算得到的当前位置点的不透明度和颜色值，Ci+1、Ai+1为后向位置点的不透明度和颜色值合成结果，Ci、Ai为当前位置的不透明度和颜色值合成结果。
优选的是，所述步骤S4具体包括：
S4-1、3D-2D投影：首先初始化3D-2D投影矩阵，利用投影矩阵将三维超声图像投影至二维平面，将得到的2D图像与二维超声图像配准，获得配准后的2D图像；
S4-2、重投影矩阵计算：根据前一时刻医用内窥镜摄像头和医用超声探头之间的相对位置，更新内窥镜摄像头和超声探头的位置关系P，根据位置关系P获取医用内窥镜摄像头的2D坐标系到医用超声探头的3D坐标系的重投影矩阵A2D-3D，将配准后的2D图像重投影至医用超声探头的3D坐标系，得到重投影3D超声图像；
S4-3、重投影误差计算：计算重投影3D超声图像中的重投影点与三维超声图像中对应的原始点之间的空间坐标误差，即重投影误差，将该重投影误差求导，根据导数方向迭代优化，重复步骤S4-1和S4-2，直至重投影误差小于设定的阈值为止，获得此时的3D-2D投影矩阵A3D-2D；
S4-4、3D-2D图像融合：利用迭代求得的3D-2D投影矩阵A3D-2D将三维超声图像投影到可见光图像所在的二维坐标系中，与二维可见光图像叠加进行图像融合，得到融合图像。
本发明还提供一种消化道超声内窥镜图像融合系统，其采用如上所述的方法进行消化道超声图像和内窥镜图像的融合。
优选的是，该系统包括：
光声复合内窥镜探头，其包括用于同步采集消化道病灶的可见光图像的医用内窥镜摄像头和二维超声图像的医用超声探头；
图像融合单元，其包括位置计算模块、图像三维重建模块和图像配准融合模块，所述位置计算模块用于实时获取医用内窥镜摄像头和医用超声探头之间的位置关系P；所述图像三维重建模块用于利用二维超声图像序列获取体数据并对体数据进行三维重建生成三维超声图像；所述图像配准融合模块用于将三维超声图像投影到可见光图像所在的二维坐标系中，并与可见光图像叠加进行图像融合得到融合图像；
以及图像显示模块，其用于分别独立显示采集的可见光图像和二维超声图像、重建得到的三维超声图像以及可见光图像与三维超声图像融合得到的融合图像。
本发明还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是：
本发明在不增加探头的情况下，能够通过短时间扫描完成快速的超声-可见光图像采集和融合，可用于辅助医生诊断，能减少医生的工作量，降低诊断时间，并提高诊断准确率；
本发明采用多通道独立输出，同时输出超声图像、可见光图像和融合图像，画面互不干扰，直观清晰。
本上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
图1为本发明的消化道超声内窥镜图像融合方法的流程图；
图2为本发明中进行三维重建生成三维超声图像的流程图；
图3为本发明的消化道超声内窥镜图像融合系统的原理框图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
参照图1，一种消化道超声内窥镜图像融合方法，包括以下步骤：
S1、通过医用内窥镜摄像头获取病灶的可见光图像，并通过医用超声探头同步获取病灶相同位置处的二维超声图像；
S2、实时获取医用内窥镜摄像头和医用超声探头之间的位置关系P；
具体为：在医用内窥镜摄像头和医用超声探头进行图像采集前标定两者的初始位置，获得初始的坐标转换矩阵W，对病灶进行探测时，实时获取超声探头电机编码器的值计算得到运动位移和角度信息，从而得到医用超声探头的坐标，并更新坐标转换矩阵W，获得当前医用内窥镜摄像头和医用超声探头之间的位置关系P。
S3、利用二维超声图像序列获取体数据，对体数据进行三维重建生成三维超声图像；
参照图2，具体步骤包括：
S3-1、图像格式转换：将二维超声图像序列按时序间隔和扫描位置对齐后进行堆叠、转码，生成DICOM超声体数据；
S3-2、光线交点求取：利用光线投射，让光线穿透所有体素，然后利用三线性插值计算最终的数据点位置；
S3-3、计算方向梯度：方向梯度通过中心差分操作计算得到，其计算方式为：
其中，Gx、Gy、Gz为x，y，z三轴方向上的梯度结果，C(i+1,j,k)为坐标(i+1,j,k)处点的颜色值，Δx、Δy、Δz为两像素在x，y，z三轴方向上的距离值；
S3-4、数据值分类：根据数据点的灰度值Gray和梯度G计算对应的颜色值C和不透明度值A；计算公式为：
其中，M为系数。
S3-5、数据重采样与合成：根据光线的方向对所有数据点进行采样，通过计算获得的颜色和不透明度按照从后向前的顺序对光线上的采样点进行合成，获得三维超声图像；合成的方式为：
Ci＝(1-A(Pi))Ci+1+C(Pi)；
Ai＝(1-A(Pi))Ai+1+A(Pi)；
其中，A(Pi)、C(Pi)为步骤S3-4中计算得到的当前位置点的不透明度和颜色值，Ci+1、Ai+1为后向位置点的不透明度和颜色值合成结果，Ci、Ai为当前位置的不透明度和颜色值合成结果。
S4、将三维超声图像投影到可见光图像所在的二维坐标系中，与可见光图像叠加进行图像融合，得到融合图像。
具体包括：
S4-1、3D-2D投影：首先初始化3D-2D投影矩阵，利用投影矩阵将三维超声图像投影至二维平面，将得到的2D图像与二维超声图像配准，获得配准后的2D图像；
S4-2、重投影矩阵计算：根据前一时刻医用内窥镜摄像头和医用超声探头之间的相对位置，更新内窥镜摄像头和超声探头的位置关系P，根据位置关系P获取医用内窥镜摄像头的2D坐标系到医用超声探头的3D坐标系的重投影矩阵A2D-3D，将配准后的2D图像重投影至医用超声探头的3D坐标系，得到重投影3D超声图像；
S4-3、重投影误差计算：计算重投影3D超声图像中的重投影点与三维超声图像中对应的原始点之间的空间坐标误差，即重投影误差，将该重投影误差求导，根据导数方向迭代优化，重复步骤S4-1和S4-2，直至重投影误差小于设定的阈值为止，获得此时的3D-2D投影矩阵A3D-2D；
S4-4、3D-2D图像融合：利用迭代求得的3D-2D投影矩阵A3D-2D将三维超声图像投影到可见光图像所在的二维坐标系中，与二维可见光图像叠加进行图像融合，得到融合图像。
实施例2
参照图3，本实施例提供一种消化道超声内窥镜图像融合系统，其采用实施例1的方法进行消化道超声图像和内窥镜图像的融合，该系统包括：
光声复合内窥镜探头，其包括用于同步采集消化道病灶的可见光图像的医用内窥镜摄像头和二维超声图像的医用超声探头；
图像融合单元，其包括位置计算模块、图像三维重建模块和图像配准融合模块，位置计算模块用于实时获取医用内窥镜摄像头和医用超声探头之间的位置关系P；图像三维重建模块用于利用二维超声图像序列获取体数据并对体数据进行三维重建生成三维超声图像；图像配准融合模块用于将三维超声图像投影到可见光图像所在的二维坐标系中，并与可见光图像叠加进行图像融合得到融合图像；
以及图像显示模块，其用于分别独立显示采集的可见光图像和二维超声图像、重建得到的三维超声图像以及可见光图像与三维超声图像融合得到的融合图像。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现实施例1的方法。
本实施例还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现实施例1的方法。
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。
Claims (10)
1.一种消化道超声内窥镜图像融合方法，其特征在于，包括以下步骤：
S1、通过医用内窥镜摄像头获取病灶的可见光图像，并通过医用超声探头获取病灶相同位置处的二维超声图像；
S2、实时获取医用内窥镜摄像头和医用超声探头之间的位置关系P；
S3、利用二维超声图像序列获取体数据，对体数据进行三维重建生成三维超声图像；
S4、将三维超声图像投影到可见光图像所在的二维坐标系中，与可见光图像叠加进行图像融合，得到融合图像。
2.根据权利要求1所述的消化道超声内窥镜图像融合方法，其特征在于，所述步骤S2具体为：
在医用内窥镜摄像头和医用超声探头进行图像采集前标定两者的初始位置，获得初始的坐标转换矩阵W，对病灶进行探测时，实时获取医用超声探头的坐标，并更新坐标转换矩阵W，获得当前医用内窥镜摄像头和医用超声探头之间的位置关系P。
3.根据权利要求2所述的消化道超声内窥镜图像融合方法，其特征在于，所述步骤S3具体包括：
S3-1、图像格式转换：将二维超声图像序列按时序间隔和扫描位置对齐后进行堆叠、转码，生成DICOM超声体数据；
S3-2、光线交点求取：利用光线投射，让光线穿透所有体素，然后利用三线性插值计算最终的数据点位置；
S3-3、计算方向梯度：方向梯度通过中心差分操作计算得到，其计算方式为：
其中，Gx、Gy、Gz为x，y，z三轴方向上的梯度结果，C(i+1,j,k)为坐标(i+1,j,k)处点的颜色值，Δx、Δy、Δz为两像素在x，y，z三轴方向上的距离值；
S3-4、数据值分类：根据数据点的灰度值Gray和梯度G计算对应的颜色值C和不透明度值A；
S3-5、数据重采样与合成：根据光线的方向对所有数据点进行采样，通过计算获得的颜色和不透明度按照从后向前的顺序对光线上的采样点进行合成，获得三维超声图像。
4.根据权利要求3所述的消化道超声内窥镜图像融合方法，其特征在于，所述步骤S3-4中颜色值C和不透明度值A的计算公式为：
其中，M为系数。
5.根据权利要求4所述的消化道超声内窥镜图像融合方法，其特征在于，所述步骤S3-5中对采样点进行合成的方式为：
Ci＝(1-A(Pi))Ci+1+C(Pi)；
Ai＝(1-A(Pi))Ai+1+A(Pi)；
其中，A(Pi)、C(Pi)为步骤S3-4中计算得到的当前位置点的不透明度和颜色值，Ci+1、Ai+1为后向位置点的不透明度和颜色值合成结果，Ci、Ai为当前位置的不透明度和颜色值合成结果。
6.根据权利要求5所述的消化道超声内窥镜图像融合方法，其特征在于，所述步骤S4具体包括：
S4-1、3D-2D投影：首先初始化3D-2D投影矩阵，利用投影矩阵将三维超声图像投影至二维平面，将得到的2D图像与二维超声图像配准，获得配准后的2D图像；
S4-2、重投影矩阵计算：根据前一时刻医用内窥镜摄像头和医用超声探头之间的相对位置，更新内窥镜摄像头和超声探头的位置关系P，根据位置关系P获取医用内窥镜摄像头的2D坐标系到医用超声探头的3D坐标系的重投影矩阵A2D-3D，将配准后的2D图像重投影至医用超声探头的3D坐标系，得到重投影3D超声图像；
S4-3、重投影误差计算：计算重投影3D超声图像中的重投影点与三维超声图像中对应的原始点之间的空间坐标误差，即重投影误差，将该重投影误差求导，根据导数方向迭代优化，重复步骤S4-1和S4-2，直至重投影误差小于设定的阈值为止，获得此时的3D-2D投影矩阵A3D-2D；
S4-4、3D-2D图像融合：利用迭代求得的3D-2D投影矩阵A3D-2D将三维超声图像投影到可见光图像所在的二维坐标系中，与二维可见光图像叠加进行图像融合，得到融合图像。
7.一种消化道超声内窥镜图像融合系统，其特征在于，其采用如权利要求1-6中任意一项所述的方法进行消化道超声图像和内窥镜图像的融合。
8.根据权利要求7所述的消化道超声内窥镜图像融合系统，其特征在于，该系统包括：
光声复合内窥镜探头，其包括用于同步采集消化道病灶的可见光图像的医用内窥镜摄像头和二维超声图像的医用超声探头；
图像融合单元，其包括位置计算模块、图像三维重建模块和图像配准融合模块，所述位置计算模块用于实时获取医用内窥镜摄像头和医用超声探头之间的位置关系P；所述图像三维重建模块用于利用二维超声图像序列获取体数据并对体数据进行三维重建生成三维超声图像；所述图像配准融合模块用于将三维超声图像投影到可见光图像所在的二维坐标系中，并与可见光图像叠加进行图像融合得到融合图像；
以及图像显示模块，其用于分别独立显示采集的可见光图像和二维超声图像、重建得到的三维超声图像以及可见光图像与三维超声图像融合得到的融合图像。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现如权利要求1-6中任意一项所述的方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211699776.8A CN115953377A (zh) | 2022-12-28 | 2022-12-28 | 消化道超声内窥镜图像融合方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211699776.8A CN115953377A (zh) | 2022-12-28 | 2022-12-28 | 消化道超声内窥镜图像融合方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115953377A true CN115953377A (zh) | 2023-04-11 |
Family
ID=87288877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211699776.8A Pending CN115953377A (zh) | 2022-12-28 | 2022-12-28 | 消化道超声内窥镜图像融合方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953377A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116650022A (zh) * | 2023-08-01 | 2023-08-29 | 湖南科迈森医疗科技有限公司 | 超声与内窥镜图像融合辅助定位子宫病灶的方法及系统 |
-
2022
- 2022-12-28 CN CN202211699776.8A patent/CN115953377A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116650022A (zh) * | 2023-08-01 | 2023-08-29 | 湖南科迈森医疗科技有限公司 | 超声与内窥镜图像融合辅助定位子宫病灶的方法及系统 |
| CN116650022B (zh) * | 2023-08-01 | 2023-11-24 | 湖南科迈森医疗科技有限公司 | 超声与内窥镜图像融合辅助定位子宫病灶的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5153620B2 (ja) | 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム | |
| US10198872B2 (en) | 3D reconstruction and registration of endoscopic data | |
| Soper et al. | Surface mosaics of the bladder reconstructed from endoscopic video for automated surveillance | |
| JP4631057B2 (ja) | 内視鏡システム | |
| EP1743302B1 (en) | System and method for creating a panoramic view of a volumetric image | |
| US8537159B2 (en) | Visualization of voxel data | |
| CA2761844C (en) | Quantitative endoscopy | |
| US8939892B2 (en) | Endoscopic image processing device, method and program | |
| US20070161854A1 (en) | System and method for endoscopic measurement and mapping of internal organs, tumors and other objects | |
| US20130170726A1 (en) | Registration of scanned objects obtained from different orientations | |
| RU2419882C2 (ru) | Способ визуализации секущих плоскостей для изогнутых продолговатых структур | |
| JP2011502687A (ja) | ３ｄ造影超音波を使用する介入ナビゲーション | |
| Bobrow et al. | Colonoscopy 3D video dataset with paired depth from 2D-3D registration | |
| CN110288653B (zh) | 一种多角度超声图像融合方法、系统及电子设备 | |
| CN112150524A (zh) | 一种基于深度学习的二维和三维医学图像配准方法和系统 | |
| JPH11104072A (ja) | 医療支援システム | |
| WO2010081094A2 (en) | A system for registration and information overlay on deformable surfaces from video data | |
| Kumar et al. | Stereoscopic visualization of laparoscope image using depth information from 3D model | |
| CN115953377A (zh) | 消化道超声内窥镜图像融合方法和系统 | |
| Ben-Hamadou et al. | Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept | |
| Yang et al. | A lumen-adapted navigation scheme with spatial awareness from monocular vision for autonomous robotic endoscopy | |
| CN116993805A (zh) | 面向手术规划辅助的术中剩余器官体积估计系统 | |
| CN115245302A (zh) | 一种基于内窥镜图像重建三维场景的系统和方法 | |
| Shoji et al. | Camera motion tracking of real endoscope by using virtual endoscopy system and texture information | |
| Vogt | Augmented light field visualization and real-time image enhancement for computer assisted endoscopic surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |