CN109801368A - 一种显微镜术野光场图像融合显示方法及装置 - Google Patents
一种显微镜术野光场图像融合显示方法及装置 Download PDFInfo
- Publication number
- CN109801368A CN109801368A CN201910143379.4A CN201910143379A CN109801368A CN 109801368 A CN109801368 A CN 109801368A CN 201910143379 A CN201910143379 A CN 201910143379A CN 109801368 A CN109801368 A CN 109801368A
- Authority
- CN
- China
- Prior art keywords
- image
- microsope image
- microsope
- scaling
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 6
- 210000003484 anatomy Anatomy 0.000 claims description 12
- 238000005481 NMR spectroscopy Methods 0.000 claims description 6
- 238000002591 computed tomography Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 13
- 238000001356 surgical procedure Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 4
- 238000001000 micrograph Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 235000007926 Craterellus fallax Nutrition 0.000 description 2
- 240000007175 Datura inoxia Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
Abstract
本发明公开了一种显微镜术野光场图像融合显示方法及装置，属于图像处理技术领域，包括：获取术前的非显微镜图像；获取术中的显微镜图像；根据显微镜图像的尺寸和非显微镜图像，计算缩放比例，根据缩放比例生成与显微镜图像尺寸相同的新非显微镜图像；根据显微镜图像计算非显微镜图像的矢量方向；分别对显微镜图像、新非显微镜图像中的目标病灶建立三维模型；采用最近点迭代法，根据缩放比例、非显微镜图像的矢量方向，对新非显微镜图像和显微镜图像三维模型进行配准操作，得到配准结果；根据新非显微镜图像和显微镜图像的配准结果，进行新显微镜图像实时图像融合，生成并显示融合后的显微图像。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种显微镜术野光场图像融合显示方法及装置。
背景技术
手术显微镜的发明推动着外科手术的伟大变革，显微手术已经被广泛应用于脑科、眼科、耳鼻喉科等临床外科。然而传统光学显微镜的种种限制，已经不能满足现代显微外科的新需求。随着视频影像技术的发展，基于手术显微镜的影像系统给我们带来了新的思路。手术显微系统可以实时的将手术画面显示在数字监视器上。
本发明人发现，现有技术中单纯的依赖显微镜进行手术，使得手术操作更为依赖经验、手术操作过程中可参考资料匮乏，不利于手术的快速、顺利进展。
发明内容
为此，本发明实施例提供一种显微镜术野光场图像融合显示方法及装置，以解决现有技术中的问题。
为了实现上述目的，本发明的实施方式提供如下技术方案：
在本发明的实施方式的第一方面中，提供了一种显微镜术野光场图像融合显示方法，包括：
获取术前的非显微镜图像；
获取术中的显微镜图像；
根据所述显微镜图像的尺寸和所述非显微镜图像，计算缩放比例，根据所述缩放比例生成与所述显微镜图像尺寸相同的新非显微镜图像；
根据所述显微镜图像计算所述非显微镜图像的矢量方向；
分别对所述显微镜图像、所述新非显微镜图像中的目标病灶建立三维模型；
采用最近点迭代法，根据所述缩放比例、所述非显微镜图像的矢量方向，对所述新非显微镜图像和所述显微镜图像三维模型进行配准操作，得到配准结果；
根据所述新非显微镜图像和所述显微镜图像的配准结果，进行新显微镜图像实时图像融合，生成并显示融合后的显微图像。
在本发明另一实施例中，所述获取术前的非显微镜图像，包括：
获取术前电子计算机断层扫描、核磁共振图像，对图像中的目标病灶或解剖结构进行分割，生成若干术前非显微镜分割图像，将其作为术前的非显微镜图像。
在本发明另一实施例中，所述获取术中的显微镜图像，包括：
获取术中的显微镜采集到的图像，并从中获取目标病灶或解剖结构，对目标病灶或解剖结构进行分割，生成若干分割图像，将其作为术中的显微镜图像。
在本发明另一实施例中，所述根据所述显微镜图像的尺寸和所述非显微镜图像，计算缩放比例，包括：
计算所述显微镜图像中每个像素所表示的实际距离，即显微镜图像像素实际距离，计算非显微镜图像中每个体素所表示的实际距离，即非显微镜图像体素实际距离，将所述非显微镜图像体素实际距离与所述显微镜图像像素实际距离做除法运算，将得到的计算结果作为非显微镜图像的缩放比例。
在本发明另一实施例中，所述根据所述缩放比例生成与所述显微镜图像尺寸相同的新非显微镜图像，包括：
根据所述缩放比例对所述非显微镜图像进行插值处理，得到与所述显微镜图像尺寸统一的影像，即新非显微镜图像。
在本发明另一实施例中，所述根据所述显微镜图像计算所述非显微镜图像的矢量方向，包括：
分别从所述显微镜图像、所述非显微镜图像中，获取两个相对应的特征点，对所述特征点计算矢向量的方向。
在本发明另一实施例中，所述采用最近点迭代法，根据所述缩放比例、所述非显微镜图像的矢量方向，对所述新非显微镜图像和所述显微镜图像三维模型进行配准操作，得到配准结果，包括：
分别将所述新非显微镜图像和所述显微镜图像三维点云进行平面投影，并建立新非显微镜图像二维坐标系和显微镜图像二维坐标系；采用最近点迭代法，根据所述缩放比例，在所述新非显微镜图像二维坐标系和显微镜图像二维坐标系中，获取所述新非显微镜图像和显微镜图像的匹配点，根据所述非显微镜图像的矢量方向对所述匹配点进行配准，得到配准结果。
在本发明的实施方式的第二方面中，提供了一种显微镜术野光场图像融合显示装置，包括：
术前图像获取模块，用于获取术前的非显微镜图像；
术中图像获取模块，用于获取术中的显微镜图像；
图像缩放模块，用于根据所述显微镜图像的尺寸和所述非显微镜图像，计算缩放比例，根据所述缩放比例生成与所述显微镜图像尺寸相同的新非显微镜图像；
矢量计算模块，用于根据所述显微镜图像计算所述非显微镜图像的矢量方向；
模型建立模块，用于分别对所述显微镜图像、所述新非显微镜图像中的目标病灶建立三维模型；
配准模块，用于采用最近点迭代法，根据所述缩放比例、所述非显微镜图像的矢量方向，对所述新非显微镜图像和所述显微镜图像三维模型进行配准操作，得到配准结果；
融合模块，用于根据所述新非显微镜图像和所述显微镜图像的配准结果，进行新显微镜图像实时图像融合，生成并显示融合后的显微图像。
在本发明另一实施例中，所述术前图像获取模块，用于获取术前电子计算机断层扫描、核磁共振图像，对图像中的目标病灶或解剖结构进行分割，生成若干术前非显微镜分割图像，将其作为术前的非显微镜图像。
在本发明的实施方式的第三方面中，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序用于实现如上所述的显微镜术野光场图像融合显示方法。
根据本发明的实施方式，具有如下优点：通过计算缩放比例，对非显微镜图像生成与显微镜图像尺寸相同的新非显微镜图像，分别对显微镜图像、新非显微镜图像中的目标病灶建立三维模型，使得显微镜图像和新非显微镜图像中的目标病灶在三维空间中呈现，对新非显微镜图像和显微镜图像三维模型进行配准，然后，新显微镜图像实时图像融合，生成并显示融合后的显微图像。使得手术操作不仅仅依靠显微镜图像，还可以参考非显微镜图像，在本发明中，通过将新非显微镜图像和显微镜图像三维模型进行配准、新显微镜图像实时图像融合，使得开展手术操作的医护人员可以参考融合后的显微图像进行手术，手术参考图像更为丰富和直观。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明的一实施例提供的一种显微镜术野光场图像融合显示方法流程图；
图2为本发明的另一实施例提供的一种显微镜术野光场图像融合显示装置。
图中：401为术前图像获取模块，402为术中图像获取模块，403为图像缩放模块，404为矢量计算模块，405为模型建立模块，406为配准模块，407为融合模块。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明第一方面，提供一种显微镜术野光场图像融合显示方法，如图1所示，包括：
步骤201：获取术前的非显微镜图像；
在本发明实施例中，获取术前电子计算机断层扫描CT、核磁共振MR影像三维信息，根据需要对图像中的目标病灶或解剖结构进行分割，生成若干术前非显微镜分割图像，将其作为非显微镜图像。
步骤202：获取术中的显微镜图像；
在本发明实施例中，获取术中的显微镜采集到的图像，并从中获取目标病灶或解剖结构，对目标病灶或解剖结构进行分割，生成若干分割图像，将其作为显微镜图像。
步骤203：根据显微镜图像的尺寸和非显微镜图像，计算缩放比例，根据缩放比例生成与显微镜图像尺寸相同的新非显微镜图像；
在本发明实施例中，计算显微镜图像中每个像素所表示的实际距离，即显微镜图像像素实际距离a，计算非显微镜图像中每个体素所表示的实际距离，即非显微镜图像体素实际距离b，将非显微镜图像体素实际距离b与显微镜图像像素实际距离a做除法运算，将得到的结算结果即模态图像比例，作为非显微镜图像的缩放比例。根据缩放比例对非显微镜图像进行插值处理，得到与显微镜图像尺寸统一的影像，即新非显微镜图像。以使得新非显微镜图像尺寸与显微镜图像的尺寸一致。
步骤204：根据显微镜图像计算非显微镜图像的矢量方向；
在本发明实施例中，分别从显微镜图像、非显微镜图像中，获取两个相对应的特征点，对特征点计算矢向量的方向，以及对矢向量求夹角，进行旋转操作，得到旋转矩阵，使得非显微镜图像的方向与显微镜图像方向一致。
步骤205：分别对显微镜图像、新非显微镜图像中的目标病灶建立三维模型；
在本发明实施例中，分别对新非显微镜图像、显微镜图像的点云模型或者mesh模型进行三维重建。根据新非显微镜图像多层的效果获取三维重建所需的深度信息，再基于该深度信息构建新非显微镜图像的点云模型或者mesh模型，进行三维重建。根据双目视觉计算得到显微镜图像三维重建时的深度信息，再基于该深度信息构建纤维镜图像的点云模型或者mesh模型，进行三维重建。
步骤206：采用最近点迭代法，根据缩放比例、非显微镜图像的矢量方向，对新非显微镜图像和显微镜图像三维点云配准操作，得到配准结果；
在本发明实施例中，1)分别将术前非显微镜图像和术中显微镜图像三维点云进行平面投影，以使三维信息降维成二维信息；2)为非显微镜图像三维点云在平面投影建立坐标系为I(i，j),为显微镜图像三维点云在平面投影建立坐标系为J(u，v)。3)获取非显微镜图像和显微镜图像的匹配点，具体方法如下：
其中，Rinc表示旋转矩阵，tinc表示平移矩阵，k表示缩放比例。4)进行刚性配准：
其中，N(u，v)为矢量方向，求解Rinc和tinc获取配准误差E最小时的最优解。
5)进行刚性配准的约束条件如下：
a：显微镜投影坐标系中存在需要配准的点：
mask(u，v)＝1；
b：相对应点的距离εd不能过大：
其中，εd表示对应点间距离的阈值。
c：两幅点云的矢量方向夹角εθ不能过大：
<Rg，k-1N(u，v)，Ng，k-1(u，v)>＜εθ；
其中，Rg，k-1表示在全局坐标系中的第k-1次的旋转矩阵，Ng，k-1表示在全局坐标系中的第k-1次变换后的矢量方向，εθ表示点云矢量夹角的阈值。
6)求解完成更新优化参数：
Rg，k＝RincRg，k-1；
tg，k＝tinc+tg，k-1；
其中，Rg，k表示在全局坐标系中的第k次旋转的矩阵，tg，k表示在全局坐标系中的第k次平移矩阵。
迭代重复3)至6)步，直至E达到最小约束条件，或者迭代次数达到要求停止。
步骤207：根据新非显微镜图像和显微镜图像的配准结果，进行新显微镜图像实时图像融合，生成并显示融合后的显微图像；
在本发明实施例中，1)能量函数为：
其中，D(J，Iu；u)表示显微镜重建图像J和CT/MR重建图像I的相似度，u表示两个重建图像之间的形变场矩阵，qi是对应于u的诺依曼边界条件的离散余弦变换的基。
2)形变场更新优化：
其中DCT和IDCT分别表示离散余弦变换和离散余弦反变换，K表示拉普拉斯算子的特征值，其中i表示所有需要计算的点，γ是步长参数，ω为权重。3)迭代重复1)至2)步，直至E达到最小约束条件，或者迭代次数达到要求停止。
在本发明第二方面，提供一种显微镜术野光场图像融合显示装置，如图2所示，包括：
术前图像获取模块401，用于获取术前的非显微镜图像；
在本发明实施例中，术前图像获取模块401，用于获取术前电子计算机断层扫描、核磁共振图像，对图像中的目标病灶或解剖结构进行分割，生成若干术前非显微镜分割图像，将其作为术前的非显微镜图像。
术中图像获取模块402，用于获取术中的显微镜图像；
在本发明实施例中，术中图像获取模块402，用于获取术中的显微镜采集到的图像，并从中获取目标病灶或解剖结构，对目标病灶或解剖结构进行分割，生成若干分割图像，将其作为术中的显微镜图像。
图像缩放模块403，用于根据所述显微镜图像的尺寸和所述非显微镜图像，计算缩放比例，根据所述缩放比例生成与所述显微镜图像尺寸相同的新非显微镜图像；
在本发明实施例中，图像缩放模块403，用于计算所述显微镜图像中每个像素所表示的实际距离，即显微镜图像像素实际距离，计算非显微镜图像中每个体素所表示的实际距离，即非显微镜图像体素实际距离，将所述非显微镜图像体素实际距离与所述显微镜图像像素实际距离做除法运算，将得到的计算结果作为非显微镜图像的缩放比例。根据所述缩放比例对所述非显微镜图像进行插值处理，得到与所述显微镜图像尺寸统一的影像，即新非显微镜图像。
矢量计算模块404，用于根据所述显微镜图像计算所述非显微镜图像的矢量方向；
在本发明实施例中，矢量计算模块404，用于分别从所述显微镜图像、所述非显微镜图像中，获取两个相对应的特征点，对所述特征点计算矢向量的方向。
模型建立模块405，用于分别对所述显微镜图像、所述新非显微镜图像中的目标病灶建立三维模型；
在本发明实施例中，模型建立模块405分别对所述显微镜图像、所述新非显微镜图像中的目标病灶建立三维模型，以使得术中的显微镜图像、以及术前的新非显微镜图像中的目标病灶能够在三维空间中立体呈现。
配准模块406，用于采用最近点迭代法，根据所述缩放比例、所述非显微镜图像的矢量方向，对所述新非显微镜图像和所述显微镜图像三维模型进行配准操作，得到配准结果；
在本发明实施例中，配准模块406，用于分别将所述新非显微镜图像和所述显微镜图像三维点云进行平面投影，并建立新非显微镜图像二维坐标系和显微镜图像二维坐标系；采用最近点迭代法，根据所述缩放比例，在所述新非显微镜图像二维坐标系和显微镜图像二维坐标系中，获取所述新非显微镜图像和显微镜图像的匹配点，根据所述非显微镜图像的矢量方向对所述匹配点进行配准，得到配准结果。配准模块406，具体用于以下操作：
1)分别将术前非显微镜图像和术中显微镜图像三维点云进行平面投影，以使三维信息降维成二维信息；2)为非显微镜图像三维点云在平面投影建立坐标系为I(i，j)，为显微镜图像三维点云在平面投影建立坐标系为J(u，v)。3)获取非显微镜图像和显微镜图像的匹配点，具体方法如下：
其中，Rinc表示旋转矩阵，tinc表示平移矩阵，k表示缩放比例。4)进行刚性配准：
其中，N(u，v)为矢量方向，求解Rinc和tinc获取配准误差E最小时的最优解。
5)进行刚性配准的约束条件如下：
a：显微镜投影坐标系中存在需要配准的点：
mask(u，v)＝1；
b：相对应点的距离εd不能过大：
其中，εd表示对应点间距离的阈值。
c：两幅点云的矢量方向夹角εθ不能过大：
<Rg，k-1N(u，v)，Ng，k-1(u，v))＜εθ；
其中，Rg，k-1表示在全局坐标系中的第k-1次的旋转矩阵，Ng，k-1表示在全局坐标系中的第k-1次变换后的矢量方向，εθ表示点云矢量夹角的阈值。
6)求解完成更新优化参数：
Rg，k＝RincRg，k-1；
tg，k＝tinc+tg，k-1；
其中，Rg，k表示在全局坐标系中的第k次旋转的矩阵，tg，k表示在全局坐标系中的第k次平移矩阵。
迭代重复3)至6)步，直至E达到最小约束条件，或者迭代次数达到要求停止。
融合模块407，用于根据所述新非显微镜图像和所述显微镜图像的配准结果，进行新显微镜图像实时图像融合，生成并显示融合后的显微图像。
在本发明实施例中，融合模块407，具体用于1)能量函数为：
其中，D(J，Iu；u)表示显微镜重建图像J和CT/MR重建图像I的相似度，u表示两个重建图像之间的形变场矩阵，qi是对应于u的诺依曼边界条件的离散余弦变换的基。
2)形变场更新优化：
其中DCT和IDCT分别表示离散余弦变换和离散余弦反变换，K表示拉普拉斯算子的特征值，其中i表示所有需要计算的点，γ是步长参数，ω为权重。
3)迭代重复1)至2)步，直至E达到最小约束条件，或者迭代次数达到要求停止。
在本发明中，通过计算缩放比例，对非显微镜图像生成与显微镜图像尺寸相同的新非显微镜图像，分别对显微镜图像、新非显微镜图像中的目标病灶建立三维模型，使得显微镜图像和新非显微镜图像中的目标病灶在三维空间中呈现，对新非显微镜图像和显微镜图像三维模型进行配准，然后，新显微镜图像实时图像融合，生成并显示融合后的显微图像。使得手术操作不仅仅依靠显微镜图像，还可以参考非显微镜图像，在本发明中，通过将新非显微镜图像和显微镜图像三维模型进行配准、新显微镜图像实时图像融合，使得开展手术操作的医护人员可以参考融合后的显微图像进行手术，手术参考图像更为丰富和直观。
在本发明第三方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序用于实现如上所述的显微镜术野光场图像融合显示方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种显微镜术野光场图像融合显示方法，其特征在于，包括：
获取术前的非显微镜图像；
获取术中的显微镜图像；
根据所述显微镜图像的尺寸和所述非显微镜图像，计算缩放比例，根据所述缩放比例生成与所述显微镜图像尺寸相同的新非显微镜图像；
根据所述显微镜图像计算所述非显微镜图像的矢量方向；
分别对所述显微镜图像、所述新非显微镜图像中的目标病灶建立三维模型；
采用最近点迭代法，根据所述缩放比例、所述非显微镜图像的矢量方向，对所述新非显微镜图像和所述显微镜图像三维模型进行配准操作，得到配准结果；
根据所述新非显微镜图像和所述显微镜图像的配准结果，进行新显微镜图像实时图像融合，生成并显示融合后的显微图像。
2.如权利要求1所述的方法，其特征在于，所述获取术前的非显微镜图像，包括：
获取术前电子计算机断层扫描、核磁共振图像，对图像中的目标病灶或解剖结构进行分割，生成若干术前非显微镜分割图像，将其作为术前的非显微镜图像。
3.如权利要求1所述的方法，其特征在于，所述获取术中的显微镜图像，包括：
获取术中的显微镜采集到的图像，并从中获取目标病灶或解剖结构，对目标病灶或解剖结构进行分割，生成若干分割图像，将其作为术中的显微镜图像。
4.如权利要求1所述的方法，其特征在于，所述根据所述显微镜图像的尺寸和所述非显微镜图像，计算缩放比例，包括：
计算所述显微镜图像中每个像素所表示的实际距离，即显微镜图像像素实际距离，计算非显微镜图像中每个体素所表示的实际距离，即非显微镜图像体素实际距离，将所述非显微镜图像体素实际距离与所述显微镜图像像素实际距离做除法运算，将得到的计算结果作为非显微镜图像的缩放比例。
5.如权利要求1所述的方法，其特征在于，所述根据所述缩放比例生成与所述显微镜图像尺寸相同的新非显微镜图像，包括：
根据所述缩放比例对所述非显微镜图像进行插值处理，得到与所述显微镜图像尺寸统一的影像，即新非显微镜图像。
6.如权利要求1所述的方法，其特征在于，所述根据所述显微镜图像计算所述非显微镜图像的矢量方向，包括：
分别从所述显微镜图像、所述非显微镜图像中，获取两个相对应的特征点，对所述特征点计算矢向量的方向。
7.如权利要求1所述的方法，其特征在于，所述采用最近点迭代法，根据所述缩放比例、所述非显微镜图像的矢量方向，对所述新非显微镜图像和所述显微镜图像三维模型进行配准操作，得到配准结果，包括：
分别将所述新非显微镜图像和所述显微镜图像三维点云进行平面投影，并建立新非显微镜图像二维坐标系和显微镜图像二维坐标系；采用最近点迭代法，根据所述缩放比例，在所述新非显微镜图像二维坐标系和显微镜图像二维坐标系中，获取所述新非显微镜图像和显微镜图像的匹配点，根据所述非显微镜图像的矢量方向对所述匹配点进行配准，得到配准结果。
8.一种显微镜术野光场图像融合显示装置，其特征在于，包括：
术前图像获取模块，用于获取术前的非显微镜图像；
术中图像获取模块，用于获取术中的显微镜图像；
图像缩放模块，用于根据所述显微镜图像的尺寸和所述非显微镜图像，计算缩放比例，根据所述缩放比例生成与所述显微镜图像尺寸相同的新非显微镜图像；
矢量计算模块，用于根据所述显微镜图像计算所述非显微镜图像的矢量方向；
模型建立模块，用于分别对所述显微镜图像、所述新非显微镜图像中的目标病灶建立三维模型；
配准模块，用于采用最近点迭代法，根据所述缩放比例、所述非显微镜图像的矢量方向，对所述新非显微镜图像和所述显微镜图像三维模型进行配准操作，得到配准结果；
融合模块，用于根据所述新非显微镜图像和所述显微镜图像的配准结果，进行新显微镜图像实时图像融合，生成并显示融合后的显微图像。
9.如权利要求8所述的装置，其特征在于，
所述术前图像获取模块，用于获取术前电子计算机断层扫描、核磁共振图像，对图像中的目标病灶或解剖结构进行分割，生成若干术前非显微镜分割图像，将其作为术前的非显微镜图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序，所述程序用于实现如权利要求1至7所述的显微镜术野光场图像融合显示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910143379.4A CN109801368B (zh) | 2019-02-26 | 2019-02-26 | 一种显微镜术野光场图像融合显示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910143379.4A CN109801368B (zh) | 2019-02-26 | 2019-02-26 | 一种显微镜术野光场图像融合显示方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109801368A true CN109801368A (zh) | 2019-05-24 |
| CN109801368B CN109801368B (zh) | 2023-06-13 |
Family
ID=66561379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910143379.4A Active CN109801368B (zh) | 2019-02-26 | 2019-02-26 | 一种显微镜术野光场图像融合显示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109801368B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101053531A (zh) * | 2007-05-17 | 2007-10-17 | 上海交通大学 | 基于多模式增敏成像融合的早期肿瘤定位跟踪方法 |
| CN101170961A (zh) * | 2005-03-11 | 2008-04-30 | 布拉科成像S.P.A.公司 | 利用显微镜的用于外科手术导航及可视化的方法及设备 |
| JP2010274044A (ja) * | 2009-06-01 | 2010-12-09 | Olympus Corp | 手術支援装置、手術支援方法及び手術支援プログラム |
| DE102012025374A1 (de) * | 2012-12-27 | 2014-07-17 | Mehran Mahvash Mohammadi | Augmented-Reality-System (Erweiterte Realität) durch direkte Bildprojektion für computergestützte und bildgeführte Neurochirurgie |
| CN103948361A (zh) * | 2014-04-14 | 2014-07-30 | 中国人民解放军总医院 | 无标志点的内窥镜定位跟踪方法和系统 |
| US20140241600A1 (en) * | 2013-02-25 | 2014-08-28 | Siemens Aktiengesellschaft | Combined surface reconstruction and registration for laparoscopic surgery |
| US20170296293A1 (en) * | 2015-03-17 | 2017-10-19 | Siu Wai Jacky Mak | Method, system and apparatus for tracking surgical imaging devices |
| CN107330926A (zh) * | 2017-08-25 | 2017-11-07 | 上海嘉奥信息科技发展有限公司 | 一种术中导航系统中的非标记医学图像配准系统及方法 |
| US20180120550A1 (en) * | 2015-04-10 | 2018-05-03 | Lltech Management | Method and system for full-field interference microscopy imaging |
| US20190151043A1 (en) * | 2016-07-12 | 2019-05-23 | Sony Corporation | Image processing device, image processing method, program, and surgical navigation system |
-
2019
- 2019-02-26 CN CN201910143379.4A patent/CN109801368B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170961A (zh) * | 2005-03-11 | 2008-04-30 | 布拉科成像S.P.A.公司 | 利用显微镜的用于外科手术导航及可视化的方法及设备 |
| CN101053531A (zh) * | 2007-05-17 | 2007-10-17 | 上海交通大学 | 基于多模式增敏成像融合的早期肿瘤定位跟踪方法 |
| JP2010274044A (ja) * | 2009-06-01 | 2010-12-09 | Olympus Corp | 手術支援装置、手術支援方法及び手術支援プログラム |
| DE102012025374A1 (de) * | 2012-12-27 | 2014-07-17 | Mehran Mahvash Mohammadi | Augmented-Reality-System (Erweiterte Realität) durch direkte Bildprojektion für computergestützte und bildgeführte Neurochirurgie |
| US20140241600A1 (en) * | 2013-02-25 | 2014-08-28 | Siemens Aktiengesellschaft | Combined surface reconstruction and registration for laparoscopic surgery |
| CN103948361A (zh) * | 2014-04-14 | 2014-07-30 | 中国人民解放军总医院 | 无标志点的内窥镜定位跟踪方法和系统 |
| US20170296293A1 (en) * | 2015-03-17 | 2017-10-19 | Siu Wai Jacky Mak | Method, system and apparatus for tracking surgical imaging devices |
| US20180120550A1 (en) * | 2015-04-10 | 2018-05-03 | Lltech Management | Method and system for full-field interference microscopy imaging |
| US20190151043A1 (en) * | 2016-07-12 | 2019-05-23 | Sony Corporation | Image processing device, image processing method, program, and surgical navigation system |
| CN107330926A (zh) * | 2017-08-25 | 2017-11-07 | 上海嘉奥信息科技发展有限公司 | 一种术中导航系统中的非标记医学图像配准系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈昱,庄天戈: "医学影像中的图像配准和融合技术研究", 中国医疗器械杂志 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109801368B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A practical marker-less image registration method for augmented reality oral and maxillofacial surgery | |
| McJunkin et al. | Development of a mixed reality platform for lateral skull base anatomy | |
| CN108701220B (zh) | 用于处理多模态图像的系统和方法 | |
| US10022199B2 (en) | Registration correction based on shift detection in image data | |
| WO2008091583A2 (en) | Image-based extraction for vascular trees | |
| US11961193B2 (en) | Method for controlling a display, computer program and mixed reality display device | |
| JP5194138B2 (ja) | 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム | |
| Ma et al. | 3D visualization and augmented reality for orthopedics | |
| JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
| Kim et al. | Designing a new endoscope for panoramic-view with focus-area 3D-vision in minimally invasive surgery | |
| JP5721225B2 (ja) | 形状データ生成方法、プログラム及び装置 | |
| CN111445575A (zh) | 威利斯环的图像重建方法、装置、电子设备、存储介质 | |
| Jiang et al. | Skeleton graph-based ultrasound-ct non-rigid registration | |
| CN109801368A (zh) | 一种显微镜术野光场图像融合显示方法及装置 | |
| Gard et al. | Image-based measurement by instrument tip tracking for tympanoplasty using digital surgical microscopy | |
| WO2015053319A1 (ja) | 画像処理装置、及び手術顕微鏡システム | |
| WO2016131955A1 (en) | Automatic 3d model based tracking of deformable medical devices with variable appearance | |
| US7848556B2 (en) | Method and apparatus for calculating a virtual image plane for magnetic resonance imaging | |
| Bayrak et al. | A novel rotation invariant and Manhattan metric–based pose refinement: Augmented reality–based oral and maxillofacial surgery | |
| Tran et al. | Interactive 3D navigation system for image-guided surgery | |
| Grupp et al. | Smooth extrapolation of unknown anatomy via statistical shape models | |
| Dangi et al. | Endocardial left ventricle feature tracking and reconstruction from tri-plane trans-esophageal echocardiography data | |
| Bas et al. | Evaluation of shape from shading surface reconstruction quality for liver phantom | |
| Wang et al. | 3D surgical overlay with markerless image registration using a single camera | |
| Ng et al. | Reducing deformation-augmented reality (AR) in facelift surgery: a theoretical and mathematical study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240311 Address after: 314050 9F, No. 705, Asia Pacific Road, Nanhu District, Jiaxing City, Zhejiang Province Patentee after: ZHEJIANG YANGTZE DELTA REGION INSTITUTE OF TSINGHUA University Country or region after: China Address before: No.152 Huixin Road, Nanhu District, Jiaxing City, Zhejiang Province 314000 Patentee before: ZHEJIANG FUTURE TECHNOLOGY INSTITUTE (JIAXING) Country or region before: China |