CN116402806B - 一种基于组织切片免疫组化图像的三维重建方法、系统 - Google Patents

一种基于组织切片免疫组化图像的三维重建方法、系统 Download PDF

Info

Publication number
CN116402806B
CN116402806B CN202310462042.6A CN202310462042A CN116402806B CN 116402806 B CN116402806 B CN 116402806B CN 202310462042 A CN202310462042 A CN 202310462042A CN 116402806 B CN116402806 B CN 116402806B
Authority
CN
China
Prior art keywords
image
dimensional
image sequence
dimensional reconstruction
immunohistochemical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310462042.6A
Other languages
English (en)
Other versions
CN116402806A (zh
Inventor
吕佳芸
王涛
梁宏斌
戴亿郑
秦帅波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruipu Medical Laboratory Co ltd
Hangzhou Repugene Technology Co ltd
Original Assignee
Hangzhou Ruipu Medical Laboratory Co ltd
Hangzhou Repugene Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruipu Medical Laboratory Co ltd, Hangzhou Repugene Technology Co ltd filed Critical Hangzhou Ruipu Medical Laboratory Co ltd
Priority to CN202310462042.6A priority Critical patent/CN116402806B/zh
Publication of CN116402806A publication Critical patent/CN116402806A/zh
Application granted granted Critical
Publication of CN116402806B publication Critical patent/CN116402806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例涉及医学图像处理技术领域，涉及一种基于组织切片免疫组化图像的三维重建方法、系统。本公开实施例方法包括步骤S01，获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；步骤S02，利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；步骤S03，利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；步骤S04，对配准后的图像进行三维重建。本公开实施例系统基于上述方法实现。本公开实施例具有更为准确的分割算法和配准网络，使三维重建结果边缘更加平滑，移植物和肌肉组织被有效区分。

Description

一种基于组织切片免疫组化图像的三维重建方法、系统
技术领域
本公开的实施例涉及医学图像处理技术领域，尤其涉及一种基于组织切片免疫组化图像的三维重建方法、系统。
背景技术
随着计算视觉技术的快速发展，三维重建(3D Reconstruction,简称3DR)成为了医学图像处理领域中一个重要研究方向，三维重建技术是通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。三维重建的核心思想是从二维图像恢复三维结构。
传统的图像序列的三维重建指利用断层扫描(CT)、核磁共振(MRI)等技术获得的数据，通过软件算法实现三维立体效果可在电脑上显示出人体组织结构和器官分布，但是对于免疫组化图像序列的三维重建，目前在该方面的研究很少，虽然临床医学中的图像三维重建也需要经过图像预处理、分割、配准以及三维重建等方式实现，但分割方法、配准技术都各不相同。第一方面，因为利用断层扫描(CT)、核磁共振(MRI)等技术获得的数据图像中的目标与背景有明显的区分，为此可利用传统分割方法进行分割；而免疫组化图像中移植物分布在肌肉组织的内部，并且与背景颜色很接近，传统方法不易将其移植物、肌肉组织以及背景分割出来。第二方面，免疫组化切片序列间由于内外部因素的影响导致切片发生位移，传统配准方法的配准效果并不理想，存在图像发生特别大的形变，而没有一定的容忍度。
发明内容
本公开的实施例提供了一种基于组织切片免疫组化图像的三维重建方法、系统，旨在解决上述问题以及其他潜在的问题中的一个或多个。
为实现上述目的，提供以下技术方案：
根据本公开的第一方面，提供了一种基于组织切片免疫组化图像的三维重建方法，包括：
步骤S01，获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；
步骤S02，利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；
步骤S03，利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；
步骤S04，对配准后的图像进行三维重建。
本公开实施例利用图像分割模型进行图像分割，并利用残差网络进行图像配准，最终三维重建结果边缘更加平滑，移植物和肌肉组织区分度明显。
本公开实施例通过将原始二维图像转换成三维立体结构，当其应用于医用时，医生无需基于二维图像来想象三维结构，可直接获得三维立体结构，能够从多角度、多层次地观察移植物分布在肌肉组织的位置分布及形态，大大提高了医生的工作效率。
在一些实施例中，所述步骤S01中的预处理包括：对原始图像序列进行格式转换、归一化处理和图像标注；所述图像标注包括对图像中的移植物和肌肉组织以标签形式标注。
在一些实施例中，所述步骤S02包括：
步骤S21，获取步骤S01处理后的带标签的图像序列和不带标签的图像序列；
步骤S22，将上述带标签的图像序列和不带标签的图像序列输入图像分割模型训练，利用训练后的图像分割模型来预测出移植物、肌肉组织和背景所在区域。
在一些实施例中，所述步骤S02还包括，对二维图像序列中未分割的部分进行异常点提取，将异常点填充为背景标签。
在一些实施例中，所述异常点提取过程如下：获取二维图像序列中未分割的部分，并将其与带标签的图像序列进行比对，以获得异常点；之后，将异常点填充为背景标签。
在一些实施例中，所述步骤S03包括：
步骤S31，将经步骤S02处理后的二维图像序列在特定步长内进行特征融合提取，以获得待配准图像和参考图像；
步骤S32，将步骤S31中待配准图像和参考图像输入残差网络进行训练，以获得训练好的残差网络；
步骤S33，利用奇偶交变配准准则，从步骤S02处理后的二维图像序列中获得待配准图像和参考图像，并将其输入到步骤S32训练好的残差网络中，残差网络输出配准后的图像序列。
在一些实施例中，所述步骤S04还包括：在三维重建前，对配准后的图像序列在其不连续序列间进行虚拟插值，以使得图像序列连续。
在一些实施例中，方法还包括步骤S05，基于步骤S04重建的三维切片的像素值计算切片面积，并结合切片厚度计算移植物和/或肌肉组织的体积。
本公开实施例还能基于重建的三维结构快速准确地提取移植物和/或肌肉组织的体积，并将体积数据输出，为用户提供了三维结构的同时和能输出辅助诊断的数据，从而提高了工作效率，降低了误诊漏诊率。
在一些实施例中，所述组织切片免疫组化的原始图像序列为KFB文件格式的图像。
根据本公开的第二方面，提供了一种基于组织切片免疫组化图像的三维重建系统，包括：
预处理模块，用于获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；
图像分割模块，用于利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；
图像配准模块，用于利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；
三维重建模块，用于对配准后的图像进行三维重建。
在一些实施例中，系统还包括体积输出模块，用于基于重建的三维切片的像素值计算切片面积，并结合切片厚度计算移植物和/或肌肉组织的体积。
附图说明
通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出本公开的若干实施例。
图1示出本公开实施例的一种基于组织切片免疫组化图像的三维重建方法一示例的流程图；
图2示出本公开实施例的一种基于组织切片免疫组化图像的三维重建方法另一示例的流程图；
图3示出图1或图2中组织切片免疫组化的原始图像序列的示例图；
图4示出图1或图2中图像分割后的二维图像序列的示例图；
图5示出图1或图2中图像配准后的二维图像序列的示例图；
图6示出图1或图2中三维重建输出的三维图像的切片示例图；
图7示出依据本公开实施例的一种基于组织切片免疫组化图像的三维重建方法实施的具体示例图；
图8示出本公开实施例的一种基于组织切片免疫组化图像的三维重建系统的框架图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。
临床医学中的图像三维重建需要经过图像预处理、分割、配准以及三维重建等方式实现。现有技术的三维重建数据基于断层扫描(CT)、核磁共振(MRI)等技术获得的数据，其数据能将目标与背景明显区分，基于此数据利用现有分割技术分割是很容易的。而对于免疫组化图像而言，其移植物分布在肌肉组织的内部，一般利用全自动数字病理切片(KFBIO)扫描仪获得，获得的目标与背景颜色很接近，利用现有分割技术难以准确区分。并且，免疫组化切片序列间由于内外部因素的影响导致切片发生位移，传统的配准方法也无法理想配准。
基于此，本公开实施例提供一种基于组织切片免疫组化图像的三维重建方法，利用图像分割模型和残差网络进行精准分割和配准，以重建区分度明显的三维结构。
图1示出了本公开实施例的一种基于组织切片免疫组化图像的三维重建方法一示例的流程图。如图1，本公开实施例的方法包括：
步骤S01，获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；
步骤S02，利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；
步骤S03，利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；
步骤S04，对配准后的图像进行三维重建。
本公开实施例的方法在实施前，需要将移植物注射到某动物的肌肉组织(本公开实施例所用附图基于猴子腹部肌肉组织为例)中。注射后并不知道移植物扩散到肌肉组织的什么位置，也无法评估移植物总体积发生怎样的变化。为此，需将注射移植物的肌肉组织切片进行免疫组化染色，利用全自动数字病理切片扫描仪扫描，获得扫描图像的切片序列，即步骤S01获取的组织切片免疫组化的原始图像序列(参见图3)。
所述方法由配置有上述方法的控制端执行。所述控制端可以是PC端或中控端或移动端。
在步骤S01中，所述预处理包括：对原始图像序列进行格式转换、归一化处理和图像标注；所述图像标注包括对图像中的移植物和肌肉组织以标签形式标注。例如，利用Lableme图片标注工具，人工根据经验对图像进行标注；也可以建立标注好的数据库，通过自动比对方式进行自动标注。
所述步骤S02执行图像分割。具体地，所述步骤S02包括：
步骤S21，获取步骤S01处理后的带标签的图像序列和不带标签的图像序列；
步骤S22，将上述带标签的图像序列和不带标签的图像序列输入图像分割模型训练，利用训练后的图像分割模型来预测出移植物、肌肉组织和背景所在区域。
在步骤S21中，所述不带标签的图像序列为仅进行格式转换、归一化处理后的图像序列；所述带标签的图像序列为进行格式转换、归一化处理、图像标注后的图像序列。
在执行步骤S22前，先需要对图像分割模型进行训练。所述图像分割模型是一种基于深度学习的卷积神经网络模型，用于对图像进行像素级别的分割。分割过程是通过将图像分别经过一系列的卷积、池化、上采样等操作，最终得到预测的像素级别的分割结果。在该模型中，识别移植物、肌肉组织以及背景三个部分是基于其训练过程中赋予给不同部分的标签进行的。
所述图像分割模型优选为Unet++图像分割模型，其具有较高的分割准确率和良好的泛化能力。在移植物、肌肉组织以及背景三个不同部分中，每个部分都有其对应的标签。在训练过程中，模型通过对这些标签进行学习，逐步理解移植物、肌肉组织以及背景三个部分的特征。采用交叉熵损失函数CrossEntropyLoss()，主要是用来判定实际的输出与期望的输出的接近程度。通过不断迭代，使模型对移植物和肌肉组织分割的鲁棒性更好。当迭代一定次数或者收敛达到预设值时，即完成模型训练。
之后，执行步骤S22，通过训练好的图像分割模型输出分割结果(参见图4)。
所述步骤S03执行图像配准步骤，所述步骤S03具体包括：
步骤S31，将经步骤S02处理后的二维图像序列在特定步长内进行特征融合提取，以获得待配准图像和参考图像；
步骤S32，将步骤S31中待配准图像和参考图像输入残差网络进行训练，以获得训练好的残差网络；
步骤S33，利用奇偶交变配准准则，从步骤S02处理后的二维图像序列中获得待配准图像和参考图像，并将其输入到步骤S32训练好的残差网络中，残差网络输出配准后的图像序列。
当图像序列有编号1，2，3，…，N切片序列时，当设定步长为step(例如为3，但不限于此数值)时，可每隔3张图进行一次配准。也就是说，编号1、2、3以编号1为参考图像，编号2、3为待配准图像；编号4、5、6以编号4为参考图像，编号5、6为待配准图像，以此类推完成所有图像序列的特征融合提取，之后送入残差网络进行训练。
所述残差网络优选为Resnet-50网络。在使用残差网络Resnet-50进行模型训练时，采用监督学习的方式，即将配准后的图像与参考图像进行比较，容错度设置为tolerance＝0.0005，并将比较结果作为标签数据，通过训练网络来学习如何将配准后的图像转换为参考图像。具体来说，是将Resnet-50作为一个回归模型，输入配准后的图像，输出与参考图像相对应的像素值差异，然后通过训练网络优化参数，最终得到能够将配准后的图像转换为参考图像的模型。在训练过程中，定义一个配准损失函数，以衡量网络输出与真实参考点之间的差异。例如可采用MSE(均方误差)损失函数来实现。最后，通过迭代训练，并在每个训练迭代后评估模型性能，找到最佳的模型，训练完毕。
之后，执行步骤S33。利用奇偶交变配准准则，对相邻图像序列间进行校准。也就是说，将相邻图像一个作为待配准图像，一个作为参考图像输入到训练好的模型内进行配准，最终输出配准后的图像(参见图5)。
所述步骤S04为三维重建步骤，采用MC(MarchingCube)面绘制的三维重建方法，由二维图像序列采用MC表面重建提取等值面同时将图像进行网格平滑，进而获取三角片同时映射几何数据，最后在渲染窗口中以体素为单位进行三维结构显示。由三维数据场产生屏幕上的二维图像，产生三维数据的整体图像，以体素为基本单位，直接显示图像(参见图6)。
在进行图像分割时，因受内外部因素的影响导致肌肉组织、移植物以及背景间并未被完全分割。未被完全分割的情况包括如下两种情况，其一，无法利用分割模型进行区域区分，其二，利用分割模型进行区域区分不完全。为此，本公开实施例的方法中步骤S02还包括，对二维图像序列中未分割的部分进行异常点提取，将异常点填充为背景标签。
所述异常点提取过程如下：获取二维图像序列中未分割的部分，并将其与带标签的图像序列进行比对，以获得异常点；之后，将异常点填充为背景标签。具体地，是将二维图像序列中未分割的部分与基于带标签的图像序列进行处理后mask图像进行比对。
所述mask图像生成过程如下：将带标签的图像序列(原图为彩图)转换成灰度图像，使用OpenCV图像处理库中提供的方法进行转换的。接着，利用图像分割模型对标注图像进行处理，将每个对象分割出来，生成与标注图像大小相同的mask图像。然后，由于标注图像中有多个对象，需要将所有对象的mask图像合并在一起。例如，通过将各个mask图像的像素值相加得到mask图像。最后，将处理得到的mask图像保存到本地文件中，以便后续使用。使用mask图像的目的是可以对感兴趣的区域进行选择和操作，从而实现对图像的特定区域(肌肉组织和移植物)进行处理和分析。
所述异常点识别基于除了移植物和肌肉组织区域外的所有点都是异常点的准则进行识别。进一步，通过面积来判断异常点，当area<＝outlier_area时为异常点(outlier_area经多次迭代取值为5e4时，异常点检测效果最好，area为异常检测图像中闭合区域面积)，将其异常点用背景标签填充。
由于图像配准后的图像序列存在不连续的问题，为此，本公开实施例的方法的所述步骤S04还包括：在三维重建前，对配准后的图像序列在其不连续序列间进行虚拟插值，以使得图像序列连续。例如，利用线性插值法插值，使切片序列更加连续。
此外，本公开实施例的方法还包括步骤S05，基于步骤S04重建的三维切片的像素值计算切片面积，并结合切片厚度计算移植物和/或肌肉组织的体积。体积公式为：。其中，N为切片总数，Ni为每张图像中组织区域或者移植区域的像素值。10μm为切片厚度，1pixel＝0.5107μm，则0.5107μm为像素与微米间的转换关系数值。所述切片总数可经过图像分割流程，或者图像分割流程和虚拟插值流程获得。
图2示出本公开实施例的一种基于组织切片免疫组化图像的三维重建方法另一示例的流程图。该示例中包含了预处理、分割、异常点检测、配准、虚拟插值、三维重建、体积输出的所有流程。
本公开实施例的方法包括：
步骤S11,获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；
步骤S12，利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；
步骤S13，对二维图像序列中未分割的部分进行异常点提取，将异常点填充为背景标签；
步骤S14，利用残差网络对异常点处理后的图像序列进行图像配准；
步骤S15，对配准后的图像序列在其不连续序列间进行虚拟插值，以使得图像序列连续；
步骤S16，对配准后的图像进行三维重建。
以图2示例为例，结合图7进行具体说明。
首先，组织切片免疫组化的原始图像序列为KFB文件格式，将切片序列图像进行格式转换、归一化和不同目标的标注处理。所述图像序列中的图像包括KFB20倍扫描猴子腹部腹直肌右侧图像和腹直肌左侧图像。处理后，不带标签的图像序列为IMG1，IMG2，……，IMGi，带标签的图像序列为JSON1，JSON2，……，JSONi。
接着，采用Unet++分割网络对图像数据进行训练、预测等处理，并预测出移植物和肌肉组织的区域。
但部分肌肉组织与图像中的异常点非常相似，需要对其分割后的图像序列做进一步处理。异常点检测用于将分割处理后图像中的异常部分进行去除，首先通过分割图像和标签图像生成的mask图像提取移植物和肌肉组织区域，异常点采用背景标签填充，最后得到不含干扰点的图像。
图像配准用于将相邻图像序列间进行校准，采用残差网络Resnet-50对异常检测后的数据进行训练，通过设置不同的步长、最大容忍度来对训练好的网络模型进行奇偶交变配准测试。
虚拟插用于解决切片序列间不连续的问题，本公开实施例采用的是双线性插值的方法，具体实现如下：
线性插值是根据一个线性关系来在两点之间插入一个点，利用直线任意点斜率不变来求得插入点的值。如假设函数f(x)在两点(x1，Q11)、(x2，Q21)，求点(x，R)的值，根据斜率不变可得：经变形可得到，。
通过上式只能实现对一维空间的线性插值。但图像属于二维空间，要实现对图像间的插值，本公开实施例采用的是双线性插值法，首先找到点R相邻的四个点Q11，Q12，Q21，Q22，同时将x,y坐标拆分成两个一维的单线性插值，求R1、R2的值，根据上述单线性差值公式可以求得点R1、R1在X方向上的线性插值为：
再将点R在y方向进行单线性插值，得到其表达式为：
最后将其合并，即可得到f(x，y)的表达式为：
将原图像(指图像配准后进行网格平滑的输出图像)、目标图像(指插值图像)的像素值以及原图像中相邻四个点的坐标，通过上述双线性插值得公式即可计算出目标图像的像素值。
之后，采用MC(MarchingCube)面绘制算法进行三维重建。三维重建模块为面绘制三维重建，由三维数据场产生屏幕上的二维图像，产生三维数据的整体图像，以体素为基本单位，输出连续切片的三维重建结果。这种三维重建方式不仅可以应用到工业上，在医学临床领域也备受用户青睐。用户可以将免疫组化后的组织切片序列采用三维重建的方法将切片重构，其目的是便于用户能从多角度、多层次进行观察和分析组织的基本结构变化以及位置分布情况。
此外，本公开实施例的方法还可输出体积。这为用户提供更加逼真的显示手段和定量分析根据，最终作出初步评估，提高用户工作效率。
本公开实施例还提供一种基于组织切片免疫组化图像的三维重建系统。上述系统可基于前述某一实施例的方法实现。
所述系统包括预处理模块、图像分割模块、图像配准模块、三维重建模块。
所述预处理模块，用于获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列。
所述图像分割模块，用于利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域。
所述图像配准模块，用于利用残差网络对经步骤S02处理后的二维图像序列进行图像配准。
所述三维重建模块，用于对配准后的图像进行三维重建。
在进行图像分割时，因受内外部因素的影响导致肌肉组织、移植物以及背景间并未被完全分割。为此，本公开实施例的系统还包括，异常点检测模块，用于对二维图像序列中未分割的部分进行异常点提取，将异常点填充为背景标签。
由于图像配准后的图像序列存在不连续的问题，为此，本公开实施例的系统还包括虚拟插值模块，用于对配准后的图像序列在其不连续序列间进行虚拟插值，以使得图像序列连续。
所述系统还包括体积输出模块，用于基于重建的三维切片的像素值计算切片面积，并结合切片厚度计算移植物和/或肌肉组织的体积。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征。相反，上面所描述的特定特征仅仅是实现权利要求书的示例形式。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种基于组织切片免疫组化图像的三维重建方法，其特征在于，包括：
步骤S01，获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；所述组织切片免疫组化的原始图像序列通过数字病理切片扫描仪对免疫组化染色的注射移植物的肌肉组织切片扫描获得；
步骤S02，利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；所述步骤S02还包括，对二维图像序列中未分割的部分进行异常点提取，将异常点填充为背景标签；
步骤S03，利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；包括：
步骤S31，将经步骤S02处理后的二维图像序列在特定步长内进行特征融合提取，以获得待配准图像和参考图像；
步骤S32，将步骤S31中待配准图像和参考图像输入残差网络进行训练，以获得训练好的残差网络；
步骤S33，利用奇偶交变配准准则，从步骤S02处理后的二维图像序列中获得待配准图像和参考图像，并将其输入到步骤S32训练好的残差网络中，残差网络输出配准后的图像序列；
步骤S04，对配准后的图像进行三维重建。
2.根据权利要求1所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，所述步骤S01中的预处理包括：对原始图像序列进行格式转换、归一化处理和图像标注；所述图像标注包括对图像中的移植物和肌肉组织以标签形式标注。
3.根据权利要求2所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，所述步骤S02包括：
步骤S21，获取步骤S01处理后的带标签的图像序列和不带标签的图像序列；
步骤S22，将上述带标签的图像序列和不带标签的图像序列输入图像分割模型训练，利用训练后的图像分割模型来预测出移植物、肌肉组织和背景所在区域。
4.根据权利要求1所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，所述步骤S04还包括：在三维重建前，对配准后的图像序列在其不连续序列间进行虚拟插值，以使得图像序列连续。
5.根据权利要求1所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，还包括步骤S05，基于步骤S04重建的三维切片的像素值计算切片面积，并结合切片厚度计算移植物和/或肌肉组织的体积。
6.根据权利要求1所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，所述组织切片免疫组化的原始图像序列为KFB文件格式的图像。
7.一种基于组织切片免疫组化图像的三维重建系统，基于如权利要求1所述的一种基于组织切片免疫组化图像的三维重建方法实现，其特征在于，系统包括：
预处理模块，用于获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；
图像分割模块，用于利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；
图像配准模块，用于利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；
三维重建模块，用于对配准后的图像进行三维重建。
8.根据权利要求7所述的一种基于组织切片免疫组化图像的三维重建系统，其特征在于，还包括体积输出模块，用于基于重建的三维切片的像素值计算切片面积，并结合切片厚度计算移植物和/或肌肉组织的体积。
CN202310462042.6A 2023-04-26 2023-04-26 一种基于组织切片免疫组化图像的三维重建方法、系统 Active CN116402806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310462042.6A CN116402806B (zh) 2023-04-26 2023-04-26 一种基于组织切片免疫组化图像的三维重建方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310462042.6A CN116402806B (zh) 2023-04-26 2023-04-26 一种基于组织切片免疫组化图像的三维重建方法、系统

Publications (2)

Publication Number Publication Date
CN116402806A CN116402806A (zh) 2023-07-07
CN116402806B true CN116402806B (zh) 2023-11-14

Family

ID=87008883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310462042.6A Active CN116402806B (zh) 2023-04-26 2023-04-26 一种基于组织切片免疫组化图像的三维重建方法、系统

Country Status (1)

Country Link
CN (1) CN116402806B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955681B (zh) * 2023-09-08 2024-04-26 北京触幻科技有限公司 一种三维可视化医学影像系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728706A (zh) * 2019-09-30 2020-01-24 西安电子科技大学 基于深度学习的sar图像精细配准方法
CN112734818A (zh) * 2021-01-26 2021-04-30 中国科学院空天信息创新研究院 基于残差网络和sift的多源高分辨率遥感图像自动配准方法
CN113138110A (zh) * 2021-04-27 2021-07-20 吉林大学 病理图片三维重建的方法
CN113610906A (zh) * 2021-08-06 2021-11-05 山西大学 一种基于融合图像引导的多视差图像序列配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022291B (zh) * 2017-12-01 2020-08-28 中山大学附属第一医院 人体周围神经束型结构的可视化三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728706A (zh) * 2019-09-30 2020-01-24 西安电子科技大学 基于深度学习的sar图像精细配准方法
CN112734818A (zh) * 2021-01-26 2021-04-30 中国科学院空天信息创新研究院 基于残差网络和sift的多源高分辨率遥感图像自动配准方法
CN113138110A (zh) * 2021-04-27 2021-07-20 吉林大学 病理图片三维重建的方法
CN113610906A (zh) * 2021-08-06 2021-11-05 山西大学 一种基于融合图像引导的多视差图像序列配准方法

Also Published As

Publication number Publication date
CN116402806A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN109583440B (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
Wu et al. Learning sheared EPI structure for light field reconstruction
CN109272510B (zh) 一种三维医学图像中管状结构的分割方法
US9147239B2 (en) Computing the mass of an object
CN109978037A (zh) 图像处理方法、模型训练方法、装置、和存储介质
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
DE102006054822A1 (de) Registrierung eines charakteristischen Pfads eines Kolons
CN110675464A (zh) 一种医疗影像的处理方法、装置、服务器及存储介质
Fajar et al. Reconstructing and resizing 3D images from DICOM files
CN116402806B (zh) 一种基于组织切片免疫组化图像的三维重建方法、系统
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
WO2021226862A1 (en) Neural opacity point cloud
CN112529950B (zh) 一种用于辐射剂量评估的生物体体素模型实现方法
Bischoff et al. Isosurface reconstruction with topology control
Cai et al. Accurate weakly supervised deep lesion segmentation on CT scans: Self-paced 3D mask generation from RECIST
Zheng et al. Hairstep: Transfer synthetic to real using strand and depth maps for single-view 3d hair modeling
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN111986216A (zh) 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法
Iddrisu et al. 3D reconstructions of brain from MRI scans using neural radiance fields
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
CN111369662A (zh) Ct图像中血管的三维模型重建方法及系统
Tao et al. Automatic segmentation of the prostate on MR images based on anatomy and deep learning
Lan et al. Unpaired stain style transfer using invertible neural networks based on channel attention and long-range residual
CN114359309A (zh) 基于标定点检测和形状灰度模型匹配的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant