CN113781530B - 一种染色切片的图像配准方法及系统 - Google Patents

一种染色切片的图像配准方法及系统 Download PDF

Info

Publication number
CN113781530B
CN113781530B CN202111177248.1A CN202111177248A CN113781530B CN 113781530 B CN113781530 B CN 113781530B CN 202111177248 A CN202111177248 A CN 202111177248A CN 113781530 B CN113781530 B CN 113781530B
Authority
CN
China
Prior art keywords
image
registration
registered
target
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111177248.1A
Other languages
English (en)
Other versions
CN113781530A (zh
Inventor
成莹
龙希
刘净心
慕潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengdao Zhizao Technology (Changxing) Co.,Ltd.
Original Assignee
Shanghai Histo Medical Pathology Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Histo Medical Pathology Center Co ltd filed Critical Shanghai Histo Medical Pathology Center Co ltd
Priority to CN202111177248.1A priority Critical patent/CN113781530B/zh
Publication of CN113781530A publication Critical patent/CN113781530A/zh
Application granted granted Critical
Publication of CN113781530B publication Critical patent/CN113781530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种染色切片的图像配准方法及系统，包括：对待配准染色切片和目标染色切片进行图像采集得到待配准图像和目标图像；将待配准图像与目标图像进行基于至少一种图像特征的图像配准并判断是否存在至少一种图像特征配准成功：若是，则处理得到图像特征关联的第一配准评分并输出最高的第一配准评分对应的仿射矩阵；若否，则将待配准图像进行多次旋转，计算每次旋转后得到的旋转图像与目标图像进行图像配准得到的第二配准评分，并输出最高的第二配准评分对应的仿射矩阵；根据仿射矩阵处理得到旋转参数和平移参数，并根据旋转参数和平移参数对待配准图像进行处理得到配准图像。有益效果是有效提升配准效果，方便病理医生进行对照查看。

Description

一种染色切片的图像配准方法及系统
技术领域
本发明涉及图像配准技术领域，尤其涉及一种染色切片的图像配准方法及系统。
背景技术
病理切片作为一种实验技术已广泛应用于科研、教学、病理检验等工作中，有较高的使用价值，其本身没有颜色，在显微镜下无法进行识别，为了区别不同的细胞结构，就要对切片进行染色。病理切片染色方法有很多种，如HE染色、IHC染色等。其中，HE染色是苏木精-伊红染色(hematoxylin-eosin staining)的简称，是一种常用的组织学染色方法。苏木精主要把组织中的嗜碱性结构(如核糖体、细胞核及细胞质中的核酸等)染成蓝紫色。伊红主要把组织中的酸性结构(如细胞内及细胞间的蛋白质、路易体、酒精小体、细胞质的大部分等)染成粉红色。IHC染色，即免疫组织化学染色，是指在抗体上结合荧光或可呈色的化学物质，利用免疫学中抗原与抗体特异性结合的原理，对细胞或组织中抗原进行定位、定性和定量。
在病理诊断中，病理医生通过HE染色切片对细胞形态学的变化进行粗略的观察。当只依靠HE染色难以作出明确的诊断时，需要结合IHC染色切片实现进一步观察和确认。在此过程中，病理医生需要将HE染色切片和IHC染色切片对照查看。为了对照的方便，常常需要对IHC切片的角度和位置进行调整，使得IHC切片上与HE切片上对应的组织在视觉效果上是对齐的，这一过程被称为HE切片与IHC切片的配准，但现有的配准方式在进行IHC切片与HE切片配准时存在配准效果差的问题，为病理医生的对照查看带来极大不便。
发明内容
针对现有技术中存在的问题，本发明提供一种染色切片的图像配准方法，预先获取采用不同的染色方式进行染色得到一待配准染色切片和一目标染色切片；
则所述图像配准方法包括：
步骤S1，分别对所述待配准染色切片和所述目标染色切片进行图像采集得到对应的待配准图像和目标图像；
步骤S2，将所述待配准图像与所述目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，并根据各所述初步配准图像、对应的所述仿射矩阵和所述目标图像判断是否存在至少一种所述图像特征配准成功：
若是，则根据对应的所述初步配准图像和所述目标图像处理得到所述图像特征关联的第一配准评分及对应的所述仿射矩阵，并输出最高的所述第一配准评分对应的所述仿射矩阵，随后转向步骤S4；
若否，则转向步骤S3；
步骤S3，将所述待配准图像进行多次旋转，计算每次旋转后得到的一旋转图像与所述目标图像进行图像配准得到的仿射矩阵和第二配准评分，并输出最高的所述第二配准评分对应的所述仿射矩阵；
步骤S4，根据所述仿射矩阵处理得到所述待配准图像的旋转参数和平移参数，并根据所述旋转参数和所述平移参数对所述待配准图像进行处理得到对应的配准图像。
优选的，执行所述步骤S2之前还包括一第一预处理过程，包括：
步骤A1，分别获取并判断所述待配准图像的高度和宽度是否均不大于所述目标图像的高度和宽度：
若是，转向所述步骤S2；
若否，则转向步骤A2；
步骤A2，由所述待配准图像中裁切出与所述目标图像的组织相似度最大的区域得到裁切图像，并将所述裁切图像作为所述待配准图像输出。
优选的，所述步骤A2包括：
步骤A21，分别对所述待配准图像和所述目标图像依次进行前景分割和轮廓提取得到对应的待配准二值图像和目标二值图像，并提取所述待配准二值图像和所述目标二值图像中的高度的较小值和宽度的较小值分别作为一裁切框的高度和宽度；
步骤A22，采用所述裁切框由所述目标二值图像中截取得到一截取图像，并将所述裁切框作为滑动窗口对所述待配准二值图像进行图像切割得到多个切割图像；
步骤A23，分别计算各所述切割图像与所述截取图像之间的所述组织相似度，处理得到最大的所述组织相似度对应的所述切割图像上的至少一切割点在所述待配准图像上的位置坐标，并根据所述位置坐标对所述待配准图像进行裁切得到所述裁切图像。
优选的，执行所述步骤A21之前，还包括分别对所述待配准图像和所述目标图像进行等比例缩小，进而所述步骤A21中，分别对缩小后的所述待配准图像和缩小后的所述目标图像依次进行前景分割和轮廓提取；
则所述步骤A23中，还包括：
获取最大的所述组织相似度对应的所述切割图像上的至少一切割点在缩小后的所述待配准图像上的第一坐标，并根据所述第一坐标处理到所述切割点在缩小前的所述待配准图像上的第二坐标作为所述位置坐标。
优选的，所述组织相似度的计算公式如下：
Os＝d*f(h)/f(0)
其中，Os用于表示所述组织相似度；d用于表示所述切割图像与所述裁切图像之间的Dice系数，h用于表示所述切割图像与所述截取图像之间的轮廓相似度，f(h)用于表示以h为自变量，并在[0，+∞)上单调递减的函数，且满足f(0)＝c，(c＞0，c≠+∞)，f(+∞)≥0。
优选的，执行所述步骤S2之前，还包括一第二预处理过程，包括：
步骤B1，分别对所述待配准图像和所述目标图像进行单通道图像转换得到待配准单通道图像和目标单通道图像；
步骤B2，分别对所述待配准单通道图像和所述目标单通道图像进行图像预处理得到对应的待配准预处理图像和目标预处理图像；
则所述步骤S2中，分别将所述待配准预处理图像和目标预处理图像对应作为所述待配准图像和所述目标图像进行特征点提取。
优选的，所述步骤S2包括：
步骤S21，将所述待配准图像与所述目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，依次针对每种所述图像特征，根据对应的所述仿射矩阵分别处理得到沿x轴方向和沿y轴方向的伸缩量，并判断是否存在任意一所述伸缩量大于一第一阈值：
若是，则转向步骤S22；
若否，则转向步骤S23；
步骤S22，判断是否所有所述图像特征均配准完成：
若是，则转向步骤S24；
若否，则返回所述步骤S21；
步骤S23，计算分别进行前景分割后的所述初步配准图像和所述目标图像之间的第一相似度系数，并判断所述第一相似度系数是否小于一第二阈值：
若是，则转向所述步骤S22；
若否，则将所述第一相似度系数作为所述图像特征对应的所述第一配准评分并加入一第一评分集合，随后转向所述步骤S22；
步骤S24，判断所述第一评分集合是否为空集合：
若是，则转向所述步骤S3；
若否，则输出所述评分集合中的最高的所述第一配准评分对应的所述仿射矩阵，随后转向所述步骤S4。
优选的，所述步骤S3包括：
步骤S31，分别对所述待配准图像和所述目标图像进行前景分割得到对应的待配准分割图像和目标分割图像，并将所述待配准分割图像的质心和所述目标分割图像的质心对齐；
步骤S32，将所述待配准图像按照预设的角度步长绕质心旋转一周，在每次旋转后，将旋转得到的所述旋转图像与所述目标图像进行图像配准得到对应的旋转配准图像和仿射矩阵；
步骤S33，分别计算各所述旋转配准图像与所述目标图像之间的第二相似度系数，将大于一第三阈值的各所述第二相似度系数作为所述第二配准评分加入一第二评分集合，并输出最高的所述第二配准评分对应的所述仿射矩阵。
优选的，所述步骤S4中，所述待配准图像的所述旋转参数的计算公式如下：
其中，A用于表示所述仿射矩阵；a用于表示伸缩比例；θ用于表示所述旋转参数；x用于表示沿宽度方向的所述平移参数；y用于表示沿高度方向的所述平移参数。
本发明还提供一种染色切片的图像配准系统，应用上述的图像配准方法，所述图像配准系统包括：
图像采集模块，用于分别对所述待配准染色切片和所述目标染色切片进行图像采集得到对应的待配准图像和目标图像；
第一配准模块，连接所述图像采集模块，用于将所述待配准图像与所述目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，并根据各所述初步配准图像、对应的所述仿射矩阵和所述目标图像判断存在至少一种所述图像特征配准成功时输出一配准成功信号，以及不存在至少一种所述图像特征配准成功时输出一配准失败信号；
第二配准模块，连接所述第一配准模块，用于根据所述配准成功信号、对应的所述初步配准图像和所述目标图像处理得到所述图像特征关联的第一配准评分及对应的所述仿射矩阵，并输出最高的所述第一配准评分对应的所述仿射矩阵；
第三配准模块，连接所述第一配准模块，用于将所述待配准图像进行多次旋转，计算每次旋转后得到的一旋转图像与所述目标图像进行图像配准得到的仿射矩阵和第二配准评分，并输出最高的所述第二配准评分对应的所述仿射矩阵；
第四配准模块，分别连接所述第二配准模块和所述第三配准模块，用于根据所述仿射矩阵处理得到所述待配准图像的旋转参数和平移参数，并根据所述旋转参数和所述平移参数对所述待配准图像进行处理得到对应的配准图像。
上述技术方案具有如下优点或有益效果：实现待配准染色切片和目标染色切片的自动配准的同时，在自动配准之前能够对待配准染色切片进行自动裁切，以去除待配准染色切片上的对照组织，避免对照组织对自动配准造成干扰，有效提升配准效果，方便病理医生进行对照查看。
附图说明
图1为本发明的较佳的实施例中，一种染色切片的图像配准方法的流程示意图；
图2为本发明的较佳的实施例中，第一预处理过程的流程示意图；
图3为本发明的较佳的实施例中，对待配准图像进行裁切过程的流程示意图；
图4为本发明的较佳的实施例中，第二预处理过程的流程示意图；
图5为本发明的较佳的实施例中，特征配准成功判定过程的流程示意图；
图6为本发明的较佳的实施例中，对待配准图像进行多次旋转配准过程的流程示意图；
图7为本发明的较佳的实施例中，一种染色切片的图像配准系统的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种染色切片的图像配准方法，预先获取采用不同的染色方式进行染色得到一待配准染色切片和一目标染色切片；
如图1所示，则图像配准方法包括：
步骤S1，分别对待配准染色切片和目标染色切片进行图像采集得到对应的待配准图像和目标图像；
步骤S2，将待配准图像与目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，并根据各初步配准图像、对应的仿射矩阵和目标图像判断是否存在至少一种图像特征配准成功：
若是，则根据对应的初步配准图像和目标图像处理得到图像特征关联的第一配准评分及对应的仿射矩阵，并输出最高的第一配准评分对应的仿射矩阵，随后转向步骤S4；
若否，则转向步骤S3；
步骤S3，将待配准图像进行多次旋转，计算每次旋转后得到的一旋转图像与目标图像进行图像配准得到的仿射矩阵和第二配准评分，并输出最高的第二配准评分对应的仿射矩阵；
步骤S4，根据仿射矩阵处理得到待配准图像的旋转参数和平移参数，并根据旋转参数和平移参数对待配准图像进行处理得到对应的配准图像。
具体地，本实施例中，上述待配准染色切片为IHC切片，即免疫组织化学染色切片，上述目标染色切片为HE切片，即苏木精-伊红染色切片。本技术方案能够实现免疫组织化学染色切片对应的待配准图像与苏木精-伊红染色切片对应的目标图像之间的自动配准，方便病理医生进行对照查看。
进一步具体地，由于部分IHC切片上除了与HE切片上的组织相对应的组织外，还会包含一个或多个用于对照的组织，这些用于对照的组织容易对切片的自动配准造成干扰，使得配准效果变差，因此，在进行图像配准之前，需要对IHC切片对应的待配准图像进行预处理，本发明的较佳的实施例中，执行步骤S2之前还包括一第一预处理过程，如图2所示，包括：
步骤A1，分别获取并判断待配准图像的高度和宽度是否均不大于目标图像的高度和宽度：
若是，转向步骤S2；
若否，则转向步骤A2；
步骤A2，由待配准图像中裁切出与目标图像的组织相似度最大的区域得到裁切图像，并将裁切图像作为待配准图像输出。
换言之，若待配准图像的高度和宽度均比目标图像的高度和宽度要小，则无需执行步骤A2的裁切过程，直接对待配准图像进行图像配准即可；若待配准图像的高度大于目标图像的高度，或者待配准图像的宽度大于目标图像的宽度，则在图像配准之前需要对待配准图像进行裁切，本发明的较佳的实施例中，如图3所示，步骤A2包括：
步骤A21，分别对待配准图像和目标图像依次进行前景分割和轮廓提取得到对应的待配准二值图像和目标二值图像，并提取待配准二值图像和目标二值图像中的高度的较小值和宽度的较小值分别作为一裁切框的高度和宽度；
步骤A22，采用裁切框由目标二值图像中截取得到一截取图像，并将裁切框作为滑动窗口对待配准二值图像进行图像切割得到多个切割图像；
步骤A23，分别计算各切割图像与截取图像之间的组织相似度，处理得到最大的组织相似度对应的切割图像上的至少一切割点在待配准图像上的位置坐标，并根据位置坐标对待配准图像进行裁切得到裁切图像。
具体地，本实施例中，在基于待配准二值图像和目标二值图像获取对应的裁切框后，在步骤A22中，优选将裁切框的左上角与目标二值图像的左上角对齐，进而由目标二值图像中截取裁切框与目标二值图像的重合部分作为截取图像；优选将裁切框的左上角与待配准二值图像的左上角对齐，随后将裁切框作为滑动窗口，以预设像素数量为滑动步长，按照从左到右，从上到下的顺序移动裁切框，直到裁切框的右下角与待配准二值图像的右下角重合，得到多个切割图像。其中，上述预设像素数量可以为5。需要说明的是，上述截取图像以及切割图像的获取方式仅作为本技术方案的一种实施方式，并不以此对本技术方案进行限定。
进一步具体地，考虑到待配准二值图像和目标二值图像通常具有相对较大的尺寸，容易造成上述截取图像以及切割图像的获取过程较为耗时，为提升运算速度，本发明的较佳的实施例中，执行步骤A21之前，还包括分别对待配准图像和目标图像进行等比例缩小，进而步骤A21中，分别对缩小后的待配准图像和缩小后的目标图像依次进行前景分割和轮廓提取；
则步骤A23中，还包括：
获取最大的组织相似度对应的切割图像上的至少一切割点在缩小后的待配准图像上的第一坐标，并根据第一坐标处理到切割点在缩小前的待配准图像上的第二坐标作为位置坐标。
具体地，本实施例中，上述等比例缩小优选分别将待配准图像和目标图像的高度和宽度均缩小为原来的0.2倍。上述切割点优选为切割图像的左上角，则确定该切割点在缩小前的待配准图像上的位置坐标后，优选以该位置坐标作为裁切图像的左上角，并由待配准图像中裁切出与裁切框重合部分。
本发明的较佳的实施例中，组织相似度的计算公式如下：
Os＝d*f(h)/f(0)
其中，Os用于表示组织相似度；d用于表示切割图像与截取图像之间的Dice系数，h用于表示切割图像与截取图像之间的轮廓相似度，f(h)用于表示以h为自变量，并在[0，+∞)上单调递减的函数，且满足f(0)＝c，(c＞0，c≠+∞)，f(+∞)≥0。
具体地，本实施例中，可以选取f(h)＝ke-λh，其中，k和λ为正常数。上述Dice系数d的计算公式如下：
其中，d用于表示切割图像与截取图像之间的Dice系数，|S|用于表示切割图像中前景像素的数量，|T|用于表示截取图像中前景像素的数量，|S∩T|用于表示切割图像前景和截取图像前景的交集的像素的数量。
上述轮廓相似度h用于描述切割图像与截取图像的的轮廓的相似程度，轮廓相似度h的计算公式如下：
其中，
其中，用于表示切割图像的Hu矩(图像矩)，/>用于表示截取图像的Hu矩(图像矩)。上述轮廓相似度的计算公式也可以采用其他现有的公式，此处不作限定。
本发明的较佳的实施例中，执行步骤S2之前，还包括一第二预处理过程，如图4所示，包括：
步骤B1，分别对待配准图像和目标图像进行单通道图像转换得到待配准单通道图像和目标单通道图像；
步骤B2，分别对待配准单通道图像和目标单通道图像进行图像预处理得到对应的待配准预处理图像和目标预处理图像；
则步骤S2中，分别将待配准预处理图像和目标预处理图像对应作为待配准图像和目标图像进行特征点提取。
具体地，本实施例中，上述待配准单通道图像和目标单通道图像优选为待配准图像和目标图像的灰度图。上述预处理包括但不限于平滑处理，相同比例的降采样，直方图匹配，以及图像填充。其中，上述平滑处理可以采用高斯滤波；上述相同比例的降采样可以是每隔2个像素采样1个像素；上述直方图匹配可以是分别计算待配准单通道图像和目标单通道图像的图像熵，且在待配准单通道图像的图像熵大于目标单通道图像的图像熵时，将目标单通道图像的直方图匹配到待配准单通道图像的直方图，否则，将待配准单通道图像的直方图匹配到目标单通道图像的直方图；上述图像填充可以是获取待配准单通道图像和目标单通道图像中的高度的较大值H和宽度的较大值W，对待配准单通道图像和目标单通道图像进行边缘填充，使得填充后的待配准单通道图像和目标单通道图像中的高度均为H，宽度均为W。
本发明的较佳的实施例中，如图5所示，步骤S2包括：
步骤S21，将待配准图像与目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，依次针对每种图像特征，根据对应的仿射矩阵分别处理得到沿x轴方向和沿y轴方向的伸缩量，并判断是否存在任意一伸缩量大于一第一阈值：
若是，则转向步骤S22；
若否，则转向步骤S23；
步骤S22，判断是否所有图像特征均配准完成：
若是，则转向步骤S24；
若否，则返回步骤S21；
步骤S23，计算分别进行前景分割后的初步配准图像和目标图像之间的第一相似度系数，并判断第一相似度系数是否小于一第二阈值：
若是，则转向步骤S22；
若否，则将第一相似度系数作为图像特征对应的第一配准评分并加入一第一评分集合，随后转向步骤S22；
步骤S24，判断第一评分集合是否为空集合：
若是，则转向步骤S3；
若否，则输出评分集合中的最高的第一配准评分对应的仿射矩阵，随后转向步骤S4。
具体地，本实施中，在采用基于多种图像特征的图像配准时，任意一种图像特征对应的图像配准成功，则认为图像配准成功，若存在多种图像特征对应的图像配准成功，则选取第一配准评分最高的图像特征对应的仿射矩阵作为输出，若所有图像特征对应的图像配准均未成功，则执行步骤S3中的穷举旋转配准过程。
其中，基于图像特征的图像配准包括但不限于ORB特征、SURF特征、SIFT特征以及BRISK特征，以SIFT特征为例说明图像配准过程如下：分别计算待配准图像和目标图像的SIFT特征点和特征向量，使用RANSAC算法对的SIFT特征点进行过滤并估计一个将待配准图像的特征点变换到目标图像的特征点的仿射矩阵，该仿射矩阵包括旋转、平移以及伸缩量。据仿射矩阵计算横坐标和纵坐标的伸缩量，如果伸缩量超过第一阈值，判定配准失败。若配准未失败，使用仿射矩阵对待配准图像进行变换得到初步配准图像，进而目标图像和初步配准图像进行前景分割，得到二值化后的目标图像和初步配准图像，并计算两者的Dice系数作为第一相似度系数。若Dice系数小于第二阈值，判定配准失败，否则输出Dice系数作为使用该特征进行配准的第一配准评分。
进一步地，在所有图像特征对应的图像配准均未成功时，则执行步骤S3中的穷举旋转配准过程，本发明的较佳的实施例中，如图6所示，步骤S3包括：
步骤S31，分别对待配准图像和目标图像进行前景分割得到对应的待配准分割图像和目标分割图像，并将待配准分割图像的质心和目标分割图像的质心对齐；
步骤S32，将待配准图像按照预设的角度步长绕质心旋转一周，在每次旋转后，将旋转得到的旋转图像与目标图像进行图像配准得到对应的旋转配准图像和仿射矩阵；
步骤S33，分别计算各旋转配准图像与目标图像之间的第二相似度系数，将大于一第三阈值的各第二相似度系数作为第二配准评分加入一第二评分集合，并输出最高的第二配准评分对应的仿射矩阵。
具体地，本实施例中，上述将待配准图像按照预设的角度步长绕质心旋转一周可以是从0°开始，以1°为角度步长进行旋转，进而计算每个旋转角度的旋转配准图像与目标图像之间的Dice系数作为第二相似度系数，如果最高的第二配准评分超过第三阈值，则判定配准成功，该第二相似度系数对应的旋转角度即为旋转图像配准的旋转角度，否则判定配准失败，旋转角为0°。
本发明的较佳的实施例中，步骤S4中，待配准图像的旋转参数的计算公式如下：
其中，A用于表示仿射矩阵；a用于表示伸缩比例；θ用于表示旋转参数；x用于表示沿宽度方向的平移参数；y用于表示沿高度方向的平移参数，det(X)用于表示方阵X的行列式。
具体地，本实施例中，采用穷举旋转配准时对应的伸缩比例为1，而采用基于图像特征进行配准时对应的伸缩比例不一定为1，为了对图像只进行平移和旋转，不进行伸缩，需要根据A计算出旋转角θ，求解上述方程组即可在在0-360°中确定θ的值。仿射矩阵A中的x和y为相应于经过预处理降采样及边缘填充后的待配准图像的位移，不能直接应用在原始的待配准图像上。根据应用场景的需要，可以设计不同的平移，例如可以修改x和y使得裁切后的待配准图像的中心和目标图像的中心对齐。
本发明还提供一种染色切片的图像配准系统，应用上述的图像配准方法，如图7所示，图像配准系统包括：
图像采集模块1，用于分别对待配准染色切片和目标染色切片进行图像采集得到对应的待配准图像和目标图像；
第一配准模块2，连接图像采集模块1，用于将待配准图像与目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，并根据各初步配准图像、对应的仿射矩阵和目标图像判断存在至少一种图像特征配准成功时输出一配准成功信号，以及不存在至少一种图像特征配准成功时输出一配准失败信号；
第二配准模块3，连接第一配准模块2，用于根据配准成功信号、对应的初步配准图像和目标图像处理得到图像特征关联的第一配准评分及对应的仿射矩阵，并输出最高的第一配准评分对应的仿射矩阵；
第三配准模块4，连接第一配准模块2，用于将待配准图像进行多次旋转，计算每次旋转后得到的一旋转图像与目标图像进行图像配准得到的仿射矩阵和第二配准评分，并输出最高的第二配准评分对应的仿射矩阵；
第四配准模块5，分别连接第二配准模块3和第三配准模块4，用于根据仿射矩阵处理得到待配准图像的旋转参数和平移参数，并根据旋转参数和平移参数对待配准图像进行处理得到对应的配准图像。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种染色切片的图像配准方法，其特征在于，预先获取采用不同的染色方式进行染色得到一待配准染色切片和一目标染色切片；
则所述图像配准方法包括：
步骤S1，分别对所述待配准染色切片和所述目标染色切片进行图像采集得到对应的待配准图像和目标图像；
步骤S2，将所述待配准图像与所述目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，并根据各所述初步配准图像、对应的所述仿射矩阵和所述目标图像判断是否存在至少一种所述图像特征配准成功：
若是，则根据对应的所述初步配准图像和所述目标图像处理得到所述图像特征关联的第一配准评分及对应的所述仿射矩阵，并输出最高的所述第一配准评分对应的所述仿射矩阵，随后转向步骤S4；
若否，则转向步骤S3；
步骤S3，将所述待配准图像进行多次旋转，计算每次旋转后得到的一旋转图像与所述目标图像进行图像配准得到的仿射矩阵和第二配准评分，并输出最高的所述第二配准评分对应的所述仿射矩阵；
步骤S4，根据所述仿射矩阵处理得到所述待配准图像的旋转参数和平移参数，并根据所述旋转参数和所述平移参数对所述待配准图像进行处理得到对应的配准图像。
2.根据权利要求1所述的图像配准方法，其特征在于，执行所述步骤S2之前还包括一第一预处理过程，包括：
步骤A1，分别获取并判断所述待配准图像的高度和宽度是否均不大于所述目标图像的高度和宽度：
若是，转向所述步骤S2；
若否，则转向步骤A2；
步骤A2，由所述待配准图像中裁切出与所述目标图像的组织相似度最大的区域得到裁切图像，并将所述裁切图像作为所述待配准图像输出。
3.根据权利要求2所述的图像配准方法，其特征在于，所述步骤A2包括：
步骤A21，分别对所述待配准图像和所述目标图像依次进行前景分割和轮廓提取得到对应的待配准二值图像和目标二值图像，并提取所述待配准二值图像和所述目标二值图像中的高度的较小值和宽度的较小值分别作为一裁切框的高度和宽度；
步骤A22，采用所述裁切框由所述目标二值图像中截取得到一截取图像，并将所述裁切框作为滑动窗口对所述待配准二值图像进行图像切割得到多个切割图像；
步骤A23，分别计算各所述切割图像与所述截取图像之间的所述组织相似度，处理得到最大的所述组织相似度对应的所述切割图像上的至少一切割点在所述待配准图像上的位置坐标，并根据所述位置坐标对所述待配准图像进行裁切得到所述裁切图像。
4.根据权利要求3所述的图像配准方法，其特征在于，执行所述步骤A21之前，还包括分别对所述待配准图像和所述目标图像进行等比例缩小，进而所述步骤A21中，分别对缩小后的所述待配准图像和缩小后的所述目标图像依次进行前景分割和轮廓提取；
则所述步骤A23中，还包括：
获取最大的所述组织相似度对应的所述切割图像上的至少一切割点在缩小后的所述待配准图像上的第一坐标，并根据所述第一坐标处理到所述切割点在缩小前的所述待配准图像上的第二坐标作为所述位置坐标。
5.根据权利要求3所述的图像配准方法，其特征在于，所述组织相似度的计算公式如下：
Os＝d*f(h)/f(0)
其中，Os用于表示所述组织相似度；d用于表示所述切割图像与所述截取图像之间的Dice系数，h用于表示所述切割图像与所述截取图像之间的轮廓相似度，f(h)用于表示以h为自变量，并在[0，+∞)上单调递减的函数，且满足f(0)＝c，(c＞0，c≠+∞)，f(+∞)≥0。
6.根据权利要求1所述的图像配准方法，其特征在于，执行所述步骤S2之前，还包括一第二预处理过程，包括：
步骤B1，分别对所述待配准图像和所述目标图像进行单通道图像转换得到待配准单通道图像和目标单通道图像；
步骤B2，分别对所述待配准单通道图像和所述目标单通道图像进行图像预处理得到对应的待配准预处理图像和目标预处理图像；
则所述步骤S2中，分别将所述待配准预处理图像和目标预处理图像对应作为所述待配准图像和所述目标图像进行特征点提取。
7.根据权利要求1所述的图像配准方法，其特征在于，所述步骤S2包括：
步骤S21，将所述待配准图像与所述目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，依次针对每种所述图像特征，根据对应的所述仿射矩阵分别处理得到沿x轴方向和沿y轴方向的伸缩量，并判断是否存在任意一所述伸缩量大于一第一阈值：
若是，则转向步骤S22；
若否，则转向步骤S23；
步骤S22，判断是否所有所述图像特征均配准完成：
若是，则转向步骤S24；
若否，则返回所述步骤S21；
步骤S23，计算分别进行前景分割后的所述初步配准图像和所述目标图像之间的第一相似度系数，并判断所述第一相似度系数是否小于一第二阈值：
若是，则转向所述步骤S22；
若否，则将所述第一相似度系数作为所述图像特征对应的所述第一配准评分并加入一第一评分集合，随后转向所述步骤S22；
步骤S24，判断所述第一评分集合是否为空集合：
若是，则转向所述步骤S3；
若否，则输出所述评分集合中的最高的所述第一配准评分对应的所述仿射矩阵，随后转向所述步骤S4。
8.根据权利要求1所述的图像配准方法，其特征在于，所述步骤S3包括：
步骤S31，分别对所述待配准图像和所述目标图像进行前景分割得到对应的待配准分割图像和目标分割图像，并将所述待配准分割图像的质心和所述目标分割图像的质心对齐；
步骤S32，将所述待配准图像按照预设的角度步长绕质心旋转一周，在每次旋转后，将旋转得到的所述旋转图像与所述目标图像进行图像配准得到对应的旋转配准图像和仿射矩阵；
步骤S33，分别计算各所述旋转配准图像与所述目标图像之间的第二相似度系数，将大于一第三阈值的各所述第二相似度系数作为所述第二配准评分加入一第二评分集合，并输出最高的所述第二配准评分对应的所述仿射矩阵。
9.根据权利要求1所述的图像配准方法，其特征在于，所述步骤S4中，所述待配准图像的所述旋转参数的计算公式如下：
其中，A用于表示所述仿射矩阵；a用于表示伸缩比例；θ用于表示所述旋转参数；x用于表示沿宽度方向的所述平移参数；y用于表示沿高度方向的所述平移参数。
10.一种染色切片的图像配准系统，其特征在于，应用如权利要求1-9中任意一项所述的图像配准方法，所述图像配准系统包括：
图像采集模块，用于分别对所述待配准染色切片和所述目标染色切片进行图像采集得到对应的待配准图像和目标图像；
第一配准模块，连接所述图像采集模块，用于将所述待配准图像与所述目标图像进行基于至少一种图像特征的图像配准得到对应的初步配准图像及仿射矩阵，并根据各所述初步配准图像、对应的所述仿射矩阵和所述目标图像判断存在至少一种所述图像特征配准成功时输出一配准成功信号，以及不存在至少一种所述图像特征配准成功时输出一配准失败信号；
第二配准模块，连接所述第一配准模块，用于根据所述配准成功信号、对应的所述初步配准图像和所述目标图像处理得到所述图像特征关联的第一配准评分及对应的所述仿射矩阵，并输出最高的所述第一配准评分对应的所述仿射矩阵；
第三配准模块，连接所述第一配准模块，用于将所述待配准图像进行多次旋转，计算每次旋转后得到的一旋转图像与所述目标图像进行图像配准得到的仿射矩阵和第二配准评分，并输出最高的所述第二配准评分对应的所述仿射矩阵；
第四配准模块，分别连接所述第二配准模块和所述第三配准模块，用于根据所述仿射矩阵处理得到所述待配准图像的旋转参数和平移参数，并根据所述旋转参数和所述平移参数对所述待配准图像进行处理得到对应的配准图像。
CN202111177248.1A 2021-10-09 2021-10-09 一种染色切片的图像配准方法及系统 Active CN113781530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111177248.1A CN113781530B (zh) 2021-10-09 2021-10-09 一种染色切片的图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111177248.1A CN113781530B (zh) 2021-10-09 2021-10-09 一种染色切片的图像配准方法及系统

Publications (2)

Publication Number Publication Date
CN113781530A CN113781530A (zh) 2021-12-10
CN113781530B true CN113781530B (zh) 2024-03-19

Family

ID=78854840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111177248.1A Active CN113781530B (zh) 2021-10-09 2021-10-09 一种染色切片的图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN113781530B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000268A1 (zh) * 2022-06-29 2024-01-04 深圳华大生命科学研究院 一种图像处理方法、装置、设备及介质
WO2024001051A1 (zh) * 2022-06-29 2024-01-04 深圳华大生命科学研究院 空间组学单细胞数据获取方法及装置和电子设备
WO2024119327A1 (zh) * 2022-12-05 2024-06-13 深圳华大生命科学研究院 一种图像处理方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226831A (zh) * 2013-05-02 2013-07-31 天津大学 利用分块布尔运算的图像匹配方法
CN107194959A (zh) * 2017-04-25 2017-09-22 北京海致网聚信息技术有限公司 基于切片进行图像配准的方法和装置
CN109325971A (zh) * 2018-08-02 2019-02-12 沈阳东软医疗系统有限公司 图像配准方法及装置
CN113269813A (zh) * 2021-06-09 2021-08-17 志诺维思（北京）基因科技有限公司 数字病理图像的配准方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008462B2 (en) * 2011-02-17 2015-04-14 The Johns Hopkins University Methods and systems for registration of radiological images
US9740912B2 (en) * 2011-12-20 2017-08-22 Definiens Ag Evaluation of co-registered images of differently stained tissue slices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226831A (zh) * 2013-05-02 2013-07-31 天津大学 利用分块布尔运算的图像匹配方法
CN107194959A (zh) * 2017-04-25 2017-09-22 北京海致网聚信息技术有限公司 基于切片进行图像配准的方法和装置
CN109325971A (zh) * 2018-08-02 2019-02-12 沈阳东软医疗系统有限公司 图像配准方法及装置
CN113269813A (zh) * 2021-06-09 2021-08-17 志诺维思（北京）基因科技有限公司 数字病理图像的配准方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于轮廓特征匹配的数字人多模态图像配准;邰伟鹏;栾干;岳建华;;计算机技术与发展(第07期);第186-188页 *

Also Published As

Publication number Publication date
CN113781530A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113781530B (zh) 一种染色切片的图像配准方法及系统
CN108596961A (zh) 基于三维卷积神经网络的点云配准方法
CN109146832B (zh) 一种视频图像的拼接方法、装置、终端设备及存储介质
CN110210584B (zh) 一种基于改进surf复合算法的高速动态二维码识别方法
EP2916537B1 (en) Image processing device
CN108009986B (zh) 基于边缘信息的碎片拼接方法和装置
CN106886988B (zh) 一种基于无人机遥感的线性目标检测方法及系统
KR101423835B1 (ko) 의료영상에서의 간 영역 검출방법
EP4266250A1 (en) Image processing method and chip, and electronic device
CN112132849A (zh) 一种基于Canny边缘检测的空间非合作目标角点提取方法
CN111652844B (zh) 一种基于数字图像区域增长的x射线缺陷检测方法及系统
Ashoori-Lalimi et al. An efficient method for vehicle license plate detection in complex scenes
CN115272362A (zh) 一种数字病理全场图像有效区域分割方法、装置
Shen et al. Segmenting multiple overlapping nuclei in H&E stained breast cancer histopathology images based on an improved watershed
CN111340025A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN108280846B (zh) 基于几何图形匹配的目标跟踪修正方法及其装置
CN114399764A (zh) 一种病理切片的扫描方法及系统
Wu et al. Research on crack detection algorithm of asphalt pavement
CN110956664B (zh) 一种手持式三维扫描系统的相机位置实时重定位方法
CN112330708A (zh) 图像处理方法、装置、存储介质及电子设备
CN116883498A (zh) 基于灰度质心提取算法的视觉合作靶标特征点定位方法
Cheng et al. Power pole detection based on graph cut
Juujarvi et al. Digital-image-based tree measurement for forest inventory
CN115619813A (zh) Sem图像前景提取方法、装置、计算机设备及存储介质
Zeng et al. Interactive image recognition of space target objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240509

Address after: 313199 2A, Building 11, National University Science Park, No. 669 High speed Railway, the Taihu Lake Street, Changxing County, Huzhou City, Zhejiang Province

Patentee after: Hengdao Zhizao Technology (Changxing) Co.,Ltd.

Country or region after: China

Address before: 201900 8th floor, building 2, No. 300 Yuankang Road, Baoshan District, Shanghai

Patentee before: SHANGHAI HISTO MEDICAL PATHOLOGY CENTER Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right