CN113487659B - 一种图像配准方法、装置、设备及存储介质 - Google Patents
一种图像配准方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113487659B CN113487659B CN202110795235.4A CN202110795235A CN113487659B CN 113487659 B CN113487659 B CN 113487659B CN 202110795235 A CN202110795235 A CN 202110795235A CN 113487659 B CN113487659 B CN 113487659B
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- conversion
- space conversion
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000006243 chemical reaction Methods 0.000 claims abstract description 247
- 230000001575 pathological effect Effects 0.000 claims abstract description 84
- 238000011524 similarity measure Methods 0.000 claims abstract description 40
- 238000013136 deep learning model Methods 0.000 claims abstract description 35
- 230000007170 pathology Effects 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像配准方法、装置、设备及存储介质，该方法包括：确定出第一参考图像及第一待配准图像，利用深度学习模型基于第一参考图像及第一待配准图像得到转换参数，利用该转换参数对第一待配准图像进行空间转换得到第二待配准图像；按照预设规则得到第二转换参数，利用第二转换参数对第二待配准图像进行空间转换，计算空间转换所得图像与第一参考图像的相似性测度，如果相似性测度满足要求，则确定完成第二待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到第二转换参数的步骤。本申请能够实现病理图像的精准配准。
Description
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种图像配准方法、装置、设备及存储介质。
背景技术
图像配准是多图像融合和三维建模的前提，在病理图像认知过程中，单一模态的图像只能提供单个维度的视角，图像中的空间信息难以全方位展示；多种模式或同一模式的多次成像通过配准融合，可以实现感兴趣区域的信息增强和上下文信息补全，从而在一幅图像上同时表达来自多种成像源的信息，医生就能做出更加准确的诊断或制定出更加合适的治疗方法。但是目前并不存在一种能够针对病理图像实现精准配准的技术方案。
发明内容
本发明的目的是提供一种图像配准方法、装置、设备及存储介质，能够实现病理图像的精准配准。
为了实现上述目的，本发明提供如下技术方案：
一种图像配准方法，包括：
确定第一病理图像为第一参考图像，第二病理图像为第一待配准图像，利用深度学习模型基于所述第一参考图像及所述第一待配准图像得到相应空间转换参数为第一转换参数，利用所述第一转换参数对所述第一待配准图像进行空间转换，并将空间转换所得图像作为第二待配准图像；其中，所述深度学习模型为预先利用历史上需要实现配准的病理图像及相应空间转换参数训练得到的；
按照预设规则得到相应空间转换参数为第二转换参数，利用所述第二转换参数对所述第二待配准图像进行空间转换，并计算空间转换所得图像与所述第一参考图像的相似性测度，如果所述相似性测度满足要求，则确定完成所述第二待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到相应空间转换参数作为第二转换参数的步骤。
优选的，还包括：
确定所述第一病理图像为第三待配准图像，所述第二病理图像为第二参考图像，利用所述深度学习模型基于所述第二参考图像及所述第三待配准图像得到相应空间转换参数为第三转换参数，利用所述第三转换参数对所述第三待配准图像进行空间转换，并将空间转换所得图像作为第四待配准图像；
按照所述预设规则得到相应空间转换参数为第四转换参数，利用所述第四转换参数对所述第四待配准图像进行空间转换，并计算空间转换所得图像与所述第二参考图像的相似性测度，如果所述相似性测度满足要求，则确定完成所述第四待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照所述预设规则得到相应空间转换参数为第四转换参数的步骤；
利用所述第四转换参数对所述第四待配准图像进行空间转换之后，还包括：
按照下列公式计算配准后病理图像I，以基于病理图像I进行运动补偿：
，
其中，为预设的加权函数，/>为完成所述第二待配准图像当前进行图像配准所需的空间转换后所得图像，/>为完成所述第四待配准图像当前进行图像配准所需的空间转换后所得图像。
优选的，预设所述加权函数，包括：
如果当前存在针对同一区域的多个按照相应顺序排列的病理图像均需要进行配准，则按照病理图像越靠近该多个病理图像的两端相应加权函数值越大的原则，确定所述病理图像进行连续病理图像I计算时加权函数的值。
优选的，将空间转换所得图像作为第二待配准图像之前，还包括：
判断当前是否设置有表示对配准精度要求高的标记，如果是，则执行将空间转换所得图像作为第二待配准图像的步骤，否则，确定无需将空间转换所得图像作为待配准图像进行再次配准。
优选的，确定所述第一病理图像及所述第二病理图像为所述第一参考图像及所述第一待配准图像之前，还包括：
对所述第一病理图像及所述第二病理图像进行尺度变化、色彩归一化及色彩增强的预处理操作。
优选的，计算配准后病理图像I之后，还包括：
基于病理图像I进行相应三维病理图像的构建，并将构建所得的三维病理图像输出至医护人员对应设备终端，以供使用。
优选的，所述深度学习模型具体为卷积神经网络。
一种图像配准装置，包括：
第一配准模块，用于：确定第一病理图像为第一参考图像，第二病理图像为第一待配准图像，利用深度学习模型基于所述第一参考图像及所述第一待配准图像得到相应空间转换参数为第一转换参数，利用所述第一转换参数对所述第一待配准图像进行空间转换，并将空间转换所得图像作为第二待配准图像；其中，所述深度学习模型为预先利用历史上需要实现配准的病理图像及相应空间转换参数训练得到的；
第二配准模块，用于：按照预设规则得到相应空间转换参数为第二转换参数，利用所述第二转换参数对所述第二待配准图像进行空间转换，并计算空间转换所得图像与所述第一参考图像的相似性测度，如果所述相似性测度满足要求，则确定完成所述第二待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到相应空间转换参数作为第二转换参数的步骤。
一种图像配准设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述图像配准方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述图像配准方法的步骤。
本发明提供了一种图像配准方法、装置、设备及存储介质，包括：确定第一病理图像为第一参考图像，第二病理图像为第一待配准图像，利用深度学习模型基于所述第一参考图像及所述第一待配准图像得到相应空间转换参数为第一转换参数，利用所述第一转换参数对所述第一待配准图像进行空间转换，并将空间转换所得图像作为第二待配准图像；其中，所述深度学习模型为预先利用历史上需要实现配准的病理图像及相应空间转换参数训练得到的；按照预设规则得到相应空间转换参数为第二转换参数，利用所述第二转换参数对所述第二待配准图像进行空间转换，并计算空间转换所得图像与所述第一参考图像的相似性测度，如果所述相似性测度满足要求，则确定完成所述第二待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到相应空间转换参数作为第二转换参数的步骤。本申请在需要实现分别作为参考图像及待配准图像的两个病理图像的配准时，先将参考图像及待配准图像输入至预先训练得到的深度学习模型中得到相应空间转换参数，利用得到的空间转换参数对待配准图像实现空间转换后将所得图像作为新的待配准图像，然后再基于相似性测度的计算寻找使得新的待配准图像与参考图像实现有效配准的空间转换参数，实现对新的待配准图像的空间转换，从而能够实现病理图像的精准配准。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种图像配准方法的流程图；
图2为本发明实施例提供的一种图像配准装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明实施例提供的一种图像配准方法的流程图，可以包括：
S11：确定第一病理图像为第一参考图像，第二病理图像为第一待配准图像，利用深度学习模型基于第一参考图像及第一待配准图像得到相应空间转换参数为第一转换参数，利用第一转换参数对第一待配准图像进行空间转换，并将空间转换所得图像作为第二待配准图像；其中，深度学习模型为预先利用历史上需要实现配准的病理图像及相应空间转换参数训练得到的。
本申请实施例中的病理图像具体可以为病理切片，而第一病理图像及第二病理图像可以分别表示为I1及I2；在确定出需要实现配准的第一病理图像及第二病理图像分别为当前的参考图像及待配准图像（也即为第一参考图像及第一待配准图像）后，可以将第一参考图像及第一待配准图像均输入深度学习模型中，得到深度学习模型输出的数据即为与第一待配准图像对应的空间转换参数（也即为第一转换参数），然后则可以利用得到的空间转换参数对第一待配准图像进行空间转换。其中，可以预先获取历史上多对需要实现配准的病理图像作为图像样本，利用能够实现有效配准的空间转换参数作为相应图像样本的标签，最后利用图像样本及相应的标签训练得到深度学习模型；从而通过这种方式快速实现空间转换参数的确定。
另外，为了实现对待配准图像及参考图像之间的进一步配准，本申请实施例可以利用得到的空间转换参数对第一待配准图像进行空间转换，并将进行空间转换所得图像作为第二待配准图像，以供后续使用。而基于空间转换参数实现相应空间转换与现有技术对应方案的实现原理相同，在此不再赘述。
S12：按照预设规则得到相应空间转换参数为第二转换参数，利用第二转换参数对第二待配准图像进行空间转换，并计算空间转换所得图像与第一参考图像的相似性测度，如果相似性测度满足要求，则确定完成第二待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到相应空间转换参数作为第二转换参数的步骤。
需要说明的是，预设规则可以根据实际需要进行设定，如随机原则等。按照预设规则得到空间转换参数为第二转换参数，然后利用第二转换参数对第二待配准图像进行空间转换，如果进行空间转换所得的图像能够实现有效配准，也即其与第一参考图像的相似性测度满足根据实际需要设定的要求，则可以确定第二转换参数为最优的转换参数，而利用最优的转换参数实现第二待配准图像的空间转换即为实现第二待配准图像进行图像配准时所需的空间转换。其中，相似性测度(metric)可以是评判空间转换后图像好坏的参数，如NCC（normalized cross correlation，归一化互相关）/NMI（Normalized MutualInformation，标准化互信息）/SSD（Sum of Squared Differences，误差平方和算法）等，而相似性测度满足要求则可以为相似性测度足够小；相应的，本申请实施例也可以随机生成多个空间转换参数，取能够使得空间转换后的第二待配准图像与第一参考图像的相似性测度最小的空间转换参数为最优的转换参数。从而能够实现更加精准的图像配准。
另外，本申请实施例中步骤S12可以是基于图像特征实现的，具体来说，在步骤S12中，可以先分别提取第二待配准图像及第一参考图像的图像特征（可以是利用传统/深度学习等方式提取的特征点/线/区域等），然后利用第二转换参数对第二待配准图像的图像特征进行空间转换，并计算空间转换所得图像与第一参考图像的图像特征之间的相似性测度，如果相似性测度满足要求，则确定第二转换参数为最优转换参数，利用最优转换参数对第二待配准图像原图进行空间转换，否则，返回执行得到空间转换参数作为第二转换参数的步骤。在另一种实现方式中，步骤S12可以是基于图像原图实现的，具体来说，在步骤S12中，可以利用第二转换参数对第二待配准图像原图进行空间转换，并计算空间转换所得图像与第一参考图像原图之间的相似性测度，如果相似性测度满足要求，则确定第二转换参数为最优转换参数，利用最优转换参数对第二待配准图像原图进行空间转换，否则，返回执行得到空间转换参数作为第二转换参数的步骤。当然根据实际需要进行的其他设置，也均在本发明的保护范围之内。
本申请在需要实现分别作为参考图像及待配准图像的两个病理图像的配准时，先将参考图像及待配准图像输入至预先训练得到的深度学习模型中得到相应空间转换参数，利用得到的空间转换参数对待配准图像实现空间转换后将所得图像作为新的待配准图像，然后再基于相似性测度的计算寻找使得新的待配准图像与参考图像实现有效配准的空间转换参数，实现对新的待配准图像的空间转换，从而能够实现病理图像的精准配准。
本发明实施例提供的一种图像配准方法，还可以包括：
确定第一病理图像为第三待配准图像，第二病理图像为第二参考图像，利用深度学习模型基于第二参考图像及第三待配准图像得到相应空间转换参数为第三转换参数，利用第三转换参数对第三待配准图像进行空间转换，并将空间转换所得图像作为第四待配准图像；
按照预设规则得到相应空间转换参数为第四转换参数，利用第四转换参数对第四待配准图像进行空间转换，并计算空间转换所得图像与第二参考图像的相似性测度，如果相似性测度满足要求，则确定完成第四待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到相应空间转换参数为第四转换参数的步骤；
利用第四转换参数对第四待配准图像进行空间转换之后，还包括：
按照下列公式计算配准后病理图像I，以基于病理图像I进行运动补偿：
，
其中，为预设的加权函数，/>为完成第二待配准图像当前进行图像配准所需的空间转换后所得图像，/>为完成第四待配准图像当前进行图像配准所需的空间转换后所得图像。
本申请实施例为了在进行图像配准时能够有效实现运动补偿，对于需要实现配准的两个图像，每个图像均需要作为参考图像，而另一个图像则相应的作为待配准图像，从而将需要实现配准的两个图像组成的两组参考图像及待配准图像，均需要使用深度学习模型及相似性测度得到最优的转换参数；具体来说，病理图像I1作为待配准图像相应最优的转换参数可以表示为，病理图像I2作为待配准图像相应最优的转换参数可以表示为/>，病理图像I1按照/>实现空间转换后所得图像可以表示为/>，病理图像I2按照/>实现空间转换后所得图像可以表示为/>，加权函数可以表示为/>，则得到的病理图像I1及病理图像I2对应配准后连续的病理图像I则可以由上述公式得到，达到需要实现配准的连个病理图像同时向对方配准的效果。
本发明实施例提供的一种图像配准方法，预设转换加权函数，可以包括：
如果当前存在针对同一区域的多个按照相应顺序排列的病理图像均需要进行配准，则按照病理图像越靠近该多个病理图像的两端相应加权函数值越大的原则，确定转换病理图像进行连续病理图像I计算时加权函数的值。
需要说明的是，本申请实施例中需要实现配准的可以为对同一病理区域拍摄得到的多个连续的病理图像，而本申请实施例中每次取的病理图像I1及病理图像I2可以多个连续病理图像中相邻的任意两个病理图像，而在设置加权函数时，则按照当前配准的两个病理图像距离多个连续的病理图像第一张病理图像或最后一张病理图像越近，则加权函数的值越大的方式实现相应加权函数值的设置，且实验证明这种方式能够有效实现不同病理图像之间的加权，使得得到的配准后的病理图像的精准性较高。
本发明实施例提供的一种图像配准方法，将空间转换所得图像作为第二待配准图像之前，还可以包括：
判断当前是否设置有表示对配准精度要求高的标记，如果是，则执行将空间转换所得图像作为第二待配准图像的步骤，否则，确定无需将空间转换所得图像作为待配准图像进行再次配准。
由于基于深度学习模型得到待配准图像对应空间转换参数具有速度快的优点，因此本申请可以判断是否设置有表示对配准精度要求高的标记，如果是，则在基于深度学习模型得到相应空间转换参数后，继续使用相似性测度实现相应病理图像的配准，从而达到较高精准性。否则，在基于深度学习模型得到相应空间转换参数后，无需再继续使用相似性测度实现相应病理图像的配准，而是直接利用深度学习模型获得的空间转换参数实现图像配准，从而提高了病理图像配准的灵活性。
本发明实施例提供的一种图像配准方法，确定第一病理图像及第二病理图像为第一参考图像及第一待配准图像之前，还可以包括：
对第一病理图像及第二病理图像进行尺度变化、色彩归一化及色彩增强的预处理操作。
本申请在使用需要实现配准的病理图像之前，还可以对病理图像进行预处理操作，而预处理操作包括但不限于尺度变化、色彩归一化及色彩增强，从而便于实现对病理图像的后续处理。
本发明实施例提供的一种图像配准方法，计算配准后病理图像I之后，还可以包括：
基于病理图像I进行相应三维病理图像的构建，并将构建所得的三维病理图像输出至医护人员对应设备终端，以供使用。
本申请在得到配准后的病理图像后，还可以基于配准后的病理构建相应的三维病理图像，进而将三维病理图像推送至医护人员对应的设备终端，以供相应医护人员远程获取三维病理图像后，基于三维病理图像实现相应的医疗诊断等操作。另外，考虑到病理图像在采集过程中可能产生的运动误差，本申请通过上述配准方式（包括通过深度学习模型及图像特征实现病理图像之间的精准配准，以及通过加权函数值的设置方式使得两端的病理图像均向中间的病理图像靠近等，均能够矫正运动误差）能够进行运动误差的矫正， 最终实现病理连续切片的三维重建，以供使用等。
需要说明的是，本申请实施例中的转换深度学习模型具体可以为卷积神经网络(CNN)，从而保证基于深度学习模型获取相应空间转换参数时的有效性及准确性。
在一种具体实现方式中，本发明实施例提供的一种图像配准方法具体可以包括：
基于深度学习模型实现病理图像间的配准：
输出一对病理图像的切片(I1、I2)，对病理图像进行预处理(尺度变化/色彩归一化/色彩增强等)；
将病理图像(I1、I2)输入至卷积神经网络中，得到卷积神经网络输出的数据为相应空间转换参数，以利用该空间转换参数实现相应空间转换。
其中，卷积神经网络可以是类似于VGGNet/GoogleNet/ResNet/DenseNet的分类网络，用于提取空间转换参数；空间转换参数可以是线性转换参数(Affine/Projection /Rigid转换等)，也可以是非线性参数(B-spline转换等)；空间转换(STN)即为利用空间转换参数对待配准图像I2进行空间转化(平移、缩放、旋转和更一般的扭曲)；损失(loss)用于神经网络模型反向传播指导网络参数学习，根据有/无监督网络类型设置不同的loss函数，包括转换参数的回归loss(L1/L2/L1_smooth等)，转换矩阵的正则loss(梯度行列式/雅克比行列式等)，转换图像的相似性loss(协方差/互信息/均方差等)；输出Reg(I2)，为待配准图像I2相对参考图像I1进行空间转换后所得的转换图像。
基于图像特征实现病理图像间的配准：
病理图像配准是获取病理图像间空间转换参数（Tr）的过程，如下公式，在满足病理图像间最小相似性测度的情况下，获取最优的空间转换参数Tr：
基于上述公式由待配准图像与参考图像/>提取特征组成信息空间；确定空间转换参数(/>),获取待配准图像/>转换后图像/>；计算图像/>与参考图像/>的相似性测度/>，/>不满足要求时更新空间转换参数(/>),返回执行确定空间转换参数()的步骤，直至满足/>，获取最优的/>。
基于两个病理图像的最优的变化参数得到配准后的连续的病理图像：
获取相邻病理图像（I1、I2）的特征；通过配准算法/>、，获取空间转换参数/>和/>；基于空间转换参数/>和/>，优化/>和；最终按照下列公式通过加权函数/>，获取连续图像/>，实现运动补偿：
。
可见，本申请采用两种途径实现病理图像的配准，分别为：1）使用相似性测度的基于（特征点/特征区域等）的迭代配准；2）使用采用卷积神经网络的配准；从而不依赖任何人为操作，实现较好效果的病理图像匹配，给医生的三维诊断带来便利。
本发明实施例还提供了一种病理图像配装置，如图2所示，可以包括：
第一配准模块11，用于：确定第一病理图像为第一参考图像，第二病理图像为第一待配准图像，利用深度学习模型基于第一参考图像及第一待配准图像得到相应空间转换参数为第一转换参数，利用第一转换参数对第一待配准图像进行空间转换，并将空间转换所得图像作为第二待配准图像；其中，深度学习模型为预先利用历史上需要实现配准的病理图像及相应空间转换参数训练得到的；
第二配准模块12，用于：按照预设规则得到相应空间转换参数为第二转换参数，利用第二转换参数对第二待配准图像进行空间转换，并计算空间转换所得图像与第一参考图像的相似性测度，如果相似性测度满足要求，则确定完成第二待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到相应空间转换参数作为第二转换参数的步骤。
本发明实施例还提供了一种图像配准设备，可以包括：
存储器，用于存储计算机程序；
处理器，用于执行转换计算机程序时实现如上任一项转换图像配准方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，转换计算机可读存储介质上存储有计算机程序，转换计算机程序被处理器执行时实现如上任一项转换图像配准方法的步骤。
需要说明的是，本发明实施例提供的一种图像配准装置、设备及存储介质中相关部分的说明请参见本发明实施例提供的一种图像配准方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种图像配准方法，其特征在于，包括：
确定第一病理图像为第一参考图像，第二病理图像为第一待配准图像，利用深度学习模型基于所述第一参考图像及所述第一待配准图像得到相应空间转换参数为第一转换参数，利用所述第一转换参数对所述第一待配准图像进行空间转换，并将空间转换所得图像作为第二待配准图像；其中，所述深度学习模型为预先利用历史上需要实现配准的病理图像及相应空间转换参数训练得到的；
按照预设规则得到相应空间转换参数为第二转换参数，利用所述第二转换参数对所述第二待配准图像进行空间转换，并计算空间转换所得图像与所述第一参考图像的相似性测度，如果所述相似性测度满足要求，则确定完成所述第二待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到相应空间转换参数作为第二转换参数的步骤；
确定所述第一病理图像为第三待配准图像，所述第二病理图像为第二参考图像，利用所述深度学习模型基于所述第二参考图像及所述第三待配准图像得到相应空间转换参数为第三转换参数，利用所述第三转换参数对所述第三待配准图像进行空间转换，并将空间转换所得图像作为第四待配准图像；
按照所述预设规则得到相应空间转换参数为第四转换参数，利用所述第四转换参数对所述第四待配准图像进行空间转换，并计算空间转换所得图像与所述第二参考图像的相似性测度，如果所述相似性测度满足要求，则确定完成所述第四待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照所述预设规则得到相应空间转换参数为第四转换参数的步骤；
利用所述第四转换参数对所述第四待配准图像进行空间转换之后，还包括：
按照下列公式计算配准后病理图像I，以基于病理图像I进行运动补偿：
，
其中，为预设的加权函数，/>为完成所述第二待配准图像当前进行图像配准所需的空间转换后所得图像，/>为完成所述第四待配准图像当前进行图像配准所需的空间转换后所得图像。
2.根据权利要求1所述的方法，其特征在于，预设所述加权函数，包括：
如果当前存在针对同一区域的多个按照相应顺序排列的病理图像均需要进行配准，则按照病理图像越靠近该多个病理图像的两端相应加权函数值越大的原则，确定所述病理图像进行连续病理图像I计算时加权函数的值。
3.根据权利要求2所述的方法，其特征在于，将空间转换所得图像作为第二待配准图像之前，还包括：
判断当前是否设置有表示对配准精度要求高的标记，如果是，则执行将空间转换所得图像作为第二待配准图像的步骤，否则，确定无需将空间转换所得图像作为待配准图像进行再次配准。
4.根据权利要求3所述的方法，其特征在于，确定所述第一病理图像及所述第二病理图像为所述第一参考图像及所述第一待配准图像之前，还包括：
对所述第一病理图像及所述第二病理图像进行尺度变化、色彩归一化及色彩增强的预处理操作。
5.根据权利要求4所述的方法，其特征在于，计算配准后病理图像I之后，还包括：
基于病理图像I进行相应三维病理图像的构建，并将构建所得的三维病理图像输出至医护人员对应设备终端，以供使用。
6.根据权利要求5所述的方法，其特征在于，所述深度学习模型具体为卷积神经网络。
7.一种图像配准装置，其特征在于，包括：
第一配准模块，用于：确定第一病理图像为第一参考图像，第二病理图像为第一待配准图像，利用深度学习模型基于所述第一参考图像及所述第一待配准图像得到相应空间转换参数为第一转换参数，利用所述第一转换参数对所述第一待配准图像进行空间转换，并将空间转换所得图像作为第二待配准图像；其中，所述深度学习模型为预先利用历史上需要实现配准的病理图像及相应空间转换参数训练得到的；
第二配准模块，用于：按照预设规则得到相应空间转换参数为第二转换参数，利用所述第二转换参数对所述第二待配准图像进行空间转换，并计算空间转换所得图像与所述第一参考图像的相似性测度，如果所述相似性测度满足要求，则确定完成所述第二待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照预设规则得到相应空间转换参数作为第二转换参数的步骤；
所述图像配准装置还用于：
确定所述第一病理图像为第三待配准图像，所述第二病理图像为第二参考图像，利用所述深度学习模型基于所述第二参考图像及所述第三待配准图像得到相应空间转换参数为第三转换参数，利用所述第三转换参数对所述第三待配准图像进行空间转换，并将空间转换所得图像作为第四待配准图像；
按照所述预设规则得到相应空间转换参数为第四转换参数，利用所述第四转换参数对所述第四待配准图像进行空间转换，并计算空间转换所得图像与所述第二参考图像的相似性测度，如果所述相似性测度满足要求，则确定完成所述第四待配准图像当前进行图像配准所需的空间转换，否则，返回执行按照所述预设规则得到相应空间转换参数为第四转换参数的步骤；
利用所述第四转换参数对所述第四待配准图像进行空间转换之后，还包括：
按照下列公式计算配准后病理图像I，以基于病理图像I进行运动补偿：
，
其中，为预设的加权函数，/>为完成所述第二待配准图像当前进行图像配准所需的空间转换后所得图像，/>为完成所述第四待配准图像当前进行图像配准所需的空间转换后所得图像。
8.一种图像配准设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述图像配准方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像配准方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795235.4A CN113487659B (zh) | 2021-07-14 | 2021-07-14 | 一种图像配准方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795235.4A CN113487659B (zh) | 2021-07-14 | 2021-07-14 | 一种图像配准方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487659A CN113487659A (zh) | 2021-10-08 |
| CN113487659B true CN113487659B (zh) | 2023-10-20 |
Family
ID=77939234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110795235.4A Active CN113487659B (zh) | 2021-07-14 | 2021-07-14 | 一种图像配准方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487659B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427263A (zh) * | 2015-12-21 | 2016-03-23 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
| CN105562361A (zh) * | 2015-12-23 | 2016-05-11 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
| CN106534614A (zh) * | 2015-09-10 | 2017-03-22 | 南京理工大学 | 移动摄像机下运动目标检测的快速运动补偿方法 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109872350A (zh) * | 2019-02-18 | 2019-06-11 | 重庆市勘测院 | 一种新的点云自动配准方法 |
| CN111383204A (zh) * | 2019-12-19 | 2020-07-07 | 北京航天长征飞行器研究所 | 视频图像融合方法、融合装置、全景监控系统及存储介质 |
| WO2020244672A1 (zh) * | 2019-06-05 | 2020-12-10 | 首都师范大学 | 图像配准方法、装置、电子设备及计算机可读存储介质 |
-
2021
- 2021-07-14 CN CN202110795235.4A patent/CN113487659B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534614A (zh) * | 2015-09-10 | 2017-03-22 | 南京理工大学 | 移动摄像机下运动目标检测的快速运动补偿方法 |
| CN105427263A (zh) * | 2015-12-21 | 2016-03-23 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
| CN105562361A (zh) * | 2015-12-23 | 2016-05-11 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109872350A (zh) * | 2019-02-18 | 2019-06-11 | 重庆市勘测院 | 一种新的点云自动配准方法 |
| WO2020244672A1 (zh) * | 2019-06-05 | 2020-12-10 | 首都师范大学 | 图像配准方法、装置、电子设备及计算机可读存储介质 |
| CN111383204A (zh) * | 2019-12-19 | 2020-07-07 | 北京航天长征飞行器研究所 | 视频图像融合方法、融合装置、全景监控系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| An Unsupervised Learning Model for Deformable Medical Image Registration;Guha Balakrishnan 等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;第9252-9260页 * |
| 基于几何特征约束的建筑物点云配准算法;郑德华 等;《测绘学报》;第37卷(第4期);第464-468页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487659A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599528B (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| Shen et al. | Networks for joint affine and non-parametric image registration | |
| Zhang | Inverse-consistent deep networks for unsupervised deformable image registration | |
| JP7433297B2 (ja) | 深層学習ベースのコレジストレーション | |
| Mahapatra et al. | Training data independent image registration using generative adversarial networks and domain adaptation | |
| CN104067312B (zh) | 对噪声有鲁棒性的图像配准方法和系统 | |
| WO2021189843A1 (zh) | Ct图像椎骨定位方法、装置、设备及介质 | |
| CN113826143A (zh) | 特征点检测 | |
| WO2018000652A1 (zh) | 一种非刚性多模医学图像的配准方法及系统 | |
| WO2024021523A1 (zh) | 基于图网络的大脑皮层表面全自动分割方法及系统 | |
| CN112102294B (zh) | 生成对抗网络的训练方法及装置、图像配准方法及装置 | |
| US20030235337A1 (en) | Non-rigid image registration using distance functions | |
| CN114359360B (zh) | 一种基于对抗的双向一致性约束医学图像配准算法 | |
| Jiang et al. | miLBP: a robust and fast modality-independent 3D LBP for multimodal deformable registration | |
| Tang et al. | Retinal image registration based on robust non-rigid point matching method | |
| CN103345741A (zh) | 一种非刚性多模医学图像精确配准方法 | |
| CN109961435B (zh) | 脑图像获取方法、装置、设备及存储介质 | |
| CN109559296B (zh) | 基于全卷积神经网络和互信息的医学图像配准方法及系统 | |
| CN110517300A (zh) | 基于局部结构算子的弹性图像配准算法 | |
| CN113487659B (zh) | 一种图像配准方法、装置、设备及存储介质 | |
| Roozgard et al. | Medical image registration using sparse coding and belief propagation | |
| Dan et al. | Multifeature energy optimization framework and parameter adjustment-based nonrigid point set registration | |
| Wang et al. | Image registration method using representative feature detection and iterative coherent spatial mapping for infrared medical images with flat regions | |
| CN115984203A (zh) | 一种眼球突出度测量方法、系统、终端及介质 | |
| CN111798500B (zh) | 一种基于层次邻域谱特征的微分同胚非刚性配准算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |