CN111932595A - 图像配准方法、装置、电子设备及存储介质 - Google Patents
图像配准方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111932595A CN111932595A CN202011018184.6A CN202011018184A CN111932595A CN 111932595 A CN111932595 A CN 111932595A CN 202011018184 A CN202011018184 A CN 202011018184A CN 111932595 A CN111932595 A CN 111932595A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- floating
- initial
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000007667 floating Methods 0.000 claims abstract description 199
- 238000011524 similarity measure Methods 0.000 claims abstract description 29
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 11
- 210000004072 lung Anatomy 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012886 linear function Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，揭露了一种图像配准方法，包括：获取固定图像及浮动图像，对固定图像及浮动图像执行掩码操作，得到掩码固定图像和掩码浮动图像；对掩码浮动图像进行线性参数插值，得到初始浮动图像；计算初始浮动图像与掩码固定图像的相似度量值；若相似度量值大于预设阈值，则将初始浮动图像作为掩码固定图像的配准图像；若相似度量值不大于预设阈值，则对初始浮动图像的线性参数进行优化，直至相似度量值大于所述预设阈值，结束线性参数的优化，得到掩码固定图像的配准图像。此外，本发明还涉及区块链技术，上述图像可以存储于区块链节点中。本发明可以提高图像配准的时效性。本发明可以应用于医疗图像配准的应用场景中。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像配准方法、装置、电子设备及计算机可读存储介质。
背景技术
图像配准是一个将不同坐标系图像转换在统一坐标系统下的一个过程。在医疗领域，从同一为病人的临床记录中获得的多幅图像通常具有信息互补性，因此从各个图像中整合有用的信息是十分必要的。一般而言，这种整合的第一个步骤就是要将不同的图像在空间上对齐，也就是要进行图像配准的过程。例如，将统一病人不同时间点获取的图像进行配准后，可以明显的看出病灶的变化情况，在评估疾病进展、治疗效果、及预后上有一定的帮助。
传统的医学图像仿射配准算法一般通过原图像素值度量图像互信息，根据图像互信息来完成图像配准，由于原图中通常含有大量的像素值，导致需要大量的并行计算图像互信息，导致图像配准会十分耗时，比如，完成两张CT肺部图像的仿射配准一般需要30秒左右。
发明内容
本发明提供一种图像配准方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高图像配准的时效性。
为实现上述目的，本发明提供的一种图像配准方法，包括：
获取固定图像及浮动图像，对所述固定图像及浮动图像执行掩码操作，得到掩码固定图像和掩码浮动图像；
对所述掩码浮动图像进行线性参数插值，得到初始浮动图像；
计算所述初始浮动图像与所述掩码固定图像的相似度量值；
若所述相似度量值大于预设阈值，则将所述初始浮动图像作为所述掩码固定图像的配准图像；
若所述相似度量值不大于预设阈值，则对所述初始浮动图像的线性参数进行优化，直至所述相似度量值大于所述预设阈值，结束所述线性参数的优化，得到所述掩码固定图像的配准图像。
可选地，所述对所述固定图像及浮动图像执行掩码操作，包括：
获取所述固定图像及浮动图像的图像矩阵；
对所述图像矩阵进行分割，得到初始图像矩阵；
计算所述初始图像矩阵中每一个像素点的均值掩码，得到掩码像素值集；
根据所述初始图像矩阵的尺寸，及所述掩码像素值集进行掩码操作。
可选地，在对所述掩码浮动图像进行线性参数插值之前，还包括：
基于所述掩码固定图像和掩码浮动图像的所占内存大小，在GPU中创建与所占内存大小相同的GPU空间，利用传输函数将所述掩码固定图像和掩码浮动图像传输至所述GPU空间中。
可选地，所述对所述掩码浮动图像进行线性参数插值，得到初始浮动图像，包括：
将所述掩码浮动图像的图像矩阵传输至预先在所述GPU中创建的参数插值线程中；
利用所述参数插值线程中的线性函数对所述掩码浮动图像的图像矩阵进行参数插值，得到初始浮动图像。
可选地，所述线性函数包括：
其中，
表示插入的x线性参数，x表示线性参数的横坐标，
，
分别表示浮动图像矩阵中第0个像素点的横坐标和纵坐标，
，
分别表示图像矩阵中第1个像素点的横坐标和纵坐标。
可选地，所述对所述初始浮动图像的线性参数进行优化，包括：
利用下述方法对所述初始浮动图像的线性参数进行优化：
其中，
表示优化后的线性参数，
表示初始浮动图像中的线性参数，
表示线性参数的梯度，
表示迭代次数，
表示学习率。
可选地，所述固定图像及浮动图像为肺部CT图像。
为了解决上述问题，本发明还提供一种图像配准装置，所述装置包括：
掩码模块，用于获取固定图像及浮动图像，对所述固定图像及浮动图像执行掩码操作，得到掩码固定图像和掩码浮动图像；
插值模块，用于对所述掩码浮动图像进行线性参数插值，得到初始浮动图像；
计算模块，用于计算所述初始浮动图像与所述掩码固定图像的相似度量值；
图像配准模块，用于在所述相似度量值大于预设阈值时，则将所述初始浮动图像作为所述掩码固定图像的配准图像；
所述图像配准模块，还用于在所述相似度量值不大于预设阈值时，则对所述初始浮动图像的线性参数进行优化，直至所述相似度量值大于所述预设阈值，结束所述线性参数的优化，得到所述掩码固定图像的配准图像。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的图像配准方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的图像配准方法。
本发明实施例首先对固定图像及浮动图像进行掩码操作，以提取出所述固定图像及浮动图像中的特征像素点，减少图像配准的工作量，提高图像配准的速度；其次，本发明实施例对浮动图像进行线性参数插值，以保障所述浮动图像与固定图像可以相处于同一个空间坐标系中，从而计算出所述浮动图像与固定图像的图像互信息；此外，本发明实施例通过计算出的所述浮动图像与固定图像的相似度量值，调整所述浮动图像的线性参数，以实现所述浮动图像与固定图像的图像互信息的最大化，完成图像配准。因此，本发明提出的一种图像配准方法、装置、电子设备以及计算机可读存储介质可以提高图像配准的时效性。
附图说明
图1为本发明一实施例提供的图像配准方法的流程示意图；
图2为本发明第一实施例中图1提供的图像配准方法步骤S1中的图像配准的详细流程示意图；
图3为本发明第一实施例中图1提供的图像配准方法步骤S2中图像插值的详细流程示意图；
图4为本发明一实施例提供的图像配准装置的模块示意图；
图5为本发明一实施例提供的实现图像配准方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种图像配准方法。所述图像配准方法的执行主体包括，但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述图像配准方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示的本发明实施例提供的图像配准方法的流程示意图，在本发明实施例中，所述图像配准方法包括：
S1、获取固定图像及浮动图像，对所述固定图像及浮动图像执行掩码操作，得到掩码固定图像和掩码浮动图像。
本发明实施例可以从一个待配准的图像集中随机选择其中一个图像作为固定图像及随机选择一个图像作为浮动图像。
其中，所述待配准的图像集指的是同一个物体在不同时间或由不同设备采集得到的，例如，对于同一病人同一病灶的不同时段的临床图片。通过将同一病人同一病灶的不同时段的临床图片配准到同一坐标下的系统中，可以更好的识别出病人的病灶变化情况，帮助医生做进一步更好的诊断，其中，本发明实施例中，所述待配准的图像集为肺部CT图像集。
进一步地，由于待配准的图像集中会存在噪声、异物等，影响图像配准的准确性及速度，例如，肺部CT图像中可能包括如异物、噪声以及非肺部区域，因此，本发明实施例对所述固定图像及浮动图像执行掩码操作，以降低所述图像集中异常像素值的影响，提高图像配准的准确性及速度。
详细地，参阅图2所示，所述对所述固定图像及浮动图像执行掩码操作，包括：
S10、获取所述固定图像及浮动图像的图像矩阵；
S11、对所述图像矩阵进行分割，得到初始图像矩阵；
S12、利用卷积核算子计算所述初始图像矩阵中每一个像素点的均值掩码，得到掩码像素值集；
S13、根据所述初始图像矩阵的尺寸，及所述掩码像素值集进行掩码操作。
其中，所述图像矩阵根据图像中的像素点生成，例如，一个图片中包含100个像素点，则可以生成10*10的图像矩阵。
一个可选实施例中，所述分割指的是对图像矩阵中非特征像素点进行删除，以提取出图像集中特征像素点，减少图像配准的工作量，提高图像配准的速度。
本发明的一个可选实施例中，通过对所述初始图像矩阵中每一个像素点的邻域进行多次卷积，得到所述掩码像素值集。
本发明的一个可选实施例中，通过对每一个像素点的邻域进行均值掩码，得到所述掩码像素值集。
其中，所述卷积核算子的大小基于不同需求进行设置，本发明中，配置所述卷积核算子的大小为3*3，则所述均值掩码的表达形式可如下所示：
本发明一个可选实施例中，根据所述初始图像矩阵的尺寸，及所述掩码像素值集，进行掩码操作，利用Python构建一个新的图像，得到得到掩码固定图像和掩码浮动图像。其中，掩码固定图像和掩码浮动图像的尺寸与所述初始图像矩阵的尺寸相同。
进一步地，为保障所述掩码固定图像和掩码浮动图像的私密性和安全性，所述掩码固定图像和掩码浮动图像还可存储于一区块链节点中。
S2、对所述掩码浮动图像进行线性参数插值，得到初始浮动图像。
由于所述固定图像和浮动图像存在于CPU中，若通过CPU中计算图像配准时，需要进行大量的并行计算图像互信息，导致图像配准会十分耗时，因此，本发明实施例在对所述掩码浮动图像进行线性参数插值之前，将所述掩码固定图像和掩码浮动图像传输至GPU中，通过所述GPU对所述掩码固定图像和掩码浮动图像进行线性参数插值，以减少图像互信息的并行计算，提高图像配准的时效性。
详细地，所述将所述掩码固定图像和掩码浮动图像传输至GPU中，包括：
基于所述掩码固定图像和掩码浮动图像的所占内存大小，在GPU中创建与所占内存大小相同的GPU空间，利用预设的传输函数将CPU中的掩码固定图像和掩码浮动图像传输至所述GPU空间中。优选地，本发明较佳实施例中，所述传输函数为cudaMemcpy函数。
进一步地，由于所述掩码固定图像和所述掩码浮动图像所处的空间坐标系位置不同，因此，本发明通过所述GPU对所述掩码浮动图像进行线性参数插值，根据插值的线性参数，以保障所述掩码浮动图像与所述掩码固定图像可以相处于同一个空间坐标系中。
具体的，参阅图3所示，所述通过所述GPU对所述掩码浮动图像进行线性参数插值，得到初始浮动图像，包括：
S20、将所述掩码浮动图像的图像矩阵传输至预先在所述GPU中创建的参数插值线程中；
S21、利用所述参数插值线程中的线性函数对所述掩码浮动图像的图像矩阵进行参数插值，得到初始浮动图像。
一个优选实施例中，所述参数插值线程指的是一个专门用于进行图像插值的任务运行单位，优选地，本发明中，所述参数插值线程通过call()方法创建。
一个优选实施例中，所述线性函数包括：
其中，
表示插入的x线性参数，x表示线性参数的横坐标，
，
分别表示浮动图像矩阵中第0个像素点的横坐标和纵坐标，
，
分别表示图像矩阵中第1个像素点的横坐标和纵坐标。
进一步地，根据所述x线性参数的计算原理，得到所述掩码浮动图像的图像矩阵中y线性参数和z线性参数。
示例性地，所述浮动图像的图像矩阵为3*3的矩阵，则对所述掩码浮动图像的图像矩阵进行线性参数插值，可以得到3D仿射变换的浮动图像矩阵为：
其中，
，
，
分别表示x、y以及z线性参数，通过对所述线性参数进行调整，以使浮动图像与固定图像的相似度量值最大，从而可以整合不同时间段的图像信息。
S3、计算所述初始浮动图像和所述掩码固定图像的相似度量值。
本发明较佳实施例中，利用下述方法计算所述初始浮动图像和所述掩码固定图像的相似度量值：
其中，DICE（A，B）表示相似度量值，A表示初始浮动图像中的像素值，B表示掩码固定图像中的像素值，若DICE（A，B）=1，则表示初始浮动图像和掩码固定图像完全相似，若DICE（A，B）=0，则表示初始浮动图像和掩码固定图像完没有任何区域相似。
进一步地，通过所述相似度量值可以识别出浮动图像与掩码固定图像的相关程度，从而可以识别出浮动图像与掩码固定图像的配准率。
若所述相似度量值大于预设阈值，则执行S4、将所述初始浮动图像作为所述掩码固定图像的配准图像。
本发明较佳实施例中，所述阈值为0.95，若所述相似度量值大于所述预设阈值，则表示初始浮动图像与所述掩码固定图像存在的相似区域足以更好的表达出图像变化情况，于是，本发明将所述初始浮动图像作为所述掩码固定图像的配准图像。
若所述相似度量值不大于预设阈值，则执行S5、对所述初始浮动图像中的线性参数进行优化，直至所述相似度量值大于所述预设阈值，结束所述线性参数的优化，得到所述掩码固定图像的配准图像。
本发明较佳实施例中，若所相似度量值大于所述预设阈值，则表示所述初始浮动图像与所述掩码固定图像存在的相似区域不足以更好的表达出图像变化情况，于是，本发明实施例利用随机梯度下降算法对所述初始浮动图像进行线性参数优化，并重新计算优化后的所述初始浮动图像和所述掩码固定图像的相似度量值，直至所述相似度量值大于预设阈值，结束线性参数优化，得到所述掩码固定图像的配准图像。
一个优选实施例中，利用下述方法对所述初始浮动图像中的线性参数进行优化：
其中，
表示优化后的线性参数，
表示初始浮动图像中的线性参数，
表示线性参数的梯度，
表示迭代次数，
表示学习率。
综上所述，本发明实施例首先对固定图像及浮动图像进行掩码操作，以提取出所述固定图像及浮动图像中的特征像素点，减少图像配准的工作量，提高图像配准的速度；其次，本发明实施例对浮动图像进行线性参数插值，以保障所述浮动图像与固定图像可以相处于同一个空间坐标系中，从而计算出所述浮动图像与固定图像的图像互信息；此外，本发明实施例通过计算出的所述浮动图像与固定图像的相似度量值，调整所述浮动图像的线性参数，以实现所述浮动图像与固定图像的图像互信息的最大化，完成图像配准。因此，本发明提出的一种图像配准方法可以提高图像配准的时效性。
如图4所示，是本发明实施例中提供的图像配准装置的功能模块图。
本发明所述图像配准装置100可以安装于电子设备中。根据实现的功能，所述图像配准装置可以包括掩码模块101、插值模块102、计算模块103以及图像配准模块104。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述掩码模块101，用于获取固定图像及浮动图像，对所述固定图像及浮动图像执行掩码操作，得到掩码固定图像和掩码浮动图像。
本发明实施例，所述掩码模块101可以从一个待配准的图像集中随机选择其中一个图像作为固定图像及随机选择一个图像作为浮动图像。
其中，所述待配准的图像集指的是同一个物体在不同时间或由不同设备采集得到的，例如，对于同一病人同一病灶的不同时段的临床图片。通过将同一病人同一病灶的不同时段的临床图片配准到同一坐标下的系统中，可以更好的识别出病人的病灶变化情况，帮助医生做进一步更好的诊断，其中，本发明实施例中，所述待配准的图像集为肺部CT图像集。
进一步地，由于待配准的图像集中会存在噪声、异物等，影响图像配准的准确性及速度，例如，肺部CT图像中可能包括如异物、噪声以及非肺部区域，因此，所述掩码模块101对所述固定图像及浮动图像执行掩码操作，以降低所述图像集中异常像素值的影响，提高图像配准的准确性及速度。
详细地，所述对所述固定图像及浮动图像执行掩码操作，所述掩码模块101采用下述方法执行：
步骤A、获取所述固定图像及浮动图像的图像矩阵；
步骤B、对所述图像矩阵进行分割，得到初始图像矩阵；
步骤C、利用卷积核算子计算所述初始图像矩阵中每一个像素点的均值掩码，得到掩码像素值集；
步骤D、根据所述初始图像矩阵的尺寸，及所述掩码像素值集进行掩码操作。
其中，所述图像矩阵根据图像中的像素点生成，例如，一个图片中包含100个像素点，则可以生成10*10的图像矩阵。
一个可选实施例中，所述分割指的是对图像矩阵中非特征像素点进行删除，以提取出图像集中特征像素点，减少图像配准的工作量，提高图像配准的速度。
本发明的一个可选实施例中，所述掩码模块101通过对所述初始图像矩阵中每一个像素点的邻域进行多次卷积，得到所述掩码像素值集。
本发明的一个可选实施例中，所述掩码模块101通过对每一个像素点的邻域进行均值掩码，得到所述掩码像素值集。
其中，所述卷积核算子的大小基于不同需求进行设置，本发明中，所述掩码模块101配置所述卷积核算子的大小为3*3，则所述均值掩码的表达形式可如下所示：
本发明一个可选实施例中，所述掩码模块101根据所述初始图像矩阵的尺寸，及所述掩码像素值集，进行掩码操作，利用Python构建一个新的图像，得到掩码固定图像和掩码浮动图像。其中，掩码固定图像和掩码浮动图像的尺寸与所述初始图像矩阵的尺寸相同。
进一步地，为保障所述掩码固定图像和掩码浮动图像的私密性和安全性，所述掩码固定图像和掩码浮动图像还可存储于一区块链节点中。
所述插值模块102，用于对所述掩码浮动图像进行线性参数插值，得到初始浮动图像集。
由于所述固定图像和浮动图像存在于CPU中，若通过CPU中计算图像配准时，需要进行大量的并行计算图像互信息，导致图像配准会十分耗时，因此，本发明实施例在对所述掩码浮动图像进行线性参数插值之前，将所述掩码固定图像和掩码浮动图像传输至GPU中，通过所述GPU对所述掩码固定图像和掩码浮动图像进行线性参数插值，以减少图像互信息的并行计算，提高图像配准的时效性。
详细地，所述将所述掩码固定图像和掩码浮动图像传输至GPU中，所述插值模块102采用下述执行方式：
基于所述掩码固定图像和掩码浮动图像的所占内存大小，在GPU中创建与所占内存大小相同的GPU空间，利用预设的传输函数将CPU中的掩码固定图像和掩码浮动图像传输至所述GPU空间中。优选地，本发明较佳实施例中，所述传输函数为cudaMemcpy函数。
进一步地，由于所述掩码固定图像和所述掩码浮动图像所处的空间坐标系位置不同，因此，所述插值模块102通过所述GPU对所述掩码浮动图像进行线性参数插值，根据插值的线性参数，以保障所述掩码浮动图像与所述掩码固定图像可以相处于同一个空间坐标系中。
具体的，所述通过所述GPU对所述浮动图像进行掩码线性参数插值，得到初始浮动图像，所述插值模块102采用下述执行方法：
步骤I、将所述掩码浮动图像的图像矩阵传输至预先在所述GPU中创建的参数插值线程中；
步骤II、利用所述参数插值线程中的线性函数对所述掩码浮动图像的图像矩阵进行参数插值，得到初始浮动图像。
一个优选实施例中，所述参数插值线程指的是一个专门用于进行图像插值的任务运行单位，优选地，本发明中，所述参数插值线程通过call()方法创建。
一个优选实施例中，所述线性函数包括：
其中，
表示插入的x线性参数，x表示线性参数的横坐标，
，
分别表示浮动图像矩阵中第0个像素点的横坐标和纵坐标，
，
分别表示图像矩阵中第1个像素点的横坐标和纵坐标。
进一步地，所述插值模块102根据所述x线性参数的计算原理，得到所述掩码浮动图像矩阵中y线性参数和z线性参数。
示例性地，所述浮动图像的图像矩阵为3*3的浮动图像矩阵，则所述插值模块102对所述掩码浮动图像的图像矩阵进行线性参数插值，可以得到3D仿射变换的浮动图像矩阵为：
其中，
，
，
分别表示x、y以及z线性参数，所述插值模块102通过对所述线性参数进行调整，以使浮动图像与固定图像的相似度量值最大，从而可以整合不同时间段的图像信息。
所述计算模块103，用于计算所述初始浮动图像和所述掩码固定图像的相似度量值。
本发明较佳实施例中，所述计算模块103利用下述方法计算所述初始浮动图像和所述掩码固定图像的相似度量值：
其中，DICE（A，B）表示相似度量值，A表示初始浮动图像中的像素值，B表示掩码固定图像中的像素值，若DICE（A，B）=1，则表示初始浮动图像和掩码固定图像完全相似，若DICE（A，B）=0，则表示初始浮动图像和掩码固定图像完没有任何区域相似。
进一步地，所述计算模块103通过所述相似度量值可以识别出浮动图像与掩码固定图像的相关程度，从而可以识别出浮动图像与掩码固定图像的配准率。
所述图像配准模块104，用于在所述相似度量值大于预设阈值时，将所述初始浮动图像作为所述掩码固定图像的配准图像。
本发明较佳实施例中，所述阈值为0.95，若所述相似度量值大于所述预设阈值，则表示初始浮动图像与所述掩码固定图像存在的相似区域足以更好的表达出图像变化情况，于是，本发明将所述初始浮动图像作为所述掩码固定图像的配准图像。
所述图像配准模块104，还用于在所述相似度量值不大于预设阈值时，对所述初始浮动图像中的线性参数进行优化，直至所述相似度量值大于所述预设阈值，结束所述线性参数的优化，得到所述掩码固定图像的配准图像。
本发明较佳实施例中，若所相似度量值大于所述预设阈值，则表示所述初始浮动图像与对应掩码固定图像存在的相似区域不足以更好的表达出图像变化情况，于是，本发明利用随机梯度下降算法对所述初始浮动图像进行线性参数优化，并重新计算优化后的所述初始浮动图像和所述掩码固定图像的相似度量值，直至所述相似度量值大于预设阈值，结束线性参数优化，得到所述掩码固定图像的配准图像。
一个优选实施例中，所述图像配准模块104利用下述方法对所述初始浮动图像中的线性参数进行优化：
其中，
表示优化后的线性参数，
表示初始浮动图像中的线性参数，
表示线性参数的梯度，
表示迭代次数，
表示学习率。
综上所述，本发明实施例首先对固定图像及浮动图像进行掩码操作，以提取出所述固定图像及浮动图像中的特征像素点，减少图像配准的工作量，提高图像配准的速度；其次，本发明实施例对浮动图像进行线性参数插值，以保障所述浮动图像与固定图像可以相处于同一个空间坐标系中，从而计算出所述浮动图像与固定图像的图像互信息；此外，本发明实施例通过计算出的所述浮动图像与固定图像的相似度量值，调整所述浮动图像的线性参数，以实现所述浮动图像与固定图像的图像互信息的最大化，完成图像配准。因此，本发明提出的一种图像配准装置可以提高图像配准的时效性。
如图5所示，是本发明实现图像配准方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如图像配准程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如图像配准的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行图像配准等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的图像配准12是多个指令的组合，在所述处理器10中运行时，可以实现：
获取固定图像及浮动图像，对所述固定图像及浮动图像执行掩码操作，得到掩码固定图像和掩码浮动图像；
对所述掩码浮动图像进行线性参数插值，得到初始浮动图像；
计算所述初始浮动图像与所述掩码固定图像的相似度量值；
若所述相似度量值大于预设阈值，则将所述初始浮动图像作为所述掩码固定图像的配准图像；
若所述相似度量值不大于预设阈值，则对所述初始浮动图像的线性参数进行优化，直至所述相似度量值大于所述预设阈值，结束所述线性参数的优化，得到所述掩码固定图像的配准图像。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种图像配准方法，其特征在于，所述方法包括：
获取固定图像及浮动图像，对所述固定图像及浮动图像执行掩码操作，得到掩码固定图像和掩码浮动图像；
对所述掩码浮动图像进行线性参数插值，得到初始浮动图像；
计算所述初始浮动图像与所述掩码固定图像的相似度量值；
若所述相似度量值大于预设阈值，则将所述初始浮动图像作为所述掩码固定图像的配准图像；
若所述相似度量值不大于预设阈值，则对所述初始浮动图像的线性参数进行优化，直至所述相似度量值大于所述预设阈值，结束所述线性参数的优化，得到所述掩码固定图像的配准图像。
2.如权利要求1所述的图像配准方法，其特征在于，所述对所述固定图像及浮动图像执行掩码操作，包括：
获取所述固定图像及浮动图像的图像矩阵；
对所述图像矩阵进行分割，得到初始图像矩阵；
计算所述初始图像矩阵中每一个像素点的均值掩码，得到掩码像素值集；
根据所述初始图像矩阵的尺寸，及所述掩码像素值集进行掩码操作。
3.如权利要求1所述的图像配准方法，其特征在于，在对所述掩码浮动图像进行线性参数插值之前，还包括：
基于所述掩码固定图像和掩码浮动图像的所占内存大小，在GPU中创建与所占内存大小相同的GPU空间，利用传输函数将所述掩码固定图像和掩码浮动图像传输至所述GPU空间中。
4.如权利要求3所述的图像配准方法，其特征在于，所述对所述掩码浮动图像进行线性参数插值，得到初始浮动图像，包括：
将所述掩码浮动图像的图像矩阵传输至预先在所述GPU中创建的参数插值线程中；
利用所述参数插值线程中的线性函数对所述掩码浮动图像的图像矩阵进行参数插值，得到初始浮动图像。
5.如权利要求4所述的图像配准方法，其特征在于，所述线性函数包括：
其中，
表示插入的x线性参数，x表示线性参数的横坐标，
，
分别表示浮动图像矩阵中第0个像素点的横坐标和纵坐标，
，
分别表示图像矩阵中第1个像素点的横坐标和纵坐标。
6.如权利要求1所述的图像配准方法，其特征在于，所述对所述初始浮动图像的线性参数进行优化，包括：
利用下述方法对所述初始浮动图像的线性参数进行优化：
其中，
表示优化后的线性参数，
表示初始浮动图像中的线性参数，
表示线性参数的梯度，
表示迭代次数，
表示学习率。
7.如权利要求1至6中任意一项所述的图像配准方法，其特征在于，所述固定图像及浮动图像为肺部CT图像。
8.一种图像配准装置，其特征在于，所述装置包括：
掩码模块，用于获取固定图像及浮动图像，对所述固定图像及浮动图像执行掩码操作，得到掩码固定图像和掩码浮动图像；
插值模块，用于对所述掩码浮动图像进行线性参数插值，得到初始浮动图像；
计算模块，用于计算所述初始浮动图像与所述掩码固定图像的相似度量值；
图像配准模块，用于在所述相似度量值大于预设阈值时，则将所述初始浮动图像作为所述掩码固定图像的配准图像；
所述图像配准模块，还用于在所述相似度量值不大于预设阈值时，则对所述初始浮动图像的线性参数进行优化，直至所述相似度量值大于所述预设阈值，结束所述线性参数的优化，得到所述掩码固定图像的配准图像。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的图像配准方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的图像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018184.6A CN111932595A (zh) | 2020-09-24 | 2020-09-24 | 图像配准方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018184.6A CN111932595A (zh) | 2020-09-24 | 2020-09-24 | 图像配准方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111932595A true CN111932595A (zh) | 2020-11-13 |
Family
ID=73335182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011018184.6A Pending CN111932595A (zh) | 2020-09-24 | 2020-09-24 | 图像配准方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932595A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113194334A (zh) * | 2021-04-16 | 2021-07-30 | 厦门智瞳科技有限公司 | 一种保护隐私的图像处理方法、装置、终端及存储介质 |
| CN113222873A (zh) * | 2021-06-01 | 2021-08-06 | 平安科技（深圳）有限公司 | 基于二维高斯分布的图像数据增强方法、装置及存储介质 |
| CN113393505A (zh) * | 2021-06-25 | 2021-09-14 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609550A (zh) * | 2009-07-10 | 2009-12-23 | 南方医科大学 | 基于流形子空间的图像配准方法 |
| CN110473233A (zh) * | 2019-07-26 | 2019-11-19 | 上海联影智能医疗科技有限公司 | 配准方法、计算机设备和存储介质 |
| CN111091567A (zh) * | 2020-03-23 | 2020-05-01 | 南京景三医疗科技有限公司 | 医学图像配准方法、医疗设备及存储介质 |
| CN111539997A (zh) * | 2020-04-23 | 2020-08-14 | 中国科学院自动化研究所 | 基于gpu计算平台的图像并行配准方法、系统、装置 |
-
2020
- 2020-09-24 CN CN202011018184.6A patent/CN111932595A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609550A (zh) * | 2009-07-10 | 2009-12-23 | 南方医科大学 | 基于流形子空间的图像配准方法 |
| CN110473233A (zh) * | 2019-07-26 | 2019-11-19 | 上海联影智能医疗科技有限公司 | 配准方法、计算机设备和存储介质 |
| CN111091567A (zh) * | 2020-03-23 | 2020-05-01 | 南京景三医疗科技有限公司 | 医学图像配准方法、医疗设备及存储介质 |
| CN111539997A (zh) * | 2020-04-23 | 2020-08-14 | 中国科学院自动化研究所 | 基于gpu计算平台的图像并行配准方法、系统、装置 |
Non-Patent Citations (4)
| Title |
|---|
| 卫骞: "以分割目标为导向的脑MR图像配准技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 孙进平 等: "《嵌入式实时处理技术及应用》", 30 September 2011, 北京航空航天大学出版社 * |
| 王毅 等: "《扩散磁共振成像及其影像处理》", 28 February 2017, 西北工业大学出版社 * |
| 程效军 等: "《海量点云数据处理理论与技术》", 30 May 2014, 同济大学出版社 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113194334A (zh) * | 2021-04-16 | 2021-07-30 | 厦门智瞳科技有限公司 | 一种保护隐私的图像处理方法、装置、终端及存储介质 |
| CN113222873A (zh) * | 2021-06-01 | 2021-08-06 | 平安科技（深圳）有限公司 | 基于二维高斯分布的图像数据增强方法、装置及存储介质 |
| CN113222873B (zh) * | 2021-06-01 | 2023-06-16 | 平安科技（深圳）有限公司 | 基于二维高斯分布的图像数据增强方法、装置及存储介质 |
| CN113393505A (zh) * | 2021-06-25 | 2021-09-14 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
| CN113393505B (zh) * | 2021-06-25 | 2023-11-03 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111932482B (zh) | 图像中目标物的检测方法、装置、电子设备及存储介质 | |
| CN111932595A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
| CN111932534B (zh) | 医学影像图片分析方法、装置、电子设备及可读存储介质 | |
| WO2022121156A1 (zh) | 图像中目标物检测方法、装置、电子设备及可读存储介质 | |
| CN111652845A (zh) | 异常细胞自动标注方法、装置、电子设备及存储介质 | |
| CN111932562B (zh) | 基于ct序列的图像识别方法、装置、电子设备及介质 | |
| CN111932564B (zh) | 图片识别方法、装置、电子设备及计算机可读存储介质 | |
| CN112446839A (zh) | 图像增强方法、装置、电子设备及计算机可读存储介质 | |
| CN111862096B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN111915609A (zh) | 病灶检测分析方法、装置、电子设备及计算机存储介质 | |
| CN113705462B (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN112446544A (zh) | 交通流预测模型训练方法、装置、电子设备及存储介质 | |
| CN113892113A (zh) | 一种人体姿态估计方法及装置 | |
| CN113554008A (zh) | 静态物体区域内检测方法、装置、电子设备及存储介质 | |
| CN111985449A (zh) | 救援现场图像的识别方法、装置、设备及计算机介质 | |
| CN115205225A (zh) | 医学图像识别模型的训练方法、装置、设备及存储介质 | |
| CN111476760A (zh) | 医学图像的生成方法、装置、电子设备及介质 | |
| CN111932563B (zh) | 图片区域分割方法、装置、电子设备及存储介质 | |
| CN112862703B (zh) | 基于移动拍照的图像校正方法、装置、电子设备及介质 | |
| CN113705686B (zh) | 图像分类方法、装置、电子设备及可读存储介质 | |
| CN113255456B (zh) | 非主动活体检测方法、装置、电子设备及存储介质 | |
| CN113627394A (zh) | 人脸提取方法、装置、电子设备及可读存储介质 | |
| CN113140292A (zh) | 图像异常区域浏览方法、装置、移动端设备及存储介质 | |
| CN113869385A (zh) | 基于目标检测的海报比对方法、装置、设备及存储介质 | |
| CN112070142B (zh) | 车辆配件的分组方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201113 |
|
| RJ01 | Rejection of invention patent application after publication |