CN110827335A - 乳腺影像配准方法和装置 - Google Patents
乳腺影像配准方法和装置 Download PDFInfo
- Publication number
- CN110827335A CN110827335A CN201911061719.5A CN201911061719A CN110827335A CN 110827335 A CN110827335 A CN 110827335A CN 201911061719 A CN201911061719 A CN 201911061719A CN 110827335 A CN110827335 A CN 110827335A
- Authority
- CN
- China
- Prior art keywords
- image
- breast image
- pixel
- breast
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 210000005075 mammary gland Anatomy 0.000 title claims abstract description 62
- 210000000481 breast Anatomy 0.000 claims abstract description 243
- 230000009466 transformation Effects 0.000 claims abstract description 144
- 238000000605 extraction Methods 0.000 claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 10
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 229910052750 molybdenum Inorganic materials 0.000 description 4
- 239000011733 molybdenum Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种乳腺影像配准方法、装置、电子设备和计算机可读存储介质，解决了现有配准方式的配准精度差、无法实现整图配准、以及人工数据成本高昂问题。该乳腺影像配准方法包括：将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数，其中，所述空间变换参数包括所述配准后影像中每个像素与所述乳腺影像中与该像素对应的像素之间的位置对应关系；以及根据所述乳腺影像和所述空间变换参数获取配准后影像；其中，所述参数提取网络模型为通过无监督训练过程建立的卷积神经网络模型。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种乳腺影像配准方法、装置、电子设备和计算机可读存储介质。
背景技术
乳腺癌作为中国女性恶性肿瘤发病率首位的恶性肿瘤，已成为当前社会的重大公共卫生问题。有效控制乳腺癌死亡率主要通过两个途径：一是开展广泛的乳腺癌筛查工作，使早期病例的比例增加；二是对于诊断出的病例积极开展乳腺癌综合治疗。乳腺影像检查作为一种有效检测乳腺部位结构及病变的手段，被广泛应用于筛查和检查的多种场景。
一般乳腺影像会拍摄双侧乳腺、两个投照位的四张影像，医生在阅片过程中会涉及对相同投照位不同侧乳腺影像的比较。由于乳房作为软性可形变组织，且拍摄过程中可能涉及对乳房不同区域的不同程度的挤压，造成左右侧乳腺影像的不对称性(结构、形态、位置等方面)，给医生的阅片和诊断过程带来了一定的困难，因此有必要在利用乳腺影像进行检查之前对乳腺影像进行配准。现有技术虽然提供一些配准方式，但存在着配准精度差、无法实现整图配准、以及人工数据成本高昂等问题。
发明内容
有鉴于此，本申请实施例提供了一种乳腺影像配准方法、装置、电子设备和计算机可读存储介质，解决了现有配准方式的配准精度差、无法实现整图配准、以及人工数据成本高昂问题。
根据本申请的一方面，本申请一实施例提供的一种乳腺影像配准方法包括：将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数，其中，所述空间变换参数包括所述配准后影像中每个像素与所述乳腺影像中与该像素对应的像素之间的位置对应关系；以及根据所述乳腺影像和所述空间变换参数获取配准后影像；其中，所述参数提取网络模型为通过无监督训练过程建立的卷积神经网络模型。
在本申请一实施例中，所述将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数包括：将所述乳腺影像和所述标准乳腺影像拼接为一张拼接影像，其中所述乳腺影像和所述标准乳腺影像对应所述拼接影像的不同通道区域；对所述拼接影像进行N层级第一卷积操作，其中每个层级的所述第一卷积操作的输入对象为上一层级的所述第一卷积操作所输出的特征图的下采样结果，每个层级的所述第一卷积操作包括多次卷积过程；以及将所述N层级第一卷积操作中最后一个层级的所述第一卷积操作输出的特征图进行N-1层级第二卷积操作，其中所述N-1层级第二卷积操作与所述N层级第一卷积操作中的前N-1层级所述第一卷积操作相对应，每个层级的所述第二卷积操作的输入对象包括上一层级的所述第二卷积操作所输出的特征图的上采样结果以及对应的所述第一卷积操作输出的特征图的复制结果，每个层级的所述第二卷积操作包括多次卷积过程；其中，所述N-1层级第二卷积操作中最后一个层级的所述第二卷积操作的输出结果为所述空间变换参数。
在本申请一实施例中，所述卷积过程包括卷积核尺寸为3×3的卷积层和激活层。
在本申请一实施例中，所述下采样结果通过2×2的最大池化层操作获得；和/或，所述上采样结果通过卷积核尺寸为2×2的反卷积操作获得。
在本申请一实施例中，所述根据所述乳腺影像和所述空间变换参数获取配准后影像包括：根据所述空间变换参数确定所述配准后影像中每个像素在所述乳腺影像中的对应像素位置，将所述对应像素位置处的像素值作为该像素的像素值。
在本申请一实施例中，所述根据所述乳腺影像和所述空间变换参数获取配准后影像进一步包括：当根据所述空间变换参数确定的所述配准后影像中的像素的所述对应像素位置坐标不是整数值时，获取所述对应像素位置周围临近的多个整数值坐标的像素值；以及根据所述多个整数值坐标的像素值确定该像素的像素值。
在本申请一实施例中，所述根据所述多个整数值坐标的像素值确定该像素的像素值包括：将所述多个整数值坐标的像素值进行加权求和以确定该像素的像素值，其中，距离所述对应像素位置越近的整数值坐标的像素值的权重越大。
在本申请一实施例中，在将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数之前，所述方法进一步包括：将原始乳腺影像与所述标准乳腺影像进行对比获取线性变换参数；以及基于所述线性变换参数对所述原始乳腺影像进行图像整体位置变换以获取所述乳腺影像。
在本申请一实施例中，在将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数之前，所述方法进一步包括：将所述乳腺影像进行图像特征增强处理，其中，所述图像特征增强处理包括以下处理方式中的一种或多种组合：图像加窗处理和S型生长曲线函数处理。
在本申请一实施例中，所述将原始乳腺影像与所述标准乳腺影像进行对比获取线性变换参数包括：对所述原始乳腺影像进行图像分析以判断出所述原始乳腺影像的投照位；根据所述投照位，基于所述原始乳腺影像提取原始乳腺区域信息；获取与所述投招位对应的所述标准乳腺影像，提取所述标准乳腺影像中的标准乳腺区域信息；以及将所述原始乳腺区域信息与所述标准乳腺区域信息对比以获取所述线性变换参数。
在本申请一实施例中，所述方法进一步包括：基于所述乳腺影像和所述配准后影像的相似性误差调整所述参数提取网络模型的模型参数；和/或，基于所述参数提取网络模型的复杂性误差调整所述参数提取网络模型的模型参数。
根据本申请的另一方面，本申请一实施例提供的一种乳腺影像配准装置包括：参数提取网络模型，配置为基于乳腺影像和标准乳腺影像获取空间变换参数，其中，所述空间变换参数包括所述配准后影像中每个像素与所述乳腺影像中与该像素对应的像素之间的位置对应关系；以及空间变换模块，配置为根据所述乳腺影像和所述空间变换参数获取配准后影像；其中，所述参数提取网络模型为通过无监督训练过程建立的卷积神经网络模型。
在本申请一实施例中，所述参数提取网络模型包括：拼接模块，配置为将所述乳腺影像和所述标准乳腺影像拼接为一张拼接影像，其中所述乳腺影像和所述标准乳腺影像对应所述拼接影像的不同通道区域；第一卷积模块，配置为对所述拼接影像进行N层级第一卷积操作，其中每个层级的所述第一卷积操作的输入对象为上一层级的所述第一卷积操作所输出的特征图的下采样结果，每个层级的所述第一卷积操作包括多次卷积过程；以及第二卷积模块，配置为将所述N层级第一卷积操作中最后一个层级的所述第一卷积操作输出的特征图进行N-1层级第二卷积操作，其中所述N-1层级第二卷积操作与所述N层级第一卷积操作中的前N-1层级所述第一卷积操作相对应，每个层级的所述第二卷积操作的输入对象包括上一层级的所述第二卷积操作所输出的特征图的上采样结果以及对应的所述第一卷积操作输出的特征图的复制结果，每个层级的所述第二卷积操作包括多次卷积过程；其中，所述N-1层级第二卷积操作中最后一个层级的所述第二卷积操作的输出结果为所述空间变换参数。
在本申请一实施例中，所述卷积过程包括卷积核尺寸为3×3的卷积层和激活层。
在本申请一实施例中，所述下采样结果通过2×2的最大池化层操作获得；和/或，所述上采样结果通过卷积核尺寸为2×2的反卷积操作获得。
在本申请一实施例中，所述空间变换模块进一步配置为：根据所述空间变换参数确定所述配准后影像中每个像素在所述乳腺影像中的对应像素位置，将所述对应像素位置处的像素值作为该像素的像素值。
在本申请一实施例中，所述空间变换模块进一步配置为：当根据所述空间变换参数确定的所述配准后影像中的像素的所述对应像素位置坐标不是整数值时，获取所述对应像素位置周围临近的多个整数值坐标的像素值；以及根据所述多个整数值坐标的像素值确定该像素的像素值。
在本申请一实施例中，所述根据所述多个整数值坐标的像素值确定该像素的像素值包括：将所述多个整数值坐标的像素值进行加权求和以确定该像素的像素值，其中，距离所述对应像素位置越近的整数值坐标的像素值的权重越大。
在本申请一实施例中，所述装置进一步包括：对比模块，配置为在将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数之前，将原始乳腺影像与所述标准乳腺影像进行对比获取线性变换参数；以及线性变换模块，配置为基于所述线性变换参数对所述原始乳腺影像进行图像整体位置变换以获取所述乳腺影像。
在本申请一实施例中，所述装置进一步包括：特征增强处理模块，配置为在将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数之前，将所述乳腺影像进行图像特征增强处理，其中，所述图像特征增强处理包括以下处理方式中的一种或多种组合：图像加窗处理和S型生长曲线函数处理。
在本申请一实施例中，所述对比模块进一步配置为：对所述原始乳腺影像进行图像分析以判断出所述原始乳腺影像的投照位；根据所述投照位，基于所述原始乳腺影像提取原始乳腺区域信息；获取与所述投招位对应的所述标准乳腺影像，提取所述标准乳腺影像中的标准乳腺区域信息；以及将所述原始乳腺区域信息与所述标准乳腺区域信息对比以获取所述线性变换参数。
在本申请一实施例中，所述装置进一步包括：误差调整模块，配置为基于所述乳腺影像和所述配准后影像的相似性误差调整所述参数提取网络模型的模型参数；和/或，基于所述参数提取网络模型的复杂性误差调整所述参数提取网络模型的模型参数。
根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的乳腺影像配准方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的乳腺影像配准方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行如上述任一所述的乳腺影像配准方法。
本申请实施例提供的一种乳腺影像配准方法、装置、电子设备和计算机可读存储介质，通过采用无监督训练过程建立的参数提取网络模型，可自动提取图像特征并进行配准变换，模型的训练过程也无需人工数据标注，可显著降低人工数据成本；同时，通过训练出的参数提取网络模型可直接生成整图层面的空间变换参数，可实现整图尺度上的配准变换；此外，由于空间变换参数包括配准后影像中每个像素与乳腺影像中与该像素对应的像素之间的位置对应关系，参数提取网络模型输出的空间变换参数是以像素为单位的，可实现针对每个像素依据其图像特征进行非线性变换，可显著提高配准变换过程的精度。
附图说明
图1所示为本申请一实施例提供的一种乳腺影像配准方法的流程示意图。
图2所示为本申请一实施例提供的一种乳腺影像配准方法中所采用的参数提取网络模型的神经网络结构示意图。
图3所示为本申请一实施例提供的一种乳腺影像配准方法中获取空间变换参数的流程示意图。
图4所示为本申请一实施例提供的一种乳腺影像配准方法中根据乳腺影像和空间变换参数获取配准后影像的流程示意图。
图5所示为本申请另一实施例提供的一种乳腺影像配准方法的流程示意图。
图6所示为本申请另一实施例提供的一种乳腺影像配准方法的流程示意图。
图7所示为本申请一实施例提供的一种乳腺影像配准方法的原理示意图。
图8所示为本申请一实施例提供的乳腺影像配准装置的结构示意图。
图9所示为本申请另一实施例提供的乳腺影像配准装置的结构示意图。
图10所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
如上所述，现有的乳腺影像配准方式虽然能够对乳腺影像进行大体位置上的配准，但仍存在着配准精度差、无法实现整图配准、以及人工数据成本高昂等问题。
针对上述的技术问题，考虑到现有技术无法实现高精度的配准的原因其实在于如下几点：现有乳腺影像配准方式进行的是图像大体位置上的配准，乳腺影像内部各点之间并未进行配准变换，即乳腺影像内部各点之间的相对位置关系不变。此外，虽然有的现有乳腺影像配准方式依赖扭曲或变形场进行配准变换，但只能进行少量形变，难以应用于整个乳腺影像区域。另外，现有乳腺影像配准方式依赖分割或检测结果进行的配准，但此类方法使用传统深度学习方式进行典型对象(如乳头)的检测或分割，根据检测和分割的结果指导配准操作，由于典型对象数量有限，若以传统深度学习方式则需要大量的人工标注数据进行模型训练，人工数据成本高昂。
有鉴于此，本申请的基本构思是提出一种乳腺影像配准方式，采用无监督训练过程建立的参数提取网络模型自动提取图像特征以进行配准变换，模型的训练过程无需人工数据标注，可显著降低人工数据成本；同时，参数提取网络模型可直接生成整图层面的空间变换参数，可实现整图尺度上的配准变换；此外，由于参数提取网络模型输出的空间变换参数是以像素为单位的，可实现针对每个像素依据其图像特征进行非线性变换，可显著提高配准变换过程的精度。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性乳腺影像配准方法
图1所示为本申请一实施例提供的一种乳腺影像配准方法的流程示意图。如图1所示，该乳腺影像配准方法包括如下步骤：
步骤101：将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数，其中，空间变换参数包括配准后影像中每个像素与乳腺影像中与该像素对应的像素之间的位置对应关系。
乳腺影像和标准乳腺影像可为利用透射光束投射乳房部位所形成的透射图像，例如乳腺钼靶X射线摄影图像，又称乳腺钼靶影像。乳腺影像为待进行配准变换的对象，而标准乳腺影像为进行该配准处理的参考目标对象。
应当理解，根据成像方式的不同，乳腺影像和标准乳腺影像的具体呈现形式也有所不同。以乳腺钼靶影像为例，根据X射线投射方式的不同，又可分为轴位图像、侧位和斜侧位图像。轴位图像为透视光束从人体头部向足部投射形成的图像；侧位图像为将胶片置于乳腺的外侧，透视光束自内向外投照成的图像；斜侧位图像为透视光束从乳腺内上方45度投射向外下方或从乳腺外下方45度投射向内上方形成的斜侧位图像。在本申请一实施例中，乳腺影像可为双侧乳腺的轴位和斜侧位共四套影像中的任意一套或多套。本申请对乳腺影像和标准乳腺影像的具体成像方式不做限定。
配准变换的过程就是指对于乳腺影像寻求一种或一系列空间变换，使乳腺影像与标准乳腺影像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张影像上有相同的空间位置。配准的结果应使两幅影像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。空间变换参数所表征的就是配准变换过程中所进行的空间变换关系空间变换参数，包括配准后影像中每个像素与乳腺影像中与该像素对应的像素之间的位置对应关系，因此根据该空间变换参数即可确定配准后影像中每个像素在乳腺影像中的对应像素位置。
参数提取网络模型为通过无监督训练过程建立的卷积神经网络模型，无监督训练过程是指训练过程所输入的样本数据没有被标记，样本数据类别未知，需要根据样本间的相似性对样本集进行分类(聚类，clustering)试图使类内差距最小化，类间差距最大化。具体而言，参数提取网络模型在训练阶段循环输入样本乳腺影像，通过不断迭代优化网络参数，使输入的样本乳腺影像经过分析与变换后越来越与标准图像靠近。模型的训练中无需借助人工数据标注，模型将根据图像相似性和模型复杂度自动优化。
步骤102：根据乳腺影像和空间变换参数获取配准后影像。
如前所述，根据该空间变换参数即可确定配准后影像中每个像素在乳腺影像中的对应像素位置，因此将对应像素位置处的像素值作为该像素的像素值便可完成该配准变换过程，以得到配准后影像。
由此可见，本申请实施例提供的一种乳腺影像配准方法，通过采用无监督训练过程建立的参数提取网络模型，可自动提取图像特征并进行配准变换，模型的训练过程也无需人工数据标注，可显著降低人工数据成本；同时，通过训练出的参数提取网络模型可直接生成整图层面的空间变换参数，可实现整图尺度上的配准变换；此外，由于空间变换参数包括配准后影像中每个像素与乳腺影像中与该像素对应的像素之间的位置对应关系，参数提取网络模型输出的空间变换参数是以像素为单位的，可实现针对每个像素依据其图像特征进行非线性变换，可显著提高配准变换过程的精度。
图2所示为本申请一实施例提供的一种乳腺影像配准方法中所采用的参数提取网络模型的神经网络结构示意图。图3所示为本申请一实施例提供的一种乳腺影像配准方法中获取空间变换参数的流程示意图。
如图2所示，卷积神经网络模型中每层处理的数据(即影像特征图)由竖条矩形表示，右实线箭头表示卷积层和相应的激活层操作。下箭头表示下采样，上箭头表示上采样，当前层特征图的长宽与原图长宽的比值在每层的左侧或右侧列出，表示当前层特征图的尺寸，每个特征图的通道数在其上下侧列出。卷积神经网络模型在接收图像输入后，通过不同维度(由下采样实现)的卷积操作提取出图像不同尺度的特征信息，再通过上采样和卷积操作将这些信息进行组织和整合，最终输出所需的空间变换参数。
如图3所示，将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数可具体包括如下步骤：
步骤301：将乳腺影像和标准乳腺影像拼接为一张拼接影像，其中乳腺影像和标准乳腺影像对应拼接影像的不同通道区域。
乳腺影像和标准乳腺影像作为卷积神经网络模型的输入，需要一起被输入该卷积神经网络模型。具体而言，可将乳腺影像和标准乳腺影像拼接为一张拼接影像，例如图2左上角的16通道的输入图像就其实为乳腺影像和标准乳腺影像拼接成的拼接影像，该拼接影像的前8个通道所对应的通道区域可对应乳腺影像，后8个通道所对应的通道区域可对应标准乳腺影像。
步骤302：对拼接影像进行N层级第一卷积操作，其中每个层级的第一卷积操作的输入对象为上一层级的第一卷积操作所输出的特征图的下采样结果，每个层级的第一卷积操作包括多次卷积过程。其中N为大于等于2的整数。
如图2所示，对拼接影像一共进行了五个层级的第一卷积操作，每个层级的第一卷积操作包括两个卷积过程，每个层级的最后一次卷积过程的输出结果的下采样结果作为下一个层级的第一次卷积过程的输入对象。在本申请一实施例中，第一卷积操作中的每个卷积过程可包括卷积核尺寸为3×3的卷积层和激活层，下采样结果可通过2×2的最大池化层操作获得。
步骤303：将N层级第一卷积操作中最后一个层级的第一卷积操作输出的特征图进行N-1层级第二卷积操作，其中N-1层级第二卷积操作与N层级第一卷积操作中的前N-1层级第一卷积操作相对应，每个层级的第二卷积操作的输入对象包括上一层级的第二卷积操作所输出的特征图的上采样结果以及对应的第一卷积操作输出的特征图的复制结果，每个层级的第二卷积操作包括多次卷积过程；其中，N-1层级第二卷积操作中最后一个层级的第二卷积操作的输出结果为空间变换参数。
如图2所示，第五个层级的第一卷积操作的最后一次卷积过程的输出为一张32通道1/16比例的特征图，将该特征图进行了四个层级的第二卷积操作，其中前三个层级的第二卷积操作都包括两次卷积过程，最后一个层级的第二卷积操作包括5次卷积过程。在本申请一实施例中，第二卷积操作中的每个卷积过程可包括卷积核尺寸为3×3的卷积层和激活层，上采样结果通过卷积核尺寸为2×2的反卷积操作获得。
每个层级的第二卷积操作的输入对象为上一层级的第二卷积操作所输出的特征图的上采样结果以及对应的第一卷积操作输出的特征图的复制结果。例如，第二个层级的第二卷积操作的输入对象就为第一个层级的第二卷积操作输出的特征图(32通道，1/8比例)和对应的第三个层级的第一卷积操作的输出特征图(32通道，1/4比例)的拼接图(64通道)。
应当理解，虽然图2给出了参数提取网络模型的具体神经网络结构的示例，但在本申请其他实施例中，参数提取网络模型也可以采用其他形式的神经网络结构，本申请对参数提取网络模型的具体神经网络结构并不做严格限定。
在本申请一实施例中，考虑到乳腺影像在进行配准变换时主要需要解决两个问题：一是建立起变换前后各个像素位置之间的关系，即给定乳腺影像的任意位置p，需要找到其在配准后影像的对应位置p′，或给定配准后影像的任意位置p′，需要知道它对应的乳腺影像中的位置p在哪里；二是确定相对应的位置的像素值大小。然而，由于基于空间变换参数获取乳腺影像中的对应像素位置的位置坐标时可能出现非整数坐标的情况，此时便无法直接将对应像素位置处的像素值作为配准后影像中像素的像素值，因此需要制定当计算出的位置坐标为小数时如何得到像素值的近似计算策略，如图4所示，可具体包括如下步骤。
步骤401：根据空间变换参数确定配准后影像中每个像素在乳腺影像中的对应像素位置。设乳腺影像为m，参数提取网络模型输出的空间变换参数为函数u，配准后影像为m′，则对于配准后影像m′中的任意位置p′，与乳腺影像对应位置p的位置关系为：
p＝p′+u(p′)
即，当我们已知配准后影像的位置p′，我们只需按上述公式即可得到其对应的乳腺影像中的位置p，然而该基于空间变换参数获得的位置p可能是非整数坐标。
步骤402：当根据空间变换参数确定的配准后影像中的像素的对应像素位置坐标不是整数值时，获取对应像素位置周围临近的多个整数值坐标的像素值，根据多个整数值坐标的像素值确定该像素的像素值。
当存在对应像素位置坐标为小数的情况时，可通过周围八临近整数坐标点上的像素值来近似计算小数坐标上的像素值，如下式所示：
上式可理解为：对于配准后影像m’中的任意位置p′上的像素值m’p’，由属于其乳腺影像对应像素位置p的邻域z(p)内的所有整数值坐标位q点的像素值mq的加权和确定，其中距离对应像素位置越近的整数值坐标的像素值的权重越大，距离对应像素位置越远的整数值坐标的像素值的权重越小。
通过如上过程，配准后影像m′的任意位置的像素值由上述401和402步骤计算得到。
在本申请一实施例中，为了进一步提高配置变换的效率和精度，乳腺影像可以是对原始采集的原始乳腺影像进行前处理获得的，配准变换过程其实是对经过前处理的乳腺影像进行。具体而言，如图5所示，在将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数之前，该方法可进一步包括：
步骤501：将原始乳腺影像与标准乳腺影像进行对比获取线性变换参数。
具体而言，可对原始乳腺影像进行图像分析以判断出原始乳腺影像的投照位(例如，轴位或斜侧位，左侧乳腺或右侧乳腺)；然后根据投照位，基于原始乳腺影像提取原始乳腺区域信息；获取与投招位对应的标准乳腺影像，提取标准乳腺影像中的标准乳腺区域信息；最好将原始乳腺区域信息与标准乳腺区域信息对比以获取线性变换参数。
步骤502：基于线性变换参数对原始乳腺影像进行图像整体位置变换以获取乳腺影像。具体实现中可使用仿射变换原理，以期达到乳腺影像与标准乳腺影像的乳腺区域位置基本一致的效果。
应当理解，这里在前处理过程中进行的图像整体位置变换与基于参数提取网络模型所进行的配置变换是存在本质区别的：前者是将图像整体以相同的变换方式进行变换，如图像整体的平移、拉伸、旋转等，各像素点之间的相对位置不发生变化；而后者是每个位置的像素点执行不同的位置变换，变换的方式由参数提取网络模型输出的空间变换参数确定，变换后各个像素点之间的相对位置关系将发生变化，整体变换是非线性的，由深度神经网络训练习得，依据图像特征不同而有所不同。
在一进一步实施例中，如图6所示，在将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数之前，该方法还可进一步包括：
步骤601：将乳腺影像进行图像特征增强处理，其中，图像特征增强处理包括以下处理方式中的一种或多种组合：图像加窗处理和S型生长曲线函数处理。
通过如上图像特征增强处理可使得乳腺影像中乳腺区域腺体特征进一步加强，方便后续网络的特征和参数提取。
图7所示为本申请一实施例提供的一种乳腺影像配准方法的原理示意图。如图7所示，该乳腺影像配准方法可包括如下步骤：
步骤S1：图像前处理：读入乳腺影像，进行位置分析、线性变换、图像增强等操作。
步骤S2：空间变换参数提取：根据乳腺影像m与标准乳腺影像f，计算空间变换参数u。
步骤S3：空间变换：将乳腺影像m根据空间变换参数u进行空间变换，得到配准后影像m'。
步骤S4：网络参数更新：通过计算损失，优化参数提取网络。
其中，参数提取网络模型在训练阶段循环执行S1至S4步骤，不断迭代优化网络参数，使乳腺影像m经过系统的分析与变换，越来越与标准乳腺影像f靠近。模型的训练中无需借助人工数据标注，模型将根据图像相似性和模型复杂度自动优化。参数提取网络模型在测试及应用阶段，顺序执行S1至S3步骤，将变换后得到的配准后影像m'输出，作为乳腺影像m的配准变换结果，实现将乳腺影像m与标准乳腺影像f进行配准变换的功能。
在本申请一实施例中，可设计如下的损失函数，来通过反向传播方式优化参数提取网络模型的效果(意即优化空间变换参数u，找到更良好的位置对应关系)。
通过对比标准图像f和依据标准图像进行变换后的变换图像m′的不同，以及参数提取过程的直接和简练程度(模型复杂度)来衡量整体系统损失的大小，并依据这个损失进行相应网络的参数更新。
设整体系统损失为L，则：
L(f，m，u)＝Lsim(f，m′)+λLsmooth(u)
其中乳腺影像和配准后影像的相似性误差由Lsim(f，m′)表示，实际实现中是计算了二者的均方误差(Mean Square Error,MSE)；参数提取网络模型的复杂性误差由Lsmooth(u)表示，实际实现中通过计算u的各维度梯度的二范数之和得到；λ为平衡因子，起平衡两个误差之间权重的作用。
由于该损失函数采用了可微分的设计，使得模型在训练过程中可执行端到端训练，大大简化了模型训练过程的复杂性。
应当理解，虽然上面给出了损失函数的具体计算方式，但在本身的其他实施例中，损失函数也可以设计为其他方式，例如仅包括乳腺影像和配准后影像的相似性误差或参数提取网络模型的复杂性误差。本申请对该损失函数的具体计算方式不做严格限定。
示例性乳腺影像配准装置
图8所示为本申请一实施例提供的乳腺影像配准装置的结构示意图。如图8所示，该一种乳腺影像配准装置80包括：
参数提取网络模型801，配置为基于乳腺影像和标准乳腺影像获取空间变换参数，其中，空间变换参数包括配准后影像中每个像素与乳腺影像中与该像素对应的像素之间的位置对应关系；以及
空间变换模块802，配置为根据乳腺影像和空间变换参数获取配准后影像；
其中，参数提取网络模型801为通过无监督训练过程建立的卷积神经网络模型。
在本申请一实施例中，如图9所示，参数提取网络模型801包括：
拼接模块8011，配置为将乳腺影像和标准乳腺影像拼接为一张拼接影像，其中乳腺影像和标准乳腺影像对应拼接影像的不同通道区域；
第一卷积模块8012，配置为对拼接影像进行N层级第一卷积操作，其中每个层级的第一卷积操作的输入对象为上一层级的第一卷积操作所输出的特征图的下采样结果，每个层级的第一卷积操作包括多次卷积过程；以及
第二卷积模块8013，配置为将N层级第一卷积操作中最后一个层级的第一卷积操作输出的特征图进行N-1层级第二卷积操作，其中N-1层级第二卷积操作与N层级第一卷积操作中的前N-1层级第一卷积操作相对应，每个层级的第二卷积操作的输入对象包括上一层级的第二卷积操作所输出的特征图的上采样结果以及对应的第一卷积操作输出的特征图的复制结果，每个层级的第二卷积操作包括多次卷积过程；其中，N-1层级第二卷积操作中最后一个层级的第二卷积操作的输出结果为空间变换参数。
在本申请一实施例中，卷积过程包括卷积核尺寸为3×3的卷积层和激活层。
在本申请一实施例中，下采样结果通过2×2的最大池化层操作获得；和/或，上采样结果通过卷积核尺寸为2×2的反卷积操作获得。
在本申请一实施例中，空间变换模块802进一步配置为：根据空间变换参数确定配准后影像中每个像素在乳腺影像中的对应像素位置，将对应像素位置处的像素值作为该像素的像素值。
在本申请一实施例中，空间变换模块802进一步配置为：当根据空间变换参数确定的配准后影像中的像素的对应像素位置坐标不是整数值时，获取对应像素位置周围临近的多个整数值坐标的像素值；以及根据多个整数值坐标的像素值确定该像素的像素值。
在本申请一实施例中，根据多个整数值坐标的像素值确定该像素的像素值包括：将多个整数值坐标的像素值进行加权求和以确定该像素的像素值，其中，距离对应像素位置越近的整数值坐标的像素值的权重越大。
在本申请一实施例中，如图9所示，装置80进一步包括：
对比模块803，配置为在将乳腺影像和标准乳腺影像输入参数提取网络模型801以获取空间变换参数之前，将原始乳腺影像与标准乳腺影像进行对比获取线性变换参数；以及
线性变换模块804，配置为基于线性变换参数对原始乳腺影像进行图像整体位置变换以获取乳腺影像。
在本申请一实施例中，如图9所示，装置80进一步包括：
特征增强处理模块805，配置为在将乳腺影像和标准乳腺影像输入参数提取网络模型801以获取空间变换参数之前，将乳腺影像进行图像特征增强处理，其中，图像特征增强处理包括以下处理方式中的一种或多种组合：图像加窗处理和S型生长曲线函数处理。
在本申请一实施例中，对比模块进一步配置为：对原始乳腺影像进行图像分析以判断出原始乳腺影像的投照位；根据投照位，基于原始乳腺影像提取原始乳腺区域信息；获取与投招位对应的标准乳腺影像，提取标准乳腺影像中的标准乳腺区域信息；以及将原始乳腺区域信息与标准乳腺区域信息对比以获取线性变换参数。
在本申请一实施例中，如图9所示，装置80进一步包括：
误差调整模块806，配置为基于乳腺影像和配准后影像的相似性误差调整参数提取网络模型801的模型参数；和/或，基于参数提取网络模型801的复杂性误差调整参数提取网络模型801的模型参数。
上述乳腺影像配准装置80中的各个模块的具体功能和操作已经在上面参考图1到图7描述的乳腺影像配准方法中进行了详细介绍，上述乳腺影像配准装置80中的各个模块的具体功能和操作已经在上面参考图1到图8描述的乳腺影像配准方法中进行了详细介绍，因此，这里将省略其重复描述。
需要说明的是，根据本申请实施例的乳腺影像配准装置80可以作为一个软件模块和/或硬件模块而集成到电子设备90中，换言之，该电子设备90可以包括该乳腺影像配准装置80。例如，该乳腺影像配准装置80可以是该电子设备90的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该乳腺影像配准装置80同样可以是该电子设备90的众多硬件模块之一。
在本申请另一实施例中，该乳腺影像配准装置80与该电子设备90也可以是分立的设备(例如，服务器)，并且该乳腺影像配准装置80可以通过有线和/或无线网络连接到该电子设备90，并且按照约定的数据格式来传输交互信息。
示例性电子设备
图10所示为本申请一实施例提供的电子设备的结构示意图。如图10所示，该电子设备90包括：一个或多个处理器901和存储器902；以及存储在存储器902中的计算机程序指令，计算机程序指令在被处理器901运行时使得处理器901执行如上述任一实施例的乳腺影像配准方法。
处理器901可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器902可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器901可以运行程序指令，以实现上文的本申请的各个实施例的乳腺影像配准方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。
在一个示例中，电子设备90还可以包括：输入装置903和输出装置904，这些组件通过总线系统和/或其他形式的连接机构(图10中未示出)互连。
例如，在该电子设备是如工业生产线上的机器人时，该输入装置903可以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该输入装置903可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置903还可以包括例如键盘、鼠标、麦克风等等。
该输出装置904可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图10中仅示出了该电子设备90中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的乳腺影像配准方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性乳腺影像配准方法”部分中描述的根据本申请各种实施例的乳腺影像配准方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种乳腺影像配准方法，其特征在于，包括：
将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数，其中，所述空间变换参数包括所述配准后影像中每个像素与所述乳腺影像中与该像素对应的像素之间的位置对应关系；以及
根据所述乳腺影像和所述空间变换参数获取配准后影像；
其中，所述参数提取网络模型为通过无监督训练过程建立的卷积神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数包括：
将所述乳腺影像和所述标准乳腺影像拼接为一张拼接影像，其中所述乳腺影像和所述标准乳腺影像对应所述拼接影像的不同通道区域；
对所述拼接影像进行N层级第一卷积操作，其中每个层级的所述第一卷积操作的输入对象为上一层级的所述第一卷积操作所输出的特征图的下采样结果，每个层级的所述第一卷积操作包括多次卷积过程；以及
将所述N层级第一卷积操作中最后一个层级的所述第一卷积操作输出的特征图进行N-1层级第二卷积操作，其中所述N-1层级第二卷积操作与所述N层级第一卷积操作中的前N-1层级所述第一卷积操作相对应，每个层级的所述第二卷积操作的输入对象包括上一层级的所述第二卷积操作所输出的特征图的上采样结果以及对应的所述第一卷积操作输出的特征图的复制结果，每个层级的所述第二卷积操作包括多次卷积过程；
其中，所述N-1层级第二卷积操作中最后一个层级的所述第二卷积操作的输出结果为所述空间变换参数。
3.根据权利要求2所述的方法，其特征在于，所述卷积过程包括卷积核尺寸为3×3的卷积层和激活层。
4.根据权利要求2所述的方法，其特征在于，所述下采样结果通过2×2的最大池化层操作获得；和/或，
所述上采样结果通过卷积核尺寸为2×2的反卷积操作获得。
5.根据权利要求1所述的方法，其特征在于，所述根据所述乳腺影像和所述空间变换参数获取配准后影像包括：
根据所述空间变换参数确定所述配准后影像中每个像素在所述乳腺影像中的对应像素位置，将所述对应像素位置处的像素值作为该像素的像素值。
6.根据权利要求5所述的方法，其特征在于，所述根据所述乳腺影像和所述空间变换参数获取配准后影像进一步包括：
当根据所述空间变换参数确定的所述配准后影像中的像素的所述对应像素位置坐标不是整数值时，获取所述对应像素位置周围临近的多个整数值坐标的像素值；以及
根据所述多个整数值坐标的像素值确定该像素的像素值。
7.根据权利要求6所述的方法，其特征在于，所述根据所述多个整数值坐标的像素值确定该像素的像素值包括：
将所述多个整数值坐标的像素值进行加权求和以确定该像素的像素值，其中，距离所述对应像素位置越近的整数值坐标的像素值的权重越大。
8.根据权利要求1至7中任一所述的方法，其特征在于，在将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数之前，进一步包括：
将原始乳腺影像与所述标准乳腺影像进行对比获取线性变换参数；以及
基于所述线性变换参数对所述原始乳腺影像进行图像整体位置变换以获取所述乳腺影像。
9.根据权利要求8所述的方法，其特征在于，在将乳腺影像和标准乳腺影像输入参数提取网络模型以获取空间变换参数之前，进一步包括：
将所述乳腺影像进行图像特征增强处理，其中，所述图像特征增强处理包括以下处理方式中的一种或多种组合：图像加窗处理和S型生长曲线函数处理。
10.根据权利要求8所述的方法，其特征在于，所述将原始乳腺影像与所述标准乳腺影像进行对比获取线性变换参数包括：
对所述原始乳腺影像进行图像分析以判断出所述原始乳腺影像的投照位；
根据所述投照位，基于所述原始乳腺影像提取原始乳腺区域信息；
获取与所述投招位对应的所述标准乳腺影像，提取所述标准乳腺影像中的标准乳腺区域信息；以及
将所述原始乳腺区域信息与所述标准乳腺区域信息对比以获取所述线性变换参数。
11.根据权利要求1至7中任一所述的方法，其特征在于，进一步包括：
基于所述乳腺影像和所述配准后影像的相似性误差调整所述参数提取网络模型的模型参数；和/或，
基于所述参数提取网络模型的复杂性误差调整所述参数提取网络模型的模型参数。
12.一种乳腺影像配准装置，其特征在于，包括：
参数提取网络模型，配置为基于乳腺影像和标准乳腺影像获取空间变换参数，其中，所述空间变换参数包括所述配准后影像中每个像素与所述乳腺影像中与该像素对应的像素之间的位置对应关系；以及
空间变换模块，配置为根据所述乳腺影像和所述空间变换参数获取配准后影像；
其中，所述参数提取网络模型为通过无监督训练过程建立的卷积神经网络模型。
13.根据权利要求12所述的装置，其特征在于，进一步包括：
前处理模块，配置为将原始乳腺影像与所述标准乳腺影像进行对比获取线性变换参数，基于所述线性变换参数对所述原始乳腺影像进行图像整体位置变换以获取所述乳腺影像。
14.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的乳腺影像配准方法。
15.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1-11任一所述的乳腺影像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911061719.5A CN110827335B (zh) | 2019-11-01 | 2019-11-01 | 乳腺影像配准方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911061719.5A CN110827335B (zh) | 2019-11-01 | 2019-11-01 | 乳腺影像配准方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827335A true CN110827335A (zh) | 2020-02-21 |
| CN110827335B CN110827335B (zh) | 2020-10-16 |
Family
ID=69552004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911061719.5A Active CN110827335B (zh) | 2019-11-01 | 2019-11-01 | 乳腺影像配准方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827335B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415333A (zh) * | 2020-03-05 | 2020-07-14 | 北京深睿博联科技有限责任公司 | 乳腺x射线影像反对称生成分析模型训练方法和装置 |
| CN111429406A (zh) * | 2020-03-05 | 2020-07-17 | 北京深睿博联科技有限责任公司 | 结合多视图推理的乳腺x射线影像病变检出方法和装置 |
| CN112907439A (zh) * | 2021-03-26 | 2021-06-04 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法 |
| WO2022057188A1 (zh) * | 2020-09-21 | 2022-03-24 | 之江实验室 | 一种spect三维重建图像到标准视图的自动转向方法 |
| WO2022193750A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳先进技术研究院 | 一种基于深度学习的乳腺图像配准方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101980290A (zh) * | 2010-10-29 | 2011-02-23 | 西安电子科技大学 | 抗噪声环境多聚焦图像融合方法 |
| CN103049896A (zh) * | 2012-12-27 | 2013-04-17 | 浙江大学 | 三维模型的几何数据和纹理数据自动配准算法 |
| CN103761722A (zh) * | 2014-01-16 | 2014-04-30 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种用于输电线路固定翼无人机巡视图像精确拼接的方法 |
| CN106920215A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种全景图像配准效果的检测方法 |
| CN106920224A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种评估拼接图像清晰度的方法 |
| CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN109272443A (zh) * | 2018-09-30 | 2019-01-25 | 东北大学 | 一种基于全卷积神经网络的pet与ct图像配准方法 |
| CN109697741A (zh) * | 2018-12-28 | 2019-04-30 | 上海联影智能医疗科技有限公司 | 一种pet图像重建方法、装置、设备及介质 |
-
2019
- 2019-11-01 CN CN201911061719.5A patent/CN110827335B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101980290A (zh) * | 2010-10-29 | 2011-02-23 | 西安电子科技大学 | 抗噪声环境多聚焦图像融合方法 |
| CN103049896A (zh) * | 2012-12-27 | 2013-04-17 | 浙江大学 | 三维模型的几何数据和纹理数据自动配准算法 |
| CN103761722A (zh) * | 2014-01-16 | 2014-04-30 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 一种用于输电线路固定翼无人机巡视图像精确拼接的方法 |
| CN106920215A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种全景图像配准效果的检测方法 |
| CN106920224A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种评估拼接图像清晰度的方法 |
| CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN109272443A (zh) * | 2018-09-30 | 2019-01-25 | 东北大学 | 一种基于全卷积神经网络的pet与ct图像配准方法 |
| CN109697741A (zh) * | 2018-12-28 | 2019-04-30 | 上海联影智能医疗科技有限公司 | 一种pet图像重建方法、装置、设备及介质 |
Non-Patent Citations (4)
| Title |
|---|
| DONG NIE等: "《Medical Image Synthesis with Deep Convolutional Adversarial Networks》", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
| 陈雷: "《基于卷积神经网络实现指纹图像的配准》", 《法制博览》 * |
| 雒培磊等: "《一种改进的基于深度学习的遥感影像拼接方法》", 《计算机工程与应用》 * |
| 马国勇: "《基于高分辨率指纹图像的配准算法》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415333A (zh) * | 2020-03-05 | 2020-07-14 | 北京深睿博联科技有限责任公司 | 乳腺x射线影像反对称生成分析模型训练方法和装置 |
| CN111429406A (zh) * | 2020-03-05 | 2020-07-17 | 北京深睿博联科技有限责任公司 | 结合多视图推理的乳腺x射线影像病变检出方法和装置 |
| CN111429406B (zh) * | 2020-03-05 | 2023-10-27 | 北京深睿博联科技有限责任公司 | 结合多视图推理的乳腺x射线影像病变检出方法和装置 |
| CN111415333B (zh) * | 2020-03-05 | 2023-12-01 | 北京深睿博联科技有限责任公司 | 乳腺x射线影像反对称生成分析模型训练方法和装置 |
| WO2022057188A1 (zh) * | 2020-09-21 | 2022-03-24 | 之江实验室 | 一种spect三维重建图像到标准视图的自动转向方法 |
| US11704773B2 (en) | 2020-09-21 | 2023-07-18 | Zhejiang Lab | Automatic orientation method for three-dimensional reconstructed SPECT image to standard view |
| WO2022193750A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳先进技术研究院 | 一种基于深度学习的乳腺图像配准方法 |
| CN112907439A (zh) * | 2021-03-26 | 2021-06-04 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法 |
| CN112907439B (zh) * | 2021-03-26 | 2023-08-08 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827335B (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827335B (zh) | 乳腺影像配准方法和装置 | |
| US11633146B2 (en) | Automated co-registration of prostate MRI data | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| CN107886508B (zh) | 差分减影方法和医学图像处理方法及系统 | |
| JP6147273B2 (ja) | ノイズに対して堅牢な画像レジストレーション方法およびシステム | |
| Kroon et al. | MRI modalitiy transformation in demon registration | |
| CA3078095A1 (en) | Automated classification and taxonomy of 3d teeth data using deep learning methods | |
| Tang et al. | CT image enhancement using stacked generative adversarial networks and transfer learning for lesion segmentation improvement | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| Li et al. | Co-Registration of ex vivo Surgical Histopathology and in vivo T2 weighted MRI of the Prostate via multi-scale spectral embedding representation | |
| WO2019037654A1 (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
| CN113610752A (zh) | 乳腺图像配准方法、计算机设备和存储介质 | |
| CN111415333B (zh) | 乳腺x射线影像反对称生成分析模型训练方法和装置 | |
| CN111369598B (zh) | 深度学习模型的训练方法及装置、应用方法及装置 | |
| CN110974286B (zh) | 乳腺x线影像肿块检出方法和装置 | |
| CN106204667B (zh) | 一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法 | |
| CN113065585B (zh) | 图像合成模型的训练方法、装置与电子设备 | |
| CN111429406B (zh) | 结合多视图推理的乳腺x射线影像病变检出方法和装置 | |
| CN114170221A (zh) | 一种基于图像确认脑部疾病方法与系统 | |
| RU2478337C2 (ru) | Способ определения контура сердца на флюорографических снимках | |
| CN112785580A (zh) | 确定血管流速的方法及装置 | |
| CN115170568B (zh) | 直肠癌图像自动分割方法和系统及放化疗反应预测系统 | |
| US20230343438A1 (en) | Systems and methods for automatic image annotation | |
| CN111415332B (zh) | 乳腺x射线影像联动方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085 Patentee after: Tuxiang Medical Technology Co., Ltd Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085 Patentee before: Beijing Tuoxiang Technology Co.,Ltd. |