CN109993709A - 一种基于深度学习的图像配准误差校正方法 - Google Patents
一种基于深度学习的图像配准误差校正方法 Download PDFInfo
- Publication number
- CN109993709A CN109993709A CN201910201285.8A CN201910201285A CN109993709A CN 109993709 A CN109993709 A CN 109993709A CN 201910201285 A CN201910201285 A CN 201910201285A CN 109993709 A CN109993709 A CN 109993709A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- value
- deep learning
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000013136 deep learning model Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的图像配准误差校正方法，包括以下步骤：给定待分割的目标图像It及其分割标签图像Lt，和通过图像配准得到已经配准到目标图像空间的图谱图像Ia及其分割标签图像La；在目标图像It和配准后的图谱图像Ia的对应位置提取图像块pt和pa；在目标分割标签图像Lt和配准后的图谱分割标签图像La的相同位置提取分割标签图像块lt和la；求解可靠性矩阵，以图像块对(pt,pa)为输入，以可靠性矩阵为输出，构建深度学习模型，并对该模型进行训练，利用训练好的深度模型对图像配准误差进行识别和校正。利用本发明的图像配准误差校正方法，可有效提升图像配准的准确度，得到精确的多图谱图像分割结果。
Description
技术领域：
本发明涉及图像配准技术领域，具体涉及一种基于深度学习的图像配准误差校正方法。
背景技术：
图像配准是指在将两幅图像(即参考图像和目标图像)重叠时，估计图像一致的变换参数，即，是指估计目标图像和参考图像之间的匹配。图像配准是通过计算一个最优的空间变换来将一个图像变换到另一个图像空间。特别是在医学图像分析领域中，医学图像配准是医学图像多图谱分割方法的一个必要步骤，配准的精确性和稳定性将会对多图谱分割结果产生重要影响。然而，由于不同个体的医学图像之间差异非常大，因此在不同个体的医学图像之间配准非常困难，配准误差往往不可避免。
发明内容：
本发明的目的是对多图谱图像分割过程中的图像配准误差进行自动识别和校正，提高图像配准的精度，从而达到提高多图谱分割精度的目的。为了实现上述发明目的，所采用的技术方案为：
一种基于深度学习的图像配准误差校正方法，包括以下步骤：
(1)给定待分割的目标图像It及其分割标签图像Lt，以及给定通过图像配准得到已经配准到目标图像空间的图谱图像Ia及其分割标签图像La；
(2)在目标图像It和配准后的图谱图像Ia的对应位置提取图像块pt和pa；在目标分割标签图像Lt和配准后的图谱分割标签图像La的相同位置提取分割标签图像块lt和la；
(3)利用步骤(2)中提取的分割标签图像块lt和la求解可靠性矩阵；
(4)以图像块对(pt,pa)作为全卷积神经网络模型的输入值，可靠性矩阵作为全卷积神经网络模型的输出值，构建出深度学习模型，并对深度学习模型进行训练；
(5)利用训练得到的深度学习模型对图像配准误差进行确认：将新的目标图像块pt’以及配准后的图谱图像块pa’输入训练好的深度FCN模型，当可靠性矩阵输出数值1表示配准准确无需校正，当可靠性矩阵输出数值0表示配准有误需要误差校正；
(6)误差校正：利用步骤(5)得到的可靠性矩阵输出数值，将矩阵值为0的体素的分割标签值进行修改。
进一步设置，所述步骤(3)中求解可靠性矩阵公式如下：
上述公式中，lt(x)表示x体素位置的目标图像块分割标签值，la(x)表示x体素位置的图谱图像块分割标签值，C(x)表示x体素位置的可靠性矩阵值。
进一步设置，所述步骤(4)中深度学习模型训练方法采用随机梯度下降算法。
进一步设置，所述步骤(6)中修改矩阵值为0的分割标签值时，若原始分割标签值为1，则修改为-1；若原始分割标签值为-1，则修改为1。
通过本发明所公开的基于深度学习的图像配准误差校正方法，可有效对图像配准存在的误差进行校正，从而提升图像配准的准确度，有利于得到精确的图像分割结果。
以下通过附图和具体实施方式对本发明做进一步阐述。
附图说明：
图1为本发明图像配准误差校正方法示意图。
具体实施方式：
本实施例公开一种基于深度学习的图像配准误差校正方法，如图1所示包括以下步骤：
(1)给定待分割的目标图像It及其分割标签图像Lt，通过图像配准得到已经配准到目标图像空间的图谱图像Ia及其分割标签图像La。
(2)提取图像块：
在目标图像It和配准后的图谱图像Ia的对应位置提取图像块pt和pa；在目标分割标签图像Lt和配准后的图谱分割标签图像La的相同位置提取分割标签图像块lt和la。
(3)可靠性矩阵的求解：
利用步骤(2)中提取的分割标签图像块lt和la求解可靠性矩阵，采用如下公式来求解：
上述公式中，lt(x)表示x体素位置的目标图像块分割标签值，la(x)表示x体素位置的图谱图像块分割标签值，C(x)表示x体素位置的可靠性矩阵值。
(4)构建和训练FCN模型：
以图像块对(pt,pa)作为全卷积神经网络模型(简称FCN模型)的输入值，可靠性矩阵作为全卷积神经网络模型的输出值，构建出一个深度学习模型，并采用随机梯度下降算法对深度学习模型进行训练。随机梯度下降算法是一种现有技术，本申请中不对该方法展开详细说明。
(5)图像配准误差识别：
将一个新的目标图像块pt’以及配准后的图谱图像块pa’输入上述训练好的深度学习模型，可以得到一个可靠性矩阵值C’，当可靠性矩阵值C’为1时，表示配准是准确的，无需进行校正；当可靠性矩阵值C’为0时，表示配准有误差，此时需要对误差进行校正。
(6)误差校正方法如下：
利用步骤(5)中得到的可靠性矩阵输出数值，将矩阵值为0的体素的分割标签值进行修改。本实施例的误差校正方法主要用于多图谱图像分割，假设分割对象的标签值用1表示，背景的标签值用-1表示。将矩阵值为0的体素的分割标签进行如下修改：若原先分割标签值为1，则改为-1；原先值为-1，则改为1。
将本实施例中给出的图像配准误差校正方法用于多图谱分割，分割结果与未经误差校正的原始分割结果进行对比，进一步验证两者的差异性。以下使用来自阿尔茨海默病影像中心数据库(ADNI,adni.loni.ucla.edu)的100个被试的磁共振图像的大脑海马体分割来验证上述图像配准误差校正方法。
将本实施例给出的基于深度学习的图像配准误差校正之后的多图谱分割方法(记为FCN-MV)和原始的多图谱分割方法(记为MV)进行比较。用Dice值和Jaccard值来计算分割精度，具体定义如下：
给定人工分割结果A(作为金标准)以及自动分割结果B，Dice值和Jaccard值计算如下：
上述V(x)表示分割结果X的体积。
为了比较两种方法分割的效果，下表1中分别计算出了两种不同方法的Dice的平均值和标准差，以及Jaccard的平均值和标准差，并且用威尔科克森符号秩检验比较了原始的多图谱分割方法(MV)的分割结果和本实施例所述的基于深度学习的图像配准误差校正之后的多图谱分割方法(FCN-MV)得到的分割结果的差异性。
表1中的实验结果显示，本实施例方法得到的Dice值的平均值以及Jaccard值的平均值均大于MV方法所得结果，并且本实施例方法得到的Dice值的标准差以及Jaccard值的标准差均小于MV方法所得结果。经过威尔科克森符号秩检验，在显著性水平取值0.05的情况下，本实施例所述的多图谱分割方法要显著优于原始的多图谱分割方法。
表1配准误差校正前、后多图谱分割结果的比较
以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。
Claims (4)
1.一种基于深度学习的图像配准误差校正方法，其特征在于：包括以下步骤：
(1)给定待分割的目标图像It及其分割标签图像Lt，以及给定通过图像配准得到已经配准到目标图像空间的图谱图像Ia及其分割标签图像La；
(2)在目标图像It和配准后的图谱图像Ia的对应位置提取图像块pt和pa；在目标分割标签图像Lt和配准后的图谱分割标签图像La的相同位置提取分割标签图像块lt和la；
(3)利用步骤(2)中提取的分割标签图像块lt和la求解可靠性矩阵；
(4)以图像块对(pt,pa)作为全卷积神经网络模型的输入值，可靠性矩阵作为全卷积神经网络模型的输出值，构建出深度学习模型，并对深度学习模型进行训练；
(5)利用训练得到的深度学习模型对图像配准误差进行确认：将新的目标图像块pt’以及配准后的图谱图像块pa’输入训练好的深度FCN模型，当可靠性矩阵输出数值1表示配准准确无需校正，当可靠性矩阵输出数值0表示配准有误需要误差校正；
(6)误差校正：利用步骤(5)得到的可靠性矩阵输出数值，将矩阵值为0的体素的分割标签值进行修改。
2.根据权利要求1所述的一种基于深度学习的图像配准误差校正方法，其特征在于：所述步骤(3)中求解可靠性矩阵公式如下：
上述公式中，lt(x)表示x体素位置的目标图像块分割标签值，la(x)表示x体素位置的图谱图像块分割标签值，C(x)表示x体素位置的可靠性矩阵值。
3.根据权利要求1所述的一种基于深度学习的图像配准误差校正方法，其特征在于：所述步骤(4)中深度学习模型训练方法采用随机梯度下降算法。
4.根据权利要求1所述的一种基于深度学习的图像配准误差校正方法，其特征在于：所述步骤(6)中修改矩阵值为0的分割标签值时，若原始分割标签值为1，则修改为-1；若原始分割标签值为-1，则修改为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910201285.8A CN109993709B (zh) | 2019-03-18 | 2019-03-18 | 一种基于深度学习的图像配准误差校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910201285.8A CN109993709B (zh) | 2019-03-18 | 2019-03-18 | 一种基于深度学习的图像配准误差校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109993709A true CN109993709A (zh) | 2019-07-09 |
| CN109993709B CN109993709B (zh) | 2021-01-12 |
Family
ID=67130666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910201285.8A Active CN109993709B (zh) | 2019-03-18 | 2019-03-18 | 一种基于深度学习的图像配准误差校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109993709B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544274A (zh) * | 2019-07-18 | 2019-12-06 | 山东师范大学 | 一种基于多光谱的眼底图像配准方法及系统 |
| CN111145230A (zh) * | 2019-12-26 | 2020-05-12 | 北京新唐思创教育科技有限公司 | 一种图像配准质量检测方法、装置、设备及存储介质 |
| CN111369598A (zh) * | 2020-03-02 | 2020-07-03 | 北京推想科技有限公司 | 深度学习模型的训练方法及装置、应用方法及装置 |
| CN112070695A (zh) * | 2020-09-03 | 2020-12-11 | 深圳大学 | 一种配准矩阵的校正方法和计算机设备 |
| US11645767B2 (en) * | 2019-11-14 | 2023-05-09 | Siemens Healthcare Gmbh | Capturing a misalignment |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133946A (zh) * | 2017-04-28 | 2017-09-05 | 上海联影医疗科技有限公司 | 医学图像处理方法、装置及设备 |
| CN107730542A (zh) * | 2017-08-29 | 2018-02-23 | 北京大学 | 锥束计算机断层扫描图像对应与配准方法 |
| CN108288070A (zh) * | 2018-01-12 | 2018-07-17 | 迈格生命科技（深圳）有限公司 | 一种神经指纹提取分类方法及系统 |
| CN108416802A (zh) * | 2018-03-05 | 2018-08-17 | 华中科技大学 | 一种基于深度学习的多模医学图像非刚性配准方法及系统 |
| CN108537264A (zh) * | 2018-03-30 | 2018-09-14 | 西安电子科技大学 | 基于深度学习的异源图像匹配方法 |
| CN109272443A (zh) * | 2018-09-30 | 2019-01-25 | 东北大学 | 一种基于全卷积神经网络的pet与ct图像配准方法 |
| US20190057503A1 (en) * | 2017-08-17 | 2019-02-21 | Fujifilm Corporation | Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program |
-
2019
- 2019-03-18 CN CN201910201285.8A patent/CN109993709B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133946A (zh) * | 2017-04-28 | 2017-09-05 | 上海联影医疗科技有限公司 | 医学图像处理方法、装置及设备 |
| US20190057503A1 (en) * | 2017-08-17 | 2019-02-21 | Fujifilm Corporation | Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program |
| CN107730542A (zh) * | 2017-08-29 | 2018-02-23 | 北京大学 | 锥束计算机断层扫描图像对应与配准方法 |
| CN108288070A (zh) * | 2018-01-12 | 2018-07-17 | 迈格生命科技（深圳）有限公司 | 一种神经指纹提取分类方法及系统 |
| CN108416802A (zh) * | 2018-03-05 | 2018-08-17 | 华中科技大学 | 一种基于深度学习的多模医学图像非刚性配准方法及系统 |
| CN108537264A (zh) * | 2018-03-30 | 2018-09-14 | 西安电子科技大学 | 基于深度学习的异源图像匹配方法 |
| CN109272443A (zh) * | 2018-09-30 | 2019-01-25 | 东北大学 | 一种基于全卷积神经网络的pet与ct图像配准方法 |
Non-Patent Citations (5)
| Title |
|---|
| FEDDE VAN DER LIJN等: "Automated Brain Structure Segmentation Based on Atlas Registration and Appearance Models", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| OLAF RONNEBERGER等: "U-Net：Convolutional networks for Biomedical image segmentation", 《ARXIV:1505.04597V1[CS.CV]》 * |
| OUALID M. BENKARIM等: "Discriminative confidence estimation for probabilistic multi-atlas label fusion", 《MEDICAL IMAGE ANALYSIS》 * |
| 程有娥: "基于多图谱最优标签融合的脑MR 图像分割", 《浙江工贸职业技术学院学报》 * |
| 贺光华等: "低分辨率医学图像的多多图谱分割方法", 《高校应用数学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544274A (zh) * | 2019-07-18 | 2019-12-06 | 山东师范大学 | 一种基于多光谱的眼底图像配准方法及系统 |
| CN110544274B (zh) * | 2019-07-18 | 2022-03-29 | 山东师范大学 | 一种基于多光谱的眼底图像配准方法及系统 |
| US11645767B2 (en) * | 2019-11-14 | 2023-05-09 | Siemens Healthcare Gmbh | Capturing a misalignment |
| CN111145230A (zh) * | 2019-12-26 | 2020-05-12 | 北京新唐思创教育科技有限公司 | 一种图像配准质量检测方法、装置、设备及存储介质 |
| CN111145230B (zh) * | 2019-12-26 | 2021-07-06 | 北京新唐思创教育科技有限公司 | 一种图像配准质量检测方法、装置、设备及存储介质 |
| CN111369598A (zh) * | 2020-03-02 | 2020-07-03 | 北京推想科技有限公司 | 深度学习模型的训练方法及装置、应用方法及装置 |
| CN112070695A (zh) * | 2020-09-03 | 2020-12-11 | 深圳大学 | 一种配准矩阵的校正方法和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109993709B (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993709A (zh) | 一种基于深度学习的图像配准误差校正方法 | |
| US10902587B2 (en) | Methods and systems for labeling whole spine image using deep neural network | |
| CN109685811A (zh) | 基于双路径U-net卷积神经网络的PET/CT高代谢淋巴结分割方法 | |
| Laslett et al. | A flexible maximum likelihood approach for fitting growth curves to tag recapture data | |
| US8737712B2 (en) | Anterior commissure and posterior commissure segmentation system and method | |
| Guo et al. | Segmenting hippocampus from infant brains by sparse patch matching with deep-learned features | |
| US20090060308A1 (en) | System and methods for automatic segmentation of one or more critical structures of the ear | |
| CN110533664B (zh) | 一种基于大样本数据驱动的颅神经自动分割方法 | |
| CN107016683A (zh) | 基于区域生长初始化的水平集海马图像分割方法 | |
| CN109087298B (zh) | 一种阿尔兹海默病mri图像分类方法 | |
| CN111563910B (zh) | 眼底图像分割方法及设备 | |
| CN111797672A (zh) | 物体识别系统和物体识别方法 | |
| Spitzer et al. | Parcellation of visual cortex on high-resolution histological brain sections using convolutional neural networks | |
| Uus et al. | Automated 3D reconstruction of the fetal thorax in the standard atlas space from motion-corrupted MRI stacks for 21–36 weeks GA range | |
| CN112581458A (zh) | 一种图像处理方法和装置 | |
| CN107093190A (zh) | 一种基于多图谱标签融合的医学图像配准算法 | |
| Xu et al. | Retinal vessel segmentation via a semantics and multi-scale aggregation network | |
| CN103745473A (zh) | 一种脑组织提取方法 | |
| CN109949299A (zh) | 一种心脏医学图像自动分割方法 | |
| Cakir et al. | Evaluation of rigid cochlear models for measuring cochlear implant electrode position | |
| Neves Silva et al. | Real‐time fetal brain tracking for functional fetal MRI | |
| Legouhy et al. | Unbiased longitudinal brain atlas creation using robust linear registration and log-Euclidean framework for diffeomorphisms | |
| Zhang et al. | Accurate detection of inner ears in head CTs using a deep volume-to-volume regression network with false positive suppression and a shape-based constraint | |
| Maddah et al. | A mathematical framework for incorporating anatomical knowledge in DT-MRI analysis | |
| CN110148140A (zh) | 一种基于线性化核标签融合的脑mr图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |