CN110458906B - 一种基于深度颜色迁移的医学图像着色方法 - Google Patents

一种基于深度颜色迁移的医学图像着色方法 Download PDF

Info

Publication number
CN110458906B
CN110458906B CN201910560562.4A CN201910560562A CN110458906B CN 110458906 B CN110458906 B CN 110458906B CN 201910560562 A CN201910560562 A CN 201910560562A CN 110458906 B CN110458906 B CN 110458906B
Authority
CN
China
Prior art keywords
image
layer
loss
color
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910560562.4A
Other languages
English (en)
Other versions
CN110458906A (zh
Inventor
曾宪华
童世玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dayu Chuangfu Technology Co ltd
Original Assignee
Guangzhou Dayu Chuangfu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dayu Chuangfu Technology Co ltd filed Critical Guangzhou Dayu Chuangfu Technology Co ltd
Priority to CN201910560562.4A priority Critical patent/CN110458906B/zh
Publication of CN110458906A publication Critical patent/CN110458906A/zh
Application granted granted Critical
Publication of CN110458906B publication Critical patent/CN110458906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明请求保护一种基于深度颜色迁移的医学图像着色方法，包括：随机初始化一张初始图像，利用深度神经网络结合颜色迁移思想对医学图像进行着色：通过深度神经网络提取医学图像、参考图像和初始图像的深度特征，然后构造内容损失、颜色损失、空间关系损失、纹理细节损失，计算总损失关于初始图像像素的梯度，利用此梯度迭代更新初始图像直到它同时匹配参考图像的颜色和目标图像的纹理结构。然后利用初始图像和原始医学图像在YUV空间中颜色信息和亮度信息重新构成彩色的医学图像。本发明能够生成具有颜色信息的医学图像，其具有原始医学图像的纹理结构，并保持原有的诊断意义。

Description

一种基于深度颜色迁移的医学图像着色方法
技术领域
本发明属于医学图像处理技术领域，属于医学图像色彩化以及深度学习和颜色迁移方法。
背景技术
在医疗领域，随着医学影像学设备的普及，带来了很多成像技术，比如计算机断层扫描(CT)，核磁共振成像(MRI)，超声波成像(UI)等，医学影像所提供的人体组织信息被用于医学诊断和研究中。由于成像技术原因，大部分医学图像都是灰度图像，很少部分是彩色成像；针对成像价格来说，消费者获得灰色成像的消费远低于彩色成像，因此目前使用的大部分成像结果都是灰度图像。颜色迁移目前是处理自然图像常用的方法，并且在自然图像上具有很好的效果。通过人为的选择一张合适的彩色图像作为参考，将该彩色图像上的颜色迁移到目标图像上，让目标图像具有与彩色图像相似的颜色风格。对于医学图像进行着色能让医学图像更加直观清晰，对于开展疾病诊断、手术制订等医学诊断和研究中起到重要的作用。目前存在着以下的问题：1.目前的医学图像着色大部分是基于统计学的方法，对于使用深度颜色迁移来对医学图像着色还没有一个完整的结构方法；2.如何保证图像着色前后的内容结构保持不变，着色后的医学图像依然具有诊断意义。
基于上述这些问题，利用深度神经网络结合颜色迁移思想对医学图像进行着色：通过深度神经网络提取医学图像、参考图像和初始图像的深度特征，然后构造内容损失、颜色损失、空间关系损失、纹理细节损失，计算总损失关于初始图像像素的梯度，利用此梯度迭代更新初始图像直到它同时匹配参考图像的颜色和目标图像的纹理结构。然后利用初始图像和原始医学图像在YUV空间中颜色信息和亮度信息重新构成彩色的医学图像。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于深度颜色迁移的医学图像着色方法。本发明的技术方案如下：
一种基于深度颜色迁移的医学图像着色方法，其包括以下步骤：
1)、获取原始医学图像，并将原始医学图像缩小成一张固定大小的图像作为输入到神经网络中的目标图像，并初始化一张初始图像用作网络迭代更新的对象。通过K均值聚类算法得到参考图像和目标图像的分割图像用作后续构建颜色损失函数。通过人为手动选择一张彩色的图像作为参考图像。在本发明中，原始图像为需要着色的灰度医学图像；目标图像与原始图像内容一致但大小不一；参考图像为更新初始图像提供颜色参考；经过网络更新初始图像最终得到输出图像与目标图像的纹理结构保持一致；
2)、将初始图像、参考图像和目标图像输入到深度神经网络中，通过深度神经网络其中的六层卷积层分别提取目标图像、参考图像和初始图像的深度特征；
3)、利用提取的深度特征构建总损失项，总损失项通过利用内容损失和纹理细节损失来约束图像内容纹理，和利用空间关系损失和颜色损失来约束图像颜色。所以总损失包括内容损失、颜色损失、空间关系损失及纹理细节损失；
4)、通过损失函数的梯度公式，根据误差反向传播算法求得总损失关于初始图像的梯度，然后通过基于梯度的优化方法对深度神经网络进行优化，迭代更新初始图像；
5)、对最终输出的初始图像进行图像放大到与原始医学图像大小，并转换到YUV颜色空间，将原始医学图像也转换到YUV颜色空间；
6)、提取原始医学图像Y通道的值，以及输出的初始图像的UV通道的值，结合Y通道和UV通道的值得到一张彩色的医学图像，并转换到RGB颜色空间。
进一步的，所述步骤1)将目标图像和参考图像统一处理成分辨率为224*224的图像，并且通过K均值聚类算法得到参考图像和目标图像的分割图像。
进一步的，所述深度神经网络的六层卷积层分别是第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层、第10层卷积层、第13层卷积层。
进一步的，所述步骤3)的内容损失是通过使用目标图像I和初始图像O的第10层卷积层提取的深度特征构造的，具体公式为：其中Lc表示内容损失函数，Fl[O]初始图像O在第l层的特征矩阵，Fl[I]图像I在第l层的特征矩阵，Nl代表第l层滤波器的个数，Dl代表特征图的大小；i,j表示特征矩阵中的索引。
进一步的，所述步骤3)的颜色损失是通过提取参考图像S和初始图像I在深度神经网络上第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层和第13层卷积层的上的特征图进行构建，具体的公式如下：
Fl,c[O]＝Fl[O]Ml,c[I]
Fl,c[S]＝Fl[S]Ml,c[S]
其中，表示第l层卷积层的颜色损失，Nl表示第l层卷积层的滤波器个数，C表示语义分割掩码的通道数，c表示第c通道的语义分割掩码。Gl,c[O]，Gl,c[S]分别表示图像O和S在第l层卷积层的特征图经过第c通道的语义分割掩码处理后计算出来的gram矩阵，表示第l卷积层得到的特征矩阵，Dl表示特征图的大小。Fl,c[O]、Fl,c[S]分别表示图像O和S在第l层卷积层提取的特征图在被第c通道的语义分割掩码处理后的特征矩阵，Ml,c[I]、Ml,c[S]分别图像I和S第l层的第c通道的分割掩码，通过下采样分割编码来适应每一层特征矩阵的大小。Gram矩阵/>是矢量特征矩阵的内积。
进一步的，所述空间关系损失主要用于保持像素之间的空间关系，通过使用块对于块的匹配将目标图像中的块用风格图像的块来替换，以此来保持像素之间的空间关系；首先提取目标图像和参考图像的3、4、5层特征，分别记为 对于参考图像和目标图像每一层特征图分别划分成3x3大小的图像块，记为/>nc,ns分别是参考图像和目标图像的块数，k,m为块数索引；对于目标图像上的每一个块通过卷积操作找到其最匹配的块，/>为块k的最近邻匹配块，用此代替Fk(I)，将整个目标图像的特征图替换后的结果记作/>对于初始图像训练的过程中，希望图像每个像素的颜色特征尽可能的与参考图像一致，并且局部特征也保持一致，所以损失函数定义为如下公式：
其中，Fl[O]代表着输出图像在第l层的特征图，代表着第l层的匹配后的特征图，N代表该层所有的像素点个数，i代表第i个滤波器，j代表滤波器上第j个位置。(前面的i、j是同一个含义)
进一步的，所述纹理细节损失是用来维持更新初始图像的过程中保持图像的纹理结构与目标图像的纹理结构一致，通过初始图像和目标图像的Y通道的值之间的差异来构建，具体公式如下：
其中，D代表特征图的大小，IY，OY代表目标图像I和输出图像O在YUV空间中的Y通道上的特征值(亮度值)。
进一步的，所述步骤4)通过各个损失函数的梯度公式： 和误差反向传播算法求得总损失关于初始图像的梯度，利用该梯度迭代更新图像/> 为求偏导的符号。η为学习率。误差反向传播算法[1]主要步骤是根据神经网络的输出与真实输出之间的误差，利用链式法则从输出到输入逐层求导，逐层更新网络参数。
进一步的，所述步骤4)基于梯度的优化方法对深度神经网络进行优化采用的是L-BFGS-B[2](限制内存的BFGS)，其是在BFGS(Broyden-Fletcher-Goldfarb-Shanno)算法的基础上进行优化得到的一种求解具有简单边界的大型非线性优化问题的限制内存的算法。L-BFGS-B与BFGS算法的主要不同之处在于Hessian矩阵的替代矩阵不用，L-BFGS-B算法在迭代过程中用L-BFGS来确定近似替代矩阵。L-BFGS-B算法每次迭代的过程会更新的替代矩阵，其求解过程如下：1)先利用限制内存矩阵定义目标函数的近似二次模型；2)计算搜索方向；3)用线性搜索方法沿着确定的搜索方向进行搜索求解获得新的迭代值。
本发明的优点及有益效果如下：
本发明创新点：1)Y-loss的提出。其算法的收敛性比一般的纹理约束收敛的快，并且该损失在构建的过程中其所需的内存开销(以图像大小为问题规模)为O(n)，以直接快速的方法约束图像纹理细节的变化。2)本发明从全局和局部约束的角度上考虑医学图像的着色。对图像纹理和颜色进行约束的过程中，考虑从全局的角度上构建损失函数对整体的图像内容和颜色分布进行约束，使输出图像具有目标图像和参考图像大致的内容和颜色；其次从局部的角度上考虑图像纹理细节的保持和像素之间空间关系的保持，这样精细的对输出图像进行约束。3)应用深度神经网络提取的图像深度特征对医学图像进行着色。已经存在的医学图像着色方法仅仅依赖于图像的浅层特征(亮度，标准差，直方图等)，而忽略的图像本身的深层语义特征，本发明解决了仅仅依赖于浅层特征进行着色的问题。
附图说明
图1是本发明提供优选实施例的算法框架图；
图2为本发明中构建空间关系损失所使用的块匹配示意图；
图3为本发明的实验结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
为了使计算更快捷，将目标图像和参考图像统一处理成224x224大小的图像，并且得到参考图像和目标图像的分割图像。将待着色的目标图像和彩色参考图像输入到利用医学图像进行微调后的Vgg19网络中，提取六层的特征图进行着色操作，利用图像纹理细节损失和图像内容损失保证其着色过程中得到目标图像的纹理结构，利用图像颜色损失和图像的空间关系损失保证着色过程中得到与参考图像一致的颜色，计算其损失梯度，利用反向传播算法最后迭代更新得到彩色后的输出图像。由于得到的目标图像与待着色的原始目标图像大小不相同，对其进行插值放大输出图像大小使其和目标图像一致，为了使其保持足够的清晰度，将输出图像和目标图像转化到YUV颜色空间，提取输出图像的UV通道的值和目标图像的Y通道的值将其结合在一起使其构成清晰的着色后的目标图像。
下面将详细说明本发明的技术方案：
一种医学图像彩色化方法，包括：
为了使计算更快捷，将目标图像和参考图像统一处理成固定大小的图像，并且得到参考图像和目标图像的分割图像。
将待着色的目标图像和彩色参考图像输入到利用医学图像进行微调后的Vgg19网络中，提取六层的特征图进行着色操作。利用图像纹理细节损失和图像内容损失保证其着色过程中得到目标图像的纹理结构，利用图像颜色损失和图像的空间关系损失保证着色过程中得到与参考图像一致的颜色。
通过损失函数的梯度，根据误差反向传播算法求得总损失关于初始图像的梯度，然后通过基于梯度的优化方法对深度神经网络进行优化，迭代更新初始图像；
由于得到的目标图像与待着色的原始目标图像大小不相同，对其进行插值放大输出图像大小使其和目标图像一致，为了使其保持足够的清晰度，将输出图像和目标图像转化到YUV颜色空间，提取输出图像的UV通道的值和目标图像的Y通道的值将其结合在一起使其构成清晰的着色后的目标图像。
进一步地，其所述固定图像大小为224*224(长X宽)，以此大小图像作为神经网络的输入，可以减少图像着色过程所需要的时间。
进一步地，其所述初始化图像是通过将目标图像作为初始图像，减少着色时间，提升着色后效果。
进一步地，其所述使用的六层卷积层分别是第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层、第10层卷积层、第13层卷积层。
进一步地，其所述总损失函数包括四项损失函数，分别是内容损失、颜色损失、空间关系损失、纹理细节损失，具体包括：
1)内容损失是通过使用目标图像I和初始图像O的第10层卷积层提取的深度特征构造的，具体公式为：其中Lc表示内容损失函数，Fl[O]初始图像O在第l层的特征矩阵，Fl[I]图像I在第l层的特征矩阵，Nl代表第l层滤波器的个数，Dl代表特征图的大小；i,j表示特征矩阵中的索引。
2)颜色损失是通过提取参考图像S和初始图像I在深度神经网络上第l层卷积层、第3层卷积层、第5层卷积层、第9层卷积层和第13层卷积层的上的特征图进行构建，具体的公式如下：
Fl,c[O]＝Fl[O]Ml,c[I]7
Fl,c[S]＝Fl[S]Ml,c[S]
其中，表示第l层卷积层的颜色损失，Nl表示第l层卷积层的滤波器个数，C表示语义分割掩码的通道数，c表示第c通道的语义分割掩码。Gl,c[O]，Gl,c[S]分别表示图像O和S在第l层卷积层的特征图经过第c通道的语义分割掩码处理后计算出来的gram矩阵，表示第l卷积层得到的特征矩阵，Dl表示特征图的大小。Fl,c[O]、Fl,c[S]分别表示图像O和S在第l层卷积层提取的特征图在被第c通道的语义分割掩码处理后的特征矩阵，Ml,c[I]、Ml,c[S]分别图像I和S第l层的第c通道的分割掩码，通过下采样分割编码来适应每一层特征矩阵的大小。Gram矩阵/>是矢量特征矩阵的内积。
3)空间关系损失主要用于保持像素之间的空间关系，通过使用块对于块的匹配将目标图像中的块用风格图像的块来替换，以此来保持像素之间的空间关系；首先提取目标图像和参考图像的3、4、5层特征，分别记为 对于参考图像和目标图像每一层特征图分别划分成3x3大小的图像块，记为/>nc,ns分别是参考图像和目标图像的块数，k,m为块数索引；对于目标图像上的每一个块通过卷积操作找到其最匹配的块，/>为块k的最近邻匹配块，用此代替Fk(I)，将整个目标图像的特征图替换后的结果记作/>对于初始图像训练的过程中，希望图像每个像素的颜色特征尽可能的与参考图像一致，并且局部特征也保持一致，所以损失函数定义为如下公式：
其中，Fl[O]代表着输出图像在第l层的特征图，代表着第l层的匹配后的特征图，N代表该层所有的像素点个数，i代表第i个滤波器，j代表滤波器上第j个位置。(前面的i、j是同一个含义)
4)纹理细节损失是用来维持更新初始图像的过程中保持图像的纹理结构与目标图像的纹理结构一致。通过初始图像和目标图像的Y通道的值之间的差异来构建，具体公式如下：
进一步的,其所述基于梯度的优化方法为L-BFGS-B。
步骤一：图像预处理操作
将目标图像和参考图像统一处理成固定大小的图像，并且通过K均值聚类算法得到参考图像和目标图像的分割图像。
步骤二：提取图像深度特征
将待着色的目标图像和彩色参考图像输入到利用医学图像进行微调后的Vgg19网络中，提取六层的特征图进行着色操作。本发明中使用的六层卷积层分别是第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层、第10层卷积层、第13层卷积层。
步骤三：构建模型损失函数
本发明的总损失函数包括四项损失函数，分别是内容损失、颜色损失、空间关系损失、纹理细节损失，具体包括：
1)内容损失通过使用目标图像I和初始图像O的第10层的深度特征构造均方误差损失，具体公式为：其中Nl代表第l层滤波器的个数，Dl代表特征图(矩阵)的大小；Fl[·]代表网络第l层的特征图(矩阵)。
2)颜色损失是通过参考图像S和初始图像I的第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层和第13层卷积层提取多尺度特征图进行构建，具体的公式如下：
Fl,c[O]＝Fl[O]Ml,c[I]9
Fl,c[S]＝Fl[S]Ml,c[S]
其中，表示第l层卷积层的颜色损失，Nl表示第l层卷积层的滤波器个数，C表示语义分割掩码的通道数，c表示第c通道的语义分割掩码。Gl,c[O]，Gl,c[S]分别表示图像O和S在第l层卷积层的特征图经过第c通道的语义分割掩码处理后计算出来的gram矩阵，表示第l层卷积层得到的特征矩阵，Dl表示特征图的大小。Fl,c[O]、Fl,c[S]分别表示图像O和S在第l层卷积层提取的特征图在被第c通道的语义分割掩码处理后的特征矩阵，Ml,c[I]、Ml,c[S]分别图像I和S第l层的第c通道的分割掩码，通过下采样分割编码来适应每一层特征矩阵的大小。Gram矩阵/>是矢量特征矩阵的内积。
3)空间关系损失主要用于保持像素之间的空间关系，通过使用块对于块的匹配将目标图像中的块用风格图像的块来替换，以此来保持像素之间的空间关系；首先提取目标图像和参考图像的3、4、5层特征，分别记为 对于参考图像和目标图像每一层特征图分别划分成3x3大小的图像块，记为/>nc,ns分别是参考图像和目标图像的块数，k,m为块数索引；对于目标图像上的每一个块通过卷积操作找到其最匹配的块，/>为块k的最近邻匹配块，用此代替Fk(I)，将整个目标图像的特征图替换后的结果记作/>对于初始图像训练的过程中，希望图像每个像素的颜色特征尽可能的与参考图像一致，并且局部特征也保持一致，所以损失函数定义为如下公式：
其中，Fl[O]代表着输出图像在第l层的特征图，代表着第l层的匹配后的特征图，N代表该层所有的像素点个数，i代表第i个滤波器，j代表滤波器上第j个位置。(前面的i、j是同一个含义)
4)纹理细节损失是用来维持更新初始图像的过程中保持图像的纹理结构与目标图像的纹理结构一致。通过初始图像和目标图像的Y通道的值之间的差异来构建，具体公式如下：
步骤四：迭代更新初始图像
计算损失函数的梯度，根据误差反向传播算法[1]求得总损失关于初始图像的梯度，然后通过基于梯度的优化方法L-BFGS-B[2]对深度神经网络进行优化，迭代更新初始图像。
步骤五：彩色医学图像放大成像
对最终输出的初始图像进行图像放大到与原始医学图像大小，并转换到YUV颜色空间，将原始医学图像也转换到YUV颜色空间；提取原始医学图像Y通道的值，和输出的初始图像的UV通道的值，结合Y通道和UV通道的值得到一张彩色的医学图像，并转换到RGB颜色空间；
综上所述，本发明的创新和优势：
本发明提出的一种基于深度颜色迁移的医学图像彩色化方法，可以对多种医学图像进行彩色化，使得医学图像具有彩色信息，增强目标区域的显著性；
本发明提出了一种基于深度颜色迁移的医学图像彩色化算法，本算法结合了医学图像的深度特征和像素特征，第一次应用深度特征对医学图像着色；
本发明提出了一种基于深度颜色迁移的医学图像彩色化算法，本算法操作简单，方便使用；
本发明提出了一种基于深度颜色迁移的医学图像彩色化算法，本算法能够使医学图像变成彩色，并且不会改变图像的纹理结构，使彩色化结果任然具有医学诊断意义。
显然，以上所述为本发明的较佳实例，并不用于限定本发明的保护范围。凡在本发明的原则之内，任何熟悉本领域的技术人员作出修改、同等替换和改进，都应视为包含在本发明的保护范围内。
[1]Rumelhart D E,Hinton G E,Williams R J.Learning representations byback-propagating errors[J].Nature,1986,323(6088):533-536.
[2]Zhu C,Byrd R H,Lu P,et al.Algorithm 778:L-BFGS-B:Fortransubroutines for large-scale bound-constrained optimization[J].ACMTransactions on Mathematical Software,1997,23(4):550-560.
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于深度颜色迁移的医学图像着色方法，其特征在于，包括以下步骤：
1)、获取原始医学图像，并将原始医学图像缩小成一张固定大小的图像作为输入到神经网络中的目标图像，并初始化一张初始图像用作网络迭代更新的对象，通过K均值聚类算法得到参考图像和目标图像的分割图像用作后续构建颜色损失函数，通过人为手动选择一张彩色的图像作为参考图像，原始图像为需要着色的灰度医学图像；目标图像与原始图像内容一致但大小不一；参考图像为更新初始图像提供颜色参考；经过网络更新初始图像最终得到输出图像与目标图像的纹理结构保持一致；
2)、将初始图像、参考图像和目标图像输入到深度神经网络中，通过深度神经网络其中的六层卷积层分别提取目标图像、参考图像和初始图像的深度特征；
3)、利用提取的深度特征构建总损失项，总损失项通过利用内容损失和纹理细节损失来约束图像内容纹理，和利用空间关系损失和颜色损失来约束图像颜色，总损失包括内容损失、颜色损失、空间关系损失及纹理细节损失；
4)、通过损失函数的梯度公式，根据误差反向传播算法求得总损失关于初始图像的梯度，然后通过基于梯度的优化方法对深度神经网络进行优化，迭代更新初始图像；
5)、对最终输出的初始图像进行图像放大到与原始医学图像大小，并转换到YUV颜色空间，将原始医学图像也转换到YUV颜色空间；
6)、提取原始医学图像Y通道的值，以及输出的初始图像的UV通道的值，结合Y通道和UV通道的值得到一张彩色的医学图像，并转换到RGB颜色空间；
所述步骤4)通过各个损失函数的梯度公式： 和误差反向传播算法求得总损失关于初始图像的梯度，利用该梯度迭代更新图像/> 为求偏导的符号，η为学习率，误差反向传播算法主要步骤是根据神经网络的输出与真实输出之间的误差，利用链式法则从输出到输入逐层求导，逐层更新网络参数；i代表第i个滤波器，j代表滤波器上第j个位置；
Lc表示内容损失函数，Nl代表第l层滤波器的个数，Dl代表第l层特征图的大小；
表示第l层卷积层的颜色损失，C表示语义分割掩码的通道数，c表示第c通道的语义分割掩码，Gl,c[O]，Gl,c[S]分别表示图像O和S在第l层卷积层的特征图经过第c通道的语义分割掩码处理后计算出来的gram矩阵，Ml,c[I]表示图像I第l层的第c通道的分割掩码；
Fl[O]代表着输出图像在第l层的特征图，Lcolor_swap表示损失函数，代表着第l层的匹配后的特征图；LY表示纹理细节损失，D代表特征图的大小，IY，OY代表目标图像I和输出图像O在YUV空间中的Y通道上的特征值即亮度值。
2.根据权利要求1所述的一种基于深度颜色迁移的医学图像着色方法，其特征在于，所述步骤1)将目标图像和参考图像统一处理成分辨率为224*224的图像，并且通过K均值聚类算法得到参考图像和目标图像的分割图像。
3.根据权利要求1所述的一种基于深度颜色迁移的医学图像着色方法，其特征在于，所述深度神经网络的六层卷积层分别是第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层、第10层卷积层、第13层卷积层。
4.根据权利要求1所述的一种基于深度颜色迁移的医学图像着色方法，其特征在于，所述步骤3)的内容损失是通过使用目标图像I和初始图像O的第10层卷积层提取的深度特征构造的，具体公式为：其中Lc表示内容损失函数，Fl[O]表示初始图像O在第l层的特征矩阵，Fl[I]图像I在第l层的特征矩阵，Nl代表第l层滤波器的个数，Dl代表特征图的大小；i代表第i个滤波器，j代表滤波器上第j个位置。
5.根据权利要求4所述的一种基于深度颜色迁移的医学图像着色方法，其特征在于，所述步骤3)的颜色损失是通过提取参考图像S和初始图像I在深度神经网络上第1层卷积层、第3层卷积层、第5层卷积层、第9层卷积层和第13层卷积层的上的特征图进行构建，具体的公式如下：
Fl,c[O]＝Fl[O]Ml,c[I]
Fl,c[S]＝Fl[S]Ml,c[S]
其中，表示第l层卷积层的颜色损失，Nl表示第l层卷积层的滤波器个数，C表示语义分割掩码的通道数，c表示第c通道的语义分割掩码，Gl,c[O]，Gl,c[S]分别表示图像O和S在第l层卷积层的特征图经过第c通道的语义分割掩码处理后计算出来的gram矩阵，表示第l卷积层得到的特征矩阵，Dl表示特征图的大小，Fl,c[O]、Fl,c[S]分别表示图像O和S在第l层卷积层提取的特征图在被第c通道的语义分割掩码处理后的特征矩阵，Ml,c[I]、Ml,c[S]分别图像I和S第l层的第c通道的分割掩码，通过下采样分割编码来适应每一层特征矩阵的大小，Gram矩阵/>是矢量特征矩阵的内积。
6.根据权利要求5所述的一种基于深度颜色迁移的医学图像着色方法，其特征在于，所述空间关系损失用于保持像素之间的空间关系，通过使用块对于块的匹配将目标图像中的块用风格图像的块来替换，以此来保持像素之间的空间关系；首先提取目标图像和参考图像的3、4、5层特征，分别记为对于参考图像和目标图像每一层特征图分别划分成3x3大小的图像块，记为/>nc,ns分别是参考图像和目标图像的块数,k,m为块数索引；对于目标图像上的每一个块通过卷积操作找到其最匹配的块，为块k的最近邻匹配块，用此代替Fk(I)，将整个目标图像的特征图替换后的结果记作/>对于初始图像训练的过程中，希望图像每个像素的颜色特征尽可能的与参考图像一致，并且局部特征也保持一致，所以损失函数定义为如下公式：
其中，Fl[O]代表着输出图像在第l层的特征图，代表着第l层的匹配后的特征图，N代表该层所有的像素点个数，i代表第i个滤波器，j代表滤波器上第j个位置。
7.根据权利要求4所述的一种基于深度颜色迁移的医学图像着色方法，其特征在于，所述纹理细节损失是用来维持更新初始图像的过程中保持图像的纹理结构与目标图像的纹理结构一致，通过初始图像和目标图像的Y通道的值之间的差异来构建，具体公式如下：
其中，D代表特征图的大小，IY，OY代表目标图像I和输出图像O在YUV空间中的Y通道上的特征值即亮度值。
8.根据权利要求1所述的一种基于深度颜色迁移的医学图像着色方法，其特征在于，所述步骤4)基于梯度的优化方法对深度神经网络进行优化采用的是L-BFGS-B，即限制内存的BFGS，其是在BFGS(Broyden-Fletcher-Goldfarb-Shanno)算法的基础上进行优化得到的一种求解具有简单边界的大型非线性优化问题的限制内存的算法，L-BFGS-B与BFGS算法的主要不同之处在于Hessian矩阵的替代矩阵不用，L-BFGS-B算法在迭代过程中用L-BFGS来确定近似替代矩阵，L-BFGS-B算法每次迭代的过程会更新的替代矩阵，其求解过程如下：1)先利用限制内存矩阵定义目标函数的近似二次模型；2)计算搜索方向；3)用线性搜索方法沿着确定的搜索方向进行搜索求解获得新的迭代值。
CN201910560562.4A 2019-06-26 2019-06-26 一种基于深度颜色迁移的医学图像着色方法 Active CN110458906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910560562.4A CN110458906B (zh) 2019-06-26 2019-06-26 一种基于深度颜色迁移的医学图像着色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910560562.4A CN110458906B (zh) 2019-06-26 2019-06-26 一种基于深度颜色迁移的医学图像着色方法

Publications (2)

Publication Number Publication Date
CN110458906A CN110458906A (zh) 2019-11-15
CN110458906B true CN110458906B (zh) 2024-03-15

Family

ID=68481068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910560562.4A Active CN110458906B (zh) 2019-06-26 2019-06-26 一种基于深度颜色迁移的医学图像着色方法

Country Status (1)

Country Link
CN (1) CN110458906B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127309B (zh) * 2019-12-12 2023-08-11 杭州格像科技有限公司 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN113096023B (zh) * 2020-01-08 2023-10-27 字节跳动有限公司 神经网络的训练方法、图像处理方法及装置、存储介质
CN111626124A (zh) * 2020-04-24 2020-09-04 平安国际智慧城市科技股份有限公司 Ocr图像样本生成、印刷体验证方法、装置、设备及介质
CN111695293B (zh) * 2020-05-27 2023-10-13 杭州慕锐科技有限公司 一种面向纺织品类超大尺寸设计图基于调色板的全自动智能配色方法及监控方法
CN112149718B (zh) * 2020-09-03 2023-03-14 济南信通达电气科技有限公司 一种输电通道隐患目标扩增方法及设备
CN112541856B (zh) * 2020-12-07 2022-05-03 重庆邮电大学 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法
CN113034560A (zh) * 2021-02-22 2021-06-25 北京工业大学 非均匀纹理迁移方法及装置
CN113870372A (zh) * 2021-08-31 2021-12-31 浙江大学 一种基于深度学习的视频头发颜色转换方法
CN113870371B (zh) * 2021-12-03 2022-02-15 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质
CN114972611B (zh) * 2022-07-18 2022-11-11 深圳大学 一种基于引导匹配损失的深度纹理合成方法及相关设备
CN115409953B (zh) * 2022-11-02 2023-03-28 汉斯夫(杭州)医学科技有限公司 基于多相机颜色一致性的颌面重建方法、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05347703A (ja) * 1991-12-26 1993-12-27 Toyo Ink Mfg Co Ltd 色情報を均等色空間より非線型変換する方法及び装置
CN107705242A (zh) * 2017-07-20 2018-02-16 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
CN107767343A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109360208A (zh) * 2018-09-27 2019-02-19 华南理工大学 一种基于单程多任务卷积神经网络的医学图像分割方法
CN109426858A (zh) * 2017-08-29 2019-03-05 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070070365A1 (en) * 2005-09-26 2007-03-29 Honeywell International Inc. Content-based image retrieval based on color difference and gradient information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05347703A (ja) * 1991-12-26 1993-12-27 Toyo Ink Mfg Co Ltd 色情報を均等色空間より非線型変換する方法及び装置
CN107705242A (zh) * 2017-07-20 2018-02-16 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
CN109426858A (zh) * 2017-08-29 2019-03-05 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN107767343A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109360208A (zh) * 2018-09-27 2019-02-19 华南理工大学 一种基于单程多任务卷积神经网络的医学图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于卷积神经网络的高光谱图像分类研究";陈聪聪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315(第3期);I140-1017 *

Also Published As

Publication number Publication date
CN110458906A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110458906B (zh) 一种基于深度颜色迁移的医学图像着色方法
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
Chakravarty et al. RACE-net: a recurrent neural network for biomedical image segmentation
Lozes et al. Partial difference operators on weighted graphs for image processing on surfaces and point clouds
Zhou et al. BOMSC-Net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery
Zhang et al. Automatic skin lesion segmentation by coupling deep fully convolutional networks and shallow network with textons
Ta et al. Graph-based tools for microscopic cellular image segmentation
Jin et al. Left atrial appendage segmentation using fully convolutional neural networks and modified three-dimensional conditional random fields
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN112183541B (zh) 一种轮廓提取方法及装置、电子设备、存储介质
Ye et al. Gaussian grouping: Segment and edit anything in 3d scenes
Jiang et al. A novel super-resolution CT image reconstruction via semi-supervised generative adversarial network
Feng et al. Supervoxel based weakly-supervised multi-level 3D CNNs for lung nodule detection and segmentation
Xue et al. Lung 4D CT image registration based on high-order markov random field
Michelin et al. Spatio-temporal registration of 3D microscopy image sequences of Arabidopsis floral meristems
Barrowclough et al. Binary segmentation of medical images using implicit spline representations and deep learning
CN109063725B (zh) 面向多视图聚类的多图正则化深度矩阵分解方法
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
CN109829885A (zh) 一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN111507992B (zh) 一种基于内外应力的低分化腺体分割方法
Dinh et al. Medical image fusion based on transfer learning techniques and coupled neural P systems
CN113112596A (zh) 人脸几何模型提取、3d人脸重建方法、设备及存储介质
Yuan et al. Image matting trimap optimization by ant colony algorithm
Zsamboki et al. Glioma segmentation with 3D U-Net backed with energy-based post-processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231101

Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Dayu Chuangfu Technology Co.,Ltd.

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

GR01 Patent grant
GR01 Patent grant