CN110827211B - 一种图像细节增强方法 - Google Patents

一种图像细节增强方法 Download PDF

Info

Publication number
CN110827211B
CN110827211B CN201910960438.7A CN201910960438A CN110827211B CN 110827211 B CN110827211 B CN 110827211B CN 201910960438 A CN201910960438 A CN 201910960438A CN 110827211 B CN110827211 B CN 110827211B
Authority
CN
China
Prior art keywords
image
training
sub
training data
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910960438.7A
Other languages
English (en)
Other versions
CN110827211A (zh
Inventor
刘炳宪
谢菊元
桂坤
操家庆
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhituan Information Technology Co ltd
Konfoong Biotech International Co Ltd
Original Assignee
Hangzhou Zhituan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhituan Information Technology Co ltd filed Critical Hangzhou Zhituan Information Technology Co ltd
Priority to CN201910960438.7A priority Critical patent/CN110827211B/zh
Publication of CN110827211A publication Critical patent/CN110827211A/zh
Application granted granted Critical
Publication of CN110827211B publication Critical patent/CN110827211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理领域，涉及到一种图像细节增强方法。包括：采用扫描仪对医学影像电子图像进行多焦距扫描，训练过程包括：步骤A1，提取第一图像特征以及第二图像特征；步骤A2，获取细节增强图像并作为训练结果输出；步骤A3，判断训练损失值是否大于预设的损失值阈值：若是，则转向步骤A4；若否，则转向步骤A5；步骤A4，判断调节次数是否达到一预设的调节阈值：若是，则转向步骤A5；若否，则对权重参数进行调节，随后返回步骤A1；步骤A5，将训练形成的神经网络模型作为处理模型，随后退出训练过程。上述技术方案的有益效果是：利用处理模型对多焦距拍摄的医学影像电子图像进行识别和融合，以实现输出所有区域细节增强的图像。

Description

一种图像细节增强方法
技术领域
本发明属于图像处理领域，涉及到一种图像细节增强方法。
背景技术
在实际应用中，由于扫描技艺的限制、扫描镜头失焦容易引起图像不清晰、模糊，图像增强是通过一定方法对原图像进行分析、调整，有选择地突出图像中的部分区域。例如去除噪声、锐化、调整亮度等。图像增强包含色彩增强、细节增强等方向，实现的方式有传统的算法以及最近大热的深度学习方法。
现有技术主要分为传统图像处理算法和深度学习两种，传统图像处理算法如《基于双边伽马校正和多尺度图像融合的图像增强方法》(CN CN104574337A)中提及的伽马校正、拉普拉斯变换，需要人工大量的调参试错才有可能试出一种较优的结果，当换一类输入的图像时，免不了又要重新调参，费时费力。而深度学习方法中，如《一种基于全卷积神经网络的单图像增强方法》(CN109447907A)中利用预测曝光的神经网络模型，对输入的图像进行分析，从而产生一系列低曝光图像和高曝光图像，再用多曝光融合网络来对上述的低曝光和高曝光图像进行融合，从而恢复一定的由于图像曝光不足和曝光过度引起的丢失信息，但对于本来就失焦的区域不能做到细节增强，无法还原图像本来的内容，如《一种基于Retinex理论的多曝光图像融合方法》(CN109300101A)对不同曝光图像进行亮度估计，然后再进行融合得到对比度增强的图像，但仍存在局限性，同样无法恢复已失焦区域的内容。
综上所述，传统图像处理算法需要人工大量的调参试错才有可能试出一种较优的结果，费时费力，而深度学习方向的现有的图像增强技术效果相较于传统图像处理算法上效果占优，但还是无法恢复很多细节部分，在一定程度上限制了图像细节增强的效果。
发明内容
针对上述的现有技术的缺陷，本发明提供一种图像细节增强方法，用于对医学影像电子图像进行处理；其特征在于，包括一处理模型的训练过程；
于所述训练过程中，首先采用扫描仪对多张已知的所述医学影像电子图像进行多焦距的扫描，得到多组子图像，每组所述子图像对应于一张所述医学影像电子图像；
每组所述子图像中包括多张所述子图像，每张所述子图像用于表示所述医学影像电子图像的一种呈现方式；
将所述子图像以及对应的所述医学影像电子图像作为训练数据；
所述训练过程具体包括：
步骤A1，将所述训练数据输入至一神经网络模型，提取所述训练数据的第一图像特征，并转向步骤A2；以及
将所述训练数据输入至所述神经网络模型，提取所述训练数据的第二图像特征，并转向步骤A2；
步骤A2，根据所述第一图像特征和所述第二图像特征，获取细节增强图像，并将所述细节增强图像作为训练结果输出；
步骤A3，将所述训练数据和对应的所述训练结果进行计算获取针对本次训练的训练损失值，判断所述训练损失值是否大于预设的损失值阈值：
若是，则转向步骤A4；
若否，则转向步骤A5；
步骤A4，判断对所述神经网络模型的权重参数进行的调节次数是否达到一预设的调节阈值：
若是，则转向步骤A5；
若否，则根据所述训练损失值对所述神经网络模型的权重参数进行调节，随后返回所述步骤A1；
步骤A5，将训练形成的所述神经网路模型作为所述处理模型，随后退出所述训练过程；
所述图像细节增强方法还包括一对所述医学影像电子图像进行处理的过程：
步骤B1，扫描得到所述医学影像电子图像；
步骤B2，将所述医学影像电子图像输入至训练完成的所述处理模型中，以输出处理后的所述医学影像电子图像。
优选的，在执行所述步骤A1之前，首先执行一预处理过程，所述预处理过程包括：
步骤C1，将所述子图像中的不同通道的对应值分别进行零均值处理；
步骤C2，将所述子图像进行不同角度的旋转。
优选的，所述步骤A1中，将所述训练数据输入至一神经网络模型，提取所述训练数据的第一图像特征的方法具体包括：
步骤A11a，采用所述神经网络模型中的一第一子网络提取所述训练数据的初级图像特征；
步骤A12a，采用所述第一子网络，在所述初级图像特征的基础上提取对应的高级图像特征；
步骤A13a，采用所述第一子网络对所述高级图像特征进行均值处理，获取所述第一图像特征并输出。
优选的，所述步骤A1中，将所述训练数据输入至所述神经网络模型，提取所述训练数据的第二图像特征的方法具体包括：
步骤A11b，采用所述神经网络模型中的一第二子网络对所述训练数据进行均值处理，将均值处理的结果作为均值训练数据；
步骤A12b，采用所述第二子网络，提取所述均值训练数据的图像特征，并作为所述第二图像特征输出。
优选的，所述步骤A2中包括：
步骤A21，采用所述神经网络模型中的一第三子网络获取所述第一图像特征和所述第二图像特征，并将所述第一图像特征和所述第二图像特征进行特征融合，获取图像融合特征；
步骤A22，采用所述第三子网络，在所述图像融合特征的基础上进行图像重建，获取细节增强图像并将所述细节增强图像作为训练结果输出。
优选的，所述步骤A3中，将所述训练数据和对应的所述训练结果进行计算获取针对本次训练的训练损失值的方法中具体包括：
步骤A31，采用一具有预设尺寸的滑动窗口在所述训练数据和所述训练结果中进行遍历滑动，以获取所述训练结果与所述训练数据之间的最大相似值；
步骤A32，将所述的所有区域中的所述最大相似值进行均值处理，获取最终的训练损失值。
优选的，所述步骤A31中，采用下述公式获取所述训练数据与所述训练结果之间的相似值，并根据所有所述训练损失值获取所述最大相似值：
其中，
SSIM用于表示所述训练结果与所述训练数据中的每张所述子图像之间的所述相似值；
Ii用于表示所述训练数据，i为所述子图像在对应组中的排序序号；
I4为所述训练结果；
为所述训练数据中每组所述子图像的平均值；
为所述训练结果的平均值；
为所述训练数据中每组所述子图像的标准差；
为所述训练结果的标准差；
为所述训练数据和所述训练结果的协方差；
c1和c2为常数；
M_SSIM用于表示所述最大相似值。
优选的，所述步骤A32中，采用下述公式计算得到所述训练损失值：
其中，
loss用于表示所述训练损失值；
M_SSIMp用于表示第p次遍历获取的所述最大相似值；
q为遍历的总次数。
上述技术方案的有益效果是：利用处理模型对多焦距拍摄的医学影像电子图像进行识别和融合，以实现输出所有区域细节增强的图像。
附图说明
图1为本发明的一种较优实施例中的训练过程的流程图；
图2为本发明的一种较优实施例中的处理过程的流程图；
图3为本发明的一种较优实施例中的预处理过程的流程图；
图4为本发明的一种较优实施例中的神经网络模型的示意图；
图5为本发明的一种较优实施例中的提取第一图像特征的流程图；
图6为本发明的一种较优实施例中的提取第二图像特征的示意图；
图7为本发明的一种较优实施例中的步骤A2的流程图；
图8为本发明的一种较优实施例中的步骤A3的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明提供一种图像细节增强方法，用于对医学影像电子图像进行处理；其特征在于，包括一处理模型的训练过程；
于训练过程中，首先采用扫描仪对多张已知的医学影像电子图像进行多焦距的扫描，得到多组子图像，每组子图像对应于一张医学影像电子图像；
每组子图像中包括多张子图像，每张子图像用于表示医学影像电子图像的一种呈现方式；
将子图像以及对应的医学影像电子图像作为训练数据；
训练过程，如图1所示，具体包括：
步骤A1，将训练数据输入至一神经网络模型，提取训练数据的第一图像特征，并转向步骤A2；以及
将训练数据输入至神经网络模型，提取训练数据的第二图像特征，并转向步骤A2；
步骤A2，根据第一图像特征和第二图像特征，获取细节增强图像，并将细节增强图像作为训练结果输出；
步骤A3，将训练数据和对应的训练结果进行计算获取针对本次训练的训练损失值，判断训练损失值是否大于预设的损失值阈值：
若是，则转向步骤A4；
若否，则转向步骤A5；
步骤A4，判断对神经网络模型的权重参数进行的调节次数是否达到一预设的调节阈值：
若是，则转向步骤A5；
若否，则根据训练损失值对神经网络模型的权重参数进行调节，随后返回步骤A1；
步骤A5，将训练形成的神经网路模型作为处理模型，随后退出训练过程；
图像细节增强方法还包括一对医学影像电子图像进行处理的过程，如图2所示，具体包括：
步骤B1，扫描得到医学影像电子图像；
步骤B2，将医学影像电子图像输入至训练完成的处理模型中，以输出处理后的医学影像电子图像。
具体地，使用处理模型去处理医学影像电子图像以获取细节增强、图像更加清晰的医学影像，在对处理模型进行训练的过程前，首先获取训练过程中需要的训练数据，利用专业的扫描仪对多张已知的医学影像电子图像，如组织玻片等进行多焦距的扫描，分别得到对应于多张已知的医学影像电子图像的多组子图像，每组子图像又中包括多张子图像I1，I2，…，In，多张子图像I1，I2，…，In是对应于同一张已知的医学影像电子图像在不同焦距下扫描获取的图像。又因为多张子图像I1，I2，…，In是不同焦距对焦于同一张已知的医学影像电子图像，所以多张子图像I1，I2，…，In中具有各自清晰的区域，在训练处理模型的过程中将选取多组子图像中I1，I2，…，In的m张子图像I1，I2，…，Im(m≤n)以及对应的医学影像电子图像一起作为训练数据，将训练数据的多张子图像I1，I2，…，Im中各自清晰的区域进行融合生成细节增强的图像作为训练结果，再获取训练过程中，训练数据和训练结果的训练损失值去调节处理模型，训练过程中不需要人工大量的调参试错，训练得到的处理模型也更加稳定。
本发明的较优实施例中，在执行步骤A1之前，首先执行一预处理过程，预处理过程，如图3所示，具体包括：
步骤C1，将子图像中的不同通道的对应值分别进行零均值处理；
步骤C2，将子图像进行不同角度的旋转。
具体地，于多张子图像I1，I2，…，In中根据处理模型要实现的图像增强结果选取m张子图像I1，I2，…，Im(m≤n)，并将子图像I1，I2，…，Im以及对应的医学影像电子图像一起作为训练数据，在将训练数据输入处理模型进行训练之前，对训练数据中的多张子图像I1，I2，…，Im进行预处理，以实现训练数据的多样性扩展，又因为此处的子图像I1，I2，…，Im均为RGB图像，具有红绿蓝3个通道，所以：
于步骤C1中，将训练数据中的子图像I1，I2，…，Im中的红绿蓝3个通道的值减去3个通道对应的均值以获取零均值处理后的图像灰度值，采用下述公式(1)实现：
其中，为子图像Ii中的红通道的图像灰度值，/>为红通道的均值，此处可选取为经过零均值处理后的子图像Ii中的红通道的图像灰度值，/>为子图像Ii中的绿通道的数值，/>为绿通道的均值，此处可选取/>为经过零均值处理后的子图像Ii中的绿通道的图像灰度值，/>为子图像Ii中的蓝通道的数值，/>为蓝通道的均值，此处可选取/> 为经过零均值处理后的子图像Ii中的蓝通道的图像灰度值，步骤C1将子图像I1，I2，…，Im的图像灰度值经过零均值化处理，让I1，I2，…，Im的图像灰度值的数值正负分布更加均衡，于后续的训练过程中更快的达到更好的训练效果。
于步骤C2中，将训练数据中的子图像I1，I2，…，Im进行不同角度的旋转，采用下述公式实现：
其中，以子图像I1，I2，…，Im建立直角坐标系，为子图像Ii在x轴方向上的数值，为子图像Ii的y轴方向上的数值，θ为子图像Ii的旋转角度，/>为经过旋转处理后子图像Ii的x轴方向上的数值，/>为经过旋转处理后子图像Ii的y轴方向上的数值，步骤C2将子图像I1，I2，…，Im经过旋转处理，增加了训练数据的多样性，于后续的训练过程中更快的达到更好的训练效果。
优选的，本发明的较优实施例中的神经网络模型，如图4所示，包括：
第一子网络Net1，提取训练数据的第一图像特征I1，第一子网络Net1中包括：
初级图像特征提取网络Net11，提取训练数据的初级图像特征；
高级图像特征提取网络Net12，与初级图像特征提取网络Net11连接，接收初级图像特征提取网络Net11提取的初级图像特征，在初级图像特征的基础上提取对应的高级图像特征；
图像特征均值处理单元Net13，与高级图像特征提取网络Net12连接，对高级图像特征进行均值处理，获取第一图像特征I1并输出。
第二子网络Net2，提取训练数据的第二图像特征I2，第二子网络Net2中包括：
均值处理单元Net21，对训练数据进行均值处理，将均值处理的结果作为均值训练数据输出；
第二图像特征提取网络Net22，与均值处理单元Net21连接，接收均值训练数据，提取均值训练数据的图像特征，并作为第二图像特征I2输出。
第三子网络Net3，分别于第一子网络Net1和第二网络模型Net2连接，第三子网络中包括：
特征融合单元Net31，将第一图像特征和第二图像特征进行求和，获取图像融合特征，
图像重建网络Net32，在图像融合特征的基础上进行图像重建，获取细节增强图像并将细节增强图像作为训练结果输出。
本发明的较优实施例中，步骤A1中，将训练数据输入至一神经网络模型，提取训练数据的第一图像特征的方法，如图5所示，具体包括：
步骤A11a，采用神经网络模型中的一第一子网络Net1提取训练数据的初级图像特征；
步骤A12a，采用第一子网络Net1，在初级图像特征的基础上提取对应的高级图像特征；
步骤A13a，采用第一子网络Net1对高级图像特征进行均值处理，获取第一图像特征并输出。
具体地，步骤A11a中初级图像特征提取网络Net11提取训练数据中多张子图像I1，I2，…，Im的初级图像特征I1′，I2′，…，Im′，此处可将初级图像特征提取网络Net11分为6层，依次为：第一卷积层Net111，第二激活层Net112，第三卷积层Net113，第四卷积层Net114，第五卷积层Net115和第六激活层Net116，这六层依次连接，其中的第一卷积层Net111中的卷积核可设为5，滑动步长可设为1，边缘填充可设为2，第二激活层Net112可选取ReLU函数作为激活函数，第三卷积层Net113中的卷积核可设为3，滑动步长可设为1，边缘填充可设为1，第四卷积层Net114中的卷积核可设为1，滑动步长可设为1，不进行边缘填充，第五卷积层Net115中的卷积核可设为1，滑动步长可设为1，不进行边缘填充。第六激活层Net116可仍然选取ReLU函数作为激活函数。第一卷积层Net111、第三卷积层Net113和第四卷积层Net114中的卷积核的数值包括在神经网络模型的权重参数中。
步骤A12a中高级图像特征提取网络Net12对初级图像特征I1′，I2′，…，Im′进行提取获得高级图像特征I1″，I2″，…，Im″，此处可将高级图像特征提取网络Net12分为4层，依次为：第一卷积层Net121，第二卷积层Net122，第三卷积层Net123和第四激活层Net124，这四层依次连接，其中的第一卷积层Net121中的卷积核可设为5，滑动步长可设为1，边缘填充可设为2，第二卷积层Net122中的卷积核可设为3，滑动步长可设为1，边缘填充可设为1，第三卷积层Net123中的卷积核可设为1，滑动步长可设为1，不进行边缘填充，第四激活层Net124选取ReLU函数作为激活函数。第一卷积层Net121、第二卷积层Net122和第三卷积层Net123中的卷积核的数值包括在神经网络模型的权重参数中。
步骤A13a中，图像特征均值处理单元Net13与高级图像特征提取网络Net12连接，接收高级图像特征I1″，I2″，…，Im″，并对高级图像特征I1″，I2″，…，Im″进行均值处理，获取第一图像特征I1。
本发明的较优实施例中，步骤A1中，将训练数据输入至神经网络模型，提取训练数据的第二图像特征的方法，如图6所示，具体包括：
步骤A11b，采用神经网络模型中的一第二子网络Net2对训练数据进行均值处理，将均值处理的结果作为均值训练数据；
步骤A12b，采用第二子网络Net2，提取均值训练数据的图像特征，并作为第二图像特征输出。
具体地，步骤A11b中，第二子网络Net2中的均值处理单元Net21对训练数据中的子图像I1，I2，…，Im进行均值处理，将均值处理的结果Imean作为均值训练数据输出。
步骤A12b中，第二特征提取网络Net22与均值处理单元Net21连接，接收均值训练数据Imean，提取均值训练数据Imean的图像特征，并作为第二图像特征I2输出，此处可将第二特征提取网络Net22可分为6层，依次为：第一卷积层Net221，第二卷积层Net222，第三激活层Net223，第四卷积层Net224，第五卷积层Net225和第六激活层Net226，这六层依次连接，其中的第一卷积层Net221中的卷积核可设为5，滑动步长可设为1，边缘填充可设为2，第二卷积层Net222中的卷积核可设为3，滑动步长可设为1，边缘填充可设为1，第三激活层Net223选取LeakReLU函数作为激活函数，第四卷积层Net224中的卷积核可设为1，滑动步长可设为1，不进行边缘填充，第五卷积层Net225中的卷积核可设为1，滑动步长可设为1，不进行边缘填充。第六激活层Net226选取ReLU函数作为激活函数。第一卷积层Net221、第二卷积层Net222、第四卷积层Net224和第五卷积层Net225的卷积核的数值包括在神经网络模型的权重参数中。
本发明的较优实施例中，步骤A2，如图7所示，中包括：
步骤A21，采用神经网络模型中的一第三子网络Net3获取第一图像特征和第二图像特征，并将第一图像特征和第二图像特征进行特征融合，获取图像融合特征；
步骤A22，采用第三子网络Net3，在图像融合特征的基础上进行图像重建，获取细节增强图像并将细节增强图像作为训练结果输出。
具体地，步骤A21中，第三子网络Net3的特征融合单元Net31，将第一图像特征I1和第二图像特征I2进行求和，获取图像融合特征I3，
步骤A22中，图像重建网络Net32根据图像融合特征I3进行图像重建，获取细节增强图像并将细节增强图像作为训练结果I4输出，图像重建网络Net32可分为5层，依次为：第一卷积层Net321，第二激活层Net322，第三卷积层Net323，第四卷积层Net324、第五激活层Net325和第六映射层Net325，这六层依次连接，其中，第一卷积层Net321中的卷积核可设为5，滑动步长可设为1，边缘填充可设为2，第二激活层Net322选取ReLU函数作为激活函数，第三卷积层Net323中的卷积核可设为3，滑动步长可设为1，边缘填充可设为1，第四卷积层Net324中的卷积核可设为1，滑动步长可设为1，不进行边缘填充，第五激活层Net325选取Tanh函数作为激活函数，第六映射层Net325接收第五激活层输出的在[-1,1]的数据，并将数据映射到[0,256]的像素值。第一卷积层Net321、第三卷积层Net323和第四卷积层Net324的卷积核的数值包括在神经网络模型的权重参数中。
本发明的较优实施例中，步骤A3中，将训练数据和对应的训练结果进行计算获取针对本次训练的训练损失值的方法，如图8所示，具体包括：
步骤A31，采用一具有预设尺寸的滑动窗口在训练数据和训练结果中进行遍历滑动，以获取训练结果与训练数据之间的最大相似值；
步骤A32，将所有区域中的最大相似值进行均值处理，获取最终的训练损失值。
本发明的较优实施例中，步骤A31中，采用下述公式获取训练数据与训练结果之间的相似值，并根据所有训练损失值获取最大相似值：
其中，
SSIM用于表示训练结果与训练数据中的每张子图像之间的相似值；
Ii用于表示训练数据，i为子图像在对应组中的排序序号；
I4为训练结果；
μIi为训练数据中每组子图像的平均值；
μI4为训练结果的平均值；
为训练数据中每组子图像的标准差；
为训练结果的标准差；
为训练数据和训练结果的协方差；
c1和c2为常数；
M_SSIM用于表示最大相似值。
本发明的较优实施例中，步骤A32中，采用下述公式计算得到训练损失值：
其中，
loss用于表示训练损失值；
M_SSIMp用于表示第p次遍历获取的最大相似值；
q为遍历的总次数。
具体地，步骤A31中一预设尺寸s*s的滑动窗口，并且预设尺寸s*s要小于训练数据中的子图像和训练结果的图像尺寸l*l，在滑动窗口进行第一次滑动时，采用公式(3)分别计算训练数据中的子图像I1，I2，…，Im和训练结果I4的相似值SSIM(I1,I4),SSIM(I2,I4),…,SSIM(Im,I4)，并在其中选取最大的相似值MSSIM1＝maxSSIM(Ii,I4)作为滑动窗口进行第一次滑动于训练数据和训练结果的最大相似值。将滑动窗口遍历滑动q次，分别获取训练数据中的子图像I1，I2，…，Im和训练结果I4中所有区域的最大相似值：MSSIM1,MSSIM2,…,MSSIMq。
步骤A32中采用公式(4)对所有区域中的最大相似值进行均值处理，将均值处理的结果作为训练数据和训练结果的最终相似值，根据最终相似值进行数值换算，最终获取本次训练过程中，输入此神经网络模型的训练数据和神经网络模型输出的训练结果之间的训练损失值loss。
此时将获取的训练损失值loss作为本次训练的训练损失值输出，在步骤A3中将判断本次训练的训练损失值loss是否大于预设的损失值阈值loss1：
若此时训练损失值loss大于预设的损失值阈值loss1，则转向步骤A4，判断对神经网络模型中的权重参数进行的调节次数是否达到一预设的调节阈值：
若调节次数达到一预设的调节阈值，则转向步骤A5，将训练形成的神经网路模型作为处理模型，随后退出训练过程；
若调节次数未达到一预设的调节阈值，则根据本次训练的训练损失值loss对神经网络模型的权重参数进行调节，随后继续对神经网络模型进行训练。
若此时训练损失值loss不大于预设的损失值阈值loss1，转向步骤A5，直接将本次训练形成的神经网路模型作为处理模型，随后退出训练过程。
其中，首次对神经网络模型进行训练时，随机初始化形成神经网络模型的权重参数，而在后续的训练过程中，根据本次训练的训练损失值loss对神经网络模型的权重参数进行调节的过程中，主要是通过获取本次训练过程的训练损失值loss，反向计算神经网络模型中的权重参数的梯度，再根据获取的梯度值调节神经网络模型的权重参数，最后将训练形成的神经网路模型作为处理模型，处理模型不需要人工大量的调参试错，采用公式(3)和公式(4)在大量的训练数据的基础上生成更加稳定的模型，以应对不同的输入图像。
具体地，图像细节增强方法还包括一对医学影像电子图像进行处理的过程包括：
步骤B1，利用扫描仪扫描得到多焦距下的医学影像电子图像；
步骤B2，将多焦距下的医学影像电子图像输入至训练完成的处理模型中，以输出处理后的医学影像电子图像，处理模型将多个焦距的医学影像电子图像中各自清晰的区域进行识别和融合，输出多个焦距的医学影像电子图像中所有区域的细节全部增强的图像。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (7)

1.一种图像细节增强方法，用于对医学影像电子图像进行处理；其特征在于，包括一处理模型的训练过程；
于所述训练过程中，首先采用扫描仪对多张已知的所述医学影像电子图像进行多焦距的扫描，得到多组子图像，每组所述子图像对应于一张所述医学影像电子图像；
每组所述子图像中包括多张所述子图像，每张所述子图像用于表示所述医学影像电子图像的一种呈现方式；
将所述子图像以及对应的所述医学影像电子图像作为训练数据；
所述训练过程具体包括：
步骤A1，将所述训练数据输入至一神经网络模型中的一第一子网络，提取所述训练数据的第一图像特征，并转向步骤A2；以及
将所述训练数据输入至所述神经网络模型中的一第二子网络，提取所述训练数据的第二图像特征，并转向步骤A2；
步骤A2，根据所述第一图像特征和所述第二图像特征，获取细节增强图像，并将所述细节增强图像作为训练结果输出；
步骤A3，将所述训练数据和对应的所述训练结果进行计算获取针对本次训练的训练损失值，判断所述训练损失值是否大于预设的损失值阈值：
若是，则转向步骤A4；
若否，则转向步骤A5；
步骤A4，判断对所述神经网络模型的权重参数进行的调节次数是否达到一预设的调节阈值：
若是，则转向步骤A5；
若否，则根据所述训练损失值对所述神经网络模型的权重参数进行调节，随后返回所述步骤A1；
步骤A5，将训练形成的所述神经网络模型作为所述处理模型，随后退出所述训练过程；
所述图像细节增强方法还包括一对所述医学影像电子图像进行处理的过程：
步骤B1，扫描得到所述医学影像电子图像；
步骤B2，将所述医学影像电子图像输入至训练完成的所述处理模型中，以输出处理后的所述医学影像电子图像；
所述步骤A1中，将所述训练数据输入至所述神经网络模型，提取所述训练数据的第一图像特征的方法具体包括：
步骤A11a，采用所述神经网络模型中的所述第一子网络提取所述训练数据的初级图像特征；
步骤A12a，采用所述第一子网络，在所述初级图像特征的基础上提取对应的高级图像特征；
步骤A13a，采用所述第一子网络对所述高级图像特征进行均值处理，获取所述第一图像特征并输出。
2.如权利要求1所述的一种图像细节增强方法，其特征在于，在执行所述步骤A1之前，首先执行一预处理过程，所述预处理过程包括：
步骤C1，将所述子图像中的不同通道的对应值分别进行零均值处理；
步骤C2，将所述子图像进行不同角度的旋转。
3.如权利要求1所述的一种图像细节增强方法，其特征在于，所述步骤A1中，将所述训练数据输入至所述神经网络模型，提取所述训练数据的第二图像特征的方法具体包括：
步骤A11b，采用所述神经网络模型中的所述第二子网络对所述训练数据进行均值处理，将均值处理的结果作为均值训练数据；
步骤A12b，采用所述第二子网络，提取所述均值训练数据的图像特征，并作为所述第二图像特征输出。
4.如权利要求1所述的一种图像细节增强方法，其特征在于，所述步骤A2中包括：
步骤A21，采用所述神经网络模型中的一第三子网络获取所述第一图像特征和所述第二图像特征，并将所述第一图像特征和所述第二图像特征进行特征融合，获取图像融合特征；
步骤A22，采用所述第三子网络，在所述图像融合特征的基础上进行图像重建，获取细节增强图像并将所述细节增强图像作为训练结果输出。
5.如权利要求1所述的一种图像细节增强方法，其特征在于，所述步骤A3中，将所述训练数据和对应的所述训练结果进行计算获取针对本次训练的训练损失值的方法中具体包括：
步骤A31，采用一具有预设尺寸的滑动窗口在所述训练数据和所述训练结果中进行遍历滑动，以获取所述训练结果与所述训练数据之间的最大相似值；
步骤A32，将所有区域中的所述最大相似值进行均值处理，获取最终的训练损失值。
6.如权利要求5所述的一种图像细节增强方法，其特征在于，所述步骤A31中，采用下述公式获取所述训练数据与所述训练结果之间的相似值，并根据所有所述相似值获取所述最大相似值：
其中，
SSIM用于表示所述训练结果与所述训练数据中的每张所述子图像之间的所述相似值；
Ii用于表示所述训练数据，i为所述子图像在对应组中的排序序号；
I4为所述训练结果；
为所述训练数据中每组所述子图像的平均值；
为所述训练结果的平均值；
为所述训练数据中每组所述子图像的标准差；
为所述训练结果的标准差；
为所述训练数据和所述训练结果的协方差；
c1和c2为常数；
M_SSIM用于表示所述最大相似值。
7.如权利要求5所述的一种图像细节增强方法，其特征在于，所述步骤A32中，采用下述公式计算得到所述训练损失值：
其中，
loss用于表示所述训练损失值；
M_SSIMp用于表示第p次遍历获取的所述最大相似值；q为遍历的总次数。
CN201910960438.7A 2019-10-10 2019-10-10 一种图像细节增强方法 Active CN110827211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910960438.7A CN110827211B (zh) 2019-10-10 2019-10-10 一种图像细节增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910960438.7A CN110827211B (zh) 2019-10-10 2019-10-10 一种图像细节增强方法

Publications (2)

Publication Number Publication Date
CN110827211A CN110827211A (zh) 2020-02-21
CN110827211B true CN110827211B (zh) 2023-11-21

Family

ID=69549104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910960438.7A Active CN110827211B (zh) 2019-10-10 2019-10-10 一种图像细节增强方法

Country Status (1)

Country Link
CN (1) CN110827211B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709879B (zh) * 2020-06-17 2023-05-26 Oppo广东移动通信有限公司 图像处理方法、图像处理装置及终端设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811693A (zh) * 2015-04-14 2015-07-29 宁波大学 一种立体图像视觉舒适度客观评价方法
WO2016167829A1 (en) * 2015-04-16 2016-10-20 Barr Rosenberg Electronic publication environment
CN107169417A (zh) * 2017-04-17 2017-09-15 上海大学 基于多核增强和显著性融合的rgbd图像协同显著性检测方法
CN107169927A (zh) * 2017-05-08 2017-09-15 京东方科技集团股份有限公司 一种图像处理系统、方法及显示装置
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN110163278A (zh) * 2019-05-16 2019-08-23 东南大学 一种基于图像识别的火焰稳定性监测方法
CN110276726A (zh) * 2019-05-13 2019-09-24 南昌大学 一种基于多通道网络先验信息引导的图像去模糊方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
JP6501452B2 (ja) * 2014-04-04 2019-04-17 キヤノン株式会社 画像処理装置及びシステム、画像処理方法、並びにプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811693A (zh) * 2015-04-14 2015-07-29 宁波大学 一种立体图像视觉舒适度客观评价方法
WO2016167829A1 (en) * 2015-04-16 2016-10-20 Barr Rosenberg Electronic publication environment
CN107169417A (zh) * 2017-04-17 2017-09-15 上海大学 基于多核增强和显著性融合的rgbd图像协同显著性检测方法
CN107169927A (zh) * 2017-05-08 2017-09-15 京东方科技集团股份有限公司 一种图像处理系统、方法及显示装置
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN110276726A (zh) * 2019-05-13 2019-09-24 南昌大学 一种基于多通道网络先验信息引导的图像去模糊方法
CN110163278A (zh) * 2019-05-16 2019-08-23 东南大学 一种基于图像识别的火焰稳定性监测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RUI LAI等.Multi-Scale Visual Attention Deep Convolutional Neural Network for Multi-Focus Image Fusion.《IEEE》.2018,114385-114397. *
一种改进的多聚焦图像融合算法.《计算机仿真》.2009,261-264页. *
孙海燕.低层特征与高层语义知识结合的城市道路识别方法.《中国优秀硕士论文电子期刊》.2018,32-55页. *

Also Published As

Publication number Publication date
CN110827211A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
US10997690B2 (en) Method and system for end-to-end image processing
CN109754377B (zh) 一种多曝光图像融合方法
JP5960513B2 (ja) 映像処理装置及び方法
CN108389224B (zh) 图像处理方法及装置、电子设备和存储介质
JP2018084982A (ja) 画像処理装置、情報処理方法及びプログラム
KR102095443B1 (ko) 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
US11270415B2 (en) Image inpainting with geometric and photometric transformations
US20160267320A1 (en) Image processing apparatus and image processing method
CN108171735A (zh) 基于深度学习的十亿像素视频对齐方法及系统
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN107516302A (zh) 一种基于OpenCV的混合图像增强的方法
WO2011067755A1 (en) Method and system for automatically recovering chromaticity and image variation of colour clipped image regions
Honda et al. Multi-frame RGB/NIR imaging for low-light color image super-resolution
CN115809966A (zh) 一种低照度图像的增强方法和系统
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统
CN110827211B (zh) 一种图像细节增强方法
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
Wang et al. New insights into multi-focus image fusion: A fusion method based on multi-dictionary linear sparse representation and region fusion model
CN108805873A (zh) 图像处理方法及装置
Sheng et al. Guided colorization using mono-color image pairs
CN107403448B (zh) 代价函数生成方法和代价函数生成装置
JP7160211B2 (ja) 機械学習モデル、生成装置、コンピュータプログラム
JP7030425B2 (ja) 画像処理装置、画像処理方法、プログラム
CN113099121A (zh) 一种基于弱监督学习的isp实现方法
CN116823863A (zh) 一种红外图像轮廓提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231215

Address after: 315400 Yuyao City Economic Development Zone, Ningbo City, Zhejiang Province

Patentee after: KONFOONG BIOTECH INTERNATIONAL Co.,Ltd.

Patentee after: Hangzhou Zhituan Information Technology Co.,Ltd.

Address before: 310000 room 2608-2611, 26F, Huachuang building, No. 511, Jianye Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Zhituan Information Technology Co.,Ltd.