CN113762522A - 机器学习模型的训练方法、装置和图像的重建方法、装置 - Google Patents

机器学习模型的训练方法、装置和图像的重建方法、装置 Download PDF

Info

Publication number
CN113762522A
CN113762522A CN202110056647.6A CN202110056647A CN113762522A CN 113762522 A CN113762522 A CN 113762522A CN 202110056647 A CN202110056647 A CN 202110056647A CN 113762522 A CN113762522 A CN 113762522A
Authority
CN
China
Prior art keywords
image
machine learning
learning model
sample
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110056647.6A
Other languages
English (en)
Inventor
魏珺洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Tuoxian Technology Co Ltd
Original Assignee
Beijing Jingdong Tuoxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Tuoxian Technology Co Ltd filed Critical Beijing Jingdong Tuoxian Technology Co Ltd
Priority to CN202110056647.6A priority Critical patent/CN113762522A/zh
Publication of CN113762522A publication Critical patent/CN113762522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种机器学习模型的训练方法、装置和图像的重建方法、装置，涉及图像处理技术领域。该训练方法包括：将第一图像样本输入第一机器学习模型，对第一图像样本进行图像重建处理，生成重建图像，重建图像的分辨率高于第一图像样本；将重建图像和第二图像样本输入第二机器学习模型，计算重建图像与第二图像样本的图像差异，第二图像样本的分辨率高于第一图像样本；根据图像差异，调整第一机器学习模型；利用调整后的第一机器学习模型重复上述步骤，直到计算的图像差异小于或等于阈值，以完成第一机器学习模型的训练。

Description

机器学习模型的训练方法、装置和图像的重建方法、装置
技术领域
本公开涉及图像处理技术领域，特别涉及一种机器学习模型的训练方法、机器学习模型的训练装置、图像的重建方法、图像的重建装置、电子设备和非易失性计算机可读存储介质。
背景技术
图像分辨率的高低关系到图像中存储的信息量的多少，所以图像分辨率直接影响到以图像分析为基础的各种技术的处理效果。例如，在医学领域，齿科CT(ComputedTomography，电子计算机断层扫描)图像中包含大量的细节信息，是医生对病人病情进行分析、诊断的基础。
在相关技术中，主要依靠获取图像的硬件性能的提升来提高图像分辨率。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：受硬件设备性能的限制，图像采集过程中不可避免收到外界因素的影响，导致图像分辨率较低。
鉴于此，本公开提出了一种机器学习模型的训练技术方案，能够训练用于图像重建的机器学习模型，从而提高图像的分辨率。
根据本公开的一些实施例，提供了一种机器学习模型的训练方法，包括：将第一图像样本输入第一机器学习模型，对第一图像样本进行图像重建处理，生成重建图像，重建图像的分辨率高于第一图像样本；将重建图像和第二图像样本输入第二机器学习模型，计算重建图像与第二图像样本的图像差异，第二图像样本的分辨率高于第一图像样本；根据图像差异，调整第一机器学习模型；利用调整后的第一机器学习模型重复上述步骤，直到计算的图像差异小于或等于阈值，以完成第一机器学习模型的训练。
在一些实施例中，将第一图像样本输入第一机器学习模型，对第一图像样本进行图像重建处理，生成重建图像包括：将第一图像样本输入第一机器学习模型的卷积神经网络模块，提取第一图像样本的特征向量；根据特征向量，利用第一机器学习模型生成重建图像。
在一些实施例中，卷积神经网络模块包括多个大小为3×3的卷积核算子。
在一些实施例中，将重建图像和第二图像样本输入第二机器学习模型，计算重建图像与第二图像样本的图像差异包括：将重建图像和第二图像样本输入第二机器学习模型的多个残差模块进行处理，计算图像差异。
在一些实施例中，计算重建图像与第二图像样本的图像差异包括：计算重建图像与第二图像样本的峰值信噪比，确定第一差异；计算重建图像与第二图像样本的结构相似性，确定第二差异；计算第一差异和第二差异的加权平均值，确定图像差异。
在一些实施例中，训练方法还包括：将待处理图像输入完成训练的第二机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像，相应的重建图像的分辨率高于待处理图像。
在一些实施例中，第一图像样本、第二图像样本均为医学影像图片；训练方法还包括：将待处理医学影像图片输入完成训练的第二机器学习模型，对待处理医学影像图片进行图像重建处理，生成相应的重建医学影像图片，重建医学影像图片的分辨率高于待处理医学影像图片。
根据本公开的另一些实施例，提供一种图像的重建方法包括：将待处理图像输入完成训练的机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像，相应的重建图像的分辨率高于待处理图像，机器学习模型通过上述任一个实施例中的机器学习模型的训练方法进行训练。
在一些实施例中，待处理图像、重建图像均为医学影像图片。
根据本公开的又一些实施例，提供一种机器学习模型的训练装置，包括：重建单元，用于将第一图像样本输入第一机器学习模型，对第一图像样本进行图像重建处理，生成重建图像，重建图像的分辨率高于第一图像样本；计算单元，用于将重建图像和第二图像样本输入第二机器学习模型，计算重建图像与第二图像样本的图像差异，第二图像样本的分辨率高于第一图像样本；调整单元，用于根据图像差异，调整第一机器学习模型；重建单元、计算单元、调整单元利用调整后的第一机器学习模型重复执行上述功能，直到计算的图像差异小于或等于阈值，以完成第一机器学习模型的训练。
在一些实施例中，重建单元将待处理图像输入完成训练的第二机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像，相应的重建图像的分辨率高于待处理图像。
在一些实施例中，重建单元将第一图像样本输入第一机器学习模型的卷积神经网络模块，提取第一图像样本的特征向量；根据特征向量，利用第一机器学习模型生成重建图像。
在一些实施例中，卷积神经网络模块包括多个大小为3×3的卷积核算子。
在一些实施例中，计算单元将重建图像和第二图像样本输入第二机器学习模型的多个残差模块进行处理，计算图像差异。
在一些实施例中，计算单元计算重建图像与第二图像样本的峰值信噪比，确定第一差异；计算重建图像与第二图像样本的结构相似性，确定第二差异；计算第一差异和第二差异的加权平均值，确定图像差异。
在一些实施例中，重建单元将待处理图像输入完成训练的第二机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像，相应的重建图像的分辨率高于待处理图像。
在一些实施例中，第一图像样本、第二图像样本均为医学影像图片；重建单元将待处理医学影像图片输入完成训练的第二机器学习模型，对待处理医学影像图片进行图像重建处理，生成相应的重建医学影像图片，重建医学影像图片的分辨率高于待处理医学影像图片。
根据本公开的再一些实施例，提供一种图像的重建装置，包括：训练单元，用于利用上述任一个实施例中的机器学习模型的训练方法训练机器学习模型；重建单元，用于将待处理图像输入完成训练的机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像，相应的重建图像的分辨率高于待处理图像。
在一些实施例中，待处理图像、重建图像均为医学影像图片。
根据本公开的又一些实施例，提供一种电子设备，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的机器学习模型的训练方法或者图像的重建方法。
根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的机器学习模型的训练方法或者图像的重建方法。
在上述实施例中，利用采集的高分辨率图像与重建的高分辨率图像的差异训练机器学习模型，用于对采集的低分辨率图像进行高分辨率重建。这样，可以利用训练好的机器学习模型对分辨率图像进行重建，从而提高图像的分辨率。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开：
图1示出本公开的机器学习模型的训练方法的一些实施例的流程图；
图2示出图1中步骤120的一些实施例的流程图；
图3出本公开的机器学习模型的训练方法的另一些实施例的流程图；
图4出本公开的机器学习模型的训练装置的一些实施例的框图；
图5出本公开的图像的重建装置的一些实施例的框图；
图6示出本公开的电子设备的一些实施例的框图；
图7示出本公开的电子设备的另一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如前所述，以医学影像图片为例，齿科CT成像质量主要依赖硬件设备的性能。因此，齿科CT成像质量受噪声、轻微运动、模糊等外界因素的影响，图像信噪比会比实际硬件性能输出的图像高。这就导致齿科CT图像质量差，分辨率降低。
一方面，分辨率降低导致齿科CT图像细节信息减少。图像分辨率越低，噪声对有效信息的干扰越大大。这就导致CT图像中的细节信息和有效信息减少，难以辅助医生有效决策。
另一方面，分辨率降低导致影响医生诊断。由于牙齿神经纤细，齿科疾病常常涉及齿科神经，因此，分辨率低的齿科CT图像使得医生无法精准定位到神经末梢的位置。这样的图像难以帮助医生精确定位疾病。
针对上述技术问题，本公开采集低分辨率图像样本和高分辨率图像样本组成训练数据集，对机器学习模型进行训练。根据SSIM(Structural SIMilarity，结构相似性)和PSNR(Peak Signal to Noise Ratio，峰值信噪比)作为评价图像差异的指标，不断优化机器学习模型的性能，从而训练出超分辨率图像重建模型。该模型能够在接收到低分辨率图像输入时，生成相应的超分辨率图像。
一方面，本公开的技术方案能够增加图像细节信息量。使用超分辨率图像重建模型可以提高低分辨率图像的分辨率，降低图像信噪比，增加齿科CT中的有效信息和细节信息量，从而全面辅助医生决策。
另一方面，本公开的技术方案能够帮助医生诊断。通过重建高分辨率的图像，能够重建出更多有用信息，从而帮助医生精准定位齿科疾病，有效辅助医生分析病情。
例如，可以通过下面的实施例实现本公开的技术方案。
图1示出本公开的机器学习模型的训练方法的一些实施例的流程图。
如图1所示，在步骤110中，将第一图像样本输入第一机器学习模型，对第一图像样本进行图像重建处理，生成重建图像。重建图像的分辨率高于第一图像样本。
在一些实施例中，在构建各机器学习模型之前，先采集大量的图像样本作为训练数据集。例如，训练数据集要包含低分辨率图像样本集和高分辨图像样本集。
例如，低分辨率图像样本作为输入，用于训练第一机器学习模型；高分辨图像样本作为细节信息提供者，用于训练第二机器学习模型。
在一些实施例中，将第一图像样本输入第一机器学习模型的卷积神经网络模块，提取第一图像样本的特征向量。例如，卷积神经网络模块包括多个大小为3×3的卷积核算子。根据特征向量，利用第一机器学习模型生成重建图像。
在一些实施例中，作为生成器的第一机器学习模型的主要作用是接收来自模型外部的输入图像(低分辨率图像样本)；提取图像特征后，生成预测图像(高分辨率重建图像)。
例如，生成器可选用基于卷积神经网络的VGG19模型。卷积神经网络由于其特有的卷积层和池化层，在图像特征提取方面有较好的性能。具有16层卷积加3层全连接的VGG19模型能够在增加网络深度的同时，使用多个小卷积核代替大卷积核降低计算复杂度。
在步骤120中，将重建图像和第二图像样本输入第二机器学习模型，计算重建图像与第二图像样本的图像差异。第二图像样本的分辨率高于第一图像样本。
在一些实施例中，为保证第二机器学习模型的训练过程中能够学习到较多的细节信息，可以先对各图像样本进行预处理。例如，可以对图像样本进行图像增强处理等预处理，从而增强图像样本的特征，提高特征学习效果。
在一些实施例中，作为判别器的第二机器学习模型主要用来区别生成器输出的高分辨率重建图像和采集的高分辨率图像样本。为保证机器学习模型的生成误差最小，判别器可使用基于卷积神经网络，包含多个残差模块的残差网络模型来构建。
在一些实施例中，将重建图像和第二图像样本输入第二机器学习模型的多个残差模块进行处理，计算图像差异。例如，可以通过图2中的实施例实现步骤120。
在上述实施例中，利用作为生成器的第一机器学习模型和作为判别器的第二机器学习模型，可以组成能够无监督学习的深度神经网络。
生成器用于接收输入信息(作为常量的低分辨率图像样本)，并进行特征提取，进而产生随机预测数据。判别器用于接收来自生成器的预测数据(作为变量的高分辨率重建图像)，并区别预测数据与真实数据(高分辨率图像样本)的差异。
无监督学习的深度神经网络在图像重建过程中，生成器的目标是生成尽量接近真实高分辨率图像的重建高分辨率图像来欺骗判别网络；判别网络的目标是尽量把生成器生成的重建高分辨率图像和真实高分辨率图像区分开来。
图2示出图1中步骤120的一些实施例的流程图。
如图2所示，在步骤1210中，计算重建图像与第二图像样本的峰值信噪比，确定第一差异。
在一些实施例中，大小为m×n的高分辨率重建图像I与高分辨率图像样本K，其MSE(Mean Square Error，均方误差)：
Figure BDA0002900875530000081
进而可以计算PSNR：
Figure BDA0002900875530000082
Figure BDA0002900875530000083
为图像点颜色最大数值的平方，如图像中采样点为p位，MAXI＝2p-1。
在一些实施例中，SSIM可以通过对比两张图像之间的亮度、对比度、结构，来衡量二者之间的差异。例如，高分辨率重建图像I与高分辨率图像样本K的SSIM为：
SSIM＝％l(I,K)α·c(I,K)β·s(I,K)γ]
∝、β、0为可调节参数。l(I,K)、c(I,K)、s(I,K)可以通过如下公式计算：
Figure BDA0002900875530000084
Figure BDA0002900875530000085
Figure BDA0002900875530000086
c3＝c2/2，μI为I中像素值的均值，μK为K中像素值的均值，
Figure BDA0002900875530000087
为I中像素值的方差，
Figure BDA0002900875530000088
为K中像素值的方差，3IK为I和K的像素值的协方差。c1＝(k1×L)2，c2＝(k2×L)2为可调节的两个常参数，用于避免分母为零，L为像素值的范围。例如，默认值可以为0.01、k2＝0.03。
在步骤1220中，计算重建图像与第二图像样本的结构相似性，确定第二差异。步骤1210和步骤1220没有执行顺序，可以并行处理也可以串行处理。
在步骤1230中，计算第一差异和第二差异的加权平均值，确定图像差异。
在计算了图像差异后，可以通过图1中的剩余步骤训练机器学习模型。
在步骤130中，根据图像差异，调整第一机器学习模型。利用调整后的第一机器学习模型重复步骤110到步骤130，直到计算的图像差异小于或等于阈值，以完成第一机器学习模型的训练。
在一些实施例中，可以搭建基于TensorFlow的深度学习环境，使用卷积神经网络模和残差网络模型搭建生成器和判别器，组成图像重建模型。
例如，将低分辨图像样本集输入图像重建模型，并使用高分辨率图像样本集作为对比，对图像重建模型进行训练。
生成器接收到低分辨率图像样本后，进行特征提取；学习到图像特征后，输出高分辨率重建图像；判别器根据高分辨率图像样本，对比生成器输出的高分辨率重建图像计算图像误差，并反馈给生成器；生成器根据判别器的反馈优化后，再次生成高分辨率重建图像。
重复上述步骤，直到判别器生成的高分辨率重建图像与高分辨率图像样本的图像误差小于或等于阈值。此时的高分辨率重建图像即为图像超分辨率重建结果。
在一些实施例中，生成器接收到低分辨率图像样本后，生成高分辨率重建图像；判别网络区别生成的高分辨率重建图像和采集的高分辨率图像样本的图像差异；判别器将图像差异反馈给生成器，生成器根据反馈进行优化后，重新生成高分辨率重建图像。
这样，生成器和判别器两者相互对抗，最终完成判别器的训练。使得判别器能够生成与高分辨率图像样本最接近的高分辨率重建图像作为图像重建结果。
在一些实施例中，将待处理图像输入完成训练的第二机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像。相应的重建图像的分辨率高于待处理图像。
在一些实施例中，第一图像样本、第二图像样本均为医学影像图片。例如，可以将待处理医学影像图片输入完成训练的第二机器学习模型，对待处理医学影像图片进行图像重建处理，生成相应的重建医学影像图片。重建医学影像图片的分辨率高于待处理医学影像图片。
图3出本公开的机器学习模型的训练方法的另一些实施例的流程图。
如图3示，可以构建齿科CT超分辨率模型，用于辅助齿科医生获取更多图像中的细节信息，从而辅助医生诊断。
在步骤310中，采集样本图像。在构建模型之前，先收集大量的齿科CT图像数据作为图像样本。齿科CT图像训练数据集包含低分辨率齿科CT图像样本集和高分辨率齿科CT图像样本集。低分辨率齿科CT图像样本作为输入，用于训练第一机器学习模型作为生成器；高分辨率齿科CT图像样本作为细节信息提供者，用于训练第二机器学习模型作为判别器。
在步骤320中，对样本图像进行预处理。为保证训练过程中模型能够学习到较多的细节信息，可以先对图像样本进行预处理。例如，可以对图像样本进行图像增强处理，以增强齿科CT图像的特征，从而提高特征学习效果。
在步骤330中，训练第一机器学习模型。生成器的主要作用是接收来自模型外部的输入图像(低分辨率齿科CT图像样本)，提取图像特征后，生成预测图像(高分辨率齿科CT重建图像)。
在所有人工神经网络中，卷积神经网络由于其特有的卷积层和池化层在图像特征提取方面有较好的性能。在众多卷积神经网络结构中，具有16层卷积加3层全连接的VGG19，能够在增加网络深度的同时，使用多个小卷积核代替大卷积核降低计算复杂度。因此生成器可选用VGG19模型。
在步骤340中，训练第二次机器学习模型。判别器主要用来区别生成器输出的高分辨率齿科CT重建样本与真实的高分辨率齿科CT图像样本。为保证图像重建模型的误差最小，生成器可使用卷积神经网络中的残差网络模型来构建，残差网络可以由许多残差块组成。
在步骤350中，确定图像重建模型。可以搭建基于TensorFlow的深度学习环境，使用VGG19模型和残差网络模型搭建生成器和判别器，组成超分辨率图像重建模型。将低分辨率齿科CT图像样本集输入图像重建模型，使用真实的高分辨率齿科CT图像样本集作为对比，对图像重建模型进行训练。
在一些实施例中，生成器接收到低分辨率齿科CT图像样本后，进行特征提取；学习到图像特征后，输出高分辨率齿科CT重建图像。判别器根据真实的高分辨率齿科CT图像样本，对比生成器输出的高分辨率齿科CT重建图像计算图像误差，并反馈给生成器。例如，可以根据PSNR和SSIM判断两张齿科CT图像的图像误差。
生成器根据判别器的反馈进行优化后，再次生成高分辨率齿科CT重建图像。重复上述步骤，直到判别器计算出的图像误差为0(或其他阈值)。此时的高分辨率齿科CT重建即为想要得到的图像超分辨率重建结果。
在上述实施例中，构建了齿科CT高分辨率图像重建模型。当齿科CT图像分辨率较低时，可将低分辨率图像输入该模型，得到有效细节信息更多的高分辨率齿科CT图像。
在一些实施例中，基于上述任一个实施例中的训练方法，可以提供一种图像的重建方法。例如，可以将待处理图像输入完成训练的机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像。相应的重建图像的分辨率高于待处理图像。机器学习模型通过上述任一个实施例中的机器学习模型的训练方法进行训练。
图4出本公开的机器学习模型的训练装置的一些实施例的框图。
如图4示，机器学习模型的训练装置4包括重建单元41、计算单元42和调整单元43。
重建单元41将第一图像样本输入第一机器学习模型，对第一图像样本进行图像重建处理，生成重建图像。重建图像的分辨率高于第一图像样本。
在一些实施例中，重建单元41将待处理图像输入完成训练的第二机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像。相应的重建图像的分辨率高于待处理图像。
在一些实施例中，重建单元41将第一图像样本输入第一机器学习模型的卷积神经网络模块，提取第一图像样本的特征向量；根据特征向量，利用第一机器学习模型生成重建图像。例如，卷积神经网络模块包括多个大小为3×3的卷积核算子。
计算单元42将重建图像和第二图像样本输入第二机器学习模型，计算重建图像与第二图像样本的图像差异。第二图像样本的分辨率高于第一图像样本。
在一些实施例中，计算单元42将重建图像和第二图像样本输入第二机器学习模型的多个残差模块进行处理，计算图像差异。
在一些实施例中，计算单元42计算重建图像与第二图像样本的峰值信噪比，确定第一差异；计算重建图像与第二图像样本的结构相似性，确定第二差异；计算第一差异和第二差异的加权平均值，确定图像差异。
调整单元43根据图像差异，调整第一机器学习模型。重建单元41、计算单元42、调整单元43利用调整后的第一机器学习模型重复执行上述功能，直到计算的图像差异小于或等于阈值，以完成第一机器学习模型的训练。
在一些实施例中，重建单元41将待处理图像输入完成训练的第二机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像。相应的重建图像的分辨率高于待处理图像。
在一些实施例中，第一图像样本、第二图像样本均为医学影像图片。重建单元41将待处理医学影像图片输入完成训练的第二机器学习模型，对待处理医学影像图片进行图像重建处理，生成相应的重建医学影像图片。重建医学影像图片的分辨率高于待处理医学影像图片。
图5出本公开的图像的重建装置的一些实施例的框图。
如图5示，图像的重建装置5包括：训练单元51，用于利用上述任一个实施例中的机器学习模型的训练方法训练机器学习模型；重建单元52，用于将待处理图像输入完成训练的机器学习模型，对待处理图像进行图像重建处理，生成相应的重建图像。相应的重建图像的分辨率高于待处理图像。例如，待处理图像、重建图像均为医学影像图片。
图6示出本公开的电子设备的一些实施例的框图。
如图6所示，该实施例的电子设备6包括：存储器61以及耦接至该存储器61的处理器62，处理器62被配置为基于存储在存储器61中的指令，执行本公开中任意一个实施例中的机器学习模型的训练方法或者图像的重建方法。
其中，存储器61例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader、数据库以及其他程序等。
图7示出本公开的电子设备的另一些实施例的框图。
如图7所示，该实施例的电子设备7包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行前述任意一个实施例中的机器学习模型的训练方法或者图像的重建方法。
存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader以及其他程序等。
电子设备7还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的机器学习模型的训练方法、机器学习模型的训练装置、图像的重建方法、图像的重建装置、电子设备和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (15)

1.一种机器学习模型的训练方法，包括：
将第一图像样本输入第一机器学习模型，对所述第一图像样本进行图像重建处理，生成重建图像，所述重建图像的分辨率高于所述第一图像样本；
将所述重建图像和第二图像样本输入第二机器学习模型，计算所述重建图像与所述第二图像样本的图像差异，所述第二图像样本的分辨率高于所述第一图像样本；
根据所述图像差异，调整所述第一机器学习模型；
利用调整后的第一机器学习模型重复上述步骤，直到计算的图像差异小于或等于阈值，以完成所述第一机器学习模型的训练。
2.根据权利要求1所述的训练方法，其中，所述将第一图像样本输入第一机器学习模型，对所述第一图像样本进行图像重建处理，生成重建图像包括：
将所述第一图像样本输入所述第一机器学习模型的卷积神经网络模块，提取所述第一图像样本的特征向量；
根据所述特征向量，利用所述第一机器学习模型生成所述重建图像。
3.根据权利要求2所述的训练方法，其中，
所述卷积神经网络模块包括多个大小为3×3的卷积核算子。
4.根据权利要求1所述的训练方法，其中，所述将所述重建图像和第二图像样本输入第二机器学习模型，计算所述重建图像与所述第二图像样本的图像差异包括：
将所述重建图像和所述第二图像样本输入所述第二机器学习模型的多个残差模块进行处理，计算所述图像差异。
5.根据权利要求1所述的训练方法，其中，所述计算所述重建图像与所述第二图像样本的图像差异包括：
计算所述重建图像与所述第二图像样本的峰值信噪比，确定第一差异；
计算所述重建图像与所述第二图像样本的结构相似性，确定第二差异；
计算所述第一差异和所述第二差异的加权平均值，确定所述图像差异。
6.根据权利要求1-5任一项所述的训练方法，还包括：
将待处理图像输入完成训练的第二机器学习模型，对所述待处理图像进行图像重建处理，生成相应的重建图像，所述相应的重建图像的分辨率高于所述待处理图像。
7.根据权利要求1-5任一项所述的训练方法，其中，
所述第一图像样本、所述第二图像样本均为医学影像图片；
还包括：
将待处理医学影像图片输入完成训练的第二机器学习模型，对所述待处理医学影像图片进行图像重建处理，生成相应的重建医学影像图片，所述重建医学影像图片的分辨率高于所述待处理医学影像图片。
8.一种图像的重建方法，包括：
将待处理图像输入完成训练的机器学习模型，对所述待处理图像进行图像重建处理，生成相应的重建图像，所述相应的重建图像的分辨率高于所述待处理图像，所述机器学习模型通过权利要求1-5任一项所述的机器学习模型的训练方法进行训练。
9.根据权利要求8所述的重建方法，其中，
所述待处理图像、所述重建图像均为医学影像图片。
10.一种机器学习模型的训练装置，包括：
重建单元，用于将第一图像样本输入第一机器学习模型，对所述第一图像样本进行图像重建处理，生成重建图像，所述重建图像的分辨率高于所述第一图像样本；
计算单元，用于将所述重建图像和第二图像样本输入第二机器学习模型，计算所述重建图像与所述第二图像样本的图像差异，所述第二图像样本的分辨率高于所述第一图像样本；
调整单元，用于根据所述图像差异，调整所述第一机器学习模型；
所述重建单元、所述计算单元、所述调整单元利用调整后的第一机器学习模型重复执行上述功能，直到计算的图像差异小于或等于阈值，以完成所述第一机器学习模型的训练。
11.根据权利要求10所述的训练装置，其中，
所述重建单元将待处理图像输入完成训练的第二机器学习模型，对所述待处理图像进行图像重建处理，生成相应的重建图像，所述相应的重建图像的分辨率高于所述待处理图像。
12.一种图像的重建装置，包括：
训练单元，用于利用权利要求1-5任一项所述的机器学习模型的训练方法训练机器学习模型；
重建单元，用于将待处理图像输入完成训练的机器学习模型，对所述待处理图像进行图像重建处理，生成相应的重建图像，所述相应的重建图像的分辨率高于所述待处理图像。
13.根据权利要求12所述的重建装置，其中，
所述待处理图像、所述重建图像均为医学影像图片。
14.一种电子设备，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-7任一项所述的机器学习模型的训练方法，或者权利要求8或9所述的图像的重建方法。
15.一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的机器学习模型的训练方法，或者权利要求8或9所述的图像的重建方法。
CN202110056647.6A 2021-01-15 2021-01-15 机器学习模型的训练方法、装置和图像的重建方法、装置 Pending CN113762522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110056647.6A CN113762522A (zh) 2021-01-15 2021-01-15 机器学习模型的训练方法、装置和图像的重建方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110056647.6A CN113762522A (zh) 2021-01-15 2021-01-15 机器学习模型的训练方法、装置和图像的重建方法、装置

Publications (1)

Publication Number Publication Date
CN113762522A true CN113762522A (zh) 2021-12-07

Family

ID=78786297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110056647.6A Pending CN113762522A (zh) 2021-01-15 2021-01-15 机器学习模型的训练方法、装置和图像的重建方法、装置

Country Status (1)

Country Link
CN (1) CN113762522A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429106A (zh) * 2021-12-29 2022-05-03 北京百度网讯科技有限公司 页面信息处理方法、装置、电子设备和存储介质
CN114742807A (zh) * 2022-04-24 2022-07-12 北京医准智能科技有限公司 基于x光图像的胸片识别方法、装置、电子设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709458A (zh) * 2016-12-27 2017-05-24 深圳市捷顺科技实业股份有限公司 一种人脸活体检测方法及装置
US20200143248A1 (en) * 2017-07-12 2020-05-07 Tencent Technology (Shenzhen) Company Limited Machine learning model training method and device, and expression image classification method and device
CN111127317A (zh) * 2019-12-02 2020-05-08 深圳供电局有限公司 图像超分辨率重建方法、装置、存储介质和计算机设备
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
CN111862251A (zh) * 2020-06-19 2020-10-30 中国科学院深圳先进技术研究院 医学图像重建技术的方法、装置、存储介质和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709458A (zh) * 2016-12-27 2017-05-24 深圳市捷顺科技实业股份有限公司 一种人脸活体检测方法及装置
US20200143248A1 (en) * 2017-07-12 2020-05-07 Tencent Technology (Shenzhen) Company Limited Machine learning model training method and device, and expression image classification method and device
CN111127317A (zh) * 2019-12-02 2020-05-08 深圳供电局有限公司 图像超分辨率重建方法、装置、存储介质和计算机设备
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
CN111862251A (zh) * 2020-06-19 2020-10-30 中国科学院深圳先进技术研究院 医学图像重建技术的方法、装置、存储介质和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429106A (zh) * 2021-12-29 2022-05-03 北京百度网讯科技有限公司 页面信息处理方法、装置、电子设备和存储介质
CN114742807A (zh) * 2022-04-24 2022-07-12 北京医准智能科技有限公司 基于x光图像的胸片识别方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
US10467751B2 (en) Quality of medical images using multiple-contrast and deep learning
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
CN110827216A (zh) 图像去噪的多生成器生成对抗网络学习方法
CN113781517B (zh) 用于运动估计的系统和方法
CN111488912B (zh) 一种基于深度学习神经网络的喉部疾病诊断系统
CN113762522A (zh) 机器学习模型的训练方法、装置和图像的重建方法、装置
CN112949654A (zh) 图像检测方法及相关装置、设备
WO2019172181A1 (ja) 診断支援装置、プログラム、学習済みモデル、および学習装置
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
Oh et al. Learning bone suppression from dual energy chest X-rays using adversarial networks
CN115601268A (zh) 基于多尺度自注意力生成对抗网络的ldct图像去噪方法
CN113592769A (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN118096584A (zh) 基于上下文感知和多尺度扩散网络的超声图像增强方法
US11885862B2 (en) Deep learning based magnetic resonance imaging (MRI) examination acceleration
Varalakshmi et al. Detection of Osteoporosis with DEXA Scan Images using Deep Learning Models
US12045958B2 (en) Motion artifact correction using artificial neural networks
Vatsaraj et al. Early detection of Parkinson's disease using contrast enhancement techniques and CNN
JP5051025B2 (ja) 画像生成装置、プログラム、および画像生成方法
Nagarhalli et al. Evaluating the Effectiveness of the Convolution Neural Network in Detecting Brain Tumors
Selim et al. CT Image Standardization Using Deep Image Synthesis Models
WO2024108438A1 (zh) 一种速度编码磁共振成像的运动伪影校正方法
CN115719438B (zh) 医学图像的去伪影模型训练方法、装置、设备及存储介质
US20240144469A1 (en) Systems and methods for automatic cardiac image analysis
Reddy et al. Enhancing the Resolution of ChestX-ray Images with SRGAN and Sub-Pixel CNN
Thangamani et al. Enhanced Pneumonia Classification in Radiographic Imaging through Convolutional Neural Network Modelling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination