CN110782421B - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110782421B
CN110782421B CN201910888024.8A CN201910888024A CN110782421B CN 110782421 B CN110782421 B CN 110782421B CN 201910888024 A CN201910888024 A CN 201910888024A CN 110782421 B CN110782421 B CN 110782421B
Authority
CN
China
Prior art keywords
image
noise reduction
images
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910888024.8A
Other languages
English (en)
Other versions
CN110782421A (zh
Inventor
郭晏
周侠
吕彬
吕传峰
谢国彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910888024.8A priority Critical patent/CN110782421B/zh
Priority to PCT/CN2019/118248 priority patent/WO2021051593A1/zh
Publication of CN110782421A publication Critical patent/CN110782421A/zh
Application granted granted Critical
Publication of CN110782421B publication Critical patent/CN110782421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法、装置、计算机设备及存储介质。方法包括：从预置的训练图像集中随机获取预设数量的多张训练图像；根据预置的空间变换网络对多张训练图像进行空间变换以得到对应的配准图像；根据预置的卷积降噪模型对配准图像进行叠加降噪以得到对应的降噪图像；根据预置的梯度下降训练模型、配准图像、降噪图像及训练图像集对卷积降噪模型进行迭代训练以得到训练后的卷积降噪模型；根据空间变换网络、训练后的卷积降噪模型及预置的叠加规则对用户所输入的待处理图像进行处理以得到对应的优化图像。本发明基于图像增强技术，可大幅减少所需处理的图像数量，缩减对图像进行处理的时间，提高了对OCT图像进行图像增强时的处理效率。

Description

图像处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
在基于OCT图像进行病灶判断过程中，由于使用的相干成像模式，在所采集得到的单张图像中不可避免地产生斑点噪声，严重影响了后续对OCT图像的处理及病灶判断。为解决这一问题，常用的图像增强方法均是通过OCT扫描设备采集大约50张OCT图像，并基于所采集得到的图像叠加降噪得到一张清晰的融合图像，然而这一处理过程需在同一区域重复扫描约50次，大大提升了采集OCT图像所需的时间，且较多的图像数量大幅增加了处理时间，导致获取清晰图像的过程耗时长。因而，现有的对OCT图像进行图像增强的方法存在处理时间长的问题。
发明内容
本发明实施例提供了一种图像处理方法、装置、计算机设备及存储介质，旨在解决现有技术方法中的图像处理方法在对OCT图像进行图像增强时处理时间较长的问题。
第一方面，本发明实施例提供了一种图像处理方法，其包括：
从预置的训练图像集中随机获取预设数量的多张训练图像；
根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像；
根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像；
根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型；
若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像。
第二方面，本发明实施例提供了一种图像处理装置，其包括：
训练图像获取单元，从预置的训练图像集中随机获取预设数量的多张训练图像；
配准图像获取单元，根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像；
叠加降噪处理单元，用于根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像；
模型训练单元，用于根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型；
优化图像获取单元，用于若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的图像处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的图像处理方法。
本发明实施例提供了一种图像处理方法、装置、计算机设备及存储介质。随机获取多种训练图像，根据空间变换网络对训练图像进行空间变换得到配准图像，根据卷积降噪模型对配准图像进行叠加降噪得到降噪图像，基于降噪图像、配准图像及训练图像集对卷积降噪模型进行迭代训练得到训练后的卷积降噪模型，根据空间变换网络、训练后的卷积降噪模型及叠加规则将待处理图像处理为优化图像。通过上述方法，可大幅减少所需处理的图像数量，缩减对图像进行处理的时间，提高了对OCT图像进行图像增强时的处理效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的图像处理方法的流程示意图；
图2为本发明实施例提供的图像处理方法的子流程示意图；
图3为本发明实施例提供的图像处理方法的另一子流程示意图；
图4为本发明实施例提供的图像处理方法的另一子流程示意图；
图5为本发明实施例提供的图像处理方法的另一子流程示意图；
图6为本发明实施例提供的图像处理装置的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1是本发明实施例提供的图像处理方法的流程示意图。该图像处理方法应用于用户终端中，该方法通过安装于用户终端中的应用软件进行执行，用户终端即是用于执行图像处理方法以完成对图像进行优化处理的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等。
如图1所示，该方法包括步骤S110～S150。
S110从预置的训练图像集中随机获取预设数量的多张训练图像。
从预置的训练图像集中随机获取预设数量的多张训练图像。OCT扫描设备为一种比较常见的眼科疾病图像的采集设备，训练图像集即为通过OCT扫描设备对疑似病灶区域进行重复扫描所得到的图像集，训练图像集中可包含35-60张训练图像，以及基于训练图像集中的所有训练图像通过图像增强方法所得到的一张目标图像，所有训练图像的尺寸均相同，所得到的目标图像即为对卷积降噪模型进行训练的目标。预设数量即为从训练图像集中随机获取训练图像的数量信息。
传统的图像增强方法需对大约50张OCT图像进行叠加、降噪处理得到一张清晰的融合图像，计算量十分巨大，采用本方案即可使用较少的OCT图像叠加降噪得到与上述融合图像质量等同的图像，大幅减少了图像处理过程中的计算量，缩短了处理时间。为达到使用较少OCT图像叠加降噪即可取得与目标图像质量等同的图像，在卷积降噪模型训练过程中即需减少训练图像的数量，可从训练图像集中随机获取预设数量的多张训练图像，也即是仅使用训练图像集中的部分训练图像对卷积降噪模型进行训练，预设数量可由用户预先设置，具体的，预设数量可设置为5-10。
S120、根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像。
根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像，其中，所述空间变换网络包括卷积神经网络及二维仿射变换函数。空间变换网络(Spatial TransformerNetwork，STN)即为对多张训练图像进行空间变换的图像处理神经网络，由于对疑似病灶区域重复扫描的过程中患者并非完全静止不动，导致所采集得到的多张OCT图像之间存在旋转、平移等位移现象，直接叠加多张训练图像所得到的图像存在失真的问题，因此为避免叠加所得到的图像失真，可在对张训练图像进行叠加之前对其进行空间变换处理。
在一实施例中，如图2所示，步骤S120包括子步骤S121、S122、S123和S124。
S121、将所述多张训练图像中的任意一张确定为基准图像，将其它训练图像确定为待转换图像。
将所述多张训练图像中的任意一张确定为基准图像，将其它训练图像确定为待转换图像。在对多张训练图像进行空间变换之前，需先确定其中任意一张训练图像为基准图像，其它训练图像根据该基准图像进行空间变换，则将其它训练图像确定为待转换图像。
S122、以所述基准图像为基准，根据所述卷积神经网络获取所有所述待转换图像对应于所述基准图像的参数矩阵。
以所述基准图像为基准，根据所述卷积神经网络获取所有所述待转换图像对应于所述基准图像的参数矩阵。具体的，通过卷积神经网络分别对待转换图像与基准图像进行卷积处理后，以基准图像为基准，通过卷积神经网络中的全连接层回归得到与每一待转换图像对应的参数矩阵。
例如，待转换图像(或基准图像)的分辨率为600×600，根据卷积神经网络中第一卷积核中的计算公式，以分辨率16*16作为窗口，步长为1，进行卷积操作得到大小为585×585的向量矩阵，也即是待转换图像的浅层特征；根据池化计算公式，以分辨率13×13作为窗口，步长为13，进行降采样，以得到大小为45×45的向量矩阵，也即是待转换图像的深层次特征；根据5个第二卷积核中的计算公式，以分辨率5×5作为窗口，步长为5的进行卷积操作，以得到大小为9×9的5个向量矩阵。将所得到一张待转换图像的5个9×9向量矩阵及基准图像的5个9×9向量矩阵输入全连接层中的全连接计算公式进行计算，由于输入卷积神经网络的图片包含任意一张待转换图像及一张基准图像，则全连接计算公式中包含2×5×9×9个输入节点，6个输出节点，全连接计算公式即用于体现输入节点与输出节点之间的关联关系，6个输出节点的输出结果即为参数矩阵。
参数矩阵Aθ可用下式进行表示：
其中，参数矩阵Aθ中包含六个参数，其中四个为旋转参数，另外两个为平移参数。
S123、根据所述二维仿射变换函数、所述参数矩阵对所述待转换图像进行映射以得到对应的映射图像。
根据所述二维仿射变换函数、所述参数矩阵对所述待转换图像进行映射以得到对应的映射图像。具体的，根据二维仿射变换函数及参数矩阵对待转换图像中所包含像素的坐标值进行仿射变换计算得到仿射变换坐标值，基于仿射变换坐标值对待转换图像进行映射填充以得到对应的映射图像。
具体的，仿射变换计算的具体过程可表示为：
其中，Tθ即为二维仿射变换函数，对待转换图像中对应像素进行仿射变换计算所得的坐标值为(xs i，ys i)，待转换图像中像素的坐标值为(xt i，yt i)。
映射填充的具体过程可表示为： 其中，Unm即为待转换图像中第n行第m列坐标对应的像素值，待转换图像的分辨率为(H×W)，(xs i，ys i)即为映射图像与待转换图像对应的像素在待转换图像中的坐标值，Vi即为映射图像中第i个像素点进行填充得到的像素值。
S124、获取所有待转换图像对应的映射图像及基准图像以得到配准图像。
获取所有待转换图像对应的映射图像及基准图像以得到配准图像。基于上述过程，基于配准图像对所有待转换图像进行空间变换，得到与基准图像中疑似病灶区域的角度、方位一致的多张映射图像，映射图像的分辨率与基准图像一致，将所得映射图像与基准图像作为配准图像。
例如，随机获取得到对应的5张训练图像，将其中1张作为基准图像，另外4张作为待转换图像，分别对4张待转换图像进行4次空间变换得到4张映射图像，将4张映射图像与1张基准图像作为对应的配准图像。
S130、根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像。
根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像。卷积降噪模型即是用于对图像进行降噪处理的模型，卷积降噪模型中包含一个激活函数及多个卷积核，每一卷积核中包含多个参数，每一个参数对应一个参数值，对图像进行卷积操作即为通过卷积核中所包含的参数值对该图像对应的二维阵列进行卷积操作。
在一实施例中，如图3所示，步骤S130包括子步骤S131和S132。
S131、将所有所述配准图像进行逐像素叠加以得到第一叠加图像。
将所有所述配准图像进行逐像素叠加以得到第一叠加图像。所得到的配准图像为多张，且所有配准图像中疑似病灶区域的角度、方位均一致，可对多张配准图像进行逐像素叠加得到第一叠加图像，所得到的第一叠加图像的分辨率与配准图像相同。具体的，将所有配准图像在同一像素的像素值进行相加并平均，即可完成对该像素的叠加处理，基于上述方式获取每一像素在多张配准图像中像素值的平均值，即可得到对应的第一叠加图像。
S132、根据所述卷积降噪模型对所述第一叠加图像进行卷积降噪以得到降噪图像。
根据所述卷积降噪模型对所述第一叠加图像进行卷积降噪以得到降噪图像。具体的，先通过激活函数计算第一叠加图像中每一像素对应的阵列值，得到该第一叠加图像对应的二维阵列，基于二维阵列中的阵列值及每一卷积核中的参数值对二维阵列进行卷积操作得到对应的二维卷积阵列，通过激活函数对二维卷积阵列进行反向激活即可得到对应的降噪图像。
激活函数可选用任意一种，例如，若选择Sigmoid函数作为激活函数，则激活函数的表达式为：f(x)＝(1+e-x/51)-1；第一叠加图像中某一像素的像素值为238(像素值为[0,255]之间的整数)，计算得到该像素对应的阵列值为0.9907，获取第一叠加图像中每一像素对应的阵列值即可得到一个二维阵列。
S140、根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型。
根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型。为使卷积降噪模型在对图像进行卷积降噪处理时具有良好的使用效果，需对卷积降噪模型进行迭代训练，即为对卷积降噪模型中卷积核的参数值进行调整，训练后所得到的卷积降噪模型即可对图像进行精准降噪得到更加清晰的图像。梯度下降训练模型即为对卷积降噪模型进行训练的模型，梯度下降训练模型中包含损失函数及梯度计算公式，损失函数即可用于计算两张图像之间的损失值，损失值越小则两张图像中的内容越接近，基于计算得到的损失值及梯度计算公式即可计算得到每一参数对应的更新值，通过更新值即可对每一参数对应的参数值进行更新，也即是对卷积降噪模型进行训练。
在一实施例中，如图4所示，步骤S140包括子步骤S141、S142、S143和S144。
S141、根据所述叠加规则对所述降噪图像及所有所述配准图像的像素均值进行逐像素叠加以得到高次叠加图像。
根据所述叠加规则对所述降噪图像及所有所述配准图像的像素均值进行逐像素叠加以得到高次叠加图像。具体的，获取配准图像在同一像素的像素值进行相加并平均得到所有配准图像的像素均值，将降噪图像与所有配准图像的像素均值进行逐像素叠加即可得到高次叠加图像。
S142、根据所述梯度下降训练模型中的损失函数计算所述高次叠加图像与所述训练图像集中目标图像之间的损失值。
根据所述梯度下降训练模型中的损失函数计算所述高次叠加图像与所述训练图像集中目标图像之间的损失值。基于损失函数即可计算高次叠加图像与目标图像之间的损失值，为使经图像增强处理后所得的图像趋近于目标图像，可基于损失值对高次叠加图像与目标图像之间的差异进行量化。具体的，损失函数可表示为：损失值S＝w1×J1+w2×J2+w3×J3+w4×J4；其中，w1、w2、w3及w4均为公式中预置的权重值，J1为高次叠加图像与目标图像整体上的结构相似度，J2为高次叠加图像与目标图像在视网膜区域的结构相似度，J3为高次叠加图像与目标图像在重点区域(病灶区域、色素上皮区域、神经纤维层等区域)的结构相似度，J4为高次叠加图像与目标图像之间像素的梯度差。其中，计算图像x与图像y之间的结构相似度可表示为：其中，μx为图像x的像素平均值，μy为图像y的像素平均值，σxy为图像x与图像y之间的协方差，σx为图像x的标准差，σy为图像y的标准差，c1及c2均为公式中预设的参数值。
此外，在计算损失值之后，还可对损失值是否小于预设阈值进行判断，若损失值小于预设阈值，则表明当前卷积降噪模型已符合使用需求，即可终止后续对卷积降噪模型的训练；若损失值不小于预设阈值，则表明当前卷积降噪模型不符合使用需求，需通过后续处理过程对卷积降噪模型进行训练。
S143、根据所述梯度下降训练模型中的梯度计算公式、所述损失值及所述卷积降噪模型中的计算值计算得到所述卷积降噪模型中每一参数的更新值。
根据所述梯度下降训练模型中的梯度计算公式、所述损失值及所述卷积降噪模型中每一参数对应的计算值计算得到所述卷积降噪模型中每一参数的更新值。具体的，将卷积降噪模型中一个参数对第一叠加图像所对应二维阵列中的阵列值进行计算所得到的计算值，输入梯度计算公式并结合上述损失值，即可计算得到与该参数对应的更新值，这一计算过程也即为梯度下降计算。
具体的，梯度计算公式可表示为：其中，/>为计算得到的参数x的更新值，ωx为参数x的原始值，η为梯度计算公式中预置的学习率，/>为基于损失值及参数x对应的计算值对该参数的偏导值(这一计算过程中需使用该参数对应的计算值)。
S144、根据每一所述参数的更新值对所述卷积降噪模型中对应参数的参数值进行更新，以对所述卷积降噪模型进行训练。
根据每一所述参数的更新值对所述卷积降噪模型中对应参数的参数值进行更新，以对所述卷积降噪模型进行训练。基于所计算得到更新值对卷积降噪模型中每一参数的参数值对应更新，即完成对卷积降噪模型的一次训练过程。基于一次训练后所得到的卷积降噪模型对第一叠加图像再次进行卷积操作，并重复上述训练过程，即可对卷积降噪模型进行迭代训练；当所计算得到的损失值小于预设阈值，即终止训练过程得到训练后的卷积降噪模型。
S150、若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像。
若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像。训练后所得到的卷积降噪模型结合空间变换网络及叠加规则，即可对用户所输入的待处理图像进行处理，得到清晰的优化图像，用户所输入的待处理图像的数量远小于训练图像集中训练图像的数量，因此可实现使用较少的OCT图像进行处理后得到与目标图像质量等同的图像，以大幅减少图像处理过程中的计算量并缩短图像处理时间。
在一实施例中，如图5所示，步骤S150包括子步骤S151、S152、S153和S154。
S151、根据所述空间变换网络对所述待处理图像进行空间变换以得到对应的目标配准图像。
根据所述空间变换网络对所述待处理图像进行空间变换以得到对应的目标配准图像。对待处理图像进行空间变换的具体过程与上述步骤相同，在此不作赘述。
S152、将所有所述目标配准图像进行逐像素叠加以得到第二叠加图像。
将所有所述目标配准图像进行逐像素叠加以得到第二叠加图像。对所得到的目标配准图像进行逐像素叠加的具体过程与上述步骤相同，在此不作赘述。
S153、根据所述卷积降噪模型对所述第二叠加图像进行卷积降噪以得到目标降噪图像。
根据所述卷积降噪模型对所述第二叠加图像进行卷积降噪以得到目标降噪图像。通过卷积降噪模型对所得到的第二叠加图像进行卷积降噪的具体过程与上述步骤相同，在此不作赘述。
S154、根据所述叠加规则对所述目标降噪图像及所有所述目标配准图像的像素均值进行逐像素叠加以得到优化图像。
根据所述叠加规则对所述目标降噪图像及所有所述目标配准图像的像素均值进行逐像素叠加以得到优化图像。根据叠加规则对目标降噪图像及所有目标配准图像的像素均值进行逐像素叠加的具体过程与上述步骤相同，在此不作赘述。
在本发明实施例所提供的图像处理方法中，随机获取多种训练图像，根据空间变换网络对训练图像进行空间变换得到配准图像，根据卷积降噪模型对配准图像进行叠加降噪得到降噪图像，基于降噪图像、配准图像及训练图像集对卷积降噪模型进行迭代训练得到训练后的卷积降噪模型，根据空间变换网络、训练后的卷积降噪模型及叠加规则将待处理图像处理为优化图像。通过上述方法，可大幅减少所需处理的图像数量，缩减对图像进行处理的时间，提高了对OCT图像进行图像增强时的处理效率。
本发明实施例还提供一种图像处理装置，该图像处理装置用于执行前述图像处理方法的任一实施例。具体地，请参阅图6，图6是本发明实施例提供的图像处理装置的示意性框图。该图像处理装置可以配置于用户终端中。
如图6所示，图像处理装置100包括训练图像获取单元110、配准图像获取单元120、叠加降噪处理单元130、模型训练单元140和优化图像获取单元150。
训练图像获取单元110，用于从预置的训练图像集中随机获取预设数量的多张训练图像。
从预置的训练图像集中随机获取预设数量的多张训练图像。OCT扫描设备为一种比较常见的眼科疾病图像的采集设备，训练图像集即为通过OCT扫描设备对疑似病灶区域进行重复扫描所得到的图像集，训练图像集中可包含35-60张训练图像，以及基于训练图像集中的所有训练图像通过图像增强方法所得到的一张目标图像，所有训练图像的尺寸均相同，所得到的目标图像即为对卷积降噪模型进行训练的目标。预设数量即为从训练图像集中随机获取训练图像的数量信息。
传统的图像增强方法需对大约50张OCT图像进行叠加、降噪处理得到一张清晰的融合图像，计算量十分巨大，采用本方案即可使用较少的OCT图像叠加降噪得到与上述融合图像质量等同的图像，大幅减少了图像处理过程中的计算量，缩短了处理时间。为达到使用较少OCT图像叠加降噪即可取得与目标图像质量等同的图像，在卷积降噪模型训练过程中即需减少训练图像的数量，可从训练图像集中随机获取预设数量的多张训练图像，也即是仅使用训练图像集中的部分训练图像对卷积降噪模型进行训练，预设数量可由用户预先设置，具体的，预设数量可设置为5-10。
配准图像获取单元120，用于根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像。
根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像，其中，所述空间变换网络包括卷积神经网络及二维仿射变换函数。空间变换网络(Spatial Transformer Network，STN)即为对多张训练图像进行空间变换的图像处理神经网络，由于对疑似病灶区域重复扫描的过程中患者并非完全静止不动，导致所采集得到的多张OCT图像之间存在旋转、平移等位移现象，直接叠加多张训练图像所得到的图像存在失真的问题，因此为避免叠加所得到的图像失真，可在对张训练图像进行叠加之前对其进行空间变换处理。
其它发明实施例中，所述配准图像获取单元120包括子单元：训练图像分配单元121、参数矩阵获取单元122、映射图像获取单元123和配准图像确定单元124。
训练图像分配单元121，用于将所述多张训练图像中的任意一张确定为基准图像，将其它训练图像确定为待转换图像。
将所述多张训练图像中的任意一张确定为基准图像，将其它训练图像确定为待转换图像。在对多张训练图像进行空间变换之前，需先确定其中任意一张训练图像为基准图像，其它训练图像根据该基准图像进行空间变换，则将其它训练图像确定为待转换图像。
参数矩阵获取单元122，用于以所述基准图像为基准，根据所述卷积神经网络获取所有所述待转换图像对应于所述基准图像的参数矩阵。
以所述基准图像为基准，根据所述卷积神经网络获取所有所述待转换图像对应于所述基准图像的参数矩阵。具体的，通过卷积神经网络分别对待转换图像与基准图像进行卷积处理后，通过卷积神经网络中的全连接层回归得到对应的参数矩阵。
映射图像获取单元123，用于根据所述二维仿射变换函数、所述参数矩阵对所述待转换图像进行映射以得到对应的映射图像。
根据所述二维仿射变换函数、所述参数矩阵对所述待转换图像进行映射以得到对应的映射图像。具体的，根据二维仿射变换函数及参数矩阵对待转换图像中所包含像素的坐标值进行仿射变换计算得到仿射变换坐标值，基于仿射变换坐标值对待转换图像进行映射填充以得到对应的映射图像。
配准图像确定单元124，用于获取所有待转换图像对应的映射图像及基准图像以得到配准图像。
获取所有待转换图像对应的映射图像及基准图像以得到配准图像。基于上述过程，基于配准图像对所有待转换图像进行空间变换，得到与基准图像中疑似病灶区域的角度、方位一致的多张映射图像，映射图像的分辨率与基准图像一致，将所得映射图像与基准图像作为配准图像。
叠加降噪处理单元130，用于根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像。
根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像。卷积降噪模型即是用于对图像进行降噪处理的模型，卷积降噪模型中包含一个激活函数及多个卷积核，每一卷积核中包含多个参数，每一个参数对应一个参数值，对图像进行卷积操作即为通过卷积核中所包含的参数值对该图像对应的二维阵列进行卷积操作。
其它发明实施例中，所述叠加降噪处理单元130包括子单元：第一叠加图像获取单元131和卷积降噪处理单元132。
第一叠加图像获取单元131，用于将所有所述配准图像进行逐像素叠加以得到第一叠加图像。
将所有所述配准图像进行逐像素叠加以得到第一叠加图像。所得到的配准图像为多张，且所有配准图像中疑似病灶区域的角度、方位均一致，可对多张配准图像进行逐像素叠加得到第一叠加图像，所得到的第一叠加图像的分辨率与配准图像相同。具体的，将所有配准图像在同一像素的像素值进行相加并平均，即可完成对该像素的叠加处理，基于上述方式获取每一像素在多张配准图像中像素值的平均值，即可得到对应的第一叠加图像。
卷积降噪处理单元132，用于根据所述卷积降噪模型对所述第一叠加图像进行卷积降噪以得到降噪图像。
根据所述卷积降噪模型对所述第一叠加图像进行卷积降噪以得到降噪图像。具体的，先通过激活函数计算第一叠加图像中每一像素对应的阵列值，得到该第一叠加图像对应的二维阵列，基于二维阵列中的阵列值及每一卷积核中的参数值对二维阵列进行卷积操作得到对应的二维卷积阵列，通过激活函数对二维卷积阵列进行反向激活即可得到对应的降噪图像。
模型训练单元140，用于根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型。
根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型。为使卷积降噪模型在对图像进行卷积降噪处理时具有良好的使用效果，需对卷积降噪模型进行迭代训练，即为对卷积降噪模型中卷积核的参数值进行调整，训练后所得到的卷积降噪模型即可对图像进行精准降噪得到更加清晰的图像。梯度下降训练模型即为对卷积降噪模型进行训练的模型，梯度下降训练模型中包含损失函数及梯度计算公式，损失函数即可用于计算两张图像之间的损失值，损失值越小则两张图像中的内容越接近，基于计算得到的损失值及梯度计算公式即可计算得到每一参数对应的更新值，通过更新值即可对每一参数对应的参数值进行更新，也即是对卷积降噪模型进行训练。
其它发明实施例中，所述模型训练单元140包括子单元：高次叠加图像获取单元141、损失值计算单元142、更新值计算单元143和参数更新单元144。
高次叠加图像获取单元141，用于根据所述叠加规则对所述降噪图像及所有所述配准图像的像素均值进行逐像素叠加以得到高次叠加图像。
根据所述叠加规则对所述降噪图像及所有所述配准图像的像素均值进行逐像素叠加以得到高次叠加图像。具体的，获取配准图像在同一像素的像素值进行相加并平均得到所有配准图像的像素均值，将降噪图像与所有配准图像的像素均值进行逐像素叠加即可得到高次叠加图像。
损失值计算单元142，用于根据所述梯度下降训练模型中的损失函数计算所述高次叠加图像与所述训练图像集中目标图像之间的损失值。
根据所述梯度下降训练模型中的损失函数计算所述高次叠加图像与所述训练图像集中目标图像之间的损失值。基于损失函数即可计算高次叠加图像与目标图像之间的损失值，为使经图像增强处理后所得的图像趋近于目标图像，可基于损失值对高次叠加图像与目标图像之间的差异进行量化。具体的，损失函数可表示为：损失值S＝w1×J1+w2×J2+w3×J3+w4×J4；其中，w1、w2、w3及w4均为公式中预置的权重值，J1为高次叠加图像与目标图像整体上的结构相似度，J2为高次叠加图像与目标图像在视网膜区域的结构相似度，J3为高次叠加图像与目标图像在重点区域(病灶区域、色素上皮区域、神经纤维层等区域)的结构相似度，J4为高次叠加图像与目标图像之间像素的梯度差。其中，计算图像x与图像y之间的结构相似度可表示为：其中，μx为图像x的像素平均值，μy为图像y的像素平均值，σxy为图像x与图像y之间的协方差，σx为图像x的标准差，σy为图像y的标准差，c1及c2均为公式中预设的参数值。
此外，在计算损失值之后，还可对损失值是否小于预设阈值进行判断，若损失值小于预设阈值，则表明当前卷积降噪模型已符合使用需求，即可终止后续对卷积降噪模型的训练；若损失值不小于预设阈值，则表明当前卷积降噪模型不符合使用需求，需通过后续处理过程对卷积降噪模型进行训练。
更新值计算单元143，用于根据所述梯度下降训练模型中的梯度计算公式、所述损失值及所述卷积降噪模型中的计算值计算得到所述卷积降噪模型中每一参数的更新值。
根据所述梯度下降训练模型中的梯度计算公式、所述损失值及所述卷积降噪模型中每一参数对应的计算值计算得到所述卷积降噪模型中每一参数的更新值。具体的，将卷积降噪模型中一个参数对第一叠加图像所对应二维阵列中的阵列值进行计算所得到的计算值，输入梯度计算公式并结合上述损失值，即可计算得到与该参数对应的更新值，这一计算过程也即为梯度下降计算。
参数更新单元144，用于根据每一所述参数的更新值对所述卷积降噪模型中对应参数的参数值进行更新，以对所述卷积降噪模型进行训练。
根据每一所述参数的更新值对所述卷积降噪模型中对应参数的参数值进行更新，以对所述卷积降噪模型进行训练。基于所计算得到更新值对卷积降噪模型中每一参数的参数值对应更新，即完成对卷积降噪模型的一次训练过程。基于一次训练后所得到的卷积降噪模型对第一叠加图像再次进行卷积操作，并重复上述训练过程，即可对卷积降噪模型进行迭代训练；当所计算得到的损失值小于预设阈值，即终止训练过程得到训练后的卷积降噪模型。
优化图像获取单元150，用于若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像。
若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像。训练后所得到的卷积降噪模型结合空间变换网络及叠加规则，即可对用户所输入的待处理图像进行处理，得到清晰的优化图像，用户所输入的待处理图像的数量远小于训练图像集中训练图像的数量，因此可实现使用较少的OCT图像进行处理后得到与目标图像质量等同的图像，以大幅减少图像处理过程中的计算量并缩短图像处理时间。
其它发明实施例中，所述优化图像获取单元150包括子单元：目标配准图像获取单元151、第二叠加图像获取单元152、目标降噪图像获取单元153和图像叠加单元154。
目标配准图像获取单元151，用于根据所述空间变换网络对所述待处理图像进行空间变换以得到对应的目标配准图像。
根据所述空间变换网络对所述待处理图像进行空间变换以得到对应的目标配准图像。对待处理图像进行空间变换的具体过程与上述步骤相同，在此不作赘述。
第二叠加图像获取单元152，用于将所有所述目标配准图像进行逐像素叠加以得到第二叠加图像。
将所有所述目标配准图像进行逐像素叠加以得到第二叠加图像。对所得到的目标配准图像进行逐像素叠加的具体过程与上述步骤相同，在此不作赘述。
目标降噪图像获取单元153，用于根据所述卷积降噪模型对所述第二叠加图像进行卷积降噪以得到目标降噪图像。
根据所述卷积降噪模型对所述第二叠加图像进行卷积降噪以得到目标降噪图像。通过卷积降噪模型对所得到的第二叠加图像进行卷积降噪的具体过程与上述步骤相同，在此不作赘述。
图像叠加单元154，用于根据所述叠加规则对所述目标降噪图像及所有所述目标配准图像的像素均值进行逐像素叠加以得到优化图像。
根据所述叠加规则对所述目标降噪图像及所有所述目标配准图像的像素均值进行逐像素叠加以得到优化图像。根据叠加规则对目标降噪图像及所有目标配准图像的像素均值进行逐像素叠加的具体过程与上述步骤相同，在此不作赘述。
在本发明实施例所提供的图像处理装置用于执行上述图像处理方法，随机获取多种训练图像，根据空间变换网络对训练图像进行空间变换得到配准图像，根据卷积降噪模型对配准图像进行叠加降噪得到降噪图像，基于降噪图像、配准图像及训练图像集对卷积降噪模型进行迭代训练得到训练后的卷积降噪模型，根据空间变换网络、训练后的卷积降噪模型及叠加规则将待处理图像处理为优化图像。通过上述方法，可大幅减少所需处理的图像数量，缩减对图像进行处理的时间，提高了对OCT图像进行图像增强时的处理效率。
上述图像处理装置可以实现为计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本发明实施例提供的计算机设备的示意性框图。
参阅图7，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行图像处理方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行图像处理方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：从预置的训练图像集中随机获取预设数量的多张训练图像；根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像；根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像；根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型；若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像。
在一实施例中，处理器502在执行根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像的步骤时，执行如下操作：将所述多张训练图像中的任意一张确定为基准图像，将其它训练图像确定为待转换图像；以所述基准图像为基准，根据所述卷积神经网络获取所有所述待转换图像对应于所述基准图像的参数矩阵；根据所述二维仿射变换函数、所述参数矩阵对所述待转换图像进行映射以得到对应的映射图像；获取所有待转换图像对应的映射图像及基准图像以得到配准图像。
在一实施例中，处理器502在执行根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像的步骤时，执行如下操作：将所有所述配准图像进行逐像素叠加以得到第一叠加图像；根据所述卷积降噪模型对所述第一叠加图像进行卷积降噪以得到降噪图像。
在一实施例中，处理器502在执行根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型的步骤时，执行如下操作：根据所述叠加规则对所述降噪图像及所有所述配准图像的像素均值进行逐像素叠加以得到高次叠加图像；根据所述梯度下降训练模型中的损失函数计算所述高次叠加图像与所述训练图像集中目标图像之间的损失值；根据所述梯度下降训练模型中的梯度计算公式、所述损失值及所述卷积降噪模型中的计算值计算得到所述卷积降噪模型中每一参数的更新值；根据每一所述参数的更新值对所述卷积降噪模型中对应参数的参数值进行更新，以对所述卷积降噪模型进行训练。
在一实施例中，处理器502在执行根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像的步骤时，执行如下操作：根据所述空间变换网络对所述待处理图像进行空间变换以得到对应的目标配准图像；将所有所述目标配准图像进行逐像素叠加以得到第二叠加图像；根据所述卷积降噪模型对所述第二叠加图像进行卷积降噪以得到目标降噪图像；根据所述叠加规则对所述目标降噪图像及所有所述目标配准图像的像素均值进行逐像素叠加以得到优化图像。
本领域技术人员可以理解，图7中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其它实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图7所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其它通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：从预置的训练图像集中随机获取预设数量的多张训练图像；根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像；根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像；根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型；若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像。
在一实施例中，所述根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像的步骤，包括：将所述多张训练图像中的任意一张确定为基准图像，将其它训练图像确定为待转换图像；以所述基准图像为基准，根据所述卷积神经网络获取所有所述待转换图像对应于所述基准图像的参数矩阵；根据所述二维仿射变换函数、所述参数矩阵对所述待转换图像进行映射以得到对应的映射图像；获取所有待转换图像对应的映射图像及基准图像以得到配准图像。
在一实施例中，所述根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像的步骤，包括：将所有所述配准图像进行逐像素叠加以得到第一叠加图像；根据所述卷积降噪模型对所述第一叠加图像进行卷积降噪以得到降噪图像。
在一实施例中，所述根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型的步骤，包括：根据所述叠加规则对所述降噪图像及所有所述配准图像的像素均值进行逐像素叠加以得到高次叠加图像；根据所述梯度下降训练模型中的损失函数计算所述高次叠加图像与所述训练图像集中目标图像之间的损失值；根据所述梯度下降训练模型中的梯度计算公式、所述损失值及所述卷积降噪模型中的计算值计算得到所述卷积降噪模型中每一参数的更新值；根据每一所述参数的更新值对所述卷积降噪模型中对应参数的参数值进行更新，以对所述卷积降噪模型进行训练。
在一实施例中，所述根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像的步骤，包括：根据所述空间变换网络对所述待处理图像进行空间变换以得到对应的目标配准图像；将所有所述目标配准图像进行逐像素叠加以得到第二叠加图像；根据所述卷积降噪模型对所述第二叠加图像进行卷积降噪以得到目标降噪图像；根据所述叠加规则对所述目标降噪图像及所有所述目标配准图像的像素均值进行逐像素叠加以得到优化图像。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
所述的计算机可读存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种图像处理方法，应用于用户终端，其特征在于，包括：
从预置的训练图像集中随机获取预设数量的多张训练图像；
根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像；
根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像；
根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型；
若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像；
所述空间变换网络包括卷积神经网络及二维仿射变换函数，所述根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像，包括：
将所述多张训练图像中的任意一张确定为基准图像，将其它训练图像确定为待转换图像；
以所述基准图像为基准，根据所述卷积神经网络获取所有所述待转换图像对应于所述基准图像的参数矩阵；
根据所述二维仿射变换函数、所述参数矩阵对所述待转换图像进行映射以得到对应的映射图像；
获取所有待转换图像对应的映射图像及基准图像以得到配准图像；
所述根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型，包括：
根据所述叠加规则对所述降噪图像及所有所述配准图像的像素均值进行逐像素叠加以得到高次叠加图像；
根据所述梯度下降训练模型中的损失函数计算所述高次叠加图像与所述训练图像集中目标图像之间的损失值；
根据所述梯度下降训练模型中的梯度计算公式、所述损失值及所述卷积降噪模型中的计算值计算得到所述卷积降噪模型中每一参数的更新值；
根据每一所述参数的更新值对所述卷积降噪模型中对应参数的参数值进行更新，以对所述卷积降噪模型进行训练；
所述根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像，包括：
根据所述空间变换网络对所述待处理图像进行空间变换以得到对应的目标配准图像；
将所有所述目标配准图像进行逐像素叠加以得到第二叠加图像；
根据所述卷积降噪模型对所述第二叠加图像进行卷积降噪以得到目标降噪图像；
根据所述叠加规则对所述目标降噪图像及所有所述目标配准图像的像素均值进行逐像素叠加以得到优化图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像，包括：
将所有所述配准图像进行逐像素叠加以得到第一叠加图像；
根据所述卷积降噪模型对所述第一叠加图像进行卷积降噪以得到降噪图像。
3.一种图像处理装置，其特征在于，包括：
训练图像获取单元，从预置的训练图像集中随机获取预设数量的多张训练图像；
配准图像获取单元，根据预置的空间变换网络对多张所述训练图像进行空间变换以得到对应的配准图像；
叠加降噪处理单元，用于根据预置的卷积降噪模型对所述配准图像进行叠加降噪以得到对应的降噪图像；
模型训练单元，用于根据预置的梯度下降训练模型、所述配准图像、所述降噪图像及所述训练图像集对所述卷积降噪模型进行迭代训练以得到训练后的所述卷积降噪模型；
优化图像获取单元，用于若接收到用户所输入的待处理图像，根据所述空间变换网络、训练后的所述卷积降噪模型及预置的叠加规则对所述待处理图像进行处理以得到对应的优化图像；
所述空间变换网络包括卷积神经网络及二维仿射变换函数，所述配准图像获取单元，包括：
训练图像分配单元，用于将所述多张训练图像中的任意一张确定为基准图像，将其它训练图像确定为待转换图像；
参数矩阵获取单元，用于以所述基准图像为基准，根据所述卷积神经网络获取所有所述待转换图像对应于所述基准图像的参数矩阵；
映射图像获取单元，用于根据所述二维仿射变换函数、所述参数矩阵对所述待转换图像进行映射以得到对应的映射图像；
配准图像确定单元，用于获取所有待转换图像对应的映射图像及基准图像以得到配准图像；
所述模型训练单元包括子单元：高次叠加图像获取单元，用于根据所述叠加规则对所述降噪图像及所有所述配准图像的像素均值进行逐像素叠加以得到高次叠加图像；损失值计算单元，用于根据所述梯度下降训练模型中的损失函数计算所述高次叠加图像与所述训练图像集中目标图像之间的损失值；更新值计算单元，用于根据所述梯度下降训练模型中的梯度计算公式、所述损失值及所述卷积降噪模型中的计算值计算得到所述卷积降噪模型中每一参数的更新值；参数更新单元，用于根据每一所述参数的更新值对所述卷积降噪模型中对应参数的参数值进行更新，以对所述卷积降噪模型进行训练；
所述优化图像获取单元包括子单元：
目标配准图像获取单元，用于根据所述空间变换网络对所述待处理图像进行空间变换以得到对应的目标配准图像；
第二叠加图像获取单元，用于将所有所述目标配准图像进行逐像素叠加以得到第二叠加图像；
目标降噪图像获取单元，用于根据所述卷积降噪模型对所述第二叠加图像进行卷积降噪以得到目标降噪图像；
图像叠加单元，用于根据所述叠加规则对所述目标降噪图像及所有所述目标配准图像的像素均值进行逐像素叠加以得到优化图像。
4.根据权利要求3所述的图像处理装置，其特征在于，所述叠加降噪处理单元，包括：
第一叠加图像获取单元，用于将所有所述配准图像进行逐像素叠加以得到第一叠加图像；
卷积降噪处理单元，用于根据所述卷积降噪模型对所述第一叠加图像进行卷积降噪以得到降噪图像。
5.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述的图像处理方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至2任一项所述的图像处理方法。
CN201910888024.8A 2019-09-19 2019-09-19 图像处理方法、装置、计算机设备及存储介质 Active CN110782421B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910888024.8A CN110782421B (zh) 2019-09-19 2019-09-19 图像处理方法、装置、计算机设备及存储介质
PCT/CN2019/118248 WO2021051593A1 (zh) 2019-09-19 2019-11-14 图像处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910888024.8A CN110782421B (zh) 2019-09-19 2019-09-19 图像处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110782421A CN110782421A (zh) 2020-02-11
CN110782421B true CN110782421B (zh) 2023-09-26

Family

ID=69384199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910888024.8A Active CN110782421B (zh) 2019-09-19 2019-09-19 图像处理方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110782421B (zh)
WO (1) WO2021051593A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379753B (zh) * 2020-03-10 2023-06-23 Tcl科技集团股份有限公司 一种图像处理方法、存储介质及终端设备
CN111582410B (zh) * 2020-07-16 2023-06-02 平安国际智慧城市科技股份有限公司 图像识别模型训练方法、装置、计算机设备及存储介质
CN111984548B (zh) * 2020-07-22 2024-04-02 深圳云天励飞技术股份有限公司 神经网络计算装置
CN111931754B (zh) * 2020-10-14 2021-01-15 深圳市瑞图生物技术有限公司 一种样本中目标物的识别方法、系统和可读存储介质
CN112184787A (zh) * 2020-10-27 2021-01-05 北京市商汤科技开发有限公司 图像配准方法及装置、电子设备和存储介质
CN112598597A (zh) * 2020-12-25 2021-04-02 华为技术有限公司 一种降噪模型的训练方法及相关装置
CN115086686A (zh) * 2021-03-11 2022-09-20 北京有竹居网络技术有限公司 视频处理方法及相关装置
CN113192067B (zh) * 2021-05-31 2024-03-26 平安科技（深圳）有限公司 基于图像检测的智能预测方法、装置、设备及介质
CN113378973B (zh) * 2021-06-29 2023-08-08 沈阳雅译网络技术有限公司 一种基于自注意力机制的图像分类方法
CN113379786B (zh) * 2021-06-30 2024-02-02 深圳万兴软件有限公司 图像抠图方法、装置、计算机设备及存储介质
CN113538416A (zh) * 2021-08-19 2021-10-22 合肥工业大学智能制造技术研究院 一种基于深度学习的医学图像处理方法
CN114565511B (zh) * 2022-02-28 2024-05-21 西安交通大学 基于全局单应性估计的轻量级图像配准方法、系统及装置
US11718327B1 (en) 2022-08-08 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for operating a vehicle based on a user's health and emotional state
CN115393406B (zh) * 2022-08-17 2024-05-10 中船智控科技(武汉)有限公司 一种基于孪生卷积网络的图像配准方法
CN115423691A (zh) * 2022-08-30 2022-12-02 青岛云天励飞科技有限公司 图像矫正模型的训练方法、图像矫正方法、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107700A1 (zh) * 2015-12-21 2017-06-29 努比亚技术有限公司 一种实现图像配准的方法及终端
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN108830816A (zh) * 2018-06-27 2018-11-16 厦门美图之家科技有限公司 图像增强方法及装置
CN109064428A (zh) * 2018-08-01 2018-12-21 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN109584179A (zh) * 2018-11-29 2019-04-05 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像质量优化方法
CN109754414A (zh) * 2018-12-27 2019-05-14 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2019134298A1 (zh) * 2018-01-02 2019-07-11 武汉斗鱼网络科技有限公司 图像处理方法、装置、电子设备和存储介质
CN110010249A (zh) * 2019-03-29 2019-07-12 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107700A1 (zh) * 2015-12-21 2017-06-29 努比亚技术有限公司 一种实现图像配准的方法及终端
WO2019134298A1 (zh) * 2018-01-02 2019-07-11 武汉斗鱼网络科技有限公司 图像处理方法、装置、电子设备和存储介质
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN108830816A (zh) * 2018-06-27 2018-11-16 厦门美图之家科技有限公司 图像增强方法及装置
CN109064428A (zh) * 2018-08-01 2018-12-21 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN109584179A (zh) * 2018-11-29 2019-04-05 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像质量优化方法
CN109754414A (zh) * 2018-12-27 2019-05-14 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110010249A (zh) * 2019-03-29 2019-07-12 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备

Also Published As

Publication number Publication date
WO2021051593A1 (zh) 2021-03-25
CN110782421A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110782421B (zh) 图像处理方法、装置、计算机设备及存储介质
US10650495B2 (en) High resolution style transfer
CN109919838B (zh) 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
JP7155271B2 (ja) 画像処理システム及び画像処理方法
CN109767461B (zh) 医学影像配准方法、装置、计算机设备和存储介质
US11080833B2 (en) Image manipulation using deep learning techniques in a patch matching operation
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
Li et al. Single image super-resolution using combined total variation regularization by split Bregman Iteration
US20230013779A1 (en) Self-supervised deblurring
CN112200725A (zh) 一种超分辨率重建方法、装置、存储介质及电子设备
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
JP2021087201A (ja) 画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム
US10540735B2 (en) Information processing device, information processing method, and recording medium
JP2020098588A (ja) ノイズ先行物を用いる曲線オブジェクトセグメンテーション
Li et al. Underwater Imaging Formation Model‐Embedded Multiscale Deep Neural Network for Underwater Image Enhancement
JP7398938B2 (ja) 情報処理装置およびその学習方法
CN110310314B (zh) 图像配准方法、装置、计算机设备和存储介质
JP2020098589A (ja) 幾何学的先行物を用いる曲線オブジェクトセグメンテーション
WO2022247004A1 (zh) 图像预测模型的训练及应用方法、装置、设备、存储介质
CN115511744A (zh) 图像处理方法、装置、计算机设备和存储介质
Ghandour et al. Comprehensive performance analysis of different medical image fusion techniques for accurate healthcare diagnosis applications
JP5946197B2 (ja) 超音波診断装置
CN111091504A (zh) 图像偏差场矫正方法、计算机设备和存储介质
CN117952961B (zh) 图像预测模型的训练及应用方法、设备及可读存储介质
EP4009269A1 (en) Cnn-based image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant