CN113469898A - 基于深度学习的图像去畸变方法及相关设备 - Google Patents
基于深度学习的图像去畸变方法及相关设备 Download PDFInfo
- Publication number
- CN113469898A CN113469898A CN202110615017.8A CN202110615017A CN113469898A CN 113469898 A CN113469898 A CN 113469898A CN 202110615017 A CN202110615017 A CN 202110615017A CN 113469898 A CN113469898 A CN 113469898A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- distorted
- distortion
- distortion removal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 28
- 238000011084 recovery Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种基于深度学习的图像去畸变方法及相关设备，首先获取畸变图像的包括人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息在内的图像特征信息；然后对畸变图像及图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；再将多尺度畸变图像和对应的多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像；其中，采用了通过图像语义学习引导的堆叠式神经网络模型来训练图像去畸变模型，最终实现输入一张存在局部畸变的图像，通过深度学习网络模型处理后可以获得一张去除局部畸变的图像。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种基于深度学习的图像去畸变方法及相关设备。
背景技术
随着互联网技术的不断发展和网络速率的不断提升，人们越来越热衷于在社交媒体上面以图会友，因而对图像的修正也成为了一种刚需，各种图像处理软件应运而生。用户通过这些软件，只需要在电脑或者手机上面进行简单的拖拉操作，就可以修正照片中的人体，使得照片更具观感。
虽然这些图像处理软件能够便捷地对图像进行修正，降低了图像处理的门槛，但是最终所产生的图像并不是完美无缺的：在修正的过程中，若形变范围或者形变参数的设置不合理，不仅仅会使得修正后的图像中的实例比例不协调，同时还会使得图像中的背景出现局部畸变的现象。
发明内容
有鉴于此，本公开的目的在于提出一种基于深度学习的图像去畸变方法及相关设备。
基于上述目的，本公开提供了一种基于深度学习的图像去畸变方法，包括：
获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；
对所述畸变图像及所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；
将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
基于同一发明目的，本公开还提供了一种基于深度学习的图像去畸变装置，包括：
图像特征提取模块，获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；
图像特征处理模块，对所述畸变图像及对应的所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；
图像去畸变模块，将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
基于同一发明目的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现基于深度学习的图像去畸变方法。
基于同一发明目的，本公开还提供了一种一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行基于深度学习的图像去畸变方法。
从上面所述可以看出，本公开提供的基于深度学习的图像去畸变方法及相关设备，基于堆叠编解码器提出了堆叠式网络架构，不仅仅使得图像去畸变模型能够被逐层训练，还能减少每次训练所需的计算资源；通过自主创新提出的语义引导损失函数和可区分性恢复损失函数在图像的畸变区域恢复上有很大的成效，可以使得图像去畸变模型具备有区分力的恢复能力。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例的基于深度学习的图像去畸变方法的流程图；
图2为本公开实施例的获取图像分级畸变矩阵信息的流程图；
图3为本公开实施例的训练图像去畸变模型的流程图；
图4为本公开实施例的基于深度学习的图像去畸变装置的示意图；
图5为本公开实施例的电子设备示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。
目前电脑端的Photoshop和移动端的美图秀秀、激萌、轻颜、醒图等图像处理软件在修正图像时采用的是传统的图像形变算法：如移动最小二乘法、反距离权重插值法、小波变换、高斯模糊等。但是这些传统算法在处理过程中并未考虑图像中人物和背景的关系，只是简单的进行像素与像素之间的逻辑运算，因此修正后的图像会存在局部畸变的现象。
在深度学习领域，图像处理的基本方法为：输入单幅图像，经过深度学习网络的一系列处理之后，输出仍然为单幅图像。通过对深度学习网络进行引导训练，可以使得深度学习网络具备强大的图像深层特征的感知和提取能力，从而在对图像进行编解码的过程中修正需要改变的图像深层特征，以实现图像到图像的生成转换。在此工作上，已经产生了一系列经典的深度学习网络：Unet、pix2pix、BicycleGAN、pix2pixHD、HRNet等。基于这些经典深度学习网络，研究者们在图像风格迁移、图像变换、图像增强、图像去噪、图像超分、图像重建、图像降级等方面都展开了研究，并涌现出大批的研究成果。但是在图像去畸变领域相关的工作却未引起相关研究者的注意，成为业内的一大痛点。
而且图像处理软件虽然能够便捷地对图像进行修正，降低了图像处理的门槛，但在修正的过程中，还会使图像中的背景出现局部畸变的现象。这一问题的产生主要是因为传统的算法在进行图像变换的过程中，主要关注像素原点与目的点的距离进行映射计算，而没有考虑图像中的实例及其周围像素之间的关系，同时也没有区分图像中实例和背景的能力，从而使得修正后的图像发生局部畸变。
为解决上述问题，本公开提供了一种基于深度学习的图像去畸变方法，通过图像语义学习引导的堆叠式神经网络来实现，最终实现输入一张存在局部畸变的图像，通过深度学习网络模型处理后可以获得一张去除局部畸变的图像。
参照图1，本公开提供的基于深度学习的图像去畸变方法，包括：
步骤S101，获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息。
本步骤中，获取的图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息。
其中，图像分级畸变矩阵以外的图像特征信息可以通过现有的深度学习网络模型获取，包括：采用U2Net模型获取人物遮罩信息，采用Openpose模型获取人物骨骼关键点信息和采用边缘检测模型获取边缘信息。然后从人物遮罩信息中提取人物轮廓点信息，在将人物轮廓点信息和人物骨骼关键点信息输入多维高斯滤波器处理得到人物关键点热力图和人物轮廓点热力图。
对于图像分级畸变矩阵信息，其获取流程可参照图2，包括：
步骤S201，将畸变图像和对应的原始图像分别裁剪为256个区域。
步骤S202，分别计算两幅图像对应区域的峰值信噪比和结构相似性。
步骤S203，根据计算结果和预设阈值为畸变图像的所有区域划分畸变等级，得到16×16的图像分级畸变矩阵。
本步骤中，可以通过设置不同的阈值将区域的畸变等级划分为四级，得到的图像分级畸变矩阵内元素的值均为0至3的整数。
步骤S102，对所述畸变图像及所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息。
步骤S103，将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
本步骤中，图像去畸变模型是采用预先准备的畸变图像样本训练好的初始图像去畸变模型，参照图3，训练的过程包括：
步骤S301，构建初始图像去畸变模型，包括图像生成模型和图像判别模型。
本步骤中，图像生成模型包括堆叠编码器、堆叠解码器、上采样器、下采样器和特征处理器；图像判别模型包括全局判别器、局部判别器、关键点判别器和轮廓点判别器。
步骤S302，对畸变图像样本进行处理获得其图像特征信息。
本步骤中，提取图像特征信息后对畸变图像样本和图像特征信息进行插值运算，得到多尺度畸变图像样本和多尺度图像特征信息。
步骤S303，由图像生成模型对畸变图像样本和其图像特征信息处理后输出去畸变图像。
本步骤中，首先将多尺度畸变图像样本和多尺度图像特征信息分别输入图像生成模型内不同的堆叠编码器中，进行卷积操作，得到融合的多尺度编码特征；然后将融合的多尺度编码特征输入下采样器压缩，将压缩结果输入特征处理器进行残差卷积操作，获得归一化的特征图像；最后将归一化的特征图像输入上采样器和堆叠解码器，处理后得到多尺度下的去畸变图像和边缘图像。
步骤S304，对比去畸变图像和畸变图像样本对应的原始图像样本，根据差异调整初始图像去畸变模型。
采用损失计算函数对去畸变图像进行处理，得到多尺度去畸变图像和多尺度原始图像样本的差异、关键点热力图叠加的多尺度去畸变图像和关键点热力图叠加的多尺度原始图像样本的差异、轮廓点热力图叠加的多尺度去畸变图像和轮廓点热力图叠加的多尺度原始图像样本的差异和步骤S303生成的边缘图像和原始图像样本边缘图的差异、多级畸变区域叠加的多尺度去畸变图像和多级畸变区域叠加的多尺度原始图像样本的差异，并根据这些差异调整图像生成模型。
并根据多尺度去畸变图像和多尺度原始图像样本的差异调整图像判别模型的全局判别器和局部判别器，根据关键点热力图叠加的多尺度去畸变图像和关键点热力图叠加的多尺度原始图像样本的差异调整关键点判别器，根据轮廓点热力图叠加的多尺度去畸变图像和轮廓点热力图叠加的多尺度原始图像样本的差异调整轮廓点判别器；通过对上述判别器的调整，增强图像判别模型的判别能力，与图像生成模型进行对抗性训练。
步骤S305，采用调整后的初始图像去畸变模型对畸变图像样本进行处理，并重复步骤S303至步骤S305的流程直到训练次数达到预设次数，将最后一次调整后的初始图像去畸变模型作为图像去畸变模型。
本步骤中，将最后一次调整后的初始图像去畸变模型的图像生成模型作为图像去畸变模型进行后续对畸变图像的去畸变操作。
作为一个可选的实施例，在进行图像去畸变模型的训练时，采用的损失计算函数包括全局损失函数、局部损失函数、语义引导损失函数和可区分性恢复损失函数，其中：全局损失函数通过对比多尺度去畸变图像和原始图像样本之间的整体差异，计算损失值，并对损失求导，以加强图像整体的恢复效果；局部损失函数通过对比多尺度去畸变图像和原始图像样本之间的随机区块差异，计算损失值，并对损失求导，以加强图像局部的恢复效果；语义引导损失函数通过对比多尺度去畸变图像和原始图像样本之间的多种语义信息点（关键点信息叠加和轮廓点信息叠加的多尺度去畸变图像、原始图像样本、生成边缘图和原边缘图）的差异计算损失值，并对损失求导，以加强图像在多种语义信息点的恢复效果；可区分性恢复损失函数通过利用畸变矩阵，对比多尺度去畸变图像和原始图像样本之间的分级畸变区域的差异，给予不同畸变等级区域不同的损失权重来计算分级损失值，并对损失求导，以加强图像去畸变模型对图像不同畸变等级区域的不同程度的恢复效果。
作为一个可选的实施例，本公开提供的技术方案在进行畸变图像的图像特征信息提取时，还可以将提取的人物遮罩信息替换为畸变图像中的实例分割信息，热力图信息也可以被替换为注意力信息，边缘信息也可以被替换为叠加注意力信息后的局部边缘信息。
本公开提供的基于深度学习的图像去畸变方法，基于堆叠编解码器提出了堆叠式网络架构，不仅仅使得图像去畸变模型能够被逐层训练，还能减少每次训练所需的计算资源；通过自主创新提出的语义引导损失函数和可区分性恢复损失函数在图像的畸变区域恢复上有很大的成效，可以使得图像去畸变模型具备有区分力的恢复能力。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种基于深度学习的图像去畸变装置。
参考图4，所述基于深度学习的图像去畸变装置，包括：
图像特征提取模块401，获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；
图像特征处理模块402，对所述畸变图像及对应的所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；
图像去畸变模块403，将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
其中，所述图像去畸变模块403被配置为：首先将预先准备的畸变图像样本和所述畸变图像样本的图像特征信息输入初始图像去畸变模型，经过处理输出图像恢复图，提取所述图像恢复图的图像特征信息并与原始图像样本的图像特征信息对比，根据对比结果调整所述初始图像去畸变模型的参数，再使用调整参数后的所述初始图像去畸变模型进行第二次所述畸变图像样本的处理，重复上述训练过程直至训练次数达到预定阈值，将最后一次调整参数得到的所述初始图像去畸变模型作为所述图像去畸变模型；采用所述图像去畸变模型对所述多尺度畸变图像及对应的所述多尺度图像特征信息进行处理，得到所述去畸变图像。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的基于深度学习的图像去畸变方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于深度学习的图像去畸变方法。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的基于深度学习的图像去畸变方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于深度学习的图像去畸变方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于深度学习的图像去畸变方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
需要说明的是，本公开的实施例还可以以下方式进一步描述：
一种基于深度学习的图像去畸变方法，包括：
获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；
对所述畸变图像及所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；
将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
作为一个可选的实施例，所述对于所述畸变图像进行图像特征提取，包括：
采用深度学习网络模型分别获取所述畸变图像和对应的原始图像的所述人物遮罩信息、所述边缘信息和人物骨骼关键点信息；
从所述人物遮罩信息中提取出人物轮廓点信息，利用多维高斯滤波器处理所述人物骨骼关键点信息和所述人物轮廓点信息得到所述人物关键点热力图和所述人物轮廓点热力图。
作为一个可选的实施例，所述对于所述畸变图像进行图像特征提取，还包括：
将所述畸变图像和所述原始图像分别裁剪为256块区域；
分别计算所述畸变图像和所述原始图像对应区域的峰值信噪比和结构相似性；
根据计算得到的结果和预设的阈值为所述畸变图像的所有所述区域划分不同等级，得到16×16的图像分级畸变矩阵作为所述图像分级畸变矩阵信息。
作为一个可选的实施例，所述图像去畸变模型通过以下步骤训练得到：
将预先准备的畸变图像样本和所述畸变图像样本的图像特征信息输入所述初始图像去畸变模型，经过处理输出图像恢复图；
分别提取所述图像恢复图和与所述畸变图像样本对应的原始图像样本的图像特征信息并进行对比，根据对比结果调整所述初始图像去畸变模型的参数，再使用调整参数后的所述初始图像去畸变模型进行第二次所述畸变图像样本的处理；
重复上述训练过程直至训练次数达到预定阈值，将最后一次调整参数后的所述初始图像去畸变模型作为所述图像去畸变模型。
作为一个可选的实施例，所述分别提取所述图像恢复图和与所述畸变图像样本对应的原图像样本的图像特征信息并进行对比，包括：
建立多种损失求导函数对所述图像恢复图的图像特征信息和所述原始图像样本的图像特征信息进行损失计算求导，所述损失求导函数包括：全局损失函数、局部损失函数、语义引导损失函数和可区分性恢复损失函数。
作为一个可选的实施例，所述初始图像去畸变模型包括图像生成模型和图像判别模型，其中，
所述图像生成模型包括对所述畸变图像样本和所述畸变图像样本的图像特征信息进行卷积操作得到多尺度编码特征的堆叠编码器，对所述多尺度编码特征进行残差卷积操作输出归一化特征的特征处理器和处理所述归一化特征输出所述图像恢复图的堆叠解码器；
所述图像判别模型包括全局判别器、局部判别器、关键点判别器和轮廓点判别器，每次训练中根据所述所述图像恢复图的图像特征信息和所述原始图像样本的图像特征信息的差异调节所述图像判别模型，提高所述图像判别模型的判断能力，与所述图像生成模型进行对抗训练。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于深度学习的图像去畸变方法，包括：
获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；
对所述畸变图像及所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；
将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
2.根据权利要求1所述的图像去畸变方法，其中，所述对于所述畸变图像进行图像特征提取，包括：
采用深度学习网络模型分别获取所述畸变图像和对应的原始图像的所述人物遮罩信息、所述边缘信息和人物骨骼关键点信息；
从所述人物遮罩信息中提取出人物轮廓点信息，利用多维高斯滤波器处理所述人物骨骼关键点信息和所述人物轮廓点信息得到所述人物关键点热力图和所述人物轮廓点热力图。
3.根据权利要求2所述的图像去畸变方法，其中，所述对于所述畸变图像进行图像特征提取，还包括：
将所述畸变图像和所述原始图像分别裁剪为256块区域；
分别计算所述畸变图像和所述原始图像对应区域的峰值信噪比和结构相似性；
根据计算得到的结果和预设的阈值为所述畸变图像的所有所述区域划分不同等级，得到16×16的图像分级畸变矩阵作为所述图像分级畸变矩阵信息。
4.根据权利要求3所述的图像去畸变方法，其中，所述图像去畸变模型通过以下步骤训练得到：
将预先准备的畸变图像样本和所述畸变图像样本的图像特征信息输入所述初始图像去畸变模型，经过处理输出图像恢复图；
分别提取所述图像恢复图和与所述畸变图像样本对应的原始图像样本的图像特征信息并进行对比，根据对比结果调整所述初始图像去畸变模型的参数，再使用调整参数后的所述初始图像去畸变模型进行第二次所述畸变图像样本的处理；
重复上述训练过程直至训练次数达到预定阈值，将最后一次调整参数后的所述初始图像去畸变模型作为所述图像去畸变模型。
5.根据权利要求4所述的图像去畸变方法，其中，所述分别提取所述图像恢复图和与所述畸变图像样本对应的原图像样本的图像特征信息并进行对比，包括：
建立多种损失求导函数对所述图像恢复图的图像特征信息和所述原始图像样本的图像特征信息进行损失计算求导，所述损失求导函数包括：全局损失函数、局部损失函数、语义引导损失函数和可区分性恢复损失函数。
6.根据权利要求4所述的图像去畸变方法，所述初始图像去畸变模型包括图像生成模型和图像判别模型，其中，
所述图像生成模型包括对所述畸变图像样本和所述畸变图像样本的图像特征信息进行卷积操作得到多尺度编码特征的堆叠编码器，对所述多尺度编码特征进行残差卷积操作输出归一化特征的特征处理器和处理所述归一化特征输出所述图像恢复图的堆叠解码器；
所述图像判别模型包括全局判别器、局部判别器、关键点判别器和轮廓点判别器，每次训练中根据所述所述图像恢复图的图像特征信息和所述原始图像样本的图像特征信息的差异调节所述图像判别模型，提高所述图像判别模型的判断能力，与所述图像生成模型进行对抗训练。
7.一种基于深度学习的图像去畸变装置，包括：
图像特征提取模块，获取畸变图像，对于所述畸变图像进行图像特征提取，得到畸变图像的图像特征信息；所述图像特征信息包括：人物遮罩信息、人物关键点热力图、人物轮廓点热力图、边缘信息和图像分级畸变矩阵信息；
图像特征处理模块，对所述畸变图像及对应的所述图像特征信息进行插值运算，得到多尺度畸变图像和对应的多尺度图像特征信息；
图像去畸变模块，将所述多尺度畸变图像和对应的所述多尺度图像特征信息输入图像去畸变模型中进行处理，得到去畸变图像。
8.根据权利要求7所述的图像去畸变装置，其中，所述图像去畸变模块，被配置为：
首先将预先准备的畸变图像样本和所述畸变图像样本的图像特征信息输入初始图像去畸变模型，经过处理输出图像恢复图，提取所述图像恢复图的图像特征信息并与原始图像样本的图像特征信息对比，根据对比结果调整所述初始图像去畸变模型的参数，再使用调整参数后的所述初始图像去畸变模型进行第二次所述畸变图像样本的处理，重复上述训练过程直至训练次数达到预定阈值，将最后一次调整参数得到的所述初始图像去畸变模型作为所述图像去畸变模型；
采用所述图像去畸变模型对所述多尺度畸变图像及对应的所述多尺度图像特征信息进行处理，得到所述去畸变图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至6任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110615017.8A CN113469898A (zh) | 2021-06-02 | 2021-06-02 | 基于深度学习的图像去畸变方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110615017.8A CN113469898A (zh) | 2021-06-02 | 2021-06-02 | 基于深度学习的图像去畸变方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113469898A true CN113469898A (zh) | 2021-10-01 |
Family
ID=77872121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110615017.8A Pending CN113469898A (zh) | 2021-06-02 | 2021-06-02 | 基于深度学习的图像去畸变方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469898A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934339A (zh) * | 2024-03-22 | 2024-04-26 | 摩尔线程智能科技(北京)有限责任公司 | 一种图像修复方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550125A (zh) * | 2018-04-17 | 2018-09-18 | 南京大学 | 一种基于深度学习的光学畸变修正方法 |
| CN108776772A (zh) * | 2018-05-02 | 2018-11-09 | 北京佳格天地科技有限公司 | 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质 |
| CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
| US20200267310A1 (en) * | 2020-05-07 | 2020-08-20 | Intel Corporation | Single image ultra-wide fisheye camera calibration via deep learning |
| CN111738954A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 |
| WO2021042544A1 (zh) * | 2019-09-03 | 2021-03-11 | 平安科技（深圳）有限公司 | 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质 |
-
2021
- 2021-06-02 CN CN202110615017.8A patent/CN113469898A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550125A (zh) * | 2018-04-17 | 2018-09-18 | 南京大学 | 一种基于深度学习的光学畸变修正方法 |
| CN108776772A (zh) * | 2018-05-02 | 2018-11-09 | 北京佳格天地科技有限公司 | 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质 |
| CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
| WO2021042544A1 (zh) * | 2019-09-03 | 2021-03-11 | 平安科技（深圳）有限公司 | 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质 |
| US20200267310A1 (en) * | 2020-05-07 | 2020-08-20 | Intel Corporation | Single image ultra-wide fisheye camera calibration via deep learning |
| CN111738954A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王旭初;刘辉煌;牛彦敏;: "融合多尺度局部特征与深度特征的双目立体匹配", 光学学报, no. 02, 31 December 2020 (2020-12-31) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934339A (zh) * | 2024-03-22 | 2024-04-26 | 摩尔线程智能科技(北京)有限责任公司 | 一种图像修复方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028177A (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN110675339A (zh) | 基于边缘修复和内容修复的图像修复方法及系统 | |
| CN104285239A (zh) | 图像处理装置、图像处理方法、程序、印刷介质以及记录介质 | |
| CN108108731A (zh) | 基于合成数据的文本检测方法及装置 | |
| CN110782406B (zh) | 一种基于信息蒸馏网络的图像去噪方法及装置 | |
| CN109766683B (zh) | 一种移动智能设备传感器指纹的保护方法 | |
| CN110992295A (zh) | 基于小波-red卷积神经网络的低剂量ct重建方法 | |
| CN110852980A (zh) | 交互式图像填充方法及系统、服务器、设备及介质 | |
| CN111597845A (zh) | 一种二维码检测方法、装置、设备及可读存储介质 | |
| CN112560864A (zh) | 图像语义分割方法、装置及图像语义分割模型的训练方法 | |
| CN114926734A (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
| CN114926342A (zh) | 图像超分辨率重建模型构建方法、装置、设备及存储介质 | |
| CN113469898A (zh) | 基于深度学习的图像去畸变方法及相关设备 | |
| CN113344827B (zh) | 一种图像去噪方法、图像去噪网络运算单元及设备 | |
| CN113643173A (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
| CN111986079A (zh) | 基于生成对抗网络路面裂缝图像超分辨率重建方法及装置 | |
| CN117495935A (zh) | 一种基于交叉特征提取窗口与动态特征融合窗口的深度补全方法 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN114565772B (zh) | 集合特征提取方法、装置、电子设备及存储介质 | |
| CN115170812A (zh) | 图像去噪模型训练、降噪方法及其设备、存储介质 | |
| CN103077396B (zh) | 一种彩色图像的向量空间特征点提取方法及装置 | |
| CN114049518A (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN113139920A (zh) | 一种古籍图像修复方法、终端设备及存储介质 | |
| CN112069973A (zh) | 印章处理方法、装置、设备及存储介质 | |
| Zheng et al. | Regularization parameter selection for total variation model based on local spectral response |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |