CN112561815A - 一种图像处理方法、装置、存储介质及电子装置 - Google Patents
一种图像处理方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN112561815A CN112561815A CN202011453421.1A CN202011453421A CN112561815A CN 112561815 A CN112561815 A CN 112561815A CN 202011453421 A CN202011453421 A CN 202011453421A CN 112561815 A CN112561815 A CN 112561815A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic
- target
- characteristic image
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000008439 repair process Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置、存储介质及电子装置，其方法包括：获取初始图像；对初始图像进行解析编码操作，以得到目标特征图像；对第二特征图像进行图像检测，以得到图像检测结果；在图像检测结果为第二特征图像不满足预设条件的情况下，对第二特征图像执行解析编码操作；在图像检测结果为第二特征图像满足预设条件的情况下，对目标特征图像以及第一特征图像和第二特征图像进行图像融合操作，以得到对目标区域图像的像素进行修复后的目标图像。通过本发明，解决了相关技术中图像修复质量低的问题，进而达到提高图像修复质量的效果。
Description
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种图像处理方法、装置、存储介质及电子装置。
背景技术
图像可以记录目标空间内的失误，但是受限于拍摄条件和拍摄技巧，拍摄的图像往往需要进行修复或调整，以获得满足用户需求的图像；而目前的图像调整方法会在图像修复过程中生成肉眼可见的修复痕迹，从而影响图像修复质量。
例如，在处理遥感图像时，当遥感卫星的扫描线纠正器失效或云层对拍摄区域进行遮挡时，遥感卫星数据中的图像数据会出现部分区域的像素丢失的情况；而现有的图像修复方法在进行修复过程中，会在修复区域生成不可忽略的伪影，即将不存在的图像扫描至修复的图像上，从而造成图像内容的不准确。
针对上述问题，目前并没有提出能够有效解决上述问题的方案。
发明内容
本发明实施例提供了一种图像处理方法、装置、存储介质及电子装置，以至少解决相关技术中图像修复质量低的问题。
根据本发明的一个实施例，提供了一种图像处理方法，包括：
获取初始图像，其中，所述初始图像中包括的目标区域图像的像素缺失；
对所述初始图像进行解析编码操作，以得到目标特征图像，其中，所述解析编码操作包括：解析所述初始图像，以获得所述初始图像的第一特征图像，其中，所述第一特征图像中包含所述初始图像的特征信息；通过编码译码模型对所述第一特征图像进行编码译码处理，以得到所述第一特征图的第二特征图像，其中，所述第二特征图像包含所述第一特征图像的特征信息；
对所述第二特征图像进行图像检测，以得到图像检测结果；
在所述图像检测结果为所述第二特征图像不满足预设条件的情况下，对所述第二特征图像执行所述解析编码操作；
在所述图像检测结果为所述第二特征图像满足所述预设条件的情况下，对所述目标特征图像以及所述第一特征图像和所述第二特征图像进行图像融合操作，以得到对所述目标区域图像的像素进行修复后的目标图像。
在一个示例性实施例中，对所述目标特征图像以及所述第一特征图像和所述第二特征图像进行图像融合操作，以得到目标图像包括：
对所述目标特征图像以及所述第一特征图像和所述第二特征图像的目标融合区域进行融合计算，以得到目标像素均值；
根据所述目标像素均值，对所述目标特征图像以及所述第一特征图像和所述第二特征图像的所述目标融合区域进行图像融合操作，以得到所述目标图像。
在一个示例性实施例中，在通过编码译码模型所述对所述第一特征图像进行编码译码处理之前，所述方法还包括：
获取原始数据图集；
对所述原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集，其中，所述遮挡处理用于遮挡所述原始数据图集中包括的图像的部分区域；
根据所述原始数据图集以及所述训练图像数据，对初始编码译码模型进行训练，以得到所述编码译码模型。
在一个示例性实施例中，对所述原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集包括：
在所述原始数据图集中包括的图像中随机添加掩模数据以生成训练图像数据，其中，所述掩模数据用于遮挡所述原始数据图集中包括的图像的部分区域。
根据本发明的另一个实施例，提供了一种图像处理装置，包括：
图像采集模块，用于获取初始图像，其中，所述初始图像中包括的目标区域图像的像素缺失；
图像处理模块，用于对所述初始图像进行解析编码操作，以得到目标特征图像，其中，所述解析编码操作包括：解析所述初始图像，以获得所述初始图像的第一特征图像，其中，所述第一特征图像中包含所述初始图像的特征信息；通过编码译码模型对所述第一特征图像进行编码译码处理，以得到所述第一特征图的第二特征图像，其中，所述第二特征图像包含所述第一特征图像的特征信息；
图像检测模块，用于对所述第二特征图像进行图像检测，以得到图像检测结果；
编译模块，用于在所述图像检测结果为所述第二特征图像不满足预设条件的情况下，对所述第二特征图像执行所述解析编码操作；
图像融合模块，用于在所述图像检测结果为所述第二特征图像满足所述预设条件的情况下，对所述目标特征图像以及所述第一特征图像和所述第二特征图像进行图像融合操作，以得到对所述目标区域图像的像素进行修复后的目标图像。
在一个示例性实施例中，所述图像融合模块包括：
融合计算单元，用于对所述目标特征图像以及所述第一特征图像和所述第二特征图像的目标融合区域进行融合计算，以得到目标像素均值；
融合操作单元，用于根据所述目标像素均值，对所述目标特征图像以及所述第一特征图像和所述第二特征图像的所述目标融合区域进行图像融合操作，以得到所述目标图像。
在一个示例性实施例中，所述图像处理模块还包括：
原始图集采集单元，用于获取原始数据图集；
遮挡处理单元，用于对所述原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集，其中，所述遮挡处理用于遮挡所述原始数据图集中包括的图像的部分区域；
模型训练单元，用于根据所述原始数据图集以及所述训练图像数据，对初始编码译码模型进行训练，以得到所述编码译码模型。
在一个示例性实施例中，所述遮挡处理单元包括：
掩模子单元，用于在所述原始数据图集中包括的图像中随机添加掩模数据以生成训练图像数据，其中，所述掩模数据用于遮挡所述原始数据图集中包括的图像的部分区域。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于通过循环进行解析编码操作以及图像融合，能够避免图像中出现伪影，因此，可以解决相关技术中图像修复质量低的问题，达到提高图像修复质量的效果。
附图说明
图1是本发明实施例的一种图像处理方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种图像处理方法的流程图；
图3是根据本发明实施例的一种图像处理装置的结构框图；
图4是根据本发明的具体实施例的流程图；
图5是表示本发明的具体实施例中修复过程的示例图；
图6是本发明的具体实施例中原始训练图的示例图；
图7是本发明的具体实施例中添加了掩模数据的训练图；
图8是本发明的具体实施例中的模拟图集进行训练后得到的效果图；
图9是本发明的具体实施例中的模拟图集进行训练后得到的效果图的局部放大图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像处理方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种图像处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像处理方法，图2是根据本发明实施例的的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取初始图像，其中，初始图像中包括的目标区域图像的像素缺失；
在本实施例中，初始图像中的目标区域缺失的像素可以(但不限于)是目标区域的一部分，也可以是目标区域的所有像素的缺失；目标区域的数量可以(但不限于)只有一个，也可以是有多个；目标区域可以是随机设置，也可以是按照预定要求进行设置；获取初始图像的方式可以(但不限于)是通过以太网来获取，也可以是通过蓝牙等无线网络进行获取，还可以是通过量子通信技术或通信接口来获取；初始图像的数量可以是一帧图像，也可以是多帧图像，且初始图像可以是图片，也可以是视频，还可以是图像与视频的结合；需要说明的是初始图像可以是对某个空间进行拍摄获得的，也可以是从一张图片的局部区域分离出来的，分离方式可以是随机剪切，也可以是按照预设的规则进行剪切。
例如，遥感卫星对某个空间进行拍摄后，将拍摄后的图像数据通过无线传输的方式传输至图像处理设备，随后图像处理设备将包含有目标区域像素缺失的局部图像从接收的图像数据中分离出来，并将分离得到的包含有像素确实的目标区域的局部图像作为初始图像。
步骤S204，对初始图像进行解析编码操作，以得到目标特征图像，其中，解析编码操作包括：解析初始图像，以获得初始图像的第一特征图像，其中，第一特征图像中包含初始图像的特征信息；通过编码译码模型对第一特征图像进行编码译码处理，以得到第一特征图的第二特征图像，其中，第二特征图像包含第一特征图像的特征信息；
在本实施例中，解析初始图像是为了获取初始图像的特征信息，从而能够保证修复的图像的特征不会丢失；通过编码译码模型对第一特征图像间编码译码处理是为了对第一特征图像进行图像编码译码迭代，以根据编码译码过程中的编码特征以及初始图像的特征信息对第一特征图像进行修复。
其中，解析初始图像可以(但不限于)是通过预设的解析算法进行解析计算来实现，也可以是按照预设的格式将测试指令进行翻译来实现，还可以是按照排列方式将测试指令中的信息存储至对应的位置来实现；需要说明的是，在将测试指令中的信息进行存储时，可以(但不限于)是按照信息的识别码进行分类识别后再进行存储的，也可以是按照其它方式进行分类存储；对初始图像进行解析是为了使图像处理设备能够识别初始图像中包含的图像信息，需要说明的是，图像信息可以(但不限于)包含初始图像的特征信息、目标区域信息、像素信息、像素编码形式等信息；编码译码模型可以是训练好的能够对第一特征图像重新进行编码译码以实现图像修复的神经网络模型，也可以是对第一特征图像直接进行编码译码以实现图像修复的算法模型。
例如，对初始图像进行解析，以获得包含初始图像的特征信息的第一特征图像，随后将第一特征图像输送至训练好的神经网络模型中进行译码编码，以得到修复后的第二特征图像。
步骤S206，对第二特征图像进行图像检测，以得到图像检测结果；
在本实施例中，对第二特征图像进行检测是为了确定修复后的图像是否满足预设的条件，从而避免未满足预设条件的第二特征图像被使用。
其中，图像检测可以(但不限于)检测目标区域的缺失的像素是否得到补充，也可以是检测第二特征图像是否还存在缺失像素的区域，还可以是检测第二特征图像的像素信息是否满足要求，例如，像素的平均值是否满足预设要求等，只要能够避免为满足预设条件的第二特征图像被执行后续操作即可；图像检测的执行可以(但不限于)是通过外接设备进行执行的，例如，外部云计算服务器等，也可以是通过内部模块执行，如CPU、FPGA等逻辑计算模块等；图像检测的实现可以是通过预设的算法来实现，也可以是通过神经网络模型来实现，还可以是通过其它方式来实现。
步骤S208，在图像检测结果为第二特征图像不满足预设条件的情况下，对第二特征图像执行解析编码操作；
在本实施例中，第二特征图像不满足预设条件则说明第二特征图像中还存在缺失像素的区域，因而需要通过解析编码操作进行循环迭代修复，直至满足预设条件为止。
其中，第二特征图像不满足预设条件可以(但不限于)是检测目标区域的缺失的像素未得到补充，也可以是第二特征图像还存在缺失像素的区域，还可以是检测第二特征图像的像素信息不满足要求，例如，测第二特征图像的像素信息不满足要求等。
步骤S2010，在图像检测结果为第二特征图像满足预设条件的情况下，对目标特征图像以及第一特征图像和第二特征图像进行图像融合操作，以得到对目标区域图像的像素进行修复后的目标图像。
在本实施例中，将得到的特征图像与目标区域图像进行融合是为了避免修复过程中出现像素错位或修复错误导致的图像修复错误，从而提高像素修复质量。
其中，融合操作可以是将特征图像复制粘贴至目标区域图像上，再根据像素的对应情况对错位的像素进行调整；也可以是分别计算特征图像与目标区域图像的对应区域的像素值，随后根据计算结果对错位或修复错误的像素进行调整；还可以是将不同图像中对应区域的像素进行比较，根据比较结果再对目标区域中缺失的像素进行补充，以得到修复后的目标图像。
通过上述步骤，由于对不满足预设条件的特征图像反复进行迭代，并将迭代过程得到的图像与满足预设条件的图像进行融合，从而避免图像修复过程中出现伪影或修复不完全的问题，解决了相关技术中图像修复质量低的问题，提高了图像修复质量。
其中，上述步骤的执行主体可以为基站、终端等，但不限于此。
在一个可选的实施例中，编码译码模型对第一特征图像进行编码译码处理包括：
步骤S2042，提取第一特征图像的特征信息；
步骤S2044，根据特征信息，对第一特征图像进行图像重建。
在本实施例中，特征提取的卷积层数及其对应的参数如表一所示：
表一
其中，GatedConv为门控卷积层，对应的参数依次表示：输入图像通道数、输出图像通道数、卷积核大小、步长(stride)、填充大小(padding)；bn为批归一化层，其参数表示输入输出图像通道数；其中，可以采用GatedConv3参数作为门控卷积层，以避免出现伪影；且GatedConv3参数中的输入图像通道数、输出图像通道数、卷积核大小、步长(stride)、填充大小(padding)分别为64、64、7、1、3。
对应的，GatedConv计算公式为：
Gatingy，x＝∑∑Wg·I
Featurey，x＝∑∑Wf·I
Oy，x＝φ(Featurey，x)⊙σ(Gatingy，x)
其中，φ可为任意激活函数，在本实施例中采用LeakyReLU函数；且σ采用Sigmoid函数。同时，对于在卷积过程中的padding参数，采用partial padding参数以压制修复图像中会包含的噪点。其中，partial padding的计算公式为：
其中：
进一步的，图像重建过冲中的卷积层及其参数如表二所示：
表二
其中：Conv为卷积层，ResBlk为Resnet Block残差网络模型。
另外，为提高修复质量，卷积过程中使用的损失函数在采用baseline[1]原有损失函数的基础上加入了平滑损失，其完整计算公式为：
L＝λholeLhole+λvalidLvalid+λperceptualLperceptual+λstyleLstyle+λtvLtv
其中，缺失区域损失计算公式为：
式中，1-M表示孔洞区域，公式整体表示了孔洞区域的输出和ground truth的L1loss。
非缺失区域损失计算公式为：
式中，M表示非孔洞区域，公式整体表示非孔洞区域的网络预测输出和groundtruth的L1 loss。
感知损失计算公式为：
式中，感知损失表示感知过程中的数据损失，或者内容的损失，公式整体表示了pool1，pool2，pool3层的输出和ground truth的L1损失。具体包括width(宽度)，height(高度)，channel(频道)三个方面的差异。
风格损失计算公式为：
式中，Kn为归一化参数，该参数表示为1/CnHnWn。
平滑损失计算公式为：
式中，P表示经过1个像素的膨胀后的孔洞区域。
需要说明的是，平滑性损失total variation(TV)表示为孔洞区域内一个像素和该像素的右侧像素和下面像素的L1 loss。总体来看衡量了2个孔洞区域(即原始孔洞区域与在水平方向右移一个像素的区域，或者在垂直方向下移一个像素的区域)在水平方向和垂直方向的差异。
在一个可选的实施例中，对目标特征图像以及第一特征图像和第二特征图像进行图像融合操作，以得到目标图像包括：
步骤S20102，对目标特征图像以及第一特征图像和第二特征图像的目标融合区域进行融合计算，以得到目标像素均值；
步骤S20104，根据目标像素均值，对目标特征图像以及第一特征图像和第二特征图像的目标融合区域进行图像融合操作，以得到目标图像。
在本实施例中，根据融合计算得到的目标像素均值进行融合操作，能够避免图像修复过程中出现像素错位或像素错位的问题，进而提高图像修复质量。
其中，目标融合区域可以(但不限于)是修复后的目标区域，也可以是修复后的目标区域以及无需修复的区域；实现融合计算的方式可以(但不限于)是通过预设的算法实现，也可以是通过神经网络模型实现，还可以是通过其它方式来实现；融合计算的执行可以是通过外接设备进行执行的，例如，外部云计算服务器等，也可以是通过内部模块执行，如CPU、FPGA等逻辑计算模块等。
在一个可选的实施例中，在通过编码译码模型对第一特征图像进行编码译码处理之前，该方法还包括：
步骤S20402，获取原始数据图集；
步骤S20404，对原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集，其中，遮挡处理用于遮挡原始数据图集中包括的图像的部分区域；
步骤S20406，根据原始数据图集以及训练图像数据，对初始编码译码模型进行训练，以得到编码译码模型。
在本实施例中，对原始数据图集包括的图像进行遮挡处理是为了模拟存在像素缺失的图像，从而使初始编码译码模型能够对像素缺失的原始图像进行识别。
其中，遮挡处理可以(但不限于)是通过黑色、白色或其它颜色的图像块对图像的部分区域进行遮挡以模拟像素的缺失，也可以是通过将被处理的图像的其它区域的图像复制至需遮挡的区域以模拟像素的错位或修复错误；遮挡区域可以是随机设置的，也可以是按照预设规则设置的；遮挡的区域可以是随机形状的，也可以是按照预设规则设置的特定形状，如方形、圆形、椭圆形、菱形等；遮挡处理的执行可以是通过外接设备进行执行的，例如，外部云计算服务器等，也可以是通过内部模块执行，如CPU、FPGA等逻辑计算模块等；实现遮挡处理的方式可以(但不限于)是通过预设的算法实现，也可以是通过神经网络模型实现，还可以是通过其它方式来实现。
在一个可选的实施例中，对原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集包括：
步骤S204042，在原始数据图集中包括的图像中随机添加掩模数据以生成训练图像数据，其中，掩模数据用于遮挡原始数据图集中包括的图像的部分区域。
在本实施例中，通过掩模数据对原始数据图集中包括的图像的部分区域进行遮挡是为了方便进行模拟计算，从而提高模型训练效率，进而提高图像修复效率。
其中，掩模数据可以是mask数据，也可以是其它能够执行遮挡功能的数据；掩模数据的遮挡区域可以是任意形状，也可以是预定的形状，如方形、圆形、椭圆形、菱形等。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的一种图像处理装置的结构框图，如图3所示，该装置包括：
图像采集模块32，用于获取初始图像，其中，初始图像中包括的目标区域图像的像素缺失；
图像处理模块34，用于对初始图像进行解析编码操作，以得到目标特征图像，其中，解析编码操作包括：解析初始图像，以获得初始图像的第一特征图像，其中，第一特征图像中包含初始图像的特征信息；通过编码译码模型对第一特征图像进行编码译码处理，以得到第一特征图的第二特征图像，其中，第二特征图像包含第一特征图像的特征信息；
图像检测模块36，用于对第二特征图像进行图像检测，以得到图像检测结果；
编译模块38，用于在图像检测结果为所述第二特征图像不满足预设条件的情况下，对第二特征图像执行所述解析编码操作；
图像融合模块310，用于在图像检测结果为第二特征图像满预设条件的情况下，对目标特征图像以及第一特征图像和第二特征图像进行图像融合操作，以得到对目标区域图像的像素进行修复后的目标图像。
在一个可选的实施例中，图像融合模块310包括：
融合计算单元3102，用于对目标特征图像以及第一特征图像和第二特征图像的目标融合区域进行融合计算，以得到目标像素均值；
融合操作单元3104，用于根据目标像素均值，对目标特征图像以及第一特征图像和第二特征图像的目标融合区域进行图像融合操作，以得到目标图像。
在一个可选的实施例中，图像处理模块34还包括：
原始图集采集单元342，用于获取原始数据图集；
遮挡处理单元344，用于对原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集，其中，遮挡处理用于遮挡原始数据图集中包括的图像的部分区域；
模型训练单元346，用于根据原始数据图集以及训练图像数据，对初始编码译码模型进行训练，以得到所述编码译码模型。
在一个可选的实施例中，遮挡处理单元344包括：
掩模子单元3442，用于在原始数据图集中包括的图像中随机添加掩模数据以生成训练图像数据，其中，掩模数据用于遮挡原始数据图集中包括的图像的部分区域。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
下面结合具体的实施例对本发明进行说明。
如图4及图5所示，输入图像送入特征提取模块，得到输入图像的特征图F_iden(对应图4中的步骤S401)；随后将特征图F_iden送入encoder-decoder结构的模型，得到一张重建后的候选输出图Fk(对应图4中的步骤S402-403以及图5中F1)，其中k为迭代次数，如第一次迭代时得到的特征图为F1，该候选输出图Fk中仍然可能包含缺失区域，但Fk中的缺失区域面积会小于Fk-1中的缺失面积，例如，图5中的F3的缺失区域面积小于F2中的缺失区域面积，以此类推；再将前述步骤得到的Fk作为输入图像，送回特征提取模块(对应图4中的步骤S404)；再重复前述步骤，直到生成的特征图Fk不包含缺失区域(对应图4中的步骤S405以及图5中的F4)；随后将所有得到的特征图Fk的结果融合，最终得到预测图像(对应图4中的步骤S406)。
其中，将特征图F_iden送入encoder-decoder结构的模型后，通过该模型执行特征提取和图像重建操作，其中，特征提取卷积层及其参数如前述表一所示。
其中，采用GatedConv3作为卷积层参数，而GatedConv计算公式为：
Gatingy，x＝∑∑Wg·I
Featurey，x＝∑∑Wf·I
Oy，x＝φ(Featurey，x)⊙σ(Gatingy，x)
其中：
φ可为任意激活函数，本案中使用LeakyReLU。
σ为Sigmoid函数。
相较于baseline以及现有图像修复方案，本案在卷积过程中的padding使用上选择了partial padding以压制修复图像中会包含的噪点。partial padding的计算公式为：
其中：
而图像重建的参数如前述表二所示。
而为提高修复质量，卷积过程中使用的损失函数在采用baseline[1]原有损失函数的基础上加入了平滑损失，其完整计算公式为：
L＝λholeLhole+λvalidLvalid+λperceptualLperceptual+λstyleLstyle+λtvLtv
其中，缺失区域损失计算公式为：
式中，1-M表示孔洞区域，公式整体表示了孔洞区域的输出和ground truth的L1loss。
非缺失区域损失计算公式为：
式中，M表示非孔洞区域，公式整体表示非孔洞区域的网络预测输出和groundtruth的L1 loss。
感知损失计算公式为：
式中，感知损失表示感知过程中的数据损失，或者内容的损失，公式整体表示了pool1，pool2，pool3层的输出和ground truth的L1损失。具体包括width(宽度)，height(高度)，channel(频道)三个方面的差异。
风格损失计算公式为：
式中，Kn为归一化参数，该参数表示为1/CnHnWn。
平滑损失计算公式为：
式中，P表示经过1个像素的膨胀后的孔洞区域。
需要说明的是，平滑性损失total variation(TV)表示为孔洞区域内一个像素和该像素的右侧像素和下面像素的L1 loss。总体来看衡量了2个孔洞区域(即原始孔洞区域与在水平方向右移一个像素的区域，或者在垂直方向下移一个像素的区域)在水平方向和垂直方向的差异。
另外，如图6及图7所示，在进行图像训练之前，可以通过在图6中的原始数据集上随机增加mask来模拟缺失区域来获得如图7所示的模拟图集，以对模型进行训练。为了方便起见此处使用条状mask举例，但实际过程中缺失区域可以为任意形状。
如图8以及图9所示，利用前述的模拟图集进行训练后得到效果图，其中，图8中从左到右依次为待修复的模拟图、原图、修复后的效果图；图9为模拟图、原图、修复后的效果图的局部放大图。
由于本发明的修复方法是基于部分卷积，并通过多次迭代逐步缩小待修复区域的方法得到候选输出，来获取全局和局部语义特征，因而保持了空间和语义上的连贯性。且对候选输出进行融合，使得补全区域清晰准确度较高。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取初始图像，其中，所述初始图像中包括的目标区域图像的像素缺失；
对所述初始图像进行解析编码操作，以得到目标特征图像，其中，所述解析编码操作包括：解析所述初始图像，以获得所述初始图像的第一特征图像，其中，所述第一特征图像中包含所述初始图像的特征信息；通过编码译码模型对所述第一特征图像进行编码译码处理，以得到所述第一特征图的第二特征图像，其中，所述第二特征图像包含所述第一特征图像的特征信息；
对所述第二特征图像进行图像检测，以得到图像检测结果；
在所述图像检测结果为所述第二特征图像不满足预设条件的情况下，对所述第二特征图像执行所述解析编码操作；
在所述图像检测结果为所述第二特征图像满足所述预设条件的情况下，对所述目标特征图像以及所述第一特征图像和所述第二特征图像进行图像融合操作，以得到对所述目标区域图像的像素进行修复后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标特征图像以及所述第一特征图像和所述第二特征图像进行图像融合操作，以得到目标图像包括：
对所述目标特征图像以及所述第一特征图像和所述第二特征图像的目标融合区域进行融合计算，以得到目标像素均值；
根据所述目标像素均值，对所述目标特征图像以及所述第一特征图像和所述第二特征图像的所述目标融合区域进行图像融合操作，以得到所述目标图像。
3.根据权利要求1所述的方法，其特征在于，在通过编码译码模型所述对所述第一特征图像进行编码译码处理之前，所述方法还包括：
获取原始数据图集；
对所述原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集，其中，所述遮挡处理用于遮挡所述原始数据图集中包括的图像的部分区域；
根据所述原始数据图集以及所述训练图像数据，对初始编码译码模型进行训练，以得到所述编码译码模型。
4.根据权利要求3所述的方法，其特征在于，对所述原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集包括：
在所述原始数据图集中包括的图像中随机添加掩模数据以生成训练图像数据，其中，所述掩模数据用于遮挡所述原始数据图集中包括的图像的部分区域。
5.一种图像处理装置，其特征在于，包括：
图像采集模块，用于获取初始图像，其中，所述初始图像中包括的目标区域图像的像素缺失；
图像处理模块，用于对所述初始图像进行解析编码操作，以得到目标特征图像，其中，所述解析编码操作包括：解析所述初始图像，以获得所述初始图像的第一特征图像，其中，所述第一特征图像中包含所述初始图像的特征信息；通过编码译码模型对所述第一特征图像进行编码译码处理，以得到所述第一特征图的第二特征图像，其中，所述第二特征图像包含所述第一特征图像的特征信息；
图像检测模块，用于对所述第二特征图像进行图像检测，以得到图像检测结果；
编译模块，用于在所述图像检测结果为所述第二特征图像不满足预设条件的情况下，对所述第二特征图像执行所述解析编码操作；
图像融合模块，用于在所述图像检测结果为所述第二特征图像满足所述预设条件的情况下，对所述目标特征图像以及所述第一特征图像和所述第二特征图像进行图像融合操作，以得到对所述目标区域图像的像素进行修复后的目标图像。
6.根据权利要求5所述的装置，其特征在于，所述图像融合模块包括：
融合计算单元，用于对所述目标特征图像以及所述第一特征图像和所述第二特征图像的目标融合区域进行融合计算，以得到目标像素均值；
融合操作单元，用于根据所述目标像素均值，对所述目标特征图像以及所述第一特征图像和所述第二特征图像的所述目标融合区域进行图像融合操作，以得到所述目标图像。
7.根据权利要求5所述的装置，其特征在于，所述图像处理模块还包括：
原始图集采集单元，用于获取原始数据图集；
遮挡处理单元，用于对所述原始数据图集中包括的图像进行遮挡处理，以得到训练图像数据集，其中，所述遮挡处理用于遮挡所述原始数据图集中包括的图像的部分区域；
模型训练单元，用于根据所述原始数据图集以及所述训练图像数据，对初始编码译码模型进行训练，以得到所述编码译码模型。
8.根据权利要求7所述的装置，其特征在于，所述遮挡处理单元包括：
掩模子单元，用于在所述原始数据图集中包括的图像中随机添加掩模数据以生成训练图像数据，其中，所述掩模数据用于遮挡所述原始数据图集中包括的图像的部分区域。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011453421.1A CN112561815B (zh) | 2020-12-11 | 2020-12-11 | 一种图像处理方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011453421.1A CN112561815B (zh) | 2020-12-11 | 2020-12-11 | 一种图像处理方法、装置、存储介质及电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561815A true CN112561815A (zh) | 2021-03-26 |
| CN112561815B CN112561815B (zh) | 2024-03-05 |
Family
ID=75061727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011453421.1A Active CN112561815B (zh) | 2020-12-11 | 2020-12-11 | 一种图像处理方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561815B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409839A (zh) * | 2022-11-01 | 2022-11-29 | 北京闪马智建科技有限公司 | 基于像素分析模型的道路声屏障隐患识别方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017080420A1 (en) * | 2015-11-09 | 2017-05-18 | Versitech Limited | Auxiliary data for artifacts –aware view synthesis |
| WO2020098422A1 (zh) * | 2018-11-14 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 编码图案的处理方法和装置、存储介质、电子装置 |
| CN111950637A (zh) * | 2020-08-14 | 2020-11-17 | 厦门美图之家科技有限公司 | 紫质检测方法、装置、皮肤检测仪和可读存储介质 |
-
2020
- 2020-12-11 CN CN202011453421.1A patent/CN112561815B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017080420A1 (en) * | 2015-11-09 | 2017-05-18 | Versitech Limited | Auxiliary data for artifacts –aware view synthesis |
| WO2020098422A1 (zh) * | 2018-11-14 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 编码图案的处理方法和装置、存储介质、电子装置 |
| CN111950637A (zh) * | 2020-08-14 | 2020-11-17 | 厦门美图之家科技有限公司 | 紫质检测方法、装置、皮肤检测仪和可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 应自炉;赵毅鸿;宣晨;邓文博;: "多特征融合的文档图像版面分析", 中国图象图形学报, no. 02, 16 February 2020 (2020-02-16) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409839A (zh) * | 2022-11-01 | 2022-11-29 | 北京闪马智建科技有限公司 | 基于像素分析模型的道路声屏障隐患识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112561815B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9196021B2 (en) | Video enhancement using related content | |
| US11392800B2 (en) | Computer vision systems and methods for blind localization of image forgery | |
| US9305359B2 (en) | Image processing method, image processing apparatus, and computer program product | |
| CN112101305B (zh) | 多路图像处理方法、装置及电子设备 | |
| Wolf et al. | Deflow: Learning complex image degradations from unpaired data with conditional flows | |
| Ren et al. | Multiscale structure guided diffusion for image deblurring | |
| US20220392025A1 (en) | Restoring degraded digital images through a deep learning framework | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN113689372A (zh) | 图像处理方法、设备、存储介质及程序产品 | |
| CN111067522A (zh) | 大脑成瘾结构图谱评估方法及装置 | |
| CN112597824A (zh) | 行为识别方法、装置、电子设备和存储介质 | |
| CN113158773A (zh) | 一种活体检测模型的训练方法及训练装置 | |
| CN112383824A (zh) | 视频广告过滤方法、设备及存储介质 | |
| CN114157507A (zh) | 采用大数据分析的云服务漏洞分析方法及人工智能系统 | |
| CN112561815B (zh) | 一种图像处理方法、装置、存储介质及电子装置 | |
| KR102268027B1 (ko) | 딥러닝 기반 영상의 안개 제거 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| CN113408332A (zh) | 视频分镜方法、装置、设备及计算机可读存储介质 | |
| CN108460768B (zh) | 层次化时域切分的视频关注对象分割方法和装置 | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 | |
| CN114494833A (zh) | 光缆交接箱的端口的状态识别方法及装置 | |
| CN113744158A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN111527518B (zh) | 基于超射线表示的使用来处理光场视频的方法 | |
| KR20220042467A (ko) | 동작 정보 인식 방법, 장치, 전자 디바이스 및 저장매체 | |
| Rizzo et al. | Evaluating the faithfulness of saliency-based explanations for deep learning models for temporal colour constancy | |
| CN106558018B (zh) | 基于构件分解的视频人脸幻构方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |