CN112907488A - 一种图像还原方法、装置、设备和存储介质 - Google Patents

一种图像还原方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112907488A
CN112907488A CN202110321201.1A CN202110321201A CN112907488A CN 112907488 A CN112907488 A CN 112907488A CN 202110321201 A CN202110321201 A CN 202110321201A CN 112907488 A CN112907488 A CN 112907488A
Authority
CN
China
Prior art keywords
image
feature
features
feature information
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110321201.1A
Other languages
English (en)
Inventor
陈文敏
王欢
冯歆鹏
周骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NextVPU Shanghai Co Ltd
Original Assignee
NextVPU Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NextVPU Shanghai Co Ltd filed Critical NextVPU Shanghai Co Ltd
Priority to CN202110321201.1A priority Critical patent/CN112907488A/zh
Publication of CN112907488A publication Critical patent/CN112907488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像还原方法、装置、设备和存储介质，包括：提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征信息；对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。上述技术方案，通过均衡化处理特征信息得到的均衡化特征，更加注重对包含卷曲目标物的图像的局部特征进行提取，可以获得关于卷曲目标更多的局部特征信息，连接均衡化特征和还原特征得到的目标还原图像，可以包含更多的卷曲目标物的细节信息，进一步根据均衡化特征和还原特征得到的目标还原图像更加接近包含卷曲目标物的图像，进一步提升了卷曲目标物的还原度和还原效果。

Description

一种图像还原方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像还原方法、装置、设备和存储介质。
背景技术
在图像采集过程中，往往会因为各种不同的因素，导致采集到的图像中目标物存在遮挡或者偏差，此时需要基于图像还原技术对存在遮挡或者偏差的图像进行修复。
对于包含卷曲物体的图像来说，如果需要还原其图像轮廓和图像纹理。现有的图像还原方法，可以基于边缘纹理和内容纹理对扣除掉一部分的图像进行边缘修复和内容修复，但是无法对包含卷曲物体的图像进行展开，还原度不够，而且还原效果也较差。
所以，亟需一种图像还原方法，实现对包含卷曲物体的还原，并且提升还原效果。
发明内容
本发明提供一种图像还原方法、装置、设备和存储介质，以实现对包含卷曲目标物的图像的还原，并且提升还原效果。
第一方面，本发明实施例提供了一种图像还原方法，包括：
提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征；
对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。
进一步地，提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征，包括：
基于预设生成对抗模型的生成器提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征。
进一步地，所述预设生成对抗模型的生成器包括编码模块；
相应地，基于预设生成对抗模型的生成器提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征，包括：
通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息；
根据注意力机制在通道维度和空间维度上对所述特征信息进行特征均衡化，得到均衡化特征。
进一步地，通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息，包括：
对所述编码模块的深层卷积层提取到的特征信息进行特征融合，得到深层特征；
对所述编码模块的浅层卷积层提取到的特征信息进行特征融合，得到浅层特征。
进一步地，在通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息之后，还包括：
拼接所述深层特征和所述浅层特征，得到拼接特征；
对所述拼接特征进行卷积处理，得到融合特征；
其中，根据注意力机制在通道维度和空间维度上对所述融合特征进行特征均衡化，得到均衡化特征。
进一步地，所述预设生成对抗模型通过如下方式确定：
获取包含卷曲目标物的训练图像和所述训练图像对应的真实展开图像；
将所述训练图像和所述真实展开图像作为训练数据进行模型训练，并计算损失函数；
基于反向传播更新算法进行模型优化，直至所述损失函数收敛，得到预设生成对抗模型。
进一步地，所述预设生成对抗模型还包括判别器，
相应地，将所述训练图像和所述真实展开图像作为训练数据进行模型训练，并计算损失函数，包括：
将所述训练图像和所述真实展开图像作为训练数据输入所述预设生成对抗模型；
通过所述预设生成对抗模型的生成器，确定所述训练图像对应的初始还原图像；
基于预设生成对抗模型的判别器对所述初始还原图像的图像类别进行判定；
根据判定结果确定损失函数；
其中，图像类别包括训练还原图像和真实展开图像。
第二方面，本发明实施例还提供了一种图像还原装置，包括：
提取模块，用于提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征；
连接模块，用于对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面中任一所述的图像还原方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的图像还原方法。
本发明实施例提供的一种图像还原方法，通过提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征信息；对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。上述技术方案，通过均衡化处理特征信息得到的均衡化特征信息，更加注重对包含卷曲目标物的图像的局部特征进行提取，可以获得关于卷曲目标更多的局部特征信息，连接均衡化特征和还原特征得到的目标还原图像，可以包含更多的卷曲目标物的细节信息，进一步根据均衡化特征和还原特征得到的目标还原图像更加接近包含卷曲目标物的图像，提升了卷曲目标物的还原度和还原效果。
附图说明
图1为本发明实施例一提供的一种图像还原方法的流程图；
图2为本发明实施例二提供的一种图像还原方法的流程图；
图3为本发明实施例二提供的一种图像还原方法中步骤210的流程图；
图4为本发明实施例二提供的一种图像还原方法中确定预设生成对抗模型的流程图；
图5为本发明实施例三提供的一种图像还原装置的结构图；
图6为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种图像还原方法的流程图，本实施例可适用于需要对卷曲图像进行还原的情况，该方法可以由计算机设备来执行，具体包括如下步骤：
步骤110、提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征信息。
其中，卷曲目标物在此不做具体限定，本发明实施例所提供的图像还原方法，可以将包含任一卷曲目标物的图像进行还原。例如，卷曲目标物可以包括卷曲的茶叶或者卷曲的树叶等。包含卷曲目标物的图像可以通过图像获取装置获取得到，也可以通过服务器下载得到，还可以通过输入装置输入计算机设备。
对包含卷曲目标物的图像进行卷积，可以得到包含卷曲目标物的图像对应的包含特征信息的特征图，之后通过对一定范围的特征图进行卷积，可以将多个特征图所包含的特征信息抽取成一个特征信息，获得下一个特征图。之后再继续对特征图进行卷积，特征信息之间继续组合，获得更复杂的特征图，进而可以获得更加丰富的特征信息。
特征均衡化可以包括通道维度上的均衡和空间维度上的均衡，可以提取到更加局部的特征信息，更加注重卷曲目标物的细节信息，也可以使得提取到的特征信息更加注重卷曲目标物本身，很大程度上减小对包含卷曲目标物的图像中的背景信息的关注，使得提取到的与卷曲目标物有关的局部特征更加准确。
需要说明的是，通道维度上的均衡和空间维度上的均衡可以通过注意力机制模块实现，注意力机制模块对输入的特征信息进行处理，即可以实现对特征信息在通道维度上的均衡和空间维度上的均衡。
具体地，通过卷积层可以实现对包含卷曲目标物的图像的特征信息的提取，当卷积层较浅时，可以提取到包含卷曲目标物的图像的纹理信息和细节信息；当卷积层较深时，可以提取到包含卷曲目标物的图像的高级语义信息，例如结构信息等。如果需要还原到更加细节、更加逼真的目标还原图像，则可以基于多层卷积层对卷曲图像的特征信息进行提取，前面若干层可以提取包含卷曲目标物的图像的纹理特征，后面若干层可以提取包含卷曲目标物的图像的结构特征。例如，进行特征信息提取的卷积层可以有6层，前3层可以提取包含卷曲目标物的图像的纹理特征，后3层可以提取包含卷曲目标物的图像的结构特征。
需要说明的是，编码模块可以包括多个卷积层，通过编码模块的多个卷积层对输入编码模块的卷曲图像进行卷积，提取相应的特征信息。
本发明实施例中，在前面若干层卷积层和后面若干层卷积层提取到包含卷曲目标物的纹理特征信息和结构特征信息之后，可以将纹理特征信息和结构特征信息进行融合，进而对融合得到的特征信息进行特征均衡化处理，得到均衡化特征。
步骤120、对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。
具体地，可以将均衡化特征作为输入信息输入解码模块，解码模块的转置卷积层可以对均衡化特征进行反卷积处理，进行恢复图像，得到还原特征。进而解码模块的输出信息可以和均衡化特征连接，以生成目标还原图像。
解码模块可以包括多层转置卷积层，多层转置卷积层可以依次对均衡化特征进行反卷积，每一层的输出也可以进行跳跃连接，以使得确定的初始还原图像更加接近真实还原图像。
另外，解码模块的输出信息和均衡化特征的连接可以为跳跃连接。
本发明实施例提供的一种图像还原方法，通过提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征信息；对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。上述技术方案，通过均衡化处理特征信息得到的均衡化特征信息，更加注重对包含卷曲目标物的图像的局部特征进行提取，可以获得关于卷曲目标更多的局部特征信息，连接均衡化特征和还原特征得到的目标还原图像，可以包含更多的卷曲目标物的细节信息，进一步根据均衡化特征和还原特征得到的目标还原图像更加接近包含卷曲目标物的图像，提升了卷曲目标物的还原度和还原效果。
实施例二
图2为本发明实施例二提供的一种图像还原方法的流程图，本实施例是在上述实施例的基础上进行具体化。在本实施例中，该方法还可以包括：
步骤210、提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征。
一种实施方式中，步骤210具体可以包括：
基于预设生成对抗模型的生成器提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征。
其中，预设生成对抗模型的生成器可以实现对包含卷曲目标物的图像的编码和解码过程。预设生成对抗模型的生成器可以包括编码模块和注意力机制模块，编码模块可以包括多尺度融合单元。
在提取包含卷曲目标物的图像的特征信息之前，还可以对包含卷曲目标物的图像进行图像处理。其中，图像处理可以包括图像旋转、图像下翻转、图像平翻转和图像亮暗调节等。
一种实施方式中，所述预设生成对抗模型的生成器包括编码模块；相应地，图3为本发明实施例二提供的一种图像还原方法中步骤210的流程图，如图3所示，步骤210可以包括：
步骤2110、通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息。
其中，编码模块可以包括多个卷积层，编码模块的多个卷积层可以通过卷积提取包含卷曲目标物的图像的特征信息。
具体地，如前实施例一所述，前面若干层可以提取包含卷曲目标物的图像的纹理特征，后面若干层可以提取包含卷曲目标物的图像的结构特征。例如，进行特征信息提取的卷积层可以有6层，前3层可以提取包含卷曲目标物的图像的纹理特征，后3层可以提取包含卷曲目标物的图像的结构特征。可以使得解码模块解码特征信息后生成细节更逼真的目标还原图像。
一种实施方式中，步骤2110具体可以包括：
对所述编码模块的深层卷积层提取到的特征信息进行特征融合，得到深层特征；对所述编码模块的浅层卷积层提取到的特征信息进行特征融合，得到浅层特征。
具体地，可以通过多尺度融合模块对所述编码模块的深层卷积层提取到的特征信息进行特征融合，得到深层特征；对所述编码模块的浅层卷积层提取到的特征信息进行特征融合，得到浅层特征。
多尺度融合模块可以将不同卷积层输出的特征信息进行整合，融合多层卷积层的语义特征信息和空间特征信息，以得到语义特征信息和空间特征信息都更加丰富的深层特征和浅层特征。
步骤2120、拼接所述深层特征和所述浅层特征，得到拼接特征。
具体地，在得到深层特征和浅层特征之后，可以将深层特征和浅层特征进行拼接，得到拼接特征。得到的拼接特征的通道数更多，语义特征信息和空间特征信息也更加丰富。
步骤2130、对所述拼接特征进行卷积处理，得到融合特征。
进一步可以对拼接特征进行卷积处理，得到融合特征，此处的卷积处理可以为1×1的卷积，可以减少生成器的参数，增加生成器的深度，一定程度上提升生成器的表征能力。
步骤2140、通过所述注意力机制在通道维度和空间维度上对融合特征进行特征均衡化，得到均衡化特征。
可以通过注意力机制模块在通道维度和空间维度上对所述融合特征进行特征均衡化，得到均衡化特征。
具体对融合特征进行特征均衡化的方式和步骤与前述实施例一中对特征信息进行特征均衡化的方法和步骤一致，并且效果也相同，在此不再赘述。
本发明实施例中，得到的均衡化特征可以包含更加丰富的结构特征信息和纹理特征信息，进而可以还原得到更加精确的目标还原图像。
图4为本发明实施例二提供的一种图像还原方法中确定预设生成对抗模型的流程图，如图4所示，所述预设生成对抗模型通过如下方式确定：
步骤410、获取包含卷曲目标物的训练图像和所述训练图像对应的真实展开图像。包含卷曲目标物的训练图像和训练图像对应的真实展开图像为一一对应，，将包含卷曲目标物的训练图像中的卷曲目标物展开之后进行图像获取可以得到真实展开图像。另外，在采集训练图像和真实展开图像时，为了减少卷曲目标物的移动导致训练图像和真实展开图像不对应现象的发生，可以采用透明胶带将卷曲目标物粘贴在相同背景板的同一位置，分别采集训练图像和真实展开图像。
可以采用图像获取装置采集训练图像和真实展开图像，图像获取装置可以包括线扫相机。在实际应用中，线扫相机采集到的图像尺寸可以为4k*1k，格式可以为RGB格式。本发明实施例中，可以将多次采集到的4k*1k的图像进行拼接，组成完整的训练图像和真实展开图像的单张图片，然后可以将该单张图像的尺寸调整为256*256，以得到适用于进行图像还原的训练图像和真实展开图像。
步骤420、对所述训练图像和所述真实展开图像进行图像处理，得到处理后训练图像和处理后真实展开图像。
其中，图像处理可以包括图像校准、图像旋转、图像下翻转、图像平翻转和图像亮暗调节。图像校准可以包括对卷曲目标物在训练图像和真实展开图像中位置的校准，以获取到准确对应的训练图像和真实展开图像。
图像处理可以强调图像的局部特性，将原来不清晰的图像变得清晰并强调卷曲目标物的特征，扩大训练图像和真实展开图像中卷曲目标物和背景的特征之间的差别，改善图像质量、丰富信息量，加强图像判读和识别效果，减少由于图像不够精确对图像还原效果的影响。
具体地，可以基于图像处理对采集到的训练图像和真实展开图像进行归一化操作，得到处理后训练图像和处理后真实展开图像。
步骤430、将所述训练图像和所述真实展开图像作为训练数据进行模型训练，并计算损失函数。
其中，预设生成对抗模型可以包括生成器和判别器，对预设生成对抗模型的训练过程类似博弈过程，生成器可以生成无限逼真于真实还原图像的训练还原图像，以迷惑判别器的判断，判别器可以尽可能将生成的训练还原图像与真实还原图像进行区分，且判别器的分类结果可以反向传输激励生成器，优化生成器性能。
具体地，将包含卷曲目标物的训练图像作为输入信息输入预设生成对抗模型之后，得到的输出结果可以为训练还原图像，为了使得到的训练还原图像可以无限接近真实展开图像，需要对预设生成对抗模型进行训练。
另外，损失函数可以包括对抗损失和重构损失。
本发明实施例中，不单独区分生成器和判别器的输出信息和真实信息的损失函数，可以直接求取预设生成对抗模型输出的训练还原图像和真实展开图像的损失函数，在优化判别器性能的同时可以优化生成器的性能。
一种实施方式中，步骤420具体可以包括：
将所述训练图像和所述真实展开图像作为训练数据输入所述预设生成对抗模型；通过所述预设生成对抗模型的生成器，确定所述训练图像对应的初始还原图像；基于预设生成对抗模型的判别器对所述初始还原图像的图像类别进行判定；根据判定结果确定损失函数；其中，图像类别包括训练还原图像和真实展开图像。
具体地，预设生成对抗模型的生成器可以根据训练图像得到训练图像对应的训练还原图像，即初始还原图像可以包括训练图像和展示展开图像。
可选的，所述基于预设生成对抗模型的判别器对所述初始还原图像的图像类别进行判定，包括：提取所述初始还原图像在多个尺度上的特征信息，得到各尺度的初始还原特征；分别连接各尺度的所述初始还原特征，得到连接特征；对所述连接特征信息进行分类得到分类结果；根据所述分类结果对所述初始还原图像的图像类别进行判定。
可选的，所述提取所述初始还原图像在多个尺度上的特征信息，得到各尺度的初始还原特征，包括：通过包含多个卷积层的卷积模块提取所述初始还原图像在多个尺度上的特征信息；在各尺度上对不同卷积层提取的特征信息进行跳跃连接，得到各尺度的初始还原特征。
具体地，预设生成对抗模型的判别器可以包括卷积模块，卷积模块可以包括卷积层、全连接层和归一化层，
多层卷积层可以在多个尺度上提取初始还原图像的特征信息，得到各尺度的初始还原特征；全连接层和归一化层可以对初始还原特征进行跳跃连接，得到连接特征。
需要说明的是，初始还原图像可以分块输入判别器，可以根据尺寸将初始还原图像分为多个图像块得到该尺寸的图像块集合，将不同尺寸的图像块集合输入判别器。例如，可以将初始还原图像分为N块图像块，每块图像块大小可以S*S，S可以为70。当然，图像块的块数和每块图像块的大小在此不做具体限定，可以根据获取到的训练图像和真实展开图像的尺寸和卷曲目标物的尺寸进行确定。初始还原图像分块输入判别器，可以提升判别器的识别功能。
预设生成对抗模型的判别器还可以包括分类模块，分类模块可以对连接特征进行分类，以确定初始还原图像的图像类别；基于初始还原图像的图像类别，确定初始还原图像为训练还原图像或者真实展开图像。
本发明实施例中，预设生成对抗模型的判别器可以基于卷积模块提取初始还原图像的特征信息，得到初始还原特征，并对初始还原特征进行跳跃连接，得到连接特征，可以使得该判别器更加注重于对初始还原图像所包含的卷曲目标物的特征的提取。还可以基于分类模块实现对训练还原图像或者真实展开图像的分类。
步骤440、基于反向传播更新算法进行模型优化，直至所述损失函数收敛，得到预设生成对抗模型。
具体地，在损失函数收敛时，可以将对应的参数信息确定为预设生成对抗模型的参数信息，实现对预设生成对抗模型的更新，也可以使得更新后的预设生成对抗模型更加适合对当前的包含卷曲目标物的图像进行还原。
步骤220、对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。
一种实施方式中，所述预设生成对抗模型的生成器还包括解码模块，
相应地，对所述均衡化特征进行还原处理得到还原特征，包括：
基于所述解码模块对所述均衡化特征进行还原处理得到还原特征。
具体地，可以均衡化特征作为输入信息输入解码模块，解码模块的转置卷积层可以对均衡化特征进行反卷积处理，进行恢复图像，进而解码模块的输出信息可以和均衡化特征连接，以生成目标还原图像。
本发明实施例中，连接均衡化特征和还原特征得到的特征信息更加丰富且更加细节，得到的目标还原图像可以更加接近真实展开图像，提升图像还原的精确度。
本发明实施例二提供的一种图像还原方法，通过提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征信息；对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。上述技术方案，通过均衡化处理特征信息得到的均衡化特征信息，更加注重对目标图像的局部特征进行提取，可以获得关于卷曲目标物更多的局部特征信息，连接均衡化特征和还原特征得到的目标还原图像，可以包含更多的卷曲目标物细节信息，进一步根据均衡化特征和还原特征得到的目标还原图像更加接近包含卷曲目标物的图像，提升了对包含卷曲目标物的图像的还原度和还原效果。
另外，在基于预设生成对抗模型对包含卷曲目标物的图像进行还原之前，本发明实施例提供的一种图像还原方法还可以包括对预设生成对抗模型的训练过程，提升预设生成对抗模型与卷曲目标物及包含卷曲目标物的图像的适配度，使得到的目标还原图像更加精确。
再者，本发明实施例提供的一种图像还原方法，通过所述编码模块提取包含卷曲目标物的图像的至少一层特征信息，通过所述多尺度融合模块对所述编码模块的深层卷积层提取到的特征信息进行特征融合，得到深层特征，通过所述多尺度融合模块对所述编码模块的浅层卷积层提取到的特征信息进行特征融合，得到浅层特征，拼接所述深层特征和所述浅层特征，得到拼接特征，对所述拼接特征进行卷积处理，得到融合特征，通过所述注意力机制模块在通道维度和空间维度上对融合特征进行特征均衡化，得到均衡化特征，可以得到更加丰富的结构特征信息和纹理特征信息，进而可以还原得到更加精确的目标还原图像。
实施例三
图5为本发明实施例三提供的一种图像还原装置的结构图，该装置可以适用于在需要对卷曲图像进行还原的情况，提高图像还原效果。该装置可以通过软件和/或硬件实现，并一般集成在计算机设备中。
如图5所示，该装置包括：
提取模块510，用于提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征；
连接模块520，用于对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。
本发明实施例三提供的一种图像还原装置，通过提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征；对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。上述技术方案，通过均衡化处理特征信息得到的均衡化特征，更加注重对包含卷曲目标物的图像的局部特征的提取，可以获得关于卷曲目标物更多的局部特征信息，连接均衡化特征和还原特征得到的目标还原图像，可以包含更多的卷曲目标物的细节信息，进一步根据均衡化特征和还原特征得到的目标还原图像更加接近包含卷曲目标物的图像，提升了对包含卷曲目标物的图像的还原度和还原效果。
在上述实施例的基础上，提取模块510，具体用于：
基于预设生成对抗模型的生成器提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征。
在上述实施例的基础上，所述预设生成对抗模型的生成器包括编码模块，
相应地，提取模块510，更具体用于：
通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息；
根据注意力机制在通道维度和空间维度上对所述特征信息进行特征均衡化，得到均衡化特征。
进一步地，通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息，包括：
对所述编码模块的深层卷积层提取到的特征信息进行特征融合，得到深层特征；
对所述编码模块的浅层卷积层提取到的特征信息进行特征融合，得到浅层特征。
一种实施方式中，在通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息之后，提取模块510还用于：
拼接所述深层特征和所述浅层特征，得到拼接特征；
对所述拼接特征进行卷积处理，得到融合特征；
其中，根据注意力机制在通道维度和空间维度上对所述融合特征进行特征均衡化，得到均衡化特征。
在上述实施例的基础上，所述预设生成对抗模型的生成器还包括解码模块，
相应地，连接模块520具体用于：
基于所述解码模块对所述均衡化特征进行还原处理得到还原特征。
在上述实施例的基础上，所述预设生成对抗模型通过如下方式确定：
获取包含卷曲目标物的训练图像和所述训练图像对应的真实展开图像；
将所述训练图像和所述真实展开图像作为训练数据进行模型训练，并计算损失函数；
基于反向传播更新算法进行模型优化，直至所述损失函数收敛，得到预设生成对抗模型。
一种实施方式中，所述预设生成对抗模型还包括判别器，
相应地，将所述训练图像和所述真实展开图像作为训练数据进行模型训练，并计算损失函数，包括：
将所述训练图像和所述真实展开图像作为训练数据输入所述预设生成对抗模型；
通过所述预设生成对抗模型的生成器，确定所述训练图像对应的初始还原图像；
基于预设生成对抗模型的判别器对所述初始还原图像的图像类别进行判定；
根据判定结果确定损失函数；
其中，图像类别包括训练还原图像和真实展开图像。
一种实施方式中，所述基于预设生成对抗模型的判别器对所述初始还原图像的图像类别进行判定，包括：
提取所述初始还原图像在多个尺度上的特征信息，得到各尺度的初始还原特征；
分别连接各尺度的所述初始还原特征，得到连接特征；
对所述连接特征信息进行分类得到分类结果；
根据所述分类结果对所述初始还原图像的图像类别进行判定。
一种实施方式中，所述提取所述初始还原图像在多个尺度上的特征信息，得到各尺度的初始还原特征，包括：
通过包含多个卷积层的卷积模块提取所述初始还原图像在多个尺度上的特征信息；
在各尺度上对不同卷积层提取的特征信息进行跳跃连接，得到各尺度的初始还原特征。
在上述实施例的基础上，在将所述训练图像和所述真实展开图像作为训练数据进行模型训练之前，还包括：
对所述训练图像和所述真实展开图像进行图像处理，得到处理后训练图像和处理后真实展开图像。
本发明实施例所提供的图像还原装置可执行本发明任意实施例所提供的图像还原方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括处理器610和存储器620；计算机设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；计算机设备中的处理器610和存储器620可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像还原方法对应的程序指令/模块(例如，图像还原装置中的提取模块510和连接模块520)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的图像还原方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例提供的计算机设备可以执行上述实施例提供的图像还原方法，具备相应的功能和有益效果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像还原方法，该方法包括：
提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征；
对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像还原方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述图像还原装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像还原方法，其特征在于，包括：
提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征；
对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。
2.根据权利要求1所述的图像还原方法，其特征在于，提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征，包括：
基于预设生成对抗模型的生成器提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征。
3.根据权利要求2所述的图像还原方法，其特征在于，所述预设生成对抗模型的生成器包括编码模块；
相应地，基于预设生成对抗模型的生成器提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征，包括：
通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息；
根据注意力机制在通道维度和空间维度上对所述特征信息进行特征均衡化，得到均衡化特征。
4.根据权利要求3所述的图像还原方法，其特征在于，通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息，包括：
对所述编码模块的深层卷积层提取到的特征信息进行特征融合，得到深层特征；
对所述编码模块的浅层卷积层提取到的特征信息进行特征融合，得到浅层特征。
5.根据权利要求4所述的图像还原方法，其特征在于，在通过所述编码模块提取所述包含卷曲目标物的图像的至少一层特征信息之后，还包括：
拼接所述深层特征和所述浅层特征，得到拼接特征；
对所述拼接特征进行卷积处理，得到融合特征；
其中，根据注意力机制在通道维度和空间维度上对所述融合特征进行特征均衡化，得到均衡化特征。
6.根据权利要求2所述的图像还原方法，其特征在于，所述预设生成对抗模型通过如下方式确定：
获取包含卷曲目标物的训练图像和所述训练图像对应的真实展开图像；
将所述训练图像和所述真实展开图像作为训练数据进行模型训练，并计算损失函数；
基于反向传播更新算法进行模型优化，直至所述损失函数收敛，得到预设生成对抗模型。
7.根据权利要求6所述的图像还原方法，其特征在于，所述预设生成对抗模型还包括判别器，
相应地，将所述训练图像和所述真实展开图像作为训练数据进行模型训练，并计算损失函数，包括：
将所述训练图像和所述真实展开图像作为训练数据输入所述预设生成对抗模型；
通过所述预设生成对抗模型的生成器，确定所述训练图像对应的初始还原图像；
基于预设生成对抗模型的判别器对所述初始还原图像的图像类别进行判定；
根据判定结果确定损失函数；
其中，所述图像类别包括训练还原图像和真实展开图像。
8.一种图像还原装置，其特征在于，包括：
提取模块，用于提取包含卷曲目标物的图像的特征信息，并对所述特征信息进行特征均衡化处理，得到均衡化特征；
连接模块，用于对所述均衡化特征进行还原处理得到还原特征，连接所述均衡化特征和所述还原特征得到目标还原图像。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的图像还原方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像还原方法。
CN202110321201.1A 2021-03-25 2021-03-25 一种图像还原方法、装置、设备和存储介质 Pending CN112907488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321201.1A CN112907488A (zh) 2021-03-25 2021-03-25 一种图像还原方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321201.1A CN112907488A (zh) 2021-03-25 2021-03-25 一种图像还原方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN112907488A true CN112907488A (zh) 2021-06-04

Family

ID=76106543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321201.1A Pending CN112907488A (zh) 2021-03-25 2021-03-25 一种图像还原方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112907488A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116362972A (zh) * 2023-05-22 2023-06-30 飞狐信息技术（天津）有限公司 图像处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116362972A (zh) * 2023-05-22 2023-06-30 飞狐信息技术（天津）有限公司 图像处理方法、装置、电子设备及存储介质
CN116362972B (zh) * 2023-05-22 2023-08-08 飞狐信息技术（天津）有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111050219A (zh) 用于定位视频内容中的目标对象的空间-时间记忆网络
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110837811A (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
CN112132847A (zh) 模型训练方法、图像分割方法、装置、电子设备和介质
CN113963409A (zh) 一种人脸属性编辑模型的训练以及人脸属性编辑方法
Din et al. Effective removal of user-selected foreground object from facial images using a novel GAN-based network
CN114387512B (zh) 基于多尺度特征融合与增强的遥感影像建筑物提取方法
CN110895795A (zh) 改进的语义图像修补模型方法
CN115860091B (zh) 一种基于正交约束的深度特征描述符学习方法
CN113724128A (zh) 一种训练样本的扩充方法
JP2023526899A (ja) 画像修復モデルを生成するための方法、デバイス、媒体及びプログラム製品
CN111461211A (zh) 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN112907488A (zh) 一种图像还原方法、装置、设备和存储介质
CN113450297A (zh) 红外图像和可见光图像的融合模型构建方法及系统
CN116468947A (zh) 刀具图像识别方法、装置、计算机设备及存储介质
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN111862321A (zh) 视差图的获取方法、装置、系统及存储介质
CN110059645A (zh) 一种人脸识别方法、系统及电子设备和存储介质
CN113706572B (zh) 一种基于查询向量的端到端的全景图像分割方法
CN115249221A (zh) 图像处理方法、装置和云设备
CN116341630A (zh) 神经网络处理
CN112801045B (zh) 一种文本区域检测方法、电子设备及计算机存储介质
CN114973424A (zh) 特征提取模型训练、手部动作识别方法、装置及电子设备
CN114299128A (zh) 多视角定位检测方法及装置
CN115705758A (zh) 活体识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination