CN111738952B - 一种图像修复的方法、装置及电子设备 - Google Patents

一种图像修复的方法、装置及电子设备 Download PDF

Info

Publication number
CN111738952B
CN111738952B CN202010574404.7A CN202010574404A CN111738952B CN 111738952 B CN111738952 B CN 111738952B CN 202010574404 A CN202010574404 A CN 202010574404A CN 111738952 B CN111738952 B CN 111738952B
Authority
CN
China
Prior art keywords
image
network
processed
layer
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010574404.7A
Other languages
English (en)
Other versions
CN111738952A (zh
Inventor
段然
朱丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010574404.7A priority Critical patent/CN111738952B/zh
Publication of CN111738952A publication Critical patent/CN111738952A/zh
Priority to PCT/CN2021/095778 priority patent/WO2021258959A1/zh
Priority to US17/922,150 priority patent/US20230177652A1/en
Application granted granted Critical
Publication of CN111738952B publication Critical patent/CN111738952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种图像修复的方法、装置及电子设备,其中,所述方法包括:将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。用于去除视频压缩中的噪声,提高显示品质。

Description

一种图像修复的方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像修复的方法、装置及电子设备。
背景技术
为了避免视频占用较大的存储空间,以及提高传输速度,常常需要将视频进行压缩,然而,压缩过程中难免产生各种噪声,进而影响显示效果。
可见,如何去除视频压缩中的噪声,提高显示品质就变得极为重要。
发明内容
本发明提供了一种图像修复的方法、装置及电子设备,用于去除视频压缩中的噪声,提高显示品质。
第一方面,本发明实施例提供了一种图像修复的方法,包括:
将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
在一种可能的实现方式中,所述根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,包括:
通过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进行去压缩噪声处理,输出第二图像。在一种可能的实现方式中,所述递归网络中所述第一卷积层包括第一子卷积层和第二子卷积层,所述第一特征串联层包括第一子特征串联层和第二子特征串联层,所述第一采样层包括第一下采样层和第一上采样层,所述通过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进行去压缩噪声处理,输出第二图像,包括:
通过所述第一子特征串联层接收由所述单帧网络中各第二卷积层中第三子卷积层所提取的所述待处理图像的第一特征图,以及通过所述第一子特征串联层获取所述递归网络中与各所述第三子卷积层对应的所述第一子卷积层从所述先前帧图像中所提取的第二特征图;
通过所述第一子特征串联层对所述第一特征图和所述第二特征图进行串联操作,获得串联特征图;
通过所述第一子卷积层对所述串联特征图进行压缩,获得压缩后的特征图,所述压缩后的特征图为通过各所述第一子卷积层从所述待处理图像中所提取的所述第二特征图;
通过所述第一采样层中的第一下采样层,从所述压缩后的特征图中提取多个空间尺寸的特征图;
通过所述第一上采样层,确定与所述多个空间尺寸中相同空间尺寸的特征图;
通过所述第二子特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第一拼接特征图;
通过所述第二子卷积层对所述第一拼接特征图进行处理,输出所述第二图像。
在一种可能的实现方式中,所述单帧网络包括级联的第二卷积层、第二采样层和第二特征串联层,所述第二卷积层包括第三子卷积层和第四子卷积层,所述第二采样层包括第二下采样层和第二上采样层,所述通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像,包括:
通过各所述第三子卷积层提取所述待处理图像的第一特征图;
通过所述第二下采样层,从所述第一特征图中提取多个空间尺寸的特征图;
通过所述第二上采样层,确定与所述多个空间尺寸中相同空间尺寸的特征图;
通过所述第二特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第二拼接特征图;
通过所述第四子卷积层对所述第二拼接特征图进行处理,输出所述第一图像。
在一种可能的实现方式中,在所述将待处理图像输入目标去噪网络之前,所述方法还包括:
所述目标去噪网络的训练过程,具体执行:
获取多组图像帧序列,每组图像帧序列包括多幅图像;
将所述多组图像帧序列分别编码成真值视频以及仿真视频,其中,所述仿真视频中的每帧仿真图像中包含有压缩噪声;
将所述仿真视频中每帧仿真图像输入待训练去噪网络,输出对应帧的仿真去噪图像;
根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数;
将所述第一损失函数低于第一预设阈值时所对应的网络,作为所述目标去噪网络。
在一种可能的实现方式中,所述根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数,包括:
若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差小于或者等于δ时,则采用L2损失函数;
若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差大于δ时,则采用L1损失函数;
其中,所述L2损失函数对应的公式为:
所述L1损失函数对应的公式为:其中,f(x)表示仿真去噪图像,y表示所述真值视频中与所述仿真去噪图像对应帧的真值图像。
在一种可能的实现方式中,在所述根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数之后,所述方法还包括:
在所述第一损失函数低于所述第一预设阈值时,对所述真值视频中每帧真值图像进行锐化处理,获得边缘增强后的真值视频;
确定所述仿真去噪图像与所述边缘增强后的真值视频中对应帧图像间的第二预测偏差,确定针对所述待训练去噪网络的第二损失函数;
将所述第二损失函数低于第二预设阈值时所对应的网络,作为所述目标去噪网络。
第二方面,本发明实施例还提供了一种用于图像修复的装置,包括:
输入单元,用于将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
第一处理单元,用于通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
第二处理单元,用于根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
输出单元,用于将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
第三方面,本发明实施例提供了一种用于图像修复的电子设备,包括:
存储器和处理器;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,存储的所述计算机指令被处理器执行时能够实现如上面所述的图像修复的方法。
本发明的有益效果如下:
本发明实施例提供了一种图像修复的方法、装置及电子设备,其中,该方法将待处理视频中的任一帧待处理图像输入由单帧网络和递归网络构成的目标去噪网络,通过该单帧网络对该待处理图像进行去压缩噪声处理,输出第一图像,根据待处理图像在待处理视频中的先前帧图像的内容,通过递归网络对待处理图像进行去压缩噪声处理,输出第二图像,然后,将第一图像和第二图像进行加权求和,输出针对该当前帧图像的去噪图像。也就是说,对待处理视频中的任一帧待处理图像需要根据当前帧的待处理图像与先前帧图像来综合起来进行去压缩噪声的处理,从而实现了对待处理视频中的任一帧图像中的压缩噪声的去除,提高了显示品质,此外,由于整个去压缩噪声的过程中利用了前后帧图像之间的联系,从而能够实现对帧间的运动补偿,进而提高了视频品质。
附图说明
图1为本发明实施例提供的目标去噪网络的其中一种结构示意图;
图2为本发明实施例提供的递归网络的其中一种结构示意图;
图3为本发明实施例提供的递归网络的其中一种结构示意图;
图4为本发明实施例提供的单帧网络的其中一种结构示意图;
图5为本发明实施例提供的目标去噪网络的其中一种结构示意图;
图6为本发明实施例提供的一种图像修复方法的方法流程图;
图7为本发明实施例提供的一种图像修复方法中步骤S103的其中一种方法流程图;
图8为本发明实施例提供的一种图像修复方法中步骤S102的方法流程图;
图9为本发明实施例提供的一种图像修复方法中在步骤S101之前的方法流程图;
图10为本发明实施例提供的一种图像修复方法中在步骤S404之后的方法流程图;
图11为本发明实施例提供的一种用于图像修复的装置的结构示意图;
图12为本发明实施例提供的一种用于图像修复的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。并且在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
现有针对视频去除压缩噪声的方法,主要是在视频压缩过程中对压缩噪声进行去除,具体是,在视频压缩编码过程中,尽可能地减少因为压缩所产生的噪声,其主要是在同等压缩程度下,令视频呈现更高的质量。整个处理过程无法实现对已经压缩受损的视频进行去噪,视频品质较差。
鉴于此,本发明实施例提供了一种图像修复的方法、装置及电子设备,用于去除视频压缩中的噪声,提高显示品质。
在介绍本发明实施例所提供技术方案之前,首先对本发明实施例中用于图像修复的目标去噪网络的具体结构进行简单的描述。如图1所示为目标去噪网络1的其中一种结构示意图,具体来讲,该目标去噪网络1包括单帧网络20和递归网络10。其中,如图2所示为递归网络10的其中一种结构示意图,该递归网络10包括级联的第一卷积层101、第一特征串联层102和第一采样层103。在具体实施过程中,递归网络10中的各层结构可以是多个,如图3所示为递归网络10的其中一种结构示意图,具体来讲,该递归网络10中第一卷积层101包括第一子卷积层1011和第二子卷积层1012,第一特征串联层102包括第一子特征串联层1021和第二子特征串联层1022,第一采样层103包括第一下采样层1031和第一上采样层1032。如图4所示为单帧网络20包括级联的第二卷积层201、第二采样层202和第二特征串联层203,第二卷积层201包括第三子卷积层2011和第四子卷积层2014,第二采样层202包括第二下采样层2021和第二上采样层2022。
在具体实施过程中,单帧网络20和递归网络10的网络结构大体相同,比如,单帧网络20第二卷积层201中包括N个第三子卷积层2011,则相应地,递归网络10第一卷积层201中也包括N个第一子卷积层1011,其中,N为大于1的整数,此外,单帧网络20与递归网络10中各子卷积层设置的位置也大体相同。第一下采样层1031可以是多个,相应地,第一上采样层1032也可以是多个,比如,有两个第一下采样层1031,则相应地有两个第一上采样层1032。
在本发明实施例中,如图5所示为目标去噪网络1的其中一种结构示意图,具体来讲,第一下采样层1031为两个,第一上采样层1032包括的上采样层为两个,第二子卷积层1012为一个,第一子特征串联层1021为一个,第二下采样层2021包为两个,第二上采样层2022为两个,第四子卷积层2014为一个,第二特征串联层203为两个时的其中一种结构示意图,其中,网络中各卷积层滤波器数量如图5中横线上方的数字所示,比如64、128。
在具体实施过程中,各卷积层的卷积核的尺寸均可以为3×3,步长stride为1,对各卷积层的输入做pad size为1的0填充,从而保证各卷积层的输入输出尺寸相等,在经各卷积层输出后可以使用relu激活函数对输出做非线性运算。对各下采样层可以使用步长stride为2的卷积层对特征图的空间维度进行2倍下采样,卷积核尺寸为3×3。对各上采样层可以采用卷积层和深度到空间depth to space层对特征图的空间维度进行2倍上采样,首先,卷积层将输入的特征图的特征维度扩大为原来的4倍,卷积核尺寸为3×3,步长为1,然后,depth to space层将特征图的特征维度的扩张转换为空间维度上的放大。对于各特征串联层,主要是从单帧网络20中提取不同尺度的特征图与递归网络10对应尺度的特征图在特征维度上做串联操作,后接一个卷积层对特征维度进行压缩。
在具体实施过程中,通过单帧网络20和递归网络10所构成的目标去噪网络1对待处理视频中的任一帧待处理图像进行图像修复,该目标去噪网络1中各层具体的处理过程将在后续进行描述,在此不再详述。
如图6所示为本发明实施例提供的一种图像修复方法的方法流程图,具体来讲,该图像修复的方法包括:
S101:将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
在具体实施过程中,待处理视频可以是经压缩后的视频,比如,原视频帧率为30,码率为100M,待处理视频为将其该源视频压缩为码率为2M的视频。目标去噪网络中的单帧网络和递归网络可以是同样的编码解码结构,二者都可以是RNN网络模型。在具体实施过程中,该目标去噪网络可以是经训练好的网络。待处理图像为待处理视频中的任意一帧图像。
S102:通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
S103:根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
在具体实施过程中,先前帧图像的内容可以是先前帧图像的语义信息,该语义信息可以是通过递归网络中的各卷积层从先前帧图像中所提取出的特征图。根据先前帧图像的内容,递归网络可以对待处理图像进行去压缩噪声处理,从而输出第二图像。也就是说,递归网络可以根据待处理视频中的前后帧间的联系来进行去压缩噪声处理,比如,前后帧间的联系可以是运动联系,进而输出第二图像。由于第二图像为利用前后帧图像之间的联系进行去压缩噪声处理之后所获得图像,所获得的第二图像显示效果更好。
S104:将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
在具体实施过程中,在输出第一图像和第二图像之后,可以是将第一图像和第二图像进行加权求和,将加权求和后的图像作为针对待处理图像的去噪图像。由于单帧网络直接对待处理图像进行去噪,去噪程度更好。此外,由于基于前后帧间的关系,在保证前后帧图像细节的同时,通过递归网络对待处理图像进行了去噪处理,有利于保证视频品质。
在具体实施过程中,比如,对第一图像P1和第二图像P2的加权处理后为a×P1+b×P2,相应地,通过目标去噪网络对待处理图像进行去噪处理后的去噪图像P可以为a×P1+b×P2,a表示对第一图像P1的加权系数,b表示对第二图像P2的加权系数,a+b=1,在具体实施过程中,可以根据实际需要来设定第一图像P1和第二图像P2的加权系数,比如,a>b时,对待处理图像的去噪能力更强,再比如,a<b,待处理图像与先前帧图像之间的细节更连贯,显示效果更好。当然,本领域技术人员可以根据实际应用需要来设定第一图像P1和第二图像P2的加权系数,在此不做限定。
在本发明实施例中,步骤S103:根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像,包括:
通过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进行去压缩噪声处理,输出第二图像。
在具体实施过程中,第一卷积层可以是一层或多层,第一特征串联层可以是一层获得多层,第一采样层可以是一层或多层。通过递归网络中的级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进行去压缩噪声处理,由于递归网络充分考虑到了先前帧图像中的内容,从而提高了对视频去噪后的图像内容间的连贯性,提高了显示品质。
在本发明实施例中,如图7所示,步骤:通过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进行去压缩噪声处理,输出第二图像,包括:
S201:通过所述第一子特征串联层接收由所述单帧网络中各第二卷积层中第三子卷积层所提取的所述待处理图像的第一特征图,以及通过所述第一子特征串联层获取所述递归网络中与各所述第三子卷积层对应的所述第一子卷积层从所述先前帧图像中所提取的第二特征图;
S202:通过所述第一子特征串联层对所述第一特征图和所述第二特征图进行串联操作,获得串联特征图;
S203:通过所述第一子卷积层对所述串联特征图进行压缩,获得压缩后的特征图,所述压缩后的特征图为通过各所述第一子卷积层从所述待处理图像中所提取的所述第二特征图;
S204:通过所述第一采样层中的第一下采样层,从所述压缩后的特征图中提取多个空间尺寸的特征图;
S205:通过所述第一上采样层,确定与所述多个空间尺寸中相同空间尺寸的特征图;
S206:通过所述第二子特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第一拼接特征图;
S207:通过所述第二子卷积层对所述第一拼接特征图进行处理,输出所述第二图像。
在具体实施过程中,步骤S201至步骤S207的具体实现过程如下:
首先,通过第一子特征串联层接收由单帧网络中各第二卷积层中第三子卷积层所提取的待处理图像的第一特征图,以及通过第一子特征串联层获取递归网络中与各第三子卷积层对应的第一子卷积层从先前帧图像中所提取的第二特征图,其中,单帧网络中的第三子卷积层可以是多个,递归网络中的第一子卷积层也可以是多个,在通过单帧网络其中的一个第三子卷积层从待处理图像中提取第一特征图时,可以通过递归网络中与该第三子卷积层对应的第一子卷积层从先前帧图像中提取第二特征图。在具体实施过程中,多个第三子卷积层中的任一子卷积层都可以从待处理图像中提取出对应的特征图。相应地,多个第一子卷积层中的任一子卷积层都可以从先前帧图像中提取出对应的特征图。
在通过第一子特征串联层接收第一特征图以及第二特征图之后,通过第一子特征串联层对第一特征图和第二特征图进行串联操作,获得串联特征图,该串联特征图包括有前后帧图像间的特征关系;然后,通过第一子卷积层对该串联特征图进行压缩,获得压缩后的特征图,该压缩后的特征图可以为通过各第一子卷积层从待处理图像中所提取的第二特征图,比如,该压缩后的特征图可以是在目标去噪网络对待处理图像之后的后一帧图像进行去噪处理时,通过第一子卷积层从待处理图像中所提取的第二特征图。
然后,通过第一采样层中的第一下采样层,从压缩后的特征图中提取多个空间尺寸的特征图。其中,第一下采样层可以是多个,每个下采样层提取相应空间尺寸的特征图,多个下采样层分别提取不同空间尺寸的特征图,多个空间尺寸中的任意两个空间尺寸大小不同。比如,第一下采样层有两个,则可以从压缩后的特征图中提取两个空间尺寸的特征图,其中,两个空间尺寸的特征图也就是说两个不同空间尺寸的特征图,再比如,第一下采样层有三个,则可以从压缩后的特征图中提取三个空间尺寸的特征图,其中,三个空间尺寸的特征图也就是说三个不同空间尺寸的特征图。从而通过多个第一下采样层实现对压缩后的特征图在不同空间尺寸的处理。
然后,通过第一上采样层,确定与多个空间尺寸中相同空间尺寸的特征图,比如,通过第一上采样层,确定与三个空间尺寸中相同空间尺寸的特征图。在具体实施过程中,递归网络中的第一上采样层也可以是多个,通过每个第一上采样层可以确定与多个空间尺寸中相同空间尺寸的特征图。
然后,通过第二子特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第一拼接特征图。然后,通过第二子卷积层对第一拼接特征图进行处理,从而输出第二图像。从而通过递归网络中级联的第一卷积层、第一特征串联层、第一采样层中各层间的处理,实现了对第二图像的输出。
在本发明实施例中,如图8所示,步骤S102:通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像,包括:
S301:通过各所述第三子卷积层提取所述待处理图像的第一特征图;
S302:通过所述第二下采样层,从所述第一特征图中提取多个空间尺寸的特征图;
S303:通过所述第二上采样层,确定与所述多个空间尺寸中相同空间尺寸的特征图;
S304:通过所述第二特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第二拼接特征图;
S305:通过所述第四子卷积层对所述第二拼接特征图进行处理,输出所述第一图像。
在具体实施过程中,步骤S301至步骤S305的具体实现过程如下:
首先,通过单帧网络中各第三子卷积层提取待处理图像的第一特征图,然后,通过单帧网络中的第二下采样层,从第一特征图中提取多个空间尺寸的特征图,其中,第二下采样层可以是多个,每个下采样层提取相应空间尺寸的特征图,多个第二下采样层分别提取不同空间尺寸的特征图,多个空间尺寸中的任意两个空间尺寸大小不同。然后,通过单帧网络中的第二上采样层,确定与多个空间尺寸中相同空间尺寸的特征图。比如,第二下采样层从第一特征图中提取了两个不同空间尺寸的特征图,则相应地,从第二上采样层确定与这两个不同空间尺寸中相同空间尺寸的特征图,然后,通过单帧网络中的第二特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第二拼接特征图。然后,通过单帧网络中的第四子卷积层对第二拼接特征图进行处理,输出第一图像。
在本发明实施例中,如图9所示,在步骤S101:将待处理图像输入目标去噪网络之前,所述方法还包括:
所述目标去噪网络的训练过程,具体执行:
S401:获取多组图像帧序列,每组图像帧序列包括多幅图像;
S402:将所述多组图像帧序列分别编码成真值视频以及仿真视频,其中,所述仿真视频中的每帧仿真图像中包含有压缩噪声;
S403:将所述仿真视频中每帧仿真图像输入待训练去噪网络,输出对应帧的仿真去噪图像;
S404:根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数;
S405:将所述第一损失函数低于第一预设阈值时所对应的网络,作为所述目标去噪网络。
在具体实施过程中,步骤S401至步骤S405的具体实现过程如下:
首先,获取多组图像帧序列,每组图像帧序列包括多幅图像,比如,采用ICCV-2019主办的AIM竞赛提供的训练集作为训练数据,该训练集共包括240组帧序列,每组帧序列含有181幅1280×720的清晰图像,对该目标去噪网络进行训练。具体地,对训练集进行如下处理,首先,将多组图像帧序列分别编码成真值视频以及仿真视频,其中,该仿真视频中的每帧仿真图像中包含有压缩噪声,比如,使用ffmpeg将上述240组帧序列编码成MP4格式的视频作为训练集的真值视频,其中,编码格式为H.264,帧率为25,码率为130M左右。使用ffmpeg将上述240组帧序列进行H.264编码,帧率为25,码率压缩至2M左右,生成含有压缩噪声和伪影的仿真视频。然后,将仿真视频中每帧仿真图像输入待训练去噪网络,输出对应帧的仿真去噪图像。然后,根据仿真去噪图像与真值视频中对应帧真值图像间的第一预测偏差,确定针对待训练去噪网络的第一损失函数,然后,将第一损失函数低于第一预设阈值时所对应的网络,作为目标去噪网络。其中,本领域技术人员可以根据实际应用需要来设置第一预设阈值的具体数值,在此不做限定。
在本发明实施例中,步骤S504:根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数,根据第一预测偏差与设定的偏差值δ间的数值大小,可以有以下两种情况:
第一种情况为,若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差小于或者等于δ时,则采用L2损失函数;
第二种情况为,若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差大于δ时,则采用L1损失函数;
其中,所述L2损失函数对应的公式为:
所述L1损失函数对应的公式为:其中,f(x)表示仿真去噪图像,y表示所述真值视频中与所述仿真去噪图像对应帧的真值图像。
在具体实施过程中,设定的偏差值δ可以是1,当然,本领域技术人员可以根据实际应用来设置δ的数值大小,在此不做限定。
在本发明实施例中,如图10所示,在步骤S404:根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数之后,所述方法还包括:
S501:在所述第一损失函数低于所述第一预设阈值时,对所述真值视频中每帧真值图像进行锐化处理,获得边缘增强后的真值视频;
S502:确定所述仿真去噪图像与所述边缘增强后的真值视频中对应帧图像间的第二预测偏差,确定针对所述待训练去噪网络的第二损失函数;
S503:将所述第二损失函数低于第二预设阈值时所对应的网络,作为所述目标去噪网络。
在具体实施过程中,步骤S501至步骤S503的具体实现过程如下:
首先,在第一损失函数低于第一预设阈值时,对真值视频中每帧真值图像进行锐化处理,获得边缘增强后的真值视频,其中,可以使用Adam优化算法对待训练去噪网络中的网络参数进行优化,在训练初期使用真值视频和对应的仿真视频进行训练,当第一损失函数低于第一预设阈值时,经训练的待训练去噪网络能够较完整地恢复图像内容,此时对真值视频中每帧图像进行锐化处理,再作为损失函数中的目标函数y,继续对该去噪网络进行训练。具体地,确定该仿真去噪图像与边缘增强后的真值视频中对应帧图像间的第二预测偏差,确定针对该待训练去噪网络的第二损失函数,具体地,仍采用与计算第一损失函数的相同公式来确定针对待训练去噪网络的第二损失函数,在此不再详述。然后,将第二损失函数低于第二预设阈值时所对应的网络,作为目标去噪网络。由于对待训练去噪网络的训练过程中,先对真值视频进行了增强,然后再对待训练去噪网络进行增强,从而有助于减轻去噪后图像的模糊程度,能有效提升去噪后图像的清晰度,更好地还原图像细节,从而提高了重建图像的质量。
在具体实施过程中,在对待训练去噪网络进行训练时,为了提高训练效率,可以是对输入的每组图像帧序列做裁块处理,每个图像块的尺寸为256×256,从而将整幅图像裁成15个patch作为一个batch。网络学习率可以为设置为10^(-4),学习率的衰减系数可以为0.8,每训练一个epoch,学习率衰减为原来的0.8倍,从而提高了网络训练的稳定性。此外,epoch可以设置为100,网络一共训练了100个epoch,当网络训练到最后10个epoch时,每个epoch得到的模型效果已不再有明显变化。当然,还可以根据实际应用需要来设置对待训练去噪网络进行训练的各个参数,在此不做限定。
在本发明实施例中,用于图像修复的目标去噪网络解决问题的原理与前述图像修复的方法相似,因此该目标去噪网络的实施可以参见前述图像修复的方法的实施,重复之处不再赘述。
基于同一发明构思,如图11所示,本发明实施例还提供了一种用于图像修复的装置,包括:
输入单元100,用于将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
第一处理单元200,用于通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
第二处理单元300,用于根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
输出单元400,用于将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
在本发明实施例中,第二处理单元300用于:
通过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进行去压缩噪声处理,输出第二图像。
在本发明实施例中,第二处理单元300用于:
通过所述第一子特征串联层接收由所述单帧网络中各第二卷积层中第三子卷积层所提取的所述待处理图像的第一特征图,以及通过所述第一子特征串联层获取所述递归网络中与各所述第三子卷积层对应的所述第一子卷积层从所述先前帧图像中所提取的第二特征图;
通过所述第一子特征串联层对所述第一特征图和所述第二特征图进行串联操作,获得串联特征图;
通过所述第一子卷积层对所述串联特征图进行压缩,获得压缩后的特征图,所述压缩后的特征图为通过各所述第一子卷积层从所述待处理图像中所提取的所述第二特征图;
通过所述第一采样层中的第一下采样层,从所述压缩后的特征图中提取多个空间尺寸的特征图;
通过所述第一上采样层,确定与所述多个空间尺寸中相同空间尺寸的特征图;
通过所述第二子特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第一拼接特征图;
通过所述第二子卷积层对所述第一拼接特征图进行处理,输出所述第二图像。在本发明实施例中,第一处理单元200用于:
通过各所述第三子卷积层提取所述待处理图像的第一特征图;
通过所述第二下采样层,从所述第一特征图中提取多个空间尺寸的特征图;
通过所述第二上采样层,确定与所述多个空间尺寸中相同空间尺寸的特征图;
通过所述第二特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第二拼接特征图;
通过所述第四子卷积层对所述第二拼接特征图进行处理,输出所述第一图像。在本发明实施例中,在输入单元100将待处理图像输入目标去噪网络之前,所述用于图像修复的装置还包括:
训练单元,该训练单元用于:
获取多组图像帧序列,每组图像帧序列包括多幅图像;
将所述多组图像帧序列分别编码成真值视频以及仿真视频,其中,所述仿真视频中的每帧仿真图像中包含有压缩噪声;
将所述仿真视频中每帧仿真图像输入待训练去噪网络,输出对应帧的仿真去噪图像;
根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数;
将所述第一损失函数低于第一预设阈值时所对应的网络,作为所述目标去噪网络。
在本发明实施例中,训练单元用于:
若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差小于或者等于δ时,则采用L2损失函数;
若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差大于δ时,则采用L1损失函数;
其中,所述L2损失函数对应的公式为:
所述L1损失函数对应的公式为:其中,f(x)表示仿真去噪图像,y表示所述真值视频中与所述仿真去噪图像对应帧的真值图像。
在本发明实施例中,训练单元还用于:
在所述第一损失函数低于所述第一预设阈值时,对所述真值视频中每帧真值图像进行锐化处理,获得边缘增强后的真值视频;
确定所述仿真去噪图像与所述边缘增强后的真值视频中对应帧图像间的第二预测偏差,确定针对所述待训练去噪网络的第二损失函数;
将所述第二损失函数低于第二预设阈值时所对应的网络,作为所述目标去噪网络。
在本发明实施例中,用于图像修复的装置解决问题的原理与前述图像修复的方法相似,因此该用于图像修复的装置的实施可以参见前述图像修复的方法的实施,重复之处不再赘述。
基于同一发明构思,如图12所示,本发明实施例提供了一种用于图像修复的电子设备,包括:
存储器2和处理器3;
其中,存储器2用于存储程序;
处理器3用于执行存储器2中的程序,包括如下步骤:
将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
处理器3可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的图像修复的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2,处理器3读取存储器2中的信息,结合其硬件完成信号处理流程的步骤。
具体地,处理器3用于读取存储器2中的程序,执行上述图像修复的方法所述的任一步骤。
基于同一发明构思,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,存储的所述计算机指令被处理器执行时能够实现如上面所述的图像修复的方法的步骤。
本发明实施例提供了一种图像修复的方法、装置及电子设备,其中,该方法将待处理视频中的任一帧待处理图像输入由单帧网络和递归网络构成的目标去噪网络,通过该单帧网络对该待处理图像进行去压缩噪声处理,输出第一图像,根据待处理图像在待处理视频中的先前帧图像的内容,通过递归网络对待处理图像进行去压缩噪声处理,输出第二图像,然后,将第一图像和第二图像进行加权求和,输出针对该当前帧图像的去噪图像。也就是说,对待处理视频中的任一帧待处理图像需要根据当前帧的待处理图像与先前帧图像来综合起来进行去压缩噪声的处理,从而实现了对待处理视频中的任一帧图像中的压缩噪声的去除,提高了显示品质,此外,由于整个去压缩噪声的过程中利用了前后帧图像之间的联系,从而能够实现对帧间的运动补偿,进而提高了视频品质。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像修复的方法,其特征在于,包括:
将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
2.如权利要求1所述的方法,其特征在于,所述根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,包括:
通过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进行去压缩噪声处理,输出第二图像。
3.如权利要求2所述的方法,其特征在于,所述递归网络中所述第一卷积层包括第一子卷积层和第二子卷积层,所述第一特征串联层包括第一子特征串联层和第二子特征串联层,所述第一采样层包括第一下采样层和第一上采样层,所述通过所述递归网络中级联的第一卷积层、第一特征串联层、第一采样层对所述待处理图像进行去压缩噪声处理,输出第二图像,包括:
通过所述第一子特征串联层接收由所述单帧网络中各第二卷积层中第三子卷积层所提取的所述待处理图像的第一特征图,以及通过所述第一子特征串联层获取所述递归网络中与各所述第三子卷积层对应的所述第一子卷积层从所述先前帧图像中所提取的第二特征图;
通过所述第一子特征串联层对所述第一特征图和所述第二特征图进行串联操作,获得串联特征图;
通过所述第一子卷积层对所述串联特征图进行压缩,获得压缩后的特征图,所述压缩后的特征图为通过各所述第一子卷积层从所述待处理图像中所提取的所述第二特征图;
通过所述第一采样层中的第一下采样层,从所述压缩后的特征图中提取多个空间尺寸的特征图;
通过所述第一上采样层,确定与所述多个空间尺寸中相同空间尺寸的特征图;
通过所述第二子特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第一拼接特征图;
通过所述第二子卷积层对所述第一拼接特征图进行处理,输出所述第二图像。
4.如权利要求1所述的方法,其特征在于,所述单帧网络包括级联的第二卷积层、第二采样层和第二特征串联层,所述第二卷积层包括第三子卷积层和第四子卷积层,所述第二采样层包括第二下采样层和第二上采样层,所述通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像,包括:
通过各所述第三子卷积层提取所述待处理图像的第一特征图;
通过所述第二下采样层,从所述第一特征图中提取多个空间尺寸的特征图;
通过所述第二上采样层,确定与所述多个空间尺寸中相同空间尺寸的特征图;
通过所述第二特征串联层对相同空间尺寸的特征图在特征维度上进行拼接,获得第二拼接特征图;
通过所述第四子卷积层对所述第二拼接特征图进行处理,输出所述第一图像。
5.如权利要求1所述的方法,其特征在于,在所述将待处理图像输入目标去噪网络之前,所述方法还包括:
所述目标去噪网络的训练过程,具体执行:
获取多组图像帧序列,每组图像帧序列包括多幅图像;
将所述多组图像帧序列分别编码成真值视频以及仿真视频,其中,所述仿真视频中的每帧仿真图像中包含有压缩噪声;
将所述仿真视频中每帧仿真图像输入待训练去噪网络,输出对应帧的仿真去噪图像;
根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数;
将所述第一损失函数低于第一预设阈值时所对应的网络,作为所述目标去噪网络。
6.如权利要求5所述的方法,其特征在于,所述根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数,包括:
若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差小于或者等于δ时,则采用L2损失函数;
若所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差大于δ时,则采用L1损失函数;
其中,所述L2损失函数对应的公式为:
所述L1损失函数对应的公式为:其中,f(x)表示仿真去噪图像,y表示所述真值视频中与所述仿真去噪图像对应帧的真值图像。
7.如权利要求5所述的方法,其特征在于,在所述根据所述仿真去噪图像与所述真值视频中对应帧真值图像间的第一预测偏差,确定针对所述待训练去噪网络的第一损失函数之后,所述方法还包括:
在所述第一损失函数低于所述第一预设阈值时,对所述真值视频中每帧真值图像进行锐化处理,获得边缘增强后的真值视频;
确定所述仿真去噪图像与所述边缘增强后的真值视频中对应帧图像间的第二预测偏差,确定针对所述待训练去噪网络的第二损失函数;
将所述第二损失函数低于第二预设阈值时所对应的网络,作为所述目标去噪网络。
8.一种用于图像修复的装置,其特征在于,包括:
输入单元,用于将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
第一处理单元,用于通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
第二处理单元,用于根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
输出单元,用于将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
9.一种用于图像修复的电子设备,其特征在于,包括:
存储器和处理器;
其中,所述存储其用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
将待处理图像输入目标去噪网络,其中,所述目标去噪网络包括单帧网络和递归网络,所述待处理图像为待处理视频中的任一帧;
通过所述单帧网络对所述待处理图像进行去压缩噪声处理,输出第一图像;
根据先前帧图像的内容,通过所述递归网络对所述待处理图像进行去压缩噪声处理,输出第二图像,其中,所述先前帧图像为所述待处理图像在所述待处理视频中的前一帧图像;
将所述第一图像和第二图像进行加权求和,输出针对所述待处理图像的去噪图像。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机指令,存储的所述计算机指令被处理器执行时能够实现如权利要求1至7任一项所述的图像修复的方法。
CN202010574404.7A 2020-06-22 2020-06-22 一种图像修复的方法、装置及电子设备 Active CN111738952B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010574404.7A CN111738952B (zh) 2020-06-22 2020-06-22 一种图像修复的方法、装置及电子设备
PCT/CN2021/095778 WO2021258959A1 (zh) 2020-06-22 2021-05-25 图像修复的方法、装置及电子设备
US17/922,150 US20230177652A1 (en) 2020-06-22 2021-05-25 Image restoration method and apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010574404.7A CN111738952B (zh) 2020-06-22 2020-06-22 一种图像修复的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111738952A CN111738952A (zh) 2020-10-02
CN111738952B true CN111738952B (zh) 2023-10-10

Family

ID=72650459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010574404.7A Active CN111738952B (zh) 2020-06-22 2020-06-22 一种图像修复的方法、装置及电子设备

Country Status (3)

Country Link
US (1) US20230177652A1 (zh)
CN (1) CN111738952B (zh)
WO (1) WO2021258959A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738952B (zh) * 2020-06-22 2023-10-10 京东方科技集团股份有限公司 一种图像修复的方法、装置及电子设备
US20240062344A1 (en) * 2021-03-22 2024-02-22 Boe Technology Group Co., Ltd. Image processing method and image processing device
CN113344811A (zh) * 2021-05-31 2021-09-03 西南大学 多层卷积稀疏编码的加权递归去噪深度神经网络及方法
CN115546037A (zh) * 2021-06-30 2022-12-30 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN114860996B (zh) * 2022-07-06 2022-10-04 北京中科开迪软件有限公司 一种基于光盘库的电子视频档案修复方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331433A (zh) * 2016-08-25 2017-01-11 上海交通大学 基于深度递归神经网络的视频去噪方法
CN110852961A (zh) * 2019-10-28 2020-02-28 北京影谱科技股份有限公司 一种基于卷积神经网络的实时视频去噪方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107645621A (zh) * 2016-07-20 2018-01-30 阿里巴巴集团控股有限公司 一种视频处理的方法和设备
US11532073B2 (en) * 2018-03-29 2022-12-20 Pixar Temporal techniques of denoising Monte Carlo renderings using neural networks
CN111738952B (zh) * 2020-06-22 2023-10-10 京东方科技集团股份有限公司 一种图像修复的方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331433A (zh) * 2016-08-25 2017-01-11 上海交通大学 基于深度递归神经网络的视频去噪方法
CN110852961A (zh) * 2019-10-28 2020-02-28 北京影谱科技股份有限公司 一种基于卷积神经网络的实时视频去噪方法及系统

Also Published As

Publication number Publication date
US20230177652A1 (en) 2023-06-08
CN111738952A (zh) 2020-10-02
WO2021258959A1 (zh) 2021-12-30

Similar Documents

Publication Publication Date Title
CN111738952B (zh) 一种图像修复的方法、装置及电子设备
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN109671026B (zh) 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN111445418A (zh) 图像去雾处理方法、装置及计算机设备
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN110677651A (zh) 一种视频压缩方法
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及系统
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN113129212B (zh) 图像超分辨率重建方法、装置、终端设备及存储介质
Conde et al. Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report
KR20090013522A (ko) 링잉 아티펙트없는 블러 제거 방법
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
Liu et al. Facial image inpainting using multi-level generative network
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
TWI768517B (zh) 影像品質提昇方法及使用該方法的影像處理裝置
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN116029932A (zh) 一种超高分辨率图像曝光错误矫正方法及系统
CN115578561A (zh) 一种基于多尺度上下文聚合网络的实时语义分割方法及装置
CN113033616B (zh) 高质量视频重建方法、装置、设备及存储介质
CN113887491A (zh) 基于跨时空图卷积网络的人体骨架行为识别系统及方法
CN114612316A (zh) 一种核预测网络图像去雨方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant