CN113902631A - 图像处理方法、电子设备和存储介质 - Google Patents

图像处理方法、电子设备和存储介质 Download PDF

Info

Publication number
CN113902631A
CN113902631A CN202111101313.2A CN202111101313A CN113902631A CN 113902631 A CN113902631 A CN 113902631A CN 202111101313 A CN202111101313 A CN 202111101313A CN 113902631 A CN113902631 A CN 113902631A
Authority
CN
China
Prior art keywords
target
information
feature
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111101313.2A
Other languages
English (en)
Inventor
刘奥文
廖术
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202111101313.2A priority Critical patent/CN113902631A/zh
Publication of CN113902631A publication Critical patent/CN113902631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法、电子设备和存储介质,该方法包括:对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;生成第一目标特征信息以对其进行特征提取处理,获取全局目标特征信息;获取第一目标组合特征信息,对其采用预设规则处理,获取第二目标特征信息;将第二目标特征信息和全局目标特征信息进行融合处理,获取目标特征信息;对目标特征信息进行解码处理以得到目标图像。本发明对于任意待处理图像,对其执行预处理后输入上述搭建并训练后的图像处理模型后得,以最终输出更高质量的目标图像,提升了现有的图像增强和复原的处理效果,以满足更高的使用需求。

Description

图像处理方法、电子设备和存储介质
技术领域
本发明涉及数据处理技术领域,特别涉及一种图像处理方法、电子设备和存储介质。
背景技术
图像增强和复原一直都是计算机视觉中热门和重要的研究方向,目前主流的模型都是基于卷积神经网络。卷积神经网络采取堆叠方式,能提取不同层级的特征,低级特征包含颜色、边缘和纹理等信息,高级特征包含丰富的语义信息。例如,Orest Kupyn等人利用生成对抗网络来解决运动模糊问题,帮助恢复高清自然的图像;Kokkinos F等人基于迭代的残差网络实现手机相机的去马赛克和降噪功能,提升用户的拍照体验;Bee Lim等人基于卷积神经网络实现了单张图像超分辨率重建,大大增强了图像的细节信息。虽然这些模型都展现了不错的效果,但是由于卷积层本身的结构特点和限制,实际上卷积神经网络只能产生有限的感受野,很难有效获取图像的全局信息来帮助提高模型的输出效果。而这些图像的全局信息对图像增强和修复任务十分重要,能帮助模型获得更加理想的结果。为了增加网络的感受野以获取图像的全局信息,人们常常采用加深网络的方式,但是网络越深,训练难度越大,网络不容易收敛。因此,现有的图像处理方式无法满足较高的图像处理要求。
发明内容
本发明要解决的技术问题是为了克服现有技术中图像处理方式无法满足较高的图像处理要求的缺陷,提供一种图像处理方法、电子设备和存储介质。
本发明是通过下述技术方案来解决上述技术问题:
本发明提供一种图像处理方法,所述图像处理方法包括:
将待处理图像输入至图像处理模型进处理,获取目标图像;
其中,所述将待处理图像输入至图像处理模型进处理,获取目标图像包括:
对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;
基于所述目标编码特征信息生成第一目标特征信息,并对所述第一目标特征信息进行特征提取处理,获取全局目标特征信息;
对若干个所述目标编码特征信息进行组合处理,获取第一目标组合特征信息;
对所述第一目标组合特征信息采用预设规则处理,获取第二目标特征信息;其中,所述预设规则与多层级特征融合方式和/或通道注意力机制相关联;
将所述第二目标特征信息和所述全局目标特征信息进行融合处理,获取目标特征信息;
对所述目标特征信息进行解码处理,输出所述待处理图像对应的目标图像。
较佳地,所述图像处理模型包括特征融合模块,所述对所述第一目标组合特征信息采用预设规则处理,获取第二目标特征信息包括:
依次采用所述特征融合模块中的N个卷积层对所述第一目标组合特征信息进行特征融合处理,获取融合特征信息,N取正整数;
采用所述特征融合模块中的通道注意力机制对所述融合特征信息在通道维度上进行处理,获取所述第二目标特征信息。
较佳地,所述图像处理模型包括特征融合模块,所述对所述第一目标组合特征信息采用预设规则进行处理,获取第二目标特征信息包括:
采用所述特征融合模块中的通道注意力机制对所述第一目标组合特征信息在通道维度上进行处理,获取第一处理信息;
依次采用所述特征融合模块中的中的M个卷积层对所述第一处理信息进行特征融合处理,获取所述第二目标特征信息,M取正整数。
较佳地,所述图像处理模型包括特征融合模块,所述对所述第一目标组合特征信息采用预设规则进行处理,获取第二目标特征信息包括:
依次采用所述特征融合模块中的K个卷积层对所述第一目标组合特征信息进行特征融合处理,获取第二处理信息,K取正整数;
采用所述特征融合模块中的通道注意力机制对所述第二处理信息在通道维度上进行处理,获取的第三处理信息;
依次采用所述特征融合模块中的L个卷积层对所述第三处理信息进行特征融合处理,获取所述第二目标特征信息,L取正整数。
较佳地,所述图像处理模型包括特征融合模块,所述将所述第二目标特征信息和所述全局目标特征信息进行融合处理,获取目标特征信息包括:
采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息进行组合处理,获取第二组合特征信息;
采用所述特征融合模块中的若干个卷积层对所述第二组合特征信息进行融合处理,获取所述目标特征信息。
较佳地,所述对若干个所述目标编码特征信息进行组合处理,获取第一目标组合特征信息包括:
采用所述特征融合模块对若干个所述目标编码特征信息进行组合处理,获取第一目标组合特征信息;
所述将所述第二目标特征信息和所述全局目标特征信息进行组合处理,获取第二组合特征信息包括:
采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息分别对应的特征图按照通道维度进行拼接处理,获取所述第二组合特征信息;或,
采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息分别对应的特征图进行相加处理,获取所述第二组合特征信息。
较佳地,所述图像处理模型包括解码模块,所述对所述目标特征信息进行解码处理,输出所述待处理图像对应的目标图像包括:
采用所述解码模块中的若干个卷积层,对所述目标所述特征信息进行解码处理,输出所述待处理图像对应的所述目标图像;和/或,
所述图像处理模型包括Transformer模块(一种执行Transformer算法的网络模块),所述对所述第一目标特征信息进行特征提取处理,获取全局目标特征信息包括:
采用所述Transformer模块对所述第一目标特征信息进行特征提取处理,获取全局目标特征信息。
较佳地,获取所述图像处理模型的步骤包括:
获取若干张样本图像,每张所述样本图像对应一张金标准图像;
对样本图像进行多层级特征提取处理,获取若干个样本编码特征信息;
基于所述样本编码特征信息生成第一样本特征信息,并对所述第一样本特征信息进行特征提取处理,获取全局样本特征信息;
对若干个所述样本编码特征信息进行组合处理,获取第一样本组合特征信息;
对所述第一样本组合特征信息采用预设规则处理,获取第二样本特征信息;其中,所述预设规则与多层级特征融合方式和/或通道注意力机制相关联;
将所述第二样本特征信息和所述全局样本特征信息进行融合处理,获取中间特征信息;
根据每张所述样本图像的所述中间特征信息,以及对应的金标准图像的标准特征信息,训练得到所述图像处理模型。
本发明提供一种图像处理系统,所述图像处理系统包括:
目标特征信息获取模块,用于将待处理图像输入至图像处理模型进处理,获取目标图像;
所述目标特征信息获取模块包括:
目标编码特征信息获取单元,用于对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;
第一目标特征信息获取单元,用于基于所述目标编码特征信息生成第一目标特征信息;
全局目标特征信息获取单元,用于对所述第一目标特征信息进行特征提取处理,获取全局目标特征信息;
第一目标组合处理单元,用于对若干个所述目标编码特征信息进行组合处理,获取第一目标组合特征信息;
第二目标特征信息获取单元,用于对所述第一目标组合特征信息采用预设规则处理,获取第二目标特征信息;其中,所述预设规则与多层级特征融合方式和/或通道注意力机制相关联;
目标特征信息获取单元,用于将所述第二目标特征信息和所述全局目标特征信息进行融合处理,获取目标特征信息;
目标图像获取单元,用于对所述目标特征信息进行解码处理,输出所述待处理图像对应的目标图像。
较佳地,所述图像处理模型包括特征融合模块,所述第二目标特征信息获取单元包括:
融合特征信息获取子单元,用于依次采用所述特征融合模块中的N个卷积层对所述第一目标组合特征信息进行特征融合处理,获取融合特征信息,N取正整数;
特征信息获取子单元,用于采用所述特征融合模块中的通道注意力机制对所述融合特征信息在通道维度上进行处理,获取所述第二目标特征信息。
较佳地,所述图像处理模型包括特征融合模块,所述第二目标特征信息获取单元包括:
第一处理信息获取子单元,用于采用所述特征融合模块中的通道注意力机制对所述第一目标组合特征信息在通道维度上进行处理,获取第一处理信息;
特征信息获取子单元,用于依次采用所述特征融合模块中的M个卷积层对所述第一处理信息进行特征融合处理,获取所述第二目标特征信息,M取正整数。
较佳地,所述图像处理模型包括特征融合模块,所述第二目标特征信息获取单元包括:
第二处理信息获取子单元,用于依次采用所述特征融合模块中的K个卷积层对所述第一目标组合特征信息进行特征融合处理,获取第二处理信息,K取正整数;
第三处理信息获取子单元,用于采用所述特征融合模块中的通道注意力机制对所述第二处理信息在通道维度上进行处理,获取的第三处理信息;
特征信息获取子单元,用于依次采用所述特征融合模块中的L个卷积层对所述第三处理信息进行特征融合处理,获取所述第二目标特征信息,L取正整数。
较佳地,所述图像处理模型包括特征融合模块,所述目标特征信息获取单元包括:
组合特征信息获取子单元,用于采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息进行组合处理,获取第二组合特征信息;
目标特征信息获取子单元,用于采用所述特征融合模块中的若干个卷积层对所述第二组合特征信息进行融合处理,获取所述目标特征信息。
较佳地,所述第一目标组合处理单元用于采用所述特征融合模块对若干个所述目标编码特征信息进行组合处理,获取第一目标组合特征信息;
所述组合特征信息获取子单元用于采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息分别对应的特征图按照通道维度进行拼接处理,获取所述第二组合特征信息;或,
所述组合特征信息获取子单元用于采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息分别对应的特征图进行相加处理,获取所述第二组合特征信息。
较佳地,所述图像处理模型包括解码模块,所述目标图像获取单元用于采用所述解码模块中的若干个卷积层,对所述目标所述特征信息进行解码处理,输出所述待处理图像对应的所述目标图像;和/或,
所述图像处理模型包括Transformer模块,所述全局目标特征信息获取单元用于采用所述Transformer模块对所述第一目标特征信息进行特征提取处理,获取全局目标特征信息。
较佳地,所述系统还包括模型获取模块,所述模型获取模块包括:
样本图像获取单元,用于获取若干张样本图像,每张所述样本图像对应一张金标准图像;
样本编码特征信息获取单元,用于对样本图像进行多层级特征提取处理,获取若干个样本编码特征信息;
第一样本特征信息获取单元,用于基于所述样本编码特征信息生成第一样本特征信息;
全局样本特征信息获取单元,用于对所述第一样本特征信息进行特征提取处理,获取全局样本特征信息;
第一样本组合处理单元,用于对若干个所述样本编码特征信息进行组合处理,获取第一样本组合特征信息;
第二样本特征信息获取单元,用于对所述第一样本组合特征信息采用预设规则处理,获取第二样本特征信息;其中,所述预设规则与多层级特征融合方式和/或通道注意力机制相关联;
中间特征信息获取单元,用于将所述第二样本特征信息和所述全局样本特征信息进行融合处理,获取中间特征信息;
图像处理模型获取单元,用于根据每张所述样本图像的所述中间特征信息,以及对应的金标准图像的标准特征信息,训练得到所述图像处理模型。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行计算机程序时实现上述的图像处理方法。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的图像处理方法。
在符合本领域常识的基础上,所述各优选条件,可任意组合,即得本发明各较佳实施例。
本发明的积极进步效果在于:
本发明中,将待处理图像输入至预先训练的图像处理模型中进行处理,具体包括对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;基于这些目标编码特征信息进行特征提取处理以获取待处理图像的全局目标特征信息;进而对若干目标编码特征信息进行组合处理,将组合处理后的组合特征信息采用多层级特征融合方式和/或通道注意力机制进行处理,以得到对应的特征信息,再将该特征信息与全局目标特征信息进行融合以得到目标特征信息,进而通过解码处理得到对应的目标图像;基于上述新型的特征数据的处理方式,以保证最终输出高质量的目标图像,大大地提升了现有的图像增强和复原的处理效果,以满足更高的使用需求。
附图说明
图1为本发明实施例1的图像处理方法的流程图。
图2为本发明实施例1的图像处理方法中步骤S1014的第一流程图。
图3为本发明实施例1的图像处理方法中步骤S1014的第二流程图。
图4为本发明实施例1的图像处理方法中步骤S1014的第三流程图。
图5为本发明实施例1的图像处理方法中获取图像处理模型的流程图。
图6为本发明实施例1的图像处理方法中图像处理模型的模块示意图。
图7为本发明实施例1的图像处理模型中Transformer block的结构示意图。
图8为本发明实施例1的图像处理模型中Partition操作对应的示意图。
图9为本发明实施例1的图像处理模型中Splice操作对应的示意图。
图10为本发明实施例1的图像处理模型中特征融合模块的结构示意图。
图11为本发明实施例1的Channel Attention模块的结构示意图。
图12为本发明实施例1的图像处理模型中Concatenation操作对应的示意图。
图13为本发明实施例1的图像处理模型中Addition操作对应的示意图。
图14为本发明实施例2的图像处理系统的模块示意图。
图15为本发明实施例3中实现图像处理方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例的图像处理方法包括:
将待处理图像输入至图像处理模型进处理,获取目标图像。
在一可实施的方案中,如图1所示,将待处理图像输入至图像处理模型进处理,获取目标图像的步骤包括:
S1011、对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;
其中,提取出的不同层级的目标编码特征信息中,低级特征包含颜色、边缘和纹理等信息,高级特征包含丰富的语义信息。
S1012、基于目标编码特征信息生成第一目标特征信息,并对第一目标特征信息进行特征提取处理,获取全局目标特征信息;全局目标特征信息更有效地提供待处理图像的全局信息,增强特征的表达能力和全局语义信息;通过同时获取全局目标特征信息与若干个目标编码特征信息能够有效地提升处理后的图像输出效果。
S1013、对若干个目标编码特征信息进行组合处理,获取第一目标组合特征信息;具体地,采用Concatenation(关联)操作或Addition(添加)操作对若干个目标编码特征信息进行组合处理,具体对多个数据进行Concatenation操作或Addition操作属于本领域的成熟技术,因此在此就不再赘述对应的组合处理过程。
S1014、对第一目标组合特征信息采用预设规则处理,获取第二目标特征信息;其中,预设规则与多层级特征融合方式和/或通道注意力机制(Channel Attention)相关联;
S1015、将第二目标特征信息和全局目标特征信息进行融合处理,获取目标特征信息;
S1016、对目标特征信息进行解码处理,输出待处理图像对应的目标图像。
对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;基于这些目标编码特征信息进行特征提取处理以获取待处理图像的全局目标特征信息;进而对若干目标编码特征信息进行组合处理,将组合处理后的组合特征信息采用多层级特征融合方式和/或通道注意力机制进行处理,以得到对应的特征信息,再将该特征信息与全局目标特征信息进行融合以得到目标特征信息,进而通过解码处理得到对应的目标图像;基于上述新型的特征数据的处理方式,以保证最终输出高质量的目标图像,大大地提升了现有的图像增强和复原的处理效果。
需要说明的是,本实施例的图像处理模型由编码模块、Transformer模块、特征融合模块以及解码模块构成,基于这四个模块完成对任意输入的待处理图像的处理操作。具体地,步骤S1011由编码模块完成,步骤S1012由Transformer模块完成,步骤S1013-S1015由特征融合模块完成,步骤S1016由解码模块完成。
在一可实施例的方案中,步骤S1011具体包括:
采用编码模块对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息。具体可以采用编码模块中的卷积神经网络,当然也可以根据实际情况采用其他算法对待处理图像进行特征提取处理,只要能够提取出多层级的目标编码特征信息即可。
在一可实施例的方案中,步骤S1012具体包括:
采用Transformer模块对第一目标特征信息进行特征提取处理,获取全局目标特征信息。具体可以采用Transformer模块中的Transformer算法(一种机器学习算法),当然也可以根据实际情况采用其他算法对待处理图像进行特征提取处理,只要能够提取出全局特征信息即可。
利用编码模块提取待处理图像进行多层级特征获取对应的若干个编码特征信息,利用Transformer模块对若干个目标编码特征信息进行特征提取处理以获取待处理图像对应的全局特征信息,将编码模块和Transformer模块相结合,充分基于两种图像处理方式的各自优势,将两者充分融合,有效地增强特征的表达能力,保证了图像处理的输出效果的高质量。
在一可实施例的方案中,如图2所示,步骤S1014具体包括:
S101411、依次采用特征融合模块中的N个卷积层对第一目标组合特征信息进行特征融合处理,获取融合特征信息,N取正整数;
S101412、采用特征融合模块中的通道注意力机制对融合特征信息在通道维度上进行处理,获取第二目标特征信息。
此时,预设规则对应依次执行多层级特征融合方式、通道注意力机制。
对经过组合处理的若干个目标编码特征信息得到的第一目标组合特征信息,不是直接将其输出至解码模块,而是首先通过对多层级的特征进行融合,能够融合具有不同语义和细节信息的特征,提取具有更强表达能力的输出特征,进而再结合通道注意力机制,可以使得特征图的不同通道具有不同的重要程度,有用的特征具有较大权重,用处不大的特征具有较小权重,以得到一个更好的结果;依次先后采用多层级特征融合方式、通道注意力机制进行处理后,这样能够有效地优化编码模块对应的输出结果,保证对待处理图像处理的效果。
在一可实施例的方案中,如图3所示,步骤S1014具体包括:
S101421、采用特征融合模块中的通道注意力机制对第一目标组合特征信息在通道维度上进行处理,获取第一处理信息;
S101422、依次采用特征融合模块中的M个卷积层对第一处理信息进行特征融合处理,获取第二目标特征信息,M取正整数。
此时,预设规则对应依次执行通道注意力机制、多层级特征融合方式。
对经过组合处理的若干个目标编码特征信息得到的第一目标组合特征信息,不是直接将其输出至解码模块,而是首先通道注意力机制,可以使得特征图的不同通道具有不同的重要程度,有用的特征具有较大权重,用处不大的特征具有较小权重,以得到一个更好的结果;进而通过对多层级的特征进行融合,能够融合具有不同语义和细节信息的特征,提取具有更强表达能力的输出特征,依次先后采用通道注意力机制、多层级特征融合方式进行处理后,这样能够有效地优化编码模块对应的输出结果,保证对待处理图像处理的效果。
在一可实施例的方案中,如图4所示,步骤S1014具体包括:
S101431、依次采用特征融合模块中的K个卷积层对第一目标组合特征信息进行特征融合处理,获取第二处理信息,K取正整数;
S101432、采用特征融合模块中的通道注意力机制对第二处理信息在通道维度上进行处理,获取的第三处理信息;
S101433、依次采用特征融合模块中的L个卷积层对第三处理信息进行特征融合处理,获取第二目标特征信息,L取正整数。
此时,预设规则对应依次执行多层级特征融合方式、通道注意力机制、多层级特征融合方式。
对经过组合处理的若干个目标编码特征信息得到的第一目标组合特征信息,不是直接将其输出至解码模块,而是通过对多层级的特征进行融合,能够融合具有不同语义和细节信息的特征,提取具有更强表达能力的输出特征,然后结合通道注意力机制,可以使得特征图的不同通道具有不同的重要程度,有用的特征具有较大权重,用处不大的特征具有较小权重,以得到一个更好的结果;最后再采用多层级特征融合以得到融合结果,即依次先后采用一定数量卷积层的多层级特征融合方式、通道注意力机制、一定数量卷积层的多层级特征融合方式进行处理后,这样能够有效地优化编码模块对应的输出结果,保证对待处理图像处理的效果。
在任意待处理图像的实际处理过程中,可以采用上述三种方案中的任一种实现方案得到对应的第二目标特征信息;无论采用何种方式,都是对组合处理的若干个目标编码特征信息得到的第一目标组合特征信息进行进一步地处理,包括多层级特征融合、通道注意力机制等,基于特征数据的特性,采用这些特征数据处理方式相结合,以保证数据处理的有效性,进而提高最终的图像增强和复原效果。
在一可实施例的方案中,步骤S1015具体包括:
采用特征融合模块将第二目标特征信息和全局目标特征信息进行组合处理,获取第二组合特征信息;
具体地,将第二目标特征信息和全局目标特征信息进行组合处理,获取第二组合特征信息的步骤包括:
将第二目标特征信息和全局目标特征信息分别对应的特征图按照通道维度进行拼接处理,获取第二组合特征信息;或,将第二目标特征信息和全局目标特征信息分别对应的特征图进行相加处理,获取第二组合特征信息。
采用特征融合模块中的若干个卷积层对第二组合特征信息进行融合处理,获取目标特征信息。
将若干个目标编码特征信息经过组合处理、多层级特征融合方式、通道注意力机制处理后得到的第二目标特征信息与全局目标特征信息,两种类别的特征信息进行拼接或相加处理,得到设定格式的第二组合特征信息,以保证能够由卷积层进行直接处理,以得到目标特征信息,进而输入至解码模块进行解码操作,得到最终的目标图像。
在一可实施例的方案中,步骤S1016具体包括:
基于解码模块中的若干个卷积层,对目标特征信息进行解码处理,输出待处理图像对应的目标图像。
为了保证图像复原处理的质量,需要在步骤S101前,对输入的低质量(如低信噪比、低分辨率等)待处理图像进行预处理操作,例如数据归一化等;当然还可以采用或结合其他预处理操作,具体可以根据实际图像处理要求进行选择或调整;然后将预处理后的待处理图像输入至后续的处理步骤中执行。
另外,采用本实施例的图像处理方法对待处理图像进行图像增强、图像复原处理之前,需要构建上述提及的图像处理模型,以保证对任意输入的待处理图像进行高质量处理。
具体地,如图5所示,本实施例中构建该图像处理模型的步骤包括:
S201、获取若干张样本图像,每张样本图像对应一张金标准图像;
其中,样本图像一般对应低质量(如低信噪比、低分辨率)的图像,金标准图像对应高质量(如高信噪比、高分辨率)的图像,收集若干组样本图像及其对应的金标准图像作为训练集数据。
S202、对样本图像进行多层级特征提取处理,获取若干个样本编码特征信息;具体地,可采用采用编码模块对样本图像进行多层级特征提取处理。当然也可以根据实际情况采用其他算法对待处理图像进行特征提取处理,只要能够提取出多层级的目标编码特征信息即可。
S203、基于样本编码特征信息生成第一样本特征信息,并对第一样本特征信息进行特征提取处理,获取全局样本特征信息;具体地,采用采用Transformer模块对第一样本特征信息进行特征提取处理,当然也可以根据实际情况采用其他算法对待处理图像进行特征提取处理,只要能够提取出全局特征信息即可。
S204、对若干个样本编码特征信息进行组合处理,获取第一样本组合特征信息;具体地,组合处理对应Concatenation操作或Addition操作等。
S205、对第一样本组合特征信息采用预设规则处理,获取第二样本特征信息;其中,预设规则与多层级特征融合方式和/或通道注意力机制相关联;
S206、将第二样本特征信息和全局样本特征信息进行融合处理,获取中间特征信息;
需要说明的是,模型训练过程中,对每个样本图像执行的S202-S206步骤时,实现原理与上述待处理图像的处理步骤类似,因此在此就不再赘述。
S207、根据每张样本图像的中间特征信息,以及对应的金标准图像的标准特征信息,训练得到图像处理模型,以保证训练得到的模型的输出结果能够满足实际使用需求。
通过若干组样本图像及其对应的金标准图像,训练得到能够输出设定图像精度要求的图像处理模型,以保证在实际使用该图像处理模型时,图像处理效果能够满足实际的图像处理需求。
下面结合实例具体说明本实施例的图像处理方法的实现原理:
(1)获取训练集数据:将低质量(如低信噪比、低分辨率等)的样本图像作为输入图像,高质量(如高信噪比、高分辨率等)的图像作为金标准图像,收集若干组成对的图像;
(2)对训练集中的样本图像进行数据增强操作的预处理操作,具体包括水平、上下翻转,90度左右旋转等,以及数据归一化操作等,以在一定程度防止模型过拟合;
(3)搭建图像处理模型,如图6所示,该图像处理模型由四个部分构成:第一部分是基于卷积神经网络的编码模块,用来对输入图像进行多级特征提取;第二部分是Transformer模块,用于增强特征的表达能力和全局语义信息;第三部分是特征融合模块,对输入的特征数据进行特征融合处理;第四部分是基于卷积神经网络的解码模块,用于输出模型结果。
下面具体说明各个部分的模块功能:
第一部分的编码模块是由若干个编码组件组成,每一个编码组件包含若干卷积层。
第二部分的Transformer模块是由若干个级联的Transformer block(一个数据处理功能块)组成,Transformer block的结构参见图7;其中,LN表示Layer Normalization(层归一化),MSA表示multi-head self attention(多头自注意力),MLP表示Multi-LayerPerceptron(多层感知机)。在第一个Transformer block前面,还需要进行Partition(分割)操作,如图8所示。Partition操作具体是将特征图切分成若干个大小相同的图像子块,并且将每个图像子块的像素从上到下、从左到右依次排列得到一维向量,然后将所有图像子块对应的向量组合成一个二维矩阵,此矩阵就作为第一个Transformer block的输入。此外,在最后一个Transformer block的后面,还需进行Splice操作,Splice操作是Partition的逆操作,具体参见图9。
如图10所示,第三部分的特征融合模块,其输入是由第一部分的编码模块的每一个编码组件的输出和第二部分的Transformer模块的输出组成;这样是为了既能利用卷积神经网络提取多级特征,又能利用Transformer提取特征的全局信息,将二者的优势充分融合,增强特征的表达能力,提高模型的输出结果。具体地,首先利用Concatenation或Addition操作将第一部分的编码模块中每一个编码组件的输出进行组合,再经过若干个卷积层,将多层级的特征进行融合,并且利用紧跟的Channel Attention模块(如图11所示),使特征图的不同通道具有不同的重要程度,即可以使得特征图的不同通道具有不同的重要程度,有用的特征具有较大权重,用处不大的特征具有较小权重;然后,再将其和Transformer模块的输出特征进行组合,组合方式同样可用Concatenation或Addition操作,最后再用若干个卷积层进行特征融合,既能利用卷积神经网络提取多级特征,又能利用Transformer提取特征的全局信息。其中,Concatenation操作如图12所示,它是将多个输入特征图按通道维度进行拼接。Addition操作操作如图13所示,它是将多个输入特征图进行相加操作。
第四部分的解码模块是由若干个卷积层组成,并且输出图像。
本实施例中,在输入图像和金标准上随机裁剪固定大小(根据具体数据集而定)的图,作为网络的输入样本图像input和对应的金标准图像GT;将input输入到网络,得到网络模型的输出output,根据损失函数训练网络模型;其中,网络的损失函数包括L1 loss和感知损失;当然也可以根据实际情况选择其他的损失函数进行模型训练,只要能够满足实际训练需求即可。循环迭代若干次,直到网络模型的损失函数收敛。一般选择Adam优化器(一种模型训练的优化器)来计算网络参数的梯度,并结合随机梯度下降法更新网络模型的参数。初始化学习率可设置为0.0001,可根据训练过程进行适当调节。完成训练,得到最终的图像处理模型。训练过程中如何更新迭代参数以最终得到符合条件的网络模型属于本领域的成熟技术,因此在此就不再赘述。
(4)在测试阶段,将待处理图像输入至该图像处理模型中,待处理图像依次经过第一部分的编码模块、第二部分的Transformer模块、第三部分的特征融合模块以及第四部分的解码模块进行处理,以获取该图像处理模型的输出结果。
(5)根据输出结果进行解码处理,例如数据归一化的逆操作等,以获取待处理图像对应的目标图像,并通过显示器进行图像显示。
本实施例中,基于卷积神经网络和Transformer算法搭建新型的网络模型,该模型的第一部分是基于卷积神经网络的编码模块,用来对图像进行编码特征提取;第二部分是Transformer模块,增强特征的表达能力和全局语义信息;第三部分是特征融合模块,对特征信息进行特征融合处理;第四部分是基于卷积神经网络的解码模块;对于任意待处理图像,将待处理图像输入至预先训练的图像处理模型中进行处理,具体包括对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;基于这些目标编码特征信息进行特征提取处理以获取待处理图像的全局目标特征信息;进而对若干目标编码特征信息进行组合处理,将组合处理后的组合特征信息采用多层级特征融合方式和/或通道注意力机制进行处理,以得到对应的特征信息,再将该特征信息与全局目标特征信息进行融合以得到目标特征信息,进而通过解码处理得到对应的目标图像;基于上述新型的特征数据的处理方式,以保证最终输出高质量的目标图像,大大地提升了现有的图像增强和复原的处理效果,以满足更高的使用需求。
实施例2
如图14所示,本实施例的图像处理系统包括:
目标特征信息获取模块1,用于将待处理图像输入至图像处理模型进处理,获取目标图像;
具体地,该目标特征信息获取模块1包括:
目标编码特征信息获取单元2,用于对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;
第一目标特征信息获取单元3,用于基于目标编码特征信息生成第一目标特征信息;
全局目标特征信息获取单元4,用于对第一目标特征信息进行特征提取处理,获取全局目标特征信息;
第一目标组合处理单元5,用于对若干个目标编码特征信息进行组合处理,获取第一目标组合特征信息;
第二目标特征信息获取单元6,用于对第一目标组合特征信息采用预设规则处理,获取第二目标特征信息;其中,预设规则与多层级特征融合方式和/或通道注意力机制相关联;
目标特征信息获取单元7,用于将第二目标特征信息和全局目标特征信息进行融合处理,获取目标特征信息;
目标图像获取单元8,用于对所述目标特征信息进行解码处理,输出待处理图像对应的目标图像。
在一可实施例的方案中,图像处理模型包括特征融合模块,本实施例的第二目标特征信息获取单元6包括:
融合特征信息获取子单元,用于依次采用特征融合模块中的N个卷积层对第一目标组合特征信息进行特征融合处理,获取融合特征信息,N取正整数;
特征信息获取子单元,用于采用特征融合模块中的通道注意力机制对融合特征信息在通道维度上进行处理,获取第二目标特征信息。
在一可实施例的方案中,图像处理模型包括特征融合模块,本实施例的第二目标特征信息获取单元6包括:
第一处理信息获取子单元,用于采用特征融合模块中的通道注意力机制对第一目标组合特征信息在通道维度上进行处理,获取第一处理信息;
特征信息获取子单元,用于依次采用特征融合模块中的M个卷积层对第一处理信息进行特征融合处理,获取第二目标特征信息,M取正整数。
在一可实施例的方案中,图像处理模型包括特征融合模块,本实施例的第二目标特征信息获取单元6包括:
第二处理信息获取子单元,用于依次采用特征融合模块中的K个卷积层对第一目标组合特征信息进行特征融合处理,获取第二处理信息,K取正整数;
第三处理信息获取子单元,用于采用特征融合模块中的通道注意力机制对第二处理信息在通道维度上进行处理,获取的第三处理信息;
特征信息获取子单元,用于依次采用特征融合模块中的L个卷积层对第三处理信息进行特征融合处理,获取第二目标特征信息,L取正整数。
在一可实施例的方案中,图像处理模型包括特征融合模块,本实施例的目标特征信息获取单元7包括:
组合特征信息获取子单元,用于采用特征融合模块将第二目标特征信息和全局目标特征信息进行组合处理,获取第二组合特征信息;
目标特征信息获取子单元,用于采用特征融合模块中的若干个卷积层对第二组合特征信息进行融合处理,获取目标特征信息。
在一可实施例的方案中,第一目标组合处理单元用于采用特征融合模块对若干个目标编码特征信息进行组合处理,获取第一目标组合特征信息;
组合特征信息获取子单元用于采用特征融合模块将第二目标特征信息和全局目标特征信息分别对应的特征图按照通道维度进行拼接处理,获取第二组合特征信息;或,
组合特征信息获取子单元用于采用特征融合模块将第二目标特征信息和全局目标特征信息分别对应的特征图进行相加处理,获取第二组合特征信息。
在一可实施例的方案中,图像处理模型包括解码模块,目标图像获取单元用于基于卷积神经网路中的若干个卷积层,对目标特征信息进行解码处理,输出待处理图像对应的目标图像;
另外,本实施例的系统还包括模型获取模块,该模型获取模块包括:
样本图像获取单元,用于获取若干张样本图像,每张样本图像对应一张金标准图像;
样本编码特征信息获取单元,用于对样本图像进行多层级特征提取处理,获取若干个样本编码特征信息;
第一样本特征信息获取单元,用于基于样本编码特征信息生成第一样本特征信息;
全局样本特征信息获取单元,用于对第一样本特征信息进行特征提取处理,获取全局样本特征信息;
第一样本组合处理单元,用于对若干个样本编码特征信息进行组合处理,获取第一样本组合特征信息;
第二样本特征信息获取单元,用于对第一样本组合特征信息采用预设规则处理,获取第二样本特征信息;其中,预设规则与多层级特征融合方式和/或通道注意力机制相关联;
中间特征信息获取单元,用于将第二样本特征信息和全局样本特征信息进行融合处理,获取中间特征信息;
图像处理模型获取单元,用于根据每张样本图像的中间特征信息,以及对应的金标准图像的标准特征信息,训练得到图像处理模型。
本实施例的图像处理系统对应的实现原理可参见实施例1的表述,因此在此就不再赘述。
本实施例中,基于卷积神经网络和Transformer算法搭建新型的网络模型,该模型的第一部分是基于卷积神经网络的编码模块,用来对图像进行编码特征提取;第二部分是Transformer模块,增强特征的表达能力和全局语义信息;第三部分是特征融合模块,对特征信息进行特征融合处理;第四部分是基于卷积神经网络的解码模块;对于任意待处理图像,将待处理图像输入至预先训练的图像处理模型中进行处理,具体包括对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;基于这些目标编码特征信息进行特征提取处理以获取待处理图像的全局目标特征信息;进而对若干目标编码特征信息进行组合处理,将组合处理后的组合特征信息采用多层级特征融合方式和/或通道注意力机制进行处理,以得到对应的特征信息,再将该特征信息与全局目标特征信息进行融合以得到目标特征信息,进而通过解码处理得到对应的目标图像;基于上述新型的特征数据的处理方式,以保证最终输出高质量的目标图像,大大地提升了现有的图像增强和复原的处理效果,以满足更高的使用需求。
实施例3
图15为本发明实施例3提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现实施例1中的图像处理方法。图15显示的电子设备30仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图15所示,电子设备30可以通用计算设备的形式表现,例如其可以为服务器设备。电子设备30的组件可以包括但不限于:上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器,例如随机存取存储器(RAM)321和/或高速缓存存储器322,还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325,这样的程序模块324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明实施例1中的图像处理方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且,模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图15所示,网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现实施例1中的图像处理方法中的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行实现实施例1中的图像处理方法中的步骤。
其中,可以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种图像处理方法,其特征在于,所述图像处理方法包括:
将待处理图像输入至图像处理模型进处理,获取目标图像;
其中,所述将待处理图像输入至图像处理模型进处理,获取目标图像包括:
对待处理图像进行多层级特征提取处理,获取若干个目标编码特征信息;
基于所述目标编码特征信息生成第一目标特征信息,并对所述第一目标特征信息进行特征提取处理,获取全局目标特征信息;
对若干个所述目标编码特征信息进行组合处理,获取第一目标组合特征信息;
对所述第一目标组合特征信息采用预设规则处理,获取第二目标特征信息;其中,所述预设规则与多层级特征融合方式和/或通道注意力机制相关联;
将所述第二目标特征信息和所述全局目标特征信息进行融合处理,获取目标特征信息;
对所述目标特征信息进行解码处理,输出所述待处理图像对应的目标图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述图像处理模型包括特征融合模块,所述对所述第一目标组合特征信息采用预设规则处理,获取第二目标特征信息包括:
依次采用所述特征融合模块中的N个卷积层对所述第一目标组合特征信息进行特征融合处理,获取融合特征信息,N取正整数;
采用所述特征融合模块中的通道注意力机制对所述融合特征信息在通道维度上进行处理,获取所述第二目标特征信息。
3.如权利要求1所述的图像处理方法,其特征在于,所述图像处理模型包括特征融合模块,所述对所述第一目标组合特征信息采用预设规则进行处理,获取第二目标特征信息包括:
采用所述特征融合模块中的通道注意力机制对所述第一目标组合特征信息在通道维度上进行处理,获取第一处理信息;
依次采用所述特征融合模块中的M个卷积层对所述第一处理信息进行特征融合处理,获取所述第二目标特征信息,M取正整数。
4.如权利要求1所述的图像处理方法,其特征在于,所述图像处理模型包括特征融合模块,所述对所述第一目标组合特征信息采用预设规则进行处理,获取第二目标特征信息包括:
依次采用所述特征融合模块中的K个卷积层对所述第一目标组合特征信息进行特征融合处理,获取第二处理信息,K取正整数;
采用所述特征融合模块中的通道注意力机制对所述第二处理信息在通道维度上进行处理,获取的第三处理信息;
依次采用所述特征融合模块中的L个卷积层对所述第三处理信息进行特征融合处理,获取所述第二目标特征信息,L取正整数。
5.如权利要求1所述的图像处理方法,其特征在于,所述图像处理模型包括特征融合模块,所述将所述第二目标特征信息和所述全局目标特征信息进行融合处理,获取目标特征信息包括:
采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息进行组合处理,获取第二组合特征信息;
采用所述特征融合模块中的若干个卷积层对所述第二组合特征信息进行融合处理,获取所述目标特征信息。
6.如权利要求5所述的图像处理方法,其特征在于,所述对若干个所述目标编码特征信息进行组合处理,获取第一目标组合特征信息包括:
采用所述特征融合模块对若干个所述目标编码特征信息进行组合处理,获取第一目标组合特征信息;和/或,
所述将所述第二目标特征信息和所述全局目标特征信息进行组合处理,获取第二组合特征信息包括:
采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息分别对应的特征图按照通道维度进行拼接处理,获取所述第二组合特征信息;或,
采用所述特征融合模块将所述第二目标特征信息和所述全局目标特征信息分别对应的特征图进行相加处理,获取所述第二组合特征信息。
7.如权利要求1所述的图像处理方法,其特征在于,所述图像处理模型包括解码模块,所述对所述目标特征信息进行解码处理,输出所述待处理图像对应的目标图像包括:
采用所述解码模块中的若干个卷积层,对所述目标所述特征信息进行解码处理,输出所述待处理图像对应的所述目标图像;和/或,
所述图像处理模型包括Transformer模块,所述对所述第一目标特征信息进行特征提取处理,获取全局目标特征信息包括:
采用所述Transformer模块对所述第一目标特征信息进行特征提取处理,获取全局目标特征信息。
8.如权利要求1-7中任一项所述的图像处理方法,其特征在于,获取所述图像处理模型的步骤包括:
获取若干张样本图像,每张所述样本图像对应一张金标准图像;
对样本图像进行多层级特征提取处理,获取若干个样本编码特征信息;
基于所述样本编码特征信息生成第一样本特征信息,并对所述第一样本特征信息进行特征提取处理,获取全局样本特征信息;
对若干个所述样本编码特征信息进行组合处理,获取第一样本组合特征信息;
对所述第一样本组合特征信息采用预设规则处理,获取第二样本特征信息;其中,所述预设规则与多层级特征融合方式和/或通道注意力机制相关联;
将所述第二样本特征信息和所述全局样本特征信息进行融合处理,获取中间特征信息;
根据每张所述样本图像的所述中间特征信息,以及对应的金标准图像的标准特征信息,训练得到所述图像处理模型。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行计算机程序时实现权利要求1-8中任一项所述的图像处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的图像处理方法。
CN202111101313.2A 2021-09-18 2021-09-18 图像处理方法、电子设备和存储介质 Pending CN113902631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111101313.2A CN113902631A (zh) 2021-09-18 2021-09-18 图像处理方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111101313.2A CN113902631A (zh) 2021-09-18 2021-09-18 图像处理方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113902631A true CN113902631A (zh) 2022-01-07

Family

ID=79028779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111101313.2A Pending CN113902631A (zh) 2021-09-18 2021-09-18 图像处理方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113902631A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463782A (zh) * 2022-01-19 2022-05-10 佳都科技集团股份有限公司 基于混合网络的掌静脉识别方法、装置、电子设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463782A (zh) * 2022-01-19 2022-05-10 佳都科技集团股份有限公司 基于混合网络的掌静脉识别方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: a fast and lightweight network for single-image super resolution
US11790209B2 (en) Recurrent neural networks for data item generation
Fang et al. A hybrid network of cnn and transformer for lightweight image super-resolution
CN112308200B (zh) 神经网络的搜索方法及装置
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN110796111B (zh) 图像处理方法、装置、设备及存储介质
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN110782395B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Zhang et al. NTIRE 2023 challenge on image super-resolution (x4): Methods and results
Zhang et al. Kernel attention network for single image super-resolution
Li et al. Lightweight single image super-resolution with dense connection distillation network
Luo et al. Boosting lightweight single image super-resolution via joint-distillation
CN113902631A (zh) 图像处理方法、电子设备和存储介质
CN116977169A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN115115518B (zh) 高动态范围图像的生成方法、装置、设备、介质及产品
Peng Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image
US20230186608A1 (en) Method, device, and computer program product for video processing
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
CN111861877A (zh) 视频超分变率的方法和装置
CN112950501B (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
Xiong et al. Noucsr: Efficient super-resolution network without upsampling convolution
Wang et al. Image quality enhancement using hybrid attention networks
CN114596203A (zh) 用于生成图像和用于训练图像生成模型的方法和装置
CN115496651A (zh) 特征处理方法、装置、计算机可读存储介质及电子设备
CN111798385A (zh) 图像处理方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination