CN117314764A - 一种图像去模糊方法、装置、设备、系统及介质 - Google Patents
一种图像去模糊方法、装置、设备、系统及介质 Download PDFInfo
- Publication number
- CN117314764A CN117314764A CN202311069104.3A CN202311069104A CN117314764A CN 117314764 A CN117314764 A CN 117314764A CN 202311069104 A CN202311069104 A CN 202311069104A CN 117314764 A CN117314764 A CN 117314764A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- deblurring
- model
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000004927 fusion Effects 0.000 claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 78
- 230000007246 mechanism Effects 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 16
- 238000007499 fusion processing Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 239000004744 fabric Substances 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 7
- 238000003672 processing method Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本说明书实施例公开了一种图像去模糊处理方法、装置、设备、系统及介质,通过利用图像去模糊模型对获取的待处理模糊图像进行去模糊处理,得到目标清晰图像;由于用于针对待处理模糊图像进行去模糊处理的图像去模糊模型的主干网络是利用轻量型架构网络搭建的编码器所构建的,因此可以有效减少主干网络的网络参数数量,且由于图像去模糊模型的特征融合网络是由参数数量较少的深度可分离卷积层所构建的;因此可以有效减少特征融合网络的网络参数数量;从而整体实现了图像去模糊模型的轻量化,减小了对于部署图像去模糊模型的硬件资源要求,同时提高了图像去模糊模型的运行速度,进而提高针对多场景的模糊图像的处理速度。
Description
技术领域
本发明涉及图像处理技术领域,特别是一种图像去模糊方法。
背景技术
通常智能驾驶车辆在生成智能驾驶决策时需要依赖图像采集装置采集的智能驾驶车辆所处环境的环境图像,通过针对上述环境图像中的目标对象进行识别跟踪,去生成智能驾驶决策,由于搭载于智能驾驶车辆上的图像采集装置在智能驾驶车辆运行过程中采集的环境图像通常较为模糊,从而严重影响后续针对目标对象的识别以及跟踪,从而影响生成的智能驾驶策略的准确性,严重时可能造成交通事故。
目前,通常采用传统的图像去模糊方法针对模糊图像进行去模糊处理,例如,通过维纳滤波算法、RL滤波算法、总变分算法等针对模糊图像进行数字化处理与分析,从而实现模糊图像的去模糊处理;或者基于深度学习模型针对模糊图像进行去模糊处理;对于传统的图像去模糊方法,任意一种方法只能针对特定的场景的模糊图像进行有效处理,而智能驾驶中的场景复杂多变,传统的单一的方法无法针对不同场景中的模糊图像同时进行处理。对于深度学习模型,相较于传统方法针对复杂场景中的模糊图像的去模糊处理能力有了显著的提高,但现有的深度学习模型通常参数量较多,模型较大,运行速度较慢,影响了图像处理速度;而在智能驾驶场景中通常需要模型能够快速输出去模糊后的清晰图片,从而为智能决策提供支持,保证智能驾驶决策的低时延性。
基于此,如何提供一种能够针对多场景模糊图像快速处理的方法成为亟待解决的技术问题。
发明内容
本说明书实施例提供一种图像去模糊处理方法、装置及设备,以解决现有的图像去模糊处理方法无法针对多场景的模糊图像快速处理的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种图像去模糊处理方法,所述方法可以包括:
获取待处理模糊图像;
利用图像去模糊模型对所述待处理模糊图像进行去模糊处理,得到目标清晰图像;
其中,所述图像去模糊模型包括:包含有利用轻量型架构网络搭建的编码器的主干网络、包含有深度可分离卷积层的特征融合网络以及输出层;
所述主干网络用于在获取所述待处理模糊图像后,输出所述待处理模糊图像的各个目标图像特征;所述特征融合网络用于对各个所述目标图像特征进行融合处理,输出所述待处理模糊图像的融合特征;所述输出层用于根据所述融合特征生成所述清晰图像。
本说明书实施例提供的一种图像去模糊处理装置,包括:
获取模块,用于获取待处理模糊图像;
处理模块,用于利用图像去模糊模型对所述待处理模糊图像进行去模糊处理,得到目标清晰图像;
其中,所述图像去模糊模型包括:包含有利用轻量型架构网络搭建的编码器的主干网络、包含有深度可分离卷积层的特征融合网络以及输出层;
所述主干网络用于在获取所述待处理模糊图像后,输出所述待处理模糊图像的各个目标图像特征;所述特征融合网络用于对各个所述目标图像特征进行融合处理,输出所述待处理模糊图像的融合特征;所述输出层用于根据所述融合特征生成所述清晰图像。
本说明书实施例提供的一种计算机装置/设备/系统,可以包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现一种图像去模糊处理方法的步骤。
本说明书实施例提供的一种计算机可读存储介质,其上存储有计算机程序或指令,所述计算机程序或指令可被处理器执行以实现一种图像去模糊处理方法。
本说明书实施例提供的一种计算机程序产品,可以包括计算机程序或指令,所述计算机程序或指令被处理器执行时实现一种图像去模糊处理方法的步骤。
本说明书中至少一个实施例能够达到以下有益效果:由于用于针对待处理模糊图像进行去模糊处理的图像去模糊模型的主干网络是利用轻量型架构网络搭建的编码器所构建的,因此可以有效减少所述主干网络的网络参数数量,且由于图像去模糊模型的特征融合网络是由参数数量较少的深度可分离卷积层所构建的,因此可以有效减少所述特征融合网络的网络参数数量;实现了本申请中的图像去模糊模型的轻量化,降低了对于部署图像去模糊模型的硬件资源的要求,同时提高了图像去模糊模型的运行速度,进而提高针对多场景的模糊图像的处理速度。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的一种图像去模糊处理方法的流程示意图;
图2是本说明书实施例提供的一种图像去模糊模型结构示意图;
图3是本说明书实施例提供的一种图像去模糊处理装置的结构示意图;
图4是本说明书实施例提供的一种图像去模糊处理设备的结构示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书一个或多个实施例保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
现有技术中,通常采用传统的图像去模糊方法针对图像进行去模糊处理,例如,通过维纳滤波算法、RL滤波算法、总变分算法等针对模糊图像进行数字化处理与分析,从而实现图像的去模糊化处理;或者基于深度学习模型针对图像进行去模糊处理;对于传统的图像去模糊方法,任意一种方法只能针对特定的场景的模糊图像进行有效处理,而智能驾驶中的场景复杂多变,传统的单一的方法无法针对不同场景中的模糊图像同时进行处理。对于深度学习模型,相较于传统方法针对复杂场景中的模糊图像的去模糊处理能力有了显著的提高,但现有的深度学习模型通常参数量较多,对于用于部署深度学习模型的硬件资源要求较高,且模型运行速度较慢,严重影响了模糊图像的处理速度。
为了解决现有技术中的缺陷,本方案给出了以下实施例:
图1为本说明书实施例提供的一种图像去模糊处理方法的流程示意图。从程序角度而言,流程的执行主体可以为用于执行图像去模糊的设备,或者设备处搭载的应用程序。
如图1所示,该流程可以包括以下步骤:
步骤102:获取待处理模糊图像。
在本说明书实施例中,所述待处理模糊图像可以是利用图像采集设备采集的,由于大气模糊、散焦模糊或运动模糊导致的模糊图像;例如,待处理模糊图像可以是利用搭载于智能驾驶车辆上的传感器在低照度、低能见度情况下采集的图像,具体的,所述待处理模糊图像可以是利用搭载于智能驾驶车辆的传感器在大雾阴雨天气或者光线不好的晚上拍摄的模糊图像;当然,所述待处理模糊图像并不局限为利用搭载于智能驾驶车辆的传感器所采集的图像,也可以是其他场景中采集的模糊图像,或直接从其他设备接收的模糊图像,在此不做具体限定。
步骤104:利用图像去模糊模型对所述待处理模糊图像进行去模糊处理,得到目标清晰图像。
其中,所述图像去模糊模型包括:包含有利用轻量型架构网络搭建的编码器的主干网络、包含有深度可分离卷积层的特征融合网络以及输出层。
所述主干网络用于在获取所述待处理模糊图像后,输出所述待处理模糊图像的各个目标图像特征;所述特征融合网络用于对各个所述目标图像特征进行融合处理,输出所述待处理模糊图像的融合特征;所述输出层用于根据所述融合特征生成所述清晰图像。
在本说明书实施例中,所述图像去模糊模型可以用于实现对待处理模糊图像的去模糊化处理,即可以将待处理模糊图像中模糊的区域变得清晰。
在本说明书实施例中,所述利用轻量型架构网络搭建的编码器用于针对待处理模糊图像进行特征提取,得到特征提取后的目标图像特征;所述主干网络中可以包括顺序连接的多个编码器;可以理解的,所述待处理模糊图像顺序经过所述多个编码器进行特征提取,可以得到多个目标图像特征。
在实际应用中,可以利用MobileOne等超轻量架构网络作为用于针对所述待处理模糊图像进行特征提取的编码器。
在本说明书实施例中,所述特征融合网络用于针对所述多个目标图像特征进行自顶向下的特征融合处理;所述特征融合网络可以是利用深度可分离卷积层搭建的轻量级特征金字塔网络,使得标准的卷积滤波和特征组合在一步内完成。深度可分离卷积将标准的卷积分解为一个深度向(depthwise)卷积和一个1*1的点向(pointwise)卷积。深度向卷积对每个输入通道用一个滤波器计算,点向卷积使用1*1的卷积组合深度向卷积的结果,这个分解可以有效降低计算量和模型大小。
应当理解,本说明书一个或多个实施例所述的方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。
图1中的方法,由于用于针对待处理模糊图像进行去模糊处理的图像去模糊模型的主干网络是利用轻量型架构网络搭建的编码器所构建的,因此可以有效减少所述主干网络的网络参数数量,且由于图像去模糊模型的特征融合网络是由参数数量较少的深度可分离卷积层所构建的;因此可以有效减少所述特征融合网络的网络参数数量;从而从整体上实现本申请中的图像去模糊模型的轻量化,降低了对于部署图像去模糊模型的硬件资源的要求,同时提高了图像去模糊模型的运行速度,进而提高了针对多场景的模糊图像的处理速度。
基于图1的方法,本说明书实施例还提供了该方法的一些具体实施方式,下面进行说明。
在本说明书实施例中,为了便于理解方案,还提供了主干网络的具体结构。
可选的,所述主干网络包括:第一数量的所述编码器以及第二数量的注意力机制模型;所述编码器与所述注意力机制模型间隔设置且串行连接。
所述主干网络中的首位所述编码器的输入端用于接收所述待处理模糊图像,所述首位所述编码器的输出端用于输出图像特征数据。
任一所述注意力机制模型的输入端用于接收与所述任一所述注意力机制模型相连的前一位所述编码器的输出端输出的图像特征数据,所述任一所述注意力机制模型的输出端用于向所述特征融合网络发送所述目标图像特征,以及向与所述任一所述注意力机制模型相连的后一位所述编码器的输入端发送所述目标图像特征。
在本说明书实施例中,所述编码器可以用于针对所述编码器的接收的待处理模糊图像或目标图像特征进行特征提取,得到图像特征数据;任一所述编码器的输出端输出的图像特征数据所反映的特征图的高和宽为所述任一所述编码器的输入端获取的待处理模糊图像或目标图像特征所反映的特征图的一半。
在本说明书实施例中,所述注意力机制模型可以是无参数的注意力机制模型或少参数的注意力机制模型,因此,添加注意力机制模型并不会增加所述图像去模糊模型的参数或仅增加较少的参数,从而避免对图像去模糊模型的运行速度产生影响。所述任一所述注意力机制模型用于针对所述任一所述注意力机制模型接收的图像特征数据进行注意力加强处理,聚焦图像特征数据的重要信息,抑制不相关的信息,从而使得主干网络可以提取到更多的有效信息,提升得到的目标清晰图像的准确性。
在本说明书实施例中,所述第一数量与所述第二数量可以相等也可以不相等,所述第一数量与所述第二数量的具体值可以根据实际需要进行设定,例如,可以将第一数量以及第二数量的值均设置为5,也可以将所述第一数据量的值设置为5,将所述第二数量的值设置为4,当然第一数量与所述第二数量的具体值还可以设置为其他数值,在此不做具体限定。
在本说明书实施例中,所述主干网络可以包括子网络序列,所述子网络序列可以由间隔设置且串行连接的编码器与注意力机制模型构成。所述子网络序列中的首位子网络的输入端可以用于接收所述待处理模糊图像;所述子网络序列中除所述首位子网络以外的任一目标子网络的输入端可以用于接收与所述任一目标子网络连接的前一位子网络的输出端输出的特征数据。所述子网络序列中的末位子网络的输出端用于输出用于向所述特征融合网络发送所述目标图像特征。
在实际应用中所述首位子网络可以为编码器,所述末位子网络可以是编码器,所述编码器的输入端用于接收与所述末位子网络(编码器)相连的前一位所述注意力机制模型的输出端发送的目标图像特征,所述末位所述编码器的输出端用于向所述特征融合网络发送所述目标图像特征;所述末位子网络可以也是注意力机制模型,所述注意力机制模型的输入端用于接收与所述末位子网络(注意力机制模型)相连的前一位所述编码器的输出端发送的图像特征数据,所述末位所述注意力机制模型的输出端用于向所述特征融合网络发送所述目标图像特征。
其中,除了所述子网络序列中的首位编码器以外的其他编码器的输入端接收的特征数据为所述目标图像特征。
为便于理解,本说明书实施例中,还提供了具体用于搭建编码器的具体轻量型架构网络,以及具体的注意力机制模型。
具体的,所述轻量型架构网络可以为MobileOne网络;所述注意力机制模型可以包括SimAM注意力机制模型与ECA通道注意力机制模型中的至少一种。
在本说明书实施例中,所述MobileOne网络是为一种超轻量架构网络,在图像去模糊模型的训练阶段,MobileOne网络采用存在残差结构的多分支网络模型,由于在网络运行时,多分支结构的内存访问和需要数据同步的算子操作的代价都会快速增长,因此在图像去模糊模型训练完成后的图像去模糊处理阶段,应该尽可能避免多分支结构,在本说明书实施例中,通过将MobileOne网络中的残差结构等效融合到一条支路中,以使用等效融合的单分支前向结构,去减少基于MobileOne网络构建的主干网络的参数数量。
在本说明书实施例中,所述SimAM注意力机制模型是一种无参数的注意力机制模型,其中不包含卷积操作;所述SimAM注意力机制模型可以聚焦图像特征数据中的重要信息,抑制不相关的信息,从而使得主干网络可以提取到更多的有效信息,进而提升得到的目标清晰图像的准确性;同时,由于所述SimAM注意力机制模型是一种无参数的不包含卷积的注意力机制模型,因此,在主干网络中添加SimAM注意力机制模型不会增加图像去模糊模型的参数数量,从而不会影响图像去模糊模型的运行速度。
在本说明书实施例中,也可以利用少参数的ECA通道注意力机制模型针对图像特征数据中进行增强注意力处理。
为便于理解,本说明书实施例中,还提供了一种可以实现的特征融合网络的具体网络架构,以及主干网络架构。
具体的,所述特征融合网络为利用所述深度可分离卷积层针对DeblurGan_v2网络中的初始特征融合网络中的卷积层进行替换得到的网络。
所述主干网络为利用所述轻量型架构网络针对所述DeblurGan_v2网络中的初始主干网络中的特征提取子网络进行替换得到的网络。
在本说明书实施例中,所述DeblurGan_v2网络为现有的可用于改善图像或视频质量的模型,所述DeblurGan_v2网络中的初始特征融合网络中的卷积层为3×3的普通卷积;所述深度可分离卷积可以将标准卷积分解为一个深度向(depthwise)卷积和一个1*1的点向(pointwise)卷积。深度向卷积对每个输入通道用一个滤波器计算,点向卷积使用1*1的卷积组合深度向卷积的结果,这个分解可以有效降低计算量和模型大小;因此可以将DeblurGan_v2网络中的初始特征融合网络中的3×3的普通卷积替换为深度可分离卷积,以减少特征融合网络的参数数量,进而实现图像去模糊模型的轻量化,降低对于部署图像去模糊模型的硬件资源的要求,同时提高图像去模糊模型的运行速度。
在本说明书实施例中,还可以将DeblurGan_v2网络中的初始主干网络中的特征提取子网络替换为轻量型架构网络,从而得到本申请中的主干网络。
在本说明书实施例中,通常在利用所述图像去模糊模型针对待处理模糊图像进行去模糊处理之前,还需要针对所述图像去模糊模型进行训练。
基于此,所述利用图像去模糊模型对所述待处理模糊图像进行去模糊处理之前,还可以包括:
获取训练样本,所述训练样本包括清晰图像样本以及由所述清晰图像样本生成的模糊图像样本。
将所述模糊图像样本输入到所述图像去模糊模型中进行去模糊处理,得到处理后清晰图像。
根据所述处理后清晰图像与所述清晰图像样本之间的损失值,调整所述图像去模糊模型中的模型参数。
在本说明书实施例中,通过针对图像去模糊模型进行训练,可以使得图像去模糊模型能够学习到从提取的图像特征数据中还原出清晰的图像的能力。
在本说明书实施例中,针对图像去模糊模型进行训练采用的训练数据为足够数量的模糊图像样本与清晰图像样本。所述模糊图像样本是根据清晰图像样本生成的,将模糊图像样本输入到图像去模糊模型中进行处理,得到处理后清晰图像,然后可以根据所述处理后清晰图像与清晰图像样本之间的损失值更新所述图像去模糊模型中的模型参数,具体的,在实际应用中,可以根据经过图像去模糊模型处理后得到的处理后清晰图像与清晰图像样本之间的均方差计算损失值。
在本说明书实施例中,为了便于理解,还提供了具体获取包括清晰图像样本以及模糊图像样本的训练样本的具体方法。
具体的,所述获取训练样本,具体可以包括:
获取所述清晰图像样本。
在所述清晰图像样本上叠加噪声,得到所述模糊图像样本;或者,
针对所述清晰图像样本进行高斯模糊处理,得到所述模糊图像样本;或者,
针对所述清晰图像样本进行运动模糊处理,得到所述模糊图像样本。
在本说明书实施例中,所述清晰图像样本可以是通过高清摄像机获得的符合要求的样本数据,也可以直接从其他设备接收的样本数据,在此不做具体限定。
在本说明书实施例中,所述在所述清晰图像样本上叠加的噪声可以包括脉冲噪声和/或斑点噪声中的至少一种,可以通过在所述清晰图像样本上叠加脉冲噪声和/或斑点噪声中的至少一种,得到带有脉冲噪声和/或斑点噪声的模糊图像样本。
在本说明书实施例中,还可以利用高斯函数对清晰图像样本进行计算生成模糊图像样本。在实际应用中,高斯噪声是一种统计性噪声,高斯噪声的概率密度分布等于正态分布;如果一个噪声,它的幅度分布服从高斯分布,而它的功率谱密度又是均匀分布的,则为高斯白噪声,可以选取不同大小的高斯核,利用高斯函数对清晰图像样本进行计算,得到不同模糊程度的模糊图像样本,通常采用的高斯核越大则模糊的效果越明显。
在本说明书实施例中,所述针对所述清晰图像样本进行运动模糊处理,具体可以包括,将清晰图像样本按照预设方向进行移动,再将移动后的图像样本与原始位置的清晰图像样本进行叠加,并利用模糊核对叠加后的图像样本进行模糊处理,从而生成按照预设方向运动后的模糊图像。当然,所述预设方向可以是随机方向,也可人为指定的方向,在此不做具体限定。由于通常图像中目标的运动速度越快,那么运动模糊的程度就越大,因此针对清晰图像样本中的不同目标对象可以进行不同程度的模糊处理。
本说明书实施例中,对于生成的模糊图像的具体实施方式不做限定。可以根据图像去模糊模型真实使用场景下模糊图像的产生原因,来模拟生成类似的模糊图像。例如,针对清晰图像样本进行不同强度的高斯模糊处理和/或不同强度的运动模糊处理。
在本说明书实施例中,通常初始获取的训练样本中的清晰图像样本的尺寸差异较大,从而导致在利用上述训练样本针对图像去模糊模型进行训练的过程中不收敛。
基于此,所述获取所述清晰图像样本之后,还可以包括:
针对所述清晰图像样本进行尺寸调整处理,得到预设尺寸的清晰图像样本。
针对所述预设尺寸的清晰图像样本进行标准化处理和归一化处理中的至少一种,得到目标清晰图像样本。
在本说明书实施例中,可以将所述清晰图像样本的尺寸通过、裁减等方式进行调整,并进行标准化以及归一化处理得到标准的目标清晰图像样本,以便于更好地训练图像去模糊模型。
为了更好的理解本方案,本说明书实施例还提供了图像去模糊模型的具体结构以及利用图像去模糊模型针对待处理模糊图像进行处理的具体过程。图2为本说明书实施例提供的一种图像去模糊模型结构示意图。
在本说明书实施例中,以5个所述编码器(深度可分离卷积层)以及4个注意力机制模型具体说明由5个所述编码器以及4个注意力机制模型可以构成的结构,以及针对所述待处理模糊图像进行处理的具体过程进行说明。
在本说明书实施例中,在特征提取阶段,所述主干网络中的子网络序列的首位子网络可以为首位编码器,所述首位编码器依序连接第一注意力机制模型、第二编码器、第二注意力机制模型、第三编码器、第三注意力机制模型、第四编码器、第四注意力机制模型、第五编码器。
所述首位编码器的用于接收所述待处理模糊图像,并针对所述待处理模糊图像进行特征提取得到第一图像特征数据;所述第一图像特征数据的特征图的高和宽为所述待处理模糊图像的一半。
所述第一注意力机制模型的用于接收所述第一图像特征数据,并针对所述第一图像特征数据进行注意力加强处理得到第一目标图像特征。
所述第二编码器的用于接收所述第一目标图像特征,并针对所述第一目标图像特征进行特征提取得到第二图像特征数据;所述第二图像特征数据的特征图的高和宽为所述第一图像特征数据(第一目标图像特征)的特征图的高和宽的一半。
所述第二注意力机制模型的用于接收所述第二图像特征数据,并针对所述第二图像特征数据进行注意力加强处理得到第二目标图像特征。
所述第三编码器的用于接收所述第二目标图像特征,并针对所述第二目标图像特征进行特征提取得到第三图像特征数据;所述第三图像特征数据的特征图的高和宽为所述第二图像特征数据(第二目标图像特征)的特征图的高和宽的一半。
所述第三注意力机制模型的用于接收所述第三图像特征数据,并针对所述第三图像特征数据进行注意力加强处理得到第三目标图像特征。
所述第四编码器的用于接收所述第三目标图像特征,并针对所述第三目标图像特征进行特征提取得到第四图像特征数据;所述第四图像特征数据的特征图的高和宽为所述第三图像特征数据(第三目标图像特征)的特征图的高和宽的一半。
所述第四注意力机制模型的用于接收所述第四图像特征数据,并针对所述第四图像特征数据进行注意力加强处理得到第四目标图像特征。
所述第五编码器的用于接收所述第四目标图像特征,并针对所述第四目标图像特征进行特征提取得到第五图像特征数据(也可以为第五目标图像特征);所述第五图像特征数据的特征图的高和宽为所述第四图像特征数据(第四目标图像特征)的特征图的高和宽的一半。
在第一特征融合阶段,针对所述多个目标图像特征进行自顶向下的特征融合处理。
具体的,首先将第一目标图像特征、第二目标图像特征、第三目标图像特征、第四目标图像特征以及第五图像特征数据分别进行1×1卷积,然后利用第一深度可分离卷积层针对1×1卷积处理后的第五图像特征数据进行深度可分离卷积处理得到第一目标融合图像特征,然后利用第一上采样层针对第一融合目标图像特征,进行上采样处理得到第一指定融合图像特征,使得所述第一指定融合图像特征的特征图与所述第四目标图像特征的特征图的尺寸相同;利用第一特征融合层针对1×1卷积处理后的第四目标图像特征与所述第一指定融合图像特征进行特征融合处理,得到第二指定融合图像特征。
利用第二深度可分离卷积层针对所述第二指定融合图像特征进行深度可分离卷积处理得到第二目标融合图像特征;然后利用第二上采样层针对第二融合目标图像特征,进行上采样处理得到第三指定融合图像特征,使得所述第三指定融合图像特征的特征图与所述第三目标图像特征的特征图的尺寸相同;利用第二特征融合层针对1×1卷积处理后的第三目标图像特征与所述第三指定融合图像特征进行特征融合处理,得到第四指定融合图像特征。
利用第三深度可分离卷积层针对所述第四指定融合图像特征进行深度可分离卷积处理得到第三目标融合图像特征;然后利用第三上采样层针对第三融合目标图像特征,进行上采样处理得到第五指定融合图像特征,使得所述第五指定融合图像特征的特征图与所述第二目标图像特征的特征图的尺寸相同;利用第三特征融合层针对1×1卷积处理后的第二目标图像特征与所述第五指定融合图像特征进行特征融合处理,得到第六指定融合图像特征。
利用第四深度可分离卷积层针对所述第六指定融合图像特征进行深度可分离卷积处理得到第四目标融合图像特征;然后利用第四上采样层针对第四融合目标图像特征,进行上采样处理得到第七指定融合图像特征,使得所述第七指定融合图像特征的特征图与所述第一目标图像特征的特征图的尺寸相同;利用第四特征融合层将1×1卷积处理后的第一目标图像特征与所述第七指定融合图像特征进行特征融合处理,得到第八指定融合图像特征。
利用第五深度可分离卷积层针对所述第八指定融合图像特征进行深度可分离卷积处理得到第五目标融合图像特征。
在第二特征融合阶段,针对所述多个目标图像特征再次进行自顶向下的特征融合处理。
具体的,利用第五上采样层针对所述第一目标融合图像特征进行8倍上采样处理、用第六上采样层针对所述第二目标融合图像特征进行4倍上采样处理,用第七上采样层针对所述第三目标融合图像特征进行2倍上采样处理,使得经过上采样处理后的第一目标融合图像特征、第二目标融合图像特征、第三目标融合图像特征的特征图均与所述第四目标融合图像特征的特征图尺寸相同;然后第五特征融合层针对经过上采样后的第一目标融合图像特征、第二目标融合图像特征、第三目标融合图像特征与所述第四目标融合图像特征进行特征融合,得到第九指定融合图像特征。
针对第九指定融合图像特征依序利用第六深度可分离卷积层进行深度可分离卷积处理、利用第八上采样层进行2倍上采样处理后得到第十指定融合图像特征。
利用第六特征融合层针对所述第十指定融合图像特征以及第五目标融合图像特征进行特征融合处理,得到第十一指定融合图像特征,然后针对第十一指定融合图像特征依序利用第七深度可分离卷积层进行深度可分离卷积处理、利用第九上采样层进行上采样处理、利用第八深度可分离卷积层进行深度可分离卷积处理得到第六目标融合图像特征。
最后,利用第七特征融合层针对所述第六目标融合图像特征与所述待处理模糊图像的图像特征进行特征融合得到目标清晰图像。
基于同样的思路,本说明书实施例还提供了上述方法对应的装置。图3为本说明书实施例提供的对应于图1的一种图像去模糊处理装置的结构示意图。如图3所示,该装置可以包括:
获取模块302,用于获取待处理模糊图像;
处理模块304,用于利用图像去模糊模型对所述待处理模糊图像进行去模糊处理,得到目标清晰图像;
其中,所述图像去模糊模型包括:包含有利用轻量型架构网络搭建的编码器的主干网络、包含有深度可分离卷积层的特征融合网络以及输出层;
所述主干网络用于在获取所述待处理模糊图像后,输出所述待处理模糊图像的各个目标图像特征;所述特征融合网络用于对各个所述目标图像特征进行融合处理,输出所述待处理模糊图像的融合特征;所述输出层用于根据所述融合特征生成所述清晰图像。
基于图3的装置,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
可选的,图3中的装置,所述主干网络可以包括:第一数量的所述编码器以及第二数量的注意力机制模型;所述编码器与所述注意力机制模型间隔设置且串行连接。
所述主干网络中的首位所述编码器的输入端用于接收所述待处理模糊图像,所述首位所述编码器的输出端用于输出图像特征数据。
任一所述注意力机制模型的输入端用于接收与所述任一所述注意力机制模型相连的前一位所述编码器的输出端输出的图像特征数据,所述任一所述注意力机制模型的输出端用于向所述特征融合网络发送所述目标图像特征,以及向与所述任一所述注意力机制模型相连的后一位所述编码器的输入端发送所述目标图像特征。
可选的,图3中的装置,所述轻量型架构网络可以为MobileOne网络;所述注意力机制模型可以包括SimAM注意力机制模型与ECA通道注意力机制模型中的至少一种。
可选的,图3中的装置,所述特征融合网络可以为利用所述深度可分离卷积层针对DeblurGan_v2网络中的初始特征融合网络中的卷积层进行替换得到的网络。
可选的,图3中的装置,所述主干网络可以为利用所述轻量型架构网络针对所述DeblurGan_v2网络中的初始主干网络中的特征提取子网络进行替换得到的网络。
可选的,图3中的装置,还可以包括:
训练样本获取模块,用于获取训练样本,所述训练样本包括清晰图像样本以及由所述清晰图像样本生成的模糊图像样本。
第二处理模块,用于将所述模糊图像样本输入到所述图像去模糊模型中进行去模糊处理,得到处理后清晰图像。
调整模块,用于根据所述处理后清晰图像与所述清晰图像样本之间的损失值,调整所述图像去模糊模型中的模型参数。
可选的,所述训练样本获取模块,具体可以用于:
获取所述清晰图像样本。
在所述清晰图像样本上叠加噪声,得到所述模糊图像样本;或者,
针对所述清晰图像样本进行高斯模糊处理,得到所述模糊图像样本;或者,
针对所述清晰图像样本进行运动模糊处理,得到所述模糊图像样本。
基于同样的思路,本说明书实施例还提供了上述方法对应的设备。
图4为本说明书实施例提供的对应于图1的一种图像去模糊处理设备的结构示意图。如图4所示,设备400可以包括:
存储器430、处理器410及存储在存储器上的计算机程序420,处理器410执行所述计算机程序420以实现上述任一实施例中所述图像去模糊处理方法的步骤。
基于同样的思路,本说明书实施例还提供了上述方法对应的计算机可读存储介质。计算机可读存储介质上存储有计算机程序或指令,该计算机程序或指令可被处理器执行以实现上述图像去模糊处理方法。
基于同样的思路,本说明书实施例还提供了上述方法对应的计算机程序产品。计算机程序产品包括计算机程序或指令,该计算机程序或指令被处理器执行时可以实现上述图像去模糊处理方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图4所示的设备而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种图像去模糊处理方法,其特征在于,所述方法包括:
获取待处理模糊图像;
利用图像去模糊模型对所述待处理模糊图像进行去模糊处理,得到目标清晰图像;
其中,所述图像去模糊模型包括:包含有利用轻量型架构网络搭建的编码器的主干网络、包含有深度可分离卷积层的特征融合网络以及输出层;
所述主干网络用于在获取所述待处理模糊图像后,输出所述待处理模糊图像的各个目标图像特征;所述特征融合网络用于对各个所述目标图像特征进行融合处理,输出所述待处理模糊图像的融合特征;所述输出层用于根据所述融合特征生成所述清晰图像。
2.根据权利要求1所述的方法,其特征在于,所述主干网络包括:第一数量的所述编码器以及第二数量的注意力机制模型;所述编码器与所述注意力机制模型间隔设置且串行连接;
所述主干网络中的首位所述编码器的输入端用于接收所述待处理模糊图像,所述首位所述编码器的输出端用于输出图像特征数据;
任一所述注意力机制模型的输入端用于接收与所述任一所述注意力机制模型相连的前一位所述编码器的输出端输出的图像特征数据,所述任一所述注意力机制模型的输出端用于向所述特征融合网络发送所述目标图像特征,以及向与所述任一所述注意力机制模型相连的后一位所述编码器的输入端发送所述目标图像特征。
3.根据权利要求2所述的方法,其特征在于,所述轻量型架构网络为MobileOne网络;所述注意力机制模型包括SimAM注意力机制模型与ECA通道注意力机制模型中的至少一种。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述特征融合网络为利用所述深度可分离卷积层针对DeblurGan_v2网络中的初始特征融合网络中的卷积层进行替换得到的网络。
5.根据权利要求4所述的方法,其特征在于,所述主干网络为利用所述轻量型架构网络针对所述DeblurGan_v2网络中的初始主干网络中的特征提取子网络进行替换得到的网络。
6.根据权利要求1所述的方法,其特征在于,所述利用图像去模糊模型对所述待处理模糊图像进行去模糊处理之前,还包括:
获取训练样本,所述训练样本包括清晰图像样本以及由所述清晰图像样本生成的模糊图像样本;
将所述模糊图像样本输入到所述图像去模糊模型中进行去模糊处理,得到处理后清晰图像;
根据所述处理后清晰图像与所述清晰图像样本之间的损失值,调整所述图像去模糊模型中的模型参数。
7.根据权利要求6所述的方法,其特征在于,所述获取训练样本,包括:
获取所述清晰图像样本;
在所述清晰图像样本上叠加噪声,得到所述模糊图像样本;或者,
针对所述清晰图像样本进行高斯模糊处理,得到所述模糊图像样本;或者,
针对所述清晰图像样本进行运动模糊处理,得到所述模糊图像样本。
8.一种图像去模糊处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理模糊图像;
第一处理模块,用于利用图像去模糊模型对所述待处理模糊图像进行去模糊处理,得到目标清晰图像;
其中,所述图像去模糊模型包括:包含有利用轻量型架构网络搭建的编码器的主干网络、包含有深度可分离卷积层的特征融合网络以及输出层;
所述主干网络用于在获取所述待处理模糊图像后,输出所述待处理模糊图像的各个目标图像特征;所述特征融合网络用于对各个所述目标图像特征进行融合处理,输出所述待处理模糊图像的融合特征;所述输出层用于根据所述融合特征生成所述清晰图像。
9.一种计算机装置/设备/系统,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1至7中任意一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序或指令,所述计算机程序或指令可被处理器执行以实现权利要求1至7中任意一项所述的图像去模糊处理方法。
11.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311069104.3A CN117314764A (zh) | 2023-08-23 | 2023-08-23 | 一种图像去模糊方法、装置、设备、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311069104.3A CN117314764A (zh) | 2023-08-23 | 2023-08-23 | 一种图像去模糊方法、装置、设备、系统及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117314764A true CN117314764A (zh) | 2023-12-29 |
Family
ID=89296154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311069104.3A Pending CN117314764A (zh) | 2023-08-23 | 2023-08-23 | 一种图像去模糊方法、装置、设备、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117314764A (zh) |
-
2023
- 2023-08-23 CN CN202311069104.3A patent/CN117314764A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111311709B (zh) | 一种生成高精地图的方法及装置 | |
JP2008529322A (ja) | 画像データ処理用の電子デバイス及び画像データ処理方法 | |
CN111882611A (zh) | 一种地图构建方法及装置 | |
CN117372631A (zh) | 一种多视角图像生成模型的训练方法、应用方法 | |
CN117197781B (zh) | 一种交通标志识别的方法、装置、存储介质及电子设备 | |
CN113688832B (zh) | 一种模型训练及图像处理方法、装置 | |
CN111738161A (zh) | 一种活体检测方法、装置及电子设备 | |
CN116245961B (zh) | 一种基于多类传感器信息的融合感知方法及系统 | |
CN117314764A (zh) | 一种图像去模糊方法、装置、设备、系统及介质 | |
CN115984154A (zh) | 一种图像融合的方法、装置、存储介质及电子设备 | |
CN115019148A (zh) | 一种目标检测方法 | |
CN114359935A (zh) | 一种模型训练以及表格识别方法及装置 | |
CN117726907B (zh) | 一种建模模型的训练方法、三维人体建模的方法以及装置 | |
CN114528923B (zh) | 基于时域上下文的视频目标检测方法、装置、设备及介质 | |
CN117726760B (zh) | 一种用于视频的三维人体重建模型的训练方法及装置 | |
CN117911630B (zh) | 一种三维人体建模的方法、装置、存储介质及电子设备 | |
CN117058525B (zh) | 一种模型的训练方法、装置、存储介质及电子设备 | |
CN116188633B (zh) | 一种仿真遥感影像生成的方法、装置、介质及电子设备 | |
CN116016816B (zh) | 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统 | |
CN116152274B (zh) | 一种图像分割方法、装置、设备及存储介质 | |
CN112837410B (zh) | 一种训练模型和点云的处理方法及装置 | |
CN116612244B (zh) | 一种图像生成方法、装置、存储介质及电子设备 | |
CN112927219B (zh) | 一种图像的检测方法、装置及设备 | |
CN116389789A (zh) | 一种移动端视频画质增强的方法、装置、介质及电子设备 | |
CN117808976A (zh) | 一种三维模型构建方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |