CN113658128A - 图像模糊程度确定方法、数据集构建方法与去模糊方法 - Google Patents

图像模糊程度确定方法、数据集构建方法与去模糊方法 Download PDF

Info

Publication number
CN113658128A
CN113658128A CN202110932215.7A CN202110932215A CN113658128A CN 113658128 A CN113658128 A CN 113658128A CN 202110932215 A CN202110932215 A CN 202110932215A CN 113658128 A CN113658128 A CN 113658128A
Authority
CN
China
Prior art keywords
image
degree
deblurring
processed
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110932215.7A
Other languages
English (en)
Inventor
辛明远
李明珠
朱尊杰
徐枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Tsinghua University
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Tsinghua University
Priority to CN202110932215.7A priority Critical patent/CN113658128A/zh
Publication of CN113658128A publication Critical patent/CN113658128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像模糊程度确定方法、模糊图像数据集构建方法、图像去模糊方法、装置、存储介质与电子设备，涉及图像与视频处理技术领域。所述图像模糊程度确定方法包括：获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值；根据所述像素点在所述多个子曝光时间所对应的像素值之间的偏差程度，确定所述像素点在所述目标图像中的模糊程度值，并根据每个所述像素点所述目标图像中的模糊程度值确定所述目标图像的模糊程度数据；其中，所述目标图像的像素值是通过合并所述像素点在所述多个子曝光时间所对应的像素值而得到。本公开能够表示图像中不同像素点的模糊程度，有利于改善图像去模糊效果。

Description

图像模糊程度确定方法、数据集构建方法与去模糊方法
技术领域
本公开涉及图像与视频处理技术领域，尤其涉及一种图像模糊程度确定方法、模糊图像数据集构建方法、图像去模糊方法、图像模糊程度确定装置、模糊图像数据集构建装置、图像去模糊装置、计算机可读存储介质与电子设备。
背景技术
在图像拍摄过程中，由于抖动、失焦或其他原因导致图像模糊不清，是较为常见的情况。在进行图像去模糊时，通常需要先计算图像的模糊程度，以便采用与之匹配的标准实施具体的去模糊处理。
相关技术中，模糊程度计算方法大多是针对整张图像计算一个整体的模糊程度，无法体现出图像中不同区域的模糊程度差异，进而，在去模糊处理时对整张图像采用同一标准，导致去模糊效果较差。
发明内容
本公开提供了一种图像模糊程度确定方法、模糊图像数据集构建方法、图像去模糊方法、图像模糊程度确定装置、模糊图像数据集构建装置、图像去模糊装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决相关技术中无法对图像中不同区域分别确定模糊程度、以及图像去模糊效果较差的问题。
根据本公开的第一方面，提供一种图像模糊程度确定方法，包括：获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值；根据所述像素点在所述多个子曝光时间所对应的像素值之间的偏差程度，确定所述像素点在所述目标图像中的模糊程度值，并根据每个所述像素点所述目标图像中的模糊程度值确定所述目标图像的模糊程度数据；其中，所述目标图像的像素值是通过合并所述像素点在所述多个子曝光时间所对应的像素值而得到。
根据本公开的第二方面，提供一种模糊图像数据集构建方法，包括：获取目标图像以及根据上述第一方面的图像模糊程度确定方法所确定的所述目标图像的模糊程度数据；将所述目标图像作为样本图像，所述目标图像的模糊程度数据作为第一标签，构建模糊图像数据集；所述模糊图像数据集用于训练模糊程度感知网络，所述模糊程度感知网络用于对输入所述模糊程度感知网络的图像确定其模糊程度数据。
根据本公开的第三方面，提供一种图像去模糊方法，包括：获取待处理图像；根据上述第一方面的图像模糊程度确定方法，以所述待处理图像为目标图像，确定所述待处理图像的模糊程度数据；基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像。
根据本公开的第四方面，提供一种图像去模糊方法，包括：获取待处理图像；利用模糊程度感知网络对所述待处理图像进行处理，得到所述待处理图像的模糊程度数据；基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像；其中，所述模糊程度感知网络是利用上述第二方面的模糊图像数据集构建方法所构建的模糊图像数据集而训练得到的。
根据本公开的第五方面，提供一种图像模糊程度确定装置，包括：数据获取模块，被配置为获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值；模糊程度数据确定模块，被配置为根据所述像素点在所述多个子曝光时间所对应的像素值之间的偏差程度，确定所述像素点在所述目标图像中的模糊程度值，并根据每个所述像素点所述目标图像中的模糊程度值确定所述目标图像的模糊程度数据；其中，所述目标图像的像素值是通过合并所述像素点在所述多个子曝光时间所对应的像素值而得到。
根据本公开的第六方面，提供一种模糊图像数据集构建装置，包括：数据获取模块，被配置为获取目标图像以及根据上述第一方面的图像模糊程度确定方法所确定的所述目标图像的模糊程度数据；数据集构建模块，被配置为将所述目标图像作为样本图像，所述目标图像的模糊程度数据作为第一标签，构建模糊图像数据集；所述模糊图像数据集用于训练模糊程度感知网络，所述模糊程度感知网络用于对输入所述模糊程度感知网络的图像确定其模糊程度数据。
根据本公开的第七方面，提供一种图像去模糊装置，包括：数据获取模块，被配置为获取待处理图像；模糊程度数据确定模块，被配置为根据上述第一方面的图像模糊程度确定方法，以所述待处理图像为目标图像，确定所述待处理图像的模糊程度数据；去模糊处理模块，被配置为基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像。
根据本公开的第八方面，提供一种图像去模糊装置，包括：数据获取模块，被配置为获取待处理图像；模糊程度数据确定模块，被配置为利用模糊程度感知网络对所述待处理图像进行处理，得到所述待处理图像的模糊程度数据；去模糊处理模块，被配置为基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像；其中，所述模糊程度感知网络是利用上述第二方面的模糊图像数据集构建方法所构建的模糊图像数据集而训练得到的。
根据本公开的第九方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像模糊程度确定方法、第二方面的模糊图像数据集构建方法、第三方面的图像去模糊方法或者第四方面的图像去模糊方法。
根据本公开的第十方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像模糊程度确定方法、第二方面的模糊图像数据集构建方法、第三方面的图像去模糊方法或者第四方面的图像去模糊方法。
本公开的技术方案具有以下有益效果：
本公开提供了一种确定图像中每个像素点模糊程度值的技术方案。一方面，与相关技术中计算图像整体模糊程度值的方案相比，本方案能够更加精细地表示图像中不同像素点的模糊程度值，体现不同像素点的模糊程度差异，以便于对图像中的不同区域进行针对性的去模糊，如可以对图像中的不同区域采用差异化的参数进行去模糊，有利于改善去模糊效果。另一方面，本方案基于像素点在曝光时间内的像素值偏差程度确定模糊程度数据，计算过程较为简单，具有较低的实现成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
图1示出本示例性实施方式中一种系统架构的示意图；
图2示出本示例性实施方式中一种电子设备的结构示意图；
图3示出本示例性实施方式中一种图像模糊程度确定方法的流程图；
图4示出本示例性实施方式中子曝光时间与数据读出时间的示意图；
图5示出本示例性实施方式中一种确定模糊程度值的流程图；
图6示出本示例性实施方式中一种模糊图像数据集构建方法的流程图；
图7示出本示例性实施方式中一种模糊程度感知网络的结构示意图；
图8示出本示例性实施方式中一种去模糊网络与特征感知网络的结构示意图；
图9示出本示例性实施方式中一种图像去模糊方法的流程图；
图10示出本示例性实施方式中另一种图像去模糊方法的流程图；
图11示出本示例性实施方式中一种图像去模糊的示意性流程图；
图12示出本示例性实施方式中一种训练网络的流程图；
图13示出本示例性实施方式中一种图像模糊程度确定装置的结构示意图；
图14示出本示例性实施方式中一种模糊图像数据集构建装置的结构示意图；
图15示出本示例性实施方式中一种图像去模糊装置的结构示意图；
图16示出本示例性实施方式中另一种图像去模糊装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
相关技术的一种方案中，对整张图像计算整体的模糊程度，然后生成对应的一个模糊核，利用该模糊核对整张图像进行去模糊处理。然而，图像中不同区域的场景深度差异、纹理稀疏差异等会导致不同区域的模糊程度差异。采用一个模糊核对不同区域进行去模糊处理，无法实现对每个区域的最优化去模糊，导致去模糊后图像中存在大量缺陷，例如部分区域中出现噪点，部分区域中仍然存在模糊，甚至出现伪影、振铃等不良现象。
鉴于上述问题，本公开的示例性实施方式首先提供一种图像模糊程度确定方法、模糊图像数据集构建方法、图像去模糊方法。下面先对本示例性实施方式运行环境的系统架构进行介绍。
图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、数码相机、无人机、虚拟现实/增强现实眼镜等终端设备，服务器120可以是提供图像处理相关服务的一台服务器，或者多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。终端110可以拍摄目标图像，并获取拍摄目标图像时的相关数据。终端110与服务器120均可以执行本示例性实施方式中的图像模糊程度确定方法、模糊图像数据集构建方法、图像去模糊方法。
在一种实施方式中，终端110可以执行图像模糊程度确定方法，确定目标图像的模糊程度数据，并根据模糊程度数据进一步执行模糊图像数据集构建方法与图像去模糊方法。
在一种实施方式中，终端110执行图像模糊程度确定方法后，可以将得到的模糊程度数据发送至服务器120，由服务器120进一步执行模糊图像数据集构建方法与图像去模糊方法。
在一种实施方式中，服务器120执行模糊图像数据集构建方法后，利用模糊图像数据集构建模糊程度感知网络，并将网络发送至终端110加以部署，终端110可以执行图像去模糊方法。
在一种实施方式中，终端110可以将目标图像与相关数据发送至服务器120，由服务器120执行图像模糊程度确定方法，进而，服务器120可以执行模糊图像数据集构建方法与图像去模糊方法，也可以将目标图像的模糊程度数据返回终端110，由终端执行模糊图像数据集构建方法与图像去模糊方法。
以上仅是通过几个示例进行说明，应当理解，上述图像模糊程度确定方法、模糊图像数据集构建方法、图像去模糊方法中的任一种方法，均可以由上述终端110或服务器120执行。
本公开的示例性实施方式还提供一种用于执行图像模糊程度确定方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，还可以存储应用数据，如图像、视频等，处理器被配置为经由执行该可执行指令，来实现各种程序，如可以实现本示例性实施方式中的图像模糊程度确定方法。
下面以图2中的移动终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。
如图2所示，移动终端200具体可以包括：处理器201、存储器202、总线203、移动通信模块204、天线1、无线通信模块205、天线2、显示屏206、摄像模块207、音频模块208、电源模块209与传感器模块210。
处理器201可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。
编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图像编码为码流数据，以进行存储或发送。解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据，如可以对目标图像的码流数据进行解码，以还原出目标图像的数据。移动终端200可以支持一种或多种编码器和解码器。这样，移动终端200可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(HighEfficiency Video Coding，高效率视频编码)等视频格式。
处理器201可以通过总线203与存储器202或其他部件形成连接。
存储器202可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器201通过运行存储在存储器202的指令，执行移动终端200的各种功能应用以及数据处理。存储器202还可以存储应用数据，例如存储图像，视频等文件。
移动终端200的通信功能可以通过移动通信模块204、天线1、无线通信模块205、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块204可以提供应用在移动终端200上2G、3G、4G、5G等移动通信解决方案。无线通信模块205可以提供应用在移动终端200上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏206用于实现显示功能，如显示用户界面、图像、视频等。
摄像模块207用于实现拍摄功能，如拍摄图像、视频等。摄像模块207可以包括镜头、图像传感器与相关的电路，图像传感器可以采用CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)或者CCD(Charge-Coupled Device，电荷耦合器件)，通过将入射的光线感应为电信号，再转换为数字信号，以生成数字图像。
音频模块208用于实现音频功能，如播放音频，采集语音等。
电源模块209用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。
传感器模块210可以包括深度传感器2101、压力传感器2102、陀螺仪传感器2103、气压传感器2104等，以实现相应的感应检测功能。
下面结合图3对本示例性实施方式中的图像模糊程度确定方法进行说明，图3示出了图像模糊程度确定方法的示例性流程，可以包括：
步骤S310，获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值；
步骤S320，根据像素点在上述多个子曝光时间所对应的像素值之间的偏差程度，确定像素点在目标图像中的模糊程度值，并根据每个像素点目标图像中的模糊程度值确定目标图像的模糊程度数据。
其中，目标图像的像素值是通过合并上述像素点在多个离散时间所对应的像素值而得到。
通过上述方法，提供了一种确定图像中每个像素点模糊程度值的技术方案。一方面，与相关技术中计算图像整体模糊程度值的方案相比，本方案能够更加精细地表示图像中不同像素点的模糊程度值，体现不同像素点的模糊程度差异，以便于对图像中的不同区域进行针对性的去模糊，如可以对图像中的不同区域采用差异化的参数进行去模糊，有利于改善去模糊效果。另一方面，本方案基于像素点在曝光时间内的像素值偏差程度确定模糊程度数据，计算过程较为简单，具有较低的实现成本。
下面分别对图3中的每个步骤进行具体说明。
参考图3，在步骤S310中，获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值。
像素点可以是图像传感器中的感光元件，是记录光电信号的基本单元，每个感光元件在目标图像中对应生成一个像素点，因此本文将图像传感器的像素点等同于目标图像的像素点，在表述上不做特别区分。
本示例性实施方式中，将目标图像完整的曝光时间划分为多个子曝光时间，并分别对每个子曝光时间内的光电信号进行读取与处理，得到每个像素点在每个子曝光时间所对应的像素值。在目标图像曝光结束后，每个像素点具有与子曝光时间数量相同的像素值。例如，目标图像的曝光时间包括n个子曝光时间，n为不小于2的正整数，对于每个像素点，可以获取n个子曝光时间对应的n个像素值。
在一种实施方式中，上述获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值，可以包括以下步骤：
获取在每个子曝光时间对应的数据读出时间内所读取的像素点的像素值。
参考图4所示，目标图像的曝光时间被划分为3个子曝光时间(exposure)，分别为子曝光时间1、子曝光时间2、子曝光时间3，每个子曝光时间之后的一小段时间为子曝光时间对应的数据读出时间(readout)，分别为数据读出时间1、数据读出时间2、数据读出时间3。在拍摄目标图像时，打开快门后，先经过子曝光时间1的曝光，在数据读出时间1中读取子曝光时间1内像素点采集的光电信号并转换为像素值；再经过子曝光时间2的曝光，在数据读出时间2中读取子曝光时间2内像素点采集的光电信号并转换为像素值；再经过子曝光时间3的曝光，在数据读出时间3中读取子曝光时间3内像素点采集的光电信号并转换为像素值。对于每个像素点，可以得到对应的3个像素值。
目标图像可视为对多个子曝光时间对应的像素值进行合并的图像。例如，在拍摄长曝光或高动态范围图像时，可以进行多段曝光，每段曝光为一个子曝光时间，结合多段曝光的结果输出目标图像。具体地，可以将每个像素点在上述多个子曝光时间所对应的像素值进行合并，可以得到该像素点在目标图像中的像素值。例如，获取每个像素点在n个子曝光时间对应的n个像素值后，可以对分别对每个像素点的n个像素值求和、平均值或最大值等，得到目标图像中每个像素点的像素值。
举例来说，图像传感器的像素数为W*H，从某一位置的像素点开始，将该像素点在n个子曝光时间对应的n个像素值进行加权融合。例如从左上角像素坐标(1,1)的位置开始，获取n个子曝光时间对应的(1,1)像素值，进行加权融合，得到(1,1)融合像素值。本公开对于加权融合所用的权重值不做限定，例如：可以对n个子曝光时间设置等权重，则加权融合相当于对n个像素值计算平均像素值。也可以根据实际场景需求为n个子曝光时间设置不同的权重，如按照n个子曝光时间的时长设置对应的权重，时长越长，权重越大。采用像素值加权融合的方法，按照一定的顺序遍历每个位置的像素点，例如从(1,1)像素点开始，按照从左到右、从上到下的顺序遍历至(W,H)像素点，采用与上述(1,1)像素点相同的方式进行像素值加权融合，得到每个像素点的融合像素值。由此将所有像素点的融合像素值形成目标图像。
一般的，图像传感器中设置有拜耳滤镜，使得光线通过拜耳滤镜后被过滤为单色光，再进入各像素点。因此，在一种实施方式中，步骤S310中所获取的像素值可以是单通道值，如R通道值、G通道值或B通道值。在一种实施方式中，也可以对每个子曝光时间对应的单通道值进行解马赛克(Demosaic)，得到每个像素点的三通道值。为便于后续计算，可以将三通道值转换为灰度值。
继续参考图3，在步骤S320中，根据像素点在上述多个子曝光时间所对应的像素值之间的偏差程度，确定像素点在目标图像中的模糊程度值，并根据每个像素点目标图像中的模糊程度值确定目标图像的模糊程度数据。
其中，像素值之间的偏差程度是指像素值分布的离散程度，可以通过预设的偏差程度指标值来定量表示，偏差程度指标值可以是方差、标准差等。目标图像中某一像素点对应的n个像素值定量表示了在目标图像曝光过程中的不同子曝光时间该像素点所感应到的光信号，如果曝光过程中被拍摄对象不稳定，包括相机发生抖动使得拍摄区域发生移动，或者被拍摄目标发生变化，或者环境光照发生变化等，则会导致像素点所感应到的光信号发生变化，使得目标图像中该像素点的位置容易发生模糊。因此，通过不同子曝光时间对应的像素值之间的偏差程度可以度量光信号的变化，进而度量像素点的模糊程度值。一般的，像素点对应的n个像素值之间的偏差程度越高，该像素点的模糊程度值越高，两者之间可以满足线性或非线性的正相关。示例性的，可以将每个像素点对应的n个像素值之间的标准差作为每个像素点的模糊程度值，如下所示：
Figure BDA0003211519070000081
其中，(x,y)表示像素点的位置坐标，D(x,y)表示(x,y)像素点在目标图像中的模糊程度值，Li(x,y)表示(x,y)像素点在第i个子曝光时间对应的像素值。公式(1)表示对(x,y)像素点在n个子曝光时间对应的像素值计算标准差，作为(x,y)像素点在目标图像中的模糊程度值。
在一种实施方式中，参考图5所示，上述根据像素点在上述多个子曝光时间所对应的像素值之间的偏差程度，确定像素点在目标图像中的模糊程度值，可以包括以下步骤S510与S520：
步骤S510，计算像素点在上述多个子曝光时间所对应的像素值之间的偏差程度指标值；
步骤S520，根据模糊程度数值区间对偏差程度指标值进行量化，得到像素点在目标图像中的模糊程度值。
其中，模糊程度数值区间可以是预设的模糊程度值的量化区间，如可以是[0,10]，表示最低的模糊程度值为0，最高的模糊程度值为10。在计算出像素值的偏差程度指标值，如方差、标准差后，可以将偏差程度指标值量化至模糊程度数值区间内，如可以通过线性转换或非线性转换进行数值量化。示例性的，可以将偏差程度指标值归一化至[0,1]内，再乘以模糊程度数值区间的最大值(如10)，等到量化后的偏差程度指标值，即模糊程度值。
由此，无论目标图像采用哪种数值格式，均可以通过量化至统一的模糊程度数值区间，得到标准一致的模糊程度值，便于不同图像之间的横向对比，构建标准化的模糊图像数据集以及实现标准化的去模糊处理。
在一种实施方式中，上述多个子曝光时间的时长可以相同，以消除由于子曝光时间的时长不同所带来的像素值差异，提高模糊程度值的准确性。
在得到目标图像中每个像素点的模糊程度值后，将模糊程度值形成集合或其他特定的数据格式，得到目标图像的模糊程度数据，目标图像的模糊程度数据即包括每个像素点的模糊程度值。
在一种实施方式中，图像模糊程度确定方法还可以包括以下步骤：
根据目标图像的模糊程度数据，生成目标图像对应的模糊程度图像。
其中，模糊程度图像中每个像素点的像素值为每个像素点在目标图像中的模糊程度值。即，模糊程度图像是将目标图像中每个像素点的模糊程度值表示为像素值，以可视化的形式所展示的目标图像的模糊程度数据。模糊程度图像与目标图像的像素数相同，便于进行保存与处理。
本公开的示例性实施方式还提供一种模糊图像数据集构建方法。图6示出了该模糊图像数据集构建方法的示例性流程，包括以下步骤S610与S620：
步骤S610，获取目标图像以及根据上述图像模糊程度确定方法所确定的目标图像的模糊程度数据；
步骤S620，将目标图像作为样本图像，目标图像的模糊程度数据作为第一标签，构建模糊图像数据集。
示例性的，将通过图3的图像模糊程度确定方法所得到的目标图像视为模糊图像，其可以作为样本图像，目标图像的模糊程度数据作为对应的标签(Ground Truth)，为便于区分其他形式的标签，此处记为第一标签，将样本图像-第一标签形成训练数组，通过获取大量的训练数组，可以构建模糊图像数据集。
模糊图像数据集可以用于训练模糊程度感知网络，模糊程度感知网络用于对输入模糊程度感知网络的图像确定其模糊程度数据。模糊程度感知网络可以是端到端(End-to-End)结构的网络。图7示出了模糊程度感知网络的示意性结构图，可以采用U-Net结构。示例性的，将样本图像输入模糊程度感知网络后，由卷积层1进行一次或多次卷积操作(图7中示出卷积层1进行两次卷积操作，本公开对于每个卷积层中具体的卷积操作次数不做限定)，然后经过池化操作，得到尺寸减小的特征图像；由卷积层2再进行一轮卷积与池化操作，得到尺寸进一步减小的特征图像；由卷积层3再进行一轮卷积与池化操作，得到尺寸更小的特征图像；在卷积层4中进行卷积操作，但不进行池化操作；之后进入转置卷积层1，先进行转置卷积操作，再与卷积层3中的特征图像进行拼接，然后进行一次或多次卷积操作，得到尺寸增大的特征图像；由转置卷积层2再进行一轮转置卷积操作、与卷积层2中的特征图像的拼接、以及卷积操作，得到尺寸进一步增大的特征图像；最后由转置卷积层3再进行一轮上述操作，输出模糊程度数据，为模糊程度图像的形式。需要说明的是，本公开对于模糊程度感知网络中卷积层、转置卷积层的数量不做限定，根据实际场景需求，还可以在模糊程度感知网络中增加其他类型的中间层，如Dropout层(丢弃层)、全连接层等。
根据模糊程度感知网络输出的样本模糊程度数据(此处输出的是样本图像的模糊程度数据，故称为样本模糊程度数据)与作为第一标签的模糊程度数据之间的差别，计算损失函数值，例如可以基于样本模糊程度数据与第一标签之间的MSE(Mean Square Error，均方误差)建立损失函数，代入样本模糊程度数据与第一标签后得到损失函数值。利用损失函数值更新模糊程度感知网络的参数，如可以对网络的参数进行反向传播更新。通过多次迭代使网络达到一定的准确率，或者损失函数值收敛，从而完成对模糊程度感知网络的训练。
在一种实施方式中，模糊图像数据集构建方法还可以包括以下步骤：
将目标图像对应的清晰图像作为第二标签，添加至模糊图像数据集中。
其中，目标图像对应的清晰图像可以是人工拍摄的图像，可以是目标图像经过处理后的清晰图像。将其作为样本图像(即目标图像)对应的另一类型标签，为便于区分上述第一标签，此处记为第二标签。将第二标签添加至模糊图像数据集中，可以与样本图像形成二元的训练数组，也可以与样本图像、第一标签形成三元的训练数组。
在一种实施方式中，可以在拍摄目标图像的前后，缩短曝光时间，拍摄另一张图像，作为目标图像对应的清晰图像。
在一种实施方式中，可以将拍摄目标图像时，各像素点在一个子曝光时间对应的像素值形成一张图像，该图像的曝光时间小于目标图像的曝光时间，可以将其作为目标图像对应的清晰图像。
在一种实施方式中，可以基于目标图像的模糊程度数据，对目标图像进行去模糊处理，得到目标图像对应的清晰图像。例如，可以基于目标图像的模糊程度数据，对目标图像的中不同区域设置不同的模糊核，并根据模糊核对目标图像中的不同区域进行去模糊，得到清晰图像。
包含有第二标签的模糊图像数据集还可以用于训练去模糊网络，去模糊网络用于对输入去模糊网络的图像进行去模糊处理，输出该图像对应的去模糊图像。
在一种实施方式中，去模糊网络可以是端到端结构的网络，例如可以是U-Net结构的网络。示例性的，去模糊网络也可以采用图7所示的网络结构，其中具体的卷积层、转置卷积层或其他类型的中间层的设置可以与图7有所差别。根据去模糊网络输出的去模糊图像与第二标签的差别，更新去模糊网络的参数，从而实现对去模糊网络的训练。应当理解，本示例性实施方式中，模糊程度感知网络与去模糊网络均可以采用U-Net结构的网络，但是在网络的细节结构方面可以不同，且经过训练后两个网络的参数不同，使得两个网络所实现的功能不同。
在一种实施方式中，可以将模糊程度数据整合到去模糊网络中。一般的，可以将模糊程度数据经过处理后，输入去模糊网络的中间层，与图像信息进行融合。图8示出了去模糊网络与特征感知网络的示意性结构图，特征感知网络用于对模糊程度数据进行处理，其输出与去模糊网络的中间层相连接。示例性的，将样本图像输入去模糊网络，经过卷积层1～卷积层3中的卷积与池化操作，得到尺寸不断减小的特征图像，并进入卷积层4。将样本图像输入模糊程度感知网络(图8中省略了模糊程度感知网络的具体结构)，输入样本图像对应的样本模糊程度数据(通常是模糊程度图像的形式)，将其输入特征感知网络，先经过卷积层1’(图8中示出卷积层1’包括四次卷积操作，本公开对此不做特别限定)的处理，得到表示模糊程度特征的多通道特征ψ；再将ψ输入多组不同的卷积层，如图8所示的卷积层2’与卷积层3’(图8中示出卷积层2’与卷积层3’均包括两次卷积操作，本公开对此不做特别限定)；将卷积层2’输出的特征图像输入全连接层1，得到样本调制参数α，将卷积层3’输出的特征图像输入全连接层2，得到样本调制参数β(此处的α与β是样本图像对应的调制参数，故称为样本调制参数)。调制是指将模糊程度信息与图像信息进行融合。在一种实施方式中，调制可以是对图像进行仿射变换，α与β可以是不同类型的变换操作参数，例如仿射变换通常包括旋转、平移、缩放等操作，例如α可以是缩放参数，β可以是平移参数。可以将全连接层1和2连接至去模糊网络中的任意中间层，例如在图8中连接至卷积层4，表示对卷积层4中的特征图像进行仿射变换，如下所示：
Figure BDA0003211519070000111
其中，F是特征图像，α、β的维数与F相同。
Figure BDA0003211519070000112
是经过仿射变换的特征图像，
Figure BDA0003211519070000113
表示逐个元素相乘。经过仿射变换的特征图像再经过转置卷积层1～转置卷积层3的处理，输出样本去模糊图像(此处的去模糊图像是样本图像对应的去模糊图像，故称为样本去模糊图像)。
此外，也可以将第一标签代替模糊程度感知网络输出的样本模糊程度数据，将其输入特征感知网络，以得到样本调制参数。
在图8中，利用特征感知网络将模糊程度数据表征为调制参数，并对样本图像的特征图像进行调制，由此实现了图像与模糊程度两种信息的融合，有利于改善去模糊网络的去模糊质量。
应当理解，图8中的特征感知网络采用了SFT(Spatial Feature Transformation，空间特征变换)层的结构，该结构仅是示意性的。在其他实施方式中，可以采用其他结构的特征感知网络，例如可以采用U-Net结构的特征感知网络，将模糊程度图像输入特征感知网络后，经过多个卷积层与转置卷积层的处理，其中的一个或多个卷积层或转置卷积层可以连接至去模糊网络中对应的卷积层或转置卷积层，使特征感知网络中的特征图像输入至去模糊网络中，与去模糊网络中的特征图像进行拼接等操作，同样可以实现图像与模糊程度两种信息的融合。
在上述去模糊网络与特征感知网络的结构中，可以采用样本图像-第一标签-第二标签这样的三元训练数组进行训练，其中样本图像与第一标签分别输入去模糊网络的两个通道，经过处理，输出样本去模糊图像，根据样本去模糊图像与第二标签的差别(如MSE等损失函数值)，更新去模糊网络的参数，或者同时更新去模糊网络与特征感知网络的参数，以实现训练。
现有的公共模糊图像数据集(如GoPro数据集等)通常是对连续多帧清晰图像计算平均值以获得模糊图像。利用本示例性实施方式中的图像模糊程度确定方法，可以对公共模糊图像数据集中的模糊图像确定模糊程度数据，从而实现公共模糊图像数据集的扩展，构建更全面的模糊图像数据集，以便于将其应用于上述模糊程度感知网络与去模糊网络的训练。
本公开的示例性实施方式还提供一种图像去模糊方法。图9示出了该图像去模糊方法的示例性流程，包括以下步骤S910至S930：
步骤S910，获取待处理图像。
其中，待处理图像是需要进行去模糊处理的图像，其是通过多个子曝光时间所拍摄得到的图像。
步骤S920，根据上述图像模糊程度确定方法，以待处理图像为目标图像，确定待处理图像的模糊程度数据。
示例性的，以待处理图像为目标图像，执行图3的图像模糊程度确定方法，得到待处理图像的模糊程度数据，包括待处理图像中每个像素点的模糊程度值。
步骤S930，基于待处理图像的模糊程度数据，对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像。
待处理图像的模糊程度数据可以对待处理图像的去模糊处理提供辅助或参考信息。例如，可以基于目标图像的模糊程度数据，对目标图像的中不同区域设置不同的模糊核，并根据模糊核对目标图像中的不同区域进行去模糊，得到取模图像。相比于采用一个模糊核，本示例性实施方式可以对4不同区域进行针对性地去模糊处理，改善去模糊效果。
在一种实施方式中，步骤S930可以包括以下步骤：
利用特征感知网络对待处理图像的模糊程度数据进行处理，得到调制参数；
根据调制参数对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像。
其中，特征感知网络用于将模糊程度数据转换为特定形式的调制参数，以便于与待处理图像本身的图像信息进行融合。特征感知网络与调制参数可以参考图8所示，当然也可以是其他形式，例如特征感知网络为U-Net结构的网络，调制参数为模糊程度数据的特征图像。本公开对此不做限定。
根据调制参数可以将模糊程度信息与图像信息进行融合，使得待处理图像的信息维度更加全面，便于实现高质量的图像去模糊。
在一种实施方式中，可以利用上述去模糊网络进行去模糊处理。示例性的，上述根据调制参数对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像，可以包括以下步骤：
将待处理图像输入去模糊网络的输入层，调制参数输入去模糊网络的中间层，通过去模糊网络输出待处理图像对应的去模糊图像。
其中，去模糊网络的具体处理过程可以参考上述图8部分的内容。图8部分的内容为去模糊网络对样本图像及其模糊程度数据进行处理的过程，即训练过程。而在待处理图像的去模糊处理中，去模糊网络的处理过程相同，区别在于网络已经经过充分训练，可以直接输出质量较高的去模糊图像。
本公开的示例性实施方式还提供另一种图像去模糊方法。图10示出了该图像去模糊方法的示例性流程，包括以下步骤S1010至S1030：
步骤S1010，获取待处理图像。
其中，待处理图像是需要进行去模糊处理的图像，可以是通过任意途径获取的图像，例如可以是当前拍摄的图像，或者用户选取的图像。步骤S1010与步骤S910相比，无需限定待处理图像是通过多个子曝光时间所拍摄得到的图像，具体地说，无需在拍摄待处理图像时获取多个子曝光时间对应的像素值，例如可以是通过一次曝光与数据读取所得到的图像。
步骤S1020，利用模糊程度感知网络对待处理图像进行处理，得到待处理图像的模糊程度数据。
其中，模糊程度感知网络是利用上述模糊图像数据集构建方法所构建的模糊图像数据集而训练得到的，如可以是图7所示的网络。示例性的，通过图6的模糊图像数据集构建方法构建模糊图像数据集，并利用该数据集训练模糊程度感知网络。在步骤S1020中，将待处理图像输入经过训练的模糊程度感知网络中，输出待处理图像的模糊程度数据。待处理图像的模糊程度数据可以是待处理图像对应的模糊程度图像。
需要说明的是，通过模糊程度感知网络，可以学习目标图像与其模糊程度数据之间的特征关联，而这种特征关联对于所有场景下的模糊图像都是相通的。经过训练后，模糊程度感知网络可以将学习到的特征关联应用于任意场景下的模糊图像，即可用于处理任意场景下的模糊图像。基于该原因，本示例性实施方式对于待处理图像不做具体限定，特别是无需限定待处理图像的拍摄方式，甚至于待处理图像可以是通过非拍摄方式得到的图像，如可以是合成图像等。
步骤S1030，基于待处理图像的模糊程度数据，对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像。
待处理图像的模糊程度数据可以对待处理图像的去模糊处理提供辅助或参考信息。例如，基于待处理图像的模糊程度数据，可以对待处理图像中的不同区域设置不同的模糊核，然后通过模糊核对不同区域进行去模糊处理，得到去模糊图像，相比于采用一个模糊核，可以对不同区域进行针对性地去模糊处理，改善去模糊效果。
在一种实施方式中，步骤S1030可以包括以下步骤：
利用特征感知网络对待处理图像的模糊程度数据进行处理，得到调制参数；
根据调制参数对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像。
其中，特征感知网络用于将模糊程度数据转换为特定形式的调制参数，以便于与待处理图像本身的图像信息进行融合。特征感知网络与调制参数可以参考图8所示，当然也可以是其他形式，例如特征感知网络为U-Net结构的网络，调制参数为模糊程度数据的特征图像。本公开对此不做限定。
根据调制参数可以将模糊程度信息与图像信息进行融合，使得待处理图像的信息维度更加全面，便于实现高质量的图像去模糊。
在一种实施方式中，可以利用上述去模糊网络进行去模糊处理。示例性的，上述根据调制参数对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像，可以包括以下步骤：
将待处理图像输入去模糊网络的输入层，调制参数输入去模糊网络的中间层，通过去模糊网络输出待处理图像对应的去模糊图像。
其中，去模糊网络的具体处理过程可以参考上述图8部分的内容。图8部分的内容为去模糊网络对样本图像及其模糊程度数据进行处理的过程，即训练过程。而在待处理图像的去模糊处理中，去模糊网络的处理过程相同，区别在于网络已经经过充分训练，可以直接输出质量较高的去模糊图像。
图11示出了通过模糊程度感知网络、特征感知网络与去模糊网络对待处理图像进行去模糊处理的示意图。将待处理图像先输入模糊程度感知网络，由模糊程度感知网络输出待处理图像对应的模糊程度图像；再将模糊程度图像输入特征感知网络，由特征感知网络输出调制参数；将待处理图像输入去模糊网络，并将调制参数输入去模糊网络的中间层，由去模糊网络输出待处理图像对应的去模糊图像。在图11的流程中，融入待处理图像本身的图像信息与图像的像素级模糊程度信息，由此可以实现对待处理图像不同区域的针对性去模糊处理，得到高质量的去模糊图像。
在上述网络训练过程中，利用样本图像-第一标签训练模糊程度感知网络，利用样本图像-第一标签-第二标签训练去模糊网络，或者训练去模糊网络与特征感知网络，两部分训练是分别进行的。而基于图11可知，三个网络之间具有输入、输出之间的连接关系，由此可以对模糊程度感知网络、去模糊网络与特征感知网络共同进行训练。下面对完整的训练过程进行示例性说明。参考图12所示，图像去模糊方法还可以包括以下步骤S1210至S1240：
步骤S1210，获取模糊图像数据集，包括样本图像、第一标签与第二标签；样本图像为目标图像，第一标签为目标图像的模糊程度数据，第二标签目标图像对应的清晰图像；
步骤S1220，利用样本图像与第一标签对模糊程度感知网络进行预训练；
步骤S1230，利用样本图像、第一标签与第二标签对去模糊网络进行预训练，或者对去模糊网络与特征感知网络进行预训练；
步骤S1240，将样本图像分别输入模糊程度感知网络与去模糊网络，将模糊程度感知网络输出的样本模糊程度数据输入特征感知网络，并将特征感知网络输出的样本调制参数输入去模糊网络的中间层，根据去模糊网络输出的样本去模糊图像与第二标签的差别，对模糊程度感知网络、去模糊网络与特征感知网络进行参数微调。
其中，将整个训练过程划分为预训练(Pre-training)与参数微调(Fine-tuning)两个阶段。在预训练中，对模糊程度感知网络单独进行训练，对去模糊网络单独进行训练，或者将去模糊网络与特征感知网络作为一个整体单独进行训练。例如参考图8所示，可以根据模糊程度感知网络输出的样本模糊程度数据与第一标签的差别，对模糊程度感知网络进行预训练，根据去模糊网络输出的样本去模糊图像与第二标签的差别，对去模糊网络与特征感知网络进行预训练。每部分预训练的网络结构相对较小，易于对网络中的参数进行快速调整，以得到初步的训练结果。在参数微调阶段，将三个网络作为一个大的网络结构，将样本图像输入模糊程度感知网络与去模糊网络，模糊程度感知网络输出样本模糊程度数据，其经过特征感知网络的处理输出样本调制参数，输入去模糊网络的中间层，最后由去模糊网络输出样本去模糊图像，作为整个网络结构输出的结果，根据其与第二标签的差别，如MSE损失函数值等，对三个网络的参数共同进行更新，由此实现全局的充分训练，在预训练的基础上对三个网络的参数进行更加精细化的调整，从而得到准确度更高的网络，有利于进一步提高图像去模糊质量。
本公开的示例性实施方式还提供一种图像模糊程度确定装置。参考图13所示，该图像模糊程度确定装置1300可以包括：
数据获取模块1310，被配置为获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值；
模糊程度数据确定模块1320，被配置为根据像素点在上述多个子曝光时间所对应的像素值之间的偏差程度，确定像素点在所述目标图像中的模糊程度值，并根据每个像素点目标图像中的模糊程度值确定目标图像的模糊程度数据；
其中，目标图像的像素值是通过合并像素点在上述多个子曝光时间所对应的像素值而得到。
在一种实施方式中，数据获取模块1310，被配置为：
获取在每个子曝光时间对应的数据读出时间内所读取的像素点的像素值。
在一种实施方式中，模糊程度数据确定模块1320，被配置为：
计算像素点在上述多个子曝光时间所对应的像素值之间的偏差程度指标值；
根据模糊程度数值区间对偏差程度指标值进行量化，得到像素点在目标图像中的模糊程度值。
在一种实施方式中，模糊程度数据确定模块1320，还被配置为：
根据目标图像的模糊程度数据，生成目标图像对应的模糊程度图像，模糊程度图像中每个像素点的像素值为每个像素点在目标图像中的模糊程度值。
本公开的示例性实施方式还提供一种模糊图像数据集构建装置。参考图14所示，该模糊图像数据集构建装置1400可以包括：
数据获取模块1410，被配置为获取目标图像以及根据上述图像模糊程度确定方法所确定的目标图像的模糊程度数据；
数据集构建模块1420，被配置为将目标图像作为样本图像，目标图像的模糊程度数据作为第一标签，构建模糊图像数据集；模糊图像数据集用于训练模糊程度感知网络，模糊程度感知网络用于对输入模糊程度感知网络的图像确定其模糊程度数据。
在一种实施方式中，数据集构建模块1420，还被配置为：
将目标图像对应的清晰图像作为第二标签，添加至模糊图像数据集中；模糊图像数据集还用于训练去模糊网络，去模糊网络用于对输入去模糊网络的图像进行去模糊处理。
在一种实施方式中，模糊图像数据集构建装置1400还可以包括去模糊处理模块，被配置为：
基于目标图像的模糊程度数据，对目标图像进行去模糊处理，得到目标图像对应的清晰图像。
本公开的示例性实施方式还提供一种图像去模糊确定装置。参考图15所示，该图像去模糊装置1500可以包括：
数据获取模块1510，被配置为获取待处理图像；
模糊程度数据确定模块1520，被配置为根据上述图像模糊程度确定方法，以待处理图像为目标图像，确定待处理图像的模糊程度数据；
去模糊处理模块1530，被配置为基于待处理图像的模糊程度数据，对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像。
本公开的示例性实施方式还提供另一种图像去模糊确定装置。参考图16所示，该图像去模糊装置1600可以包括：
数据获取模块1610，被配置为获取待处理图像；
模糊程度数据确定模块1620，被配置为利用模糊程度感知网络对待处理图像进行处理，得到待处理图像的模糊程度数据；
去模糊处理模块1630，被配置为基于待处理图像的模糊程度数据，对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像；
其中，模糊程度感知网络是利用上述模糊图像数据集构建方法所构建的模糊图像数据集而训练得到的。
在一种实施方式中，去模糊处理模块1630，被配置为：
利用特征感知网络对待处理图像的模糊程度数据进行处理，得到调制参数；
根据调制参数对待处理图像进行去模糊处理，得到待处理图像对应的去模糊图像。
在一种实施方式中，去模糊处理模块1630，被配置为：
将待处理图像输入去模糊网络的输入层，调制参数输入去模糊网络的中间层，通过去模糊网络输出去模糊图像。
在一种实施方式中，图像去模糊装置1600还可以包括网络训练模块，被配置为：
获取模糊图像数据集，模糊图像数据集包括样本图像、第一标签与第二标签，样本图像为目标图像，第一标签为目标图像的模糊程度数据，第二标签为目标图像对应的清晰图像；
利用样本图像与第一标签对模糊程度感知网络进行预训练；
利用样本图像、第一标签与第二标签对去模糊网络进行预训练，或者对去模糊网络与特征感知网络进行预训练；
将样本图像分别输入模糊程度感知网络与去模糊网络，将模糊程度感知网络输出的样本模糊程度数据输入特征感知网络，并将特征感知网络输出的样本调制参数输入去模糊网络的中间层，根据去模糊网络输出的样本去模糊图像与第二标签的差别，对模糊程度感知网络、去模糊网络与特征感知网络进行参数微调。
上述装置中各部分的细节在方法部分实施方式中已经详细说明，因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (18)

1.一种图像模糊程度确定方法，其特征在于，包括：
获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值；
根据所述像素点在所述多个子曝光时间所对应的像素值之间的偏差程度，确定所述像素点在所述目标图像中的模糊程度值，并根据每个所述像素点所述目标图像中的模糊程度值确定所述目标图像的模糊程度数据；
其中，所述目标图像的像素值是通过合并所述像素点在所述多个子曝光时间所对应的像素值而得到。
2.根据权利要求1所述的方法，其特征在于，所述获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值，包括：
获取在每个所述子曝光时间对应的数据读出时间内所读取的所述像素点的像素值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述像素点在所述多个子曝光时间所对应的像素值之间的偏差程度，确定所述像素点在所述目标图像中的模糊程度值，包括：
计算所述像素点在所述多个子曝光时间所对应的像素值之间的偏差程度指标值；
根据模糊程度数值区间对所述偏差程度指标值进行量化，得到所述像素点在所述目标图像中的模糊程度值。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
根据所述目标图像的模糊程度数据，生成所述目标图像对应的模糊程度图像，所述模糊程度图像中每个像素点的像素值为每个像素点在所述目标图像中的模糊程度值。
5.一种模糊图像数据集构建方法，其特征在于，包括：
获取目标图像以及根据权利要求1至4任一项所述的图像模糊程度确定方法所确定的所述目标图像的模糊程度数据；
将所述目标图像作为样本图像，所述目标图像的模糊程度数据作为第一标签，构建模糊图像数据集；所述模糊图像数据集用于训练模糊程度感知网络，所述模糊程度感知网络用于对输入所述模糊程度感知网络的图像确定其模糊程度数据。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将所述目标图像对应的清晰图像作为第二标签，添加至所述模糊图像数据集中；所述模糊图像数据集还用于训练去模糊网络，所述去模糊网络用于对输入所述去模糊网络的图像进行去模糊处理。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
基于所述目标图像的模糊程度数据，对所述目标图像进行去模糊处理，得到所述目标图像对应的清晰图像。
8.一种图像去模糊方法，其特征在于，包括：
获取待处理图像；
根据权利要求1至4任一项所述的图像模糊程度确定方法，以所述待处理图像为目标图像，确定所述待处理图像的模糊程度数据；
基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像。
9.一种图像去模糊方法，其特征在于，包括：
获取待处理图像；
利用模糊程度感知网络对所述待处理图像进行处理，得到所述待处理图像的模糊程度数据；
基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像；
其中，所述模糊程度感知网络是利用权利要求5至7任一项所述的模糊图像数据集构建方法所构建的模糊图像数据集而训练得到的。
10.根据权利要求9所述的方法，其特征在于，所述基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像，包括：
利用特征感知网络对所述待处理图像的模糊程度数据进行处理，得到调制参数；
根据所述调制参数对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像。
11.根据权利要求10所述的方法，其特征在于，所述根据所述调制参数对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像，包括：
将所述待处理图像输入去模糊网络的输入层，所述调制参数输入所述去模糊网络的中间层，通过所述去模糊网络输出所述去模糊图像。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
获取模糊图像数据集，所述模糊图像数据集包括样本图像、第一标签与第二标签，所述样本图像为目标图像，所述第一标签为所述目标图像的模糊程度数据，所述第二标签为所述目标图像对应的清晰图像；
利用所述样本图像与所述第一标签对所述模糊程度感知网络进行预训练；
利用所述样本图像、所述第一标签与所述第二标签对所述去模糊网络进行预训练，或者对所述去模糊网络与所述特征感知网络进行预训练；
将所述样本图像分别输入所述模糊程度感知网络与所述去模糊网络，将所述模糊程度感知网络输出的样本模糊程度数据输入所述特征感知网络，并将所述特征感知网络输出的样本调制参数输入所述去模糊网络的中间层，根据所述去模糊网络输出的样本去模糊图像与所述第二标签的差别，对所述模糊程度感知网络、所述去模糊网络与所述特征感知网络进行参数微调。
13.一种图像模糊程度确定装置，其特征在于，包括：
数据获取模块，被配置为获取像素点在目标图像的曝光时间内的多个子曝光时间所对应的像素值；
模糊程度数据确定模块，被配置为根据所述像素点在所述多个子曝光时间所对应的像素值之间的偏差程度，确定所述像素点在所述目标图像中的模糊程度值，并根据每个所述像素点所述目标图像中的模糊程度值确定所述目标图像的模糊程度数据；
其中，所述目标图像的像素值是通过合并所述像素点在所述多个子曝光时间所对应的像素值而得到。
14.一种模糊图像数据集构建装置，其特征在于，包括：
数据获取模块，被配置为获取目标图像以及根据权利要求1至4任一项所述的图像模糊程度确定方法所确定的所述目标图像的模糊程度数据；
数据集构建模块，被配置为将所述目标图像作为样本图像，所述目标图像的模糊程度数据作为第一标签，构建模糊图像数据集；所述模糊图像数据集用于训练模糊程度感知网络，所述模糊程度感知网络用于对输入所述模糊程度感知网络的图像确定其模糊程度数据。
15.一种图像去模糊装置，其特征在于，包括：
数据获取模块，被配置为获取待处理图像；
模糊程度数据确定模块，被配置为根据权利要求1至4任一项所述的图像模糊程度确定方法，以所述待处理图像为目标图像，确定所述待处理图像的模糊程度数据；
去模糊处理模块，被配置为基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像。
16.一种图像去模糊装置，其特征在于，包括：
数据获取模块，被配置为获取待处理图像；
模糊程度数据确定模块，被配置为利用模糊程度感知网络对所述待处理图像进行处理，得到所述待处理图像的模糊程度数据；
去模糊处理模块，被配置为基于所述待处理图像的模糊程度数据，对所述待处理图像进行去模糊处理，得到所述待处理图像对应的去模糊图像；
其中，所述模糊程度感知网络是利用权利要求5至7任一项所述的模糊图像数据集构建方法所构建的模糊图像数据集而训练得到的。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12任一项所述的方法。
18.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12任一项所述的方法。
CN202110932215.7A 2021-08-13 2021-08-13 图像模糊程度确定方法、数据集构建方法与去模糊方法 Pending CN113658128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110932215.7A CN113658128A (zh) 2021-08-13 2021-08-13 图像模糊程度确定方法、数据集构建方法与去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110932215.7A CN113658128A (zh) 2021-08-13 2021-08-13 图像模糊程度确定方法、数据集构建方法与去模糊方法

Publications (1)

Publication Number Publication Date
CN113658128A true CN113658128A (zh) 2021-11-16

Family

ID=78480259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110932215.7A Pending CN113658128A (zh) 2021-08-13 2021-08-13 图像模糊程度确定方法、数据集构建方法与去模糊方法

Country Status (1)

Country Link
CN (1) CN113658128A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373196A (zh) * 2021-12-31 2022-04-19 北京极豪科技有限公司 有效采集区域确定方法、程序产品、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373196A (zh) * 2021-12-31 2022-04-19 北京极豪科技有限公司 有效采集区域确定方法、程序产品、存储介质及电子设备
CN114373196B (zh) * 2021-12-31 2023-09-19 天津极豪科技有限公司 有效采集区域确定方法、程序产品、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN100544444C (zh) 用于全景图像的运动估计和补偿的方法和设备
US8103111B2 (en) Coding method, electronic camera, recording medium storing coded program, and decoding method
CN111353948B (zh) 一种图像降噪方法、装置及设备
CN102905084B (zh) 用于提供对图像的平均信噪比值进行估计的方法和相机
CN112767290B (zh) 图像融合方法、图像融合装置、存储介质与终端设备
EP3143765B1 (en) Video processing system with high dynamic range sensor mechanism and method of operation thereof
CN110889809B (zh) 图像处理方法及装置、电子设备、存储介质
TW202228081A (zh) 用於從位元流重建圖像及用於將圖像編碼到位元流中的方法及裝置、電腦程式產品
CN104601976A (zh) 图像处理装置和图像处理方法
CN111768351A (zh) 图像去噪方法、图像去噪装置、存储介质与电子设备
CN112750092A (zh) 训练数据获取方法、像质增强模型与方法及电子设备
CN113409203A (zh) 图像模糊程度确定方法、数据集构建方法与去模糊方法
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
CN113658128A (zh) 图像模糊程度确定方法、数据集构建方法与去模糊方法
CN113658073A (zh) 图像去噪处理方法、装置、存储介质与电子设备
CN113269823A (zh) 深度数据获取方法、装置、存储介质与电子设备
CN112261417A (zh) 视频推送方法及系统、设备及可读存储介质
US20180278955A1 (en) Method and apparatus for reducing the coding artefact of a light field based image, and corresponding computer program product
Zhao et al. A practical light field representation and coding scheme with an emphasis on refocusing
CN115471435A (zh) 图像融合方法及装置、计算机可读介质和电子设备
CN115278189A (zh) 图像色调映射方法及装置、计算机可读介质和电子设备
CN115330633A (zh) 图像色调映射方法及装置、电子设备、存储介质
CN115187488A (zh) 图像处理方法及装置、电子设备、存储介质
US20220207672A1 (en) Apparatus and method for sensing image based on event

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination