CN113902636A - 图像去模糊方法及装置、计算机可读介质和电子设备 - Google Patents

图像去模糊方法及装置、计算机可读介质和电子设备 Download PDF

Info

Publication number
CN113902636A
CN113902636A CN202111160997.3A CN202111160997A CN113902636A CN 113902636 A CN113902636 A CN 113902636A CN 202111160997 A CN202111160997 A CN 202111160997A CN 113902636 A CN113902636 A CN 113902636A
Authority
CN
China
Prior art keywords
image
deblurring
block
fuzzy
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111160997.3A
Other languages
English (en)
Inventor
胡杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111160997.3A priority Critical patent/CN113902636A/zh
Publication of CN113902636A publication Critical patent/CN113902636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种图像去模糊方法及装置、计算机可读介质和电子设备,涉及图像处理技术领域。该方法包括:获取待处理的模糊图像,并对模糊图像进行区域划分,得到分块图像;对分块图像进行模糊估计,生成去模糊引导图;将去模糊引导图与模糊图像输入到图像去模糊模型中,以通过去模糊引导图引导图像去模糊模型仅对模糊图像的模糊区域进行去模糊,并输出模糊图像对应的清晰图像。本公开能够通过轻量的模糊估计作为前置准入判断,使得图像去模糊模型具备显式的模糊感知能力,有效减少需要去模糊的图像区域,降低待处理的数据量,同时,能够避免相关技术中图像去模糊后纹理加深和轮廓变形的问题,提高去模糊图像的显示效果。

Description

图像去模糊方法及装置、计算机可读介质和电子设备
技术领域
本公开涉及图像处理技术领域,具体涉及一种图像去模糊方法、图像去模糊装置、计算机可读介质和电子设备。
背景技术
随着科学技术的发展,图像画质的提升越来越成为人们关注的重点内容。造成图像模糊的原因有很多,其中包括光学因素、大气因素、人工因素、技术因素等等,日常生产生活中对图像进行去模糊操作有其重要意义。当前基于深度学习的AI(ArtificialIntelligence,人工智能)去模糊方法在效果上已经全面超越传统去模糊算法。
目前,相关的基于深度学习的AI(Artificial Intelligence,人工智能)去模糊方案中,在对图像进行去模糊时,计算量较大,带来较大的功耗和时延开销,同时,去模糊后的图像的质量较差。
发明内容
本公开的目的在于提供一种图像去模糊方法、图像去模糊装置、计算机可读介质和电子设备,进而至少在一定程度上降低图像去模糊过程的计算量,降低时延,同时提高去模糊后的图像的质量。
根据本公开的第一方面,提供一种图像去模糊方法,包括:
获取待处理的模糊图像,并对所述模糊图像进行区域划分,得到分块图像;
对所述分块图像进行模糊估计,生成去模糊引导图;
将所述去模糊引导图与所述模糊图像输入到图像去模糊模型中,以通过所述去模糊引导图引导所述图像去模糊模型仅对所述模糊图像的模糊区域进行去模糊,并输出所述模糊图像对应的清晰图像。
根据本公开的第二方面,提供一种图像去模糊装置,包括:
图像划分模块,用于获取待处理的模糊图像,并对所述模糊图像进行区域划分,得到分块图像;
模糊估计模块,用于对所述分块图像进行模糊估计,生成去模糊引导图;
图像去模糊模块,用于将所述去模糊引导图与所述模糊图像输入到图像去模糊模型中,以通过所述去模糊引导图引导所述图像去模糊模型仅对所述模糊图像的模糊区域进行去模糊,并输出所述模糊图像对应的清晰图像。
根据本公开的第三方面,提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面,提供一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的图像去模糊方法,首先对待处理的模糊图像进行区域划分,得到分块图像,然后对分块图像进行模糊估计,生成去模糊引导图,进而可以将去模糊引导图与模糊图像输入到图像去模糊模型中,以通过去模糊引导图引导图像去模糊模型仅对模糊图像的模糊区域进行去模糊,并输出模糊图像对应的清晰图像。一方面,采用分块处理方法,并通过轻量的模糊估计作为模型的前置准入判断,降低去模糊引导图的复杂性,避免引入复杂的引导信息致使需要处理的数据量更多的问题;另一方面,通过将去模糊引导图与模糊图像输入到图像去模糊模型中,使得图像去模糊模型具备显式的模糊感知能力,仅对模糊图像中的模糊区域进行去模糊,降低需要处理的数据量,同时,避免对清晰区域的去模糊处理而导致的图像出现纹理加深或者轮廓变形等问题,有效提升输出的清晰图像的图像质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图;
图2示出了可以应用本公开实施例的一种电子设备的示意图;
图3示意性示出本公开示例性实施例中一种图像去模糊方法的流程示意图;
图4示意性示出本公开示例性实施例中一种生成去模糊引导图的流程示意图;
图5示意性示出本公开示例性实施例中一种确定分块区域模糊等级信息的流程示意图;
图6示意性示出本公开示例性实施例中另一种确定分块区域模糊等级信息的流程示意图;
图7示意性示出本公开示例性实施例中一种根据模糊等级信息生成去模糊引导图的流程示意图;
图8示意性示出本公开示例性实施例中一种分块区域之间产生的重叠区域的结构示意图;
图9示意性示出本公开示例性实施例中图像去模糊装置的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种图像去模糊方法及装置的示例性应用环境的系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103中的一个或多个,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备,包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的图像去模糊方法一般由终端设备101、102、103中执行,相应地,图像去模糊装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是,本公开实施例所提供的图像去模糊方法也可以由服务器105执行,相应的,图像去模糊装置也可以设置于服务器105中,本示例性实施例中对此不做特殊限定。举例而言,在一种示例性实施例中,可以是用户通过终端设备101、102、103包括的图像传感器采集待处理的,然后将模糊图像上传至服务器105,服务器通过本公开实施例所提供的图像去模糊方法生成清晰图像后,将清晰图像传输给终端设备101、102、103等进行展示。
本公开的示例性实施方式提供一种用于实现图像去模糊方法的电子设备,其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行图像去模糊方法。
下面以图2中的移动终端200为例,对电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。在另一些实施方式中,移动终端200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出,并不构成对移动终端200的结构限定。在另一些实施方式中,移动终端200也可以采用与图2不同的接口连接方式,或多种接口连接方式的组合。
如图2所示,移动终端200具体可以包括:处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus,USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module,SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令:检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令,并由处理器210来控制执行。
充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中,天线1和天线2用于发射和接收电磁波信号;移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案;调制解调处理器可以包括调制器和解调器;无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络)、蓝牙(Bluetooth,BT)等无线通信的解决方案。在一些实施例中,移动终端200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得移动终端200可以通过无线通信技术与网络以及其他设备通信。
移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏290和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中,ISP用于处理摄像模组291反馈的数据;摄像模组291用于捕获静态图像或视频;数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号;视频编解码器用于对数字视频压缩或解压缩,移动终端200还可以支持一种或多种视频编解码器。
外部存储器接口222可以用于连接外部存储卡,例如Micro SD卡,实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令,执行移动终端200的各种功能应用以及数据处理。
移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
深度传感器2801用于获取景物的深度信息。在一些实施例中,深度传感器可以设置于摄像模组291。
压力传感器2802用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。
陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中,可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。
此外,还可以根据实际需要在传感器模块280中设置其他功能的传感器,例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
移动终端200中还可包括其它提供辅助功能的设备。例如,按键294包括开机键,音量键等,用户可以通过按键输入,产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如,指示器292、马达293、SIM卡接口295等。
在相关技术中,基于深度学习的AI去模糊算法主流还是采用端到端的监督训练,而训练的数据集中需要包含大量模糊图片和其对应的清晰图片的训练样本,但是,AI去模糊算法面临两类大的问题:一个是执行AI模型预测的计算量大,带来较大的功耗和时延开销;另一个是当前基于端到端监督训练的AI去模糊算法依然存在在某些场景下副作用明显的问题,如表现为图像原有纹理加深和轮廓扭曲等伪影现象。但是,这两类问题使得当前去模糊算法很难部署应用在智能手机等移动终端的拍摄上,因为移动终端需要即满足开销限制又需要提供无明显伪影现象的成像质量。
基于相关技术中一个或者多个缺陷,本实施例中首先提供了一种图像去模糊方法,下面以终端设备执行该方法为例,对本公开示例性实施方式的图像去模糊方法和图像去模糊装置进行具体说明。
图3示出了本示例性实施方式中一种图像去模糊方法的流程示意图,可以包括以下步骤S310至步骤S330:
在步骤S310中,获取待处理的模糊图像,并对所述模糊图像进行区域划分,得到分块图像。
在一示例性实施例中,模糊图像是指包含模糊纹理的图像,例如,模糊图像可以是通过终端设备的图像传感器拍摄的、具有模糊纹理区域的图像,也可以是经过编解码处理后出现内容失真的图像,当然,还可以是以其他方式输入的具有模糊纹理的图像,本示例实施例对此不做特殊限定。
区域划分是指将模糊图像划分为多个区域以便于对模糊图像的不同区域进行分类的处理过程,可以通过预设的划分比例对模糊图像进行区域划分,如,预设的划分比例可以是3*2(此处仅是示意性举例说明,实际应用过程中模糊图像会被划分为成千上百个分块区域,划分的越细致,模糊估计的结果越准确,具体根据实际应用情况而定),可以表示将模糊图像的长划分为3份,将模糊图像的宽划分为2份,进而实现将模糊图像划分为6个区域;也可以按照模糊图像中的纹理复杂度对模糊图像进行区域划分,根据不同的纹理复杂度实现对模糊图像的区域划分,当然,还可以按照其他方式完成对模糊图像的区域划分,如按照图像亮度值、色度值等数据的分布实现对模糊图像的区域划分,本示例实施例对此不做特殊限定。
在步骤S320中,对所述分块图像进行模糊估计,生成去模糊引导图。
在一示例性实施例中,模糊估计是指对分块图像中的不同区域进行分类以确定各区域的模糊程度的处理过程,例如,可以根据分块图像中各区域的像素值分布对分块图像进行模糊估计,也可以根据分块图像中各区域的梯度图对分块图像进行模糊估计,本示例实施例对此不做特殊限定。
去模糊引导图是指经过模糊估计处理后得到的、用于引导人工智能模型对模糊图像的不同区域进行不同程度的去模糊处理的特征图像,例如,假设去模糊引导图中包含6个区域,其中,2个区域经过模糊估计处理后被认定为模糊区域,4个区域经过模糊估计处理后被认定为清晰区域,那么人工智能模型在感知到2个模糊区域时会进行去模糊处理,而在感知到4个清晰区域时不进行去模糊处理,有效减少人工智能模型的数据处理量。
在步骤S330中,将所述去模糊引导图与所述模糊图像输入到图像去模糊模型中,以通过所述去模糊引导图引导所述图像去模糊模型仅对所述模糊图像的模糊区域进行去模糊,并输出所述模糊图像对应的清晰图像。
在一示例性实施例中,图像去模糊模型是指能够对输入的模糊图像进行去模糊处理的人工智能模型,例如,图像去模糊模型可以是deblurCNN,也可以是SRN-DeblurNet,当然,还可以是其他类型的用于对模糊图像去模糊的人工智能模型,本示例实施例对此不做特殊限定。
具体的,可以将去模糊引导图与模糊图像按通道合并(即concat操作),并将合并后的数据作为图像去模糊模型的输入数据。当然,也可以通过其他方式将去模糊引导图与模糊图像进行合并作为图像去模糊模型的输入数据,本示例实施例不以此为限。
下面对步骤S310至步骤S330进行详细说明。
在一示例性实施例中,步骤S320可以包括步骤S410至步骤S420,实现生成去模糊引导图,参考图4所示,具体可以包括:
步骤S410,对所述分块图像中的各分块区域进行模糊估计,确定各所述分块区域的模糊等级信息;
步骤S420,根据所述模糊等级信息生成去模糊引导图。
其中,模糊等级信息是指用于描述分块图像中的各分块区域模糊程度的数据,例如,预先设置的模糊等级信息可以为0,1,2,3,分别表示不同模糊程度,模糊等级信息为0时表示该分块区域中图像内容为清晰图像,不需要去模糊处理,模糊等级信息为3时表示该分块区域中图像内容为严重模糊的图像,需要较高程度的去模糊处理,模糊等级信息为1或2时表示该分块区域中图像内容为轻微或者一般模糊的图像,需要一般或者轻微程度的去模糊处理。当然,此处仅是示意性举例说明,并不应对本示例实施例造成任何特殊限定。
在对模糊图像进行区域划分得到分块图像后,对分块图像中的各分块区域进行模糊估计确定模糊等级信息,并根据模糊等级信息对分块图像中的各分块区域进行标注,得到去模糊引导图,通过区域划分并结合模糊等级信息实现对模糊图像的轻量模糊估计,有效降低模糊估计计算过程中的数据量,减少去模糊过程中引入的数据,在提升图像去模糊模型对模糊区域的感知能力之外,降低模型的数据处理压力,保证模型处理效率。
进一步的,步骤S410可以包括步骤S510至步骤S530,实现对分块图像中的各分块区域进行模糊估计并确定各分块区域的模糊等级信息,参考图5所示,具体可以包括:
步骤S510,对所述分块区域中的像素进行分类,确定所述分块区域中每个像素的像素等级;
步骤S520,遍历所述分块区域中的所有像素;
步骤S530,若遍历检测到具有目标像素等级的像素数量占总像素数量的比例大于或者等于比例阈值,则将所述目标像素等级作为所述分块区域的模糊等级信息。
其中,目标像素等级是指分块区域中像素数量占总像素数量的比例大于或者等于比例阈值的像素等级,比例阈值是指用于确定某一像素等级的像素数量是否能够表征该分块区域的阈值,例如,假设像素等级有0,1,2,3,如果某分块区域中像素等级为1的像素的数量占该分块区域的总像素数量的比例大于或者等于比例阈值,则可以认为像素等级为1的像素在该分块区域中占据大部分区域,此时像素等级为1的像素的模糊程度能够表征该分块区域的模糊程度,因此像素等级1可以认为是目标像素等级,因此,可以将目标像素等级作为分块区域的模糊等级信息。
可以先对分块区域中的像素进行分类,举例而言,可以根据各个像素对应的像素亮度值对分块区域中的像素进行分类,假设设置模糊等级信息为0,1,2,3这四个等级,那么,对应可以设置分块区域中的各个像素的像素等级也为0,1,2,3这四个等级,如可以将像素亮度值(0-255)划分为(0-63),(64-127),(128-191),(192-255)四个区间,这四个区间分别对应0,1,2,3四个等级,如果某个像素对应的亮度值属于某一区间,则可以认为该像素的像素等级为该区间对应的等级,假设某个像素对应的亮度值为100,那么该像素的像素等级为1,重复该过程,直到对分块区域中的像素完成像素等级的确定,然后对每个分块区域均进行像素等级的确定。当然,此处仅是示意性举例说明,并不应对本示例实施例造成任何特殊限定。
在确定各分块区域中像素的像素等级之后,可以遍历分块区域中的所有像素,实现对不同像素等级的像素进行统计分析,举例而言,假设比例阈值可以是50%,那么在遍历该分块区域中的像素(假设该分块区域有100个像素)时,对不同像素等级的像素进行统计,如遍历检测到像素等级为0的像素个数为10,占总像素数量的10%,遍历检测到像素等级为1的像素个数为52,占总像素数量的52%,遍历检测到像素等级为2的像素个数为28,占总像素数量的28%,遍历检测到像素等级为3的像素个数为10,占总像素数量的10%,此时,由于遍历检测到像素等级为1的像素个数为52,占总像素数量的52%,大于比例阈值50%,此时可以认为像素等级为1的像素占据该分块区域的大部分区域,因此,可以将该像素等级1作为目标像素等级,并将该目标像素等级作为分块区域的模糊等级信息,即分块区域的模糊等级信息为1。当然,此处仅是示意性举例说明,并不应对本示例实施例造成任何特殊限定。
具体的,在步骤S520实现遍历分块区域中的所有像素时,还可以按照预设遍历顺序遍历分块区域中所有像素,以及在确定分块区域的模糊等级信息之后,提前结束对分块区域中像素的遍历过程。
其中,预设遍历顺序是指预先确定的、用于遍历分块区域中所有像素的顺序信息,例如,预设遍历顺序可以是按照像素等级从大到小,也可以是按照像素等级从小到大,当然,还可以按照分块区域的位置从左到右的顺序进行遍历,本示例实施例对此不做特殊限定。
由于本实施例中像素等级为0时表征该像素是清晰的,而像素等级的数字越大则表示该像素表征的内容越模糊,因此,在确定分块区域的模糊等级信息时,可以按照像素等级从大到小的顺序遍历分块区域中所有像素,这样可以优先找到像素等级较大(较模糊)的像素,进而快速确定该分块区域的模糊等级信息。
当然,在实际应用过程中,如果设置像素等级为0时表征该像素对应的内容是模糊的,而像素等级的数字越大则表示该像素表征的内容越清晰,那么可以按照像素等级从小到大的顺序遍历分块区域中所有像素,这样可以优先找到像素等级较小(较模糊)的像素,进而快速确定该分块区域的模糊等级信息。因此,遍历像素的顺序具体可以根据像素等级的设置而不同,只要能够实现以最少的遍历次数确定该分块区域的模糊等级信息即可,本示例实施例对此不做特殊限定。
在按照像素等级从大到小的顺序遍历分块区域中所有像素并优先确定分块区域的模糊等级信息之后,可以提前结束对分块区域中像素的遍历过程,能够保证在确定分块区域的模糊等级信息的同时有效减少遍历次数,降低计算量,提高去模糊引导图的生成效率,缩短去模糊处理周期。
在一示例性实施例中,由于通过遍历所有像素确定分块区域的模糊等级信息的实施例中,可能出现无法确定分块区域的模糊等级信息的情况,如出现不同的像素等级的像素数量占总像素数量的比例均未超过比例阈值的情况,因此,步骤S410还可以包括步骤S610至步骤S620,实现对分块图像中的各分块区域进行模糊估计并确定各分块区域的模糊等级信息,参考图6所示,具体可以包括:
步骤S610,计算所述分块区域中所有像素的平均像素值,根据所述平均像素值确定像素等级;
步骤S620,将所述像素等级作为所述分块区域的模糊等级信息。
其中,由于可能出现根据不同的像素等级的像素数量占总像素数量的比例均无法确定分块区域的模糊等级信息的情况,在本实施例中可以直接计算分块区域中所有像素的平均像素值作为衡量分块区域的模糊等级信息的数据,例如,可以通过计算所有像素的像素值如像素亮度值的平均值,假设某一分块区域的所有像素的像素亮度值的平均值为120,可以根据实际应用需求预先将像素亮度值(0-255)划分为(0-63),(64-127),(128-191),(192-255)四个区间,可以设置这四个区间分别对应0,1,2,3四个像素等级,而平均像素值对应属于(64-127)区间,则可以认为该分块区域的平均像素值的像素等级为1,此时可以将像素等级1作为该分块区域的模糊等级信息,即该分块区域的模糊等级信息为1。当然,此处仅是示意性举例说明,并不应对本示例实施例造成任何特殊限定。
在一示例性实施例中,步骤S420可以包括步骤S710至步骤S730,实现根据模糊等级信息生成去模糊引导图,参考图7所示,具体可以包括:
步骤S710,将所述模糊等级信息大于或者等于模糊等级阈值的分块区域确定为模糊区域;
步骤S720,将所述模糊等级信息小于所述模糊等级阈值的分块区域确定为清晰区域;
步骤S730,基于所述模糊区域和所述清晰区域生成去模糊引导图。
其中,模糊等级阈值是指用于界定不同模糊等级信息的分块区域是否需要进行去模糊处理的阈值,例如,假设模糊等级信息可以包含0,1,2,3四个等级,则模糊等级阈值可以是1,此时可以将模糊等级信息大于或者等于1的分块区域认定为模糊区域,需要进行去模糊处理,而模糊等级信息小于1的分块区域认定为清晰区域,不需要进行去模糊处理。
具体在通过模糊等级阈值对各分块区域进行分类后,可以根据分类结果构成去模糊引导图,并将去模糊引导图与模糊图像对应的分块图像按通道合并(concat操作)后作为图像去模糊模型的输入,以通过去模糊引导图使得图像去模糊模型具备模糊感知能力,有助于改善纹理加深和轮廓变形等相关技术中的去模糊处理的副作用问题。
在一示例性实施例中,由于通过分块区域模糊估计再决定分块区域是否去模糊的方法会引入块边缘不连续效应,即各分块区域之间由于经过的去模糊处理的程度不同,出现明显的“边界”,为了消除清晰图像中由于分块而出现的“边界”问题,可以在分块区域之间设置重叠区域,以通过边缘过渡处理消除分块区域之间的边缘不连续问题。
图8示意性示出本公开示例性实施例中一种分块区域之间产生的重叠区域的结构示意图。
参考图8所示,模糊图像对应的分块图像801包含多个分块区域,以其中两个分块区域为例,真实分块区域802(真实分块区域即对分块图像区域划分后的不包含重叠内容的区域)在实际应用时,会将真实分块区域802周围一定区域内的图像内容也划分到同一分块区域中,得到包含重叠区域的分块区域803,同样的,也会将真实分块区域804周围一定区域内的图像内容也划分到同一分块区域中,得到包含重叠区域的分块区域805。分块区域803和分块区域805之间互相有一定程度的重叠,重叠部分为重叠区域806。
进一步的,可以对清晰图像中的重叠区域进行边缘过渡处理,得到消除块边缘不连续效应的清晰图像。
其中,边缘过渡处理是指对消除分块区域之间不连续的处理过程,例如,继续参考图8所示,在将分块区域803和分块区域805输入到图像去模糊模型中经过去模糊处理(假设分块区域803属于模糊区域,并进行去模糊处理,分块区域805属于清晰区域,没有进行去模糊处理)后,分块区域803和分块区域805之间的重叠区域806中会出现明显的“边界”,即块边缘不连续效应,此时对于重叠区域806中每个位置均对应两个像素值,即分块区域803中经过去模糊处理的像素值以及分块区域805没有去模糊处理的像素值,此时可以通过关系式(1)实现对重叠区域806的边缘过渡处理:
Vp=VA*DPA+VB*DPB (1)
其中,Vp可以表示两个分块区域之间的重叠区域中位置点P对应的像素值,VA可以表示重叠区域中位置点P在分块区域A中的像素值,VB可以表示重叠区域中位置点P在分块区域B中的像素值,DPA可以表示重叠区域中位置点P距离分块区域A(的中心点)的距离,DPB可以表示重叠区域中位置点P距离分块区域B(的中心点)的距离。
当然,也可以通过各种类型的、能够消除边界不连续效应的滤波器实现对不同分块区域之间的块边缘不连续效应进行边缘过渡处理,如可以通过平滑滤波器对两个分块区域之间的重叠区域进行边缘过渡处理,本示例实施例对此不做特殊限定。
综上所述,本示例性实施方式中,首先对待处理的模糊图像进行区域划分,得到分块图像,然后对分块图像进行模糊估计,生成去模糊引导图,进而可以将模糊引导图与模糊图像输入到图像去模糊模型中,以通过模糊引导图引导图像去模糊模型仅对模糊图像的模糊区域进行去模糊,并输出模糊图像对应的清晰图像。一方面,采用分块处理方法,并通过轻量的模糊估计作为模型的前置准入判断,降低去模糊引导图的复杂性,避免引入复杂的引导信息致使需要处理的数据量更多的问题;另一方面,通过将模糊引导图与模糊图像输入到图像去模糊模型中,使得图像去模糊模型具备显式的模糊感知能力,仅对模糊图像中的模糊区域进行去模糊,降低需要处理的数据量,同时,避免对清晰区域的去模糊处理而导致的图像出现纹理加深或者轮廓变形等问题,有效提升输出的清晰图像的图像质量。
本公开中的示例实施例可以改善当前常见的端到端AI去模糊算法的纹理加深和轮廓变形等副作用问题,同时可以借助分块和边缘过渡的处理方式,高效地对整个模糊图像进行AI去模糊,推进AI去模糊算法在移动终端如智能手机上的应用落地。
本公开中的示例实施例主要采用分块处理方法实现轻量的模糊估计模块作为前置准入判断,决定每个分块区域是否需要经过后置图像去模糊模型的处理,若需要去模糊处理,再将前置模糊估计的去模糊引导图(模糊估计map)与原分块图像按通道合并(即concat操作),并输入到后置的图像去模糊模型进行处理,使得图像去模糊模型具备显式的模糊感知能力,有助于改善纹理加深和轮廓变形等副作用问题;并且在做完分块去模糊处理后,在对分块区域之间的重叠区域进行边缘过渡处理,得到一张消除块边缘不连续效应的完整清晰图像,提升输出的清晰图像的显示效果
需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
进一步的,参考图9所示,本示例的实施方式中还提供一种图像去模糊装置900,可以包括图像划分模块910、模糊估计模块920和图像去模糊模块930。其中:
图像划分模块910用于获取待处理的模糊图像,并对所述模糊图像进行区域划分,得到分块图像;
模糊估计模块920用于对所述分块图像进行模糊估计,生成去模糊引导图;
图像去模糊模块930用于将所述去模糊引导图与所述模糊图像输入到图像去模糊模型中,以通过所述去模糊引导图引导所述图像去模糊模型仅对所述模糊图像的模糊区域进行去模糊,并输出所述模糊图像对应的清晰图像。
在一示例性实施例中,模糊估计模块920可以包括:
模糊等级确定单元,用于对所述分块图像中的各分块区域进行模糊估计,确定各所述分块区域的模糊等级信息;
去模糊引导图生成单元,用于根据所述模糊等级信息生成去模糊引导图。
在一示例性实施例中,模糊等级确定单元还可以用于:
对所述分块区域中的像素进行分类,确定所述分块区域中每个像素的像素等级;
遍历所述分块区域中的所有像素;
若遍历检测到具有目标像素等级的像素数量占总像素数量的比例大于或者等于比例阈值,则将所述目标像素等级作为所述分块区域的模糊等级信息。
在一示例性实施例中,模糊等级确定单元还可以用于:
按照预设遍历顺序遍历所述分块区域中所有像素;以及
在确定所述分块区域的模糊等级信息之后,提前结束对所述分块区域中像素的遍历过程。
在一示例性实施例中,模糊等级确定单元还可以用于:
计算所述分块区域中所有像素的平均像素值,根据所述平均像素值确定像素等级;
将所述像素等级作为所述分块区域的模糊等级信息。
在一示例性实施例中,去模糊引导图生成单元可以用于:
将所述模糊等级信息大于或者等于模糊等级阈值的分块区域确定为模糊区域;
将所述模糊等级信息小于所述模糊等级阈值的分块区域确定为清晰区域;
基于所述模糊区域和所述清晰区域生成去模糊引导图。
在一示例性实施例中,分块区域之间存在重叠区域,图像去模糊装置900还可以包括边缘过度处理单元,该边缘过度处理单元可以用于:
对所述清晰图像中的所述重叠区域进行边缘过渡处理,得到消除块边缘不连续效应的清晰图像。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤,例如可以执行图3至图8中任意一个或多个步骤。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
此外,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像去模糊方法,其特征在于,包括:
获取待处理的模糊图像,并对所述模糊图像进行区域划分,得到分块图像;
对所述分块图像进行模糊估计,生成去模糊引导图;
将所述去模糊引导图与所述模糊图像输入到图像去模糊模型中,以通过所述去模糊引导图引导所述图像去模糊模型仅对所述模糊图像的模糊区域进行去模糊,并输出所述模糊图像对应的清晰图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述分块图像进行模糊估计,生成去模糊引导图,包括:
对所述分块图像中的各分块区域进行模糊估计,确定各所述分块区域的模糊等级信息;
根据所述模糊等级信息生成去模糊引导图。
3.根据权利要求2所述的方法,其特征在于,所述对所述分块图像中的各分块区域进行模糊估计,确定各所述分块区域的模糊等级信息,包括:
对所述分块区域中的像素进行分类,确定所述分块区域中每个像素的像素等级;
遍历所述分块区域中的所有像素;
若遍历检测到具有目标像素等级的像素数量占总像素数量的比例大于或者等于比例阈值,则将所述目标像素等级作为所述分块区域的模糊等级信息。
4.根据权利要求3所述的方法,其特征在于,所述遍历所述分块区域中的所有像素,包括:
按照预设遍历顺序遍历所述分块区域中所有像素;以及
在确定所述分块区域的模糊等级信息之后,提前结束对所述分块区域中像素的遍历过程。
5.根据权利要求2所述的方法,其特征在于,所述对所述分块图像进行模糊估计,生成去模糊引导图,包括:
计算所述分块区域中所有像素的平均像素值,根据所述平均像素值确定像素等级;
将所述像素等级作为所述分块区域的模糊等级信息。
6.根据权利要求2所述的方法,其特征在于,所述根据所述模糊等级信息生成去模糊引导图,包括:
将所述模糊等级信息大于或者等于模糊等级阈值的分块区域确定为模糊区域;
将所述模糊等级信息小于所述模糊等级阈值的分块区域确定为清晰区域;
基于所述模糊区域和所述清晰区域生成去模糊引导图。
7.根据权利要求1所述的方法,其特征在于,所述分块区域之间存在重叠区域,所述方法还包括:
对所述清晰图像中的所述重叠区域进行边缘过渡处理,得到消除块边缘不连续效应的清晰图像。
8.一种图像去模糊装置,其特征在于,包括:
图像划分模块,用于获取待处理的模糊图像,并对所述模糊图像进行区域划分,得到分块图像;
模糊估计模块,用于对所述分块图像进行模糊估计,生成去模糊引导图;
图像去模糊模块,用于将所述去模糊引导图与所述模糊图像输入到图像去模糊模型中,以通过所述去模糊引导图引导所述图像去模糊模型仅对所述模糊图像的模糊区域进行去模糊,并输出所述模糊图像对应的清晰图像。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
CN202111160997.3A 2021-09-30 2021-09-30 图像去模糊方法及装置、计算机可读介质和电子设备 Pending CN113902636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111160997.3A CN113902636A (zh) 2021-09-30 2021-09-30 图像去模糊方法及装置、计算机可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160997.3A CN113902636A (zh) 2021-09-30 2021-09-30 图像去模糊方法及装置、计算机可读介质和电子设备

Publications (1)

Publication Number Publication Date
CN113902636A true CN113902636A (zh) 2022-01-07

Family

ID=79189750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160997.3A Pending CN113902636A (zh) 2021-09-30 2021-09-30 图像去模糊方法及装置、计算机可读介质和电子设备

Country Status (1)

Country Link
CN (1) CN113902636A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205822A (zh) * 2023-04-27 2023-06-02 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质
CN116385302A (zh) * 2023-04-07 2023-07-04 北京拙河科技有限公司 一种光组相机的动态模糊消除方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050244077A1 (en) * 2004-04-22 2005-11-03 Fuji Photo Film Co., Ltd. Method, apparatus and program for image processing
CN107369134A (zh) * 2017-06-12 2017-11-21 上海斐讯数据通信技术有限公司 一种模糊图像的图像复原方法
CN111105379A (zh) * 2019-12-23 2020-05-05 福州大学 一种U-Net融合局部模糊核的图像盲去模糊方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050244077A1 (en) * 2004-04-22 2005-11-03 Fuji Photo Film Co., Ltd. Method, apparatus and program for image processing
CN107369134A (zh) * 2017-06-12 2017-11-21 上海斐讯数据通信技术有限公司 一种模糊图像的图像复原方法
CN111105379A (zh) * 2019-12-23 2020-05-05 福州大学 一种U-Net融合局部模糊核的图像盲去模糊方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385302A (zh) * 2023-04-07 2023-07-04 北京拙河科技有限公司 一种光组相机的动态模糊消除方法及装置
CN116205822A (zh) * 2023-04-27 2023-06-02 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质
CN116205822B (zh) * 2023-04-27 2023-10-03 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111368685B (zh) 关键点的识别方法、装置、可读介质和电子设备
CN111369427A (zh) 图像处理方法、装置、可读介质和电子设备
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN113658065B (zh) 图像降噪方法及装置、计算机可读介质和电子设备
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
CN113902636A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN113610720A (zh) 视频去噪方法及装置、计算机可读介质和电子设备
CN110689478B (zh) 图像风格化处理方法、装置、电子设备及可读介质
CN112967193A (zh) 图像校准方法及装置、计算机可读介质和电子设备
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
CN113920023A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN113205011A (zh) 图像掩膜确定方法及装置、存储介质和电子设备
CN111814811B (zh) 图像信息提取方法、训练方法及装置、介质和电子设备
CN110197459B (zh) 图像风格化生成方法、装置及电子设备
CN116258800A (zh) 一种表情驱动方法、装置、设备及介质
CN114049417B (zh) 虚拟角色图像的生成方法、装置、可读介质及电子设备
CN115937020A (zh) 图像处理方法、装置、设备、介质和程序产品
CN113610724A (zh) 图像优化方法及装置、存储介质及电子设备
CN116310615A (zh) 图像处理方法、装置、设备及介质
CN113362260A (zh) 图像优化方法及装置、存储介质及电子设备
CN114119413A (zh) 图像处理方法及装置、可读介质和移动终端
CN113298731A (zh) 图像色彩迁移方法及装置、计算机可读介质和电子设备
CN115249215A (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN112950516B (zh) 图像局部对比度增强的方法及装置、存储介质及电子设备
CN113240796B (zh) 视觉任务处理方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination