CN112862726A

CN112862726A - 图像处理方法、装置及计算机可读存储介质

Info

Publication number: CN112862726A
Application number: CN202110271150.6A
Authority: CN
Inventors: 王升翔; 曾纪国; 刘杰兵
Original assignee: Hunan Goke Microelectronics Co Ltd
Current assignee: Hunan Goke Microelectronics Co Ltd
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2021-05-28
Anticipated expiration: 2041-03-12
Also published as: CN112862726B

Abstract

本申请公开了一种图像处理方法、装置及计算机可读存储介质。其中，方法包括确定待处理图像的高频区域，根据高频区域的图像熵计算整个待处理图像的全局图像熵。获取待处理图像的多幅不同的高频图像，并计算各高频图像之间的相似度值。根据全局图像熵和各高频图像的相似度值确定待处理图像是客观图像还是主观图像，然后基于相应图像处理方法对待处理图像进行处理，从而有效提升图像处理效果。

Description

图像处理方法、装置及计算机可读存储介质

技术领域

本申请涉及数字图像处理领域，特别是涉及一种图像处理方法、装置及计算机可读存储介质。

背景技术

随着计算机视觉技术、人工智能技术的快速发展，图像画面尺寸越来越大，从HD(High Definition，高分辨率)到FHD(Full High Definition，全高清)到4K、8K，图像处理技术也迎来了更高地挑战，图像处理效率及图像处理结果要求越来越高。相关技术在对图像进行图像处理时，往往只根据所需图像效果采用相应图像处理方法进行图像处理，所取得的图像处理效果因图像而异，并不能对所有图像都取得较好的图像处理效果。

发明内容

本申请提供了一种图像处理方法、装置及计算机可读存储介质，有效提升图像处理效果。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种图像处理方法，包括：

在待处理图像中确定高频区域，并根据所述高频区域的图像熵计算所述待处理图像的全局图像熵；

获取所述待处理图像的多幅不同的高频图像，并计算各高频图像之间的相似度值；

根据所述全局图像熵和各高频图像的相似度值确定所述待处理图像为客观图像还是主观图像，以基于相应图像处理方法对所述待处理图像进行处理。

可选的，所述根据所述全局图像熵和各高频图像的相似度值确定所述待处理图像为客观图像还是主观图像包括：

基于所述全局图像熵和各高频图像的相似度值，调用图像类型匹配关系式计算所述待处理图像的主观图权重值；

若所述主观图权重值大于预设权重阈值，所述待处理图像为主观图像；若所述主观图权重值不大于预设权重阈值，所述待处理图像为客观图像；

其中，所述图像类型匹配关系式为：

S_weight＝a*H_Global-b*Value_Sim；

式中，S_weight为所述主观图权重值，H_Global为所述全局图像熵，Value_Sim为两幅高频图像的相似度值，a为图像熵权重参数，b为相似度权重参数。

可选的，所述获取所述待处理图像的多幅不同的高频图像包括：

获取第一高通滤波器对所述待处理图像进行高频提取得到的第一高频图像；

获取第二高通滤波器对所述待处理图像进行高频提取得到的第二高频图像。

可选的，所述根据所述高频区域的图像熵计算所述待处理图像的全局图像熵包括：

调用图像熵计算关系式计算所述高频区域各像素块的图像熵H；

对所述高频区域内不同像素块的图像熵进行全局混合处理，得到所述待处理图像的全局图像熵；

其中，所述图像熵计算关系式为：

式中，i为第i个像素的灰度值，j为第i个像素所在邻域的灰度均值，f(i，j)为i，j组合的灰度空间出现的频数，N为所述待处理图像的图像尺寸值。

可选的，所述在待处理图像中确定高频区域包括：

将所述待处理图像划分为多个图像块；

计算每个图像块的平坦度；

根据各图像块的平坦度值将所述待处理图像划分为平坦区域和高频区域。

本发明实施例另一方面提供了一种图像处理装置，包括：

全局图像熵计算模块，用于在待处理图像中确定高频区域，并根据所述高频区域的图像熵计算所述待处理图像的全局图像熵；

相似度计算模块，用于获取所述待处理图像的多幅不同的高频图像，并计算各高频图像之间的相似度值；

图像类型确定模块，用于根据所述全局图像熵和各高频图像的相似度值确定所述待处理图像为客观图像还是主观图像，以基于相应图像处理方法对所述待处理图像进行处理。

可选的，所述图像类型确定模块进一步用于：

其中，所述图像类型匹配关系式为：

S_weight＝a*H_Global-b*Value_Sim；

可选的，所述全局图像熵计算模块包括图像获取子模块，所述图像获取子模块为获取第一高通滤波器对所述待处理图像进行高频提取得到的第一高频图像；获取第二高通滤波器对所述待处理图像进行高频提取得到的第二高频图像的模块。

本发明实施例还提供了一种图像处理装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述图像处理方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如前任一项所述图像处理方法的步骤。

本申请提供的技术方案的优点在于，基于待处理图像的图像熵所反映的图像特征分布趋势和待处理图像的多幅高频图像之间的相似度来判断待处理图像是主观图还是客观图，在确定主客观图像之后采用相匹配的图像处理算法对待处理图像进行相应的图像处理，从而可有效提升图像处理效果，提高图像质量和图像处理效率；由于考虑了原图特征分布情况，图像处理精度较高且无时域要求，可以根据精度要求做内部算法的不断优化，整个处理流程运算量较小，消耗资源较少。

此外，本发明实施例还针对图像处理方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的另一种图像处理方法的流程示意图；

图3为本发明实施例提供的图像处理装置的一种具体实施方式结构图；

图4为本发明实施例提供的图像处理装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

图像与视频的制作生成能力大幅提高，同时图像处理的手段越来越多，根据图像生成方式不同，可将现有图像分为主观图像和客观图像，主观图像为摄像机、数码相机、手机等图像采集设备拍摄的真实场景图像，客观图像为计算机各类软件如visio、CAD、photoshop等图像处理软件所制作的图像。

可以理解的是，主观图像和客观图像由于生成方式不同，采用相同处理方法对同一被描述客体的主观图像和客观图像进行处理，得到的图像效果并不相同。例如采用相同的图像降噪方法对主观图像处理后所得清晰度高的图像，而对客观图进行降噪处理后会导致客观图变模糊。又比如说，采用峰值处理算法对主观图不能做太强，否则会出现图像效果不自然的问题，此外，利用现有的各种神经网络对客观图像的收敛速度很好，但利用神经网络处理主观图会出现收敛速度慢且梯度消失的问题。

为了解决相关技术采用同样的处理手段处理主观图和客观图，处理结果就是图像都是中庸的一个处理结果。本申请可先检测当前需要处理的图像为主观图像还是客观图像，然后对于主观图和客观图采用不同处理方式，从而有效提高图像处理效果。例如可以针主观图和客观图分别设置降噪、锐化等处理强度；基于神经网络中的参数收敛情况，根据实际检测目的，可以选用主观图或客观图的检测结果作为残差送到网络后级，达到快速收敛的目的。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种图像处理方法的流程示意图，本发明实施例可包括以下内容：

S101：在待处理图像中确定高频区域，并根据高频区域的图像熵计算待处理图像的全局图像熵。

本实施例中的待处理图像为当前要处理的原始图像，高频区域为待处理图像中的一部分，也就是说高频区域由原始图像中的一部分像素图像块组成。本实施例中的图像熵计算方法可根据任何一种图像熵计算方法来实现，例如可为二维熵，所属领域技术人员可根据实际所采用的图像熵计算方法查阅相关技术中记载的实现过程，此处，便不再赘述。为了节省空间，本实施例根据高频区域的熵来确定整体图像的图像熵，全局图像熵为待处理图像的熵，基于待处理图像的熵可明确图像的特征分布情况。

S102：获取待处理图像的多幅不同的高频图像，并计算各高频图像之间的相似度值。

本步骤中的高频图像为完整图像，并不是待处理图像的一部分，而是对待处理图像进行高频特征提取所生成的图像，高频图像的个数可根据实际需求进行灵活选择。作为一种可选的实施方式，如图2所示，可利用高通滤波器来提取待处理图像的高频特征，高频图像的个数可为2张，可利用第一高通滤波器，基于第一频率阈值对待处理图像进行高频提取得到的第一高频图像；利用第二高通滤波器，基于第二频率阈值对待处理图像进行高频提取得到第二高频图像，然后分别从第一高通滤波器和第二高通滤波器获取得到第一高频图像和第二高频图像。在得到高频图像后，可基于实际应用上的要求高低，可以使用结构相似度SSIM、直方图、余弦相似度，互信息等任何一种方式计算出不同高频图像间的相似度值。

S103：根据全局图像熵和各高频图像的相似度值确定待处理图像为客观图像还是主观图像，以基于相应图像处理方法对待处理图像进行处理。

在前两个步骤得到全局图像熵和各高频图像的相似度值之后，可基于全局图像熵和各高频图像得到主客观图像的检测结果。各高频图像的相似度值越大，表示高频的图像的相似度越大，越偏向客观图，也即待处理图像为客观图的概率也就越大；各高频图像的相似度值越小，待处理图像为主观图的概率也就越大。而全局图像熵越小，表示图像特征越集中，那么图像越偏向于客观图，也即待处理图像为客观图的概率也就越大；全局图像熵越大，那么图像越偏向于主观图，也即待处理图像为主观图的概率也就越大。所属领域技术人员可根据实际应用场景来确定一个经验值，根据这个经验值和全局图像熵、各高频图像的相似度值进行比对从而确定待处理图像为主观图还是客观图。在确定待处理图像所属图像类型之后，图像类型为主观图和客观图，对每类图像处理方式可预先设定相匹配的图像处理方法和图像处理参数，例如对图像进行降噪处理时，可预先设置不同的降噪强度参数，主观图对应一个降噪强度参数，客观图对应另外一个降噪强度参数；对图像进行锐化处理时，可预先设置不同的锐化强度参数，主观图对应一个锐化强度参数，客观图对应另外一个锐化强度参数。

在本发明实施例提供的技术方案中，于待处理图像的图像熵所反映的图像特征分布趋势和待处理图像的多幅高频图像之间的相似度来判断待处理图像是主观图还是客观图，在确定主客观图像之后采用相匹配的图像处理算法对待处理图像进行相应的图像处理，从而可有效提升图像处理效果，提高图像质量和图像处理效率；由于考虑了原图特征分布情况，图像处理精度较高且无时域要求，可以根据精度要求做内部算法的不断优化，整个处理流程运算量较小，消耗资源较少。

在上述实施例中，对于如何执行步骤S103并不做限定，本实施例中给出一种检测主客观图像的实施方式，可包括如下内容：

为了便于使用，提升灵活性，在实际使用过程中可做成可调的方式，例如可以使用线性加权的方式，作为一种可选的实施方式，S103步骤的实现过程可为：

基于全局图像熵和各高频图像的相似度值，调用图像类型匹配关系式计算待处理图像的主观图权重值；

若主观图权重值大于预设权重阈值，待处理图像为主观图像；若主观图权重值不大于预设权重阈值，待处理图像为客观图像；

其中，图像类型匹配关系式为：

S_weight＝a*H_Global-b*Value_Sim；

式中，S_weight为主观图权重值，H_Global为全局图像熵，Value_Sim为两幅高频图像的相似度值，a为图像熵权重参数，b为相似度权重参数。图像熵权重参数a、相似度权重参数b和预设权重阈值可根据实际应用场景进行选择。当然，作为另外一种实施方式，可基于全局图像熵和各高频图像的相似度值，调用第二图像类型匹配关系式计算待处理图像的客观图权重值；若客观图权重值大于第二预设权重阈值，待处理图像为客观图像；若客观图权重值不大于第二预设权重阈值，待处理图像为主观图像；第二图像类型匹配关系式可表示为：

O_weight＝a*H_Global-b*Value_Sim；

式中，O_weight为客观图权重值，H_Global为全局图像熵，Value_Sim为两幅高频图像的相似度值，a′为第二图像熵权重参数，b′为第二相似度权重参数。

在上述实施例中，对于如何执行步骤S101并不做限定，本实施例中给出一种图像熵的计算方式，可包括如下内容：

可将待处理图像划分为多个图像块，例如可按照64x64对图像进行块的划分。然后计算每个图像块的平坦度，根据各图像块的平坦度值将待处理图像划分为平坦区域和高频区域，从而在待处理图像中确定高频区域。在确定高频区域之后，可调用图像熵计算关系式计算高频区域各像素块的图像熵H；对高频区域内不同像素块的图像熵进行全局混合blending处理，得到待处理图像的全局图像熵。其中，图像熵计算关系式可表示为：

式中，i为第i个像素的灰度值，j为第i个像素所在邻域的灰度均值，f(i,j)为i,j组合的灰度空间出现的频数，N为待处理图像的图像尺寸值。

本实施例只计算高频图像的图像熵，用高频区域的图像熵代替整体图像的图像熵，节约成本，节省计算资源，提升整个图像处理效率。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图2只是一种示意方式，并不代表只能是这样的执行顺序。

本发明实施例还针对图像处理方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的图像处理装置进行介绍，下文描述的图像处理装置与上文描述的图像处理方法可相互对应参照。

基于功能模块的角度，参见图3，图3为本发明实施例提供的图像处理装置在一种具体实施方式下的结构图，该装置可包括：

全局图像熵计算模块301，用于在待处理图像中确定高频区域，并根据高频区域的图像熵计算待处理图像的全局图像熵。

相似度计算模块302，用于获取待处理图像的多幅不同的高频图像，并计算各高频图像之间的相似度值。

图像类型确定模块303，用于根据全局图像熵和各高频图像的相似度值确定待处理图像为客观图像还是主观图像，以基于相应图像处理方法对待处理图像进行处理。

可选的，在本实施例的一些实施方式中，上述图像类型确定模块303可以进一步用于：

其中，图像类型匹配关系式为：

S_weight＝a*H_Global-b*Value_Sim；

式中，S_weight为主观图权重值，H_Global为全局图像熵，Value_Sim为两幅高频图像的相似度值，a为图像熵权重参数，b为相似度权重参数。

作为一种可选的实施方式，上述全局图像熵计算模块301可包括图像获取子模块，图像获取子模块可为获取第一高通滤波器对待处理图像进行高频提取得到的第一高频图像；获取第二高通滤波器对待处理图像进行高频提取得到的第二高频图像的模块。

可选的，在本实施例的另一些实施方式中，上述全局图像熵计算模块301还可进一步用于：

调用图像熵计算关系式计算高频区域各像素块的图像熵H；

对高频区域内不同像素块的图像熵进行全局混合处理，得到待处理图像的全局图像熵；

其中，图像熵计算关系式为：

式中，i为第i个像素的灰度值，j为第i个像素所在邻域的灰度均值，f(i，j)为i，j组合的灰度空间出现的频数，N为待处理图像的图像尺寸值。

作为本实施例的另外一种可选的实施方式，上述全局图像熵计算模块301还可进一步用于：

将待处理图像划分为多个图像块；

计算每个图像块的平坦度；

根据各图像块的平坦度值将待处理图像划分为平坦区域和高频区域。

本发明实施例所述图像处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可有效提升图像处理效果。

上文中提到的图像处理装置是从功能模块的角度描述，进一步的，本申请还提供一种图像处理装置，是从硬件角度描述。图4为本申请实施例提供的另一种图像处理装置的结构图。如图4所示，该装置包括存储器40，用于存储计算机程序；

处理器41，用于执行计算机程序时实现如上述实施例提到的图像处理方法的步骤。

其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器41可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的图像处理方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统402和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括Windows、Unix、Linux等。数据403可以包括但不限于图像处理结果对应的数据等。

在一些实施例中，图像处理装置还可包括有显示屏42、输入输出接口43、通信接口44、电源45以及通信总线46。

本领域技术人员可以理解，图4中示出的结构并不构成对图像处理装置的限定，可以包括比图示更多或更少的组件，例如还可包括传感器47。

由上可知，本发明实施例可有效提升图像处理效果。

可以理解的是，如果上述实施例中的图像处理方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有图像处理程序，所述图像处理程序被处理器执行时如上任意一实施例所述图像处理方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可有效提升图像处理效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种图像处理方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述全局图像熵和各高频图像的相似度值确定所述待处理图像为客观图像还是主观图像包括：

其中，所述图像类型匹配关系式为：

S_weight＝a*H_Global-b*Value_Sim；

3.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述待处理图像的多幅不同的高频图像包括：

4.根据权利要求1至3任意一项所述的图像处理方法，其特征在于，所述根据所述高频区域的图像熵计算所述待处理图像的全局图像熵包括：

其中，所述图像熵计算关系式为：

式中，i为第i个像素的灰度值，j为第i个像素所在邻域的灰度均值，f(i,j)为i,j组合的灰度空间出现的频数，N为所述待处理图像的图像尺寸值。

5.根据权利要求4所述的图像处理方法，其特征在于，所述在待处理图像中确定高频区域包括：

将所述待处理图像划分为多个图像块；

计算每个图像块的平坦度；

6.一种图像处理装置，其特征在于，包括：

7.根据权利要求6所述的图像处理装置，其特征在于，所述图像类型确定模块进一步用于：

其中，所述图像类型匹配关系式为：

S_weight＝a*H_Global-b*Value_Sim；

8.根据权利要求7所述的图像处理装置，其特征在于，所述全局图像熵计算模块包括图像获取子模块，所述图像获取子模块为获取第一高通滤波器对所述待处理图像进行高频提取得到的第一高频图像；获取第二高通滤波器对所述待处理图像进行高频提取得到的第二高频图像的模块。

9.一种图像处理装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述图像处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至5任一项所述图像处理方法的步骤。