CN117896628A - 图像处理设备、图像处理方法和存储介质 - Google Patents

Abstract

本发明公开了一种图像处理设备、图像处理方法和存储介质。该图像处理设备包括：校正单元，其被配置为对图像进行校正；第一放大单元，其被配置为通过使用神经网络对经过了所述校正单元所进行的校正的图像进行放大，以产生第一放大图像；第二放大单元，其被配置为对经过了所述校正单元所进行的校正的图像进行放大，以产生第二放大图像，所述第二放大单元与所述第一放大单元不同；以及合成单元，其被配置为基于所述校正的强度来进行所述第一放大图像和所述第二放大图像的合成。

Description

图像处理设备、图像处理方法和存储介质

技术领域

本公开涉及一种图像处理设备，并且特别涉及一种用于参考经训练的模型来生成放大图像的图像处理设备。

背景技术

近年来，已经开发了与使用深度学习的图像放大相关的技术。在传统的图像放大技术中，使用诸如双线性插值或双三次插值等的基于滤波的方法的放大处理已经被普遍使用。然而，传统的基于滤波的方法由于高频区域的低的估计精度而具有随着放大率的增加而失去图像的分辨感的趋势。

另一方面，例如，WO 2018/216207讨论了使用深度学习的图像放大处理，从而使得能够生成具有高分辨感的放大图像。许多基于深度学习的图像放大技术特别地使用卷积神经网络。

然而，使用深度学习的图像放大可能根据基于学习的计算结果生成用不适当值进行插值的图像，因此可能生成具有过度强调的高频信号或在原始图像中不存在的噪声的图像。

发明内容

根据本公开的方面，图像处理设备包括：校正单元，其被配置为对图像进行校正；第一放大单元，其被配置为通过使用神经网络对经过了所述校正单元所进行的校正的图像进行放大，以产生第一放大图像；第二放大单元，其被配置为对经过了所述校正单元所进行的校正的图像进行放大，以产生第二放大图像，所述第二放大单元与所述第一放大单元不同；以及合成单元，其被配置为基于所述校正的强度来进行所述第一放大图像和所述第二放大图像的合成。

根据以下参考附图对示例性实施例的描述，本公开的其他特征将变得明显。

附图说明

图1是示出根据本公开的一个或多于一个方面的数字照相机的配置的框图。

图2是示出根据本公开的一个或多于一个方面的放大处理的过程的系统图。

图3是示出根据本公开的一个或多于一个方面的分辨感校正水平和合成比率之间的关系的图。

图4是示出根据本公开的一个或多于一个方面的在不使用原始数据的情况下的放大处理的过程的系统图。

图5是示出根据本公开的一个或多于一个方面的面部区域的分辨感校正水平和合成比率之间的关系的图。

具体实施方式

将参考附图描述用于实现本公开的示例性实施例。下面描述的示例性实施例仅是用于实现本公开的示例，并且本公开不限于下面的示例性实施例。

图1是示出根据本示例性实施例的数字照相机100的配置的框图。

数字照相机100包括操作单元101、镜头102、摄像器件103、控制单元104、显示装置105和存储单元106。操作单元101是诸如开关和触摸面板等的由用户使用以操作数字照相机100的输入装置组。操作单元101包括释放开关、摄像模式选择开关、方向键和键入键，其中，释放开关用于指示摄像准备操作的开始以及拍摄图像的开始，摄像模式选择开关用于选择摄像模式。镜头102包括多个光学透镜。包括在镜头102中的透镜包括焦点调整透镜。摄像器件103例如是诸如互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)等的图像传感器，其中，在该图像传感器中，布置了多个像素(光电转换元件)，图像传感器的各个像素设置有红色(R)、绿色(G)或蓝色(B)的滤色器。摄像器件103还设置有诸如用于对来自像素的信号进行处理的放大器电路等的周边电路。摄像器件103拍摄通过镜头102形成的被摄体图像，并将获得的图像信号输出到控制单元104。控制单元104包括中央处理单元(CPU)、存储器和其他周边电路，并且控制数字照相机100。控制单元104中包括的存储器包括动态随机存取存储器(DRAM)。存储器用作CPU进行各种信号处理时的工作存储器，或者存储器被用作将在下面描述的显示装置105上显示图像时的视频随机存取存储器(VRAM)。显示装置105是数字照相机100的电子取景器、背面液晶显示器或外部显示器，并且显示诸如数字照相机100的设置值、消息、(诸如菜单画面等的)图形用户接口(GUI)以及拍摄图像等的信息。存储单元106例如是半导体存储卡。在存储单元106中，记录所用的图像信号(运动图像数据或静止图像数据)被控制单元104记录为预定格式的数据文件。

现在将描述根据本示例性实施例的放大处理的过程。图2是示出根据本示例性实施例的放大处理的过程的系统图。图2中的各个矩形块指示由控制单元104进行的处理。当数字照相机100拍摄图像时，开始将参考图2所示的系统图描述的放大处理的功能。

首先，分辨感校正单元202基于用户所设置的分辨感校正信息208，对摄像器件103所拍摄的原始数据201进行用于改变图像的分辨感的处理。分辨感校正信息208指示与用户所设置的分辨感相关的设置信息，并且具体地包括诸如边缘强调等的用于增加分辨感的设置信息、用于减少亮度噪声和色噪声而相反地削弱分辨感的降噪处理的设置信息、以及诸如皮肤美化模式等的用于调整图像的特定区域中的分辨感的处理的设置信息。例如，在各个设置中，可以利用用户设置来调整校正的强度。

存在若干用于调整分辨感校正的强度的方法。例如，对于作为分辨感校正的降噪处理，使用用于对平滑滤波器处理中的阈值进行调整的方法。这些方法使得能够增加或减少分辨感校正的强度。

接下来，显像处理单元203在向以与红色、绿色和蓝色(RGB)相对应的颜色信息所表示的彩色图像的转换之后，进行颜色、亮度和其他性质的调整。在显像处理完成之后，第一放大处理单元204和第二放大处理单元205以特定倍率产生放大图像。这里，第一放大处理单元204中的放大处理和第二放大处理单元205中的放大处理通过彼此不同的方法来进行。根据本示例性实施例，第一放大处理单元204进行使用深度学习的放大处理(以下称为深度学习放大)。另一方面，第二放大处理单元205进行使用(诸如最近邻插值、双三次插值或双线性插值等的)基于滤波的方法的放大处理(在下文中，将仅描述双三次放大作为示例)。这些输出由合成单元206以合成比率进行合成。合成时的放大图像之间的合成比率由合成比率计算单元209基于分辨感校正信息208来确定。合成单元206以合成比率计算单元209所计算出的合成比率将两个类型的放大图像进行合成，以产生最终放大图像207。

现在将详细描述合成比率计算单元209所进行的处理。深度学习放大图像和双三次放大图像之间的“合成比率”是用于提供高质量放大图像的重要因素。针对此的原因是，对于合成放大图像207而言双三次放大图像的较高使用率具有如下的趋势：给出了具有较少不利影响的稳定图像质量，然而伴随着较低的分辨感。另一方面，深度学习放大图像的较高使用率具有提供较高分辨感的趋势，然而伴随着呈现诸如“高频区域的过度增强”等的不利影响的趋势。因此，这些放大方法具有分辨感和稳定感之间的折衷关系。适当的合成比率取决于分辨感校正信息208。这是因为，存在如下的可能性：由于深度学习放大中的“高频区域的过度增强”，在深度学习放大之前和之后的图像之间，校正分辨感的效果看起来不同，其中随着经过了分辨感校正的图像的分辨感越高，越有可能更可能发生高频区域的过度增强。

在本示例性实施例中，例如，将默认合成比率确定为50：50，即各50％，然后合成比率计算单元209基于用户所设置的分辨感校正信息208来计算适合校正强度的合成比率。现在将针对计算合成比率的方法来描述分辨感校正水平和合成比率之间的关系的示例。

图3是示出根据本示例性实施例的分辨感校正水平和合成比率之间的关系的图。在图3所示的图中，横轴上的分辨感校正水平指示分辨感校正信息208中的分辨感校正设置的校正强度。分辨感校正设置包括如上所述的降噪处理的强度设置和皮肤美化处理的强度设置。这里的分辨感校正水平是用于指示这些分辨感校正设置的总校正强度的指标。第一放大图像是深度学习放大图像，并且第二放大图像是双三次放大图像。在图3中，为了通过校正产生更高分辨感的双三次放大图像的合成比率被设置得更高，并且为了通过校正产生更低分辨感的深度学习放大图像的合成比率被设置得更高。

例如，如果用户进行设置以增加分辨感，则图3所示的图中的分辨感校正水平在正侧。在这种情况下，为了防止“高频区域的过度增强”，深度学习放大图像的合成比率被调整为低于默认合成比率。

尽管此处作为基准的两个类型的放大图像之间的默认合成比率被设置为50：50，但考虑到默认图像质量的深度学习抵抗性(resistance)，可将默认合成比率设置为另一比率。可替代地，合成比率可以被设置为0：100或100：0作为默认合成比率。

可对上述用于实现本示例性实施例的方法进行各种修改。例如，可以对图像的不同区域给出不同的合成比率。

例如，一些用户想要避免在人类皮肤区域比在其他区域更强调高频信号。为了满足这些用户的需求，存在如下方法：对于“皮肤区域”，将深度学习放大和双三次放大之间的合成比率设置为50∶50，即各50％，并且对于除“皮肤区域”之外的区域，将深度学习放大和双三次放大之间的合成比率设置为100∶0，即100％深度学习放大，以便增加分辨感，从而仅对最小必要区域给出稳定的图像质量，尽可能地增强分辨感。“皮肤区域”的判断可以通过已知的图像识别方法来进行，例如使用神经网络的方法。可替代地，可以通过用户的指定来判断“皮肤区域”。

此处，对于分辨感校正信息208，采用如下校正，该校正并非应用于整个图像而是仅应用于图像中的特定区域以调整特定区域的分辨感。例如，存在“皮肤美化校正”设置，其中，检测图像中的人的面部区域并且仅减少面部区域中的噪声。

在将利用上述用于改变皮肤区域的合成比率的方法进行的放大处理与“皮肤美化校正”进行组合的情况下，在分辨感校正单元202处利用皮肤美化校正设置仅使面部区域经过降噪，然后在合成单元206处，仅在面部区域中以高频不太可能被强调的合成比率进行合成。

因此，放大图像207中的面部区域具有使皮肤美化校正效果被看起来过度的可能性。

这是因为合成单元206将面部区域以50％的深度学习放大图像并且将除面部区域之外的区域以100％的深度学习放大图像进行合成，从而在面部区域中产生相对增强的皮肤美化校正效果。

为了解决上述问题，如果将皮肤美化校正和放大处理进行组合，则基于用户所选择的皮肤美化的强度来调整皮肤区域的合成比率。图5示出在这种情况下如何确定合成比率的示例。例如，假设用户设置“强的皮肤美化强度”，即用于降低皮肤区域的分辨感的校正与水平轴上的-3的分辨感校正水平相对应，则面部区域的深度学习放大图像的合成比率从作为默认设置的50增加到100。面部区域的深度学习放大图像的合成比率的增加防止了合成后的放大图像中的皮肤区域的过度降噪。

分辨感校正的面积大小还取决于图像中“皮肤区域”所占的面积，这意味着可根据“皮肤区域”的大小来改变合成比率。这同样适用于除“皮肤区域”之外的特定区域。

此外，开始放大处理功能的定时可取决于数字照相机100拍摄图像时的设置，或可以是在显示装置105上再现图像时。如果在再现时执行放大功能，则只要保留与所选择的拍摄图像有关的原始数据201，就可以按原样应用图2的过程。在这种情况下，基于从与原始数据201有关的元数据获取的分辨感校正信息208来进行分辨感校正单元202处的校正，并且还基于被添加到与原始数据201有关的元数据的摄像时的设置来进行显像处理单元203处的处理。

另一方面，根据本示例性实施例的放大方法也适用于使用显像后的图像数据而没有留下原始数据201的情况。

图4是示出根据本示例性实施例的在不使用原始数据201的情况下的放大处理的过程的系统图。与图2的系统图相比，图4所示的系统图不包括原始数据201、分辨感校正单元202或显像处理单元203。然而，如图4所示，如果分辨感校正信息406被添加到与显像图像401有关的元数据或其他种类数据，则可以以与存在原始数据201的情况相同的方式计算合成比率。图4所示的第一放大处理单元402、第二放大处理单元403、合成单元404以及合成比率计算单元407与图2所示的第一放大处理单元204、第二放大处理单元205、合成单元206以及合成比率计算单元209相同。

根据本示例性实施例，第一放大图像和第二放大图像的合成比率的调整使得能够对最终放大图像中的分辨感进行调整。

(其他实施例)

根据上述示例性实施例的“图像处理设备”可由个人数字照相机以及其他类型的电子装置实现。这种电子装置不仅包括数字照相机和数字摄像机，还包括个人计算机、平板终端、移动电话、游戏机和用于增强现实(AR)或混合现实(MR)的透明护目镜。然而，本公开不限于这些电子装置。

此外，通过经由网络或存储介质向系统或设备供给用于执行上述示例性实施例的一个或多于一个功能的程序以及该系统或设备的计算机中的一个或多于一个处理器加载和运行该程序的处理，也可以实现本公开。本公开也可以由诸如专用集成电路(ASIC)等的用于执行一个或多于一个功能的电路来实现。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的示例性实施例。所附权利要求书的范围符合最广泛的解释，以便包含所有这样的修改和等同的结构和功能。

Claims (16)

1.一种图像处理设备，包括：

校正单元，其被配置为对图像进行校正；

第一放大单元，其被配置为通过使用神经网络对经过了所述校正单元所进行的校正的图像进行放大，以产生第一放大图像；

第二放大单元，其被配置为对经过了所述校正单元所进行的校正的图像进行放大，以产生第二放大图像，所述第二放大单元与所述第一放大单元不同；以及

合成单元，其被配置为基于所述校正的强度来进行所述第一放大图像和所述第二放大图像的合成。

2.根据权利要求1所述的图像处理设备，其中，所述第二放大单元不使用神经网络。

3.根据权利要求1所述的图像处理设备，其中，所述第二放大单元使用最近邻法、双三次法和双线性法中的至少一者。

4.根据权利要求1所述的图像处理设备，其中，与在通过所述第二放大单元对图像进行放大所产生的第二放大图像中相比，在通过所述第一放大单元对图像进行放大所产生的第一放大图像中，更加强调高频信号。

5.根据权利要求1所述的图像处理设备，其中，与通过所述第二放大单元对图像进行放大所产生的第二放大图像相比，通过所述第一放大单元对图像进行放大所产生的第一放大图像具有更高的分辨感。

6.根据权利要求1所述的图像处理设备，其中，在作为所述校正的强度的第一强度下，所述第一放大图像的在所述第一放大图像和所述第二放大图像之间的合成比率方面的值比在作为所述校正的强度的第二强度下的该值高，所述第二强度在所述校正的强度方面比所述第一强度高。

7.根据权利要求1所述的图像处理设备，其中，在作为所述校正的强度的第一强度下，所述第一放大图像的在所述第一放大图像和所述第二放大图像之间的合成比率方面的值比在作为所述校正的强度的第二强度下的该值低，所述第二强度在所述校正的强度方面比所述第一强度高。

8.根据权利要求1所述的图像处理设备，其中，所述校正单元对所述图像的部分区域进行所述校正。

9.根据权利要求8所述的图像处理设备，其中，所述部分区域是面部区域。

10.根据权利要求8所述的图像处理设备，其中，所述部分区域是皮肤区域。

11.根据权利要求10所述的图像处理设备，其中，所述校正单元对所述部分区域进行的校正是用于皮肤美化的校正。

12.根据权利要求8所述的图像处理设备，其中，所述合成单元基于经过了所述校正单元进行的校正的部分区域的面积来进行所述合成。

13.根据权利要求1所述的图像处理设备，

其中，所述校正单元以不同的校正方式对图像的多个区域进行所述校正，以及

其中，所述合成单元基于所述校正单元对图像的多个区域中的各个区域进行的所述校正，来进行图像的多个区域中的相应区域的合成。

14.根据权利要求1所述的图像处理设备，还包括：

摄像单元，其被配置为拍摄图像，

其中，所述校正单元对通过使用所述摄像单元所获取的图像进行所述校正。

15.一种图像处理方法，包括：

对图像进行校正；

通过使用神经网络进行经过了所述校正的图像的第一放大，以产生第一放大图像；

进行经过了所述校正的图像的第二放大，以产生第二放大图像，所述第二放大与所述第一放大不同；以及

基于所述校正的强度来进行所述第一放大图像和所述第二放大图像的合成。

16.一种非暂态计算机可读存储介质，其存储有用于使计算机执行图像处理方法的程序，所述图像处理方法包括：

对图像进行校正；

通过使用神经网络进行经过了所述校正的图像的第一放大，以产生第一放大图像；以及

进行经过了所述校正的图像的第二放大，以产生第二放大图像，所述第二放大与所述第一放大不同；以及

基于所述校正的强度来进行所述第一放大图像和所述第二放大图像的合成。