CN110072054A - 终端设备及其图像的变焦处理方法和装置 - Google Patents

Abstract

本申请提出一种终端设备及其图像的变焦处理方法和装置，其中，方法包括：获取待变焦的第一图像和模糊函数；利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像，以实现对图形清晰度的调整。

Description

终端设备及其图像的变焦处理方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种终端设备及其图像的变焦处理方法和装置。

背景技术

随着OLED(Organic Light-Emitting Diode，有机发光二极管)显示技术的发展，将会有越来越多的先进产品应运而生。但这些升级产品都需要全面屏来辅助提升产品的品质。为了实现全面屏，相关技术中采用在图像采集区域增加透明显示屏。但是，由于将图像采集装置置于透明显示屏后面且紧贴显示屏，则导致图像采集装置采集的图像因屏幕离焦而模糊，影响用户体验。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种图像的变焦处理方法，以实现对图形清晰度的调整。

本发明的第二个目的在于提出一种图像的变焦处理装置。

本发明的第三个目的在于提出一种终端设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种图像的变焦处理方法，包括：获取待变焦的第一图像和模糊函数；利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像。

根据本发明的一个实施例，当所述第一图像为模糊图像时，所述利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像，还包括：获取设置于图像采集装置表面的第一屏幕的透光结构图；分别获取所述透光结构图的第一频域图、所述模糊函数的第二频域图和所述第一图像的第三频域图；对所述第一频域图和所述第二频域图进行乘积，获得模糊频域结构图；对所述第三频域图和所述模糊频域结构图进行乘积，获得频域下的所述第二图像。

根据本发明的一个实施例，当所述第一图像为清晰图像时，所述利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像，还包括：分别获取所述第一图像的第三频域图和所述模糊函数的第二频域图；在所述频域对所述第三频域图和所述第二频域图进行乘积，获得在频域下的所述第二图像。

根据本发明的一个实施例，将所述频域下的所述第二图像进行逆傅立叶变换，获得空间域下的所述第二图像。

根据本发明的一个实施例，当所述第一图像为模糊图像时，所述利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像，还包括：获取设置于图像采集装置表面的第一屏幕的透光结构图；对所述透光结构图和所述模糊函数进行卷积，获得模糊结构图；对所述第一图像和所述模糊结构图进行卷积，获得空间域下的所述第二图像。

根据本发明的一个实施例，当所述第一图像为清晰图像时，所述根据所述第一图像和所述模糊函数进行变焦处理，获得变焦后的第二图像，还包括：将所述第一图像和所述模糊函数进行卷积，获得空间域下的所述第二图像。

根据本发明实施例的图像的变焦处理方法，通过与环境因素相关的模糊函数能够对待变焦的图像直接进行变焦处理，无需同时设置多个图像采集装置，节约生产成本与终端的内部空间，仅需要获取拍摄时环境因素和终端状态即可实现对图像的变焦处理，大大降低了图像处理的计算量，提升终端设备图像处理的性能。

为达上述目的，本发明第二方面实施例提出了一种图像变焦的控制装置，包括：获取模块，获取待变焦的第一图像和模糊函数；转换模块，利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像。

为达上述目的，本发明第三方面实施例提出了一种终端设备，包括所述的图像变焦的控制装置。

根据本发明的一个实施例，所述的终端设备，还包括：设置于图像采集装置表面的第一屏幕。

为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的图像的变焦处理方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的图像的变焦处理方法的流程图；

图2为本发明一个实施例的图像的变焦处理方法的流程图；

图3为本发明一个具体实施例的图像的变焦处理方法的示意图；

图4为本发明另一个实施例的图像的变焦处理方法的流程图；

图5为本发明又一个实施例的图像的变焦处理方法的流程图；

图6为本发明一个具体实施例的图像的变焦处理的效果图；

图7为本发明实施例的图像的变焦处理装置的方框示意图；

图8为本发明实施例的终端设备的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

智能终端主流市场对先拍照后变焦的需求越来越强烈，相关技术中大多采用基与不同图片的融合方法来实现，融合过程中需要考虑两个相机的畸变系数、光学中心、相对旋转/平移量等一些列参数，以及开发特征提取、特征匹配等一系列复杂的计算过程。但是，由于光照变化、光线明暗等外在因素的影响，拍摄的两张图片差别可能比较大，这对特征匹配算法提出很大的挑战。如果拍摄的物体缺乏纹理和细节(例如拍摄一张白纸)，则很难进行特征匹配。

基于此，本申请提出一种终端设备及其图像变焦的控制方法和装置。

下面参考附图描述本发明实施例的终端设备及其图像变焦的控制方法和装置。

图1为本发明实施例的图像的变焦处理方法的流程图。如图1所示，本发明实施例的图像的变焦处理方法，包括以下步骤：

S101：获取待变焦的第一图像和模糊函数。

需要说明的是，待变焦的第一图像可为需要进行变焦处理的图像，在采用全面屏的终端设备中，该图像可为通过设置于装置表面的第一屏幕采集到的模糊图像，以通过变焦处理使其成为清晰图像。由于变焦处理的通用性，本申请的变焦处理方法还可应用于清晰图像的变焦处理，此时，待变焦的第一图像为清晰图像，以通过变焦处理使其成为模糊图像。

还需要说明的是，模糊函数可以由以下公式进行表达：

其中，(x，y)表示像素的坐标值，R表示离焦半径，h表示模糊程度。进一步地，由于需要考虑拍摄时的拍照环境，例如环境亮度、终端显示屏幕的亮度、图像采集装置与目标之间的距离、终端显示屏幕分辨率等因素，需要对离焦半径R进行实时调节。更进一步地，可在终端中提前设置经过训练的机器学习模型，并设置获取影响离焦半径R的环境参数的采集装置，将各采集装置采集到的数据输入学习模型，获取当前环境对应的离焦半径R。

S102：利用模糊函数对第一图像进行变焦处理，获得变焦后的第二图像。

由此，本申请的变焦处理方法，通过与环境因素相关的模糊函数能够对待变焦的图像直接进行变焦处理，无需同时设置多个图像采集装置，节约生产成本与终端的内部空间，仅需要获取拍摄时环境因素和终端状态即可实现对图像的变焦处理，大大降低了图像处理的计算量，提升终端设备图像处理的性能。

当第一图像为模糊图像时，即，图像采集装置透过第一屏幕采集的图像，可进行如下图像处理。

根据本发明的一个实施例，如图2所示，利用模糊函数对第一图像进行变焦处理，获得变焦后的第二图像，还包括：

S201：获取设置于图像采集装置表面的第一屏幕的透光结构图。

需要说明的是，该第一屏幕即为设置在图像采集装置表面的透明显示屏，以在屏幕运行时终端呈全面屏状态，以及在进行图像拍摄时，图像采集装置通过其能够采集图像。其中，透光结构图为该第一屏幕各位置是否具有透光特性的结构图，即言，透光结构图中具有透光与不透光两种特性。

S202：分别获取透光结构图的第一频域图、模糊函数的第二频域图和第一图像的第三频域图。

应当理解的是，傅立叶变换能够实现空间域与频域的转换，在本申请中，可通过对透光结构图进行傅立叶变换得到第一频域图，对模糊函数进行傅立叶变换得到第二频域图，以及对第一图像进行傅立叶变换得到第三频域图。

S203：对第一频域图和第二频域图进行乘积，获得模糊频域结构图。

S204：对第三频域图和模糊频域结构图进行乘积，获得频域下的第二图像。

也就是说，在分别获取透光结构在频域下的第一频域图、模糊函数在频域下的第二频域图以及第一图像在频域下的第三频域图之后，如图3所示，先通过第一频域图和第二频域图进行乘积运算，得到模糊频域结构图，再将模糊频域结构图与第三频域图进行乘积运算，即可得到在频域下的第二图像，然后再将频域下的第二图像进行逆傅立叶变换，获得空间域下的第二图像。其中，在乘积运算过程中，可将用于乘积运算的两个频域图中的图像数据进行一一对应的乘积。

应当理解的是，由于在空间域的卷积运算和在频域下的乘积运算结果相同，因此，还可将上述图像处理在空间域进行。

具体地，根据本发明的另一个实施例，如图4所示，利用模糊函数对第一图像进行变焦处理，获得变焦后的第二图像，还包括：

S301：获取设置于图像采集装置表面的第一屏幕的透光结构图。

S302：对透光结构图和模糊函数进行卷积，获得模糊结构图。

S303：对第一图像和模糊结构图进行卷积，获得空间域下的第二图像。

也就是说，在获取到第一屏幕的透光结构图、第一图像和模糊函数之后，可以直接在空间域对透光结构图和模糊函数进行卷积，得到模糊结构图，然后第一图像再直接与模糊结构图进行卷积，得到空间域下的第二图像。

具体地，在卷积运算过程中，可先通过模糊函数获取与透光结构图大小一致的模糊矩阵，然后对透光结构图和模糊矩阵进行卷积，得到模糊结构图，进而再对第一图像和模糊结构图进行卷积，得到空间域下的第二图像。

由此，本申请提供了在频域下和空间域下的两种不同的变焦处理模式，在频域下变焦处理更精确，有效提高图像的清晰度，满足用户的需求，在空间域下变焦图像能够直观显示，计算量小，有效提高变焦速度。

当第一图像为清晰图像时，即，图像为保存在终端设备中的清晰图形，可进行如下图像处理。

根据本发明的一个实施例，如图5所示，利用模糊函数对第一图像进行变焦处理，获得变焦后的第二图像，还包括：

S401：分别获取第一图像的第三频域图和模糊函数的第二频域图。

S402：在频域对第三频域图和第二频域图进行乘积，获得在频域下的第二图像。

也就是说，在获取到第一图像和模糊函数时，可分别将第一图像转换成频域下的第三频域图以及将模糊函数转换成频域下的第二频域图，然后仅需要在频域下对第三频域图和第二频域图进行乘积运算，即可获取到在频域下的第二图像，然后再将频域下的第二图像进行逆傅立叶变换，获得空间域下的第二图像。

应当理解的是，在对第三频域图和第二频域图进行乘积之前，还可获取第一图像中的待处理区域，即，可先对第一图像进行区域划分，然后根据用户的需求，对每个不同的区域进行模糊处理，实现图像处理的个性化需求。如图6所示，即为将第一图像划分为两个区域(上部区域和下部区域)，并对上部区域进行模糊处理的效果。

还应当理解的是，在进行分区域模糊处理时每个区域应当小于一定阈值，以防止区域足够大使模糊处理后无法体现出局部的差异。

与模糊图像相同，清晰图像的模糊处理也可在空间域下进行。

具体地，根据本发明的另一个实施例，利用模糊函数对第一图像进行变焦处理，获得变焦后的第二图像，还包括：将第一图像和模糊函数进行卷积，获得空间域下的第二图像。

也就是说，在以获取到清晰的第一图像时，仅需要将第一图像和模糊函数进行卷积，即可实现对第一图像的模糊处理，得到空间域下的第二图像。

综上所述，本申请的变焦处理方法，通过与环境因素相关的模糊函数能够对待变焦的图像直接进行变焦处理，无需同时设置多个图像采集装置，节约生产成本与终端的内部空间，仅需要获取拍摄时环境因素和终端状态即可实现对图像的变焦处理，大大降低了图像处理的计算量，提升终端设备图像处理的性能。

为了实现上述实施例，本发明还提出一种图像的变焦处理装置。

图7为本发明实施例的图像的变焦处理装置的方框示意图。如图7所示，该图像的变焦处理装置100包括：获取模块10和转换模块20。

其中，获取模块10用于获取待变焦的第一图像和模糊函数；转换模块20用于利用模糊函数对第一图像进行变焦处理，获得变焦后的第二图像。

进一步地，当第一图像为模糊图像时，转换模块20还用于：获取设置于图像采集装置表面的第一屏幕的透光结构图；分别获取透光结构图的第一频域图、模糊函数的第二频域图和第一图像的第三频域图；对第一频域图和第二频域图进行乘积，获得模糊频域结构图；对第三频域图和模糊频域结构图进行乘积，获得频域下的第二图像。

进一步地，当第一图像为清晰图像时，转换模块20还用于：分别获取第一图像的第三频域图和模糊函数的第二频域图；在频域对第三频域图和第二频域图进行乘积，获得在频域下的第二图像。

进一步地，转换模块20还用于：将频域下的第二图像进行逆傅立叶变换，获得空间域下的第二图像。

进一步地，当第一图像为模糊图像时，转换模块20还用于：获取设置于图像采集装置表面的第一屏幕的透光结构图；对透光结构图和模糊函数进行卷积，获得模糊结构图；对第一图像和模糊结构图进行卷积，获得空间域下的第二图像。

进一步地，当第一图像为清晰图像时，转换模块20还用于：将第一图像和模糊函数进行卷积，获得空间域下的第二图像。

需要说明的是，前述对图像变焦的控制方法实施例的解释说明也适用于该实施例的图像变焦的控制装置，此处不再赘述。

为了实现上述实施例，本发明还提出一种终端设备，如图8所示，终端设备200包括图像变焦的控制装置100。

进一步地，终端设备200，还包括：设置于图像采集装置表面的第一屏幕。

为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的图像的变焦处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像的变焦处理方法，其特征在于，包括以下步骤：

获取待变焦的第一图像和模糊函数；

利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像。

2.根据权利要求1所述的图像的变焦处理方法，其特征在于，当所述第一图像为模糊图像时，所述利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像，还包括：

获取设置于图像采集装置表面的第一屏幕的透光结构图；

分别获取所述透光结构图的第一频域图、所述模糊函数的第二频域图和所述第一图像的第三频域图；

对所述第一频域图和所述第二频域图进行乘积，获得模糊频域结构图；

对所述第三频域图和所述模糊频域结构图进行乘积，获得频域下的所述第二图像。

3.根据权利要求1所述的图像的变焦处理方法，其特征在于，当所述第一图像为清晰图像时，所述利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像，还包括：

分别获取所述第一图像的第三频域图和所述模糊函数的第二频域图；

在所述频域对所述第三频域图和所述第二频域图进行乘积，获得在频域下的所述第二图像。

4.根据权利要求2或3所述的图像的变焦处理方法，其特征在于，还包括：

将所述频域下的所述第二图像进行逆傅立叶变换，获得空间域下的所述第二图像。

5.根据权利要求1所述的图像的变焦处理方法，其特征在于，当所述第一图像为模糊图像时，所述利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像，还包括：

获取设置于图像采集装置表面的第一屏幕的透光结构图；

对所述透光结构图和所述模糊函数进行卷积，获得模糊结构图；

对所述第一图像和所述模糊结构图进行卷积，获得空间域下的所述第二图像。

6.根据权利要求1所述的图像的变焦处理方法，其特征在于，当所述第一图像为清晰图像时，所述根据所述第一图像和所述模糊函数进行变焦处理，获得变焦后的第二图像，还包括：

将所述第一图像和所述模糊函数进行卷积，获得空间域下的所述第二图像。

7.一种图像变焦的控制装置，其特征在于，包括：

获取模块，用于获取待变焦的第一图像和模糊函数；

转换模块，用于利用模糊函数对所述第一图像进行变焦处理，获得变焦后的第二图像。

8.一种终端设备，其特征在于，包括如权利要求7所述的图像变焦的控制装置。

9.根据权利要求8所述的终端设备，其特征在于，还包括：

设置于图像采集装置表面的第一屏幕。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的图像的变焦处理方法。