CN113038025B - 一种图像处理方法及终端、存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法及终端、存储介质，应用于终端，终端包括多个摄像头，多个摄像头属于同一焦距范围，该方法包括：利用多个摄像头进行曝光，生成多个曝光图像，多个曝光图像的曝光参数不同；对多个曝光图像进行图像配准和图像融合，得到高动态范围图像。

Description

一种图像处理方法及终端、存储介质

技术领域

本申请涉及电子应用领域，尤其涉及一种图像处理方法及终端、存储介质。

背景技术

高动态范围(High Dynamic Range，HDR)图像是用来实现比传统数字图像更大曝光动态范围的一种图像技术。由于人类可见的自然界亮度范围相当广，因此，高动态范围图像是为了能准确地表示真实世界中太阳光直射到最暗的阴影的大范围亮度值分布。

当前常见的视频HDR方案可以通过交替输出同步曝光程度的图像，之后进行图像配准和融合进而提升输出图像的动态，然而，该方案需要精细的配准算法，导致计算量很大，且在运动场景中容易产生鬼影、形变等问题，导致显示效果差。

发明内容

本申请实施例提供一种图像处理方法及终端、存储介质，能够减少图像配准的计算量，并提高HDR图像的显示效果。

本申请的技术方案是这样实现的：

本申请实施例提出一种图像处理方法，应用于终端，所述终端包括多个摄像头，所述多个摄像头属于同一焦距范围，所述方法包括：

利用所述多个摄像头进行曝光，生成多个曝光图像，所述多个曝光图像的曝光参数不同；

对所述多个曝光图像进行图像配准和图像融合，得到高动态范围图像。

在上述方法中，所述多个摄像头对应多个曝光时长，所述利用所述多个摄像头进行曝光，生成多个曝光图像，包括：

利用所述多个摄像头同时开始曝光，并基于所述多个曝光时长分别生成所述多个曝光图像。

在上述方法中，所述多个摄像头对应多个曝光敏感度，所述利用所述多个摄像头进行曝光，生成多个曝光图像，包括：

利用多个曝光敏感度的多个摄像头并行曝光，生成所述多个曝光图像。

在上述方法中，所述对所述多个曝光图像进行图像配准和图像融合，得到高动态范围图像，包括：

根据所述多个曝光图像和所述多个摄像头对应的多个图像校正矩阵，确定出多个校正图像；

利用图像融合算法对所述多个校正图像进行处理，得到所述高动态范围图像。

在上述方法中，所述多个摄像头为主摄像头、长焦摄像头或者广角摄像头中的任一种摄像头。

本申请实施例提出一种终端，所述终端包括多个摄像头，所述多个摄像头属于同一焦距范围，所述终端包括：

曝光单元，用于利用所述多个摄像头进行曝光，生成多个曝光图像，所述多个曝光图像的曝光参数不同；

图像处理单元，用于对所述多个曝光图像进行图像配准和图像融合，得到高动态范围图像。

在上述终端中，所述多个摄像头对应多个曝光时长，

所述曝光单元，还用于利用所述多个摄像头同时开始曝光，并基于所述多个曝光时长分别生成所述多个曝光图像。

在上述终端中，所述多个摄像头对应多个曝光敏感度，

所述曝光单元，还用于利用多个曝光敏感度的多个摄像头并行曝光，生成所述多个曝光图像。

在上述终端中，所述图像处理单元，还用于根据所述多个曝光图像和所述多个摄像头对应的多个图像校正矩阵，确定出多个校正图像；利用图像融合算法对所述多个校正图像进行处理，得到所述高动态范围图像。

在上述终端中，所述多个摄像头为主摄像头、长焦摄像头或者广角摄像头中的任一种摄像头。

本申请实施例提出一种终端，所述终端包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的方法。

本申请实施例提出一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一项所述的方法。

本申请实施例提供了一种图像处理方法及终端、存储介质，应用于终端，终端包括多个摄像头，多个摄像头属于同一焦距范围，该方法包括：利用多个摄像头进行曝光，生成多个曝光图像，多个曝光图像的曝光参数不同；对多个曝光图像进行图像配准和图像融合，得到高动态范围图像。采用上述实现方案，通过多个摄像头同时曝光，产生同一场景下的多帧不等曝的图像，由于多个摄像头在设备上的相对位置固定不变，使得曝光图像只需要经过简单的标定算法即可实现图像配置，在减少了图像配准的计算量的同时，避免产生鬼影、形变等问题，进而能够提高HDR图像的显示效果。

附图说明

图1为本申请实施例提供的一种图像处理方法的流程图；

图2为本申请实施例提供的一种示例性的摄像头利用两个主摄像头进行曝光的示意图；

图3为本申请实施例提供的一种终端的结构示意图一；

图4为本申请实施例提供的一种终端的结构示意图二。

具体实施方式

应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。

实施例一

本申请实施例提供一种图像处理方法，如图1所示，应用于终端，终端包括多个摄像头，其中，多个摄像头属于同一焦距范围，该方法可以包括：

S101、利用多个摄像头进行曝光，生成多个曝光图像，多个曝光图像的曝光参数不同。

本申请实施例提出的一种图像处理方法适用于生成视频高动态范围图像(High-Dynamic Range，HDR)的场景中。

本申请实施例中，进行图像处理的终端可以为任何具备拍摄、处理和存储功能的设备，例如：平板电脑、手机、个人计算机(Personal Computer，PC)、笔记本电脑、相机、可穿戴设备等拍照设备。

需要说明的是，按照不同的焦距范围可以将摄像头划分为主摄像头、长焦摄像头和广角摄像头等，具体的可以根据实际情况进行划分，本申请实施例不做具体的限定，示例性的，主摄像头的焦距范围为40mm-60mm，长焦摄像头的焦距范围为60mm-400mm，广角摄像头的焦距范围为17mm-35mm。

本申请实施例中，终端上设置属于同一焦距范围的多个摄像头，其中，多个摄像头的数量可以为两个、或者两个以上，具体的根据实际情况进行选择，本申请实施例不做具体的限定。例如，在一个终端中设置两个主摄像头、或者在一个终端中设置两个长焦摄像头、或者在一个终端中设置两个广角摄像头，具体的多个摄像头对应的焦距范围可以根据实际的拍摄场景设定，如，在拍摄远景的场景中，利用两个长焦摄像头实现曝光，用于实现远景拍摄场景的动态提升；在拍摄大视角场景的情况下，利用两个广角摄像头实现曝光，用于实现大视角场景拍摄的动态提升，在此不再赘述。

本申请实施例中，可以根据多个摄像头的摄像头特性，设置不同的曝光方案，生成曝光参数不同的多个曝光图像。

在一种可选的实施例中，当多个摄像头为相同类型的摄像头时，为多个摄像头设置的曝光方案为：为多个摄像头分配不同的曝光时长，此时，可以利用多个摄像头同时开始曝光，并基于多个曝光时长分别生成多个曝光图像。

示例性的，在终端中设置有两个主摄模组mA和mB，在同一场景下，mA和mB同时开始曝光，由于mA和mB具有不同的曝光时长，使得mA产生短爆图像A_short，mB产生正常曝光图像B_short。

在另一种可选的实施例中，当多个摄像头为不同类型的摄像头时，为多个摄像头设置的曝光方案为：基于摄像头本身的特性进行曝光，此时，多个摄像头同时进行曝光，生成多个曝光参数，如，多个摄像头对应多个曝光敏感度，此时，利用多个曝光敏感度的多个摄像头并行曝光，生成多个曝光图像。

示例性的，在终端中设置两个主摄模组，一个是普通镜头，一个是光不敏感镜头，利用普通镜头和光不敏感镜头同时进行曝光，生成长曝图像和短曝图像，需要说明的是，光不敏感镜头可以利用自身的曝光敏感度低的特性直接输出欠曝图像，无需另行为普通镜头和光不敏感镜头设置曝光时长。

示例性的，如图2所示，终端1中包括主摄像头1和主摄像头2，同时利用主摄像头1和主摄像头2对目标物体1进行曝光，生成两幅曝光图像。

S102、对多个曝光图像进行图像配准和图像融合，得到高动态范围图像。

在终端利用多个摄像头进行曝光，生成多个曝光图像之后，终端对多个曝光图像进行图像配准和图像融合，得到HDR图像。

本申请实施例中，终端根据多个曝光图像和多个摄像头对应的多个图像校正矩阵，确定出多个校正图像，之后，终端利用图像融合算法对多个校正图像进行处理，得到HDR图像。

需要说明的是，由于多个摄像头在终端上的物理距离很近，使得多个摄像头拍摄同一物体的角度不同，在多个摄像头的曝光时间不同的情况下，多个曝光图像的纹理相似，只是在亮度上的差异比较大，由于，多个摄像头在终端上的相位位置固定，可以通过标定的算法预先得到多个摄像头之间的图像校正矩阵，在获取到多个曝光图像的情况下，直接利用图像校正矩阵对对应的曝光图像进行处理，得到校正图像。

示例性的，mA标定后的图像校正矩阵为ca，mB标定后的图像校正矩阵为cb，mA的输出短曝图像为A_short，mB的输出正常曝图像为B_normal，那么mA的校正图像IA为A_short*ca，mB的校正图像IB为B_normal*cb，其中，*表示校正矩阵针对曝光图像的数学处理过程。

需要说明的是，在得到多个校正图像之后，还可以对多个校正图像进行裁剪，使得多个校正图像的视场范围一致。之后，在对裁剪完成的多个校正图像进行图像融合。

需要说明的是，图像融合算法为拉普拉斯金字塔融合算法、相似尺度图像融合算法等可以对校正后的图像进行图像融合的方法。

可以理解的是，通过多个摄像头同时曝光，产生同一场景下的多帧不等曝的图像，由于多个摄像头在设备上的相对位置固定不变，使得曝光图像只需要经过简单的标定算法即可实现图像配置，在减少了图像配准的计算量的同时，避免产生鬼影、形变等问题，进而能够提高HDR图像的显示效果。

基于上述实施例，以一款带有主摄像头、长焦摄像头和广角摄像头的终端为例，提出一种可选的实施例，在终端中增加一个与主摄像头具备相同类型的主摄模组，将原本的主摄像头称为mA、mA的曝光时长为S1、mA标定后的图像校正矩阵为ca，将新增加的主摄模组称为mB、mB的曝光时长为S2、mB标定后的图像校正矩阵为cb，其中，S2大于S1。在同一场景下，利用mA和mB同时进行曝光，此时，mA基于S1产生短曝光图像T1，mB基于S2产生正常曝光图像T2；之后，分别利用ca对T1进行处理，得到校正图像m1、利用cb对T2进行处理，得到校正图像m2，并利用预设图像融合算法，将m1和m2进行图像融合，得到最终的高动态的输出图像。

实施例二

本申请实施例提供一种终端1。如图3所示，所述终端包括多个摄像头，所述多个摄像头属于同一焦距范围，该终端1包括：

曝光单元10，用于利用所述多个摄像头进行曝光，生成多个曝光图像，所述多个曝光图像的曝光参数不同；

图像处理单元11，用于对所述多个曝光图像进行图像配准和图像融合，得到高动态范围图像。

可选的，所述多个摄像头对应多个曝光时长，

所述曝光单元10，还用于利用所述多个摄像头同时开始曝光，并基于所述多个曝光时长分别生成所述多个曝光图像。

可选的，所述多个摄像头对应多个曝光敏感度，

所述曝光单元10，还用于利用多个曝光敏感度的多个摄像头并行曝光，生成所述多个曝光图像。

可选的，所述图像处理单元11，还用于根据所述多个曝光图像和所述多个摄像头对应的多个图像校正矩阵，确定出多个校正图像；利用图像融合算法对所述多个校正图像进行处理，得到所述高动态范围图像。

可选的，所述多个摄像头为主摄像头、长焦摄像头或者广角摄像头中的任一种摄像头。

本申请实施例提供的一种终端包括多个摄像头，多个摄像头属于同一焦距范围，利用多个摄像头进行曝光，生成多个曝光图像，多个曝光图像的曝光参数不同；对多个曝光图像进行图像配准和图像融合，得到高动态范围图像。由此可见，本实施例提出的终端，通过多个摄像头同时曝光，产生同一场景下的多帧不等曝的图像，由于多个摄像头在设备上的相对位置固定不变，使得曝光图像只需要经过简单的标定算法即可实现图像配置，在减少了图像配准的计算量的同时，避免产生鬼影、形变等问题，进而能够提高HDR图像的显示效果。

图4为本申请实施例提供的一种终端1的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图4所示，本实施例的终端1包括：处理器13、存储器14、通信总线15及多个摄像头16、其中多个摄像头16属于同一焦距范围。

在具体的实施例的过程中，上述曝光单元10、图像处理单元11可由位于终端1上的处理器13实现，上述处理器13可以为特定用途集成电路(ASIC，Application SpecificIntegrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理图像处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑图像处理装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable GateArray)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。

在本申请实施例中，上述通信总线15用于实现处理器13、存储器14和多个摄像头16之间的连接通信；上述处理器13执行存储器14中存储的运行程序时实现如下的图像处理方法：

利用所述多个摄像头进行曝光，生成多个曝光图像，所述多个曝光图像的曝光参数不同；对所述多个曝光图像进行图像配准和图像融合，得到高动态范围图像。

进一步地，在本申请实施例中，所述多个摄像头16对应多个曝光时长，所述处理器13，还用于利用所述多个摄像头同时开始曝光，并基于所述多个曝光时长分别生成所述多个曝光图像。

进一步地，在本申请实施例中，所述多个摄像头16对应多个曝光敏感度，所述处理器13，还用于利用多个曝光敏感度的多个摄像头并行曝光，生成所述多个曝光图像。

进一步地，在本申请实施例中，所述处理器13，还用于根据所述多个曝光图像和所述多个摄像头对应的多个图像校正矩阵，确定出多个校正图像；利用图像融合算法对所述多个校正图像进行处理，得到所述高动态范围图像。

进一步地，在本申请实施例中，所述多个摄像头16为主摄像头、长焦摄像头或者广角摄像头中的任一种摄像头。

本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于终端中，该计算机程序实现如上述图像处理的方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (6)

1.一种图像处理方法，其特征在于，应用于终端，所述终端包括多个摄像头，所述多个摄像头属于同一焦距范围，所述多个摄像头对应多个曝光敏感度，所述多个摄像头为主摄像头、长焦摄像头或者广角摄像头中的任一种摄像头，所述方法包括：

利用多个曝光敏感度的多个摄像头并行曝光，生成所述多个曝光图像，所述多个曝光图像的曝光参数不同；

对所述多个曝光图像进行图像配准和图像融合，得到高动态范围图像；

其中，所述对所述多个曝光图像进行图像配准和图像融合，得到高动态范围图像，包括：

获取所述多个摄像头对应的多个图像校正矩阵；其中，一个摄像头对应一个图像校正矩阵；

利用每个摄像头对应的图像校正矩阵对所述每个摄像头对应的一张曝光图像进行处理，得到所述多个摄像头对应的多个校正图像；

利用图像融合算法对所述多个校正图像进行处理，得到所述高动态范围图像。

2.根据权利要求1所述的方法，其特征在于，所述多个摄像头对应多个曝光时长，所述利用所述多个摄像头进行曝光，生成多个曝光图像，包括：

利用所述多个摄像头同时开始曝光，并基于所述多个曝光时长分别生成所述多个曝光图像。

3.一种终端，其特征在于，所述终端包括多个摄像头，所述多个摄像头属于同一焦距范围，所述多个摄像头对应多个曝光敏感度，所述多个摄像头为主摄像头、长焦摄像头或者广角摄像头中的任一种摄像头，所述终端包括：

曝光单元，用于利用多个曝光敏感度的多个摄像头并行曝光，生成所述多个曝光图像，所述多个曝光图像的曝光参数不同；

图像处理单元，用于对所述多个曝光图像进行图像配准和图像融合，得到高动态范围图像；

其中，所述图像处理单元，还用于获取所述多个摄像头对应的多个图像校正矩阵；其中，一个摄像头对应一个图像校正矩阵；利用每个摄像头对应的图像校正矩阵对所述每个摄像头对应的一张曝光图像进行处理，得到所述多个摄像头对应的多个校正图像；利用图像融合算法对所述多个校正图像进行处理，得到所述高动态范围图像。

4.根据权利要求3所述的终端，其特征在于，所述多个摄像头对应多个曝光时长，

所述曝光单元，还用于利用所述多个摄像头同时开始曝光，并基于所述多个曝光时长分别生成所述多个曝光图像。

5.一种终端，其特征在于，所述终端包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1或2任一项所述的方法。

6.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1或2任一项所述的方法。

Images