CN113793259B - 图像变焦方法、计算机设备和存储介质 - Google Patents
图像变焦方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113793259B CN113793259B CN202111344431.6A CN202111344431A CN113793259B CN 113793259 B CN113793259 B CN 113793259B CN 202111344431 A CN202111344431 A CN 202111344431A CN 113793259 B CN113793259 B CN 113793259B
- Authority
- CN
- China
- Prior art keywords
- image
- affine transformation
- shot
- processing
- zooming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000009466 transformation Effects 0.000 claims abstract description 161
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 149
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000007499 fusion processing Methods 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 238000005111 flow chemistry technique Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 20
- 238000004364 calculation method Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 101100537629 Caenorhabditis elegans top-2 gene Proteins 0.000 description 1
- 101150107801 Top2a gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种图像变焦方法、计算机设备和存储介质。所述方法包括：获取第一拍摄图像和第二拍摄图像；所述第一拍摄图像的拍摄焦距小于所述第二拍摄图像；对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像；对所述仿射变换图像和所述第二拍摄图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像；将所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述第一拍摄图像的目标变焦图像。采用本方法能够提升双目摄像头在4K分辨率下的变焦效果。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种图像变焦方法、计算机设备、存储介质和计算机程序产品。
背景技术
随着便携性移动终端的发展，人们越来越喜欢使用便携性移动终端进行拍照，进而用户对便携性移动终端的拍摄性能需求也越来越高，多摄像头组合拍摄技术能让便携性移动终端的焦段和拍摄性能更加丰富，使得多摄像头组合拍摄技术开始广泛应用于便携性移动终端中。但是，由于多个摄像头的焦段不同，在进行摄像头的镜头切换时，拍摄画面会出现画面不一致、切换速度较慢等问题。
为了让多个摄像头之间能平滑切换焦段，一些双目摄像头变焦算法开始被应用于镜头切换中，但是4K分辨率的双目摄像头进行变焦切换时，只能通过强制切换镜头来完成变焦，导致画面出现虚影，使得双目摄像头的变焦效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升双目摄像头的变焦效果的图像变焦方法、计算机设备、存储介质和计算机程序产品。
第一方面，本申请提供了一种图像变焦方法，所述方法包括：
获取第一拍摄图像和第二拍摄图像；所述第一拍摄图像的拍摄焦距小于所述第二拍摄图像；
对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像；
对所述仿射变换图像和所述第二拍摄图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像；
将所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述第一拍摄图像的目标变焦图像。
在其中一个实施例中，对所述仿射变换图像和所述第二拍摄图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像，包括：
分别对所述仿射变换图像和所述第二拍摄图像进行降采样处理，得到降采样后的仿射变换图像和降采样后的第二拍摄图像；
根据所述降采样后的仿射变换图像和降采样后的第二拍摄图像，对所述仿射变换图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像。
在其中一个实施例中，根据所述降采样后的仿射变换图像和降采样后的第二拍摄图像，对所述仿射变换图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像，包括：
对所述降采样后的仿射变换图像进行梯度检验处理，得到所述降采样后的仿射变换图像的特征点；
根据所述降采样后的仿射变换图像和降采样后的第二拍摄图像，对所述特征点进行光流处理，得到对应的光流矩阵；
根据所述光流矩阵，对所述仿射变换图像中的每个图像块进行插值处理，得到所述像素对齐图像。
在其中一个实施例中，获取第一拍摄图像和第二拍摄图像，包括：
获取所述第一拍摄图像和所述第一拍摄图像的当前变焦倍数；
当所述当前变焦倍数在变焦切换区间范围内时，则获取所述第二拍摄图像。
在其中一个实施例中，所述对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像，包括：
根据获取到的所述单应矩阵，对所述第一拍摄图像进行仿射变换处理，得到所述仿射变换图像；所述仿射变换图像的焦距大于所述第一拍摄图像。
在其中一个实施例中，在对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像之前，还包括：
根据所述当前变焦倍数，计算得到所述第一拍摄图像的变焦图像的多个变焦坐标点；
对所述多个变焦坐标点进行逆变换处理，得到所述第一拍摄图像的多个坐标点；
对所述多个变焦坐标点和所述初始坐标点进行透视变换处理，得到单应矩阵。
在其中一个实施例中，将所述像素对齐图像和所述第二拍摄图像进行融合处理，得到目标变焦图像，包括：
根据所述当前变焦倍数和所述变焦切换区间，计算得到变焦权重；
根据所述变焦权重，对所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述目标变焦图像。
第二方面，本申请还提供了一种计算机设备。所述计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一拍摄图像和第二拍摄图像；所述第一拍摄图像的拍摄焦距小于所述第二拍摄图像；
对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像；
对所述仿射变换图像和所述第二拍摄图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像；
将所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述第一拍摄图像的目标变焦图像。
第三方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一拍摄图像和第二拍摄图像；所述第一拍摄图像的拍摄焦距小于所述第二拍摄图像；
对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像；
对所述仿射变换图像和所述第二拍摄图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像；
将所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述第一拍摄图像的目标变焦图像。
第四方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取第一拍摄图像和第二拍摄图像；所述第一拍摄图像的拍摄焦距小于所述第二拍摄图像；
对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像；
对所述仿射变换图像和所述第二拍摄图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像；
将所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述第一拍摄图像的目标变焦图像。
上述图像变焦方法、计算机设备、存储介质和计算机程序产品，通过获取第一拍摄图像和第二拍摄图像，然后对第一拍摄图像进行仿射变换处理，从而得到对应的仿射变换图像，接着对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，最后对像素对齐图像和第二拍摄图像进行融合处理，进而得到第一拍摄图像的目标变焦图像。采用本方法，无需依赖双目摄像头的硬件模组性能，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，同时，还通过将像素对齐处理与线性融合方法相结合来进行图像变焦，实现了图像的平滑变焦，从而双目摄像头在4K分辨率下达到实时接力变焦的效果，进而极大提升了终端设备原有的变焦效果。
附图说明
图1为一个实施例中图像变焦方法的流程示意图；
图2为一个实施例中得到第一拍摄图像对应的像素对齐图像的步骤的流程示意图；
图3为另一个实施例中图像变焦方法的流程示意图；
图4为又一个实施例中图像变焦方法的流程示意图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像变焦方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种携带双目摄像头的设备，该设备包括但不限于是智能手机、个人计算机、笔记本电脑、平板电脑和便携式可穿戴设备。本实施例中，该方法包括以下步骤：
步骤S101，获取第一拍摄图像和第二拍摄图像；第一拍摄图像的拍摄焦距小于所述第二拍摄图像。
其中，第一拍摄图像是指终端上第一摄像头拍摄的图像，第二拍摄图像是指终端上第二摄像头拍摄的图像。
其中，第一摄像头的镜头焦段小于第二摄像头，第一摄像头、第二摄像头分别可以是具有4K分辨率（3840*2160）的短焦摄像头和长焦摄像头。
具体地，终端响应用户触发的拍摄操作，获取第一摄像头采集的第一拍摄图像，获取用户触发的当前变焦倍数，若当前变焦倍数在变焦切换区间内，则获取第二摄像头采集的第二拍摄图像，然后将第一拍摄图像和第二拍摄图像发送至终端的处理器。由此，服务器在获取到第一拍摄图像和第二拍摄图像之后，将第一拍摄图像和第二拍摄图像作为处理对象执行后续的图像变焦步骤。
步骤S102，对第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像。
其中，仿射变换图像是指第一拍摄图像进行线性变换、平移等仿射变换处理后生成的图像，仿射变换图像与第一拍摄图像的相对位置关系没有改变。
具体地，终端根据获取的当前变焦倍数，计算得到在当前变焦倍数下，变焦后的仿射变换矩阵的参数，然后进行相机标定，获取第一摄像头的相关参数和矩阵，然后根据获得的相关参数和矩阵，对第一拍摄图像进行仿射变换处理，最终得到第一拍摄图像对应的仿射变换图像。
需要说明的是，仿射变换矩阵可以用如下公式进行表示：
其中，x和y为输入图像坐标，
和
为输出图像坐标，即该仿射变换矩阵表示根据
输出坐标计算得到输入坐标。m0、m1、m3、m4分别表示图像的缩放尺度和旋转量；m2表示图像
在水平方向上的位移；m5表示图像在垂直方向上的位移；m6、m7表示图像在水平和垂直方向
上的形变量；m8为权重因子，在归一化条件下，m8恒为1。
步骤S103，对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像。
其中，像素对齐图像是指像素级上与第二拍摄图像对齐的图像。
具体地，将仿射变换图像和第二拍摄图像进行降采样，然后对降采样后的仿射变换图像进行坐标x轴和y轴方向上的梯度检验，得到降采样后的仿射变换图像的多个特征点，根据降采样后的仿射变换图像、降采样后的第二拍摄图像和多个特征点，对仿射变换图像进行光流偏移计算，得到光流偏移图像，对光流偏移图像进行图像插值，得到对应的像素对齐图像。
步骤S104，将像素对齐图像和第二拍摄图像进行融合处理，得到第一拍摄图像的目标变焦图像。
其中，目标变焦图像是指终端获取的拍摄图像，在当前变焦倍数下进行变焦后的图像。
具体地，将当前变焦倍数、像素对齐图像和第二拍摄图像输入到融合模型中进行线性融合，融合模型输出目标变焦图像作为融合结果，处理器执行完融合处理得到目标变焦图像后，将目标变焦图像在显示屏上进行展示，供用户在终端上查看触发变焦操作后的目标变焦图像。
上述图像变焦方法中，通过获取第一拍摄图像和第二拍摄图像，然后对第一拍摄图像进行仿射变换处理，从而得到对应的仿射变换图像，接着对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，最后对像素对齐图像和第二拍摄图像进行融合处理，进而得到第一拍摄图像的目标变焦图像。采用本方法，无需依赖双目摄像头的硬件模组性能，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，同时，还通过将像素对齐处理与线性融合方法相结合来进行图像变焦，实现了图像的平滑变焦，从而双目摄像头在4K分辨率下达到实时接力变焦的效果，进而极大提升了终端设备原有的变焦效果。
需要说明的是，实时接力变焦是指双目摄像头在使用过程中，从一个焦段切换到另一个焦段时，画面将从原来的摄像头切换到另一个摄像头，切换过程中，画质保持一致性，焦段平滑切换，人眼无法察觉画面的跳变，图像没有进行平移、旋转操作，也没有闪烁卡顿的现象。
在一个实施例中，对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，具体包括如下内容：分别对仿射变换图像和第二拍摄图像进行降采样处理，得到降采样后的仿射变换图像和降采样后的第二拍摄图像；根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对仿射变换图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像。
具体地，仿射变换图像和第二拍摄图像的分辨率为4K（3840*2160），终端调用降采样指令，对仿射变换图像和第二拍摄图像进行降采样，得到分辨率变低的降采样后的仿射变换图像和第二拍摄图像，然后调用像素对齐指令，对仿射变换图像进行梯度检测和光流计算，并通过图像插值提升图像的质量，最终得到像素对齐图像，此时的像素对齐图像与第二拍摄图像像素对齐，也就是说，像素对齐图像是变焦后放大的图像。
例如，仿射变换图像和第二拍摄图像的分辨率为4K（3840*2160），终端调用降采样算法程序，对仿射变换图像和第二拍摄图像进行降采样，得到分辨率为960*540的降采样后的仿射变换图像和降采样后的第二拍摄图像。
在本实施例中，对仿射变换图像和第二拍摄图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，采用本方法，无需依双目摄像头的硬件模组性能，通过得到的像素对齐图像与第二拍摄图像进行线性融合，使得双目摄像头在4K分辨率下进行焦距切换时，实现图像的平滑变焦，从而提升了终端设备原有的变焦效果。
在一个实施例中，如图2所示，根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对仿射变换图像进行像素对齐处理，得到第一拍摄图像对应的像素对齐图像，具体包括如下步骤：
步骤S201，对降采样后的仿射变换图像进行梯度检验处理，得到降采样后的仿射变换图像的特征点。
步骤S202，根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对特征点进行光流处理，得到对应的光流矩阵。
步骤S203，根据光流矩阵，对仿射变换图像中的每个图像块进行插值处理，得到像素对齐图像。
其中，光流矩阵是指通过光流法计算图像在时间域、相邻帧之间的运动信息时输出的矩阵，光流矩阵中的每一个元素表示图像在x轴方向和y方向上的偏移量；根据光流法的不同，光流矩阵可分为稠密光流矩阵和稀疏光流矩阵。
具体地，终端获取梯度检验的梯度阈值和数量阈值，根据梯度阈值和阈值，终端使用梯度算子对降采样后的仿射变换图像进行x轴方向和y方向上的梯度检验，得到降采样后的仿射变换图像的多个特征点，然后将降采样后的仿射变换图像和采样后的第二拍摄图像作为两帧图像，对多个特征点进行两帧差分的稀疏光流计算和稠密光流计算，得到对应的多个稀疏光流和稠密光流，稀疏光流、稠密光流的数量与特征点数量相等，使用最近邻算法，将该多个稠密光流扩展为预设分辨率的稠密光流矩阵，进而将3840*2160分辨率的仿射变换图像按照预设尺寸进行分块，仿射变换图像的每一个图像块都与稠密光流矩阵的一个光流值对应，根据每一个光流值，对仿射变换图像中对应的图像块的偏移量进行分析，得到光流处理后的图像，然后使用双线性插值算法，对光流处理后的图像进行图像插值，来恢复仿射变换图像变成光流处理后的图像过程中丢失的信息，最终得到像素对齐图像。
需要说明的是，梯度阈值和数量阈值可以是预先设置的阈值，也可以是通过自适应阈值调整算法得到的阈值，还可以根据实际的图像变焦任务进行调整；特征点的数量可以是100、200、500等，当然也可以根据实际情况进行调整；预设分辨率包括120*68；预设尺寸包括32*32。
在本实施例中，通过对降采样后的仿射变换图像进行梯度检验，得到降采样后的仿射变换图像的图像边缘特征点，然后根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对特征点进行光流处理，得到对应的光流矩阵；根据光流矩阵，对仿射变换图像中的每个图像块进行插值处理，得到像素对齐图像。采用本方法，通过光流处理和双线性插值得到像素对齐图像，再结合线性融合方法进行图像变焦，实现了图像的平滑变焦，从而提升了终端设备原有的变焦效果。
在一个实施例中，获取第一拍摄图像和第二拍摄图像，包括：获取第一拍摄图像和第一拍摄图像的当前变焦倍数；当前变焦倍数在变焦切换区间范围内时，则获取第二拍摄图像。
其中，变焦切换区间为（z1，z2），z1和z2都是浮点数，z1表示在第一摄像头和第二摄像头进行相机标定后得到最佳切换变焦倍数，z2的取值为z1+0.4，0.4表示这个区间内会对图像进行像素对齐处理和融合处理。变焦倍数的初始值为1.0，代表第一拍摄图像的初始变焦倍数。变焦倍数进行改变后，会自动将当前变焦倍数发送至终端的变焦算法内。
具体地，终端以第一拍摄图像的初始变焦倍数进行图像拍摄，获取第一摄像头采集的第一拍摄图像，当用户触发变焦倍数的变更操作后，终端获取当前变焦倍数，并判断当前变焦倍数是否在变焦切换区间内，若当前变焦倍数在变焦切换区间范围内，则终端获取第二摄像头采集的第二拍摄图像。
在本实施例中，终端获取第一拍摄图像和当前变焦倍数，在变焦倍数处于变焦切换区间时，获取第二摄像头采集的第二拍摄图像，进而根据第一拍摄图像、当前变焦倍数和第二拍摄图像进行图像变焦处理，无需依赖双目摄像头的硬件模组性能，通过终端内部的变焦算法，使得双目摄像头在4K分辨率下达到实时接力变焦的效果，进而提升了终端设备原有的变焦效果。
在一个实施例中，对第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像，包括：根据获取到的单应矩阵，对第一拍摄图像进行仿射变换处理，得到仿射变换图像；仿射变换图像的焦距大于所述第一拍摄图像。
其中，单应矩阵是描述两幅图像之间的单应性的矩阵，由用于定位观察的物理平面的物理变换和摄像头内参数矩阵的投影组成。图像单应性指的是在世界坐标系和像素坐标系之间的位置映射关系。
具体地，根据获取的单应矩阵，对第一拍摄图像进行平移、旋转、缩放、形变等仿射变换，得到初步仿射变换图像，由于初步仿射变换图像的坐标存在非整数，所以需要通过插值处理来进行图像重映射，通过双线性插值算法计算得到初步仿射变换图像上的像素值，进而得到像素质量更高的仿射变换图像，仿射变换图像的焦距大于第一拍摄图像。在本实施例中，根据单应矩阵，对第一拍摄图像进行仿射变换处理，得到初步仿射变换图像，再通过双线性插值算法对初步仿射变换图像进行平滑，得到仿射变换图像，恢复了图像变焦过程中丢失的信息，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，并且人眼无法察觉摄像头的切换过程，实现了双目摄像头在4K分辨率下的实时变焦效果，从而提升了终端设备原有的变焦效果。
在一个实施例中，在对第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像之前，还包括：根据当前变焦倍数，计算得到第一拍摄图像的变焦图像的变焦坐标点；对变焦坐标点进行逆变换处理，得到第一拍摄图像的坐标点；对变焦坐标点和坐标点进行透视变换处理，得到单应矩阵。
其中，变焦坐标点是指第一拍摄图像的变焦图像的定点坐标，变焦坐标点的数量可以是1、2、3、4个等，当然也可以根据实际情况进行调整，在此不进行具体限定。坐标点的数量与变焦坐标点的数量相等。
具体地，根据当前变焦倍数，计算得到第一拍摄图像的变焦图像，并计算得到该变焦图像的变焦坐标点，然后根据得到的仿射变换矩阵，对变焦坐标点进行逆变换计算，得到变焦坐标点在第一拍摄图像上对应的坐标点，然后将坐标点和第一拍摄图像的四个顶点坐标进行透视变换矩阵计算，得到第一拍摄图像和第一拍摄图像的变焦图像的单应矩阵。
在本实施例中，通过数码变焦的变焦倍数计算仿射变换矩阵，在对第一拍摄图像进行仿射变换处理，得到仿射变换图像。采用本方法，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，并且人眼无法察觉摄像头的切换过程，实现了双目摄像头在4K分辨率下的实时变焦效果，从而提升了终端设备原有的变焦效果。
在一个实施例中，将像素对齐图像和第二拍摄图像进行融合处理，得到目标变焦图像，包括：根据当前变焦倍数和变焦切换区间，计算得到变焦权重；根据变焦权重，对像素对齐图像和第二拍摄图像进行融合处理，得到目标变焦图像。
具体地，根据当前变焦倍数和变焦切换区间，计算得到第二拍摄图像的变焦权重，根据第二拍摄图像的变焦权重，计算得到像素对齐图像的权重，将第二拍摄图像、像素对齐图像、第二拍摄图像的变焦权重和像素对齐图像的权重输入融合模型中进行计算，得到融合后的目标变焦图像，将目标变焦图像展示在终端的显示屏上供用户查看。
例如，假设当前变焦倍数为w，变焦切换区间为（z1，z2），根据如下公式计算得到第二拍摄图像的变焦权重w1。
则像素对齐图像的权重为1-w1，对第二拍摄图像和像素对齐图像按照如下公式进行加权求和，得到目标变焦图像。
在本实施例中，通过将像素对齐处理与线性融合方法相结合来进行图像变焦，从而双目摄像头在4K分辨率下实现了图像的平滑变焦，从而提升了终端设备原有的变焦效果。
在一个实施例中，如图3所示，提供了另一种图像变焦方法，以该方法应用于终端为例进行说明，包括以下步骤：
步骤S301，获取第一拍摄图像和第一拍摄图像的当前变焦倍数；当当前变焦倍数在变焦切换区间范围内时，则获取第二拍摄图像。
步骤S302，根据当前变焦倍数，计算得到第一拍摄图像的变焦图像的变焦坐标点；对变焦坐标点进行逆变换处理，得到第一拍摄图像的坐标点。
步骤S303，对变焦坐标点和坐标点进行透视变换处理，得到单应矩阵。
步骤S304，根据获取到的单应矩阵，对第一拍摄图像进行仿射变换处理，得到仿射变换图像；仿射变换图像的焦距大于第一拍摄图像。
步骤S305，分别对仿射变换图像和第二拍摄图像进行降采样处理，得到降采样后的仿射变换图像和降采样后的第二拍摄图像。
步骤S306，对降采样后的仿射变换图像进行梯度检验处理，得到降采样后的仿射变换图像的特征点。
步骤S307，根据降采样后的仿射变换图像和降采样后的第二拍摄图像，对特征点进行光流处理，得到对应的光流矩阵。
步骤S308，根据光流矩阵，对仿射变换图像中的每个图像块进行插值处理，得到像素对齐图像。
步骤S309，根据当前变焦倍数和变焦切换区间，计算得到变焦权重；根据变焦权重，对像素对齐图像和第二拍摄图像进行融合处理，得到目标变焦图像。
上述图像变焦方法中，无需依赖双目摄像头的硬件模组性能，通过结合数码变焦和仿射变换来优化处理图像的过程，降低了图像处理的计算复杂度，使得图像变焦处理速度大大加快，同时，还通过将像素对齐处理与线性融合方法相结合来进行图像变焦，实现了图像的平滑变焦，从而双目摄像头在4K分辨率下达到实时接力变焦的效果，进而极大提升了终端设备原有的变焦效果。
为了更清晰阐明本公开实施例提供的图像变焦方法，以下以一个具体的实施例对该图像变焦方法进行具体说明。在一个实施例中，如图4所示，本公开还提供了一种图像变焦方法，具体包括以下内容：
步骤S401，输入短焦图像、变焦倍数和长焦图像；具体包括以下内容：输入短焦图像：获取短焦摄像头输入的第一拍摄图像P1；输入变焦倍数：获取当前变焦倍数w；输入长焦图像：当前变焦倍数w若处于变焦切换区间，则同时获取长焦摄像头输入的第二拍摄图像P2。
步骤S402，仿射变换参数计算模块，用于计算当前变焦倍数w下，P1变焦到P2的仿
射变换矩阵的8个参数，得到仿射变换矩阵H；根据当前变焦倍数w，计算得到P1的变焦图像
的四个顶点坐标p1、p2、p3、p4；根据3*3的仿射变换矩阵H，对四个顶点坐标p1、p2、p3、p4进
行逆变换计算，得到P1上对应的四个坐标点
；将
与P1的4K（3840*2160）图像的四个顶点坐标进行透视变换矩阵计算，得到3*3的单应矩阵
；
根据单应矩阵
，对P1进行仿射变换处理。
步骤S403，仿射变换模块，用于对步骤S402中进行仿射变换处理后的P1进行图像插值，得到仿射变换后的短焦图像P3。
步骤S404，像素局部对齐模块，用于对P3和P2进行降采样处理，得到960*540分辨
率的
和
图像；获取梯度检验的梯度阈值和数量阈值，根据梯度阈值和阈值，使用梯
度算子对
图像进行x轴方向和y方向上的梯度检验，得到
的500个特征点；将
和
作为两帧图像，对500个特征点进行两帧差分的稀疏光流计算和稠密光流计算，得到对
应的500个稀疏光流和稠密光流；使用最近邻算法，将500个稠密光流扩展为120*68分辨率
的稠密光流矩阵F，进而将3840*2160分辨率的P3图像按照32*32进行分块，P3的每一块都与
稠密光流矩阵F的一个光流值对应，根据每一个光流值，对P3中的对应块的偏移量进行分
析，得到光流处理后的图像，然后使用双线性插值算法，对光流处理后的图像进行图像插
值，得到像素对齐图像P4。
步骤S405，融合模块：根据当前变焦倍数w，变焦切换区间为（z1，z2），根据如下计算得到第二拍摄图像的变焦权重w1。
则像素对齐图像的权重为1-w1，对第二拍摄图像P2和像素对齐图像P4按照如下公式进行加权求和，得到目标变焦图像，将目标变焦图像作为结果图像，并输出结果图像。
在本实施例中，通过仿射变换算法和像素对齐算法，实现了在4K（3840*2160）分辨率下，双目摄像头实时接力变焦的效果，并且镜头切换平滑，人眼无法察觉摄像头切换的过程，同时，还降低了对硬件性能的要求，减少了图像变焦对镜头模组的依赖，使得在镜头模组性能较低的终端上采用本方法，也能极大的提升该终端原有的变焦效果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入设备。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像变焦方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入设备可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种图像变焦方法，其特征在于，所述方法包括：
获取第一拍摄图像和第二拍摄图像；所述第一拍摄图像的拍摄焦距小于所述第二拍摄图像；
对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像；
对所述仿射变换图像和所述第二拍摄图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像；
将所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述第一拍摄图像的目标变焦图像；
所述对所述仿射变换图像和所述第二拍摄图像进行像素对齐处理，得到所述第一拍摄图像对应的像素对齐图像，包括：
分别对所述仿射变换图像和所述第二拍摄图像进行降采样处理，得到降采样后的仿射变换图像和降采样后的第二拍摄图像；
对所述降采样后的仿射变换图像进行梯度检验处理，得到所述降采样后的仿射变换图像的特征点；
根据所述降采样后的仿射变换图像和降采样后的第二拍摄图像，对所述特征点进行光流处理，得到对应的光流矩阵；
根据所述光流矩阵，对所述仿射变换图像中的每个图像块进行插值处理，得到所述像素对齐图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述降采样后的仿射变换图像进行梯度检验处理，得到所述降采样后的仿射变换图像的特征点，包括：
获取梯度阈值和数量阈值；
根据所述梯度阈值和所述数量阈值，对所述降采样后的仿射变换图像进行x 轴方向和y轴方向上的梯度检验，得到所述特征点。
3.根据权利要求1所述的方法，其特征在于，所述获取第一拍摄图像和第二拍摄图像，包括：
获取所述第一拍摄图像和所述第一拍摄图像的当前变焦倍数；
当所述当前变焦倍数在变焦切换区间范围内时，则获取所述第二拍摄图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像，包括：
根据获取到的单应矩阵，对所述第一拍摄图像进行仿射变换处理，得到所述仿射变换图像；所述仿射变换图像的焦距大于所述第一拍摄图像。
5.根据权利要求4所述的方法，其特征在于，在对所述第一拍摄图像进行仿射变换处理，得到对应的仿射变换图像之前，还包括：
根据所述当前变焦倍数，计算得到所述第一拍摄图像的变焦图像的变焦坐标点；
对所述变焦坐标点进行逆变换处理，得到所述第一拍摄图像的坐标点；
对所述变焦坐标点和所述第一拍摄图像的坐标点进行透视变换处理，得到所述单应矩阵。
6.根据权利要求3所述的方法，其特征在于，所述将所述像素对齐图像和所述第二拍摄图像进行融合处理，得到目标变焦图像，包括：
根据所述当前变焦倍数和所述变焦切换区间，计算得到变焦权重；
根据所述变焦权重，对所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述目标变焦图像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述变焦权重，对所述像素对齐图像和所述第二拍摄图像进行融合处理，得到所述目标变焦图像，包括：
根据所述变焦权重，计算得到所述像素对齐图像的权重；
将所述第二拍摄图像、所述像素对齐图像、所述变焦权重和所述像素对齐图像的权重输入融合模型中，得到所述目标变焦图像。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111344431.6A CN113793259B (zh) | 2021-11-15 | 2021-11-15 | 图像变焦方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111344431.6A CN113793259B (zh) | 2021-11-15 | 2021-11-15 | 图像变焦方法、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113793259A CN113793259A (zh) | 2021-12-14 |
| CN113793259B true CN113793259B (zh) | 2022-02-15 |
Family
ID=78955129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111344431.6A Active CN113793259B (zh) | 2021-11-15 | 2021-11-15 | 图像变焦方法、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113793259B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114915728A (zh) * | 2022-05-23 | 2022-08-16 | 普联技术有限公司 | 一种多目摄像设备变焦的方法及多目摄像设备 |
| CN116320784B (zh) * | 2022-10-27 | 2023-11-28 | 荣耀终端有限公司 | 图像处理方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111147755A (zh) * | 2020-01-02 | 2020-05-12 | 普联技术有限公司 | 双摄像头的变焦处理方法、装置及终端设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009077362A (ja) * | 2007-08-24 | 2009-04-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| JP4735693B2 (ja) * | 2008-09-22 | 2011-07-27 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| US10432869B2 (en) * | 2016-09-07 | 2019-10-01 | Multimedia Image Solution Limited | Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism |
| US10972672B2 (en) * | 2017-06-05 | 2021-04-06 | Samsung Electronics Co., Ltd. | Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths |
| JP2022527701A (ja) * | 2019-03-20 | 2022-06-03 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | アフィンコーディングされたブロックに対するオプティカルフローを用いた予測洗練化のための方法および装置 |
| CN111641775B (zh) * | 2020-04-14 | 2021-10-01 | 北京迈格威科技有限公司 | 多摄变焦控制方法、装置及电子系统 |
| CN112261387B (zh) * | 2020-12-21 | 2021-03-23 | 展讯通信（上海）有限公司 | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 |
| CN112995511B (zh) * | 2021-03-02 | 2022-11-15 | Oppo广东移动通信有限公司 | 摄像头切换方法、装置、电子设备和存储介质 |
| CN113630549B (zh) * | 2021-06-18 | 2023-07-14 | 北京旷视科技有限公司 | 变焦控制方法、装置、电子设备和计算机可读存储介质 |
-
2021
- 2021-11-15 CN CN202111344431.6A patent/CN113793259B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111147755A (zh) * | 2020-01-02 | 2020-05-12 | 普联技术有限公司 | 双摄像头的变焦处理方法、装置及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113793259A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021208371A1 (zh) | 多摄变焦控制方法、装置、电子系统及存储介质 | |
| CN113793259B (zh) | 图像变焦方法、计算机设备和存储介质 | |
| CN111325657A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN110611767B (zh) | 图像处理方法、装置和电子设备 | |
| CN113556464B (zh) | 拍摄方法、装置及电子设备 | |
| CN112215880B (zh) | 一种图像深度估计方法及装置、电子设备、存储介质 | |
| CN111179199B (zh) | 图像处理方法、装置及可读存储介质 | |
| KR20210027479A (ko) | 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임 | |
| WO2021017532A1 (zh) | 图像融合方法及装置、存储介质、终端 | |
| CN111723707A (zh) | 一种基于视觉显著性的注视点估计方法及装置 | |
| CN112017215B (zh) | 图像处理方法、装置、计算机可读存储介质及计算机设备 | |
| CN108876716B (zh) | 超分辨率重建方法及装置 | |
| WO2021031210A1 (zh) | 视频处理方法和装置、存储介质和电子设备 | |
| JP6283329B2 (ja) | 拡張現実対象認識装置 | |
| CN113963072B (zh) | 双目摄像头标定方法、装置、计算机设备和存储介质 | |
| CN114640833A (zh) | 投影画面调整方法、装置、电子设备和存储介质 | |
| WO2024093763A1 (zh) | 全景图像处理方法、装置、计算机设备、介质和程序产品 | |
| CN114095644B (zh) | 一种图像校正的方法和计算机设备 | |
| CN115375780A (zh) | 色差计算方法、装置、电子设备和存储介质、产品 | |
| CN112911130A (zh) | 辅助取景方法、装置、终端和存储介质 | |
| CN115514895B (zh) | 图像防抖方法、装置、电子设备和计算机可读存储介质 | |
| CN115278071B (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN117455799B (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN114827432A (zh) | 对焦方法及系统、移动终端、可读存储介质 | |
| CN116342992A (zh) | 图像处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhu Laosheng Inventor after: Hu Sixing Inventor after: Jiang Nianjuan Inventor after: Chen Jie Inventor after: Shen Xiaoyong Inventor after: Lv Jiangbo Inventor before: Zhu Laosheng Inventor before: Hu Sixing Inventor before: Jiang Nianjuan Inventor before: Chen Jie Inventor before: Shen Xiaoyong Inventor before: Lv Jiangbo Inventor before: Jia Jiaya |
|
| CB03 | Change of inventor or designer information |