CN114339042A - 基于多摄像头的图像处理方法及装置、计算机可读存储介质 - Google Patents
基于多摄像头的图像处理方法及装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN114339042A CN114339042A CN202111632761.5A CN202111632761A CN114339042A CN 114339042 A CN114339042 A CN 114339042A CN 202111632761 A CN202111632761 A CN 202111632761A CN 114339042 A CN114339042 A CN 114339042A
- Authority
- CN
- China
- Prior art keywords
- image
- transformation matrix
- initial
- wide
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 168
- 239000011159 matrix material Substances 0.000 claims abstract description 163
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000003287 optical effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 101150064138 MAP1 gene Proteins 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 101150077939 mapA gene Proteins 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
一种基于多摄像头的图像处理方法及装置、计算机可读存储介质，多摄像头包括广角摄像头和长焦摄像头，所述方法包括：在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像；当所述请求的变焦倍数位于广角段时，获取初始变换矩阵，所述初始变换矩阵用于表示初始广角图像与初始长焦图像之间的映射关系，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像，所述初始长焦图像为所述长焦镜头在标定距离下拍摄的图像；确定当前的拍摄距离；根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，并根据所述当前变换矩阵对所述待拍摄图像进行处理。在不同摄像头的变焦切换点无明显视觉跳变，提高用户体验。
Description
技术领域
本发明涉及摄像技术领域，尤其涉及一种基于多摄像头的图像处理方法及装置、计算机可读存储介质。
背景技术
摄像技术在智能终端(比如手机、电脑等)中的地位日趋重要，摄像头体型小、变焦范围大是当前终端摄像的两大重要功能。利用光学镜头实现光学变焦，虽然能获得高质量的变焦图像，但不可避免的会增加摄像头的体型，且成本大大增加；而普通的单摄数码变焦，虽然能保证摄像头体型、控制较低成本，却在变焦后的图像质量上无法令人满意。
于是，利用不同焦距的多摄像头模拟实现光学变焦的技术应运而生。目前有一种简单的低成本的变焦方法，即在不同变焦范围内，仅靠简单的直接切换摄像头，如在广角焦段，采用广角摄像头拍摄的图像进行数码变焦，而在长焦焦段，采用长焦摄像头拍摄的图像进行数码变焦。然而该变焦方法在不同摄像头的变焦切换点会产生视觉上的跳变，降低用户的使用体验。
发明内容
本发明解决的技术问题是如何在基于多摄像头实现光学变焦时，在变焦切换点无明显视觉跳变，提高用户体验。
为解决上述问题，本发明实施例提供了一种基于多摄像头的图像处理方法，所述多摄像头包括广角摄像头和长焦摄像头，所述方法包括：在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像；当所述请求的变焦倍数位于广角段时，获取初始变换矩阵，所述初始变换矩阵用于表示初始广角图像与初始长焦图像之间的映射关系，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像，所述初始长焦图像为所述长焦镜头在标定距离下拍摄的图像；确定当前的拍摄距离；根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，并根据所述当前变换矩阵对所述待拍摄图像进行处理。
可选的，所述根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，包括：根据所述标定距离与所述初始变换矩阵的对应关系，确定所述当前的拍摄距离对应的调整变换矩阵；根据所述广角段的各个变焦倍数，调整所述调整变换矩阵，得到每个变焦倍数对应的目标变换矩阵；获取所述请求的变焦倍数对应的目标变换矩阵作为所述当前变换矩阵。
可选的，所述初始变换矩阵、当前变换矩阵选自仿射变换矩阵、透视变换矩阵。
可选的，所述方法还包括：当检测到再次对焦，且音圈马达的变化量超过阈值时，重新确定当前的拍摄距离。
可选的，所述确定当前的拍摄距离，包括：将所述待拍摄图像输入训练好的深度估计模型中，得到所述待拍摄图像中不同物体的相对深度；根据所述待拍摄图像中不同物体的相对深度，确定所述当前的拍摄距离。
可选的，所述确定当前的拍摄距离，包括：通过主动测距设备，确定当前的拍摄距离。
可选的，所述方法还包括：获取初始亮度参数，所述初始亮度参数用于表示在所述标定距离下所述广角图像到所述长焦图像的亮度映射关系；所述确定请求的变焦倍数之后，还包括：当所述请求的变焦倍数位于广角段时，根据所述请求的变焦倍数对所述初始亮度参数调整得到当前亮度参数，并通过所述当前亮度参数对所述待拍摄图像进行处理。
可选的，所述根据所述请求的变焦倍数对所述初始亮度参数调整得到当前亮度参数，包括：根据所述广角段的各个变焦倍数，调整所述初始亮度参数，得到每个变焦倍数各自对应的目标亮度参数；获取所述请求的变焦倍数对应的目标亮度参数作为所述当前亮度参数。
可选的，所述方法还包括：当所述请求的变焦倍数位于长焦段时，对所述待拍摄图像按照预设变焦方法进行处理。
可选的，所述多摄像头还包括超广角摄像头，所述获取当前的待拍摄图像之后，还包括：当所述请求的变焦倍数位于超广角段时，获取原始变换矩阵，所述原始变换矩阵用于表示初始超广角图像与初始广角图像之间的映射关系，所述初始超广角图像为所述超广角镜头在标定距离下拍摄的图像，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像；确定当前的拍摄距离；根据所述当前的拍摄距离和请求的变焦倍数对所述原始变换矩阵调整得到目前变换矩阵，并根据所述目前变换矩阵对所述待拍摄图像进行处理。
本发明实施例还提供一种基于多摄像头的图像处理装置，包括：初始变换矩阵获取模块，用于获取初始变换矩阵，所述初始变换矩阵用于表示初始广角图像与初始长焦图像之间的映射关系，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像，所述初始长焦图像为所述长焦镜头在标定距离下拍摄的图像；请求的变焦倍数获取模块，用于确定请求的变焦倍数，并获取当前的待拍摄图像；拍摄距离确定模块，用于确定当前的拍摄距离；处理模块，用于当所述请求的变焦倍数位于广角段时，根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，并根据所述当前变换矩阵对所述待拍摄图像进行处理。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行任一项所述基于多摄像头的图像处理方法的步骤。
本发明实施例还提供一种基于多摄像头的图像处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行任一项所述基于多摄像头的图像处理方法的步骤。
与现有技术相比，本申请实施例的技术方案具有以下有益效果：
本发明实施例的基于多摄像头的图像处理方法中，针对广角镜头和长焦镜头的影像差异，通过图像处理算法，使其在不同拍摄距离时均能够准确模拟光学变焦过程，在连续焦段内进行变焦时，拍摄的图像不会发生明显的几何跳变，从而给用户带来较好的变焦体验。进一步，终端在拍摄时，可以仅开启单颗摄像头，就能够进行较好的变焦效果。
进一步，可以基于标定距离下的初始变换矩阵，计算出当前的拍摄距离下广角段的最小变焦倍数切换到长焦段的最小变焦倍数对应的调整变换矩阵，基于调整变换矩阵求出广角段各个变焦倍数对应的变换矩阵，根据请求的变焦倍数选取对应的变换矩阵作为当前变换矩阵。由此，在用户改变请求的变焦倍数时，能够逐步(step by step)改变对应的变换矩阵，实现广角段各个变焦倍数的平滑切换。
进一步，可以基于线下训练好的深度估计模型(基于mobilenet、resent18、resnet34等作为backbone的轻量级神经网络模型)对待拍摄图像进行深度模拟，从而根据待拍摄图像估测出当前的拍摄距离。采用轻量级神经网络进行深度估计，可得到实时的拍摄距离，避免传统方法无法得到深度的缺点。后续可以基于当前的拍摄距离进行变焦处理，实现平滑变焦。
进一步，通过离线得到的初始亮度参数，能够获取请求的变焦倍数对应的当前亮度参数，实现对不同变焦倍数进行不同的亮度调整，以实现变焦时亮度的平滑过渡。由此，在用户改变请求的变焦倍数时，能够逐步(step by step)改变对应的亮度参数，实现广角段各个变焦倍数的亮度平滑过渡。
附图说明
图1为本发明实施例的一种基于多摄像头的图像处理方法的流程示意图；
图2为图1中步骤S104在一个具体实施例中的流程图；
图3为本发明实施例的一种拍摄步骤的流程图；
图4为本发明实施例的另一种基于多摄像头的图像处理方法的流程示意图；
图5为本发明实施例的一种基于多摄像头的图像处理装置的结构示意图。
具体实施方式
随着智能手机的发展，手机摄像在用户手机中的功能越来越重要，由单摄逐渐发展成双摄、三摄乃至更多摄像头，达到媲美单反的效果。早期单摄手机若想实现变焦功能，只能通过数码变焦，数码变焦在放大到一定倍数时图像会变的非常模糊，影像质量无法令人满意；若采用多倍光学镜头实现光学变焦，除成本大大增加之外，必然会导致手机厚度的增加。
为避免镜头对空间的过多利用，当前主流手机通常采用广角镜头和长焦镜头(或增加更小焦距的超广角镜头，为了方便阐述本发明，以下只考虑广角和长焦镜头，更多摄像头的方法类似)实现多焦段的光学变焦功能。将焦段划分为广角和长焦两段，通过切换，扩大变焦范围，当焦段位于广角段时主要采用广角镜头采集的图像，当焦段位于长焦段时主要采用长焦镜头采集的图像。由于广角和长焦镜头本身的硬件差异(如焦距、视野、畸变等)及安装工艺等问题，使得广角镜头和长焦镜头在拍摄同一场景物体时得到的影像不可避免存在几何上的偏差，如变焦倍数、旋转和平移等，当在两个焦段切换时，若没有很好的图像处理算法，必然会在视觉上产生明显的跳变现象。
目前较常见的多摄像头的组合有：a.一颗广角摄像头和一颗长焦摄像头组合的双焦段变焦；b.在a的基础上增加一颗焦距更短的超广角摄像头，实现三焦段变焦；c.在a的基础上增加一颗焦距更长的摄像头(从体型上考虑，可做成折叠式)，实现三焦段变焦；d.其他更多不同焦距的多摄像头组合。以a组合为例，由于不同摄像头本身硬件参数不同(如光学中心、焦距、视场角(Field of View，简称FOV)、畸变等内参数)，且在模组的安装排布不同(如排布的基线、相对角度、位置等)，使得同一模组上的广角和长焦摄像头在拍摄同一物体时，必然得到不同FOV、不同相对位置、不同遮挡、不同扭曲的图像。
传统的，还提供了一种更复杂的变焦方法，是采用图像处理技术，实现广角和长焦图像的融合，即，在广角焦段，实现广角和长焦的图像融合，提高变焦时的图像质量，而在长焦焦段，依旧采用长焦图像进行数码变焦。这种变焦方式，在两颗摄像头的变焦切换点上，几乎没有视觉的跳变，在任何变焦倍数下均很自然，同时也提高了变焦时的图像清晰度。但这种方式需同时开启广角和长焦摄像头便于同时得到广角和长焦图像进行图像处理，增加了手机的功耗，另外，图像融合技术往往耗时较长，不便于用于预览和录像(video)模式。
对上述两个方案进行折中，给出了第三种方法，便是利用相机标定，得到一定的几何变换信息，在变焦过程中使用该变换信息，达到切换点的平滑过渡。近年来，基于神经网络的深度学习方法不断发展，加入了图像处理的方方面面，在光学变焦上也得到了很好的应用。比如，现有一款手机在3倍变焦及以下，采用主摄像头进行数码变焦，同时采用了超分辨率技术提高变焦图像质量；而在5倍变焦及以上时，使用远摄像头；而在使用3到5倍之间的变焦拍摄时，则通过合并主摄像头和远摄像头的图像数据产生图像，画面中心的最佳细节图像数据来自5倍远摄镜头，而其边缘“丢失”的图像区域则由主摄像头的图像数据来填补，然后利用人工智能予以润饰，改进精细图案和纹理的细节。针对上述提到的广角和长焦摄像的直接切换方法，虽然计算简单，成本较低，实时可控，但是在变焦切换时会产生明显的视觉跳变，给用户不自然的体验；而图像融合方法，需同时开启广角和长焦摄像头便于同时得到广角和长焦图像信息进行图像处理，增加了手机的功耗，另外，图像融合技术往往耗时较长，不便于用于预览和录像模式；增加人工智能的方法，效果好，但往往计算复杂度高，对硬件要求较高，在低成本的硬件上很难实时实现，增加了成本；预标定的方法简单，可以得到一定的几何变换信息，但基于某个近距离标定得到的变换矩阵无法适用于所有拍摄距离，特别是平移信息，在近距离时平移量大，远距离时平移量小，无穷远时几乎没有平移量。另外，在预览和video模式的平滑切换中，首先要求多摄间的3A做到尽可能同步，因此，鲜有在平滑切换过程中考虑3A不一致的情况，而事实上，一定程度上肉眼可见的色彩和亮度跳变往往存在。
综上所述，现有的变焦方法在不同摄像头的变焦切换点会产生视觉上的跳变，降低用户的使用体验。
为解决上述问题，本发明实施例提供了一种基于多摄像头的图像处理方法，所述多摄像头包括广角摄像头和长焦摄像头，所述方法包括：在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像；当所述请求的变焦倍数位于广角段时，获取初始变换矩阵，所述初始变换矩阵用于表示初始广角图像与初始长焦图像之间的映射关系，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像，所述初始长焦图像为所述长焦镜头在标定距离下拍摄的图像；确定当前的拍摄距离；根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，并根据所述当前变换矩阵对所述待拍摄图像进行处理。由此，在不同摄像头的变焦切换点无明显视觉跳变，提高用户体验。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
请参见图1，图1为本发明实施例提供了一种基于多摄像头的图像处理方法的流程示意图。所述多摄像头包括一个或多个广角摄像头和一个或多个长焦摄像头。所述方法可以由能够拍摄图像或者视频地终端执行，所述终端包括所述多摄像头，所述终端可以为手机、电脑、平板电脑、智能手表等。
首先，广角摄像头和长焦摄像头安装至同一电子装置上，并拍摄同一场景的物体，分别得到广角图像和长焦图像。由于广角图像和长焦图像分别由不同的图像信号处理(Image Signal Processing，简称ISP)单元进行处理，广角摄像头和长焦摄像头各自采集的输入图像会受到不同的锐度、对比度、颜色、光亮，以及对焦距离的影响，需要针对两种摄像头(即广角摄像头和长焦摄像头)，实现3A同步的配置，其中3A包括自动曝光(AE)、自动对焦(AF)、自动白平衡(AWB)。在执行图1所述的方法之前，需要处理不同摄像头(这里指广角摄像头和长焦摄像头)之间不同的畸变参数，也即进行畸变矫正，处理完毕之后可以进行本发明实施例的方法。其中，广角镜头是指视野较大，焦距较小的镜头，通常能拍摄视野较广的场景。长焦镜头是指视野较小，焦距较大的镜头，通常能拍摄视野较小但细节较丰富的场景。变焦：改变焦距和视场角来放大或缩小拍摄的景物，以达到拍摄不同距离的景物的目的。光学变焦是指通过改变光学镜片间的距离来改变焦距和视场角以达到变焦的目的。单目深度估计是指基于单帧图像的深度图的估计，估计的深度可以反映拍摄物体的深度，或者称为当前的拍摄距离。
如图1，所述方法包括如下步骤S101至步骤S104，详述如下：
步骤S101，在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像。
其中，完成对焦指的是终端上的相机完成对焦，该相机包括一个或多个广角摄像头和一个或多个长焦摄像头。
请求的变焦倍数为用户设置的变焦倍数，例如，所述请求的变焦倍数可以为1.0倍(x)、1.1x、2.0x等等。
可选的，可以预设广角段的变焦倍数和长焦段的变焦倍数。例如，广角段变焦倍数包括1.0x,1,1x,…,1.9x。长焦段变焦倍数包括2.0x以上的变焦倍数。此时，2.0x为广角段至长焦段的变焦切换点。故，可以根据预设的广角段的变焦倍数和长焦段的变焦倍数，确定请求的变焦倍数位于广角段还是长焦段。
确定请求的变焦倍数之后，开启相应的摄像头，如2.0x以下开启广角摄像头，并通过该摄像头采集请求的变焦倍数下当前的待拍摄图像。
待拍摄图像为当前相机预览、或者相机对焦要拍摄的图像，所述图像可以为视频流中的单帧图像，对于视频流中的其他帧图像可以参见单帧图像(即待拍摄图像)的处理方式。
步骤S102，当所述请求的变焦倍数位于广角段时，获取初始变换矩阵(记作H0)，所述初始变换矩阵用于表示初始广角图像与初始长焦图像之间的映射关系，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像，所述初始长焦图像为所述长焦镜头在标定距离下拍摄的图像。
可选的，初始变换矩阵可以预先在线下生成，生成后存储到终端中。在终端通过步骤S102确定请求的变焦倍数位于广角段，则读取存储的初始变换矩阵H0。
在一个具体实施例中，初始变换矩阵可以通过多摄像头相机的标定得到。如下，提供了一种初始变换矩阵的获取方法，该方法包括如下步骤A至步骤D，详述如下。
步骤A，标定得到所述广角镜头和所述长焦镜头的内参和外参。所述内参包括相机的主点、焦距、尺度因子等等，外参指广角镜头到长焦镜头的旋转因子和平移因子等。其中，相机的主点可以表示为坐标点(cx，cy)，x轴和y轴为相机的二维像素坐标轴，fx和fy分别表示相机在x轴、y轴上的尺度因子。
步骤B，准备平面(或者称为二维)的标准棋盘格，标准棋盘格的尺寸不宜过小或过大，以长焦镜头打开的时能够充满整个视野平面为宜，一般来说长焦镜头距离标准棋盘格的距离在50～80cm，该距离即为所述标定距离，记作D0。
步骤C，在标定距离D0下拍摄广角图像，记作初始广角图像；在标定距离D0下拍摄长焦图像，记作初始长焦图像。
步骤D，通过角点检测(Corner Detection)，分析得到标定距离D0下广角图像映射到长焦图像的变换矩阵H0，该矩阵也即初始变换矩阵。初始变换矩阵可以为包括尺度、旋转和平移等信息的矩阵。
可选的，初始变换矩阵H0可以为仿射变换矩阵、透视变换矩阵等。
步骤S103，确定当前的拍摄距离。
当前的拍摄距离(记作D1)也可以称为当前的拍摄深度，可以通过对待拍摄图像进行分析得到，或者，可以通过测量拍摄距离等方式得到。
步骤S104，根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，并根据所述当前变换矩阵对所述待拍摄图像进行处理。
可选的，在相机标定时，可以将拍摄距离由标定距离D0变换为多个其他距离，由此拟合出各个其他距离对应的变换矩阵，并将多个拍摄距离对应的变换矩阵与初始变换矩阵H0的关系存储于终端中。终端可以在确定当前的拍摄距离D1之后，根据存储的H0以及多个拍摄距离对应的变换矩阵与初始变换矩阵H0的关系，得到当前变换矩阵，记作HA。进一步，可以根据求标定距离D0下的初始变换矩阵H0的计算过程，求多个拍摄距离对应的变换矩阵。
可选的，所述根据所述当前变换矩阵对所述待拍摄图像进行处理，包括：根据所述当前变换矩阵HA对待拍摄图像进行变形处理(warping)，也可以称为对待拍摄图像进行图像仿射变换或图像扭曲等处理。由此，得到处理后的图像。
图1所述的方法中，针对广角镜头和长焦镜头的影像差异，通过图像处理算法，使其在不同拍摄距离时均能够准确模拟光学变焦过程，在连续焦段内及焦段间的图像不会发生明显的几何跳变，从而给用户带来较好的变焦体验。进一步，基于图1中的方法，终端在拍摄时，可以仅开启单颗摄像头，就能够进行较好的变焦效果。
在一个实施例中，图1中步骤S101所述确定请求的变焦倍数，并获取当前的待拍摄图像之后，所述方法还可以包括：步骤S105，当所述请求的变焦倍数位于长焦段时，对所述待拍摄图像按照预设变焦方法进行处理。
可选的，预设变焦方法可以使用各种常用地长焦摄像头的数码变焦方法。所述数码变焦方法实现将待拍摄图像通过插值算法来实现变焦，随着变焦倍数的增大，待拍摄图像的像素质量逐渐变差。
可选的，步骤S104和步骤S105处理之后的待拍摄图像可以进行保存或者显示，若保存，则完成一帧图像的拍摄。
在一个实施例中，请参见图2，图2为图1中步骤S104在一个具体实施例中的流程图，步骤S104所述根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，可以包括如下步骤：
步骤S1041，根据所述标定距离(D0)与所述初始变换矩阵(H0)的对应关系，确定所述当前的拍摄距离对应的调整变换矩阵(H1)。
可选的，可以参见步骤S104中的方法得到当前拍摄距离D1对应的调整变换矩阵(H1)。其中，调整变换矩阵(H1)为从广角段的最小变焦倍数切换到长焦段的最小变焦倍数对应的变换矩阵，该变换矩阵可以是仿射变换矩阵、透视变换矩阵等。
可选的，终端可以在相机标定时，将内参、外参、标定距离D0和初始变换矩阵H0存储于终端，并根据内参、外参、当前的拍摄距离D1得到调整变换矩阵H1。
步骤S1042，根据所述广角段的各个变焦倍数，调整所述调整变换矩阵(H1)，得到每个变焦倍数对应的目标变换矩阵。
广角段可以包括N个变焦倍数，如1.0x,1,1x,…,1.9x，此时N＝10。所述调整所述调整变换矩阵可以包括：将所述调整变换矩阵H1根据线性关系切分为N个小矩阵，切分得到的各个小矩阵记作H1(i)，i的取值为1,2,…,9，每个变焦倍数1.ix(如1.0x～1.9x)对应一个H1(i)。
步骤S1043，获取所述请求的变焦倍数对应的目标变换矩阵作为所述当前变换矩阵(HA)。
获取请求的变焦倍数对应的H1(i)，如请求的变焦倍数为1.9x，则获取1.9x对应的H1(9)。
本实施例中，可以基于标定距离下的初始变换矩阵，计算出当前的拍摄距离下广角段的最小变焦倍数切换到长焦段的最小变焦倍数对应的调整变换矩阵，基于调整变换矩阵求出广角段各个变焦倍数对应的变换矩阵，根据请求的变焦倍数选取对应的变换矩阵作为当前变换矩阵。由此，在用户改变请求的变焦倍数时，能够逐步(step by step)改变对应的变换矩阵，实现广角段各个变焦倍数的几何平滑过渡。
在一个实施例中，图1中步骤S103所述确定当前的拍摄距离，可以包括：以下示例1和示例2的方法。
示例1：将所述待拍摄图像输入训练好的深度估计模型中，得到所述待拍摄图像中不同物体的相对深度；根据所述待拍摄图像中不同物体的相对深度，确定所述当前的拍摄距离。
可选的，深度估计模型可以为基于mobilenet、resent18、resnet34等作为backbone的轻量级神经网络模型。所述训练好的深度估计模型可以设置于所述终端，或者与终端可通信连接。所述深度估计模型可以基于用于模型训练的样本图像以及对各个样本图像标注的相对深度训练得到，以使得所述深度估计模型可以根据输入的待拍摄图像得到待拍摄图像中不同物体的相对深度。其中，样本图像为用于对深度估计模型进行模型训练的图像。可选的，所述深度估计模型输出待拍摄图像的深度图或视差图以表示待拍摄图像中不同物体的相对深度。所述深度估计模型可以针对单目图像，也即每次处理一帧图像。
可选的，所述根据所述待拍摄图像中不同物体的相对深度，确定所述当前的拍摄距离，可以包括：根据样本图像的实际深度和相对深度之间的关系，可以拟合出参数R0；根据待拍摄图像中不同物体的相对深度可以根据参数R0可以计算出待拍摄图像的实际深度，该实际深度作为当前的拍摄距离。
本实施例中，可以基于线下训练好的深度估计模型对待拍摄图像进行深度模拟，从而根据待拍摄图像估测出当前的拍摄距离。采用轻量级神经网络进行深度估计，可得到实时的拍摄距离，避免传统方法无法得到深度的缺点。后续可以基于当前的拍摄距离进行变焦处理，实现平滑变焦。
示例2：通过主动测距设备，确定当前的拍摄距离。
可选的，所述主动测距设备可以包括激光雷达等能够主动测距的设备，以测得当前拍摄的深度作为当前的拍摄距离。
比较示例1和示例2可以看出，示例1的方案基于软件实现，无需在终端侧增加硬件设备，成本更低。示例2的方案需要在终端侧增加主动测距设备，可能需要提高终端的设备成本。
在一个实施例中，所述方法还可以包括：当检测到再次对焦，且音圈马达(VoiceCoil Motor，简称VCM)的变化量超过阈值时，重新确定当前的拍摄距离。
其中，终端的相机通过VCM可以调节镜头的位置，实现对焦功能，以呈现清晰的图像。
在图1的方法中，对于一次对焦完成只需确定一次当前的拍摄距离(也即拍摄深度)即可。在变焦过程中不再对焦表示拍摄深度无变化，则无需再重新确定当前的拍摄距离。若在广角端重新对焦，则根据VCM的变化判断拍摄深度是否变化，VCM的变化量在一定范围(即未超过阈值)之内时，则认为当前的拍摄深度无变化或变化很小，无需重新确定当前的拍摄距离，避免反复计算，浪费计算资源。VCM的变化量超过阈值时，则认为当前的拍摄深度变化明显，需要重新确定当前的拍摄距离。
在每次重新确定当前的拍摄距离之后，可以再次基于图1中的步骤S104，对待拍摄图像进行处理。重新确定当前的拍摄距离的方法可以参见上述示例1和示例2，这里不再赘述。
在一个实施例中，图1中步骤S101所述在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像之后，还可以包括一种亮度调整方法，该方法可以包括：当所述请求的变焦倍数位于广角段时，获取初始亮度参数，所述初始亮度参数用于表示在所述标定距离下所述广角图像到所述长焦图像的亮度映射关系；根据所述请求的变焦倍数对所述初始亮度参数调整得到当前亮度参数，并通过所述当前亮度参数对所述待拍摄图像进行处理。
可选的，在多摄像头相机的标定过程中，可以对初始广角图像与初始长焦图像分别进行亮度分析，得到初始广角图像与初始长焦图像的亮度映射记作map0并保存在终端中。
可选的，可以计算出不同变焦倍数对应的亮度参数，并确定不同变焦倍数对应的亮度参数与初始亮度参数之间的关系，从而能够根据请求的变焦倍数对所述初始亮度参数调整得到请求的变焦倍数对应的亮度参数，也即当前亮度参数，记作mapA。
可选的，通过所述当前亮度参数对所述待拍摄图像进行处理，可以包括：将待拍摄图像通过当前亮度参数mapA进行亮度调整。
在一个具体的实施例中，所述根据所述请求的变焦倍数对所述初始亮度参数调整得到当前亮度参数，包括：根据所述广角段的各个变焦倍数，调整所述初始亮度参数，得到每个变焦倍数各自对应的目标亮度参数；获取所述请求的变焦倍数对应的目标亮度参数作为所述当前亮度参数。
广角段可以包括N个变焦倍数，如1.0x,1,1x,…,1.9x，此时N＝10。所述调整所述初始亮度参数可以包括：将所述初始亮度参数map0根据线性关系切分为N份，切分得到的各份记作Map0(i)，i的取值为1,2,…,9，每个变焦倍数1.ix(1.0x～1.9x)对应一个Map0(i)。获取请求的变焦倍数对应的Map0(i)，如请求的变焦倍数为1.9x，则获取1.9x对应的Map0(9)。
本实施例中，可以实现对不同变焦倍数进行不同的亮度调整，以实现变焦时亮度的平滑过渡。由此，在用户改变请求的变焦倍数时，能够逐步(step by step)改变对应的亮度参数，实现广角段各个变焦倍数的亮度平滑过渡。
在一个实施例中，当请求的变焦倍数为广角段至长焦段的变焦切换点时，显示通过长焦摄像头采集的原图像。
请参见图3，图3为本发明实施例的一种拍摄步骤的流程图，该拍摄步骤可以包括：步骤S31，对多颗摄像头进行3A同步，畸变矫正；步骤S32，对待拍摄图像平滑切换处理，该处理步骤通过本发明实施例的基于多摄像头的图像处理方法的各个步骤实现；步骤S33，显示或存储处理后的图像。
请参见图4，图4为本发明实施例提供的另一种基于多摄像头的图像处理方法的流程示意图，该方法实现图3中的步骤S32，具体包括如下离线预处理和在线处理两个步骤。
其中，离线预处理步骤包括：通过相机标定的步骤得到广角镜头和所述长焦镜头的内参和外参，通过初始广角图像和初始长焦图像得到D0下的H0,map0。离线预处理步骤，还包括：基于样本图像训练深度估计模型，并拟合出参数R0。
在线处理步骤可以包括：步骤S321，相机完成对焦；步骤S322，判断(请求的变焦倍数)位于哪一焦段；如果位于广角段，则执行步骤S323至步骤S325。如果位于长焦段，则执行步骤S326，数码变焦。步骤S323，深度估计模型得到当前的拍摄距离；步骤S324，计算mapA和H1(A)；步骤S325，对待拍摄图像进行亮度和变形处理。
图3和图4中的工作原理、工作方式的更多内容，可以参照上述图1和图2中对于基于多摄像头的图像处理方法的相关描述，这里不再赘述。
该实施例的按方案中，先标定得到广角和长焦间的变换矩阵，包括尺度、旋转和平移参数，然后基于轻量级神经网络的单目深度估计，用于提供实时距离信息，得到实时拍摄距离下的变换矩阵，能降低硬件及计算成本，达到实时实现。同时，对多摄间的亮度不一致进行调整，在从一个摄像头过渡到另一个摄像头时，能避免明显的“开关”或“跳跃”，达到视觉上的良好体验。
在一个实施例中，所述多摄像头还包括超广角摄像头，所述获取当前的待拍摄图像之后，还可以包括：当所述请求的变焦倍数位于超广角段时，获取原始变换矩阵，所述原始变换矩阵用于表示初始超广角图像与初始广角图像之间的映射关系，所述初始超广角图像为所述超广角镜头在标定距离下拍摄的图像，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像；确定当前的拍摄距离；根据所述当前的拍摄距离和请求的变焦倍数对所述原始变换矩阵调整得到目前变换矩阵，并根据所述目前变换矩阵对所述待拍摄图像进行处理。
其中，将广角镜头中，视角范围特别广的镜头(80—110度)称为超广角镜头。
原始变换矩阵在相机标定时，基于初始超广角图像与初始广角图像得到。原始变换矩阵的获取方式可以参见上述初始变换矩阵的获取方式，目前变换矩阵的获取方式可以参见上述当前变换矩阵的获取方式，这里不再赘述。原始变换矩阵、目前变换矩阵可以选自选自仿射变换矩阵、透视变换矩阵等。
超广角镜头至广角镜头之间的切换，可以参见如上图1至图4中广角镜头至长焦镜头之间的切换步骤，这里不再赘述。
请参见图5，本发明实施例还提供一种基于多摄像头的图像处理装置40，所述多摄像头包括广角摄像头和长焦摄像头，所述基于多摄像头的图像处理装置40可以包括：变焦倍数确定模块401，用于在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像；初始变换矩阵获取模块402，用于当所述请求的变焦倍数位于广角段时，获取初始变换矩阵，所述初始变换矩阵用于表示初始广角图像与初始长焦图像之间的映射关系，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像，所述初始长焦图像为所述长焦镜头在标定距离下拍摄的图像；拍摄距离确定模块403，用于确定当前的拍摄距离；处理模块404，用于根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，并根据所述当前变换矩阵对所述待拍摄图像进行处理。
在一个实施例中，所述处理模块404可以包括：调整变换矩阵确定单元，用于根据所述标定距离与所述初始变换矩阵的对应关系，确定所述当前的拍摄距离对应的调整变换矩阵；目标变换矩阵获取单元，用于根据所述广角段的各个变焦倍数，调整所述调整变换矩阵，得到每个变焦倍数对应的目标变换矩阵；当前变换矩阵获取单元，用于确获取所述请求的变焦倍数对应的目标变换矩阵作为所述当前变换矩阵。
在一个实施例中，所述初始变换矩阵、当前变换矩阵选自仿射变换矩阵、透视变换矩阵等。
在一个实施例中，所述基于多摄像头的图像处理装置40还可以包括：变焦处理模块，用于当检测到再次对焦，且音圈马达的变化量超过阈值时，重新确定当前的拍摄距离。
在一个实施例中，所述拍摄距离确定模块403可以包括：模型分析单元，用于将所述待拍摄图像输入训练好的深度估计模型中，得到所述待拍摄图像中不同物体的相对深度；距离确定单元，用于根据所述待拍摄图像中不同物体的相对深度，确定所述当前的拍摄距离。
在一个实施例中，所述拍摄距离确定模块403可以包括：通过主动测距设备，确定当前的拍摄距离。
在一个实施例中，所述在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像之后，所述基于多摄像头的图像处理装置40还可以包括：初始亮度参数获取模块，用于当所述请求的变焦倍数位于广角段时，获取初始亮度参数，所述初始亮度参数用于表示在所述标定距离下所述广角图像到所述长焦图像的亮度映射关系；亮度调整模块，用于根据所述请求的变焦倍数对所述初始亮度参数调整得到当前亮度参数，并通过所述当前亮度参数对所述待拍摄图像进行处理。
在一个实施例中，所述亮度调整模块可以包括：目标亮度参数确定单元，用于根据所述广角段的各个变焦倍数，调整所述初始亮度参数，得到每个变焦倍数各自对应的目标亮度参数；当前亮度参数确定单元，用于获取所述请求的变焦倍数对应的目标亮度参数作为所述当前亮度参数。
在一个实施例中，所述确定请求的变焦倍数，并获取当前的待拍摄图像之后，所述基于多摄像头的图像处理装置40还可以包括：长焦处理模块，用于当所述请求的变焦倍数位于长焦段时，对所述待拍摄图像按照预设变焦方法进行处理。
在一个实施例中，所述多摄像头还包括超广角摄像头，所述获取当前的待拍摄图像之后，所述基于多摄像头的图像处理装置40还可以包括：超广角段标定模块，用于当所述请求的变焦倍数位于超广角段时，获取原始变换矩阵，所述原始变换矩阵用于表示初始超广角图像与初始广角图像之间的映射关系，所述初始超广角图像为所述超广角镜头在标定距离下拍摄的图像，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像；第二距离确定模块，用于确定当前的拍摄距离；超广角处理模块，用于根据所述当前的拍摄距离和请求的变焦倍数对所述原始变换矩阵调整得到目前变换矩阵，并根据所述目前变换矩阵对所述待拍摄图像进行处理。
关于基于多摄像头的图像处理装置40的工作原理、工作方式的更多内容，可以参照上述图1至图4任一中对于基于多摄像头的图像处理方法的相关描述，这里不再赘述。
在具体实施中，上述的基于多摄像头的图像处理装置40可以对应于终端中具有图像处理功能的芯片，或者对应于具有数据处理功能的芯片，例如片上系统(System-On-a-Chip，SOC)、射频芯片等；或者对应于终端中包括具有图像处理功能芯片的芯片模组；或者对应于具有数据处理功能芯片的芯片模组，或者对应于终端。
关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行图1至图4任一所述基于多摄像头的图像处理方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。
本发明实施例还提供一种基于多摄像头的图像处理装置，可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行图1至图4任一所述基于多摄像头的图像处理方法的步骤。
具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (13)
1.一种基于多摄像头的图像处理方法，其特征在于，所述多摄像头包括广角摄像头和长焦摄像头，所述方法包括：
在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像；
当所述请求的变焦倍数位于广角段时，获取初始变换矩阵，所述初始变换矩阵用于表示初始广角图像与初始长焦图像之间的映射关系，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像，所述初始长焦图像为所述长焦镜头在标定距离下拍摄的图像；
确定当前的拍摄距离；
根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，并根据所述当前变换矩阵对所述待拍摄图像进行处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，包括：
根据所述标定距离与所述初始变换矩阵的对应关系，确定所述当前的拍摄距离对应的调整变换矩阵；
根据所述广角段的各个变焦倍数，调整所述调整变换矩阵，得到每个变焦倍数对应的目标变换矩阵；
获取所述请求的变焦倍数对应的目标变换矩阵作为所述当前变换矩阵。
3.根据权利要求1所述的方法，其特征在于，所述初始变换矩阵、当前变换矩阵选自仿射变换矩阵、透视变换矩阵。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当检测再次对焦，且音圈马达的变化量超过阈值时，重新确定当前的拍摄距离。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述确定当前的拍摄距离，包括：
将所述待拍摄图像输入训练好的深度估计模型中，得到所述待拍摄图像中不同物体的相对深度；
根据所述待拍摄图像中不同物体的相对深度，确定所述当前的拍摄距离。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述确定当前的拍摄距离，包括：
通过主动测距设备，确定当前的拍摄距离。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像之后，还包括：
当所述请求的变焦倍数位于广角段时，获取初始亮度参数，所述初始亮度参数用于表示在所述标定距离下所述广角图像到所述长焦图像的亮度映射关系；
根据所述请求的变焦倍数对所述初始亮度参数调整得到当前亮度参数，并通过所述当前亮度参数对所述待拍摄图像进行处理。
8.根据权利要求7所述的方法，其特征在于，所述根据所述请求的变焦倍数对所述初始亮度参数调整得到当前亮度参数，包括：
根据所述广角段的各个变焦倍数，调整所述初始亮度参数，得到每个变焦倍数各自对应的目标亮度参数；
获取所述请求的变焦倍数对应的目标亮度参数作为所述当前亮度参数。
9.根据权利要求1至4任一所述的方法，其特征在于，所述确定请求的变焦倍数，并获取当前的待拍摄图像之后，还包括：
当所述请求的变焦倍数位于长焦段时，对所述待拍摄图像按照预设变焦方法进行处理。
10.根据权利要求1至4任一所述的方法，其特征在于，所述多摄像头还包括超广角摄像头，所述获取当前的待拍摄图像之后，还包括：
当所述请求的变焦倍数位于超广角段时，获取原始变换矩阵，所述原始变换矩阵用于表示初始超广角图像与初始广角图像之间的映射关系，所述初始超广角图像为所述超广角镜头在标定距离下拍摄的图像，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像；
确定当前的拍摄距离；
根据所述当前的拍摄距离和请求的变焦倍数对所述原始变换矩阵调整得到目前变换矩阵，并根据所述目前变换矩阵对所述待拍摄图像进行处理。
11.一种基于多摄像头的图像处理装置，其特征在于，所述多摄像头包括广角摄像头和长焦摄像头，所述装置包括：
变焦倍数确定模块，用于在完成对焦时，确定请求的变焦倍数，并获取当前的待拍摄图像；
初始变换矩阵获取模块，用于当所述请求的变焦倍数位于广角段时，获取初始变换矩阵，所述初始变换矩阵用于表示初始广角图像与初始长焦图像之间的映射关系，所述初始广角图像为所述广角镜头在标定距离下拍摄的图像，所述初始长焦图像为所述长焦镜头在标定距离下拍摄的图像；
拍摄距离确定模块，用于确定当前的拍摄距离；
处理模块，用于根据所述当前的拍摄距离和请求的变焦倍数对所述初始变换矩阵调整得到当前变换矩阵，并根据所述当前变换矩阵对所述待拍摄图像进行处理。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至10任一项所述方法的步骤。
13.一种基于多摄像头的图像处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至10任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111632761.5A CN114339042A (zh) | 2021-12-28 | 2021-12-28 | 基于多摄像头的图像处理方法及装置、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111632761.5A CN114339042A (zh) | 2021-12-28 | 2021-12-28 | 基于多摄像头的图像处理方法及装置、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114339042A true CN114339042A (zh) | 2022-04-12 |
Family
ID=81015423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111632761.5A Pending CN114339042A (zh) | 2021-12-28 | 2021-12-28 | 基于多摄像头的图像处理方法及装置、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114339042A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114915728A (zh) * | 2022-05-23 | 2022-08-16 | 普联技术有限公司 | 一种多目摄像设备变焦的方法及多目摄像设备 |
| CN115550544A (zh) * | 2022-08-19 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法及装置 |
| CN116347224A (zh) * | 2022-10-31 | 2023-06-27 | 荣耀终端有限公司 | 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005101874A (ja) * | 2003-09-24 | 2005-04-14 | Fujinon Corp | 撮像装置 |
| CN107370936A (zh) * | 2016-05-12 | 2017-11-21 | 青岛海信宽带多媒体技术有限公司 | 变焦方法及变焦装置 |
| CN110493525A (zh) * | 2019-09-04 | 2019-11-22 | 展讯通信（上海）有限公司 | 变焦图像确定方法及装置、存储介质、终端 |
| CN113645403A (zh) * | 2021-07-29 | 2021-11-12 | 深圳市芯成像科技有限公司 | 基于云台的自拍方法、系统、计算机可读存储介质和智能云台 |
-
2021
- 2021-12-28 CN CN202111632761.5A patent/CN114339042A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005101874A (ja) * | 2003-09-24 | 2005-04-14 | Fujinon Corp | 撮像装置 |
| CN107370936A (zh) * | 2016-05-12 | 2017-11-21 | 青岛海信宽带多媒体技术有限公司 | 变焦方法及变焦装置 |
| CN110493525A (zh) * | 2019-09-04 | 2019-11-22 | 展讯通信（上海）有限公司 | 变焦图像确定方法及装置、存储介质、终端 |
| CN113645403A (zh) * | 2021-07-29 | 2021-11-12 | 深圳市芯成像科技有限公司 | 基于云台的自拍方法、系统、计算机可读存储介质和智能云台 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114915728A (zh) * | 2022-05-23 | 2022-08-16 | 普联技术有限公司 | 一种多目摄像设备变焦的方法及多目摄像设备 |
| CN115550544A (zh) * | 2022-08-19 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法及装置 |
| CN115550544B (zh) * | 2022-08-19 | 2024-04-12 | 荣耀终端有限公司 | 图像处理方法及装置 |
| CN116347224A (zh) * | 2022-10-31 | 2023-06-27 | 荣耀终端有限公司 | 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质 |
| CN116347224B (zh) * | 2022-10-31 | 2023-11-21 | 荣耀终端有限公司 | 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110493525B (zh) | 变焦图像确定方法及装置、存储介质、终端 | |
| KR102278776B1 (ko) | 이미지 처리 방법, 기기, 및 장치 | |
| CN106851122B (zh) | 基于双摄像头系统的自动曝光参数的标定方法和装置 | |
| CN106899781B (zh) | 一种图像处理方法及电子设备 | |
| CN114339042A (zh) | 基于多摄像头的图像处理方法及装置、计算机可读存储介质 | |
| US8189960B2 (en) | Image processing apparatus, image processing method, program and recording medium | |
| US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
| CN110324532B (zh) | 一种图像虚化方法、装置、存储介质及电子设备 | |
| TWI538512B (zh) | 調整對焦位置的方法及電子裝置 | |
| US10805508B2 (en) | Image processing method, and device | |
| CN112261387B (zh) | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 | |
| JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| US9807372B2 (en) | Focused image generation single depth information from multiple images from multiple sensors | |
| US20220327674A1 (en) | Image fusion method and apparatus, storage medium, and terminal | |
| CN112261292B (zh) | 图像获取方法、终端、芯片及存储介质 | |
| CN106154688B (zh) | 一种自动对焦的方法及装置 | |
| JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
| US20230033956A1 (en) | Estimating depth based on iris size | |
| CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
| CN116456191A (zh) | 图像生成方法、装置、设备及计算机可读存储介质 | |
| CN114092316A (zh) | 图像处理方法、设备及存储介质 | |
| CN114119701A (zh) | 图像处理方法及其装置 | |
| CN109191396B (zh) | 人像处理方法和装置、电子设备、计算机可读存储介质 | |
| KR20150032764A (ko) | 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스 | |
| CN117456012B (zh) | 虚拟相机的视场角标定方法及装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |