CN111641775B - 多摄变焦控制方法、装置及电子系统 - Google Patents

多摄变焦控制方法、装置及电子系统 Download PDF

Info

Publication number
CN111641775B
CN111641775B CN202010292168.XA CN202010292168A CN111641775B CN 111641775 B CN111641775 B CN 111641775B CN 202010292168 A CN202010292168 A CN 202010292168A CN 111641775 B CN111641775 B CN 111641775B
Authority
CN
China
Prior art keywords
image
camera
magnification
matrix
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010292168.XA
Other languages
English (en)
Other versions
CN111641775A (zh
Inventor
胡刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010292168.XA priority Critical patent/CN111641775B/zh
Publication of CN111641775A publication Critical patent/CN111641775A/zh
Priority to US17/792,332 priority patent/US20230059657A1/en
Priority to KR1020227019444A priority patent/KR20220128334A/ko
Priority to PCT/CN2020/119476 priority patent/WO2021208371A1/zh
Application granted granted Critical
Publication of CN111641775B publication Critical patent/CN111641775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G06T3/02—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Abstract

本发明提供了一种多摄变焦控制方法、装置及电子系统，在第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于倍率过渡区，开启第二摄像头；基于第一摄像头和第二摄像头的标定参数，获取对应的立体校正矩阵；基于获取到的第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，结合当前设定倍率计算平移矩阵，再结合立体校正矩阵计算平滑过渡变换矩阵；应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。该方法在对图像立体校正对齐的基础上，在感兴趣区域使用模板匹配得到稳定的平移量，实现感兴趣区域平滑过渡，提高了感兴趣区域对齐的稳定性。

Description

多摄变焦控制方法、装置及电子系统
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种多摄变焦控制方法、装置及电子系统。
背景技术
数码摄像机通常依靠光学镜头的结构来实现光学变焦(Optical Zoom)。具体地，光学变焦是通过镜头、物体和焦点三方的位置发生变化而产生的。当成像面在水平方向运动时，视角和焦距会发生变化，更远的景物变得更清晰，视觉上有一种物体递进的感觉。
在移动终端(例如，手机)摄像领域，由于单个镜头的厚度不足，无法实现上述光学镜头的变焦方式，于是双摄及多摄相机模组就成了光学变焦的选择。比如，在双摄变焦中，一般会选择FOV(视场角)在80度Wide(广角)+40度Tele(长焦)左右组合，即采用Wide镜头与Tele镜头的相机模组，这种模组下，如果放大倍率在1x-2x之间，则依靠Wide镜头数码放大，当放大倍率为2x时，由Wide镜头切换到Tele镜头，当放大倍率大于2x，则依靠Tele镜头数码放大。
双摄及多摄相机模组间的镜头切换通常称为2x切换，也即双摄像头变焦切换，由于镜头和模组制造工艺问题，2x切换往往存在较大的图像内容跳变，即相同内容区域发生较大平移，基于2x切换引起的内容跳变问题，现有方式中存在以下手段进行缓解。
(1)硬切方法，在模组生产过程中，加大光轴管控精度，光轴管控精度越高，内容跳变问题越小，在2x切换过程中不做任何处理，这种方式中，模组生产的难度加大，精度难以保障，无法有效解决内容跳变问题。
(2)基于每个镜头的标定参数，对图像做立体校正对齐，这种方式可以实现基线上下对齐和已知距离下的对齐，但是一旦模组发生碰摔或老化等情况，模组之间关系就会发生变化，出现跳变，另外，在难以知道稳定距离情况下，采用自动对焦(AF，Auto Focus)方式时，对齐难度依然较大。
(3)从图像中选取特征点，采用特征点检测对齐，由于特征点稳定性较差，并且有效检测区域不可控，即感兴趣区域不一定能提取到特征点，该方式也无法有效解决内容跳变问题。
针对上述镜头对齐过程中，图像不稳定的问题，目前尚未提出有效地解决方案。
发明内容
本发明的目的在于提供一种多摄变焦控制方法、装置及电子系统，能够有效提高多摄相机模组间的镜头切换时，图像对齐的稳定性。
第一方面，本申请实施例提供了一种多摄变焦控制方法，所述方法应用于配置有第一摄像头和第二摄像头的设备，其中，所述设备预先配置有倍率过渡区；所述方法包括：在所述第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于所述倍率过渡区，开启所述第二摄像头；基于所述第一摄像头和所述第二摄像头的标定参数，获取所述当前设定倍率下的立体校正矩阵；获取所述第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像；基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、所述当前设定倍率计算平移矩阵；根据所述立体校正矩阵和所述平移矩阵计算所述倍率过渡区对应的平滑过渡变换矩阵；应用所述平滑过渡变换矩阵对所述第一摄像头输出的图像进行仿射变换，得到所述设备的显示图像。
进一步的，所述倍率过渡区为预设的第一临界倍率至预设的第二临界倍率对应的倍率区间，所述第二临界倍率为所述设备的显示图像由所述第一摄像头采集的图像切换至所述第二摄像头采集的图像时对应的倍率。
进一步的，获取所述第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像的步骤，包括：对所述第一摄像头采集的第一原始图像和所述第二摄像头采集的第二原始图像进行中心裁剪放大处理，得到第一缩放图像和第二缩放图像。
进一步的，所述第一缩放图像和所述第二缩放图像的分辨率相同；基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、所述当前设定倍率计算平移矩阵的步骤，包括：基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定所述倍率过渡区对应的总平移量；根据所述当前设定倍率和所述总平移量计算平移矩阵。
进一步的，所述第一缩放图像和所述第二缩放图像对应的分辨率均为所述第二临界倍率对应的分辨率。
进一步的，基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定所述倍率过渡区对应的总平移量的步骤，包括：确定所述第一缩放图像的对焦点；以所述对焦点为中心确定所述第一缩放图像的第一感兴趣区域和所述第二缩放图像的第二感兴趣区域；对所述第一感兴趣区域和所述第二感兴趣区域进行特征检测，得到所述第一感兴趣区域对应的第一特征信息和所述第二感兴趣区域对应的第二特征信息；基于所述第一特征信息和所述第二特征信息中相同特征信息对应的像素位置关系，确定所述当前设定倍率下所述第一缩放图像对齐至所述第二缩放图像的平移量；根据所述平移量确定所述倍率过渡区对应的总平移量。
进一步的，确定所述第一缩放图像的对焦点包括：检测所述第一缩放图像中是否包含有目标对象；如果有，以所述目标对象的中心为对焦点；如果没有，以所述第一缩放图像的中心为对焦点。
进一步的，确定所述第一缩放图像的对焦点包括：如果所述设备的显示屏为触摸屏，监听用户在所述触摸屏的点触操作；将监听到的所述点触操作位置作为所述第一缩放图像的对焦点。
进一步的，所述第二感兴趣区域为与所述第一感兴趣区域的图形形状相同，且所述第二感兴趣区域的图形大于所述第一感兴趣区域的图形。
进一步的，根据所述平移量确定所述倍率过渡区对应的总平移量的步骤，包括：设置所述倍率过渡区对应的总平移量T＝(x1+(x2-wideScale))*t，其中，x1为第一视场角度对应的放大倍率，x2为第二视场角度对应的放大倍率，wideScale为所述当前设定倍率下所述第一摄像头对应的实际放大倍率；t为所述当前设定倍率下所述第一缩放图像对齐至所述第二缩放图像的平移量。
进一步的，基于所述第一摄像头和所述第二摄像头的标定参数，获取所述当前设定倍率下的立体校正矩阵的步骤，包括：设置所述当前设定倍率下的立体校正矩阵为Hw1＝Hs2*Hwt*Hs1，其中，
Figure BDA0002450812410000041
Hwt表示第一原始图像向第二原始图像对齐的立体校正矩阵；Kt是第二摄像头的标定内参数；Kw是第一摄像头的标定内参数；Rtw是预先标定的第一摄像头到第二摄像头的旋转矩阵；
Hs1表示第一缩放图像转换至第一原始图像的倍率矩阵；Hs2表示第二原始图像转换至第二缩放图像的倍率矩阵。
进一步的，根据所述当前设定倍率和所述总平移量计算平移矩阵的步骤，包括：设置平移矩阵Ht如下：
Figure BDA0002450812410000051
T0x为x方向上从第一临界倍率开始至当前显示倍率下已经平移的量，T0y为y方向上从第一临界倍率开始至当前显示倍率下已经平移的量；Tx为x方向上从当前显示倍率至第二临界倍率的总平移量；Ty为y方向上从当前显示倍率至第二临界倍率的总平移量。
进一步的，根据所述立体校正矩阵和所述平移矩阵计算所述倍率过渡区对应的平滑过渡变换矩阵的步骤包括：
设置平滑过渡变换矩阵为H＝Ht*Hs3*Hwt*Hs1，其中，Ht为所述平移矩阵；
Figure BDA0002450812410000052
Figure BDA0002450812410000053
为第一原始图像转换至所述第一缩放图像的倍率矩阵；fw和ft分别为相同分辨率下，第一摄像头和第二摄像头的焦距；Hwt表示第一原始图像向第二原始图像对齐的立体校正矩阵；Hs1表示第一缩放图像转换至第一原始图像的倍率矩阵。
第二方面，发明实施例提供了一种多摄变焦控制装置，所述装置设置于配置有第一摄像头和第二摄像头的设备，其中，所述设备预先配置有倍率过渡区；所述装置包括：开启模块，用于在所述第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于所述倍率过渡区，开启所述第二摄像头；第一获取模块，用于基于所述第一摄像头和所述第二摄像头的标定参数，获取所述当前设定倍率下的立体校正矩阵；第二获取模块，用于获取所述第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像；第一计算模块，用于基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、所述当前设定倍率计算平移矩阵；第二计算模块，用于根据所述立体校正矩阵和所述平移矩阵计算所述倍率过渡区对应的平滑过渡变换矩阵；第三获取模块，用于应用所述平滑过渡变换矩阵对所述第一摄像头输出的图像进行仿射变换，得到所述设备的显示图像。
第三方面，发明实施例提供了一种电子系统，所述电子系统为配置有第一摄像头和第二摄像头的设备；所述电子系统包括图像输入装置、处理器和存储装置；所述图像输入装置，用于获取所述第一摄像头和第二摄像头采集的图像数据；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的多摄变焦控制方法。
第四方面，发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的多摄变焦控制方法的步骤。
本发明提供的多摄变焦控制方法、装置及电子系统，在第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于所述倍率过渡区，开启第二摄像头；基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵；基于获取到的第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，结合当前设定倍率计算平移矩阵；根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵；应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。该方法在对图像立体校正对齐的基础上，在感兴趣区域使用模板匹配方式(在第一缩放图像中确定出感兴趣区域，以该感兴趣区域为模板，在第二缩放图像中确定出该模板对应的目标区域，感兴趣区域和目标区域间的像素位置对应关系就是第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系)得到稳定的平移量，实现感兴趣区域平滑过渡，提高了感兴趣区域对齐的稳定性。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例所提供的一种电子系统的结构示意图；
图2示出了本申请实施例所提供的一种多摄变焦控制方法的流程图；
图3示出了本申请实施例所提供的另一种多摄变焦控制方法的流程图；
图4示出了本申请实施例所提供的另一种多摄变焦控制方法的流程图；
图5(a)和图5(b)示出了本申请实施例所提供的另一种多摄变焦控制方法的流程图；
图6示出了本申请实施例所提供的一种多摄变焦控制装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对双摄及多摄相机模组间的镜头切换时，感兴趣区域对齐的稳定性较差的问题，本发明实施例提供了一种多摄变焦控制方法、装置及电子系统，该技术可以应用于各种中高端手机类型，带有双摄或多摄相机模组的设备的图像显示控制，由于多摄相机模组中放大倍率两两相邻摄像头之间也可以视为双摄组合结构，因而该技术也可以应用于双摄、三摄乃至多摄设备的摄像头平滑切换场景。下面通过实施例进行描述。
实施例一
如图1所示的一种电子系统的结构示意图，该电子系统为配置有第一摄像头200a和第二摄像头200b的设备；
该电子系统包括图像输入装置101、处理器102和存储装置103；
图像输入装置101，用于获取第一摄像头200a和第二摄像头200b采集的图像数据；其中，图像数据包括第一摄像头200a采集的第一原始图像和第二摄像头200b采集的第二原始图像；
上述存储装置103上存储有计算机程序，该计算机程序在被处理器102运行时执行下述多摄变焦控制方法。
根据实际需要，上述第一摄像头200a、第二摄像头200b、处理器102和存储装置103均可以包括一个或多个，为了便于查看处理过程和效果，上述电子系统还可以包括输出装置108，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统的组件和结构只是示例性的，而非限制性的，根据需要，所述电子系统可以具有图1示出的部分组件，也可以具有图1未示出的其他组件和结构。
处理器102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统中的其它组件的数据进行处理，还可以控制电子系统中的其它组件以执行期望的功能。
所述存储装置103可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
图像输入装置101可以是数据传输接口，该数据传输接口用于与第一摄像头200a和第二摄像头200b连接，以将第一摄像头200a和第二摄像头200b采集的图像数据存储在存储装置103中供其它组件使用。图像输入装置101还可以包括用来输入指令的装置，例如键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
示例性地，用于实现根据本发明实施例的多摄变焦控制方法、装置的电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理器102、存储装置103、图像输入装置101和输出装置108可以集成设置于一体，而将第一摄像头200a和第二摄像头200b设置于可以采集到图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
实施例二
本实施例提供了一种多摄变焦控制方法，该方法应用于配置有第一摄像头和第二摄像头的设备，其中，第一摄像头的第一视场角度可以大于或小于第二摄像头的第二视场角度；比如，以配置有双摄相机模组的手机为例，在双摄变焦中，可以选择FOV(Field ofVision，视场角度)在80度Wide+40度Tele左右组合，Wide为第一摄像头，其第一视场角度为80度，Tele为第二摄像头，其第二视场角度为40度；在手动可调的镜头上一般会标示T<——>W，其中，T为Tele，即远的意思，向T方向调节镜头会使镜头的焦距增加，可看到的范围(视野)缩小，因此特定物体会在整个画面中变大，细节处更易分辨清楚；W为Wide，即宽的意思，向W方向调节镜头会使镜头的焦距减小，可看到的范围(视野)变大，因此特定物体会在整个画面中变小，细节处不易分辨清楚；调整焦距使视野变大或缩小的这一过程称为变焦(ZOOM)；设备预先配置有倍率过渡区，在实际实现时，该倍率过渡区通常是由两个不同的倍率所确定的倍率区间，该倍率过渡区可以根据切换点和实际算法需求进行设置；如图2所示，该方法包括如下步骤：
步骤S202，在第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于倍率过渡区，开启第二摄像头。
在实际实现时，用户输入的当前设定倍率可以用userLevel表示；采集图像时通常默认使用第一摄像头采集图像，在采集过程中，可以判断用户输入的userLevel是否在倍率过渡区，比如，如果设置的倍率过渡区为1.6x-2x，userLevel属于该倍率过渡区，则开启第二摄像头，在倍率过渡区内，第一摄像头和第二摄像头为同时开启状态。
步骤S204，基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵。
上述标定参数通常包括第一摄像头和第二摄像头的内部参数，以及第一摄像头和第二摄像头之间的相对位置等参数，如第一摄像头相对于第二摄像头之间的三维平移t和旋转R参数等；上述立体校正可以理解为把第一摄像头和第二摄像头所采集的实际非共面行对准的两幅图像，校正成共面行对准，即两幅图像平面在同一平面上，且同一点投影到两幅图像平面时，应该在两个像素坐标系的同一行；在实际实现时，第一摄像头和第二摄像头组成的模组在出厂前通常会完成标定，并存储有标定参数，可以基于这些标定参数获取到当前设定倍率下的立体校正矩阵，通过该立体校正矩阵可以对第一摄像头和第二摄像头进行立体校正。
步骤S206，获取第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像。
上述第一缩放图像可以以wide1表示，第二缩放图像可以以tele1表示，获取第一摄像头和第二摄像头分别对应的第一缩放图像和第二缩放图像。
步骤S208，基于第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、当前设定倍率计算平移矩阵。
上述感兴趣内容区域可以理解为在图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出的需要处理的区域；基于同一感兴趣内容区域，可以根据该感兴趣内容区域在第一缩放图像上的像素位置，与在第二缩放图像上的像素位置之间的对应关系，结合当前设定倍率，确认两者之间的数学关系，基于该数学关系计算平移矩阵。
步骤S210，根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵。
步骤S212，应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。
上述平滑过渡变换矩阵可以用于实现第一摄像头和第二摄像头之间的平滑过渡，以避免在第一摄像头向第二摄像头切换时，出现较大的图像内容跳变，即相同内容区域发生较大平移；图像处理中，可以应用仿射变换对二维图像进行平移、缩放、旋转等操作；在实际实现时，可以通过平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，输出设备的显示图像。
本发明实施例提供的一种多摄变焦控制方法，在第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于所述倍率过渡区，开启第二摄像头；基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵；基于获取到的第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，结合当前设定倍率计算平移矩阵；根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵；应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。该方法在对图像立体校正对齐的基础上，在感兴趣区域使用模板匹配方式(在第一缩放图像中确定出感兴趣区域，以该感兴趣区域为模板，在第二缩放图像中确定出该模板对应的目标区域，感兴趣区域和目标区域间的像素位置对应关系就是第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系)得到稳定的平移量，实现感兴趣区域平滑过渡，提高了感兴趣区域对齐的稳定性。
实施例三
本实施例提供了另一种多摄变焦控制方法，该方法在上述实施例的基础上实现；本实施例重点描述如果用户输入的当前设定倍率处于倍率过渡区，开启第二摄像头的具体过程，以及获取第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像，以及基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、所述当前设定倍率计算平移矩阵的具体过程；本实施例中，设备的显示屏为触摸屏；倍率过渡区为预设的第一临界倍率至预设的第二临界倍率对应的倍率区间，第二临界倍率为设备的显示图像由第一摄像头采集的图像切换至第二摄像头采集的图像时对应的倍率；比如，当第一临界倍率为1.6x，第二临界倍率为2x时，倍率过渡区即为1.6x-2x；如果第二临界倍率为2x，则在2x时，从第一摄像头采集的图像切换至第二摄像头采集的图像，也可以理解为在2x时，界面上显示的第一摄像头的图像会切换至第二摄像头的图像，在大于2x的倍率下，通常会一直显示第二摄像头的图像。第一缩放图像和第二缩放图像的分辨率相同，第一缩放图像和第二缩放图像对应的分辨率为第二临界倍率对应的分辨率。如图3所示，该方法包括如下步骤：
步骤S302，在第一摄像头采集图像的过程中，响应用户针对触摸屏的显示倍率调整操作，在调整过程中的显示倍率达到第一临界倍率时，开启第二摄像头，将调整过程中的显示倍率确定为当前设定倍率，实时获取该当前设定倍率。
在实际实现时，用户可以根据需求滑动触摸屏以调整显示倍率，在调整过程中，显示倍率是个实时变化的过程，如果显示倍率达到第一临界倍率，表示用户调整过程中的显示倍率进入倍率过渡区，这时通常会同时开启第二摄像头，将调整过程中的显示倍率确定为当前设定倍率，实时获取该当前设定倍率。
步骤S304，基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵。
步骤S306，对第一摄像头采集的第一原始图像和第二摄像头采集的第二原始图像进行中心裁剪放大处理，得到第一缩放图像和第二缩放图像。
光学变焦开始时，平台(即上述设备的处理器)会根据用户的输入userLevel计算第一原始图像和第二原始图像的缩放系数，假设第一摄像头和第二摄像头在相同分辨率下的焦距分别是fw和ft，那么第一原始图像的缩放系数wideScale＝userLevel，第二原始图像的缩放系数teleScale＝fw/ft*wideScale；平台会根据给定的wideScale和teleScale对第一原始图像和第二原始图像进行中心裁剪放大处理，得到第一缩放图像wide1和第二缩放图像tele1；需要说明的是，以配置有第一摄像头和第二摄像头的手机为例，上述平台可以理解为手机中的处理器；上述第一原始图像和第二原始图像可以是包括多张图像的图像流。
步骤S308，基于第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定倍率过渡区对应的总平移量。
基于同一感兴趣内容区域，可以根据该感兴趣内容区域在第一缩放图像上的像素位置，与在第二缩放图像上的像素位置之间的对应关系，确定倍率过渡区对应的图像的总平移量。
步骤S310，根据当前设定倍率和总平移量计算平移矩阵。
在实际实现时，可以根据获取到的当前设定倍率和上述总平移量，确认感兴趣内容区域在第一缩放图像上的像素位置，与在第二缩放图像上的像素位置之间的数学关系，基于该数学关系计算平移矩阵。
步骤S312，根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵。
步骤S314，应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。
本发明实施例提供的另一种多摄变焦控制方法，在第一摄像头采集图像的过程中，响应用户针对触摸屏的显示倍率调整操作，在调整过程中的显示倍率达到第一临界倍率时，开启第二摄像头，将实时获取到显示倍率作为当前设定倍率，基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵；对第一摄像头采集的第一原始图像和第二摄像头采集的第二原始图像进行中心裁剪放大处理，得到第一缩放图像和第二缩放图像，进而确定倍率过渡区对应的总平移量，进而结合当前设定倍率计算平移矩阵；根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵；应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。该方法在对图像立体校正对齐的基础上，在感兴趣区域使用模板匹配得到稳定的平移量，实现感兴趣区域平滑过渡，提高了感兴趣区域对齐的稳定性。
实施例四
本实施例提供了另一种多摄变焦控制方法，该方法在上述实施例的基础上实现；本实施例重点描述基于第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定倍率过渡区对应的总平移量的具体过程，如图4所示，该方法包括如下步骤：
步骤S402，在第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于倍率过渡区，开启第二摄像头。
步骤S404，基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵。
步骤S406，获取第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像。
步骤S408，确定第一缩放图像的对焦点；具体的，该步骤S408至少可以通过下述两种方式来实现。
方式一，检测第一缩放图像中是否包含有目标对象；如果有，以目标对象的中心为对焦点；如果没有，以第一缩放图像的中心为对焦点；对焦点可以以focus point表示；比如，以包含人脸的第一缩放图像为例，可以以人脸作为目标对象，检测第一缩放图像中是否包含人脸，如果有，可以以人脸的中心为对焦点，如果没有，可以以第一缩放图像的中心为对焦点，对焦点所对的位置清晰度最高。
方式二，如果设备的显示屏为触摸屏，监听用户在触摸屏的点触操作；将监听到的点触操作位置作为第一缩放图像的对焦点；在实际实现时，如果设备的显示屏为触摸屏，用户也可以通过点击触摸屏，根据实际需求选择需要作为第一缩放图像的对焦点的位置。
步骤S410，以对焦点为中心确定第一缩放图像的第一感兴趣区域；在实际实现时，该步骤S410可以通过下述步骤一至步骤三来实现：
步骤一，以对焦点为预设图形框的中心，对第一缩放图像中预设图形框覆盖的第一子区域进行边缘检测。
上述预设图形框可以理解为，根据所需要的第一感兴趣区域的大小，所设定的匹配的图形框，比如，通常默认选择100pixel*100pixel的矩形框，也可以根据需求选择适合的图形框；可以将通过上述任一方式所确定的对焦点的坐标作为预设图形框的中心；对第一缩放图像中预设图形框覆盖的第一子区域进行边缘检测，可以通过Sobel边缘检测算法或其他边缘检测方法检测该第一子区域的边缘。
步骤二，如果检测到的边缘的长度大于或等于预设长度阈值，将第一子区域作为第一缩放图像的第一感兴趣区域。
上述预设长度阈值可以基于上述预设图形框的大小进行确定，比如，如果预设图形框的大小为100pixel*100pixel，则预设长度阈值可以选择为100pixel，如果检测到第一子区域内梯度边缘的长度大于或等于100pixel，可以将第一子区域作为第一缩放图像的第一感兴趣区域，该第一感兴趣区域可以以W表示，即是模板图，根据上述立体校正矩阵，将W图像warp为W1图像，即，将W图像进行立体矫正后得到W1模板图。
步骤三，如果检测到的边缘的长度小于预设长度阈值，逐步增大预设图形框进行边缘检测，直到增大后的预设图形框覆盖的第二子区域存在大于或等于预设长度阈值的边缘，将第二子区域作为第一缩放图像的第一感兴趣区域。
为方便理解，仍以预设图形框的大小为100pixel*100pixel，预设长度阈值为100pixel为例进行说明，如果检测到第一子区域内梯度边缘的长度小于100pixel，说明检测到的边缘长度较短，或者，也可以理解为预设图形框的尺寸较小，这时需要逐步增大预设图形框的大小，在实际实现时可以按照长边每次增加10pixel的量逐步增大，也可以根据需求选择适合的每次增大的量，每次增大后均进行边缘检测，直至增大后的预设图形框覆盖的第二子区域存在大于或等于预设长度阈值的边缘，可以将该第二子区域作为第一缩放图像的第一感兴趣区域，该第一感兴趣区域可以以W表示，即是模板图；根据上述立体校正矩阵，将W图像warp为W1图像，即，将W图像进行立体矫正后得到W1模板图。
步骤S412，以对焦点为中心，确定第二缩放图像的第二感兴趣区域。
在实际实现时，第二感兴趣区域通常为与第一感兴趣区域的图形形状相同，且第二感兴趣区域的图形大于第一感兴趣区域的图形；以对焦点为中心，基于第一感兴趣区域的大小，确定第二缩放图像的第二感兴趣区域；例如，在第二缩放图像tele1上选择以对焦点的坐标为中心，选择以第一感兴趣区域大小的1.5倍或者其他大于1的适合倍数，作为第二缩放图像的第二感兴趣区域，该第二感兴趣区域可以以T表示，也可以称为匹配图像T；需要说明的是，上述倍数如果选择的过小，会使第二感兴趣区域的内容过少，容易出错，如果选择的过大，容易影响第一摄像头和第二摄像头性能，一般需要根据第一摄像头和第二摄像头的组装误差，以及模组视差大小选择合适的倍数。
步骤S414，对第一感兴趣区域和第二感兴趣区域进行特征检测，得到第一感兴趣区域对应的第一特征信息和第二感兴趣区域对应的第二特征信息。
对第一感兴趣区域进行特征检测，提取该第一感兴趣区域中的第一特征点，如角点，该第一特征点的数量通常为多个，得到对应的第一特征信息；对第二感兴趣区域进行特征检测，提取该第二感兴趣区域中的第二特征点，如角点，该第二特征点的数量通常为多个，得到对应的第二特征信息。
步骤S416，基于第一特征信息和第二特征信息中相同特征信息对应的像素位置关系，确定当前设定倍率下第一缩放图像对齐至第二缩放图像的平移量。
在实际实现时，可以采用NCC(Normalized Cross Correlation，归一化互相关)匹配方式或其他匹配方式，对第一特征信息和第二特征信息中相同特征信息对应的像素位置进行匹配，找到W1模板图在匹配图像T上的位置，根据像素位置关系，确定当前设定倍率下第一缩放图像wide1对齐至第二缩放图像tele1的平移量t，具体可以参考现有模板匹配技术，在此不再赘述。
步骤S418，根据平移量确定倍率过渡区对应的总平移量；具体的，该步骤S418可以包括：
设置倍率过渡区对应的总平移量T＝(x1+(x2-wideScale))*t，其中，x1为第一视场角度对应的放大倍率，x2为第二视场角度对应的放大倍率，wideScale为当前设定倍率下第一摄像头对应的实际放大倍率；t为当前设定倍率下第一缩放图像对齐至第二缩放图像的平移量。
在实际实现时，如果x1为1.0，x2为2.0，则在当前设定倍率下wide1对齐tele1的平移量为t时，得到在2x切换时倍率过渡区对应的总平移量T＝(1.0+(2.0-wideScale))*t。
步骤S420，根据当前设定倍率和总平移量计算平移矩阵。
步骤S422，根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵。
步骤S424，应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。
本发明实施例提供的另一种多摄变焦控制方法，重点描述了基于第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定倍率过渡区对应的总平移量的具体过程，在确定第一缩放图像的对焦点后，以对焦点为中心分别确定第一缩放图像的第一感兴趣区域和第二缩放图像的第二感兴趣区域；对第一感兴趣区域和第二感兴趣区域分别进行特征检测，得到各自对应的第一特征信息和第二特征信息；基于第一特征信息和第二特征信息中相同特征信息对应的像素位置关系，确定当前设定倍率下第一缩放图像对齐至第二缩放图像的平移量，进而确定倍率过渡区对应的总平移量。该方法在对图像立体校正对齐的基础上，在感兴趣区域使用模板匹配得到稳定的平移量，实现感兴趣区域平滑过渡，提高了感兴趣区域对齐的稳定性。
另外，梯度边缘的检测可以排除掉弱纹理对于模板匹配的影响，提升算法的鲁棒性；在每次进行变焦切换时，通常都会基于边缘检测技术确定出感兴趣区域，再基于这个感兴趣区域计算出当前设定倍率下的平移量，基于平移量进行图像融合，考虑到用户手持手机时刻在动的，图像内容也是在发生变化，一般每隔预设时间段都会计算一次平移量，比如，可以每秒或设定的秒数计算一次，通过修正平移量进而实现平滑过渡。
实施例五
本实施例提供了另一种多摄变焦控制方法，该方法在上述实施例的基础上实现；本实施例重点描述基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵的具体过程，根据当前设定倍率和总平移量计算平移矩阵的具体过程，以及根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵的具体过程，该方法包括如下步骤：
步骤502，在第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于倍率过渡区，开启第二摄像头。
步骤504，设置当前设定倍率下的立体校正矩阵为Hw1＝Hs2*Hwt*Hs1，该矩阵即为当前设定倍率下，第一缩放图像wide1向第二缩放图像tele1对齐的立体校正矩阵，其中，
Figure BDA0002450812410000191
Hwt表示第一原始图像(如上述wide)向第二原始图像(如上述tele)对齐的立体校正矩阵；Kt是第二摄像头的标定内参数，即Tele镜头的标定内参数；Kw是第一摄像头的标定内参数，即Wide镜头的标定内参数；Rtw是预先标定的第一摄像头到第二摄像头的旋转矩阵，是标定参数中的外参数，即Wide镜头到Tele镜头的旋转矩阵；需要说明的是，标定内参数通常只与相应的摄像头的内部结构有关，因此，也可以称这些标定内参数为相应摄像头的内部参数。
Figure BDA0002450812410000201
Figure BDA0002450812410000202
Hs1表示第一缩放图像wide1转换至第一原始图像的倍率矩阵；比如，第一原始图像wide大小为400*300，此时用户输入的当前设定倍率为1.5x，平台根据用户输入的1.5x将400*300放大到600*450，得到第一缩放图像wide1，输入给算法，由于算法的所有计算都是根据原始图像尺度计算的，所以算法需要知道当前接收到的第一缩放图像wide1如何还原成第一原始图像wide，通过Hs1就可以实现。Hs2表示第二原始图像tele转换至第二缩放图像tele1的倍率矩阵；wideScale为当前设定倍率下第一摄像头对应的实际放大倍率；teleScale为当前设定倍率下第二摄像头对应的实际放大倍率；根据Hwt和Hs1为还可以得到第一缩放图像wide1向第二原始图像tele对齐的对齐矩阵为Hw0＝Hwt*Hs1。
步骤506，获取第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像。
步骤508，基于第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定倍率过渡区对应的总平移量。
步骤510，设置平移矩阵Ht如下：
Figure BDA0002450812410000211
T0x为x方向上从第一临界倍率开始至当前显示倍率(即设备当前实际显示的图像对应的倍率)下已经平移的量，T0y为y方向上从第一临界倍率开始至当前显示倍率下已经平移的量；Tx为x方向上从第一临界倍率至第二临界倍率的总平移量；Ty为y方向上从第一临界倍率至第二临界倍率的总平移量。
为方便理解，仍以第一临界倍率为1.6x，第二临界倍率为2.0x为例进行说明，则
Figure BDA0002450812410000212
假如在1.6x时计算出了平移量t，那么到了1.7x时，图像就已经平移了T0(T0x,T0y)＝t*(1.7x-1.6x)/(2.0x-1.6x)。
步骤512，设置平滑过渡变换矩阵为H＝Ht*Hs3*Hwt*Hs1，其中，Ht为平移矩阵；
Figure BDA0002450812410000213
Figure BDA0002450812410000214
为第一原始图像wide转换至第一缩放图像wide1的倍率矩阵；fw和ft分别为相同分辨率下，第一摄像头和第二摄像头的焦距；Hwt表示第一原始图像wide向第二原始图像tele对齐的立体校正矩阵；Hs1表示第一缩放图像wide1转换至第一原始图像wide的倍率矩阵。
步骤514，应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。
应用上述平滑过渡变换矩阵H，对第一缩放图像wide1进行仿射变换，得到输出图像out＝H*wide1。
本发明实施例提供的另一种多摄变焦控制方法，重点描述了基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵的具体过程，根据当前设定倍率和总平移量计算平移矩阵的具体过程，以及根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵的具体过程，并分别给出了立体矫正矩阵、平移矩阵和平滑过渡变换矩阵的具体表达式，该方法在对图像立体校正对齐的基础上，在感兴趣区域使用模板匹配得到稳定的平移量，实现感兴趣区域平滑过渡，提高了感兴趣区域对齐的稳定性。
为进一步理解上述实施例，下面提供另一种多摄变焦控制方法的流程图，如图5(a)和图5(b)所示，以配置有第一摄像头和第二摄像头的手机为例，如图5(a)所示，手机双摄出厂前需要完成的工作包括：完成双摄组装到手机上，打开图像采集软件，基于已组装好的双摄，采集标定板图像，完成标定工作，最后检验标定并存储标定参数至手机固定内存。
如图5(b)所示，光学变焦开始时，平台会根据用户输入的userLevel(相当于上述当前设定倍率)计算Wide和Tele图像的缩放系数，假设主副摄(相当于上述第一摄像头和第二摄像头)相同分辨率下的焦距分别是fw和ft，那么wideScale＝userLevel，teleScale＝fw/ft*wideScale；平台根据给定的wideScale和teleScale对双摄数据流(相当于图像流)做中心裁剪，得到第一缩放图像wide1和/或第二缩放图像tele1；判断当前设定倍率是否属于预设的倍率过渡区1.6x-2x；如果否，则直接将当前设定倍率，第一缩放图像wide1或第二缩放图像tele1发送至平台(如果当前设定倍率小于1.6x，则对应的是第一缩放图像wide1；如果当前设定倍率大于2x，则对应的是第二缩放图像tele1)；平台数码放大后，输出图像，即平台会进行二次放大，如果平台不具备该功能，则可以通过算法实现中心放大，也可以理解为根据当前设定倍率进行图像缩放处理。
如果当前设定倍率属于预设的倍率过渡区1.6x-2x；则此时双摄为同时开启状态，基于第一摄像头和第二摄像头的标定参数，计算当前设定倍率下的立体校正对齐矩阵(相当于上述立体校正矩阵)；对wide1图像计算sobel边缘检测图，以对焦点为中心选择具有梯度的区域框(相当于上述预设图形框)确定感兴趣区域W(相当于上述第一感兴趣区域，即W模板图)，若该区域框内梯度边缘长度小于预设长度阈值，则逐步增加区域框进行边缘检测直至满足要求；在副摄(相当于上述第二摄像头)相同位置选择1.5倍区域为匹配区域T(相当于上述第二感兴趣区域)；根据上述立体校正对齐矩阵warp主摄W模板图，与T模板匹配，得到wide1向tele1靠拢的平移量，结合当前设定倍率，计算平移矩阵；根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵，并warp(仿射变换)主摄wide1图像(相当于对第一摄像头输出的图像进行仿射变换)，输出变换后的图像并显示。
上述多摄变焦控制方法，模组在出厂前会完成标定，并存储标定参数，根据标定参数中主副摄焦距信息，计算倍率变换的缩放系数(即到切换点时，主副摄FOV基本一致)，完成镜头本身的数码放大控制；然后根据标定参数在第一摄像头和第二摄像头切换前后一段倍率下做渐进式立体校正，就是说根据不同倍率做一定程度的校正，到切换点刚好完成，比如，如果需要在2x时，由第一摄像头切换到第二摄像头，那么一段倍率一般选择为1.6x到2.3x，在这一段倍率范围内，第一摄像头和第二摄像头为同时开启的状态，在切换前后开启双摄，其余倍率只开启一个摄像头可以节省功耗；渐进式立体校正可以理解为，假设在2x时，第一摄像头和第二摄像头要立体校正对齐，第一摄像头需要旋转3°，为了实现平滑切换，一般会按照步长将3°分布在1.6x到2x这个过程中，其中，步长＝3/(2.0-1.6)/10，表示在1.6x到2x过程中每个0.1x都要旋转该步长角度；这样基本做到只有视差方向的平移切换，也可以理解为，在2x切换时，第一摄像头立体校正后和第二摄像头对齐，这时，两个摄像头的图像上对应特征在同一行上，只存在水平视差。最后根据感兴趣区域位置，根据图像梯度变化，选择适当大小的模板图像，与另一个镜头匹配，得到平移量，最后就可以根据平移量实现感兴趣区域的平滑切换方案。
对于多摄设备，比如，三摄模组的组合方式通常是Ultra+Wide+Tele，即，一个110度左右的大广角镜头+一个80度左右的普通镜头+一个40度左右的长焦镜头，实现方案是1.0x到2.0x显示wide图像，在>＝2.0x时显示tele图像，在0.6x到1.0x时显示大广角图像。0.6x-2.0x可看成Ultra+Wide的双摄组合方案，1.0x到8x(10x)可看成Wide+Tele的双摄方案；四摄模组的组合方式通常是Ultra+Wide+Tele+潜望式长焦镜头，2.0x到50x可看成Tele+潜望式长焦镜头的双摄方案，切换倍率一般在5.0x，具体多摄变焦控制方法如上所述，这里不再一一举例赘述。
实施例六
对应于上述方法实施例，本发明实施例提供了一种多摄变焦控制装置的结构示意图，装置设置于配置有第一摄像头和第二摄像头的设备，其中，设备预先配置有倍率过渡区；如图6所示，装置包括：开启模块60，用于在第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于倍率过渡区，开启第二摄像头；第一获取模块61，用于基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵；第二获取模块62，用于获取第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像；第一计算模块63，用于基于第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、当前设定倍率计算平移矩阵；第二计算模块64，用于根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵；第三获取模块65，用于应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。
本发明实施例提供的一种多摄变焦控制装置，在第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于倍率过渡区，开启第二摄像头；基于第一摄像头和第二摄像头的标定参数，获取当前设定倍率下的立体校正矩阵；基于获取到的第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，结合当前设定倍率计算平移矩阵；根据立体校正矩阵和平移矩阵计算倍率过渡区对应的平滑过渡变换矩阵；应用平滑过渡变换矩阵对第一摄像头输出的图像进行仿射变换，得到设备的显示图像。该装置在对图像立体校正对齐的基础上，在感兴趣区域使用模板匹配得到稳定的平移量，实现感兴趣区域平滑过渡，提高了感兴趣区域对齐的稳定性。
进一步的，倍率过渡区为预设的第一临界倍率至预设的第二临界倍率对应的倍率区间，第二临界倍率为设备的显示图像由第一摄像头采集的图像切换至第二摄像头采集的图像时对应的倍率。
进一步的，第二获取模块62还用于：对第一摄像头采集的第一原始图像和第二摄像头采集的第二原始图像进行中心裁剪放大处理，得到第一缩放图像和第二缩放图像。
进一步的，第一缩放图像和第二缩放图像的分辨率相同；第一计算模块63还用于：基于第一缩放图像和第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定倍率过渡区对应的总平移量；根据当前设定倍率和总平移量计算平移矩阵。
进一步的，第一缩放图像和第二缩放图像对应的分辨率均为第二临界倍率对应的分辨率。
进一步的，第一计算模块63还用于：确定第一缩放图像的对焦点；以对焦点为中心确定第一缩放图像的第一感兴趣区域和第二缩放图像的第二感兴趣区域；对第一感兴趣区域和第二感兴趣区域进行特征检测，得到第一感兴趣区域对应的第一特征信息和第二感兴趣区域对应的第二特征信息；基于第一特征信息和第二特征信息中相同特征信息对应的像素位置关系，确定当前设定倍率下第一缩放图像对齐至第二缩放图像的平移量；根据平移量确定倍率过渡区对应的总平移量。
进一步的，第一计算模块63还用于：检测第一缩放图像中是否包含有目标对象；如果有，以目标对象的中心为对焦点；如果没有，以第一缩放图像的中心为对焦点。
进一步的，第一计算模块63还用于：如果设备的显示屏为触摸屏，监听用户在触摸屏的点触操作；将监听到的点触操作位置作为第一缩放图像的对焦点。
进一步的，第二感兴趣区域为与第一感兴趣区域的图形形状相同，且第二感兴趣区域的图形大于第一感兴趣区域的图形。
进一步的，第一计算模块63还用于：设置倍率过渡区对应的总平移量T＝(x1+(x2-wideScale))*t，其中，x1为第一视场角度对应的放大倍率，x2为第二视场角度对应的放大倍率，wideScale为当前设定倍率下第一摄像头对应的实际放大倍率；t为当前设定倍率下第一缩放图像对齐至第二缩放图像的平移量。
进一步的，第一获取模块61还用于：设置当前设定倍率下的立体校正矩阵为Hw1＝Hs2*Hwt*Hs1，其中，
Figure BDA0002450812410000261
表示第一原始图像向第二原始图像对齐的立体校正矩阵；Kt是第二摄像头的标定内参数；Kw是第一摄像头的标定内参数；Rtw是预先标定的第一摄像头到第二摄像头的旋转矩阵；
Hs1表示第一缩放图像转换至第一原始图像的倍率矩阵；Hs2表示第二原始图像转换至第二缩放图像的倍率矩阵。
进一步的，第一计算模块63还用于：设置平移矩阵Ht如下：
Figure BDA0002450812410000271
T0x为x方向上从第一临界倍率开始至当前显示倍率下已经平移的量，T0y为y方向上从第一临界倍率开始至当前显示倍率下已经平移的量；Tx为x方向上从当前显示倍率至第二临界倍率的总平移量；Ty为y方向上从当前显示倍率至第二临界倍率的总平移量。
进一步的，第二计算模块64还用于：
设置平滑过渡变换矩阵为H＝Ht*Hs3*Hwt*Hs1，其中，Ht为平移矩阵；
Figure BDA0002450812410000272
Figure BDA0002450812410000273
为第一原始图像转换至第一缩放图像的倍率矩阵；fw和ft分别为相同分辨率下，第一摄像头和第二摄像头的焦距；Hwt表示第一原始图像向第二原始图像对齐的立体校正矩阵；Hs1表示第一缩放图像转换至第一原始图像的倍率矩阵。
本发明实施例所提供的多摄变焦控制装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，多摄变焦控制装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例七
本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述多摄变焦控制方法的步骤。
本发明实施例所提供的一种多摄变焦控制方法、装置及电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种多摄变焦控制方法，其特征在于，所述方法应用于配置有第一摄像头和第二摄像头的设备，其中，所述设备预先配置有倍率过渡区；所述方法包括：
在所述第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于所述倍率过渡区，开启所述第二摄像头；
基于所述第一摄像头和所述第二摄像头的标定参数，获取所述当前设定倍率下的立体校正矩阵；
获取所述第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像；
基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、所述当前设定倍率计算平移矩阵；
根据所述立体校正矩阵和所述平移矩阵计算所述倍率过渡区对应的平滑过渡变换矩阵；
应用所述平滑过渡变换矩阵对所述第一摄像头输出的图像进行仿射变换，得到所述设备的显示图像。
2.根据权利要求1所述的方法，其特征在于，所述倍率过渡区为预设的第一临界倍率至预设的第二临界倍率对应的倍率区间，所述第二临界倍率为所述设备的显示图像由所述第一摄像头采集的图像切换至所述第二摄像头采集的图像时对应的倍率。
3.根据权利要求1所述的方法，其特征在于，获取所述第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像的步骤，包括：
对所述第一摄像头采集的第一原始图像和所述第二摄像头采集的第二原始图像进行中心裁剪放大处理，得到第一缩放图像和第二缩放图像。
4.根据权利要求2所述的方法，其特征在于，所述第一缩放图像和所述第二缩放图像的分辨率相同；
基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、所述当前设定倍率计算平移矩阵的步骤，包括：
基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定所述倍率过渡区对应的总平移量；
根据所述当前设定倍率和所述总平移量计算平移矩阵。
5.根据权利要求4所述的方法，其特征在于，所述第一缩放图像和所述第二缩放图像对应的分辨率均为所述第二临界倍率对应的分辨率。
6.根据权利要求4所述的方法，其特征在于，基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系，确定所述倍率过渡区对应的总平移量的步骤，包括：
确定所述第一缩放图像的对焦点；
以所述对焦点为中心确定所述第一缩放图像的第一感兴趣区域和所述第二缩放图像的第二感兴趣区域；
对所述第一感兴趣区域和所述第二感兴趣区域进行特征检测，得到所述第一感兴趣区域对应的第一特征信息和所述第二感兴趣区域对应的第二特征信息；
基于所述第一特征信息和所述第二特征信息中相同特征信息对应的像素位置关系，确定所述当前设定倍率下所述第一缩放图像对齐至所述第二缩放图像的平移量；
根据所述平移量确定所述倍率过渡区对应的总平移量。
7.根据权利要求6所述的方法，其特征在于，确定所述第一缩放图像的对焦点包括：
检测所述第一缩放图像中是否包含有目标对象；
如果有，以所述目标对象的中心为对焦点；
如果没有，以所述第一缩放图像的中心为对焦点。
8.根据权利要求6所述的方法，其特征在于，确定所述第一缩放图像的对焦点包括：
如果所述设备的显示屏为触摸屏，监听用户在所述触摸屏的点触操作；
将监听到的所述点触操作位置作为所述第一缩放图像的对焦点。
9.根据权利要求6所述的方法，其特征在于，所述第二感兴趣区域为与所述第一感兴趣区域的图形形状相同，且所述第二感兴趣区域的图形大于所述第一感兴趣区域的图形。
10.根据权利要求6所述的方法，其特征在于，根据所述平移量确定所述倍率过渡区对应的总平移量的步骤，包括：
设置所述倍率过渡区对应的总平移量T＝(x1+(x2-wideScale))*t，其中，x1为第一视场角度对应的放大倍率，x2为第二视场角度对应的放大倍率，wideScale为所述当前设定倍率下所述第一摄像头对应的实际放大倍率；t为所述当前设定倍率下所述第一缩放图像对齐至所述第二缩放图像的平移量。
11.根据权利要求1所述的方法，其特征在于，基于所述第一摄像头和所述第二摄像头的标定参数，获取所述当前设定倍率下的立体校正矩阵的步骤，包括：
设置所述当前设定倍率下的立体校正矩阵为Hw1＝Hs2*Hwt*Hs1，其中，
Figure FDA0003168913400000031
Hwt表示第一原始图像向第二原始图像对齐的立体校正矩阵；Kt是第二摄像头的标定内参数；Kw是第一摄像头的标定内参数；Rtw是预先标定的第一摄像头到第二摄像头的旋转矩阵；Hs1表示第一缩放图像转换至第一原始图像的倍率矩阵；Hs2表示第二原始图像转换至第二缩放图像的倍率矩阵。
12.根据权利要求4所述的方法，其特征在于，根据所述当前设定倍率和所述总平移量计算平移矩阵的步骤，包括：
设置平移矩阵Ht如下：
Figure FDA0003168913400000041
T0x为x方向上从第一临界倍率开始至当前显示倍率下已经平移的量，T0y为y方向上从第一临界倍率开始至当前显示倍率下已经平移的量；Tx为x方向上从第一临界倍率至第二临界倍率的总平移量；Ty为y方向上从第一临界倍率至第二临界倍率的总平移量；wideScale为所述当前设定倍率下所述第一摄像头对应的实际放大倍率。
13.根据权利要求1所述的方法，其特征在于，根据所述立体校正矩阵和所述平移矩阵计算所述倍率过渡区对应的平滑过渡变换矩阵的步骤包括：
设置平滑过渡变换矩阵为H＝Ht*Hs3*Hwt*Hs1，其中，Ht为所述平移矩阵；
Figure FDA0003168913400000042
Figure FDA0003168913400000043
为第一原始图像转换至所述第一缩放图像的倍率矩阵；fw和ft分别为相同分辨率下，第一摄像头和第二摄像头的焦距；Hwt表示第一原始图像向第二原始图像对齐的立体校正矩阵；Hs1表示第一缩放图像转换至第一原始图像的倍率矩阵。
14.一种多摄变焦控制装置，其特征在于，所述装置设置于配置有第一摄像头和第二摄像头的设备，其中，所述设备预先配置有倍率过渡区；所述装置包括：
开启模块，用于在所述第一摄像头采集图像的过程中，如果用户输入的当前设定倍率处于所述倍率过渡区，开启所述第二摄像头；
第一获取模块，用于基于所述第一摄像头和所述第二摄像头的标定参数，获取所述当前设定倍率下的立体校正矩阵；
第二获取模块，用于获取所述第一摄像头对应的第一缩放图像和第二摄像头对应的第二缩放图像；
第一计算模块，用于基于所述第一缩放图像和所述第二缩放图像对应的同一感兴趣内容区域间的像素位置对应关系、所述当前设定倍率计算平移矩阵；
第二计算模块，用于根据所述立体校正矩阵和所述平移矩阵计算所述倍率过渡区对应的平滑过渡变换矩阵；
第三获取模块，用于应用所述平滑过渡变换矩阵对所述第一摄像头输出的图像进行仿射变换，得到所述设备的显示图像。
15.一种电子系统，其特征在于，所述电子系统为配置有第一摄像头和第二摄像头的设备；
所述电子系统包括图像输入装置、处理器和存储装置；
所述图像输入装置，用于获取所述第一摄像头和第二摄像头采集的图像数据；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-13任一项所述的多摄变焦控制方法。
16.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行如权利要求1-13任一项所述的多摄变焦控制方法的步骤。
CN202010292168.XA 2020-04-14 2020-04-14 多摄变焦控制方法、装置及电子系统 Active CN111641775B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010292168.XA CN111641775B (zh) 2020-04-14 2020-04-14 多摄变焦控制方法、装置及电子系统
US17/792,332 US20230059657A1 (en) 2020-04-14 2020-09-30 Multi-camera zoom control method and apparatus, and electronic system and storage medium
KR1020227019444A KR20220128334A (ko) 2020-04-14 2020-09-30 다중 카메라 줌 제어 방법, 장치, 전자 시스템 및 저장 매체
PCT/CN2020/119476 WO2021208371A1 (zh) 2020-04-14 2020-09-30 多摄变焦控制方法、装置、电子系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010292168.XA CN111641775B (zh) 2020-04-14 2020-04-14 多摄变焦控制方法、装置及电子系统

Publications (2)

Publication Number Publication Date
CN111641775A CN111641775A (zh) 2020-09-08
CN111641775B true CN111641775B (zh) 2021-10-01

Family

ID=72331217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010292168.XA Active CN111641775B (zh) 2020-04-14 2020-04-14 多摄变焦控制方法、装置及电子系统

Country Status (4)

Country Link
US (1) US20230059657A1 (zh)
KR (1) KR20220128334A (zh)
CN (1) CN111641775B (zh)
WO (1) WO2021208371A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014199338A2 (en) * 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
CN111641775B (zh) * 2020-04-14 2021-10-01 北京迈格威科技有限公司 多摄变焦控制方法、装置及电子系统
CN112073642B (zh) * 2020-09-18 2021-09-14 展讯通信（上海）有限公司 多摄像头设备的视频录制方法及装置、存储介质、终端
CN114531539B (zh) * 2020-11-23 2024-03-19 华为技术有限公司 拍摄方法及电子设备
US20220201208A1 (en) * 2020-12-23 2022-06-23 Qualcomm Incorporated Camera sensor changes in multi-sensor device
CN112804450B (zh) * 2020-12-31 2022-05-27 Oppo广东移动通信有限公司 一种摄像头的开启方法、电子设备及计算机存储介质
CN112995511B (zh) * 2021-03-02 2022-11-15 Oppo广东移动通信有限公司 摄像头切换方法、装置、电子设备和存储介质
CN113055592B (zh) * 2021-03-11 2023-03-21 Oppo广东移动通信有限公司 图像展示方法、装置、电子设备和计算机可读存储介质
CN113099143B (zh) * 2021-03-29 2023-03-21 南昌欧菲光电技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113542625A (zh) * 2021-05-28 2021-10-22 北京迈格威科技有限公司 图像处理方法、装置、设备和存储介质
CN113630549B (zh) * 2021-06-18 2023-07-14 北京旷视科技有限公司 变焦控制方法、装置、电子设备和计算机可读存储介质
WO2023044789A1 (zh) * 2021-09-24 2023-03-30 深圳市大疆创新科技有限公司 图像采集装置的变焦方法及装置
CN113793259B (zh) * 2021-11-15 2022-02-15 深圳思谋信息科技有限公司 图像变焦方法、计算机设备和存储介质
WO2023220868A1 (zh) * 2022-05-16 2023-11-23 北京小米移动软件有限公司 一种图像处理方法、装置、终端及存储介质
CN115550544B (zh) * 2022-08-19 2024-04-12 荣耀终端有限公司 图像处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932A (zh) * 2009-12-21 2010-05-19 深圳华为通信技术有限公司 图像拼接方法及装置
JP2015126402A (ja) * 2013-12-26 2015-07-06 日本放送協会 ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム
CN108243299A (zh) * 2016-12-23 2018-07-03 联发科技股份有限公司 一种双摄像头设备
CN109194849A (zh) * 2013-06-13 2019-01-11 核心光电有限公司 双孔径变焦数字摄影机
CN110351487A (zh) * 2019-08-26 2019-10-18 Oppo广东移动通信有限公司 控制方法、控制装置、电子设备和存储介质
CN110493525A (zh) * 2019-09-04 2019-11-22 展讯通信（上海）有限公司 变焦图像确定方法及装置、存储介质、终端
CN110913122A (zh) * 2018-09-18 2020-03-24 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN102065313B (zh) * 2010-11-16 2012-10-31 上海大学 平行式相机阵列的未标定多视点图像校正方法
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
TWI629550B (zh) * 2016-09-02 2018-07-11 聚晶半導體股份有限公司 影像擷取裝置及其縮放影像的方法
WO2018053786A1 (en) * 2016-09-23 2018-03-29 Qualcomm Incorporated Adaptive motion filtering in an unmanned autonomous vehicle
US20190347822A1 (en) * 2018-05-11 2019-11-14 Qualcomm Incorporated Automatic determination and calibration for spatial relationship between multiple cameras
CN111641775B (zh) * 2020-04-14 2021-10-01 北京迈格威科技有限公司 多摄变焦控制方法、装置及电子系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932A (zh) * 2009-12-21 2010-05-19 深圳华为通信技术有限公司 图像拼接方法及装置
CN109194849A (zh) * 2013-06-13 2019-01-11 核心光电有限公司 双孔径变焦数字摄影机
JP2015126402A (ja) * 2013-12-26 2015-07-06 日本放送協会 ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム
CN108243299A (zh) * 2016-12-23 2018-07-03 联发科技股份有限公司 一种双摄像头设备
CN110913122A (zh) * 2018-09-18 2020-03-24 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质
CN110351487A (zh) * 2019-08-26 2019-10-18 Oppo广东移动通信有限公司 控制方法、控制装置、电子设备和存储介质
CN110493525A (zh) * 2019-09-04 2019-11-22 展讯通信（上海）有限公司 变焦图像确定方法及装置、存储介质、终端

Also Published As

Publication number Publication date
WO2021208371A1 (zh) 2021-10-21
KR20220128334A (ko) 2022-09-20
US20230059657A1 (en) 2023-02-23
CN111641775A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111641775B (zh) 多摄变焦控制方法、装置及电子系统
US11546518B2 (en) Dual aperture zoom camera with video support and switching / non-switching dynamic control
US8773509B2 (en) Imaging device, imaging method and recording medium for adjusting imaging conditions of optical systems based on viewpoint images
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
CN110493525B (zh) 变焦图像确定方法及装置、存储介质、终端
EP3016065B1 (en) Coordinate computation device and method, and image processing device and method
CN111479065B (zh) 相机视场角同步方法及装置、图像拍摄方法及装置
JP4957134B2 (ja) 距離計測装置
CN111935398B (zh) 图像的处理方法、装置、电子设备和计算机可读介质
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
CN113630549B (zh) 变焦控制方法、装置、电子设备和计算机可读存储介质
CN107800953B (zh) 图像获取装置及其缩放图像的方法
CN111815517B (zh) 一种基于球机抓拍图片的自适应全景拼接方法
WO2013096331A1 (en) Method and system for image centering during zooming
CN111445537B (zh) 一种摄像机的标定方法及系统
CN105721767A (zh) 处理视频流的方法
CN111917941B (zh) 摄像机画面处理方法及摄像机
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
US11425307B2 (en) Image capture device in which the focal length of the image capture device can be expanded without increasing the size of lenses
CN114119701A (zh) 图像处理方法及其装置
JP2015220662A (ja) 画像処理装置及びその制御方法、並びにプログラム
CN114092316A (zh) 图像处理方法、设备及存储介质
JP6566765B2 (ja) 撮像装置
JP2006128995A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant