CN112995511B - 摄像头切换方法、装置、电子设备和存储介质 - Google Patents
摄像头切换方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112995511B CN112995511B CN202110227956.5A CN202110227956A CN112995511B CN 112995511 B CN112995511 B CN 112995511B CN 202110227956 A CN202110227956 A CN 202110227956A CN 112995511 B CN112995511 B CN 112995511B
- Authority
- CN
- China
- Prior art keywords
- camera
- current
- image
- zoom
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种摄像头切换方法、装置、电子设备和存储介质,若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令,然后控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像,该虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建,最后若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。该方法实现了接力变焦过程中从一个摄像头到另一个摄像头逐渐收敛,达到平滑过渡切换摄像头的目的。
Description
技术领域
本申请涉及影像技术领域,特别是涉及一种摄像头切换方法、装置、电子设备和存储介质。
背景技术
随着终端影像技术发展,越来越多的终端搭载多个摄像头,形成多摄系统以提升终端的影像能力。
多摄系统中的不同摄像头往往是工作在不同焦段上的,为了增加焦段覆盖范围,每个镜头一般都会支持一定范围的数码变焦。在一个完整的多摄系统中,不同镜头的变焦范围一般会相互覆盖到,从而让整个多摄系统支持从一个近焦段到远焦段的连续变焦过程。为了实现连续变焦,就需要在某些焦段附近进行摄像头的切换。然而,每个摄像头的光学特性、FOV、排布位置、色彩表现等各不相同,这就导致了从一个摄像头图像切到另一个摄像头,几乎必然会发生图像的突变,从而让连续变焦的过程受到损坏。
因此,在多摄系统中,如何自然地在多个摄像头之间切换,实现自然连续的变焦成为亟待解决的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够自然地在多个摄像头之间切换,实现自然连续的变焦的摄像头切换方法、装置、电子设备和存储介质。
第一方面,本申请提供一种摄像头切换方法,该方法包括:
若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令;
控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像;虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建;
若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。
第二方面,本申请提供一种摄像头切换装置,该装置包括:
发送模块,用于若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令;
过渡模块,用于控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像;虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建;
切换模块,用于若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。
第三方面,本申请提供一种电子设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述第一方面所提供的任一项方法步骤。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面所提供的任一项方法步骤。
上述摄像头切换方法、装置、电子设备和存储介质,若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令,然后控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像,该虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建,最后若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。该方法中,在当前摄像头到达预设的预设切换倍率时,并不立刻切换摄像头画面,而是先通知目标摄像头开始启动,并在目标摄像头启动过程中,控制当前摄像头继续进行变焦,且在变焦过程中,采用根据当前摄像头和目标摄像头的参数确定的虚拟摄像头来映射当前摄像头采集的图像,最后在虚拟摄像头所成的图像与目标摄像头的画面对齐时,再将当前摄像头画面切换为目标摄像头画面。整个过程中,设置变焦过程中的虚拟摄像头,将真实摄像头的图像变换到虚拟摄像头上,通过虚拟摄像头对不同摄像头之间的画面进行过渡,使得目标摄像头接力当前摄像头的变焦连续自然,实现了接力变焦过程中从一个摄像头到另一个摄像头逐渐收敛,达到平滑过渡切换摄像头的目的。
附图说明
图1a为一个实施例中摄像头切换方法的应用环境图;
图1b为一个实施例中提供的终端设备内部结构示意图;
图2为一个实施例中摄像头切换方法的流程示意图;
图3为一个实施例中摄像头切换变焦过程示意图;
图4为一个实施例中两个摄像头的视野覆盖示意图;
图5为一个实施例中摄像头切换时接力摄像头启动示意图;
图6为一个实施例中摄像头切换方法的流程示意图;
图7为一个实施例中虚拟摄像头可扩展的插值区间示意图;
图8为一个实施例中摄像头切换方法的流程示意图;
图9为一个实施例中主摄像头的变焦范围内的N个采样点示意图;
图10为一个实施例中摄像头切换方法的流程示意图;
图11为一个实施例中摄像头切换方法的流程示意图;
图12为一个实施例中小孔成像模型示意图示意图;
图13为一个实施例中摄像头切换方法的流程示意图;
图14为一个实施例中摄像头切换装置的结构框图;
图15为一个实施例中终端设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
应当理解,本申请的权利要求、说明书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解,在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本申请提供的摄像头切换方法,可以应用于如图1a所示的应用环境中。其中,终端设备01包括多个摄像头011,该终端设备01可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等设备。其中,如图1b所示的终端设备的内部结构示意图,其中,终端设备中的处理器用于提供计算和控制能力。存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。数据库用于摄像头切换过程的相关数据。该网络接口用于与外部的其他设备通过网络连接通信。该计算机程序被处理器执行时以实现一种摄像头切换方法。需要说明的是,图1b所示意的终端设备的内部结构示意图仅仅是用于举例说明,并不构成对终端设备的内部结构的限定。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是,本申请提供的一种摄像头切换方法,执行主体为终端设备,其中,该方法的执行主体还可以为摄像头切换装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为终端设备的部分或者全部。
在一个实施例中,如图2所示,提供了一种摄像头切换方法,该实施例涉及的是终端设备在当前摄像头到达预设的切换倍率时,在目标摄像头启动的过程中,通过虚拟摄像头将当前摄像头所采集的图像平滑过渡到启动后的目标摄像头的展示画面中的具体过程,该实施例包括以下步骤:
S101,若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令。
终端设备包括多个摄像头,拍照或者录制视频时会涉及摄像头切换,当前摄像头泛指终端设备中的任一当前正在使用的摄像头,目标摄像头泛指终端设备中任一待接力当前摄像头的摄像头。
摄像头进行影像业务时,变焦是一种基础的功能点,即在一定范围内变换焦距,从而得到不同宽窄的视场角、不同大小和不同景物范围的影像。例如,数码变焦、光学变焦、双摄变焦等。当前摄像头在拍摄景物时,若达到预设的切换倍率则表示需要将当前摄像头切换至下一个接力的目标摄像头。对于每个摄像头来说,其预设的切换倍率均不相同,例如,当前摄像头是广角摄像头,目标摄像头是主摄像头,那么预设的切换倍率可以是1X;或者,当前摄像头是主摄像头,目标摄像头是长焦摄像头,那么预设的切换倍率可以是5X。每个摄像头预设的切换倍率可根据实际情况预先设定,本申请实施例对此不加以限制。
一般地,由于摄像头开启时会造成较大的电流消耗,为了降低功率,在终端设备中多个摄像头中只在摄像头需要的时候开启,在不需要的时候是处于关闭状态,所以在当前摄像头变焦到达其预设的切换倍率时,终端设备需向目标摄像头发送启动指令,以指示目标摄像头启动,保证在切换摄像头时目标摄像头处于启动状态。
S102,控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像;虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建。
在当前摄像头达到预设的切换倍率时,控制当前摄像头在目标摄像头的变焦范围内进行变焦,例如,可以是继续进行数码变焦、光学变焦、数码变焦和光学变焦构成的混合变焦等。其中,数码变焦是对图像进行数码放大和裁切来实现,例如,在变焦放大的过程中,不断裁切图像并通过上采样的方式放大到原始尺寸。而光学变焦的镜头支持对镜头的光学结构进行调整,例如,推动镜片或传感器位置等来实现光学变焦;光学变焦是对光路进行改变,让图像传感器可以捕获到不同缩放倍率的图像,其一般只会改变图像的FOV(视野)。当然,为了增加光学变焦镜头的变焦范围,同时也兼顾成像画面的图像质量,可以在光学变焦图像的基础上,再进行数码变焦,从而形成了一种混合变焦;例如,在一个只支持到最大5X的光学变焦镜头上,允许最大2X的数码变焦,这样该镜头就可以支持到最大10X的混合变焦。这样,当前摄像头继续在目标摄像头的变焦范围内进行变焦,可以实现随着变焦倍率的变化逐渐靠近目标摄像头的变焦倍率。
摄像头的变焦范围指的是摄像头所支持的最大、最小焦距的跨度。变焦范围内对应不同的变焦倍率,变焦倍率指的就是图像缩放倍率。从当前摄像头切换到目标摄像头的变焦过程中,每个变焦倍率分别对应一个虚拟摄像头,该虚拟摄像头为针对在两个摄像头切换时的变焦过程中,用于将当前摄像头所采集的图像平滑过渡到启动后的目标摄像头的展示画面的摄像头。
虚拟摄像头是结合当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建的。变焦过程中的变焦倍率是逐渐放大或者逐渐缩小的,所以虚拟摄像头的内参也是在每个变焦倍率处逐渐发生变化的。例如,预设的切换倍率为1X,后续切换摄像头时目标摄像头的变焦倍率时2X,那么,虚拟摄像头就是1X到2X之间(比如1.1X、1.2X等)每个倍率处内参不同,且随着1X到2X倍率逐渐放大,每个倍率对应的虚拟摄像头的内参也逐渐变化,直到2X,虚拟摄像头的内参与2X处的目标摄像头内参相同,相当于,虚拟摄像头为当前摄像头到目标摄像头之间的过渡摄像头。具体的,在变焦过程中,需要将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像,即变焦过程中每个变焦倍率处当前摄像头所采集的图像时通过对应的虚拟摄像头映射的,从用户角度看到就是当前摄像头画面中展示的图像在平滑地变焦。
其中,每个变焦倍率对应的虚拟摄像头可以是预先就构建好并存储在终端设备中,这样,在实际使用时到达每个变焦倍率是可直接调用该变焦倍率对应的虚拟摄像头,从而达到节省时间,提高摄像头切换效率的效果。另外,考虑到在一些场景中,终端设备的实际摄像头的参数会因一些原因产生变化后与出厂时的参数不一致,该变焦过程中每个变焦倍率对应的虚拟摄像头也可以是在实际使用时实时构建,即结合当前摄像头和目标摄像头的实际情况实时构建每个变焦倍率对应的虚拟摄像头,可以保证构建的各变焦倍率对应的虚拟摄像头的参数的准确性。两种构建方式,在实际应用中可根据实际情况选择其一或者将两者相结合来构建,本申请实施例对此不加以限定。
S103,若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。
在目标摄像头启动后,检测虚拟摄像头所成的图像与目标摄像头的画面是否对齐,若对齐则将当前摄像头切换为目标摄像头,即将图像切换到目标摄像头的画面中展示,从而完成将画面从当前摄像头的画面中平滑到目标摄像头的画面中。例如图3所示,以终端设备包括广角摄像头、主摄像头和长焦摄像头为例,图中P1为当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令的时刻,点P2为将当前摄像头切换为目标摄像头的时刻,P1与P2之间为变焦过程。
虚拟摄像头在不同变焦倍率处的内参不同,使得其所成的图像的尺寸范围也在不同的变焦倍率处不同。目标摄像头的内参决定其变焦倍率zoom factor,而变焦倍率体现了目标摄像头的画面尺寸范围。所以虚拟摄像头所成的图像与目标摄像头的画面对齐表示虚拟摄像头所成的图像的尺寸范围相同或者相近。
示例地,可通过判断虚拟摄像头所成的图像的尺寸范围与目标摄像头的画面的尺寸范围是否重叠、重合来确定虚拟摄像头所成的图像与目标摄像头的画面对齐。具体的,确定虚拟摄像头所成的图像的尺寸范围与目标摄像头的画面的尺寸范围是否重叠/重合可根据虚拟摄像头所成的图像的四个边界(即上下左右四个边界)上的端点是否重叠/重合来判断。示例地,还可以获取虚拟摄像头所成的图像的边界上各点的第一坐标信息,以及当前摄像头的画面的边界上各点的第二坐标信息,当第一坐标信息和第二坐标信息相同,确定虚拟摄像头所成的图像与目标摄像头的画面对齐。本申请实施例对此不作限定。
本申请实施例提供的摄像头切换方法,若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令,然后控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像,该虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建,最后若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。该方法中,在当前摄像头到达预设的预设切换倍率时,并不立刻切换摄像头画面,而是先通知目标摄像头开始启动,并在目标摄像头启动过程中,控制当前摄像头继续进行变焦,且在变焦过程中,采用根据当前摄像头和目标摄像头的参数确定的虚拟摄像头来映射当前摄像头采集的图像,最后在虚拟摄像头所成的图像与目标摄像头的画面对齐时,再将当前摄像头画面切换为目标摄像头画面。整个过程中,设置变焦过程中的虚拟摄像头,将真实摄像头的图像变换到虚拟摄像头上,通过虚拟摄像头对不同摄像头之间的画面进行过渡,使得目标摄像头接力当前摄像头的变焦连续自然,实现了接力变焦过程中从一个摄像头到另一个摄像头逐渐收敛,达到平滑过渡切换摄像头的目的。
多摄系统中,每个摄像头的畸变系数是不同的,因此每个摄像头的FOV(视野)范围并不是标准的矩形,而是带有畸变信息和其他光学特性造成的不规则形状,每个摄像头并不是放置在同一位置,而是分布排列在一起,由于制造和组装工艺总是存在误差,每个摄像头也不是精准地对着同一个方向。这些就造成每个摄像头的视野也不是完全中心对齐的,而是存在一定偏移,例如,如图4所示的两个摄像头的视野覆盖情况,如果仅仅是对较大视野的图像进行中心裁切和放大,虽然可以实现数码变焦,但是这样的方式变焦到另一个摄像头的焦段上时,是不能和另一个摄像头的视野对齐的,达不到平滑过渡到另一个摄像头的目的。如图4中L2为L1的裁切结果,其与L3并不完全重叠,存在偏差。因此,虽然L2对应的缩放倍率达到了L3的缩放倍率,此时直接从L1摄像头切换到较小视野的摄像头会出现画面的跳变,导致多摄接力变焦不自然平滑。对此,本申请实施例中,通过每个倍率处设置一个虚拟摄像头,各虚拟摄像头的内参随着变焦倍率而变化,使得虚拟摄像头所成的图像逐渐与目标摄像头的画面对齐,这样,确保了摄像头切换时的画面图像对齐,才进行摄像头画面切换,不会出现画面错位跳变。
另外,实际应用中是到达指定缩放倍率时立刻切换摄像头,但由于摄像头开启时会造成较大的电流消耗,所以为了降低功率,未激活的摄像头一般处于关闭状态,只在摄像头需要的时候开启,在不需要的时候是处于关闭状态。这带来的问题是,如果设置固定的倍率切换摄像头,例如1X或5X,当滑动到指定倍率时再启动下一个接力摄像头,摄像头的启动需要一定时间,此时就不能再进行变焦,只能在当前倍率等待下一个摄像头启动完成后,才能切换摄像头继续变焦,造成卡顿,变焦过程不连续自然。为了尽可能缩短切换摄像头的时间,可以通过设计提前量的方式,在快到达指定缩放倍率时提前启动另一个摄像头,如图5所示,当缩放到切换摄像头的倍率时,下一个摄像头可能已经启动成功,可以立刻切换。但是,当进行快速缩放时,预设的提前量可能仍然不足够让下一个摄像头启动完成,必须等带摄像头启动完成才能切换,出现画面卡顿。但是本申请实施例中,虚拟摄像头是对变焦过程中每个变焦倍率均对应设置,即在当前摄像头继续变焦过程中的任何时刻发生摄像头切换时,都可以实现画面自然连续的变焦的效果,避免了摄像头切换时需要等待目标摄像头启动所产生的卡顿现象,这样就支持在任意倍率下切换摄像头,等待新摄像头启动的时间仍然可以在原摄像头上工作,待新摄像头启动完成后随时切换,不会出现卡顿。
基于上述实施例,下面对构建虚拟摄像头的其中一种可实施例方式进行详细说明。在一个实施例中,虚拟摄像头的构建过程包括:根据当前摄像头的内参、目标摄像头的内参,以及各变焦倍率确定虚拟摄像头的内参;根据当前摄像头的外参、目标摄像头的外参,以及各变焦倍率确定虚拟摄像头的外参。
前面提及虚拟摄像头可以预先构建,也可以实时构建,但无论是预先构建还是实时构建,其必须在执行将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像的操作之前构建好,以便保证变焦过程中当前摄像头所采集的图像通过虚拟摄像头平滑地在画面中进行过渡。
虚拟摄像头的参数包括内参和外参,例如,内参包括内参矩阵,即焦距、中心主点坐标等;外参包括平移矩阵和旋转矩阵,旋转矩阵反映的是世界坐标系的坐标轴相对于摄像机坐标轴的方向,平移矩阵反映的是在摄像机坐标系下,空间原点的位置。基于此,构建虚拟摄像头需要确定出虚拟摄像头的内参和外参。
其中,虚拟摄像头的内参可根据当前摄像头的内参、目标摄像头的内参,以及各变焦倍率确定;虚拟摄像头的外参可根据当前摄像头的外参、目标摄像头的外参,以及各变焦倍率确定。
当前摄像头的内参、外参,目标摄像头的内参、外参均可以预先获知,而变焦倍率也属于变焦过程中可以确定缩放倍率,那么在一个实施方式中,可通过预先训练好的神经网络模型来确定虚拟摄像头的内惨和外参,及将当前摄像头的内参、目标摄像头的内参,以及各变焦倍率作为神经网络模型的输入,输出结果即为虚拟摄像头的内参。若使用神经网络模型时,内参和外参所采用的神经网络模型不相同,也可以相同,本申请实施例对此不作限定。
在另外一个实施方式中,虚拟摄像头的内参可以通过当前摄像头的内参和目标摄像头的内参插值得到。而虚拟摄像头的外参可以根据变焦倍率所处时刻,虚拟摄像头的外参与当前摄像头的外参和目标摄像头的外参的比例信息确定。
在一个实施例中,以通过当前摄像头的内参和目标摄像头的内参插值的方式为例,对确定虚拟摄像头的内参的过程进行说明。如图6所示,该实施例包括以下步骤:
S201,根据当前摄像头的内参、目标摄像头的内参,以及各变焦倍率,构建内参插值函数。
通过当前摄像头的内参和目标摄像头的内参插值得到虚拟摄像头的内参,可以构建一个内参插值函数,然后通过内参插值函数确定出虚拟摄像头的内参。具体地,内参插值函数可表示为camera=f(i,cameraA,cameraB),其中,camera表示虚拟摄像头的内参,cameraA表示当前摄像头A;cameraB表示目标摄像头B;i表示过渡程度,即虚拟摄像头由当前摄像头A变焦到目标摄像头B的程度,该程度由变焦过程的变焦倍率所决定;例如,变焦过程是一个图像宽高缩放过程,可认为连续的缩放是变焦倍率相同的缩放,例如从1x到1.2x(倍数是1.2)和1.2x到1.44x(倍数是1.2)是一个相同程度的缩放。
设当前摄像头A的内参为该内参对应的变焦倍率zoom_factor为1x;目标摄像头B的内参为该内参对应的变焦倍率zoom_factor为10X。从当前摄像头A切换到目标摄像头B时的预设切换倍率为1X,则目标摄像头B的变焦范围为1X到10X,则对于变焦范围1X到10X之间任何某个倍率,其对应的虚拟相机内参可由camera A和camera B的内参插值得到,即通过插值函数camera=f(i,cameraA,cameraB)确定出来。另外,请参见图7所示,以手机搭载多个摄像头:超广角镜头(广角)、广角镜头(主摄)和长焦段镜头(长焦)为例,可以对虚拟摄像头在不同的插值区间进行扩展,实现插值范围的互相覆盖,在实际应用是插值范围可根据实际情况而定,本申请实施例对此不作限定。
为了保证构建的虚拟摄像头所成的图像可以平滑地将当前摄像头A所采集的图像过渡到目标摄像头B的画面中,需要构建的内参插值函数满足两个条件限制:第一,该函数必须经过camera A和camera B这两个目标点,并在目标点附近可导,即并且第二,该函数需在i∈[0,1]的区间内,对相机任意内外参数据都是连续且可导的。也就是说,构建的内参插值函数需要包括两个端点且中间是连续的。
S202,根据内参插值函数,确定虚拟摄像头的内参。
构建了内参插值函数后,可直接将当前摄像头的内参、目标摄像头的内参,以及各变焦倍率代入内参插值函数中,从而得到虚拟摄像头的内参。
本申请实施例通过构建内参插值函数,得到每个变焦倍率对应的虚拟摄像头的内参。该内参插值函数在构建时结合了虚拟摄像头由当前摄像头A变焦到目标摄像头B的程度,使得每个变焦倍率对应的虚拟摄像头的内参都时随着变焦程度而改变,从而在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像时,图像也在随着虚拟摄像头的内参在平滑过渡,不会出现画面卡顿,使得摄像头切换过程中变焦连续且自然。
可选地,如图8所示,在一个实施例中,上述S201包括以下步骤:
S301,获取目标摄像头的变焦范围的最大倍率对应的第一图像宽度和最小倍率对应的第二图像宽度。
摄像头的变焦范围内存在不同的缩放倍率,不同的缩放倍率对应的图像的宽度不相同。将目标摄像头的变焦范围的最大的缩放倍率对应的图像宽度作为第一图像宽度,最小的缩放倍率对应的图像宽度作为第二图像宽度。
一种实施方式中,获取第一图像宽度和第二图像宽度的方式可以是根据数据库中存储的变焦倍率与图像宽度之间的对应关系来确定。例如,预先根据根据实际测试,或者结合经验值确定出摄像头在变焦过程中的各缩放倍率对应的图像宽度,然后在终端设备的数据库中存储各变焦倍率(缩放倍率)与图像宽度之间的对应关系,在执行获取第一图像宽度和第二图像宽度的步骤时,即可从数据库中确定目标摄像头的变焦范围的最大倍率对应的图像宽度为第一图像宽度,确定目标摄像头的变焦范围的最小倍率对应的图像宽度为第二图像宽度。
另一种实施方式中,获取第一图像宽度和第二图像宽度的方式可以是直接根据确定的目标摄像头的变焦范围的最大倍率和最小倍率,实时地通过预设算法确定最大倍率对应的第一图像宽度和最小倍率对应的第二图像宽度。其中,预设的算法本申请实施例不做限定,例如,可以是预先训练好的算法模型,包括但不限于是神经网络模型、或者是其他算法训练的模型等。
S302,根据第一图像宽度和第二图像宽度之间线性关系,确定第一图像宽度和第二图像宽度之间的采样点的通用图像宽度表达式。
假设有宽为B的图像缩放到宽为A的图像,在从宽为B缩放到宽为A的过程中间设置N个采样点,那么存在一个线性关系,如公式(1):A=B*(x)N。基于该线性关系,假设B为第一图像宽度,A为第二图像宽度,所以可得第一图像宽度和第二图像宽度之间也符合公式(1)的线性关系。
对于上述N个采样点其中的一个采样点n处,设n处的图像宽度为c,将c代入上述公式(1)可得:c=B*(x)n,其中x可根据上述公式(1)换算出为而n为所以有:C本身表示的就是点n处的图像宽度,n为N个采样点中的任一采样点,所以,第一图像宽度和第二图像宽度之间的采样点的通用图像宽度表达式即为:
S303,根据通用图像宽度表达式、各变焦倍率、当前摄像头的内参、目标摄像头的内参,构建内参插值函数。
得到了第一图像宽度和第二图像宽度之间的采样点的通用图像宽度表达式后,根据该通用图像宽度表达式、各变焦倍率、当前摄像头的内参、目标摄像头的内参,构建内参插值函数。
上述通用图像宽度表达式为第一图像宽度和第二图像宽度之间的任一采样点处的图像宽度与两个端点(第一图像宽度和第二图像宽度)之间的函数关系,基于相机内参与成像的图像FOV(视野)的宽成线性关系的基础,可将当前摄像头的内参和目标摄像头的内参作为两个端点,当前摄像头切换为目标摄像头之间的任一变焦缩放倍率处的虚拟摄像头的内参pi为:
其中,piB为目标摄像机的内参,piA为当前摄像头的内参,n为当前摄像头切换为目标摄像头之间的任一变焦缩放倍率处对应的变焦(缩放)程度量化值。
变焦程度量化值反映的是当前摄像头到目标摄像头过程中变焦的程度,是一种过渡程度。可选地,可根据目标摄像头的变焦范围的最大倍率和最小倍率、各变焦倍率,确定各变焦倍率对应的变焦程度量化值;并根据各变焦倍率对应的变焦程度量化值、通用图像宽度表达式、当前摄像头的内参、目标摄像头的内参,构建内参插值函数。
示例地,可参见图9,设目标摄像头为主摄像头,那么目标摄像头的变焦范围的最大倍率为5X,最小倍率为1X,1X到5X之间设置N个采样点。对于1X到5X之间的任一变焦倍率zoom,就可确定出zoom处对应的变焦程度量化值其中,zoommax为最大倍率5X,zoommin为最小倍率1X。因此,将变焦程度量化值的代入上述公式(2),可得内参插值函数:
至此,可根据得到内参插值函数确定出虚拟摄像头的内参,即将获取到的当前摄像头的内参、目标摄像头的外参、变焦过程中所处的变焦倍率,代入内参插值函数中,即可计算得出虚拟摄像头的内参。
本申请实施例中,通过宽度和摄像头内参之间的线性关系,将图像宽度之间的线性关系式变换为摄像头内参之间的线性关系,从而根据摄像头内参之间的线性关系可确定出当前摄像头切换为目标摄像头之间的任一变焦缩放倍率处的虚拟摄像头的内参,从当前摄像头到目标摄像头之间每个变焦倍率对应的虚拟摄像头的内参随着其对应的变焦程度量化值平滑的变化,从而在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像时,图像也在平滑的过渡,视觉效果流畅,不会出现画面卡顿,使得摄像头切换过程中变焦连续且自然。
在一个实施例中,如图10所示,根据当前摄像头的外参、目标摄像头的外参,以及各变焦倍率构建虚拟摄像头的外参,包括:
S401,获取各变焦倍率在目标摄像头变焦范围的占比信息。
S402,根据占比信息、当前摄像头的外参、目标摄像头的外参,确定虚拟摄像头的外参。
本实施例对确定虚拟摄像头外参信息的过程,外参表示的摄像头的位置、旋转等信息,终端设备设置的多个摄像头的位置是固定的,即各实际摄像头的外参信息是固定,但虚拟摄像头属于两个实际摄像头之间的虚拟的。在目标摄像头启动过程中,当前摄像头在目标摄像头的变焦范围内进行变焦,该变焦过程中变焦倍率也在变化,所以变焦过程中不同变焦倍率对应的虚拟摄像头不止内参不相同,外参也在变化。虚拟摄像头的外参可结合虚拟摄像头的外参在当前摄像头外参与虚拟摄像头外参之间的比例关系确定。
一种实施方式中,可结合各变焦倍率在目标摄像头变焦范围的占比信息类比虚拟摄像头的外参在当前摄像头外参与虚拟摄像头外参之间的比例关系。例如,变焦范围为1X到5X,某一变焦倍率为1.2,该变焦倍率在变焦范围的占比信息为(1.2-1)/(5-1)=5%。
得到了变焦倍率在变焦范围的占比信息,根据占比信息、当前摄像头的外参、目标摄像头的外参,确定虚拟摄像头的外参。例如,根据当前摄像头的外参、目标摄像头的外参可确定出一个外参范围,对该外参范围乘以确定出的占比信息得到数值即为虚拟摄像头的外参。
另一种可实施方式中,可将当前摄像头的外参、目标摄像头的外参以及当前的变焦过程中的变焦倍率输入至预先训练好的神经网络模型中,该神经网络模型输出的结果即为虚拟摄像头的外参。本申请实施例对确定虚拟摄像头的外参的方式不作限定。
本申请实施例中,通过各变焦倍率在目标摄像头变焦范围的占比信息,类比虚拟摄像头的外参在当前摄像头外参与虚拟摄像头外参之间的比例关系,确定出虚拟摄像头的外参。各变焦倍率在目标摄像头变焦范围的占比信息可以反映虚拟摄像头的外参在变焦过程中的变化程度,所以确定出的每个目标摄像头的外参都是随着其对应的变焦倍率在平滑的变化,结合前面虚拟摄像头的内参在变焦范围内也是随着其对应的变焦程度量化值平滑的变化,这样就可以构建出一个可以实现将当前摄像头所采集的图像平滑过渡到启动后的目标摄像头的展示画面的虚拟摄像头。
且无论是内参还是外参,针对的都是变焦过程中的任一变焦倍率确定对应的虚拟摄像头,使得本申请实施例提供的摄像头切换方法支持在任意倍率下切换摄像头,等待新摄像头启动的时间仍然可以在原摄像头上工作,待新摄像头启动完成后随时切换,不会出现卡顿,使得摄像头切换过程中变焦连续且自然。
在一个实施例中,如图11所示,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像,包括:
S501,获取当前摄像头与虚拟摄像头之间的映射关系。
当前摄像头与虚拟摄像头之间的映射关系指的当前摄像头所采集的图像与虚拟摄像头所成的图像之间的映射关系。
构建了虚拟摄像头之后,已经确定了虚拟摄像头的内参和外参,而当前摄像头的内参和外参也可以获取到,因此,可结合相机模型来确定当前摄像头与虚拟摄像头之间的映射关系。
请参见图12所示的小孔成像模型示意图,假设相机模型为小孔成像,则成像过程中三维空间点到图像像素坐标的映射为:
其中,为摄像头的内参矩阵,fx,fy为焦距,cx及cy为相机中心坐标偏移,K为包括上述参数的相机内参矩阵;为摄像头的外参信息,其中,R和T为相机在世界坐标系下的旋转矩阵和平移矩阵,表征了相机的姿态;(x,y,z)为三维空间点p在世界坐标系下的坐标,(u,v)为p的像素点p′的像素坐标,请参见图7中p与p′的对应关系。
可选地,可根据三维空间点到图像像素坐标的映射关系和当前摄像头的畸变参数,对当前摄像头所采集的图像中的点进行畸变处理,得到第一像素坐标信息;根据三维空间点到图像像素坐标的映射关系和虚拟摄像头的畸变参数,对虚拟摄像头所成的图像中的点进行畸变处理,得到第二像素坐标信息;根据第一像素坐标信息、第二像素坐标信息、当前摄像头和虚拟摄像头之间的旋转矩阵和平移矩阵,确定当前摄像头与虚拟摄像头之间的映射关系。
实际应用中,摄像头拍摄的图像实际上是存在畸变的,所谓畸变,就是指在世界坐标系中的直线转化到其他坐标系不在是直线,从而导致失真,所以需对摄像头所采集的图像中的点进行畸变处理。畸变处理需要用到摄像头的畸变参数,畸变系数包括径向畸变系数和切向畸变系数。那么可根据上述三维空间点到图像像素坐标的映射和当前摄像头的畸变参数,对当前摄像头所采集的图像中的点进行畸变处理,可得到畸变处理后的当前摄像头所采集的图像中各点的像素坐标,即第一像素坐标信息。同样,据三维空间点到图像像素坐标的映射关系和虚拟摄像头的畸变参数,对虚拟摄像头所成的图像中的点进行畸变处理,可得到畸变处理后的虚拟摄像头所成的图像中的点的坐标,得到第二像素坐标信息。
以当前摄像头为例,distort表示畸变处理,下标src表示当前摄像头,下标world表示世界坐标系,则基于上述三维空间点到图像像素坐标的映射关系有如下公式:
去除Z轴维度,可进一步变形的到:
即可得到同理,对于虚拟摄像头也存在:其中,下标dst表示虚拟摄像头。结合相机坐标系和世界坐标系之间的关系为:可得,其中,为当前摄像头坐标系,R和T表示src camera(当前摄像头)和dst camera(虚拟摄像头)之间的旋转矩阵和平移矩阵。一般地,多摄系统中,两个相邻焦段的摄像头之间的旋转关系和平移关系都有进行标定,因此,可通过解析终端设备双摄标定文件可以得到该旋转矩阵和平移矩阵。
综上,可结合以上公式得到当前摄像头(src camera)与虚拟摄像头(dst camera)之间的映射关系:
S502,根据当前摄像头与虚拟摄像头之间的映射关系,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像。
在得到了当前摄像头与虚拟摄像头之间的映射关系之后,可根据该映射关系,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像。可选地,根据当前摄像头与虚拟摄像头之间的映射关系,确定当前摄像头所采集的图像中的各点映射在虚拟摄像头所成的图像中的坐标位置,得到虚拟摄像头所成的图像。
当前摄像头采集的图像中各点的坐标信息可以确定,根据当前摄像头与虚拟摄像头之间的映射关系,将当前摄像头所采集的图像中的各点映射为在虚拟摄像头所成的图像中的坐标位置,从而得到的图像即为虚拟摄像头所成的图像。例如,当前摄像头所采集的图像中每一个像素点的坐标为(udst,vdst),根据映射关系映射之后,对应像素点的坐标为(usrc,vsrc),得到当前摄像头所采集的图像中所有像素点在虚拟摄像头所成的图像中的坐标(usrc,vsrc),从而实现将实际摄像头拍摄的图像变换到虚拟摄像头所成的图像上。
本申请实施例根据三维空间点到图像像素坐标的映射关系确定出当前摄像头与虚拟摄像头之间的映射关系,然后根据当前摄像头与虚拟摄像头之间的映射关系,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像,由于虚拟摄像头的内外参是随着其对应的变焦程度量化值平滑的变化的,这样,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像时,图像也在平滑的过渡,视觉效果流畅,不会出现画面卡顿,使得摄像头切换过程中变焦连续且自然。
如图13所示,本申请实施例还提供一种摄像头切换方法,以预先构建虚拟摄像头为例,该实施例包括:
S1,获取目标摄像头的变焦范围的最大倍率对应的第一图像宽度和最小倍率对应的第二图像宽度。
S2,根据第一图像宽度和第二图像宽度之间线性关系,确定第一图像宽度和第二图像宽度之间的采样点的通用图像宽度表达式。
S3,根据目标摄像头的变焦范围的最大倍率和最小倍率、各变焦倍率,确定各变焦倍率对应的变焦程度量化值。
S4,根据各变焦倍率对应的变焦程度量化值、通用图像宽度表达式、当前摄像头的内参、目标摄像头的内参,构建内参插值函数。
S5,根据内参插值函数,确定虚拟摄像头的内参。
S6,获取各变焦倍率在目标摄像头变焦范围的占比信息。
S7,根据占比信息、当前摄像头的外参、目标摄像头的外参,确定虚拟摄像头的外参。
S8,若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令。
S9,控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,获取当前摄像头与虚拟摄像头之间的映射关系,并根据根据当前摄像头与虚拟摄像头之间的映射关系将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像。
S10,若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。
本实施例提供的摄像头切换方法中各步骤,其实现原理和技术效果与前面各摄像头切换方法实施例中类似,在此不再赘述。本实施例中各步骤的实现方式只是一种举例,对各实现方式不作限定,各步骤的顺序在实际应用中可进行调整,只要可以实现各步骤的目的即可。
另外,在本申请实施例提供的摄像头切换方法的基础上,还可以实现摄像头切换过程中的其他因素过渡,例如,图像各种特征(色彩、清晰度)、图像融合、图像内容对齐等,以得到多摄系统中更好的接力变焦体验。
例如,(1)由于多摄系统中不同摄像头的参数不一致,传感器特性的差异,导致不同摄像头所成的图像色彩不一致,因此,本申请实施例进行摄像头切换,进行画面平滑过渡时还可以与色彩同步结合,即在摄像头画面过渡的同时,实现图像色彩的过渡。
(2)由于摄像头切换时,两个摄像头图像的缩放倍率是有差异的,因此切换时的两张图像清晰度也有差异,因此,本申请实施例进行摄像头切换,进行画面平滑过渡时还可以与清晰度同步结合,即在摄像头画面过渡的同时,实现图像清晰度的过渡。
(3)为了丰富画面展示效果,本申请实施例进行摄像头切换还可以直接对两张图像进行融合,例如,目标图像的融合权重从0增加至1,从而直接实现两张图像的自然过渡。
(4)视频防抖也是终端设备影像一个重要功能。本申请实施例进行摄像头切换还可以和防抖相结合,例如,用虚拟相机的内外参更新防抖校准参数,实现防抖效果从一个摄像头到另一个摄像头的自然变化。
(5)为了进一步提高对齐的准确性,本申请实施例进行摄像头切换还可以和基于图像内容的对齐方法(例如图像特征点配准)结合,避免仅依赖手机标定数据,提高图像内容对齐的准确性。
以上各因素结合只是举例说明,本申请实施例对可结合的因素不作限定。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图14所示,提供了一种摄像头切换装置,该装置包括:发送模块10、过渡模块11和切换模块12,其中:
发送模块10,用于若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令;
过渡模块11,用于控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像;虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建;
切换模块12,用于若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。
在一个实施例中,该装置还包括:内参确定模块和外参确定模块;
内参确定模块,用于根据当前摄像头的内参、目标摄像头的内参,以及各变焦倍率确定虚拟摄像头的内参;
外参确定模块,用于根据当前摄像头的外参、目标摄像头的外参,以及各变焦倍率确定虚拟摄像头的外参。
在一个实施例中,内参确定模块包括:函数构建单元和内参确定单元
函数构建单元,用于根据当前摄像头的内参、目标摄像头的内参,以及各变焦倍率,构建内参插值函数;
内参确定单元,用于根据内参插值函数,确定虚拟摄像头的内参。
在一个实施例中,函数构建单元包括:
宽度获取子单元,用于获取目标摄像头的变焦范围的最大倍率对应的第一图像宽度和最小倍率对应的第二图像宽度;
表达式确定子单元,用于根据第一图像宽度和第二图像宽度之间线性关系,确定第一图像宽度和第二图像宽度之间的采样点的通用图像宽度表达式;
函数构建子单元,用于根据通用图像宽度表达式、各变焦倍率、当前摄像头的内参、目标摄像头的内参,构建内参插值函数。
在一个实施例中,函数构建子单元,具体用于根据目标摄像头的变焦范围的最大倍率和最小倍率、各变焦倍率,确定各变焦倍率对应的变焦程度量化值;根据各变焦倍率对应的变焦程度量化值、通用图像宽度表达式、当前摄像头的内参、目标摄像头的内参,构建内参插值函数。
在一个实施例中,外参确定模块包括信息获取单元和外参确定单元,信息获取单元,用于获取各变焦倍率在目标摄像头变焦范围的占比信息;
外参确定单元,用于根据占比信息、当前摄像头的外参、目标摄像头的外参,确定虚拟摄像头的外参。
在一个实施例中,过渡模块11包括:
映射关系获取单元,用于获取当前摄像头与虚拟摄像头之间的映射关系;
图像变换单元,用于根据当前摄像头与虚拟摄像头之间的映射关系,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像。
在一个实施例中,映射关系获取单元,具体用于根据三维空间点到图像像素坐标的映射关系和当前摄像头的畸变参数,对当前摄像头所采集的图像中的点进行畸变处理,得到第一像素坐标信息;根据三维空间点到图像像素坐标的映射关系和虚拟摄像头的畸变参数,对虚拟摄像头所成的图像中的点进行畸变处理,得到第二像素坐标信息;根据第一像素坐标信息、第二像素坐标信息、当前摄像头和虚拟摄像头之间的旋转矩阵和平移矩阵,确定当前摄像头与虚拟摄像头之间的映射关系。
在一个实施例中,图像变换单元,具体用于根据当前摄像头与虚拟摄像头之间的映射关系,确定当前摄像头所采集的图像中的各点映射在虚拟摄像头所成的图像中的坐标位置,得到虚拟摄像头所成的图像。
关于摄像头切换装置的具体限定可以参见上文中对于摄像头切换方法的限定,在此不再赘述。上述摄像头切换装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种终端设备,该终端设备可以是计算机设备,其内部结构图可以如图15所示。该终端设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种摄像头切换方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该终端设备的输入装置可以是显示屏上覆盖的触摸层,也可以是终端设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端设备的限定,具体的终端设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种电子设备,包括存储器、处理器,存储器与处理器连接,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令;
控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像;虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建;
若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。
上述实施例提供的一种电子设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令;
控制当前摄像头在目标摄像头的变焦范围内进行变焦,并在变焦过程中,将当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像;虚拟摄像头为根据当前摄像头的参数、目标摄像头的参数,以及各变焦倍率构建;
若虚拟摄像头所成的图像与目标摄像头的画面对齐,将当前摄像头切换为目标摄像头。
上述实施例提供的一种计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种摄像头切换方法,其特征在于,所述方法包括:
若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令;
控制所述当前摄像头在所述目标摄像头的变焦范围内进行变焦,并在变焦过程中,将所述当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像;所述虚拟摄像头为根据所述当前摄像头的参数、所述目标摄像头的参数,以及各所述变焦倍率构建;
根据所述虚拟摄像头所成的图像的四个边界的端点,判断所述虚拟摄像头所成的图像的尺寸范围与所述目标摄像头的画面的尺寸范围是否重叠;
若所述虚拟摄像头所成的图像的尺寸范围与所述目标摄像头的画面的尺寸范围重叠,则所述虚拟摄像头所成的图像与所述目标摄像头的画面对齐,将所述当前摄像头切换为所述目标摄像头。
2.根据权利要求1所述的方法,其特征在于,在所述将所述当前摄像头所采集的图像变换为所述变焦的倍率对应的虚拟摄像头所成的图像之前,所述方法还包括:
根据所述当前摄像头的内参、所述目标摄像头的内参,以及各所述变焦倍率确定所述虚拟摄像头的内参;
根据所述当前摄像头的外参、所述目标摄像头的外参,以及各所述变焦倍率确定所述虚拟摄像头的外参。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前摄像头的内参、所述目标摄像头的内参,以及各所述变焦倍率确定所述虚拟摄像头的内参,包括:
根据所述当前摄像头的内参、所述目标摄像头的内参,以及各所述变焦倍率,构建内参插值函数;
根据所述内参插值函数,确定所述虚拟摄像头的内参。
4.根据权利要求3所述的方法,其特征在于,所述根据所述当前摄像头的内参、所述目标摄像头的内参,以及各所述变焦倍率,构建内参插值函数,包括:
获取所述目标摄像头的变焦范围的最大倍率对应的第一图像宽度和最小倍率对应的第二图像宽度;
根据所述第一图像宽度和所述第二图像宽度之间线性关系,确定所述第一图像宽度和所述第二图像宽度之间的采样点的通用图像宽度表达式;
根据所述通用图像宽度表达式、各所述变焦倍率、所述当前摄像头的内参、所述目标摄像头的内参,构建所述内参插值函数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述通用图像宽度表达式、各所述变焦倍率、所述当前摄像头的内参、所述目标摄像头的内参,构建所述内参插值函数,包括:
根据所述目标摄像头的变焦范围的最大倍率和最小倍率、各所述变焦倍率,确定各所述变焦倍率对应的变焦程度量化值;
根据各所述变焦倍率对应的变焦程度量化值、所述通用图像宽度表达式、所述当前摄像头的内参、所述目标摄像头的内参,构建所述内参插值函数。
6.根据权利要求2所述的方法,其特征在于,所述根据所述当前摄像头的外参、所述目标摄像头的外参,以及各所述变焦倍率构建所述虚拟摄像头的外参,包括:
获取各所述变焦倍率在所述目标摄像头变焦范围的占比信息;
根据所述占比信息、所述当前摄像头的外参、所述目标摄像头的外参,确定所述虚拟摄像头的外参。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述将所述当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像,包括:
获取所述当前摄像头与所述虚拟摄像头之间的映射关系;
根据所述当前摄像头与所述虚拟摄像头之间的映射关系,将所述当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像。
8.根据权利要求7所述的方法,其特征在于,所述获取所述当前摄像头与所述虚拟摄像头之间的映射关系,包括:
根据三维空间点到图像像素坐标的映射关系和所述当前摄像头的畸变参数,对所述当前摄像头所采集的图像中的点进行畸变处理,得到第一像素坐标信息;
根据所述三维空间点到图像像素坐标的映射关系和所述虚拟摄像头的畸变参数,对所述虚拟摄像头所成的图像中的点进行畸变处理,得到第二像素坐标信息;
根据所述第一像素坐标信息、所述第二像素坐标信息、所述当前摄像头和所述虚拟摄像头之间的旋转矩阵和平移矩阵,确定所述当前摄像头与所述虚拟摄像头之间的映射关系。
9.根据权利要求7所述的方法,其特征在于,所述根据所述映射关系,将所述当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像,包括:
根据所述当前摄像头与所述虚拟摄像头之间的映射关系,确定所述当前摄像头所采集的图像中的各点映射在所述虚拟摄像头所成的图像中的坐标位置,得到所述虚拟摄像头所成的图像。
10.一种摄像头切换装置,其特征在于,所述装置包括:
发送模块,用于若当前摄像头变焦到达预设的切换倍率,向目标摄像头发送启动指令;
过渡模块,用于控制所述当前摄像头在所述目标摄像头的变焦范围内进行变焦,并在变焦过程中,将所述当前摄像头所采集的图像变换为各变焦倍率对应的虚拟摄像头所成的图像;所述虚拟摄像头为根据所述当前摄像头的参数、所述目标摄像头的参数,以及各所述变焦倍率构建;
切换模块,用于根据所述虚拟摄像头所成的图像的四个边界的端点,判断所述虚拟摄像头所成的图像的尺寸范围与所述目标摄像头的画面的尺寸范围是否重叠;若所述虚拟摄像头所成的图像的尺寸范围与所述目标摄像头的画面的尺寸范围重叠,则所述虚拟摄像头所成的图像与所述目标摄像头的画面对齐,将所述当前摄像头切换为所述目标摄像头。
11.一种电子设备,包括存储器、处理器,所述存储器与所述处理器连接,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110227956.5A CN112995511B (zh) | 2021-03-02 | 2021-03-02 | 摄像头切换方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110227956.5A CN112995511B (zh) | 2021-03-02 | 2021-03-02 | 摄像头切换方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112995511A CN112995511A (zh) | 2021-06-18 |
CN112995511B true CN112995511B (zh) | 2022-11-15 |
Family
ID=76351751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110227956.5A Active CN112995511B (zh) | 2021-03-02 | 2021-03-02 | 摄像头切换方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112995511B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113747065B (zh) * | 2021-09-03 | 2023-12-26 | 维沃移动通信(杭州)有限公司 | 拍摄方法、装置及电子设备 |
CN113793259B (zh) * | 2021-11-15 | 2022-02-15 | 深圳思谋信息科技有限公司 | 图像变焦方法、计算机设备和存储介质 |
CN113963072B (zh) * | 2021-12-22 | 2022-03-25 | 深圳思谋信息科技有限公司 | 双目摄像头标定方法、装置、计算机设备和存储介质 |
CN114286003A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 拍摄方法、拍摄装置和电子设备 |
CN116709016B (zh) * | 2022-02-24 | 2024-06-18 | 荣耀终端有限公司 | 倍率切换方法和倍率切换装置 |
CN117441344A (zh) * | 2022-05-16 | 2024-01-23 | 北京小米移动软件有限公司 | 一种图像处理方法、装置、终端及存储介质 |
CN115550544B (zh) * | 2022-08-19 | 2024-04-12 | 荣耀终端有限公司 | 图像处理方法及装置 |
CN117714847A (zh) * | 2023-07-21 | 2024-03-15 | 荣耀终端有限公司 | 图像显示的方法及相关设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104980644B (zh) * | 2014-04-14 | 2018-12-14 | 华为技术有限公司 | 一种拍摄方法及装置 |
CN105657237B (zh) * | 2014-11-13 | 2019-02-19 | 聚晶半导体股份有限公司 | 图像获取装置及其数字变焦方法 |
US20180070010A1 (en) * | 2016-09-02 | 2018-03-08 | Altek Semiconductor Corp. | Image capturing apparatus and image zooming method thereof |
KR102351542B1 (ko) * | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
US11025809B2 (en) * | 2019-05-22 | 2021-06-01 | Gopro, Inc. | Dual imaging module cameras |
CN111641775B (zh) * | 2020-04-14 | 2021-10-01 | 北京迈格威科技有限公司 | 多摄变焦控制方法、装置及电子系统 |
-
2021
- 2021-03-02 CN CN202110227956.5A patent/CN112995511B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112995511A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112995511B (zh) | 摄像头切换方法、装置、电子设备和存储介质 | |
WO2021208371A1 (zh) | 多摄变焦控制方法、装置、电子系统及存储介质 | |
US9313400B2 (en) | Linking-up photographing system and control method for linked-up cameras thereof | |
CN106803884B (zh) | 图像处理装置 | |
CN110493525B (zh) | 变焦图像确定方法及装置、存储介质、终端 | |
CN110868541B (zh) | 视场融合方法及装置、存储介质、终端 | |
CN105100615A (zh) | 一种图像的预览方法、装置及终端 | |
CN112261387B (zh) | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 | |
JP4632971B2 (ja) | 撮像機能を有する端末、および、プログラム | |
CN111292278B (zh) | 图像融合方法及装置、存储介质、终端 | |
CN109923850B (zh) | 一种图像捕捉装置及方法 | |
JP2010288170A (ja) | 撮像装置 | |
TW201410016A (zh) | 連動式攝影系統及其多攝影機的控制方法 | |
CN113875220A (zh) | 拍摄防抖方法、装置、终端及存储介质 | |
JP5335571B2 (ja) | 撮像装置 | |
CN111935397A (zh) | 图像的处理方法、装置、电子设备和计算机可读介质 | |
CN113793259B (zh) | 图像变焦方法、计算机设备和存储介质 | |
JP6221465B2 (ja) | 情報処理装置、及びプログラム | |
CN110602392B (zh) | 控制方法、成像模组、电子设备及计算机可读存储介质 | |
US20180359430A1 (en) | Image processing device, image processing system, and non-transitory storage medium | |
EP3826289B1 (en) | Image capture method and image capture device | |
CN113905170A (zh) | 变焦控制方法、装置、存储介质及电子装置 | |
JP4777486B2 (ja) | カメラ制御システムおよびその方法およびその動作処理プログラムを記憶した記憶媒体 | |
CN113994656B (zh) | 控制方法、成像模组、电子设备和计算机可读存储介质 | |
CN113132614B (zh) | 一种摄像头光学变焦电子装置、方法、单元及存储器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |