CN115623312A - 拍摄方法、装置、设备及存储介质 - Google Patents

拍摄方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115623312A
CN115623312A CN202110722095.8A CN202110722095A CN115623312A CN 115623312 A CN115623312 A CN 115623312A CN 202110722095 A CN202110722095 A CN 202110722095A CN 115623312 A CN115623312 A CN 115623312A
Authority
CN
China
Prior art keywords
camera module
frame rate
exposure frame
shooting
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110722095.8A
Other languages
English (en)
Inventor
李睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110722095.8A priority Critical patent/CN115623312A/zh
Priority to PCT/CN2022/098209 priority patent/WO2023273836A1/zh
Publication of CN115623312A publication Critical patent/CN115623312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种拍摄方法、装置、设备及存储介质,涉及拍摄领域。该方法包括:终端设备从配置的相机模组中确定用于拍摄的第一相机模组和第二相机模组,并配置第一相机模组的曝光帧率、以及第二相机模组的曝光帧率。第二相机模组的数量为一颗或多颗。第一相机模组的曝光帧率为第二相机模组的曝光帧率的整数倍。终端设备通过第一相机模组和每颗第二相机模组进行拍摄。该方法能够在保证拍摄效果的前提下,有效降低相机模组产生的功耗。

Description

拍摄方法、装置、设备及存储介质
技术领域
本申请实施例涉及拍摄领域,尤其涉及一种拍摄方法、装置、设备及存储介质。
背景技术
在多摄协同拍摄场景中,终端设备(如手机)可以设置有多个或多颗相机(camera)模组。终端设备在进行拍摄时,可以通过多颗camera模组同时拍摄得到与多颗camera模组一一对应的多张图像。终端设备可以将多张图像进行融合处理,得到最终的拍摄图像。终端设备通过多颗camera模组进行拍摄时,为了保证多颗camera模组拍摄到的图像的画面统一性,终端设备需要控制多颗camera模组在拍摄阶段每一帧图像的画面开始曝光的时间戳保持一致。
目前,终端设备可以将多颗camera模组划分为一颗主camera模组和其他从camera模组,通过硬同步控制技术控制主camera模组和从camera模组在拍摄阶段每一帧图像的画面开始曝光的时间戳保持一致。
但是,目前终端设备通过硬同步控制技术控制主camera模组和从camera模组在拍摄阶段每一帧图像的画面开始曝光的时间戳保持一致的方式中,主camera模组和从camera模组需要保持相同的曝光帧率,会导致终端设备产生较高的功耗。
发明内容
本申请实施例提供一种拍摄方法、装置、设备及存储介质,可以结合当前的拍摄场景为终端设备的多颗camera模组动态配置主从属性,并动态为每颗camera模组配置合适的曝光帧率,能够在保证多颗camera模组的拍摄效果的前提下,有效降低多颗camera模组产生的功耗。
第一方面,本申请实施例提供一种拍摄方法,可以应用于终端设备,终端设备包括多个(至少两个)相机模组。该方法包括:
终端设备从终端设备配置的相机模组中确定第一相机模组和第二相机模组,并配置第一相机模组的曝光帧率、以及第二相机模组的曝光帧率。第二相机模组的数量为一颗或多颗;第一相机模组的曝光帧率为第二相机模组的曝光帧率的整数倍。终端设备通过第一相机模组和每颗第二相机模组进行拍摄。
其中,第一相机模组和第二相机模组为实现多摄协同拍摄的相机模组。
该方法中,第一相机模组可以称为主camera模组,第二相机模组可以称为从camera模组。终端设备通过动态调整主camera模组和每颗从camera模组的曝光帧率,使主camera模组的曝光帧率为从camera模组的曝光帧率的整数倍,可以使得从camera模组能够以比主camera模组更低的曝光帧率(降低了从camera模组的非必要曝光频率),与主camera模组实现硬同步场景下的协同拍摄。由于从camera模组的曝光帧率可以比主camera模组的曝光帧率更低,所以从camera模组消耗的功耗可以更低。也即,该方法可以有效降低终端设备在进行多摄协同拍摄时的功耗。
例如,以终端设备通过彩色camera模组(主camera模组)、黑白camera模组(从camera模组)、以及景深camera模组(从camera模组)进行协同拍摄为例,该方法可以使得彩色camera模组以30FPS的曝光帧率进行拍摄,黑白camera模组以15FPS的曝光帧率进行拍摄,景深camera模组以10FPS的曝光帧率进行拍摄,同时,彩色camera模组、黑白camera模组、以及景深camera模组在拍摄时每一帧的帧头均能保持时间戳一致(即出图时间的一致性)。由于黑白camera模组和景深camera模组的曝光帧率低于彩色camera模组的曝光帧率,无需与彩色camera模组的曝光帧率保持一致,所以,黑白camera模组和景深camera模组消耗的功耗可以更低。
在一种可能的设计中,所述终端设备通过第一相机模组和每颗第二相机模组进行拍摄之前,所述方法还包括:对每颗第二相机模组,终端设备根据第一相机模组的曝光帧率、以及第二相机模组的曝光帧率,为第二相机模组配置感知第一信号的间隔次数。
所述终端设备通过第一相机模组和每颗第二相机模组进行拍摄,包括:在拍摄过程中,第一相机模组在每一帧的帧头对应的时刻发出第一信号;每颗第二相机模组根据所述感知第一信号的间隔次数,感知第一相机模组发出的第一信号;响应于感知到第一相机模组发出的第一信号,每颗第二相机模组开始当前帧的拍摄。
本设计中,终端设备根据第一相机模组的曝光帧率、以及第二相机模组的曝光帧率,为第二相机模组配置感知第一信号的间隔次数,第一相机模组在每一帧的帧头对应的时刻发出第一信号,响应于感知到第一相机模组发出的第一信号,每颗第二相机模组开始当前帧的拍摄,可以使得第一相机模组和每颗第二相机模组在拍摄时每一帧的帧头均能保持时间戳一致(即出图时间的一致性),从而实现硬同步场景下的协同拍摄。
一些实施例中,所述终端设备从终端设备配置的相机模组中确定第一相机模组和第二相机模组,包括:终端设备获取当前拍摄场景的场景信息、以及终端设备配置的相机模组的能力信息;终端设备根据场景信息、以及能力信息,从终端设备配置的相机模组中确定第一相机模组和第二相机模组。
例如,终端设备可以在启动拍摄功能时(如启动运行拍摄应用程序),获取当前拍摄场景的场景信息。
示例性地,所述场景信息包括以下一种或多种:焦距信息、光线信息、用户的拍摄需求。
在一种可能的设计中,终端设备获取当前拍摄场景的场景信息,包括:终端设备根据当前拍摄场景对应的预览画面、传感器信息(如光线传感器采集的光线信息)、第一操作中的一种或多种,获取当前拍摄场景的场景信息。
其中,第一操作为在终端设备显示的第一界面选择拍摄模式,和/或,设置拍摄参数的操作。
示例性地,终端设备可以包括一个拍摄应用程序,终端设备可以响应于用户启动拍摄应用程序的操作,启动运行该拍摄应用程序。在启动运行该拍摄应用程序后,终端设备即启动了拍摄功能。终端设备可以通过该拍摄应用程序调用配置的camera模组实现拍摄功能。终端设备在启动运行拍摄应用程序后,可以通过拍摄应用程序显示拍摄界面(该拍摄界面即为第一界面),拍摄界面中可以包括可供用户选择的多种拍摄模式分别对应的功能控件,如,拍摄模式可以包括:大光圈模式、人像模式、虚化模式、慢动作模式、高动态模式、夜景模式等。用户可以在拍摄界面通过点击对应的功能控件选择一种或多种拍摄模式,终端设备可以响应于用户选择拍摄模式的操作,确定用户的拍摄需求。例如,用户可以点击人像模式对应的功能控件,终端设备可以确定用户的拍摄需求包括:拍摄人像或人像模式。
一些实施例中,终端设备也可以通过对当前拍摄场景对应的预览画面进行识别,获取当前拍摄场景对应的场景信息。例如,终端识别可以通过识别当前拍摄场景对应的预览画面,确定用户的拍摄需求是否为人像、景物,或者,确定当前拍摄场景的光线信息等。或者,终端设备还可以结合对当前拍摄场景对应的预览画面的识别结果、以及光线传感器等硬件的检测参数、用户的操作等,综合确定当前拍摄场景的场景信息。
可选地,相机模组的能力信息包括以下一种或多种:最大曝光帧率、拍摄的合理焦距、出图色彩模式。
例如,假设终端设备配置的相机模组包括:彩色相机模组、黑白相机模组、景深相机模组、长焦相机模组、广角相机模组,则前述相机模组的能力信息可以如下:
1)彩色相机模组的最大曝光帧率为30帧每秒(frames per second,FPS)或者60FPS,拍摄的合理焦距为0.8X-5X之间,出图色彩模式为彩色。
2)黑白相机模组的最大曝光帧率为30FPS,拍摄的合理焦距为0.8X-5X之间,出图色彩模式为无色彩或黑白。
3)景深相机模组的最大曝光帧率为30FPS,拍摄的合理焦距为0.8X-5X之间,出图色彩模式为彩色,能够快速、远距离(1-10米)获取精度更好的景深信息。
4)长焦相机模组的最大曝光帧率为30FPS,拍摄的合理焦距为3X以上,出图色彩模式为彩色。
5)广角相机模组的最大曝光帧率为30FPS,拍摄的合理焦距为0.1X-1X之间,出图色彩模式为彩色。
在一种可能的设计中,所述终端设备配置第一相机模组的曝光帧率、以及第二相机模组的曝光帧率,包括:
终端设备根据当前拍摄场景的场景信息、以及终端设备配置的相机模组的能力信息,分别确定第一相机模组和第二相机模组的最低曝光帧率。终端设备将第一相机模组的曝光帧率配置为第一曝光帧率,第一曝光帧率大于或等于第一相机模组的最低曝光帧率。终端设备配置每颗第二相机模组的曝光帧率,使每颗第二相机模组的曝光帧率满足:第一曝光帧率为第二相机模组的曝光帧率的整数倍,且第二相机模组的曝光帧率大于或等于第二相机模组的最低曝光帧率。可以理解,当第一曝光帧率为第二相机模组的曝光帧率的整数倍时,第二相机模组的曝光帧率小于或等于第一曝光帧率。
示例性地,假设第二相机模组的数量为i颗,i为大于0的整数;第一相机模组的最低曝光帧率为S0,第1颗第二相机模组的最低曝光帧率为S1,第2颗第二相机模组的最低曝光帧率为S2,……,第i颗第二相机模组的最低曝光帧率为Si。则,终端设备可以将第一相机模组的曝光帧率S'0调整(调整也即配置)为S'0=S0。对第1颗至第i颗第二相机模组的曝光帧率进行调整的方式如下:
以S'0为基准,调整第1颗第二相机模组的曝光帧率S'1,使S'1满足:S'0=X1*S'1,X1为大于0的整数,S1≤S'1≤S'0;调整第2颗第二相机模组的曝光帧率S'2,使S'2满足:S'0=X2*S'2,X2为大于0的整数,S2≤S'2≤S'0;……;以此类推,调整第i颗第二相机模组的曝光帧率S'i,使S'i满足:S'0=Xi*S'i,Xi为大于0的整数,Si≤S'i≤S'0。
“≤”表示小于或等于。
在另一种可能的设计中,所述终端设备配置每颗第二相机模组的曝光帧率,使每颗第二相机模组的曝光帧率满足:第一曝光帧率为第二相机模组的曝光帧率的整数倍,包括:
终端设备配置每颗第二相机模组的曝光帧率,使第一曝光帧率和任意一颗第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗第二相机模组的曝光帧率之间也互成倍数比例关系。
也即,第一相机模组和所有第二相机模组组成的集合中的任意两颗相机模组的曝光帧率之间互成倍数比例关系。
示例性地,假设第二相机模组的数量为i颗,i为大于0的整数;第一相机模组的最低曝光帧率为S0,第1颗第二相机模组的最低曝光帧率为S1,第2颗第二相机模组的最低曝光帧率为S2,……,第i颗第二相机模组的最低曝光帧率为Si。则,终端设备可以将第一相机模组的曝光帧率S'0调整为S'0=S0。对第1颗至第i颗第二相机模组的曝光帧率进行调整的方式如下:
以S'0为基准,调整第1颗第二相机模组的曝光帧率S'1至第i颗第二相机模组的曝光帧率S'i,使S'1至S'i满足:
S'0=X1*S'1=X1*X2*S'2=…=X1*X2*…*Xi-1*Xi*S'i;X1至Xi分别为大于0的整数,Si≤S'i≤S'0。
本设计中,终端设备通过上述方式动态调整第一相机模组和第二相机模组的曝光帧率,并配置每颗第二相机模组感知脉冲信号的间隔次数,同样可以使得第二相机模组能够以比第一相机模组更低的曝光帧率,与第一相机模组实现硬同步场景下的协同拍摄。由于第二相机模组的曝光帧率可以比第一相机模组的曝光帧率更低,所以第二相机模组消耗的功耗可以更低。另外,本设计中,第一相机模组和所有第二相机模组组成的集合中的任意两颗相机模组的曝光帧率之间互成倍数比例关系,可以使得第一相机模组和所有第二相机模组能够在一些固定帧输出同时间戳多摄曝光图像,第一相机模组和所有第二相机模组的出图时间戳保持一致的间隔帧数较少,更加有利于后续的图像融合,终端设备进行图像融合处理后输出的最终拍摄图像的效果可以更好。
在一种可能的设计中,当前拍摄场景可以被划分为(或者说包括)对时间一致性要求较高的场景,或者,对时间一致性要求较低的场景;所述方法还包括:终端设备根据当前拍摄场景的场景信息,确定当前拍摄场景为对时间一致性要求较高的场景,或者,对时间一致性要求较低的场景。
所述终端设备配置每颗第二相机模组的曝光帧率,使第一曝光帧率和任意一颗第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗第二相机模组的曝光帧率之间也互成倍数比例关系,包括:
当当前拍摄场景为对时间一致性要求较高的场景时,终端设备配置每颗第二相机模组的曝光帧率,使第一曝光帧率和任意一颗第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗第二相机模组的曝光帧率之间也互成倍数比例关系。
本设计中,对时间一致性要求较高的场景,终端设备配置每颗第二相机模组的曝光帧率,使第一相机模组和所有第二相机模组组成的集合中的任意两颗相机模组的曝光帧率之间互成倍数比例关系,可以满足多摄拍摄时对最终拍照成像的时间一致性的需求,以免由于不同帧之间物体大幅度的位移,给图像融合带来困难。
例如,在高动态模式下,一般属于拍摄物体(或称为被拍主体)快速运动的情况,由于拍摄物体处于运动过程中,除了第一相机模组需要较高的曝光帧率外,如果有多摄拍摄,将会对最终拍照成像的时间一致性有较高的需求,以免由于不同帧之间物体大幅度的位移,给图像融合带来困难。因此,高动态模式的拍摄场景可以划分为对时间一致性要求较高的场景。类似地,当前拍摄场景中包含移动中的物体时,也可以将当前拍摄场景划分为对时间一致性要求较高的场景。而对于其他一些拍摄固定物体的场景,或者,普通模式(非高动态模式)对应的场景,则可以划分为对时间一致性要求较低的场景。
示例性地,当用户选择了高动态模式,或者,终端设备根据预览画面识别得到当前拍摄场景中包含移动中的物体时,终端设备(或者终端设备中的决策模型)可以根据当前拍摄场景的场景信息,将当前拍摄场景划分为对时间一致性要求较高的场景。在后续调整第一相机模组和第二相机模组的曝光帧率时,终端设备可以调整每颗第二相机模组的曝光帧率,使第一相机模组和所有第二相机模组组成的集合中的任意两颗相机模组的曝光帧率之间互成倍数比例关系。
一些实施例中,所述终端设备配置每颗第二相机模组的曝光帧率,使每颗第二相机模组的曝光帧率满足:第一曝光帧率为第二相机模组的曝光帧率的整数倍,且第二相机模组的曝光帧率大于或等于第二相机模组的最低曝光帧率,包括:
对每颗第二相机模组,当第二相机模组的最低曝光帧率至第一曝光帧率的范围内包括多个第二曝光帧率满足第一曝光帧率为第二曝光帧率的整数倍时,终端设备将多个第二曝光帧率中的最小值配置为第二相机模组的曝光帧率。
示例性地,终端设备对每颗第二相机模组的曝光帧率进行调整的过程中,对于第i颗第二相机模组,第二相机模组的最低曝光帧率至第一相机模组的最低曝光帧率的范围内可能包括多个S'i,满足第一相机模组的最低曝光帧率为S'i的整数倍,S'i即为上述第二曝光帧率。此时,终端设备可以将多个S'i中的最小值配置为第二相机模组的曝光帧率。也即,终端设备可以将第i颗第二相机模组的曝光帧率S'i调整为最小的一种。
例如,假设第一曝光帧率S'0为30FPS,第i颗第二相机模组的最低曝光帧率Si为10FPS,则终端设备调整第i颗第二相机模组的曝光帧率S'i,使S'i满足:S'0=Xi*S'i,Xi为大于0的整数,Si≤S'i≤S'0时,Xi和S'i的组合可以包括以下(1)至(3)所示的三种:
(1)Xi为1,S'i为30FPS;
(2)Xi为2,S'i为15FPS;
(3)Xi为3,S'i为10FPS;
此时,终端设备可以将第i颗第二相机模组的曝光帧率S'i调整为10FPS。
可选地,终端设备按照上述方式对每颗第二相机模组的曝光帧率进行调整的过程中,对于第i颗第二相机模组,当第i颗第二相机模组对应的Xi和S'i的组合包括多种时,终端设备也可以将第i颗第二相机模组的曝光帧率S'i调整为多种组合中的任意一种,在此不作限制。
可选地,所述方法还包括:终端设备控制第一相机模组和每颗第二相机模组在拍摄时曝光出图的第一帧的时间保持一致。也即,首帧出图时间保持一致。
例如,终端设备通过第一相机模组和每颗第二相机模组进行拍摄时,在第一相机模组和每颗第二相机模组起流工作的首帧预曝光阶段,可以先控制第一相机模组和每颗第二相机模组的首帧帧长相同,以保证第一相机模组和每颗第二相机模组首帧出图的时间保持一致,从而使得第一相机模组和每颗第二相机模组在首帧出图时已保持相同的出帧时间。之后,从第二帧开始,第一相机模组在每一帧的帧头对应的时刻发出第一信号;每颗第二相机模组根据配置的感知第一信号的间隔次数,感知第一相机模组发出的第一信号,并在每次感知到第一相机模组发出的第一信号后开始当前帧的拍摄。
可选地,所述方法还包括:终端设备对第一相机模组和第二相机模组拍摄到的图像进行融合处理,得到第一图像。
第一图像是终端设备进行多摄协同拍摄得到的最终拍摄图像。
可选地,终端设备将第一相机模组和每颗第二相机模组拍摄到的图像进行融合处理时,可以分别选取第一相机模组和每颗第二相机模组最近一次拍摄到的一帧图像进行融合处理。
例如,当终端设备在彩色camera模组拍摄到一帧图像后,对彩色camera模组、黑白camera模组、以及景深camera模组拍摄到的图像进行融合处理时,如果彩色camera模组拍摄这一帧图像时,黑白camera模组和景深camera模组也分别感知XVS脉冲信号拍摄了一帧图像,则终端设备彩色camera模组、黑白camera模组、以及景深camera模组当前拍摄到的三帧图像进行融合处理。如果彩色camera模组拍摄这一帧图像时,黑白camera模组感知XVS脉冲信号拍摄了一帧图像,而景深camera模组没有感知XVS脉冲信号,则终端设备可以将彩色camera模组和黑白camera模组拍摄到的当前帧图像、以及景深camera模组上一次感知XVS脉冲信号拍摄的图像进行融合处理。
第二方面,本申请实施例提供一种拍摄装置,该装置可以应用于终端设备,用于实现上述第一方面所述的拍摄方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,该装置可以包括:配置模块、拍摄模块等。
其中,配置模块,用于从终端设备配置的相机模组中确定第一相机模组和第二相机模组,并配置第一相机模组的曝光帧率、以及第二相机模组的曝光帧率;第二相机模组的数量为一颗或多颗;第一相机模组的曝光帧率为第二相机模组的曝光帧率的整数倍。
拍摄模块,用于通过第一相机模组和每颗第二相机模组进行拍摄。
其中,第一相机模组和第二相机模组为实现多摄协同拍摄的相机模组。
在一种可能的设计中,配置模块还用于,对每颗第二相机模组,根据第一相机模组的曝光帧率、以及第二相机模组的曝光帧率,为第二相机模组配置感知第一信号的间隔次数。在拍摄过程中,第一相机模组在每一帧的帧头对应的时刻发出第一信号;每颗第二相机模组根据所述感知第一信号的间隔次数,感知第一相机模组发出的第一信号;响应于感知到第一相机模组发出的第一信号,每颗第二相机模组开始当前帧的拍摄。
一些实施例中,所述拍摄装置还包括:获取模块,用于获取当前拍摄场景的场景信息、以及终端设备配置的相机模组的能力信息。配置模块,具体用于根据所述场景信息、以及所述能力信息,从终端设备配置的相机模组中确定第一相机模组和第二相机模组。
示例性地,所述场景信息包括以下一种或多种:焦距信息、光线信息、用户的拍摄需求。
在一种可能的设计中,获取模块,具体用于根据当前拍摄场景对应的预览画面、传感器信息(如光线传感器采集的光线信息)、第一操作中的一种或多种,获取当前拍摄场景的场景信息。
其中,第一操作为在终端设备显示的第一界面选择拍摄模式,和/或,设置拍摄参数的操作。
可选地,相机模组的能力信息包括以下一种或多种:最大曝光帧率、拍摄的合理焦距、出图色彩模式。
在一种可能的设计中,配置模块,具体用于根据当前拍摄场景的场景信息、以及终端设备配置的相机模组的能力信息,分别确定第一相机模组和第二相机模组的最低曝光帧率。将第一相机模组的曝光帧率配置为第一曝光帧率,第一曝光帧率大于或等于第一相机模组的最低曝光帧率。配置每颗第二相机模组的曝光帧率,使每颗第二相机模组的曝光帧率满足:第一曝光帧率为第二相机模组的曝光帧率的整数倍,且第二相机模组的曝光帧率大于或等于第二相机模组的最低曝光帧率(小于或等于第一曝光帧率)。
在另一种可能的设计中,配置模块,具体用于配置每颗第二相机模组的曝光帧率,使第一曝光帧率和任意一颗第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗第二相机模组的曝光帧率之间也互成倍数比例关系。
在一种可能的设计中,当前拍摄场景可以被划分为(或者说包括)对时间一致性要求较高的场景,或者,对时间一致性要求较低的场景。配置模块,具体用于当当前拍摄场景为对时间一致性要求较高的场景时,配置每颗第二相机模组的曝光帧率,使第一曝光帧率和任意一颗第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗第二相机模组的曝光帧率之间也互成倍数比例关系。
一些实施例中,配置模块具体用于,对每颗第二相机模组,当第二相机模组的最低曝光帧率至第一曝光帧率的范围内包括多个第二曝光帧率满足第一曝光帧率为第二曝光帧率的整数倍时,将多个第二曝光帧率中的最小值配置为第二相机模组的曝光帧率。
可选地,拍摄模块,还用于控制第一相机模组和每颗第二相机模组在拍摄时曝光出图的第一帧的时间保持一致。
可选地,该拍摄装置还包括:融合模块,用于对第一相机模组和第二相机模组拍摄到的图像进行融合处理,得到第一图像。
第一图像是终端设备进行多摄协同拍摄得到的最终拍摄图像。
应当理解,该拍摄装置可以用于实现前述第一方面中所述的拍摄方法的全部功能,不再一一赘述。
第三方面,本申请实施例提供一种电子设备,包括:处理器,用于存储所述处理器可执行指令的存储器;所述处理器被配置为执行所述指令时,使得所述电子设备实现如第一方面及第一方面的任意一种可能的实现方式中所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序指令;当所述计算机程序指令被电子设备执行时,使得电子设备实现如第一方面及第一方面的任意一种可能的实现方式中所述的方法。
第五方面,本申请实施例还提供一种计算机程序产品,包括计算机可读代码,当所述计算机可读代码在电子设备中运行时,使得电子设备实现如第一方面及第一方面的任意一种可能的实现方式中所述的方法。
上述第三方面至第五方面中,电子设备可以是具有拍摄功能的手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等移动终端,或者,也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备。
上述第二方面至第五方面所具备的有益效果,可参考第一方面中所述,在此不再赘述。
应当理解的是,本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1为两颗camera模组的硬同步控制原理示意图;
图2为本申请实施例提供的终端设备的结构示意图;
图3为本申请实施例提供的多摄协同拍摄方法的流程示意图;
图4为本申请实施例提供的三颗camera模组的硬同步控制原理示意图;
图5为本申请实施例提供的多摄同步控制模块的原理示意图;
图6为本申请实施例提供的三颗camera模组的硬同步控制原理的另一示意图;
图7为本申请实施例提供的两颗camera模组的硬同步控制原理的示意图;
图8为本申请实施例提供的终端设备的软件架构实现原理示意图;
图9为本申请实施例提供的拍摄装置的结构示意图;
图10为本申请实施例提供的拍摄装置的另一结构示意图;
图11为本申请实施例提供的拍摄装置的又一结构示意图。
具体实施方式
以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
在本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
在多摄协同拍摄场景中,终端设备(如手机)可以设置有多个或多颗(两颗及两颗以上)相机(camera)模组,camera模组也称为摄像头模组。终端设备在进行拍摄时,可以通过多颗camera模组同时拍摄得到与多颗camera模组一一对应的多张图像。终端设备可以将多张图像进行融合处理,得到最终的拍摄图像。最终的拍摄图像可以具有更好的拍摄效果(或称为出图效果)。
例如,在一种可能的场景中,终端设备可以包括彩色camera和景深camera。终端设备在进行拍摄时,可以通过彩色camera拍摄得到彩色图像、同时通过景深camera拍摄得到黑白图像。终端设备可以将彩色camera拍摄得到的彩色图像、以及景深camera拍摄得到的黑白图像进行融合处理,得到最终的拍摄图像。最终的拍摄图像中可以包含更加丰富的景深信息。
终端设备通过多颗camera模组进行拍摄时,为了保证多颗camera模组拍摄到的图像的画面统一性,终端设备需要控制多颗camera模组在拍摄阶段每一帧图像的画面开始曝光的时间戳保持一致。
目前,终端设备主要通过硬同步控制技术,实现控制多颗camera模组在拍摄阶段每一帧图像的画面开始曝光的时间戳保持一致。硬同步控制技术的主要原理为:终端设备通过多颗camera模组进行拍摄时,将多颗camera模组划分为一颗主camera(mastercamera)模组和其他从camera(slave camera)模组,主camera模组在拍摄阶段每一帧图像的帧头对应的时刻发出XVS脉冲信号,其他从camera模组感知主camera模组发出的XVS脉冲信号。其他从camera模组在每一次感知到主camera模组发出的XVS脉冲信号时,开始当前帧的曝光出图;其他从camera模组完成当前帧的曝光出图后,等待下一次主camera模组发出的XVS脉冲信号,直至感知到下一次主camera模组发出的XVS脉冲信号时,再开始下一帧的曝光出图。从而,多颗camera模组在拍摄阶段每一帧图像的画面开始曝光的时间戳可以保持一致。
示例性地,以终端设备通过两颗camera模组实现多摄协同拍摄的场景为例,图1为两颗camera模组的硬同步控制原理示意图。两颗camera模组中,其中一个camera模组作为主camera模组,另外一个camera模组作为从camera模组。
如图1所示,主camera模组在拍摄阶段每一帧图像的帧头对应的时刻发出XVS脉冲信号。其中,帧头可以用帧首定界符(start-of-frame delimiter,SOF)表示,帧尾可以用帧尾定界符(end-of-frame delimiter,EOF)表示。从camera模组感知到XVS脉冲信号时,可以开始当前帧的曝光出图。主camera模组的有效帧长略微大于从camera模组的有效帧长。例如,camera模组的帧长一般是指SOF至下一个SOF之间的长度,而有效帧长是指SOF至EOF的长度与每帧中非曝光空行(vertical blank,vblank,也称空白无效行时间)的长度之和。终端设备可以通过调整主camera模组和从camera模组的vblank的长短使得主camera模组的有效帧长略微大于从camera模组的有效帧长。vblank的含义为上一帧最后一行读出结束到下一帧第一行读出开始的时间。从camera模组在当前帧曝光出图结束后,将会等待主Camera发送的XVS脉冲信号,直到感知到下一次主camera模组发出的XVS脉冲信号时,再开始下一帧的曝光出图。通过这种方式,可以保证主camera模组和从camera模组的每帧帧头的时间戳一致,达到毫秒级相同时间的出图效果。
上述终端设备通过硬同步控制技术,控制多颗camera模组在拍摄阶段每一帧图像的画面开始曝光的时间戳保持一致的方式中,主camera模组和从camera模组需要保持相同的曝光帧率。也即,从camera模组的曝光帧率跟随主camera模组的曝光帧率,在同一拍摄预览时间内,主camera模组和从camera模组的曝光帧数相同。
但是,主camera模组和从camera模组保持相同的曝光帧率,会导致终端设备产生较高的功耗。
例如,在多摄协同拍摄场景中,终端设备进行多图融合时,一般需要以主camera模组的出图为基准,而主camera模组会设置为较高的曝光帧率(即单位时间内更多的曝光帧数)以保证拍摄效果的高动态性。而从camera模组则会跟随主camera模组的曝光帧率,保持同样的高帧率。但是,主camera模组和从camera模组保持相同的曝光帧率,会导致终端设备产生更高的相机功耗,如:终端设备会出现发热甚至发烫的现象。当终端设备达到一定温度上限时,终端设备的camera模组可能无法维持高性能的工作模式,而影响最终的拍摄效果。
在此背景技术下,本申请实施例提供一种多摄协同拍摄方法(或称为拍摄方法),可以适用于具有多颗(如至少两颗)camera模组的终端设备。该方法中,终端设备通过多颗camera模组进行拍摄时,可以结合当前的拍摄场景为多颗camera模组动态配置主从属性,并动态为每颗camera模组配置合适的曝光帧率,能够在保证多颗camera模组的拍摄效果的前提下,有效降低多颗camera模组产生的功耗。
可选地,本申请实施例中,终端设备可以是具有拍摄功能的手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等移动终端,或者,也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备,本申请实施例对终端设备的具体类型不作限制。
应当理解,终端设备具有至少两颗camera模组,用于实现多摄协同拍摄。
示例性地,以终端设备为手机为例,图2为本申请实施例提供的终端设备的结构示意图。如图2所示,手机可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口295等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是手机的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,SIM接口,和/或USB接口等。
外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将图片、音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行手机的各种功能应用以及数据处理。
内部存储器221还可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(如相机应用)等。存储数据区可存储手机使用过程中所创建的数据(比如图像数据,电话本)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为手机供电。电源管理模块241用于连接电池242,充电管理模块240,以及处理器210。电源管理模块241也可接收电池242的输入为手机供电。
手机的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。手机中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
手机可以通过音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
传感器模块280可以包括压力传感器280A,陀螺仪传感器280B,气压传感器280C,磁传感器280D,加速度传感器280E,距离传感器280F,接近光传感器280G,指纹传感器280H,温度传感器280J,触摸传感器280K,环境光传感器280L,骨传导传感器280M等。手机进行拍摄时,可以通过传感器模块280采集当前拍摄场景的场景信息,如:通过温度传感器280J采集当前拍摄场景的温度,通过环境光传感器280L采集当前拍摄场景的光线等。
手机可以通过摄像头293进行拍摄。摄像头293也可以称为camera模组,本申请实施例中,摄像头293的数量为至少两个,不同摄像头的类型可以不同。例如,摄像头293可以是彩色camera模组、黑白camera模组、景深camera模组、长焦(或远焦)camera模组、广角camera模组、微距camera模组等。本申请对摄像头293的数量、以及每个摄像头293的具体类型不作限制。
示例性地,摄像头293可以包括镜头(lens)和传感器(sensor)。在拍摄照片或者拍摄视频时,打开快门,光线可以通过摄像头293的镜头被传递到sensor上。sensor可以将通过镜头的光信号转换为电信号,再对电信号进行A/D转换,输出对应的数字信号。该数字信号经过后续的RAW域处理、ISP处理、以及YUV域处理等,即可以得到拍摄的照片或视频画面。
在一种可能的设计中,sensor的感光元件可以是电荷耦合器件(charge coupleddevice,CCD),sensor还包括A/D转换器。在另外一种可能的设计中,sensor的感光元件可以是互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)。
显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手机可以包括1个或N个显示屏294,N为大于1的正整数。例如,显示屏294可以用于显示应用程序界面。
手机通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
可以理解的是,图2所示的结构并不构成对手机的具体限定。在一些实施例中,手机也可以包括比图2所示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置等。又或者,图2所示的一些部件可以以硬件,软件或软件和硬件的组合实现。
另外,当终端设备是其他平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、UMPC、上网本、PDA等具有拍摄功能的移动终端,或者,数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备时,这些其他终端设备的具体结构也可以参考图2所示。示例性地,其他终端设备可以是在图2给出的结构的基础上增加或减少了组件,在此不再一一赘述。
还应当理解的是,终端设备(如手机)中可以运行有一个或多个拍摄应用程序,以便通过运行拍摄应用程序,实现拍摄的功能。例如,该拍摄应用程序可以包括系统级应用“相机”应用。又如,该拍摄应用程序还可以包括其他安装在终端设备中的能够用于拍摄的应用程序。
示例性地,图3为本申请实施例提供的多摄协同拍摄方法的流程示意图。如图3所示,该方法可以包括:
S301、在启动拍摄功能时,终端设备收集/获取当前拍摄场景对应的场景信息。
示例性地,场景信息可以包括:当前拍摄场景的焦距信息、当前拍摄场景的光线信息、用户的拍摄需求等。
其中,当前拍摄场景的焦距信息可以是指终端设备与当前拍摄场景中的被拍物体之间的焦距(即拍摄距离)。焦距可以决定拍摄图像清晰范围的距离远近,焦距越大,景深越小,拍摄角度也越小。
当前拍摄场景的光线信息可以是指当前拍摄场景中的光线明暗程度、光线是否有动态明暗变化(多光源场景)等。
可选地,当前拍摄场景的光线信息可以是由终端设备中配置的传感器采集到的传感器信息得到的。例如,可以由环境光传感器(光线传感器)采集得到光线信息。
用户的拍摄需求是指用户在终端设备上选择或设置的拍摄模式、拍摄参数等。
示例性地,终端设备可以包括一个拍摄应用程序,终端设备可以响应于用户启动拍摄应用程序的操作,启动运行该拍摄应用程序。在启动运行该拍摄应用程序后,终端设备即启动了拍摄功能。终端设备可以通过该拍摄应用程序调用配置的camera模组实现拍摄功能。终端设备在启动运行拍摄应用程序后,可以通过拍摄应用程序显示拍摄界面,拍摄界面中可以包括可供用户选择的多种拍摄模式分别对应的功能控件,如,拍摄模式可以包括:大光圈模式、人像模式、虚化模式、慢动作模式、高动态模式、夜景模式等。用户可以在拍摄界面通过点击对应的功能控件选择一种或多种拍摄模式,终端设备可以响应于用户选择拍摄模式的操作,确定用户的拍摄需求。例如,用户可以点击人像模式对应的功能控件,终端设备可以确定用户的拍摄需求包括:拍摄人像或人像模式。
其中,终端设备在启动运行拍摄应用程序后,通过拍摄应用程序显示的拍摄界面也称为第一界面。用户在拍摄界面选择拍摄模式,和/或,设置拍摄参数的操作也可以称为第一操作。
一些实施例中,终端设备也可以通过对当前拍摄场景对应的预览画面进行识别,获取当前拍摄场景对应的场景信息。例如,终端识别可以通过识别当前拍摄场景对应的预览画面,确定用户的拍摄需求是否为人像、景物,或者,确定当前拍摄场景的光线信息等。
或者,终端设备还可以结合对当前拍摄场景对应的预览画面的识别结果、以及光线传感器等硬件的检测参数、用户的操作等,综合确定当前拍摄场景的场景信息。
需要说明的是,上述提到的当前拍摄场景对应的场景信息仅为示例性说明,本申请实施例对终端设备采集的当前拍摄场景对应的场景信息的具体类型、以及终端设备采集当前拍摄场景的场景信息的具体方式均不作限制。
S302、终端设备根据场景信息、以及配置的camera模组的能力信息,从配置的camera模组中确定主camera模组和从camera模组,并分别确定主camera模组和每颗从camera模组的最低曝光帧率。
S302中终端设备确定的主camera模组和从camera模组为适合拍摄当前拍摄场景的camera模组。
其中,从camera模组的数量为一颗或多颗。主camera模组的最低曝光帧率大于任意一颗从camera模组的最低曝光帧率。本申请中,主camera模组可以称为第一相机模组,从camera模组可以称为第二相机模组。
一些实施例中,终端设备配置的camera模组的能力信息可以预设在终端设备中,如:每个camera模组可以存储各自的能力信息,终端设备可以获取到每个camera模组的能力信息。
示例性地,camera模组的能力信息可以包括:最大曝光帧率、拍摄的合理焦距、出图色彩模式等。
例如,假设终端设备配置的camera模组包括:彩色camera模组、黑白camera模组、景深camera模组、长焦camera模组、广角camera模组,则前述camera模组的能力信息可以如下:
1)彩色camera模组的最大曝光帧率为30帧每秒(frames per second,FPS)或者60FPS,拍摄的合理焦距为0.8X-5X之间,出图色彩模式为彩色。
2)黑白camera模组的最大曝光帧率为30FPS,拍摄的合理焦距为0.8X-5X之间,出图色彩模式为无色彩或黑白。
3)景深camera模组的最大曝光帧率为30FPS,拍摄的合理焦距为0.8X-5X之间,出图色彩模式为彩色,能够快速、远距离(1-10米)获取精度更好的景深信息。
4)长焦camera模组的最大曝光帧率为30FPS,拍摄的合理焦距为3X以上,出图色彩模式为彩色。
5)广角camera模组的最大曝光帧率为30FPS,拍摄的合理焦距为0.1X-1X之间,出图色彩模式为彩色。
下面以终端设备配置的camera模组包括上述彩色camera模组、黑白camera模组、景深camera模组、长焦camera模组、以及广角camera模组为例,对S302中终端设备根据当前拍摄场景对应的场景信息、以及终端设备配置的camera模组的能力信息,从终端设备配置的camera模组中确定适合拍摄当前拍摄场景的主camera模组和从camera模组的过程进行举例说明。
示例性地,当S301中终端设备采集的当前拍摄场景对应的场景信息为:大光圈人像模式、焦距1X-3X之间时,S302中:终端设备可以结合彩色camera模组、黑白camera模组、景深camera模组、长焦camera模组、以及广角camera模组各自的能力信息,根据1X-3X的焦距场景,确定不需要长焦camera模组和广角camera模组;根据大光圈模式,选择彩色camera模组作为主camera模组提供主要的图像信息,选择黑白camera模组作为从camera模组提供更加丰富的光线明暗信息;根据人像模式选择景深camera模组作为从camera模组以提供更好的虚化效果。也即,该场景下,终端设备可以选择彩色camera模组作为主camera模组,黑白camera模组和景深camera模组作为从camera模组。
当S301中终端设备采集的当前拍摄场景对应的场景信息为:大光圈非人像模式、焦距1X-3X之间时,S302中:终端设备可以结合彩色camera模组、黑白camera模组、景深camera模组、长焦camera模组、以及广角camera模组各自的能力信息,根据1X-3X的焦距场景,确定不需要长焦camera模组和广角camera模组;根据大光圈模式,选择彩色camera模组作为主camera模组提供主要的图像信息,选择黑白camera模组作为从camera模组提供更加丰富的光线明暗信息;根据非人像模式确定不需要景深camera模组。也即,该场景下,终端设备可以选择彩色camera模组作为主camera模组,黑白camera模组作为从camera模组。
上述示例说明了焦距在1X-3X之间时,不需要长焦camera模组和广角camera模组的情况。下面对需要长焦camera模组或广角camera模组的情况进行说明。
可选地,当焦距在0.5X-1X之间时,终端设备可以根据焦距的具体变化,确定是否需要广角camera模组,并在需要广角camera模组时,在广角camera模组和彩色camera模组中进行主从camera模组的决策。
例如,焦距由1X向0.5X过渡的过程中,终端设备根据焦距的具体变化,进行主从camera模组的决策的方式可以如下:
1)当焦距小于1X、大于0.9X时,终端设备可以选择彩色camera模组作为主camera模组,确定不需要广角camera模组。
2)当焦距小于或等于0.9X、大于0.7X时,终端设备可以选择彩色camera模组作为主camera模组,选择广角camera模组作为从camera模组。
3)当焦距小于或等于0.7X、大于0.5X时,终端设备可以选择彩色camera模组作为从camera模组,选择广角camera模组作为主camera模组。
4)当焦距小于或等于0.5X时,终端设备可以选择广角camera模组作为主camera模组,确定不需要彩色camera模组。
类似地,当焦距在3X-5X之间时,终端设备可以根据焦距的具体变化,确定是否需要长焦camera模组,并在需要长焦camera模组时,在长焦camera模组和彩色camera模组中进行主从camera模组的决策。
例如,焦距由3X向5X过渡的过程中,终端设备根据焦距的具体变化,进行主从camera模组的决策的方式可以如下:
1)当焦距大于3X、小于3.5X时,终端设备可以选择彩色camera模组作为主camera模组,选择长焦camera模组作为从camera模组。
2)当焦距大于或等于3.5X、小于5X时,终端设备可以选择彩色camera模组作为从camera模组,选择长焦camera模组作为主camera模组。
3)当焦距大于或等于5X时,终端设备可以选择长焦camera模组作为主camera模组,确定不需要彩色camera模组。
需要说明的是,上述终端设备根据当前拍摄场景对应的场景信息、以及终端设备配置的camera模组的能力信息,从终端设备配置的camera模组中确定适合拍摄当前拍摄场景的主camera模组和从camera模组的过程仅为示例性说明。应当理解,当前拍摄场景对应的场景信息为其他类型时,终端设备确定适合拍摄当前拍摄场景的主camera模组和从camera模组的方式也可以有所变化,在此不作限制。
一些实施例中,终端设备根据当前拍摄场景对应的场景信息、以及终端设备配置的camera模组的能力信息,从终端设备配置的camera模组中确定适合拍摄当前拍摄场景的主camera模组和从camera模组的规则可以是人为进行配置的。终端设备可以按照人为配置的规则,根据当前拍摄场景对应的场景信息、以及终端设备配置的camera模组的能力信息,从终端设备配置的camera模组中确定适合拍摄当前拍摄场景的主camera模组和从camera模组。
本申请实施例对终端设备根据当前拍摄场景对应的场景信息、以及终端设备配置的camera模组的能力信息,从终端设备配置的camera模组中确定适合拍摄当前拍摄场景的主camera模组和从camera模组的具体方式不作限制。
终端设备确定出适合拍摄当前拍摄场景的主camera模组和从camera模组后,可以分别确定主camera模组和每颗从camera模组的最低曝光帧率。
下面以S301中的当前拍摄场景对应的场景信息为:大光圈人像模式、焦距1X-3X之间为例,对终端设备确定主camera模组和每颗从camera模组的最低曝光帧率的方式进行举例说明。
如上所述,当前拍摄场景对应的场景信息为:大光圈人像模式、焦距1X-3X之间时,终端设备可以确定彩色camera模组作为主camera模组,黑白camera模组和景深camera模组作为从camera模组。由于一般的大光圈人像模式不会涉及到拍摄主体的动态移动,对于帧率没有过高的要求,所以,终端设备可以确定彩色camera模组的最低曝光帧率为30FPS以保证较好的出图效果,确定黑白camera模组的最低曝光帧率为10-12FPS即可满足提供光线明暗变化的需求,确定景深camera模组的最低曝光帧率为7.5FPS或10FPS即可满足提供场景中的距离信息的需求。
可选地,终端设备确定主camera模组和每颗从camera模组的最低曝光帧率的规则也可以是人为配置的规则,例如,可以由厂家在终端设备出厂前为终端设备配置确定主camera模组和每颗从camera模组的最低曝光帧率的规则。
本申请对终端设备确定主camera模组和每颗从camera模组的最低曝光帧率的具体方式也不作限制。
终端设备在确定主camera模组和从camera模组,并分别确定主camera模组和每颗从camera模组的最低曝光帧率后,即可按照下述S303-S304所述的方式对主camera模组和每颗从camera模组实际拍摄时的曝光帧率进行调整。
S303、终端设备将主camera模组的曝光帧率调整为主camera模组的最低曝光帧率。
也有一些实施例中,S303中终端设备可以将主camera模组的曝光帧率调整为大于主camera模组的最低曝光帧率的某个值,如:主camera模组的最低曝光帧率为30FPS,终端设备可以将主camera模组的曝光帧率调整为40FPS、60FPS等。可以理解的,主camera模组的曝光帧率最大可以被调整为主camera模组支持的最大曝光帧率。
换言之,S303中终端设备可以将主camera模组的曝光帧率调整为第一曝光帧率,第一曝光帧率大于或等于主camera模组的最低曝光帧率,小于主camera模组的最大/高曝光帧率。本申请实施例中,将以终端设备将主camera模组的曝光帧率调整为主camera模组的最低曝光帧率为例进行说明,但并不限制。
S304、终端设备调整每颗从camera模组的曝光帧率,使每颗从camera模组的曝光帧率满足:主camera模组的曝光帧率为从camera模组的曝光帧率的整数倍,且从camera模组的曝光帧率大于或等于从camera模组的最低曝光帧率。
可以理解,主camera模组的曝光帧率为从camera模组的曝光帧率的整数倍时,从camera模组的曝光帧率小于或等于主camera模组的曝光帧率。
示例性地,假设S302中终端设备确定的从camera模组的数量为i,i为大于0的整数,主camera模组的最低曝光帧率为S0,第1颗从camera模组的最低曝光帧率为S1,第2颗从camera模组的最低曝光帧率为S2,……,第i颗从camera模组的最低曝光帧率为Si。则,S303中终端设备可以将主camera模组的曝光帧率S'0调整为S'0=S0。S304中终端设备调整每颗从camera模组的曝光帧率的具体方式可以包括:
以S'0为基准,调整第1颗从camera模组的曝光帧率S'1,使S'1满足:S'0=X1*S'1,X1为大于0的整数,S1≤S'1≤S'0;调整第2颗从camera模组的曝光帧率S'2,使S'2满足:S'0=X2*S'2,X2为大于0的整数,S2≤S'2≤S'0;……;以此类推,调整第i颗从camera模组的曝光帧率S'i,使S'i满足:S'0=Xi*S'i,Xi为大于0的整数,Si≤S'i≤S'0。
“≤”表示小于或等于。
可选地,终端设备按照上述方式对每颗从camera模组的曝光帧率进行调整的过程中,对于第i颗从camera模组,当第i颗从camera模组对应的Xi和S'i的组合包括多种时,终端设备可以将第i颗从camera模组的曝光帧率S'i调整为多种组合中最小的一种。
例如,假设主camera模组的最低曝光帧率S0为30FPS,第i颗从camera模组的最低曝光帧率Si为10FPS,则终端设备调整第i颗从camera模组的曝光帧率S'i,使S'i满足:S'0=Xi*S'i,Xi为大于0的整数,Si≤S'i≤S'0时,Xi和S'i的组合可以包括以下(1)至(3)所示的三种:
(1)Xi为1,S'i为30FPS;
(2)Xi为2,S'i为15FPS;
(3)Xi为3,S'i为10FPS;
此时,终端设备可以将第i颗从camera模组的曝光帧率S'i调整为10FPS。
也即,对第i颗从camera模组:当从camera模组的最低曝光帧率至主camera模组的最低曝光帧率的范围内包括多个S'i,满足主camera模组的最低曝光帧率为S'i的整数倍时,终端设备可以将多个S'i中的最小值配置为第i颗从camera模组的曝光帧率。前述多个S'i可以称为第二曝光帧率。
当然,终端设备按照上述方式对每颗从camera模组的曝光帧率进行调整的过程中,对于第i颗从camera模组,当第i颗从camera模组对应的Xi和S'i的组合包括多种时,终端设备也可以将第i颗从camera模组的曝光帧率S'i调整为多种组合中的任意一种,在此不作限制。
以终端设备确定主camera模组为彩色camera模组,从camera模组为黑白camera模组和景深camera模组,彩色camera模组的最低曝光帧率为30FPS,黑白camera模组的最低曝光帧率为12FPS,景深camera模组的最低曝光帧率为10FPS为例:本申请实施例中,终端设备可以按照上述方式,调整彩色camera模组的曝光帧率为30FPS;调整黑白camera模组的曝光帧率为15FPS;调整景深camera模组的曝光帧率为10FPS。彩色camera模组、黑白camera模组、以及景深camera模组的曝光帧率比例为6:3:2。可以理解,此时,彩色camera模组、黑白camera模组、以及景深camera模组在拍摄过程中分别对应的帧间隔约为33毫秒(ms)、66ms和100ms。
需要说明的是,本申请对S303和S304的执行顺序也不作限制。例如,S303可以在S304之前或之后执行,或者,S303和S304也可以同步执行。例如,S303和S304同步执行时,终端设备可以预先确定好需要对主camera模组和从camera模组进行配置的曝光帧率的目标值(如主camera模组的曝光帧率的目标值为主camera模组的最低曝光帧率),然后,对主camera模组和从camera模组的曝光帧率进行配置。其中,对主camera模组和从camera模组进行配置的曝光帧率的目标值满足上述整数倍的关系。
当终端设备按照S303和S304所述的方式对主camera模组的曝光帧率、以及每颗从camera模组的曝光帧率进行调整后,终端设备可以执行S305-S307,完成多摄协同拍摄。
S305、对每颗从camera模组:终端设备根据主camera模组的曝光帧率、以及从camera模组的曝光帧率,为从camera模组配置感知脉冲信号的间隔次数。
其中,为从camera模组配置的感知脉冲信号的间隔次数是指:从camera模组对主camera模组发出的脉冲信号,间隔几次感知一次。例如,终端设备为某颗从camera模组配置的感知脉冲信号的间隔次数为2次,则从camera模组对主camera模组发出的脉冲信号,每间隔2次感知一次。从camera模组对主camera模组发出的某次脉冲信号进行感知是指:从camera模组可以对主camera模组本次发出的脉冲信号进行响应,开始当前帧的拍摄。
可选地,终端设备根据主camera模组的曝光帧率、以及从camera模组的曝光帧率,为从camera模组配置感知脉冲信号的间隔次数的步骤,可以包括:终端设备将主camera模组的曝光帧率除以从camera模组的曝光帧率的商减1后的值,配置为从camera模组感知脉冲信号的间隔次数。
例如,以终端设备确定主camera模组为彩色camera模组,从camera模组为黑白camera模组和景深camera模组,终端设备调整彩色camera模组的曝光帧率为30FPS,调整黑白camera模组的曝光帧率为15FPS,调整景深camera模组的曝光帧率为10FPS为例:终端设备可以将黑白camera模组感知脉冲信号的间隔次数配置为(30/15-1=1)次;将景深camera模组感知脉冲信号的间隔次数配置为(30/10-1=2)次。
一些实施例中,针对不同的主从camera模组的组合,终端设备中可以预设有主从camera模组的组合中主从camera模组的曝光帧率与从camera模组感知脉冲信号的间隔次数的对应关系。该对应关系可以按照上述确定从camera模组感知脉冲信号的间隔次数的方式得到,并提前配置在终端设备中。终端设备可以根据主camera模组的曝光帧率、以及从camera模组的曝光帧率,查询该对应关系,确定从camera模组感知脉冲信号的间隔次数。
S306、终端设备通过主camera模组和每颗从camera模组进行拍摄,在拍摄过程中,主camera模组在每一帧的帧头对应的时刻发出脉冲信号;每颗从camera模组根据配置的感知脉冲信号的间隔次数,感知主camera模组发出的脉冲信号,并在感知到脉冲信号后开始当前帧的拍摄。
也即,从camera模组可以响应于感知到主camera模组发出的脉冲信号,开始当前帧的拍摄。
可选地,S306之前,终端设备可以对主camera模组发出脉冲信号的频率进行配置,以使得主camera模组在每一帧的帧头对应的时刻发出脉冲信号。
一些实施例中,本申请实施例中所述的脉冲信号可以是XVS脉冲信号、VSYNC脉冲信号、FSIN脉冲信号等。下面以XVS脉冲信号作为示例进行说明,但本申请对脉冲信号的具体类型并不作限制。前述XVS脉冲信号、VSYNC脉冲信号、FSIN脉冲信号等脉冲信号均可以称为第一信号。
示例性地,以脉冲信号为XVS脉冲信号为例,图4为本申请实施例提供的三颗camera模组的硬同步控制原理示意图。如图4所示,假设终端设备确定主camera模组为彩色camera模组,从camera模组为黑白camera模组和景深camera模组;终端设备调整彩色camera模组的曝光帧率为30FPS,调整黑白camera模组的曝光帧率为15FPS,调整景深camera模组的曝光帧率为10FPS;终端设备将黑白camera模组感知XVS脉冲信号的间隔次数配置为1次,将景深camera模组感知XVS脉冲信号的间隔次数配置为2次;则S306中:终端设备在通过彩色camera模组、黑白camera模组、以及景深camera模组进行拍摄的过程中,终端设备可以控制彩色camera模组按照30FPS在每一帧的帧头(SOF)对应的时刻发出XVS脉冲信号;控制黑白camera模组对彩色camera模组发出的XVS脉冲信号每间隔1次、感知1次,并在每次感知到主camera模组发出的XVS脉冲信号后开始当前帧的拍摄;控制景深camera模组对彩色camera模组发出的XVS脉冲信号每间隔2次、感知1次,并在每次感知到主camera模组发出的XVS脉冲信号后开始当前帧的拍摄。
换言之,黑白camera模组在感知1次彩色camera模组发出的XVS脉冲信号后,对之后第1次接收到的彩色camera模组发出的XVS脉冲信号不感知,对第2次接收到的彩色camera模组发出的XVS脉冲信号进行感知。景深camera模组在感知1次彩色camera模组发出的XVS脉冲信号后,对之后第1次和第2次接收到的彩色camera模组发出的XVS脉冲信号不感知,对第3次接收到的彩色camera模组发出的XVS脉冲信号进行感知。
可选地,从camera模组内部可以设置有计数器,从camera模组可以通过计数器对接收到的主camera模组发出的XVS脉冲信号的次数进行计数。从camera模组可以根据计数器的计数结果确定本次接收到的XVS脉冲信号为第几次,确定是否达到配置的感知XVS脉冲信号的间隔次数,从而进一步确定是否感知本次接收到的主camera模组发出的XVS脉冲信号。
S307、终端设备对主camera模组和每颗从camera模组拍摄到的图像进行融合处理,得到最终拍摄图像。
例如,终端设备对主camera模组和每颗从camera模组拍摄到的图像进行融合处理,得到的最终拍摄图像可以是第一图像。
可选地,终端设备将主camera模组和每颗从camera模组拍摄到的图像进行融合处理时,可以分别选取主camera模组和每颗从camera模组最近一次拍摄到的一帧图像进行融合处理。例如,当终端设备在彩色camera模组拍摄到一帧图像后,对彩色camera模组、黑白camera模组、以及景深camera模组拍摄到的图像进行融合处理时,如果彩色camera模组拍摄这一帧图像时,黑白camera模组和景深camera模组也分别感知XVS脉冲信号拍摄了一帧图像,则终端设备彩色camera模组、黑白camera模组、以及景深camera模组当前拍摄到的三帧图像进行融合处理。如果彩色camera模组拍摄这一帧图像时,黑白camera模组感知XVS脉冲信号拍摄了一帧图像,而景深camera模组没有感知XVS脉冲信号,则终端设备可以将彩色camera模组和黑白camera模组拍摄到的当前帧图像、以及景深camera模组上一次感知XVS脉冲信号拍摄的图像进行融合处理。
可选地,上述S306中,终端设备通过主camera模组和每颗从camera模组进行拍摄时,在主camera模组和每颗从camera模组起流工作的首帧预曝光阶段,可以先控制主camera模组和每颗从camera模组的首帧帧长相同(即曝光出图的第一帧的帧长相同),以保证主camera模组和每颗从camera模组首帧出图的时间保持一致,从而使得主camera模组和每颗从camera模组在首帧出图时已保持相同的出帧时间。之后,从第二帧开始,终端设备则按照上述S306中所述的方式控制主camera模组和每颗从camera模组进行拍摄。
例如,以前述实施例中所述的主camera模组为彩色camera模组,从camera模组为黑白camera模组和景深camera模组的示例为例,假设彩色camera模组、黑白camera模组、以及景深camera模组在拍摄过程中分别对应的帧间隔约为33毫秒(ms)、66ms和100ms,则终端设备可以在彩色camera模组、黑白camera模组、以及景深camera模组起流工作的首帧预曝光阶段,控制彩色camera模组、黑白camera模组、以及景深camera模组分别对应的第一帧的帧长相同。如:终端设备可以将黑白camera模组、以及景深camera模组分别对应的第一帧的vblank的时长进行压缩,控制彩色camera模组、黑白camera模组、以及景深camera模组分别对应的第一帧的帧长均为33ms。或者,终端设备可以将彩色camera模组对应的第一帧的vblank的时长进行拉长、将景深camera模组对应的第一帧的vblank的时长进行压缩,控制彩色camera模组、黑白camera模组、以及景深camera模组分别对应的第一帧的帧长均为66ms。又或者,终端设备可以将彩色camera模组、以及黑白camera模组分别对应的第一帧的vblank的时长进行拉长,控制彩色camera模组、黑白camera模组、以及景深camera模组分别对应的第一帧的帧长均为100ms等。
本申请对终端设备控制主camera模组和每颗从camera模组的首帧帧长相同的具体实现方式不作限制。
可选地,终端设备可以向主camera模组和每颗从camera模组下发首帧预曝光帧长,主camera模组和每颗从camera模组可以根据终端设备下发的首帧预曝光帧长,曝光第一帧。
本申请实施例提供的多摄协同拍摄方法中,终端设备通过动态调整主camera模组和每颗从camera模组的曝光帧率,并配置每颗从camera模组感知脉冲信号的间隔次数,可以使得从camera模组能够以比主camera模组更低的曝光帧率(降低了从camera模组的非必要曝光频率),与主camera模组实现硬同步场景下的协同拍摄。由于从camera模组的曝光帧率可以比主camera模组的曝光帧率更低,所以从camera模组消耗的功耗可以更低。也即,该方法可以有效降低终端设备在进行多摄协同拍摄时的功耗。
例如,前述实施例中所述的彩色camera模组(主camera模组)、黑白camera模组(从camera模组)、以及景深camera模组(从camera模组)进行协同拍摄的示例中,本申请实施例提供的多摄协同拍摄方法可以使得彩色camera模组以30FPS的曝光帧率进行拍摄,黑白camera模组以15FPS的曝光帧率进行拍摄,景深camera模组以10FPS的曝光帧率进行拍摄,同时,彩色camera模组、黑白camera模组、以及景深camera模组在拍摄时每一帧的帧头均能保持时间戳一致(即出图时间的一致性)。由于黑白camera模组和景深camera模组的曝光帧率低于彩色camera模组的曝光帧率,无需与彩色camera模组的曝光帧率保持一致,所以,黑白camera模组和景深camera模组消耗的功耗可以更低。
可选地,本申请实施例中,终端设备中可以包括一个多摄同步控制模块,该多摄同步控制模块可以用于实现前述实施例中所述的确定主camera模组和从camera模组、并分别确定主camera模组和每颗从camera模组的最低曝光帧率的功能,调整主camera模组和每颗从camera模组的曝光帧率的功能,以及根据主camera模组的曝光帧率和从camera模组的曝光帧率为从camera模组配置感知脉冲信号的间隔次数的功能。该多摄同步控制模块可以是处理器中可以运行的代码。
示例性地,图5为本申请实施例提供的多摄同步控制模块的原理示意图。如图5所示,多摄同步控制模块可以包括决策模型和控制模块两个部分。其中,决策模型可以决策camera模组的主从属性、主camera模组和从camera模组的曝光帧率、以及从camera模组感知XVS脉冲信号的间隔次数。控制模块可以根据决策模型的决策结果,配置camera模组的主从属性、主camera模组和从camera模组的曝光帧率,以及控制主camera模组发出XVS脉冲信号和控制从camera模组感知XVS脉冲信号。
例如,以终端设备为手机为例,手机中可以包括上述多摄同步控制模块。手机启动运行相机应用后,可以采集当前拍摄场景的场景信息(具体参见前述实施例中所述)。决策模型可以根据当前拍摄场景的场景信息、以及手机配置的camera模组的能力信息,从手机配置的camera模组中决策适合拍摄当前拍摄场景的主camera模组和从camera模组。在决策出主camera模组和从camera模组后,决策模型可以确定主camera模组和从camera模组分别对应的最低曝光帧率,并按照前述实施例中所述的方式根据主camera模组和从camera模组分别对应的最低曝光帧率,决策出主camera模组和从camera模组分别对应的曝光帧率(可以称为目标曝光帧率,具体决策方式参见前述实施例)。另外,决策模型还可以根据主camera模组和从camera模组分别对应的曝光帧率,决策出从camera模组感知XVS脉冲信号的间隔次数。控制模块可以根据决策模型的决策结果,确定主camera模组和从camera模组,并将主camera模组和从camera模组的曝光帧率调整为决策模型决策出的各自对应的目标曝光帧率。之后,手机通过主camera模组和从camera模组进行协同拍摄的过程中,控制模块可以按照主camera模组的曝光帧率控制主camera模组在每一帧的帧头对应的时刻发出XVS脉冲信号,控制从camera模组按照决策模型决策的该从camera模组感知XVS脉冲信号的间隔次数对XVS脉冲信号进行感知。如:控制模块可以向从camera模组配置该从camera模组感知XVS脉冲信号的间隔次数。
可选地,本申请另外一些实施例中,上述S304中,终端设备也可以调整每颗从camera模组的曝光帧率,使主camera模组和所有从camera模组的曝光帧率满足:主camera模组的曝光帧率和和任意一个从camera模组的曝光帧率之间互成倍数比例关系,任意两个从camera模组的曝光帧率之间也互成倍数比例关系,且每个从camera模组的曝光帧率大于或等于该从camera模组的最低曝光帧率、小于或等于主camera模组的曝光帧率。
示例性地,同样假设S302中终端设备确定的从camera模组的数量为i,i为大于0的整数,主camera模组的最低曝光帧率为S0,第1颗从camera模组的最低曝光帧率为S1,第2颗从camera模组的最低曝光帧率为S2,……,第i颗从camera模组的最低曝光帧率为Si。则,S303中终端设备可以将主camera模组的曝光帧率S'0调整为S'0=S0。本实施例中,S304中终端设备调整每颗从camera模组的曝光帧率的具体方式可以包括:
以S'0为基准,调整第1颗从camera模组的曝光帧率S'1至第i颗从camera模组的曝光帧率S'i,使S'1至S'i满足:
S'0=X1*S'1=X1*X2*S'2=…=X1*X2*…*Xi-1*Xi*S'i,X1至Xi分别为大于0的整数,Si≤S'i≤S'0。
终端设备按照上述方式调整每颗从camera模组的曝光帧率之后,即可按照与前述实施例中S305-S307所述相同的方式,完成多摄协同拍摄。
本实施例中,终端设备通过上述方式动态调整主camera模组和每颗从camera模组的曝光帧率,并配置每颗从camera模组感知脉冲信号的间隔次数,同样可以使得从camera模组能够以比主camera模组更低的曝光帧率,与主camera模组实现硬同步场景下的协同拍摄。由于从camera模组的曝光帧率可以比主camera模组的曝光帧率更低,所以从camera模组消耗的功耗可以更低。另外,相对于前述实施例而言,本实施例中,主camera模组和所有从camera模组中的任意两颗camera模组之间互成倍数比例关系,可以使得主camera模组和所有从camera模组能够在一些固定帧输出同时间戳多摄曝光图像,更加有利于后续的图像融合,终端设备进行图像融合处理后输出的最终拍摄图像的效果可以更好。
可选地,本实施例中终端设备按照上述方式对每颗从camera模组的曝光帧率进行调整的过程中,对于第i颗从camera模组,当第i颗从camera模组对应的Xi和S'i的组合包括多种时,终端设备同样可以将第i颗从camera模组的曝光帧率S'i调整为多种组合中最小的一种。具体原理与前述实施例中所述相同,在此不再赘述。
下面同样以终端设备确定主camera模组为彩色camera模组,从camera模组为黑白camera模组和景深camera模组,脉冲信号为XVS脉冲信号为例,对上述终端设备调整每颗从camera模组的曝光帧率,使主camera模组和所有从camera模组中的任意两颗camera模组之间互成倍数比例关系的实施例进行举例说明。
示例性地,图6为本申请实施例提供的三颗camera模组的硬同步控制原理的另一示意图。如图6所示,假设彩色camera模组的最低曝光帧率为30FPS,黑白camera模组的最低曝光帧率为12FPS,景深camera模组的最低曝光帧率为10FPS,则终端设备可以调整彩色camera模组的曝光帧率为30FPS,调整黑白camera模组和景深camera模组的曝光帧率均为15FPS。此时,彩色camera模组、黑白camera模组、景深camera模组分别对应的曝光帧率满足:任意两颗camera模组的曝光帧率之间互成倍数比例关系。然后,终端设备可以将黑白camera模组和景深camera模组分别感知XVS脉冲信号的间隔次数均配置为1次。终端设备在通过彩色camera模组、黑白camera模组、以及景深camera模组进行拍摄的过程中,可以控制彩色camera模组按照30FPS在每一帧的帧头(SOF)对应的时刻发出XVS脉冲信号;控制黑白camera模组对彩色camera模组发出的XVS脉冲信号每间隔1次、感知1次,并在每次感知到主camera模组发出的XVS脉冲信号后开始当前帧的拍摄;控制景深camera模组对彩色camera模组发出的XVS脉冲信号每间隔1次、感知1次,并在每次感知到主camera模组发出的XVS脉冲信号后开始当前帧的拍摄。
换言之,黑白camera模组在感知1次彩色camera模组发出的XVS脉冲信号后,对之后第1次接收到的彩色camera模组发出的XVS脉冲信号不感知,对第2次接收到的彩色camera模组发出的XVS脉冲信号进行感知。景深camera模组同样在感知1次彩色camera模组发出的XVS脉冲信号后,对之后第1次接收到的彩色camera模组发出的XVS脉冲信号不感知,对第2次接收到的彩色camera模组发出的XVS脉冲信号进行感知。
可以看到,对于彩色camera模组的最低曝光帧率为30FPS,黑白camera模组的最低曝光帧率为12FPS,景深camera模组的最低曝光帧率为10FPS的示例而言:
上述每颗从camera模组的曝光帧率满足主camera模组的最低曝光帧率为从camera模组的曝光帧率的整数倍的实施例中,终端设备调整后,彩色camera模组的曝光帧率为30FPS,黑白camera模组的曝光帧率为15FPS,景深camera模组的曝光帧率为10FPS,三颗camera模组的出图比例为6:3:2,每间隔6帧,三颗camera模组的出图时间戳保持一致。
而上述任意两颗camera模组之间互成倍数比例关系的实施例中,终端设备调整后,彩色camera模组的曝光帧率为30FPS,黑白camera模组的曝光帧率和景深camera模组的曝光帧率均为15FPS,三颗camera模组的出图比例为2:1:1,每间隔2帧,三颗camera模组的出图时间戳保持一致。
根据上面彩色camera模组的最低曝光帧率为30FPS,黑白camera模组的最低曝光帧率为12FPS,景深camera模组的最低曝光帧率为10FPS的示例可以得知,在多摄协同拍摄场景中,上述任意两颗camera模组的曝光帧率之间互成倍数比例关系的实施例中,主从camera模组的出图时间戳保持一致的间隔帧数较少,因此,上述任意两颗camera模组的曝光帧率之间互成倍数比例关系的实施例中主从camera模组的时间一致性更好,终端设备进行图像融合处理后输出的最终拍摄图像的效果可以更好。
需要说明的是,本申请前述实施例中虽然是以三颗camera模组为例进行说明,但应当理解,本申请实施例提供多摄协同拍摄方法可以适用于两颗camera模组、四颗camera模组等其他数量的camera模组进行协同拍摄的场景,本申请对camera模组的数量不作限制。当camera模组的数量为两颗(即一颗主camera模组,一颗从camera模组)时,上述终端设备调整每颗从camera模组的曝光帧率,使每颗从camera模组的曝光帧率满足主camera模组的最低曝光帧率为从camera模组的曝光帧率的整数倍的实施例,与终端设备调整每颗从camera模组的曝光帧率,使主camera模组和所有从camera模组中的任意两颗camera模组之间互成倍数比例关系的实施例所达到的效果是相同的。
例如,图7为本申请实施例提供的两颗camera模组的硬同步控制原理的示意图。如图7所示,假设某种拍摄场景下(如傍晚光线较暗的场景),终端设备确定主camera模组为彩色camera模组,从camera模组为黑白camera模组,彩色camera模组的最低曝光帧率为30FPS,黑白camera模组的最低曝光帧率为12FPS,其中,彩色camera模组具有较高的拍摄性能;黑白camera模组可以采集灰度信息,提供更加丰富的亮度明暗变化。则,终端设备可以调整彩色camera模组的曝光帧率为30FPS,调整黑白camera模组的曝光帧率为15FPS,使黑白camera模组的曝光帧率满足彩色camera模组的曝光帧率为黑白camera模组的曝光帧率的2倍,其曝光帧率比例为2:1。此时,由于只有彩色camera模组和黑白camera模组,所以主camera模组和所有从camera模组中的任意两颗camera模组之间也互成倍数比例关系。然后,终端设备可以将黑白camera模组感知XVS脉冲信号的间隔次数配置为1次。终端设备在通过彩色camera模组、黑白camera模组进行拍摄的过程中,可以控制彩色camera模组按照30FPS在每一帧的帧头(SOF)对应的时刻发出XVS脉冲信号;控制黑白camera模组对彩色camera模组发出的XVS脉冲信号每间隔1次、感知1次,并在每次感知到主camera模组发出的XVS脉冲信号后开始当前帧的拍摄。也即,黑白camera模组在感知1次彩色camera模组发出的XVS脉冲信号后,对之后第1次接收到的彩色camera模组发出的XVS脉冲信号不感知,对第2次接收到的彩色camera模组发出的XVS脉冲信号进行感知。
可选地,本申请还有一些实施例中,终端设备在启动拍摄功能后,还可以根据当前拍摄场景对应的场景信息,将当前拍摄场景划分为对时间一致性要求较高的场景或者对时间一致性要求较低的场景。当当前拍摄场景为对时间一致性要求较低的场景时,终端设备可以调整每颗从camera模组的曝光帧率,使每颗从camera模组的曝光帧率满足主camera模组的最低曝光帧率为从camera模组的曝光帧率的整数倍即可。当当前拍摄场景为对时间一致性要求较高的场景时,终端设备可以调整每颗从camera模组的曝光帧率,使主camera模组的曝光帧率和和任意一个从camera模组的曝光帧率之间互成倍数比例关系,任意两个从camera模组的曝光帧率之间也互成倍数比例关系。
例如,在高动态模式下,一般属于拍摄物体(或称为被拍主体)快速运动的情况,由于拍摄物体处于运动过程中,除了主camera模组需要较高的曝光帧率外,如果有多摄拍摄,将会对最终拍照成像的时间一致性有较高的需求,以免由于不同帧之间物体大幅度的位移,给图像融合带来困难。因此,高动态模式的拍摄场景可以划分为对时间一致性要求较高的场景。类似地,当前拍摄场景中包含移动中的物体时,也可以将当前拍摄场景划分为对时间一致性要求较高的场景。而对于其他一些拍摄固定物体的场景,或者,普通模式(非高动态模式)对应的场景,则可以划分为对时间一致性要求较低的场景。
示例性地,当用户选择了高动态模式,或者,终端设备根据预览画面识别得到当前拍摄场景中包含移动中的物体时,终端设备(或者终端设备中的决策模型)可以根据当前拍摄场景的场景信息,将当前拍摄场景划分为对时间一致性要求较高的场景。在后续调整主从camera模组的曝光帧率时,终端设备可以调整每颗从camera模组的曝光帧率,使主camera模组和所有从camera模组中的任意两颗camera模组之间互成倍数比例关系。
可选地,当当前拍摄场景为对时间一致性要求较高的场景时,终端设备在调整从camera模组的曝光帧率时,可以适当提高从camera模组的曝光帧率;或者,终端设备在在确定主camera模组和每颗从camera模组的最低曝光帧率时,可以适当提高主camera模组和每颗从camera模组的最低曝光帧率,以使得主camera模组和每颗从camera模组出图时间保持更好的一致性。
一些实施例中,终端设备中可以预设有场景信息和时间一致性的对应关系,终端设备可以通过查询该对应关系,根据当前拍摄场景对应的场景信息确定当前拍摄场景为对时间一致性要求较高的场景或者对时间一致性要求较低的场景。该对应关系可以是根据摄影经验、摄影规则等进行人为配置的,在此不作限制。
示例性地,图8为本申请实施例提供的终端设备的软件架构实现原理示意图。如图8所示,本申请实施例中,终端设备的软件架构可以包括:应用层(applications)、应用框架层(application framework)、硬件抽象层(hardware abstract layer,HAL)、内核层(kernel)、硬件驱动(driver)层。
其中,应用层可以包含多个应用,如:应用层可以包含电子邮件、短信、日历、地图、浏览器和联系人管理等系统应用,以及拍摄应用程序(如相机应用)。
本申请实施例中,终端设备根据当前拍摄场景对应的场景信息、以及终端设备配置的camera模组的能力信息,从终端设备配置的camera模组中确定(决策)适合拍摄当前拍摄场景的主camera模组和从camera模组的功能、决策主camera模组和每颗从camera模组的最低曝光帧率的功能、以及决策主camera模组和每颗从camera模组实际拍摄的曝光帧率的功能,可以在应用框架层(application framework)中实现。终端设备根据应用框架层的决策结果,配置主从camera模组的功能,以及配置主从camera模组的曝光帧率、从camera模组感知脉冲信号的间隔次数的功能,可以在硬件抽象层(HAL)中实现。内核层(kernel)可以根据硬件抽象层(HAL)的配置结果进行寄存器读写,以控制主从camera模组的曝光帧率、主camera模组发出脉冲信号的频率、从camera模组感知脉冲信号的间隔次数等。硬件驱动层可以调用相应的camera模组按照寄存器的读写逻辑实现相应的功能。如:camera模组可以包括camera模组1、camera模组2、camera模组3等。
应当理解,以上各实施例中所述仅为对本申请实施例提供的多摄协同拍摄方法的示例性说明。在其他一些可能的实现方式中,以上所述的各实施例也可以删减或增加某些执行步骤,或者以上实施例中所述的部分步骤的顺序也可以进行调整,本申请对此均不作限制。
对应于前述实施例中所述的多摄协同拍摄方法,本申请实施例还提供一种拍摄装置,该装置可以应用于终端设备,用于实现前述实施例所述的多摄协同拍摄方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。
例如,图9为本申请实施例提供的拍摄装置的结构示意图。如图9所示,该装置可以包括:配置模块901、拍摄模块902。
其中,配置模块901,用于从终端设备配置的相机模组中确定第一相机模组和第二相机模组,并配置第一相机模组的曝光帧率、以及第二相机模组的曝光帧率;第二相机模组的数量为一颗或多颗;第一相机模组的曝光帧率为第二相机模组的曝光帧率的整数倍。
拍摄模块902,用于通过第一相机模组和每颗第二相机模组进行拍摄。
其中,第一相机模组和第二相机模组为实现多摄协同拍摄的相机模组。
在一种可能的设计中,配置模块901还用于,对每颗第二相机模组,根据第一相机模组的曝光帧率、以及第二相机模组的曝光帧率,为第二相机模组配置感知第一信号的间隔次数。在拍摄过程中,第一相机模组在每一帧的帧头对应的时刻发出第一信号;每颗第二相机模组根据所述感知第一信号的间隔次数,感知第一相机模组发出的第一信号;响应于感知到第一相机模组发出的第一信号,每颗第二相机模组开始当前帧的拍摄。
图10为本申请实施例提供的拍摄装置的另一结构示意图。可选地,如图10所示,
一些实施例中,该拍摄装置还包括:获取模块903,用于获取当前拍摄场景的场景信息、以及终端设备配置的相机模组的能力信息。
配置模块901,具体用于根据所述场景信息、以及所述能力信息,从终端设备配置的相机模组中确定第一相机模组和第二相机模组。
示例性地,场景信息包括以下一种或多种:焦距信息、光线信息、用户的拍摄需求。
在一种可能的设计中,获取模块903,具体用于根据当前拍摄场景对应的预览画面、传感器信息(如光线传感器采集的光线信息)、第一操作中的一种或多种,获取当前拍摄场景的场景信息。
其中,第一操作为在终端设备显示的第一界面选择拍摄模式,和/或,设置拍摄参数的操作。
可选地,相机模组的能力信息包括以下一种或多种:最大曝光帧率、拍摄的合理焦距、出图色彩模式。
在一种可能的设计中,配置模块901,具体用于根据当前拍摄场景的场景信息、以及终端设备配置的相机模组的能力信息,分别确定第一相机模组和第二相机模组的最低曝光帧率。将第一相机模组的曝光帧率配置为第一曝光帧率,第一曝光帧率大于或等于第一相机模组的最低曝光帧率。配置每颗第二相机模组的曝光帧率,使每颗第二相机模组的曝光帧率满足:第一曝光帧率为第二相机模组的曝光帧率的整数倍,且第二相机模组的曝光帧率大于或等于第二相机模组的最低曝光帧率(小于或等于第一曝光帧率)。
在另一种可能的设计中,配置模块901,具体用于配置每颗第二相机模组的曝光帧率,使第一曝光帧率和任意一颗第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗第二相机模组的曝光帧率之间也互成倍数比例关系。
在一种可能的设计中,当前拍摄场景可以被划分为(或者说包括)对时间一致性要求较高的场景,或者,对时间一致性要求较低的场景。配置模块901,具体用于当当前拍摄场景为对时间一致性要求较高的场景时,配置每颗第二相机模组的曝光帧率,使第一曝光帧率和任意一颗第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗第二相机模组的曝光帧率之间也互成倍数比例关系。
一些实施例中,配置模块901具体用于,对每颗第二相机模组:当第二相机模组的最低曝光帧率至第一曝光帧率的范围内包括多个第二曝光帧率满足第一曝光帧率为第二曝光帧率的整数倍时,将多个第二曝光帧率中的最小值配置为第二相机模组的曝光帧率。
可选地,拍摄模块902,还用于控制第一相机模组和每颗第二相机模组在拍摄时曝光出图的第一帧的时间保持一致。
图11为本申请实施例提供的拍摄装置的又一结构示意图。可选地,如图11所示,该拍摄装置还包括:融合模块904,用于对第一相机模组和第二相机模组拍摄到的图像进行融合处理,得到第一图像。
第一图像是终端设备进行多摄协同拍摄得到的最终拍摄图像。
该拍摄装置可以用于实现前述方法实施例中所述的多摄协同拍摄方法的全部功能,不再一一赘述。
应当理解,该装置还可能包括用于实现前述实施例所述的多摄协同拍摄方法的其他模块或单元,如:显示单元,可以用于显示第一界面,在此并未一一示出。
应理解以上装置中单元(或称为模块)的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元以硬件的形式实现。
例如,各个单元可以为单独设立的处理元件,也可以集成在装置的某一个芯片中实现,此外,也可以以程序的形式存储于存储器中,由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件又可以称为处理器,可以是一种具有信号的处理能力的集成电路。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。
在一个例子中,以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个专用集成电路(application specific integrated circuit,ASIC),或,一个或多个数字信号处理器(digital signal process,DSP),或,一个或者多个现场可编辑逻辑门阵列(field programmable gate array,FPGA),或这些集成电路形式中至少两种的组合。
再如,当装置中的单元可以通过处理元件调度程序的形式实现时,该处理元件可以是通用处理器,例如中央处理器(central processing unit,CPU)或其它可以调用程序的处理器。再如,这些单元可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
在一种实现中,以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如,该装置可以包括处理元件和存储元件,处理元件调用存储元件存储的程序,以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件,即片内存储元件。
在另一种实现中,用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件,即片外存储元件。此时,处理元件从片外存储元件调用或加载程序于片内存储元件上,以调用并执行以上方法实施例所述的方法。
例如,本申请实施例还可以提供一种装置,如:电子设备。该电子设备可以包括:处理器,用于存储所述处理器可执行指令的存储器;所述处理器被配置为执行所述指令时,使得所述电子设备实现如前述实施例所述的方法。该存储器可以位于该电子设备之内,也可以位于该电子设备之外。且该处理器包括一个或多个。
示例性地,该电子设备可以是具有拍摄功能的手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等移动终端,或者,也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备,本申请实施例对电子设备的具体类型不作限制。
在又一种实现中,该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件,这里的处理元件可以为集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或者这些类集成电路的组合。这些集成电路可以集成在一起,构成芯片。
例如,本申请实施例还提供一种芯片,该芯片可以应用于上述电子设备。芯片包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;处理器通过接口电路从电子设备的存储器接收并执行计算机指令,以实现如前述实施例所述的方法。
本申请实施例还提供一种计算机程序产品,包括计算机可读代码,当计算机可读代码在电子设备中运行时,使得电子设备实现如前述实施例所述的方法。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。
基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,如:程序。该软件产品存储在一个程序产品,如计算机可读存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
例如,本申请实施例还可以提供一种计算机可读存储介质,其上存储有计算机程序指令;当所述计算机程序指令被电子设备执行时,使得电子设备实现如前述实施例所述的方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种拍摄方法,其特征在于,所述方法包括:
终端设备从所述终端设备配置的相机模组中确定第一相机模组和第二相机模组,并配置所述第一相机模组的曝光帧率、以及所述第二相机模组的曝光帧率;所述第二相机模组的数量为一颗或多颗;所述第一相机模组的曝光帧率为所述第二相机模组的曝光帧率的整数倍;
所述终端设备通过所述第一相机模组和每颗所述第二相机模组进行拍摄。
2.根据权利要求1所述的方法,其特征在于,所述终端设备通过所述第一相机模组和每颗所述第二相机模组进行拍摄之前,所述方法还包括:
对每颗所述第二相机模组,所述终端设备根据所述第一相机模组的曝光帧率、以及所述第二相机模组的曝光帧率,为所述第二相机模组配置感知第一信号的间隔次数;
所述终端设备通过所述第一相机模组和每颗所述第二相机模组进行拍摄,包括:
在拍摄过程中,所述第一相机模组在每一帧的帧头对应的时刻发出第一信号;每颗所述第二相机模组根据所述感知第一信号的间隔次数,感知所述第一相机模组发出的第一信号;响应于感知到所述第一相机模组发出的第一信号,每颗所述第二相机模组开始当前帧的拍摄。
3.根据权利要求1或2所述的方法,其特征在于,所述终端设备从所述终端设备配置的相机模组中确定第一相机模组和第二相机模组,包括:
所述终端设备获取当前拍摄场景的场景信息、以及所述终端设备配置的相机模组的能力信息;
所述终端设备根据所述场景信息、以及所述能力信息,从所述终端设备配置的相机模组中确定第一相机模组和第二相机模组。
4.根据权利要求3所述的方法,其特征在于,所述终端设备配置所述第一相机模组的曝光帧率、以及所述第二相机模组的曝光帧率,包括:
所述终端设备根据所述场景信息、以及所述能力信息,确定所述第一相机模组和所述第二相机模组的最低曝光帧率;
所述终端设备将所述第一相机模组的曝光帧率配置为第一曝光帧率,所述第一曝光帧率大于或等于所述第一相机模组的最低曝光帧率;
所述终端设备配置每颗所述第二相机模组的曝光帧率,使每颗所述第二相机模组的曝光帧率满足:所述第一曝光帧率为所述第二相机模组的曝光帧率的整数倍,且所述第二相机模组的曝光帧率大于或等于所述第二相机模组的最低曝光帧率。
5.根据权利要求4所述的方法,其特征在于,所述终端设备配置每颗所述第二相机模组的曝光帧率,使每颗所述第二相机模组的曝光帧率满足:所述第一曝光帧率为所述第二相机模组的曝光帧率的整数倍,包括:
所述终端设备配置每颗所述第二相机模组的曝光帧率,使所述第一曝光帧率和任意一颗所述第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗所述第二相机模组的曝光帧率之间也互成倍数比例关系。
6.根据权利要求5所述的方法,其特征在于,所述当前拍摄场景包括:对时间一致性要求较高的场景,或者,对时间一致性要求较低的场景;
所述终端设备配置每颗所述第二相机模组的曝光帧率,使所述第一曝光帧率和任意一颗所述第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗所述第二相机模组的曝光帧率之间也互成倍数比例关系,包括:
当所述当前拍摄场景为对时间一致性要求较高的场景时,所述终端设备配置每颗所述第二相机模组的曝光帧率,使所述第一曝光帧率和任意一颗所述第二相机模组的曝光帧率之间互成倍数比例关系,且任意两颗所述第二相机模组的曝光帧率之间也互成倍数比例关系。
7.根据权利要求4-6任一项所述的方法,其特征在于,所述终端设备配置每颗所述第二相机模组的曝光帧率,使每颗所述第二相机模组的曝光帧率满足:所述第一曝光帧率为所述第二相机模组的曝光帧率的整数倍,且所述第二相机模组的曝光帧率大于或等于所述第二相机模组的最低曝光帧率,包括:
对每颗所述第二相机模组,当所述第二相机模组的最低曝光帧率至所述第一曝光帧率的范围内包括多个第二曝光帧率满足所述第一曝光帧率为所述第二曝光帧率的整数倍时,所述终端设备将多个所述第二曝光帧率中的最小值配置为所述第二相机模组的曝光帧率。
8.根据权利要求3-7任一项所述的方法,其特征在于,所述终端设备获取当前拍摄场景的场景信息,包括:
所述终端设备根据当前拍摄场景对应的预览画面、传感器信息、第一操作中的一种或多种,获取当前拍摄场景的场景信息;
其中,所述第一操作为在所述终端设备显示的第一界面选择拍摄模式,和/或,设置拍摄参数的操作。
9.根据权利要求3-8任一项所述的方法,其特征在于,所述场景信息包括以下一种或多种:焦距信息、光线信息、用户的拍摄需求。
10.根据权利要求3-9任一项所述的方法,其特征在于,所述能力信息包括以下一种或多种:最大曝光帧率、拍摄的合理焦距、出图色彩模式。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述方法还包括:
所述终端设备控制所述第一相机模组和每颗所述第二相机模组在拍摄时曝光出图的第一帧的时间保持一致。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述方法还包括:
所述终端设备对所述第一相机模组和所述第二相机模组拍摄到的图像进行融合处理,得到第一图像。
13.一种拍摄装置,其特征在于,所述装置包括:
配置模块,用于从终端设备配置的相机模组中确定第一相机模组和第二相机模组,并配置所述第一相机模组的曝光帧率、以及所述第二相机模组的曝光帧率;所述第二相机模组的数量为一颗或多颗;所述第一相机模组的曝光帧率为所述第二相机模组的曝光帧率的整数倍;
拍摄模块,用于通过所述第一相机模组和每颗所述第二相机模组进行拍摄。
14.一种电子设备,其特征在于,包括:处理器,用于存储所述处理器可执行指令的存储器;
所述处理器被配置为执行所述指令时,使得所述电子设备实现如权利要求1-12任一项所述的方法。
15.一种计算机可读存储介质,其上存储有计算机程序指令;其特征在于,
当所述计算机程序指令被电子设备执行时,使得电子设备实现如权利要求1-12任一项所述的方法。
CN202110722095.8A 2021-06-28 2021-06-28 拍摄方法、装置、设备及存储介质 Pending CN115623312A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110722095.8A CN115623312A (zh) 2021-06-28 2021-06-28 拍摄方法、装置、设备及存储介质
PCT/CN2022/098209 WO2023273836A1 (zh) 2021-06-28 2022-06-10 拍摄方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110722095.8A CN115623312A (zh) 2021-06-28 2021-06-28 拍摄方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115623312A true CN115623312A (zh) 2023-01-17

Family

ID=84690026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110722095.8A Pending CN115623312A (zh) 2021-06-28 2021-06-28 拍摄方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115623312A (zh)
WO (1) WO2023273836A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101767662B1 (ko) * 2016-10-21 2017-08-14 (주)플럭스플래닛 다시점 카메라 동기화 시스템 및 방법
CN107147837A (zh) * 2017-06-30 2017-09-08 维沃移动通信有限公司 一种拍摄参数的设置方法和移动终端
US10200599B1 (en) * 2017-09-07 2019-02-05 Qualcomm Incorporated Image capture setting determination in devices having access to multiple cameras
CN108174119B (zh) * 2017-12-29 2020-05-12 深圳市道通智能航空技术有限公司 摄像装置的控制方法、多光谱摄像设备、无人机及计算机可读存储介质
CN109040591B (zh) * 2018-08-22 2020-08-04 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109803087B (zh) * 2018-12-17 2021-03-16 维沃移动通信有限公司 一种图像生成方法及终端设备
CN112153306B (zh) * 2020-09-30 2022-02-25 深圳市商汤科技有限公司 图像采集系统、方法、装置、电子设备及可穿戴设备

Also Published As

Publication number Publication date
WO2023273836A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
WO2022262260A1 (zh) 一种拍摄方法及电子设备
US11532076B2 (en) Image processing method, electronic device and storage medium
CN113810598B (zh) 一种拍照方法、电子设备及存储介质
WO2022262344A1 (zh) 一种拍摄方法及电子设备
CN112150399A (zh) 基于宽动态范围的图像增强方法及电子设备
WO2022042211A1 (zh) 一种业务处理方法及设备
CN108419008B (zh) 一种拍摄方法、终端及计算机可读存储介质
CN113382169A (zh) 一种拍照方法及电子设备
CN113364976B (zh) 一种图像的显示方法及电子设备
CN113727018B (zh) 一种拍摄方法及设备
CN113810590A (zh) 图像处理方法、电子设备、介质和系统
EP4376433A1 (en) Camera switching method and electronic device
WO2023077939A1 (zh) 摄像头的切换方法、装置、电子设备及存储介质
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
US20240179397A1 (en) Video processing method and electronic device
WO2024093545A1 (zh) 拍照方法及电子设备
CN109845241A (zh) 摄像装置、摄像方法及程序
CN113497880A (zh) 一种拍摄图像的方法及电子设备
CN115623312A (zh) 拍摄方法、装置、设备及存储介质
WO2023103885A1 (zh) 拍摄方法、装置、设备及存储介质
CN109600547B (zh) 拍照方法、装置、电子设备和存储介质
EP4287607A1 (en) Image processing method and electronic device
CN116095509B (zh) 生成视频帧的方法、装置、电子设备及存储介质
CN116055855B (zh) 图像处理方法及其相关设备
CN116048323B (zh) 图像处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination