CN116723394A - 多摄策略调度方法及其相关设备 - Google Patents

多摄策略调度方法及其相关设备 Download PDF

Info

Publication number
CN116723394A
CN116723394A CN202210193105.8A CN202210193105A CN116723394A CN 116723394 A CN116723394 A CN 116723394A CN 202210193105 A CN202210193105 A CN 202210193105A CN 116723394 A CN116723394 A CN 116723394A
Authority
CN
China
Prior art keywords
strategy
shot
shooting
mode
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210193105.8A
Other languages
English (en)
Other versions
CN116723394B (zh
Inventor
许集润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210193105.8A priority Critical patent/CN116723394B/zh
Priority to PCT/CN2022/142843 priority patent/WO2023160223A1/zh
Priority to EP22928463.3A priority patent/EP4340382A1/en
Publication of CN116723394A publication Critical patent/CN116723394A/zh
Application granted granted Critical
Publication of CN116723394B publication Critical patent/CN116723394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种多摄策略调度方法及其相关设备,涉及多摄技术领域,该方法包括:显示预览界面,预览界面包括第一控件;检测到对第一控件的第一操作;响应于第一操作,多摄策略调度层根据初始数据,确定目标多摄策略;多摄策略调度层根据初始数据和目标多摄策略,确定决策指令。本申请通过在硬件抽象层增设多摄策略调度层,将多个摄像头的切换和配置逻辑与硬件平台解耦,从而可以实现便于后续维护和升级的目的。

Description

多摄策略调度方法及其相关设备
技术领域
本申请涉及多摄技术领域,尤其涉及一种多摄策略调度方法及其相关设备。
背景技术
随着电子设备上终端业务的演进,为了追求更佳的拍摄效果,在电子设备上安装多个摄像头已经呈一种蓬勃发展的趋势。通过在电子设备上安装多个摄像头,可以提供更多的拍摄方式以供用户进行选择并使用。
但是,当前多个摄像头涉及的业务又和电子设备上的硬件平台息息相关,导致多个摄像头的功能迭代需要适应硬件平台的情况,这样就会产生很多问题,比如:多个摄像头的切换和配置逻辑与硬件平台高度耦合,当硬件平台变更时,多个摄像头的切换和配置逻辑也需要随之变更。同时,随着多个摄像头的适配方案越来越多,多个摄像头的切换和配置逻辑越来越复杂,给后续维护和升级带来了巨大的困难。
发明内容
本申请提供一种多摄策略调度方法及其相关设备,通过在硬件抽象层增设多摄策略调度层,将多个摄像头的切换和配置逻辑与硬件平台解耦,从而可以实现便于后续维护和升级的目的。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供一种多摄策略调度方法,应用于包括多摄策略调度层和多个摄像头的电子设备,该方法包括:
显示预览界面,所述预览界面包括第一控件;
检测到对所述第一控件的第一操作;
响应于所述第一操作,所述多摄策略调度层根据初始数据,确定目标多摄策略;
所述多摄策略调度层根据所述初始数据和所述目标多摄策略,确定决策指令,所述决策指令用于控制所述多个摄像头的工作状态。
本申请实施例提供了一种多摄调度方法,通过在该电子设备的硬件抽象层中增设集成有多种多摄切换和配置策略的多摄策略调度层,从而可以将多摄调度与芯片平台解耦,更灵活方便的配置和变更多摄策略调度层中的多摄策略,以满足越来越多的拍摄需求。
在第一方面一种可能的实现方式中,所述多摄策略调度层包括依次连接的接口适配模块、多摄策略选择模块、多摄策略计算模块和状态切换决策模块,所述接口适配模块还与所述状态切换决策模块相连接;
所述方法包括:
所述接口适配模块接收所述初始数据,所述初始数据包括:目标拍摄模式、变焦倍数、变焦切换方式、多个摄像头上一时刻的工作状态、亮度值、动态范围值、物距中的至少一项;
所述多摄策略选择模块根据所述初始数据,从多个多摄策略中或所述多摄策略包括的多个子策略中确定目标多摄策略,所述目标多摄策略为多个多摄策略中的一个或多个子策略中的一个;
所述多摄策略计算模块根据所述初始数据和所述目标多摄策略,计算输出配置,所述输出配置用于指示所述多个摄像头下一时刻的工作状态,所述摄像头的工作状态包括:关闭、前台送显和后台运行;
所述状态切换决策模块根据所述初始数据和所述输出配置,确定决策指令;
所述接口适配模块输出所述决策指令。
在该实现方式中,基于接口适配模块可以统一管理芯片平台的差异,适配输入和输出,以适应不同的硬件芯片平台。同时,基于的多摄策略选择模块、多摄策略计算模块和状态切换决策模块,可以形成多摄策略新架构,将所有功能内聚于多摄策略调度层中,只需根据不同请求调用和切换不同的多摄策略。
在第一方面一种可能的实现方式中,所述多摄策略调度层还包括第一转换模块和第二转换模块,所述第一转换模块连接于所述接口适配模块和所述多摄策略选择模块之间,所述第二转换模块连接于所述状态切换决策模块和所述接口适配模块之间;
在所述接口适配模块接收所述初始数据之后,所述方法还包括:
所述第一转换模块将所述初始数据转换为所述第一数据;
在所述状态切换决策模块根据所述初始数据和所述输出配置,确定决策指令之后,所述方法还包括:
所述第二转换模块将所述决策指令转换为所述第二数据;
所述接口适配模块输出所述第二数据。
在该实现方式中,通过第一转换模块进行转换,可以不同平台适用的数据格式转换成统一的多摄策略调度层适用的数据格式;第二转换模块可以将多摄策略调度层适用的数据格式转换成不同平台的数据格式。通过第一转换模块和第二转换模块的转换功能,可以使得多摄策略调度层支持随时运行和更改调试。
在第一方面一种可能的实现方式中,所述目标拍摄模块为大光圈模式、夜景模式、人像模式、拍照模式、录像模式、高动态范围模式中的一项;
所述方法还包括:
当所述目标拍摄模式为所述大光圈模式时,所述多摄策略选择模块确定大光圈模式子策略为所述目标多摄策略;其中,所述多摄策略包括用户策略,所述用户策略包括大光圈模式子策略、夜景模式子策略、人像模式子策略、拍照模式子策略、录像模式子策略、高动态范围模式子策略;
当所述目标拍摄模式为所述夜景模式时,所述多摄策略选择模块确定所述夜景模式子策略为所述目标多摄策略;
当所述目标拍摄模式为所述人像模式时,所述多摄策略选择模块确定所述人像模式子策略为所述目标多摄策略;
当所述目标拍摄模式为所述拍照模式时,所述多摄策略选择模块确定所述拍照模式子策略为所述目标多摄策略;
当所述目标拍摄模式为所述录像模式时,所述多摄策略选择模块确定所述录像模式子策略为所述目标多摄策略;
当所述目标拍摄模式为所述高动态模式时,所述多摄策略选择模块确定所述高动态模式子策略为所述目标多摄策略。
在该实现方式中,通过对不同的拍摄模式配置不同的策略,可以便于动态管理。针对某一策略可以随时更改和调试,而不影响其他策略。
在第一方面一种可能的实现方式中,所述变焦切换方式包括点切方式;
所述方法还包括:
当所述变焦切换方式为所述点切方式时,所述多摄策略选择模块确定点切策略为所述目标多摄策略,其中,所述多摄策略包括所述点切策略。
在该实现方式中,通过对特殊切换方式配置单独的策略,可便于实现特殊功能。
在第一方面一种可能的实现方式中,所述方法还包括:
当所述初始数据中的所述亮度值小于预设亮度值阈值时,所述多摄策略选择模块确定暗光策略为所述目标多摄策略,其中,所述多摄策略包括所述暗光策略。
在该实现方式中,通过对特殊场景配置单独的策略,可适应特殊拍摄需求。
在第一方面一种可能的实现方式中,所述方法还包括:
当所述初始数据中的所述动态范围值大于预设动态范围值阈值时,所述多摄策略选择模块确定高动态范围策略为目标多摄策略,其中,所述多摄策略包括所述目标多摄策略。
在第一方面一种可能的实现方式中,所述多摄策略为xml格式文件。
在该实现方式中,xml格式配置灵活且方便。
第二方面,提供一种电子设备,包括处理器和存储器;
存储器,用于存储可在处理器上运行的计算机程序;
处理器,用于执行如第一方面或第一方面的任意可能的实现方式中提供的多摄策略调度方法。
第三方面,提供一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如第一方面或第一方面的任意可能的实现方式中提供的多摄策略调度方法。
第四方面,提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的多摄策略调度方法。
第五方面,提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的计算机可读存储介质,计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的多摄策略调度方法。
第三方面、第四方面和第五方面的有益效果,可以参考上述第一方面的有益效果,在此不再赘述。
附图说明
图1是本申请实施例提供的多摄策略调度方法适用的一种场景示意图;
图2是本申请实施例提供的多摄策略调度方法适用的另一种场景示意图;
图3是本申请实施例提供的一种电子设备的软件系统的结构示意图;
图4是本申请实施例提供的一种硬件抽象层的结构示意图;
图5是本申请实施例提供的另一种硬件抽象层的结构示意图;
图6是本申请实施例提供的一种多摄策略调度方法的流程示意图;
图7是本申请实施例提供的一种预览界面示意图;
图8是本申请实施例提供的另一种预览界面示意图;
图9是本申请实施例提供的又一种预览界面示意图;
图10是本申请实施例提供的一种电子设备的硬件系统的结构示意图;
图11为本申请实施例提供的一种芯片的结构示意图。
附图标记:
131-相机硬件抽象层;1311-接口层;1312-媒体控制层;132-多摄策略调度层;1321-接口适配模块;1322-多摄策略选择模块;1323-多摄策略计算模块;1324-状态切换决策模块;1325-第一转换模块;1326-第二转换模块。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
首先,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、焦距,焦距的大小标志着折光能力的大小,焦距越短,其折光能力就越大。光学镜头组件的焦距决定了该光学镜头组件拍摄的被摄物体在成像平面上所生成图像的大小。假设以相同的距离面对同一被摄物体进行拍摄,那么光学镜头组件的焦距越长,则被摄体在感光元件(charge-coupled device,CCD)上所生成的图像的放大倍数就越大。
2、光学变焦,主要是摄像模组内不同焦距的对比比例和切换。可用光学变焦倍数表示光学变焦的能力,光学变焦倍数越大,能拍摄的景物就越远。光学变焦倍数的大小与光学镜头组件的物理焦距相关。常以摄像模组的等效焦距为28mm对应1X(即1倍)光学变焦倍数。
3、视场角(field of view,FOV),用于指示摄像头所能拍摄到的最大的角度范围。若待拍摄物体处于这个角度范围内,该待拍摄物体便会被摄像头捕捉到。若待拍摄物体处于这个角度范围之外,该待拍摄物体便不会被摄像头捕捉到。
通常,摄像头的视场角越大,则拍摄范围就越大,焦距就越短;而摄像头的视场角越小,则拍摄范围就越小,焦距就越长。因此,摄像头因视场角的不同可以被划分主摄摄像头、广角摄像头和长焦摄像头。其中,广角摄像头的视场角相对于主摄摄像头的视场角较大,焦距较小,适合近景拍摄;而长焦摄像头的视场角相对于主摄摄像头的视场角较小,焦距较长,适合远景拍摄。
4、亮度(lighting value,LV)值,用于估计环境亮度,其具体计算公式如下:
其中,Exposure为曝光时间,Aperture为光圈大小,ISO为感光度,Luma为XYZ颜色空间中,Y的平均值。
5、动态范围(dynamic range)值,用于表示通过摄像头获取的预览图像中过曝区域所占整个图像的比例信息。
以上是对本申请实施例所涉及术语的简单介绍,以下不再赘述。
由于现有技术中,多个摄像头的切换和配置逻辑与硬件平台高度耦合,当硬件平台变更时,多个摄像头的切换和配置逻辑也需要随之变更,更改起来比较麻烦。同时,随着多个摄像头的适配方案越来越多,多个摄像头的切换和配置逻辑越来越复杂,给后续维护和升级带来了巨大的困难。
有鉴于此,本申请实施例提供一种多摄策略调度方法,通过将多摄调度所需的切换和配置策略内聚成一个模块,从而可以将多个摄像头的调度与硬件平台解耦,不再受限于硬件平台,可以更独立。另外,多个摄像头的调度可以更灵活的更改和设置,不再牵一发而动全身,可以更动态地进行管理。
本申请实施例提供的多摄策略调度方法可以应用于拍摄领域。例如,可以应用于拍摄图像或者录制视频。
下面对本申请实施例提供的多摄策略调度方法所适用的场景进行介绍。在一个示例中,以电子设备100为手机为例进行说明。
该手机上具有多个摄像头。例如,具有4个摄像头,该4个摄像头分别为广角摄像头、主摄摄像头、黑白摄像头和长焦摄像头,该4个摄像头用于拍摄同一待拍摄场景。
当然,该电子设备100上还可以包括其他摄像头,摄像头的种类以及每种摄像头的个数均可以根据需要进行设置,本申请实施例对此不进行任何限制。示例性的,电子设备100具有4个摄像头,该4个摄像头可以为超广角摄像头、广角摄像头、黑白摄像头和长焦摄像头。
应理解,通常主摄摄像头和黑白摄像头的变焦倍数范围基本一致,而广角摄像头对应的变焦倍数相对小于主摄摄像头的变焦倍数,长焦摄像头的变焦倍数相对大于主摄摄像头的变焦倍数。变焦倍数指的是摄像头的光学变焦的能力。
示例性的,广角摄像头对应的变焦倍数范围为[0.1,1),主摄摄像头对应的变焦倍数范围为[1,3.9),黑白摄像头对应的变焦倍数范围为[1,2),长焦摄像头对应的变焦倍数范围[3.9,100)。其中,0.1指的是0.1倍变焦倍数,即0.1X;1指的是1倍变焦倍数,即1X;2指的是2倍变焦倍数,即2X;3.9指的是3.9变焦倍数,即3.9X;100指的是100倍变焦倍数,即100X。
应用场景一
参考图1,图1为本申请实施例提供的多摄策略调度方法适用的一种应用场景。
如图1所示的,响应于用户的操作,手机可以启动相机应用,显示如图1中所示的图形用户界面(graphical user interface,GUI),该GUI界面可以称为预览界面10。该预览界面包括取景窗口、多种拍摄模式选项和第一控件。该取景窗口可用于实时显示预览图像。该多种拍摄模式例如包括:大光圈模式、夜景模式、人像模式、拍照模式、录像模式等,该第一控件例如为变焦条11,用户可以在变焦条11中选择当前需要的变焦倍数,例如,0.5倍、2倍或50倍变焦倍数等。
用户通过滑动操作增大变焦倍数,可以将拍摄物体在取景窗口中不断放大;通过滑动操作减小变焦倍数,可以将拍摄物体在取景窗口中不断缩小。由此,用户可以通过进行变焦倍数的选择,以实现对取景窗口显示的预览图像的调整。
示例性的,如图1所示,当用户想在户外对草地、树木进行拍照时,用户打开相机应用,预览界面默认的变焦倍数为1倍,手机所调用的摄像头为主摄摄像头。此时,用户想进一步把树木所在的局部画面放大,将树木拍摄的更清晰一点,于是用户对预览界面上的变焦条进行滑动操作,例如将当前变焦倍数更改为10倍,响应于该滑动操作,手机所调用的摄像头将切换为长焦摄像头。在此场景中,当变焦倍数从1倍更改为10倍,手机需确定是否切换摄像头以及如何切换摄像头时,可以运行本申请实施例所提供的多摄策略调度方法所对应的程序。
应用场景二
参考图2,图2为本申请实施例提供的多摄策略调度方法适用的另一应用场景。
如图2所示的,响应于用户的操作,手机可以启动相机应用,显示如图2中的(a)所示的预览界面10。该预览界面包括取景窗口、多种拍摄模式选项和第一控件。
用户手持手机靠近拍摄物体时,手机检测到取景窗口中某一画面的面积占比大于第一预设比例时,将增大变焦倍数,然后根据变焦倍数选择不切换或切换摄像头;用户手持手机远离拍摄物体时,手机检测到取景窗口中某一画面的面积占比小于第二预设比例时,将减小变焦倍数,然后根据变焦倍数选择不切换或切换摄像头。由此,手机通过识别拍摄物体的面积占比来自动进行变焦倍数的变更和摄像头的切换,以实现对取景窗口显示的预览图像的调整。
示例性的,如图2中的(a)所示,当用户在花园中准备对某一束花进行拍照时,用户打开相机应用,预览界面默认的变焦倍数为1倍,手机所调用的摄像头为主摄摄像头。此时,用户将手机对准了某一朵花并将手机靠近了该花朵所在位置,由于该花朵在取景窗口中的面积占比大于50%,于是手机可自动增大变焦倍数,比如将变焦倍数更改为2倍,此时依然调用的是主摄摄像头,取景窗口中的画面将如图2中的(b)所示。若用户又将手机远离该花朵所在位置,由于该花朵在取景窗口中的面积占比小于10%,于是手机可自动减小变焦倍数,比如将变焦倍数更改为0.5倍,且调用的摄像头将由主摄摄像头切换为广角摄像头。在此场景中,当变焦倍数从1倍更改为2倍,摄像头不变,以及从2倍更改为0.5倍,摄像头从主摄摄像头切换为广角摄像头时,可以运行本申请实施例所提供的多摄策略调度方法所对应的程序。
应理解,上述为对应用场景的举例说明,并不对本申请的应用场景作任何限定。
为了便于理解本申请实施例提供的多摄策略调度方法,下面先对电子设备100的软件系统进行介绍。电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。需要说明的是,本申请实施例中,电子设备的操作系统(operatingsystem,OS)可以包括但不限于(Symbian)、/>(Andriod)、/>苹/>(iOS)、/>(Blackberry)、鸿蒙(HarmonyOS)等操作系统,本申请不作任何限定。
本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。图3是本申请实施例提供的电子设备100的一种软件结构框图。
如图3所示,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为五层,从上至下分别为应用层(application,APP)110,应用框架层120、硬件抽象层(hardware abstract layer,HAL)130、驱动层140、以及硬件层150。
如图3所示,应用层110可以包括一系列应用程序包。例如,应用层110可以包括相机,图库等应用程序。
应用层110处于整个框架的顶端,承担着与用户直接进行交互的责任,一旦接收到用户直接或间接的比如拍照或录像的需求,便会通过接口将需求发送给应用框架层120,等待应用框架层120进行回传处理结果,其中,该结果包括图像数据以及相机参数等;然后应用层110再将该结果反馈给用户。
应用框架层120位于应用层110和硬件抽象层130之间,应用框架层120为应用层110的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用框架层120包括一些预先定义的函数。
应用框架层120是应用程序的框架,开发人员可以在遵循应用程序的框架的开发原则的情况下,基于应用框架层120开发一些应用程序,此外,应用框架层120还包括相机应用对应的访问接口等。
硬件抽象层130用于将硬件抽象化,为操作系统提供虚拟硬件使用平台。具体结合本申请方案,比如,硬件抽象层130可以包括相机硬件抽象层131等。
驱动层140用于为不同的硬件设备提供驱动。比如,驱动层140可以包括相机设备驱动。
硬件层150可以包括图像传感器(sensor)、图像信号处理器以及其他硬件设备,本申请对此不作限定。
在本申请中,通过调用硬件抽象层130中的相机硬件抽象层131,可以实现硬件抽象层130上方的应用层110、应用框架层120与下方的驱动层140、硬件层150的连接,实现摄像头数据传输及功能控制。
在此基础上,本申请实施例在硬件抽象层130中增设了一种多摄策略调度层132,通过与相机硬件抽象层131相连接,从而可以在多摄策略调度层132中定制多摄切换和配置逻辑,根据不同需求定制不同的功能。多摄策略调度层132可以通过相机硬件抽象层131来获取各种参数,以及调用传感器、ISP等各种硬件,来实现多个摄像头之间和切换和配置。
参考图4和图5,图4为本申请实施例提供的一种硬件抽象层130的结构示意图;
图5为本申请实施例提供的另一种硬件抽象层130的结构示意图。
如图4和图5所示的,在一些实施例中,相机硬件抽象层131包含了通用功能性的接口层1311,该接口层1311用于访问不同的操作系统,以实现管理和控制。
相机硬件抽象层131还包含了媒体控制层1312、芯片平台(Camx)、公共库,该媒体控制层1312用于对接芯片平台的业务定制。芯片平台包含通用功能性接口的代码的集合等,比如,core用于存放芯片平台的核心实现模块。公共库包含有操作系统的适配数据、元数据(Metadate)等各种数据。
如图4所示的,多摄策略调度层132包括:依次相连接的接口适配模块1321、多摄策略选择模块1322、多摄策略计算模块1323和状态切换决策模块1324。
接口适配模块1321还与状态切换决策模块1324、以及相机硬件抽象层131相连接,接口适配模块1321用于从相机硬件抽象层131接收初始数据,将初始数据提供给多摄策略选择模块1322;接口适配模块1321还用于接收状态切换模块提供的决策指令,并将决策指令提供给相机硬件抽象层131,使得相机硬件抽象层131可以根据该决策指令进行控制。
可选地,作为一种实现方式,接口适配模块1321与相机硬件抽象层131中的接口层1311、媒体控制层1312相连接,接口适配模块1321用于从接口层1311接收初始数据,将初始数据提供给多摄策略选择模块1322;接口适配模块1321还用于接收状态切换决策模块1324提供的决策指令,并将决策指令提供给媒体控制层1312,使得媒体控制层1312可以根据该决策指令进行控制。
多摄策略选择模块1322用于根据初始数据,确定对应的目标多摄策略,其中,多摄策略选择模块1322包括多个多摄策略,多摄策略可以包括多个子策略,目标多摄策略为多个多摄策略或多个子策略中的任意一个。
多摄策略计算模块1323用于根据初始数据和目标多摄策略,计算对应的输出配置并提供给状态切换决策模块1324。
状态切换决策模块1324用于根据初始数据和输出配置,确定决策指令,决策指令用于指示相机硬件抽象层131控制多个摄像头的工作状态。
在一些实施例中,初始数据可以包括:目标拍摄模式、变焦倍数、变焦切换方式、摄像头的上一时刻工作状态、LV值、物距、DR值、ISO等。
其中,电子设备100的拍摄模式包括大光圈模式、夜景模式、人像模式、拍照模式、录像模式、HDR模式,还可以包括微距模式、智能模式等,具体可以根据需要进行设置,本申请实施例对此不进行任何限制。初始数据中的目标拍摄模式用于指示用户进行拍摄模式切换操作后的拍摄模式,也即用户期望达到的拍摄模式。
应理解,变焦倍数包括用户进行变焦操作之前对应的变焦倍数,在此称为第一变焦倍数,以及用户进行变焦操作后的变焦倍数,在此称为第二变焦倍数。
变焦切换方式指的是用户更改变焦倍数时,所使用的操作方式,比如滑动方式或者是点切方式。其中,滑动方式指的是用户在变焦条或显示屏的某一位置处进行连续滑动来更改变焦倍数;点切方式指的是用户直接在界面上点击了某一位置处的变焦倍数数值来改变变焦倍数,点切方式具有不连贯的特性,与滑动方式的特性相反。
摄像头的工作状态用于表明多个摄像头中每个摄像头是否处于关闭、前台送显或后台运行状态。前台送显指的是摄像头采集图像并将图像传输至显示屏的预览窗口进行显示,后台运行指的是摄像头采集图像但图像仅用于存储不用于显示。其中,硬件层150每生成一帧图像时,都会生成并上报一次摄像头的工作状态。最新上报的摄像头的工作状态将作为初始数据中摄像头的上一时刻工作状态。
物距即指的是电子设备与待拍摄物体在物理空间中的距离。
其中,拍摄模式、变焦倍数、变焦切换方式等数据可以来自于应用层110;摄像头的实时状态,LV值、物距等可以来自于芯片平台、来自于硬件抽象层130或者来自硬件层150,当然也可以来自其他层,本申请实施例对此不进行任何限制。
需要说明的是,多摄策略选择模块1322可以根据需求定制多个多摄策略,例如,可以包括策略一、策略二、策略三、策略四、策略五、策略六等。
比如策略一可以为用户策略,当电子设备投入使用时,可以默认调用该策略一。用户策略可以包括多个子策略,比如根据设定的拍摄模式的不同,可以包括大光圈模式子策略、夜景模式子策略、人像模式子策略、拍照模式子策略、录像模式子策略、HDR模式子策略等,在每种子策略下可以设计相应的多摄切换和配置方案,以适应不同的拍摄需求。
比如策略二为点切策略,当用户使用点击的方式更改变焦倍数时,将确认策略二为匹配的目标多摄策略,然后根据策略二的方案确定决策指令。
比如策略三可以为测试策略,当测试人员对该电子设备进行测试,初始数据包括测试人员触发的测试标记时,可以调用该测试策略。
比如策略四可以为暗光策略,当电子设备检测到所处场景光线非常暗时,确定为暗光场景时,则可以相应确定策略四为匹配的目标多摄策略,然后根据策略四的方案确定决策指令。
比如策略五可以为高动态范围(high dynamic range,HDR)策略,当电子设备根据动态范围值确定所处场景为HDR场景时,则可以相应确定策略五为匹配的目标多摄策略,然后根据策略五的方案确定决策指令。
比如还可以包括策略六,策略六为高配策略。假设同一产品的手机包括有两种版本,例如普通手机则可以仅配置用户策略,而高配手机则可以增加高配策略,以适应高配手机的特殊拍摄需求。当需要调用策略六时,初始数据包括用户或应用层110自动触发的高配标记。
其中,多摄策略选择模块1322中的多个多摄策略可以以XML格式配置,当然,也可以以其他方式进行配置,本申请实施例对此不进行任何限制。
应理解,上述策略的个数、内容和格式可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
可选地,作为一种可实现的方式,如图5所示的,多摄策略调度层132还包括:第一转换模块1325和第二转换模块1326。
其中,第一转换模块1325连接于接口适配模块1321和多摄策略选择模块1322之间,第一转换模块1325用于将接口适配模块1321接收的初始数据转换为第一数据并输入多摄策略选择模块1322。
第二转换模块1326连接于状态切换决策模块1324和接口适配模块1321之间,第二转接模块用于将状态切换决策模块1324输出的切换指令转换为第二数据并提供接口适配模块1321输出。
需要说明的是,第一数据应为多摄策略选择模块1322可识别和处理的格式,例如McxContext格式。第二数据应为相机硬件抽象层131可以识别和处理的格式。
本申请实施例提供了一种电子设备,通过在该电子设备的硬件抽象层中增设集成有多种多摄切换和配置策略的多摄策略调度层,从而可以将多摄调度与芯片平台解耦,更灵活方便的配置和变更多摄策略调度层中的多摄策略,以满足越来越多的拍摄需求。
针对上述软件结构,相应的,本申请实施例提供了一种多摄调度方法。参考图6,图6示出了本申请实施例提供的一种多摄调度方法的流程示意图,如图6所示的,该方法包括以下S10至S90。
S10、当相机应用的图标被用户点击以进行触发时,电子设备100开始运行相机应用,并通过相机硬件抽象层131调用多摄策略调度层132。
S20、响应于用户的操作或者预设触发条件,相机应用向相机硬件抽象层131下发请求。
S30、硬件层150中的传感器向相机硬件抽象层131上报摄像头的工作状态。
例如,每个摄像头的状态可以包括关闭、前台送显和后台运行。
S40、相机硬件抽象层131根据下发的请求以及上报的摄像头的工作状态,解析出对应的初始数据。
例如,初始数据可以包括拍摄模式、第一变焦倍数、第二变焦倍数、变焦切换方式、摄像头的工作状态,LV值、DR值等。
S50、相机硬件抽象层131将初始数据传输给多摄策略调度层132中的接口适配模块1321中,接口适配模块1321将初始数据提供给第一转换模块1325,第一转换模块1325将初始数据转换成第一数据。
S60、多摄策略选择模块1322根据第一数据,选择并调用一个多摄策略或一个子策略,该多摄策略或该子策略即为目标多摄策略。
S70、多摄策略计算模块1323根据初始数据和目标多摄策略,计算对应的输出配置。
S80、状态切换决策模块1324将根据初始数据和输出配置,确定出决策指令。
S90、第二转换模块1326将该决策指令转换成第二数据,经接口适配模块1321输出给相机硬件抽象层131,再下发给传感器以根据决策指令对多个摄像头进行控制。
本申请实施例提供了一种多摄调度方法,通过在该电子设备的硬件抽象层中增设集成有多种多摄切换和配置策略的多摄策略调度层,从而可以将多摄调度与芯片平台解耦,更灵活方便的配置和变更多摄策略调度层中的多摄策略,以满足越来越多的拍摄需求。
下面结合附图,对多摄策略调度层132的工作过程进行举例说明。
示例性1
参考图7,图7为本申请实施例提供一种预览界面示意图。本申请实施例提供了一种多摄策略调度方法,包括以下S101至S108。
S101、应用层110中的相机应用以图标的方式显示在电子设备100的屏幕上。当相机应用的图标被用户点击以进行触发时,电子设备100开始运行相机应用。
S102、当相机应用运行在电子设备100上时,相机应用调用应用框架层120中的相机应用对应的相机访问接口,并通过相机硬件抽象层131调用多摄策略调度层132。多摄策略调度层132进行相关初始化,加载相关配置文件,加载和解析多摄策略相关文件。
多摄策略调度层132初始化后,例如,如图7中的(a)所示,可以使得相机硬件抽象层131控制预览界面显示当前拍摄模式为拍照模式,变焦倍率为1倍,调用主摄摄像头以一定工作频率进行采集,并将采集的图像传输至取景窗口进行显示。
S103、如图7中的(b)所示,若用户在预览界面上对变焦条进行了滑动,将预览界面上的当前变焦倍数从1X更改为了0.5X,响应于此操作,相机应用调用相机访问接口下发第一请求;相机硬件抽象层131接收到该第一请求后,从上层应用层110下发的数据以及下层硬件层150返回的图像数据中解析出初始数据,例如,该初始数据包括:目标拍摄模式为拍照模式、第一变焦倍数为1X,第二变焦倍数为0.5X,变焦切换方式为滑动方式,摄像头上一时刻的工作状态为主摄摄像头前台送显,其他摄像头关闭,此外初始数据还包括LV值等。
S104、相机硬件抽象层131将初始数据经接口层1311传输给多摄策略调度层132中的接口适配模块1321中,接口适配模块1321将初始数据提供给第一转换模块1325,第一转换模块1325将初始数据转换成第一数据。
S105、多摄策略选择模块1322根据第一数据,选择并调用策略一中的拍照模式子策略对应的配置文件。此时,策略一中的拍照模式子策略即为目标多摄策略。
S106、多摄策略计算模块1323根据初始数据和拍照模式子策略,计算对应的输出配置。
例如,拍照模式子策略的规则为广角摄像头对应的变焦倍数范围[0.1,1),主摄摄像头对应的变焦倍数范围为[1,3.9),当变焦倍数从1X变化为0.5X,对应的变焦倍数范围从[1,3.9)变化至[0.1,1)中,此时,主摄摄像头不关闭,仅后台运行,采集的图像仅用于存储不显示,而广角摄像头开始运行,采集图像并将采集的图像在取景窗口显示。
由此,多摄策略计算模块1323可以计算出0.5X位于[0.1,1)的变焦倍数范围中,所以,此时确定的输出配置为:广角摄像头前台送显,主摄摄像头后台运行,变焦倍数为0.5X。
S107、状态切换决策模块1324将根据初始数据和输出配置,确定出决策指令为“主摄摄像头由前台送显切换为后台运行;广角摄像头由关闭切换成前台送显,变焦倍数由1X切换为0.5X”。
若配置文件中主摄摄像头和广角摄像头具有对应的编号,则可以以编号的形式表示。
S108、第二转换模块1326将该决策指令转换成第二数据,输出给相机硬件抽象层131的媒体控制层1312,媒体控制层1312将第二数据填充到第一请求中,由芯片平台再下发至驱动层140以根据决策指令对多个摄像头进行控制,从而使得下一时刻主摄摄像头由前台送显切换成后台运行,广角摄像头由关闭切换成前台送显,变焦倍数由1X切换成0.5X。
上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
示例性2
参考图8,图8为本申请实施例提供的另一种预览界面示意图。本申请实施例提供了一种多摄策略调度方法,包括以下S111至S119。
S111、如图8中的(a)所示,若用户在预览界面上将变焦条滑动变更为0.5X后,继续对变焦条进行操作,如图8中的(b)所示,用户利用点击的方式将预览界面上的当前变焦倍数从0.5X更改为了8X,响应于此操作,相机应用调用相机访问接口下发第二请求;相机硬件抽象层131接收到该第二请求后,从上层应用层110下发的数据以及下层硬件层150返回的图像数据中解析出初始数据,例如,该出初始数据包括:目标拍摄模式为拍照模式、第一变焦倍数为0.5X,第二变焦倍数为8X,变焦切换方式为点切方式,摄像头上一时刻的工作状态为主摄摄像头后台运行,广角摄像头前台送显,其他摄像头关闭,此外初始数据还包括有LV值等。
S112、相机硬件抽象层131将初始数据经接口层1311传输给多摄策略调度层132中的接口适配模块1321中,接口适配模块1321将初始数据提供给第一转换模块1325,第一转换模块1325将初始数据转换成第一数据。
S113、由于初始数据中包含的切换为点切方式,多摄策略选择模块1322将优先选择并调用策略二对应的配置文件。此时,策略二或者说点切策略即为目标多摄策略。
此处相当于策略二的优先级高于策略一,当初始数据满足于策略二的条件时,优先选择策略二。
S114、多摄策略计算模块1323根据初始数据和点切策略,计算对应的输出配置。
例如,点切策略的规则为广角摄像头对应的变焦倍数范围[0.1,1),主摄摄像头对应的变焦倍数范围为[1,3.9),黑白摄像头对应的变焦倍数范围为[1,2),长焦摄像头对应的变焦倍数范围[3.9,100)。为了取景窗口的画面过渡的更加平滑,提高用户的视觉效果,会在执行时依据上述几个变焦倍数范围,分段执行,依序进行切换。
此处,当变焦倍数期望从0.5X变化为8X时,对应的变焦倍数范围实际可以从[0.1,1)变化至[1,3.9),再从[1,3.9)变化至[3.9,100),为了前台显示不出现卡顿,切换的更平滑,多摄策略调度层132可以分成多次操作来完成该一次大幅度的变焦变化。
比如,多摄策略计算模块1323可以将该一次操作分成四次来完成,并在每一次结束后重新计算出下一次的输出配置,其中,第一次操作由0.5X变化为1X,对应的输出配置为:广角摄像头关闭,主摄摄像头前台送显,变焦倍数为1X。
第二次操作由1X变化为2X,对应的输出配置为:主摄摄像头前台送显,黑白摄像头后台运行,变焦倍数为2X。
第三次操作由2X变化为3.9X,对应的输出配置为:主摄摄像头前台送显,黑白摄像头关闭,长焦摄像头后台运行,变焦倍数为3.9X。
第四次操作由3.9X变化为8X,对应的输出配置为:主摄摄像头后台运行,长焦摄像头前台送显,变焦倍数为8X。
S115、状态切换决策模块1324将根据初始数据和输出配置,确定第一次操作对应的决策指令为“广角摄像头由前台运行切换为关闭;主摄摄像头由后台运行切换为前台送显,变焦倍数由0.5X切换为1X”。
S116、第二转换模块1326将该决策指令转换成第二数据,输出给相机硬件抽象层131的媒体控制层1312,媒体控制层1312将第二数据填充到第一请求中,由芯片平台再下发至驱动层140以根据决策指令对多个摄像头进行控制,使得广角摄像头由前台送显切换成关闭,主摄摄像头由后台送显切换成前台送显,变焦倍数由0.5X切换成1X。
S117、重复执行112至S114,更新第一数据,状态切换决策模块1324根据多摄策略计算模块1323计算出第二次操作所对应的输出配置,确定第二次操作对应的决策指令为“主摄摄像头不变,继续为前台送显,黑白摄像头由关闭切换为后台运行,变焦倍数为2X”。媒体控制层1312根据决策指令对应的第二数据对摄像头进行控制。
S118、重复执行112至S114,更新第一数据,状态切换决策模块1324根据多摄策略计算模块1323计算出第三次操作所对应的输出配置,确定第三次操作对应的决策指令为“主摄摄像头不变,继续为前台送显,黑白摄像头由后台运行切换为关闭,长焦摄像头由关闭切换为后台运行,变焦倍数为3.9X”。媒体控制层1312根据决策指令对应的第二数据对摄像头进行控制。
S119、重复执行112至S114,更新第一数据,状态切换决策模块1324根据多摄策略计算模块1323计算出第四次操作所对应的输出配置,确定第四次操作对应的决策指令为“主摄摄像头由前台送显切换为后台运行,长焦摄像头由后台运行切换为前台送显,变焦倍数为8X”。媒体控制层1312根据决策指令对应的第二数据对摄像头进行控制。
由此,经过多次循环运用,可以实现从0.5X到8X的平滑切换,提高用户的视觉体验。当然,多摄策略计算模块1323可以将切换过程分解成更多次操作,具体可以根据需要设置和更改计算规则,本申请实施例对此不进行任何限制。
需要说明的是,当切换至8X之后,多摄策略调度层132中的点切策略执行结束,可以自动切换回策略一的拍照模式子策略。
上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
示例性3
参考图9,图9为本申请实施例提供一种预览界面示意图。本申请实施例提供了一种多摄策略调度方法,包括以下S121至S128。
S121、如图9中的(a)所示,应用层110中的相机应用以图标的方式显示在电子设备100的屏幕上。当相机应用的图标被用户点击以进行触发时,电子设备100开始运行相机应用。
S122、当相机应用运行在电子设备100上时,相机应用调用应用框架层120中的相机应用对应的相机访问接口,并通过相机硬件抽象层131调用多摄策略调度层132。多摄策略调度层132进行相关初始化,加载相关配置文件,加载和解析多摄策略相关文件。
多摄策略调度层132初始化后,例如,可以使得相机硬件抽象层131控制预览界面显示当前拍摄模式为拍照模式,变焦倍率为1倍,调用主摄摄像头以一定工作频率进行采集,并将采集的图像传输至取景窗口进行显示。
S123、如图9中的(b)所示,若用户在预览界面上对拍摄模式进行滑动,将预览界面上拍摄键指示的当前拍摄模式由拍照模式更改为人像模式,响应于此操作,相机应用调用相机访问接口下发第三请求;相机硬件抽象层131接收到第三请求后,从上层应用层110下发的数据以及下层硬件层150返回的图像数据中解析出初始数据,例如,该初始数据包括:目标拍摄模式为人像模式,变焦倍数为1倍,摄像头上一时刻的工作状态为主摄摄像头前台送显,其他摄像头关闭,此外初始数据还包括LV值等。
S124、相机硬件抽象层131将初始数据经接口层1311传输给多摄策略调度层132中的接口适配模块1321中,接口适配模块1321将初始数据提供给第一转换模块1325,第一转换模块1325将初始数据转换成第一数据。多摄策略选择模块1322根据第一数据,选择并调用策略一中的人像模式子策略对应的配置文件。此时,策略一中的人像模式子策略即为目标多摄策略。多摄策略计算模块1323根据初始数据和人像模式子策略,计算对应的输出配置。状态切换决策模块1324将根据初始数据和输出配置,确定出决策指令。第二转换模块1326将该决策指令转换成第二数据,输出给相机硬件抽象层131的媒体控制层1312,媒体控制层1312将第二数据填充到第三请求中,由芯片平台再下发至驱动层140以根据决策指令对多个摄像头进行控制。
S125、如图9中的(c)所示,若用户在预览界面上对拍摄模式继续进行滑动,将预览界面上拍摄键指示的当前拍摄模式由人像模式更改为夜景模式,响应于此操作,相机应用调用相机访问接口下发第四请求;相机硬件抽象层131接收到第四请求后,从上层应用层110下发的数据以及下层硬件层150返回的图像数据中解析出初始数据,例如,该初始数据包括:目标拍摄模式为夜景模式,变焦倍数为1倍,摄像头上一时刻的工作状态为主摄摄像头前台送显,其他摄像头关闭,此外初始数据还包括LV值等。
S126、相机硬件抽象层131将初始数据经接口层1311传输给多摄策略调度层132中的接口适配模块1321中,接口适配模块1321将初始数据提供给第一转换模块1325,第一转换模块1325将初始数据转换成第一数据。多摄策略选择模块1322根据第一数据,选择并调用策略一中的人像模式子策略对应的配置文件。此时,策略一中的人像模式子策略即为目标多摄策略。多摄策略计算模块1323根据初始数据和人像模式子策略,计算对应的输出配置。状态切换决策模块1324将根据初始数据和输出配置,确定出决策指令。第二转换模块1326将该决策指令转换成第二数据,输出给相机硬件抽象层131的媒体控制层1312,媒体控制层1312将第二数据填充到第三请求中,由芯片平台再下发至驱动层140以根据决策指令对多个摄像头进行控制。
S127、如图9中的(d)所示,若用户在预览界面上对拍摄模式继续进行滑动,将预览界面上拍摄键指示的当前拍摄模式由夜景模式更改为录像模式,响应于此操作,相机应用调用相机访问接口下发第五请求;相机硬件抽象层131接收到第五请求后,从上层应用层110下发的数据以及下层硬件层150返回的图像数据中解析出初始数据,例如,该初始数据包括:目标拍摄模式为录像模式,变焦倍数为1倍,摄像头上一时刻的工作状态为主摄摄像头前台送显,其他摄像头关闭,此外初始数据还包括LV值等。
S128、相机硬件抽象层131将初始数据经接口层1311传输给多摄策略调度层132中的接口适配模块1321中,接口适配模块1321将初始数据提供给第一转换模块1325,第一转换模块1325将初始数据转换成第一数据。多摄策略选择模块1322根据第一数据,选择并调用策略一中的人像模式子策略对应的配置文件。此时,策略一中的人像模式子策略即为目标多摄策略。多摄策略计算模块1323根据初始数据和人像模式子策略,计算对应的输出配置。状态切换决策模块1324将根据初始数据和输出配置,确定出决策指令。第二转换模块1326将该决策指令转换成第二数据,输出给相机硬件抽象层131的媒体控制层1312,媒体控制层1312将第二数据填充到第三请求中,由芯片平台再下发至驱动层140以根据决策指令对多个摄像头进行控制。
上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
示例性4
本申请实施例还提供了一种多摄策略调度方法,包括以下S131至S140。
S131、应用层110中的相机应用以图标的方式显示在电子设备100的屏幕上。当相机应用的图标被用户点击以进行触发时,电子设备100开始运行相机应用。
S132、当相机应用运行在电子设备100上时,相机应用调用应用框架层120中的相机应用对应的相机访问接口,并通过相机硬件抽象层131调用多摄策略调度层132。多摄策略调度层132进行相关初始化,加载相关配置文件,加载和解析多摄策略相关文件。
多摄策略调度层132初始化后,例如,可以使得相机硬件抽象层131控制预览界面显示当前拍摄模式为拍照模式,变焦倍率为1倍,调用主摄摄像头以一定工作频率进行采集,并将采集的图像传输至取景窗口进行显示。
S133、假设用户移动至黑房间,也即处于暗光场景时,相机硬件抽象层131解析出的初始数据中的LV值非常小。此外,初始数据还包括目标拍摄模式为拍照模式、变焦倍数为1X没有改变,摄像头上一时刻的工作状态为主摄摄像头前台送显,其他摄像头关闭。
S134、相机硬件抽象层131将初始数据经接口层1311传输给多摄策略调度层132中的接口适配模块1321中,接口适配模块1321将初始数据提供给第一转换模块1325,第一转换模块1325将初始数据转换成第一数据。
S135、由于初始数据中的LV值非常小,小于预设亮度值阈值,则多摄策略选择模块1322可以根据第一数据,选择并调用策略四,也即暗光策略对应的配置文件。此时,策略四即为目标多摄策略。
S136、多摄策略计算模块1323根据初始数据和暗光策略,计算对应的输出配置。状态切换决策模块1324将根据初始数据和输出配置,确定出决策指令。第二转换模块1326将该决策指令转换成第二数据,输出给相机硬件抽象层131的媒体控制层1312,媒体控制层1312将第二数据下发,由芯片平台再下发至驱动层140以根据决策指令对多个摄像头进行控制。
S137、假设用户又移动至一个部分区域暗光非常暗,部分区域亮光非常亮的场景中,也即HDR场景中,相机硬件抽象层131解析出的初始数据中的DR值非常大。此外,初始数据还包括目标拍摄模式为拍照模式、变焦倍数为1X没有改变,摄像头上一时刻的工作状态为主摄摄像头前台送显,其他摄像头关闭。
S138、相机硬件抽象层131将初始数据经接口层1311传输给多摄策略调度层132中的接口适配模块1321中,接口适配模块1321将初始数据提供给第一转换模块1325,第一转换模块1325将初始数据转换成第一数据。
S139、由于初始数据中的DR值非常大,大于预设动态范围值阈值,则多摄策略选择模块1322可以根据第一数据,选择并调用策略五,也即高动态范围策略对应的配置文件。此时,策略五即为目标多摄策略。
S140、多摄策略计算模块1323根据初始数据和高动态范围策略,计算对应的输出配置。状态切换决策模块1324将根据初始数据和输出配置,确定出决策指令。第二转换模块1326将该决策指令转换成第二数据,输出给相机硬件抽象层131的媒体控制层1312,媒体控制层1312将第二数据下发,由芯片平台再下发至驱动层140以根据决策指令对多个摄像头进行控制。
上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
上文结合图1至图9详细描述了本申请实施例提供的多摄策略调度方法以及相关的显示界面;下面将结合图10和图11详细描述本申请实施例提供的电子设备和芯片。应理解,本申请实施例中的电子设备和芯片可以执行前述本申请实施例的各种多摄策略调度方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图10示出了一种适用于本申请的电子设备的硬件系统。电子设备100可用于实现上述方法实施例中描述的多摄策略调度方法。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、投影仪等等,本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口295等。其中传感器模块280可以包括压力传感器280A,陀螺仪传感器280B,气压传感器280C,磁传感器280D,加速度传感器280E,距离传感器280F,接近光传感器280G,指纹传感器280H,温度传感器280J,触摸传感器280K,环境光传感器280L,骨传导传感器280M等。
需要说明的是,图10所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图10所示的部件更多或更少的部件,或者,电子设备100可以包括图10所示的部件中某些部件的组合,或者,电子设备100可以包括图10所示的部件中某些部件的子部件。图10示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元。例如,处理器210可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在本申请实施例中,处理器210可以执行显示预览界面,预览界面包括第一控件;检测到对第一控件的第一操作;响应于第一操作,根据初始数据,确定目标多摄策略;然后,根据初始数据和目标多摄策略,确定决策指令。
图10所示的各模块间的连接关系只是示意性说明,并不构成对电子设备100的各模块间的连接关系的限定。可选地,电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏294以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏294可以用于显示图像或视频。
电子设备100可以通过ISP、摄像头293、视频编解码器、GPU、显示屏294以及应用处理器等实现拍摄功能。
ISP用于处理摄像头293反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头293中。
摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue,RGB),YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头293,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令;当所述计算机可读存储介质在电子设备100上运行时,使得该电子设备100执行前述所示的多摄策略调度方法。
所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质、或者半导体介质(例如固态硬盘(solidstate disk,SSD))等。
本申请实施例还提供了一种包含计算机指令的计算机程序产品,当其在电子设备100上运行时,使得电子设备100可以执行前述所示的多摄策略调度方法。
图11为本申请实施例提供的一种芯片的结构示意图。图11所示的芯片可以为通用处理器,也可以为专用处理器。该芯片包括处理器301。其中,处理器301用于支持电子设备100执行前述所示的技术方案。
可选的,该芯片还包括收发器302,收发器302用于接受处理器301的控制,用于支持电子设备100执行前述所示的技术方案。
可选的,图11所示的芯片还可以包括:存储介质303。
需要说明的是,图11所示的芯片可以使用下述电路或者器件来实现:一个或多个现场可编程门阵列(field programmable gate array,FPGA)、可编程逻辑器件(programmable logic device,PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
上述本申请实施例提供的电子设备、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法,因此,其所能达到的有益效果可参考上文所提供的方法对应的有益效果,在此不再赘述。
应理解,上述只是为了帮助本领域技术人员更好地理解本申请实施例,而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例,显然可以进行各种等价的修改或变化,例如,上述检测方法的各个实施例中某些步骤可以是不必须的,或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。
还应理解,上文对本申请实施例的描述着重于强调各个实施例之间的不同之处,未提到的相同或相似之处可以互相参考,为了简洁,这里不再赘述。
还应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,本申请实施例中,“预先设定”、“预先定义”可以通过在设备(例如,包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
还应理解,本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便,不应构成特别的限定,各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
还应理解,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
最后应说明的是:以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种多摄策略调度方法,其特征在于,应用于包括多摄策略调度层和多个摄像头的电子设备,所述方法包括:
显示预览界面,所述预览界面包括第一控件;
检测到对所述第一控件的第一操作;
响应于所述第一操作,所述多摄策略调度层根据初始数据,确定目标多摄策略;
所述多摄策略调度层根据所述初始数据和所述目标多摄策略,确定决策指令,所述决策指令用于控制所述多个摄像头的工作状态。
2.根据权利要求1所述的方法,其特征在于,所述多摄策略调度层包括依次连接的接口适配模块、多摄策略选择模块、多摄策略计算模块和状态切换决策模块,所述接口适配模块还与所述状态切换决策模块相连接;
所述方法包括:
所述接口适配模块接收所述初始数据,所述初始数据包括:目标拍摄模式、变焦倍数、变焦切换方式、多个摄像头上一时刻的工作状态、亮度值、动态范围值、物距中的至少一项;
所述多摄策略选择模块根据所述初始数据,从多个多摄策略中或所述多摄策略包括的多个子策略中确定目标多摄策略,所述目标多摄策略为多个多摄策略中的一个或多个子策略中的一个;
所述多摄策略计算模块根据所述初始数据和所述目标多摄策略,计算输出配置,所述输出配置用于指示所述多个摄像头下一时刻的工作状态,所述摄像头的工作状态包括:关闭、前台送显和后台运行;
所述状态切换决策模块根据所述初始数据和所述输出配置,确定决策指令;
所述接口适配模块输出所述决策指令。
3.根据权利要求2所述的方法,其特征在于,所述多摄策略调度层还包括第一转换模块和第二转换模块,所述第一转换模块连接于所述接口适配模块和所述多摄策略选择模块之间,所述第二转换模块连接于所述状态切换决策模块和所述接口适配模块之间;
在所述接口适配模块接收所述初始数据之后,所述方法还包括:
所述第一转换模块将所述初始数据转换为第一数据;
在所述状态切换决策模块根据所述初始数据和所述输出配置,确定决策指令之后,所述方法还包括:
所述第二转换模块将所述决策指令转换为第二数据;
所述接口适配模块输出所述第二数据。
4.根据权利要求2或3所述的方法,其特征在于,所述目标拍摄模块为大光圈模式、夜景模式、人像模式、拍照模式、录像模式、高动态范围模式中的一项;
所述方法还包括:
当所述目标拍摄模式为所述大光圈模式时,所述多摄策略选择模块确定大光圈模式子策略为所述目标多摄策略;其中,所述多摄策略包括用户策略,所述用户策略包括大光圈模式子策略、夜景模式子策略、人像模式子策略、拍照模式子策略、录像模式子策略、高动态范围模式子策略;
当所述目标拍摄模式为所述夜景模式时,所述多摄策略选择模块确定所述夜景模式子策略为所述目标多摄策略;
当所述目标拍摄模式为所述人像模式时,所述多摄策略选择模块确定所述人像模式子策略为所述目标多摄策略;
当所述目标拍摄模式为所述拍照模式时,所述多摄策略选择模块确定所述拍照模式子策略为所述目标多摄策略;
当所述目标拍摄模式为所述录像模式时,所述多摄策略选择模块确定所述录像模式子策略为所述目标多摄策略;
当所述目标拍摄模式为所述高动态模式时,所述多摄策略选择模块确定所述高动态模式子策略为所述目标多摄策略。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述变焦切换方式包括点切方式;
所述方法还包括:
当所述变焦切换方式为所述点切方式时,所述多摄策略选择模块确定点切策略为所述目标多摄策略,其中,所述多摄策略包括所述点切策略。
6.根据权利要求2至5中任一项所述的方法,其特征在于,所述方法还包括:
当所述初始数据中的所述亮度值小于预设亮度值阈值时,所述多摄策略选择模块确定暗光策略为所述目标多摄策略,其中,所述多摄策略包括所述暗光策略。
7.根据权利要求2至6中任一项所述的方法,其特征在于,所述方法还包括:
当所述初始数据中的所述动态范围值大于预设动态范围值阈值时,所述多摄策略选择模块确定高动态范围策略为目标多摄策略,其中,所述多摄策略包括所述目标多摄策略。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述多摄策略为xml格式文件。
9.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存储可在所述处理器上运行的计算机程序;
所述处理器,用于执行如权利要求1至8中任一项所述的方法。
10.一种芯片系统,其特征在于,所述芯片系统与存储器耦合,所述芯片系统用于读取并执行所述存储器中存储的计算机程序,以实现如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至8中任一项所述的方法。
12.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至8中任一项所述的方法。
CN202210193105.8A 2022-02-28 2022-02-28 多摄策略调度方法及其相关设备 Active CN116723394B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210193105.8A CN116723394B (zh) 2022-02-28 2022-02-28 多摄策略调度方法及其相关设备
PCT/CN2022/142843 WO2023160223A1 (zh) 2022-02-28 2022-12-28 多摄策略调度方法及其相关设备
EP22928463.3A EP4340382A1 (en) 2022-02-28 2022-12-28 Multi-camera strategy scheduling method and related device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210193105.8A CN116723394B (zh) 2022-02-28 2022-02-28 多摄策略调度方法及其相关设备

Publications (2)

Publication Number Publication Date
CN116723394A true CN116723394A (zh) 2023-09-08
CN116723394B CN116723394B (zh) 2024-05-10

Family

ID=87764661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210193105.8A Active CN116723394B (zh) 2022-02-28 2022-02-28 多摄策略调度方法及其相关设备

Country Status (3)

Country Link
EP (1) EP4340382A1 (zh)
CN (1) CN116723394B (zh)
WO (1) WO2023160223A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102044175A (zh) * 2009-10-26 2011-05-04 赫斯默(上海)电子科技有限公司 智能跟踪拍摄、录像、直播的数字化教学方法和装置
CN108449554A (zh) * 2018-04-02 2018-08-24 北京理工大学 一种基于SoC的多源图像配准融合加速系统及控制方法
CN110933275A (zh) * 2019-12-09 2020-03-27 Oppo广东移动通信有限公司 拍照方法及相关设备
CN112637507A (zh) * 2020-12-30 2021-04-09 维沃移动通信有限公司 拍摄方法、装置、电子设备及可读存储介质
CN113726954A (zh) * 2021-08-12 2021-11-30 荣耀终端有限公司 一种近场通信nfc功能的控制方法及电子设备
WO2021244295A1 (zh) * 2020-05-30 2021-12-09 华为技术有限公司 拍摄视频的方法和装置
CN114092364A (zh) * 2021-08-12 2022-02-25 荣耀终端有限公司 图像处理方法及其相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10194089B2 (en) * 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
CN110351487A (zh) * 2019-08-26 2019-10-18 Oppo广东移动通信有限公司 控制方法、控制装置、电子设备和存储介质
CN113473002A (zh) * 2021-05-21 2021-10-01 闻泰通讯股份有限公司 一种预览图像的显示方法、装置、计算机设备和存储介质
CN113473018B (zh) * 2021-07-01 2023-10-31 百果园技术(新加坡)有限公司 一种视频拍摄方法、装置、拍摄终端和存储介质
CN113810598B (zh) * 2021-08-11 2022-11-22 荣耀终端有限公司 一种拍照方法、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102044175A (zh) * 2009-10-26 2011-05-04 赫斯默(上海)电子科技有限公司 智能跟踪拍摄、录像、直播的数字化教学方法和装置
CN108449554A (zh) * 2018-04-02 2018-08-24 北京理工大学 一种基于SoC的多源图像配准融合加速系统及控制方法
CN110933275A (zh) * 2019-12-09 2020-03-27 Oppo广东移动通信有限公司 拍照方法及相关设备
WO2021244295A1 (zh) * 2020-05-30 2021-12-09 华为技术有限公司 拍摄视频的方法和装置
CN112637507A (zh) * 2020-12-30 2021-04-09 维沃移动通信有限公司 拍摄方法、装置、电子设备及可读存储介质
CN113726954A (zh) * 2021-08-12 2021-11-30 荣耀终端有限公司 一种近场通信nfc功能的控制方法及电子设备
CN114092364A (zh) * 2021-08-12 2022-02-25 荣耀终端有限公司 图像处理方法及其相关设备

Also Published As

Publication number Publication date
CN116723394B (zh) 2024-05-10
WO2023160223A1 (zh) 2023-08-31
EP4340382A1 (en) 2024-03-20

Similar Documents

Publication Publication Date Title
CN114157804B (zh) 一种长焦拍摄的方法及电子设备
WO2023016025A1 (zh) 一种拍照方法及设备
CN111866392B (zh) 拍摄提示方法、装置、存储介质及电子设备
JP6924901B2 (ja) 写真撮影方法および電子装置
CN103190144A (zh) 兴趣区提取
CN115550541B (zh) 一种相机参数配置方法及电子设备
CN113660408B (zh) 一种视频拍摄防抖方法与装置
WO2022252780A1 (zh) 拍摄方法及电子设备
EP4376433A1 (en) Camera switching method and electronic device
CN116709021A (zh) 变焦响应方法、电子设备及存储介质
CN115604572A (zh) 图像的获取方法及装置
CN113630558B (zh) 一种摄像曝光方法及电子设备
WO2024093432A1 (zh) 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质
CN116723394B (zh) 多摄策略调度方法及其相关设备
CN117119291A (zh) 一种出图模式切换方法和电子设备
CN116723383A (zh) 一种拍摄方法及相关设备
WO2019183833A1 (en) Method and apparatus for image formation, capturing apparatus and electronic device
CN110602359A (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN116051368B (zh) 图像处理方法及其相关设备
CN116723264B (zh) 确定目标位置信息的方法、设备及存储介质
WO2022161058A1 (zh) 一种全景图像的拍摄方法及电子设备
WO2024109225A1 (zh) 拍摄模式切换方法及相关装置
CN117560574A (zh) 一种拍摄方法、电子设备和可读存储介质
CN118138875A (zh) 相机成像系统及终端
CN117082339A (zh) 拍摄模式切换方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant