CN116709002A - 视频拍摄方法、电子设备及计算机可读存储介质 - Google Patents

视频拍摄方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116709002A
CN116709002A CN202210177871.5A CN202210177871A CN116709002A CN 116709002 A CN116709002 A CN 116709002A CN 202210177871 A CN202210177871 A CN 202210177871A CN 116709002 A CN116709002 A CN 116709002A
Authority
CN
China
Prior art keywords
lut
preview image
recommendation
template
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210177871.5A
Other languages
English (en)
Inventor
莫燕
崔瀚涛
付庆涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210177871.5A priority Critical patent/CN116709002A/zh
Publication of CN116709002A publication Critical patent/CN116709002A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种视频拍摄方法、电子设备及计算机可读存储介质,涉及图像处理技术领域。本申请方案可以自动智能识别出预览图像中的语义类别,并根据预览图像中的多项语义类别及其优先级,匹配得到适合于当前拍摄场景的LUT模板,并采用匹配得到的LUT模板对预览图像进行处理,然后将处理后的预览图像以及LUT推荐信息显示于相机预览界面,通过LUT推荐信息提示电子设备当前推荐的LUT模板,用户可以考虑在视频录制过程中使用所推荐的LUT模板,而不再只是通过用户自身进行手动选择,因此本申请提供的视频拍摄方法可以满足用户想便捷地使用合适的LUT录制视频的需求。

Description

视频拍摄方法、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种视频拍摄方法、电子设备及计算机可读存储介质。
背景技术
目前,越来越多的用户习惯使用电子设备来录制视频,记录生活的点点滴滴。
很多电子设备支持以电影模式进行视频录制,在电影模式下可呈现多套不同电影感风格的颜色查找表(look up table,LUT)模板,供用户选择。其中,相机系统预设的这些不同风格的LUT模板适用于不同场景,当采用适合风格的LUT模板拍摄视频时,可以得到比较专业的电影感画面效果。
然而,由于上述视频拍摄方式需要用户根据个人经验进行LUT模板选择,而对于不能熟练使用LUT的用户,在需要录制视频时面对不同的拍摄场景,不容易选择到适合风格的LUT模板,因此会影响视频录制效果,从而无法满足用户想便捷地使用合适的LUT录制视频的需求。
发明内容
本申请提供一种视频拍摄方法、电子设备及计算机可读存储介质,目的在于满足用户想便捷地使用合适的LUT录制视频的需求。
为了实现上述目的,本申请提供了以下技术方案:
第一方面,本申请提供一种视频拍摄方法,该方法包括:响应于用户选择电影模式的操作,显示电影模式下的相机预览界面;在电影模式的人工智能AI推荐功能开启的情况下,对预览图像中的对象进行识别;在识别出预览图像中包括第一对象的情况下,在相机预览界面显示的预览图像上叠加显示第一LUT模板。
通过本申请方案,可以自动智能识别出预览图像中的语义类别,并根据预览图像中的多项语义类别及其优先级,匹配得到适合于当前拍摄场景的LUT模板,并采用匹配得到的LUT模板对预览图像进行处理,然后将处理后的预览图像以及LUT推荐信息显示于相机预览界面,通过LUT推荐信息提示电子设备当前推荐的LUT模板,用户可以考虑在视频录制过程中使用所推荐的LUT模板,而不再只是通过用户自身进行手动选择,因此本申请提供的视频拍摄方法可以满足用户想便捷地使用合适的LUT录制视频的需求。
在一些可能的实现方式中,上述方法还包括:在识别出预览图像中还包括第二对象,且第二对象的优先级高于第一对象的优先级的情况下,在相机预览界面显示的预览图像上叠加显示第二LUT模板。
其中,系统可以预设多个LUT模板。在识别出预览图像中包括第一对象的情况下,可以从系统预设的多个LUT模板中查找到与第一对象匹配的第一LUT模板。或者,在识别出预览图像中还包括第二对象,且第二对象的优先级高于第一对象的优先级的情况下,可以从系统预设的多个LUT模板中查找到与第二对象匹配的第二LUT模板。
在一些可能的实现方式中,系统预设有优先级规则和LUT推荐策略,预设的优先级规则定义了不同语义类别的优先级,预设的LUT推荐策略定义了不同的语义类别对应的LUT模板。
可选地,上述方法还可以包括:在预览图像中的语义类别包括第一对象和第二对象的情况下,根据预设的优先级规则,确定第一对象的优先级和所述第二对象的优先级。若第二对象的优先级高于第一对象的优先级,则根据预设的LUT推荐策略确定第二对象对应的LUT模板。其中,第二对象对应的LUT模板为第二LUT模板。
其中,这里以预览图像中可以包含两个对象为例进行示例性说明。在实际实现时,预览图像中可以包含更多个对象。
本申请方案可以对预览图像进行语义识别,在识别出预览图像中包含一个或更多个语义类别之后,确定该一个或更多个语义类别中具有最高优先级的语义类别。这样可以更准确地确定当前拍摄场景中的主要被拍摄对象,进一步可以更有利于准确地推荐适用于当前拍摄场景的LUT模板。
在一些可能的实现方式中,预览图像中包含前景、主体和后景,前景、主体和后景分别对应不同语义类别;其中,按照优先级从高到低依次为:主体、前景、后景。
其中,上述一个或更多个语义类别可以包括以下中的至少一项:人像、环境氛围、动物/静物、风景。可以理解,这里的语义类别为示例性地列举,在实际实现时,还可以包括其他任意可能语义类别。
在一些可能的实现方式中,上述预设的优先级规则可以定义不同语义类别按照优先级从高到低依次为:人像、环境氛围、动物/静物、风景。可以理解,这里关于语义类别的优先级定义规则为示例性地列举,在实际实现时,还可以按照实际使用需求定义各个语义类别的优先级。
在一些可能的实现方式中,上述方法还可以包括:
当预览图像中包括主体、前景和后景时,根据主体对应的语义类别,确定第一LUT模板;
或者,当预览图像中包含前景但不包含主体时,根据前景对应的语义类别,确定第一LUT模板;
或者,当预览图像中包含后景但不包含主体和前景时,根据后景对应的语义类别,确定第一LUT模板。
在一些可能的实现方式中,当预览图像中包括人像且人像为主体(例如第一对象为人像)时,第一LUT模板为人像对应的LUT模板。可以理解,当人像作为预览图像的主体时,人像是当前拍摄场景中的主要被拍摄对象,因此可以自动推荐与人像匹配的LUT模板,这样基于LUT模板进行录像,可提升视频录制的电影感。
在一些可能的实现方式中,当一个或更多个语义类别中包含人像时,确定具有最高优先级的语义类别是人像;或者,当一个或更多个语义类别中包含环境氛围但不包含人像时,确定具有最高优先级的语义类别是环境氛围;或者,当一个或更多个语义类别中包含动物/静物但不包含人像和环境氛围时,确定具有最高优先级的语义类别是动物/静物;或者,当一个或更多个语义类别中包含风景但不包含人像、环境氛围和动物/静物时,确定具有最高优先级的语义类别是风景。
在视频拍摄过程中,场景亮度(或称为环境亮度)有时会对视频画面的显示效果有较大影响,例如夜晚、白天室外、白天室内的光线对视频画面的显示效果影响较为明显,因此在AI推荐LUT模板的过程中还可以结合考虑场景亮度的影响。
在一些可能的实现方式中,可以根据所述识别结果和场景亮度信息,从系统预设的多个LUT模板中查找与拍摄场景匹配的第一LUT模板;其中,所述场景亮度信息用于指示拍摄场景的亮度等级。
在本申请实施例的AI推荐算法中,可以根据场景识别要素及场景亮度两个维度,定义LUT模板推荐的优先级。
这样,在AI推荐LUT模板的过程中,结合预览图像的语义识别结果以及当前拍摄场景的亮度信息,进行LUT模板匹配,由此匹配得到的LUT模板更符合当前拍摄场景,因此基于匹配得到的LUT模板进行录像,可大大提升视频录制的电影感。
在一些可能的实现方式中,方法还包括:根据所述预览图像、传感器采集的感光数据和预设的测光表数据,确定所述场景亮度信息。
在一些可能的实现方式中,传感器采集的感光数据包括以下至少一项:光圈值、快门值、感光度值。
在一些可能的实现方式中,预设的测光表数据可以包括多组曝光参数,所述多组曝光参数中的每组曝光参数对应一个亮度等级。
在一些可能的实现方式中,上述多组曝光参数中的每组曝光参数可以包括以下至少一项:光圈值、快门值、感光度值、曝光值。
其中,所述根据所述预览图像、传感器采集的感光数据和预设的测光表数据,确定所述场景亮度信息,包括:在采集所述预览图像时,将所述传感器采集的感光数据与预设的所述测光表数据进行比对;在预设的所述测光表数据中查找到与所述传感器采集的感光数据匹配的第一组曝光参数,所述第一组曝光参数对应目标亮度等级;根据所述目标亮度等级生成场景亮度信息,该场景亮度信息用于指示当前拍摄场景的亮度等级为所述目标亮度等级。
在本申请实施例中,可以将不同等级的场景亮度作为LUT推荐的参考因素;对于不同等级的场景亮度,对应的LUT推荐策略不同。可选地,可以根据精细度需求或者与LUT模板适配程度的需求对场景亮度进行等级划分。
在一些可能的实现方式中,目标亮度等级为第一亮度等级、第二亮度等级或第三亮度等级;其中,所述第一亮度等级、第二亮度等级和第三亮度等级各自对应的亮度值依次递增。
示例性地,在本申请实施例中,可以将场景亮度划分为如下三个等级:低亮、中亮、高亮。具体地,若场景亮度≤L1,则可以认为场景亮度为低亮。若L1<场景亮度≤L2,则可以认为场景亮度为中亮。若场景亮度>L2,则可以认为场景亮度为高亮。
示例性地,L1可以取50Lux,L2可以取600Lux。
可以理解,这里L1和L2的取值均为示例性说明,在实际实现时,可以根据实际使用需求设置,本申请实施例不作限定。
其中,该场景亮度信息的优先级低于各个语义类别的优先级。
在一些可能的实现方式中,第一亮度等级、第二亮度等级和第三亮度等级分别对应不同的LUT模板。所述方法还包括:根据所述场景亮度信息,从系统预设的多个LUT模板中查找与所述目标亮度等级匹配的LUT模板。
在一些可能的实现方式中,方法还包括:通过摄像头采集所述预览图像,并对所述预览图像进行人脸检测;若所述预览图像中包含人脸特征,则将系统预设的多个LUT模板中的人像语义类别对应的LUT模板。
在一些可能的实现方式中,在所述预览图像中包含单个人脸特征的情况下,若所述单个人脸特征对应的人脸框在预设区域内且所述人脸框占所述预览图像的比例大于或等于预设比例阈值,则确定所述预览图像包含人像语义类别。
或者,在所述预览图像中包含多个人脸特征的情况下,若最大人脸框在所述预设区域内且所述最大人脸框占所述预览图像的比例大于或等于所述预设比例阈值,则确定所述预览图像包含人像语义类别;其中,所述最大人脸框为所述多个人脸特征各自对应的多个人脸框中面积最大的人脸检测框。
在一些可能的实现方式中,所述方法还包括:在电影模式的AI推荐功能处于开启状态的情况下,获取所述预览图像,所述预览图像为包括一帧或更多帧图像的图像预览流。其中,所述AI推荐功能用于智能识别拍摄场景并智能推荐与所述拍摄场景匹配的LUT色调。
在一些可能的实现方式中,所述方法还包括:系统默认设置所述电影模式的AI推荐功能为开启状态。
在一些可能的实现方式中,电影模式下的相机预览界面中包括设置选项,该设置选项用于触发电影模式的相关功能(例如AI推荐功能)进行设置。
在此情况下,在所述显示电影模式下的相机预览界面之后,所述方法还包括:当接收到用户对所述设置选项的操作时,显示电影模式对应的设置界面,所述设置界面中包括AI电影色调选项;当接收到用户将所述AI电影色调选项对应的开关按钮从关闭切换为开启的操作时,开启所述AI推荐功能。
在一些可能的实现方式中,电影模式下的相机预览界面中包括电影快门控件。其中,在相机预览界面显示的预览图像上叠加显示第一LUT模板之后,所述方法还包括:当接收到用户对所述电影快门控件的操作时,开始录制视频,并将所述电影快门控件更新显示为停止拍摄控件;当接收到用户对所述停止拍摄控件的操作时,拍摄得到目标视频,该目标视频具有所述第一LUT模板对应的滤镜效果。
在一些可能的实现方式中,在所述显示电影模式下的相机预览界面之前,所述方法还包括:显示默认工作模式下的相机预览界面,所述默认工作模式下的相机预览界面中包括电影模式选项。
其中,上述响应于用户选择电影模式的操作,显示电影模式下的相机预览界面,包括:当接收到用户对所述电影模式选项的操作时,将默认工作模式下的相机预览界面更新显示为所述电影模式下的相机预览界面。
在一些可能的实现方式中,显示默认工作模式下的相机预览界面,包括:当接收到用户触发开启相机应用程序的操作时,显示所述默认工作模式下的相机预览界面。
在一些可能的实现方式中,在所述相机预览界面显示的预览图像上叠加显示第一LUT模板的情况下,所述方法还包括:显示第一LUT推荐信息,所述第一LUT推荐信息用于指示在所述预览图像上已应用所述第一LUT模板。
在一些可能的实现方式中,第一LUT推荐信息中可以包括取消控件。对应地,在所述显示第一LUT推荐信息之后,上述方法还可以包括:当接收到用户对所述取消控件的操作时,取消在预览图像上叠加添加第一LUT模板,并取消显示第一LUT推荐信息。
第二方面,本申请提供一种视频拍摄装置,该装置包括用于执行上述第一方面中的方法的单元。该装置可对应于执行上述第一方面中描述的方法,该装置中的单元的相关描述请参照上述第一方面的描述,为了简洁,在此不再赘述。
其中,上述第一方面描述的方法可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,处理模块或单元、显示模块或单元等。
第三方面,本申请提供一种电子设备,该电子设备包括处理器,处理器与存储器耦合,存储器用于存储计算机程序或指令,处理器用于执行存储器存储的计算机程序或指令,使得第一方面中的方法被执行。例如,处理器用于执行存储器存储的计算机程序或指令,使得该装置执行第一方面中的方法。
第四方面,本申请提供一种计算机可读存储介质,其上存储有用于实现第一方面中的方法的计算机程序(也可称为指令或代码)。例如,该计算机程序被计算机执行时,使得该计算机可以执行第一方面中的方法。
第五方面,本申请提供一种芯片,包括处理器。处理器用于读取并执行存储器中存储的计算机程序,以执行第一方面及其任意可能的实现方式中的方法。可选地,该芯片还包括存储器,存储器与处理器通过电路或电线连接。
第六方面,本申请提供一种芯片系统,包括处理器。处理器用于读取并执行存储器中存储的计算机程序,以执行第一方面及其任意可能的实现方式中的方法。可选地,该芯片系统还包括存储器,存储器与处理器通过电路或电线连接。
第七方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机程序(也可称为指令或代码),该计算机程序被计算机执行时使得该计算机实现第一方面中的方法。
可以理解的是,上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1为本申请实施例公开的采用不同的LUT模板处理后的图像示意图;
图2为本申请实施例公开的手机进入电影模式的界面示意图;
图3为本申请实施例公开的用户手动选择LUT模板的场景下的界面示意图;
图4为本申请实施例公开的一种电子设备的结构示意图;
图5为本申请实施例公开的一种电子设备的软件结构框图;
图6为本申请实施例公开的针对不同场景图像进行语义识别的示意图;
图7为本申请实施例公开的结合图像语义信息和环境亮度实现的LUT推荐算法的流程示意图;
图8为本申请实施例公开的结合图像语义信息和环境亮度按照不同优先级实现的LUT推荐算法的示意图;
图9为本申请实施例公开的视频拍摄方法中采用的人脸识别算法的示意框图;
图10为本申请实施例公开的视频拍摄方法中采用的人脸识别算法的界面示意图;
图11为本申请实施例公开的一种视频拍摄方法的流程示意图;
图12为本申请实施例公开的手机进入电影模式的另一界面示意图;
图13为本申请实施例公开的开启AI设置项的界面示意图;
图14为本申请实施例公开的语义分割及识别的示意图;
图15为本申请实施例公开的取消显示LUT推荐信息的界面示意图;
图16为本申请实施例公开的在电影模式下录制视频时的界面示意图;
图17为本申请实施例提供的一种视频拍摄装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,很多电子设备支持以电影模式进行视频拍摄,在电影模式下可呈现多套不同电影感风格的LUT模板,供用户选择。这些不同风格的LUT模板适用于不同场景,当采用适合风格的LUT模板拍摄视频时,可以得到比较专业的电影感画面效果。这种拍摄方式需要用户根据个人经验进行LUT模板选择。也就是说,用户只能够通过手动选择不同的LUT模板的方式,来挑选出最合适的LUT模板进行视频拍摄。然而,对于不具备专业调色能力的普通用户,在拍摄过程中面对不同的拍摄场景,不容易选择到适合风格的LUT模板,因此会影响视频拍摄效果,从而无法满足用户想便捷地使用合适的LUT模板进行录制的需求。
针对上述问题,本申请提供一种视频拍摄方法及电子设备,电子设备处于相机的电影模式时,在人工智能(artificial intelligence,AI)推荐功能开启后,可以自动智能识别预览图像中的语义类别,并根据预览图像中的多项语义类别以及各语义类别的优先级,确定适合于当前拍摄场景的LUT模板,然后将该LUT模板(作为目标推荐LUT)应用于预览图像,并在电影模式的相机预览界面中显示具有LUT滤镜效果的预览图像。由于本申请方案可以自动根据预览图像中具有最高优先级的语义类别,为用户推荐适合于当前拍摄场景的LUT模板,并将推荐的LUT模板应用于预览图像,使得预览图像呈现出适合当前拍摄场景的LUT滤镜的效果,这样无需用户手动选择,因此可以满足用户想便捷地使用合适的LUT模板录制视频的需求。
在介绍本申请提供的视频拍摄方法及电子设备的实施例之前,需要先对下文中即将提及的部分术语进行说明。在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或者两个以上,例如,多个处理单元是指两个或者两个以上的处理单元等;多个元件是指两个或者两个以上的元件等。
本文中的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。当本申请提及术语“第一”或者“第二”等序数词时,除非根据上下文其确实表达顺序之意,否则应当理解为仅仅是起区分之用。
本文中术语“和/或”,是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系,例如A/B表示A或者B。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
为便于理解本申请实施例,以下对本申请实施例的部分用语进行解释说明,以便于本领域技术人员理解。
1)用户体验(user experience,UX):也可以称为UX特性,指的是用户使用电子设备在拍摄过程中的感受。
2)电影模式:指的是电子设备录制视频的一种模式,即录像模式中的一种特殊模式。在本申请实施例中,电影模式包括LUT功能,当通过电影模式录制视频时,可以采用不同的LUT效果,能够使得录制的视频具有电影的质感。此外,电影模式还可以包括其他录制视频的模式,例如4K高动态范围图像(high-dynamic range,HDR)功能和慢动作录制功能。
3)LUT(look up table,颜色查找表):也可以称为LUT文件或者LUT参数,是一种颜色转换模板,比如可以是一种红蓝绿(red green blue,RGB)的映射表。LUT能够将实际采样到的像素灰度值经过一定的变换(如阈值、反转、对比度调整以及线性变换等),变成了另外一个与之对应的灰度值,这样可以起到突出图像的有用信息,增强图像的光对比度的作用。
可以理解,一张图像包括很多像素,每个像素由RGB值表示。电子设备的显示屏可以根据该图像中每个像素点的RGB值来显示该图像。也就是说,这些RGB值会指示显示屏如何发光,以混合出各种各样的色彩呈现给用户。
LUT是一种RGB的映射表,用于表征调整前后的RGB值的对应关系。例如,请参考表1,其示出一种LUT映射表的示例。
表1
当原始RGB值为(14,22,24)时,经过表1所示的LUT的映射,输出RGB值为(6,9,4)。当原始RGB值为(61,34,67)时,经过表1所示的LUT的映射,输出RGB值为(66,17,47)。当原始RGB值为(94,14,171)时,经过表1所示的LUT的映射,输出RGB值为(117,82,187)。当原始RGB值为(241,216,222)时,经过表1所示的LUT的映射,输出RGB值为(255,247,243)。
需要说明的是,当采用不同的LUT对同一张图像进行处理时,可以得到不同风格图像效果,也就是说可以将图像处理成不同滤镜的效果。例如,图1所示的LUT1、LUT2和LUT3是不同的颜色查找表,可以将图像处理成不同的滤镜效果。采用LUT1的滤镜对摄像头采集的原始图像100进行处理,可得到图1所示的图像101。采用LUT2的滤镜对摄像头采集的原始图像100进行处理,可得到图1所示的图像102。采用LUT3的滤镜对摄像头采集的原始图像100进行处理,可得到图1所示的图像103。对比图1所示的图像101、图像102和图像103可知,图像101、图像102和图像103图像效果或者风格不同。
可以理解的是,本申请实施例不限制与LUT功能有关的名称,在本申请其他实施例中,LUT还可以表述为LUT模板、LUT滤镜、色调、调色板等等,本申请实施例对此不作限制。
4)图像分割:是计算机视觉中非常重要的任务,其目标是为图像中的每个像素点分类,即像素级别的分类任务。例如,普通分割的任务是将分属不同物体的像素区域分开,即目标检测。语义分割的任务是在普通分割的基础上,分类出图像中每一块区域的语义,即确定出画面中的所有物体各自的类别。
具体到本申请方案,主要涉及语义分割,这里将结合语义分割及识别进行说明。由于图像是由许多像素(pixel)组成的,因此语义分割可以理解为将像素按照图像中表达语义含义的不同进行分组或者分割。通过图像语义分割,可以自动分割并识别出图像中的内容,从而识别出图像中的语义类别,例如人像、绿植、建筑物等。
5)用户界面(user interface,UI):是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析及渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。示例性地,GUI中可以包括在电子设备的显示屏中显示的各种可视的界面元素;例如各种可视的界面元素可以包括文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏和/或导航栏等。
具体到本申请方案,GUI中可以包括在显示屏中显示的相机预览界面、工作模式控件、LUT控件、AI设置项、LUT推荐信息以及拍摄控件等。用户可以通过对GUI中的界面元素进行操作,触发电子设备执行与用户所选界面元素对应的功能。
下面首先结合图2和图3示例性地说明电子设备采用电影模式录制视频的过程。
电子设备以手机为例,如图2中(a)所示,当用户需要使用手机录制视频时,用户在手机主屏幕界面中操作“相机”应用的图标201,手机显示如图2中(b)所示的界面202。其中,界面202为手机“拍照”模式的预览界面,该界面202中的工作模式控件2021可以包括:“拍照”模式、“人像”模式、“录像”模式、“电影”模式以及“专业”模式。响应于用户选择“电影”模式203的操作,手机显示如图2中(c)所示的界面204。其中,界面204是电影模式下手机录像前的预览界面。在界面204中,手机显示可以提示信息205:“横屏拍摄时更具电影感”,用于向用户提示将手机调整为横屏状态,再进行视频拍摄。而后,当用户将手机调整为横屏状态时,手机显示如图2中(d)所示的界面204。该界面204为手机在横屏状态下录像前的预览界面。
如图2中(d)所示,界面204可以包括拍摄控件206、LUT控件207、4K HDR控件208、慢动作控件209以及设置控件210;当然还可以包括其他控件,例如闪光灯控件。其中,拍摄控件206为虚拟快门键,用户通过对拍摄控件206操作,可触发手机开始拍摄。4K HDR控件208和慢动作控件209均默认设置为关闭状态,用户可以通过对4K HDR控件208和慢动作控件209中的任一控件操作,触发手机开启与所操作控件对应的功能。
如图3中(a)所示,响应于用户对LUT控件207的操作,手机开启LUT功能,并在界面204展示LUT模板栏211。其中,LUT模板栏211包括系统预先设置的多个LUT模板,例如LUT1、LUT2、LUT3、...、LUT6,供用户选择。
在一些实施例中,如图3中(a)和(b)所示,响应于用户对LUT模板栏211中的LUT1的操作(例如点击选择),界面204所展示的录像前的预览界面被处理为具有如图3中(b)所示的LUT1的滤镜效果。若用户对LUT1的滤镜效果满意,则可通过操作拍摄控件206,实现在电影模式下使用LUT1的滤镜效果录制视频。由此录制得到的视频会呈现LUT1的滤镜效果。
若用户对LUT1的滤镜效果不满意,则可通过对LUT模板栏211中的其他任一LUT模板进行操作,实现LUT滤镜效果的切换。
在另一些实施例中,如图3中(c)和(d)所示,响应于用户对LUT模板栏211中的LUT2的操作,界面204所展示的录像前的预览界面被处理为具有如图3中(d)所示的LUT2的滤镜效果。若用户对LUT2的滤镜效果满意,则可通过操作拍摄控件206,实现在电影模式下使用LUT2的滤镜效果录制视频。由此录制得到的视频会呈现LUT2的滤镜效果。
由前述拍摄效果的处理方案可知,用户在电影模式下对拍摄效果进行设置时,主要是通过用户手动选择LUT模板中不同的LUT滤镜,在界面上预览不同的LUT滤镜的处理效果,进而选择出合适的LUT滤镜,在电影模式下使用所选的LUT滤镜录制视频。对于用户来说,若想选择出适合当前拍摄场景的LUT滤镜,只能依赖于用户自身的经验,来手动选择出合适的LUT滤镜来处理。用户在电影模式下对拍摄效果进行处理的过程不够便捷,尤其是对于不能够熟练使用LUT滤镜的用户而言,拍摄效果的处理过程更为困难,给用户的使用体验并不是很好。
本申请提供的视频拍摄方法可以解决上述在录制视频时存在的不够智能及不够便捷的问题。在本申请方案中可以自动智能识别出预览图像中的语义类别,并根据预览图像中的多项语义类别以及各语义类别的优先级,确定适合于当前拍摄场景的LUT模板,然后使用确定出的LUT模板对预览图像进行处理,即向预览图像添加LUT模板对应的滤镜效果,然后将处理后的预览图像以及LUT推荐信息显示于相机预览界面,该LUT推荐信息用于提示电子设备当前推荐的LUT模板,用户可以考虑在视频录制过程中使用所推荐的LUT模板,而不再只是通过用户自身进行手动选择,因此本申请提供的视频拍摄方法可以满足用户想便捷地使用合适的LUT滤镜录制视频的需求。
本申请实施例提出的视频拍摄方法,可以应用于手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant,PDA)、可穿戴电子设备、智能手表等带有摄像头的电子设备中。
本申请实施例提出的视频拍摄方法,可以应用于如图4所示的电子设备。如图4所示,为电子设备的一种结构示意图。其中,电子设备可以包括:处理器310,外部存储器接口320,内部存储器321,通用串行总线(universal serial bus,USB)接口330,充电管理模块340,电源管理模块341,电池342,天线1,天线2,移动通信模块350,无线通信模块360,音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,传感器模块380,按键390,马达391,指示器392,摄像头393,显示屏394,以及用户标识模块(subscriberidentification module,SIM)卡接口395等。
可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元,例如:处理器310可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器310中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器310的等待时间,因而提高了系统的效率。
在一些实施例中,处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。例如,在本申请实施例中,处理器可以用于执行本申请提出的任一视频拍摄方法。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备通过GPU,显示屏394,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏394和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器310可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏394用于显示图像,视频等。该显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Mini-LED,Micro-OLED,Micro-OLED,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
电子设备可以通过ISP,摄像头393,视频编解码器,GPU,显示屏394以及应用处理器等实现拍摄功能。
ISP用于处理摄像头393反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头393中。
摄像头393用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头393,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口320可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口320与处理器310通信,实现数据存储功能。例如将所录制的视频等文件保存在外部存储卡中。
内部存储器321可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令,从而执行电子设备的各种功能应用以及数据处理。例如,在本申请实施例中,处理器310可以通过执行存储在内部存储器321中的指令,内部存储器321可以包括存储程序区和存储数据区。
其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器321可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。
按键390包括开机键,音量键等。按键390可以是机械按键。也可以是触摸式按键。马达391可以产生振动提示。马达391可以用于来电振动提示,也可以用于触摸振动反馈。指示器392可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口395用于连接SIM卡。SIM卡可以通过插入SIM卡接口395,或从SIM卡接口395拔出,实现和电子设备的接触和分离。电子设备可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口395可以支持Nano SIM卡,Micro SIM卡,SIM卡等。
以下实施例中的方法均可以在具有上述硬件结构的电子设备中实现。以下实施例中以上述电子设备为手机为例,具体阐述本申请实施例提供的技术方案。
另外,在上述部件之上,运行有操作系统。例如,iOS操作系统,Android开源操作系统,Windows操作系统等。在该操作系统上可以安装运行应用程序。
图5是本申请实施例的电子设备采用的软件架构示意性框图。下面结合图5所示的软件架构,对本申请实施例提供的视频拍摄方法的实现方式进行示例性说明。
可以理解的是,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,Android系统可以包括应用程序层(application,APP)、框架层(framework,FWK)、硬件抽象层(hardware abstractionlayer,HAL)以及内核层(kernel)。
示例性地,上述应用层可以包括用户界面(user interface,UI)层和逻辑层。如图5所示,UI层包括相机、图库以及其它应用。其中,相机包括LUT控件、4K HDR控件、AI设置项、工作模式控件、相机预览界面以及LUT推荐信息。逻辑层包括LUT模板模块、AI推荐模块、编码模块、LUT逻辑控制模块、HDR模块以及配置库等。
上述框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程服务。框架层包括一些预先定义的函数。框架层通过API接口将编程服务提供给应用程序层调用。需要说明的是,在本申请实施例中,编程服务例如可以为相机服务(camera service)。在一些实施例中,如图5所示,框架层包括相机服务框架和媒体框架。其中,媒体框架包括编码器。
上述硬件抽象层在软件与硬件之间起到了桥梁作用,可以用于将硬件抽象化,为操作系统提供虚拟硬件使用平台。示例性地,如图5所示,硬件抽象层包括相机接口。
上述内核层为手机的各种硬件提供了底层驱动。示例性地,如图5所示,内核层包括相机驱动模块。其中,该相机驱动模块可以摄像头驱动和显示驱动。
可以理解的是,手机还包括基于上述软件架构应用的硬件层,硬件层包括各种硬件。示例性地,如图5所示,硬件层包括用于实现录像功能的摄像头和显示屏。
接下来,结合图6所示的软硬件架构图描述本申请实施例的技术方案。
在本申请实施例中,当用户通过工作模式控件选择“电影”模式并触发开启AI推荐功能后,开启LUT滤镜的AI推荐功能。AI推荐模块调用相机接口向相机驱动模块获取预览图像的场景参数。在一些实施例中,预览图像的场景参数可以包括语义类别信息(或者称为语义信息)。在一些实施例中,预览图像的场景参数可以包括语义类别信息和亮度信息。为了便于说明,下面以预览图像的场景参数包括语义类别信息为例进行示例性说明。
进一步地,相机驱动模块驱动硬件层中的摄像头采集预览图像。硬件层将摄像头采集到的预览图像上报给相机驱动模块。相机驱动模块调用硬件抽象层的相机接口,使用图像语义分割及识别算法,对预览图像进行AI语义识别,得到预览图像的语义类别信息。该预览图像的语义类别信息用于指示预览图像中的语义类别。相机驱动模块调用硬件抽象层的相机接口,将预览图像的语义类别信息上报给AI推荐模块。
进一步地,AI推荐模块接收到相机驱动模块上报的预览图像的语义类别信息。AI推荐模块采用系统预先存储的AI推荐算法,根据预览图像的语义类别信息确定与预览图像的语义类别信息对应或匹配的LUT模板(所确定的LUT模板称为目标推荐LUT),然后将目标推荐LUT的标识发送给LUT逻辑控制模块。
进一步地,LUT逻辑控制模块接收目标推荐LUT的标识,并调用硬件抽象层的相机接口向相机驱动模块发送目标推荐LUT的标识,并指示相机驱动模块采用与目标推荐LUT的标识对应的目标推荐LUT对预览图像进行处理。相应地,相机驱动模块将预览图像处理为具有目标推荐LUT的滤镜效果的预览图像,然后相机驱动模块调用硬件抽象层的相机接口,将处理后的预览图像以及LUT推荐信息显示至显示屏上,以使得显示屏在相机预览界面上显示处理后的预览图像以及LUT推荐信息。其中,LUT推荐信息用于向用户提示电子设备当前推荐使用的LUT模板。
在一些实施例中,LUT逻辑控制模块可以按照AI推荐策略或者LUT推荐规则,控制LUT推荐信息的显示和隐藏,以及控制是否对用户进行LUT模板推荐。
在一些实施例中,响应于用户对LUT推荐信息的取消操作,LUT逻辑控制模块可以控制LUT推荐信息不显示于相机预览界面,即对LUT推荐信息进行隐藏。在一些实施例中,响应于用户对LUT推荐信息的取消操作,AI推荐模块可以停止对预览图像的场景参数进行LUT模板的匹配。
在一些实施例中,AI推荐模块可以通过AI模型识别出与预览图像的场景相匹配的LUT。示例性地,可以将预览图像的场景参数输入到AI模型中,AI模型输出与场景参数对应的LUT,即目标推荐LUT。其中,AI模型可以是用于识别预览图像的任一种机器模型。例如,该AI模型可以是以下任一种神经网络模型:VGG-net、Resnet和Lenet。
需要说明的是,上述各个模块之间的交互过程,具体可以参考下述对本申请实施例的视频拍摄方法的相关部分,此处不再赘述。
下面将详细阐述本申请的实施例提出的视频拍摄方法。需要说明的是,在本申请实施例提供的视频拍摄方法中,涉及AI推荐模块使用AI推荐算法,根据预览图像的语义类别信息,匹配出适合当前拍摄场景的LUT模板,并将匹配出的LUT模板作为目标推荐LUT,推荐给用户的过程。为了对本申请实施例的描述更为清楚,首先介绍本申请实施例给出的几种可能的AI推荐算法,以及AI推荐模块通过执行AI推荐算法来确定目标推荐LUT的可能实现方式,然后再结合流程图和界面图综合阐述本申请的实施例提出的视频拍摄方法。
AI推荐算法一:根据预览图像中具有最高优先级的场景识别要素(语义类别),确定目标推荐LUT。
在实际拍摄过程中,预览图像通常会与用户想拍摄及表达的画面相关,预览图像的画面视觉表达要素通常会包括主体、陪体、前景、背景等,也就是说,预览图像通常会包括主体、陪体、前景、背景等语义类别,即场景识别要素。
示例性地,在如图6中(a)所示的预览图像中,重点表达花朵,主体为花朵、陪体为叶子、背景为蓝天及绿植。在如图6中(b)所示的预览图像中,重点表达晚霞氛围,建筑作为前景。在如图6中(c)所示的预览图像中,主体为小猫。在如图6中(d)所示的预览图像中,沙滩为前景,海和蓝天为背景。
在一些实施例中,AI推荐模块中可以预先配置好语义类别与LUT模板之间的匹配关系,即语义类别与LUT模板的一一对应关系,每项语义类别对应一个LUT模板。AI推荐模块中还可以预先配置好语义类别与优先级之间的对应关系,即不同语义类别具有不同的优先级。
在本申请实施例中,系统预先存储的语义类别与LUT模板之间的匹配关系以及语义类别与优先级之间的对应关系,可以统称为AI推荐算法,也可以称为AI推荐策略或者LUT推荐规则。AI推荐模块可以通过执行AI推荐算法,根据预览图像的语义类别信息确定适合当前拍摄场景的LUT模板,并推荐给用户。
具体到本申请方案,AI推荐模块先根据预览图像的语义类别信息,确定出预览图像中的各种语义类别。然后根据语义类别与优先级之间的对应关系,确定预览图像中各种语义类别对应的优先级,并确定出各种语义类别中具有最高优先级的语义类别(称为目标语义类别)。然后根据预览图像的目标语义类别,从预先配置好的语义类别与LUT模板之间的匹配关系中,查到与预览图像的目标语义类别相匹配的LUT模板,将其作为目标推荐LUT。
示例性地,下述的表2示例性地示出了语义类别与LUT模板的一一对应关系,一项语义类别可以对应一个LUT模板。如表2所示,语义类别可以包括人像、日出/日落、烟花、猫/狗、美食、绿植/花卉、建筑、雪地、沙滩和蓝天,这些语义类别对应的LUT模板分别为LUT1、LUT2、LUT3、LUT4、LUT5、LUT6、LUT7、LUT8、LUT9和LUT10。
在本申请实施例中,不同的语义类别可以按照一定规则进行分类。例如,可以按照场景中的主体、陪体和背景等要素对不同的语义类别进行分类。
示例性地,如表2所示,一个或更多个人像作为拍摄场景中的前景主体,可以单独设定为一类。对于日出/日落以及烟花等环境氛围类的语义类别,可以认为是拍摄场景中的特殊氛围,用于表达特定氛围感。对于猫/狗、美食、绿植/花卉以及建筑归类等动物/静物类的语义类别,可以认为是拍摄场景中的非人像主体。对于雪地、沙滩以及蓝天等风景类的语义类别,可以认为是拍摄场景中的背景。
表2
可以理解的是,上述分类为示例性地说明,在实际实现时,不同的语义类别还可以按照其他任意可能的规则进行分类,具体可以根据实际使用需求确定,本申请实施例不作限定。
可选地,在本申请实施例中,可以针对语义类别的每一大类,预先设置对应的优先级。由于是针对各个大类设置优先级,因此该优先级可称为一级优先级。示例性地,上述表2示例性地示出了语义类别的优先级设定规则。
示例性地,如表2所示,针对人像主体、环境氛围、非人像主体、背景这四大分类,按照从高到低的优先级排列。其中,人像主体的一级优先级标记为1,优先级最高;环境氛围的一级优先级标记为2;非人像主体的一级优先级标记为3;以及背景的一级优先级标记为4,优先级最低。
可选地,在本申请实施例中,针对每一大类中的多个语义类别,可以按照实际需求预先设置各自对应的优先级。由于是针对每个大类中的不同语义类别设置优先级,因此该优先级可称为二级优先级。例如,对于动物/静物这一类别而言,可以定义动物的优先级高于静物的优先级。例如假设预览图像中包括狗以及绿植/花卉,那么可以确定狗的优先级高于绿植/花卉的优先级。
示例性地,如表2所示,由于人像主体单独为一类,因此无二级优先级。对于日出/日落以及烟花,二级优先级分别标记为1和2,代表日出/日落的优先级高于烟花的优先级。对于猫/狗、美食、绿植/花卉以及建筑,二级优先级分别标记为1,2,3,4,代表优先级从高到低。
这样,在预览图像中包含多个语义类别的情况下,可以根据多个语义类别各自的优先级,确定出多个语义类别中具有最高优先级的语义类别。
在一些实施例中,在预览图像中包含一项语义类别的情况下,可以根据该LUT推荐规则,确定与该语义类别对应的LUT模板。示例性地,假设预览图像中仅包含建筑,那么可以直接根据表2所示的LUT推荐规则,推荐与建筑对应的LUT模板,即LUT7。
在另一些实施例中,在预览图像中包含多项语义类别的情况下,可以先确定多个语义类别中具有最高优先级的语义类别,然后再根据LUT推荐规则,确定与具有最高优先级的语义类别对应的LUT模板。
示例性地,假设预览图像中的语义类别包含人像和美食,那么按照表2所示的优先级设定规则,可以确定出人像和美食等多个语义类别中具有最高优先级的语义类别是人像。然后再根据表2所示的LUT推荐规则,推荐与人像对应的LUT模板,即LUT1。
示例性地,假设预览图像中的语义类别包含建筑、烟花和人像,那么按照表2所示的优先级设定规则,可以确定出建筑、烟花和人像等多个语义类别中具有最高优先级的语义类别是人像。然后再根据表2所示的LUT推荐规则,推荐与人像对应的LUT模板,即LUT1。
示例性地,假设预览图像中的语义类别包含猫、绿植和美食(例如咖啡、面包等),那么按照表2所示的优先级设定规则,可以确定出猫、绿植和美食等多个语义类别中具有最高优先级的语义类别是猫。然后再根据表2所示的LUT推荐规则,推荐与猫对应的LUT模板,即LUT4。
需要说明的是,在对画面要素识别的过程中,可以按照视觉表达或拍摄者构图,对画面要素及主体进行优先级区分及选择。
在一些实施例中,可以通过感兴趣区域(region of interest,ROI)识别算法对画面场景要素及主体进行识别。具体地,先算出预览图像中感兴趣区域的主体,再结合背景或亮度特征做LUT推荐。示例性地,识别出预览图像中有一只小狗和一个人,其中小狗在欢快地跑动,人在安静地看书,在此情况下使用ROI识别算法,可以确定预览图像中的感兴趣区域是运动的小狗,此时可以把小狗作为识别的主体,进行LUT推荐。
以上说明了本申请实施例的AI推荐模块根据预览图像的语义类别信息这一场景参数,确定目标推荐LUT的可能实现方式。可选地,在本申请实施例中,AI推荐模块还可以根据预览图像的语义类别信息和场景亮度信息等场景参数,共同确定适合当前拍摄场景的LUT模板,这样可以提升智能推荐LUT模板的准确性。下面介绍AI推荐模块根据预览图像的语义类别信息和亮度信息确定目标推荐LUT的可能实现方式。
需要说明的是,本申请实施例中提及的未使用LUT处理过的预览图像,都可以指代为原始预览图像。其中,预览图像的语义类别信息可以是对原始预览图像进行AI识别所得到的场景参数。其中,预览图像的场景亮度信息可以是结合经过曝光后的原始预览图像的图像亮度信息以及环境光传感器采集的环境光亮度信息等共同确定的场景参数。
AI推荐算法二:根据预览图像的场景识别要素(语义类别)和场景亮度,确定目标推荐LUT。
在拍摄过程中,场景亮度(或称为环境亮度)有时会对视频画面的显示效果有较大影响,例如夜晚、白天室外、白天室内的光线对视频画面的显示效果影响较为明显。
在本申请实施例中,可以将不同等级的场景亮度作为LUT推荐的参考因素;对于不同等级的场景亮度,对应的LUT推荐策略不同。可选地,可以根据精细度需求或者与LUT模板适配程度的需求对场景亮度进行等级划分。
示例性地,在本申请实施例中,可以将场景亮度划分为如下三个等级:低亮、中亮、高亮。具体地,若场景亮度≤L1,则可以认为场景亮度为低亮。若L1<场景亮度≤L2,则可以认为场景亮度为中亮。若场景亮度>L2,则可以认为场景亮度为高亮。
示例性地,L1可以取50Lux,L2可以取600Lux。
可以理解,这里L1和L2的取值均为示例性说明,在实际实现时,可以根据实际使用需求设置,本申请实施例不作限定。
需要说明的是,这里场景亮度的分类为示例性地说明,本申请实施例中场景亮度包括但不限于上述划分等级,在实际实现时,还可以包括其他可能的划分等级,具体可以根据实际使用需求确定,本申请实施例不作限定。为了便于描述,下述实施例中将以场景亮度被划分为低亮、中亮、高亮为例进行示例性说明。
图7示出了本申请实施例根据预览图像的语义类别和场景亮度确定目标推荐LUT的示意性框图。如图7所示,电子设备包括语义识别模块和亮度计算模块。一方面,语义识别模块对图像预览流(包括一帧或多帧预览图像)进行语义识别后,得到图像语义信息,该画面语义信息用于指示语义类别。另一方面,亮度计算模块可以根据图像预览流、传感器感光信息(用于指示当前拍摄场景的环境光亮度)和预设的测光表,计算出场景亮度,然后确定出该场景亮度对应的亮度等级(简称为场景亮度等级)。基于系统预设的LUT推荐算法,根据画面语义信息和场景亮度等级,确定出适合当前拍摄场景的LUT模板,然后在显示屏的预览界面中显示所推荐的LUT模板的滤镜效果。
在本申请实施例中,可以通过电子设备的相机(camera)系统完成对实际场景亮度的计算及分类。通过结合图像预览流、传感器(sensor)的感光信息和预设的测光表进行计算,可以确定出更准确的场景亮度,从而对场景亮度的等级分类(例如低亮、中亮、高亮)也会更准确。其中,传感器的感光信息包括但不限于曝光时长、感光值ISO、光圈等信息。手机相机系统中通常设置有曝光模块,在实际拍摄过程中,该曝光模块可以根据场景亮度对相机的曝光参数进行自动控制。
下面说明测光表的设定:通常需要提前对相机系统进行标定,例如针对不同的灯箱亮度设定对应的索引(index)值,进而建立一组包括光圈Av、快门Tv、感光度Sv,曝光值AEtarget等的曝光参数。曝光参数可以记为M(index_i,Av_i,Tv_i,Sv_i,AEtarget_i)。可以将测光表中的曝光参数M预先保存在相机系统中。
示例性地,下面示例性地给出了测光表中的三组曝光参数:
M(0,1,17,100,20);M(1,1,33,100,20);M(2,1,33,200,20)。
示例性地,可以通过以下操作实现对场景亮度的检测和计算:当相机系统通过摄像头采集某一实际场景的图像预览流时,相机系统会对环境光进行测光,输出一组曝光参数初始值(Av_0,Tv_0,Sv_0),并通过计算及与测光表对比得到一组曝光参数M(index_j,Av_j,Tv_j,Sv_j,AEtarget_j),由此可以得到实际场景亮度所对应的index_j值。进一步地,可以将index_j值输入亮度计算模块,亮度计算模块可通过提前设定的index值与场景亮度的对应关系,确定实际环境所处的亮度分类区间(例如高亮、中亮、低亮),从而作为LUT推荐的亮度参考因子。
举例来说,假设低亮等级预设为index<20Lux,中亮等级预设为20Lux≤index≤600Lux,高亮等级预设为index>600Lux;预设的测光表中包括上述三组曝光参数。当用户通过手机以电影模式拍摄场景时,相机系统会输出一组初始值,例如(1,33,100),此时通过计算(包括但不限于加权平均等方法)并与上述测光表对比,从上述测光表中寻找到与初始值最接近的曝光参数为M(1,1,33,100,20),从而基于曝光参数M(1,1,33,100,20)可以确定index值为1,然后将根据上述亮度等级划分策略,确定index对应的亮度等级为低亮等级。
这里index的取值或者设定范围为示例性说明,在实际实现时,index的取值或者设定范围具体可以根据实际使用需求设置,本申请实施例不作限定。
可选地,在本申请实施例的AI推荐算法中,可以根据场景识别要素及场景亮度两个维度,定义LUT模板推荐的优先级。示例性地,下述的表3示例性地示出了综合考虑场景亮度和语义类别的AI推荐策略。
如表3所示的AI推荐策略,在表2的基础上还考虑了场景亮度。可选地,可以将场景亮度的优先级设置为低于上述人像主体、陪体、非人像主体、背景各自的优先级。示例性地,如表3所示,场景亮度分为场景亮度1(低亮)、场景亮度2(中亮)和场景亮度3(高亮)。其中,在AI推荐策略中,场景亮度1(低亮)对应于LUT11,场景亮度2(中亮)对应于LUT12,场景亮度3(高亮)对应于LUT13。
可选地,在本申请实施例中,可以根据电影风格LUT的特殊性,预先设置场景识别要素和场景亮度的特殊组合,对应于一个LUT模板。在实际应用时,可以通过场景识别要素和场景亮度共同完成场景识别并推荐适合当前拍摄场景的LUT模板。
示例性地,如表3所示,特殊组合1(建筑+场景亮度1),对应于LUT14。特殊组合2:美食+场景亮度1,对应于LUT15。例如,在实际应用时,在预览图像的场景参数满足(建筑+场景亮度1)这一特殊组合时,AI推荐模块可以智能推荐适合当前拍摄场景的LUT14;例如LUT14可以是蓝调风格的LUT模板(称为神秘之境),对黑夜中带灯光的现代建筑场景非常适用。
需要说明的是,上述特殊组合为示例性地说明,可以理解,本申请实施例包括但不限于上述列举的特殊组合。在实际应用中,还可以根据实际使用需求预设设置更多其他可能的特殊组合,本申请实施例对此不作限定。
表3
示例性地,图8以二维坐标系的形式示例性地示出了综合考虑场景亮度和语义类别的AI推荐策略。如图8所示,纵坐标表示优先级,横坐标表示场景亮度。可以将场景识别要素及场景亮度按照下述从高到低的优先级排序:人(人像主体)、环境氛围、动物/静物(非人像主体)、风景(背景)、场景亮度。这样,基于预设定义的优先级,可以确定预览图像中各个要素的优先级,并将最高优先级的要素对应的LUT模板确定为要推荐的LUT模板,实现LUT模板的AI推荐。
在本申请实施例中,由于在手机拍摄时,主体为人像的场景比重较大,而且电影风格LUT在人像方面会有专门的调色处理,所以可以预先设置适合不同人像场景的人像风格LUT,作为最高优先级进行推荐。
下面结合图9详细说明人像场景的识别策略。如图9所示,人像场景的识别策略流程可以包括下述的步骤S401-S411。
S401,通过摄像头采集预览图像。
在本申请实施例中,可以通过相机系统(例如摄像头)采集预览图像,然后对预览图像中的场景要素进行识别,尤其对预览图像中的主体(例如人像)或感兴趣区域进行识别。
S402,对预览图像进行人脸检测。
其中,人脸检测的过程可以包括:调用人脸检测算法,识别图像中的人脸框(也称为人脸识别框或者人脸检测框),并返回人脸框的坐标信息以及人脸框的宽度w和长度h。人脸框的坐标信息可以包括人脸框的左上角坐标(x1,y1)或者右下角坐标(x2,y2)。对于图像中存在多个人脸的场景,按最大人脸进行计算,即返回最大人脸框的左上角坐标(x1,y1),最大人脸框的宽度w和高度h。基于人脸框的宽度w和高度h,可以计算人脸框的尺寸或者面积。
为了保证无效主体出现在边缘画面导致策略变化,在人脸检测成功后,可以设定预览图像中的画面中心区域。可以根据人脸框的坐标信息确定人脸是否在画面中心区域。参考图10,图10示出了预览图像的画面中心区域以及人脸框。画面中心区域为矩形区域,其宽度为W,长度为H,四个顶点分别为(X1,Y1)、(X1,Y2)、(X2,Y2)、(X2,Y1)。人脸框的左上角坐标为(x1,y1),人脸框的宽度w和高度h。以人脸框的左上角坐标(x1,y1)为例,当此坐标值满足下述条件:X1≤x1≤X2-w,且Y2+h≤y1≤Y1,则判定人脸进入了画面中心区域,可作为拍摄主体,从而按照人像类别去推荐对应的LUT。需要说明的是,不管是横屏还是竖屏,都可以自定义画面中心区域,图10以横屏为例进行示例性说明。
需要说明的是,这里是以根据人脸框的左上角坐标判断人脸是否进入画面中心区域为例进行示例性说明的,在实际实现时,本申请实施例还可以根据人脸框的其他坐标(例如中心坐标等)判断人脸是否进入画面中心区域,具体可以根据实际使用需求确定,本申请实施例不作限定。为了便于描述,下文中直接描述为人脸框的坐标。
S403,判断预览图像中是否有人脸。
若预览图像中有单个人脸,则继续执行下述的S404。若预览图像中有多个人脸,则继续执行下述的S408。若图像中无人脸,则继续执行下述的S410。
S404,在预览图像中有单个人脸的情况下,计算人脸框的坐标、高度和宽度。
S405,根据人脸框的坐标、高度和宽度,判断人脸框是否在预设区域内且人脸框占图像的比例是否符合条件。
示例性地,可以根据人脸框的坐标和画面中心区域,判断人脸框是否在画面中心区域(预设区域)内。结合图10所示,若满足X1≤x1≤X2-w,且Y2+h≤y1≤Y1,则可以判断人脸框在画面中心区域(预设区域)内。
示例性地,若人脸框面积(w*h)占画面中心区域的面积(W*H)的比例大于或等于预设比例,则可以认为人脸框占图像的比例符合条件。若人脸框面积(w*h)占画面中心区域的面积(W*H)的比例小于预设比例,则可以认为人脸框占图像的比例不符合条件。示例性地,预设比例可以为50%,或者可以为其他数值,具体可以根据实际需求设置,本申请实施例不作限定。
如判断人脸框在预设区域内且人脸框占图像的比例符合条件,则继续执行下述的S406。若判断人脸框不在预设区域内或者人脸框占图像的比例不符合条件,则继续执行下述的S410。
S406,确定当前场景为人像场景。
S407,推荐适用于人像的LUT模板。
通过上述方案,针对人像场景,根据手机影像表达中景别的区分,并根据手机画幅、人脸识别、主体识别等策略进行人物场景策略的选择,保证符合拍摄者所拍摄的画面视觉表达。
S408,在预览图像中有多个人脸的情况下,计算每个人脸框的坐标、宽度和高度。
S409,判断最大人脸框是否在预设区域内且最大人脸框占图像的比例是否符合条件。
如判断最大人脸框在预设区域内且最大人脸框占图像的比例符合条件,则继续执行上述的S406。若判断最大人脸框不在预设区域内或者最大人脸框占图像的比例不符合条件,则继续执行下述的S410。
S410,确定当前场景为非人像场景。
S411,在确定当前场景为非人像场景之后,进入其他推荐流程。
在一些实施例中,在远景的场景下,人物只是作为场景中的非主要要素,因此不需要按照专门的人像LUT进行推荐,而使用背景相关场景进行推荐。
可选地,可以在电影模式的预览阶段进行LUT推荐,并按照一定的时间间隔进行LUT推荐。在开始录制视频之后,则停止LUT推荐。
可选地,当确定为非人像场景之后,所推荐的LUT滤镜会兼顾考虑对人像肤色的保护,以保证在添加LUT滤镜后人像的显示效果。
可选地,推荐LUT的上报机制可以为:每隔预设时长(例如5秒)上报一次,并且,当前后两次推荐的LUT模板不一样时,才会上报。当前后两次推荐的LUT模板一样时,则不会上报。这样可以避免频繁上报,降低能耗。
通过本申请方案,手机相机处于电影模式时,在AI推荐功能开启后,可以自动智能识别预览图像中的语义类别,并根据预览图像中的多项语义类别以及各语义类别的优先级,确定适合于当前拍摄场景的LUT模板,然后将该LUT模板(作为目标推荐LUT)的滤镜应用于预览图像,并在电影模式的相机预览界面中显示具有LUT滤镜效果的预览图像。本申请方案可以自动根据预览图像中具有最高优先级的语义类别,为用户推荐适合于当前拍摄场景的LUT模板,并将推荐的LUT滤镜效果应用于预览图像,使得预览图像呈现出适合当前拍摄场景的LUT滤镜的效果,这样无需用户手动选择,可以满足用户想便捷地使用合适的LUT滤镜录制视频的需求。
以上详细描述了本申请实施例提供的视频拍摄方法所采用的AI推荐算法,下面结合图11所示的流程图对本申请实施例提供的视频拍摄方法进行更详细地说明。
图11为本申请实施例提供的一种视频拍摄方法流程示意图。图11示出的视频拍摄方法可以应用于前述提及的电子设备,为了便于描述,下面以电子设备是手机为例说明,图11示出的视频拍摄方法可以包括下述的步骤S501-S514:
S501、响应于用户启动第一应用的操作,显示屏显示默认工作模式下的相机预览界面。
其中,默认工作模式下的相机预览界面可以包括预览图像。默认工作模式为第一应用启动后默认进入的工作模式。第一应用为具有拍摄功能的应用,例如系统自带的相机应用,或者第三方提供的相机应用。第一应用中的默认工作模式可以任意设定,例如可以将“拍照”模式设定为默认工作模式。具体的,当用户触发启动第一应用时,第一应用响应于用户触发启动第一应用的操作,进入默认工作模式,将默认工作模式下的相机预览界面显示于显示屏上,开启并调用摄像头采集预览图像,将预览图像显示在默认工作模式下的相机预览界面。
在一些实施例中,执行步骤S501的方式可以是,响应于用户点击“相机”应用的图标,显示屏显示默认工作模式下的相机预览界面。其中,手机通过响应用户操作“相机”应用的图标,在显示屏上显示“拍照”模式的相机预览界面的过程,可以参见前述对图2中(a)和(b)的描述,此处不再赘述。
需要说明的是,响应于用户触发启动第一应用的操作的方式有很多,例如可以是响应于用户点击第一应用的图标的操作,又例如可以是响应于用户向上滑动的操作触发启动第一应用,可以理解,在实际应用时,响应于用户触发启动第一应用的操作的方式包括但不限于本申请实施例所提出的方式。
S502、响应于用户选择电影模式的操作,显示屏显示电影模式下的相机预览界面。
其中,电影模式是一种录像模式,电影模式的相关介绍可参见前述所提及的电影模式的相关内容,此处不再赘述。电影模式下的相机预览界面可以包括预览图像。其中,电影模式下的相机预览界面中,显示的预览图像会具有电影模式的处理效果,即预览图像具有电影的质感,画面也更加立体。在另一些实施例中,不同工作模式下的相机预览界面,所呈现的预览图像也具有不同的处理效果。
在一些实施例中,步骤S501中显示屏显示的相机预览界面中,还包括有工作模式控件。而工作模式控件中包括有电影模式等多个工作模式,通过对工作模式控件中的电影模式进行操作,手机即可响应于用户选择电影模式的操作,通过显示屏显示电影模式下的相机预览界面。具体的,可参见前述对图2中(b)和(c)的描述,此处不再赘述。
在另一些实施例中,在用户没有选择电影模式的操作的情况下,显示屏也可以直接显示电影模式下的相机预览界面。例如,当步骤S501中的默认工作模式为电影模式时,可以响应于用户触发启动第一应用的操作,显示屏直接显示电影模式下的相机预览界面。即第一应用启动时默认进入电影模式。举例说明,如图12中(a)所示,当用户需要使用手机录制视频时,用户在手机桌面中操作“相机”应用的图标601,相应地手机显示如图12中(b)所示的界面602。其中,界面602为手机电影模式下的预览界面。即操作“相机”应用的图标501,默认进入电影模式,显示电影模式下的相机预览界面。
通过前述对步骤S501至步骤S502的描述可知,触发显示屏显示电影模式下的相机预览界面的方式有很多,包括但不限于本申请实施例所提出的方式。
需要说明的是,实现显示屏显示电影模式下的相机预览界面的方式有很多,例如通过响应于用户选择电影模式的操作,注册预览回调的方式,实现让显示屏显示电影模式下的相机预览界面。在实际实现时,显示屏显示电影模式下的相机预览界面的具体实现方式的不同,不影响本申请实施例的实现。
S503、显示屏接收用户触发开启AI推荐功能的操作。
示例性地,电影模式下的相机预览界面中包括电影模式的设置项,当用户对设置项操作时,显示屏更新显示为电影模式的设置界面,在电影模式的设置界面中包括AI电影色调的设置选项。当用户在AI电影色调的设置项(简称为AI设置项)上触发开启按钮时,用户完成触发开启AI推荐功能的操作。
需要说明的是,这里是以用户触发开启AI推荐功能为例进行示例性说明的,可以理解,在另一些实施例中,若AI设置项处于默认开启的状态,即AI推荐功能已经开启,此时用户无需执行触发开启AI设置项的操作。
S504、响应于用户触发开启AI推荐功能的操作,显示屏指示AI推荐模块启用AI推荐功能。
其中,显示屏通过相机接口指示AI推荐模块启用AI推荐功能。
S505、响应于启用AI推荐功能的指示,AI推荐模块启用AI推荐功能,并向HAL层相机接口注册预览回调。
其中,启用AI推荐功能的方式有很多,例如可以是默认开启AI推荐功能,也可以是响应于用户开启AI设置项的操作,开启AI推荐功能,本申请实施例对此不做限制。
在一些实施例中,当用户触发开启AI设置项时,第一应用的AI推荐功能启用。步骤S501至步骤S505中,在用户选择电影模式且开启AI设置项的操作之后,第一应用进入了电影模式,且开启了AI推荐功能,进而触发AI推荐模块向HAL注册预览回调,AI推荐模块注册预览回调可以理解为是注册预览图像以及预览图像的场景参数的回调。而由于步骤S502第一应用已经进入电影模式,显示屏已经显示电影模式下的相机预览界面,即已经注册了预览图像的回调,因此步骤S505中的注册预览回调也可以理解为是注册预览图像的场景参数的回调。综上所述,步骤S501至步骤S505,使得第一应用处于电影模式,且开启AI推荐功能的状态,AI推荐模块通过注册预览回调的方式,实现获取预览图像的场景参数。
示例性地,用户触发启用AI推荐功能的场景可以为:如图13中(a)所示的界面602,该界面602包括电影模式的设置项603。在一些实施例中,如图13中(a)所示,响应于用户对设置项603的操作,手机显示如图13中(b)所示的设置界面604,该设置界面604包括“照片比例”设置项、“声控拍照”设置项、“笑脸抓拍”设置项、“视频分辨率”设置项、“视频帧率”设置项、“电影HDR10”设置项、“高效视频格式”设置项以及“AI电影色调”设置项605等。响应于用户对“AI电影色调”设置项605的启动操作,手机显示如图13中(c)所示的设置界面604,该设置界面604中“AI电影色调”设置项被打开,即手机启动AI推荐功能。
在另一些实施例中,AI设置项处于默认开启的状态,即不需要响应于用户触发启用AI推荐功能的操作,AI推荐模块自动向HAL注册预览回调。例如,可以是第一应用在进入电影模式时,默认开启AI设置项。因此AI推荐模块在电影模式下,会自动触发向HAL注册预览回调。即AI推荐模块也可以响应于用户选择电影模式且开启AI设置项的操作,向HAL注册预览回调。因此,AI推荐模块向HAL注册预览回调的触发条件有很多,并不只限于用户开启AI设置项的操作触发。
S506、HAL获取预览图像以及预览图像的场景参数,场景参数包括语义类别,或者包括语义类别和场景亮度。
在本申请实施例中,AI设置项用于控制是否启动AI模型识别预览图像,即是否开启AI推荐功能。当AI设置项开启时,启动AI模型识别预览图像,识别得到预览图像的场景参数。
具体的,当AI设置项开启时,AI推荐模块向HAL上的接口注册预览回调,以使得AI推荐模块可以通过调用HAL上的接口,获取预览图像以及预览图像的场景参数。例如,AI推荐模块可以向HAL上的相机接口注册预览回调,注册预览回调之后,AI推荐模块即可调用相机接口,向相机驱动模块获取预览图像和预览图像的场景参数。相机驱动模块调用相机接口将预览图像的场景参数发送至AI推荐模块。需要说明的是,由于执行了步骤S501和步骤S502,此时第一应用处于电影模式,因此AI推荐模块注册预览回调之后,通过调用HAL上的接口所获取到的预览图像是电影模式下的预览图像。
当AI设置项关闭时,AI推荐模块不会向HAL注册预览回调,即AI推荐模块不会具有获取预览图像的场景参数的功能。其中,注册回调的相关技术可参见前述对注册回调的方法的描述,此处不再赘述。
在一些实施例中,预览图像的场景参数可以预览图像的语义类别。示例性地,语义类别可以为人像、日出/日落、烟花、猫/狗、美食、绿植/花卉、建筑、雪地、沙滩和蓝天等。HAL可以通过AI模型中的语义分割算法,识别出预览图像中具有最高优先级的语义类别,并将与最高优先级的语义类别对应的LUT模板确定为目标推荐模板。
在另一些实施例中,预览图像的场景参数可以包括预览图像的语义类别和场景亮度。场景亮度可以分为低亮、中亮和高亮等。HAL可以通过AI模型中的语义分割算法,识别出预览图像中具有最高优先级的语义类别,并结合具有最高优先级的语义类别和场景亮度确定对应的LUT模板,作为目标推荐模板。
在本申请实施例中,对预览图像进行语义分割后,可以得到语义标签图,该语义标签图中包括多个标签,该多个标签分别表示标签所在区域的语义信息。也就是说,一个标签可以表示一种语义信息,不同的标签表示不同的语义信息。
下面结合图14说明本申请实施例中通过语义分割来识别预览图像中的语义类别的实现方式。图14中(a)示出了预览图像的示意图,图14中(b)示出了预览图像对应的语义标签图的示意图,图14中(c)示出了语义分割后的预览图像。示例性地,如图12中(b)所示,语义标签图中示例性地标注了四个语义标签:0,1,2,3;其中0表示的语义信息为背景,1表示的语义信息为猫,2表示的语义信息为树,3表示的语义信息为云朵。通过图14中(b)可见,这些标签分别位于预览图像的对应区域,分别指示预览图像的对应区域的图像特征。在实际实现时,根据预览图像中标注的语义标签,即可确定对应区域的语义信息或图像特征。
需要说明的是,上述图14所示的语义标签图为示例性地说明,具体可以根据实际使用需求确定,本申请实施例不作限定。例如,在实际实现时,语义标签图中可以包括更多个语义标签,表示更多语义分割类别信息;并且,可以在预览图像中逐像素标注语义标签,以实现更准确的图像语义分割。如图14中(a)-(c)所示,在原始图像经过语义分割之后,原始图像可以被识别出四个语义类别:猫、树、云朵以及背景。
S507,HAL向AI推荐模块上报预览图像的场景参数。
由前述步骤S505的描述可知,由于AI推荐模块在HAL上注册了预览回调,因此HAL会向AI推荐模块上报预览图像的场景参数。进而AI推荐模块在每一个推荐周期,都可以获取到预览图像的场景参数,进而可根据预览图像的场景参数,匹配得到预览图像对应的LUT模板。
由前述内容可知,步骤S501至步骤S507执行过后,第一应用处于电影模式、且开启AI推荐功能状态,AI推荐模块获取到预览图像的场景参数。
S508,AI推荐模块根据预览图像的场景参数,匹配得到场景参数对应的LUT模板,作为模板推荐LUT。
在一些实施例中,HAL可以是按照预设的推荐周期,向AI推荐模块发送预览图像的场景参数,AI推荐模块可以按照预设的推荐周期,来使用最新接收到的预览图像的场景参数,匹配得到预览图像对应的LUT模板。
在另一些实施例中,HAL也可以是按照预设的推荐周期,向AI推荐模块发送预览图像的场景参数,AI推荐模块则是每接收到预览图像的场景参数,就根据接收到的预览图像的场景参数,匹配得到预览图像对应的LUT模板。
在实际实现时,推荐周期的值可以根据经验进行设定,例如可以设定为10秒(s),即每隔10s,就根据预览图像的场景参数进行LUT模板匹配及推荐。为了描述方便,后续将AI推荐模块所匹配得到的预览图像对应的LUT模板,统称为目标推荐LUT。目标推荐LUT为AI推荐模块推荐的与预览图像的场景参数对应的LUT模板。其中,AI推荐模块使用AI推荐算法识别目标推荐LUT的过程,可参见前述相关部分,此处不再赘述。
S509、AI推荐模块将目标推荐LUT的标识发送至LUT逻辑控制模块。
AI推荐模块将步骤S508中匹配得到的目标推荐LUT的标识,均发送到LUT逻辑控制模块。即每一个推荐周期所得到的目标推荐LUT的标识,都发送至LUT逻辑控制模块。
其中,目标推荐LUT的标识为目标推荐LUT所特有的唯一的标识。例如,目标推荐LUT的标识可以是目标推荐LUT的名称、或者目标推荐LUT的标号等等。
S510、LUT逻辑控制模块将目标推荐LUT的标识发送至HAL。
在一些实施例中,步骤S510的一种实施方式可以是,LUT逻辑控制模块调用HAL上的相机接口,将目标推荐LUT的标识传入相机接口。
S511、HAL层相机接口采用目标推荐LUT的标识对应的目标推荐LUT,对预览图像进行处理。
其中,处理后的预览图像为经过目标推荐LUT处理后的预览图像。HAL接收到LUT逻辑控制模块下发的目标推荐LUT的标识后,HAL根据目标推荐LUT的标识,对预览图像进行处理,得到处理后的预览图像。其中,本申请实施例中提及的经过目标推荐LUT处理后的预览图像,都可以被指代为处理后的预览图像。
S512、HAL将处理后的预览图像返回至LUT逻辑控制模块。
在一些实施例中,HAL上的相机接口接收到步骤S510下发的目标推荐LUT的标识后,相机接口将目标推荐LUT的标识发送到相机驱动模块,由相机驱动模块使用目标推荐LUT,对预览图像进行处理,得到处理后的预览图像,然后再通过HAL将处理后的预览图像返回到LUT逻辑控制模块。例如,目标推荐LUT为LUT2,则相机驱动模块将预览图像处理为LUT2的滤镜效果的图像。需要说明的是,使用LUT模板对应的滤镜对预览图像进行处理的相关技术,可参见前述关于LUT的相关描述,此处不再赘述。
S513、LUT逻辑控制模块指示显示屏在电影模式下的相机预览界面上显示处理后的预览图像及LUT推荐信息。
其中,LUT推荐信息用于提示处理后的预览图像所使用的目标推荐LUT。具体的,LUT逻辑控制模块接收到HAL返回处理后的预览图像后,就控制显示处理后的预览图像以及当前推荐使用的LUT模板的信息。
S514、显示屏在电影模式下的相机预览界面上显示处理后的预览图像及LUT推荐信息。
在一些实施例中,LUT逻辑控制模块将处理后的预览图像以及目标推荐LUT的相关显示数据输出到显示屏,显示屏进而根据处理后的预览图像以及目标推荐LUT的相关显示数据,在电影模式下的相机预览界面上显示处理后的预览图像以及LUT推荐信息。
在一些实施例中,响应于用户触发开启AI设置项的操作,在AI推荐模块接收到的预览图像的场景参数发生变更时,AI推荐模块还控制显示屏在电影模式下的相机预览界面上展示识别预览图像的动效。识别预览图像的动效用于提示用户当前在识别预览图像的场景。
示例性地,如图15中(a)所示,AI推荐模块识别预览图像的场景,在界面602上展示多个不同大小、不同透明度的圆圈,以提示当前正在识别预览图像的场景参数。
示例性地,AI推荐模块通过HAL获取到预览图像的场景参数,匹配出LUT名称为“温暖之光”,即目标推荐LUT的名称为“温暖之光”,那么如图15中(b)所示,电影模式下的相机预览界面602上,显示经过“温暖之光”LUT处理后的预览图像,且显示了LUT推荐信息606,用于提示当前推荐使用的LUT为“温暖之光”。其中,LUT推荐信息606可以呈胶囊形态。
需要说明的是,LUT的命名除了可以是“温暖之光”之外,也可以为其它合适的名称,本申请实施例对LUT的命名不作限定。示例性的LUT推荐信息除了可以如图15中的LUT推荐信息606呈现胶囊形态之外,也可以为其他的形态。同样的,识别预览图像的场景的动效,除了可以如图15中(a)所示之外,也可以是其他形态的动效。可以理解的是,用于提示识别预览图像的场景的动效形式的不同不影响本申请实施例的实现。LUT推荐信息的形态的不同也不影响本申请实施例的实现。
本申请实施例中,根据当前预览图像的场景参数,匹配得到目标推荐LUT,且在电影模式下的相机预览界面上显示了处理后的预览图像以及LUT推荐信息,通过LUT推荐信息向用户提示推荐使用目标推荐LUT,并通过处理后的预览图像展示了目标推荐LUT处理后的效果,以供用户进行参考,对于用户而言拍摄体验得到提升,利于用户能够便捷的在电影模式下使用LUT。
在一些实施例中,响应于用户对LUT推荐信息的取消操作,LUT逻辑控制模块可以控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法。当用户对LUT推荐信息进行取消时,说明用户不需要手机向用户推荐匹配出的目标推荐LUT,因此,LUT逻辑模块响应于用户对LUT推荐信息的取消操作,控制显示屏隐藏LUT推荐信息,即控制显示屏不在相机预览界面上显示LUT推荐信息,同时控制AI推荐模块不再使用预览图像的场景参数来匹配LUT,即结束执行AI推荐算法。
示例性地,如图15中(c)所示,相机预览界面上显示的LUT推荐信息上具有可取消显示的图标×,LUT逻辑控制模块接收到用户对图标×的触摸或点击操作;进一步地,如图15中(d)所示,LUT逻辑控制模块取消显示LUT推荐信息,并且相机预览界面上显示的预览图像不再是经过目标推荐LUT处理后的预览图像。
由此,用户可通过点击LUT推荐信息上的取消显示的图标,取消AI推荐,即AI推荐模块结束执行AI推荐算法。本申请实施例中,LUT逻辑控制模块可根据用户的需求,控制不再向用户推荐目标推荐LUT,提升用户的使用体验。
由前述描述可知,步骤S501至步骤S514说明了手机处于电影模式且AI推荐功能开启状态时,向用户推荐使用目标推荐LUT的过程。
在一些实施例中,响应于用户触发开启录像的操作,LUT逻辑控制模块可以控制显示屏隐藏LUT推荐信息,并控制AI推荐模块暂停执行AI推荐算法,直至响应于录像结束时,LUT逻辑控制模块控制显示屏显示LUT推荐信息,并控制AI推荐模块开始恢复执行AI推荐算法。
可以理解的是,当LUT逻辑控制模块检测到用户触发开启录像的操作时,为了防止显示的LUT推荐信息会干扰到用户录像,LUT逻辑控制模块会控制显示屏隐藏LUT推荐信息,且在开始录像的过程中,LUT逻辑控制模块通过控制AI推荐模块暂停执行AI推荐算法,提升运行效率。直到录像结束时,显示屏恢复显示相机预览界面,此时LUT逻辑控制模块再继续控制显示屏显示LUT推荐信息,并控制AI推荐模块开始执行AI推荐算法,继续为用户推荐适合拍摄场景的LUT模板。
LUT逻辑控制模块控制AI推荐模块暂停执行AI推荐算法的方式有很多,例如可以发送一个暂停指令给AI推荐模块,AI推荐模块可响应于暂停指令,暂停执行AI推荐算法。LUT逻辑控制模块控制AI推荐模块重新开始执行AI推荐算法的方式也有很多,例如可以发送一个开始指令给AI推荐模块,AI推荐模块响应于开始指令,重新开始执行AI推荐算法。
举例说明,如图16中(a)所示,LUT推荐信息606显示于相机预览界面602中,当用户点击拍摄控件607触发开启录制时,响应于用户触发开启录像的操作,手机使用LUT推荐信息606指示的“温暖之光”的滤镜进行拍摄和处理。如图16中(b)所示,在录制过程中,LUT推荐信息606隐藏,在录像界面608中不存在LUT推荐信息,且显示当前是在录制中的状态。继续参阅图16中(b),在录制过程中,当用户点击停止拍摄控件609时,响应于用户触发结束录像的操作,如图16中(c)所示,手机停止录像,并且相机预览界面602上切换显示LUT推荐信息610,预览图像呈现LUT推荐信息610指示的“温暖之光”的滤镜。
由前述描述可知,LUT逻辑控制模块可以控制短暂停止向用户推荐LUT且短暂停止显示LUT推荐信息,而LUT逻辑控制模块除了可以通过响应于用户触发开启录像和结束录像的操作,控制短暂停止并重新开始向用户推荐LUT,且短暂停止显示并重新恢复显示LUT推荐信息,还可以有其他的响应方式,触发LUT逻辑控制模块执行。
在另一些实施例中,LUT逻辑控制模块在LUT模板栏在相机预览界面展开的时段内,控制显示屏隐藏LUT推荐信息,并控制AI推荐模块暂停执行AI推荐算法,直至LUT模板栏在相机预览界面上自动收起时,控制显示屏显示LUT推荐信息,并控制AI推荐模块开始执行AI推荐算法。
在一些情况下,用户点开LUT模板栏查看,但没有选中LUT模板栏中的LUT模板,此时LUT模板栏会在展开预设时间段之后,自动收起,即从相机预览界面上隐藏。而在LUT模板栏展开时,为了给用户带来更好的视觉体验,LUT逻辑控制模块控制显示屏先短暂隐藏LUT推荐信息,并且控制AI推荐模块暂停执行AI推荐算法,直至LUT模板栏收起时,LUT逻辑控制模块再继续控制向用户推荐LUT,即控制显示屏显示LUT推荐信息,并控制AI推荐模块开始执行AI推荐算法。
在一些实施例中,响应于用户选择LUT模板的操作,LUT逻辑控制模块可以控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法。若用户不想使用目标推荐LUT,可以手动选择自身所需的LUT模板,在电影模式下的相机预览界面执行选择LUT模板的操作。而LUT逻辑控制模块响应于用户选择LUT模板的操作,控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法。其中,LUT逻辑控制模块控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法的过程和原理可参见上述实施例相关部分。
在一些实施例中,响应于用户退出电影模式的操作,LUT逻辑控制模块可以控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法。若用户不想继续使用电影模式,可以选择退出电影模式。而LUT逻辑控制模块响应于退出电影模式的操作,控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法。
其中,退出电影模式的操作可以是切换成除电影模式之外的其他工作模式的操作,例如切换成专业模式,还可以是直接关闭第一应用的操作,还可以是进入手机后台的操作,还可以是开启4K HDR控件的操作,还可以是熄屏后重新唤醒手机的操作,还可以是清除第一应用的执行进程的操作等等。当LUT逻辑控制模块检测到任一退出电影模式的操作时,则控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法。
在一些实施例中,响应于用户关闭AI设置项的操作,LUT逻辑控制模块可以控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法。若用户不想使用AI推荐功能,可以选择关闭AI设置项。由前述描述可知,AI推荐模块执行AI推荐算法时需使用AI推荐功能,获取到预览图像的场景参数,因此,当用户不使用AI推荐功能时,AI推荐模块无法执行AI推荐算法,无法进行LUT推荐,因此,LUT逻辑控制模块响应于用户关闭AI设置项的操作,控制显示屏隐藏LUT推荐信息,并控制AI推荐模块结束执行AI推荐算法。
在另一些实施例中,LUT逻辑控制模块除了可以控制结束向用户推荐LUT,还可以控制第一应用恢复使用预设的默认LUT,来显示预览图像。例如,可以在AI推荐功能开启,且结束向用户推荐LUT时,LUT逻辑控制模块可以控制显示屏在相机预览界面上显示经过默认LUT处理后的预览图像。在AI推荐功能关闭,且结束向用户推荐LUT时,则LUT逻辑控制模块继续控制显示屏在相机预览界面上显示最近一次使用的LUT处理后的预览图像。
在一些实施例中,LUT逻辑控制模块可以是通过预配置好的智能推荐逻辑,来完成LUT逻辑控制模块的控制。例如,可以在第一应用中预配置好智能推荐规则,智能推荐规则可以包括有推荐规则、LUT推荐信息显示规则、以及恢复规则。LUT逻辑控制模块根据推荐规则,控制AI推荐模块是否执行AI推荐算法。还可以根据LUT推荐信息显示规则,控制LUT推荐信息在相机预览界面上的显示。还可以根据恢复规则,控制预览图像是否恢复到使用默认LUT来处理。
由前述内容可知,本申请实施例中,在LUT推荐信息隐藏时,AI推荐模块不执行AI推荐算法,即不匹配得到目标推荐LUT,不向用户推荐使用目标推荐LUT,而LUT推荐信息显示时,则执行AI推荐算法,向用户推荐目标推荐LUT。
本申请实施例中,AI逻辑控制模块根据预览图像的场景参数(语义类别和场景亮度),匹配得到与预览图像的场景参数对应的LUT模板(目标推荐LUT),通过目标推荐LUT对应的滤镜对预览图像处理可以得到处理后的预览图像。进而可在LUT逻辑控制模块的控制下,控制显示屏在电影模式下的相机预览界面上显示处理后的预览图像以及LUT推荐信息。LUT推荐信息则用于提示向用户推荐的LUT模板。通过显示在相机预览界面上显示处理后的预览图像以及LUT推荐信息,实现向用户推荐使用与当前的预览图像的场景相匹配的目标推荐LUT,进而使得用户可以考虑在录像过程中使用目标推荐LUT,而不再只是通过用户自身进行手动选择来使用LUT,提升了用户在拍摄效果处理上的体验。
在本申请实施例中,通过AI场景识别技术和场景亮度信息,结合画面视觉表达主体分析场景中的亮度、主体、陪体、环境等要素,区分画面主体以及对识别物体进行优先级排序,针对性进行电影风格LUT的推荐及套用,能推荐出更贴合影像表达风格的LUT模板,让普通用户也能拍出理想的电影感视频。
通过本申请方案,电子设备处于相机的电影模式时,在AI推荐功能开启后,可以自动智能识别预览图像中的语义类别,并根据预览图像中的多项语义类别以及各语义类别的优先级,确定适合于当前拍摄场景的LUT模板,然后将该LUT模板(作为目标推荐LUT)的滤镜应用于预览图像,并在电影模式的相机预览界面中显示具有LUT滤镜效果的预览图像。由于本申请方案可以自动根据预览图像中具有最高优先级的语义类别,为用户推荐适合于当前拍摄场景的LUT模板,并将推荐的LUT滤镜效果应用于预览图像,使得预览图像呈现出适合当前拍摄场景的LUT滤镜的效果,这样无需用户手动选择,因此可以满足用户想便捷地使用合适的LUT滤镜录制视频的需求。
也需要说明的是,在本申请实施例中,“大于”可以替换为“大于或等于”,“小于或等于”可以替换为“小于”,或者,“大于或等于”可以替换为“大于”,“小于”可以替换为“小于或等于”。
本文中描述的各个实施例可以为独立的方案,也可以根据内在逻辑进行组合,这些方案都落入本申请的保护范围中。
可以理解的是,上述各个方法实施例中由电子设备实现的方法和操作,也可以由可用于电子设备的部件(例如芯片或者电路)实现。
上文描述了本申请提供的方法实施例,下文将描述本申请提供的装置实施例。应理解,装置实施例的描述与方法实施例的描述相互对应,因此,未详细描述的内容可以参见上文方法实施例,为了简洁,这里不再赘述。
上文主要从方法步骤的角度对本申请实施例提供的方案进行了描述。可以理解的是,为了实现上述功能,实施该方法的电子设备包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的保护范围。
本申请实施例可以根据上述方法示例,对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有其它可行的划分方式。下面以采用对应各个功能划分各个功能模块为例进行说明。
图17为本申请实施例提供的视频拍摄装置800的示意性框图。该装置800可以用于执行上文方法实施例中电子设备所执行的动作。该装置800包括传感器单元810、显示单元820、图像采集单元830和处理单元840。
传感器单元810,用于检测用户对电子设备的触摸或按压等操作。
显示单元820,用于当检测单元810接收到用户触发开启相机应用程序的操作时,显示默认工作模式下的相机预览界面,该默认工作模式下的相机预览界面中包括电影模式选项。
显示单元820,还用于当检测单元810接收到用户对电影模式选项的操作时,将默认工作模式下的相机预览界面更新显示为电影模式下的相机预览界面。
图像采集单元830,用于采集预览图像。
处理单元840,用于根据图像采集单元830采集的预览图像确定第一场景参数,该第一场景参数包括预览图像中优先级最高的语义类别;并根据该第一场景参数,确定与第一场景参数匹配的LUT滤镜效果;
显示单元820,还用于在相机预览界面显示的预览图像上添加处理单元840确定的LUT滤镜效果。
其中,第一场景参数还包括场景亮度信息。在一些可能的实现方式中,可以根据所述识别结果和场景亮度信息,从系统预设的多个LUT模板中查找与拍摄场景匹配的LUT模板。
通过本申请方案,可以自动智能识别出预览图像中的语义类别,并根据预览图像中的多项语义类别及其优先级,匹配得到适合于当前拍摄场景的LUT模板,并采用匹配得到的LUT模板对预览图像进行处理,然后将处理后的预览图像以及LUT推荐信息显示于相机预览界面,通过LUT推荐信息提示电子设备当前推荐的LUT模板,用户可以考虑在视频录制过程中使用所推荐的LUT模板,而不再只是通过用户自身进行手动选择,因此本申请提供的视频拍摄方法可以满足用户想便捷地使用合适的LUT录制视频的需求。
根据本申请实施例的装置800可对应于执行本申请实施例中描述的方法,并且装置800中的单元的上述和其它操作和/或功能分别为了实现方法的相应流程,为了简洁,在此不再赘述。
可选地,在一些实施例中,本申请提供一种芯片,该芯片与存储器耦合,该芯片用于读取并执行存储器中存储的计算机程序或指令,以执行上述各实施例中的方法。
可选地,在一些实施例中,本申请提供一种电子设备,该电子设备包括芯片,该芯片用于读取并执行存储器存储的计算机程序或指令,使得各实施例中的方法被执行。
可选地,在一些实施例中,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述各实施例中的方法。
可选地,在一些实施例中,本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述各实施例中的方法。
在本申请实施例中,电子设备包括硬件层、运行在硬件层之上的操作系统层,以及运行在操作系统层上的应用层。其中,硬件层可以包括中央处理器(central processingunit,CPU)、内存管理单元(memory management unit,MMU)和内存(也称为主存)等硬件。操作系统层的操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统,例如,Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。应用层可以包含浏览器、通讯录、文字处理软件、即时通信软件等应用。
本申请实施例并未对本申请实施例提供的方法的执行主体的具体结构进行特别限定,只要能够通过运行记录有本申请实施例提供的方法的代码的程序,以根据本申请实施例提供的方法进行通信即可。例如,本申请实施例提供的方法的执行主体可以是电子设备,或者,是电子设备中能够调用程序并执行程序的功能模块。
本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于:无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的保护范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。此外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本申请各个实施例中的各功能单元可以集成在一个单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上,或者说对现有技术做出贡献的部分,或者该技术方案的部分,可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,该计算机软件产品包括若干指令,该指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。前述的存储介质可以包括但不限于:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (26)

1.一种视频拍摄方法,其特征在于,包括:
响应于用户选择电影模式的操作,显示电影模式下的相机预览界面;
在电影模式的人工智能AI推荐功能开启的情况下,对预览图像中的对象进行识别;
在识别出所述预览图像中包括第一对象的情况下,在所述相机预览界面显示的预览图像上叠加显示第一LUT模板。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在识别出所述预览图像中还包括第二对象,且所述第二对象的优先级高于所述第一对象的优先级的情况下,在所述相机预览界面显示的预览图像上叠加显示第二LUT模板。
3.根据权利要求2所述的方法,其特征在于,系统预设有优先级规则和LUT推荐策略,所述预设的优先级规则定义了不同语义类别的优先级,所述预设的LUT推荐策略定义了不同的语义类别对应的LUT模板;
所述方法还包括:
在所述预览图像中的语义类别包括所述第一对象和所述第二对象的情况下,根据所述预设的优先级规则,确定所述第一对象的优先级和所述第二对象的优先级;
若所述第二对象的优先级高于所述第一对象的优先级,则根据所述预设的LUT推荐策略确定所述第二对象对应的LUT模板;其中,所述第二对象对应的LUT模板为所述第二LUT模板。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述预览图像中包含前景、主体和后景,前景、主体和后景分别对应不同语义类别;其中,按照优先级从高到低依次为:主体、前景、后景。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
当所述预览图像中包括主体、前景和后景时,根据所述主体对应的语义类别,确定所述第一LUT模板;或者,
当所述预览图像中包含前景但不包含主体时,根据所述前景对应的语义类别,确定所述第一LUT模板;或者,
当所述预览图像中包含后景但不包含主体和前景时,根据所述后景对应的语义类别,确定所述第一LUT模板。
6.根据权利要求1至5中任一项所述的方法,其特征在于,当所述预览图像中包括人像且人像为主体时,所述第一LUT模板为人像对应的LUT模板。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
在识别出所述预览图像中包括第一对象的情况下,根据场景亮度信息,确定所述第一LUT模板;其中,所述场景亮度信息用于指示拍摄场景的亮度等级。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述预览图像、传感器采集的感光数据和预设的测光表数据,确定所述场景亮度信息。
9.根据权利要求8所述的方法,其特征在于,所述预设的测光表数据包括多组曝光参数,所述多组曝光参数中的每组曝光参数对应一个亮度等级;
其中,所述根据所述预览图像、传感器采集的感光数据和预设的测光表数据,确定所述场景亮度信息,包括:
在采集所述预览图像时,将所述传感器采集的感光数据与预设的所述测光表数据进行比对;
在预设的所述测光表数据中查找到与所述传感器采集的感光数据匹配的第一组曝光参数,所述第一组曝光参数对应目标亮度等级;
根据所述目标亮度等级生成场景亮度信息,所述场景亮度信息用于指示当前拍摄场景的亮度等级为所述目标亮度等级。
10.根据权利要求9所述的方法,其特征在于,所述多组曝光参数中的每组曝光参数包括以下至少一项:光圈值、快门值、感光度值、曝光值。
11.根据权利要求9或10所述的方法,其特征在于,所述传感器采集的感光数据包括以下至少一项:光圈值、快门值、感光度值。
12.根据权利要求9至11中任一项所述的方法,其特征在于,所述目标亮度等级为第一亮度等级、第二亮度等级或第三亮度等级;其中,所述第一亮度等级、第二亮度等级和第三亮度等级各自对应的亮度值依次递增。
13.根据权利要求12所述的方法,其特征在于,所述第一亮度等级、第二亮度等级和第三亮度等级分别对应不同的LUT模板;
所述方法还包括:
根据所述场景亮度信息,从系统预设的多个LUT模板中查找与所述目标亮度等级匹配的第一LUT模板。
14.根据权利要求1至13中任一项所述的方法,其特征在于,所述方法还包括:
通过摄像头采集所述预览图像,并对所述预览图像进行人脸检测;
若所述预览图像中包含人脸特征,则将系统预设的多个LUT模板中的人像语义类别对应的LUT模板作为所述第一LUT模板。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
在所述预览图像中包含单个人脸特征的情况下,若所述单个人脸特征对应的人脸框在预设区域内且所述人脸框占所述预览图像的比例大于或等于预设比例阈值,则确定所述预览图像包含人像语义类别;或者,
在所述预览图像中包含多个人脸特征的情况下,若最大人脸框在所述预设区域内且所述最大人脸框占所述预览图像的比例大于或等于所述预设比例阈值,则确定所述预览图像包含人像语义类别;其中,所述最大人脸框为所述多个人脸特征各自对应的多个人脸框中面积最大的人脸检测框。
16.根据权利要求1至15中任一项所述的方法,其特征在于,所述方法还包括:
在电影模式的AI推荐功能处于开启状态的情况下,获取所述预览图像,所述预览图像为包括一帧或更多帧图像的图像预览流;
其中,所述AI推荐功能用于智能识别拍摄场景并智能推荐与所述拍摄场景匹配的LUT色调。
17.根据权利要求1至16中任一项所述的方法,其特征在于,所述方法还包括:
系统默认设置所述电影模式的AI推荐功能为开启状态。
18.根据权利要求1至16中任一项所述的方法,其特征在于,所述电影模式下的相机预览界面中包括设置选项;
在所述显示电影模式下的相机预览界面之后,所述方法还包括:
当接收到用户对所述设置选项的操作时,显示电影模式对应的设置界面,所述设置界面中包括AI电影色调选项;
当接收到用户将所述AI电影色调选项对应的开关按钮从关闭切换为开启的操作时,开启所述AI推荐功能。
19.根据权利要求1至18中任一项所述的方法,其特征在于,所述电影模式下的相机预览界面中包括电影快门控件;
其中,在在所述相机预览界面显示的预览图像上叠加显示第一LUT模板之后,所述方法还包括:
当接收到用户对所述电影快门控件的操作时,开始录制视频,并将所述电影快门控件更新显示为停止拍摄控件;
当接收到用户对所述停止拍摄控件的操作时,拍摄得到目标视频,所述目标视频具有所述第一LUT模板对应的滤镜效果。
20.根据权利要求1至19中任一项所述的方法,其特征在于,在所述显示电影模式下的相机预览界面之前,所述方法还包括:
显示默认工作模式下的相机预览界面,所述默认工作模式下的相机预览界面中包括电影模式选项;
其中,所述响应于用户选择电影模式的操作,显示电影模式下的相机预览界面,包括:
当接收到用户对所述电影模式选项的操作时,将默认工作模式下的相机预览界面更新显示为所述电影模式下的相机预览界面。
21.根据权利要求20所述的方法,其特征在于,所述显示默认工作模式下的相机预览界面,包括:
当接收到用户触发开启相机应用程序的操作时,显示所述默认工作模式下的相机预览界面。
22.根据权利要求1至21中任一项所述的方法,其特征在于,在所述相机预览界面显示的预览图像上叠加显示第一LUT模板的情况下,所述方法还包括:
显示第一LUT推荐信息,所述第一LUT推荐信息用于指示在所述预览图像上已应用所述第一LUT模板。
23.根据权利要求22所述的方法,其特征在于,所述第一LUT推荐信息中包括取消控件;在所述显示第一LUT推荐信息之后,所述方法还包括:
当接收到用户对所述取消控件的操作时,取消在所述预览图像上叠加添加所述第一LUT模板,并取消显示所述第一LUT推荐信息。
24.一种电子设备,其特征在于,包括处理器,所述处理器与存储器耦合,所述处理器用于执行所述存储器中存储的计算机程序或指令,以使得所述电子设备实现如权利要求1至23中任一项所述的方法。
25.一种芯片,其特征在于,所述芯片与存储器耦合,所述芯片用于读取并执行所述存储器中存储的计算机程序,以实现如权利要求1至23中任一项所述的方法。
26.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至23中任一项所述的方法。
CN202210177871.5A 2022-02-24 2022-02-24 视频拍摄方法、电子设备及计算机可读存储介质 Pending CN116709002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210177871.5A CN116709002A (zh) 2022-02-24 2022-02-24 视频拍摄方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210177871.5A CN116709002A (zh) 2022-02-24 2022-02-24 视频拍摄方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116709002A true CN116709002A (zh) 2023-09-05

Family

ID=87838014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210177871.5A Pending CN116709002A (zh) 2022-02-24 2022-02-24 视频拍摄方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116709002A (zh)

Similar Documents

Publication Publication Date Title
CN113132620B (zh) 一种图像拍摄方法及相关装置
CN111327814A (zh) 一种图像处理的方法及电子设备
CN113810602B (zh) 一种拍摄方法及电子设备
US20220417416A1 (en) Photographing method in telephoto scenario and mobile terminal
US20230217098A1 (en) Shooting method, graphical interface, and related apparatus
CN113965694B (zh) 录像方法、电子设备及计算机可读存储介质
CN112262563A (zh) 图像处理方法及电子设备
CN112712470A (zh) 一种图像增强方法及装置
CN114640783B (zh) 一种拍照方法及相关设备
CN115242983B (zh) 拍摄方法、电子设备及可读存储介质
US20230245441A9 (en) Image detection method and apparatus, and electronic device
CN113170037A (zh) 一种拍摄长曝光图像的方法和电子设备
CN109151428A (zh) 自动白平衡处理方法、装置以及计算机存储介质
CN115604572A (zh) 图像的获取方法及装置
CN114463191B (zh) 一种图像处理方法及电子设备
WO2021180046A1 (zh) 图像留色方法及设备
WO2023071933A1 (zh) 相机拍摄参数调整方法、装置及电子设备
CN112866557A (zh) 构图推荐方法和电子设备
CN106878606A (zh) 一种基于电子设备的图像生成方法和电子设备
CN113891008B (zh) 一种曝光强度调节方法及相关设备
CN116709002A (zh) 视频拍摄方法、电子设备及计算机可读存储介质
CN111339330B (zh) 照片处理方法、装置、存储介质及电子设备
CN117201930B (zh) 一种拍照方法和电子设备
CN116668838B (zh) 图像处理方法与电子设备
CN115623319B (zh) 一种拍摄方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination