CN115242983A - 拍摄方法、电子设备、计算机程序产品及可读存储介质 - Google Patents
拍摄方法、电子设备、计算机程序产品及可读存储介质 Download PDFInfo
- Publication number
- CN115242983A CN115242983A CN202211169456.1A CN202211169456A CN115242983A CN 115242983 A CN115242983 A CN 115242983A CN 202211169456 A CN202211169456 A CN 202211169456A CN 115242983 A CN115242983 A CN 115242983A
- Authority
- CN
- China
- Prior art keywords
- image
- shooting
- label
- exposure
- labels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本申请提供了一种拍摄方法、电子设备、计算机程序产品及可读存储介质,该方法包括:对第一图像进行语义分割处理,得到第一图像中每个像素点的标签,该第一图像包括多个标签;进而根据第一图像中每个像素点的标签确定多个标签中每个标签的曝光参数,一个曝光参数对应一个标签的曝光时长;进一步根据多个标签中每个标签的曝光参数进行拍摄,得到第二图像,该第二图像为单次曝光图像,第二图像中的目标像素点是按照目标像素点对应的标签的曝光参数拍摄得到的,目标像素点为第二图像中的任意一个像素点。实施本申请实施例,可以根据不同语义进行各自曝光,从而能够提高图像拍摄的效果,并提高图像的动态范围,得到满足用户拍摄需求的图像和视频。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种拍摄方法、电子设备、计算机程序产品及可读存储介质。
背景技术
随着具有拍摄功能的电子设备的普及,拍摄功能作为电子设备中用户使用频率最高的功能之一,用户对电子设备的拍摄的图像和视频要求越来越高。目前,电子设备能够在亮度范围较小的场景进行拍摄,得到效果较好的图像和视频。当电子设备拍摄的场景亮度范围较大时,即该场景中明暗相差较大,例如,拍摄的场景包括较亮的蓝天和较暗的土地。电子设备拍摄得到的图像和视频可能会出现丢失部分细节的现象,可能是丢失亮处的部分细节,例如蓝天的细节,也有可能丢失暗处的部分细节,例如土地的细节,从而拍摄的效果不好。由于部分细节已经丢失,用户在得到拍摄的图像和视频后,通过软件进行亮度或者色彩调节,也没办法获取更多的细节。
因此,如何拍摄得到效果更好的图像和视频,从而得到效果更好的图像和视频,是当前亟待解决的技术问题。
发明内容
本申请实施例提供一种拍摄方法、电子设备、计算机程序产品及可读存储介质,可以得到拍摄效果更好的图像和视频,从而满足用户的拍摄需求。
第一方面,本申请实施例提供了一种拍摄方法,该方法可以由电子设备执行,或由电子设备中的模块执行,例如芯片或处理器等。该方法可包括:对第一图像进行语义分割处理,得到上述第一图像中每个像素点的标签,上述第一图像包括多个标签;根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,一个曝光参数对应一个标签的曝光时长;根据上述多个标签中每个标签的曝光参数进行拍摄,得到第二图像,上述第二图像为单次曝光图像,上述第二图像中的目标像素点是按照上述目标像素点对应的标签的曝光参数拍摄得到的,上述目标像素点为上述第二图像中的任意一个像素点。
通过第一方面提供的方法,可以对当前场景进行语义分割处理,即确定当前场景中包括的事物,从而在拍摄之前,可以针对不同的事物设置各自的曝光时长。一方面,通过针对不同的事物按照不同的曝光时长进行拍摄,能够针对事物获取更多的细节,减少由于曝光时长导致的细节损失,拍摄得到的第二图像的动态范围更高,能够在亮部和暗部包括更多的细节,从而能够使拍摄到的图像效果更好,能够满足用户的拍摄需求。另一方面,仅在设置后拍摄一帧图像从而能够得到动态范围较高的图像,提高了拍摄的效果。
在一种可能的实现方式中,上述方法还包括:响应于第一拍摄指令,于拍摄预览界面显示上述第一图像,上述第一图像为预览图像;响应于第二拍摄指令,执行根据上述多个标签中每个标签的曝光参数进行拍摄,得到第二图像的步骤。在本申请实施例中,电子设备可以在预览的图像中对当前场景进行图像分割处理,并在得到每个标签的曝光参数后,响应于拍摄指令的触发,进行拍摄,得到效果更好的图像和视频。可以仅拍摄一帧图像得到动态范围较高的图像,提高了拍摄的效果,节约了拍摄资源。也能让用户直观地获取到拍摄的效果示意图。
在一种可能的实现方式中,上述根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,包括:获取上述多个标签中每个标签的预设曝光参数;于上述拍摄预览界面显示上述多个标签中每个标签的预设曝光参数;响应于针对上述多个标签中一个或多个标签的预设曝光参数的第一调整指令,确定上述多个标签中每个标签的曝光参数。在本申请实施例中,可以在预览界面中输出具体的曝光参数以便用户进行调节,能让用户直观从预览界面中查看和调节具体的曝光参数,使得拍摄更加智能化和人性化,能够拍摄得到用户需要的图像和视频。
在一种可能的实现方式中,上述第一图像包括上述多个标签中每个标签的像素点所在区域信息,上述第一调整指令是在上述多个标签中一个或多个标签的像素点所在的区域信息中接收到的。在本申请实施例中,标签除了可以包括预览图像中不同事物的类别,还可以包括该事物在预览图像中的位置信息,即该事物在预览图像中的像素点的区域信息。用户可以针对区域信息的曝光参数进行具体调整,可以方便用户进行调节,使得拍摄更加智能化和人性化,能够满足用户的需求。
在一种可能的实现方式中,上述方法还包括:于上述拍摄预览界面还显示预设影调参数,响应于针对上述预设影调参数的第二调整指令,确定影调参数;根据上述影调参数对上述第一图像进行影调调整处理,得到调整后的第一图像;于上述拍摄预览界面显示调整后的第一图像。在本申请实施例中,用户除了可以针对各个事物的具体曝光时长进行设置以外,还可以针对影调参数进行设置,从而确定最终呈现的图像的效果。电子设备可以输出预览调整影调参数后的第一图像,以便用户得知最终呈现的图像的效果,从而使得拍摄更加智能化,也更方便用户进行调节。
在一种可能的实现方式中,上述方法还包括:根据上述影调参数对上述第二图像进行影调调整,得到并输出第三图像。在本申请实施例中,影调参数对曝光时长没有影响,对最终呈现的图像有影响。该影调参数是对拍摄得到的第二图像进行调整,从而得到具有风格化的第三图像,这样能够提高输出图像的质量和效果,也能满足用户的拍摄需求。
在一种可能的实现方式中,上述方法还包括:响应于第三拍摄指令,拍摄上述第一图像,上述第二图像为上述第一图像的下一帧图像。在本申请实施例中,电子设备可以拍摄两帧图像,对拍摄的第一帧进行语义分割处理,并确定曝光参数,并根据确定曝光参数进行拍摄,得到第二帧图像,即第二图像,一方面,通过电子设备直接进行拍摄,提高了拍摄的效率,降低了拍摄的时间;另一方面,同样可以根据当前场景的语义进行分别曝光,提高了拍摄的效果。
在一种可能的实现方式中,上述方法还包括:对第四图像进行语义分割处理,得到上述第四图像中每个像素点的标签,上述第四图像包括多个标签,上述第四图像为在上述第二图像之后拍摄到的多帧图像中的任一帧图像;在上述第四图像包括的多个标签与上述多个标签不相同的情况下,根据上述第四图像包括的多个标签确定上述第四图像包括的多个标签中每个标签的曝光参数;根据上述第四图像包括的多个标签中每个标签的曝光参数进行拍摄,得到第五图像,上述第五图像为上述第四图像的下一帧图像。在本申请实施例中,在拍摄视频的场景中,即拍摄至少一帧图像的场景,可以对拍摄的每帧图像进行语义分割处理,从而电子设备可以确定拍摄的场景是否发生了改变,在发生改变的情况下,重新确定新的场景的曝光参数,并按照新的曝光参数进行拍摄,能够提高拍摄的视频的质量,也能够得到包括更多亮度细节的视频。
在一种可能的实现方式中,上述根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,包括:根据上述多个标签确定拍摄场景信息;根据上述拍摄场景信息和上述多个标签,与预设曝光时长的对应关系,确定上述多个标签中每个标签的预设曝光参数。在本申请实施例中,电子设备可以获取离线的曝光参数,该离线的曝光参数是与场景信息和该第一图像中的标签共同确定的,即离线的曝光参数中可以包括多个预设的曝光参数,包括不同事物在不同场景中的曝光参数,从而电子设备可以根据当前场景的语义获取预设曝光参数,并进行拍摄,以提高拍摄的效果。
第二方面,本申请实施例提供了一种电子设备,电子设备包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:对第一图像进行语义分割处理,得到上述第一图像中每个像素点的标签,上述第一图像包括多个标签;根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,一个曝光参数对应一个标签的曝光时长;根据上述多个标签中每个标签的曝光参数进行拍摄,得到第二图像,上述第二图像为单次曝光图像,上述第二图像中的目标像素点是按照上述目标像素点对应的标签的曝光参数拍摄得到的,上述目标像素点为上述第二图像中的任意一个像素点。
在一种可能的实现方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:响应于第一拍摄指令,于拍摄预览界面显示上述第一图像,上述第一图像为预览图像;响应于第二拍摄指令,执行根据上述多个标签中每个标签的曝光参数进行拍摄,得到第二图像的步骤。
在一种可能的实现方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,具体用于执行:获取上述多个标签中每个标签的预设曝光参数;于上述拍摄预览界面显示上述多个标签中每个标签的预设曝光参数;响应于针对上述多个标签中一个或多个标签的预设曝光参数的第一调整指令,确定上述多个标签中每个标签的曝光参数。
在一种可能的实现方式中,上述第一图像包括上述多个标签中每个标签的像素点所在区域信息,上述第一调整指令是在上述多个标签中一个或多个标签的像素点所在的区域信息中接收到的。
在一种可能的实现方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:于上述拍摄预览界面还显示预设影调参数,响应于针对上述预设影调参数的第二调整指令,确定影调参数;根据上述影调参数对上述第一图像进行影调调整处理,得到调整后的第一图像;于上述拍摄预览界面显示调整后的第一图像。
在一种可能的实现方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:根据上述影调参数对上述第二图像进行影调调整,得到并输出第三图像。
在一种可能的实现方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:响应于第三拍摄指令,拍摄上述第一图像,上述第二图像为上述第一图像的下一帧图像。
在一种可能的实现方式中,该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行:对第四图像进行语义分割处理,得到上述第四图像中每个像素点的标签,上述第四图像包括多个标签,上述第四图像为在上述第二图像之后拍摄到的多帧图像中的任一帧图像;在上述第四图像包括的多个标签与上述多个标签不相同的情况下,根据上述第四图像包括的多个标签确定上述第四图像包括的多个标签中每个标签的曝光参数;根据上述第四图像包括的多个标签中每个标签的曝光参数进行拍摄,得到第五图像,上述第五图像为上述第四图像的下一帧图像。
在一种可能的实现方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,具体用于执行:根据上述多个标签确定拍摄场景信息;根据上述拍摄场景信息和上述多个标签,与预设曝光时长的对应关系,确定上述多个标签中每个标签的预设曝光参数。
第三方面,本申请实施例提供一种电子设备,该电子设备中包括处理器,处理器被配置为支持该电子设备实现第一方面提供的拍摄方法中相应的功能。该电子设备还可以包括存储器,存储器用于与处理器耦合,其保存该电子设备必要的程序指令和数据。该电子设备还可以包括通信接口,用于该网络设备与其他设备或通信网络通信。
第四方面,本申请实施例提供一种计算机存储介质,用于储存为上述第二方面提供的一种拍摄装置所用的计算机软件指令,其包含用于执行上述方面所设计的程序。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式上述的方法。
第六方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持电子设备实现上述第一方面中所涉及的功能,例如,对第一图像进行语义分割处理,得到所述第一图像中每个像素点的标签。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存数据发送设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请实施例提供的一种拍摄系统的系统构架示意图。
图2是本申请实施例提供的一种电子设备的结构示意图。
图3是本申请实施例提供的一种电子设备的软件结构框图。
图4是本申请实施例提供的一种拍摄方法的流程示意图。
图5是本申请实施例提供的一种拍摄图像的时序示意图。
图6是本申请实施例提供的一种拍摄图像的另一时序示意图。
图7是本申请实施例提供的一种拍摄视频的时序示意图。
图8是本申请实施例提供的一种拍摄视频的另一时序示意图。
图9是本申请实施例提供的一种拍摄预览界面的用户界面示意图。
图10是本申请实施例提供的一种拍摄预览界面的另一用户界面示意图。
图11是本申请实施例提供的一种每个标签的曝光参数的示意图。
图12是本申请实施例提供的一种调整预设影调参数的用户界面示意图。
图13是本申请实施例提供的一种拍摄装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例进行描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如,部件可以是但不限于,在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示,在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中,部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外,这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据,例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
首先,在对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,以便于本领域技术人员理解。本申请实施例中涉及的名词和术语适用于如下的解释:
1、用户界面(user interface,UI)
用户界面(也称为界面)是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容,比如图片、文字、按钮等控件。控件(control)也称为部件(widget),是用户界面的基本元素,典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的,比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,HTML),层叠样式表(cascading style sheets,CSS),java脚本(JavaScript,JS)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如HTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
2、曝光时长
曝光时长,也可以被称为曝光时间。所谓曝光时长可以指相机的快门打开到关闭的时间间隔。曝光时长是为了将光投射到电子设备的感光材料的感光面上,快门所要打开的时间。若曝光时长越长,则进的光就多,适合光线条件比较差的情况,能够获取到更多光线较暗(暗处)的细节。曝光时长越短则适合光线比较好的情况,能够抑制过曝的区域,减少光线较亮(亮处)的细节。
应用在本申请中,可以分别设定当前场景中不同的事物的曝光时长,以保证能够针对不同的事物进行单独曝光,从而能够确保在亮处和暗处的事物均能获取到较多的细节,从而提高拍摄的效果。
3、动态范围(dynamic range,DR)
动态范围可以指场景中最亮部分和最暗部分的亮度比值,应用于图像和视频的拍摄领域,动态范围也可以用于描述拍摄的图像或视频的最亮部分和最暗部分的亮度比值。相机传感器的动态范围就是传感器感知拍摄场景中最亮值和最暗值的能力,即能够体现图像亮度值的能力。
为了使拍摄到的图像或视频效果更好,可以通过带有拍摄功能的电子设备(例如相机)拍摄高动态范围(high dynamic range imaging,HDR)的图像或视频,所谓HDR可以指用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的技术,该技术的目的是为了更好的表示真实世界的范围亮度。可以理解的是,动态范围越大,图像能呈现的明暗差别也就越大,在同一场景拍摄的图像或视频,HDR与标准动态范围(standard dynamicrange,SDR)相比,能够获取到的画面细节更多,HDR图像或视频可以同时存在非常明亮和非常暗淡的部分。
拍摄HDR图像或视频是为了得到更好的成像效果,通常使用多曝光帧融合来恢复亮处或暗处的细节,例如,一个摄像头的图像传感器连续拍摄两帧图像,一帧图像为长曝光图像,另一帧图像为短曝光图像。然后,将长曝光图像和短曝光图像进行融合,得到融合后的图像。其中,长曝光帧用于恢复暗处的细节,短曝光帧用于压制过曝区域,即恢复亮处的细节。
应用在本申请中,可以通过分别针对每一个像素点进行单独的曝光,从而尽可能获取更多的细节,拍摄到真实场景中细节。
4、影调
影调可以指图像或视频的基调或者调子,指画面的明暗层次、虚实对比和色彩的色相明暗等之间的关系。通过这些关系,使欣赏者感到光的流动与变化。
应用在本申请中,影调可以指拍摄到的图像和视频的色彩风格,例如可以包括“高饱和度”风格、“高对比度”风格、“暖色调”风格、冷色调等色彩风格。其中,“相机”是具有拍摄功能的电子设备上的用于拍摄图像和视频的应用程序,本申请对该应用程序的名称不做限制。“影调”、“风格”可以是“相机”应用程序中包括的摄影功能,可以呈现出不同的拍摄效果。可选地,拍摄功能也可以被称为拍摄模式,例如上述“高饱和度”拍摄风格又可以被称为“高饱和度”拍摄模式。
可以理解的是,“影调”、“风格”只是本实施例中所使用的一个词语,其代表的含义在本实施例中已经记载,其名称并不能对本实施例构成任何限制。另外,在本申请其他一些实施例中,“影调”也可以被称为例如“颜色风格”、“色调”等其他名词。
5、语义分割(Semantic Segmentation)
在计算机视觉领域中,语义分割是指对图像中每一个像素点进行分类,确定每个像素点的类别(如属于背景、人或车等),从而进行区域划分。语义分割是图像处理和机器视觉技术中关于图像理解的重要一环,也是人工智能(artificial intelligence,AI)领域中一个重要的分支,实现了图像像素级别的分类。具体的,语义分割是为图像或视频(视频以帧来提取的话本质为图像帧,即图像)中每个像素点打上相应的标签,该标签用于标识该像素点的类别,即该像素点为图像中哪一个目标的像素点,并按照类别的异动,将图像分为多个块,每个块所在的区域可以为某一个标签的像素点所在的区域。可以理解的是,语义分割就是将图像中所包含的不同事物(例如物体、人等)表达为计算机能够读懂的语言。
其中,语义分割会为图像中的每个像素分配一个类别,但是对于同一类别的对象不会进行区分。在语义分割的基础上,还包括实例分割,所谓实例分割会对特定物体进行分类,在具体的类别基础上区分不同的实例。例如,某一图像中包括多个车辆,则语义分割的结果为多个车辆的像素点的标签均为“车辆”,实例分割的结果可以区分每一个车辆,如第一辆车的像素点的标签为“车辆1”,第二辆车的像素点的标签为“车辆2”等等。
应用在本申请中,电子设备可以获取当前场景的图像,并进行语义分割处理,从而得到当前场景的图像中每一个像素点的标签,进而根据各个标签可以确定曝光参数,例如一个标签对应一个曝光参数,实质上为该标签标识的每一个像素点的曝光时长,并通过电子设备按照每一个像素点的曝光时长进行拍摄,从而能够得到基于语义分割的HDR图像。
本申请实施例提供了一种拍摄方法及相关装置,可以根据当前场景中的语义信息针对不同的事物设置单独的曝光时长,能够针对不同的事物进行单独曝光,得到高动态范围的图像或视频,从而提高拍摄的效果,从而能够满足用户的拍摄需求。
下面对本申请实施例涉及的拍摄系统进行介绍,请参阅图1,图1是本申请实施例提供的一种拍摄系统的系统架构示意图。该拍摄系统可包括电子设备100、电子设备200和数据库300。
其中,电子设备100可以是具有拍摄功能的电子设备,该拍摄功能具体是指能够精准控制每一个像素点的曝光时长的拍摄功能,电子设备100用于拍摄图像和视频,可选地,电子设备100还可以用于确定预设曝光参数。在一些实施例中,电子设备可以实现为以下任意一种电子设备,如相机(如单指令流多数据流电流型模拟阵列芯片视觉传感器(singleinstruction multiple datacurrent-mode analogue matrix processor,SCAMP))、智能手机、个人电脑、便携式媒体播放设备、智能电视、智能音响等等。电子设备200可以是具有计算功能的电子设备,该电子设备200可以用于确定预设曝光参数。在一些实施例中,该电子设备200可以实现为以下任意一种电子设备,如例如可以是智能手机、智能电话、个人电脑、便携式媒体播放设备、智能电视、智能音响等等的终端设备,还可以是服务器,例如可以是独立的服务器(如中心服务器),也可以是多个物理服务器组成的服务器集群或者分布式系统,还可以是部署在云环境上的服务器,以及部署在边缘环境中的边缘计算设备等等。电子设备200可以将确定出的预设曝光参数作为离线的预设曝光参数存储在数据库300中。可以理解的是,图1以电子设备100为相机、以电子设备200为服务器为例进行绘制和说明,不对本申请实施例中电子设备100和电子设备200的形态进行限定。
电子设备100可以通过获取当前拍摄场景的图像,即第一图像,并对第一图像进行语义分割处理,从而电子设备100可以获取到第一图像中每个像素点的标签。进而电子设备100可以确定该第一图像包括的多个标签中每个标签的曝光参数,并根据确定的曝光参数进行拍摄,得到第二图像。
可选地,电子设备100还可以对图库中的图像或视频(相当于多个图像帧)进行语义分割处理,并确定各个标签的预设曝光参数。该各个标签的预设曝光参数可以包括各个标签在不同环境中的曝光时长。示例性的,标签“人”,拍摄场景“室内场景”,曝光时长“A”;标签“人”,拍摄场景“室外场景”,曝光时长“B”等等。具体的,电子设备200可以根据语义分割处理后的图像的标签确定拍摄场景信息,如上述室内场景、室外场景等等,本申请对此不做限定。进而电子设备200可以确定同一个标签在不同场景效果最好的曝光时长,将该曝光时长作为预设曝光时长,其中,效果最好的曝光时长可以是用户投票选择的,也可以是通过深度学习的方式确定的,还可以是其他方式确定的,本申请对此不做限定。可选地,电子设备200可以在本地存储各个标签的预设曝光参数,电子设备200也可以在数据库300存储各个标签的预设曝光参数。
电子设备200也可以对图像库中的图像或视频(相当于多个图像帧)进行语义分割处理,并确定各个标签的预设曝光参数。进而,电子设备200可以存储各个标签在不同拍摄场景中的预设曝光参数。在一些实施例中,电子设备200可以向电子设备100发送预设曝光参数,也可以向将确定各个标签的预设曝光参数存储在本地,还可以在数据库300存储各个标签的预设曝光参数。
数据库300可以存储各个标签的预设曝光参数,如上述标签、场景信息和曝光参数。其中,数据库300存储的各个标签的预设曝光参数可以是电子设备100确定的,也可以是电子设备200确定的。具体的,数据库300可以以倒排列表的形式存储,也可以以链表的形式存储,还可以哈希表的形式存储,本申请对此不做限定。
在一种可能的实现方式中,电子设备100可以向电子设备200发送预设参数的获取请求,该获取请求中携带第一图像的多个标签,进而可以接收电子设备200发送的该多个标签的预设曝光参数,进而电子设备100可以将接收到的预设曝光参数存储起来,进一步地,可以根据接收到的预设曝光参数进行拍摄,得到第二图像。
在另一种可能的实现方式中,电子设备100可以根据第一图像中的多个标签在数据库300中查询对应的预设曝光参数,其中,数据库300中存储的预设曝光参数可以是电子设备200根据图像库中的图像确定的各个标签的预设曝光参数,也可以是电子设备100根据图像库中的图像确定的各个标签的预设曝光参数。
需要说明的是,本申请涉及的电子设备100和电子设备200可以是电子设备,也可以电子设备中的模块,例如芯片或处理器等。
下面对电子设备100的结构进行介绍。请参阅图2,图2是本申请实施例提供的电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图2示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图2示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从上述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将上述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,上述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。图3是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图3所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图3所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。上述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android Runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如: MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
本申请实施例中,电子设备200的结构可以与电子设备100的结构相同,或者,电子设备200的结构只包括电子设备100的部分元件。电子设备200的软件系统可以与电子设备100的软件系统相同或者不同。该电子设备200的硬件结构和软件系统可参考图2和图3所示出的电子设备100的硬件结构和软件系统,这里不再赘述。
为了拍摄得到动态范围更高,效果更好的图像和视频,本申请实施例提供一种拍摄方法,在该拍摄方法中,电子设备可以对第一图像进行语义分割处理,从而确定当前拍摄场景中包括的事物,从而可以分别针对不同的事物确定对应的曝光参数,进而对根据不同的事物按照对应的曝光参数进行拍摄,得到第二图像。通过对不同事物按照不同的曝光参数进行拍摄,从而可以针对不同的事物获取更多的细节,减少由于曝光时长导致的细节损失的问题,使得拍摄的图像和视频包括的细节更多,拍摄的效果更好,能够满足用户的拍摄需求。
基于图1提供的拍摄系统的架构,结合本申请中提供的拍摄方法,对本申请中提出的技术问题进行具体分析和解决。请参阅附图4,图4是本申请实施例提供的一种拍摄方法的流程示意图。该方法可以包括以下步骤401-步骤403。
步骤401、电子设备对第一图像进行语义分割处理,得到上述第一图像中每个像素点的标签。
在本申请实施例中,第一图像可以是拍摄之前的预览图像,便于用户预览拍摄的图像,该第一图像可以显示在拍摄预览界面中,该拍摄预览界面可以是“相机”应用程序中的用户界面,在该拍摄预览界面中还可以包括针对拍摄参数进行调整的控件以及触发拍摄的控件,以便用户对拍摄的参数进行调整,也便于用户在根据预览图像确定拍摄的内容后,可以输入触发拍摄的拍摄指令,进而电子设备可以响应于该拍摄指令进行拍摄。
在另一种可能的实现方式中,第一图像可以是电子设备拍摄的一帧图像,相当于第一电子设备预拍摄一张图像,即第一图像,通过第一图像来确定当前场景中包括的事物,与预览图像不同的是,若第一图像为电子设备拍摄的一帧图像,则电子设备可以不输出第一图像,用户也无法针对第一图像对拍摄的参数进行调整。
其中,对第一图像进行语义分割处理可以理解为电子设备对预览图像(即第一图像)进行语义分割,确定该第一图像的语义,即确定该预览图像中包括的事物。例如,电子设备可以确定该第一图像中包括的事物有:蓝天、云、楼房、绿植、人、道路等等。具体的,电子设备可以通过深度学习的方法对第一图像进行语义分割处理,也可以通过其他方法对第一图像进行语义分割处理,本申请对此不做限定。示例性的,电子设备可以通过预训练的卷积神经网络(convolutional neural networks,CNN)对第一图像中的每个像素点分类,即对第一图像中每个像素分配一个对象类,从而得到语义分割处理的结果,即第一图像中每个像素点的标签。
其中,第一图像中每个像素点的标签可以用于标识该像素点的类别,例如上述预览图像中包括的事物有:蓝天、云、楼房、绿植、人、道路等等,相应的,在语义分割处理的结果中,第一图像中“蓝天”对应的像素点的标签可以为“蓝天”标签,第一图像中“楼房”对应的像素点的标签可以为“楼房”标签等等。可以理解的是,第一图像中包括多个标签,即用于指示第一图像中包括的多种事物。
需要说明的是,在本申请实施例中,像素点也可以被称为像素,其代表的含义相同,均可以用于表示整个图像中不可分割的单位或者是元素。像素点可以由图像的小方格组成的,这些小方块都有一个明确的位置和被分配的色彩数值,小方格颜色和位置就决定该图像所呈现出来的样子。
在一种可能的实现方式中,电子设备可以响应第一拍摄指令,于拍摄预览界面显示第一图像,该第一图像为预览图像,电子设备还可以对该第一图像进行语义分割处理,得到该第一图像中每个像素点的标签,即电子设备可以得到针对该第一图像的多个标签。其中,该第一图像中每个像素点的标签还可以包括区域信息,所谓区域信息可以理解为每个像素点的位置,即可以根据语义分割处理的结果可以确定不同的事物在第一图像中所在的区域。具体的,电子设备可以将具有同一标签的像素点进行聚类,从而确定具有同一标签的像素点集合所在的区域,得到多个不同的区域,即不同的事物分别所在的区域。
其中,第一拍摄指令可以电子设备响应开机启动指令,例如,电子设备为相机,该相机可以响应开机指令,在显示屏中显示预览图像(即第一图像)。第一拍摄指令也可以是电子设备响应应用程序中某一触发指令,例如,电子设备为能够精准控制每一个像素点的曝光时长的终端设备,该终端设备安装有“相机”应用程序,该第一拍摄指令可以是该“相机”应用程序的启动指令。再例如,该电子设备为能够精准控制每一个像素点的曝光时长的终端设备,该终端设备安装的应用程序可以调用相机的拍摄功能,该第一拍摄指令可以是该应用程序中触发该拍摄功能的触发指令。
在一种可能的实现方式中,电子设备于拍摄预览界面显示第一图像时,还可以在该第一图像中显示第一图像包括的多个标签中每个标签的预设曝光参数,进而可以接收用户针对拍摄预览界面中显示的预设曝光参数进行调整。
具体的,电子设备显示的拍摄预览界面中的第一图像可以包括多个标签中每个标签的像素点所在的区域信息,即该第一图像可以被分为多个区域,多个区域是根据第一图像中多个标签的像素点分别聚类确定的区域。进而用户可以在该第一图像的用户界面中针对一个区域或多个区域的预设曝光参数进行调整,即电子设备可以接收用于调整第一图像包括的多个标签中一个或多个标签的预设曝光参数的第一调整指令,该第一调整指令可以在第一图像包括的多个标签中的一个或多个标签的像素点所在的区域信息中接收到,电子设备根据接收到的第一调整指令所调整的曝光参数,确定该第一图像中多个标签中每个标签的曝光参数。
在一种可能的实现方式中,电子设备显示的拍摄预览界面中除了可以显示第一图像的多个标签中每个标签的预设曝光参数,还可以显示预设影调参数,该预设影调参数用于确定拍摄的图像的风格,例如可以是“高饱和度”风格,也可以是“冷色调”风格,还可以是“暖色调”风格等等,针对不同的风格,最终得到的图像显示的色彩效果不同。具体的,电子设备于该拍摄预览界面显示预设影调参数,该预设影调参数可以是离线的预设影调参数,例如可以是从如图1所示的数据库300中获取的一个或多个标签对应的影调参数,也可以是接收如图1所示的电子设备200发送的预设影调参数,本申请对此不做限定。
其中,电子设备显示预设影调参数的方式可以是将当前的第一图像的影调参数调整为该预设影调参数,并显示在该拍摄预览界面。进而,用户可以针对该预设影调参数进行调整,即该拍摄预览界面可以包括用于调整预设影调参数的调整控件,则用户可以通过触发该调整控件调整预设影调参数。即电子设备可以接收用户输入的用户调整预设影调参数的第二调整指令,根据该第二调整指令所携带的影调参数,电子设备可以确定影调参数,即调整后的影调参数,进而根据确定的影调参数对第一图像进行影调调整处理,得到调整后的第一图像。进一步地,电子设备还可以于该拍摄预览界面显示调整后的第一图像,以便用户确定拍摄的效果,并进而触发拍摄,也便于用户进一步对影调参数或者其他拍摄参数进行调整。
在另一种可能的实现方式中,电子设备响应于第三拍摄指令,拍摄第一图像,该第一图像为一帧图像。其中,第三拍摄指令可以是触发拍摄图像的指令,例如,电子设备为相机,该相机可以响应针对物理按键的按动操作,例如可以针对相机的快门按键的按动操作,触发拍摄,得到第一图像。再例如,第三拍摄指令也可以是电子设备响应应用程序中触发拍摄图像的指令,例如,电子设备为能够精准控制每一个像素点的曝光时长的终端设备,该终端设备安装有“相机”应用程序,该第三拍摄指令可以是该“相机”应用程序中触发拍摄图像的指令。再例如,该电子设备为能够精准控制每一个像素点的曝光时长的终端设备,该终端设备安装的应用程序可以调用相机的拍摄功能,该第一拍摄指令可以是该应用程序中触发该拍摄功能中拍摄图像的触发指令。其中,在针对应用程序的操作时,触发拍摄的操作可以是针对电子设备的触摸屏输入触摸操作,例如可以是点击、滑动操作触发拍摄,也可以针对电子设备的物理按键的按动操作,本申请对此不做限定。
可以理解的是,电子设备在响应第三拍摄指令后,拍摄第一图像,并对第一图像进行处理,得到曝光参数,并按照曝光参数拍摄第二图像,电子设备在拍摄第一图像和第二图像之间的间隔时间极短,拍摄场景并不会发生变化,拍摄条件也不会发生变化,第一图像和第二图像也应当是相同的两张图像,因此可以通过对第一图像进行处理,从而得到曝光参数并对第二图像进行拍摄。
并且,由于电子设备直接响应第三拍摄指令,拍摄第一图像,并在根据第一图像确定曝光参数后直接拍摄第二图像,则电子设备可以不显示拍摄预览界面,即不显示预设曝光参数,从而用户无法通过输入调整指令(如第一调整指令和第二调整指令)对预设曝光参数和预设影调参数进行调整。例如,电子设备可以响应第三拍摄指令,息屏进行拍摄,并根据息屏拍摄得到的第一图像进行语义分割处理,并根据语义分割处理的结果确定曝光参数,并再次息屏进行拍摄,得到第二图像。第一图像可以为第二图像的上一帧图像,即第二图像可以为第一图像的下一帧图像。
在本申请实施例中,通过将预览图像作为前一帧图像或者拍摄的前一帧图像进行语义分割处理,得到图像中每个像素点的标签,该标签可以作为一种分割结果作为该电子设备的读出电路的先验知识。其中,拍摄是通过传感器将光信号转换为电信号,可以理解为,通过传感器中的读出电路将光信号读出为电信号,因此,将前一帧图像的分割结果作为先验知识,可以指导后一帧图像的拍摄,这样一方面考虑了拍摄场景中的语义,即考虑了拍摄场景中的不同事物,从而能够针对不同的事物确定曝光时长,能够便于拍摄得到HDR的图像,使得拍摄的效果更好,更能满足用户拍摄的需求。
步骤402、电子设备根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数。
在本申请实施例中,第一图像中每个像素点的标签可以标识每个像素点的所属于的某一事物的类别。曝光参数可以是曝光时长,即曝光的时间长度,例如曝光时长可以是四千分之一秒,也可以是八十分之一秒,还可以是三十秒,具体根据的标签确定。其中,一个曝光参数可以对应一个标签的曝光时长,即一个曝光参数为某一事物对应的曝光时长,也指示该标签所标识的事物在拍摄时以该曝光时长进行拍摄。
在一种可能的实现方式中,在第一图像为电子设备显示的拍摄预览界面中的预览图像的情况下,电子设备可以获取第一图像的多个标签中每个标签的预设曝光参数,并在该拍摄预览界面中显示每个标签的预设曝光参数。进而,电子设备可以接收用户输入的调整指令(即第一调整指令),该第一调整指令包括一个或多个标签,以及各个标签的曝光参数,从而电子设备可以响应于该第一调整指令,确定每个标签的曝光参数。其中,在第一图像的多个标签中,对于用户调整了预设曝光参数的标签,以用户调整的曝光参数为准,对于用户未调整预设曝光参数的标签,可以仍然以该标签的预设曝光参数为准,从而确定第一图像中多个标签中每个标签的曝光参数。
具体的,在拍摄预览界面中,预设曝光参数可以显示在第一图像中。第一图像可以显示语义分割处理的分割结果,即可以将第一图像分为多个区域,各个区域为各个标签的像素点聚类的区域,即一个区域可以包括一个标签的部分或全部像素点,多个区域可以包括一个标签的全部像素点。
例如,第一图像为包括一座山的图像,电子设备通过对第一图像进行语义分割处理后,得到标签为“山”标签,则在第一图像中该“山”标签的像素点可以为聚集在这座山的全部像素点,这座山的全部像素点也是该标签的全部像素点。再例如,第一图像为包括两座山的图像,这两座山在第一图像中的区域并不相邻,通过电子设备通过对第一图像进行语义分割处理后,得到标签为“山”标签,则在第一图像中该“山”标签的像素点可以为聚集在这两座山的全部像素点,由于这两座山在第一图像中并不相邻,则其中一座山的全部像素点仅为该“山”标签中的部分像素点,该“山”标签的全部像素点可以包括两座山的两个区域的全部像素点。
可选地,在对第一图像进行语义分割处理时,可以对第一图像进行实例分割,即将同一类别的不同事物的像素点分别标签,进而可以针对某一事物进行具体的曝光参数的调整。例如上述第一图像中包括的两座山的像素点可以分别为“山1”标签和“山2”标签,则在拍摄预览界面中可以分别标识“山1”标签的像素点所在的区域和“山2”标签的像素点所在的区域,进而可以针对“山1”标签和“山2”标签的预设曝光参数分别接收调整指令。
其中,预设曝光参数可以电子设备根据第一图像中的多个标签信息确定拍摄场景信息,并根据该拍摄场景信息和第一图像包括的多个标签,与预设曝光时长的对应关系,从该对应关系中获取每个标签对应的预设曝光参数。具体的,拍摄场景信息可以用于指示当前场景是一种什么样的场景,例如可以是具体的拍摄场景,如户外场景、教室场景、办公室场景、停车场场景、餐厅场景、商店场景、公园场景等等,还可以是其他场景,本申请对此不做限定。可以理解的是,在不同的场景中,对于同一标签的事物的曝光时长可以不同也可以相同。
可选地,电子设备还可以获取第一图像的整体的亮度信息,根据亮度信息和第一图像包括的多个标签确定拍摄场景信息,例如电子设备可以根据亮度信息和第一图像包括的多个标签确定是室内场景还是室外场景,或者也可以确定具体的拍摄场景,本申请对此不做限定。
示例性的,该拍摄场景信息和多个标签与预设曝光时长的对应关系可以具体参见表1:
表1
标签 | 拍摄场景信息 | 预设曝光时长 |
人 | 室内场景 | A |
人 | 室外场景 | B |
绿植 | 室内场景 | C |
绿植 | 公园场景 | D |
… | … | … |
其中,拍摄场景信息和多个标签,与预设曝光时长的对应关系仅为示例,如表1所示,标签为“人”标签,在拍摄场景信息为“室内场景”和“室外场景”中预设曝光时长分别为A和B。同样的,标签为“绿植”标签,在拍摄场景信息为“室内场景”和“公园场景”中预设曝光时长分别为C和D。则电子设备可以根据第一图像中多个标签中各个标签以及确定的拍摄场景信息确定对应的预设曝光时长。
在一种可能的方式中,拍摄场景信息和多个标签与预设曝光时长的对应关系可以存储在电子设备本地,也可以存储在如图1所示的数据库300中,还可以存储在如图1所示的电子设备200中。在存储的时候,具体可以以矩阵、倒排列表、链表、哈希表等其中一种或多种方式进行存储,还可以以其他方式进行存储,本申请对此不做限定。
进一步地,电子设备可以在根据该对应关系和第一图像的多个标签从数据库或本地分别查询到多个标签中每个标签的预设曝光参数,电子设备也可以向其他电子设备(如上述图1中电子设备200)发送预设曝光参数的查询请求,该查询请求携带第一图像中的多个标签和拍摄场景信息,由其他电子设备查询多个标签中每个标签的预设曝光参数,并返回至该电子设备。可选地,电子设备也可以向其他电子设备(如上述图1中电子设备200)发送预设曝光参数的查询请求,该查询请求携带第一图像中的多个标签,由其他电子设备确定拍摄场景信息,并根据多个标签和拍摄场景信息查询多个标签中每个标签的预设曝光参数,并返回至该电子设备。
其中,预设曝光参数可以是电子设备获取图像库中以往拍摄的图像中包括的各个标签的以及对应的曝光参数,进而根据各个标签确定该图像的拍摄场景信息,并将各个标签、拍摄场景信息以及对应的曝光参数存储在对应关系中,得到离线的预设曝光参数。
可选地,预设曝光参数可以是拍摄领域的专家人为针对各种不同的场景分别设定的曝光时长,也可以是将大量用户手动调整的曝光时长作为预设曝光参数,还可以是通过深度学习的方法,将标签和拍摄场景信息输入至预训练的模型中,通过模型输出具体的曝光时长,即将输出的曝光时长作为预设曝光参数。可以理解的是,预设曝光参数可以作为一种离线的曝光参数,存储起来,以便拍摄时可以直接进行获取。
在一种可能的实现方式中,电子设备响应于第三拍摄指令,拍摄第一图像,此时电子设备不显示预览图像,则用户无法对具体的某一标签的曝光时长进行调整,在这种情况下,电子设备可以获取预设曝光参数,该预设曝光参数即为上述离线的曝光参数,即电子设备获取到的预设曝光参数,进而根据该预设曝光参数进行拍摄。
步骤403、电子设备根据上述多个标签中每个标签的曝光参数进行拍摄,得到第二图像。
在本申请实施例中,电子设备具有可以精确控制每个像素点的曝光时长的拍摄功能,在拍摄之前,电子设备根据确定了第一图像中多个标签中每个标签的曝光参数,该多个标签中每个标签的曝光参数为该标签的各个像素点的曝光参数,即该标签的各个像素点的曝光时长为该确定的,电子设备可以根据每个像素点的曝光时长进行拍摄,得到第二图像。第二图像为拍摄到的图像,由于精确控制了每个像素点的曝光时长,因此,第二图像为HDR图像,第二图像的动态范围较高。
其中,第二图像为单次曝光的图像,即该第二图像中的像素点仅曝光一次,所有像素点同时开始曝光,总曝光时长为最长的曝光时长的标签的曝光时长,即第二图像为单帧拍摄的HDR图像。可以理解的是,若电子设备通过摄像头的图像传感器逐行进行曝光,即传感器依次按行将光信号读取为电信号,从而得到图像,则可能会出现果冻效应(rollingshutter),所谓果冻效应可以理解为被拍摄的物体速度大于图像传感器扫描的速度(逐行曝光可以被称为扫描),因此可能会出现被拍摄的物体在图像中倾斜或者剪短的效果,从而拍摄效果不好。而通过本申请所提供的电子设备进行拍摄,所有像素同时开始曝光,可以避免由于果冻效应所引起的畸变。
其中,第二图像中的目标像素点是按照目标像素点对应的标签的曝光参数拍摄得到的,该目标像素点为第二图像中的任意一个像素点。可以理解的是,第二图像中各个像素点的曝光参数是根据该标签的曝光参数确定的,即对电子设备的图像传感器的曝光设置精确到的像素点的颗粒度。
为了拍摄HDR的图像或视频,可以通过拍摄多帧图像,多帧图像的曝光参数不同,进而可以将曝光参数不同的多帧图像进行融合处理,得到HDR图像。为了拍摄HDR图像也可以通过对传感器的曝光进行设置,按区域进行长短曝光设备,例如可以具体划分为行,以两行间隔设置长曝光和短曝光。这种方式并未考虑图像中的语义,在拍摄的场景中,若某一事物比较适合短曝光,则由于按区域设置长曝光和短曝光,则拍摄结果中通过长曝光的区域的效果不好。而通过针对语义分割处理的结果对像素点的曝光参数进行确定,从而设置图像传感器中每个像素点的曝光参数,能够针对拍摄的场景中的不同的事物分别进行曝光,可以针对不同的事物通过最适合的曝光参数进行拍摄,从而能够拍摄得到效果更好的HDR图像和视频。
在一种可能的实现方式中,第一图像为电子设备响应于第一拍摄指令在拍摄预览界面中的预览图像,则在用户根据预览图像确定拍摄时,可以通过触发第二拍摄指令,触发根据多个标签中每个标签的曝光参数进行拍摄,得到第二图像的步骤。该第二拍摄指令可以是用户通过拍摄预览界面中的拍摄控件触发的,也可以是通过实体按键触发的,还可以通过其他方式触发,例如可以输入语音指令触发,本申请对此不做限定。
在一种可能的实现方式中,用户可以输入针对预设影调参数的第二调整指令,该第二调整指令可以携带调整的影调参数,进而电子设备可以响应于该第二调整指令,可以确定影调参数。该第二调整指令可以是通过实体按键输入的,也可以是在预览拍摄界面中输入的,还可以通过其他方式输入,例如通过语音指令输入的,本申请对此不做限定。若用户并未针对预设影调参数输入第二调整指令,则电子设备默认按照预设影调参数进行处理。
其中,电子设备显示的预览拍摄界面中还可以显示预设影调参数,这是因为拍摄的场景中光线的强度以及曝光时长可能会影响色彩的饱和度,如对于暗光场景或者用户调整预设曝光时长至较短的曝光时长,为保证图像的亮度,则会提高感光度(internationalorganization for standardization,ISO),这样的话电子设备拍摄的图像和视频色彩饱和度低。为弥补用户手动调整曝光可能引入的色彩失真,同时为了增加成图效果的多样性,因此可以增加对影调参数的调整功能。
在一种可能的实现方式中,在电子设备根据多个标签中每个标签的曝光参数进行拍摄,得到第二图像之后,可以根据确定的影调参数对第二图像进行影调调整,得到并输出第三图像。其中,第二图像是电子设备拍摄得到的图像,可以作为原图,进而对第二图像进行影调调整,得到的第三图像是风格化的图像,也是输出的图像。例如可以显示在用户界面中,也可以存储起来,以便后续用户触发查看指令查看该第三图像。
在一种可能的实现方式中,用户触发的第二拍摄指令和第三拍摄指令可以是用于拍摄图像的,则可以将第二图像和/或第三图像作为输出的结果。用户触发的第二拍摄指令和第三拍摄指令也可以是用于拍摄视频的,则第二图像仅为拍摄的视频的第一帧图像,电子设备可以持续拍摄,直到用户触发拍摄停止的指令,电子设备响应该拍摄停止的指令,可以停止拍摄,并将拍摄到的多帧图像作为拍摄到的视频。
其中,电子设备拍摄的场景不是固定的,是可能发生变化的,为了使得拍摄后的视频中的图像帧也为效果较好的HDR图像,电子设备可以对第四图像进行语义分割处理,第四图像为在第二图像之后拍摄到的多帧图像中任一帧图像,可以理解为电子设备对每一帧图像进行语义分割处理,从而得到第四图像中每个像素点的标签,该第四图像也可以包括多个标签。
可选地,由于相邻两帧图像的拍摄间隔较短,默认相邻的两帧图像的变化几乎可以不计,则第四图像可以为第二图像之后拍摄到的多帧图像中任一帧图像,进而根据语义分割处理的结果,即多个标签来确定拍摄的场景是否发生变化,是否需要重新确定曝光参数。其中,第四图像也可以为第二图像,即对第二图像进行语义分割处理,从而确定第二图像的下一帧图像拍摄的语义是否发生变化,是否需要重新确定各个标签的曝光参数。
进一步地,在第四图像包括的多个标签与第一图像包括的多个标签不相同的情况下,电子设备可以根据第四图像包括的多个标签确定第四图像包括的多个标签中每个标签的曝光参数,并根据第四图像包括的多个标签中每个标签的曝光参数进行拍摄,得到第五图像,该第五图像为第四图像的下一帧图像。
可选地,由于第四图像为进行语义分割处理的图像,则第四图像可以直接拍摄,即不按照确定的曝光参数进行拍摄,即第四图像可以类似于第一图像,仅做语义分割处理,提供一个先验知识,为拍摄第五图像,或者第五图像和第五图像之后的多帧图像做准备。在拍摄得到视频之后,可以将第四图像作为视频中的一帧图像进行输出,也可以将第四图像去除后,将所有通过确定的曝光参数拍摄到的图像帧作为视频的图像帧进行输出,本申请对此不做限定。
可选地,电子设备可以根据第四图像的上一帧图像的语义分割处理的分割结果确定曝光参数,并对第四图像进行语义分割处理,将第四图像的语义分割处理的分割结果来指导第五图像(即第四图像的下一帧图像)的拍摄。进而,对拍摄的第五图像进行语义分割处理,并将第五图像的语义分割处理的分割结果来指导第五图像的下一帧图像的拍摄。由此,电子设备得到的视频可以包括每一帧拍摄的图像,无需去除进行语义分割处理的图像帧,并且能拍摄到HDR的视频,拍摄视频的效果能有较大的提升。
请一并参阅图5和图6,图5和图6均是本申请实施例提供的一种拍摄图像的时序示意图。如图5所示,电子设备可以获取离线图像库中的多个图像的标签和曝光参数,并根据多个图像中每个图像的标签确定场景信息,并将标签、场景信息以及曝光参数对应存储起来,得到离线的曝光参数,即得到并存储预设曝光参数。电子设备可以在拍摄入口触发获取第一图像,例如可以显示第一图像,该第一图像为预览的图像,并对第一图像进行语义分割处理,得到第一图像中每个像素点的标签,并根据每个像素点的标签确定每个标签的曝光参数,该每个标签的曝光参数可以是从存储的预设曝光参数中确定的,也可以是接收到针对预设曝光参数的第一调整指令确定的,进而电子设备可以存储调整的曝光参数,并根据多个标签中每个标签的曝光参数进行拍摄,得到第二图像。其中,第二图像为单次曝光的图像,该第二图像中不同语义区域各自曝光,所有像素点的曝光开始时刻相同,总曝光时长为最长的曝光时长。
进一步地,电子设备还可以响应于第二调整指令,对预设影调参数进行调整,电子设备可以存储调整的影调参数,并在得到第二图像之后,对第二图像进行影调调整,得到第三图像。
如图6所示,电子设备可以拍摄第一图像,并对第一图像进行语义分割处理,得到第一图像中每个像素点的标签,进而电子设备可以根据每个像素点的标签确定每个标签的曝光参数,该每个标签的曝光参数仅为从存储的预设曝光参数中确定的,进而根据多个标签中每个标签的预设曝光参数进行拍摄,得到第二图像。同样的,通过这种方式进行拍摄的第二图像也为单次曝光的图像,该第二图像中不同语义区域各自曝光,所有像素点的曝光开始时刻相同,总曝光时长为最长的曝光时长。
进一步地,电子设备还可以获取预设影调参数,并根据预设影调参数对得到的第二图像进行影调调整,得到调整后的第三图像。
请一并参阅图7和图8,图7和图8均是本申请实施例提供的一种拍摄视频的时序示意图。如图7所示,电子设备可以获取离线图像库中的多个图像的标签和曝光参数,并根据多个图像中每个图像的标签确定场景信息,并将标签、场景信息以及曝光参数对应存储起来,得到离线的曝光参数,即预设曝光参数。电子设备可以在拍摄入口触发获取第一图像,例如可以显示第一图像,该第一图像为显示在拍摄预览界面中的预览图像,并对第一图像进行语义分割处理,得到第一图像中每个像素点的标签,进而电子设备可以根据每个像素点的标签确定每个标签的曝光参数,该每个标签的曝光参数可以是从存储的预设曝光参数中确定的,也可以是接收到针对预设曝光参数的第一调整指令确定的,进而根据多个标签中每个标签的曝光参数进行拍摄,得到第二图像,该第二图像为拍摄的视频的首帧图像。
在得到第二图像之后,继续进行拍摄,例如对第二图像的下一帧图像进行拍摄,电子设备可以对第二图像以后的第四图像进行语义分割处理,得到第四图像中每个像素点的标签,第四图像可以为第二图像之后的任一帧图像,进而电子设备可以根据每个像素点的标签确定每个标签的曝光参数,该每个标签的曝光参数是从存储的预设曝光参数中确定的,即确定每个标签的预设曝光参数,并按照每个标签的预设曝光参数进行拍摄,得到第五图像,该第五图像可以为第四图像的下一帧图像。进一步地,电子设备还可以对第五图像的之后拍摄的图像进行语义分割处理,进一步判断拍摄的场景是否发生变化,在发生变化后,再次获取预设曝光参数进行拍摄,从而将拍摄的图像帧组合起来,得到拍摄的视频。
其中,电子设备可以确定影调参数,该影调参数可以从存储的预设曝光参数中确定的,也可以是接收到针对预设影调参数的第二调整指令后得到并存储的调整的影调参数确定的,电子设备可以对拍摄到的图像帧进行一一影调调整,如图7所示,对第二图像进行影调调整,得到第三图像,对第五图像进行影调调整,得到调整后的第五图像,则电子设备可以将影调调整后的图像帧组合起来,得到并输出视频。
可以理解的是,电子设备按照确定的曝光参数进行拍摄的视频中的图像帧也均为单次曝光的图像,该视频中的图像帧中所有像素点的曝光开始时刻相同,总曝光时长为最长的曝光时长。
如图8所示,电子设备可以拍摄第一图像,并对第一图像进行语义分割处理,得到第一图像中每个像素点的标签,进而电子设备可以根据每个像素点的标签确定每个标签的曝光参数,该每个标签的曝光参数仅为从存储的预设曝光参数中确定的,进而根据多个标签中每个标签的预设曝光参数进行拍摄,得到第二图像,第二图像为拍摄的视频的首帧图像。同样的,在得到第二图像后,继续进行拍摄,在拍摄过程中,对第二图像之后的第四图像进行语义分割处理,得到第四图像中每个像素点的标签,第四图像可以为第二图像之后的任一帧图像,进而电子设备可以根据每个像素点的标签确定每个标签的预设曝光参数,并按照每个标签的预设曝光参数进行拍摄,得到第四图像的下一帧图像,即第五图像,
进一步地,电子设备还可以对第五图像的之后拍摄的图像进行语义分割处理,则继续判断拍摄的场景是否发生变化,在发生变化后,再次获取预设曝光参数进行拍摄,从而将拍摄的图像帧组合起来,得到拍摄的视频。其中,电子设备可以确定预设影调参数,该预设影调参数可以从存储的预设曝光参数中确定的,电子设备可以对拍摄到的图像帧进行一一影调调整,如图8所示,对第二图像进行影调调整,得到第三图像,对第五图像进行影调调整,得到调整后的第五图像,则电子设备可以将影调调整后的图像帧组合起来,得到并输出视频。
由此,通过对图像进行语义分割处理来确定每个像素的曝光时长,能够引入拍摄场景的语义,得到效果更好的HDR图像和视频,从而能够提高拍摄的效果,满足用户更高的拍摄需求。
下面介绍电子设备上的用于预览图像的示例性用户界面。
本申请以电子设备为相机为例进行绘制和讲解。请一并参阅图9,图9是本申请实施例提供的一种拍摄预览界面的用户界面示意图。如图9所示,在电子设备的显示屏中可以显示拍摄预览界面,该拍摄预览界面可以包括预览图像,如图9所示的第一图像,在该第一图像中可以显示预设曝光参数,预设曝光参数可以显示在对应的事物的区域,例如图9所示的预设曝光参数“绿植 A”、“楼房B”、“蓝天C”、“云D”、“人E”以及“道路F”。需要说明的是,这里以字母代替具体的预设曝光参数,实际的预设曝光参数可以是具体的数字。在该拍摄预览界面中还可以显示预设影调参数,如“暖色调”影调参数。
进一步地,用户可以针对具体的标签对应的预设曝光参数输入第一调整指令,该第一调整指令可以用于调整具体的某一个或多个标签的预设曝光参数。请一并参阅图10,图10是本申请实施例提供的一种拍摄预览界面的另一用户界面示意图。示例性的,用户可以点击第一图像中的某一棵树,例如右下角的一棵树,则电子设备可以输出该标签的预设曝光参数的调整控件,如图10下方,则用户可以针对该调整控件输入第一调整指令,如用户可以通过拖动该曝光时长的控件条来调整该标签的曝光时长。可选地,用户可以点击“A”控件,该控件为自动曝光,即该“绿植”标签的曝光参数为预设曝光参数。
请一并参阅图11,图11是本申请实施例提供的一种每个标签的曝光参数的示意图。如图11所示,在第一图像上的方格表示每个像素点,第一图像中包括六种标签,如“绿植”标签、“楼房”标签、“蓝天”标签、“云”标签、“人”标签以及“道路F”标签。针对不同的标签可以有不同的曝光参数,如“蓝天”标签的曝光参数为“e1”,“楼房”标签的曝光参数为“e2”,“云”标签的曝光参数为“e3”,“道路”标签的曝光参数为“e4”,“绿植”标签的曝光参数为“e5”,“人”标签的曝光参数为“e6”。需要说明的是,该方格仅为像素点的示例,实际像素点的尺寸远小于图11所示的方格。
请一并参阅图12,图12是本申请实施例提供的一种调整预设影调参数的用户界面示意图。如图12上方所示,在该拍摄预览界面中显示的第一图像中还可以显示预设影调参数,该预设影调参数为“暖色调”,用户可以通过点击该预设影调参数“暖色调”,触发第二调整指令,进而电子设备可以输出用于提示用户操作的箭头,进而用户可以根据提示的箭头滑动调整影调参数,例如图12下方所示,用户滑动一次,则将预设影调参数“暖色调”,调整为“冷色调”,进而电子设备可以根据影调参数“冷色调”对第一图像进行影调调整,得到调整后的第一图像,并在该拍摄预览界面中显示调整后的第一图像,从而完成影调参数的调整。
进一步地,用户可以通过触摸拍摄预览界面中的第一图像处控件以外的其他区域触发第二拍摄指令,也可以通过按动实体快门按键触发第二拍摄指令。电子设备响应于第二拍摄指令,执行根据确定的第一图像的多个标签中每个标签的曝光参数进行拍摄,得到第二图像。
可以看出,在本申请实施例中,通过用户对预设曝光参数和预设影调参数的调整,使得拍摄更加智能化和人性化,可以拍摄得到满足用户需求的图像和视频,也可以实现在拍摄HDR图像和视频的同时,实现风格化拍摄,从而拍摄的图像和视频的效果更好,更能满足用户需求。
请一并参阅图13,图13是本申请实施例提供的一种拍摄装置的结构示意图。图13所示的拍摄装置1300可以包括:处理单元1301、确定单元1302、拍摄单元1303、显示单元1304、调整单元1305,其中,各个单元的详细描述如下:
处理单元1301,用于对第一图像进行语义分割处理,得到上述第一图像中每个像素点的标签,上述第一图像包括多个标签;
确定单元1302,用于根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,一个曝光参数对应一个标签的曝光时长;
拍摄单元1303,用于根据上述多个标签中每个标签的曝光参数进行拍摄,得到第二图像,上述第二图像为单次曝光图像,上述第二图像中的目标像素点是按照上述目标像素点对应的标签的曝光参数拍摄得到的,上述目标像素点为上述第二图像中的任意一个像素点。
在一种可能的实现方式中,上述拍摄装置1300还包括:
显示单元1304,用于响应于第一拍摄指令,于拍摄预览界面显示上述第一图像,上述第一图像为预览图像;
处理单元1301,用于响应于第二拍摄指令,执行根据上述多个标签中每个标签的曝光参数进行拍摄,得到第二图像的步骤。
在一种可能的实现方式中,上述确定单元1302,用于根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,具体用于:
获取上述多个标签中每个标签的预设曝光参数;
于上述拍摄预览界面显示上述多个标签中每个标签的预设曝光参数;
响应于针对上述多个标签中一个或多个标签的预设曝光参数的第一调整指令,确定上述多个标签中每个标签的曝光参数。
在一种可能的实现方式中,上述第一图像包括上述多个标签中每个标签的像素点所在区域信息,上述第一调整指令是在上述多个标签中一个或多个标签的像素点所在的区域信息中接收到的。
在一种可能的实现方式中,上述显示单元1304,还用于于上述拍摄预览界面还显示预设影调参数,响应于针对上述预设影调参数的第二调整指令,确定影调参数;
根据上述影调参数对上述第一图像进行影调调整处理,得到调整后的第一图像;
于上述拍摄预览界面显示调整后的第一图像。
在一种可能的实现方式中,上述拍摄装置1300还包括:
调整单元1305,用于根据上述影调参数对上述第二图像进行影调调整,得到并输出第三图像。
在一种可能的实现方式中,上述拍摄单元1303,还用于响应于第三拍摄指令,拍摄上述第一图像,上述第二图像为上述第一图像的下一帧图像。
在一种可能的实现方式中,上述处理单元1301,还用于对第四图像进行语义分割处理,得到上述第四图像中每个像素点的标签,上述第四图像包括多个标签,上述第四图像为在上述第二图像之后拍摄到的多帧图像中的任一帧图像;
上述确定单元1302,用于在上述第四图像包括的多个标签与上述多个标签不相同的情况下,根据上述第四图像包括的多个标签确定上述第四图像包括的多个标签中每个标签的曝光参数;
上述拍摄单元1303,用于根据上述第四图像包括的多个标签中每个标签的曝光参数进行拍摄,得到第五图像,上述第五图像为上述第四图像的下一帧图像。
在一种可能的实现方式中,上述确定单元1302,用于根据上述第一图像中每个像素点的标签确定上述多个标签中每个标签的曝光参数,具体用于:
根据上述多个标签确定拍摄场景信息;
根据上述拍摄场景信息和上述多个标签,与预设曝光时长的对应关系,确定上述多个标签中每个标签的预设曝光参数。
需要说明的是,本申请实施例中所描述的拍摄装置1300中各功能单元的功能可参见上述图4中上述的方法实施例中步骤401-步骤403的相关描述,此处不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可能可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以为个人计算机、服务端或者网络设备等,具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中,而前述的存储介质可包括:U盘、移动硬盘、磁碟、光盘、只读存储器(Read-Only Memory,缩写:ROM)或者随机存取存储器(Random Access Memory,缩写:RAM)等各种可以存储程序代码的介质。
以上上述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种拍摄方法,其特征在于,包括:
对第一图像进行语义分割处理,得到所述第一图像中每个像素点的标签,所述第一图像包括多个标签;
根据所述第一图像中每个像素点的标签确定所述多个标签中每个标签的曝光参数,一个曝光参数对应一个标签的曝光时长;
根据所述多个标签中每个标签的曝光参数进行拍摄,得到第二图像,所述第二图像为单次曝光图像,所述第二图像中的目标像素点是按照所述目标像素点对应的标签的曝光参数拍摄得到的,所述目标像素点为所述第二图像中的任意一个像素点。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于第一拍摄指令,于拍摄预览界面显示所述第一图像,所述第一图像为预览图像;
响应于第二拍摄指令,执行根据所述多个标签中每个标签的曝光参数进行拍摄,得到第二图像的步骤。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一图像中每个像素点的标签确定所述多个标签中每个标签的曝光参数,包括:
获取所述多个标签中每个标签的预设曝光参数;
于所述拍摄预览界面显示所述多个标签中每个标签的预设曝光参数;
响应于针对所述多个标签中一个或多个标签的预设曝光参数的第一调整指令,确定所述多个标签中每个标签的曝光参数。
4.根据权利要求3所述的方法,其特征在于,所述第一图像包括所述多个标签中每个标签的像素点所在区域信息,所述第一调整指令是在所述多个标签中一个或多个标签的像素点所在的区域信息中接收到的。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
于所述拍摄预览界面还显示预设影调参数,响应于针对所述预设影调参数的第二调整指令,确定影调参数;
根据所述影调参数对所述第一图像进行影调调整处理,得到调整后的第一图像;
于所述拍摄预览界面显示调整后的第一图像。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据所述影调参数对所述第二图像进行影调调整,得到并输出第三图像。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于第三拍摄指令,拍摄所述第一图像,所述第二图像为所述第一图像的下一帧图像。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
对第四图像进行语义分割处理,得到所述第四图像中每个像素点的标签,所述第四图像包括多个标签,所述第四图像为在所述第二图像之后拍摄到的多帧图像中的任一帧图像;
在所述第四图像包括的多个标签与所述多个标签不相同的情况下,根据所述第四图像包括的多个标签确定所述第四图像包括的多个标签中每个标签的曝光参数;
根据所述第四图像包括的多个标签中每个标签的曝光参数进行拍摄,得到第五图像,所述第五图像为所述第四图像的下一帧图像。
9.根据权利要求1-7任一项所述的方法,其特征在于,所述根据所述第一图像中每个像素点的标签确定所述多个标签中每个标签的曝光参数,包括:
根据所述多个标签确定拍摄场景信息;
根据所述拍摄场景信息和所述多个标签,与预设曝光时长的对应关系,确定所述多个标签中每个标签的预设曝光参数。
10.一种电子设备,其特征在于,包括处理器和存储器,所述处理器和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-9任一项所述的方法。
11.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在第一电子设备上运行时,使得所述第一电子设备执行如权利要求1-9中任意一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211169456.1A CN115242983B (zh) | 2022-09-26 | 2022-09-26 | 拍摄方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211169456.1A CN115242983B (zh) | 2022-09-26 | 2022-09-26 | 拍摄方法、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115242983A true CN115242983A (zh) | 2022-10-25 |
CN115242983B CN115242983B (zh) | 2023-04-07 |
Family
ID=83667118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211169456.1A Active CN115242983B (zh) | 2022-09-26 | 2022-09-26 | 拍摄方法、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115242983B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116033275A (zh) * | 2023-03-29 | 2023-04-28 | 荣耀终端有限公司 | 一种自动曝光方法、电子设备及计算机可读存储介质 |
CN117710264A (zh) * | 2023-07-31 | 2024-03-15 | 荣耀终端有限公司 | 图像的动态范围校准方法和电子设备 |
CN117793539A (zh) * | 2024-02-26 | 2024-03-29 | 浙江双元科技股份有限公司 | 一种基于可变周期的图像获取方法及光学传感装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105163039A (zh) * | 2015-09-18 | 2015-12-16 | 联想(北京)有限公司 | 一种控制方法及装置 |
US20180160051A1 (en) * | 2016-12-06 | 2018-06-07 | Polycom, Inc. | System and method for providing images and video having high dynamic range |
CN109104578A (zh) * | 2018-09-21 | 2018-12-28 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN111835961A (zh) * | 2019-04-22 | 2020-10-27 | 北京地平线机器人技术研发有限公司 | 一种相机自动曝光的信息处理方法、装置及介质 |
US20200396370A1 (en) * | 2019-06-11 | 2020-12-17 | Samsung Electronics Co., Ltd. | Apparatus and method for high dynamic range (hdr) image creation of dynamic scenes using graph cut-based labeling |
CN112449120A (zh) * | 2019-08-30 | 2021-03-05 | 华为技术有限公司 | 高动态范围视频生成方法及装置 |
CN112672060A (zh) * | 2020-12-29 | 2021-04-16 | 维沃移动通信有限公司 | 拍摄方法、装置和电子设备 |
CN113905182A (zh) * | 2020-06-22 | 2022-01-07 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN114255177A (zh) * | 2021-11-25 | 2022-03-29 | 北京百度网讯科技有限公司 | 成像中的曝光控制方法、装置、设备及存储介质 |
-
2022
- 2022-09-26 CN CN202211169456.1A patent/CN115242983B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105163039A (zh) * | 2015-09-18 | 2015-12-16 | 联想(北京)有限公司 | 一种控制方法及装置 |
US20180160051A1 (en) * | 2016-12-06 | 2018-06-07 | Polycom, Inc. | System and method for providing images and video having high dynamic range |
CN109104578A (zh) * | 2018-09-21 | 2018-12-28 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN111835961A (zh) * | 2019-04-22 | 2020-10-27 | 北京地平线机器人技术研发有限公司 | 一种相机自动曝光的信息处理方法、装置及介质 |
US20200396370A1 (en) * | 2019-06-11 | 2020-12-17 | Samsung Electronics Co., Ltd. | Apparatus and method for high dynamic range (hdr) image creation of dynamic scenes using graph cut-based labeling |
CN112449120A (zh) * | 2019-08-30 | 2021-03-05 | 华为技术有限公司 | 高动态范围视频生成方法及装置 |
CN113905182A (zh) * | 2020-06-22 | 2022-01-07 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN112672060A (zh) * | 2020-12-29 | 2021-04-16 | 维沃移动通信有限公司 | 拍摄方法、装置和电子设备 |
CN114255177A (zh) * | 2021-11-25 | 2022-03-29 | 北京百度网讯科技有限公司 | 成像中的曝光控制方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
杨桐等: "融合视觉感知特性的HDR视频编码率失真优化算法", 《光电工程》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116033275A (zh) * | 2023-03-29 | 2023-04-28 | 荣耀终端有限公司 | 一种自动曝光方法、电子设备及计算机可读存储介质 |
CN116033275B (zh) * | 2023-03-29 | 2023-08-15 | 荣耀终端有限公司 | 一种自动曝光方法、电子设备及计算机可读存储介质 |
CN117710264A (zh) * | 2023-07-31 | 2024-03-15 | 荣耀终端有限公司 | 图像的动态范围校准方法和电子设备 |
CN117793539A (zh) * | 2024-02-26 | 2024-03-29 | 浙江双元科技股份有限公司 | 一种基于可变周期的图像获取方法及光学传感装置 |
CN117793539B (zh) * | 2024-02-26 | 2024-05-10 | 浙江双元科技股份有限公司 | 一种基于可变周期的图像获取方法及光学传感装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115242983B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115242983B (zh) | 拍摄方法、电子设备及可读存储介质 | |
US12096120B2 (en) | Photographing method in telephoto scenario and mobile terminal | |
CN113596345B (zh) | 参数的调整方法、显示的控制方法、电子设备及介质 | |
WO2021180046A1 (zh) | 图像留色方法及设备 | |
CN112262563A (zh) | 图像处理方法及电子设备 | |
CN114640783B (zh) | 一种拍照方法及相关设备 | |
CN113170037A (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN115529413A (zh) | 拍摄方法及相关装置 | |
CN115115679A (zh) | 一种图像配准方法及相关设备 | |
CN113538227A (zh) | 一种基于语义分割的图像处理方法及相关设备 | |
CN117201930B (zh) | 一种拍照方法和电子设备 | |
WO2024179101A1 (zh) | 一种拍摄方法 | |
WO2024109224A1 (zh) | 一种拍摄模式推荐方法 | |
CN117119284A (zh) | 一种拍摄方法 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
WO2022228010A1 (zh) | 一种生成封面的方法及电子设备 | |
CN116723418B (zh) | 拍照方法和相关装置 | |
CN117177064B (zh) | 一种拍摄方法及相关设备 | |
WO2023280021A1 (zh) | 一种生成主题壁纸的方法及电子设备 | |
CN116347009B (zh) | 视频生成方法及电子设备 | |
CN117119316B (zh) | 图像处理方法、电子设备及可读存储介质 | |
WO2024169305A1 (zh) | 应用管理的方法和电子设备 | |
WO2023231696A1 (zh) | 一种拍摄方法及相关设备 | |
WO2023142690A1 (zh) | 一种复原拍摄的方法及电子设备 | |
CN118550621A (zh) | 一种截屏方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |