CN115297269B - 曝光参数的确定方法及电子设备 - Google Patents
曝光参数的确定方法及电子设备 Download PDFInfo
- Publication number
- CN115297269B CN115297269B CN202211183257.6A CN202211183257A CN115297269B CN 115297269 B CN115297269 B CN 115297269B CN 202211183257 A CN202211183257 A CN 202211183257A CN 115297269 B CN115297269 B CN 115297269B
- Authority
- CN
- China
- Prior art keywords
- exposure
- image
- electronic device
- parameters
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
一种曝光参数的确定方法及电子设备,该方法可以根据电子设备中预设曝光表获得的曝光参数,生成多组曝光总量相同的曝光参数,并使用这些曝光参数分别出图;然后根据不同曝光参数下所得图像的优劣程度确定最终使用的曝光参数,可以让电子设备有更好的拍照效果,使拍得的图像更清晰。
Description
技术领域
本申请涉及终端技术领域,尤其涉及曝光参数的确定方法及电子设备。
背景技术
如今图像的拍摄已经成为我们日常生活和娱乐中不可或缺的一环。在图像的拍摄过程中,曝光参数是图像的清晰度的重要决定因素。现如今,电子设备会根据传感器获得的亮度、动态范围以及设备抖动等信息,查询内部预先存储的曝光表来为用户确定拍照时的曝光参数。
虽然电子设备能通过曝光表得到合适的曝光参数,但是由于曝光表中曝光参数都是固定不变的,在画面抖动和图像内容变化时,使用曝光表提供的曝光参数往往很难保证所得图像的清晰度。因此,需要探索新的曝光参数的确定方法。
发明内容
本申请的目的在于提供一种曝光参数的确定方法及电子设备。实施该方法,电子设备可以根据电子设备中预设曝光表获得的曝光参数,生成多组曝光总量相同的曝光参数,并使用这些曝光参数分别出图;然后根据不同曝光参数下所得图像的优劣程度确定最终使用的曝光参数,可以让电子设备有更好的拍照效果,使拍得的照片更清晰。
上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。
第一方面,提供一种曝光参数的确定方法,所述方法包括:获取两组或两组以上曝光参数,所述两组或两组以上曝光参数中的各组曝光参数的曝光总量相同;对采用所述两组或两组以上曝光参数生成的两张或两张以上图像进行评测,将所述两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数。
对于现如今的电子设备而言,在拍照时使用的曝光参数可以通过曝光表得到。但是曝光表中曝光参数都是固定不变的,对于不同的拍摄场景和拍摄目标,在它们的曝光需求相同(即需要的曝光总量相同)的情况下,基于曝光表提供的曝光参数是一样的,但实际上,基于曝光表得带的这一组曝光参数对于不同的拍摄场景和拍摄目标可能并不会完全适用。例如,假设用户在不同的时刻分别对静止的物体和移动的物体进行拍照,且在这两种场景下电子设备场景的亮度是一样的,那么根据前述说明可知,在这两种场景下,电子设备所计算出的图像所需的曝光量是相同的,那么其查询曝光表之后,得到的曝光参数也是相同的;而实际上,在拍摄移动的物体时,适合使用较短的曝光时间才能保证所拍图像不会产生模糊,而在拍摄静止的物体时,却更适合使用较长的曝光时间才来尽可能减少图像中的噪点,故使用曝光表提供的曝光参数并不能使用于所有的拍摄场景。
因此,在本方法中,在确定曝光总量的情况下,电子设备可以通过获取多组曝光总量相同的曝光参数,(即所述两组或两组以上曝光参数),并对使用这些曝光参数生成的图像(即所述两张或两张以上图像)进行评测,将这些图像中图像质量较好的图像所用的曝光参数确定为目标曝光参数,作为下一帧显示在屏幕上的图像所使用的曝光参数。这样,可以让电子设备更好的拍照效果,使拍得的照片更清晰。
需要说明的是,在本方法中,所述两组或两组以上的曝光参数中每一组曝光参数的曝光总量都是一样的,但是每组曝光参数中各参数的参数值是不同的。例如,在所述两组或两组以上的曝光参数中,其中一组曝光参数的曝光时间可以是50ms,感光度可以是20,而另一组曝光参数的曝光时间可以是100ms,感光度可以是10。此外,所述目标参数组合对应的图像可以是所述两张或两张以上图像中图像质量最好(即在所述评测过程中得分最高)的图像。
结合第一方面,在一种可能的实施方式中,所述两组或两组以上曝光参数包括第一曝光参数和至少一组第二曝光参数,所述第一曝光参数为根据电子设备的抖动信息和第一图像的亮度信息查询曝光表得到的曝光参数,所述第一图像为当前显示在屏幕的预览框中的图像对应的RAW格式图像;所述获取两组或两组以上曝光参数包括:获取所述第一曝光参数的曝光总量;基于所述第一曝光参数的曝光总量,得到所述至少一组第二曝光参数,所述至少一组第二曝光参数中任意一组曝光参数的曝光总量与所述第一曝光参数的曝光总量相同。
可以理解的,当电子设备启动摄像功能之后,电子设备的屏幕的预览框中就会显示摄像头所拍摄的画面。在拍摄时,所述预览框中所显示的每一帧图像都是电子设备中的sensor所生成RAW图像得到的。一般而言,sensor生成下一帧图像时,其需要利用当前显示在电子设备预览框中的图像对应的RAW格式图像以及电子设备当前的抖动信息,查询曝光表得到下一帧图像需要使用的曝光参数(或者说当前拍摄场景下适用的曝光总量)。在本实施方式中,为了确定适用于当前场景下的曝光总量,即所述两组或两组以上曝光参数的曝光总量,电子设备可以获取该第一图像亮度信息,同时根据其内置的传感器获取其输出所述第一图像时的设备的抖动信息,基于这两个信息查询电子设备中存储的曝光表,得到所述第一曝光参数。可以理解的,所述第一曝光参数的曝光总量即为当前拍摄场景下适用的曝光总量。
在得到上述第一曝光参数的曝光总量后,通过调节上述第一曝光参数中某些参数(例如感光度和曝光时间)的数值,就可以得到与该曝光参数的曝光总量相同的多组曝光参数,即所述两组或两组以上的曝光参数。
可以理解的,由于所述第一曝光参数是基于曝光表获取的,因此其提供的曝光总量与当前拍摄环境的适配度是良好的,基于所述第一曝光参数得到所述两组或两组以上的曝光参数,可以在确保最后所拍的照片的亮度合适的前提下,提升照片的清晰度。
结合第一方面,在一种可能的实施方式中,所述第一曝光参数的曝光时间和感光度分别为第一曝光时间和第一感光度,所述第一曝光参数的曝光总量为所述第一曝光时间和所述第一感光度的乘积;在所述基于所述第一曝光参数的曝光总量,得到所述至少一组第二曝光参数之前,所述方法还包括:根据所述第一曝光时间确定目标组数,所述目标组数为所述至少一组第二曝光参数中曝光参数的数量,所述目标组数与所述第一曝光时间的数值负相关。
在电子设备中,FPS的数值决定了电子设备预览框中相邻显示的两帧图像的时长。一般的,以固定的拍摄模式而言,电子设备拍照时预览流的FPS的数值是不变的,这也就意味着电子设备在进行拍摄时相邻两个预览图像之间的时长是不变的。但是,在电子设备输出相邻两个预览图像的过程中,电子设备中的sensor会一直生成RAW图像,虽然这些RAW图像的曝光时间都不同(即使用的曝光参数是不一样的),但是这些RAW图像的曝光参数都是根据电子设备查询曝光表获得的曝光参数生成的,也就是说sensor生成这些RAW图像时所需要的总的曝光时间,或者说这些RAW图像的数量,一定程度上取决于从曝光表获得的曝光参数中的曝光时间的长短。也就是说,当电子设备查询曝光表获得的曝光参数中的曝光时间越短时,电子设备在输出相邻两个预览图像的这段时间内,电子设备中的sensor就可以生成更多的RAW图像;相应的,电子设备在使用查询曝光表获得的曝光参数生成曝光总量相同的曝光参数时,就可以生成更多组曝光总量相同的曝光参数,并使用这些曝光参数生成RAW图像上。
由于电子设备预设中FPS的数值一般是确定的。因此,在本实施方式中,电子设备在通过曝光表查询到的曝光参数生成多组曝光总量相同的曝光参数时,其生成的曝光参数的数量可以由电子设备当前通过曝光表查询到的曝光参数中曝光时间的数值决定。这样,电子设备就可以根据所述第一曝光时间的自适应调整上述至少一组第二曝光参数中曝光参数的数量。在所述第一曝光时间较短的情况下,电子设备就可以基于所述第一曝光参数获取更多组曝光总量相同的曝光参数,基于这些曝光参数得到更多张图像,并对更多张使用不同曝光参数得到的图像进行评测。这样,电子设备最后确定的目标曝光参数与当前拍摄场景的适配度也会更高,所拍摄的图像也会更清晰。
结合第一方面,在一种可能的实施方式中,所述第一曝光参数的曝光时间和感光度分别为第一曝光时间和第一感光度,所述基于所述第一曝光参数,得到所述至少一组第二曝光参数,包括:按照第一数值依次增大所述第一曝光时间,得到M个曝光时间;再基于所述第一曝光总量,为所述M个曝光时间分别确定相应的感光度,得到M组曝光总量均为所述第一曝光总量的曝光参数;按照第二数值依次减小所述第一曝光时间,得到N个曝光时间;再基于所述第一曝光总量,为所述N个曝光时间分别确定相应的感光度,得到N组曝光总量均为所述第一曝光总量的曝光参数;所述至少一组第二曝光参数包括所述M组曝光总量均为所述第一曝光总量的曝光参数以及所述N组曝光总量均为所述第一曝光总量的曝光参数。
在本实施方式中,曝光参数组合的曝光总量可以量化为曝光参数中的曝光时间和感光度的乘积。在获取所述至少一组第二曝光参数时,电子设备可以基于所述第一曝光时间,按照一定的数值或者比例依次增大和减小所述第一曝光时间,得到多个不同数值的曝光时间,并以所述第一曝光总量为基准,为所述多个不同数值的曝光时间分别确定相应的感光度,得到所述至少一个第二曝光参数。这样,可以使得每组曝光参数中的曝光时间的数值在一定的数值范围内均匀分布,能更大概率的获取到与当前拍摄场景最适配的曝光参数。
结合第一方面,在一种可能的实施方式中,所述第一数值和所述第二数值小于第一阈值。
需理解,上述第一曝光参数是基于曝光表获取的,其与当前拍摄环境的适配度可能不是最优的(或者说在当前拍摄环境下使用第一曝光参数生成的图像可能不是最清晰的),但是上述第一曝光参数与最优曝光参数(或者上述目标曝光参数)之间的差距一般不会太大。因此,在本实施方式中,上述第一数值和上述第二数值可以小于第一阈值。也就是说,上述第一曝光参数和上述至少一组第二曝光参数中,每一组曝光参数的曝光时间之间的差值可以被设定的小一些。这样,可以避免上述至少一组第二参数组合中存在明显不适用的参数组合,节约电子设备在后续处理过程中的处理时间和处理成本。
结合第一方面,在一种可能的实施方式中,所述两组或两组以上曝光参数中每一组曝光参数均包括曝光时间和感光度,所述两组或两组以上曝光参数中每一组曝光参数的曝光时间均不同。
为了量化每组曝光参数的曝光总量,在本实施方式中,所述两组或两组以上曝光参数中每一组曝光参数均包括曝光时间和感光度。此外,由于图像的噪声情况和图像是否存在运动模糊都与图像使用的曝光参数中的曝光时间相关,因此,在本实施方式中,可以将所述两组或两组以上曝光参数中每一组曝光参数的曝光时间均设定为不同的数值,以使得所述两张或两张以上的图像中各图像之间的噪声情况以及图像抖糊的情况可以有区别,以便于电子设备对所述两张或两张以上的图像中图像进行评测。
结合第一方面,在一种可能的实施方式中,所述方法应用于零秒延迟的拍摄模式,所述将所述两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数之后,所述方法还包括:获取第二图像,所述第二图像使用的曝光参数为所述目标曝光参数;对所述第二图像进行图像信号处理,得到第三图像;将所述第三图像显示在所述电子设备的屏幕的预览框中。
在本实施方式中,电子设备的拍摄模式为零秒延迟的拍摄模式。在这种模式下,电子设备会将sensor生成的RAW图像缓存。当用户按下快门的时候,电子设备的系统会计算实际的拍照时间,找出存储在缓存中的相应帧的RAW图像,然后利用该RAW图像进行编码,得到JPEG图像并将其保存到设定的存储区域,以此来实现所拍即所得(也就是按下快门那一刻拍到的照片就是当时所看到的照片)的功能。因此,在本申实施方式中,为了保持ZSL拍摄模式中所拍即所得的功能,所述目标曝光参数的确定过程是在用户按下电子设备的拍摄控件(即快门)之前就已经完成的。
所述第二图像为sensor使用所述目标曝光参数输出的RAW图像。可选的,所述第二图像可以是所述两张或两张以上图像中使用的曝光参数为上述目标曝光参数的图像,即所述两张或两张以上图像中图像质量最好的图像;也可以是电子设备在确定所述目标曝光参数后,使用所述目标曝光参数输出的新的RAW图像,本申请对此不作限定。需理解,所述目标曝光参数已经在前述图像评测的过程中被证实是适用于当前拍摄场景的曝光参数,因此,使用所述目标曝光参数生成的所述第二图像的清晰度可以被认为是足够好的。电子设备可以将上述第二图像进行ISP处理,得到上述第三图像,并将上述第四图像显示在电子设备屏幕的预览框中,作为拍摄时预览框中显示的预览流中的一帧图像。具体的,所述第三图像可以是RGB格式的图像、JPG格式的图像,还可以是其他格式的图像,本申请对此不作限定。这样,可以提升预览框中所显示的图像的清晰度;进一步的当用户按下开门后,电子设备依旧可以立即出图,且最后输出和存储的照片的清晰度可以得到提升。
结合第一方面,在一种可能的实施方式中,所述将所述第三图像显示在所述电子设备的屏幕的预览框中之后,所述方法还包括:响应于用户对拍摄控件的操作,保存所述第三图像。
在所述第三图像被显示在电子设备屏幕的预览框中之后,若用户按下拍摄控件(即快门),则电子设备可以将所述第三图像确定为用户期望拍摄得到的照片,则电子设备可以按照预设的存储路径对所述第三图像进行存储,例如将所述第三图像存储到电子设备的相册中。可选的,在将上述第三图像进行存储之前,电子设备还可以对所述第三图像进行进一步的处理,例如压缩处理后,再将其进行存储。结合前述说明可知,由于所述第三图像对应的RAW图像(即所述第二图像)所使用的曝光参数已经在前述图像评测的过程中被证实是适用于当前拍摄场景的曝光参数,因此基于所述第三图像得到的照片(即所述第三图像)的清晰度也是足够好的。
结合第一方面,在一种可能的实施方式中,所述方法应用于非零秒延迟的拍摄模式,所述获取两组或两组以上曝光参数,包括:在检测到用户对拍摄控件进行操作的情况下,获取两组或两组以上曝光参数;将所述两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数之后,所述方法还包括:将第二图像进行图像信号处理得到第三图像,输出并保存所述第三图像;所述第二图像使用的曝光参数为所述目标曝光参数;或,根据所述两张或两张以上图像中每张图像的图像质量为每张图像设置权重,其中,使用所述目标曝光参数的图像的权重最大;根据所述两张或两张以上图像中每张图像的权重将所述两张或两张以上图像进行叠加处理,得到第四图像;将所述第四图像进行图像信号处理,得到第五图像并保存所述第五图像。
在非零秒延迟的拍摄模式下,电子设备在拍照的时候(即用户按下快门之后的一段时间内)预览是停止的,而且用户按下快门之前预览流中所使用的RAW图像并不会存储在电子设备中,只有在用户按下快门后,电子设备才会存储若干帧的RAW图像并对其进行处理,得到可供用户浏览的图像(例如JPEG格式的图像)。因此,在本申请实施例中,所述两组或两组以上曝光参数的获取过程是在用户按下电子设备的拍摄控件(即快门)之后才开始进行的。
在本实施方式中,上述第二图像为sensor使用上述目标曝光参数输出的RAW图像。具体的,该第二图像可以是上述两张或两张以上图像中使用上述目标曝光参数生成的图像,即上述两张或两张以上图像中图像质量最好的图像。
此外,在本实施方式中,针对单帧出图算法和多帧出图算法之间的差异性,在获取到上述第二图像之后,电子设备可以通过两种不同的方式对该第二图像处理,来得到照片;其中:
第一种方式适用于电子设备仅使用单帧图像出图的情况。在这种情况下,当电子设备在对所述两张或两张以上图像进行评测,确定所述目标曝光参数后,电子设备可以进一步对使用所述目标曝光参数的RAW图像(即所述第二图像)进行进一步处理,得到所述第三图像。可以理解的,所述第三图像即为最后所得的照片,电子设备可以按照预设的存储路径对所述第三图像进行存储,例如将所述第三图像存储到电子设备的相册中。可选的,在将所述第三图像进行存储之前,电子设备还可以对所述第三图像进行进一步的处理(例如压缩处理)后,再将其进行存储。
第二种方式适用于电子设备使用多帧图像出图,通过多帧叠加的方法来对图像进行去噪和消除图像中模糊区域的情况。在这种情况下,电子设备在确定所述目标曝光参数后,电子设备可以将使用所述目标曝光参数的RAW图像(即所述第二图像)作为关键帧(也可以叫参考帧)。在确定参考帧之后,电子设备可以为所述两张或两张以上图像设置权重;其中,所述第二图像作为参考帧,电子设备在为其设置权重时,可以将所述第二图像的权重设定的比其他图像更大。例如,电子设备可以将所述第二图像的权重设定为10,而统一将所述两张或两张以上图像中除所述第二图像外的其他图像的权重设定为5。可选的,电子设备还可以根据上述两张或两张以上图像中每张图像的图像质量为图像设置权重,其中,图像质量越好的图像的权重越大,
接着,电子设备可以按照上述两张或两张以上图像中各图像的权重,对这些图像进行叠加处理得到所述第四图像;并对所述第四图像进行进一步处理(例如ISP处理),得到所述第五图像。可以理解的,所述第五图像即为最后所得的照片。电子设备可以按照预设的存储路径对所述第五图像进行存储,例如将所述第五图像存储到电子设备的相册中。
本实施方式针对非零秒延迟的拍摄模式下电子设备可能使用的出图算法之间的差异性,结合出图算法的特性来对使用所述目标曝光参数得到图像进行处理,在不改非零秒延迟的拍摄模型的特性的情况下,改善了所拍照片的清晰度,也可以提升本申请提供的曝光参数方法的适用范围。
第二方面,本申请实施例提供一种电子设备,所述电子设备包括:一个或多个处理器和存储器;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如第一方面或第一方中任一可能的实现方式中的方法。
第三方面,提供一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如第一方面或第一方中任一可能的实现方式中的方法。
第四方面,提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面或第一方中任一可能的实现方式中的方法。
附图说明
图1为本申请实施例提供的一种确定曝光参数的过程示意图;
图2为本申请实施例提供的一种照片在不同曝光参数下的成像效果的示意图;
图3为本申请实施例提供的一种基于初始曝光参数确定目标曝光参数的过程示意图;
图4为本申请实施例提供的一种电子设备出图的时序示意图;
图5-图8为电子设备本申请实施例提供的一些电子设备在不同拍摄模式下确定目标曝光参数,并使用目标曝光参数输出所拍照片的过程示意图;
图9为本申请实施例提供的一种电子设备的结构示意图;
图10为本申请实施例提供的一种曝光参数的确定方法的流程图;
图11为本申请实施例提供的一种应用于ZSL拍摄模式下的拍照方法的流程图;
图12为本申请实施例提供的一种应用于非ZSL拍摄模式下的拍照方法的流程图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
由于本申请实施例涉及曝光参数的确定方法及电子设备,为了便于理解,下面先对本申请实施例涉及的相关术语进行介绍。
(1)曝光参数、曝光总量和自动曝光(auto exposure,AE)
一个合格照片的基本要求是亮度正确和画面清晰。实际上亮度在一定程度上也直接影响了照片的清晰度。相机控制曝光的最重要的三个参数是光圈、曝光时间、感光度(international organization for standardization,ISO)。其中,光圈和曝光时间是控制进光量的参数,ISO是控制感光面(CMOS)灵敏度的参数。
一般而言,手机摄像头的光圈大小是固定的,所以手机拍照的亮度由曝光时间和ISO来控制。在本申请中,在光圈不变的情况下,一组曝光参数能够达到的曝光总量可以被量化为曝光时间和感光度的乘积;分别使用曝光总量相同的两组曝光参数来拍照,得到的两张照片的整体亮度是一样的。例如,使用曝光时间10ms + ISO 1000的曝光参数和曝光时间5ms + ISO 2000 的曝光参数来拍照,所得到两张照片的整体亮度均为10000。
可以理解的,用户虽然可以手动设置光圈、曝光时间、ISO来控制曝光,但是这对用户的专业要求会比较高。因此,现在大部分可拍照的电子设备都已经实现了自动曝光的功能。自动曝光就是电子设备代替用户的操作,自动调节曝光时间、光圈、ISO进行曝光,使得所摄物体亮度正常。科学家认为自然界的平均反射率是18%,这个数值也可以称为18%中间灰度。因此目前大部分的可拍照的电子设备都会统一将图像整体平均亮度设置为18%中间灰度的亮度。有了曝光(曝光总量)的标准,就可以确立曝光目标,并在电子设备中通过自动曝光算法来实现设备的自动曝光。
(2)曝光表
结合前述说明可知,在知道了平均亮度后和标准的18%灰做差,就可以通过调节曝光时间、ISO来进行曝光。当计算出一个曝光总量,曝光参数很多种组合方式。因此,一般情况下,可拍照的电子设备中会均预先存储固定的曝光表(或者曝光线图),曝光表中记载了曝光总量和曝光参数之间的映射关系,每个曝光总量都会对应一组具体的曝光参数。
具体的,可拍照的电子设备可以通过其内置的传感器获得的亮度、动态范围、手机抖动等信息作为输入,计算得到平均亮度后,再查询曝光表得到最合适的曝光参数。
(3)噪声和运动模糊
图像噪声是图像中一种亮度或颜色信息的随机变化(被拍摄的物体本身并没有),通常是电子噪声的表现。它一般是由扫描仪或数码相机的传感器和电路产生的,也可能是受胶片颗粒或者理想光电探测器中不可避免的散粒噪声影响产生的。图像噪声是图像拍摄过程中不希望存在的副产品,给图像带来了错误和额外的信息。图像噪声的强度范围可以从具有良好光照条件的数字图片中难以察觉的微小的噪点,到光学天文学或射电天文学中几乎满画幅的噪声,在这种情况下(图像中的噪声水平过高,以至于无法确定其中的目标是什么),只能通过非常复杂的手段获取到一小部分有用信息。
运动模糊是图像的一种模糊形式。运动模糊产生是因为在一次曝光时间内,由于运动使得整个场景或者拍摄目标产生了拖影。运动的产生主要是因为两个因素,一是拍摄目标的快速移动,二是拍摄过程中照相机本身的晃动。尤其在低照度环境下,这个问题会变得更加突出,因为光线较暗的时候,需要通过较长的曝光时间来获得高信噪比、亮度适中的图像,这就需要增加曝光的时间。然而,在长曝光情况下很难保持手持照相机的稳定。一旦照相机因为某种原因发生抖动,被拍摄的目标本身的像素会在运动的反方向出现多个像素的拖影,去除运动模糊的目标就是要将这些拖影去除。
一般而言,曝光时间越长,拍摄得到图像噪声情况越好,但是曝光时间越长,运动模糊产生的概率也越高。
(4)RAW格式
RAW是未经处理、未经压缩的格式,即原始图像编码数据(数字底片),RAW格式常见后缀包括.ARW、.SRF、.SR2、.crw、.cr2、.cr3等。RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据,是sensor输出的数据格式;而RAW文件是一种记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据文件。
需理解的是,RAW图像一般不会直接呈现在电子设备的显示屏中,因为人眼通常没有办法直接从RAW图像中直观地得到场景信息的,这是以为内CMOS传感器普遍是单通道的图像传感器,每个像素只记录了一个通道信号。需要对RAW图像进行包括白平衡矫正、色空间转换、色调映射在内的一系列操作,才可以得到最终呈现在电子设备显示屏上的图像。
(5)图像质量评价(image quality assessment,IQA)
IQA是图像处理中的基础技术之一,主要通过对图像进行特性分析研究,然后评估出图像优劣(图像失真程度)。在评估的过程中,图像清晰度是最重要的参考因素。而图像清晰度最重要的两个指标就是图像的噪声情况和是否存在模糊区域。因此,在本申请中,在对所拍照片进行IQA处理时,可以重点从图像清晰度所涉及的这两个指标来进行评估,噪点情况越好的、图像模糊区域越少的照片IQA处理后对应的分数也越高。
(6)零秒延迟(zero shutter lag,ZSL)
在日常生活中,使用手机camera拍照的时候往往会有一些延迟的体验。ZSL是一种拍照模式,这种拍照模式就是为了消除这种延迟,提供一种“拍即视”的体验而被开发出来。
在非ZSL模式下,电子设备开始预览,出预览帧;当用户按下快门的时候,预览流将被停止,同时电子设备需要进行要做一系列的动作,包括af对焦,准备拍照,曝光,拍照流数据回调,这个时候所得的图像为RAW图像。之后再对RAW图像进行编码,得到JPEG图像并将其保存到设定的存储区域。此时拍照完成,重新开始预览。也就是说,在非ZSL模式下,在拍照的时候预览是停止的,而且预览流中所使用的RAW图像并不会存储在电子设备中,只有在用户按下快门后,电子设备才会存储若干帧的RAW图像并对其进行处理,得到可供用户浏览的图像(例如JPEG格式的图像)。
而在ZSL模式下,当电子设备开始预览后,sensor所产生的raw图会被存储在缓存中。当用户按下快门的时候,设备的系统会计算实际的拍照时间,找出存储在缓存中的相应帧的RAW图像,然后利用该RAW图像进行编码,得到JPEG图像并将其保存到设定的存储区域。也就是说,在ZSL模式下,在拍照的时候预览可以不停止,而且预览流中最近所使用的RAW图像会存储在缓存中,在用户按下快门后,系统可以计算出延迟时间(也就是用户实际希望拍摄的时间与用户实际按下快门的时间之间的时间差,即用户的反应时间),然后把某个帧认作是拍照实时的那帧图像,并对其进行处理,得到可供用户浏览的图像(例如JPEG格式的图像)。
(7)每秒传输帧数(frames per second,FPS)
FPS是图像领域中的定义,是指画面每秒传输帧数,通俗来讲就是指动画或视频的画面数。FPS是测量用于保存、显示动态视频的信息数量。每秒钟帧数越多,所显示的动作就会越流畅。通常,要避免动作不流畅的最低是30。某些计算机视频格式,每秒只能提供15帧。
电影以每秒24张画面的速度播放,也就是一秒钟内在屏幕上连续投射出24张静止画面。有关动画播放速度的单位是fps,其中的f就是英文单词Frame(画面、帧),p就是per(每),s就是second(秒)。用中文表达就是多少帧每秒,或每秒多少帧。电影是24fps,通常简称为24帧。不难理解的,FPS的数值越高,电子设备屏幕上相邻播放或者显示的两个帧图像之间的时间间隔就越短。例如20fps表示以每秒20张画面的速度播放,则相邻播放的两个画面之间的时间间隔即为1/20秒,也就是50ms。
(8)图像处理(image signal processor,ISP)
ISP目的是对光学传感器输出的Raw图像进行信号处理,使之成为符合人眼真实生理感受的信号,并加以输出。ISP主要的功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等,依赖于ISP才能在不同的光学条件下都能较好的还原现场细节,ISP技术在很大程度上决定了摄像机的成像质量。
(9)多帧图像去噪
现有的可拍照电子设备大多使用多帧叠加的方法来对图像进行去噪和消除运动模糊。在多帧场景中,在不同帧的类似像素点位置,总是能够找到类似的像素点。我们可以为这些图像设置相应的权重,并通过图像中这些像素点进行加权平均,来得到较为干净、清晰的图像。
具体的,在多帧图像去噪的场景中,每张图像的权重可以不相同;其中,权重最大的图像可以被称为“参考帧”或者“关键帧”。
如今图像的拍摄已经成为我们日常生活和娱乐中不可或缺的一环。在图像的拍摄过程中,曝光参数是图像的清晰度的重要决定因素。现如今,电子设备会根据传感器获得的亮度、动态范围以及设备抖动等信息,查询内部预先存储的曝光表来为用户确定拍照时的曝光参数。
图1为本申请实施例提供的一种确定曝光参数的过程示意图。
如图1所示,该过程主要由电子设备中的sensor以及处理器完成。sensor是摄像机的核心部件,作用是将光信号转换成电信号,方便处理和存储。结合前述说明可知,为了贴近人类的视觉特性,目前大部分的可拍照的电子设备都会统一将图像整体平均亮度设置为18%中间灰度的亮度,我们可以将这个亮度称为“标定亮度”。在确定曝光参数的过程中,首先sensor会输出RAW图像。电子设备中的处理器在获取到该RAW图像之后,处理器会计算该RAW图像的平均亮度;之后,处理器可以进一步计算出该RAW图像的平均亮度和上述标定亮度之间的差距,并根据这个差距得到当前场景下拍照场景图像场景下图像需要的曝光总量,最后通过查询电子设备中预先存储的曝光表得到与该曝光总量对应的曝光参数,即图1中所示的曝光参数AE 10。之后处理器可以将曝光参数AE 10回传给sensor,这时sensor就能使用曝光参数AE 10输出新的RAW图像,新的RAW图像的曝光度就会更好,那么基于新的RAW图像得到的最终展示给用户的图像也会更清晰。
由于在拍照过程(这里特指用户手持电子设备拍照的过程)中,拍照设备的抖动是不可避免的。而结合前述说明可知,图像产生运动模糊的原因在于图像的曝光时间过长。因此,进一步的,在通过查询曝光表得到上述新的曝光参数AE 10的情况下,为了降低图像发生模糊的概率,在将曝光参数发送给sensor之前,处理器可以基于设备的抖动信息(该抖动信息可以是sensor上的搭载的运动传感器获取的),将新的曝光参数AE 10再次进行调整,也就是降低曝光参数曝光时间的数值,得到另一组新的曝光参数,即图1中所示的曝光参数AE 20,再将曝光参数AE 20回传给sensor,这时sensor就能使用曝光参数AE 20输出新的RAW图像。
具体的,在曝光参数AE 10中,感光度为ISO 10,曝光时间为expo 10;在曝光参数AE 20中感光度为ISO 20,曝光时间为expo 20,且expo 10的数值大于expo 20的数值。需要说明的是,在曝光参数AE 10中,“ISO 10”表示某个具体的感光度的数值,其中“ISO”表示感光度,而后缀“10”只是该参数的编号,并不代表曝光参数AE 10中感光度的数值被设定为10;“expo 10”表示某个具体的曝光时间的数值,其中“expo”表示曝光时间,后缀“10”并不代表曝光参数AE 10中曝光时间的数值被设定为10。也就是说,“ISO 10”的具体数值可以为1000、2000,也可以为其他数值;而“expo 10”的具体数值可以为5、10、20,也可以为其他数值。同理,在本申请实施例以及后续实施例中,除非特别说明,“ISO”后所接的数字和“expo”后所接的数字均为该参数的编号,并不代表具体的感光度数值或具体的曝光时间的数值。
虽然电子设备能通过曝光表得到合适的曝光参数,但是曝光表中曝光参数都是固定不变的。因此,对于不同的拍摄场景和拍摄目标,即使它们的曝光需求相同(即需要的曝光总量相同),使用曝光表提供的曝光参数可能并不会完全适用。例如,假设用户在不同的时刻分别对静止的物体和移动的物体进行拍照,且在这两种场景下电子设备场景的亮度是一样的,那么根据前述说明可知,在这两种场景下,电子设备所计算出的图像所需的曝光量是相同的,那么其查询曝光表之后,得到的曝光参数也是相同的;而实际上,在拍摄移动的物体时,适合使用较短的曝光时间才能保证所拍图像不会产生模糊,而在拍摄静止的物体时,却更适合使用较长的曝光时间来尽可能减少图像中的噪点。
此外,在基于电子设备的抖动信息进行进一步降曝的过程中,电子设备的抖动方向和幅度其实是存在多种可能性的,但是通过曝光表得到的曝光参数并没有考虑电子设备的抖动方向和抖动幅度对图像清晰度造成的影响,因此通过曝光表得到的固定的曝光参数可能最后并不适用于用户当前的拍摄场景,最后所拍得的图像可能也不够清晰。
针对上述缺陷,本申请提供了一种曝光参数的确定方法和电子设备,该方法可以根据电子设备中预设曝光表获得的曝光参数,生成多组曝光总量相同的曝光参数,并使用这些曝光参数分别出图;然后根据不同曝光参数下所得图像的优劣程度确定最终使用的曝光参数,可以让电子设备有更好的拍照效果,使拍得的图像更清晰。
图2为本申请实施例提供的一种照片在不同曝光参数下的成像效果的示意图。
如图2所示,图像201、图像202以及图像203为电子设备使用不同的曝光参数进行拍摄得到的图像。其中,图像201使用的曝光参数AE 1中,感光度为ISO 1,曝光时间为expo1;图像202使用的曝光参数AE 2中,感光度为ISO 2,曝光时间为expo 2;图像203使用的曝光参数AE 3中,感光度为ISO 3,曝光时间为expo 3。此外,这三组曝光参数所提供的曝光总量都是相同的,即ISO 1×expo 1= ISO 2×expo 2=ISO 3×expo 3。
从图2中可以看出,即使图像201-图像203所使用的曝光参数提供的曝光总量一样,但是由于拍摄图像时所使用的曝光时间和感光度之间的差别,这三张图像最后呈现出来的效果是不一样的。其中:
使用曝光参数AE 1拍摄得到的图像201的噪点情况较差,其存在大量大小不一的糙点,使得图像的颗粒感比较严重,图像看起来过于粗糙。其可能是因为曝光参数AE 1中的感光度ISO 1的数值过高,而曝光时间expo 1的数值过低导致的。
使用曝光参数AE 2拍摄得到的图像202噪点情况较好,且图像中并不存在明显的模糊区域,图像整体看起来光滑清晰。表示在该场景下曝光参数AE 2中的感光度ISO 2的数值和曝光时间expo 2的数值均处于合适的范围,曝光参数AE 2为当前拍摄场景下较为合适的曝光参数。
使用曝光参数AE 3拍摄得到的图像203中存在虚影,图像中物体的轮廓边界模糊,图像,图像抖糊,并不清晰。其可能是因为曝光参数AE 3中的感光度ISO 3的数值过低,而曝光时间expo 3数值过高导致的。
需要说明的是,图像的噪点情况和是否存在模糊区域是图像质量的一个重要评估指标。目前,图像质量评价可以通过电子设备来完成。电子设备可以依据模型给出的量化指标,模拟人类视觉系统感知机制来衡量图像质量。一般而言,图像越清晰的图像的质量越好,电子设备对图像进行评估时,图像的得分也会越高。以图像201-图像203为例,如果对图像201-图像203进行图像质量评估,则图像202的得分应该是最高的。
本申请提供的曝光参数的确定方法和电子设备就是通过电子设备中预设曝光表,根据其获得的亮度、抖动信息等参数对曝光表进行查询,得到与当前亮度和抖动信息对应的一组曝光参数;之后电子设备可以根据这组曝光参数进行调整,生成多组曝光总量相同的曝光参数,再使用这些曝光参数生成图像(这里所说的图像并非是展示在电子设备屏幕中预览框中的预览图像,而是sensor输出的原始图像,例如RAW图像),最后对些图像进行图像质量评估,将评估分数最好或者较好的图像对应的曝光参数确定为目标曝光参数,并将使用目标曝光参数生成的图像进行处理后显示在电子设备屏幕中的预览框中。这样,可以让电子设备有更好拍照效果,使拍得的图像更清晰。
首先,先介绍从曝光表所得的曝光参数得到最后使用的曝光参数的过程进行说明,请参阅图3。
图3为本申请实施例提供的一种基于初始曝光参数确定目标曝光参数的过程示意图。
如图3所示,曝光参数AE 30即为电子设备通过曝光表得到的初始曝光参数。在曝光参数AE 30中,感光度为M,曝光时间为N,结合前述说明可知,曝光参数AE 30提供的曝光总量为M•N,其中“•”表示乘积运算。曝光参数AE 301-AE 304可以是电子设备在保持曝光总量不变的情况下,调整曝光参数AE 30中的感光度和曝光时间得到的不同的曝光参数。除了图3中示出的曝光参数AE 301-AE 304之外,电子设备还可以得到其他的多组曝光总量相同的曝光参数。
具体的,为了确保曝光总量不变,在基于曝光参数AE 30得到多组曝光总量与曝光参数AE 30相同的曝光参数时,电子设备可以按照一定的比例或者数值适当降低曝光时间,并相应地提高感光度,得到多组曝光总量均为M•N的曝光参数。为了选出更贴近当前场景的曝光参数,电子设备同时还可以按照一定的比例或者数值适当增加曝光时间,并相应地降低感光度,得到另外多组曝光总量均为M•N的曝光参数。
例如,电子设备可以先以曝光参数AE 30中的曝光时间N为基准,下调10%的曝光时间(即0.9N),同时为了维持曝光总量为M•N不变,电子设备可以再以曝光参数AE 30中的感光度M为基准,上调11%的感光度(即1.11M),得到曝光参数AE 303,其曝光总量也为M•N(需要说明的是,曝光参数AE 303实际上的曝光总量为0.9M•1.11N=0.999MN,可以近似认为是M•N,下同)。同理,电子设备可以以曝光参数AE 30中的曝光时间N为基准,下调20%的曝光时间(即0.8N),同时再以曝光参数AE 30中的感光度M为基准,上调25%的感光度(即1.25M),得到曝光参数AE 304,其曝光总量也为M•N。以此类推,电子设备就可以得到多组曝光时间的数值比M高,感光度的数值比N低,但是曝光总量为M•N的曝光参数。
再例如,电子设备可以先以曝光参数AE 30中的曝光时间N为基准,上调11%的曝光时间(即1.11N),电子设备可以再以曝光参数AE 30中的感光度M为基准,下调10%的感光度(即0.9M),得到曝光参数AE 302,其曝光总量也为M•N。同理,电子设备可以以曝光参数AE30中的曝光时间N为基准,上调25%的曝光时间(即1.25N),同时再以曝光参数AE 30中的感光度M为基准,下调 20%的感光度(即0.8M),得到曝光参数AE 301,其曝光总量也为M•N。以此类推,电子设备就可以得到多组曝光时间的数值比M低,感光度的数值比N高,但是曝光总量也为M•N的曝光参数。
需要说明的是,图3仅示例性的示出了电子设备基于曝光表得到的原始曝光参数得到多组曝光总量相同的曝光参数的过程。此外,电子设备还可以基于曝光表输出的原始曝光参数得到多组曝光总量相同的曝光参数的数量可以为3组、5组或其他数量,本申请对此不做限定。或者,电子设备还可以以其他的调整方式得到多种曝光参数,电子设备可以按照相同的比例依次降低或者提高曝光参数AE 30中的曝光时间N,并以调整后的曝光时间为基准,在保证曝光总量为M•N不变的情况下,得到与调整后的曝光时间相对应的感光度,以此生成多组曝光总量为M•N的曝光参数。
之后,电子设备可以使用相应的评测算法对使用上述曝光参数生成的图像进行评估,得到每组曝光参数对应的图像的具体分数。示例性的,电子设备可以使用IQA算法分别对上述曝光参数生成的图像进行评估,得到如图3所示出的分数。其中,曝光参数30对应的图像所得的分数为S3,曝光参数301-304对应的图像所得的分数分别为S1、S2、S4和S5。结合前述说明可知,这些分数的高低有一定程度上反映了图像的清晰度。因此,电子设备可以进一步比较这些分数的数值,并将得分最高的图像对应的曝光参数作为目标曝光参数AEtarget,并将使用目标曝光参数AEtarget生成的图像进行处理后显示在电子设备的屏幕中的预览框中。例如,假设使用曝光参数AE 1生成的图像为所有曝光参数生成的图像中的得分最高的,那么图3中的ISOtarget的具体数值即为0.8M,expotarget的具体数值即为1.25N,最后电子设备则会使用AE 1生成的RAW图像进行处理(例如ISP处理),得到最后用于展示给用户的图像。
接下来结合图4电子设备确定目标曝光参数,并使用目标曝光参数输出所拍图像的过程进行说明。
图4为本申请实施例提供的一种电子设备出图的时序示意图。如图4所示,时间轴04表示电子设备拍摄过程的时序,垂直于时间轴04的虚线与对应时间轴的交点表示该时间轴04上的某个时刻,其可以用小写字母t加上具体的下标表示,例如图4中所示t41时刻或t42时刻;可以理解的,在时间轴41上,按照时间轴的指向,越往右的时刻越晚,例如t42时刻发生在t41时刻之后。在时间轴上的图像表示电子设备中的sensor生成的RAW图像,同理,越往右的图像的生成时刻越晚,例如图像401的生成时间在图像400的生成时间之后。
由图4可知,在t41时刻,电子设备中的sensor生成了图像400,图像400为RAW格式的图像。需要说明的是,电子设备中可以存储有一个默认曝光参数,如果t41时刻为用户启动电子设备的摄像功能的时刻,则图像400所使用的曝光参数AE 40可以是上述默认曝光参数;如果t41时刻不是用户启动电子设备的摄像功能的时刻,则在电子设备的sensor输出图像400之前,电子设备中的屏幕中就已经显示有预览图像了,这里假设在t41时刻之前电子设备屏幕中所显示的最新一帧预览图像对应的RAW格式图像为图像409(图4中未示出),则电子设备可以获取图像409的亮度信息、以及在生成图像409时电子设备的抖动信息,并通过这两个信息查询曝光表,得到图像400所使用的曝光参数,即图4中所示的曝光参数AE 40。之后,电子设备可以基于曝光参数AE 40,得到多个与曝光参数40的曝光总量相同的曝光参数(具体可以参考前述对图3的相关说明,此处不再赘述),即图4中所示的曝光参数AE 41和AE42。
在生成图像400之后,电子设备中的sensor可以使用曝光参数AE 41和曝光参数AE42输出RAW格式的图像401和图像402。结合前述说明可知,图像400-图像403的所使用曝光参数提供的曝光总量是一样的,那么这三张图像的平均亮度也是一样的(或者说给人的观感是一样的亮度),但是由于这三张图像所使用的曝光参数中,每组曝光参数的曝光时间和感光度都是不一样的,则这三张图像的噪点情况以及图像中是否存在模糊的情况都是不一样的,这也就决定了这三张图像的清晰度是有存在差异的。
因此,进一步的,电子设备可以通过相应的评测算法,对图像400-图像403的图像质量(或图像的清晰度)进行评估。具体的,电子设备可以基于图像400-图像403中每张图像的噪点情况、是否存在运动模糊等维度中的一个或多个维度进行评测,来对图像的图像质量进行评分,将得分最高的图像所使用的曝光参数确定为目标曝光参数。最后电子设备中的sensor可以使用该目标曝光参数生成新的RAW图像,并对该新的RAW图像进行进一步的处理(例如ISP处理),得到最后展示在电子设备屏幕中预览框中的预览图像。可选的,在得到图像400-图像403中每张图像的评分之后,对于评分最高的图像,电子设备可以无需再次使用该图像对应的曝光参数生成新的RAW图像,而是直接对上述评分最高的图像进行进一步的处理,得到最后展示在电子设备屏幕中预览框中的预览图像。例如,在图4中,在t42时刻,电子设备已经基于IQA评测算法或IQA评测模型完成对图像400-图像401进行评估,将得分最高的图像401所使用的曝光参数AE 41确定为目标曝光参数,并将使用该目标曝光参数AE41生成新的RAW格式的图像403(图像403并不是图像401),再对图像403进行进一步的处理,将之后所得的图像展示在电子设备的预览框中。可选的,电子设备也可以直接对得分最高的图像401进行进一步的处理(即图像403就是图像401),将之后所得的图像展示在电子设备的预览框中。这样,可以使得电子设备基于当前拍摄场景为用户提供合适曝光参数,使得用户拍摄的图像更清晰。
在一个可选的实施方式中,在获取到图像400-图像403之后,电子设备也可以先对图像400-图像403进行ISP处理之后,再通过相应的评测算法或者评测模型对所得的图像进行评测。
需理解,图4中所示出的图像400-图像403中,并非所有的图像都会被电子设备进一步处理后显示在电子设备的屏幕中。实际上,在本申请中,由于电子设备对图像进行评估的过程需要耗费一定的时间,因此,在电子设备通过曝光表查询到曝光参数AE 40之后,电子设备中的sensor可以使用曝光参数AE 40生成相应的图像,即图4中图像400,之后电子设备在对图像400进行进一步的处理,并将处理后得到的图像展示在预览框中。而通过对曝光参数AE 40进行调整功能所得到的曝光参数AE 41和曝光参数AE 42,虽然电子设备中的sensor也会使用这些曝光参数生成图像401和图像402,但是这些图像仅会被存储在电子设备的缓存中,在图像评测完成之前,电子设备并不会对图像401和图像402进行处理得到可以用于展示在预览框中的预览图像。需要说明的是,在t41时刻-t42时刻或者是t43时刻-t44时刻这段T1时长内,因为T1时长的数值实际上为毫秒级别,因此在这段时长内设备的拍摄场景可以认为是固定不变的,因此拍摄时所需要的最合适的曝光总量也是不变的。此外,因为T1时长的数值为毫秒级别,当预览框中的预览图像从图像400所得的JPEG图像切换到图像403所得JPEG图像时,对于人眼来说,这种切换过程也是流畅的。这样,在节约电子设备处理成本的同时,也可以保证拍摄时预览框中所显示的画面流程自然。
在一个可选的实施方式中,电子设备在通过曝光表查询到的曝光参数生成多组曝光总量相同的曝光参数时,其生成的曝光参数的数量可以不同,该数量可以由电子设备预设的FPS的数值和电子设备当前通过曝光表查询到的曝光参数中曝光时间的数值决定。结合前述说明可知,FPS的数值决定了电子设备预览框中相邻显示的两帧图像的时长。一般的,以固定的拍摄模式而言,电子设备拍照时预览流的FPS的数值是不变的,这也就意味着电子设备在进行拍摄时相邻两个预览图像之间的时长是不变的。但是,由前述说明可知,在电子设备输出相邻两个预览图像的过程中,电子设备中的sensor会一直生成RAW图像,虽然这些RAW图像的曝光时间都不同(即使用的曝光参数是不一样的),但是这些RAW图像的曝光参数都是根据电子设备查询曝光表获得的曝光参数生成的,也就是说sensor生成这些RAW图像时所需要的总的曝光时间,或者说这些RAW图像的数量,一定程度上取决于从曝光表获得的曝光参数中的曝光时间的长短。也就是说,当电子设备查询曝光表获得的曝光参数中的曝光时间越短时,电子设备在输出相邻两个预览图像的这段时间内,电子设备中的sensor就可以生成更多的RAW图像;相应的,电子设备在使用查询曝光表获得的曝光参数生成曝光总量相同的曝光参数时,就可以生成更多组曝光总量相同的曝光参数,并使用这些曝光参数生成RAW图像上。这样,电子设备就可以对更多张使用不同曝光参数得到的图像进行评测,则电子设备最后确定的目标曝光参数与当前拍摄场景的适配度也会更高,所拍摄的图像也会更清晰。
以图4中t41时刻至t42时刻这段时长内电子设备确定目标曝光参数、和t43时刻至t44时刻这段时长内电子设备确定目标曝光参数的过程为例进行说明。这里假设图像400和图像403为电子设备在t41时刻和t42时刻输出的相邻的两个预览图像对应的RAW图像,图像404和图像408为电子设备在t43时刻至t44输出的相邻的两个预览图像对应的RAW图像,且图像400所使用的曝光时间expo 400大于图像404所使用的曝光时间expo 404。则结合前述说明可知t41时刻至t42时刻这段时长以及t43时刻至t44时刻这段时长相等,均为T1时长。电子设备在基于曝光参数AE 40衍生出多组曝光参数时,由于T1时长是固定的,在曝光参数AE 40中曝光时间expo 400较大的情况下,为了能保证预览框中预览流的流畅性,则电子设备基于曝光参数AE 40只会衍生出两组曝光参数,即AE 41和AE 42;相应的,在t41时刻至t42时刻这段时长内,电子设备只会使用这三组曝光参数生成RAW图像(即图像400-图像403),并对使用这三组曝光参数得到的RAW图像进行评测,得到这段时长内适用的目标曝光参数AE 41。但是在后续的拍摄过程中,由于expo 400> expo 404,则电子设备在基于曝光参数AE 44衍生出多组曝光参数时,则电子设备基于曝光参数AE 40可以衍生出三组曝光参数,即AE 45、AE 46和AE 47,相应的在t44时刻至t45时刻这段时长内,电子设备会使用这三组曝光参数生成RAW图像,并对使用这四组曝光参数得到的RAW图像(即图像404-图像407)进行评测,得到这段时长内的目标曝光参数AE 44。
可以理解的是,图4仅仅示例性示出了电子设备确定目标曝光参数,并使用目标曝光参数输出所拍图像的过程,不应构成对本申请实施例的限定。
可以理解的,目前具备摄像功能的电子设备的品种繁多,且不同的电子设备的性能以及其使用的图像算法可能不同。例如,有些电子设备可以提供ZSL的拍照模式,但是有些电子设备却只能提供非ZSL的拍照模式。再比如,在用户拍照按下快门后,有些电子设备在对图像处理时会使用多帧图像叠加去噪的方法得到最后所得的照片,以改善最后所得的照片的噪点情况,但是有些电子设备却不会使用多帧图像叠加去噪,而是仅使用单帧图像生成最后所得的照片。
因此,针对不同电子设备在性能上的差异,并结合前述对图4的相关说明,接下来将具体介绍电子设备在ZSL拍摄模式下以及非ZSL模式下确定目标曝光参数,并使用目标曝光参数输出所拍图像的过程。
1)ZSL拍摄模式下
结合前述说明可知,在ZSL拍摄模式下,当电子设备开始预览后,sensor所产生的raw图像会被存储在缓存中。因此,在ZSL拍摄模式下,当用户按下快门的时候,电子设备的系统会计算实际的拍照时间,找出存储在缓存中的相应帧的RAW图像,然后利用该RAW图像进行编码,得到JPEG图像并将其保存到设定的存储区域。也就是说,在ZSL拍摄模式下,用于生成照片的图像是在用户按下快门之前就已经通过sensor生成且存储在电子设备缓存中的RAW图像。
针对ZSL拍摄模式的特性并结合本申请提供的曝光参数的确定方法,本申请提供了在ZSL拍摄模式下电子设备确定目标曝光参数,并使用目标曝光参数输出所拍图像的两种过程。第一种方式是电子设备在拍照预览的过程中,间断性地通过图像评测来确定目标曝光参数;即在一段时长足够久的预览过程中,电子设备可以间歇性的在多个时间段内通过图像评测来确定目标曝光参数,在剩余时间段内不通过图像评测,而是直接将通过曝光表获取的曝光参数作为目标曝光参数。第二种方式是电子设备在预览的过程中一直不间断的通过图像评测来确定目标曝光参数。可以理解的,本申请提供的曝光参数的确定方法在执行的时候需要耗费异一定的时间。在ZSL模式下,虽然第一种方式虽然无法如第二种方式那样保证用户拍摄照片所用的曝光参数的适合程度和照片的清晰度,但是这对电子设备处理器的性能要求也会减小,可以节约电子设备在拍摄过程中的处理成本。而第二种方式对电子设备的算力会有更高的要求,但是可以在极大程度上保证用户拍摄照片所用的曝光参数的适合程度和照片的清晰度。
图5示出了在ZSL拍摄模式下,电子设备间断性地通过图像评测来确定目标曝光参数,并使用目标曝光参数输出所拍图像的过程。图5中时间轴05、各个时刻和时长的具体含义可以参考前述对图4的相关说明,这里不再赘述。
如图5所示,在t51时刻,电子设备中的sensor生成了图像500,图像500为RAW格式的图像,其使用的曝光参数为AE 50。曝光参数AE 50为电子设备基于曝光表查询到的曝光参数;具体的,曝光参数AE 50的获取方式可以参考前述对曝光参数AE 40获取方式的相关说明,本申请实施例以后后续实施例不在赘述。在基于曝光表得到曝光参数AE 50之后,电子设备可以基于曝光参数AE 50,得到多个与曝光参数AE 50的曝光总量相同的曝光参数,(具体可以参考前述对图3和图4相关说明,本申请实施例以及后续实施例不再赘述),即图5中所示的曝光参数AE 51和AE 52。之后,在t51时刻-t52时刻这段T1时长内,电子设备中的sensor可以使用曝光参数AE 51和曝光参数AE 52生成RAW格式的图像,即图5所示的图像501和图像502;进一步的,电子设备可以通过相应的评测算法,对使用曝光参数AE 50、AE51以及曝光参数AE 52生成的图像500-图像502进行IQA评测,将得分最高的图像使用的曝光参数,即图5中的曝光参数AE 51作为目标曝光参数;最后电子设备中的sensor可以使用曝光参数AE 51生成图像503,并对图像503进行进一步的处理(例如ISP处理),得到最后展示在电子设备屏幕中预览框中的预览图像。
在t52时刻,即电子设备对图像503进行ISP处理后将所得的图像显示在预览框中之后,在接下来的一段时长内,即图5中所示的t52时刻-t53时刻对应的这段T2时长内,电子设备可以不再使用本申请提供的曝光参数的确定方法来确定需要使用的目标曝光参数,而是像原来那样,直接获取电子设备最新显示的预览图像对应的RAW图像的平均亮度和电子设备当前的抖动信息,基于这两者查询曝光表得到相应的曝光参数,并直接将该曝光参数作为目标曝光参数。接下来电子设备可以直接使用基于曝光表得到的目标曝光参数生成RAW图像,并对该RAW图像进一步处理,得到用于展示在预览框中的预览图像。以图5中所示的图像504和图像505为例进行说明,这里假设图像504为电子设备中的sensor在生成图像503之后生成的下一帧图像,那么图像504所使用的曝光参数AE 54可以是电子设备中存储的默认的曝光参数(即电子设备启动摄像功能生成第一帧RAW图像时使用的曝光参数),也可以是通过获取图像503的平均亮度和电子设备在t52时刻时的抖动信息后,基于这两个信息查询曝光表得到的曝光参数;同理,图像505所使用的曝光参数AE 55可以是过获取sensor输出的前一帧图像的平均亮度和在输出上述前一帧图像时的电子设备抖动信息后,基于这两个信息查询曝光表得到的曝光参数。在t52时刻-t53时刻对应的这段T2时长内,若用户按下快门进行拍摄,则电子设备可以使用用户按下快门之前sensor生成的最后一帧RAW图像进行处理,得到最后拍摄所得的照片。
在一个可选的实施方式,T2时长与T1时长之间的差值可以大于一个预设的阈值,例如在T1时长为50ms的情况下,T2时长可以是2s。
接着,在t53时刻-t54时刻对应的这段T1时长内,电子设备可以重新开始通过图像评测的方式来确定目标曝光参数。如图5所示,在t53时刻,电子设备中的sensor生成了图像506,图像506为RAW格式的图像,其使用的曝光参数为AE 56。假设图像505为t52时刻-t53时刻对应的这段T2时长内sensor生成的最后一帧RAW图像,图像506为t53时刻-t54时刻对应的这段T1时长内sensor生成的第一帧RAW图像;则在t53时刻,电子设备可以获取图像505的平均亮度和在生成图像505时候的电子设备抖动信息后,基于这两个信息查询曝光表,得到的曝光参数AE 56。之后,电子设备可以基于曝光参数AE 56,得到多个与曝光参数56的曝光总量相同的曝光参数,即图5中所示的曝光参数AE 57和AE 58。之后,电子设备中的sensor可以使用曝光参数AE 57和曝光参数AE 58生成RAW格式的图像,即图5中的图像507和图像508,并对图像506-图像508进行IQA评测,将得分最高的图像使用的曝光参数,即曝光参数AE 58作为目标曝光参数;最后电子设备中的sensor可以使用曝光参数AE 58生成图像509,并对图像509进行进一步的处理(例如ISP处理),得到最后展示在电子设备屏幕中预览框中的预览图像。
在t54时刻之后的一段时长内,电子设备可以再次使用直接将通过曝光表获得的曝光参数作为目标曝光参数,使用该曝光参数生成RAW图像后对该RAW图像进一步处理,得到用于展示在预览框中的预览图像。具体可以参考前述说明,此处不再赘述。
若在t55时刻,若用户按下快门进行拍摄,则电子设备可以对图像509进行处理(例如ISP处理),得到最后拍摄所得的照片510。
可以理解的是,图5仅仅示例性示出了电子设备在ZSL拍摄模式下,间断性地通过图像评测来确定目标曝光参数,并使用目标曝光参数输出所拍图像的过程,不应构成对本申请实施例的限定。例如,在实际的拍摄场景中,电子设备通过图像评测的方法确定曝光参数的过程中,电子设备每次基于曝光表提供的曝光参数所衍生出的曝光参数的数量可以不同,且如前述说明的那样,该数量可以由电子设备预设的FPS的数值和当前电子设备所使用的曝光参数中曝光时间的数值决定。
本申请实施例通过在拍照预览的过程中,间断性地使用图像评测来确定目标曝光参数,在一定程度上提升了用户所拍照片的清晰度,同时还降低了对电子设备处理器的性能要求,可以节约电子设备在拍摄过程中的处理成本。
图6示出了在ZSL拍摄模式下,电子设备在预览的过程中一直不间断的通过图像评测确定目标曝光参数,并使用目标曝光参数输出所拍图像的过程。图6中时间轴06、各个时刻和时长的具体含义可以参考前述对图4的相关说明,这里不再赘述。
如图6所示,在t61时刻,电子设备中的sensor输出了图像600,图像600为RAW格式的图像,其使用的曝光参数为基于曝光表获取的曝光参数AE 60。之后,电子设备可以基于曝光参数AE 60,得到多个与曝光参数AE 60的曝光总量相同的曝光参数,即曝光参数AE 61和AE 62。之后,在t61时刻-t62时刻对应的这段T1时长内,电子设备中的sensor可以使用曝光参数AE 61和曝光参数AE 62生成的图像601和图像602;进一步的,电子设备可以通过相应的评测算法,对图像600-602进行IQA评测,将得分最高的图像使用的曝光参数,即曝光参数AE 61作为目标曝光参数;最后电子设备中的sensor可以使用曝光参数AE 61生成图像603,并对图像603进行进一步的处理(例如ISP处理),得到最后展示在电子设备屏幕中预览框中的预览图像。
在t62时刻,当sensor生成图像603之后,电子设备可以获取图像603以及电子设备在t62时刻的抖动信息,并根据这两个信息查询曝光表,得到图6中所示的曝光参数AE 63;需要说明的是,电子设备完成这个过程所需的时间(即t62时刻-t63时刻对应的时长)相比与T1时长而言非常的短,因此可以忽略不计。
在得到曝光参数AE 63之后,电子设备可以基于曝光参数AE 63,得到多个与曝光参数AE 63的曝光总量相同的曝光参数,即图6中所示的曝光参数AE 64和AE 65;并基于曝光参数AE 63、AE 64以及AE 65生成多张图像,即图6中的图像604-图像606。进一步的,电子设备可以通过相应的评测算法,对图像604-图像606进行IQA评测,将得分最高的图像使用的曝光参数,即曝光参数AE 64作为目标曝光参数。最后电子设备中的sensor可以使用曝光参数AE 64输出图像607,并对图像607进行进一步的处理(例如ISP处理),得到最后展示在电子设备屏幕中预览框中的预览图像。
同理,在t64时刻-t66时刻对应的这段时长内,电子设备可以获取图像607以及生成图像607时电子设备的抖动信息,并根据这两个信息查询曝光表,得到图6中所示的曝光参数AE 66。之后,电子设备可以以同样的处理方式,在得到曝光参数AE 66之后,衍生出的曝光参数AE 67和曝光参数AE 68,并使用曝光参数AE 66、AE 67以及AE 68生成图像,即图6中的图像608-图像610。之后,电子设备可以对图像608-610进行评测,确定出目标曝光参数,即曝光参数AE 68,并对使用曝光参数AE 68生成的图像611进行处理,在对图像611进行进一步的处理(例如ISP处理)得到用于显示在预览框中的预览图像。以此类推,电子设备就可以不间断的通过图像评测来确定目标曝光参数,并使用目标曝光参数得到用于显示在预览框中的预览图像。
需要说明的是,在预览的过程中,用户可以随时按下快门。在按下快门之后,电子设备可以对按下快门之前预览框中出现的最后一帧预览图像进行处理,得到照片。例如,如果用户在t67时刻按下快门,而t67时刻之前,电子设备展示在预览框中的最后一帧图像是由图像611进行处理得到的图像;则在用户按下快门之后,电子设备将可以对图像611进行ISP处理得到照片612,并按照预设的存储路径存储照片612。
本申请实施例通过在拍照预览的过程中,一直不间断的通过图像评测来确定目标曝光参数,可以进一步保证用户拍摄照片所用的曝光参数的适合程度和照片的清晰度。
2)非ZSL拍摄模式下
结合前述说明可知,在非ZSL拍摄模式下,当电子设备开始预览后,电子设备开始预览,出预览帧;当用户按下快门的时候,预览流将被停止,同时电子设备需要进行要做一系列的动作,包括af对焦,准备拍照,曝光,拍照流数据回调,这个时候所得的图像为RAW图像。之后电子设备再对RAW图像进行编码,得到JPEG图像并将其保存到设定的存储区域。此时拍照完成,重新开始预览。也就是说,在非ZSL模式下,在拍照的时候预览是停止的,而且预览流中所使用的RAW图像并不会存储在电子设备中,只有在用户按下快门后,电子设备才会存储若干帧的RAW图像并对其进行处理,得到可供用户浏览的图像(例如JPEG格式的图像)。
针对非ZSL拍摄模式的特性并结合本申请提供的曝光参数的确定方法,本申请同样提供了两种在非ZSL拍摄模式下电子设备确定目标曝光参数,并使用目标曝光参数输出所拍图像的过程。第一种方式是电子设备在出图的时候仅使用单帧图像出图,则电子设备在使用图像评测确定目标曝光参数后,进一步对使用所述目标曝光参数的RAW图进行进一步处理,得到照片。第二种方式是电子设备在出图的时候使用多帧图像出图,通过多帧叠加的方法来对图像进行去噪和消除运动模糊,在这种情况下,电子设备在使用图像评测确定目标曝光参数后,可以将使用所述目标曝光参数的RAW图作为关键帧(也可以叫参考帧),再将使用其他曝光参数得到的RAW图像与使用所述目标曝光参数的RAW图进行叠加,并对叠加后得到的图像进行进一步处理,得到照片。
图7示出了在非ZSL拍摄模式且仅使用单帧图像出图的情况下,电子设备在通过图像评测确定目标曝光参数后,对使用所述目标曝光参数的RAW图进行进一步处理,得到照片的过程。图7中时间轴07、各个时刻和时长的具体含义可以参考前述对图4的相关说明,这里不再赘述。
由图7可以看出,在t71时刻-t72时刻,即用户按下电子设备的快门之前的这段时间内,电子设备并不会保存sensor输出的图像。因此,在t71时刻之前,电子设备也就无法进行图像的评测,自然也就无需调整曝光参数得到多组曝光总量相同的曝光参数,
在t71时刻,用户按下快门之后,电子设备中的sensor会继续生成并缓存RAW图像。这里假设图7中所示的图像700即为用户按下快门之后电子设备中的sensor生成的第一帧图像,且图像700使用的曝光参数AE 70为通过查询曝光表得到的。在获取到曝光参数AE70。之后,电子设备可以基于曝光参数AE 70,得到多组与曝光参数AE 70的曝光总量相同的曝光参数,即图7中所示的曝光参数AE 71和AE 72。之后,电子设备中的sensor可以使用曝光参数AE 70、AE 71和AE 72生成图像700-图像702。需理解,图像700-702都是保存在电子设备缓存中的图像。
接下来,电子设备可以通过相应的评测算法,对图像700、图像701以及图像702进行IQA评测,将得分最高的图像使用的曝光参数,即曝光参数AE 72作为目标曝光参数。
由前述说明可知,在图像700-图像702中,图像702所使用的曝光参数即为AE 72。因此,最后电子设备可以对图像702进行进一步的处理(例如ISP处理),得到照片704,并存储照片704。或者,在将曝光参数AE 72作为目标曝光参数之后,电子设备中的sensor也可以使用曝光参数AE 72生成一张新的RAW格式的图像(以下将该RAW格式的图像称为图像705,图7中未示出),并对图像705进行进一步的处理(例如ISP处理)得到照片,并按照预设的存储路径存储该照片。
图8示出了在非ZSL拍摄模式且通过多帧叠加的方法出图的情况下,电子设备在使用图像评测确定目标曝光参数后,将使用目标曝光参数的RAW图作为关键帧,再将使用其他曝光参数得到的RAW图像与使用目标曝光参数的RAW图进行叠加,并对叠加后得到的图像进行进一步处理,得到照片的过程。将使用目标曝光参数的RAW图设定为关键帧,可以使得最后所得的照片清晰度进一步提升。图8中时间轴08、各个时刻和时长的具体含义可以参考前述对图4的相关说明,这里不再赘述。
由图8可以看出,在t81时刻之前,即用户按下电子设备的快门之前,电子设备并不会保存sensor输出的RAW图像。在t81时刻,用户按下快门之后,电子设备中的sensor继续输出RAW图像。图8中所示的图像800为用户按下快门之后电子设备中的sensor继续输出的第一帧图像。图像800所使用的曝光参数为AE 80为通过曝光表得到的曝光参数。在得到曝光参数AE 80后,电子设备可以基于曝光参数AE 80,得到多个与曝光参数AE 80的曝光总量相同的曝光参数,即图8中所示的曝光参数AE 81和AE 82。之后,sensor可以使用曝光参数AE80、AE 81以及AE 82生成多张RAW图像,即图像800-图像802。
接下来,电子设备可以通过相应的评测算法,对图像800、图像801以及图像802进行IQA评测,将得分最高的图像,即图像802使用的曝光参数AE 82作为目标曝光参数。并将图像802作为关键帧,相应的将图像802的权重设置为W1,将图像800和图像801的权重分别设置为W0和W2,其中,W1为所有权重中的最大值,即W1>W0且W1>W2。之后,电子设备可以根据图像800-图像802的权重对这三帧图像进行叠加,并对叠加后得到的图像进行进一步处理,得到照片804,并按照预设的存储路径存储该照片。
可选的,在本申请实施例中,在对使用曝光总量相同的曝光参数生成的多张图像进行评测后,电子设备可以根据每张图像的图像质量的好坏(或者说每张图像在评测时所得的分数的高低)为每张图像设置权重,图像质量越好(或者说得分越高)的图像的权重可以被设定的越大。以图8中的图像800、图像801以及图像802为例进行说明,假设图像800、图像801以及图像802这三张图像在图像质量评测时的得分情况分别为70分、80分和80分;则电子设备可以将图像800的权重w0设置为7、将图像801的权重w1设置为8、将图像802的权重w0设置为9。这样,将使用目标曝光参数所得的图像作为关键帧,可以在图像叠加时将图像质量最好的图像为参考,可以进一步提高叠加所得到的照片的清晰度。
接下来,介绍本申请实施例提供的电子设备。
该电子设备以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digitalassistant,PDA)或专门的照相机(例如单反相机、卡片式相机)等,本申请对该电子设备的具体类型不作任何限制。具体的,该电子设备可以是前说说明中的电子设备。
图9示例性示出了该电子设备的结构。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图9所示的更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图9所示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC ,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system ,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
在本申请实施例中,电子设备100中的处理器110还可以电子设备启动拍摄功能后,根据处理器110中内置存储器存储的曝光表,得到一组曝光参数;并基于该曝光参数生成多组曝光总量相同的曝光参数。之后,处理器110可以将这些曝光参数传送给摄像头193;摄像头193再次使用这曝光参数分别出图;然后电子设备100可以根据不同曝光参数下所得图像的优劣程度确定最终使用的曝光参数,可以让电子设备有更好的拍照效果,使拍得的图像更清晰。
图10为本申请实施例提供的一种曝光参数的确定方法的流程图。该方法可以根据电子设备中预设曝光表得到一个曝光总量确定的曝光参数,并对该曝光参数进行调节得到多组曝光总量相同的曝光参数,再使用这些曝光参数分别出图;然后根据不同曝光参数下所得图像的优劣程度确定最终使用的目标曝光参数;在得到目标曝光参数之后,电子设备即可以使用该目标曝光参数输出RAW图像,并进一步将该RAW图像进行处理得到显示在预览框中的预览图像。这样,当用户按下快门后,电子设备会有更好的拍摄效果,拍得的相片也更清晰。如图10所示,本申请实施例提供的曝光参数的确定方法可以包括但不限于以下步骤:
S101、电子设备获取两组或两组以上曝光参数。
上述电子设备可以是前述说明中的电子设备100。
上述两组或两组以上曝光参数中的各组曝光参数的曝光总量相同。
具体的,上述两组或两组以上曝光参数可以包括第一曝光参数和至少一组第二曝光参数。该第一曝光参数为根据电子设备的抖动信息和第一图像的亮度信息查询曝光表得到的曝光参数,该第一图像为当前显示在屏幕的预览框中的图像对应的RAW格式图像。
可以理解的,当电子设备启动摄像功能之后,电子设备的屏幕的预览框中就会显示摄像头所拍摄的画面。而实际上,在拍摄时,上述预览框中所显示的每一帧图像都是电子设备中的sensor所生成RAW图像得到的。假设现在电子设备当前显示在预览框中的图像所对应的RAW图像为上述第一图像,则在本方法中,为了得到下一帧显示在预览框中的图像所需要使用的曝光参数,电子设备可以获取该第一图像亮度信息,同时根据其内置的传感器获取其输出上述第一图像时的设备的抖动信息,基于这两个信息查询电子设备中存储的曝光表,得到上述第一曝光参数。
但是,由于上述第一曝光参数是基于曝光表获取的,而曝光表中所记录曝光总量和曝光参数之间的映射关系是固定的,因此,该第一曝光参数其只能保证提供的曝光总量是适用的,但是,即使上述第一曝光参数与拍摄场景的曝光需求适配,对于不同的拍摄场景和拍摄目标,上述第一曝光参数也不会都适用。因此,如果直接使用上述第一曝光参数作为下一帧显示在预览框中的图像所需要使用的曝光参数,则预览框中的图像的清晰度可能会较差,用户在拍摄时得到的照片的清晰度可能也会较差。
而结合前述说明可知,上述第一图像所使用的第一曝光参数能提供的曝光总量可以被量化为第一曝光参数中感光度和曝光时间之间的乘积。也就是说,通过调节上述第一曝光参数中某些参数(例如感光度和曝光时间)的数值,就可以得到与该曝光参数的曝光总量相同的多组曝光参数,如果使用这多组曝光参数分别生成图像,那么在生成的图像中,每张图像的清晰度可能也是不同的。例如,“曝光时间20ms+感光度50”的曝光参数和“曝光时间50ms+感光度20”的曝光参数所提供的曝光总量是一样的,那么如果电子设备分别使用“曝光时间20ms+感光度50”的曝光参数和“曝光时间50ms+感光度20”的曝光参数生成两张图像,这两张图像的平均亮度是一样的,但是这两张图像的清晰度可能不同。因此,在本方法中,为了提升预览框中的图像以及用户所拍照片的清晰度,挑选出合适的曝光参数,电子设备可以基于上述第一曝光参数(假设第一曝光参数的曝光总量为第一曝光总量)得到多组曝光总量均为第一曝光总量的曝光参数,即上述至少一组第二曝光参数。
在一个可选的实施方式中,电子设备可以按照一定的数值(在本申请实施例中,该数值可以被称为第一数值)或者比例适当降低曝光时间,并相应地提高感光度,得到多组曝光总量均为第一曝光总量的曝光参数;同时,为了选出更适合当前拍摄场景的曝光参数,电子设备还可以按照一定的数值(在本申请实施例中,该数值可以被称为第二数值)或者比例适当增加曝光时间,并相应地降低感光度,得到另外多组曝光总量均为第一曝光总量的曝光参数,以此来得到上述至少一组第二曝光参数。具体可以参考前述对图3的相关说明,此处不再赘述。
需理解,上述第一曝光参数是基于曝光表获取的,其与当前拍摄环境的适配度可能不是最优的(或者说在当前拍摄环境下使用第一曝光参数生成的图像可能不是最清晰的),但是上述第一曝光参数与最优曝光参数(或者上述目标曝光参数)之间的差距一般不会太大。因此,在一个可选的实施方式中,上述第一数值和上述第二数值可以小于第一阈值。也就是说,上述第一曝光参数和上述至少一组第二曝光参数中,每一组曝光参数的曝光时间之间的差值可以被设定的小一些。这样,可以避免上述至少一组第二参数组合中存在明显不适用的参数组合,节约电子设备在后续处理过程中的处理时间和处理成本。
假设上述第一曝光参数中曝光时间的数值为第一曝光时间,则在一个可选的实施方式中,上述两组或两组以上曝光参数中曝光参数的具体数量可以由上述第一曝光时间以及电子设备预设的FPS的数值决定。具体的,上述两组或两组以上曝光参数中曝光参数的具体数量与所述第一曝光时间的数值负相关。结合前述说明可知,FPS的数值决定了电子设备预览框中相邻显示的两帧图像的时长。一般的,以固定的拍摄模式而言,电子设备拍照时预览流的FPS的数值是不变的,这也就意味着电子设备在进行拍摄时相邻两个预览图像之间的时长是不变的。但是,由前述说明可知,在电子设备输出相邻两个预览图像的过程中,电子设备中的sensor会一直生成RAW图像,虽然这些RAW图像的曝光时间都不同(即使用的曝光参数是不一样的),但是这些RAW图像的曝光参数都是根据电子设备查询曝光表获得的曝光参数生成的,也就是说sensor生成这些RAW图像时所需要的总的曝光时间,或者说这些RAW图像的数量,一定程度上取决于从曝光表获得的曝光参数中的曝光时间的长短。也就是说,当电子设备查询曝光表获得的曝光参数中的曝光时间越短时,电子设备在输出相邻两个预览图像的这段时间内,电子设备中的sensor就可以生成更多的RAW图像;相应的,电子设备在使用查询曝光表获得的曝光参数生成曝光总量相同的曝光参数时,就可以生成更多组曝光总量相同的曝光参数,并使用这些曝光参数生成RAW图像上。这样,电子设备就可以对更多张使用不同曝光参数得到的图像进行评测,则电子设备最后确定的目标曝光参数与当前拍摄场景的适配度也会更高,所拍摄的图像也会更清晰。具体可以参考前述对图4的相关说明,此处不再赘述。
S102、电子设备对采用上述两组或两组以上曝光参数生成的两张或两张以上图像进行评测,将该两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数。
可以理解的,在电子设备启动拍摄功能后,电子设备中的sensor会一直输出RAW格式的图像,这些图像并不会直接显示在电子设备的预览框中,需要被进一步处理才能显示预览框中。在本方法中,在得到上述两组或两组以上曝光参数之后,为了确定上述两组或两组以上曝光参数中哪一组曝光参数是最适用于当前拍摄场景的曝光参数,电子设备可以将上述两组或两组以上曝光参数传送给sensor,以便sensor可以使用上述两组或两组以上曝光参数生成多张RAW格式的图像,即上述两张或两张以上图像。
此外,上述两张或两张以上图像所使用的曝光参数的曝光总量是一样的,那么这两张或两张以上图像的平均亮度也是一样的(或者说给人的观感上是一样的亮度)。但是由于上述两张或两张以上图像所使用的曝光参数(即上述两组或两组以上曝光参数)中,每组曝光参数的曝光时间和感光度都是不一样的,则上述两张或两张以上图像的噪点情况以及图像中是否存在模糊的情况也是不一样的,那么上述两张或两张以上图像的清晰度是不一样的。而在这些图像中,并非所有的图像都会被电子设备进一步处理后显示在电子设备屏幕的预览框中。因此,电子设备可以在后续过程中对这些图像的图像质量(即图像是否清晰)进行评测。例如,电子设备可以通过相应的评测算法,对上述两张或两张以上图像的噪点情况、是否存在模糊中等维度中的一个或多个维度进行评测,以此来对图像的清晰度进行评分。而这些图像在评测中的得分情况在一定程度上就能反应该图像使用的曝光参数是否适用于当前的拍摄场景。因此,在对上述两张或两张以上图像的图像质量进行评测之后,电子设备可以将得分最高或者较高的图像所使用的曝光参数确定为目标曝光参数。
具体的,上述评测算法可以为IQA算法,也可以为其他图像评测算法,本申请对此不作限定。
进一步的,在得到上述目标曝光参数后,电子设备中的sensor可以使用上述目标曝光参数输出新的RAW图像,并对该新的RAW图像进行进一步的处理(例如ISP处理),得到最后展示在电子设备屏幕中预览框中的预览图像。可选的,电子设备也可以是直接对两张或两张以上图像上述中评分最高或较高的图像进行进一步处理,得到最后展示在电子设备屏幕中预览框中的预览图像。
结合前述曝光参数的确定方法,本申请还提供了一种应用于ZSL拍摄模式下的拍照方法,以及一种应用于非ZSL拍摄模式下的拍照方法。具体请参阅图11和图12。
图11为本申请提供的一种应用于ZSL拍摄模式下的拍照方法的流程图。实施该方法,电子设备可以结合ZSL拍摄模式的特性,在用户按下快门之前,根据电子设备中预设曝光表得到一个曝光总量确定的曝光参数,并对该曝光参数进行调节得到多组曝光总量相同的曝光参数,再使用这些曝光参数分别出图;然后根据不同曝光参数下所得图像的优劣程度确定最终使用的目标曝光参数;在得到目标曝光参数之后,电子设备即可以使用该目标曝光参数输出RAW图像,并进一步将该RAW图像进行处理得到显示在预览框中的预览图像。这样,当用户按下开门后,电子设备依旧可以立即出图,且所出照片的清晰度可以得到提升。如图11所示,该方法可以包括但不限于以下步骤:
S201、电子设备获取两组或两组以上曝光参数。
S202、电子设备对采用上述两组或两组以上曝光参数生成的两张或两张以上图像进行评测,将该两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数。
步骤S201-步骤S202的详细内容可以参考前述对图10中步骤S101-步骤S102的相关说明,此处不再赘述。需要说明的是,在本申请实施例中,由于电子设备处于ZSL模式下,当电子设备开始预览后,sensor所产生的RAW图像会被存储在缓存中。当用户按下快门的时候,电子设备的系统会计算实际的拍照时间,找出存储在缓存中的相应帧的RAW图像,然后利用该RAW图像进行编码,得到JPEG图像并将其保存到设定的存储区域,以此来实现所拍即所得(也就是按下快门那一刻拍到的照片就是当时所看到的照片)的功能。因此,在本申请实施例中,为了保持ZSL拍摄模式中所拍即所得的功能,步骤S201-步骤S202的执行时间均发生在用户按下电子设备的拍摄控件(即快门)之前。
S203、生成第二图像,对所述第二图像进行图像信号处理得到第三图像,并将所述第三图像显示在所述电子设备的屏幕的预览框中。
上述第二图像为sensor使用上述目标曝光参数输出的RAW图像。可选的,该第二图像可以是上述两张或两张以上图像中使用曝光参数为上述目标曝光参数的图像,即上述两张或两张以上图像中中图像质量最好的图像;也可以是电子设备在确定上述目标曝光参数后,使用该目标曝光参数输出的新的RAW图像,本申请对此不作限定。
需理解,上述第二图像所使用的曝光参数已经在前述图像评测的过程中被证实是适用于当前拍摄场景的曝光参数,因此,上述第二图像的清晰度可以被认为是足够清晰的。因此,电子设备可以将上述第二图像进行ISP处理,得到上述第三图像,并将上述第四图像显示在电子设备屏幕的预览框中,作为拍摄时预览框中显示的预览流中的一帧图像。具体的,上述第三图像可以是RGB格式的图像、JPG格式的图像,还可以是其他格式的图像,本申请对此不作限定。
S204、响应于用户对拍摄控件的操作,保存上述第三图像。
在上述第三图像被显示在电子设备屏幕的预览框中之后,若用户按下拍摄控件(即快门),则电子设备可以将上述第三图像确定为用户期望拍摄得到的照片,则电子设备可以按照预设的存储路径对上述第三图像进行存储,例如将上述第三图像存储到电子设备的相册中。可选的,在将上述第三图像进行存储之前,电子设备还可以对上述第三图像进行进一步的处理,例如压缩处理后,再将其进行存储。
可选的,在ZSL模式下,在用户按下快门之前,电子设备可以按照步骤S201-步骤S204所示的处理方法间歇性地对sensor输出的图像进行处理;或者,电子设备可以按照步骤S201-步骤S204所示的处理方法不间断地对sensor输出的图像进行处理,直至用户按下快门得到所拍照片。具体可以参考前述对图5和图6的相关说明,此处不再赘述。
图12为本申请提供的一种应用于非ZSL拍摄模式下的拍照方法的流程图。实施该方法,电子设备可以结合非ZSL拍摄模式的特性,在用户按下快门之后,根据电子设备中预设曝光表得到一个曝光总量确定的曝光参数,并对该曝光参数进行调节得到多组曝光总量相同的曝光参数,再使用这些曝光参数分别出图;然后根据不同曝光参数下所得图像的优劣程度确定最终使用的目标曝光参数;在得到目标曝光参数之后,电子设备即可以对使用该目标曝光参数的图像进行进一步处理,提升所拍照片的清晰度。如图12所示,该方法可以包括但不限于以下步骤:
S301、电子设备获取两组或两组以上曝光参数。
S302、电子设备对采用上述两组或两组以上曝光参数生成的两张或两张以上图像进行评测,将该两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数。
步骤S301-步骤S302的详细内容可以参考前述对图10中步骤S101-步骤S102的相关说明,此处不再赘述。需要说明的是,在本申请实施例中,电子设备处于非ZSL模式下。结合前述说明可知,在非ZSL拍摄模式下,当电子设备开始预览后,电子设备开始预览,出预览帧;当用户按下快门的时候,预览流将被停止,同时电子设备需要进行要做一系列的动作,包括af对焦,准备拍照,曝光,拍照流数据回调,这个时候所得的图像为RAW图像。之后电子设备再对RAW图像进行编码,得到JPEG图像并将其保存到设定的存储区域。此时拍照完成,重新开始预览。也就是说,在非ZSL模式下,在拍照的时候预览是停止的,而且预览流中所使用的RAW图像并不会存储在电子设备中,只有在用户按下快门后,电子设备才会存储若干帧的RAW图像并对其进行处理,得到可供用户浏览的图像(例如JPEG格式的图像)。因此,在本申请实施例中,步骤S301-步骤S302的执行时间均发生在用户按下电子设备的拍摄控件(即快门)之前。
S303、对第二图像进行ISP处理得到第三图像,保存该第三图像;或根据上述两张或两张以上图像中每张图像的图像质量为每张图像设置权重,根据上述两张或两张以上图像中每张图像的权重将上述两张或两张以上图像进行叠加处理,得到第四图像;将该第四图像进行图像信号处理,得到第五图像后并保存该第五图像。
上述第二图像为sensor使用上述目标曝光参数输出的RAW图像。具体的,该第二图像可以是上述两张或两张以上图像中使用上述目标曝光参数生成的图像,即上述两张或两张以上图像中图像质量最好的图像。
针对单帧出图算法和多帧出图算法之间的差异性,在获取到上述第二图像之后,电子设备可以通过两种不同的方式对该第二图像处理,来得到照片;其中:
第一种方式适用于电子设备仅使用单帧图像出图的情况。在这种情况下,当电子设备在对两张或两张以上图像进行评测,确定上述目标曝光参数后,电子设备可以进一步对使用上述目标曝光参数的RAW图像(即上述第二图像)进行进一步处理,得到上述第三图像。可以理解的,上述第三图像即为最后所得的照片,电子设备可以按照预设的存储路径对上述第三图像进行存储,例如将上述第三图像存储到电子设备的相册中。可选的,在将上述第三图像进行存储之前,电子设备还可以对上述第三图像进行进一步的处理(例如压缩处理)后,再将其进行存储。具体可以参考前述对图7的相关说明,此处不再赘述。
第二种方式适用于电子设备使用多帧图像出图,通过多帧叠加的方法来对图像进行去噪和消除图像中模糊区域的情况。在这种情况下,电子设备在对上述两张或两张以上图像进行评测,确定上述目标曝光参数后,电子设备可以将使用上述目标曝光参数的RAW图像(即上述第二图像)作为关键帧或者参考帧。在确定参考帧之后,电子设备可以为上述两张或两张以上图像设置权重;其中,上述第二图像作为参考帧,电子设备在为其设置权重时,可以将上述第二图像的权重设定的比其他图像更大。例如,电子设备可以将上述第二图像的权重设定为10,而统一将上述两张或两张以上图像中除上述第二图像外的其他图像的权重设定为5。可选的,电子设备还可以根据上述两张或两张以上图像中每张图像的图像质量为图像设置权重,其中,图像质量越好的图像的权重越大。
接着,电子设备可以按照上述两张或两张以上图像中各图像的权重,对这些图像进行叠加处理得到上述第四图像;并对该第四图像进行进一步处理(例如ISP处理),得到上述第五图像。可以理解的,该第五图像即为最后所得的照片。电子设备可以按照预设的存储路径对该第五图像进行存储,例如将上述第五图像存储到电子设备的相册中。
本申请实施例还提供了一种电子设备,该电子设备包括:一个或多个处理器和存储器;
其中,存储器与所述一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得所述电子设备执行前述实施例中所示的方法。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (11)
1.一种曝光参数的确定方法,其特征在于,包括:
获取第一曝光参数的曝光总量,所述第一曝光参数为根据电子设备的抖动信息和第一图像的亮度信息查询曝光表得到的曝光参数,所述第一图像为当前显示在屏幕的预览框中的图像对应的RAW格式图像;
基于所述第一曝光参数的曝光总量,得到至少一组第二曝光参数,所述至少一组第二曝光参数中任意一组曝光参数的曝光总量与所述第一曝光参数的曝光总量相同;
对采用所述第一曝光参数和所述至少一组第二曝光参数生成的两张或两张以上图像进行评测,将所述两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数。
2.根据权利要求1所述的方法,其特征在于,所述第一曝光参数的曝光时间和感光度分别为第一曝光时间和第一感光度,所述第一曝光参数的曝光总量为所述第一曝光时间和所述第一感光度的乘积;
在所述基于第一曝光参数的曝光总量,得到所述至少一组第二曝光参数之前,所述方法还包括:
根据所述第一曝光时间确定目标组数,所述目标组数为所述至少一组第二曝光参数中曝光参数的数量,所述目标组数与所述第一曝光时间的数值负相关。
3.根据权利要求1或2所述的方法,其特征在于,所述第一曝光参数的曝光时间和感光度分别为第一曝光时间和第一感光度,所述第一曝光参数的曝光总量为第一曝光总量;所述基于所述第一曝光参数,得到所述至少一组第二曝光参数,包括:
按照第一数值依次增大所述第一曝光时间,得到M个曝光时间;再基于所述第一曝光总量,为所述M个曝光时间分别确定相应的感光度,得到M组曝光总量均为所述第一曝光总量的曝光参数;
按照第二数值依次减小所述第一曝光时间,得到N个曝光时间;再基于所述第一曝光总量,为所述N个曝光时间分别确定相应的感光度,得到N组曝光总量均为所述第一曝光总量的曝光参数;所述至少一组第二曝光参数包括所述M组曝光总量均为所述第一曝光总量的曝光参数以及所述N组曝光总量均为所述第一曝光总量的曝光参数。
4.根据权利要求3所述的方法,其特征在于,所述第一数值和所述第二数值小于第一阈值。
5.根据权利要求1所述的方法,其特征在于,所述两组或两组以上曝光参数中每一组曝光参数均包括曝光时间和感光度,所述两组或两组以上曝光参数中每一组曝光参数的曝光时间均不同。
6.根据权利要求1所述的方法,其特征在于,所述方法应用于零秒延迟的拍摄模式,所述将所述两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数之后,所述方法还包括:
获取第二图像,所述第二图像使用的曝光参数为所述目标曝光参数;
对所述第二图像进行图像信号处理,得到第三图像;
将所述第三图像显示在所述电子设备的屏幕的预览框中。
7.根据权利要求6所述的方法,其特征在于,所述将所述第三图像显示在所述电子设备的屏幕的预览框中之后,所述方法还包括:
响应于用户对拍摄控件的操作,保存所述第三图像。
8.根据权利要求1所述的方法,其特征在于,所述方法应用于非零秒延迟的拍摄模式,
所述获取两组或两组以上曝光参数,包括:
在检测到用户对拍摄控件进行操作的情况下,获取两组或两组以上曝光参数;
将所述两张或两张以上图像中图像质量较好的图像的曝光参数确定为目标曝光参数之后,所述方法还包括:
将第二图像进行图像信号处理得到第三图像,输出并保存所述第三图像;所述第二图像使用的曝光参数为所述目标曝光参数;
或,根据所述两张或两张以上图像中每张图像的图像质量为每张图像设置权重,其中,使用所述目标曝光参数的图像的权重最大;根据所述两张或两张以上图像中每张图像的权重将所述两张或两张以上图像进行叠加处理,得到第四图像;将所述第四图像进行图像信号处理,得到第五图像并保存所述第五图像。
9.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器、存储器和显示屏;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1-8中任一项所述的方法。
10.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,包括指令,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211183257.6A CN115297269B (zh) | 2022-09-27 | 2022-09-27 | 曝光参数的确定方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211183257.6A CN115297269B (zh) | 2022-09-27 | 2022-09-27 | 曝光参数的确定方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115297269A CN115297269A (zh) | 2022-11-04 |
CN115297269B true CN115297269B (zh) | 2023-04-07 |
Family
ID=83834823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211183257.6A Active CN115297269B (zh) | 2022-09-27 | 2022-09-27 | 曝光参数的确定方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115297269B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102457675A (zh) * | 2010-10-27 | 2012-05-16 | 展讯通信(上海)有限公司 | 一种手持式相机设备的图像拍摄防抖方式 |
CN106375676A (zh) * | 2016-09-20 | 2017-02-01 | 广东欧珀移动通信有限公司 | 终端设备的拍照控制方法、装置和终端设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE1150505A1 (sv) * | 2011-05-31 | 2012-12-01 | Mobile Imaging In Sweden Ab | Metod och anordning för tagning av bilder |
CN106921829A (zh) * | 2015-12-25 | 2017-07-04 | 北京奇虎科技有限公司 | 一种拍照方法和装置及拍照设备 |
CN106303243A (zh) * | 2016-08-19 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种拍照方法、装置及终端 |
CN107370910B (zh) * | 2017-08-04 | 2019-09-24 | 西安邮电大学 | 基于最优曝光的最小包围曝光集合获取方法 |
CN109005366B (zh) * | 2018-08-22 | 2020-04-28 | Oppo广东移动通信有限公司 | 摄像模组夜景摄像处理方法、装置、电子设备及存储介质 |
CN108900782B (zh) * | 2018-08-22 | 2020-01-24 | Oppo广东移动通信有限公司 | 曝光控制方法、装置以及电子设备 |
CN109151333B (zh) * | 2018-08-22 | 2020-07-03 | Oppo广东移动通信有限公司 | 曝光控制方法、装置以及电子设备 |
CN109005369B (zh) * | 2018-10-22 | 2020-07-10 | Oppo广东移动通信有限公司 | 曝光控制方法、装置、电子设备以及计算机可读存储介质 |
CN110198417A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110708475B (zh) * | 2019-11-27 | 2021-08-24 | 维沃移动通信有限公司 | 一种曝光参数确定方法、电子设备及存储介质 |
-
2022
- 2022-09-27 CN CN202211183257.6A patent/CN115297269B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102457675A (zh) * | 2010-10-27 | 2012-05-16 | 展讯通信(上海)有限公司 | 一种手持式相机设备的图像拍摄防抖方式 |
CN106375676A (zh) * | 2016-09-20 | 2017-02-01 | 广东欧珀移动通信有限公司 | 终端设备的拍照控制方法、装置和终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115297269A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020073959A1 (zh) | 图像捕捉方法及电子设备 | |
CN113810601B (zh) | 终端的图像处理方法、装置和终端设备 | |
CN113810600B (zh) | 终端的图像处理方法、装置和终端设备 | |
US20220086360A1 (en) | Big aperture blurring method based on dual cameras and tof | |
US11272116B2 (en) | Photographing method and electronic device | |
CN113542580B (zh) | 去除眼镜光斑的方法、装置及电子设备 | |
CN114489533A (zh) | 投屏方法、装置、电子设备及计算机可读存储介质 | |
CN113452898A (zh) | 一种拍照方法及装置 | |
CN113572948B (zh) | 视频处理方法和视频处理装置 | |
CN111526407B (zh) | 屏幕内容的显示方法及装置 | |
US20240056683A1 (en) | Focusing Method and Electronic Device | |
CN112188094B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
CN113593567A (zh) | 视频声音转文本的方法及相关设备 | |
CN112532508B (zh) | 一种视频通信方法及视频通信装置 | |
CN115412678B (zh) | 曝光处理方法、装置及电子设备 | |
WO2022033344A1 (zh) | 视频防抖方法、终端设备和计算机可读存储介质 | |
WO2022095752A1 (zh) | 帧解复用方法、电子设备及存储介质 | |
CN113572957B (zh) | 一种拍摄对焦方法及相关设备 | |
US20230419562A1 (en) | Method for Generating Brush Effect Picture, Image Editing Method, Device, and Storage Medium | |
CN115297269B (zh) | 曝光参数的确定方法及电子设备 | |
CN113852755A (zh) | 拍摄方法、设备、计算机可读存储介质及程序产品 | |
CN113467735A (zh) | 图像调整方法、电子设备及存储介质 | |
CN116233599B (zh) | 一种录像模式推荐方法和电子设备 | |
WO2022105670A1 (zh) | 一种显示方法及终端 | |
WO2023030067A1 (zh) | 遥控方法、遥控设备和被控制设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |