CN117061861A - 一种拍摄方法、芯片系统和电子设备 - Google Patents
一种拍摄方法、芯片系统和电子设备 Download PDFInfo
- Publication number
- CN117061861A CN117061861A CN202311307695.3A CN202311307695A CN117061861A CN 117061861 A CN117061861 A CN 117061861A CN 202311307695 A CN202311307695 A CN 202311307695A CN 117061861 A CN117061861 A CN 117061861A
- Authority
- CN
- China
- Prior art keywords
- frames
- image
- images
- electronic device
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 230000033001 locomotion Effects 0.000 claims description 152
- 238000012545 processing Methods 0.000 claims description 148
- 238000001514 detection method Methods 0.000 claims description 86
- 238000004364 calculation method Methods 0.000 claims description 85
- 238000004422 calculation algorithm Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 49
- 238000006243 chemical reaction Methods 0.000 claims description 45
- 230000004044 response Effects 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 32
- 230000009467 reduction Effects 0.000 claims description 29
- 230000001960 triggered effect Effects 0.000 claims description 27
- 238000003860 storage Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 125000006850 spacer group Chemical group 0.000 claims 1
- 239000010410 layer Substances 0.000 description 26
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 230000004927 fusion Effects 0.000 description 14
- 238000010295 mobile communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本公开提供一种拍摄方法、芯片系统和电子设备,应用于终端技术领域,当拍摄对象处于运动状态,该方法能够保证电子设备输出用户想要的拍摄图像。该方法包括:电子设备显示待处理应用的第一界面,第一界面包括多拍按钮,多拍按钮用于触发待处理应用的多拍功能;电子设备接收用户在第一时刻对多拍按钮的第一触摸操作;电子设备响应于第一触摸操作,输出多张拍摄图像,多张拍摄图像包括第一时刻对应的拍摄图像。
Description
技术领域
本公开涉及终端技术领域,尤其涉及一种拍摄方法、芯片系统和电子设备。
背景技术
当用户使用电子设备的普通拍照功能对运动物体进行拍摄时,得到的拍摄图像的运动区域一般都会存在模糊。针对上述现象,相关技术可以利用电子设备的连拍功能和抓拍功能对运动物体进行拍摄。
其中,利用连拍功能对运动物体进行拍摄可以一次获得多张拍摄图像,然后从多张拍摄图像中选出满意的拍摄图像并保存。由于连拍功能对于拍摄的实时性要求较高,为了保证拍摄的实时性,电子设备一般不会对拍摄图像进行更精细化的处理,所以获取的多张拍摄图像的画质都相对较差。
利用抓拍功能对运动物体进行拍摄,能够得到画质更好的拍摄图像,但是由于电子设备进行抓拍时存在时延(即,用户点击拍摄按钮的时刻和最终拍照结果的时刻不一致),所以得到的拍摄图像有可能不是用户想要的拍摄图像。因此,当拍摄对象处于运动状态,如何提供用户想要的拍摄图像是目前亟待解决的问题。
发明内容
本公开实施例提供一种拍摄方法、芯片系统和电子设备,当拍摄对象处于运动状态,该方法能够保证电子设备输出用户想要的拍摄图像。
为达到上述目的,本公开的实施例采用如下技术方案:
第一方面,本公开提供了一种拍摄方法,该方法包括:电子设备显示待处理应用的第一界面,第一界面包括多拍按钮,多拍按钮用于触发待处理应用的多拍功能;电子设备接收用户在第一时刻对多拍按钮的第一触摸操作;电子设备响应于第一触摸操作,输出多张拍摄图像,多张拍摄图像包括第一时刻对应的拍摄图像。
基于第一方面的拍摄方法可知,本公开通过为用户提供多拍按钮可以实现一次触发,输出多张拍摄图像。由于多张拍摄图像包括第一时刻对应的拍摄图像,而第一时刻为用户触发多拍按钮时对应的时刻,所以电子设备输出的拍摄图像为用户想要的拍摄图像,从而解决由于电子设备的系统时延而导致的拍摄图像不是用户想要的拍摄图像的问题。
结合第一方面,另一种可能的实现方式中,第一界面为拍照界面,或者第一界面为与拍照界面不同的显示界面;在第一界面为与拍照界面不同的显示界面的情况下,在电子设备显示待处理应用的第一界面之前,方法还包括:电子设备显示拍照界面;拍照界面包括拍摄扩展模式;响应于用户对拍摄扩展模式输入的触发操作,显示包括多拍按钮的第一界面。基于该方案可知,多拍按钮可以设置在多个不同的界面中,例如,多拍按钮可以直接设置在拍摄界面中(即,图9中的(a)所示的多拍按钮901)。多拍按钮还可以设置在与拍照界面不同的显示界面,当电子设备接收到用户对拍摄扩展模式输入的触发操作时,可以显示包括多拍按钮的第一界面(即,图9中的(b)所示的界面902,界面902中包括多拍按钮903)。
结合第一方面,另一种可能的实现方式中,方法还包括:电子设备接收用户对第一界面中显示控件的第二触摸操作;显示控件用于触发显示多张拍摄图像;电子设备响应于第二触摸操作,显示多张拍摄图像。基于该方案,当电子设备输出多张拍摄图像时,还可以通过显示控件为用户显示多张拍摄图像。这样,可以使用户更直观的查看拍摄图像,提高用户满意度。
结合第一方面,另一种可能的实现方式中,多张拍摄图像还包括第二时刻对应的拍摄图像和第三时刻对应的拍摄图像,第二时刻为第一时刻之前的时刻,第三时刻为第一时刻之后的时刻。由于用户从确定要拍摄图像到用户触发第一触摸操作还存在一定的时间差,为了避免这种时间差,本公开获取的多张拍摄图像中还包括第一时刻之前的时刻(即第二时刻)对应的拍摄图像。这样,能够进一步保证得到的多张拍摄图像为用户想要的拍摄图像。另外,本公开还获取第一时刻之后的时刻(即第三时刻)对应的拍摄图像,从而为用户提供更多选择,提高用户满意度。
结合第一方面,另一种可能的实现方式中,在电子设备接收用户对多拍按钮的第一触摸操作之前,方法还包括:电子设备接收用户对待处理应用的启动操作;电子设备响应于启动操作,获取预览流,预览流包括多张图像帧;电子设备对多张图像帧进行运动检测,得到运动检测结果;电子设备根据运动检测结果,设置曝光参数;电子设备根据曝光参数,输出多张更新后的图像帧。基于该方案,在电子设备输出多张图像帧之后,还对多张图像帧进行运动检测,以确定拍摄对象是否处于运动状态。在拍摄对象处于运动状态的情况下,通过设置曝光参数来实现降曝光,从而使输出的多张更新后的图像帧的清晰度更高,便于之后为用户提供画质更好的拍摄图像。
结合第一方面,另一种可能的实现方式中,电子设备响应于第一触摸操作,输出多张拍摄图像,包括:电子设备响应于第一触摸操作,基于多张更新后的图像帧,确定预设数量的图像帧;电子设备基于预设数量的图像帧,得到多个参考帧;多个参考帧中包括第一时刻对应的图像帧、第二时刻对应的图像帧和第三时刻对应的图像帧;电子设备基于多个参考帧,输出多张拍摄图像。基于该方案,电子设备在启动后,电子设备会不断地输出多张更新后的图像帧,可以基于多张更新后的图像帧,确定多个参考帧。由于多张拍摄图像是基于多个参考帧生成的,所以,当多个参考帧中包括第一时刻对应的图像帧、第二时刻对应的图像帧和第三时刻对应的图像帧时,可以保证之后生成的多张拍摄图像包括第一时刻对应的拍摄图像、第二时刻对应的拍摄图像以及第三时刻对应的拍摄图像,从而为用户提供多个不同时刻的拍摄图像,增大用户对拍摄图像的可选择范围。
结合第一方面,另一种可能的实现方式中,电子设备基于预设数量的图像帧,得到多个参考帧,包括:电子设备基于预设数量的图像帧,得到多个参考帧和间隔帧;电子设备基于多个参考帧,输出多张拍摄图像,包括:电子设备基于多个参考帧和间隔帧,输出多张拍摄图像。基于预设数量的图像帧可以得到多个参考帧和间隔帧,多个参考帧可以用于生成多张拍摄图像,间隔帧可以为参考帧增加一些视角和场景变化。之后,利用参考帧和间隔帧共同生成多张图像,可以增强多张图像的多样性。
结合第一方面,另一种可能的实现方式中,电子设备基于多个参考帧和间隔帧,输出多张拍摄图像,包括:电子设备基于多个参考帧、间隔帧和图像生成规则,输出多张拍摄图像;图像生成规则包括多张拍摄图像的生成规则。基于该方案,提供一种生成多张拍摄图像的方法。
结合第一方面,另一种可能的实现方式中,电子设备基于多个参考帧、间隔帧和图像生成规则,输出多张拍摄图像,包括:电子设备基于图像生成规则,得出子计算复用项;子计算复用项为在输出多张拍摄图像的过程中,需要多次重复计算的计算项;电子设备确定子计算复用项的处理结果;电子设备基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张拍摄图像。基于该方案,在生成多张拍摄图像时,可以先基于图像生成规则,确定出子计算复用项。然后利用计算复用算法、多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张拍摄图像。通过重复利用子计算复用项的处理结果,可以减少重复计算的开销,从而提高计算效率和性能。
结合第一方面,另一种可能的实现方式中,电子设备基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张拍摄图像,包括:电子设备基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张图像;电子设备对多张图像进行降噪处理和格式转化处理,得到多张拍摄图像。基于该方案,在输出多张图像之后,还需要对多张图像进行降噪处理和格式转化处理,从而使得多张拍摄图像的图像质量更优,并且该拍摄图像的格式与电子设备也更加兼容。
第二方面,本公开实施例提供一种芯片系统,该芯片系统包括图像传感器和帧处理模块。其中,图像传感器,用于响应于用户对待处理应用的启动操作,输出多张更新后的图像帧;帧处理模块,用于响应于用户在第一时刻对多拍按钮触发的第一触摸操作,获取多张更新后的图像帧;基于多张更新后的图像帧,确定参考帧和间隔帧;基于参考帧和间隔帧,得到多张拍摄图像;其中,多张拍摄图像包括第一时刻对应的拍摄图像。
结合第二方面,在一种可能的实现方式中,多张拍摄图像还包括第二时刻对应的拍摄图像和第三时刻对应的拍摄图像,第二时刻为第一时刻之前的时刻,第三时刻为第一时刻之后的时刻。
结合第二方面,在一种可能的实现方式中,该芯片系统还包括运动检测模块和自动曝光模块;图像传感器,还用于响应于用户对待处理应用的启动操作,输出预览流;运动检测模块,用于获取预览流,并对预览流中的多张图像帧进行运动检测,得到运动检测结果;自动曝光模块,用于根据运动检测结果,设置曝光参数;图像传感器,用于根据曝光参数,输出多张更新后的图像帧;其中,多张更新后的图像帧包括第二时刻采集的图像帧、第一时刻采集的图像帧和第三时刻采集的图像帧。
第三方面,本公开实施例提供一种拍摄装置,该拍摄装置可以应用于电子设备,用于实现上述第一方面中的方法。该拍摄装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,例如,显示模块、接收模块和处理模块等。
其中,显示模块,被配置为显示待处理应用的第一界面,第一界面包括多拍按钮,多拍按钮用于触发待处理应用的多拍功能。接收模块,被配置为接收用户在第一时刻对多拍按钮的第一触摸操作。处理模块,被配置为响应于第一触摸操作,输出多张拍摄图像,多张拍摄图像包括第一时刻对应的拍摄图像。
结合第三方面,在一种可能的实现方式中,第一界面为拍照界面,或者第一界面为与拍照界面不同的显示界面;在第一界面为与拍照界面不同的显示界面的情况下,显示模块,还被配置为显示拍照界面;拍照界面包括拍摄扩展模式;以及响应于用户对拍摄扩展模式输入的触发操作,显示包括多拍按钮的第一界面。
结合第三方面,在一种可能的实现方式中,接收模块,还被配置为接收用户对第一界面中显示控件的第二触摸操作;显示控件用于触发显示多张拍摄图像;显示模块,还被配置为响应于第二触摸操作,显示多张拍摄图像。
结合第三方面,在一种可能的实现方式中,多张拍摄图像还包括第二时刻对应的拍摄图像和第三时刻对应的拍摄图像,第二时刻为第一时刻之前的时刻,第三时刻为第一时刻之后的时刻。
结合第三方面,在一种可能的实现方式中,该拍摄装置还包括获取模块。其中,接收模块,还被配置为接收用户对待处理应用的启动操作;获取模块,被配置为响应于启动操作,获取预览流,预览流包括多张图像帧;处理模块,还被配置为对多张图像帧进行运动检测,得到多张图像帧的运动检测结果;根据运动检测结果,设置曝光参数以及根据曝光参数,输出多张更新后的图像帧。
结合第三方面,在一种可能的实现方式中,处理模块,还被配置为响应于第一触摸操作,基于多张更新后的图像帧,确定预设数量的图像帧;基于预设数量的图像帧,得到多个参考帧;多个参考帧中包括第一时刻对应的图像帧、第二时刻对应的图像帧和第三时刻对应的图像帧;以及基于多个参考帧,输出多张拍摄图像。
结合第三方面,在一种可能的实现方式中,处理模块,还被配置为电子设备基于预设数量的图像帧,得到多个参考帧和间隔帧;以及基于多个参考帧和间隔帧,输出多张拍摄图像。
结合第三方面,在一种可能的实现方式中,处理模块,还被配置为基于多个参考帧、间隔帧和图像生成规则,输出多张拍摄图像;图像生成规则包括多张拍摄图像的生成规则。
结合第三方面,在一种可能的实现方式中,处理模块,还被配置为基于图像生成规则,得出子计算复用项;子计算复用项为在输出多张拍摄图像的过程中,需要多次重复计算的计算项;确定子计算复用项的处理结果;以及基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张拍摄图像。
结合第三方面,在一种可能的实现方式中,处理模块,还被配置为基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张图像;以及对多张图像进行降噪处理和格式转化处理,得到多张拍摄图像。
第四方面,本公开提供一种电子设备,包括:存储器、显示屏和一个或多个处理器;存储器、显示屏与处理器耦合。其中,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当电子设备运行时,该处理器用于执行该存储器存储的一个或多个计算机指令,以使电子设备执行如上述第一方面中任一项的拍摄方法。
第五方面,本公开提供一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面中任一项的拍摄方法。
第六方面,本公开提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如第一方面中任一项的拍摄方法。
第七方面,提供了一种装置,该装置包括处理器,用于支持第一终端设备实现上述第一方面中所涉及的功能。在一种可能的设计中,该装置还包括存储器,该存储器,用于保存第一终端设备必要的程序指令和数据。该装置是芯片系统时,可以由芯片构成,也可以包含芯片和其他分立器件。
应当理解的是,上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1为本公开实施例提供的一种显示示意图之一。
图2为本公开实施例提供的一种显示示意图之二。
图3为本公开实施例提供的一种拍照shutterlag性能数据的分布图。
图4为本公开实施例提供的一种电子设备的硬件结构示意图。
图5为本公开实施例提供的一种电子设备的软件结构示意图之一。
图6为本公开实施例提供的一种电子设备的软件结构示意图之二。
图7为本公开实施例提供的一种拍摄方法的流程示意图之一。
图8为本公开实施例提供的一种显示示意图之三。
图9为本公开实施例提供的一种显示示意图之四。
图10为本公开实施例提供的一种图像帧的示意图之一。
图11为本公开实施例提供的一种图像帧的示意图之二。
图12为本公开实施例提供的一种图像帧的示意图之三。
图13为本公开实施例提供的一种显示示意图之五。
图14为本公开实施例提供的一种显示示意图之六。
图15为本公开实施例提供的一种拍摄方法的流程示意图之二。
图16为本公开实施例提供的一种拍摄装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行描述。其中,在本公开的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;本公开中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。并且,在本公开的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本公开实施例的技术方案,在本公开的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。同时,在本公开实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本公开实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
此外,本公开实施例描述的网络架构以及业务场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。
下面将结合附图对本实施例的实施方式进行详细描述。
图1示例性的示出一种普通拍摄模式下获取的拍摄图像。结合图1可知,在普通拍摄模式下,若拍摄对象处于运动状态,则得到的拍摄图像的运动区域会出现模糊现象。
在普通拍摄模式下,若拍摄图像的运动区域出现模糊一般都是由于拍照帧内运动累积(motion blur)造成的。其中,拍照帧内运动累积指的是在相机曝光时间内,被拍摄物体或相机本身发生了一定的运动。当这种运动超出了相机快门速度所能冻结的范围时,就会在图像上产生运动模糊。例如,当一个人在拍摄的过程中移动,或者相机本身发生轻微震动,拍摄图像的运动区域就会呈现模糊效果。
这种运动区域的模糊现象是由于拍照帧时间内物体的位置变化导致光线在传感器上的记录位置不准确造成的。若快门速度越慢,曝光时间越长,运动累积效应就会越明显,运动区域的模糊也会更明显。
针对上述这种运动区域模糊的现象,目前存在两种较为常用的优化方式。一种是使用电子设备的连拍功能对处于运动状态的拍摄对象进行拍摄。一种是使用电子设备的抓拍功能对处于运动状态的拍摄对象进行拍摄。
图2中的(a)示例性的示出了一种使用连拍功能得到的多张拍摄图像。在使用连拍功能得到多张拍摄图像后,用户可以在多张拍摄图像中挑选满意的图像,并将不满意的图像删除。若用户在多张拍摄图像中没有找到满意的拍摄图像并想重新拍摄时,很多特定的运动场景可能已经无法重现(例如,奔跑的小孩,骑自行车而过的行人等)。故,用户在对处于运动状态的拍摄对象进行拍摄时,不仅要求得到清晰的拍摄图像,还需要得到的拍摄图像是用户想要图像。
并且,在使用连拍功能时,由于连拍场景对于实时性要求较高,为了满足较高的实时性,电子设备在连拍模式下一般不接后处理算法,或者只接轻量级后处理算法。也就是说,在使用连拍功能时,一般不会对拍摄的图像进行更精细化的处理,所以使用连拍功能得到的多张拍摄图像的画质都相对较差。
图2中的(b)示例性的示出了一种使用抓拍功能得到的拍摄图像。通过观察使用抓拍功能得到拍摄图像可知,抓拍功能得到的拍摄图像的画质具有明显提升。在抓拍模式下,一般可以通过多种方式来提升图像画质,例如,通过降曝光来保证拍摄图像的清晰度,或者基于选帧策略选择算法选择参考帧,再利用间隔帧对参考帧进行降噪等处理,从而提升拍摄图像画质。
由于电子设备从开始拍摄到拍摄完成需要经过大量过程,所以用户点击电子设备的拍照按钮的时刻和最终拍摄图像的拍照时刻是不一致的,即电子设备难以实现0快门时间(shutterlag)的时延。因此,对于某些动作场景,会出现用户想要的拍摄瞬间和最终电子设备呈现给用户的拍摄图像对应的瞬间不一致,从而使用户错过一些想拍但是拍不到的场景。
当拍摄对象处于图1所示的运动状态,通过大量的拍摄试验,可以得到如图3所示的一种拍照shutterlag性能数据的分布图。图3包括多条shutterlag性能数据。图3的横坐标表示每条数据对应的shutterlag。纵坐标表示每个shutterlag对应的占比。
由图3可知,快门时间分布在一个较为宽泛的区间内。例如,快门时间分布在时间区间[-150ms,350ms]内,该时间区间总跨度长达500ms。在这500ms内,拍摄对象的运动姿态及运动位置可能已经发生了很大的变化,所以用户点击电子设备的拍照按钮时对应的拍摄画面和电子设备最终输出的拍摄图像大概率会不一致。因此,当拍摄对象处于运动状态,如何提供用户想要的拍摄图像是目前亟待解决的问题。
为此,本公开实施例提供一种拍摄方法,当拍摄对象处于运动状态,该方法能够保证电子设备输出用户想要的拍摄图像。示例性的,本公开实施例提供的一种拍摄方法可应用于手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、手持计算机、上网本、蜂窝电话、个人数字助理(personal digitalassistant,PDA)、个人计算机(personal computer,PC)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、可穿戴电子设备、虚拟现实设备等电子设备,本公开实施例对该电子设备的具体形态不作特殊限制。例如,该电子设备可以是手机。
示例性的,图4示出了电子设备的一种结构示意图。如图4所示,电子设备可以包括处理器410,外部存储器接口420,内部存储器421,通用串行总线(universal serial bus,USB)接口430,充电管理模块440,电源管理模块441,电池442,天线1,天线2,移动通信模块450,无线通信模块460,音频模块470,扬声器470A,受话器470B,麦克风470C,耳机接口470D,传感器模块480,按键490,马达491,指示器492,摄像头493,显示屏494,以及用户标识模块(subscriber identification module,SIM)卡接口495等。其中,传感器模块480可以包括压力传感器480A,陀螺仪传感器480B,气压传感器480C,磁传感器480D,加速度传感器480E,距离传感器480F,接近光传感器480G,指纹传感器480H,温度传感器480J,触摸传感器480K,环境光传感器480L,骨传导传感器480M等。
可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器410可以包括一个或多个处理单元,例如:处理器410可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器410中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器410的等待时间,因而提高了系统的效率。
在一些实施例中,处理器410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I4C)接口,集成电路内置音频(inter-integrated circuitsound,I4S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块450,无线通信模块460,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块450可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块450可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块450可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块450还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块450的至少部分功能模块可以被设置于处理器410中。在一些实施例中,移动通信模块450的至少部分功能模块可以与处理器410的至少部分模块被设置在同一个器件中。
无线通信模块460可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块460可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块460经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器410。无线通信模块460还可以从处理器410接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备的天线1和移动通信模块450耦合,天线2和无线通信模块460耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。
电子设备通过GPU,显示屏494,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏494和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器410可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏494用于显示图像,视频等。显示屏494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏494,N为大于1的正整数。
电子设备可以通过图像信号处理器(image signal processor,ISP),摄像头493,视频编解码器,GPU,显示屏494以及应用处理器等实现拍摄功能。
ISP用于处理摄像头493反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数进行优化。在一些实施例中,ISP可以设置在摄像头493中。
摄像头493用于捕获静态图像或视频。在一些实施例中,电子设备可以包括1个或N个摄像头493,N为大于1的正整数。
内部存储器421可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令,从而执行电子设备的各种功能应用以及数据处理。内部存储器421可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所建立的数据(比如音频数据,电话本等)等。此外,内部存储器421可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
另外,在上述部件之上运行有操作系统,例如鸿蒙操作系统®、iOS操作系统®,Android操作系统®,Windows操作系统®等。在该操作系统上可以安装运行应用程序。在另一些实施例中,电子设备内运行的操作系统可以有多个。
应理解,图4所示电子设备包括的硬件模块只是示例性地描述,并不对电子设备的具体结构做出限定。事实上,本公开实施例提供的电子设备中还可以包含其它与图中示意的硬件模块具有交互关系的其它硬件模块,这里不作具体限定。例如,电子设备还可以包括闪光灯、微型投影装置等。又如,若电子设备是PC,那么电子设备还可以包括键盘、鼠标等部件。
可以理解的是,一般而言,电子设备功能的实现除了需要硬件的支持外,还需要软件的配合。
上述电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android®系统为例,示例性说明电子设备的软件结构。
图5是本公开实施例提供的电子设备的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库(也可以称为Native层),以及内核层。
应用程序层可以包括一系列应用程序包。如图5所示,应用程序包可以包括相机,图库,日历,电话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
可以理解的,应用程序层可以包括多个应用程序,该多个应用程序的类型可以相同,也可以不同。例如,应用程序层可以包括多个购物应用程序,该多个购物应用程序类型相同,均为购物类型。应用程序层也可以包括地图应用程序和通信应用程序,地图应用程序和通信应用程序类型不同。
如图5所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
安卓运行时Android runtime包括核心库和虚拟机。安卓运行时Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓®的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)以及算法库等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维和三维图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
二维图形引擎是二维绘图的绘图引擎。
算法库中包括对预览流和拍照流进行处理的多个算法,例如,运动检测算法等。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
以下实施例中的方法均可以在具有上述硬件结构或软件结构的电子设备中实现。
下面对本公开实施例提供的拍摄方法所涉及的设备的内部模块交互进行说明。如图6所示电子设备的应用程序层包括相机应用。电子设备的应用程序框架层可以包括相机服务。电子设备的内核层可以包括相机驱动等。电子设备的硬件层可以包括摄像头,摄像头中包括图像信号处理器 (Image Signal Processing,ISP)和图像传感器(Sensor)。ISP中包括运动检测模块、自动曝光模块、帧处理模块(又可以称为帧处理模块)、降噪模块(又可以称为RAWNR模块)、第一格式转化模块(又可以称为RAW2YUV模块)和第二格式转化模块(又可以称为JPEG模块)。
其中,Sensor用于输出多张图像帧;接收第三通知,并根据第三通知中的曝光参数,生成多张更新后的图像帧,并将多张更新后的图像帧存储在缓存队列。
运动检测模块用于接收第一通知;对预览流中的多张图像帧进行运动检测,输出运动检测结果;以及向自动曝光模块发送第二通知。
自动曝光模块用于接收第二通知;根据第二通知中的运动检测结果,生成曝光参数;以及向Sensor发送第三通知。
帧处理模块用于响应于用户对多拍按钮的第二操作,获取多张更新后的图像帧,并在多张更新后的图像帧中选择预设数量的图像帧;基于预设数量的图像帧,得到多个参考帧;以及基于参考帧,生成多张图像,并向降噪模块发送第四通知。
降噪模块用于接收第四通知;对多张图像进行降噪处理,得到多张降噪后的图像;以及向第一格式转化模块发送第五通知。
第一格式转化模块用于接收第五通知;对多张降噪后的图像进行第一格式转化,得到多张转化后的图像;以及向第二格式转化模块发送第六通知。
第二格式转化模块用于接收第六通知;对多张转化后的图像进行第二格式转化,得到多张拍摄图像。
可以理解的是,上述Sensor、运动检测模块、自动曝光模块、帧处理模块、降噪模块、第一格式转化模块和第二格式转化模块还可以设置在芯片系统中。芯片系统中的Sensor、运动检测模块、自动曝光模块、帧处理模块、降噪模块、第一格式转化模块和第二格式转化模块可以用于实现图7所示实施例和图15所示实施例提供的拍摄方法。
如图6所示,电子设备的相机应用在接收到用户启动相机应用的操作后,相机应用可以进入拍摄模式。在拍摄过程中相机应用可以触发相机服务,电子设备的相机服务可以调用电子设备的相机驱动,由电子设备的相机驱动来驱动摄像头进行拍摄。
摄像头可以调用Sensor获取多张图像帧,并基于多张图像帧,得到预览流。在得到预览流之后,相机应用可以向运动检测模块发送第一通知,以使运动检测模块输出多张图像帧的运动检测结果。运动检测模块向自动曝光模块发送第二通知,以使自动曝光模块根据第二通知中的运动检测结果设置曝光参数,并向Sensor发送曝光参数,以使Sensor根据曝光参数生成多张更新后的图像帧。
当电子设备的相机应用接收到用户对多拍按钮的点击操作后,帧处理模块可以从缓存队列中获取多张更新后的图像帧,并在多张更新后的图像帧中选择预设数量的图像帧。其次,基于预设数量的图像帧,得到多个参考帧。接着,根据多个参考帧,生成多张图像。然后向降噪模块发送第四通知,以使降噪模块对多张图像进行降噪,得到多张降噪后的图像。最后降噪模块依次将多张降噪后的图像发送至第一格式转化模块和第二格式转化模块,以使多张降噪后的图像转化为多张拍摄图像,并为用户显示多张拍摄图像。其中,多张拍摄图像的格式为JPEG格式。
下面在图6所示的电子设备的软件结构框图的基础上,结合图7对本公开实施例提供的拍摄方法进行示意说明。该方法可以应用于上述的电子设备,以电子设备是手机为例,如图7所示,该拍摄方法可以包括下述步骤701-步骤716。
步骤701、响应于用户对待处理应用的第一操作,待处理应用获取预览流,并向运动检测模块发送第一通知。
其中,第一操作用于触发待处理应用启动,并获取预览流。第一通知用于请求运动检测模块对预览流中的多张图像帧进行运动检测,得到每张图像帧的运动检测结果。第一通知包括预览流。
示例性的,第一操作为单击操作、双击操作、指关节敲击,多指选择操作中任一项。待处理应用可以为任一具有图像拍摄功能的应用。例如,待处理应用可以是相机应用、美颜应用等。
在用户需要使用手机的待处理应用(例如,相机应用)进行拍摄时,用户可以对手机中的待处理应用执行第一操作。待处理应用接收到第一操作后,可以响应于用户的第一操作,触发待处理应用开启,待处理应用开启后可以触发手机的摄像头开启。在摄像头开启后,可以利用摄像头获取预览流,之后利用预览流为用户显示预览图像。
在待处理应用获取到预览流之后,可以向运动检测模块发送第一通知,以使运动检测模块检测预览流中的多张图像帧是否处于运动状态,以便于之后根据多张图像帧的运动检测结果,来调整曝光参数,从而获取画质更好的图像帧。
以待处理应用是相机应用为例,手机的相机应用触发摄像头开启的过程可以包括:在接收到用户打开相机应用的操作后,手机可以运行相机应用。相机应用可以通过相机API,调用相机服务。相机服务可以通过相机抽象打开外置摄像头,获取预览流。
其中,相机应用可以向相机服务下发指令,响应于该指令,相机服务可以通过相机抽象打开该外置摄像头,获取预览流。例如,相机抽象可以通过相机驱动(如:外置摄像头驱动),打开外置摄像头。
在一些示例中,通过外置摄像头获取预览流的过程可以包括:当外置摄像头开启后,外置摄像头使用Sensor来捕获光线,Sensor受到曝光的控制后,可以不断输出多张图像帧。
其中,Sensor输出的多张图像帧需要以预览流的形式存储,这样,后续可以基于预览流生成预览画面,并为用户显示预览画面。故多张图像帧可以被缓存在预览流内存块中,该预览流内存块也可以称为预览流Buffer。
在一些示例中,手机接收到用户开启相机应用的操作,作为响应,手机可以开启相机应用。示例性的,如图8中的(a)所示,响应于用户的解锁操作,手机显示界面800,界面800(即:桌面)中包括区域801、区域802和区域803。其中,区域801用于显示常规的提示数据,如:时间、天气、地址等(即,08:00,1月1号,星期四,晴、XX区)。区域802用于显示应用程序图标,例如:视频图标、运动健康图标、天气图标、浏览器图标、收音机图标、设置图标、录音机图标、应用商城图标等。区域803用于显示固定在手机底栏的应用程序图标(当显示界面发生切换时,应用程序图标不发生改变),例如:相机图标、通讯录图标、电话图标以及信息图标。
在用户需要拍摄图像时,手机可以接收到用户对“相机图标”的启动操作(即第一操作),相机应用显示界面804。界面804中包括区域805、区域806和区域807。其中,区域805(又称预览区域)占据相机应用程序的大部分区域,主要用于显示预览流。预览流会随着用户的移动而发生变化。区域806固定在区域805下方,主要用于显示相机应用程序的多种拍摄模式,例如:夜景模式、人像模式、拍照模式、录像模式、电影模式、专业模式以及更多模式(又可以称为拍照扩展模式)等等。由于区域806可显示的内容有限,故区域806中仅以“夜景”、“人像”、“拍照”、“录影”以及“电影”等作为显示示例示出。区域807固定在区域806下方,主要用于显示多个功能选项,例如:“拍摄图片”选项、“拍摄”选项以及“切换摄像头”选项。当用户找到合适的拍摄画面后,可以点击“拍摄”选项。
步骤702、手机的运动检测模块接收第一通知。
步骤703、响应于第一通知,运动检测模块对预览流中的多张图像帧进行运动检测,输出运动检测结果,并向自动曝光模块(Automatic Exposure)发送第二通知。
其中,第二通知用于请求自动曝光模块根据运动检测结果,调整曝光参数。第二通知包括运动检测结果。
在运动检测模块接收到第一通知之后,运动检测模块可以响应于第一通知,调用算法库中的运动检测算法对预览流中的多张图像帧进行运动检测,输出多张图像帧的运动检测结果。并向自动曝光模块发送第二通知,以使自动曝光模块根据多张图像帧的运动检测结果,调整曝光参数,从而获取画质更好的图像帧。
示例性的,运动检测结果可以包括多个运动标志位。每个运动标志位用于表征不同的检测结果。例如,多个运动标志位包括运动标志位0、运动标志位1、运动标志位2和运动标志位3。
其中,运动标志位0用于表征预览流中的多张图像帧内的拍摄对象不处于运动状态。运动标志位1用于表征预览流中的多张图像帧内的拍摄对象处于运动状态,且拍摄对象的运动幅度较大。运动标志位2用于表征预览流中的多张图像帧内的拍摄对象处于运动状态,且拍摄对象的运动幅度中等。运动标志位3用于表征预览流中的多张图像帧内的拍摄对象处于运动状态,且拍摄对象的运动幅度较小。需要说明的是,运动标志位可以实际需求灵活设置,本公开对此不作限制。
在一些示例中,运动检测模块调用运动检测算法对预览流中的多张图像帧进行运动检测的过程可以包括:在根据第一通知获取到预览流之后,可以计算预览流中相邻两帧之间的像素差异,或者,计算预览流中相邻两帧之间的像素差异的绝对值,以得到差异图像。接着,确定预设阈值,利用预设阈值对差异图像进行二值化,从而将差异图像转化为二值图像。二值图像可以用于分类图像中的运动区域与静止区域。然后,使用连通区域分析算法(例如,连通组件标记)来识别和提取二值图像中连续的运动区域。根据提取出的二值图像中连续的运动区域,可以判断是否存在运动和运动的特征。最后,根据运动和运动特征生成多张图像帧的运动检测结果。
步骤704、自动曝光模块接收第二通知。
步骤705、响应于第二通知,自动曝光模块根据运动检测结果,生成曝光参数,并向Sensor发送第三通知。
其中,曝光参数包括感光度(国际标准组织对感光度的量化规定,InternationalOrganization for Standardization,ISO)和曝光时间。第三通知用于请求Sensor根据曝光参数,生成多张更新后的图像帧。第三通知包括曝光参数。
在自动曝光模块接收到第二通知之后,自动曝光模块可以响应于第二通知,根据第二通知中的运动检测结果,生成曝光参数,并向Sensor发送第三通知。以使Sensor基于第三通知中的曝光参数,生成清晰度更高的多张更新后的图像帧。
结合前述可知,当用户对处于运动状态的拍摄对象进行拍摄时,一般都会出现运动区域模糊的现象,为了改善这种运动区域迷糊的现象,本公开在确定出拍摄对象处于运动状态时,可以通过设置曝光参数的方式降低曝光,从而达到提升图像帧画质的效果。
曝光是拍摄中一个非常重要的环节,它决定了获取图像帧时感光元件能获取多少光线。即曝光可以用于设置图像帧的亮度。在曝光过程中,影响图像帧的亮度的因素分别是曝光时间(快门速度)、光圈大小以及感光度,这三个因素也可以统称为曝光参数。
其中,曝光时间,也被称为快门速度,可以用秒(s)表示。曝光时间越短,图像越暗。曝光时间越长,图像越亮。光圈是镜头中控制光线进入相机的孔径大小的装置,用F表示。其中,F后面的数值与光圈大小成反比。光圈越大,通光孔径就会越大,从而进光量会增加,所以画面亮度增加。相反,光圈越小,进光量减少,所以画面亮度降低。
可以理解的是,手机等电子设备中的光圈大小通常是固定的。因此,电子设备可以通过调节曝光时间和ISO,来改变曝光所得的图像的亮度。
因此,当运动检测模块确定出预览流中的多张图像帧的运动检测结果后,自动曝光模块可以根据运动检测结果,调节曝光参数。
在一些示例中,自动曝光模块根据运动检测结果,调节曝光参数可以是自动曝光模块预先设置了降曝光的曝光表。在得到运动检测结果之后,可以根据降曝光的曝光表确定出该运动检测结果对应的曝光参数。其中,降曝光的曝光表中包括每种运动检测结果对应的曝光参数。
示例性的,降曝光的曝光表如下表1所示:
表1
;/>
如表1所示,常见的手机原始ISO和原始曝光时间可以有两种。第一种原始ISO为100,原始曝光时间为1/100。第二种原始ISO为1000,原始曝光时间为1/30。
结合步骤703可知,运动检测结果对应的运动标志位包括运动标志位0、运动标志位1、运动标志位2和运动标志位3。由于运动标志位0用于表征预览流中的多张图像帧内的拍摄对象不处于运动状态,故,当运动检测结果是运动标志位0时,不需要进行降曝光处理。
运动标志位1、运动标志位2和运动标志位3均表征预览流中的多张图像帧内的拍摄对象处于运动状态。因此,降曝光的曝光表针对中运动标志位1、运动标志位2和运动标志位3提供相应的降曝光后的曝光参数。
对于第一种原始ISO和原始曝光时间而言,当运动检测结果为运动标志位1时,对应的降曝光后的ISO为200,降曝光后的曝光时间为1/200。当运动检测结果为运动标志位2时,对应的降曝光后的ISO为400,降曝光后的曝光时间为1/400。当运动检测结果为运动标志位1时,对应的降曝光后的ISO为800,降曝光后的曝光时间为1/800。
对于第二种原始ISO和原始曝光时间而言,当运动检测结果为运动标志位1时,对应的降曝光后的ISO为2000,降曝光后的曝光时间为1/60。当运动检测结果为运动标志位2时,对应的降曝光后的ISO为3000,降曝光后的曝光时间为1/90。当运动检测结果为运动标志位1时,对应的降曝光后的ISO为5000,降曝光后的曝光时间为1/150。
可以理解的是,原始ISO和原始曝光时间还可以是其他数值,降曝光后的ISO和降曝光后的曝光时间可以根据原始ISO和原始曝光时间进行相应调整,本公开对此不作限制。
由表1可知,降曝光的曝光表以倍数关系呈现,这样,能够保证图像的亮度值不变(即ISO和曝光时间的乘积不变)。保证图像的亮度值不变具体是为了保持图像的正确曝光和亮度一致性。
保持ISO和曝光时间的乘积不变可以确保在同一个场景中拍摄的照片具有一致的曝光水平。这对于后期处理图像非常重要,因为图像帧满足曝光一致性,可以使不同图像帧在亮度上更加接近,方便后续的调整和处理;还可以更加方便地调节曝光,当需要调整曝光时,只需要调整ISO和曝光时间中的一个参数,而不需要同时调整两个参数。这样可以更快速地实现曝光调节,提高工作效率。
若ISO和曝光时间的乘积发生变化,会导致图像帧的亮度变化,可能会造成亮度过高或过低的问题。这会导致图像帧细节的丢失或噪点的增加,影响图像帧的质量和清晰度。通过保持ISO和曝光时间的乘积不变,可以避免图像帧的失真问题,使得图像帧保持正确的亮度和曝光水平。
步骤706、Sensor接收第三通知。
步骤707、响应于第三通知,Sensor基于曝光参数,生成多张更新后的图像帧。
在Sensor到第三通知之后,Sensor可以响应于第三通知,根据第三通知中的曝光参数生成多张更新后的图像帧,并将多张更新后的图像帧存储在缓存队列中。由于运动检测模块可以预先得出运动检测结果(即拍摄对象的运动状态),并且该曝光参数是根据运动检测结果生成的,所以,Sensor基于该曝光参数生成的多张更新后的图像帧的画质更好。
在一些示例中,Sensor基于曝光参数,生成多张更新后的图像帧的过程可以包括:首先,Sensor基于第三通知读取曝光参数(即,ISO和曝光时间等)。曝光参数决定了光线进入Sensor的数量。由于Sensor中的每个像素都包含一个光敏元件,当光线通过镜头进入Sensor时,光子会击中光敏元件,产生电荷。然后,Sensor通过模拟数字转换器(ADC)将电荷转化为数字信号,根据数字信号得到每个像素的亮度值。最后Sensor传感器根据读取到的每个像素的亮度值生成多张更新后的图像帧。
示例性的,多张更新后的图像帧可以以RAW格式输出。RAW格式可以用于限定Sensor输出的更新后的图像帧个数,例如,Sensor输出的更新后的图像帧的个数可以是4帧、6帧或8帧中的任一种。
其中,RAW通常会包含更高的位深度和更广的动态范围,使得拍照帧的细节更加丰富、色彩更为真实。在使用RAW格式进行拍摄时,相机中的自动曝光模块会将曝光参数以RAW格式发送给Sensor,Sensor根据这些曝光参数进行光子感应和数字信号转换,以生成RAW格式的更新后的图像帧。之后,这些RAW格式的更新后的图像帧可以用于后期处理,以获得更高的图像质量。
步骤708、响应于用户对待处理应用中的多拍按钮的第二操作,帧处理模块获取多张更新后的图像帧,并在多张更新后的图像帧中选择预设数量的图像帧。
其中,第二操作用于触发待处理应用的多拍功能启动,获取多张图像。
当拍摄对象处于运动状态,若用户想要使用手机的待处理应用进行拍摄时,用户可以使用待处理应用的多拍功能进行拍摄。当待处理应用接收到用户对多拍按钮的点击操作(即第二操作)时,待处理应用可以启动多拍功能,多拍功能可以触发待处理应用生成多张图像,从而为用户展示在不同时刻下,拍摄对象的运动画面。
在一些示例中,电子设备显示待处理应用的第一界面,第一界面中包括多拍按钮。电子设备可以接收到用户在第一界面中对多拍按钮触发的第二操作,帧处理模块可以从缓存队列中获取Sensor生成的多张更新后的图像帧,并在多张更新后的图像帧中选择预设数量的图像帧,以便于后续利用预设数量的图像帧,生成多张图像。
在一些示例中,参考图8中的(b),用户可以在界面804的区域806中滑动,以在多种拍摄模式下选择用户所需的拍摄模式。当相机应用接收到用户在多种拍摄模式下对拍照模式的选择操作后,相机应用显示如图9中的(a)所示的拍照界面900(即第一界面)。拍照界面900中包括多拍按钮901。响应于用户在界面900中对多拍按钮901的点击操作,相机应用可以启动多拍功能。
在另一些示例中,参考图8中的(b),当相机应用接收到用户在多种拍摄模式下对拍照扩展模式的选择操作后,相机应用显示如图9中的(b)所示的界面902(即第一界面)。界面902中包括多个功能扩展按钮,每个按钮可以用于触发不同的功能。例如,多个功能扩展按钮包括多拍按钮903、慢动作按钮、全景按钮、延时摄影按钮、水印按钮、超级微距按钮、多镜录像按钮、高像素按钮、文档扫描按钮以及微电影按钮等等。响应于用户在界面902中对多拍按钮903的选择操作,相机应用可以启动多拍功能。
在一些示例中,由于相机应用在启动之后,相机应用可以触发摄像头开启,摄像头开启之后,摄像头可以调用Sensor输出多张图像帧。也就是说,在相机应用接收到用户对多拍按钮的点击操作之前,Sensor输出多张图像帧,并将多张图像帧存储在缓存队列。为了避免由于用户点击多拍按钮的时刻和相机应用生成图像帧的时刻不一致,而导致的用户想要的拍摄画面和最终相机应用呈现给用户的拍摄画面不一致问题,所以帧处理模块会从缓存队列中获取Sensor输出的多张图像帧,并在多张图像帧中筛选预设数量的图像帧。
此外,当相机应用接收到用户对多拍按钮的点击操作后,帧处理模块筛选的预设数量的图像帧需要以拍照流的形式存储。所以,多张图像帧被缓存的缓存队列可以是拍照流内存块,该拍照流内存块也可以称为拍照流Buffer。
在一些示例中,由于相机应用在启动之后,Sensor会持续不断的输出图像帧,所以,当帧处理模块检测到用户对多拍按钮的点击操作之后,帧处理模块可以从Sensor中获取多张更新后的图像帧,并在多张更新后的图像帧中筛选预设数量的图像帧。
在一些示例中,帧处理模块在多张更新后的图像帧中筛选预设数量的图像帧可以是:帧处理模块以用户点击多拍按钮的时刻作为t0时刻(即,触发第二操作的时刻),以t0时刻作为基准时刻,负向选择第一数量的更新后的图像帧,正向选择第二数量的更新后的图像帧,以得到预设数量的图像帧。
其中,负向选择是指在用户点击多拍按钮的时刻之前的时刻(即,触发第二操作的时刻之前的时刻),从多张更新后的图像帧中选择第一数量的更新后的图像帧。正向选择在用户点击多拍按钮的时刻以及用户点击多拍按钮的时刻之后的时刻(即,触发第二操作的时刻之后的时刻),从更新的多张更新后的图像帧中选择第二数量的更新后的图像帧。第一数量和第二数量之和为预设数量。
由于用户确定需要进行拍摄的时刻到用户点击多拍按钮的时刻存在时间差,所以本公开以用户点击多拍按钮的时刻作为基准时刻,负向选择第一数量的更新后的图像帧,以保证之后可以基于负向选择的第一数量的更新后的图像帧,得到用户想要的拍摄图像。
需要说明的是,以t0时刻作为基准时刻,预设数量的图像帧可以是全部基于负向选择得到,还可以是全部基于正向选择得到,或者既基于负向选择得到又基于正向选择得到。本公开对此不作限制。另外,本公开也不具体限制上述第一数量和第二数量的具体值。这些都可以根据实际的用户需求灵活设置。
图10示例性的示出一种帧处理模块在Sensor输出的多张更新后的图像帧中,筛选的预设数量的图像帧。基于图10可知,帧处理模块筛选的预设数量的图像帧有8帧。以t0时刻作为基准时刻,负向选择的第一数量的更新后的图像帧为2帧,分别是第-2帧和第-1帧。正向选择的第二数量的更新后的图像帧为6帧,分别是第0帧、第1帧、第2帧、第3帧、第4帧和第5帧。
步骤709、帧处理模块基于预设数量的图像帧,得到多个参考帧。
在得出预设数量的图像帧之后,帧处理模块可以根据预设数量的图像帧,确定多个参考帧。之后,可以基于多个参考帧生成多张图像,并为用户显示多张图像。
在一些示例中,帧处理模块基于预设数量的图像帧,可以只得到的多个参考帧。示例性的,帧处理模块可以基于预设数量的图像帧,将每个图像帧都作为参考帧,从而得到多个参考帧。
一般,在预设数量的图像帧中会将较为清晰,且具有代表性的图像帧作为参考帧。这样,能够确保图像中的物体或场景充分展示。示例性的,可以使用图像质量评估算法,例如,结构相似性(SSIM)指标或峰值信噪比(PSNR)指标来评估图像清晰度。在图像帧的结构相似性(SSIM)指标或峰值信噪比(PSNR)指标大于预设阈值的情况下,将该图像帧确定为参考帧。
在另一些示例中,基于预设数量的图像帧,得到多个参考帧的过程还可以是:提取预设数量的图像帧中的特征,例如,清晰度、颜色分布、纹理特征等。根据预定义的参考帧标准算法,对提取的图像帧中的特征进行评估,并计算得分。根据评分,选择得分最高的多个图像帧作为参考帧。示例的,可以通过计算特征统计信息或使用计算机视觉算法(如SIFT、SURF、HOG等)来提取图像帧中的特征。可以通过机器学习分类器、阈值或规则来计算得分。
基于步骤708可知,由于预设数量的图像帧包括触发第二操作的时刻对应的图像帧、触发第二操作的时刻之前的时刻对应的图像帧以及触发第二操作的时刻之后的时刻对应的图像帧。所以,可以将触发第二操作的时刻对应的图像帧、触发第二操作的时刻之前的时刻对应的图像帧以及触发第二操作的时刻之后的时刻对应的图像帧均作为参考帧。
之后,可以利用多个参考帧生成的多张拍摄图像,则多张拍摄图像包括触发第二操作的时刻对应的拍摄图像、触发第二操作的时刻之前的时刻对应的拍摄图像,以及触发第二操作的时刻之后的时刻对应的拍摄图像。
在一些示例中,帧处理模块可以基于预设数量的图像帧,得到多个参考帧和间隔帧。基于预设数量的图像帧,得到多个参考帧和间隔帧的过程可以包括:首先,基于预设数量的图像帧,得到多个参考帧;然后将预设数量的图像帧中除多个参考帧以外的图像帧均作为间隔帧。其中,间隔帧也可以被认为是两个参考帧之间的图像帧。间隔帧可以是一个或多个。
通常,预设数量的图像帧为多个连续的图像帧,这些图像帧在时间和场景上都较为相似。当在预设数量的图像帧中确定出参考帧之后,若预设数量的图像帧还包括未被选择的图像帧(即参考帧以外的图像帧),则可以将未被选择的图像帧确定为间隔帧。这些间隔帧可以为参考帧增加一些视角和场景变化。之后,可以利用参考帧和间隔帧共同生成多张图像,从而增强多张图像的多样性。
示例性的,基于预设数量的图像帧,得到的多个参考帧和间隔帧可以是:在预设数量的图像帧中,将第一个图像帧确定为参考帧,然后每隔一帧将下一个图像帧确定为参考帧。将参考帧以外的图像帧确定为间隔帧。还可以是:在预设数量的图像帧中,将第一个图像帧确定为参考帧,然后每隔两帧将下一个图像帧确定为参考帧,将参考帧以外的图像帧确定为间隔帧。或者,在预设数量的图像帧中,将第一个图像帧确定为参考帧,然后第一次隔一帧将下一个图像帧确定为参考帧,第二次隔两帧将下一个图像帧确定为参考帧,依次类推,直到最后一个帧图像,并将参考帧以外的图像帧确定为间隔帧。
需要说明的是,本公开对参考帧的选择方式和参考帧的数量不作限定,可以根据实际需求灵活设置。
例如,如图10所示,预设数量的图像帧包括8个图像帧。根据8个图像帧,可以得到4个参考帧,将除参考帧以外的图像帧确定为间隔帧,即间隔帧的个数也为4帧。其中,参考帧为第-2帧、第0帧、第3帧和第5帧。间隔帧为第-1帧、第1帧、第2帧以及第4帧。
步骤710、基于多个参考帧,生成多张图像,并向降噪模块发送第四通知。
其中,第四通知用于请求降噪模块对多张图像进行降噪处理,以得到多张降噪后的图像。第四通知包括多张图像。
在确定出参考帧之后,可以根据参考帧生成多张图像,然后将多张图像发送至降噪模块,以使降噪模块对多张图像进行降噪处理,以得到多张降噪后的图像。
在一些示例中,若基于预设数量的图像帧只得到参考帧,则基于每个参考帧,生成每个参考帧对应的图像,从而得到多张图像。通常,参考帧的数量和多张图像的数量一致。例如,预设数量的图像帧包括8个图像帧,根据8个图像帧,得到8个参考帧。则根据8个参考帧,生成8张图像。
基于每个参考帧,生成每个参考帧对应的图像,从而得到多张图像可以是基于每个参考帧和图像生成规则,生成每个参考帧对应的图像,从而得到多张图像。其中,图像生成规则可以是在没有间隔帧的情况下,根据每个参考帧,生成每个参考帧对应的图像,从而得到多张图像。
在另一些示例中,若基于预设数量的图像帧,得到参考帧和间隔帧,则基于每个参考帧和间隔帧,生成每个参考帧对应的图像,从而得到多张图像。例如,预设数量的图像帧包括8个图像帧,根据8个图像帧,得到4个参考帧和4个间隔帧。则根据4个参考帧和4个间隔帧,生成4张图像。
基于每个参考帧和间隔帧,生成每个参考帧对应的图像,从而得到多张图像可以是基于每个参考帧、间隔帧和图像生成规则,生成每个参考帧对应的图像,从而得到多张图像。其中,图像生成规则可以是在既包括参考帧,又包括间隔帧的情况下,根据每个参考帧和间隔帧,生成每个参考帧对应的图像,从而得到多张图像。
示例性的,在参考帧和间隔帧都有多帧的情况下,图像生成规则还可以预先设定基于哪个参考帧和哪个间隔帧生成图像。因此,基于每个参考帧、间隔帧和图像生成规则,生成每个参考帧对应的图像,从而得到多张图像可以是:基于图像生成规则,对参考帧和间隔帧进行处理,从而得到多张图像。
例如,如图10所示,预设数量的图像帧有8帧,参考帧有4帧(即,第-2帧、第0帧、第3帧和第5帧),间隔帧有4帧(即第-1帧、第1帧、第2帧以及第4帧)。基于参考帧,可以生成4张图像,该4张图像分别是图像P1、图像P2、图像P3以及图像P4。
其中,图像生成规则中预先设定:图像P1是以第0帧作为参考帧,以第1帧、第2帧和第3帧作为间隔帧生成的。图像P2是以第3帧作为参考帧,以第0帧、第1帧和第2帧作为时序帧生成的。图像P3是以第5帧作为参考帧,以第0帧、第1帧、第2帧、第3帧和第4帧作为时序帧生成的。图像P4是以第-2帧作为参考帧,以第-1帧、第0帧、第1帧、第2帧和第3帧作为时序帧生成的。
通常情况下,单个图像帧中会存在噪声,这是由于光照条件、传感器噪声或其他因素引起的。而使用多个图像帧,可以利用它们之间的差异来降低噪声的影响,从而获得更清晰、更干净的图像。并且,在生成多张图像的过程中,使用参考帧和间隔帧可以为图像提供更多的信息,从而增加生成的图像的质量和多样性。
在一些示例中,基于图像生成规则,对参考帧和间隔帧进行处理,从而得到多张图像可以包括:首先,基于图像生成规则,确定在生成多张图像的过程中是否存在需要重复计算的部分(又可以称为子计算复用项)。若存在子计算复用项,则可以基于图像生成规则和计算复用算法,对参考帧和间隔帧进行处理,从而得到多张图像。若不存在需要重复计算的部分,则直接基于图像生成规则,对参考帧和间隔帧进行处理即可。
其中,计算复用算法(Computation Reuse Algorithm)是一种优化计算过程的方法,主要目的是通过重复利用已经计算过的中间结果,减少重复计算的开销,从而提高计算效率和性能。
示例性的,计算复用算法可以包括以下步骤:首先,分析计算任务,找出子计算复用项。然后,采用适当的数据结构,对子计算复用项的处理结果进行存储。例如,数据结构可以包括缓存、表格、哈希表或其他数据结构中的任一项。最后,在计算过程中,当需要进行重复计算时,可以利用之前存储的子计算复用项的处理结果进行重用,避免重复进行相同的计算。以及,当输入数据发生改变或计算结果发生更新时,则需要相应地更新存储的子计算复用项的处理结果,以确保子计算复用项的处理结果的准确性和及时性。
在一些示例中,基于图像生成规则和计算复用算法,对参考帧和间隔帧进行处理,从而得到多张图像的过程可以包括以下步骤:首先,通过分析图像生成规则,确定出在输出多张图像的过程中,需要多次重复计算的子计算复用项。然后,对子计算复用项进行计算,以得到子计算复用项的处理结果。接着。利用计算复用算法,采用适当的数据结构对子计算复用项的处理结果进行存储和管理。最后,基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,得出多张图像中的每张图像。因此,可以合理地利用计算复用算法,生成多张图像。从而能够减少计算时间和资源占用,提高计算效率,使得计算过程更加高效和快速。
例如,通过分析图像生成规则,可以确定出在生成图像P1、图像P2、图像P3以及图像P4的过程中,第1帧和第2帧是重复计算的部分。所以如图11所示,可以先对第1帧和第2帧进行时序处理,得到第一时序处理结果。然后利用计算复用算法,采用适当的数据结构存储第一时序处理结果。
由于图像P1、图像P2的生成过程相对较为简单,所以可以基于图像生成规则优先生成图像P1、图像P2。
因为图像P1是以第0帧作为参考帧,以第1帧、第2帧和第3帧作为时序帧生成的,而基于第1帧和第2帧,已得到第一时序处理结果,所以可以在存储中获取第一时序处理结果,然后对第一时序处理结果和第0帧进行融合处理,得到第一融合结果;最后将第一融合结果和第3帧融合,从而得到图像P1。
因为图像P2是以第3帧作为参考帧,以第0帧、第1帧和第2帧作为时序帧生成的,并且在生成图像P1时,已得到第0帧、第1帧和第2帧的处理结果(即第一融合结果),所以在生成图像P2时,可以直接将第一融合结果和第3帧进行融合即可得到图像P2。
因为图像P3是以第5帧作为参考帧,以第0帧、第1帧、第2帧、第3帧和第4帧作为时序帧生成的。并且在生成图像P2时,已得到第0帧、第1帧、第2帧和第3帧的处理结果(即图像P2),所以,可以以第5帧作为参考帧,将第4帧和第5帧融合,得到第二融合结果,然后将第二融合结果和图像P2进行融合处理,得到图像P3。
由于图像P4是以第-2帧作为参考帧,以第-1帧、第0帧、第1帧、第2帧和第3帧作为时序帧生成的。并且在生成图像P2时,已得到第0帧、第1帧、第2帧和第3帧的处理结果(即图像P2),所以,可以以第-2帧作为参考帧,将第-2帧和第-1帧融合,得到第三融合结果,然后将第三融合结果和图像P2进行融合处理,得到图像P4。
其中,对第1帧和第2帧进行时序处理,得到第一时序处理结果的过程可以包括:首先,由于第1帧和第2帧来自不同的时间点,可以利用图像对齐算法对第1帧和第2帧进行对齐,以得到对齐后的第1帧和对齐后的第2帧。对齐后的第1帧和对齐后的第2帧具有相同的尺寸、角度和位置。其次,对对齐后的第1帧和对齐后的第2帧进行特征提取,得到对齐后的第1帧对应的特征以及对齐后的第2帧对应的特征。再次,对对齐后的第1帧对应的特征以及对齐后的第2帧对应的特征进行特征匹配,得到特征匹配结果。接着,根据特征匹配结果,利用运动估计算法确定第1帧和第2帧的运动估计结果。然后,根据运动估计结果,将第1帧和第2帧进行图像配准,得到配准后的第1帧和配准后的第2帧。最后,通过图像融合算法,将配准后的第1帧和配准后的第2帧进行合成,生成第一时序处理结果。可以理解的是,上述其他部分的时序处理过程与对第1帧和第2帧进行时序处理,得到第一时序处理结果的过程类似,此处不再赘述。
对第一时序处理结果和第0帧进行融合处理,得到第一融合结果的过程可以包括:首先,将第一时序处理结果和第0帧进行对齐,得到对齐后的第一时序处理结果和对齐后的第0帧。然后,对对齐后的第一时序处理结果和对齐后的第0帧进行特征选择,得到选择后的第一时序处理结果和选择后的第0帧。最后,利用融合算法,对选择后的第一时序处理结果和选择后的第0帧进行融合,从而得到第一融合结果。可以理解的是,上述其他部分的融合处理过程与对第一时序处理结果和第0帧进行融合处理,得到第一融合结果的过程类似,此处不再赘述。
在一些示例中,本公开对间隔帧的个数不作限制,间隔帧的个数可以根据手机的性能、内存、拍摄效果等因素灵活设置。示例性的,如果为了拍摄更多的图像,各个参考帧之间的间隔需要尽可能小,则间隔帧的个数也可以设置的小一点,例如,间隔帧为1。如果为了获取更为分散的图像内容,则可以将间隔帧的个数设置更大,这样,参考帧之间的距离就会变大,相应的各参考帧之间会有较大的内容差异。
示例性的,如图12所示,对于第-2帧和第0帧之间的间隔帧而言,可以仅设置一个间隔帧,即第-1帧,也可以设置其它个数的间隔帧。对于第3帧和第5帧之间的间隔帧而言,可以仅设置一个间隔帧,即第4帧,也可以设置其它个数的间隔帧。其中,…用于表征间隔帧的个数,间隔帧的个数可以是0到任一目标值。
步骤711、降噪模块接收第四通知。
步骤712、响应于第四通知,降噪模块对多张图像进行降噪处理,得到多张降噪后的图像,并向第一格式转化模块发送第五通知。
其中,第五通知用于请求第一格式转化模块对多张降噪后的图像进行格式转化,得到多张转化后的图像。
在接收第四通知之后,降噪模块可以响应于第四通知,对第四通知中的多张图像进行降噪处理,从而得到降噪后的图像。
在一些示例中,降噪模块对第四通知中的多张图像进行降噪处理可以是采用原始降噪技术(Raw Noise Reduction,RAWNR)技术对第四通知中的多张图像进行降噪处理。
在一些示例中,采用RAWNR技术对第四通知中的多张图像进行降噪处理的过程可以包括:首先,基于第四通知获取多张图像:其次,由于拍摄过程中可能存在微小的移动或抖动,可以利用图像对齐算法对多张图像进行对齐,以得到多张对齐后的图像;其中,图像对齐算法可以是在多张图像中寻找特征点,然后通过移动和旋转,得到多张对齐后的图像。随后,对多张对齐后的图像进行预处理,以去除多张对齐后的图像的噪声元素(例如,黑暗框和热像噪声等);接着,通过使用图像对齐算法,对已去除噪声元素的多张对齐后的图像进行二次对齐,得到多张处理后的图像,这样,以确保多张处理后的图像完全对齐。然后,采用基于组合均值的降噪算法,对多张处理后的图像进行处理,以减少噪声的影响。由于降噪处理后,可能会损失一些细节。所以,还需要通过锐化算法或其他细节增强技术,恢复图像的细节和纹理。最后,对图像进行后处理操作(例如,色彩校正、对比度增强等),得到多张降噪后的图像,以进一步增强图像质量。
步骤713、第一格式转化模块接收第五通知。
步骤714、响应于第五通知,第一格式转化模块对多张降噪后的图像进行第一格式转化,得到多张转化后的图像,并向第二格式转化模块发送第六通知。
在接收第五通知之后,第一格式转化模块可以响应于第五通知,对第五通知中的多张降噪后的图像进行第一格式转化,得到多张转化后的图像。
由于多张降噪后的图像的格式无法被大多图像处理算法直接处理,所以降噪模块可以将多张降噪后的图像发送至第一格式转化模块,利用第一格式转化模块对多张降噪后的图像分别进行格式转化。作为响应,第一格式转化模块接收到多张降噪后的图像后,可以对多张降噪后的图像进行格式转化处理,得到多张转化后的图像。
在一些示例中,多张降噪后的图像的格式为RAW格式。第一格式转化模块对多张降噪后的图像进行格式转化可以是将多张降噪后的图像从RAW格式转化为YUV格式,得到多张转化后的图像。
步骤715、第二格式转化模块接收第六通知。
步骤716、响应于第六通知,第二格式转化模块对多张转化后的图像进行第二格式转化,得到多张拍摄图像。
在接收第六通知之后,第二格式转化模块可以响应于第六通知,对第六通知中的转化后的图像进行第二格式转化,得到多张拍摄图像。
在一些示例中,多张拍摄图像的格式为JPEG格式。第二格式转化模块对多张转化后的图像进行第二格式转化可以是将多张转化后的图像从YUV格式转化为JPEG格式,得到多张拍摄图像,多张拍摄图像可以存储在图库应用中。之后,第二格式转化模块可以向手机的显示模块发送多张拍摄图像,以使显示模块为用户显示多张拍摄图像。
示例性的,当用户点击多拍按钮之后,相机应用可以生成如图13中的(a)、图13中的(b)、图13中的(c)、图13中的(d)所示的4张拍摄图像。其中,图13中的(a)、图13中的(b)、图13中的(c)、图13中的(d)分别为不同时刻对应的拍摄图像。图13中的(a)为时刻1对应的拍摄图像、图13中的(b)为时刻2对应的拍摄图像、图13中的(c)为时刻3对应的拍摄图像、图13中的(d)为时刻4对应的拍摄图像。手机可以接收用户对第一界面中显示控件的点击操作,显示多张拍摄图像。
在生成图13中的(a)、图13中的(b)、图13中的(c)、图13中的(d)所示的4张拍摄图像后,图13中的(a)、图13中的(b)、图13中的(c)、图13中的(d)还可以在图库应用中存储并展示。
示例性的,图13中的(a)、图13中的(b)、图13中的(c)、图13中的(d)在图库应用中的展示效果如图14所示。并且,图14中详细标识了每张拍摄图像对应的拍摄时刻。即图13中的(a)对应时刻1,图13中的(b)对应时刻2、图13中的(c)对应时刻3以及图13中的(d)对应时刻4。这样,能够实现一次拍摄输出多张拍摄图像,从而大概率避免仅输出一张拍摄图像,且该拍摄图像并非用户想要的拍摄画面的情况。
因此,采用本方案可以确定出多个参考帧,由于多个参考帧包括触发第二操作的时刻对应的图像帧、触发第二操作的时刻之前的时刻对应的图像帧,以及触发第二操作的时刻之后的时刻对应的图像帧,所以利用多个参考帧生成多张拍摄图像也包括触发第二操作的时刻对应的拍摄图像、触发第二操作的时刻之前的时刻对应的拍摄图像,以及触发第二操作的时刻之后的时刻对应的拍摄图像。这样,就可以避免由于电子设备系统性能的时延,而导致的拍摄图像并非用户想要的拍摄图像的问题。并且在生成拍摄图像的过程中,通过利用计算复用算法,可以更高效的生成多张拍摄图像。另外,由于多张拍摄图像是基于多个参考帧和间隔帧生成的,间隔帧的数量可以根据用户需求灵活选择,因此生成多张拍摄图像会更符合用户期待,从而提高用户满意度。
为了便于理解,下面结合附图15对本公开实施例提供的拍摄方法进行说明。如图15所示,该拍摄方法可以包括以下步骤1501-步骤1503。
步骤1501、电子设备显示待处理应用的第一界面。
其中,第一界面包括多拍按钮,多拍按钮用于触发待处理应用的多拍功能。
需要说明的是,第一界面和上述图9中的(a)所示的拍照界面900类似。第一界面还和上述图9中的(b)所示的界面902类似。待处理应用和上述图7所示的实施例中的步骤701中的相机应用类似。
本公开实施例中的电子设备显示待处理应用的第一界面可以参考上述图7所示的实施例中的步骤708,本公开实施例在此不再赘述。
在一些示例中,第一界面为拍照界面,或者第一界面为与拍照界面不同的显示界面。在第一界面为与拍照界面不同的显示界面的情况下,在电子设备显示待处理应用的第一界面之前,方法还包括:电子设备显示拍照界面;拍照界面包括拍摄扩展模式;响应于用户对拍摄扩展模式输入的触发操作,显示包括多拍按钮的第一界面。
本公开实施例中的电子设备显示拍照界面;拍照界面包括拍摄扩展模式;响应于用户对拍摄扩展模式输入的触发操作,显示包括多拍按钮的第一界面可以参考上述图7所示的实施例中的步骤708,本公开实施例在此不再赘述。
在一些示例中,多张拍摄图像还包括第二时刻对应的拍摄图像和第三时刻对应的拍摄图像,第二时刻为第一时刻之前的时刻,第三时刻为第一时刻之后的时刻。
其中,第一时刻和上述图7所示的实施例中的步骤708中的触发第二操作的时刻类似。第二时刻和上述图7所示的实施例中的步骤708中的触发第二操作的时刻之前的时刻类似。第三时刻和上述图7所示的实施例中的步骤708中的触发第二操作的时刻之后的时刻类似。第二时刻对应的拍摄图像和上述图7所示的实施例中的步骤709中的触发第二操作的时刻之前的时刻对应的拍摄图像类似。第三时刻对应的拍摄图像和上述图7所示的实施例中的步骤709中的触发第二操作的时刻之后的时刻对应的拍摄图像类似。
步骤1502、电子设备接收用户在第一时刻对多拍按钮的第一触摸操作。
其中,第一触摸操作和上述图7所示的实施例中的步骤708中的第二操作类似。
本公开实施例中的电子设备接收用户在第一时刻对多拍按钮的第一触摸操作可以参考上述图7所示的实施例中的步骤708,本公开实施例在此不再赘述。
在一些示例中,在电子设备接收用户对多拍按钮的第一触摸操作之前,方法还包括:电子设备接收用户对待处理应用的启动操作;电子设备响应于启动操作,获取预览流,预览流包括多张图像帧;电子设备对多张图像帧进行运动检测,得到多张图像帧的运动检测结果;电子设备根据运动检测结果,设置曝光参数;电子设备根据曝光参数,输出多张更新后的图像帧。
本公开实施例中的电子设备接收用户对待处理应用的启动操作;电子设备响应于启动操作,获取预览流,预览流包括多张图像帧;电子设备对多张图像帧进行运动检测,得到多张图像帧的运动检测结果;电子设备根据运动检测结果,设置曝光参数;电子设备根据曝光参数,输出多张更新后的图像帧可以参考上述图7所示的实施例中的步骤701-步骤707,本公开实施例在此不再赘述。
步骤1503、电子设备响应于第一触摸操作,输出多张拍摄图像。
其中,多张拍摄图像包括第一时刻对应的拍摄图像。
本公开实施例中的电子设备响应于第一触摸操作,输出多张拍摄图像可以参考上述图7所示的实施例中的步骤708-步骤716,本公开实施例在此不再赘述。
在一些示例中,方法还包括:电子设备接收用户对第一界面中显示控件的第二触摸操作;显示控件用于触发显示多张拍摄图像;电子设备响应于第二触摸操作,显示多张拍摄图像。
本公开实施例中的电子设备接收用户对第一界面中显示控件的第二触摸操作;显示控件用于触发显示多张拍摄图像;电子设备响应于第二触摸操作,显示多张拍摄图像可以参考上述图7所示的实施例中的步骤716,本公开实施例在此不再赘述。
在一些示例中,电子设备响应于第一触摸操作,输出多张拍摄图像,包括:电子设备响应于第一触摸操作,基于多张更新后的图像帧,确定预设数量的图像帧;电子设备基于预设数量的图像帧,得到多个参考帧;多个参考帧中包括第一时刻对应的图像帧、第二时刻对应的图像帧和第三时刻对应的图像帧;电子设备基于多个参考帧,输出多张拍摄图像。
本公开实施例中的电子设备响应于第一触摸操作,基于多张更新后的图像帧,确定预设数量的图像帧;电子设备基于预设数量的图像帧,得到多个参考帧;多个参考帧中包括第一时刻对应的图像帧、第二时刻对应的图像帧和第三时刻对应的图像帧;电子设备基于多个参考帧,输出多张拍摄图像可以参考上述图7所示的实施例中的步骤709-步骤716,本公开实施例在此不再赘述。
在一些示例中,电子设备基于预设数量的图像帧,得到多个参考帧,包括:电子设备基于预设数量的图像帧,得到多个参考帧和间隔帧。
电子设备基于多个参考帧,输出多张拍摄图像,包括:电子设备基于多个参考帧和间隔帧,输出多张拍摄图像。
本公开实施例中的电子设备基于预设数量的图像帧,得到多个参考帧和间隔帧可以参考上述图7所示的实施例中的步骤709。本公开实施例中的电子设备基于多个参考帧和间隔帧,输出多张拍摄图像可以参考上述图7所示的实施例中的步骤709-步骤716。本公开实施例在此不再赘述。
在一些示例中,电子设备基于多个参考帧和间隔帧,输出多张拍摄图像,包括:电子设备基于多个参考帧、间隔帧和图像生成规则,输出多张拍摄图像;图像生成规则包括多张拍摄图像的生成规则。
本公开实施例中的电子设备基于多个参考帧、间隔帧和图像生成规则,输出多张拍摄图像;图像生成规则包括多张拍摄图像的生成规则可以参考上述图7所示的实施例中的步骤710-步骤716。本公开实施例在此不再赘述。
在一些示例中,电子设备基于多个参考帧、间隔帧和图像生成规则,输出多张拍摄图像,包括:电子设备基于图像生成规则,得出子计算复用项;子计算复用项为在输出多张拍摄图像的过程中,需要多次重复计算的计算项;电子设备确定子计算复用项的处理结果;电子设备基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张拍摄图像。
本公开实施例中的电子设备基于图像生成规则,得出子计算复用项;子计算复用项为在输出多张拍摄图像的过程中,需要多次重复计算的计算项;电子设备确定子计算复用项的处理结果;电子设备基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张拍摄图像可以参考上述图7所示的实施例中的步骤710-步骤716。本公开实施例在此不再赘述。
在一些示例中,电子设备基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张拍摄图像,包括:电子设备基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张图像;电子设备对多张图像进行降噪处理和格式转化处理,得到多张拍摄图像。
本公开实施例电子设备基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张图像;电子设备对多张图像进行降噪处理和格式转化处理,得到多张拍摄图像可以参考上述图7所示的实施例中的步骤710-步骤716。本公开实施例在此不再赘述。
例如,图16示出了一种拍摄装置1600的结构示意图,如图16所示,该拍摄装置1600可以包括:显示模块1601、接收模块1602和处理模块1603等。
其中,显示模块1601,被配置为显示待处理应用的第一界面,第一界面包括多拍按钮,多拍按钮用于触发待处理应用的多拍功能。接收模块1602,被配置为接收用户在第一时刻对多拍按钮的第一触摸操作。处理模块1603,被配置为响应于第一触摸操作,输出多张拍摄图像,多张拍摄图像包括第一时刻对应的拍摄图像。
在一种可能的实现方式中,第一界面为拍照界面,或者第一界面为与拍照界面不同的显示界面;在第一界面为与拍照界面不同的显示界面的情况下,显示模块1601,还被配置为显示拍照界面;拍照界面包括拍摄扩展模式;以及响应于用户对拍摄扩展模式输入的触发操作,显示包括多拍按钮的第一界面。
在一种可能的实现方式中,接收模块1602,还被配置为接收用户对第一界面中显示控件的第二触摸操作;显示控件用于触发显示多张拍摄图像;显示模块1601,还被配置为响应于第二触摸操作,显示多张拍摄图像。
在一种可能的实现方式中,多张拍摄图像还包括第二时刻对应的拍摄图像和第三时刻对应的拍摄图像,第二时刻为第一时刻之前的时刻,第三时刻为第一时刻之后的时刻。
在一种可能的实现方式中,该拍摄装置还包括获取模块1604。其中,接收模块1602,还被配置为接收用户对待处理应用的启动操作;获取模块1604,被配置为响应于启动操作,获取预览流,预览流包括多张图像帧;处理模块1603,还被配置为对多张图像帧进行运动检测,得到多张图像帧的运动检测结果;根据运动检测结果,设置曝光参数以及根据曝光参数,输出多张更新后的图像帧。
在一种可能的实现方式中,处理模块1603,还被配置为响应于第一触摸操作,基于多张更新后的图像帧,确定预设数量的图像帧;基于预设数量的图像帧,得到多个参考帧;多个参考帧中包括第一时刻对应的图像帧、第二时刻对应的图像帧和第三时刻对应的图像帧;以及基于多个参考帧,输出多张拍摄图像。
在一种可能的实现方式中,处理模块1603,还被配置为电子设备基于预设数量的图像帧,得到多个参考帧和间隔帧;以及基于多个参考帧和间隔帧,输出多张拍摄图像。
在一种可能的实现方式中,处理模块1603,还被配置为基于多个参考帧、间隔帧和图像生成规则,输出多张拍摄图像;图像生成规则包括多张拍摄图像的生成规则。
在一种可能的实现方式中,处理模块1603,还被配置为基于图像生成规则,得出子计算复用项;子计算复用项为在输出多张拍摄图像的过程中,需要多次重复计算的计算项;确定子计算复用项的处理结果;以及基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张拍摄图像。
在一种可能的实现方式中,处理模块1603,还被配置为基于多个参考帧、间隔帧、图像生成规则、子计算复用项的处理结果和计算复用算法,输出多张图像;以及对多张图像进行降噪处理和格式转化处理,得到多张拍摄图像。
应理解以上装置中单元或模块(以下均称为单元)的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元以硬件的形式实现。
例如,各个单元可以为单独设立的处理元件,也可以集成在装置的某一个芯片中实现,此外,也可以以程序的形式存储于存储器中,由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里的处理元件又可以称为处理器,可以是一种具有信号的处理能力的集成电路。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。
应理解,本公开提供的上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开实施例所公开的方法步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在一个例子中,以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或这些集成电路形式中至少两种的组合。
再如,当装置中的单元可以通过处理元件调度程序的形式实现时,该处理元件可以是通用处理器,例如CPU或其它可以调用程序的处理器。再如,这些单元可以集成在一起,以片上系统SOC的形式实现。
在一种实现中,以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如,该装置可以包括处理元件和存储元件,处理元件调用存储元件存储的程序,以执行以上方法实施例的方法。存储元件可以为与处理元件处于同一芯片上的存储元件,即片内存储元件。
在另一种实现中,用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件,即片外存储元件。此时,处理元件从片外存储元件调用或加载程序于片内存储元件上,以调用并执行以上方法实施例的方法。
例如,本公开实施例还可以提供一种装置,如:电子设备,可以包括:处理器,用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时,使得该电子设备实现如前述实施例的拍摄方法。该存储器可以位于该电子设备之内,也可以位于该电子设备之外。且该处理器包括一个或多个。
在又一种实现中,该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件,这些处理元件可以设置于对应上述的电子设备上,这里的处理元件可以为集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或者这些类集成电路的组合。这些集成电路可以集成在一起,构成芯片。
例如,本公开实施例还提供一种芯片,该芯片可以应用于上述电子设备。芯片包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;处理器通过接口电路从电子设备的存储器接收并执行计算机指令,以实现以上方法实施例中的方法。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序指令。当计算机程序指令被电子设备执行时,使得电子设备可以实现如上述的拍摄方法。
本公开实施例还提供一种计算机程序产品,包括如上述电子设备运行的计算机指令,当计算机指令在电子设备中运行时,使得电子设备实可以现如上述的拍摄方法。通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,如:程序。该软件产品存储在一个程序产品,如计算机可读存储介质中,包括若干指令用以使得一个终端设备(可以是单片机,芯片等)或处理器(processor)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
例如,本公开实施例还可以提供一种计算机可读存储介质,其上存储有计算机程序指令。当计算机程序指令被电子设备执行时,使得电子设备实现如前述方法实施例中的拍摄方法。
以上,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何在本公开揭露的技术范围内的变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种拍摄方法,其特征在于,包括:
电子设备显示待处理应用的第一界面,所述第一界面包括多拍按钮,所述多拍按钮用于触发所述待处理应用的多拍功能;
所述电子设备接收用户在第一时刻对所述多拍按钮的第一触摸操作;
所述电子设备响应于所述第一触摸操作,输出多张拍摄图像,所述多张拍摄图像包括第一时刻对应的拍摄图像。
2.根据权利要求1所述的方法,其特征在于,所述第一界面为拍照界面,或者所述第一界面为与所述拍照界面不同的显示界面;
在所述第一界面为与所述拍照界面不同的显示界面的情况下,在所述电子设备显示待处理应用的第一界面之前,所述方法还包括:
所述电子设备显示所述拍照界面;所述拍照界面包括拍摄扩展模式;
响应于用户对所述拍摄扩展模式输入的触发操作,显示包括所述多拍按钮的所述第一界面。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述电子设备接收用户对所述第一界面中显示控件的第二触摸操作;所述显示控件用于触发显示所述多张拍摄图像;
所述电子设备响应于所述第二触摸操作,显示所述多张拍摄图像。
4.根据权利要求1所述的方法,其特征在于,所述多张拍摄图像还包括第二时刻对应的拍摄图像和第三时刻对应的拍摄图像,所述第二时刻为所述第一时刻之前的时刻,所述第三时刻为所述第一时刻之后的时刻。
5.根据权利要求4所述的方法,其特征在于,在所述电子设备接收用户对所述多拍按钮的第一触摸操作之前,所述方法还包括:
所述电子设备接收用户对所述待处理应用的启动操作;
所述电子设备响应于所述启动操作,获取预览流,所述预览流包括多张图像帧;
所述电子设备对所述多张图像帧进行运动检测,得到运动检测结果;
所述电子设备根据运动检测结果,设置曝光参数;
所述电子设备根据所述曝光参数,输出多张更新后的图像帧。
6.根据权利要求5所述的方法,其特征在于,所述电子设备响应于所述第一触摸操作,输出多张拍摄图像,包括:
所述电子设备响应于所述第一触摸操作,基于所述多张更新后的图像帧,确定预设数量的图像帧;
所述电子设备基于所述预设数量的图像帧,得到多个参考帧;所述多个参考帧中包括所述第一时刻对应的图像帧、所述第二时刻对应的图像帧和第三时刻对应的图像帧;
所述电子设备基于所述多个参考帧,输出所述多张拍摄图像。
7.根据权利要求6所述的方法,其特征在于,
所述电子设备基于所述预设数量的图像帧,得到多个参考帧,包括:
所述电子设备基于所述预设数量的图像帧,得到所述多个参考帧和间隔帧;
所述电子设备基于所述多个参考帧,输出所述多张拍摄图像,包括:
所述电子设备基于所述多个参考帧和所述间隔帧,输出所述多张拍摄图像。
8.根据权利要求7所述的方法,其特征在于,所述电子设备基于所述多个参考帧和所述间隔帧,输出所述多张拍摄图像,包括:
所述电子设备基于所述多个参考帧、间隔帧和图像生成规则,输出所述多张拍摄图像;所述图像生成规则包括所述多张拍摄图像的生成规则。
9.根据权利要求8所述的方法,其特征在于,所述电子设备基于所述多个参考帧、间隔帧和图像生成规则,输出所述多张拍摄图像,包括:
所述电子设备基于所述图像生成规则,得出子计算复用项;所述子计算复用项为在输出所述多张拍摄图像的过程中,需要多次重复计算的计算项;
所述电子设备确定所述子计算复用项的处理结果;
所述电子设备基于所述多个参考帧、所述间隔帧、所述图像生成规则、所述子计算复用项的处理结果和计算复用算法,输出所述多张拍摄图像。
10.根据权利要求9所述的方法,其特征在于,所述电子设备基于所述多个参考帧、所述间隔帧、所述图像生成规则、所述子计算复用项的处理结果和计算复用算法,输出所述多张拍摄图像,包括:
所述电子设备基于所述多个参考帧、所述间隔帧、所述图像生成规则、所述子计算复用项的处理结果和所述计算复用算法,输出所述多张图像;
所述电子设备对所述多张图像进行降噪处理和格式转化处理,得到所述多张拍摄图像。
11.一种芯片系统,其特征在于,包括图像传感器和帧处理模块:
所述图像传感器,用于响应于用户对待处理应用的启动操作,输出多张更新后的图像帧;
所述帧处理模块,用于响应于用户在第一时刻对多拍按钮触发的第一触摸操作,获取多张更新后的图像帧;基于所述多张更新后的图像帧,确定多张参考帧和间隔帧;基于所述多张参考帧和所述间隔帧,得到多张拍摄图像;其中,所述多张拍摄图像包括所述第一时刻对应的拍摄图像。
12.根据权利要求11所述的芯片系统,其特征在于,所述多张拍摄图像还包括第二时刻对应的拍摄图像和第三时刻对应的拍摄图像,所述第二时刻为所述第一时刻之前的时刻,所述第三时刻为所述第一时刻之后的时刻。
13.根据权利要求11所述的芯片系统,其特征在于,还包括运动检测模块和自动曝光模块;
所述图像传感器,还用于响应于用户对待处理应用的启动操作,输出预览流;
所述运动检测模块,用于获取预览流,并对所述预览流中的多张图像帧进行运动检测,得到运动检测结果;
所述自动曝光模块,用于根据所述运动检测结果,设置曝光参数;
所述图像传感器,用于根据所述曝光参数,输出所述多张更新后的图像帧;其中,所述多张更新后的图像帧包括第二时刻采集的图像帧、所述第一时刻采集的图像帧和第三时刻采集的图像帧。
14.一种电子设备,其特征在于,所述电子设备包括处理器,用于存储所述处理器可执行指令的存储器;所述处理器被配置为执行所述指令时,使得所述电子设备实现如权利要求1至10中任一项所述的方法。
15.一种计算机可读存储介质,其上存储有计算机程序指令;其特征在于,
当所述计算机程序指令被电子设备执行时,使得电子设备实现如权利要求1至10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311307695.3A CN117061861B (zh) | 2023-10-11 | 2023-10-11 | 一种拍摄方法、芯片系统和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311307695.3A CN117061861B (zh) | 2023-10-11 | 2023-10-11 | 一种拍摄方法、芯片系统和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117061861A true CN117061861A (zh) | 2023-11-14 |
CN117061861B CN117061861B (zh) | 2024-04-12 |
Family
ID=88666697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311307695.3A Active CN117061861B (zh) | 2023-10-11 | 2023-10-11 | 一种拍摄方法、芯片系统和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117061861B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117278865A (zh) * | 2023-11-16 | 2023-12-22 | 荣耀终端有限公司 | 一种图像处理方法及相关装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10178580A (ja) * | 1998-01-22 | 1998-06-30 | Casio Comput Co Ltd | 電子スチルカメラ |
JP2003092702A (ja) * | 2001-09-19 | 2003-03-28 | Fuji Photo Film Co Ltd | ディジタル・スチル・カメラおよびその制御方法 |
CN101616259A (zh) * | 2008-06-25 | 2009-12-30 | 奥林巴斯映像株式会社 | 摄像装置和摄像方法 |
CN107395951A (zh) * | 2016-05-17 | 2017-11-24 | 中兴通讯股份有限公司 | 一种触摸拍照装置、拍照方法及移动终端 |
CN108668083A (zh) * | 2018-07-24 | 2018-10-16 | 维沃移动通信有限公司 | 一种拍照方法及终端 |
CN110913138A (zh) * | 2019-11-28 | 2020-03-24 | Oppo广东移动通信有限公司 | 连拍方法、装置、终端及计算机可读存储介质 |
CN113542599A (zh) * | 2021-07-05 | 2021-10-22 | 维沃移动通信(杭州)有限公司 | 图像拍摄方法及装置 |
CN113973172A (zh) * | 2020-07-23 | 2022-01-25 | 北京小米移动软件有限公司 | 拍摄方法、装置、存储介质及电子设备 |
CN116828290A (zh) * | 2022-03-18 | 2023-09-29 | 北京小米移动软件有限公司 | 相机控制方法和装置、电子设备、可读存储介质 |
-
2023
- 2023-10-11 CN CN202311307695.3A patent/CN117061861B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10178580A (ja) * | 1998-01-22 | 1998-06-30 | Casio Comput Co Ltd | 電子スチルカメラ |
JP2003092702A (ja) * | 2001-09-19 | 2003-03-28 | Fuji Photo Film Co Ltd | ディジタル・スチル・カメラおよびその制御方法 |
CN101616259A (zh) * | 2008-06-25 | 2009-12-30 | 奥林巴斯映像株式会社 | 摄像装置和摄像方法 |
CN107395951A (zh) * | 2016-05-17 | 2017-11-24 | 中兴通讯股份有限公司 | 一种触摸拍照装置、拍照方法及移动终端 |
CN108668083A (zh) * | 2018-07-24 | 2018-10-16 | 维沃移动通信有限公司 | 一种拍照方法及终端 |
CN110913138A (zh) * | 2019-11-28 | 2020-03-24 | Oppo广东移动通信有限公司 | 连拍方法、装置、终端及计算机可读存储介质 |
CN113973172A (zh) * | 2020-07-23 | 2022-01-25 | 北京小米移动软件有限公司 | 拍摄方法、装置、存储介质及电子设备 |
CN113542599A (zh) * | 2021-07-05 | 2021-10-22 | 维沃移动通信(杭州)有限公司 | 图像拍摄方法及装置 |
CN116828290A (zh) * | 2022-03-18 | 2023-09-29 | 北京小米移动软件有限公司 | 相机控制方法和装置、电子设备、可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117278865A (zh) * | 2023-11-16 | 2023-12-22 | 荣耀终端有限公司 | 一种图像处理方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117061861B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7226851B2 (ja) | 画像処理の方法および装置並びにデバイス | |
CN113592887B (zh) | 视频拍摄方法、电子设备及计算机可读存储介质 | |
CN113810598B (zh) | 一种拍照方法、电子设备及存储介质 | |
CN113747048B (zh) | 一种图像内容的去除方法及相关装置 | |
WO2021143269A1 (zh) | 一种长焦场景下的拍摄方法及移动终端 | |
CN113170037B (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN117061861B (zh) | 一种拍摄方法、芯片系统和电子设备 | |
WO2023015991A1 (zh) | 拍照方法、电子设备和计算机可读存储介质 | |
CN112425156A (zh) | 一种基于连拍选择图像的方法及电子设备 | |
CN117499779B (zh) | 一种图像预览方法、设备以及存储介质 | |
CN113630558B (zh) | 一种摄像曝光方法及电子设备 | |
CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
CN116233626B (zh) | 图像处理方法、装置及电子设备 | |
CN117278850A (zh) | 一种拍摄方法及电子设备 | |
CN116723383B (zh) | 一种拍摄方法及相关设备 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116723417B (zh) | 一种图像处理方法和电子设备 | |
CN117395495B (zh) | 一种图像处理方法及电子设备 | |
CN116051368B (zh) | 图像处理方法及其相关设备 | |
CN116363017B (zh) | 图像处理方法及装置 | |
WO2024046162A1 (zh) | 一种图片推荐方法及电子设备 | |
WO2024036998A1 (zh) | 显示方法、存储介质及电子设备 | |
CN116347217A (zh) | 图像处理方法、设备及存储介质 | |
CN113452895A (zh) | 一种拍摄方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |