CN117880628A - 拍摄方法及其相关设备 - Google Patents
拍摄方法及其相关设备 Download PDFInfo
- Publication number
- CN117880628A CN117880628A CN202311690938.6A CN202311690938A CN117880628A CN 117880628 A CN117880628 A CN 117880628A CN 202311690938 A CN202311690938 A CN 202311690938A CN 117880628 A CN117880628 A CN 117880628A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- zoom
- current
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 250
- 238000012545 processing Methods 0.000 claims abstract description 584
- 238000005286 illumination Methods 0.000 claims abstract description 98
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 abstract description 75
- 230000004044 response Effects 0.000 abstract description 31
- 230000004927 fusion Effects 0.000 description 360
- 238000006243 chemical reaction Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 40
- 238000007781 pre-processing Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 37
- 238000012937 correction Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000007499 fusion processing Methods 0.000 description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 14
- 230000009467 reduction Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 239000003086 colorant Substances 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 9
- 238000003705 background correction Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000219357 Cactaceae Species 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000035874 Excoriation Diseases 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Abstract
本申请提供了一种拍摄方法及其相关设备,涉及图像处理领域,该拍摄方法包括:检测到对第一控件的第一操作;响应于第一操作,电子设备确定为第一变焦倍数,检测到对第一界面的第二操作,响应于第二操作,根据第一变焦倍数和第一照度,电子设备采用第一摄像头和第二摄像头采集图像,对第一摄像头采集的图像和第二摄像头采集的图像进行处理,得到拍摄图像,保存拍摄图像。本申请在拍照模式下,利用用户选择的变焦倍数和照度,确定采用第一摄像头和第二摄像头采集图像并进行处理,由此,可以根据不同照度和变焦倍数切换不同的摄像头来获取视场角大小不同、清晰度不同的图像,从而可以利用多摄像头协同处理,来提高处理之后得到的拍摄图像的质量。
Description
本申请是2021年08月11日提交国家知识产权局、申请号202110921519.3、申请名称为“拍摄方法及其相关设备”的中国专利申请的分案申请。
技术领域
本申请涉及图像处理领域,尤其涉及一种拍摄方法及其相关设备。
背景技术
随着电子设备的广泛使用,使用电子设备进行拍照、录像已经成为人们生活中的一种日常行为方式。
以电子设备为手机为例来说,在电子设备上安装多个摄像头已经是一种趋势。通过在电子设备上安装多个摄像头,可以提供更多的拍照、录像方式以供用户进行选择并使用。
发明内容
本申请提供一种拍摄方法及其相关设备,可以利用多个摄像头实现协同处理,提高获取到的图像的清晰度,并且,可以实现全焦段覆盖、多功能拍摄。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供一种拍摄方法,该拍摄方法应用于包括第一摄像头和第二摄像头的电子设备,该拍摄方法包括:
电子设备显示第一界面,第一界面包括预览图像、第一控件和第二控件,第二控件指示为拍照模式;检测到对第一控件的第一操作;响应于第一操作,电子设备确定为第一变焦倍数,预览图像为第一摄像头实时采集的图像;检测到对第一界面的第二操作;响应于第二操作,根据第一变焦倍数和第一照度,电子设备采用第一摄像头和第二摄像头采集图像,第二摄像头为辅助摄像头,其中第一摄像头采集一帧或一帧以上图像,第二摄像头采集一帧或一帧以上图像;对第一摄像头采集的一帧或一帧以上图像和第二摄像头采集的一帧或一帧以上图像进行处理,得到拍摄图像;保存拍摄图像;其中,第一照度为电子设备根据预览图像确定的照度值。
示例性的,第一摄像头可以为主摄摄像头,第二摄像头为黑白摄像头,或者,第一摄像头可以为主摄摄像头,第二摄像头为长焦摄像头。
示例性的,第一控件可以为变焦选项,用于调整变焦倍数。第二控件可以为拍摄键50,用于指示不同的拍摄模式。
应理解,辅助摄像头指的是该摄像头采集的图像仅用于图像处理获取拍摄图像,不作为预览图像进行显示。换句话说,辅助摄像头处于后台运行状态。
本申请实施例提供的拍摄方法,在用户选择的拍摄模式为拍照模式时,根据用户选择的变焦倍数和照度,例如可以从广角摄像头、主摄摄像头、黑白摄像头和长焦摄像头中确定出相对应的目标摄像头,比如可以确定目标摄像头为主摄摄像头和黑白摄像头,或者可以确定为主摄摄像头和长焦摄像头,然后,利用目标摄像头获取原始图像,再对原始图像进行处理,得到拍摄图像。原始图像包括主摄摄像头拍摄的图像和黑白摄像头拍摄的图像,或者包括主摄摄像头拍摄的图像和长焦摄像头拍摄的图像。
由于本申请提供的拍摄方法,在拍照时可以根据不同照度和变焦倍数切换不同的摄像头来获取原始图像,由此,可以利用不同的摄像头得到视场角大小不同、清晰度不同的原始图像,从而可以利用多摄像头协同处理,提高由原始图像处理之后得到的拍摄图像的质量。
在第一方面一种可能的实现方式中,电子设备还包括第三摄像头,该方法还包括:
检测到对第一控件的第三操作;响应于第三操作,电子设备确定为第二变焦倍数,预览图像为第三摄像头实时采集的图像;检测到对第一界面的第四操作;响应于第四操作,根据第二变焦倍数和第一照度,电子设备采用第一摄像头和第三摄像头采集图像,第一摄像头为辅助摄像头,第三摄像头与第二摄像头不同,第三摄像头采集一帧或一帧以上图像;对第一摄像头采集的一帧或一帧以上图像和第三摄像头采集的一帧或一帧以上图像进行处理,得到拍摄图像;保存拍摄图像。
示例性的,第三摄像头可以为广角摄像头。
在该实现方式中,通过第二变焦倍数和第一照度,可以确定目标摄像头为主摄摄像头和广角摄像头,采用主摄摄像头和广角摄像头采集视场角不同、清晰度不同的图像来进行处理,以得到清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,电子设备还包括第四摄像头,该方法还包括:
检测到对第一控件的第五操作;响应于第五操作,电子设备确定为第三变焦倍数,预览图像为第四摄像头实时采集的图像;检测到对第一界面的第六操作;响应于第六操作,根据第三变焦倍数和第一照度,电子设备采用第四摄像头采集图像,第四摄像头与第三摄像头不同,第四摄像头采集两帧或两帧以上图像;对所述第四摄像头采集的两帧或两帧以上图像进行处理,得到拍摄图像;保存拍摄图像。
示例性的,第四摄像头可以为长焦摄像头。
在该实现方式中,通过第三变焦倍数和第一照度,可以确定目标摄像头为长焦摄像头,采用长焦摄像头可以采集多帧图像来进行处理,以得到清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,该方法还包括:
检测到对第一界面的第七操作;响应于第七操作,根据第一变焦倍数和第二照度,电子设备采用第一摄像头采集图像;第一摄像头采集两帧或两帧以上图像;对第一摄像头采集的两帧或两帧以上图像进行处理,得到拍摄图像;保存拍摄图像。
或者,检测到对第一界面的第八操作;响应于第八操作,根据第二变焦倍数和第二照度,电子设备采用第三摄像头采集图像;第三摄像头采集两帧或两帧以上图像;对第三摄像头采集的两帧或两帧以上图像进行处理,得到拍摄图像;保存拍摄图像。
或者,检测到对第一界面的第九操作;响应于第九操作,根据第三变焦倍数和第二照度,电子设备采用第四摄像头采集图像;第四摄像头采集两帧或两帧以上图像;对第四摄像头采集的两帧或两帧以上图像进行处理,得到拍摄图像;保存拍摄图像。
其中,第二照度为电子设备根据预览图像确定的照度,第二照度与第一照度不同,且第二照度的照度值低于第一照度的照度值。
其中,若第一照度称为中高照度时,由于第二照度的照度值低于第一照度的照度,可以称第二照度为低照度。
在该实现方式中,在低照度的情况下,可以在不同变焦倍数切换不同的摄像头来获取原始图像,以实现利用多摄像头协同处理,使电子设备覆盖更大的变焦范围;并且,针对每个摄像头,可以采集多帧图像,提高每个摄像头得到的拍摄图像的质量。
在第一方面一种可能的实现方式中,该方法还包括:
检测到对第一控件的第十一操作;响应于第十一操作,从第一变焦倍数切换为第二变焦倍数;响应于从第一变焦倍数切换为第二变焦倍数,电子设备采用第一摄像头和第二摄像头采集图像,切换为采用第一摄像头和第三摄像头采集图像,其中,当为第一变焦倍数时,第二摄像头为辅助摄像头,当为第二变焦倍数时,第一摄像头为辅助摄像头。
或者,检测到对第一控件的第十二操作;响应于第十二操作,从第一变焦倍数切换为第三变焦倍数;响应于从第一变焦倍数切换为第三变焦倍数,电子设备采用第一摄像头和第二摄像头采集图像,切换为采用第四摄像头和第一摄像头采集图像,当为第三变焦倍数时,第一摄像头为辅助摄像头。
示例性的,从第一变焦倍数切换为第二变焦倍数,电子设备采用主摄摄像头和黑白摄像头采集图像,切换为采用主摄摄像头和广角摄像头采集图像。当为第一变焦倍数时,主摄摄像头采集的图像作为预览图像显示,而黑白摄像头采集的图像不显示。当为第二变焦倍数时,广角摄像头采集的图像作为预览图像显示,而主摄摄像头采集的图像不显示。
示例性的,从第一变焦倍数切换为第三变焦倍数,电子设备采用主摄摄像头和黑白摄像头采集图像,切换为采用长焦摄像头和主摄摄像头采集图像。其中,当为第三变焦倍数时,长焦摄像头采集的图像作为预览图像显示,而主摄摄像头采集的图像不显示。
在该实现方式中,当电子设备允许两路摄像头同时运行时,通过两组两个摄像头的切换,在实现接力变焦的同时还能提前运行相邻变焦范围内拍照时所需采集图像的摄像头,或者,延迟关闭上一变焦倍数范围采集图像的摄像头,由此,使得电子设备的变焦倍数整体覆盖范围更广,而且可以切换更加平滑流畅。
在第一方面一种可能的实现方式中,该方法还包括:
响应于从第一变焦倍数切换为第二变焦倍数,电子设备采用第三摄像头、第一摄像头和第二摄像头采集图像,切换为采用第一摄像头和第三摄像头采集图像,其中,当为第一变焦倍数时,第三摄像头、第二摄像头均为辅助摄像头,当为第二变焦倍数时,第一摄像头为辅助摄像头。
示例性的,从第一变焦倍数切换为第二变焦倍数,电子设备采用广角摄像头、主摄摄像头和黑白摄像头采集图像,切换为采用主摄摄像头和广角摄像头采集图像。其中,当为第一变焦倍数时,主摄摄像头采集的图像作为预览图像显示,而广角摄像头和黑白摄像头采集的图像不显示。当为第二变焦倍数时,广角摄像头采集的图像作为预览图像显示,而主摄摄像头采集的图像不显示。
在该实现方式中,当电子设备允许三路摄像头同时运行时,通过多个摄像头的切换,在实现接力变焦的同时还能提前运行相邻变焦倍数范围内拍照时所需采集图像的摄像头,以及其他摄像头,或者,延迟关闭上一变焦倍数范围采集图像的摄像头,由此,使得电子设备的变焦倍数整体覆盖范围更广,而且可以切换更加平滑流畅。
在第一方面一种可能的实现方式中,第二摄像头的视场角与第三摄像头的视场角之间存在重叠。
其中,重叠指的是第三摄像头可以拍摄到第二摄像头拍摄的场景内容及其周边的场景内容。
在该实现方式中,当多个摄像头切换时,视场角切换更加自然流畅。
在第一方面一种可能的实现方式中,根据第一变焦倍数和第一照度,电子设备采用第一摄像头和第二摄像头采集图像,包括:当第一变焦倍数属于第二变焦倍数范围时,电子设备采用第一摄像头获取第二图像,并采用第二摄像头获取第三图像,第二图像包括1帧或多帧,第三图像包括1帧或多帧;当第一变焦倍数属于第三变焦倍数范围时,电子设备采用第一摄像头获取第二图像,并采用第二摄像头获取第四图像,第二图像包括1帧或多帧,第四图像包括1帧或多帧。
在该实现方式中,在中高照度的情况下,可以在不同变焦倍数切换不同的摄像头来获取原始图像,以实现利用多摄像头协同处理,使电子设备覆盖更大的变焦范围;
在第一方面一种可能的实现方式中,电子设备采用第一摄像头获取第二图像,并采用第二摄像头获取第三图像之后,该方法还包括:
对第二图像进行第一预处理,得到位于RAW域的第一预处理图像;利用预融合模块对第一预处理图像进行融合,得到对应的预融合图像;对第二图像对应的预融合图像、第三图像分别进行前端处理,得到各自对应的前端处理图像;利用前端融合模块对第三图像对应的前端处理图像进行融合,得到第三图像对应的前端融合图像;对第二图像对应的前端处理图像、第三图像对应的前端融合图像均进行后端处理,得到各自对应的后端处理图像;利用后端融合模块将第二图像、第三图像分别对应的后端处理图像进行融合,得到后端融合图像,后端融合图像为拍摄图像。
在该实现方式中,在中高照度的情况下,基于细节丰富度不同的第二图像和第三图像,经过上述一系列处理后,可以融合得到清晰度较高、质量较好的拍摄图像。
此处,在RAW域上进行处理,可以保留更多的细节,提高后续图像的质量。
在第一方面一种可能的实现方式中,电子设备采用第一摄像头获取第二图像,并采用第二摄像头获取第四图像之后,该方法还包括:
对第二图像、第四图像分别进行前端处理,得到各自对应的前端处理图像;利用前端融合模块分别将第二图像对应的前端处理图像、第四图像对应的前端处理图像进行融合,得到第二图像、第四图像分别对应的前端融合图像;对第二图像、第四图像分别对应的前端融合图像均进行后端处理,得到各自对应的后端处理图像;利用后端融合模块将第二图像、第四图像分别对应的后端处理图像进行融合,得到后端融合图像,后端融合图像为所述拍摄图像。
在该实现方式中,在中高照度的情况下,基于视场角大小不同、清晰度不同的第二图像和第四图像,经过上述一系列处理后,可以融合得到清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,根据第二变焦倍数和第一照度,电子设备采用第一摄像头和第三摄像头采集图像,包括:电子设备采用第三摄像头获取第一图像,并采用第一摄像头获取第二图像,第一图像包括1帧或多帧,第二图像包括1帧或多帧,第二变焦倍数属于第一变焦倍数范围。
在第一方面一种可能的实现方式中,电子设备采用第三摄像头获取第一图像,并采用第一摄像头获取第二图像,该方法还包括:
对第一图像、第二图像分别进行前端处理,得到各自对应的前端处理图像;利用前端融合模块分别将第一图像对应的前端处理图像、第二图像对应的前端处理图像进行融合,得到第一图像、第二图像分别对应的前端融合图像;对第一图像、第二图像分别对应的前端融合图像均进行后端处理,得到各自对应的后端处理图像;对第一图像对应的所述后端处理图像进行畸变校正,得到校正图像;利用后端融合模块将校正图像和第二图像对应的后端处理图像进行融合,得到后端融合图像,后端融合图像为拍摄图像。
在该实现方式中,在中高照度的情况下,基于视场角大小不同、清晰度不同的第一图像和第二图像,经过上述一系列处理后,可以融合得到清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,根据第三变焦倍数和第一照度,电子设备采用第四摄像头采集图像,包括:电子设备采用第四摄像头获取第四图像,第四图像包括多帧,第三变焦倍数属于第四变焦倍数范围。
在第一方面一种可能的实现方式中,电子设备采用第四摄像头获取第四图像之后,该方法还包括:
对第四图像进行前端处理,得到对应的前端处理图像;利用前端融合模块将第四图像对应的前端处理图像进行融合,得到第四图像对应的前端融合图像;对第四图像对应的前端融合图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
在该实现方式中,在中高照度的情况下,基于多帧第四图像,经过上述一系列处理后,可以融合得到清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,根据第一变焦倍数和第二照度,电子设备采用第一摄像头采集图像,包括:电子设备采用第一摄像头获取第二图像,第二图像包括多帧,第一变焦倍数属于第二变焦倍数范围或第三变焦倍数范围。
根据第二变焦倍数和第二照度,电子设备采用第三摄像头采集图像,包括:电子设备采用第三摄像头获取第一图像,第一图像包括多帧,第二变焦倍数属于第一变焦倍数范围。
根据第三变焦倍数和第二照度,电子设备采用第四摄像头采集图像,包括:电子设备采用第四摄像头获取第四图像,第四图像包括多帧,第三变焦倍数属于第四变焦倍数范围。
在该实现方式中,在低照度场景下,可以根据不同变焦倍数切换不同的摄像头来获取相应的多帧原始图像,以实现多摄协作,覆盖更大的变焦范围。
在第一方面一种可能的实现方式中,该方法还包括:对第二图像、第一图像或第四图像进行第二预处理,得到位于RAW域的第二预处理图像;其中,第二预处理用于基于网络模型将第二图像、第一图像或第四图像进行融合;对第二预处理图像进行前端处理,得到对应的前端处理图像;对前端处理图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
在该实现方式中,在低照度场景下,基于多帧第一图像、第二图像或第四图像,利用网络模型进行多帧融合处理,以及上述其他处理,可以融合得到清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,该方法还包括:检测到对第二控件的第十三操作;响应于第十三操作,第二控件指示为录像模式、夜景模式或HDR模式;检测到对第一界面的第十四操作;响应于第十四操作,根据第一变焦倍数,电子设备采用第一摄像头采集图像;或者,检测到对第一界面的第十五操作;响应于第十五操作,根据第二变焦倍数,电子设备采用第三摄像头采集图像;或者,检测到对第一界面的第十六操作;响应于第十六操作,根据第三变焦倍数,电子设备采用第四摄像头采集图像。
在第一方面一种可能的实现方式中,根据第一变焦倍数,电子设备采用第一摄像头采集图像,包括:电子设备采用第一摄像头获取第二图像,第二图像包括多帧,第一变焦倍数属于第二变焦倍数范围或第三变焦倍数范围。
根据第二变焦倍数,电子设备采用第三摄像头采集图像,包括:电子设备采用第三摄像头获取第一图像,第一图像包括多帧,第二变焦倍数属于第一变焦倍数范围。
根据第三变焦倍数,电子设备采用第四摄像头采集图像,包括:电子设备采用第四摄像头获取第四图像,第四图像包括多帧,第三变焦倍数属于第四变焦倍数范围。
在该实现方式中,在录像模式、夜景模式或HDR模式,也可以根据不同变焦倍数切换不同的摄像头来获取相应的多帧原始图像,以实现多摄协作,覆盖更大的变焦范围。
在第一方面一种可能的实现方式中,当第二控件指示为夜景模式时,该方法还包括:对第二图像、第一图像或第四图像进行第二预处理,得到位于RAW域的第二预处理图像;其中,第二预处理用于基于网络模型将第二图像、第一图像或第四图像进行融合;对第二预处理图像进行前端处理,得到对应的前端处理图像;对前端处理图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
在该实现方式中,在夜景模式下,基于多帧第一图像、第二图像或第四图像,利用网络模型进行多帧融合处理,以及上述其他处理,可以融合得到清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,当第二控件指示为录像或HDR模式时,该方法还包括:对第二图像、第一图像或第四图像进行第三预处理,得到位于RAW域的第三预处理图像;其中,第二图像包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像,第一图像包括长曝光的第一图像、短曝光的第一图像和中曝光的第一图像,第四图像包括长曝光的第四图像、短曝光的第四图像和中曝光的第四图像,第三预处理用于将不同曝光的第二图像、第一图像或第四图像进行融合;对第三预处理图像进行前端处理,得到对应的前端处理图像;对前端处理图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
在该实现方式中,在录像模式或HDR模式下,基于多帧第一图像、第二图像或第四图像,进行多帧不同曝光的图像的融合处理,以及上述前端处理和后端处理,可以融合得到清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,该方法还包括:检测到对第二控件的第十七操作;响应于第十七操作,第二控件指示为大光圈模式或人像模式;检测到对第一界面的第十八操作;响应于第十八操作,电子设备采用第一摄像头采集第二图像,并采用第二摄像头采集第三图像;对第二图像、第三图像分别进行前端处理,得到各自对应的前端处理图像;利用前端融合模块分别将第二图像对应的前端处理图像进行融合,得到第二图像对应的前端融合图像;对第二图像对应的前端融合图像、第三图像对应的前端处理图像均进行后端处理,得到各自对应的后端处理图像;对第二图像和第三图像对应的后端处理图像进行深度估计处理,得到深度图像;利用深度图像对第二图像对应的后端处理图像进行虚化处理,得到对应的虚化处理图像,虚化处理图像为拍摄图像。
在该实现方式中,在大光圈模式或人像模式下,基于视场角不同、细节丰富度不同的第二图像和第三图像,进行上述一系列处理,可以融合得到前景清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,电子设备还包括TOF摄像头,该方法还包括:检测到对第一界面的第十九操作;响应于第十九操作,电子设备采用第一摄像头采集第二图像,并采用TOF摄像头获取深度信息,利用深度信息生成深度图像;对第二图像进行前端处理,得到对应的前端处理图像;利用前端融合模块将第二图像对应的前端处理图像进行融合,得到第二图像对应的前端融合图像;对前端融合图像进行后端处理,得到对应的后端处理图像;利用深度图像对第二图像对应的后端处理图像进行虚化处理,得到对应的虚化处理图像,虚化处理图像为拍摄图像。
在该实现方式中,在大光圈模式或人像模式下,基于第二图像和表现深度信息的深度图像,进行上述一系列处理,可以融合得到前景清晰度较高、质量较好的拍摄图像。
在第一方面一种可能的实现方式中,该方法还包括:当第二控件指示为人像模式时,对虚化处理图像进行美肤处理,得到美肤处理图像,美肤处理图像为拍摄图像。在该实现方式中,在人像模式下,可以利用美肤处理对人脸区域进行美化,提高图像视觉效果。
在第一方面一种可能的实现方式中,第一预处理包括:配准、坏点校正、RAW域降噪、黑电平校正、镜头阴影校正、自动白平衡中的至少一项。在该实现方式,通过对图像进行上述第一预处理中的多个步骤,可以提高图像的视觉效果。
在第一方面一种可能的实现方式中,前端处理包括配准、坏点校正、RAW域降噪、黑电平校正、镜头阴影校正、自动白平衡、颜色校正、动态范围压缩、Gamma校正中的至少一项。在该实现方式,通过对图像进行上述前端处理中的多个步骤,可以提高图像的视觉效果。
在第一方面一种可能的实现方式中,后端处理包括视频防抖、色彩增强、风格变换、超分辨重建中的至少一项。在该实现方式,通过对图像进行上述后端处理中的多个步骤,可以提高图像的细节丰富度和质量。
在第一方面一种可能的实现方式中,第二控件指示为录像模式时,该方法还包括:检测到对第一控件的第二十操作;响应于第二十操作,从第一变焦倍数切换为第二变焦倍数;响应于从第一变焦倍数切换为第二变焦倍数,电子设备采用第一摄像头采集图像,切换为采用第三摄像头采集图像,其中,第一摄像头为辅助摄像头;或者,检测到对第一控件的第二十一操作;响应于第二十一操作,从第一变焦倍数切换为第三变焦倍数;响应于从第一变焦倍数切换为第三变焦倍数,电子设备采用第一摄像头采集图像,切换为采用第四摄像头采集图像,其中,第一摄像头为辅助摄像头。
在该实现方式中,通过多个摄像头的切换,在实现接力变焦的同时还能提前运行相邻变焦倍数范围采集图像的摄像头,或者延迟关闭上一变焦倍数范围采集图像的摄像头,由此,使得电子设备的变焦倍数整体覆盖范围更广,而且可以切换更加平滑流畅。
第二方面,提供一种电子设备,包括摄像头模组、处理器和存储器;
摄像头模组,用于获取原始图像;
存储器,用于存储可在处理器上运行的计算机程序;
处理器,用于执行如第一方面或第一方面的任意可能的实现方式中提供的拍摄方法。
在第二方面一种可能的实现方式中,摄像头模组包括多个摄像头,多个摄像头包括:广角摄像头、主摄摄像头、黑白摄像头和长焦摄像头;多个摄像头用于对同一待拍摄场景进行拍摄;广角摄像头,用于在处理器获取拍照指令后,获取第一图像;主摄摄像头,用于在处理器获取拍照指令后,获取第二图像;黑白摄像头,用于在处理器获取拍照指令后,获取第三图像;长焦摄像头,用于在处理器获取拍照指令后,获取第四图像。
第三方面,提供一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如第一方面或第一方面的任意可能的实现方式中提供的拍摄方法。
第四方面,提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的拍摄方法。
第五方面,提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的计算机可读存储介质,计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的拍摄方法。
第三方面、第四方面和第五方面的有益效果,可以参考上述第一方面的有益效果,在此不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图;
图2为本申请实施例提供的一种电子设备的软件结构框图;
图3为本申请实施例提供的一种多个摄像头在电子设备上的排布示意图;
图4为本申请实施例提供的电子设备的界面示意图;
图5为本申请实施例提供的一种拍照模式下的拍摄方法的流程示意图;
图6为本申请实施例提供的另一种拍照模式下的拍摄方法的流程示意图;
图7为本申请实施例提供的一种录像模式下的拍摄方法的流程示意图;
图8为本申请实施例提供的又一种拍照模式下的拍摄方法的流程示意图;
图9为本申请实施例提供的又一种拍照模式下的拍摄方法的流程示意图;
图10为本申请实施例提供的又一种拍照模式下的拍摄方法的流程示意图;
图11为本申请实施例提供的又一种拍照模式下的拍摄方法的流程示意图;
图12为本申请实施例提供的又一种拍照模式下的拍摄方法的流程示意图;
图13为本申请实施例提供的一种夜景算法模块的结构示意图;
图14为图13中的大型残差块的结构示意图;
图15为本申请实施例提供的另一种录像模式下的拍摄方法的流程示意图;
图16示出了本申请实施例提供的一种利用HDR算法模块得到第三预处理图像的流程示意图;
图17示出了图16中的长曝光的第一图像、短曝光的第一图像和第三预处理图像;
图18示出了本申请实施例提供的多摄变焦切换时的视场角变化示意图;
图19示出了本申请实施例提供的一种拍照预览时变焦的界面示意图;
图20和图21分别示出了本申请实施例提供的一种拍照预览时多摄变焦的进程示意图;
图22示出了本申请实施例提供的一种录像预览时或录像时变焦的界面示意图;
图23和图24分别示出了本申请实施例提供的一种录像预览时或录像时多摄变焦的进程示意图;
图25示出了本申请实施例提供的又一种电子设备的界面示意图;
图26示出了本申请实施例提供的一种HDR模式下的拍摄方法的流程示意图;
图27示出了本申请实施例提供的又一种电子设备的界面示意图;
图28示出了本申请实施例提供的一种大光圈模式下的拍摄方法的流程示意图;
图29示出了本申请实施例提供的另一种多个摄像头在电子设备的后盖上的排布示意图;
图30示出了本申请实施例提供的另一种大光圈模式下的拍摄方法的流程示意图;
图31示出了本申请实施例提供的主摄摄像头和TOF摄像头分别拍摄的图像;
图32示出了本申请实施例提供的又一种电子设备的界面示意图;
图33示出了本申请实施例提供的一种人像模式下的拍摄方法的流程示意图;
图34示出了本申请实施例提供的另一种人像模式下的拍摄方法的流程示意图;
图35示出了本申请实施例提供的一种进行虚化处理后得到的第二增强图像;
图36示出了本申请实施例提供的又一种电子设备的界面示意图;
图37示出了本申请实施例提供的一种夜景模式下的拍摄方法的流程示意图;
图38示出了本申请实施例提供的又一种电子设备的界面示意图;
图39示出了本申请实施例提供的一种智能模式下的拍摄方法的流程示意图;
图40示出了本申请实施例提供的一种图像处理装置的结构示意图;
图41示出了本申请实施例提供的一种芯片的结构示意图。
附图标记:
41-大光圈模式;42-夜景模式;43-人像模式;44-拍照模式;45-录像模式;50-拍摄键;60-取景窗口;61-变焦选项;100-电子设备;193-摄像头;1931-主摄摄像头;1932-黑白摄像头;1933-广角摄像头;1934-长焦摄像头;1935-TOF摄像头;210-应用程序层;220-应用程序框架层;230-硬件抽象层;240-驱动层;250-硬件层。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
另外,本申请的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如,计算机可读介质可以包括,但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,压缩盘(compact disc,CD)、数字通用盘(digital versatile disc,DVD)等),智能卡和闪存器件(例如,可擦写可编程只读存储器(erasable programmableread-only memory,EPROM)、卡、棒或钥匙驱动器等)。另外,本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于,无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
本申请的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如,计算机可读介质可以包括,但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,压缩盘(compact disc,CD)、数字通用盘(digital versatiledisc,DVD)等),智能卡和闪存器件(例如,可擦写可编程只读存储器(erasable programmable read-only memory,EPROM)、卡、棒或钥匙驱动器等)。另外,本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于,无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
首先,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、焦距,焦距的大小标志着折光能力的大小,焦距越短,其折光能力就越大。光学镜头组件的焦距决定了该光学镜头组件拍摄的被摄物体在成像平面上所生成图像的大小。假设以相同的距离面对同一被摄物体进行拍摄,那么光学镜头组件的焦距越长,则被摄体在感光元件(charge-coupled device,CCD)上所生成的图像的放大倍数就越大。
2、光学变焦,主要是摄像模组内不同焦距的对比比例和切换。可用光学变焦倍数表示光学变焦的能力,光学变焦倍数越大,能拍摄的景物就越远。光学变焦倍数的大小与光学镜头组件的物理焦距相关。常以摄像模组的等效焦距为28mm对应1X(即1倍)光学变焦倍数。
3、RGB(red,green,blue)颜色空间,指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构,将所有颜色都当作是红色、绿色和蓝色的不同组合。
4、YUV颜色空间,指的是一种颜色编码方法,Y表示亮度,U和V表示的则是色度。上述RGB颜色空间着重于人眼对色彩的感应,YUV颜色空间则着重于视觉对亮度的敏感程度,RGB颜色空间和YUV颜色空间可以互相转换。
5、像素值,指的是位于RGB颜色空间的彩色图像中每个像素对应的一组颜色分量。例如,每个像素对应一组三基色分量,其中,三基色分量分别为红色分量R、绿色分量G和蓝色分量B。
6、拜耳格式(bayer pattern)彩色滤波阵列(color filter array,CFA),图像由实际的景物转换为图像数据时,通常是图像传感器分别接收红色通道信号、绿色通道信号和蓝色通道信号,三个通道信号的信息,然后将三个通道信号的信息合成彩色图像,但是,这种方案中每个像素位置处都对应需要三块滤镜,价格昂贵且不好制作,因此,可以在图像传感器表面覆盖一层彩色滤波阵列,以获取三个通道信号的信息。拜耳格式彩色滤波阵列指的是滤镜以棋盘格式进行排布。例如,该拜耳格式彩色滤波阵列中的最小重复单元为:一个获取红色通道信号的滤镜、两个获取绿色通道信号的滤镜、一个获取蓝色通道信号的滤镜以2×2的方式排布。
7、拜耳格式图像(bayer image),即基于拜耳格式彩色滤波阵列的图像传感器输出的图像。该图像中的多种颜色的像素以拜耳格式进行排布。其中,拜耳格式图像中的每个像素仅对应一种颜色的通道信号。示例性的,由于人的视觉对绿色较为敏感,所以,可以设定绿色像素(对应绿色通道信号的像素)占全部像素的50%,蓝色像素(对应蓝色通道信号的像素)和红色像素(对应红色通道信号的像素)各占全部像素的25%。其中,拜耳格式图像的最小重复单元为:一个红色像素、两个绿色像素和一个蓝色像素以2×2的方式排布。
8、灰阶图像(gray image),灰阶图像是单通道图像,用于表示不同亮度程度,最亮为全白,最暗为全黑。也就是说,灰阶图像中的每个像素对应黑色到白色之间的不同程度的亮度。通常为了对最亮到最暗之间的亮度变化进行描述,将其进行划分,例如划分为256份,即代表256个等级的亮度,并称之为256个灰阶(第0灰阶~第255灰阶)。
以上是对本申请实施例所涉及术语的简单介绍,以下不再赘述。
本申请实施例提供的拍摄方法可以适用于各种电子设备,也可以是单独的应用程序,该应用程序可实现本申请中在不同拍摄模式下,切换不同的摄像头进行拍照并融合出清晰度较高的图像的方法。
在本申请的一些实施例中,该电子设备可以为运动相机(GoPro)、数码相机等各种摄像装置、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等,或者可以为其他能够进行图像处理的设备或装置,对于电子设备的具体类型,本申请实施例不作任何限制。
下文以电子设备为手机为例,图1示出了本申请实施例提供的一种电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
处理器110可以运行本申请实施例提供的拍摄方法的软件代码,拍摄得到清晰度较高的图像。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还用于检测电池容量,电池循环次数,电池健康状态(漏电、阻抗)等参数。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。可以通过应用程序指令触发开启,实现拍照功能,如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头,通过滤光片,最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景,也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像;滤光片主要是用于将光线中的多余光波(例如除可见光外的光波,如红外)滤去;图像传感器可以是电荷耦合器件(charge coupleddevice,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。图像传感器主要是用于对接收到的光信号进行光电转换,转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
其中,摄像头193可以位于电子设备100的前面,也可以位于电子设备100的背面,摄像头的具体个数以及排布方式可以根据需求设置,本申请不做任何限制。
示例性的,电子设备100包括前置摄像头和后置摄像头。例如,前置摄像头或者后置摄像头,均可以包括1个或多个摄像头。以电子设备100具有4个后置摄像头为例,这样,电子设备100启动4个后置摄像头进行拍摄时,可以使用本申请实施例提供的拍摄方法。或者,摄像头设置于电子设备100的外置配件上,该外置配件可旋转的连接于手机的边框,该外置配件与电子设备100的显示屏194之间所形成的角度为0-360度之间的任意角度。比如,当电子设备100自拍时,外置配件带动摄像头旋转到朝向用户的位置。当然,手机具有多个摄像头时,也可以只有部分摄像头设置在外置配件上,剩余的摄像头设置在电子设备100本体上,本申请实施例对此不进行任何限制。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
内部存储器121还可以存储本申请实施例提供的拍摄方法的软件代码,当处理器110运行所述软件代码时,执行拍摄方法的流程步骤,得到清晰度较高的图像。
内部存储器121还可以存储拍摄得到的图像。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐等文件保存在外部存储卡中。
当然,本申请实施例提供的拍摄方法的软件代码也可以存储在外部存储器中,处理器110可以通过外部存储器接口120运行所述软件代码,执行拍摄方法的流程步骤,得到清晰度较高的图像。电子设备100拍摄得到的图像也可以存储在外部存储器中。
应理解,用户可以指定将图像存储在内部存储器121还是外部存储器中。比如,电子设备100目标与外部存储器相连接时,若电子设备100拍摄得到1帧图像时,可以弹出提示信息,以提示用户将图像存储在外部存储器还是内部存储器;当然,还可以有其他指定方式,本申请实施例对此不进行任何限制;或者,电子设备100检测到内部存储器121的内存量小于预设量时,可以自动将图像存储在外部存储器中。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
上文详细描述了装置100的硬件系统,下面介绍装置100的软件系统。电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。需要说明的是,本申请实施例中,电子设备的操作系统可以包括但不限于(Symbian)、/>(Andriod)、/>(iOS)、/>(Blackberry)、鸿蒙(HarmonyOS)等操作系统,本申请不作任何限定。
本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。图2是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为五层,从上至下分别为应用程序层210,应用程序框架层220、硬件抽象层230、驱动层240、以及硬件层250。
应用程序层210可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层220为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层220包括一些预先定义的函数。
如图2所示,应用程序框架层220可以包括相机应用对应的接口,视图系统等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
如图2所示,硬件抽象层(hardware abstraction layer,HAL)230用于将硬件抽象化。比如,硬件抽象层30包括硬件抽象层接口(HAL interface)、摄像头硬件接口层(hardware interface)、调度层、图像信号处理器节点(ISP pipeline)、摄像头服务层等。
驱动层240用于为不同的硬件设备提供驱动。比如,驱动层240可以包括摄像头驱动;数字信号处理器驱动以及图形处理器驱动。
硬件层250可以包括图像传感器(sensor)、图像处理器、数字信号处理器、图形处理器以及其他硬件设备。
在本申请中,通过调用硬件抽象层230中的硬件抽象层接口,可以实现硬件抽象层230上方的应用程序层210、应用程序框架层220与下方的驱动层240、硬件层250的连接,实现摄像头数据传输及功能控制。
其中,在硬件抽象层230中的摄像头硬件接口层中,厂商可以根据需求在此定制功能。摄像头硬件接口层相比硬件抽象层接口,更加高效、灵活、低延迟,也能更加丰富的调用ISP和GPU,来实现图像处理。其中,输入硬件抽象层230中的图像可以来自图像传感器,也可以来自存储的图片。
硬件抽象层230中的调度层,包含了通用功能性接口,用于实现管理和控制。
硬件抽象层230中的摄像头服务层,用于访问ISP和其他硬件的接口。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
应用程序层中的相机应用可以以图标的方式显示在电子设备100的屏幕上。当相机应用的图标被用户点击以进行触发时,电子设备100开始运行相机应用。当相机应用运行在电子设备100上时,相机应用调用应用程序框架层210中的相机应用对应的接口,然后,通过调用硬件抽象层230启动摄像头驱动,开启电子设备100上的摄像头193,并通过摄像头193采集图像。此时,摄像头193可按一定工作频率进行采集,并将采集的图像进行保存和/或传输至显示屏进行显示。
为了便于理解,下面以电子设备100为具有上述软硬件结构的手机为例,先对本申请实施例提供的拍摄方法所适用的电子设备100上的摄像头和界面先进行详细说明。
本申请实施例提供的拍摄方法所适用的电子设备上至少具有多个摄像头193,例如,具有4个摄像头193。该4个摄像头分别为广角摄像头1933、主摄摄像头1931、黑白摄像头1932和长焦摄像头1934。该4个摄像头用于拍摄同一待拍摄场景。
当然,该电子设备100上还可以具有其他摄像头193,摄像头193的种类以及每种摄像头193的个数均可以根据需要进行设置,本申请实施例对此不进行任何限制。示例性的,电子设备100具有4个摄像头193,该4个摄像头193可以为超广角摄像头、广角摄像头1933、黑白摄像头1932和长焦摄像头1934。
应理解,上述4个摄像头193在拍摄时,通常主摄摄像头1931对应的视场角范围和黑白摄像头1932对应的视场角范围大小基本相同,而广角摄像头1933对应的视场角范围大于主摄摄像头1931和黑白摄像头1932分别对应的视场角范围,广角摄像头1933的视场角与主摄摄像头1931的视场角之间或与黑白摄像头1932的视场角之间存在重叠,也就是说,广角摄像头1933可以拍摄到主摄摄像头1931拍摄的场景内容及其周边的场景内容或黑白摄像头1932的场景内容及其周边的场景内容。
长焦摄像头1934对应的视场角范围小于主摄摄像头1931对应的视场角范围,主摄摄像头1931的视场角与长焦摄像头1934的视场角之间存在重叠,也就是说,主摄摄像头1931可以拍摄到长焦摄像头1934拍摄的场景内容及其周边的场景内容。
广角摄像头1933的视场角与长焦摄像头1934的视场角之间也是存在重叠的,也就是说,广角摄像头1933可以拍摄到长焦摄像头1934拍摄的场景内容及其周边的场景内容。
其中,广角摄像头1933由于对焦距离较小,所以适合拍摄近景,并且,顾名思义,广角摄像头1933适合拍摄视场角比较大的场景。主摄摄像头1931,由于清晰度较高,比较适合拍摄肖像,而长焦摄像头1934比较适合拍摄远景特写。
应理解,通常摄像头193对应的视场角范围越小,获取的图像细节越丰富,清晰度越高,所以,主摄摄像头1931获取的图像的清晰度和黑白摄像头1932获取的图像的清晰度基本一致,而广角摄像头1933获取的图像的清晰度低于主摄摄像头1931获取的图像的清晰度,长焦摄像头1934获取的图像的清晰度高于主摄摄像头1931获取的图像的清晰度。
应理解,通常主摄摄像头1931和黑白摄像头1932的变焦倍数范围基本一致,而广角摄像头1933对应的变焦倍数相对小于主摄摄像头1931的变焦倍数,长焦摄像头1934的变焦倍数相对大于主摄摄像头1931的变焦倍数。
示例性的,广角摄像头1933对应的变焦倍数范围为[0.1,1),其中,0.1指的是0.1倍变焦倍数,1指的是1倍变焦倍数。主摄摄像头1931对应的变焦倍数范围为[1,3.9),黑白摄像头1932对应的变焦倍数范围为[1,2),长焦摄像头1934对应的变焦倍数范围[3.9,100)。
上述介绍了各个摄像头的特性,下面介绍一下多个摄像头在电子设备上的位置。
图3示出了上述4个摄像头在电子设备100的后盖上的三种排布示意图。
如图3中的(a)所示,上述4个摄像头排布在电子设备100的后盖的左上角。其中,主摄摄像头1931作为用户常用的摄像头,单独分布在靠近后盖上方的第一圆形区域中;黑白摄像头1932、广角摄像头1933和长焦摄像头1934这3个摄像头分布在靠近后盖下方的第二圆形区域中;此外,在靠近后盖下方的第二圆形区域中,还可设置闪光灯。
如图3中的(b)所示,上述4个摄像头排布在电子设备100的后盖中间的圆形区域中。其中,主摄摄像头1931作为用户常用的摄像头,设置在圆形区域的中心位置处,黑白摄像头1932、广角摄像头1933和长焦摄像头1934这3个摄像头分布在主摄摄像头1931的四周。此外,在该圆形区域中,还可以设置闪光灯。
如图3中的(c)所示,上述4个摄像头还可以以2×2的阵列形式,排布在电子设备100的后盖的上半部分。其中,主摄摄像头1931作为用户常用的摄像头,设置在后盖的左上角位置,此外,在该4个摄像头的中心还可以设置闪光灯。
应理解,上述仅为三种排布方式的示例,也可以为其他的排布方式,具体排布方式可以根据需要进行设计和更改,本申请实施例对此不进行任何限制。
还应理解,若电子设备100具有4个摄像头,该4个摄像头分别为超广角摄像头、广角摄像头1933、黑白摄像头1932和长焦摄像头1934时,也可以按照如图3所示的三种排布方式进行排布,其中,广角摄像头1933的位置相当于上述主摄摄像头1931的位置,超广角摄像头的位置相当于上述广角摄像头1933的位置,黑白摄像头1932和长焦摄像头1934的对应位置不变。
图4示出了本申请实施例提供的电子设备的界面示意图。
如图4中的(a)所示,该电子设备100上安装有相机应用。此外,还安装有多种应用,本申请实施例对此不进行任何限制。示例性的,响应于用户的触摸操作,当电子设备100运行相机应用时,电子设备100显示如图4中的(b)所示的拍摄界面。
其中,该拍摄界面包括相机应用的多种拍摄模式,如,大光圈模式41、夜景模式42、人像模式43、拍照模式44、录像模式45等。该拍摄界面还包括第二控件,第二控件为拍摄键50,拍摄键50指示当前的拍摄模式,如图4中的(b)所示,拍摄键50指示当前的拍摄模式为拍照模式45。
示例性的,响应于用户的触摸操作,当电子设备100运行相机应用时,电子设备100显示如图4中的(c)所示的拍摄界面。或者,基于电子设备100先显示如图4中的(b)所示的拍摄界面,响应于用户的滑动操作,电子设备100显示如图4中的(c)所示的拍摄界面。此处,拍摄键50指示当前的拍摄模式为录像模式45。
此外,响应于用户的滑动操作,拍摄键50还可以指示当前的拍摄模式为大光圈模式41、夜景模式42、人像模式43等。每种模式在对应的场景下使用。例如,在晚上或者光线昏暗的地方,使用夜景模式42可以使得得到的图像清晰度高;在拍摄人物时,使用人像模式43得到的图像中人物的面部特征明显。应理解,具体拍摄模式可以根据用户的操作进行切换,多个拍摄模式在电子设备界面上的排布顺序可以根据需要进行设定和更改,本申请实施例对此不进行任何限制。
如图4中的(b)和(c)所示,该拍摄界面中还包括取景窗口60,取景窗口60可用于实时显示拍照前或录像前的预览图像。另外,拍摄界面中还显示有第一控件,第一控件为变焦选项61。用户可以在变焦选项61中选择当前需要的变焦倍数,例如,0.5倍、2倍或50倍变焦倍数等。
应理解,变焦倍数指的是摄像头的光学变焦的能力。用户通过增大变焦倍数,可以将拍摄物体在取景窗口60上不断放大,通过减小变焦倍数,可以将拍摄物体在取景窗口60上不断缩小。由此,用户可以通过电子设备100上的变焦选项61进行变焦倍数的选择;也可以通过电子设备100的显示屏输入手势命令,进行变焦倍数的选择,以实现对取景窗口60显示的预览图像的调整。
基于此,图5示出了本申请实施例提供的一种拍摄方法的流程示意图。
如图5所示,该方法包括以下S10~S40。
S10、接收用户的第一操作,第一操作用于确定用户选择的当前拍摄模式,其中,拍摄模式包括:拍照模式。
示例性的,结合图4中的(a)所示,接收用户的第一操作,例如对相机应用的触摸操作,接着,相机应用启动后,结合图4中的(b)所示,拍摄键50默认指示当前拍摄模式为拍照模式44。
或者,结合图4中的(c)所示,接收用户的第一操作,例如,滑动操作,接着,结合图4中的(b)所示,拍摄键50从指示当前拍摄模式为录像模式45变为指示当前拍摄模式为拍照模式44。
应理解,第一操作还可以为其他操作,只要可以确定用户选择的当前拍摄模式即可,可选的,拍摄模式为预览模式(包括拍照模式下的预览模式,或者,录像模式下的预览模式)或录像模式,也是可以同样适用的,这样,第一操作可以是对应的相关操作,本申请实施例对此不进行任何限制。
S20、当当前拍摄模式为拍照模式时,确定待拍摄场景的照度(lightness value)和用户选择的当前变焦倍数。
应理解,照度指的是物体被照明的程度,具体指的是物体单位面积上所接受可见光的能量。黑天的街道、灯光昏暗的室内等一般是低照度的,相对的,阳光下的操场、聚光灯下的舞台等可称为中高照度。如果待拍摄场景的照度比较低,则使用电子设备对待拍摄场景进行拍摄时,会模糊不清,效果比较差。如果待拍摄场景的照度比较高,则使用电子设备对待拍摄场景进行拍摄时,会比较清楚,拍摄效果好。
可以理解的,其中待拍摄场景为当前摄像头的拍摄范围的场景。
此处,例如,可以利用电子设备100中的光电传感器检测待拍摄场景的照度。
或者,还可以根据摄像头的曝光参数,比如曝光时间、感光度、光圈等参数,以及收到的响应值来通过公式计算得到照度。其中,在曝光参数相同的情况下,响应值越高,表明待拍摄场景的照度也越高,由此,计算得到的照度的值也越大。
此处,确定用户选择的当前变焦倍数,需要先接收用户的操作,例如,该操作为滑动操作,则相应的,响应于用户对变焦选项61的滑动操作,可以确定出用户滑动停止时所指示的变焦倍数,以此作为用户期望实现的变焦倍数,即,作为用户选择的当前变焦倍数。该操作还可以是双指向外扩的操作;还可以是点击操作等,本申请实施例对此不进行任何限制。
S30、根据待拍摄场景的照度和当前变焦倍数,确定目标摄像头,并利用目标摄像头获取原始图像。
应理解,目标摄像头为广角摄像头1933、主摄摄像头1931、黑白摄像头1932和长焦摄像头1934中的一个或多个。通过预设多个摄像头与待拍摄场景的照度和变焦倍数的对应关系,则可以由待拍摄场景的照度和当前变焦倍数来确定出对应种类和个数的摄像头。
应理解,原始图像也可以称为RAW图,可以指的是位于RAW域的图像。其中,位于RAW域的图像包含较多的细节信息,清晰度较高,数据量大。原始图像的数量可以根据需要进行获取,本申请实施例对此不进行任何限制。当目标摄像头包括多个和/或多种摄像头时,原始图像指的是该多个和/或多种摄像头分别获取的图像的总称。
应理解,当利用广角摄像头1933、主摄摄像头1931、黑白摄像头1932和长焦摄像头1934中的多个摄像头来获取原始图像时,原始图像包括视场角大小不同或者清晰度不同的多个图像。
S40、对原始图像进行处理,得到拍摄图像。
其中,对原始图像的处理可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
本申请实施例提供一种拍摄方法,在用户选择的拍摄模式为拍照模式时,根据待拍摄场景的照度和用户选择的当前变焦倍数,从广角摄像头、主摄摄像头、黑白摄像头和长焦摄像头中确定出相对应的目标摄像头,并利用目标摄像头获取原始图像,再对原始图像进行处理,得到拍摄图像。由于本申请提供的拍摄方法,在拍照时可以根据不同照度和变焦倍数切换不同的摄像头来获取原始图像,由此,可以利用不同的摄像头得到视场角大小不同、清晰度不同的原始图像,从而可以利用多摄像头协同处理,提高由原始图像处理之后得到的拍摄图像的质量。
可选地,图6示出了本申请实施例提供的另一种拍照模式下的拍摄方法的流程示意图。如图6所示,上述S20包括S21~S24。
S21、当待拍摄场景的照度大于或等于预设照度阈值时,确定当前变焦倍数所属变焦倍数范围。
应理解,预设照度阈值可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S22、根据当前变焦倍数所属变焦倍数范围,确定目标摄像头,并利用目标摄像头获取原始图像。目标摄像头包括1个或多个摄像头。不同变焦倍数范围对应不同的摄像头。
其中,目标摄像头包括1个或多个摄像头,由此可知,该变焦倍数范围对应1个或多个摄像头,该1个或多个摄像头才能确定为目标摄像头。
基于此,当包括多个变焦倍数范围时,可以预先设定每个变焦倍数范围对应1个摄像头,该1个摄像头为该变焦倍数范围对应的目标摄像头;或者,可以预先设定每个变焦倍数范围对应多个摄像头,该多个摄像头为该变焦倍数范围对应的目标摄像头;或者,也可以预先设定一部分变焦倍数范围中的每个变焦倍数范围对应1个摄像头,另一部分变焦倍数范围中的每个变焦倍数范围对应多个摄像头,具体可以根据需要进行设定,本申请实施例对此不进行限制。
应理解,一个变焦倍数范围对应多个不同的摄像头,指的是对应多种不同类型的摄像头,例如,某个变焦倍数范围对应的目标摄像头包括长焦摄像头1934和主摄摄像头1931。
应理解,当前变焦倍数所属变焦倍数范围对应1个摄像头时,利用该1个摄像头获取原始图像,该原始图像包括该1个摄像头获取的1帧或多帧图像。当获取多帧图像时,后续对原始图像进行处理所得到的拍摄图像为该多帧图像的融合。
当前变焦倍数所属变焦倍数范围对应多个不同的摄像头时,利用该多个不同的摄像头获取原始图像,该原始图像包括多个不同的摄像头获取的多帧图像。基于此,对原始图像进行处理所得到的拍摄图像为多个不同的摄像头获取的多帧图像的融合。
应理解,变焦倍数范围可以根据需要进行划分和更改,每个变焦倍数范围对应的目标摄像头的种类和数量可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S23、当待拍摄场景的照度小于预设照度阈值时,确定当前变焦倍数所属变焦倍数范围。
S24、根据当前变焦倍数所属变焦倍数范围,确定目标摄像头,并利用目标摄像头获取原始图像。目标摄像头包括1个摄像头。
应理解,目标摄像头包括1个摄像头,由此可知,该变焦倍数范围对应1个摄像头,该1个摄像头才能确定为目标摄像头。
不同变焦倍数范围对应的摄像头可以相同,也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。示例性的,不同变焦倍数范围对应不同摄像头。例如,一个变焦倍数范围对应广角摄像头1933,另一个变焦倍数范围对应主摄摄像头1931。
应理解,根据当前变焦倍数所属变焦倍数范围可以确定出1个摄像头,作为目标摄像头,利用该摄像头获取原始图像。该原始图像包括该摄像头获取的1帧或多帧图像。基于此,当获取多帧图像时,对原始图像进行处理所得到的拍摄图像为多帧图像的融合。
可选地,当待拍摄场景的照度大于或等于预设照度阈值时,如图6所示,上述S22包括以下S221~S224。
S221、当当前变焦倍数属于第一变焦倍数范围时,目标摄像头包括广角摄像头1933和主摄摄像头1931,利用广角摄像头1933获取第一图像,并利用主摄摄像头1931获取第二图像。其中,主摄摄像头1931为辅助摄像头。
应理解,辅助摄像头获取的图像仅用于图像处理获取拍摄图像,而不用于预览显示。
此时,原始图像包括第一图像和第二图像。第一图像的数量可以为1帧,也可以为多帧,第二图像的数量可以为1帧,也可以为多帧,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
应理解,第一图像和第二图像均位于RAW域,且均为拜耳格式图像。第一图像对应的视场角范围大于第二图像对应的视场角范围,第一图像的清晰度小于第二图像的清晰度。
S222、当当前变焦倍数属于第二变焦倍数范围时,目标摄像头包括主摄摄像头1931和黑白摄像头1932,利用主摄摄像头1931获取第二图像,并利用黑白摄像头1932获取第三图像。其中,黑白摄像头1932为辅助摄像头。
此时,原始图像包括第二图像和第三图像。第二图像的数量可以为1帧也可以为多帧,第三图像的数量可以为1帧,也可以为多帧,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
应理解,第二图像和第三图像均位于RAW域,第二图像为拜耳格式图像,黑白摄像头1932获取的第三图像为灰阶图像。第二图像对应的视场角范围和第三图像对应的视场角范围基本一致,第三图像相对于第二图像的细节丰富图更高。
S223、当当前变焦倍数属于第三变焦倍数范围时,目标摄像头包括主摄摄像头1931和长焦摄像头,利用主摄摄像头1931获取第二图像,并利用长焦摄像头1934获取第四图像。其中,长焦摄像头1934为辅助摄像头。
此时,原始图像包括第二图像和第四图像。第二图像的数量可以为1帧也可以为多帧,第四图像的数量可以为1帧,也可以为多帧,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
应理解,第二图像和第四图像均位于RAW域,且均为拜耳格式图像。第二图像对应的视场角范围大于第四图像对应的视场角图像范围。
S224、当当前变焦倍数属于第四变焦倍数范围时,目标摄像头包括长焦摄像头,利用长焦摄像头获取第四图像。
此时,原始图像包括第四图像。第四图像的数量为多帧,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
示例性的,在上述S221~S224中,第一变焦倍数范围、第二变焦倍数范围、第三变焦倍数范围、第四变焦倍数范围中包含的变焦倍数是增大的。
也就是说,第一变焦倍数范围中的最大变焦倍数小于第二变焦倍数范围中的最小变焦倍数,第二变焦倍数范围中的最大变焦倍数小于第三变焦倍数范围中的最小变焦倍数,第三变焦倍数范围中的最大变焦倍数小于第四变焦倍数范围中的最小变焦倍数。
可选的,设定第一变焦倍数范围为[f,p),第二变焦倍数范围为[p,q),第三变焦倍数范围为[q,r),第四变焦倍数范围为[r,t]。其中,f<p<q<r<t;f、p、q、r和t均为正数。
示例性的,设定电子设备100的变焦倍数范围为[0.5,100],即f=0.5,t=100。其中,设p=1,q=2,r=3.x,则第一变焦倍数范围为[0.5,1),第二变焦倍数范围为[1,2),第三变焦倍数范围为[2,3.x),x的取值范围为[0,9],x为整数;第四变焦倍数范围为[3.x,100]。示例性的,f还可以为0.1,0.2或0.3;r=3.5,3.9或3.8。
应理解,在待拍摄场景的照度大于或等于预设照度阈值,也就是在待拍摄场景的照度属于中高照度的情况下,本申请通过在变焦倍数较小的范围选用广角摄像头1933和主摄摄像头1931获取原始图像,在变焦倍数适中的范围选用主摄摄像头1931和黑白摄像头1932获取原图图像,在变焦倍数较大的范围选用长焦摄像头和主摄摄像头1931获取原始图像,由此,在后续处理时,可以在不同变焦倍数范围内对不同的两个摄像头获取到视场角范围不同、清晰度不同的图像进行处理并处理成拍摄图像,从而可以提高得到的拍摄图像的质量。
应理解,在变焦倍数更大的范围选用长焦摄像头即可以拍摄得到细节丰富,清晰度高的原始图像,因此,在后续处理时,不再需要与其他摄像头获取的低清晰度的图像一起进行处理。当然,如果电子设备还包括超长焦摄像头,该超长焦摄像头可以获取到比长焦摄像头细节更丰富、清晰度更高的图像时,本申请可以在变焦倍数较大的范围内选用长焦摄像头和超长焦摄像头获取原始图像,以提高后续得到的拍摄图像的质量。
可选地,当待拍摄场景的照度小于预设照度阈值时,如图6所示,上述S24包括以下S241~S243。
S241、当当前变焦倍数属于第一变焦倍数范围时,目标摄像头为广角摄像头1933,利用广角摄像头1933获取第一图像。
此时,原始图像包括第一图像,第一图像包括多帧,具体数量可以根据需要获取,本申请实施例对此不进行任何限制。
其中,第一图像位于RAW域,且为拜耳格式图像。
S242、当当前变焦倍数属于第二变焦倍数范围或第三变焦倍数范围时,目标摄像头为主摄摄像头1931,利用主摄摄像头1931获取第二图像。
此时,原始图像包括第二图像,第二图像包括多帧,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第二图像位于RAW域,且为拜耳格式图像。
S243、当当前变焦倍数属于第四变焦倍数范围时,目标摄像头为长焦摄像头1934,利用长焦摄像头1934获取第四图像。
此时,原始图像包括第四图像,第四图像包括多帧,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第四图像位于RAW域,且为拜耳格式图像。
示例性的,第一变焦倍数范围、第二变焦倍数范围、第三变焦倍数范围、第四变焦倍数范围与上述S221~S224中的变焦倍数相同,在此不再赘述。
应理解,在待拍摄场景的照度小于预设照度阈值,也就是在待拍摄场景的照度属于低照度的情况下,本申请通过在变焦倍数较小的范围选用广角摄像头1933获取原始图像,在变焦倍数适中的范围选用主摄摄像头1931获取原图图像,在变焦倍数较大的范围选用长焦摄像头1934获取原始图像,由此,在后续处理时,可以在不同变焦倍数范围内对对应的摄像头获取到多帧图像进行处理并处理成1帧拍摄图像,从而可以提高得到的拍摄图像的质量。
图7示出了本申请实施例提供的另一种拍摄方法的流程示意图。
如图7所示,该方法包括以下S40~S80。
S40、接收用户的第一操作,第一操作用于确定用户选择的当前拍摄模式,其中,拍摄模式还包括:录像模式。
示例性的,结合图4中的(a)所示,接收用户的第一操作,例如对相机应用的触摸操作,接着,相机应用启动后,结合图4中的(c)所示,拍摄键50默认指示当前拍摄模式为录像模式45。
或者,结合图4中的(b)所示,接收用户的第一操作,例如,滑动操作,接着,结合图4中的(c)所示,拍摄键50从指示当前拍摄模式为拍照模式变为指示当前拍摄模式为录像模式45。
应理解,第一操作还可以为其他操作,只要可以确定用户选择的当前拍摄模式即可,本申请实施例对此不进行任何限制。
S50、当当前拍摄模式为录像模式时,确定当前变焦倍数。
示例性的,响应于用户的触摸操作,可以确定出用户点击或滑动停止时所指示的变焦倍数,以此作为用户期望实现的变焦倍数,即,当前变焦倍数。
S60、确定当前变焦倍数所属变焦倍数范围。
应理解,变焦倍数范围可以根据需要进行划分和更改,每个变焦倍数范围对应的摄像头种类和数量可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
录像模式下的变焦倍数范围与上述拍照模式下的变焦倍数范围可以相同,也可以不相同,为了方便说明,本申请均以相同划分方式所划分得到的变焦倍数范围进行说明。
S70、根据当前变焦倍数所属变焦倍数范围,确定目标摄像头,并利用目标摄像头获取原始图像。目标摄像头包括1个摄像头。
应理解,目标摄像头为广角摄像头1933、主摄摄像头1931、黑白摄像头1932和长焦摄像头1934中的其中一个。变焦倍数范围不同,对应的摄像头可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
由此,根据当前变焦倍数所属变焦倍数范围,可以确定出对应的1个摄像头,利用该1个摄像头获取原始图像。该原始图像包括该1个摄像头获取的多帧图像。当获取多帧图像时,后续对原始图像进行处理所得到的拍摄图像为该多帧图像的融合。
示例性的,假设录像模式下不同变焦倍数范围与多个摄像头的对应关系,与拍照模式下,待拍摄场景的照度小于预设照度阈值时,所设定的变焦倍数范围与多个摄像头的对应关系相同,则S60的具体步骤可以参考上述对S241~S243的描述,在此不再赘述。
S80、对原始图像进行处理,得到拍摄图像。
其中,对原始图像的处理可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
本申请实施例提供一种拍摄方法,在用户选择的拍摄模式为录像模式时,根据当前变焦倍数所属变焦倍数范围,可以从广角摄像头、主摄摄像头、黑白摄像头和长焦摄像头中确定出相对应的目标摄像头,并利用目标摄像头获取原始图像,再对原始图像进行处理,得到拍摄图像。由于本申请提供的拍摄方法,在录像时可以根据不同变焦倍数切换不同的摄像头来获取原始图像,由此,可以利用不同的摄像头得到视场角大小不同、清晰度不同的多帧图像,从而可以利用多摄像头协同处理,提高由原始图像处理之后得到的拍摄图像的质量。
可选的,在录像模式下,也可以仅采用多帧融合(即摄像头出多帧,将多帧进行融合的方法),而不采用多个摄像头之间协同处理的方法,可以根据需要进行调节。
结合以上,针对拍照模式和录像模式下的拍摄方法,本申请提供如下实施例:
设定第一变焦倍数范围为[f,p),第二变焦倍数范围为[p,q),第三变焦倍数范围为[q,r),第四变焦倍数范围为[r,t]。其中,f<p<q<r<t;f、p、q、r和t均为正数。
示例性的,设定电子设备100的变焦倍数范围为[0.5,100],即f=0.5,t=100。其中,设p=1,q=2,r=3.x,则第一变焦倍数范围为[0.5,1),第二变焦倍数范围为[1,2),第三变焦倍数范围为[2,3.x),x的取值范围为[0,9],x为整数;第四变焦倍数范围为[3.x,100]。示例性的,f还可以为0.1,0.2或0.3;r=3.5,3.9或3.8。
应理解,此处,各个数字仅为示意,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。拍摄模式可以为拍照模式或录像模式等其他模式,为了便于说明,以下实施例以拍照模式或录像模式为例进行说明。
实施例1,一种拍摄方法,如图8所示,该方法包括以下S110至S160。
接收用户的第一操作,确定出当前拍摄模式为拍照模式,并且,待拍摄场景的照度大于或等于预设照度阈值,也就是说,待拍摄场景处于中高照度。
S110、确定当前变焦倍数属于第一变焦倍数范围,确定目标摄像头。
示例性的,假设当前变焦倍数为0.5倍,则当前变焦倍数属于第一变焦倍数范围[0.5,1),由此,可以确定目标摄像头为广角摄像头1933和主摄摄像头1931,其中,主摄摄像头1931为辅助摄像头。示例性的,利用广角摄像头1933获取3帧第一图像,利用主摄摄像头1931获取3帧第二图像。
此处,第一图像和第二图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第一图像和第二图像均位于RAW域,第一图像和第二图像均为拜耳格式图像。
应理解,由于广角摄像头1933对应的视场角范围比主摄摄像头1931对应的视场角范围大,相应的,第一图像对应的视场角范围大于第二图像对应的视场角范围,第一图像包含第二图像的内容,也就是说,第二图像为第一图像的局部。第一图像的清晰度小于第二图像的清晰度。
S120、对3帧第一图像进行第一前端处理,得到对应的第一前端处理图像;对3帧第二图像进行第二前端处理,得到对应的第二前端处理图像。
其中,第一前端处理、第二前端处理分别可以包括:配准、坏点校正(defaultpixel correction,DPC)、RAW域降噪(raw域noise filter,RAWNF)、黑电平校正(blacklevel correction,BLC)、镜头阴影校正(lens shading corrction,LSC)、自动白平衡(auto white balance,AWB)、颜色校正(color correction matrix,CCM)、动态范围压缩(dynamic range compression,DRC)、Gamma校正(Gamma)中的至少一项。
配准,指的是在同一区域内以不同成像手段所获得的不同图像的地理坐标的匹配。其中,包括几何纠正、投影变换与统一比例尺三方面的处理。
坏点校正,坏点即为全黑环境下输出图像中的白点,高亮环境下输出图像中的黑点。一般情况下,三基色通道信号应与环境亮度呈线性响应关系,但是由于图像传感器输出的信号不良,就可能出现白点或黑点,对此,可以自动检测坏点并自动修复,或者,建立坏点像素链表进行固定位置的坏像素点修复。其中,一个点即指的是一个像素。
降噪,指的是减少图像中噪声的过程。一般方法有均值滤波、高斯滤波、双边滤波等。RAW域降噪,指的是减少RAW域图像中噪声的过程。
黑电平校正,是由于图像传感器存在暗电流,导致在没有光线照射的时候,像素也对应有一定的输出电压,并且,不同位置处的像素可能对应不同的输出电压,因此,需要对没有光亮时(即,黑色)像素对应的输出电压进行校正。
镜头阴影校正,可以解决由于镜头对光线折射不均匀导致镜头周围出现阴影的情况。
自动白平衡,是为了消除光源对图像传感器成像的影响,模拟人类视觉的颜色恒常性,保证在任何场景下看到的白色是真正的白色,因此,需要对色温进行校正,自动将白平衡调到合适的位置。
颜色校正,由于摄像头获取的图像,与人们期望的颜色会存在一定差距,因此需要对颜色进行校正。又因为自动白平衡已经将白色校准了,因此,可以通过颜色校正来校准除白色以外的其他颜色。
动态范围压缩,由于自然界真实场景所呈现出来的亮度值具有非常大的动态范围,因此,摄像头在获取图像时无法采集自然界真实场景所呈现处理的全部亮度值,但是为了尽可能使获取到的图像与自然界真实场景接近,需要将采集的图像的宽像素值范围(如0~4095),调整为窄像素值范围(如0~255),这一过程即为动态范围压缩。
Gamma校正,指的是对图像的伽马曲线进行编辑,以对图像进行非线性色调编辑的方式,检出图像中的深色部分和浅色部分,并使两者按比例增大,从而提高图像对比度效果。
应理解,第一前端处理可以包括上述一个或多个处理步骤,当第一前端处理包括多个处理步骤时,该多个处理步骤的顺序可以根据需要进行调整,本申请实施例对此不进行任何限制。此外,第一前端处理还可以包括其他步骤,具体可以根据需要进行增加,本申请实施例对此不进行任何限制。
例如,第一前端处理还可以包括:去马赛克(demosaic)和色彩空间转换。
应理解,去马赛克,由于拜耳格式图像中的每个像素只对应有一个通道的颜色信息,因此,可以利用周围像素信息来对其他颜色进行估算,例如,通过线性插值的方式,可以确定出每个像素缺失的另外两个通道的颜色信息,从而恢复出图像中所有像素的所有通道信息。去马赛克的过程,相当于将图像从RAW域转换至RGB域。
此处,色彩空间转换指的是从RGB域转YUV域。由此,可以将去马赛克后的图像由RGB域转至YUV域,以降低后续存储和传输的数据量,节省带宽。
还应理解,第二前端处理与第一前端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S130、利用第一前端融合模块对3帧第一图像对应的第一前端处理图像进行融合,得到对应的第一前端融合图像;利用第二前端融合模块对3帧第二图像对应的第二前端处理图像进行融合,得到对应的第二前端融合图像。前端融合模块包括第一前端融合模块和第二前端融合模块。
应理解,当第一前端处理和第二前端处理均包括去马赛克和色彩空间转换时,第一图像经过第一前端处理后,所对应的第一前端处理图像位于YUV域。第二图像经过第二前端处理后,所对应的第二前端处理图像位于YUV域。此时,第一前端融合模块和第二前端融合模块相应均包括YUV域的多帧融合模块,以实现YUV域的多帧融合功能。由此,经第一前端融合模块处理所得到的第一前端融合图像、经第二前端融合模块处理所得到的第二前端融合图像均位于YUV域。
当第一前端处理和第二前端处理均不包括去马赛克和色彩空间转换时,第一图像经过第一前端处理后,所对应的第一前端处理图像还是位于RAW域。第二图像经过第二前端处理后,所对应的第二前端处理图像还是位于RAW域。此时,第一前端融合模块相应包括RAW域的多帧融合模块,以实现RAW域的多帧融合功能。由此,经第一前端融合模块处理所得到的第一前端融合图像也位于RAW域。
可选地,第一前端融合模块和第二前端融合模块还包括:高动态范围模块。
由于原始图像是在一定曝光量下曝光的,存在较暗部分或较亮部分的细节显示不充分的问题,第一前端处理图像和第二前端处理图像依然存在该问题,因此,可以通过高动态范围模块来对第一前端处理图像和第二前端处理图像进行处理,使待拍摄场景中暗区在图像中可以变亮,亮区在图像可以变暗,从而使得处理后的图像可以呈现暗区和亮区中的更多细节。
可选地,第一前端融合模块和第二前端融合模块还包括:超分辨率(superresolution,SR)模块。
经超分辨率模块处理,可以由多张低分辨率图像合成1帧高分辨率图像,或者,从单张低分辨率图像获取高分辨率图像。由此,将第一前端处理图像、第二前端处理图像传输至超分辨率模块中,可以提高前端处理图像的分辨率,得到更高分辨率的第一前端融合图像和/或第二前端融合图像。
应理解,第一前端融合模块和第二前端融合模块可以相同,也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
当前端融合模块包括YUV域多帧融合或RAW域多帧融合,以及HDR模块、SR模块中的至少一个时,可以根据需要对其顺序进行调整。当然,前端融合模块还可以包括其他功能模块,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
在此基础上,多帧第一图像可以包括长曝光的第一图像、短曝光的第一图像和中曝光的第一图像;多帧第二图像可以包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像。
当多帧第一图像包括不同曝光程度的第一图像,多帧第二图像包括不同曝光程度的第二图像时,相应的,多帧第一图像对应的第一前端处理图像包括不同曝光程度的第一前端处理图像,多帧第二图像对应的第二前端处理图像包括不同曝光程度的第二前端处理图像,基于此,第一前端融合模块将不同曝光程度的多帧第一前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第一前端融合图像的清晰度。同理,第二前端融合模块将不同曝光程度的多帧第二前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第二前端融合图像的清晰度。
应理解,长曝光的图像指的是拍摄时经过较长时间曝光所得到的图像,短曝光的图像指的是拍摄时经过较短时间曝光所得到的图像,其中,长曝光和短曝光都是相对中曝光的时间而言的。曝光时间即为图像传感器采集图像时,进行光电转换所使用的时间。
示例性的,中曝光的时间为5毫秒,短曝光的时间为1/50毫秒,长曝光的时间为100毫秒。
S140、对3帧第一图像对应的第一前端融合图像进行第一后端处理,得到对应的第一后盾处理图像;对3帧第二图像对应的第二前端融合图像均进行第二后端处理,得到对应的第二后端处理图像。
其中,第一后端处理和第二后端处理可以分别包括视频防抖、色彩增强(colorenhancement,CE)、2D查找表,即,风格变换(2dimensional look up table,2DLUT)、超分辨重建中的至少一项。
视频防抖,指的是:例如利用块匹配法,去除拍摄过程中轻微抖动造成的图像模糊。
色彩增强,以使得原有的不饱和的色彩信息变得饱和、丰富。
风格变换,指的是颜色的风格变换,即颜色滤镜,使原始的图像风格变成其他的图像风格,常见的风格比如,电影风格、日系风格、阴森风格等。
应理解,第一后端处理可以包括上述一个或多个处理步骤,当第一后端处理包括多个处理步骤时,该多个处理步骤的顺序可以根据需要进行调整,本申请实施例对此不进行任何限制。此外,第一后端处理还可以包括其他步骤,本申请实施例对此不进行任何限制。
例如,当第一前端处理包括去马赛克和色彩空间转换时,由于第一前端融合图像位于YUV域,相应的,第一后端处理还可以包括YUV域降噪,以对位于YUV域的图像进行降噪处理。
当第一前端处理不包括去马赛克和色彩空间转换时,由于第一前端融合图像位于RAW域,相应的,第一后端处理还可以包括去马赛克、色彩空间转换和YUV域降噪,以将位于RAW域的图像转换成位于YUV域的图像,减小后续处理的数据量,节省带宽。
应理解,第一后端处理图像和第二后端处理图像位于YUV域。
还应理解,第二后端处理与第一后端处理,可以相同,也可以不相同,具体可以根据需进行设置,本申请实施例对此不进行任何限制。
S150、对3帧第一图像对应的第一后端处理图像进行畸变校正,得到校正图像。
应理解,利用广角摄像头1933在获取第一图像时,由于广角摄像头1933中的透镜对色光的弯曲能力不同,使得成像点与光轴距离不同,导致侧向放大率随之不同,从而造成实际成像失真,产生畸变。因此,需要对第一图像对应的第一后端处理图像进行畸变校正,使其恢复正常。
示例性的,可以利用透视投影方式进行畸变校正。其中,透视投影方式,也称为透视变换。例如,后端处理图像中包含有书本,可以先确定3帧第一图像对应的第一后端处理图像中的书本的4个角对应的点的坐标,以及3帧第二图像对应的第二后端处理图像中的书本的4个角对应的点的坐标,通过两组坐标从而计算出透视变换的变换矩阵,之后对3帧第一图像对应的第一后端处理图像中的书本执行变换矩阵的变换,以此来实现校正。
应理解,校正图像位于YUV域。
S160、利用后端融合模块将校正图像和第二图像对应的第二后端处理图像进行融合,得到第二融合图像,第二融合图像为拍摄图像。
由于第一图像对应的视场角范围和第二图像对应的视场角范围不同,经上述处理后的校正图像和第二图像对应的后端处理图像之间依然存在视场角范围不同的问题,由此,可以利用第二融合模块进行融合处理。也就是说,第二融合模块可以包括视场角融合模块,用于实现对应不同视场角范围的图像的融合。
基于此,第一图像对应的校正图像和第二图像对应的第二后端处理图像进行融合时,校正图像与第一图像对应的视场角范围相同,第二后端处理图像与第二图像对应的视场角范围相同,融合后的第二融合图像对应的视场角范围与第一图像对应的视场角范围相同。假设广角摄像头1933和主摄摄像头1931的视场角中心点一致,又因为第二图像的清晰度较高,相应的,第二后端处理图像的清晰度较高,由此,将校正图像与第二图像对应的第二后端处理图像进行融合之后,将会提升校正图像中对应第二图像的视场角范围的区域内的清晰度,使得拍摄图像清晰度提高。
当然,后端融合模块还可以包括其他功能模块,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。此外,本实施例中的后端融合模块与第一前端融合模块、第二前端融合模块也可以相同,均用于对位于YUV域的图像进行融合。
应理解,后端融合图像位于YUV域。后端融合图像将被作为拍摄图像进行在电子设备100的界面上进行显示,或者,仅进行存储,具体可以根据需要进行传输,本申请实施例对此不进行任何限制。
在该实施例中,基于视场角大小不同、清晰度不同的第一图像和第二图像,经过上述一系列处理后,可以融合得到清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
实施例2a,一种拍摄方法,如图9中的(a)所示,该方法包括以下S210至S270。
接收用户的第一操作,确定出当前拍摄模式为拍照模式,待拍摄场景处于中高照度。
S210、确定当前的变焦倍数属于第二变焦倍数范围,确定目标摄像头。
示例性的,假设当前变焦倍数为1.5,则当前变焦倍数属于第二变焦倍数范围[1,2)内,由此,可以确定目标摄像头为主摄摄像头1931和黑白摄像头1932,其中,黑白摄像头1932为辅助摄像头。示例性的,利用主摄摄像头1931获取6帧第二图像,利用黑白摄像头1932获取2帧第三图像。
此处,第二图像和第三图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第二图像位于RAW域,第二图像为拜耳格式图像,黑白摄像头1932获取的第三图像为灰阶图像。
应理解,第二图像对应的视场角范围和第三图像对应的视场角范围基本一致,第三图像的相对于第二图像细节丰富度更高。
S220、对6帧第二图像进行第一预处理,得到6帧位于RAW域的第一预处理图像。
其中,第一预处理可以包括:配准、坏点校正、RAW域降噪、黑电平校正、镜头阴影校正、自动白平衡中的至少一项。
对配准、坏点校正、RAW域降噪、黑电平校正、镜头阴影校正、自动白平衡的描述,可以参考上述S120中的内容,在此不再赘述。
应理解,第一预处理可以包括上述一个或多个处理步骤,当第一预处理包括多个处理步骤时,该多个处理步骤的顺序可以需要进行调整,本申请实施例对此不进行任何限制。此外,第一预处理还可以包括其他步骤,具体可以需要进行增加,本申请实施例对此不进行任何限制。
S230、利用预融合模块对6帧第二图像对应的第一预处理图像进行融合,得到6帧第二图像对应的1帧预融合图像。
应理解,6帧第二图像对应的6帧第一预处理图像均位于RAW域,此时,对应的预融合模块相应包括RAW域的多帧融合模块,以实现RAW域的多帧融合功能。由此,经预融合模块处理所得到的预融合图像还是位于RAW域。
由于用户使用相机应用时,使用主摄摄像头1931以及主摄摄像头1931对应的第二变焦倍数范围的频次较高,概率较大,因此,为了提高图像的质量以及用户的体验,针对主摄摄像头1931获取的第二图像,需要在RAW域上进行处理,以保留更多的细节。
S240、对6帧第二图像对应的1帧预融合图像进行第三前端处理,得到对应的第三前端处理图像;对2帧第三图像进行第四前端处理,得到对应的第四前端处理图像。
其中,对第三前端处理、第四前端处理的描述可以参考上述S120中的内容,在此不再赘述。第三前端处理和第四前端处理,可以相同,也可以不同,本申请实施例对此不进行限制。
应理解,当第三前端处理包括去马赛克和色彩空间转换时,第二图像对应的预融合图像经过第三前端处理后,所对应的第三前端处理图像位于YUV域。当第三前端处理不包括去马赛克和色彩空间转换时,第二图像对应的预融合图像经过第三前端处理后,所对应的第三前端处理图像还是位于RAW域。
示例性的,本实施例中,第二图像对应的预融合图像位于RAW域,为了减少数据量,节省带宽,提高后续处理的速度,针对预融合图像进行的第三前端处理包括去马赛克和色彩空间转换,以使得预融合图像进行前端处理后,对应的第三前端处理图像位于YUV域。
应理解,对于第三图像,由于第三图像为灰阶图像(图中所示为Y图),因此,针对第三图像进行的第四前端处理不包括去马赛克和色彩空间转换。这样,第三图像进行前端处理后,对应的第四前端处理图像还是灰阶图像。
还应理解,本实施例中的第三前端处理、第四前端处理与上述实施例中的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S250、利用第三前端融合模块,对2帧第三图像对应的第四前端处理图像进行融合,得到2帧第三图像对应的第三前端融合图像。前端融合模块还包括:第三前端融合模块。
应理解,由于第三图像为灰阶图像,进行第四前端处理时,不会进行去马赛克和色彩空间转换,那么,第三图像经过第四前端处理后,所对应的第四前端处理图像还是灰阶图像。此时,对应的第三前端融合模块相应包括位于YUV域的多帧融合模块,以实现灰阶图像的多帧融合功能。由此,经第三前端融合模块处理所得的第三前端融合图像也为灰阶图像。
应理解,第三前端融合模块与第一前端融合模块、第二前端融合模块可以相同、也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
当然,第三前端融合模块还可以包括其他功能模块,具体可以参考上述S130中对第一前端融合模块或第二前端融合模块的描述,在此不再赘述。
在此基础上,当第三图像为多帧时,多帧第三图像可以包括长曝光的第三图像、短曝光的第三图像和中曝光的第三图像。
当多帧第三图像包括不同曝光程度的第三图像时,相应的,多帧第三图像对应的第四前端处理图像包括不同曝光程度的第四前端处理图像,基于此,第三前端融合模块将不同曝光程度的多帧第四前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第三前端融合图像的清晰度。
S260、对6帧第二图像对应的第三前端处理图像进行第三后端处理,得到对应的第三后端处理图像;对2帧第三图像对应的第三前端融合图像进行第四后端处理,得到对应的第四后端处理图像。
其中,对第三后端处理、第四后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第二图像对应的后端处理图像位于YUV域,第三图像对应的后端处理图像为灰阶图像。
还应理解,在本实施例中,第三后端处理与第四后端处理,可以相同,也可以不同;此外,本实施例中的第三后端处理和第四后端处理,与上述实施例中的后端处理,可以相同,也可以不同,具体可以根据需要进行设置,本申请实施例对此不进行任何限制。
S270、利用后端融合模块将第二图像对应的第三后端处理图像、第三图像对应的第四后端处理图像进行融合,得到后端融合图像,后端融合图像为拍摄图像。
由于第二图像为拜耳格式图像,第三图像为灰阶图像,两者色彩不同,经上述处理后,第二图像对应的第三后端处理图像和第三图像对应的第四后端处理图像依然存在颜色不同的问题,由此,可以利用后端融合模块进行融合处理。也就是说,后端融合模块可以包括黑白彩色融合模块,用于实现不同颜色的图像的融合。
基于此,第二图像对应的第三后端处理图像和第三图像对应的第四后端处理图像进行黑白彩色融合,得到后端融合图像,既保留了第二图像对应的颜色信息,又融合了第三图像对应的亮度信息,又因为第三图像相对于第二图像清晰度较高,所以融合后可以提升图像的质量,得到清晰度较高的后端融合图像。
当然,后端融合模块还可以包括其他功能模块,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
应理解,本实施例中的后端融合模块,与上述实施例中的后端融合模块,可以相同,也可以不相同,具体可以根据需进行设置,本申请实施例对此不进行任何限制。
应理解,得到的后端融合图像位于YUV域。后端融合图像将被作为拍摄图像进行在电子设备的界面上进行显示,或者,仅进行存储,具体可以根据需要进行传输,本申请实施例对此不进行任何限制。
在该实施例中,基于细节丰富度不同的第二图像和第三图像,经过上述一系列处理后,可以融合得到清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
实施例2b,一种拍摄方法,如图9中的(b)所示,该方法包括以下S1401至S1480。
接收用户的第一操作,确定出当前拍摄模式为拍照模式,待拍摄场景处于中高照度。
S1401、确定当前的变焦倍数属于第二变焦倍数范围,确定目标摄像头。
示例性的,假设当前变焦倍数为1.5,则当前变焦倍数属于第二变焦倍数范围[1,2)内,由此,可以确定目标摄像头为主摄摄像头1931和黑白摄像头1932,其中,黑白摄像头1932为辅助摄像头。
S1402、根据摄像头采集的预览图像,判断待拍摄场景是否为HDR场景。
其中,高动态范围图像(High-Dynamic Range,简称HDR),其为高动态范围的简称。HDR场景包括风景、强光和/或弱光下的场景。
应理解,当前取景窗口中的预览图像是主摄摄像头1931获取并发送给显示屏进行显示的。
示例性的,可以利用以下方式判断待拍摄场景是否为HDR场景。
例如,先根据预览图像中的每个像素对应的红绿蓝三基色像素值,计算得到每个像素对应的灰阶值,应理解,灰阶值用于表示每个像素对应的亮度情况。
若图像位深度为8bit,则像素对应灰阶值的取值范围为[0,255],由此,可以对预览图像中的像素对应的灰阶值进行统计,生成亮度直方图。其中,亮度直方图的横轴用于表示不同的灰阶值,纵轴用于表示每个灰阶值对应的次数。
然后,根据亮度直方图,可以确定出属于低灰阶范围的像素,例如灰阶值位于0~5范围中的像素在整个预览图像中的第一占比;还可以确定出属于高灰阶范围的像素,例如灰阶值位于245~255范围中的像素在整个预览图像中的第二占比。
基于此,根据第一占比和第二占比,可以判断暗区的像素和亮区的像素在整个预览图像中的占比,当该占比满足预设条件时,可以确定该预览图像对应的待拍摄场景为HDR场景。当该占比不满足预设条件时,则确定待拍摄场景不为HDR场景。
应理解,根据亮度直方图确定第一占比和第二占比时,低灰阶范围和高灰阶范围的取值可以根据需要进行设置和更改,上述仅为一种示例,本申请实施例对此不进行任何限制。
S1403、如果不是HDR场景,则利用主摄摄像头1931获取第二图像,利用黑白摄像头1932获取第三图像,然后,针对第二图像和第三图像执行上述实施例2a中的相关步骤,以获取拍摄图像。
S1404、如果是HDR场景,则执行以下S1410至S1480。
S1410、利用主摄摄像头1931获取9帧第二图像,利用黑白摄像头1932获取2帧第三图像。此处,主摄摄像头1931获取的9帧第二图像包括6帧中曝光的第二图像、1帧长曝光的第二图像和2帧短曝光的第二图像。
此处,第二图像的数量,第二图像中的中曝光、短曝光、长曝光的图像的数量,以及第三图像的数量均仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第二图像位于RAW域,第二图像为拜耳格式图像,黑白摄像头1932获取的第三图像为灰阶图像。
应理解,第二图像对应的视场角范围和第三图像对应的视场角范围基本一致,第三图像的相对于第二图像细节丰富度更高。
S1420、对6帧中曝光的第二图像进行第一预处理,得到6帧位于RAW域的第一预处理图像。
其中,第一预处理可以包括:配准、坏点校正、RAW域降噪、黑电平校正、镜头阴影校正、自动白平衡中的至少一项。
对配准、坏点校正、RAW域降噪、黑电平校正、镜头阴影校正、自动白平衡的描述,可以参考上述S120中的内容,在此不再赘述。
应理解,第一预处理可以包括上述一个或多个处理步骤,当第一预处理包括多个处理步骤时,该多个处理步骤的顺序可以需要进行调整,本申请实施例对此不进行任何限制。此外,第一预处理还可以包括其他步骤,具体可以需要进行增加,本申请实施例对此不进行任何限制。
S1430、利用预融合模块对6帧中曝光的第二图像对应的第一预处理图像进行融合,得到6帧第一预处理图像对应的1帧预融合图像。
应理解,6帧中曝光的第二图像对应的6帧第一预处理图像均位于RAW域,此时,对应的预融合模块相应包括RAW域的多帧融合模块,以实现RAW域的多帧融合功能。由此,经预融合模块处理所得到的预融合图像还是位于RAW域。
当然,预融合模块还可以包括其他功能的模块,本申请实施例对此不进行任何限制。本实施例中的预融合模块与上述实施例2a中的预融合模块可以相同,也可以不相同,具体可以根据需要进行设置,本申请实施例对此不进行任何限制。
应理解,由于用户使用相机应用时,使用主摄摄像头1931以及主摄摄像头1931对应的第二变焦倍数范围的频次较高,概率较大,因此,为了提高图像的质量以及用户的体验,针对主摄摄像头1931获取的长曝光的第二图像、中曝光的第二图像和短曝光的第二图像,在进行第一预处理和利用预融合模块进行融合处理时,需要在RAW域上进行处理,以保留更多的细节,提高后续图像的质量。上述在颜色空间RAW处理图像技术效果,对于其他实施例也同样适用,在此不再赘述。
S1440、对6帧中曝光的第二图像对应的1帧预融合图像进行第五前端处理,得到对应的1帧第五前端处理图像;对1帧长曝光的第二图像、2帧短曝光的第二图像进行第六前端处理,得到对应的3帧第六前端处理图像;以及,对2帧第三图像进行第七前端处理,得到对应的2帧第七前端处理图像。
其中,对第五前端处理、第六前端处理和第七前端处理的描述可以参考上述S120中的内容,在此不再赘述。
应理解,当对预融合图像进行的第五前端处理包括去马赛克时,对应得到的第五前端处理图像位于RGB域;当对预融合图像进行的第五前端处理包括去马赛克和色彩空间转换时,对应得到的前端处理图像位于YUV域;当对预融合图像进行的第五前端处理不包括去马赛克和色彩空间转换时,对应得到的第五前端处理图像位于RAW域。
同理,当对1帧长曝光的第二图像、2帧短曝光的第二图像进行的第六前端处理包括去马赛克时,对应得到的第六前端处理图像位于RGB域;当对1帧长曝光的第二图像、2帧短曝光的第二图像进行的第六前端处理包括去马赛克和色彩空间转换时,对应得到的前端处理图像位于YUV域;当对1帧长曝光的第二图像、2帧短曝光的第二图像进行的第六前端处理不包括去马赛克和色彩空间转换时,对应得到的第六前端处理图像位于RAW域。
示例性的,本申请提供的实施例2b中,对预融合图像进行的第五前端处理、对长曝光的第二图像、短曝光的第二图像进行的进行第六前端处理均包括去马赛克,由此,对应得到的第五前端处理图像和第六前端处理图像均位于RGB域,为彩色图像。
此外,对于第三图像,由于第三图像为灰阶图像(图中所示为Y图),因此,对第三图像进行的第七前端处理不包括去马赛克和色彩空间转换。这样,第三图像进行第七前端处理后,对应的第七前端处理图像还是灰阶图像。
还应理解,在本实施例中,第五前端处理、第六前端处理和第七前端处理中除了去马赛克和色彩空间转换以外的其他处理步骤可以相同,也可以不同,本申请实施例对此不进行任何限制。此外,本实施例中第五前端处理、第六前端处理和第七前端处理与上述实施例中的前端处理所包括的内容,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S1450、利用中间融合模块,对预融合图像对应的第五前端处理图像、长曝光的第二图像、短曝光的第二图像对应的第六前端处理图像进行融合,得到1帧中间融合图像。
应理解,当对预融合模块进行的第五前端处理,以及对长曝光的第二图像、短曝光的第二图像进行的第六前端处理均包括去马赛克时,得到的预融合图像对应的第五前端处理图像位于RGB域,得到的长曝光的第二图像、短曝光的第二图像对应的第六前端处理图像也位于RGB域。此时,中间融合模块相应包括位于RGB域的多帧融合模块,以实现不同曝光程度的彩色图像的多帧融合。由此,经中间融合模块处理所得的中间融合图像也位于RGB域,为彩色图像。
当对预融合模块进行的第五前端处理,以及对长曝光的第二图像、短曝光的第二图像进行的第六前端处理均包括去马赛克和色彩空间转换时,得到的预融合图像对应的第五前端处理图像位于YUV域,得到的长曝光的第二图像、短曝光的第二图像对应的第六前端处理图像也位于YUV域。此时,中间融合模块相应包括位于YUV域的多帧融合模块,以实现不同曝光程度的位于YUV域的图像的多帧融合。由此,经中间融合模块处理所得的中间融合图像也位于YUV域。
当对预融合模块进行的第五前端处理,以及对长曝光的第二图像、短曝光的第二图像进行的第六前端处理均不包括去马赛克和色彩空间转换时,得到的预融合图像对应的第五前端处理图像位于RAW域,得到的长曝光的第二图像、短曝光的第二图像对应的第六前端处理图像也位于RAW域。此时,中间融合模块相应包括位于RAW域的多帧融合模块,以实现不同曝光程度的位于RAW域的图像的多帧融合。由此,经中间融合模块处理所得的中间融合图像也位于RAW域。
示例性的,在本实施例中,第五前端处理、第六前端处理和第七前端处理图像均包括去马赛克,对应得到的第五前端处理图像、第六前端处理图像和第七前端处理图像均位于RGB域,为彩色图像,相应的,中间融合模块包括位于RGB域的多帧融合模块,由此,利用中间融合模块,得到的中间融合图像也位于RGB域。
当然,中间融合模块还可以包括其他功能模块,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S1460、利用第三前端融合模块,对2帧第三图像对应的第七前端处理图像进行融合,得到对应的1帧第三前端融合图像。
其中,对第三前端融合模块的描述,可以参考上述S250的内容,在此不再赘述。
S1470、对中间融合图像进行第五后端处理,得到对应的第五后端处理图像、对第三前端融合图像进行第六后端处理,得到对应的第六后端处理图像。
其中,对第五后端处理、第六后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第三前端融合图像为灰阶图像,对应的后端处理图像也为灰阶图像。
应理解,当中间融合图像位于RGB域时,对中间融合图像进行的第五后端处理需包括色彩空间转换,以使得对应得到的第五后端处理图像位于YUV域;当中间融合图像位于YUV域时,对中间融合图像进行的第五后端处理则不需要包括色彩空间转换;当中间融合图像位于RAW域时,对中间融合图像进行的第五后端处理则需要包括去马赛克和色彩空间转换。
示例性的,在本实施例中,由于中间融合图像位于RGB域,因此,对中间融合图像进行的第五后端处理需包括色彩空间转换,以使得对应得到的第五后端处理图像位于YUV域,与第三前端融合图像对应的第六后端处理图像格式一致,从而便于后续进行融合处理。
还应理解,在本实施例中,第五后端处理和第六后端处理中除了去马赛克和色彩空间转换以外的其他处理步骤可以相同,也可以不同,本申请实施例对此不进行任何限制。此外,本实施例中的第五后端处理、第六后端处理与上述实施例中的后端处理所包括的内容,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S1480、利用后端融合模块将第二图像对应的第五后端处理图像、第三图像对应的第六后端处理图像进行融合,得到后端融合图像,后端融合图像为拍摄图像。
由于第二图像为拜耳格式图像,第三图像为灰阶图像,两者色彩不同,经上述处理后,第二图像对应的第五后端处理图像和第三图像对应的第六后端处理图像依然存在颜色不同的问题,由此,可以利用后端融合模块进行融合处理。也就是说,后端融合模块可以包括黑白彩色融合模块,用于实现不同颜色的图像的融合。
基于此,第二图像对应的第五后端处理图像和第三图像对应的第六后端处理图像进行黑白彩色融合,得到后端融合图像,既保留了第二图像对应的颜色信息,又融合了第三图像对应的亮度信息,又因为第三图像相对于第二图像清晰度较高,所以融合后可以提升图像的质量,得到清晰度较高的后端融合图像。
当然,后端融合模块还可以包括其他功能模块,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
应理解,后端融合图像位于YUV域。后端融合图像将被作为拍摄图像进行在电子设备的界面上进行显示,或者,仅进行存储,具体可以根据需要进行传输,本申请实施例对此不进行任何限制。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
实施例3,一种拍摄方法,如图10所示,该方法包括以下S310至S350。
接收用户的第一操作,确定出当前拍摄模式为拍照模式,待拍摄场景处于中高照度。
S310、确定当前的变焦倍数属于第三变焦倍数范围,确定目标摄像头。
示例性的,假设当前变焦倍数为2.6倍,则当前变焦倍数属于第三变焦倍数范围[2,3.x)内,由此,可以确定目标摄像头为主摄摄像头1931和长焦摄像头1934,其中,长焦摄像头1934为辅助摄像头。示例性的,利用主摄摄像头1931获取3帧第二图像,利用长焦摄像头1934获取3帧第四图像。
此处,第二图像、第四图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第二图像和第四图像均位于RAW域,且均为拜耳格式图像。第二图像对应的视场角范围大于第四图像对应的视场角图像范围,第四图像的清晰度高于第二图像的清晰度。
S320、对3帧第二图像进行第八前端处理,得到对应的3帧第八前端处理图像;对3帧第四图像进行第九前端处理,得到对应的3帧第九前端处理图像。
其中,对第八前端处理、第九前端处理的描述可以参考上述S120中的内容,在此不再赘述。
应理解,当第八前端处理包括去马赛克和色彩空间转换时,第二图像经过第八前端处理后,所对应的第八前端处理图像位于YUV域。第四图像经过第九前端处理后,所对应的第九前端处理图像也位于YUV域。当第八前端处理不包括去马赛克和色彩空间转换时,第二图像经过第八前端处理后,所对应的第八前端处理图像还是位于RAW域。第四图像经过第九前端处理后,所对应的第九前端处理图像还是位于RAW域。
示例性的,本申请提供的实施例3中,为了减小数据量,节省带宽,第八前端处理和第九前端处理包括去马赛克和色彩空间转换,以使得第二图像进行第八前端处理后、第三图像进行第九前端处理后,对应的第八前端处理图像和第九前端处理图像位于YUV域。
还应理解,在本实施例中,第八前端处理和第九前端处理,可以相同,也可以不相同,本申请实施例对不进行任何限制。本实施例提供的第八前端处理和第九前端处理,与上述实施例中的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S330、利用第二前端融合模块将3帧第二图像对应的3帧前端处理图像进行融合,得到对应的第二前端融合图像;利用第四前端融合模块将3帧第四图像对应的3帧前端处理图像进行融合,得到对应的第四前端融合图像。前端融合模块还包括:第四前端融合模块。
应理解,当第八前端处理包括去马赛克和色彩空间转换时,第二图像经过第八前端处理后,所对应的第八前端处理图像位于YUV域。第四图像经过第九前端处理后,所对应的第九前端处理图像也位于YUV域。此时,第二前端融合模块和第四前端融合模块相应包括YUV域的多帧融合模块,以实现YUV域的多帧融合功能。由此,经第二前端融合模块处理所得到的第二前端融合图像位于YUV域,经第四前端融合模块处理所得到的第四前端融合图像也位于YUV域。
应理解,当第八前端处理不包括去马赛克和色彩空间转换时,第二图像经过第八前端处理后,所对应的第八前端处理图像还是位于RAW域。第四图像经过第九前端处理后,所对应的第九前端处理图像还是位于RAW域。此时,第二前端融合模块、第四前端融合模块相应包括RAW域的多帧融合模块,以实现RAW域的多帧融合功能。由此,经第二前端融合模块处理所得到的第二前端融合图像位于RAW域,经第四前端融合模块处理所得第四前端融合图像也位于RAW域。
当然,第二前端融合模块、第四前端融合模块还可以包括其他功能模块,具体可以参考上述S130中对第一前端融合模块或第二前端融合模块的描述,在此不再赘述。
在此基础上,多帧第二图像可以包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像;多帧第四图像可以包括长曝光的第四图像、短曝光的第四图像和中曝光的第四图像。
当多帧第二图像包括不同曝光程度的第二图像,多帧第四图像包括不同曝光程度的第四图像时,相应的,多帧第二图像对应的第八前端处理图像包括不同曝光程度的第八前端处理图像,多帧第四图像对应的第九前端处理图像包括不同曝光程度的第九前端处理图像,基于此,第二前端融合模块将不同曝光程度的多帧第八前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第二前端融合图像的清晰度。同理,第四前端融合模块将不同曝光程度的多帧第九前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第九前端融合图像的清晰度。
还应理解,本实施例中的第二前端融合模块和第四前端融合模块可以相同,也可以不相同;第二前端融合模块、第四前端融合模块与上述实施例中的第一前端融合模块、第二前端融合模块、第三前端融合模块可以相同,也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S340、对3帧第二图像对应的第二前端融合图像进行第七后端处理,得到对应的第七后端处理图像。对3帧第四图像对应的第四前端融合图像进行第八后端处理,得到对应的第八后端处理图像。
其中,对第七后端处理和第八后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第二图像对应的第七后端处理图像、第四图像对应的第八后端处理图像均位于YUV域。
还应理解,在本实施例中,第七后端处理与第八后端处理,可以相同,也可以不同;此外,本实施例中的第七后端处理与第八后端处理,与上述实施例中的后端处理,可以相同,也可以不同,具体可以根据需进行设置,本申请实施例对此不进行任何限制。
S350、利用后端融合模块将第二图像对应的第七后端处理图像、第四图像对应的第八后端处理图像进行融合,得到后端融合图像,后端融合图像为拍摄图像。
由于第二图像对应的视场角范围和第四图像对应的视场角范围不同,经上述处理后的第七后端处理图像和第八后端处理图像之间依然存在视场角范围不同的问题,由此,可以利用后端融合模块进行融合处理。也就是说,后端融合模块可以包括视场角融合模块,用于实现对应不同视场角范围的图像的融合。
基于此,第二图像对应的第七后端处理图像和第四图像对应的第八后端处理图像进行融合时,第二图像与其对应的第七后端处理图像的视场角范围相同,第四图像与其对应的第八后端处理图像的视场角范围相同,融合后的后端融合图像对应的视场角范围与第二图像对应的视场角范围相同。假设主摄摄像头1931和长焦摄像头1934的视场角中心点一致,又因为第四图像的清晰度较高,相应的,第四图像对应的第八后端处理图像的清晰度较高,由此,将第二图像对应的第七后端处理图像与第四图像对应的第八后端处理图像进行融合之后,将会提升第二图像对应的第七后端处理图像中,与第四图像对应的第八后端处理图像的视场角范围相同的区域内的清晰度,使得图像清晰度提高。
当然,后端融合模块还可以包括其他功能模块,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
应理解,本实施例中的后端融合模块,与上述实施例中的后端融合模块,可以相同,也可以不相同,具体可以根据需进行设置,本申请实施例对此不进行任何限制。
应理解,得到的后端融合图像位于YUV域。后端融合图像将被作为拍摄图像进行在电子设备的界面上进行显示,或者,仅进行存储,具体可以根据需要进行传输,本申请实施例对此不进行任何限制。
在该实施例中,基于视场角大小不同、清晰度不同的第二图像和第四图像,经过上述一系列处理后,可以融合得到清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
实施例4,一种拍摄方法,如图11所示,该方法包括以下S410至S440。
接收用户的第一操作,确定出当前拍摄模式为拍照模式,待拍摄场景处于中高照度。
S410、确定当前的变焦倍数属于第四变焦倍数范围,确定目标摄像头。
示例性的,假设当前变焦倍数为20,则当前变焦倍数属于第四变焦倍数范围[3.x,100]内,确定目标摄像头为长焦摄像头。示例性的,利用长焦摄像头获取3帧第四图像。
应理解,变焦倍数比较大时,其他摄像头的清晰度均下降,因此,仅设置长焦摄像头为第四变焦倍数范围对应的目标摄像头。
此处,第四图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第四图像位于RAW域,且为拜耳格式图像。
S420、对3帧第四图像进行前端处理,得到对应的3帧前端处理图像。
其中,对前端处理的描述可以参考上述S120中的内容,在此不再赘述。
应理解,当前端处理包括去马赛克和色彩空间转换时,第四图像经过前端处理后,所对应的前端处理图像位于YUV域。当前端处理不包括去马赛克和色彩空间转换时,第二图像经过前端处理后,所对应的前端处理图像还是位于RAW域。
示例性的,本申请提供的实施例4中的前端处理包括去马赛克和色彩空间转换,可使得后续处理中的图像位于YUV域,减小数据量,节省带宽。
应理解,本实施例提供的前端处理,与上述实施例提供的前端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S430、利用第四前端融合模块将3帧第四图像对应的3帧前端处理图像进行融合,得到3帧第四图像对应的第四前端融合图像。前端融合模块还包括:第四前端融合模块。
应理解,当前端处理包括去马赛克和色彩空间转换时,第四图像经过前端处理后,所对应的前端处理图像位于YUV域。此时,第四前端融合模块相应包括YUV域的多帧融合模块,以实现YUV域的多帧融合功能,由此,经第四前端融合模块处理所得到的第四前端融合图像也位于YUV域。
当前端处理不包括去马赛克和色彩空间转换时,第二图像经过前端处理后,所对应的前端处理图像还是位于RAW域。此时,第四前端融合模块相应包括RAW域的多帧融合模块,以实现RAW域的多帧融合功能。由此,经第四前端融合模块处理所得到的第四前端融合图像位于RAW域。
当然,第四前端融合模块还可以包括其他功能模块,具体可以参考上述S130中对第一前端融合模块或第二前端融合模块的描述,在此不再赘述。
在此基础上,多帧第四图像可以包括长曝光的第四图像、短曝光的第四图像和中曝光的第四图像。
当多帧第四图像包括不同曝光程度的第四图像时,相应的,多帧第四图像对应的前端处理图像包括不同曝光程度的前端处理图像,基于此,第四前端融合模块将不同曝光程度的多帧前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第四前端融合图像的清晰度。
还应理解,本实施例中的第四前端融合模块,与上述实施例中的第一前端融合模块、第二前端融合模块、第三前端融合模块、或第四前端融合模块可以相同,也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S440、对第四图像对应的第四前端融合图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
其中,对后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第四图像对应的后端处理图像位于YUV域。
应理解,本实施例提供的后端处理,与上述实施例中提供的后端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
在该实现方式中,基于多帧第四图像,经过上述一系列处理后,可以融合得到清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
实施例5,一种拍摄方法,如图12所示,该方法包括以下S510至S540。
接收用户的第一操作,确定出当前拍摄模式为拍照模式,待拍摄场景的照度小于预设照度阈值,也就是说,待拍摄场景处于低照度。
S510、确定当前的变焦倍数属于的变焦倍数范围,确定目标摄像头。
示例性的,假设当前变焦倍数为0.5倍,则当前变焦倍数属于第一变焦倍数范围[0.5,1)内,在低照度下,目标摄像头为广角摄像头1933。示例性的,利用广角摄像头1933获取5帧第一图像。
此外,若当前变焦倍数为2.6倍,则当前变焦倍数属于第三变焦倍数范围[2,3.x)内,在低照度下,目标摄像头为主摄摄像头1931。示例性的,利用主摄摄像头1931获取5帧第二图像。
若当前变焦倍数为20,则当前变焦倍数属于第四变焦倍数范围[3.x,100]内,在低照度下,目标摄像头为长焦摄像头。示例性的,利用长焦摄像头获取5帧第四图像。
此处,第一图像、第二图像和第四图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第一图像、第二图像和第四图像均位于RAW域,且为拜耳格式图像。
S520、对5帧第一图像、5帧第二图像或5帧第四图像进行第二预处理,得到对应的位于RAW域的第二预处理图像。
上述S520也可以表述为:对5帧第一图像进行第二预处理,得到对应的位于RAW域的第二预处理图像;对5帧第二图像进行第二预处理,得到对应的位于RAW域的第二预处理图像;对5帧第四图像进行第二预处理,得到对应的位于RAW域的第二预处理图像。
其中,本实施例提供的第二预处理包括夜景算法模块,例如,该夜景算法模块基于Unet网络模型生成,可以将RAW域的多帧第一图像、多帧第二图像或者多帧第四图像融合成对应的1帧位于RAW域的第二预处理图像。
示例性的,图13示出了本申请实施例提供的一种夜景算法模块的结构示意图。如图13所示,本实施例提供的夜景算法模块包括:大型残差块(super resblock)、下采样块(split)、上采样块(subpixel)、拼接层(contact layer)以及卷积层(Conv)。
图14示出了一种大型残差块的结构示意图。如图14所示,每个大型残差块包括多个卷积层,不同卷积层的输入和输出进行叠加,然后将最后叠加的输出作为大型残差块的输出结果。
结合图3所示,例如,将长焦摄像头1934采集的5帧第一图像从左侧输入第一行第一个大型残差块进行处理,提取图像信息;再输入下采样块中进行处理,将1个通道信息按照隔行隔列的方式拆分成4个通道,以获取更多局部图像信息,再输入第二行第一个大型残差块进行处;再输入下采样块和大型残差块进行处理,以使得处理结果满足图像编码需求。
接着,将第三行第二个大型残差块的处理结果输入上采样块中进行处理,将4个通道信息按照隔行隔列的方式组成成1个通道,从而可以增大尺寸,提高图像分辨率;利用拼接层将第三行的上采样块的输出与第二行第一个大型残差块的输出进行特征拼接,再输入第二行第二个大型残差块进行处理。
然后,将第二行第二个大型残差块的处理结果继续输入上采样块中进行处理;利用拼接层将第二行的上采样块的输出与第一行第一个大型残差块的输出进行特征拼接;再输入第一行第二个大型残差块进行处理。最后,再输入多个卷积层进行卷积处理,从而得到5帧第一图像对应的1帧第二预处理图像。
S530、对5帧第一图像、5帧第二图像或5帧第四图像对应的第二预处理图像进行前端处理,得到对应的前端处理图像。
其中,对前端处理的描述可以参考上述S120中的内容,在此不再赘述。
示例性的,本实施例中,为了减小数据量,节省带宽,前端处理包括去马赛克和色彩空间转换,以使得第一图像、第二图像或第四图像对应的位于RAW域的第二预处理图像进行前端处理后,得到的前端处理图像位于YUV域。
还应理解,本实施例提供的前端处理,与上述实施例中的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S540、对5帧第一图像、5帧第二图像或5帧第四图像对应的前端处理图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
其中,对后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第一图像、第二图像或第四图像对应的后端处理图像均位于YUV域。
应理解,本实施例提供的后端处理,与上述实施例中提供的后端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
在该实施例中,在低照度场景下,基于多帧第一图像、第二图像或第四图像,利用网络模型进行多帧融合处理,以及上述其他处理,可以融合得到清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
实施例6,一种拍摄方法,如图15所示,该方法包括以下S610至S640。
S610、确定当前的变焦倍数属于的变焦倍数范围,确定目标摄像头。
示例性的,接收用户的第一操作,确定出当前拍摄模式为录像模式。当前拍摄模式为录像模式,先确定当前变焦倍数。假设当前变焦倍数为0.5倍,则当前变焦倍数属于第一变焦倍数范围[0.5,1)内,目标摄像头为广角摄像头1933。示例性的,利用广角摄像头1933获取3帧第一图像。
此外,若当前变焦倍数为2.6倍,则当前变焦倍数属于第三变焦倍数范围[2,3.x)内,在低照度下,目标摄像头为主摄摄像头1931。示例性的,利用主摄摄像头1931获取3帧第二图像。
若当前变焦倍数为20,则当前变焦倍数属于第四变焦倍数范围[3.x,100]内,在低照度下,目标摄像头为长焦摄像头。示例性的,利用长焦摄像头获取3帧第四图像。
此处,第一图像、第二图像和第四图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第一图像、第二图像和第四图像均位于RAW域,且为拜耳格式图像。
S620、对3帧第一图像、3帧第二图像或3帧第四图像进行第三预处理,得到对应的位于RAW域的第三预处理图像。
上述S620也可以表述为:对3帧第一图像进行第三预处理,得到对应的位于RAW域的第三预处理图像;对3帧第二图像进行第三预处理,得到对应的位于RAW域的第三预处理图像;对3帧第四图像进行第三预处理,得到对应的位于RAW域的第三预处理图像。
该3帧第一图像包括长曝光的第一图像、短曝光的第一图像和中曝光的第一图像;3帧第二图像包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像;3帧第四图像包括长曝光的第四图像、短曝光的第四图像和中曝光的第四图像。
其中,本申请实施例提供的第三预处理包括HDR算法模块,例如,该HDR算法模块基于长短曝光融合处理和色调映射模型(tone mapping),可以将多帧曝光程度不同的第一图像、第二图像或第四图像融合成1帧位于RAW域的第三预处理图像。
示例性的,图16示出了本申请实施例提供的一种利用HDR算法模块得到第三预处理图像的流程示意图。图17示出了图16中的长曝光的第一图像、短曝光的第一图像和第三预处理图像。
如图16和图17所示,例如,针对包括长曝光的第一图像(如图17中的(a)所示)、短曝光的第一图像(如图17中的(b)所示)和中曝光的第一图像的3帧第一图像,可以先将中曝光的第一图像与长曝光的第一图像进行融合,得到第一中间融合图像,再将中间融合图像与短曝光的第二图像进行融合,得到第二中间融合图像。其中,在与长曝光的第一图像进行融合之前,可以先对长曝光的第一图像进行配准;在与短曝光的第二图像进行融合之前,可以先对短曝光的第一图像进行提亮和配准。然后,将融合后的第二中间融合图像输入色调映射模型中,以对第二中间融合图像的颜色进行映射变换处理,由此,得到第三预处理图像(如图17中的(c)所示)。
可选地,色调映射模型可以为Unet网络模型、Resnet网络模型和Hdrnet网络模型中的任意一种。当然,色调映射模型也可以为其他模型,本申请实施例对此不进行任何限制。
在本实施例中,将中曝光的第一图像与长曝光的第一图像进行融合,可以提升中曝光的第一图像中曝光不够的暗处区域的细节,而与短曝光的第一图像进行融合,可以提升中曝光的第一图像中亮处区域的细节。因此,对中曝光的第一图像进行长短曝光融合处理,可以同时提升中曝光的第一图像中暗处区域和亮处区域的细节,提升动态范围,从而实现提升图像的清晰度的目的。
S630、对第三预处理图像进行前端处理,得到对应的前端处理图像。
其中,对前端处理的描述可以参考上述S120中的内容,在此不再赘述。
示例性的,本实施例中,为了减小数据量,节省带宽,前端处理包括去马赛克和色彩空间转换,以使得第一图像、第二图像或第四图像对应的位于RAW域的第三预处理图像进行前端处理后,得到的前端处理图像位于YUV域。
还应理解,本实施例提供的前端处理,与上述实施例中的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S640、对前端处理图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
其中,对后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第一图像、第二图像或第四图像对应的后端处理图像位于YUV域。
应理解,本实施例提供的后端处理,与上述实施例中提供的后端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
在该实施例中,在录像模式下,基于多帧第一图像、第二图像或第四图像,利用HDR算法模块,进行多帧不同曝光的图像的融合处理,以及上述其他处理,可以融合得到清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
上述通过实施例1至6,对本申请提供的拍照模式、录像模式下的拍摄方法进行了详细介绍。电子设备100可以单独选择一种进行使用,也可以多个配合使用,具体可以根据需要进行设置和调节,本申请实施例对此不进行任何限制。
结合上述内容,一般用户在利用拍照模式进行拍照之前,也就是进行拍照预览时,或者利用录像模式进行录像之前,也就是进行录像预览时,通常还会先进行变焦(即调整好焦距),然后再进行拍摄。此外,在录像过程中也有可能会进行变焦。
由于单个摄像头的变焦距离始终有限,为了提高电子设备的变焦倍数覆盖范围,所以,本申请提供了包括多个摄像头(多摄)的电子设备,多个摄像头包括:广角摄像头1933、主摄摄像头1931、黑白摄像头1932和长焦摄像头1934。每个摄像头对应一定范围的变焦倍数。由此,在进行变焦时,例如,从变焦倍数范围a切换至另一个变焦倍数范围b时,电子设备可以控制摄像头从变焦倍数范围a对应的摄像头A切换至变焦倍数范围b对应的摄像头B,实现接力变焦,使得电子设备的变焦倍数整体覆盖范围更广。
但是,从摄像头A切换至摄像头B时,伴随着摄像头A关闭,摄像头B启动,由于两个摄像头之间存在光轴偏移和视场角角度差异等问题,两者之间直接切换可能会导致拍照预览图像、录像预览图像或者录像画面的画面中心和视场角大小出现突变、跳动,以及卡顿等问题,影响用户体验。
有鉴于此,本申请实施例提供了一种多摄变焦方法(spatial alignmenttransform,SAT),不仅能实现接力变焦,还通过在变焦切换至目标变焦倍数范围之前,提前启动并在后台运行该目标变焦倍数范围所对应的摄像头,使得在变焦切换之时,该摄像头仅需从后台运行状态转换成前台送显状态,变化较小,切换更加平滑。本实施例可以配合前面的任一实施例或者多个任一实施例的结合进行。
下面对本申请实施例提供的多摄变焦方法进行介绍。
本申请实施例提供了一种多摄变焦方法,应用于包括多个摄像头的电子设备100,该多个摄像头包括:广角摄像头1933、主摄摄像头1931、黑白摄像头1932和长焦摄像头1934。
应理解,每个摄像头自身适用于一定范围的变焦倍数,每个摄像头对应的变焦倍数范围可以不同,也可有所重叠,具体可以根据需要进行选择,本申请实施例对此不进行任何限制。
结合上述多个摄像头,本申请实施例提供的多摄变焦方法,包括:
在进行拍照预览、录像预览或录像时,当第N变焦倍数范围对应的第一目标摄像头与第N+1变焦倍数范围对应的第一目标摄像头不同时,从第N变焦倍数范围向第N+1变焦倍数范围变焦时,第N变焦倍数范围对应的第一目标摄像头由前台送显状态转换成关闭状态或后台运行状态,而第N+1变焦倍数范围对应的第二目标摄像头由后台运行状态转换成前台送显状态。N为正整数。
当第N变焦倍数范围对应的第一目标摄像头与第N+1变焦倍数范围对应的第一目标摄像头相同时,从第N变焦倍数范围向第N+1变焦倍数范围变焦时,第N变焦倍数范围对应的第一目标摄像头维持前台送显状态。
其中,每个变焦倍数范围对应一个第一目标摄像头,该第一目标摄像头为广角摄像头1933、主摄摄像头1931、黑白摄像头1932和长焦摄像头1934中的一个。
应理解,前台送显状态表明摄像头采集图像且采集的图像用于显示,后台运行状态表明摄像头采集图像但采集的图像不用于显示,例如,仅存储起来进行备用。关闭状态表明摄像头不采集图像。其中,处于后台运行状态的摄像头也可以称为所对应变焦倍数范围的辅助摄像头。
应理解,每个变焦倍数范围对应的第一目标摄像头即为在该变焦倍数范围可适用的摄像头中的一个。多个变焦倍数范围对应的第一目标摄像头可以相同,也可以不同,具体根据划分的变焦倍数范围和摄像头自身的变焦倍数范围来设定对应关系,本申请实施例对此不进行任何限制。
应理解,第N变焦倍数范围对应的第一目标摄像头自身适用的变焦倍数范围要大于或者等于第N变焦倍数范围,这样才能在切换后由前台送显状态切换成后台运行状态继续使用或者切换成关闭状态。而第N+1变焦倍数范围对应的第一目标摄像头自身适用的变焦倍数范围要大于第N+1变焦倍数范围,这样才能在未切换至第N+1变焦倍数范围时就开始后台运行。
应理解,当在某一变焦倍数范围内变焦,没有超出该变焦倍数范围时,该变焦倍数范围对应的第一目标摄像头一直处于前台送显状态,不会发生切换,也就是说,第一目标摄像头在采集图像并传输至取景窗口60进行显示。
应理解,在变焦时,第N+1变焦倍数范围对应的第一目标摄像头由后台运行状态转换成前台送显状态,说明在第N变焦倍数范围内变焦,没有到变焦切换点时,第N+1变焦倍数范围对应的第一目标摄像头已经被调用在后台运行。至于调用的时机,也就是在第N变焦倍数范围内变焦到多少倍数时调用第N+1变焦倍数范围对应的第一目标摄像头,可以根据需要以及摄像头适用的范围进行设置和更改,本申请实施例对此不进行限制。
可选地,作为一种可能实现的方式,在拍照预览、录像或录像预览过程中进行变焦时,确定当前变焦倍数。假设从小到大变焦,当当前变焦倍数属于第N变焦倍数范围时,在变焦至第N变焦倍数范围的最小变焦倍数时,确定第N变焦倍数范围对应的第一目标摄像头与第N+1变焦倍数范围对应的第一目标摄像头是否相同,若不相同,就在第N变焦倍数范围的最小变焦倍数处,开始调用第N+1变焦倍数范围对应的第一目标摄像头进行后台运行;或者,在变焦至第N变焦倍数范围中的预设变焦倍数时,开始调用第N+1变焦倍数范围对应的第一目标摄像头进行后台运行。
应理解,预设变焦倍数可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
可选地,作为一种可能实现的方式,在拍照预览、录像或录像预览过程中进行变焦时,先确定当前变焦倍数,再根据当前变焦倍数确定当前变焦倍数所属当前变焦倍数范围,例如为第m变焦倍数范围;然后,分别确定当前变焦倍数范围的最大值、最小值,以及确定最大值与当前变焦倍数的差值的绝对值,为第一差值;确定最小值与当前变焦倍数的差值的绝对值,为第二差值。
若第一差值小于第二差值,说明当前变焦倍数接近当前变焦倍数范围的最大值,由此,可以设定切换条件为:在计算出第一差值小于第二差值时,确定当前变焦倍数范围与第m+1变焦倍数范围对应的第一目标摄像头是否相同,若不同,则启动第m+1变焦倍数范围所对应的第一目标摄像头进行后台运行;若第一差值大于第二差值,说明当前变焦倍数接近当前变焦倍数范围的最小值,由此,可以设定切换条件为:在计算出第一差值大于第二差值时,确定当前变焦倍数范围对应的第一目标摄像头与第m-1变焦倍数范围对应的第一目标摄像头是否相同,若不同,则启动第m-1变焦倍数范围对应的第一目标摄像头进行后台运行。
应理解,从第N变焦倍数范围向第N+1变焦倍数范围变焦时,在第N变焦倍数范围中变焦开始调用第N+1变焦倍数范围对应的第一目标摄像头启动,进行后台运行时,可以将第N+1变焦倍数范围对应的第一目标摄像头与第N变焦倍数范围对应的第一目标摄像头进行同步处理。例如,将两个摄像头的亮度信息、颜色信息、对焦点、视场中心等都保持一致。这样,在变焦至第N+1变焦倍数范围时,预览图像将不会出现突变、跳动等问题,切换的更加平滑流畅,让用户几乎感知不到变化,从而有效提高用户体验。
示例性的,图18示出了多摄变焦切换时的视场角变化示意图。
如图18所示,当从小到大变焦,在第n变焦倍数范围内变焦时,第n变焦倍数范围对应的摄像头Cn启动,随着变焦倍数增大,视场角范围逐渐缩小。例如,摄像头Cn的视场角范围从图中所示的区域a逐渐缩小。
在从第n变焦倍数范围向第n+1变焦倍数范围变焦时,当达到第一变焦切换点,也就是,在缩小到第一变焦切换点对应的视场角范围(如图中所示的区域c)时,需要将摄像头Cn切换成第n+1变焦倍数范围对应的摄像头Cn+1。但是,若摄像头Cn+1的最小变焦倍数为第一变焦切换点处的倍数,摄像头Cn+1对应的最小视场角范围即为区域c,此时,当摄像头Cn的视场角范围从区域a缩小至区域c时,若直接切换成对应区域c的摄像头Cn+1,切换比较困难,而且两个摄像头之间可能存在光轴偏移和视场角角度差异等问题,导致画面中心和视场角大小出现突变、跳动等问题,影响用户体验。
由此,本申请提供了变焦倍数范围覆盖更大的摄像头Cn+1,其对应的最大视场角范围例如为图中的区域b,这样,在从第n变焦倍数范围向第n+1变焦倍数范围变焦时,在达到第一变焦切换点之前,启动并在后台运行摄像头Cn+1,使得摄像头Cn+1对应的视场角范围从区域b逐渐缩小。
这样,在变焦过程中,在未缩小到区域c时,就将摄像头Cn和摄像头Cn+1进行同步处理,使两者各项参数保持一致,然后,在达到区域c时,摄像头Cn+1从后台运行状态转换成前台送显状态,由此,通过摄像头Cn+1提前准备,和摄像头Cn同时缩小到区域c,可以使得在达到区域c时切换的更加平滑流畅,让用户几乎感知不到变化,从而有效提高用户体验。
同理,继续增大变焦倍数,在从第n+1变焦倍速范围向第n+2变焦倍数范围变焦时,当达到第二变焦切换点,也就是,在缩小到第二变焦切换点对应的视场角范围(如图中所示的区域d)时,需要将摄像头Cn+1切换成第n+1变焦倍数范围对应的摄像头Cn+2。
为了提高用户体验,本申请提供了变焦覆盖范围更大的摄像头Cn+2,其对应的最大视场角范围例如为图中的区域d,这样,在从第n+1变焦倍数范围向第n+2变焦倍数范围变焦时,在达到第二变焦切换点之前,启动并在后台运行摄像头Cn+2,使得摄像头Cn+2对应的视场角范围从区域d逐渐缩小。
这样,在变焦过程中,在未缩小到区域e时,就将摄像头Cn+1和摄像头Cn+2进行同步处理,使两者各项参数保持一致,然后,在达到区域d时,摄像头Cn+2从后台运行状态转换成前台送显状态。由此,通过摄像头Cn+2提前准备,和摄像头Cn+1同时缩小到区域d,可以使得在达到区域d时切换的更加平滑流畅,让用户几乎感知不到变化,从而有效提高用户体验。
如果变焦过程包含更多的变焦切换点,则摄像头的切换均如上述所述进行提前启动并后台运行,从而实现接力变焦,使得电子设备的变焦倍数整体覆盖范围更广,切换更加平滑流畅。
还应理解,根据上述实施例1至5的描述可知,本申请实施例提供的拍摄方法,在触发拍照模式时,针对不同的变焦倍数范围,需要调用1个摄像头或两个摄像头获取原始图像。通常电子设备使用的是一个变焦倍数范围划分方式,也就是说,拍照模式和拍照预览对应的变焦倍数范围划分方式相同。基于此,当在拍照模式下,当前变焦倍数属于某一变焦倍数范围,需要对应的1个摄像头获取图像时,该摄像头即为拍照预览时获取图像的第一目标摄像头。而需要对应的两个摄像头获取图像时,为了更快速的调用两个摄像头,本申请将1个摄像头在拍照预览时,作为第一目标摄像头,使其处于前台送显状态,而另1个摄像头在拍照预览时,则作为辅助摄像头,同时进入后台运行状态。由此,在进行拍照,获取拍摄图像的速度更快,用户拍照体验更好。
此处,第N+1变焦倍数范围对应的第一目标摄像头,即为在第N变焦倍数范围进行拍照时所需的另一个获取图像的摄像头。
本申请实施例提供的多摄变焦切换方法,在多个摄像头实现接力变焦的基础上,在相邻两个变焦倍数范围对应不同第一目标摄像头的情况下,从前一个变焦倍数范围向后一个变焦倍数范围变焦时,后一个变焦倍数范围对应的第一目标摄像头不是从关闭到启动,而是从后台运行状态变换至前台送显状态,该第一目标摄像头已经提前启动,因此在切换时,不会卡顿。并且,由于两个摄像头在前一变焦倍数范围内已经同步,因此,在切换时,预览图像也不会出现突变、跳动等问题,切换的更加平滑流畅。
此外,在相邻两个变焦倍数范围对应同一第一目标摄像头的情况下,前一变焦倍数范围对应的第一目标摄像头维持前台显示状态,由此,摄像头不会进行关闭再开启的动作,这样,不影响画面,也不会出现卡顿。
可选地,在进行拍照预览时,上述方法还包括:
当第N变焦倍数范围对应的第一目标摄像头与第N+1变焦倍数范围对应的第一目标摄像头相同时,在第N变焦倍数范围变焦时,第N变焦倍数范围对应的第二目标摄像头,处于后台运行状态。其中,第N变焦倍数范围对应的第二目标摄像头与第一目标摄像头不同。
应理解,针对第N变焦倍数范围,当第N变焦倍数范围与第N+1变焦倍数范围对应的第一目标摄像头相同时,在第N变焦倍数范围进行拍照时,若需要对应两个摄像头获取图像,则还需要设置第二目标摄像头。第N变焦倍数范围对应的第二目标摄像头的种类和个数可以根据需要设置和更改,本申请实施例对此不进行任何限制。
应理解,为了在第N变焦倍数范围内进行拍照时,更快速的调用第一目标摄像头和第二目标摄像头,由此,本申请在拍照预览,在第N变焦倍数范围变焦时就开始调用第二目标摄像头,使其处于后台运行状态。由此,在用户触发拍摄键50进行拍照时,获取拍摄图像的响应速度更快,用户拍照体验更好。
可选地,作为一种可能实现的方式,在拍照预览过程中进行变焦时,确定当前变焦倍数。假设从小到大变焦,当当前变焦倍数属于第N变焦倍数范围时,在变焦至第N变焦倍数范围的最小变焦倍数时,确定第N变焦倍数范围对应的第一目标摄像头与第N+1变焦倍数范围对应的第一目标摄像头是否相同,若相同,可以在变焦至第N变焦倍数范围的最小变焦倍数处时,就使得第N变焦倍数范围对应的第二目标摄像头进入后台运行状态。或者,在变焦至第N变焦倍数范围中的预设变焦倍数时,开始调用第N变焦倍数范围对应的第二目标摄像头进行后台运行。
可选地,作为另一种可能实现的方式,在拍照预览过程中进行变焦时,先确定当前变焦倍数,再根据当前变焦倍数确定当前变焦倍数所属当前变焦倍数范围,例如为第m变焦倍数范围;然后,分别确定当前变焦倍数范围的最大值、最小值,以及确定最大值与当前变焦倍数的差值的绝对值,为第一差值;确定最小值与当前变焦倍数的差值的绝对值,为第二差值。
若第一差值小于第二差值,说明当前变焦倍数接近当前变焦倍数范围的最大值,由此,可以设定切换条件为:在计算出第一差值小于第二差值时,确定当前变焦倍数范围与第m+1变焦倍数范围对应的第一目标摄像头是否相同,若相同,则启动第m变焦倍数范围所对应的第二目标摄像头进行后台运行;若第一差值大于第二差值,说明当前变焦倍数接近当前变焦倍数范围的最小值,由此,可以设定切换条件为:在计算出第一差值大于第二差值时,确定当前变焦倍数范围对应的第一目标摄像头与第m-1变焦倍数范围对应的第一目标摄像头是否相同,若相同,则启动第m变焦倍数范围对应的第二目标摄像头进行后台运行。
可选地,第N变焦倍数范围中包含的变焦倍数小于第N+1变焦倍数范围包含的变焦倍数;或者,第N变焦倍数范围中包含的变焦倍数大于第N+1变焦倍数范围包含的变焦倍数。
第N变焦倍数范围中包含的变焦倍数小于第N+1变焦倍数范围包含的变焦倍数,也就是说,随着N增大,变焦倍数增大。第N变焦倍数范围中包含的变焦倍数大于第N+1变焦倍数范围包含的变焦倍数,也就是说,随着N增大,变焦倍数减小。
由此,在放大变焦倍数或缩小变焦倍数时,都可以在变焦切换至目标变焦倍数范围之前,提前启动并在后台运行该目标变焦倍数范围所对应的第一目标摄像头,使得在变焦切换之时,该第一目标摄像头仅需从后台运行状态变至前台送显状态,变化较小,切换更加平滑。
下面结合具体的实施例,对本申请提供的多摄变焦方法进行详细说明。
示例性的,设定电子设备对应的变焦倍数范围为[0.5,100]。该变焦倍数范围划分为4个变焦倍数范围,N取值为一至四,即,该四个变焦倍数范围分别为第一变焦倍数范围、第二变焦倍数范围、第三变焦倍数范围和第四变焦倍数范围,且该四个变焦倍数范围包含的变焦倍数依次增大。
示例性的,假设第一变焦倍数范围F1为[0.5,1),第二变焦倍数范围F2为[1,2),第三变焦倍数范围F3为[2,3.x),第四变焦倍数范围F4为[3.x,100]。应理解,此处,各个数字仅为示意,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
示例性的,广角摄像头1933的变焦倍数范围为[0.5,1.2],主摄摄像头1931的变焦倍数范围为[0.5,10],黑白摄像头1932的变焦倍数范围为[0.9,2.1),而长焦摄像头1934的变焦倍数范围为[2,100]。
基于此,设定第一变焦倍数范围对应的第一目标摄像头为广角摄像头1933,第二变焦倍数范围和第三变焦倍数范围对应的第一目标摄像头均为主摄摄像头1931,第二变焦倍数范围对应的第二目标摄像头为黑白摄像头1932;第四变焦倍数范围对应的第一目标摄像头为长焦摄像头1934。
图19示出了本申请实施例提供的一种拍照预览时变焦的界面示意图。图20和图21分别示出了本申请实施例提供的一种拍照预览时多摄变焦的进程示意图。
示例性的,响应于用户的触摸操作,当电子设备100运行相机应用时,电子设备100显示如图19中的(a)所示的拍摄界面。在该拍摄界面上,拍摄键50指示当前拍摄模式为拍照模式。该拍摄界面中还包括取景窗口60,取景窗口60可用于实时显示拍照前的预览图像。另外,拍摄界面中还显示有变焦选项61。用户可以在变焦选项61中选择当前拍照的变焦倍数,例如,0.5倍、2倍或50倍等。如图19中的(b)所示,响应于用户的变焦操作,预览图像可以根据当前选择的变焦倍数放大或缩小。
应理解,预览图像中显示的变焦选项61响应于用户的操作时,可以呈列表样式,或者,也可以是呈滑竿、圆盘等样式,以便于用户进行调节。上述图19仅为一种示例,本申请对此不进行任何限制。
为了实现多摄变焦方法(spatial alignment transform,SAT),不仅能实现接力变焦,还通过在变焦切换至目标变焦倍数范围之前,提前启动并在后台运行该目标变焦倍数范围所对应的摄像头,本申请还提供如下实施例:
实施例7,一种多摄变焦方法,该方法包括:
如图20所示,在进行拍照预览并从小到大变焦时,当在第一变焦倍数范围F1内变焦时,第一变焦倍数范围对应的广角摄像头1933为前台送显状态,将获取的图像发送至显示屏显示;而第二变焦倍数范围F2对应的主摄摄像头1931在第一变焦倍数范围F1的最小变焦倍数处,已经开始进入后台运行状态。在此阶段中,主摄摄像头1931为辅助摄像头。
当从第一变焦倍数范围F1向第二变焦倍数范围F2变焦时,1X即为第一变焦切换点。在变焦至该第一变焦切换点时,第二变焦倍数范围F2对应的主摄摄像头1931接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第一变焦倍数范围F1对应的广角摄像头1933将由前台送显状态转换为关闭状态;此外,由于第二变焦倍数范围对应有第二目标摄像头,该第二目标摄像头从第一变焦切换点处开始进入后台运行状态。
当在第二变焦倍数范围F2内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示,黑白摄像头1932为后台运行状态。在此阶段中,黑白摄像头1932为辅助摄像头。
当从第二变焦倍数范围F2向第三变焦倍数范围F3变焦时,由于第三变焦倍数范围F3对应的第一目标摄像头还是主摄摄像头1931,因此,主摄摄像头1931不需要进行切换,主摄摄像头1931维持前台送显状态即可。此处,黑白摄像头1932由后台运行状态转换为关闭状态。
当在第三变焦倍数范围F3内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示,而第四变焦倍数范围F4对应的长焦摄像头1934在第三变焦倍数范围F3的最小变焦倍数处,已经开始进入后台运行状态。在此阶段中,长焦摄像头1934为辅助摄像头。
当从第三变焦倍数范围F3向第四变焦倍数范围F4变焦时,3.xX即为第二变焦切换点。在变焦至第二变焦切换点时,第四变焦倍数范围F4对应的长焦摄像头1934接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第三变焦倍数范围F3对应的主摄摄像头1931将由前台送显状态转换为后台运行状态或者为关闭状态(图中未示出)。
此处,应理解的是,由于主摄摄像头1931的焦距有限,在转换为后台运行状态后,随着变焦倍数继续变大,可能就无法适用,由此,例如当变焦至第四变焦倍数范围中的10X处时,主摄摄像头1931由后台运行状态转换为关闭状态。在第二变焦切换点至10X之间变焦时,主摄摄像头1931为辅助摄像头。
实施例8,一种多摄变焦方法,该方法包括:
如图20所示,在进行拍照预览并从大到小变焦时,当在第四变焦倍数范围F4内变焦时,第四变焦倍数范围F4对应的长焦摄像头1934为前台送显状态,将获取的图像发送至显示屏显示;而第三变焦倍数范围F3对应的主摄摄像头1931为后台运行状态。
此处,应理解的是,由于主摄摄像头1931的焦距有限,在变焦倍数较大的情况下,无法适用。由此,例如当变焦至第四变焦倍数范围中的10X处时,主摄摄像头1931才从关闭状态转换为后台运行状态。在10X至第一变焦切换点之间变焦时,主摄摄像头1931为辅助摄像头。
当从第四变焦倍数范围F4向第三变焦倍数范围F3变焦时,3.xX即为第一变焦切换点。在变焦至第一变焦切换点时,第三变焦倍数范围F3对应的主摄摄像头1931接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第四变焦倍数范围F4对应的长焦摄像头1934由前台变焦送显状态转换为后台运行状态。
当在第三变焦倍数范围F3内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示,而第四变焦倍数范围F4对应的长焦摄像头1934在第三变焦倍数范围F3内的预设变焦倍数处,例如2X处,由后台运行状态转换为关闭状态。在此阶段中,长焦摄像头1934为辅助摄像头。
当从第三变焦倍数范围F3向第二变焦倍数范围F2变焦时,由于第二变焦倍数范围F3对应的第一目标摄像头还是主摄摄像头1931,因此,主摄摄像头1931不需要进行切换,主摄摄像头1931维持前台送显状态即可。此处,黑白摄像头1932由关闭状态转换为后台运行状态。
当在第二变焦倍数范围内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示,黑白摄像头1932为后台运行状态。在此阶段中,黑白摄像头1932为辅助摄像头。
当从第二变焦倍数范围F2向第一变焦倍数范围F1变焦时,1X即为第二变焦切换点。在变焦至第二变焦切换点时,第一变焦倍数范围F1对应的广角摄像头1933接力变焦,从关闭状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第二变焦倍数范围对应的主摄摄像头1931将由前台送显状态转换为后台运行状态;此外,第二变焦倍数范围对应的第二目标摄像头,即黑白摄像头1932从第二变焦切换点处由后台运行状态转换为关闭状态。
当在第一变焦倍数范围F1内变焦时,第一变焦倍数范围F1对应的广角摄像头1933为前台显示状态,将获取的图像发送至显示屏显示;第二变焦倍数范围F2对应的主摄摄像头1931为后台运行状态。在此阶段中,主摄摄像头1931为辅助摄像头。
此处,需要说明的是,由于电子设备100通常允许两路摄像头同时运行,因此,当从第二变焦倍数范围F2向第一变焦倍数范围F1变焦时,由于第二变焦倍数范围F2对应的第一目标摄像头和第二目标摄像头,即主摄摄像头1931和黑白摄像头1932已经在运行,所以,第一变焦倍数范围F1对应的广角摄像头1933不能进入后台运行状态,仅为关闭状态。
在此基础上,可选的,如图21所示,当电子设备100允许三路摄像头同时运行时,从第二变焦倍数范围F2向第一变焦倍数范围F1变焦时,在变焦至第二变焦切换点时,第一变焦倍数范围F1对应的广角摄像头1933接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示。此处,广角摄像头1933可以从第二变焦倍数范围的最大值,2X处开始从关闭状态转换至后台运行状态。或者,广角摄像头1933也可以从第二变焦倍数范围中的某一预设变焦倍数处开始从关闭状态状态至后台运行状态。
为了实现多摄变焦方法,不仅能实现接力变焦,还通过在变焦切换至目标变焦倍数范围之前,提前启动并在后台运行该目标变焦倍数范围所对应的摄像头,本申请还提供如下实施例:
图22示出了本申请实施例提供的一种录像预览或录像时变焦的界面示意图。图23和图24分别示出了本申请实施例提供的一种录像预览或录像时多摄变焦的进程示意图。
示例性的,响应于用户的触摸操作,当电子设备100运行相机应用时,电子设备100显示如图22中的(a)所示的拍摄界面。在该拍摄界面上,拍摄键50指示当前拍摄模式为录像模式。该拍摄界面中还包括取景窗口60,取景窗口60可用于实时显示录像前的预览图像或者显示录像中的录像画面。另外,预览图像或录像画面中还显示有变焦选项61。用户可以在变焦选项61中选择当前录像的变焦倍数,例如,0.5倍、2倍或50倍等。如图22中的(b)所示,响应于用户的变焦操作,预览图像或录像画面可以根据当前选择的变焦倍数放大或缩小。
结合以上,针对上述多摄变焦方法,本申请提供如下实施例:
实施例9,一种多摄变焦方法,该方法包括:
如图23所示,在进行录像预览或录像,并从小到大变焦时,当在第一变焦倍数范围F1内变焦时,第一变焦倍数范围对应的广角摄像头1933为前台送显状态,将获取的图像发送至显示屏显示;而第二变焦倍数范围F2对应的主摄摄像头1931在第一变焦倍数范围F1中的预设变焦倍数处提前启动,例如,主摄摄像头1931在0.7X处由关闭状态转换为后台运行状态。在0.7X至第一变焦切换点之间变焦时,主摄摄像头1931为辅助摄像头。
当从第一变焦倍数范围F1向第二变焦倍数范围F2变焦时,1X即为第一变焦切换点。在变焦至该第一变焦切换点时,第二变焦倍数范围F2对应的主摄摄像头1931接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第一变焦倍数范围F1对应的广角摄像头1933将由前台送显状态转换为关闭状态。
当在第二变焦倍数范围F2内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示。
当从第二变焦倍数范围F2向第三变焦倍数范围F3变焦时,由于第三变焦倍数范围F3对应的第一目标摄像头还是主摄摄像头1931,因此,主摄摄像头1931不需要进行切换,主摄摄像头1931维持前台送显状态即可。
当在第三变焦倍数范围F3内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示,而第四变焦倍数范围F4对应的长焦摄像头1934在第三变焦倍数范围F3中的预设变焦倍数处提前启动,例如,长焦摄像头1934在2.8X处由关闭状态转换为后台运行状态。在2.8X至第二变焦切换点之间变焦时,长焦摄像头1934为辅助摄像头。
当从第三变焦倍数范围F3向第四变焦倍数范围F4变焦时,3.xX即为第二变焦切换点。在变焦至该第二变焦切换点时,第四变焦倍数范围F4对应的长焦摄像头1934接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第三变焦倍数范围F3对应的主摄摄像头1931由前台显示状态转换为后台运行状态或者为关闭状态(图中未示出)。
此处,应理解的是,由于主摄摄像头1931的焦距有限,在转换为后台运行状态后,随着变焦倍数继续增大,可能就无法适用,由此,例如当变焦至第四变焦倍数范围中的10X处时,主摄摄像头1931由后台运行状态转换为关闭状态。在第二变焦切换点至10X之间变焦时,主摄摄像头1931位辅助摄像头。
实施例10,一种多摄变焦方法,该方法包括:
如图23所示,在进行录像预览或录像,并从大到小变焦时,当在第四变焦倍数范围F4内变焦时,第四变焦倍数范围F4对应的长焦摄像头1934为前台送显状态,将获取的图形发送至显示屏显示;而第三变焦倍数范围F3对应的主摄摄像头1931为后台运行状态。
此处,应理解的是,由于主摄摄像头1931的焦距有限,在变焦倍数较大的情况下,无法适用。由此,例如当变焦至第四变焦倍数范围中的10X处时,主摄摄像头1931才从关闭状态转换为后台运行状态。在10X至第一变焦切换点之间变焦时,主摄摄像头1931为辅助摄像头。
当从第四变焦倍数范围F4向第三变焦倍数范围F3变焦时,3.xX即为第一变焦切换点。在变焦至第一变焦切换点时,第三变焦倍数范围F3对应的主摄摄像头1931接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第四变焦倍数范围F4对应的长焦摄像头1934由前台变焦送显状态转换为后台运行状态。
当在第三变焦倍数范围F3内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示,而第四变焦倍数范围F4对应的长焦摄像头1934在第三变焦倍数范围F3的预设变焦倍数处,例如,在2.8X处,由后台运行状态转换为关闭状态。在第一变焦切换点至2.8X之间变焦时,长焦摄像头1934为辅助摄像头。
当从第三变焦倍数范围F3向第二变焦倍数范围F2变焦时,由于第二变焦倍数范围F3对应的第一目标摄像头还是主摄摄像头1931,因此,主摄摄像头1931不需要进行切换,主摄摄像头1931维持前台送显状态即可。
当在第二变焦倍数范围内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示。
当从第二变焦倍数范围F2向第一变焦倍数范围F1变焦时,1X即为第二变焦切换点。在变焦至第二变焦切换点时,第一变焦倍数范围F1对应的广角摄像头1933接力变焦,从关闭状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第二变焦倍数范围对应的主摄摄像头1931将由前台送显状态转换为后台运行状态。
当在第一变焦倍数范围F1内变焦时,第一变焦倍数范围F1对应的广角摄像头1933为前台显示状态,将获取的图像发送至显示屏显示;第二变焦倍数范围F2对应的主摄摄像头1931为后台运行状态。基于此,第二变焦倍数范围F2对应的主摄摄像头1931在第一变焦倍数范围F1内的预设变焦倍数处,例如0.7X处,由后台运行状态转换为关闭状态。在第二变焦切换点至0.7X之间变焦时,主摄摄像头1931为辅助摄像头。
在此基础上,如图24所示,在进行录像预览或录像,并从小到大变焦时,当从第一变焦倍范围F1向第二变焦倍数范围F2变焦时,1X即为第一变焦切换点。在变焦至该第一变焦切换点时,第二变焦倍数范围F2对应的主摄摄像头1931接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第一变焦倍数范围F1对应的广角摄像头1933将由前台送显状态转换为后台运行状态。
此处,应理解的是,由于广角摄像头1933的焦距有限,在转换为后台运行状态后,随着变焦倍数继续增大,可能就无法适用,由此,例如当变焦至第二变焦倍数范围中的1.2X处时,广角摄像头1933由后台运行状态转换为关闭状态。在第一变焦切换点至1.2X之间变焦时,广角摄像头1933为辅助摄像头。
相反的,在从大到小变焦时,当在第二变焦倍数范围内变焦时,主摄摄像头1931为前台送显状态,将获取的图像发送至显示屏显示。此外,第一变焦倍数范围对应的广角摄像头1933将在第二变焦倍数范围内的预设变焦倍数处,例如,在第1.2X处已经开始进入后台运行状态。
然后,当从第二变焦倍数范围F2向第一变焦倍数范围F1变焦时,1X即为第二变焦切换点。在变焦至第二变焦切换点时,第一变焦倍数范围F1对应的广角摄像头1933接力变焦,从后台运行状态转换为前台送显状态,将获取的图像发送至显示屏显示;而第二变焦倍数范围对应的主摄摄像头1931将由前台送显状态转换为后台运行状态。在1.2X至第二变焦切换点之间变焦时,广角摄像头1933为辅助摄像头。
上述对本申请实施例提供的多摄变焦方法进行了详细描述,下面对本申请实施例提供的其他模式下的拍摄方法进行一一介绍。
图25示出了本申请实施例提供的又一种电子设备的界面示意图。
示例性的,为了从室内暗处拍摄窗外阳光灿烂的场景,响应于用户的滑动操作,电子设备显示如图25中的(a)所示的拍摄界面,拍摄键50指示“更多”。基于此,如图25中的(b)所示,响应于用户的点击操作,当前的拍摄模式切换为HDR模式。
当然,上述仅为HDR模式对应的选项在电子设备的界面上的一种呈现方式,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
实施例11,结合图25所示,图26示出了本申请实施例提供的一种HDR模式下的拍摄方法的流程示意图。如图26所示,该方法包括以下S710至S740。
S710、接收用户的第一操作,确定出当前拍摄模式为HDR模式,先确定当前变焦倍数。假设当前变焦倍数为0.5X,则当前变焦倍数属于第一变焦倍数范围[0.5,1)内,目标摄像头为广角摄像头1933。示例性的,利用广角摄像头1933获取3帧第一图像。
此外,若当前变焦倍数为2.6X,则当前变焦倍数属于第三变焦倍数范围[2,3.x)内,在低照度下,目标摄像头为主摄摄像头1931。示例性的,利用主摄摄像头1931获取3帧第二图像。
若当前变焦倍数为20X,则当前变焦倍数属于第四变焦倍数范围[3.x,100]内,在低照度下,目标摄像头为长焦摄像头。示例性的,利用长焦摄像头获取3帧第四图像。
此处,第一图像、第二图像和第四图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第一图像、第二图像和第四图像均位于RAW域,且为拜耳格式图像。
S720、对3帧第一图像、3帧第二图像或3帧第四图像进行第三预处理,得到对应的位于RAW域的第三预处理图像。
上述S620也可以表述为:对3帧第一图像进行第三预处理,得到对应的位于RAW域的第三预处理图像;对3帧第二图像进行第三预处理,得到对应的位于RAW域的第三预处理图像;对3帧第四图像进行第三预处理,得到对应的位于RAW域的第三预处理图像。
该3帧第一图像包括长曝光的第一图像、短曝光的第一图像和中曝光的第一图像;3帧第二图像包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像;3帧第四图像包括长曝光的第四图像、短曝光的第四图像和中曝光的第四图像。
其中,本申请实施例提供的第三预处理包括HDR算法模块,例如,该HDR算法模块基于长短曝光融合处理和色调映射模型(tone mapping),可以将多帧曝光程度不同的第一图像、第二图像或第四图像融合成1帧位于RAW域的第三预处理图像。
针对HDR算法模块的描述,可参考上述S610中的描述,在此不再赘述。
S730、对第三预处理图像进行前端处理,得到对应的前端处理图像。
其中,对前端处理的描述可以参考上述S120中的内容,在此不再赘述。
示例性的,本实施例中,为了减小数据量,节省带宽,前端处理包括去马赛克和色彩空间转换,以使得第一图像、第二图像或第四图像对应的位于RAW域的第三预处理图像进行前端处理后,得到的前端处理图像位于YUV域。
还应理解,本实施例提供的前端处理,与上述实施例中的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S740、对前端处理图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
其中,对后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第一图像、第二图像或第四图像对应的后端处理图像位于YUV域。
应理解,本实施例提供的后端处理,与上述实施例中提供的后端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
在该实现方式中,在HDR模式下,基于多帧第一图像、第二图像或第四图像,利用HDR算法模块,进行多帧不同曝光的图像的融合处理,以及上述其他处理,可以融合得到清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
图27示出了本申请实施例提供的又一种电子设备的界面示意图。
示例性的,为了在拍摄时聚焦多个仙人掌中的一个,响应于用户的滑动操作,电子设备显示如图27所示的拍摄界面,拍摄键50指示当前拍摄模式为大光圈模式。
当然,上述仅为大光圈模式对应的选项在电子设备的界面上的一种呈现方式,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
实施例12,结合图27所示,图28示出了本申请实施例提供的一种大光圈模式下的拍摄方法的流程示意图,如图28所示,该方法包括以下S810至S860。
S810、接收用户的第一操作,确定出当拍摄模式为大光圈模式时,变焦倍数适用于1X及以上,由此,示例性的,利用主摄摄像头1931获取6帧第二图像,并利用黑白摄像头1932获取1帧第三图像,其中黑白摄像头1932为辅助摄像头。
此处,第二图像、第三图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第二图像位于RAW域,第二图像为拜耳格式图像,黑白摄像头1932获取的第三图像为灰阶图像。
应理解,第二图像对应的视场角范围和第三图像对应的视场角范围基本一致,第三图像相对于第二图像的细节丰富度较高。
S820、对6帧第二图像进行第十前端处理,得到对应的6帧第十前端处理图像;对1帧第三图像进行第十一前端处理,得到对应的1帧第十一前端处理图像。
其中,对第十前端处理、第十一前端处理的描述可以参考上述S120中的内容,在此不再赘述。
应理解,当第十前端处理包括去马赛克和色彩空间转换时,第二图像经过第十前端处理后,所对应的第十前端处理图像位于YUV域。当第十前端处理不包括去马赛克和色彩空间转换时,第二图像经过第十前端处理后,所对应的第十前端处理图像还是位于RAW域。
示例性的,本实施例中,为了减少数据量,节省带宽,提高后续处理的速度,针对第二图像进行的第十前端处理包括去马赛克和色彩空间转换,以使得第二图像进行前端处理后,对应的第十前端处理图像位于YUV域。
应理解,对于第三图像,由于第三图像为灰阶图像(图中所示为Y图),因此,针对第三图像进行的第十一前端处理不包括去马赛克和色彩空间转换。这样,第三图像进行前端处理后,对应的第十一前端处理图像还是灰阶图像。
还应理解,在本实施例中,第十前端处理和第十一前端处理,除了去马赛克和色彩空间转换之外的其他处理步骤可以相同,也可以不同,本申请实施例对此不进行限制。此外,本实施例提供的第十前端处理和第十一前端处理,与上述实施例中所提供的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S830、利用第二前端融合模块分别将6帧第二图像对应的6帧第十前端处理图像进行融合,得到6帧第二图像对应的第二前端融合图像。
示例性的,本实施例提供的第十前端处理包括去马赛克和色彩空间转换,6帧第二图像对应的6帧第十前端处理图像位于YUV域。此时,对应的第二前端融合模块相应包括YUV域的多帧融合模块,以实现YUV域的多帧融合功能。由此,经第二前端融合模块处理所得到的第二前端融合图像还是位于YUV域。由此,可以得后续处理中的图像位于YUV域,减小数据量,节省带宽。
应理解,本实施例中的第二前端融合模块与上述实施例中的第一前端融合模块、第二前端融合模块、第三前端融合模块、或第四前端融合模块可以相同、也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
当然,第二前端融合模块还可以包括其他功能模块,具体可以参考上述S130中对第一前端融合模块或第二前端融合模块的描述,在此不再赘述。
在此基础上,多帧第二图像可以包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像。
当多帧第二图像包括不同曝光程度的第二图像,相应的,多帧第二图像对应的第十前端处理图像包括不同曝光程度的前端处理图像,基于此,第一融合模块将不同曝光程度的多帧第十前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第一融合图像的清晰度。
S840、对6帧第二图像对应的第二前端融合图像进行第九后端处理,得到对应的第九后端处理图像;对第三图像对应的前端处理图像进行第十后端处理,得到对应的第十后端处理图像。
其中,对第九后端处理、第十后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第二图像对应的第九后端处理图像位于YUV域,第三图像对应的第十后端处理图像为灰阶图像。
还应理解,在本实施例中,第九后端处理与第十后端处理,可以相同,也可以不同;此外,本实施例中的第九后端处理和第十后端处理,与上述实施例中的后端处理,可以相同,也可以不同,具体可以根据需进行设置,本申请实施例对此不进行任何限制。
S850、对6帧第二图像对应的第九后端处理图像和第三图像对应的第十后端处理图像进行深度估计处理,得到深度图像。
应理解,深度估计处理指的是利用双目立体视觉原理,对6帧第二图像对应的第九后端处理图像和1帧第三图像对应的第十后端处理图像进行像素点匹配,然后根据匹配结果计算出每个像素的深度信息,从而可以根据深度信息生成深度图像。其中,深度图像为灰阶图像。
S860、利用深度图像对6帧第二图像对应的第九后端处理图像进行虚化处理,得到对应的虚化处理图像。虚化处理图像为拍摄图像。
应理解,可以利用深度图像可以辅助对6帧第二图像对应的第九后端处理图像中的前景和背景进行分离,然后,再对背景或前景进行虚化处理。
在该实施例中,在大光圈模式下,基于视场角不同、细节丰富度不同的第二图像和第三图像,进行上述一系列处理,可以融合得到前景清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
本申请实施例还提供了另一种大光圈模式下的拍摄方法的流程示意图。该方法应用于除了包括上述4个摄像头,还包括有TOF摄像头1935的电子设备100中。
图29示出了该5个摄像头在电子设备的后盖上的排布示意图。
如图29中的(a)所示,上述5个摄像头排布在电子设备100的后盖的左上角。其中,主摄摄像头1931作为用户常用的摄像头,单独分布在靠近后盖上方的第一圆形区域中;黑白摄像头1932、广角摄像头1933、长焦摄像头1934和TOF摄像头1935这4个摄像头分布在靠近后盖下方的第二圆形区域中;此外,在靠近后盖下方的第二圆形区域中,还可设置闪光灯。
如图29中的(b)所示,上述5个摄像头排布在电子设备的后盖中间的圆形区域中。其中,主摄摄像头1931作为用户常用的摄像头,设置在圆形区域的中心位置处,黑白摄像头1932、广角摄像头1933、长焦摄像头1934和TOF摄像头1935这4个摄像头分布在主摄摄像头1931的四周。此外,在该圆形区域中,还可以设置闪光灯。
应理解,上述仅为两种排布方式的示例,也可以为其他的排布方式,具体排布方式可以根据需要进行设计和更改,本申请实施例对此不进行任何限制。
实施例13,图30示出了本申请实施例提供的另一种大光圈模式下的拍摄方法的流程示意图,如图30所示,该方法包括以下S910至S950。
S910、接收用户的第一操作,确定出当拍摄模式为大光圈模式时,变焦倍数适用于1X及以上,由此,示例性的,利用主摄摄像头1931获取6帧第二图像,并利用TOF摄像头1935获取待拍摄场景的深度信息,利用深度信息生成深度图像。其中,TOF摄像头1935为辅助摄像头。
应理解,第二图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。其中,第二图像位于RAW域,为拜耳格式图像。
此处,TOF摄像头1935在对待拍摄场景进行拍摄时,可以给目标(比如待拍摄场景中的某个物体)连续发送光脉冲,然后,利用传感器接收从物体返回的光,由此,通过光线的飞行(往返)时间可以得到目标的距离。基于此,通过计算光线从TOF摄像头1935发出到返回TOF摄像头1935的时间来计算得到待拍摄场景中每个点和电子设备100的距离,由此,获得待拍摄场景的深度信息,再将深度信息表现为深度图像。其中,深度图像为灰阶图像。
示例性的,图31中的(a)示出了主摄摄像头1931针对待拍摄场景进行拍摄,获取的第二图像。图31中的(b)示出了TOF摄像头1935针对同一待拍摄场景进行拍摄,获取的深度图像。
S920、对6帧第二图像进行前端处理,得到对应的6帧前端处理图像。
其中,对前端处理的描述可以参考上述S120中的内容,在此不再赘述。
应理解,当前端处理包括去马赛克和色彩空间转换时,第二图像经过前端处理后,所对应的前端处理图像位于YUV域。当前端处理不包括去马赛克和色彩空间转换时,第二图像经过前端处理后,所对应的前端处理图像还是位于RAW域。
示例性的,本实施例中,为了减少数据量,节省带宽,提高后续处理的速度,针对第二图像进行的前端处理包括去马赛克和色彩空间转换,以使得第二图像进行前端处理后,对应的前端处理图像位于YUV域。
还应理解,本实施例提供的前端处理,与上述实施例中的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S930、利用第二前端融合模块将6帧第二图像对应的6帧前端处理图像进行融合,得到6帧第二图像对应的第二前端融合图像。
示例性的,本实施例提供的前端处理包括去马赛克和色彩空间转换,6帧第二图像对应的6帧前端处理图像。此时,对应的第二前端融合模块相应包括YUV域的多帧融合模块,以实现YUV域的多帧融合功能。由此,经第二前端融合模块处理所得到的第二前端融合图像还是位于YUV域。由此,可以得后续处理中的图像位于YUV域,减小数据量,节省带宽。
应理解,本实施例中的第二前端融合模块与上述实施例中的第一前端融合模块、第二前端融合模块、第三前端融合模块、或第四前端融合模块可以相同、也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
当然,第二前端融合模块还可以包括其他功能模块,具体可以参考上述S130中对第一前端融合模块或第二前端融合模块的描述,在此不再赘述。
在此基础上,多帧第二图像可以包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像。
当多帧第二图像包括不同曝光程度的第二图像,相应的,多帧第二图像对应的前端处理图像包括不同曝光程度的前端处理图像,基于此,第二前端融合模块将不同曝光程度的多帧前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第一融合图像的清晰度。
S940、对第二前端融合图像进行后端处理,得到对应的后端处理图像。
其中,对后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第二图像对应的后端处理图像位于YUV域。
应理解,本实施例提供的后端处理,与上述实施例中的后端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S950、利用深度图像对第二图像对应的后端处理图像进行虚化处理,得到对应的虚化处理图像。虚化处理图像为拍摄图像。
应理解,可以利用深度图像可以辅助对后端处理图像中的前景和背景进行分离,然后,再对背景或前景进行虚化处理。
在该实施例中,在大光圈模式下,基于第二图像和表现深度信息的深度图像,进行上述一系列处理,可以融合得到前景清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
图32示出了本申请实施例提供的又一种电子设备的界面示意图。
示例性的,在给某位女士拍摄的场景中,响应于用户的滑动操作,电子设备100显示如图32所示的拍摄界面,拍摄键50指示当前拍摄模式为人像模式。
当然,上述仅为人像模式对应的选项在电子设备的界面上的一种呈现方式,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
实施例14,结合图32所示,图33示出了本申请实施例提供的一种人像模式下的拍摄方法的流程示意图,如图33所示,该方法包括以下S1010至S1070。
S1010、接收用户的第一操作,确定出当拍摄模式为人像模式时,变焦倍数适用于1X及以上,由此,示例性的,利用主摄摄像头1931获取2帧第二图像,并利用黑白摄像头1932获取1帧第三图像。其中,黑白摄像头1932为辅助摄像头。
此处,第二图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第二图像位于RAW域,第二图像为拜耳格式图像,黑白摄像头1932获取的第三图像为灰阶图像。
应理解,第二图像对应的视场角范围和第三图像对应的视场角范围基本一致,第三图像相对于第二图像的细节丰富度更高。
S1020、对2帧第二图像进行第十二前端处理,得到对应的2帧第十二前端处理图像;对1帧第三图像分别进行第十三前端处理,得到对应的1帧第十三前端处理图像。
其中,对第十二前端处理、第十三前端处理的描述可以参考上述S120中的内容,在此不再赘述。
应理解,当第十二前端处理包括去马赛克和色彩空间转换时,第二图像经过第十二前端处理后,所对应的第十二前端处理图像位于YUV域。当第十二前端处理不包括去马赛克和色彩空间转换时,第二图像经过第十二前端处理后,所对应的第十二前端处理图像还是位于RAW域。
示例性的,本实施例中,为了保留更多的细节,针对第二图像进行的第十二前端处理不包括去马赛克和色彩空间转换,以使得第二图像进行第十二前端处理后,对应的第十二前端处理图像位于RAW域。
应理解,对于第三图像,由于第三图像为灰阶图像(图中所示为Y图),因此,针对第三图像进行的第十三前端处理也不包括去马赛克和色彩空间转换。这样,第三图像进行第十三前端处理后,对应的第十三前端处理图像还是灰阶图像。
还应理解,在本实施例中,第十二前端处理和第十三前端处理,可以相同,也可以不同,本申请实施例对此不进行限制。此外,本实施例提供的第十二前端处理和第十三前端处理,与上述实施例中所提供的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S1030、利用第二前端融合模块分别将2帧第二图像对应的1帧第十二前端处理图像进行融合,得到2帧第二图像对应的第二前端融合图像。
示例性的,本实施例针对第二图像提供的第十二前端处理不包括去马赛克和色彩空间转换,2帧第二图像对应的2帧第十二前端处理图像位于RAW域,此时,对应的第二前端融合模块相应包括RAW域的多帧融合模块,以实现RAW域的多帧融合功能。经第二前端融合模块处理所得到的第二前端融合图像也位于RAW域。
应理解,本实施例中的第二前端融合模块与上述实施例中的第一前端融合模块、第二前端融合模块、第三前端融合模块、或第四前端融合模块可以相同、也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
当然,第二前端融合模块还可以包括其他功能模块,具体可以参考上述S130中对第一前端融合模块或第二前端融合模块的描述,在此不再赘述。
在此基础上,多帧第二图像可以包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像。
当多帧第二图像包括不同曝光程度的第二图像时,相应的,多帧第二图像对应的前端处理图像包括不同曝光程度的前端处理图像,基于此,第一融合模块将不同曝光程度的多帧前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第一融合图像的清晰度。
可选地,上述S1020还可以为:对2帧第二图像进行第一预处理,得到位于RAW域的2帧第一预处理图像;对1帧第三图像进行前端处理,得到对应的2帧前端处理图像。
其中,对第一预处理的描述可以参考上述S220中的内容,在此不再赘述。
相应的,S1030为:利用第二前端融合模块分别将2帧第二图像对应的2帧第一预处理图像进行融合,得到2帧第二图像对应的第二前端融合图像。
S1040、对2帧第二图像对应的第一融合图像进行第十后端处理,得到对应的第十后端处理图像;对2帧第三图像对应的第一融合图像进行第十一后端处理,得到对应的第十一后端处理图像。
其中,对第十后端处理、第十一后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第二图像对应的第十后端处理图像位于YUV域,第三图像对应的第十一后端处理图像为灰阶图像。
还应理解,在本实施例中,第十后端处理和第十一后端处理,可以相同,也可以不同;此外,本实施例中的第十后端处理和第十一后端处理,与上述实施例中的后端处理,可以相同,也可以不同,具体可以根据需进行设置,本申请实施例对此不进行任何限制。
S1050、对2帧第二图像对应的第十后端处理图像和1帧第三图像对应的第十一后端处理图像进行深度估计处理,得到深度图像。
应理解,深度估计处理指的是利用双目立体视觉原理,对2帧第二图像对应的第十后端处理图像和2帧第三图像对应的第十一后端处理图像进行像素点匹配,然后根据匹配结果计算出每个像素的深度信息,从而可以根据深度信息生成深度图像。其中,深度图像为灰阶图像。
S1060、利用深度图像对2帧第二图像对应的第十后端处理图像进行虚化处理,得到对应的虚化处理图像。
应理解,可以利用深度图像可以辅助对2帧第二图像对应的第十后端处理图像中的前景和背景进行分离,然后,再对背景或前景进行虚化处理。
其中,虚化处理图像位于YUV域。
示例性的,如图35所示,电子设备100在预览时会检测人脸,当检测到人脸时,会触发face AE和face AF,使人脸所处于亮度最为合适的亮度范围,并且AF会推动对焦马达,使人脸置于最合适的对焦平面上。
按下拍照键后,会进行深度估计处理产生深度图像,人脸所处的深度平面会适当锐化,以提升人脸的清晰度。其他的深度平面会做不同程度的虚化模糊处理,虚化程度取决于离人脸所在深度平面的距离,距离越远,虚化程度越高;距离越近,虚化程度越弱。
S1070、对虚化处理图像进行美肤处理,得到美肤处理图像。美肤处理图像为拍摄图像。
应理解,美肤处理可用于对被拍摄人物的脸部图像进行调整,使得调整后的脸部图像所表现的脸部相较于被拍摄人物的实际脸部发生了皮肤美化,例如皮肤美白、皮肤磨皮(如去除人物脸上的痘痘、雀斑、皱纹等),等等。“美肤”功能所涉及的对脸部图像进行调整可以是指采用表面模糊、均值滤波、双边滤波等算法对脸部图像进行平滑处理。由此,对脸部图像进行的这种处理可以称为美肤处理。
其中,美肤处理图像位于YUV域。美肤处理图像将被作为拍摄图像进行在电子设备100的界面上进行显示,或者,仅进行存储,具体可以根据需要进行传输,本申请实施例对此不进行任何限制。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
本申请实施例还提供了另一种人像模式下的拍摄方法的流程示意图。该方法应用于除了包括上述4个摄像头,还包括有TOF摄像头1935的电子设备100中。
实施例15,结合图32所示,图34示出了本申请实施例提供的另一种人像模式下的拍摄方法的流程示意图,如图34所示,该方法包括以下S1110至S1160。
S1110、接收用户的第一操作,确定出当拍摄模式为人像模式时,变焦倍数适用于1X及以上,由此,示例性的,利用主摄摄像头1931获取2帧第二图像,并利用TOF摄像头1935获取待拍摄场景的深度信息,利用深度信息生成深度图像。其中,TOF摄像头1935为辅助摄像头。
应理解,第二图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。其中,第二图像位于RAW域,为拜耳格式图像。
此处,对TOF摄像头1935获取深度图像的过程可参考上述S910中的描述,在此不再赘述。
S1120、对2帧第二图像进行前端处理,得到对应的2帧前端处理图像。
其中,对前端处理的描述可以参考上述S120中的内容,在此不再赘述。
应理解,当前端处理包括去马赛克和色彩空间转换时,第二图像经过前端处理后,所对应的前端处理图像位于YUV域。当前端处理不包括去马赛克和色彩空间转换时,第二图像经过前端处理后,所对应的前端处理图像还是位于RAW域。
示例性的,本实施例中,为了保留更多细节,针对第二图像进行的前端处理不包括去马赛克和色彩空间转换,以使得第二图像进行前端处理后,对应的前端处理图像位于RAW域。
还应理解,本实施例提供的前端处理,与上述实施例中的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S1130、利用第二前端融合模块将2帧第二图像对应的2帧前端处理图像进行融合,得到2帧第二图像对应的第二前端融合图像。
示例性的,本实施例提供的前端处理不包括去马赛克和色彩空间转换,2帧第二图像对应的2帧前端处理图像位于RAW域,此时,对应的第二前端融合模块相应包括RAW域的多帧融合模块,以实现RAW域的多帧融合功能。由此,经第二前端融合模块处理所得到的第一融合图像还是位于RAW域。
应理解,本实施例中的第二前端融合模块与上述实施例中的第一前端融合模块、第二前端融合模块、第三前端融合模块、或第四前端融合模块可以相同、也可以不相同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
当然,第二前端融合模块还可以包括其他功能模块,具体可以参考上述S130中对第一前端融合模块或第二前端融合模块的描述,在此不再赘述。
在此基础上,多帧第二图像可以包括长曝光的第二图像、短曝光的第二图像和中曝光的第二图像。
当多帧第二图像包括不同曝光程度的第二图像,相应的,多帧第二图像对应的前端处理图像包括不同曝光程度的前端处理图像,基于此,第二前端融合模块将不同曝光程度的多帧前端处理图像进行融合后,可以增加图像中暗区和过曝区域的细节,提升动态范围,从而可以提升对应的第一融合图像的清晰度。
还应理解,本实施例中的第一融合模块,与上述实施例中的第一融合模块,可以相同,也可以不同,具体可以根据需进行设置,本申请实施例对此不进行任何限制。
S1140、对第二前端融合图像进行后端处理,得到对应的后端处理图像。
其中,对后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第二图像对应的后端处理图像位于YUV域。
应理解,本实施例提供的后端处理,与上述实施例中提供的后端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S1150、利用深度图像对后端处理图像进行虚化处理,得到对应的虚化处理图像。
应理解,可以利用深度图像可以辅助对后端处理图像中的前景和背景进行分离,然后,再对背景或前景进行虚化处理。
其中,虚化处理图像位于YUV域。
S1160、对虚化处理图像进行美肤处理,得到美肤处理图像。美肤处理图像为拍摄图像。
针对美肤处理的描述可参考上述S1070中的内容,在此不再赘述。
其中,美肤处理图像位于YUV域。美肤处理图像将被作为拍摄图像进行在电子设备100的界面上进行显示,或者,仅进行存储,具体可以根据需要进行传输,本申请实施例对此不进行任何限制。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
图36示出了本申请实施例提供的又一种电子设备的界面示意图。
示例性的,为了拍摄夜晚海面上升起的月亮,响应于用户的滑动操作,电子设备显示如图32所示的拍摄界面,拍摄键50指示当前拍摄模式为夜景模式。
当然,上述仅为夜景模式对应的选项在电子设备的界面上的一种呈现方式,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
实施例16,一种拍摄方法,如图37所示,该方法包括以下S1210至S1240。
S1210、假设当前变焦倍数为0.5倍,则当前变焦倍数属于第一变焦倍数范围[0.5,1)内,在低照度下,目标摄像头为广角摄像头1933。示例性的,利用广角摄像头1933获取3帧第一图像。
此外,若当前变焦倍数为2.6倍,则当前变焦倍数属于第三变焦倍数范围[2,3.x)内,在低照度下,目标摄像头为主摄摄像头1931。示例性的,利用主摄摄像头1931获取3帧第二图像。
若当前变焦倍数为20,则当前变焦倍数属于第四变焦倍数范围[3.x,100]内,在低照度下,目标摄像头为长焦摄像头。示例性的,利用长焦摄像头获取3帧第四图像。
此处,第一图像、第二图像和第四图像的数量仅为示意,具体可以根据需要进行获取,本申请实施例对此不进行任何限制。
其中,第一图像、第二图像和第四图像均位于RAW域,且为拜耳格式图像。
S1220、对3帧第一图像、3帧第二图像或3帧第四图像进行第二预处理,得到对应的位于RAW域的第二预处理图像。
上述S1220也可以表述为:对3帧第一图像进行第二预处理,得到对应的位于RAW域的第二预处理图像;对3帧第二图像进行第二预处理,得到对应的位于RAW域的第二预处理图像;对3帧第四图像进行第二预处理,得到对应的位于RAW域的第二预处理图像。
其中,本实施例提供的第二预处理包括夜景算法模块,例如,该夜景算法模块基于Unet网络模型生成,可以将RAW域的多帧第一图像、多帧第二图像或者多帧第四图像融合成对应的1帧位于RAW域的第二预处理图像。具体描述可以参考上述S520中的内容,在此不再赘述。
S1230、对3帧第一图像、3帧第二图像或3帧第四图像对应的第二预处理图像进行前端处理,得到对应的前端处理图像。
其中,对前端处理的描述可以参考上述S120中的内容,在此不再赘述。
示例性的,本实施例中,为了减小数据量,节省带宽,前端处理包括去马赛克和色彩空间转换,以使得第一图像、第二图像或第四图像对应的位于RAW域的第二预处理图像进行前端处理后,得到的前端处理图像位于YUV域。
还应理解,本实施例提供的前端处理,与上述实施例中的前端处理,可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
S1240、对3帧第一图像、3帧第二图像或3帧第四图像对应的前端处理图像进行后端处理,得到对应的后端处理图像,后端处理图像为拍摄图像。
其中,对后端处理的描述可以参考上述S140中的内容,在此不再赘述。
应理解,第一图像、第二图像或第四图像对应的后端处理图像位于YUV域。
应理解,本实施例提供的后端处理,与上述实施例中提供的后端处理可以相同,也可以不同,具体可以根据需要进行设置和更改,本申请实施例对此不进行任何限制。
在该实现方式中,在夜景模式下,基于多帧第一图像、第二图像或第四图像,利用网络模型进行多帧融合处理,以及上述其他处理,可以融合得到清晰度较高、质量较好的拍摄图像。
还应理解,上述过程仅为一种示例,具体可以根据需要进行顺序上的调整,当然,还可以增加或减少步骤,本申请实施例对此不进行任何限制。
上述通过实施例11至16,对本申请实施例提供的大光圈模式、人像模式、夜景模式下的拍摄方法进行了详细介绍。下面对本申请实施例提供的一种智能模式下的拍摄方法进行介绍。
图38示出了本申请实施例提供的又一种电子设备的界面示意图。
示例性的,如图38中的(a)所示,响应于用户的触摸操作,当电子设备100运行相机应用时,电子设备100显示如图38中的(b)所示的拍摄界面。拍摄键50指示“更多”。
继续响应于用户的点击操作,电子设备100显示如图38中的(c)所示的拍摄界面,该拍摄界面显示智能模式对应的选项。
然后,响应于用户对智能模式对应的选项的点击操作,电子设备100显示如图38中的(d)所示的拍摄界面。该拍摄界面中还包括取景窗口60,取景窗口60可用于实时显示拍照前或录像前的预览图像。另外,预览图像中还显示有变焦选项61。用户可以在变焦选项61中选择当前需要的变焦倍数,例如,0.5倍、2倍或50倍等。
结合图38中的(d)所示,拍摄键50指示当前拍摄模式为智能模式。基于此,图38示出了本申请实施例提供的一种智能模式下的拍摄方法的流程示意图。
实施例17,一种拍摄方法,如图39所示,该方法包括以下S1310~S1370。
S1310、接收用户的第一操作,确定出当前拍摄模式为智能模式,则对待拍摄场景进行自动识别。
S1320、当识别到待拍摄场景为HDR场景时,调用HDR模式下的拍摄方法进行拍摄。
例如,如上述实施例11所示,若是HDR场景,则自动确定当前变焦倍数,并确定当前变焦倍数所属的变焦倍数范围。当当前变焦倍数属于第一变焦倍数范围内时,确定目标摄像头为广角摄像头,利用广角摄像头1933获取多帧第一图像;当当前变焦倍数属于第二变焦倍数范围或第三变焦倍数范围时,确定目标摄像头为主摄摄像头1931,利用主摄摄像头1931获取多帧第二图像。当当前变焦倍数属于第四变焦倍数范围时,确定目标摄像头为长焦摄像头1934,利用长焦摄像头1934获取多帧第四图像。然后,对多帧第一图像、多帧第二图像或多帧第四图像进行第三预处理,得到对应的位于RAW域的第三预处理图像,再对第三预处理图像进行前端处理,得到对应的前端处理图像,接着,对前端处理图像进行后端处理,得到对应的后端处理图像,将后端处理图像作为拍摄图像。
S1330、当识别出非人像的目标物,且目标物在取景窗口中的面积占比大于预设比值时,自动调用大光圈模式下的拍摄方法进行拍摄。
例如,结合图38所示,当自动识别出花朵时,且用户进行变焦操作后,该花朵在取景窗口中的面积占比大于预设比值(例如50%)时,如上述实施例12或13所示,利用主摄摄像头1931获取多帧第二图像,以及黑白摄像头1932获取多帧第三图像,对多帧第二图像、多帧第三图像分别进行前端处理,得到各自对应的多帧前端处理图像,然后,对多帧第二图像对应的多帧前端处理图像进行融合并进行后端处理,得到对应的后端处理图像,同时对多帧第三图像对应的多帧前端处理图像进行融合并进行后端处理,得到对应的后端处理图像。将两者进行深度估计处理得到深度图像,或者,利用TOF摄像头1935获取待拍摄场景的深度信息,生成深度图像;接着,再利用深度图像对第二图像对应的后端处理图像进行虚化处理,得到对应的虚化处理图像。虚化处理图像为拍摄图像。
S1340、当识别出人像时,自动调用人像模式下的拍摄方法进行拍摄。
例如,如上述实施例14和15所示,若识别出人像,则根据实施例12或13所示的步骤进行执行,然后,在实施例12或13的基础上,对虚化处理图像进行美肤处理,由此,得到美肤处理图像,此时,美肤处理图像为拍摄图像。
S1350、当上述均不适用时,自动识别待拍摄场景的照度,比较待拍摄场景的照度与预设照度阈值的大小。
S1360、若待拍摄场景的照度小于预设照度阈值,即是低照度,则自动调用拍照模式下,对应低照度的拍摄方法进行拍摄。
S1370、若是待拍摄场景的照度大于或等于预设照度阈值,即是中高照度,则自动调用拍照模式下,对应中高照度的拍摄方法进行拍摄。
例如,如上述实施例5所示,若是低照度,则自动确定当前变焦倍数,并确定当前变焦倍数所属的变焦倍数范围。当当前变焦倍数属于第一变焦倍数范围内时,确定目标摄像头为广角摄像头,利用广角摄像头获取多帧第一图像;当当前变焦倍数属于第二变焦倍数范围或第三变焦倍数范围时,确定目标摄像头为主摄摄像头1931,利用主摄摄像头1931获取多帧第二图像。当当前变焦倍数属于第四变焦倍数范围时,确定目标摄像头为长焦摄像头1934,利用长焦摄像头获取多帧第四图像。然后,对多帧第一图像、多帧第二图像或多帧第四图像进行第二预处理,得到对应的位于RAW域的第二预处理图像,再对第二预处理图像进行前端处理,得到对应的前端处理图像,接着,对前端处理图像进行后端处理,得到对应的后端处理图像,将后端处理图像作为拍摄图像。
例如,如上述实施例1至4所示,若是中高照度,则自动确定当前变焦倍数,并确定当前变焦倍数所属的变焦倍数范围。若当前变焦倍数属于第一变焦倍数范围,则利用如实施例1所示的方法得到拍摄图像;若当前变焦倍数属于第二变焦倍数范围,则利用如实施例2所示的方法得到拍摄图像;若当前变焦倍数属于第三变焦倍数范围,则利用如实施例3所示的方法得到拍摄图像;若当前变焦倍数属于第四变焦倍数范围,则利用如实施例4所示的方法得到拍摄图像。
本申请实施例提供一种拍摄方法,在智能模式下,通过对待拍摄场景进行自动识别,可以按照识别结果,自动调用不同模式的处理方法获取拍摄图像。由此,可以降低用户的使用门槛,自适应的得到最佳效果的、高清晰度、高质量的拍摄图像。
上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。可以理解的是,电子设备,为了实现上述功能,其包含了执行每一个功能相应的硬件结构或软件模块,或两者结合。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应每一个功能划分每一个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。下面以采用对应每一个功能划分每一个功能模块为例进行说明:
图40为本申请实施例提供的一种图像处理装置的结构示意图。如图40所示,该图像处理装置300包括确定模块310、处理模块320和多个摄像头,该多个摄像头包括广角摄像头1933、主摄摄像头1931、黑白摄像头1932和长焦摄像头1934。
确定模块310,用于确定当前拍摄模式。其中,拍摄模式包括:拍照模式、录像模式、夜景模式、人像模式、大光圈模式、HDR模式、智能模式。
当当前拍摄模式为拍照模式时,确定模块310,还用于确定待拍摄场景的照度和当前变焦倍数。处理模块320,用于根据待拍摄场景的照度和当前变焦倍数,确定目标摄像头,并利用目标摄像头获取原始图像。处理模块320,还用于对原始图像处理,得到拍摄图像。
可选地,当待拍摄场景的照度大于或等于预设照度阈值,确定模块310,还用于确定当前变焦倍数所属变焦倍数范围。根据当前变焦倍数所属变焦倍数范围,确定目标摄像头,并利用目标摄像头获取原始图像。
可选地,当当前变焦倍数属于第一变焦倍数范围时,确定模块310,还用于确定目标摄像头为广角摄像头和主摄摄像头1931,利用广角摄像头获取第一图像,并利用主摄摄像头1931获取第二图像,原始图像包括第一图像和第二图像。
当当前变焦倍数属于第二变焦倍数范围时,确定模块310,还用于确定目标摄像头为主摄摄像头1931和黑白摄像头1932,利用主摄摄像头1931获取第二图像,并利用黑白摄像头获取第三图像,原始图像包括第二图像和第三图像。
当当前变焦倍数属于第三变焦倍数范围时,确定模块310,还用于确定目标摄像头为主摄摄像头1931和长焦摄像头,利用主摄摄像头1931获取第二图像,并利用长焦摄像头获取第四图像,原始图像包括第二图像和第四图像。
当当前变焦倍数属于第四变焦倍数范围时,确定目标摄像头为长焦摄像头1934,利用长焦摄像头获取第四图像,原始图像包括第四图像。
当待拍摄场景的照度小于预设照度阈值时,或者,当拍摄模式为夜景模式时,确定模块310,用于确定当前变焦倍数所属变焦倍数范围;根据当前变焦倍数所属变焦倍数范围,确定目标摄像头,并利用目标摄像头获取原始图像。
可选地,当当前变焦倍数属于所述第一变焦倍数范围时,确定模块310,还用于确定目标摄像头为广角摄像头1933,利用广角摄像头1933获取多帧第一图像,原始图像包括多帧第一图像。
当当前变焦倍数属于第二变焦倍数范围或第三变焦倍数范围时,确定模块310,还用于确定目标摄像头为主摄摄像头1931,利用主摄摄像头1931获取多帧第二图像,原始图像包括多帧所述第二图像。
当当前变焦倍数属于第四变焦倍数范围时,确定目标摄像头为长焦摄像头1934,利用长焦摄像头1934获取多帧第四图像,原始图像包括多帧第四图像。
当当前拍摄模式为录像模式或HDR模式时,确定模块310,还用于确定当前变焦倍数所属变焦倍数范围;根据当前变焦倍数所属变焦倍数范围,确定目标摄像头,并利用目标摄像头获取原始图像;处理模块320,还用于对原始图像进行处理,得到拍摄图像。
当拍摄模式为大光圈模式或人像模式时,利用主摄摄像头1931获取多帧第二图像,并利用黑白摄像头1932获取多帧第三图像。
处理模块320,用于对多帧第二图像、多帧第三图像分别进行前端处理,得到各自对应的多帧前端处理图像;利用前端融合模块分别将多帧第二图像对应的多帧前端处理图像、多帧第三图像对应的多帧前端处理图像进行融合,得到多帧第二图像、多帧第三图像分别对应的前端融合图像;对多帧第二图像、多帧第三图像分别对应的前端融合图像均进行后端处理,得到各自对应的后端处理图像;对多帧第二图像和多帧第三图像对应的后端处理图像进行深度估计处理,得到深度图像;利用深度图像对多帧第二图像对应的后端处理图像进行虚化处理,得到对应的虚化处理图像。
或者,当电子设备还包括TOF摄像头1935,在拍摄模式为大光圈模式或人像模式时,利用主摄摄像头1931获取多帧第二图像,并利用TOF摄像头1935获取待拍摄场景的深度信息,处理模块320,用于利用深度信息生成深度图像。
处理模块320,还用于对多帧第二图像进行前端处理,得到对应的多帧前端处理图像;利用前端融合模块将多帧第二图像对应的多帧前端处理图像进行融合,得到多帧第二图像对应的前端融合图像;对前端融合图像进行后端处理,得到对应的后端处理图像;利用深度图像对后端处理图像进行虚化处理,得到对应的虚化处理图像。
当拍摄模式为人像模式时,处理模块320,还用于对虚化处理图像进行美肤处理,得到美肤处理图像。
本申请实施例还提供另一种电子设备,包括摄像头模组、处理器和存储器。
摄像头模组,用于获取多帧原始图像,多帧原始图像为对相同的待拍摄场景拍摄的图像。
存储器,用于存储可在处理器上运行的计算机程序。
处理器,用于执行如上述所述的拍摄方法,和/或,执行如上述所述的多摄变焦方法。
可选地,摄像头模组包括广角摄像头、彩色摄像头、黑白摄像头和长焦摄像头。
广角摄像头,用于在处理器获取拍照指令后,获取第一图像。
主摄摄像头,用于在处理器获取所述拍照指令后,获取第二图像。
黑白摄像头,用于在处理器获取所述拍照指令后,获取第三图像。
长焦摄像头,用于在处理器获取所述拍照指令后,获取第四图像。
严格来说,是通过摄像头中的图像处理器来获取图像。其中,图像传感器例如可以为电荷耦合元件(charge-coupled device,CCD)、互补金属氧化物半导体(complementarymetal oxide semiconductor,CMOS)等。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令;当所述计算机可读存储介质在电子设备上运行时,使得该电子设备执行如实施例1至17中任一项所示的方法。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
图41为本申请实施例提供的一种芯片的结构示意图。图41所示的芯片可以为通用处理器,也可以为专用处理器。该芯片包括处理器401。其中,处理器401用于支持图像处理装置执行实施例1至17中任一项所示的技术方案。
可选的,该芯片还包括收发器402,收发器402用于接受处理器401的控制,用于支持通信装置执行实施例1至17中任一项所示的技术方案。
可选的,图41所示的芯片还可以包括:存储介质403。
需要说明的是,图41所示的芯片可以使用下述电路或者器件来实现:一个或多个现场可编程门阵列(field programmable gate array,FPGA)、可编程逻辑器件(programmable logic device,PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
上述本申请实施例提供的电子设备、图像处理装置、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法,因此,其所能达到的有益效果可参考上文所提供的方法对应的有益效果,在此不再赘述。
应理解,上述只是为了帮助本领域技术人员更好地理解本申请实施例,而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例,显然可以进行各种等价的修改或变化,例如,上述检测方法的各个实施例中某些步骤可以是不必须的,或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。
还应理解,上文对本申请实施例的描述着重于强调各个实施例之间的不同之处,未提到的相同或相似之处可以互相参考,为了简洁,这里不再赘述。
还应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,本申请实施例中,“预先设定”、“预先定义”可以通过在设备(例如,包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
还应理解,本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便,不应构成特别的限定,各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
还应理解,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
最后应说明的是:以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (21)
1.一种拍摄方法,其特征在于,应用于包括第一摄像头、第二摄像头和第三摄像头的电子设备,所述第二摄像头为黑白摄像头,所述方法包括:
获取当前变焦倍数和当前照度值;
当所述当前变焦倍数属于第一变焦倍数范围,以及所述当前照度值为第一照度时,采用所述第一摄像头和所述第二摄像头采集图像,且所述第二摄像头为辅助摄像头;
当所述当前变焦倍数属于第二变焦倍数范围,以及所述当前照度值为所述第一照度时,采用所述第一摄像头和所述第三摄像头采集图像,且所述第一摄像头为所述辅助摄像头;所述第一变焦倍数范围大于所述第二变焦倍数范围;
当所述当前变焦倍数属于第一变焦倍数范围,以及所述当前照度值为第二照度时,采用所述第一摄像头采集图像;当所述当前变焦倍数属于第二变焦倍数范围,以及所述照度值为所述第二照度时,采用所述第三摄像头采集图像;
其中,所述第二照度的照度值低于所述第一照度的照度值。
2.根据权利要求1所述的拍摄方法,其特征在于,所述电子设备还包括第四摄像头,所述方法还包括:
当所述当前变焦倍数属于第三变焦倍数范围,以及所述当前照度值为所述第一照度时,采用所述第四摄像头和所述第一摄像头采集图像,且所述第四摄像头为所述辅助摄像头;所述第三变焦倍数范围大于所述第一变焦倍数范围;
当所述当前变焦倍数属于第三变焦倍数范围,以及所述当前照度值为所述第二照度时,采用所述第一摄像头采集图像。
3.根据权利要求2所述的拍摄方法,其特征在于,所述方法还包括:
当所述当前变焦倍数属于第四变焦倍数范围,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第四摄像头采集图像;所述第四变焦倍数范围大于所述第三变焦倍数范围。
4.根据权利要求2所述的拍摄方法,其特征在于,所述方法还包括:
当所述当前变焦倍数属于第四变焦倍数范围,以及所述当前照度值为所述第一照度时,采用所述第四摄像头和所述第一摄像头采集图像,且所述第一摄像头为所述辅助摄像头;
当所述当前变焦倍数属于第四变焦倍数范围时,以及所述当前照度值为所述第二照度时,采用所述第四摄像头采集图像。
5.根据权利要求3或4所述的拍摄方法,其特征在于,所述方法还包括:
当所述当前变焦倍数属于第五变焦倍数范围时,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第四摄像头采集图像;所述第五变焦倍数范围大于所述第四变焦倍数范围。
6.根据权利要求5所述的拍摄方法,其特征在于,所述方法还包括:
当所述当前变焦倍数属于第六变焦倍数范围,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第三摄像头采集图像;所述第二变焦倍数范围大于所述第六变焦倍数范围。
7.根据权利要求6所述的拍摄方法,其特征在于,所述方法还包括:
当所述当前变焦倍数属于第一变焦倍数范围时,以及所述当前照度值为所述第一照度时,采用所述第三摄像头、所述第一摄像头和所述第二摄像头采集图像,所述第三摄像头、所述第二摄像头均为所述辅助摄像头。
8.根据权利要求1至7中任一项所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第一变焦倍数范围,以及所述当前照度值为第一照度时,采用所述第一摄像头和所述第二摄像头采集图像,包括:
当所述当前变焦倍数属于第一变焦倍数范围,以及所述当前照度值为第一照度时,采用所述第一摄像头采集一帧或一帧以上图像,并采用所述第二摄像头采集一帧或一帧以上图像;
对所述第一摄像头采集的一帧或一帧以上图像和所述第二摄像头采集的一帧或一帧以上图像进行处理,得到拍摄图像。
9.根据权利要求1至7中任一项所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第二变焦倍数范围,以及所述当前照度值为所述第一照度时,采用所述第一摄像头和所述第三摄像头采集图像,包括:
当所述当前变焦倍数属于第二变焦倍数范围时,以及所述当前照度值为第一照度时,采用所述第一摄像头采集一帧或一帧以上图像,并采用所述第三摄像头采集一帧或一帧以上图像;
对所述第一摄像头采集的一帧或一帧以上图像和所述第三摄像头采集的一帧或一帧以上图像进行处理,得到拍摄图像。
10.根据权利要求2至7中任一项所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第三变焦倍数范围,以及所述当前照度值为所述第一照度时,采用所述第四摄像头和所述第一摄像头采集图像,包括:
当所述当前变焦倍数属于第三变焦倍数范围,以及所述当前照度值为第一照度时,采用所述第一摄像头采集一帧或一帧以上图像,并采用所述第四摄像头采集一帧或一帧以上图像;
对所述第一摄像头采集的一帧或一帧以上图像和所述第四摄像头采集的一帧或一帧以上图像进行处理,得到所述拍摄图像。
11.根据权利要求3至7中任一项所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第四变焦倍数范围,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第四摄像头采集图像,包括:
当所述当前变焦倍数属于第四变焦倍数范围,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第四摄像头采集两帧或两帧以上图像;
对所述第四摄像头采集的两帧或两帧以上图像进行处理,得到所述拍摄图像。
12.根据权利要求4至7中任一项所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第四变焦倍数范围时,以及所述当前照度值为所述第一照度时,采用所述第四摄像头和所述第一摄像头采集图像,包括:
当所述当前变焦倍数属于第四变焦倍数范围,以及所述当前照度值为所述第一照度时,采用所述第一摄像头采集一帧或一帧以上图像,并采用所述第四摄像头采集一帧或一帧以上图像;
对所述第一摄像头采集的一帧或一帧以上图像和所述第四摄像头采集的一帧或一帧以上图像进行处理,得到所述拍摄图像。
13.根据权利要求5至7中任一项所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第五变焦倍数范围,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第四摄像头采集图像,包括:
当所述当前变焦倍数属于第五变焦倍数范围,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第四摄像头采集两帧或两帧以上图像;
对所述第四摄像头采集的两帧或两帧以上图像进行处理,得到所述拍摄图像。
14.根据权利要求6或7所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第六变焦倍数范围,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第三摄像头采集图像,包括:
当所述当前变焦倍数属于第六变焦倍数范围,以及所述当前照度值为所述第一照度或所述第二照度时,采用所述第三摄像头采集两帧或两帧以上图像;
对所述第三摄像头采集的两帧或两帧以上图像进行处理,得到所述拍摄图像。
15.根据权利要求7所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第一变焦倍数范围,以及所述当前照度值为所述第一照度时,采用所述第三摄像头、所述第一摄像头和所述第二摄像头采集图像,包括:
当所述当前变焦倍数属于第一变焦倍数范围,以及所述当前照度值为所述第一照度时,采用所述第三摄像头采集一帧或一帧以上图像、采用所述第一摄像头采集一帧或一帧以上图像,以及采用所述第二摄像头采集一帧或一帧以上图像;
对所述第三摄像头采集的一帧或一帧以上图像、所述第一摄像头采集的一帧或一帧以上图像,以及所述第二摄像头采集的一帧或一帧以上图像进行处理,得到所述拍摄图像。
16.根据权利要求2至7中任一项所述的拍摄方法,其特征在于,当所述当前变焦倍数属于第一变焦倍数范围,以及所述当前照度值为所述第二照度时,采用所述第一摄像头采集图像,包括:
当所述当前变焦倍数属于第一变焦倍数范围,以及所述当前照度值为所述第二照度时,采用所述第一摄像头采集两帧或两帧以上图像;对所述第一摄像头采集的两帧或两帧以上图像进行处理,得到所述拍摄图像;
当所述当前变焦倍数属于第二变焦倍数范围,以及所述当前照度值为所述第二照度时,采用所述第三摄像头采集图像,包括:
当所述当前变焦倍数属于第二变焦倍数范围,以及所述当前照度值为所述第二照度时,采用所述第三摄像头采集两帧或两帧以上图像;对所述第三摄像头采集的两帧或两帧以上图像进行处理,得到所述拍摄图像;
当所述当前变焦倍数属于第三变焦倍数范围,以及所述当前照度值为所述第二照度时,采用所述第一摄像头采集图像,包括:
当所述当前变焦倍数属于第三变焦倍数范围,以及所述当前照度值为所述第二照度时,采用所述第一摄像头采集两帧或两帧以上图像;对所述第一摄像头采集的两帧或两帧以上图像进行处理,得到所述拍摄图像。
17.根据权利要求1至16中任一项所述的拍摄方法,其特征在于,所述第二摄像头的视场角与所述第三摄像头的视场角之间存在重叠。
18.一种电子设备,其特征在于,包括摄像头模组、处理器和存储器;
所述摄像头模组,用于获取原始图像;
所述存储器,用于存储可在所述处理器上运行的计算机程序;
所述处理器,用于执行如权利要求1至17中任一项所述的拍摄方法。
19.根据权利要求18所述的电子设备,其特征在于,所述摄像头模组包括多个摄像头,所述多个摄像头包括:广角摄像头、主摄摄像头、黑白摄像头和长焦摄像头;所述多个摄像头用于对同一待拍摄场景进行拍摄;
所述广角摄像头,用于在所述处理器获取拍照指令后,获取第一图像;
所述主摄摄像头,用于在所述处理器获取所述拍照指令后,获取第二图像;
所述黑白摄像头,用于在所述处理器获取所述拍照指令后,获取第三图像;
所述长焦摄像头,用于在所述处理器获取所述拍照指令后,获取第四图像。
20.一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如权利要求1至17中任一项所述的拍摄方法。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,使所述处理器执行如权利要求1至17中任一项所述的拍摄方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311690938.6A CN117880628A (zh) | 2021-08-11 | 2021-08-11 | 拍摄方法及其相关设备 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110921519.3A CN115633252B (zh) | 2021-08-11 | 2021-08-11 | 拍摄方法及其相关设备 |
CN202311690938.6A CN117880628A (zh) | 2021-08-11 | 2021-08-11 | 拍摄方法及其相关设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110921519.3A Division CN115633252B (zh) | 2021-08-11 | 2021-08-11 | 拍摄方法及其相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117880628A true CN117880628A (zh) | 2024-04-12 |
Family
ID=84902315
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110921519.3A Active CN115633252B (zh) | 2021-08-11 | 2021-08-11 | 拍摄方法及其相关设备 |
CN202311690938.6A Pending CN117880628A (zh) | 2021-08-11 | 2021-08-11 | 拍摄方法及其相关设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110921519.3A Active CN115633252B (zh) | 2021-08-11 | 2021-08-11 | 拍摄方法及其相关设备 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4156673B1 (zh) |
CN (2) | CN115633252B (zh) |
WO (1) | WO2023015980A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115866155B (zh) * | 2023-02-27 | 2023-05-16 | 中铁电气化局集团有限公司 | 一种使用融合算法处理高铁检修数据的方法及装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006191411A (ja) * | 2005-01-07 | 2006-07-20 | Canon Inc | カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム |
US9716825B1 (en) * | 2016-06-12 | 2017-07-25 | Apple Inc. | User interface for camera effects |
US10297034B2 (en) * | 2016-09-30 | 2019-05-21 | Qualcomm Incorporated | Systems and methods for fusing images |
CN106791378A (zh) * | 2016-11-29 | 2017-05-31 | 广东欧珀移动通信有限公司 | 控制方法、控制装置和电子装置 |
KR102328539B1 (ko) * | 2017-07-27 | 2021-11-18 | 삼성전자 주식회사 | 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법 |
CN108391035B (zh) * | 2018-03-26 | 2020-04-21 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
CN109068111A (zh) * | 2018-10-12 | 2018-12-21 | 北京地平线机器人技术研发有限公司 | 一种监控装置、监控方法和电子设备 |
CN111901477B (zh) * | 2019-05-06 | 2021-05-25 | 苹果公司 | 用于捕获和管理视觉媒体的用户界面 |
CN110445978B (zh) * | 2019-06-24 | 2020-12-15 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN110290325B (zh) * | 2019-06-28 | 2021-03-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110198418B (zh) * | 2019-06-28 | 2020-12-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110572581B (zh) * | 2019-10-14 | 2021-04-30 | Oppo广东移动通信有限公司 | 基于终端设备的变焦虚化图像获取方法和装置 |
CN110868547A (zh) * | 2019-12-02 | 2020-03-06 | RealMe重庆移动通信有限公司 | 拍照控制方法、拍照控制装置、电子设备及存储介质 |
CN111064895B (zh) * | 2019-12-31 | 2022-02-01 | 维沃移动通信有限公司 | 一种虚化拍摄方法和电子设备 |
US10944915B1 (en) * | 2020-01-05 | 2021-03-09 | Ningbo Sunny Opotech Co., Ltd. | Multi-aperture imaging system and application thereof |
CN111641777A (zh) * | 2020-02-28 | 2020-09-08 | 北京爱芯科技有限公司 | 图像处理方法、装置、图像处理器、电子设备及存储介质 |
CN111432143B (zh) * | 2020-04-10 | 2022-08-16 | 展讯通信(上海)有限公司 | 摄像头模组切换的控制方法、系统、介质及电子设备 |
-
2021
- 2021-08-11 CN CN202110921519.3A patent/CN115633252B/zh active Active
- 2021-08-11 CN CN202311690938.6A patent/CN117880628A/zh active Pending
-
2022
- 2022-05-06 WO PCT/CN2022/091189 patent/WO2023015980A1/zh active Application Filing
- 2022-05-06 EP EP22793379.3A patent/EP4156673B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN115633252A (zh) | 2023-01-20 |
CN115633252B (zh) | 2023-10-20 |
EP4156673A4 (en) | 2023-04-26 |
EP4156673B1 (en) | 2024-03-20 |
WO2023015980A1 (zh) | 2023-02-16 |
EP4156673A1 (en) | 2023-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022262260A1 (zh) | 一种拍摄方法及电子设备 | |
CN112532857B (zh) | 一种延时摄影的拍摄方法及设备 | |
EP3893491A1 (en) | Method for photographing the moon and electronic device | |
KR102184916B1 (ko) | 제어 장치, 제어 방법 및 전자 기기 | |
CN110572584B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN114092364B (zh) | 图像处理方法及其相关设备 | |
US8526685B2 (en) | Method and apparatus for selectively supporting raw format in digital image processor | |
CN116055897B (zh) | 拍照方法及其相关设备 | |
CN105407295B (zh) | 移动终端拍摄装置和方法 | |
CN116055874B (zh) | 一种对焦方法和电子设备 | |
CN113810590A (zh) | 图像处理方法、电子设备、介质和系统 | |
CN110581957B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN116055890A (zh) | 生成高动态范围视频的方法和电子设备 | |
CN115706850B (zh) | 图像拍摄的方法、设备和存储介质 | |
CN115633252B (zh) | 拍摄方法及其相关设备 | |
CN115426449B (zh) | 一种拍照方法和终端 | |
CN116095476B (zh) | 摄像头的切换方法、装置、电子设备及存储介质 | |
CN107071293B (zh) | 一种拍摄装置、方法和移动终端 | |
CN117651221A (zh) | 视频处理的方法及电子设备 | |
CN116051368B (zh) | 图像处理方法及其相关设备 | |
CN116055855B (zh) | 图像处理方法及其相关设备 | |
WO2024088074A1 (zh) | 拍摄月亮的方法和电子设备 | |
CN117714850A (zh) | 延时摄影方法及其相关设备 | |
CN117692799A (zh) | 一种拍摄方法及相关设备 | |
CN116723417A (zh) | 一种图像处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |