CN117156261A - 图像处理方法及相关设备 - Google Patents
图像处理方法及相关设备 Download PDFInfo
- Publication number
- CN117156261A CN117156261A CN202310370706.6A CN202310370706A CN117156261A CN 117156261 A CN117156261 A CN 117156261A CN 202310370706 A CN202310370706 A CN 202310370706A CN 117156261 A CN117156261 A CN 117156261A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- preview
- images
- button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 244
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000004590 computer program Methods 0.000 claims description 17
- 230000003247 decreasing effect Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 24
- 230000002829 reductive effect Effects 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 14
- 230000007704 transition Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000003796 beauty Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000571 coke Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Abstract
本申请实施例提供一种图像处理方法及相关设备,应用于终端技术领域。该方法中电子设备可以对在对预览图像做防抖处理,并存储防抖处理后的预览图像,电子设备在得到成片时,电子设备可以在预览图像的基础上做裁剪得到成片,或将预览图像作为成片。这样,电子设备可以预览和成片两路处理中合起来执行一次防抖处理,达到了预览和成片均有防抖处理的效果,且功耗与一些实现的仅执行预览防抖或仅执行成片防抖的功耗相差很小,降低了电子设备的功耗。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种图像处理方法及相关设备。
背景技术
电子设备中相机应用可以提供拍摄照片、动态照片或者视频等功能,其中,动态照片可以指一组静态的图片以指定的频率切换而产生动态效果的图片。通常情况下,相机应用启动后,可以显示预览界面。预览界面中可以显示预览图像。预览图像可以是相机应用根据摄像头采集到的场景显示出来的图像。预览界面中可以包括拍摄按钮或录制按钮。用户触发拍摄按钮或录制按钮后,电子设备可以拍摄得到照片、动态照片或者视频等,这些拍摄得到的照片、动态照片或者视频等可以称为“成片”。
电子设备在拍摄过程中可能会移动,导致拍摄画面存在抖动。因此,一些实现中,电子设备可以采用电子防抖(electric image stabilization,EIS)技术来减小画面抖动。EIS是利用加速度传感器和陀螺仪来侦测终端抖动的幅度,进而修正画面模糊的技术。
但是,一些进行EIS处理的方式对电子设备的功率消耗较大。
发明内容
本申请实施例提供一种图像处理方法,应用于终端技术领域,本申请实施例中预览和成片两路处理中合起来执行一次防抖处理,达到了预览和成片均有防抖处理的效果,且功耗与一些实现的仅执行预览防抖或仅执行成片防抖的功耗相差很小,降低了电子设备的功耗。
第一方面,本申请实施例提出一种图像处理方法,应用于包括摄像头的电子设备,该方法包括:第一时刻,基于摄像头获取第N图像;对第N图像进行防抖动处理,得到第N预览图像;显示第N预览图像和第一按钮,以及存储第N预览图像;第二时刻,基于摄像头获取第N+1图像;对第N+1图像进行防抖动处理,得到第N+1预览图像;显示第N+1预览图像和第一按钮,以及存储第N+1预览图像;第三时刻,接收到对第一按钮的第一触发操作;响应于第一触发操作,得到第一拍摄结果,第一拍摄结果包括M帧图像,第一拍摄结果中任一帧图像是基于电子设备中存储的预览图像裁切得到的,或者,M帧图像中任一帧图像为电子设备中存储的预览图像的其中一帧,M为大于1的整数。
需要说明的是,第一时刻和第二时刻的执行流程可以理解为对电子设备边显示防抖处理后的预览图像,边存储预览图像的场景描述,并不限定电子设备缓存预览图像的具体帧数等。第三时刻可以理解为接收到用户触发拍摄的时刻,如果第三时刻与第二时刻的时间差较短,第三时刻时,电子设备中存储的预览图像可能包括第一时刻和第二时刻得到的预览图像,如果第三时刻与第二时刻的时间差较长,第三时刻时,电子设备中存储的预览图像可能不包括第一时刻和第二时刻得到的预览图像。
这样,如果预览图像已经进行了防抖处理,电子设备可以在预览图像的基础上,不进行进一步防抖处理就获得成片,实现在不降低预览和成片的防抖效果的基础上,减小图像处理中电子设备的功率消耗。
在一种可能的实现方式中,在第一时刻,电子设备的变焦倍率在第一焦段范围;第一时刻之前,还包括:第四时刻,基于摄像头获取第J图像,在第四时刻,电子设备的变焦倍率在第二焦段范围,第一焦段范围的变焦倍率大于第二焦段范围的变焦倍率;显示第J图像和第一按钮,以及存储第J图像;接收到对第一按钮的第二触发操作;响应于第二触发操作,得到第二拍摄结果,第二拍摄结果中包括M帧图像,第二拍摄结果中任一帧是基于第四时刻后存储的图像进行防抖动处理得到的。
这样,电子设备可以对较低倍率焦段的预览图像不做防抖处理,提升预览图像显示的及时性,以及对较高倍率焦段的预览图像做防抖处理,使得预览图像的抖动较小。
在一种可能的实现方式中,第四时刻与第一时刻之间,还包括:第五时刻,基于摄像头获取第I图像,对第I图像进行防抖动处理,得到第I预览图像;在第五时刻,电子设备的变焦倍率在第三焦段范围,第三焦段范围的变焦倍率小于第一焦段范围的变焦倍率,且第三焦段范围的变焦倍率大于第二焦段范围的变焦倍率;显示第I预览图像和第一按钮,以及存储第I预览图像;接收对第一按钮的第三触发操作;响应于第三触发操作,得到第三拍摄结果,第三拍摄结果中包括M帧图像,第三拍摄结果中包括:对第五时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像,以及对第五时刻后存储的已经过防抖处理的L帧预览图像按照预设方式裁切得到的图像,预设方式包括:对于L帧预览图像中的第一帧预览图像,从第一帧预览图像中心点的目标方位进行裁切,目标方位包括:第一帧预览图像中偏向于第M-L帧处理后图像的中心点的方位,第M-L帧处理后图像为对M-L帧图像中最后一帧图像进行防抖处理后得到的图像。
这样,可以使得成片时存在变焦的情况下,使得某变焦倍率的后一帧成片图像的中心点距离该变焦倍率的前一帧成片图像的中心点较近,实现变焦中成片图像的平滑过渡。
在一种可能的实现方式中,预设方式还包括:对L帧预览图像中的第二帧预览图像至第L帧预览图像进行裁切,且裁切后得到的第二到第L帧预览图像的各自中心点,与第二到第L帧预览图像各自裁切前的中心点之间的距离为递减关系。这样,对预览图像裁切得到成片时,是逐渐向靠近中心点裁切的方式逐步过渡的过程,经过该过渡过程,可以使得变焦中成片图像更为平滑。
在一种可能的实现方式中,第一拍摄结果中任一帧图像是从电子设备存储的预览图像的中心区域裁切得到的。这样,可以得到得到满足成片算法所需的尺寸的图像。
在一种可能的实现方式中,响应于第一触发操作,得到第一拍摄结果,包括:响应于第一触发操作,持续获取M帧预览图像,并存储M帧预览图像,并基于M帧预览图像得到第一拍摄结果。这样第一拍摄结果可以是接收到用户拍摄操作之后的图像帧的集合。
在一种可能的实现方式中,响应于第一触发操作,得到第一拍摄结果,包括:响应于第一触发操作,持续获取K帧预览图像,并存储K帧预览图像;基于K帧预览图像与S帧预览图像得到第一拍摄结果,S帧预览图像为在第三时刻前电子设备存储的预览图像,S与K之和为M。这样第一拍摄结果可以是接收到用户拍摄操作之前的一部分图像帧,以及接收到用户拍摄操作之后的一部分图像帧的集合。
在一种可能的实现方式中,第一时刻之前,还包括:显示第一界面,第一界面中包括第二按钮;接收对第二按钮的触发操作;响应于对第二按钮的触发操作,在第一界面中显示预设标识,预设标识用于指示电子设备处于动态照片模式,第一按钮为动态照片模式中的按钮。这样,用户可以基于电子设备提供的用于触发进入动态照片模式的按钮进入动态照片的拍摄界面,丰富了电子设备的拍摄功能,提升用户体验。
第二方面,本申请实施例提出一种图像处理方法,应用于包括摄像头的电子设备,方法包括:
第一时刻,显示第一预览界面,第一预览界面包括第一按钮、第一变焦倍率和第一图像,第一图像是未对摄像头获取的图像进行防抖动处理的图像;接收到对第一预览界面中第一按钮的第一触发操作;响应于第一触发操作,得到第一拍摄结果,第一拍摄结果包括M帧图像,第一拍摄结果是对第一时刻后存储的M帧第一图像进行防抖动处理得到的;第二时刻,显示第二预览界面,第二预览界面包括第一按钮、第二变焦倍率和第二图像,第二图像是对摄像头获取的图像进行防抖动处理的图像,第二变焦倍率大于第一变焦倍率;接收到对第二预览界面中第一按钮的第二触发操作;响应于第二触发操作,得到第二拍摄结果,第二拍摄结果包括M帧图像,第二拍摄结果中任一帧是对第二时刻后存储的第二图像进行裁切得到的,或者第二拍摄结果中任一帧为第二时刻后存储的第二图像的其中一帧,M为大于1的整数。
这样,在较低变焦倍率时不对预览图像做防抖处理,可以减少处理预览图像产生的时延,提升预览图像显示的实时性。且在较高变焦倍率时对预览图像做防抖处理,成片为基于防抖处理后的预览图像得到的,不需要执行防抖处理流程,且达到预览和成片均有防抖的效果。
在一种可能的实现方式中,第一时刻与第二时刻之间,还包括:第三时刻,显示第三预览界面,第三预览界面包括第三变焦倍率和第三图像,第三图像是对摄像头获取的图像进行防抖动处理的图像;第三变焦倍率小于第二变焦倍率,且第三变焦倍率大于第一变焦倍率;接收到对第三预览界面中第一按钮的第三触发操作;响应于第三触发操作,得到第三拍摄结果,第三拍摄结果包括M帧图像,第三拍摄结果包括从第一时刻后存储的图像中偏离中心的区域裁切得到的图像。对第三时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像,以及对第一时刻后存储的已经过防抖处理的L帧图像按照预设方式裁切得到的图像,预设方式包括:对于L帧图像中的第一帧图像,从第一帧图像中心点的目标方位进行裁切,目标方位包括:第一帧图像中偏向于第M-L帧处理后图像的中心点的方位,第M-L帧处理后图像为对M-L帧图像中最后一帧图像进行防抖处理后得到的图像。
这样,可以使得成片时存在变焦的情况下,使得某变焦倍率的后一帧成片图像的中心点距离该变焦倍率的前一帧成片图像的中心点较近,实现变焦中成片图像的平滑过渡。
在一种可能的实现方式中,预设方式还包括:对L帧图像中的第二帧图像至第L帧图像进行裁切,且裁切后得到的第二到第L帧图像各自的中心点,与第二到第L帧图像各自裁切前的中心点之间的距离为递减关系。这样,对预览图像裁切得到成片时,是逐渐向靠近中心点裁切的方式逐步过渡的过程,经过该过渡过程,可以使得变焦中成片图像更为平滑。
在一种可能的实现方式中,第二拍摄结果中任一帧是从第二时刻后存储的预览图像的中心区域裁切得到的。
在一种可能的实现方式中,第一时刻之前,还包括:显示第一界面,第一界面中包括第二按钮;接收到对第二按钮的触发操作;响应于对第二按钮的触发操作,在第一界面中显示预设标识,预设标识用于指示电子设备处于动态照片模式。
第三方面,本申请实施例提供一种图像处理装置,该图像处理装置可以是电子设备,也可以是电子设备内的芯片或者芯片系统。该图像处理装置可以包括显示单元和处理单元。当该图像处理装置是电子设备时,该处显示单元可以是显示屏。该显示单元用于执行显示的步骤,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备时,该处理单元可以是处理器。该图像处理装置还可以包括存储单元,该存储单元可以是存储器。该存储单元用于存储指令,该处理单元执行该存储单元所存储的指令,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的方法。当该图像处理装置是电子设备内的芯片或者芯片系统时,该处理单元可以是处理器。该处理单元执行存储单元所存储的指令,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的方法。该存储单元可以是该芯片内的存储单元(例如,寄存器、缓存等),也可以是该电子设备内的位于该芯片外部的存储单元(例如,只读存储器、随机存取存储器等)。
示例性的,第一时刻,处理单元,用于基于摄像头获取第N图像;对第N图像进行防抖动处理,得到第N预览图像;显示单元,用于显示第N预览图像和第一按钮,存储单元,用于存储第N预览图像;第二时刻,处理单元,用于基于摄像头获取第N+1图像;对第N+1图像进行防抖动处理,得到第N+1预览图像;显示单元,用于显示第N+1预览图像和第一按钮,存储单元,用于存储第N+1预览图像;第三时刻,显示单元,用于接收到对第一按钮的第一触发操作;处理单元,用于响应于第一触发操作,得到第一拍摄结果,第一拍摄结果包括M帧图像,第一拍摄结果中任一帧图像是基于电子设备中存储的预览图像裁切得到的,或者,M帧图像中任一帧图像为电子设备中存储的预览图像的其中一帧,M为大于1的整数。
在一种可能的实现方式中,在第一时刻,电子设备的变焦倍率在第一焦段范围;第四时刻,处理单元,还用于基于摄像头获取第J图像,在第四时刻,电子设备的变焦倍率在第二焦段范围,第一焦段范围的变焦倍率大于第二焦段范围的变焦倍率;显示单元,还用于显示第J图像和第一按钮,存储单元,还用于存储第J图像;显示单元,还用于接收到对第一按钮的第二触发操作;处理单元,还用于响应于第二触发操作,得到第二拍摄结果,第二拍摄结果中包括M帧图像,第二拍摄结果中任一帧是基于第四时刻后存储的图像进行防抖动处理得到的。
在一种可能的实现方式中,第五时刻,处理单元,还用于基于摄像头获取第I图像,对第I图像进行防抖动处理,得到第I预览图像;在第五时刻,电子设备的变焦倍率在第三焦段范围,第三焦段范围的变焦倍率小于第一焦段范围的变焦倍率,且第三焦段范围的变焦倍率大于第二焦段范围的变焦倍率;显示单元,还用于显示第I预览图像和第一按钮,存储单元,还用于存储第I预览图像;显示单元,还用于接收对第一按钮的第三触发操作;处理单元,还用于响应于第三触发操作,得到第三拍摄结果,第三拍摄结果中包括M帧图像,第三拍摄结果中包括:对第五时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像,以及对第五时刻后存储的已经过防抖处理的L帧预览图像按照预设方式裁切得到的图像,预设方式包括:对于L帧预览图像中的第一帧预览图像,从第一帧预览图像中心点的目标方位进行裁切,目标方位包括:第一帧预览图像中偏向于第M-L帧处理后图像的中心点的方位,第M-L帧处理后图像为对M-L帧图像中最后一帧图像进行防抖处理后得到的图像。
在一种可能的实现方式中,预设方式还包括:对L帧预览图像中的第二帧预览图像至第L帧预览图像进行裁切,且裁切后得到的第二到第L帧预览图像的各自中心点,与第二到第L帧预览图像各自裁切前的中心点之间的距离为递减关系。这样,对预览图像裁切得到成片时,是逐渐向靠近中心点裁切的方式逐步过渡的过程,经过该过渡过程,可以使得变焦中成片图像更为平滑。
在一种可能的实现方式中,第一拍摄结果中任一帧图像是从电子设备存储的预览图像的中心区域裁切得到的。这样,可以得到得到满足成片算法所需的尺寸的图像。
在一种可能的实现方式中,处理单元,具体用于响应于第一触发操作,持续获取M帧预览图像,并存储M帧预览图像,并基于M帧预览图像得到第一拍摄结果。这样第一拍摄结果可以是接收到用户拍摄操作之后的图像帧的集合。
在一种可能的实现方式中,处理单元,具体用于响应于第一触发操作,持续获取K帧预览图像,并存储K帧预览图像;基于K帧预览图像与S帧预览图像得到第一拍摄结果,S帧预览图像为在第三时刻前电子设备存储的预览图像,S与K之和为M。这样第一拍摄结果可以是接收到用户拍摄操作之前的一部分图像帧,以及接收到用户拍摄操作之后的一部分图像帧的集合。
在一种可能的实现方式中,第一时刻之前,显示单元,还用于显示第一界面,第一界面中包括第二按钮;显示单元,还用于接收对第二按钮的触发操作;显示单元,还用于响应于对第二按钮的触发操作,在第一界面中显示预设标识,预设标识用于指示电子设备处于动态照片模式,第一按钮为动态照片模式中的按钮。
第四方面,本申请实施例提供一种图像处理装置,该图像处理装置可以是电子设备,也可以是电子设备内的芯片或者芯片系统。该图像处理装置可以包括显示单元和处理单元。当该图像处理装置是电子设备时,该处显示单元可以是显示屏。该显示单元用于执行显示的步骤,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备时,该处理单元可以是处理器。该图像处理装置还可以包括存储单元,该存储单元可以是存储器。该存储单元用于存储指令,该处理单元执行该存储单元所存储的指令,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的方法。当该图像处理装置是电子设备内的芯片或者芯片系统时,该处理单元可以是处理器。该处理单元执行存储单元所存储的指令,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的方法。该存储单元可以是该芯片内的存储单元(例如,寄存器、缓存等),也可以是该电子设备内的位于该芯片外部的存储单元(例如,只读存储器、随机存取存储器等)。
示例性的,第一时刻,显示单元,用于显示第一预览界面,第一预览界面包括第一按钮、第一变焦倍率和第一图像,第一图像是未对摄像头获取的图像进行防抖动处理的图像;显示单元,还用于还接收到对第一预览界面中第一按钮的第一触发操作;处理单元,用于响应于第一触发操作,得到第一拍摄结果,第一拍摄结果包括M帧图像,第一拍摄结果是对第一时刻后存储的M帧第一图像进行防抖动处理得到的;第二时刻,显示单元,用于示第二预览界面,第二预览界面包括第一按钮、第二变焦倍率和第二图像,第二图像是对摄像头获取的图像进行防抖动处理的图像,第二变焦倍率大于第一变焦倍率;显示单元,用于接收到对第二预览界面中第一按钮的第二触发操作;处理单元,用于响应于第二触发操作,得到第二拍摄结果,第二拍摄结果包括M帧图像,第二拍摄结果中任一帧是对第二时刻后存储的第二图像进行裁切得到的,或者第二拍摄结果中任一帧为第二时刻后存储的第二图像的其中一帧,M为大于1的整数。
在一种可能的实现方式中,第三时刻,显示单元,用于显示第三预览界面,第三预览界面包括第三变焦倍率和第三图像,第三图像是对摄像头获取的图像进行防抖动处理的图像;第三变焦倍率小于第二变焦倍率,且第三变焦倍率大于第一变焦倍率;显示单元,用于接收到对第三预览界面中第一按钮的第三触发操作;处理单元,用于响应于第三触发操作,得到第三拍摄结果,第三拍摄结果包括M帧图像,第三拍摄结果包括从第一时刻后存储的图像中偏离中心的区域裁切得到的图像。对第三时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像,以及对第一时刻后存储的已经过防抖处理的L帧图像按照预设方式裁切得到的图像,预设方式包括:对于L帧图像中的第一帧图像,从第一帧图像中心点的目标方位进行裁切,目标方位包括:第一帧图像中偏向于第M-L帧处理后图像的中心点的方位,第M-L帧处理后图像为对M-L帧图像中最后一帧图像进行防抖处理后得到的图像。
在一种可能的实现方式中,预设方式还包括:对L帧图像中的第二帧图像至第L帧图像进行裁切,且裁切后得到的第二到第L帧图像各自的中心点,与第二到第L帧图像各自裁切前的中心点之间的距离为递减关系。
在一种可能的实现方式中,第二拍摄结果中任一帧是从第二时刻后存储的预览图像的中心区域裁切得到的。
在一种可能的实现方式中,第一时刻之前,显示单元,用于显示第一界面,第一界面中包括第二按钮;显示单元,用于接收到对第二按钮的触发操作;显示单元,用于响应于对第二按钮的触发操作,在第一界面中显示预设标识,预设标识用于指示电子设备处于动态照片模式。
第五方面,本申请实施例提供一种电子设备,包括处理器和存储器,存储器用于存储代码指令,处理器用于运行代码指令,以执行第一方面或第二方面的任意一种可能的实现方式中描述的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现如第一方面或第二方面的方法。
第七方面,本申请实施例提供一种计算机程序产品,计算机程序产品包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面或第二方面的方法。
第八方面,本申请提供一种芯片或者芯片系统,该芯片或者芯片系统包括至少一个处理器和通信接口,通信接口和至少一个处理器通过线路互联,至少一个处理器用于运行计算机程序或指令,以执行第一方面或第二方面的任意一种可能的实现方式中描述的方法。其中,芯片中的通信接口可以为输入/输出接口、管脚或电路等。
在一种可能的实现中,本申请中上述描述的芯片或者芯片系统还包括至少一个存储器,该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元,例如,寄存器、缓存等,也可以是该芯片的存储单元(例如,只读存储器、随机存取存储器等)。
应当理解的是,本申请的第二方面至第八方面与本申请的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1为防抖处理的原理示意图;
图2为视频的防抖处理效果的示意图;
图3为本申请实施例提供的电子设备的硬件结构示意图;
图4为本申请实施例提供的电子设备的软件结构示意图;
图5为本申请实施例提供的一种软件模块交互示意图;
图6为本申请实施例提供的另一种软件模块交互示意图;
图7为本申请实施例提供的各焦段预览和成片处理的对照示意图;
图8为本申请实施例提供的预览和成片处理的对照示意图;
图9为本申请实施例提供的变焦场景中平滑处理的示意图;
图10为本申请实施例提供的电子设备提供的拍摄动态照片的界面示意图;
图11为本申请实施例提供的图像处理方法的流程示意图;
图12为本申请实施例提供的距离裁切中中心点距离的变化关系示意图;
图13为本申请实施例提供的芯片的硬件结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,以下,对本申请实施例中所涉及的部分术语和技术进行简单介绍:
1、sensor:可以称为感光元件或传感器;用于将通过镜头的光信号转换为电信号。
2、IFE:图像前端(image front end,IFE);sensor输出的电信号可以通过IFE进行颜色校正、下采样、去马赛克等处理。
3、SAT:空间对齐(spatial align transaction,SAT);对图像进行对齐处理。
4、EIS:EIS技术的原理是利用加速度传感器和陀螺仪模块来侦测设备抖动的幅度,进行反向补偿来修正抖动产生的模糊。
5、warp:可以理解为一种图像变换方法,能够用于实现图像的平移、比例缩放、旋转变换等处理。warp可以与EIS结合,根据EIS确定的反向补偿对图像进行变换,实现防抖。
6、LDC:镜头畸变校正(lens distortion correction,LDC);能够实现校正镜头引入的图像畸变。
7、beauty算法:也可以称为美肤算法,可以对图像中皮肤区域进行优化,例如增大皮肤区域的亮度、改变皮肤区域颜色等。
8、其他术语
在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a--c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
需要说明的是,本申请实施例中的“在……时”,可以为在某种情况发生的瞬时,也可以为在某种情况发生后的一段时间内,本申请实施例对此不作具体限定。此外,本申请实施例提供的显示界面仅作为示例,显示界面还可以包括更多或更少的内容。
9、电子设备
本申请实施例的电子设备可以包括具有图像处理功能的手持式设备、车载设备等。例如,一些电子设备为:手机(mobile phone)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备,虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(session initiation protocol,SIP)电话、无线本地环路(wireless local loop,WLL)站、个人数字助理(personal digital assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备,5G网络中的电子设备或者未来演进的公用陆地移动通信网络(publicland mobile network,PLMN)中的电子设备等,本申请实施例对此并不限定。
作为示例而非限定,在本申请实施例中,该电子设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,例如:智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。
此外,在本申请实施例中,电子设备还可以是物联网(internet of things,IoT)系统中的电子设备,IoT是未来信息技术发展的重要组成部分,其主要技术特点是将物品通过通信技术与网络连接,从而实现人机互连,物物互连的智能化网络。
本申请实施例中的电子设备也可以称为:电子设备、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。
在本申请实施例中,电子设备或各个网络设备包括硬件层、运行在硬件层之上的操作系统层,以及运行在操作系统层上的应用层。该硬件层包括中央处理器(centralprocessing unit,CPU)、内存管理单元(memory management unit,MMU)和内存(也称为主存)等硬件。该操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统,例如,Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。
电子设备可以提供拍照、录制视频以及拍摄动态照片等功能。实现这些功能时,电子设备可以根据相机采集到的数据,显示预览图像(display,也可以称为取景画面),使用户预览成片效果。用户可以根据预览图像确定拍摄内容,用户触发拍照或录制按钮完成拍摄,电子设备可以得到拍摄结果(成片)。
其中,电子设备在实现拍照功能时,因为在拍摄和成片都是在较短时间内完成的,因此,一些实现中,电子设备不对预览图像和成片做防抖处理。
示例性的,如图1中的(a)所示,输入为相机捕获的图像,输出为预览图像;或者,输入为预览图像,输出为成片。输出可以是以输入的中心点为中心进行剪切得到的。该剪切是为了适应预览显示或成片时的算法尺寸要求,具体的,电子设备可以从相机捕获的图像中各图像的中心点周围剪切出固定区域。
电子设备在实现录制视频功能时,因为录制视频经常伴随着电子设备的移动,可能导致电子设备录制的画面发生抖动,因此,一些实现中,电子设备在实现录制视频功能时,电子设备可以在显示预览图像时进行一次EIS处理,在生成成片时进行一次EIS处理。
示例性的,在录制视频过程进行预览显示时,电子设备可以对相机捕获的图像中各图像的中心点存在一定偏移的位置的周围处,剪切出设定尺寸的图像,得到预览图像,实现一次EIS处理。其中,偏移的具体值可以是基于EIS确定图像之间的运动信息,再基于运动信息确定防抖补偿得到的。如图1中的(b)所示,输入可以为相机捕获的图像,输出可以为预览图像时,输出可以是对输入的中心点进行偏移后,以偏移后的位置为中心进行剪切得到的。
在录制视频过程进行成片生成时,类似的,电子设备可以对相机捕获的图像中各图像的中心点存在一定偏移的位置的周围处,剪切出设定尺寸的图像,得到成片,再实现一次EIS处理。对应于图1中的(b)所示,输入可以为相机捕获的图像,输出可以为成片,输出可以是对输入的中心点进行偏移后,以偏移后的位置为中心进行剪切得到的。
示例性的,图1中的(c)以网格示出了输入经过EIS处理后得到输出的网格图。如图1中的(c)所示,实线网格可以表述输入网格,虚线网格可以标识输出网格。输入网格包括输入图像中的位置点,输出网格包括防抖处理后的输出图像中的位置点。EIS可以分别确定输入网络中每个点的防抖补偿,点1为输入的图像中的第一个点,防抖补偿后该点1对应的位置点为点2。EIS确定输入网格中每个位置点的防抖补偿后,电子设备可以采用warp等将输入图像从输入网格所示的位置变换至输出网格所示的位置处。电子设备基于变换后的位置从图像中剪切出设定尺寸的图像,作为输出。
可以理解的是,对预览图像进行EIS处理,以及对成片进行EIS处理,可以减小预览图像和成片中连续图像帧之间的抖动,使得电子设备显示的图像画面间出现跳变的情况减少,提升图像显示的平滑度。示例性的,图2示出了经过EIS处理和未经过EIS处理的视频对照的示意图。如图2中的(a)所示,视频1为没有经过防抖处理的视频,该视频1中画面中心点连成的曲线折弯度较大,不平滑,呈现的视频画面抖动较大。如图2中的(b)所示,视频2为经过防抖处理的视频,视频2的画面中心点连成的曲线比较平滑,呈现的视频画面抖动较小。
但是,在上述实现中,要实现预览和成片均达到防抖效果,需要执行两次EIS流程,需要的计算量较大,从而造成电子设备的功耗较大。
电子设备在实现拍摄动态照片功能时,因为动态照片类似于一段小视频,因此要实现动态照片的预览和成片均有较好的防抖效果,可能想到的是将拍摄视频时采用的执行两次EIS防抖的方式用在拍摄动态照片中,这样也会导致电子设备的功耗较大。
且需要说明的是,因为电子设备在实现拍摄视频的功能时,电子设备的预览界面中需要实时呈现摄像头采集得到的预览图像,电子设备移动时,预览图像要跟着电子设备的移动实时变化,因此对预览图像进行防抖时,对时延要求高,为了尽快得到下一帧要显示的预览图像,电子设备需要缓存较少的图像帧,基于较少的图像帧做EIS处理。而生成视频成片时,视频成片对平滑度要求较高,电子设备需要缓存较多的图像帧,并基于较多的图像帧实现更精确的防抖计算。因此,上述拍摄视频的实现中,预览防抖和成片防抖需要分别执行,即需要执行两次EIS流程,而无法通过执行一次EIS流程实现预览和成片均有防抖效果。
而电子设备在实现拍摄动态照片功能时,动态照片成片包括的帧数通常较小,因此本申请实施例中可以将执行防抖处理后得到的预览图像作为成片,或者将执行防抖处理后得到的预览图像裁切为适合成片算法的尺寸后,得到成片。无论那种实现,预览和成片两路处理中合起来执行一次防抖处理,达到了预览和成片均有防抖处理的效果,且功耗与一些实现的仅执行预览防抖或仅执行成片防抖的功耗相差很小,降低了电子设备的功耗。
示例性的,本申请实施例提供一种图像处理方法,如果预览图像已经进行了防抖处理,电子设备可以在预览图像的基础上,不进行进一步防抖处理就获得成片,实现在不降低预览和成片的防抖效果的基础上,减小图像处理中电子设备的功率消耗。
为了能够更好地理解本申请实施例,下面对本申请实施例的电子设备的结构进行介绍:
图3示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integratedcircuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件,例如sensor上,光信号转换为电信号,sensor将电信号传递给ISP处理,转换为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数进行优化。例如,ISP中可以设置IFE,来实现图像的去马赛克,颜色校正等算法。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换为数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换为标准的RGB,YUV等格式的图像信号。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如动态图像专家组(moving picture experts group,MPEG),高级视频编码(advanced video coding,AVC),音视频交错(audio video interactive,AVI)等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构,等。本申请实施例以分层架构的android系统为例,示例性说明电子设备100的软件结构。
图4是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为五层,从上至下分别为应用层,应用框架层,硬件抽象层(hardware abstract layer,HAL),驱动层以及硬件层。
应用层可以包括一系列应用程序包。
如图4所示,应用程序包可以包括相机。在一些实施例中,应用程序包还可以包括系统用户界面(systemUI),电话,地图,电话,音乐,设置,桌面(launcher),视频,社交等应用程序。
应用框架层为应用层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用框架层包括一些预先定义的函数。
如图4所示,应用框架层可以包括相机访问接口。
相机访问接口使得应用程序如相机应用可以访问相机设备,进行相机管理。例如管理相机拍摄照片、录制视频等。本申请实施例中,相机访问接口中可以包括不同拍摄模式的接口,例如,动态照片接口,录像接口和拍照接口。其中,动态照片接口是相机访问接口提供的用于实现拍摄动态照片功能的接口。拍照接口可以是相机访问接口中提供的实现拍摄照片功能的接口。录像接口是相机访问接口提供的用于实现拍摄视频功能的接口。
在一些实施例中,应用程序框架层中还可以包括窗口管理器、内容提供器、资源管理器、视图系统等组件,通过这些组件,应用程序层中的相机应用可以实现图形用户界面的显示。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,触摸屏幕,拖拽屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。本申请实施例的视图系统可以包括view或surface view。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
HAL是应用程序框架层以及内核层之间的接口层,为系统提供虚拟硬件平台。
如图4所示,HAL中可以包括相机硬件抽象层以及相机算法库。
其中,相机硬件抽象层可以提供相机设备(或称为摄像头或传感器)的虚拟硬件。一些实施例中,相机硬件抽象层可以包括N个相机设备的虚拟硬件,N为自然数。N个相机设备的焦距可以不同。相机硬件抽象层还可以包括图像处理服务。
图像处理服务是相机访问接口在HAL中的硬件抽象模块,为相机访问接口提供图像处理能力。例如,相机访问接口通过与图像处理服务交互,实现对图像、视频、动态照片等多媒体数据的防抖处理。其中,本申请实施例的图像处理服务也可以称为软件集成框架(software integration framework,SIT)。
图像处理服务还可以与相机硬件抽象层进行交互,从而驱动相机设备采集图像。
相机算法库中可以包括一些图像处理算法,例如beauty、EIS、warp、SAT、LDC、动态照片处理算法等。图像处理服务可以通过调用这些算法,对图像进行皮肤美化、防抖、仿射变换、空间对齐、镜头畸变校正等处理。或者,这些图像处理算法也可以集成在图像处理服务中。
驱动层为硬件与软件之间的层。驱动层包括各种硬件的驱动。本申请实施例中,驱动层可以包括相机设备驱动、数字信号处理器驱动以及图像处理器驱动等。
其中,相机设备驱动用于驱动硬件层的相机设备采集图像。相机设备可以包括至少一个传感器,该传感器可以是sensor感光元件,也可以称为摄像头。在相机设备包括多个传感器如传感器1,传感器2时,传感器1与传感器2可以是不同类型的传感器,例如传感器1可以为sensor感光元件,传感器2可以为飞行时间测距(time of flight,TOF)传感器等。sensor传感器能够将光信号转换为电信号,TOF传感器可以测量距离,得到深度信息。相机设备驱动还可以驱动图像信号处理器,对摄像头采集的数据进行预处理。例如图像信号处理器可以包括IFE,用于对传感器输出的电信号进行下采样等预处理,输出处理后的图像。
数字信号处理器驱动可以用于驱动数字信号处理器处理图像。图像处理器驱动可以用于驱动图像处理器处理图像。
结合图4的软件结构框图,本申请实施例可以实现在预览图像显示阶段进行一次EIS后,成片阶段虽然不进行EIS,也能有防抖效果,即通过一次EIS,实现预览和成片均有防抖效果。
下面,结合图5具体说明本申请实施例中在预览图像显示阶段进行一次EIS后,成片阶段虽然不进行EIS的具体流程。
电子设备接收到启动相机应用的触发后,相机应用可以下发图像获取请求,图像获取请求从应用层、硬件框架层、HAL和驱动齿传到硬件层的sensor,sensor采集图像后向上传递到HAL中的IFE,IFE对图像处理后可以传输到图像处理服务,图像处理服务可以依次调用算法库中SAT算法、beauty算法、EIS算法、warp算法等进一步对图像进行处理,得到预览图像,预览图像可以经过动态照片(livephoto)处理算法送显。
同时,livephoto处理算法可以对预览图像进行缓存,例如,livephoto处理算法可以缓存a帧预览图像,a可以是预设的任意值,缓存帧数量达到a后,有新的预览图像需要缓存时,最先缓存的预览图像可以丢弃,使得缓存帧保持a帧。这样,电子设备接收到点击拍照的触发之后,图像处理服务可以调用livephoto处理算法对livephoto缓存的帧进行裁切,得到成片,图像处理服务可以调用livephoto处理算法将livephoto缓存的帧中的预设帧数预览图像作为成片。
当然,结合图4的软件结构框图,本申请实施例也可以实现在预览图像显示阶段不进行EIS,成片阶段进行一次EIS,使得成片有防抖效果。
下面,结合图6具体说明本申请实施例中在预览图像显示阶段不进行EIS,成片阶段进行一次EIS的具体流程。
电子设备接收到启动相机应用的触发后,相机应用可以下发图像获取请求,图像获取请求从应用层、硬件框架层、HAL和驱动齿传到硬件层的sensor,sensor采集图像后向上传递到HAL中的IFE,IFE对图像处理后可以传输到图像处理服务,图像处理服务可以依次调用算法库中SAT算法、beauty算法、等进一步对图像进行处理,得到未经过防抖处理的预览图像,预览图像可以经过动态照片(livephoto)处理算法送显。
同时,livephoto处理算法可以对预览图像进行缓存,例如,livephoto处理算法可以缓存a帧预览图像,a可以是预设的任意值,缓存帧数量达到a后,有新的预览图像需要缓存时,最先缓存的预览图像可以丢弃,使得缓存帧保持a帧。这样,电子设备接收到点击拍照的触发之后,图像处理服务可以调用EIS算法、warp算法、LDC算法等对预览图像进行防抖处理,经过防抖处理后的图像可以经livephoto处理算法得到成片。
可以理解的是,预览阶段,在电子设备界面显示的预览图像可以理解为取景画面,取景画面可以用于供用户选取拍摄目标使用,在电子设备处于较低倍率焦段时,取景画面中各目标占比较小,电子设备的抖动对用户选取目标影响不大,预览图像的防抖需求不大。在电子设备处于较高倍率焦段时,取景画面中各目标占比较大,电子设备的抖动可能对用户选取目标造成影响,预览图像有防抖需求。因此,在预览阶段,电子设备可以对较低倍率焦段不做防抖处理,对较高倍率焦段做防抖处理。其中,较低倍率焦段例如包括0x~5x,较高倍率焦段例如包括5x~以上,本申请实施例不做具体限定。而成片阶段,用户一般会从头至尾播放成片,所以在成片阶段对全焦段都有防抖需求。
基于此,本申请实施例中可以基于电子设备处于的不同焦段确定是否对预览图像进行防抖处理。示例性的,图7示出了一种各焦段预览和成片处理的对照示意图。
如图7的(a1)所示,电子设备焦段在0.5x-5x,预览阶段不做防抖处理,预览的输出可以包括:基于预览图像显示算法需要的尺寸从摄像头采集的图像中心进行裁切后得到的图像。如图7的(b1)所示,电子设备焦段在0.5x-5x,成片阶段做防抖处理,成片的输出可以包括:基于成片算法需要的尺寸对摄像头采集的图像中心做偏移后进行裁切后得到的图像,具体的偏移值可以是基于EIS计算得到的,本申请实施例不做具体限定。
如图7的(a2)所示,电子设备焦段在5x-10x,预览阶段做防抖处理,预览的输出1可以包括:基于预览图像显示算法需要的尺寸对摄像头采集的图像中心做偏移后进行裁切后得到的图像,具体的偏移值可以是基于EIS计算得到的,本申请实施例不做具体限定。如图7的(b2)所示,电子设备焦段在5x-10x,成片的输出2可以包括:基于成片算法需要的尺寸从防抖处理后的输出1的中心点进行裁切后得到的图像,使得成片也具有预览图像的防抖效果。
当然,如果预览图像显示算法需要的尺寸与成片算法需要的尺寸相同或相似,则电子设备焦段在5x-10x时,成片的图像帧可以包括没有经过裁切的预览图像。示例性的,图8示出了一种预览和成片处理的对照示意图。
如图8的(a)所示,电子设备焦段在5x-10x,预览阶段做防抖处理,预览的输出1可以包括:基于预览图像显示算法需要的尺寸对摄像头采集的图像中心做偏移后进行裁切后得到的图像,具体的偏移值可以是基于EIS计算得到的,本申请实施例不做具体限定。如图8的(b)所示,电子设备焦段在5x-10x,成片的输出2可以包括:输出1,或理解为输出1等于输出2,成片包括没有经过裁切的预览图像,使得成片也具有预览图像的防抖效果。
其中,对于图7和图8中的临界变焦倍率5x,既可以采用图7中的(a1)和(b1)所示的方式进行防抖处理,也可以采用图7中的(a2)和(b2)所示的方式进行防抖处理,或者,采用图8中的(a)和(b)所示的方式进行防抖处理。其中,临界变焦倍率5x也可以替换为任意可能的值,本申请实施例不做具体限定
可以理解的是,在一些实现中,可能存在成片时存在变焦(zoom)的情况,例如,电子设备的变焦倍率从5x以下变焦到5x以上的情况,这样,可能存在成片中:变焦倍率5x的前一帧图像为对摄像头采集的图像做防抖后得到的有防抖的图像,变焦倍率5x的后一帧图像为对预览阶段得到的预览图像进行裁切得到的图像。因为在变焦倍率为5x的时刻,预览阶段虽然使能防抖处理,但是该时刻的预览图像还没有来得及防抖处理,那么如果从该预览图像的中心进行裁切得到成片图像,就可能出现成片中变焦倍率5x的前一帧有防抖效果,而变焦倍率5x的后一帧没有防抖效果,使得成片中出现画面跳变的情况。
对于该情况,本申请实施例还可以对成片时存在变焦的情况进行平滑过渡处理。示例性的,图9示出了一种变焦场景中平滑处理的示意图。变焦场景中,可以得到电子设备在0.5x-5x得到的预览图像,电子设备在5x-5.5x得到的预览图像,以及电子设备在5.5x-10x得到的预览图像。
如图9的(a1)所示,电子设备焦段在0.5x-5x,预览阶段不做防抖处理,预览的输出可以包括:基于预览图像显示算法需要的尺寸从摄像头采集的图像中心进行裁切后得到的图像。如图9的(b1)所示,电子设备焦段在0.5x-5x,成片阶段做防抖处理,成片的输出可以包括:基于成片算法需要的尺寸对摄像头采集的图像中心做偏移后进行裁切后得到的图像,具体的偏移值可以是基于EIS计算得到的,本申请实施例不做具体限定。
如图9的(a2)所示,电子设备焦段在5x-5.5x,预览阶段刚从不做防抖处理过渡到做防抖处理,预览的输出1可以包括:基于预览图像显示算法需要的尺寸从摄像头采集的图像中心进行裁切后得到的图像。如图9的(b2)所示,电子设备焦段在5x-5.5x,成片的输出2可以包括:基于成片算法需要的尺寸对防抖处理后的输出1按照预设方式进行裁切后得到的图像,预设方式可以包括:对于变焦倍率5x的后一帧预览图像,从该预览图像中心点的目标方位进行裁切,目标方位例如包括:该预览图像中心点中偏向于变焦倍率5x的前一帧成片图像的中心点的方位。示例性的,结合图9的(b1)和(b2),变焦倍率5x的前一帧成片图像的中心点,偏向于变焦倍率5x的后一帧预览图像(输出1)的右下角,则可以从输出1的右下角裁切出满足成片算法需要尺寸的图像,作为变焦倍率5x的后一帧成片图像。
这样,可以使得变焦倍率5x的后一帧成片图像的中心点距离变焦倍率5x的前一帧成片图像的中心点较近,实现变焦中成片图像的平滑过渡。可以理解的是,如果电子设备变焦过程中出现大幅晃动,则基于本申请实施例平滑过渡处理,可以使得变焦中存在一些成片图像是对预览图像的某个边角裁切得到的情况,成片的中会存在前后两帧目标变化较大的情况。
可选的,如果电子设备焦段在5x-5.5x时,缓存有多张预览图像,对变焦倍率5x后缓存的第二帧预览图像至变焦倍率5.5x对应的预览图像裁切时,裁切后得到的第二帧成片图像与第二帧预览图像的中心点的距离,至变焦倍率5.5x对应的成片图像与变焦倍率5.5x对应的预览图像的中心点之间的距离呈逐渐递减关系。或者理解为,电子设备焦段在5x-5.5x时,对预览图像裁切得到成片时,是逐渐向靠近中心点裁切的方式逐步过渡的过程,这样,经过该过渡过程,可以使得变焦中成片图像更为平滑。
如图9的(a3)所示,电子设备焦段在5.5x-10x,预览阶段做防抖处理,预览的输出1可以包括:基于预览图像显示算法需要的尺寸对摄像头采集的图像中心做偏移后进行裁切后得到的图像,具体的偏移值可以是基于EIS计算得到的,本申请实施例不做具体限定。如图9的(b3)所示,电子设备焦段在5x-10x,成片的输出2可以包括:基于成片算法需要的尺寸从防抖处理后的输出1的中心点进行裁切后得到的图像,使得成片也具有预览图像的防抖效果。
下面将结合电子设备实现动态照片拍摄过程可能的场景,示例性说明本申请实施例提供的图像处理方法。
示例性的,图10示出了一种电子设备提供的拍摄动态照片的界面示意图。
如图10的(a)所示,相机应用启动后,电子设备可以显示第一界面,该第一界面中可以包括第一按钮1001和第二按钮1002。第一按钮1001用于触发拍照或摄像,第二按钮1002可触发电子设备进入动态照片模式,电子设备接收到用户对第二按钮1002的触发操作时,电子设备处于动态照片模式,例如图10的(b)所示,电子设备将第二按钮对应的预设标识“动态照片”1003显示为选中状态。这样,如果电子设备在动态照片模式中接收到第一按钮1001的触发,电子设备可以实现动态照片拍摄。可以理解的是,电子设备也可能有任意进入动态照片模式的实现,本申请实施例不做具体限定。
结合图10,在用户没有触发第二按钮之前,电子设备可以执行如图11所示的下述图像处理流程:
S1101、第一时刻,基于摄像头获取第N图像。
S1102、对第N图像进行防抖动处理,得到第N预览图像。
S1103、显示第N预览图像和第一按钮,以及存储第N预览图像。
S1104、第二时刻,基于摄像头获取第N+1图像。
S1105、对第N+1图像进行防抖动处理,得到第N+1预览图像。
S1106、显示第N+1预览图像和第一按钮,以及存储第N+1预览图像。
本申请实施例中,S1101-S1106可以理解为电子设备在没有接收到拍照触发之前,显示经过防抖处理的预览图像,以及缓存经过防抖处理的预览图像的过程。
S1107、第三时刻,接收到对第一按钮的第一触发操作。
S1108、响应于第一触发操作,得到第一拍摄结果,第一拍摄结果包括M帧图像,第一拍摄结果中任一帧图像是基于电子设备中存储的预览图像裁切得到的,或者,M帧图像中任一帧图像为电子设备中存储的预览图像的其中一帧,M为大于1的整数。
本申请实施例中,S1107可以理解为电子设备接收到拍照触发的时刻,第一拍摄结果可以对应于上述实施例中的成片,M的值可以基于需求任意设定,第一拍摄结果可以包括下述可能的方式中的任一种:
方式一、第一拍摄结果中包括的M帧图像可以是:针对接收到对第一按钮的第一触发操作之前缓存的M帧预览图像处理得到的。
方式二、针对接收到对第一按钮的第一触发操作之后再缓存的M帧预览图像处理得到的。例如,响应于第一触发操作,持续获取M帧预览图像,并存储M帧预览图像,并基于M帧预览图像得到第一拍摄结果。
方式三、针对接收到对第一按钮的第一触发操作之前缓存的一部分预览图像和接收到对第一按钮的第一触发操作之后再缓存的一部分预览图像处理得到的。例如,响应于第一触发操作,持续获取K帧预览图像,并存储K帧预览图像;基于K帧预览图像与S帧预览图像得到第一拍摄结果,S帧预览图像为在第三时刻前电子设备存储的预览图像,S与K之和为M。
S1108中得到第一拍摄结果的方式可以对应于图7的(b2)以及图8的(b)的说明,在此不做赘述。与图7的(b2)以及图8的(b)中分焦段处理不同的是,图11对应的实施例中,可以扩展到适用于全焦段处理,这样可以使得电子设备在全焦段中,实现通过对预览图像的一次防抖处理,达到预览和成片均有防抖的效果。
可选的,在第一时刻,电子设备的变焦倍率在第一焦段范围;第一时刻之前,还包括:第四时刻,基于摄像头获取第J图像,在第四时刻,电子设备的变焦倍率在第二焦段范围,第一焦段范围的变焦倍率大于第二焦段范围的变焦倍率。显示第J图像和第一按钮,以及存储第J图像。接收到对第一按钮的第二触发操作。响应于第二触发操作,得到第二拍摄结果,第二拍摄结果中包括M帧图像,第二拍摄结果中任一帧是基于第四时刻后存储的图像进行防抖动处理得到的。
本申请实施例中,第一焦段范围可以理解为较高变焦倍率的范围,第二焦段范围可以理解为较低变焦倍率的范围,具体的焦段范围不做限定,第J图像可以对应于图7的(a1)中的未经防抖处理的预览图像,第二拍摄结果可以对应于图7的(b1)中经过防抖动处理的成片,在此不做赘述。第二拍摄结果也可以包括下述任一种可能的实现:针对接收到对第一按钮的第二触发操作之前缓存的M帧预览图像处理得到的、针对接收到对第一按钮的第二触发操作之后再缓存的M帧预览图像处理得到的、针对接收到对第一按钮的第一触发操作之前缓存的一部分预览图像和接收到对第一按钮的第一触发操作之后再缓存的一部分预览图像处理得到的。
可选的,第四时刻与第一时刻之间,还包括:
第五时刻,基于摄像头获取第I图像,对第I图像进行防抖动处理,得到第I预览图像。
在第五时刻,电子设备的变焦倍率在第三焦段范围,第三焦段范围的变焦倍率小于第一焦段范围的变焦倍率,且第三焦段范围的变焦倍率大于第二焦段范围的变焦倍率。
显示第I预览图像和第一按钮,以及存储第I预览图像。
接收对第一按钮的第三触发操作。
响应于第三触发操作,得到第三拍摄结果,第三拍摄结果中包括M帧图像,第三拍摄结果中包括:对第五时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像,以及对第五时刻后存储的已经过防抖处理的L帧预览图像按照预设方式裁切得到的图像,预设方式包括:对于L帧预览图像中的第一帧预览图像,从第一帧预览图像中心点的目标方位进行裁切,目标方位包括:第一帧预览图像中偏向于第M-L帧处理后图像的中心点的方位,第M-L帧处理后图像为对M-L帧图像中最后一帧图像进行防抖处理后得到的图像。
本申请实施例,可以对应于图9中成片过程中存在变焦的场景,第三焦段范围可以理解为过渡焦段范围,例如对应于图9中的5x-5.5x焦段范围。对第五时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像可以对应于图9中的0.5x-5x焦段范围的成片图像,对第五时刻后存储的已经过防抖处理的L帧预览图像按照预设方式裁切得到的图像可以对应于图9中的5x-5.5x焦段范围的成片图像。预设方式和目标方位可以参照图9对应实施例的表述,不做赘述。
可选的,预设方式还包括:对L帧预览图像中的第二帧预览图像至第L帧预览图像进行裁切,且裁切后得到的第二到第L帧预览图像的各自中心点,与第二到第L帧预览图像各自裁切前的中心点之间的距离为递减关系。
示例性的,图12示出了一种距离裁切中中心点距离的变化关系示意图。如图12所示,第三拍摄结果中可以包括:第1帧成片、第2帧成片、……、第M-L帧成片、第L帧成片、第L+1帧成片、……、第M帧成片。
第M-L帧成片的中心点到第M-L帧预览图像的中心点之间的距离,大于第L帧成片的中心点到第L帧预览图像的中心点之间的距离。第L帧成片的中心点到第L帧预览图像的中心点之间的距离,大于第L+1帧成片的中心点到第L+1帧预览图像的中心点之间的距离。直到成片的中心点与预览图像的中心点重合,实现变焦过程中的成片平滑处理。
需要说明的是,图11对应的实施例是从预览和成片进行一次防抖为场景起始说明的本申请实施例的图像处理方法。
下面的实施例将从分焦段处理为场景起始说明的本申请实施例的图像处理方法。本申请实施例可以包括:
第一时刻,显示第一预览界面,第一预览界面包括第一按钮、第一变焦倍率和第一图像,第一图像是未对摄像头获取的图像进行防抖动处理的图像。
接收到对第一预览界面中第一按钮的第一触发操作。
响应于第一触发操作,得到第一拍摄结果,第一拍摄结果包括M帧图像,第一拍摄结果是对第一时刻后存储的M帧第一图像进行防抖动处理得到的。
本申请实施例中,第一变焦倍率可以理解为较低变焦倍率,在较低变焦倍率中电子设备可以不对预览图像做防抖处理,而对成片做防抖处理。具体的处理过程可以参照图7的(a1)和(b1)对应实施例的描述,不做赘述。
第二时刻,显示第二预览界面,第二预览界面包括第一按钮、第二变焦倍率和第二图像,第二图像是对摄像头获取的图像进行防抖动处理的图像,第二变焦倍率大于第一变焦倍率。
接收到对第二预览界面中第一按钮的第二触发操作。
响应于第二触发操作,得到第二拍摄结果,第二拍摄结果包括M帧图像,第二拍摄结果中任一帧是对第二时刻后存储的第二图像进行裁切得到的,或者第二拍摄结果中任一帧为第二时刻后存储的第二图像的其中一帧,M为大于1的整数。
本申请实施例中,第二变焦倍率可以理解为较高变焦倍率,在较高变焦倍率中电子设备可以对预览图像做防抖处理,而对成片在预览图像的基础上得到,不需要做防抖处理也可以达到防抖效果。具体的处理过程可以参照可以对应于图7的(b2)以及图8的(b)的说明,在此不做赘述。
本申请实施例在较低变焦倍率时不对预览图像做防抖处理,可以减少处理预览图像产生的时延,提升预览图像显示的实时性。且在较高变焦倍率时对预览图像做防抖处理,成片为基于防抖处理后的预览图像得到的,不需要执行防抖处理流程,且达到预览和成片均有防抖的效果。
可选的,第一时刻与第二时刻之间,还包括:
第三时刻,显示第三预览界面,第三预览界面包括第三变焦倍率和第三图像,第三图像是对摄像头获取的图像进行防抖动处理的图像。
第三变焦倍率小于第二变焦倍率,且第三变焦倍率大于第一变焦倍率。
接收到对第三预览界面中第一按钮的第三触发操作。
响应于第三触发操作,得到第三拍摄结果,第三拍摄结果包括M帧图像,第三拍摄结果包括从第一时刻后存储的图像中偏离中心的区域裁切得到的图像。对第三时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像,以及对第一时刻后存储的已经过防抖处理的L帧图像按照预设方式裁切得到的图像,预设方式包括:对于L帧图像中的第一帧图像,从第一帧图像中心点的目标方位进行裁切,目标方位包括:第一帧图像中偏向于第M-L帧处理后图像的中心点的方位,第M-L帧处理后图像为对M-L帧图像中最后一帧图像进行防抖处理后得到的图像。
可选的,预设方式还包括:对L帧图像中的第二帧图像至第L帧图像进行裁切,且裁切后得到的第二到第L帧图像各自的中心点,与第二到第L帧图像各自裁切前的中心点之间的距离为递减关系。
本申请实施例,可以对应于图9中成片过程中存在变焦的场景,第三变焦倍率可以理解为过渡焦段范围内的变焦倍率,例如对应于图9中的5x-5.5x焦段范围中的焦段。对第三时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像可以对应于图9中的0.5x-5x焦段范围的成片图像,对第三时刻后存储的已经过防抖处理的L帧预览图像按照预设方式裁切得到的图像可以对应于图9中的5x-5.5x焦段范围的成片图像。预设方式和目标方位可以参照图9对应实施例的表述,不做赘述。
需要说明的是,上述实施例均以实现动态照片拍摄为例示例性说明本申请实施例的图像处理方法,该示例并不构成对本申请实施例适用场景的必然限定,本申请实施例的图像处理方法也可以适用于任意可能的拍摄场景中。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
上面已对本申请实施例的图像处理方法进行了说明,下面对本申请实施例提供的执行上述图像处理方法的装置进行描述。本领域技术人员可以理解,方法和装置可以相互结合和引用,本申请实施例提供的相关装置可以执行上述列表排序的方法中的步骤。
为了实现上述功能,实现图像处理的装置包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的方法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对实现图像处理方法的装置进行功能模块的划分,例如可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
如图13为本申请实施例提供的一种芯片的结构示意图。芯片130包括一个或两个以上(包括两个)处理器1301、通信线路1302、通信接口1303和存储器1304。
在一些实施方式中,存储器1304存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
上述本申请实施例描述的方法可以应用于处理器1301中,或者由处理器1301实现。处理器1301可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1301可以是通用处理器(例如,微处理器或常规处理器)、数字信号处理器(digitalsignal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件,处理器1301可以实现或者执行本申请实施例中的公开的各处理相关的方法、步骤及逻辑框图。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。其中,软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory,EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1304,处理器1301读取存储器1304中的信息,结合其硬件完成上述方法的步骤。
处理器1301、存储器1304以及通信接口1303之间可以通过通信线路1302进行通信。
在上述实施例中,存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中,计算机程序产品可以是事先写入在存储器中,也可以是以软件形式下载并安装在存储器中。
本申请实施例还提供一种计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如,可用介质可以包括磁性介质(例如,软盘、硬盘或磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本申请实施例还提供一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
作为一种可能的设计,计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory,CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器;计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且,任何连接线也可以被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,DSL或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD),激光盘,光盘,数字通用光盘(digital versatile disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
Claims (16)
1.一种图像处理方法,其特征在于,应用于包括摄像头的电子设备,所述方法包括:
第一时刻,基于所述摄像头获取第N图像;
对所述第N图像进行防抖动处理,得到第N预览图像;
显示所述第N预览图像和第一按钮,以及存储所述第N预览图像;
第二时刻,基于所述摄像头获取第N+1图像;
对所述第N+1图像进行防抖动处理,得到第N+1预览图像;
显示所述第N+1预览图像和所述第一按钮,以及存储所述第N+1预览图像;
第三时刻,接收到对所述第一按钮的第一触发操作;
响应于所述第一触发操作,得到第一拍摄结果,所述第一拍摄结果包括M帧图像,所述第一拍摄结果中任一帧图像是基于所述电子设备中存储的预览图像裁切得到的,或者,所述M帧图像中任一帧图像为所述电子设备中存储的预览图像的其中一帧,M为大于1的整数。
2.根据权利要求1所述的图像处理方法,其特征在于,在所述第一时刻,所述电子设备的变焦倍率在第一焦段范围;所述第一时刻之前,还包括:
第四时刻,基于所述摄像头获取第J图像,在所述第四时刻,所述电子设备的变焦倍率在所述第二焦段范围,所述第一焦段范围的变焦倍率大于所述第二焦段范围的变焦倍率;
显示所述第J图像和所述第一按钮,以及存储所述第J图像;
接收到对所述第一按钮的第二触发操作;
响应于所述第二触发操作,得到第二拍摄结果,所述第二拍摄结果中包括M帧图像,所述第二拍摄结果中任一帧是基于所述第四时刻后存储的图像进行防抖动处理得到的。
3.根据权利要求2所述的图像处理方法,其特征在于,所述第四时刻与所述第一时刻之间,还包括:
第五时刻,基于所述摄像头获取第I图像,对所述第I图像进行防抖动处理,得到第I预览图像;
在所述第五时刻,所述电子设备的变焦倍率在所述第三焦段范围,所述第三焦段范围的变焦倍率小于所述第一焦段范围的变焦倍率,且所述第三焦段范围的变焦倍率大于所述第二焦段范围的变焦倍率;
显示所述第I预览图像和所述第一按钮,以及存储所述第I预览图像;
接收对所述第一按钮的第三触发操作;
响应于所述第三触发操作,得到第三拍摄结果,所述第三拍摄结果中包括M帧图像,所述第三拍摄结果中包括:对所述第五时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像,以及对所述第五时刻后存储的已经过防抖处理的L帧预览图像按照预设方式裁切得到的图像,所述预设方式包括:对于所述L帧预览图像中的第一帧预览图像,从所述第一帧预览图像中心点的目标方位进行裁切,所述目标方位包括:所述第一帧预览图像中偏向于第M-L帧处理后图像的中心点的方位,所述第M-L帧处理后图像为对所述M-L帧图像中最后一帧图像进行防抖处理后得到的图像。
4.根据权利要求3所述的图像处理方法,其特征在于,所述预设方式还包括:对所述L帧预览图像中的第二帧预览图像至第L帧预览图像进行裁切,且裁切后得到的第二到第L帧预览图像的各自中心点,与所述第二到第L帧预览图像各自裁切前的中心点之间的距离为递减关系。
5.根据权利要求1-4任一项所述的图像处理方法,其特征在于,
所述第一拍摄结果中任一帧图像是从所述电子设备存储的预览图像的中心区域裁切得到的。
6.根据权利要求1-5任一项所述的图像处理方法,其特征在于,所述响应于所述第一触发操作,得到第一拍摄结果,包括:
响应于所述第一触发操作,持续获取M帧预览图像,并存储所述M帧预览图像,并基于所述M帧预览图像得到所述第一拍摄结果。
7.根据权利要求1-5任一项所述的图像处理方法,其特征在于,所述响应于所述第一触发操作,得到第一拍摄结果,包括:
响应于所述第一触发操作,持续获取K帧预览图像,并存储所述K帧预览图像;
基于所述K帧预览图像与S帧预览图像得到所述第一拍摄结果,所述S帧预览图像为在所述第三时刻前所述电子设备存储的预览图像,S与K之和为M。
8.根据权利要求1-7任一项所述的图像处理方法,其特征在于,所述第一时刻之前,还包括:
显示第一界面,所述第一界面中包括第二按钮;
接收对所述第二按钮的触发操作;
响应于对所述第二按钮的触发操作,在所述第一界面中显示预设标识,所述预设标识用于指示所述电子设备处于动态照片模式,所述第一按钮为所述动态照片模式中的按钮。
9.一种图像处理方法,其特征在于,应用于包括摄像头的电子设备,所述方法包括:
第一时刻,显示第一预览界面,所述第一预览界面包括第一按钮、第一变焦倍率和第一图像,所述第一图像是未对所述摄像头获取的图像进行防抖动处理的图像;
接收到对所述第一预览界面中所述第一按钮的第一触发操作;
响应于所述第一触发操作,得到第一拍摄结果,所述第一拍摄结果包括M帧图像,所述第一拍摄结果是对第一时刻后存储的M帧第一图像进行防抖动处理得到的;
第二时刻,显示第二预览界面,所述第二预览界面包括所述第一按钮、第二变焦倍率和第二图像,所述第二图像是对所述摄像头获取的图像进行防抖动处理的图像,所述第二变焦倍率大于所述第一变焦倍率;
接收到对所述第二预览界面中所述第一按钮的第二触发操作;
响应于所述第二触发操作,得到第二拍摄结果,所述第二拍摄结果包括M帧图像,所述第二拍摄结果中任一帧是对所述第二时刻后存储的第二图像进行裁切得到的,或者所述第二拍摄结果中任一帧为所述第二时刻后存储的第二图像的其中一帧,M为大于1的整数。
10.根据权利要求9所述的图像处理方法,其特征在于,所述第一时刻与所述第二时刻之间,还包括:
第三时刻,显示第三预览界面,所述第三预览界面包括第三变焦倍率和第三图像,所述第三图像是对所述摄像头获取的图像进行防抖动处理的图像;
所述第三变焦倍率小于所述第二变焦倍率,且所述第三变焦倍率大于所述第一变焦倍率;
接收到对所述第三预览界面中所述第一按钮的第三触发操作;
响应于所述第三触发操作,得到第三拍摄结果,所述第三拍摄结果包括M帧图像,所述第三拍摄结果包括从所述第一时刻后存储的图像中偏离中心的区域裁切得到的图像;对所述第三时刻前存储的未进行防抖处理过的M-L帧图像进行防抖处理后得到的图像,以及对所述第一时刻后存储的已经过防抖处理的L帧图像按照预设方式裁切得到的图像,所述预设方式包括:对于所述L帧图像中的第一帧图像,从所述第一帧图像中心点的目标方位进行裁切,所述目标方位包括:所述第一帧图像中偏向于第M-L帧处理后图像的中心点的方位,所述第M-L帧处理后图像为对所述M-L帧图像中最后一帧图像进行防抖处理后得到的图像。
11.根据权利要求10所述的图像处理方法,其特征在于,所述预设方式还包括:对所述L帧图像中的第二帧图像至第L帧图像进行裁切,且裁切后得到的第二到第L帧图像各自的中心点,与所述第二到第L帧图像各自裁切前的中心点之间的距离为递减关系。
12.根据权利要求9-11任一项所述的图像处理方法,其特征在于,
所述第二拍摄结果中任一帧是从所述第二时刻后存储的预览图像的中心区域裁切得到的。
13.根据权利要求9-12任一项所述的图像处理方法,其特征在于,所述第一时刻之前,还包括:
显示第一界面,所述第一界面中包括第二按钮;
接收到对所述第二按钮的触发操作;
响应于对所述第二按钮的所述触发操作,在所述第一界面中显示预设标识,所述预设标识用于指示所述电子设备处于动态照片模式。
14.一种电子设备,其特征在于,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述电子设备执行如权利要求1-8中任一项所述的方法,或执行如权利要求9-13中任一项所述的方法。
15.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法,或实现如权利要求9-13中任一项所述的方法。
16.一种计算机程序产品,其特征在于,包括计算机程序,当所述计算机程序被运行时,使得计算机执行如权利要求1-8任一项所述的方法,或执行如权利要求9-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310370706.6A CN117156261A (zh) | 2023-03-28 | 2023-03-28 | 图像处理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310370706.6A CN117156261A (zh) | 2023-03-28 | 2023-03-28 | 图像处理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117156261A true CN117156261A (zh) | 2023-12-01 |
Family
ID=88903298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310370706.6A Pending CN117156261A (zh) | 2023-03-28 | 2023-03-28 | 图像处理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117156261A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105578061A (zh) * | 2016-02-25 | 2016-05-11 | 广东欧珀移动通信有限公司 | 一种拍照防抖的方法、装置及移动终端 |
CN107172296A (zh) * | 2017-06-22 | 2017-09-15 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
CN107509034A (zh) * | 2017-09-22 | 2017-12-22 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN107809590A (zh) * | 2017-11-08 | 2018-03-16 | 青岛海信移动通信技术股份有限公司 | 一种拍照方法和装置 |
WO2019037781A1 (zh) * | 2017-08-24 | 2019-02-28 | 捷开通讯(深圳)有限公司 | 终端及其防抖拍照方法、存储装置 |
CN110784651A (zh) * | 2019-11-15 | 2020-02-11 | 维沃移动通信有限公司 | 一种防抖方法及电子设备 |
CN113382169A (zh) * | 2021-06-18 | 2021-09-10 | 荣耀终端有限公司 | 一种拍照方法及电子设备 |
CN115706850A (zh) * | 2021-08-12 | 2023-02-17 | 荣耀终端有限公司 | 图像拍摄的方法、设备、存储介质和程序产品 |
-
2023
- 2023-03-28 CN CN202310370706.6A patent/CN117156261A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105578061A (zh) * | 2016-02-25 | 2016-05-11 | 广东欧珀移动通信有限公司 | 一种拍照防抖的方法、装置及移动终端 |
CN107172296A (zh) * | 2017-06-22 | 2017-09-15 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
WO2019037781A1 (zh) * | 2017-08-24 | 2019-02-28 | 捷开通讯(深圳)有限公司 | 终端及其防抖拍照方法、存储装置 |
CN107509034A (zh) * | 2017-09-22 | 2017-12-22 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN107809590A (zh) * | 2017-11-08 | 2018-03-16 | 青岛海信移动通信技术股份有限公司 | 一种拍照方法和装置 |
CN110784651A (zh) * | 2019-11-15 | 2020-02-11 | 维沃移动通信有限公司 | 一种防抖方法及电子设备 |
CN113382169A (zh) * | 2021-06-18 | 2021-09-10 | 荣耀终端有限公司 | 一种拍照方法及电子设备 |
CN115706850A (zh) * | 2021-08-12 | 2023-02-17 | 荣耀终端有限公司 | 图像拍摄的方法、设备、存储介质和程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021147482A1 (zh) | 一种长焦拍摄的方法及电子设备 | |
WO2021244295A1 (zh) | 拍摄视频的方法和装置 | |
CN113706414B (zh) | 视频优化模型的训练方法和电子设备 | |
WO2021218364A1 (zh) | 一种图像增强方法及电子设备 | |
US20230043815A1 (en) | Image Processing Method and Electronic Device | |
CN113099146B (zh) | 一种视频生成方法、装置及相关设备 | |
CN115061770B (zh) | 显示动态壁纸的方法和电子设备 | |
CN115689963B (zh) | 一种图像处理方法及电子设备 | |
CN113705665B (zh) | 图像变换网络模型的训练方法和电子设备 | |
TW202135005A (zh) | 去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體 | |
CN113536866A (zh) | 一种人物追踪显示方法和电子设备 | |
CN113538227A (zh) | 一种基于语义分割的图像处理方法及相关设备 | |
WO2022057384A1 (zh) | 拍摄方法和装置 | |
CN115643485A (zh) | 拍摄的方法和电子设备 | |
CN115633262B (zh) | 图像处理方法和电子设备 | |
WO2023036007A1 (zh) | 一种获取图像的方法及电子设备 | |
CN115567783A (zh) | 一种图像处理方法 | |
CN117156261A (zh) | 图像处理方法及相关设备 | |
CN116668836B (zh) | 拍照处理方法和电子设备 | |
WO2023035868A1 (zh) | 拍摄方法及电子设备 | |
CN116193243B (zh) | 拍摄方法和电子设备 | |
WO2023124237A1 (zh) | 基于屏下图像的图像处理方法、装置及存储介质 | |
US20240040235A1 (en) | Video shooting method and electronic device | |
CN117156293A (zh) | 拍照方法和相关装置 | |
CN117135448A (zh) | 拍摄的方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |