CN114390213A - 一种拍摄方法及设备 - Google Patents

一种拍摄方法及设备 Download PDF

Info

Publication number
CN114390213A
CN114390213A CN202011140852.2A CN202011140852A CN114390213A CN 114390213 A CN114390213 A CN 114390213A CN 202011140852 A CN202011140852 A CN 202011140852A CN 114390213 A CN114390213 A CN 114390213A
Authority
CN
China
Prior art keywords
target
zoom magnification
size
image
cutting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011140852.2A
Other languages
English (en)
Other versions
CN114390213B (zh
Inventor
李智琦
朱聪超
王宇
孙思佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011140852.2A priority Critical patent/CN114390213B/zh
Publication of CN114390213A publication Critical patent/CN114390213A/zh
Application granted granted Critical
Publication of CN114390213B publication Critical patent/CN114390213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种拍摄方法及设备,涉及电子技术领域,能够在不同的变焦倍率区段配置不同的防抖能力,通过图像信号处理器ISP和防抖算法协同对拍摄画面进行裁剪缩放,从而在保证防抖效果的同时减少内存占用,同时达到平衡防抖效果、内存占用和图像清晰度的效果。方案包括:电子设备开启录像模式;获取目标变焦倍率和目标拍摄画面;确定目标变焦倍率对应的目标变焦倍率区段;根据目标变焦倍率区段确定目标拍摄画面的目标裁剪尺寸;根据目标裁剪尺寸对目标拍摄画面进行裁剪,获得参考图像;对参考图像进行缩放获得目标图像。

Description

一种拍摄方法及设备
技术领域
本申请实施例涉及电子技术领域,尤其涉及一种拍摄方法及设备。
背景技术
在手持条件下,用户使用手机或平板电脑等电子设备中的相机应用程序(application,APP)拍摄得到的照片或视频会出现一定的抖动现象,影响用户体验。
目前,一些电子设备可以通过支持图像信号处理器(image signal processor,ISP)不对拍摄画面进行裁剪,将全视场角(field of view,FOV)图像输入防抖算法来提高拍摄过程中的防抖效果。然而,通常全FOV图像的尺寸较大,同时防抖算法需要缓存一定帧数的图像进行防抖。电子设备缓存多个全FOV图像需要占用较大的内存空间,这样一来,电子设备的内存空间占用较大,进而会造成电子设备卡顿等问题。
发明内容
本申请实施例提供一种拍摄方法及设备,能够在不同的变焦倍率区段配置不同的防抖能力,通过ISP和防抖算法协同对拍摄画面进行裁剪缩放,从而在保证防抖效果的同时减少内存占用,并能达到平衡防抖效果、内存占用和图像清晰度的效果。
为达到上述目的,本申请实施例采用如下技术方案:
一方面,本申请实施例提供了一种拍摄方法,该方法包括:电子设备开启录像模式;电子设备获取目标变焦倍率和目标拍摄画面;电子设备确定目标变焦倍率对应的目标变焦倍率区段;电子设备根据目标变焦倍率区段确定目标拍摄画面的目标裁剪尺寸;其中,目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸,或者目标裁剪尺寸包括第二裁剪尺寸,第一裁剪尺寸为图像信号处理器ISP对目标拍摄画面裁剪后获得的第一裁剪图像的尺寸,第二裁剪尺寸为防抖算法对ISP输出的图像裁剪后获得的第二裁剪图像的尺寸;电子设备根据目标裁剪尺寸对目标拍摄画面进行裁剪,获得参考图像;电子设备对参考图像进行缩放获得目标图像。
在该方案中,电子设备能够在录像模式下,根据目标变焦倍率对应的目标变焦倍率区段配置不同的防抖能力,通过ISP和防抖算法协同对目标拍摄画面进行裁剪或缩放,从而在保证防抖效果的同时减少内存占用,并能在各目标变焦倍率区段内能够达到平衡防抖效果、内存占用和图像清晰度的效果。
在一种可能的设计中,目标变焦倍率区段包括:第一变焦倍率区段[zoomBase,zoom1),第二变焦倍率区段[zoom1,zoom2)和第三变焦倍率区段[zoom2,zoomMax];其中,在zoomBase下,目标拍摄画面的裁剪比例为第一预设值;在第二变焦倍率区段中,第二裁剪尺寸等于目标图像的尺寸;在第三变焦倍率区段中,第一裁剪尺寸等于ISP输出的图像的尺寸;zoomMax为电子设备的最大变焦倍率。
这样,手机能够直接确定目标变焦倍率对应的目标变焦倍率区段。
在一种可能的设计中,若第一预设值为0,则目标图像为全视场角FOV图像。
这样,在zoomBase下,若目标拍摄画面的裁剪比例为0,则表明这种情况下,可以输出全FOV的目标图像。也就是说,本方案开放出了全FOV输出。
在一种可能的设计中,电子设备根据目标变焦倍率对应的目标变焦倍率区段确定目标拍摄画面的目标裁剪尺寸,包括:若目标变焦倍率对应的目标变焦倍率区段为第一变焦倍率区段,则目标裁剪尺寸包括第二裁剪尺寸;ISP将目标拍摄画面缩放至ISP输出的图像的尺寸,防抖算法根据目标变焦倍率将ISP输出的图像裁剪至第二裁剪尺寸。
在该方案中,目标变焦倍率属于第一变焦倍率区段,ISP对目标拍摄画面进行了缩放,仅由防抖算法根据目标变焦倍率对目标拍摄画面进行裁剪,从而减小了内存占用量,保证了图像清晰度,并且防抖效果达到最优。
在一种可能的设计中,电子设备根据目标变焦倍率对应的目标变焦倍率区段确定目标拍摄画面的目标裁剪尺寸,包括:若目标变焦倍率对应的目标变焦倍率区段为第二变焦倍率区段,则目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸;ISP根据目标变焦倍率将目标拍摄画面裁剪至第一裁剪尺寸,并将第一裁剪尺寸的第一裁剪图像缩放至ISP输出的图像的尺寸,防抖算法将ISP输出的图像裁剪至第二裁剪尺寸,第二裁剪尺寸为目标图像的尺寸。
在该方案中,目标变焦倍率属于第二变焦倍率区段,ISP根据目标变焦倍率对目标拍摄画面进行裁剪,防抖算法按照固定比例对ISP输出的图像进行裁剪,从而减小了内存占用量,保证了图像清晰度,并且维持一定的防抖能力。
在一种可能的设计中,电子设备根据目标变焦倍率对应的目标变焦倍率区段确定目标拍摄画面的目标裁剪尺寸,包括:若目标变焦倍率对应的目标变焦倍率区段是第三变焦倍率区段,则目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸;ISP将目标拍摄画面裁剪至第一裁剪尺寸,第一裁剪尺寸等于ISP输出的图像的尺寸,防抖算法根据目标变焦倍率将ISP输出的图像裁剪至第二裁剪尺寸。
在该方案中,目标变焦倍率属于第三变焦倍率区段,ISP按照固定比例对目标拍摄画面进行裁剪,防抖算法根据目标变焦倍率对ISP输出的图像进行裁剪,从而减小了内存占用量,并且提升了防抖效果。
在一种可能的设计中,目标变焦倍率区段包括:第四变焦倍率区段[zoomBase,zoom3)和第五变焦倍率区段[zoom3,zoomMax];其中,在zoomBase下,目标拍摄画面的裁剪比例为第二预设值,第二预设值大于0;在第四变焦倍率区段中,防抖算法的裁剪比例是固定的;在第五变焦倍率区段中,第一裁剪尺寸等于ISP输出的图像的尺寸;zoomMax为电子设备的最大变焦倍率。
这样,手机能够直接确定目标变焦倍率对应的目标变焦倍率区段。
在一种可能的设计中,电子设备根据目标变焦倍率对应的目标变焦倍率区段确定目标拍摄画面的目标裁剪尺寸,包括:若目标变焦倍率对应的目标变焦倍率区段为第四变焦倍率区段,则目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸;ISP根据目标变焦倍率将目标拍摄画面裁剪至第一裁剪尺寸,并将第一裁剪尺寸的第一裁剪图像缩放至ISP输出的图像的尺寸,防抖算法将ISP输出的图像裁剪至第二裁剪尺寸。
在该方案中,目标变焦倍率属于第四变焦倍率区段,ISP根据目标变焦倍率对目标拍摄画面进行裁剪,防抖算法按照固定比例对ISP输出的图像进行裁剪,从而减小了内存占用量,保证了图像清晰度,并且维持一定的防抖能力。
在一种可能的设计中,电子设备根据目标变焦倍率对应的目标变焦倍率区段确定目标拍摄画面的目标裁剪尺寸,包括:若目标变焦倍率对应的目标变焦倍率区段是第五变焦倍率区段,则目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸;ISP将目标拍摄画面裁剪至第一裁剪尺寸,第一裁剪尺寸等于ISP输出的图像的尺寸,防抖算法根据目标变焦倍率将ISP输出的图像裁剪至第二裁剪尺寸。
在该方案中,目标变焦倍率属于第五变焦倍率区段,ISP按照固定比例对目标拍摄画面进行裁剪,防抖算法根据目标变焦倍率对ISP输出的图像进行裁剪,从而减小了内存占用量,并且提升了防抖效果。
在一种可能的设计中,在电子设备显示预览界面时,电子设备获取的目标变焦倍率为第一变焦倍率,目标图像为第一目标图像;该方法还包括:电子设备将第一目标图像显示在预览界面上。
这样,本申请实施例提供的拍摄方法可以用于预览场景中。
在一种可能的设计中,该方法还包括:电子设备检测到用户针对预览界面的第一变焦操作后获得第二变焦倍率;目标变焦倍率为第二变焦倍率;目标图像为第二目标图像;电子设备将第二目标图像显示在预览界面上。
这样,在预览场景中,用户进行变焦操作之后,本申请实施例提供的拍摄方法同样适用。
在一种可能的设计中,该方法还包括:电子设备检测到用户的录像操作后显示拍摄界面,电子设备获取的目标变焦倍率为第三变焦倍率;目标图像为第三目标图像;电子设备将第三目标图像显示在拍摄界面上,并保存第三目标图像。
这样,本申请实施例提供的拍摄方法可以用于拍摄场景中。
在一种可能的设计中,该方法还包括:电子设备检测到用户针对拍摄界面的第二变焦操作后获得第四变焦倍率;目标变焦倍率为第四变焦倍率;目标图像为第四目标图像;电子设备将第四目标图像显示在拍摄界面上,并保存第四目标图像。
这样,在拍摄场景中,用户进行变焦操作之后,本申请实施例提供的拍摄方法同样适用。
在一种可能的设计中,该方法还包括:电子设备基于检测到用户的录像操作后保存的目标图像生成目标视频。
这样,在用户执行录像操作后,手机可以根据保存的目标图像生成目标视频。
又一方面,本申请实施例提供了一种电子设备,该电子设备包括:触摸屏,触摸屏包括触摸传感器和显示屏;一个或多个摄像头;一个或多个处理器;存储器;其中,存储器中存储有一个或多个计算机程序,一个或多个计算机程序包括指令,当指令被电子设备执行时,使得电子设备执行本申请实施例提供的拍摄方法。
又一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,其特征在于,当指令在电子设备上运行时,使得电子设备执行本申请实施例提供的拍摄方法。
又一方面,本申请实施例提供了一种计算机程序产品,其特征在于,当计算机程序产品在电子设备上运行时,使得电子设备执行本申请实施例提供的拍摄方法。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构示意图;
图2为本申请实施例提供的一种电子设备的硬件结构及流程示意图;
图3为现有技术中对拍摄画面进行防抖处理的原理示意图;
图4为本申请实施例提供的一种拍摄方法的流程示意图;
图5为本申请实施例提供的一种拍摄方法的应用场景示意图一;
图6为本申请实施例提供的一种拍摄方法的应用场景示意图二;
图7为本申请实施例提供的一种变焦倍率与防抖裁剪比例的关系图;
图8为本申请实施例提供的另一种变焦倍率与防抖裁剪比例的关系图;
图9为本申请实施例提供的一种拍摄方法的应用场景示意图三;
图10为本申请实施例提供的一种拍摄方法的应用场景示意图四;
图11为本申请实施例提供的一种拍摄方法的应用场景示意图五;
图12为本申请实施例提供的一种拍摄方法的应用场景示意图六;
图13为本申请实施例提供的一种防抖算法流程图;
图14为本申请实施例提供的一种拍摄方法的应用场景示意图七;
图15为本申请实施例提供的一种拍摄方法的应用场景示意图八;
图16为本申请实施例提供的一种拍摄方法的应用场景示意图九;
图17为本申请实施例提供的另一种拍摄方法的流程示例图;
图18为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供了一种拍摄方法及设备,能够在不同的变焦倍率区段配置不同的防抖能力,通过图像信号处理器(image signal processor,ISP)和防抖算法协同对拍摄画面进行裁剪缩放,从而在保证防抖效果的同时减少对内存占用。
示例性的,本申请实施例中的电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等移动终端,也可以是专业的相机等设备,本申请实施例对电子设备的具体类型不作任何限制。
示例性的,图1示出了电子设备100的一种结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
其中,摄像头193还可以包括多种类型。例如,摄像头193可以包括具有不同焦段的长焦摄像头,广角摄像头或超广角摄像头等。其中,长焦摄像头的视场角小,适用于拍摄远处小范围内的景物;广角摄像头的视场角较大;超广角摄像头的视场角大于广角摄像头,可以用于拍摄全景等大范围的画面。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
在本申请的实施例中,处理器110可以运行存储在内部存储器121中的指令,实现在不同的变焦倍率区段配置不同的防抖能力,从而优化内存占用、清晰度和防抖效果。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
图2以录制视频为例示出了本申请实施例中的一种硬件结构及流程示意图。一方面,摄像头193中的感光元件,例如CCD或CMOS可以接收被拍摄对象投射的光线,将光信号转换为电信号。摄像头感光元件将电信号传递给处理器110中的ISP处理,转化为肉眼可见的图像。进而,ISP将图像传递给处理器110中的中央处理器(central processing unit,CPU)。另一方面,惯性测量单元(inertial measurement unit,IMU)传感器,例如陀螺仪传感器180B,可以检测电子设备各个方向上抖动的角度,根据角度计算出镜头模组需要补偿的距离。IMU传感器经由传感器控制中心(sensor hub)将检测的抖动角度和计算所得的需要补偿的距离传递给CPU。进而,在CPU中,防抖算法基于从感光元件和IMU传感器传递过来的数据计算裁剪后的图像的尺寸。之后,通过处理器110中的GPU中预设的GPU warp算法和ISP中预设的ISP warp算法去除图像变形,进一步提高电子设备的防抖效果。最终,视频编码器基于防抖处理后的图像录制视频。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在现有技术中,以手机为上述电子设备举例,手机通过摄像头获取到每一帧拍摄画面后,ISP可以不根据当前变焦倍率对当前拍摄画面进行裁剪,直接将当前拍摄画面输入防抖算法,仅由防抖算法根据当前变焦倍率对当前拍摄画面进行裁剪。其中,防抖算法可以根据公式1和公式2计算根据当前变焦倍率裁剪输出的图像的尺寸。
Figure BDA0002738221550000061
Figure BDA0002738221550000071
其中,输入防抖算法的拍摄画面的尺寸为Height1’×Width1’,由于ISP不对当前拍摄画面进行裁剪,直接将当前拍摄画面输入防抖算法,因此可以认为当前拍摄画面的尺寸也为Height1’×Width1’;防抖算法裁剪后输出的拍摄画面的尺寸为Height2’×Width2’;zoomBase为基准变焦倍率;zoomCur为当前变焦倍率;r_Base为基准变焦倍率对应的防抖裁剪比例,相应地,1-r_Base为根据基准变焦倍率裁剪后的拍摄画面剩余比例。可以看出,随着当前变焦倍率的增大,防抖算法裁剪后输出的拍摄画面的尺寸减小。防抖算法裁剪后输出的拍摄画面的尺寸越小,对应的视场角越小,说明防抖算法的裁剪比例越大,防抖效果越好。
示例性的,以当前变焦倍率为2,基准变焦倍率为1,基准变焦倍率对应的裁剪比例为0(即基准变焦倍率下手机显示的是全FOV的图像)为例,如图3所示,若输入防抖算法的全FOV的拍摄画面301的尺寸为4000×2250,则根据上述公式1和公式2可以得出,此时防抖算法裁剪后输出的图像的尺寸为2000×1125。那么。手机可以拍摄画面301的中心点A为中心,对拍摄画面301进行裁剪,保留尺寸为2000×1125的拍摄画面302。进而,电子设备可将裁剪后的拍摄画面302进行缩放显示在手机的预览框303中,以满足手机显示的分辨率的要求。此时,用户可以观看到拍摄画面进行2倍变焦后的显示效果。
现有技术中提高防抖效果是通过将全FOV的拍摄画面输入防抖算法,即将裁剪范围释放至防抖算法来实现的。然而,全FOV的拍摄画面通常尺寸较大,同时防抖算法一般需要缓存多帧图像进行防抖,因此,根据现有技术的方法提高防抖效果时,手机的内存空间占用较大。较大尺寸的图像通常对硬件的性能要求也较高,例如,较大尺寸的图像对于变形(warp)模块的性能要求较高。
为了缓解存储全尺寸FOV的拍摄画面造成的内存占用压力,本申请实施例提供了一种拍摄方法。下面以电子设备是手机,场景为录像模式为例,具体描述该方法。如图4所示,该方法包括:
S400、手机开启录像模式。
手机进入相机应用之后,可以开启相机应用中的录像模式。示例性的,如图5所示,手机检测到用户点击图5中的(a)所示的相机图标501的操作后,启动相机应用,进入相机应用后,可以选择开启录像模式。此时,手机上显示如图5中的(b)所示的录像模式的预览界面502。
需要说明的是,手机的相机应用中设置的拍摄模式通常包括拍照、录像、全景、慢动作或延时摄影等中的一项或多项。本申请实施例以录像模式为例,描述本申请实施例提供的拍摄方法。可以理解的是,手机进入相机模式后,也可以开启上述拍摄模式中的任意一种。例如,手机也可以在开启拍照模式时,应用本申请实施例提供的拍摄方法。
S401、手机获取第一变焦倍率和第一拍摄画面。
手机开启录像模式时打开摄像头。此时,摄像头可以按照一定工作频率采集拍摄画面,同时手机还可以获取当前变焦倍率(即第一变焦倍率)。手机在保存或显示这些拍摄画面之前,可以实时对每一帧拍摄画面进行防抖处理。
其中,第一拍摄画面为手机获取到第一变焦倍率后,按照一定工作频率采集的一帧当前拍摄画面。手机基于获取的第一变焦倍率对获取到的第一拍摄画面进行裁剪、防抖、缩放等处理后,才得到最终显示在手机的取景窗口中的图像。
示例性的,在如图5中的(b)所示的录像模式的预览界面502中包括取景窗口503,取景窗口503可以实时显示录像前的预览画面。可以认为,当前变焦倍率为第一变焦倍率,当前取景框中显示的预览画面为第一拍摄画面。
此外,在预览界面502中还包括变焦控件504。在一些实施例中,用户可以通过操作变焦控件504来选择当前变焦倍率。示例性的,用户可以通过在变焦控件504上向上滑动来增大变焦倍率,在变焦控件504上向下滑动来减小变焦倍率。用户还可以通过点击变焦控件504来直接选择变焦倍率。可选地,手机还可以通过响应用户在取景窗口503中的捏合操作来选择当前变焦倍率。其中,变焦倍率可以是2倍变焦、4倍变焦或20倍变焦等。手机可以获取到当前变焦倍率(即第一变焦倍率),并根据当前变焦倍率放大显示或缩小显示摄像头采集到的拍摄画面。在另一些实施例中,手机也可以使用默认的变焦倍率放大显示或缩小显示摄像头采集到的拍摄画面,本申请实施例对此不作限定。
可以理解的是,手机启动相机应用,摄像头工作后采集到的每一帧拍摄画面的尺寸是固定的,相应地,每一帧拍摄画面的FOV也是固定的。也就是说,第一拍摄画面的尺寸和FOV都是固定的。例如,当摄像头的传感器输出的原图尺寸为4000×2250时,摄像头工作后采集到的拍摄画面的尺寸也是4000×2250。如图6所示,第一拍摄画面601即为手机通过摄像头采集的尺寸为4000×2250的拍摄画面。此时,若手机当前变焦倍率为2倍变焦,即第一变焦倍率为2倍变焦,则表明用户希望将第一拍摄画面601放大2倍后显示在取景窗口503中。
需要说明的是,图5是以手机在录像模式的预览场景下获取第一拍摄画面举例说明的。手机也可以在录像模式的拍摄场景下获取第一拍摄画面。可以理解的是,手机还可以在其他拍摄模式(例如拍照、全景、慢动作或延时摄影等)中获取第一拍摄画面,例如,手机可在拍照模式的预览场景下获取第一拍摄画面,也可以在拍照模式的拍摄场景下获取第一拍摄画面,本申请实施例对此不做任何限制。
手机获取第一拍摄画面601后,可以根据第一变焦倍率对第一拍摄画面601进行裁剪,具体包括以下步骤:
S402、手机确定第一变焦倍率对应的变焦倍率区段。
在本申请实施例中,手机可以预设多个变焦倍率区段。在一些实施例中,手机可以预设3个变焦倍率区段。在另一些实施例中,手机可以预设2个变焦倍率区段。手机获取上述第一变焦倍率之后,可以确定第一变焦倍率对应的变焦倍率区段,即可以确定第一变焦倍率属于哪个变焦倍率区段,进而根据第一变焦倍率所属的变焦倍率区段配置对应的防抖能力。
示例性的,如图7所示,手机预设的3个变焦倍率区段可以包括第一变焦倍率区段[zoomBase,zoom1),第二变焦倍率区段[zoom1,zoom2)和第三变焦倍率区段[zoom2,zoomMax]。其中,zoomBase表示基准变焦倍率,当变焦倍率为zoomBase时,手机最终在取景窗口503中显示的是全FOV图像或者手机最终在取景窗口503中显示的是按照预设比例裁剪的图像。在变焦倍率为zoomBase时,防抖裁剪比例为r1。可以理解的是,若r1为0,则变焦倍率为zoomBase时手机最终显示的是全FOV图像,此时手机不对当前拍摄的画面进行裁剪;若r1不为0,则变焦倍率为zoomBase时手机最终显示的是按照预设的防抖裁剪比例r1裁剪后的图像。变焦倍率1(zoom1)为第一变焦倍率区段和第二变焦倍率区段的拐点,在变焦倍率为zoom1时,防抖算法根据zoom1对ISP输出的图像(即输入防抖算法的图像)裁剪得到的图像的尺寸恰好为目标图像(即手机最终显示的图像)的预设尺寸,此时对应的防抖裁剪比例为r2。变焦倍率2(zoom2)为第二变焦倍率区段和第三变焦倍率区段的拐点,在变焦倍率为zoom2时,ISP根据zoom2裁剪所得的第一裁剪图像的尺寸恰好为ISP输出的图像(即输入防抖算法的图像)的预设尺寸。zoomMax表示手机可以达到的最大变焦倍率。由图7可以看出,在第一变焦倍率区段内,防抖裁剪比例随着变焦倍率的增大而增大;在第二变焦倍率区段内,防抖裁剪比例随着变焦倍率的增大保持不变;在第三变焦倍率区段内,防抖裁剪比例继续随着变焦倍率的增大而增大。可以理解的是,防抖裁剪比例越大,则表明防抖效果越好。
再示例性的,手机通过一些镜头,如非广角镜头拍摄时,手机最终显示拍摄画面前就可以进行一定的防抖裁剪,并且在较低的变焦倍率范围中,用户通常对防抖要求不高。因此,如图8所示,手机还可以预设2个变焦倍率区段,手机预设的2个变焦倍率区段可以包括第四变焦倍率区段[zoomBase,zoom3)和第五变焦倍率区段[zoom3,zoomMax]。其中,zoomBase表示基准变焦倍率,当变焦倍率为zoomBase时,手机最终在取景窗口503中显示的是按照预设比例裁剪的图像,此时对应的防抖裁剪比例为r3。变焦倍率3(zoom3)为第四变焦倍率区段和第五变焦倍率区段的拐点,在变焦倍率为zoom3时,ISP根据zoom3裁剪所得的第一裁剪图像的尺寸恰好为ISP输出的图像(即输入防抖算法的图像)的预设尺寸,此时对应的防抖裁剪比例也为r3。可以认为,第四变焦倍率区段相当于图7中的第二变焦倍率区段,第五变焦倍率区段相当于图7中的第三变焦倍率区段。因此,如图8所示,在第四变焦倍率区段内,防抖裁剪比例随着变焦倍率的增大保持不变;在第五变焦倍率区段内,防抖裁剪比例继续随着变焦倍率的增大而增大。也可以认为,在第五变焦倍率区段内,随着变焦倍率增大,能够提升防抖效果。
S403、手机根据第一变焦倍率对应的变焦倍率区段确定第一拍摄画面的目标裁剪尺寸。其中,目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸,或者目标裁剪尺寸包括第二裁剪尺寸,第一裁剪尺寸为ISP对第一拍摄画面裁剪后的第一裁剪图像的尺寸,第二裁剪尺寸为防抖算法对ISP输出的图像裁剪后的第二裁剪图像的尺寸。
在本申请实施例中,手机确定第一变焦倍率对应的变焦倍率区段后,可以根据对应的变焦倍率区段配置不同的防抖能力,即根据第一变焦倍率所属的变焦倍率区段分别确定ISP和防抖算法对第一拍摄画面进行的处理。
可以理解的是,对于同一拍摄画面,裁剪之后图像的尺寸越大,则裁剪之后图像的视场角也越大;裁剪之后图像的尺寸越小,则裁剪之后图像的视场角也越小。可以认为,图像的尺寸与图像的视场角之间存在对应关系,是正相关的。
示例性的,下面以手机预设3个变焦倍率区段举例,具体描述如何计算目标裁剪尺寸。可以将上述目标图像的预设尺寸记为第一预设尺寸,将上述ISP输出的图像的预设尺寸记为第二预设尺寸。可以理解的是,第一预设尺寸和第二预设尺寸可以是用户自定义设置的,也可以是手机中默认设置的。本申请实施例对第一预设尺寸和第二预设尺寸的具体数值不做限定。
下面将以第一预设尺寸为1920×1080(即手机最终显示的图像的分辨率为1080p),第二预设尺寸为2704×1520,第一拍摄画面601的尺寸为4000×2250,第一拍摄画面601的视场角是全FOV为例,通过实施例1至实施例3介绍第一变焦倍率在不同变焦倍率区段中,手机根据第一变焦倍率对应的变焦倍率区段确定第一拍摄画面的目标裁剪尺寸的过程。
实施例1
若第一变焦倍率在第一变焦倍率区段内,则IPS对第一拍摄画面601不进行裁剪,仅由防抖算法根据第一变焦倍率对第一拍摄画面601进行裁剪。此时,目标裁剪尺寸仅包括第二裁剪尺寸。
在本申请实施例中,在手机获取到第一拍摄画面601后,并确定当前变焦倍率在第一变焦倍率区段内的情况下,ISP对第一拍摄画面601进行缩放后输入防抖算法,仅由防抖算法根据当前变焦倍率对缩放后的第一拍摄画面进行裁剪,经由缩放等处理后最终显示在手机的取景窗口503内。如果当前变焦倍率较大,则防抖算法裁剪后得到的图像(即第二裁剪图像)的尺寸较小,也就是说,此时防抖裁剪比例较大,防抖效果较好;相应的,如果当前变焦倍率较小,则防抖算法裁剪后得到的第二裁剪尺寸较大,也就是说,此时防抖裁剪比例较小,防抖效果较差。
示例性的,手机在获取到一帧拍摄画面(4000×2250)并确定当前变焦倍率(即第一变焦倍率)在第一变焦倍率区段内时,ISP不对当前拍摄画面进行裁剪,仅对该拍摄画面进行缩放,使得ISP输出的图像的尺寸为第二预设尺寸(2704×1520),如图9中的(b)所示。此时,由于ISP仅对当前拍摄画面进行了缩小,缩小过程是进行下采样,因此能够保证图像的清晰度。同时,由于对当前拍摄画面进行了缩小,ISP输出的图像的尺寸比现有技术中输出的图像的尺寸减小,能够减小内存占用,释放一定的内存压力。
ISP将第二预设尺寸(2704×1520)的图像输入防抖算法,防抖算法根据公式3和公式4计算裁剪之后获得的第二裁剪尺寸。
Figure BDA0002738221550000101
Figure BDA0002738221550000102
其中,ISP输出的图像(即输入防抖算法的拍摄画面)的尺寸为Height1×Width1;防抖算法裁剪后的第二裁剪图像的尺寸为Height2×Width2;zoomBase为基准变焦倍率,zoomCur为当前变焦倍率;r1为基准变焦倍率对应的防抖裁剪比例。
那么,以zoomBase为1倍变焦,zoomCur为1.2倍变焦,r1为0,ISP输出的图像的尺寸为第二预设尺寸,即2704×1520,ISP输出的图像是全FOV图像举例,手机获取到如图9中的(a)所示的全FOV,尺寸为4000×2250的第一拍摄画面601后,ISP不对第一拍摄画面601进行裁剪,仅将第一拍摄画面601缩放为第二预设尺寸,因此ISP输出的图像仍然为全FOV图像,仅图像的尺寸缩小为2704×1520,如图9中的(b)所示。之后,防抖算法根据上述公式3和公式4计算防抖算法裁剪之后的第二裁剪图像的高Height2=2704×1/1.2×(1-0)=2253,宽Width2=1520×1/1.2×(1-0)=1267,即第二裁剪尺寸为2253×1267。如图9中的(c)所示,裁剪框901的尺寸为2253×1267,裁剪框901内保留的图像的尺寸即为第二裁剪尺寸。由于视场角与图像的尺寸正相关,因此防抖算法裁剪之后获得的第二裁剪图像的视场角小于第一拍摄画面的视场角,即小于全FOV。
可以理解的是,由于第一预设尺寸为1920×1080,因此,之后手机还需要对裁剪之后的图像进行缩放,缩小至第一预设尺寸,才能满足最终在手机上显示的尺寸要求。
若第一变焦倍率在第一变焦倍率区段内,则由上述公式3和公式4可以看出,随着当前变焦倍率(即第一变焦倍率)变大,防抖算法裁剪之后获得的第二裁剪图像的尺寸变小,即第二裁剪尺寸变小。相应地,第二裁剪图像的视场角也变小。这样,防抖算法的可裁剪比例增大,防抖能力随着当前变焦倍率增大而提升。这里,仅由防抖算法对第一拍摄画面进行裁剪,因此防抖效果可以达到最优。同时,由于整个过程ISP输出图像和防抖算法输出图像时都仅涉及下采样,因此图像的清晰度不受损。并且,由于ISP输出全视场角的图像时将第一拍摄画面的尺寸缩小为第二预设尺寸,因此能够减小内存占用。综上,在第一变焦倍率在第一变焦倍率区段内的情况下,本方法能够保证图像的清晰度,释放一定的内存压力,同时保证防抖效果最优。
实施例2
若第一变焦倍率在第二变焦倍率区段内,则ISP根据第一变焦倍率对第一拍摄画面601进行裁剪,防抖算法按照固定比例对ISP输出的图像(即输入防抖算法的图像)进行裁剪。此时,目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸。
根据上述内容可知,zoom1是第一变焦倍率区段内与第二变焦倍率区段的拐点,随着当前变焦倍率增大,当变焦倍率为zoom1时,防抖算法根据公式3和公式4对第二预设尺寸的输入防抖算法的图像裁剪得到的第二裁剪尺寸恰好为第一预设尺寸。由于本申请实施例中以第一预设尺寸为1920×1080,第二预设尺寸为2704×1520举例,因此可以得出,此时,zoom1为2704/1920=1.41倍变焦。之后随着当前变焦倍率继续增大,防抖算法裁剪得到的第二裁剪尺寸小于第一预设尺寸。这样,防抖算法最终需要对第二裁剪图像进行上采样,保证手机最终显示的图像的尺寸仍然为第一预设尺寸。由于上采样的处理损伤图像的清晰度,因此在第二变焦倍率区段内,为了保证图像的清晰度,ISP根据第一变焦倍率对第一拍摄画面601进行裁剪,防抖算法按照固定裁剪比例对ISP输出的图像进行裁剪。由于在第二变焦倍率区段内,ISP输出的图像的尺寸固定为第二预设尺寸,防抖算法裁剪后的第二裁剪图像的尺寸固定为第一预设尺寸,因此防抖算法在第二变焦倍率区段内防抖能力、图像清晰度和内存占用量均维持不变。
示例性的,手机在获取到一帧拍摄画面(4000×2250)并确定当前变焦倍率(即第一变焦倍率)在第二变焦倍率区段内时,ISP按照公式5和公式6计算裁剪之后获得的第一裁剪尺寸。
Figure BDA0002738221550000111
Figure BDA0002738221550000112
其中,第一拍摄画面的尺寸为Height3×Width3;ISP裁剪后的第一裁剪图像的尺寸为Height4×Width4;zoom1等于1.41,为第二变焦倍率区段的起始点;zoomCur为当前变焦倍率。
那么,以第一拍摄画面的尺寸为4000×2250,视场角为全FOV;zoomCur为1.5倍变焦举例,根据上述公式5和公式6可以计算得出,ISP对第一拍摄画面进行裁剪后得到的第一裁剪图像的高Height4=4000×1.41/1.5=3760,宽Width4=2250×1.41/1.5=2115,第一裁剪尺寸为3760×2115。如图10中的(a)所示,裁剪框1002中保留的图像的尺寸即为第一裁剪尺寸,ISP对第一拍摄画面进行裁剪之后获得如图10中的(b)所示的第一裁剪图像。由于视场角与图像的尺寸正相关,因此ISP裁剪之后获得的第一裁剪图像的视场角小于第一拍摄画面的视场角,即小于全FOV。
ISP对第一拍摄画面进行裁剪之后,可以继续将裁剪后获得的第一裁剪图像缩小至第二预设尺寸(2704×1520)输出至防抖算法,如图10中的(c)所示。此时,FOV与第一裁剪图像的FOV相同。
之后,防抖算法根据公式7和公式8对输入的第二预设尺寸的图像进行裁剪。
Width6=Width5×(1-r2) 公式(7)
Height6=Height5×(1-r2) 公式(8)
其中,ISP输出的图像的尺寸为Height5×Width5,在本申请实施例中,该尺寸为第二预设尺寸,即2704×1520;防抖算法裁剪后得到的第二裁剪图像的尺寸为Height6×Width6,在本申请实施例中,第二裁剪图像的尺寸为第一预设值1920×1080;r2为变焦倍率为zoom1时对应的防抖裁剪比例,r2=(2704-1920)/2704=29%。那么,根据公式7和公式8可以计算得出,防抖算法裁剪后的拍摄画面,即第二裁剪图像的高Height6=2704×(1-29%)=1920,宽Width6=1520×(1-29%)=1080,即第二裁剪尺寸为1920×1080。也就是说,图10中的(d)中所示的裁剪框1001的尺寸为1920×1080,裁剪框1001内保留的图像的尺寸即为第二裁剪尺寸。可以认为,由于这里第二裁剪尺寸是固定的,为第一预设尺寸,因此可以直接得出裁剪框1001的尺寸。由于视场角与图像的尺寸正相关,因此防抖算法裁剪之后获得的第二裁剪图像的视场角小于第一裁剪图像的视场角。
若第一变焦倍率在第二变焦倍率区段内,则由上述公式7和公式8可以看出,防抖算法裁剪之后获得的第二裁剪尺寸不会随着当前变焦倍率(即第一变焦倍率)变大而改变,第二裁剪图像的视场角也不变。这样,能够避免防抖算法裁剪之后的图像的尺寸小于第一预设尺寸时进行放大处理显示在手机上时图像清晰度受损的问题。由于ISP对第一拍摄画面进行了裁剪和缩放,ISP输出的图像的尺寸为第二预设尺寸,防抖算法按照固定比例对ISP输出的图像进行裁剪,因此在第二倍率区段内,能够在保证一定防抖能力并释放一定内存压力的同时,保证图像的清晰度不受影响。
实施例3
若第一变焦倍率在第三变焦倍率区段内,则ISP按照固定比例对第一拍摄画面601进行裁剪,防抖算法根据第一变焦倍率对ISP输出的图像进行裁剪。此时,目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸。
根据上述内容可知,zoom2是第二变焦倍率区段与第三变焦倍率区段的拐点,随着当前变焦倍率增大,当变焦倍率为zoom2时,ISP根据上述公式5和公式6裁剪之后得到的第二裁剪图像的尺寸恰好等于第二预设尺寸。由于zoom1=1.41,第一拍摄画面的尺寸为4000×2250,第二预设尺寸为2704×1520,因此zoom2=4000×1.41/2704=2.09。之后,随着当前变焦倍率的增大,不论是ISP还是防抖算法根据当前变焦倍率进行裁剪,裁剪之后的图像为了正常显示,都不可避免地需要进行上采样处理。这样,图像清晰度的损伤不可避免。在综合考虑图像清晰度、内存占用量和防抖效果的情况下,为了获得更好的综合效果,此时,ISP按照固定比例对第一拍摄画面进行裁剪,防抖算法再次根据第一变焦倍率对ISP输出的图像进行裁剪。在第三变焦倍率区段中,随着当前变焦倍率变大,通过防抖算法裁剪后的第二裁剪图像的尺寸减小,也就是说,此时防抖裁剪比例变大,防抖效果更好。
示例性的,手机在获取到一帧拍摄画面(4000×2250)并确定当前变焦倍率(即第一变焦倍率)在第三变焦倍率区段内时,ISP按照公式9和公式10计算裁剪之后获得的第一裁剪尺寸。
Width7=Width3×S 公式(9)
Height7=Height3×S 公式(10)
其中,第一拍摄画面的尺寸为Height3×Width3;ISP裁剪后的第一裁剪图像的尺寸为Height7×Width7;S为第一裁剪图像的尺寸与第一拍摄画面的尺寸的比值,为一个固定的常数。由于本申请实施例中以第一拍摄画面的尺寸为4000×2250,视场角为全FOV,第一裁剪图像的尺寸为第二预设尺寸2704×1520举例,因此可以得出,S=2704/4000,ISP对第一拍摄画面裁剪之后获得的第一裁剪图像的尺寸为2704×1520。如图11中的(a)所示,裁剪框1102中保留的图像即为ISP裁剪之后的第一裁剪图像,因此,ISP对第一拍摄画面裁剪之后获得如图11中的(b)所示的第一裁剪图像。由于视场角与图像的尺寸正相关,因此第一裁剪图像的视场角小于全FOV。
ISP将第二预设尺寸的第一裁剪图像输入防抖算法,防抖算法根据公式11和公式12计算裁剪之后获得第二裁剪尺寸。
Figure BDA0002738221550000131
Figure BDA0002738221550000132
其中,防抖算法裁剪后得到的第二裁剪尺寸为Height8×Width8;r2为变焦倍率为zoom1时对应的防抖裁剪比例,r2=(2704-1920)/2704=29%。由于zoom1和zoom2对应的防抖裁剪比例相同,因此,r2也为zoom2对应的防抖裁剪比例。
那么,以第一变焦倍率,即zoomCur为3倍变焦举例,根据公式11和公式12可以计算得出,防抖算法裁剪后得到的拍摄画面,即第二裁剪图像的高Height8=2704×2.09/3×(1-29%)=1337,宽Width8=1520×2.09/3×(1-29%)=752,第二裁剪尺寸为1337×752。如图11中的(c)所示,裁剪框1101的尺寸为1337×752,裁剪框1101内保留的图像的尺寸即为第二裁剪尺寸。由于视场角与图像的尺寸正相关,因此防抖算法裁剪之后获得的第二裁剪图像的视场角小于第一裁剪图像的视场角。
可以理解的是,由于第一预设尺寸为1920×1080,因此,之后手机还需要对裁剪之后的图像进行缩放,放大至第一预设尺寸,才能满足最终在手机上显示的尺寸要求。
若第一变焦倍率在第三变焦倍率区段内,则根据上述公式11和公式12可以看出,随着当前变焦倍率(即第一变焦倍率)变大,防抖算法裁剪之后获得的第二裁剪图像的尺寸减小,第二裁剪图像的视场角也减小。这样,防抖算法的可裁剪比例增大,防抖能力随着当前变焦倍率变大而提升。这里,由于随着当前变焦倍率变大,不可避免地涉及上采样处理,影响图像清晰度,同时变焦倍率越大,画面抖动越明显,需要更高的防抖效果,因此,综合考虑清晰度、内存占用量和防抖能力,本申请实施例中的方法仍然能够释放一定内存占用,同时保证防抖效果随着变焦倍率变大而提升。
综上,如图7所示,根据本申请实施例中的方法确定第一拍摄画面的目标裁剪尺寸时,随着当前变焦倍率变大,当前变焦倍率在第一变焦倍率区段内时,防抖裁剪比例随着当前变焦倍率的变大而增大;当前变焦倍率在第二变焦倍率区段内时,防抖裁剪比例随着当前变焦倍率的变大保持不变;当前变焦倍率在第三变焦倍率区段内时,防抖裁剪比例随着当前变焦倍率的变大继续增大。这样,本方法在第一变焦倍率区段内,能够保证防抖效果最优,保证图像清晰度不受损,减小内存占用量;在第二变焦倍率区段内,能够保证图像的清晰度不受损,同时保证一定的防抖能力并节省一定内存空间;在第三变焦倍率区段内,能够在图像清晰度受损不可避免的情况下,进一步提升防抖能力。由此可见,根据本申请实施例在不同变焦倍率区段设置不同的防抖能力,能够节省内存占用,综合清晰度和防抖能力的收益。
此外,现有技术中,手机通常设置有默认变焦倍率,保证手机能够对拍摄的画面进行一定的防抖处理。而在本申请实施例的方法中,变焦倍率可以扩充到zoomBase,使得在变焦倍率为zoomBase的情况下,不对当前拍摄画面进行裁剪,输出全FOV的画面。从而可以满足用户在较低变焦倍率下对防抖要求不高,而希望获得更大的FOV的要求。
需要说明的是,在手机预设2个变焦倍率区段(即第三变焦倍率区段和第四变焦倍率区段)时,可以认为,第四变焦倍率区段相当于图7中的第二变焦倍率区段,第五变焦倍率区段相当于图7中的第三变焦倍率区段。因此,当第一变焦倍率在第四变焦倍率区段内时,ISP仍然可以按照上述公式5和公式6计算第一裁剪尺寸,此时,将zoom1修改为zoomBase;防抖算法仍然可以根据公式7和公式8计算第二裁剪尺寸,此时,将r2修改为r3,其中r3为zoomBase对应的防抖裁剪比例。当第一变焦倍率在第五变焦倍率区段内时,ISP仍然可以按照上述公式9和公式10计算第一裁剪尺寸;防抖算法仍然可以根据上述公式11和公式12计算第二裁剪尺寸,此时,将zoom2修改为zoom3,将r2修改为r3。
综上,如图8所示,在第四变焦倍率区段内,防抖裁剪比例随着变焦倍率的增大保持不变,由于第变焦倍率区段通常对防抖要求不高,因此在第四变焦区段内,在保证一定防抖效果的同时,可以保证图像清晰度并节省内存;在第五变焦倍率区段内,防抖裁剪比例继续随着变焦倍率的增大而增大。也可以认为,在第五变焦倍率区段内,随着变焦倍率增大,能够提升防抖效果。由于高变焦倍率下,图像抖动更加明显,因此,在第五变焦倍率区段,能够在保证节省一定内存的基础上,显著提高防抖效果。可以理解的是,这种两段式防抖尤其适合存在一定比例的基础防抖能力的情况下,或者手机使用非广角镜头拍摄的情况下。
S404、手机按照目标裁剪尺寸对第一拍摄画面进行裁剪,获得参考图像。
可以理解的是,参考图像的尺寸为第二裁剪尺寸,并且获得参考图像之后,手机不会对参考图像进行裁剪,因此参考图像与手机最终显示的目标图像的视场角相同。
以第一变焦倍率在第一变焦倍率区段内为例,按照步骤S403中实施例1描述的方法,如图9所示,裁剪框901是手机以拍摄画面的中心点为中心确定的。在本申请实施例中,手机可以根据拍摄第一拍摄画面时的抖动情况确定裁剪框901的具体位置并进行裁剪,保留最终裁剪框内的画面作为参考图像,从而补偿拍摄过程中发生的抖动。
示例性的,手机通过摄像头在采集第一拍摄画面时,可以开启陀螺仪等传感器检测手机在各个方向上,例如x轴和y轴上的实际位移,即第一拍摄画面在x轴上的实际位移S1以及第一拍摄画面在y轴上的实际位移S2。或者,手机可以获取与第一拍摄画面相邻的上一帧拍摄画面,进而通过光学稳像(optical image stabilization,OIS)算法或电子稳像(electric image stabilization,EIS)算法计算第一拍摄画面在x轴上的实际位移S1以及第一拍摄画面在y轴上的实际位移S2。在另一些实施例中,由于上述S1、S2一部分是由于用户的真实运动产生,另一部分是由于手机抖动产生,因此,用户上述手机在获取到第一拍摄画面后,还可以结合最近的N(N>1)帧拍摄画面预测在拍摄第一拍摄画面时用户在x轴的运动位移Y1和用户在y轴的运动位移Y2。这样,手机可计算出第一拍摄画面在x轴的第一抖动量D1=S1-Y1,第一拍摄画面在y轴的第二抖动量D2=S2-Y2。
示例性的,若手机检测到第一拍摄画面在x轴沿正方向的抖动量为2°,则手机可将裁剪框901从输入防抖算法的拍摄画面的中心向x轴负方向平移2°,从而补偿第一拍摄画面在x轴抖动产生的画面偏移。又例如,如果检测到第一拍摄画面在y轴沿正方向的抖动量6°,则手机可将裁剪框901从输入防抖算法的拍摄画面的中心向y轴负方向平移6°,从而补偿第一拍摄画面在y轴抖动产生的画面偏移。
如图12所示,手机根据第一拍摄画面在x轴和y轴的抖动量确定出裁剪框901移动的方向和距离。例如,在图12中,根据上述抖动量确定裁剪框901移动至裁剪框902的位置,进而,可按照裁剪框902所在的位置裁剪输入防抖算法的拍摄画面,保留裁剪框902中的画面,得到防抖算法裁剪后的拍摄画面1201。也就是说,手机通过目标裁剪尺寸对第一拍摄画面进行裁剪之后,获得了参考图像。之后,手机不会再对参考图像进行裁剪。
需要说明的是,在一些实施例中,防抖算法还可以对第一拍摄画面进行网格划分来进行分网格的防抖。其中,网格的大小需要根据输入图尺寸进行动态适配。
此外,在一些实施例中,在获得网格信息和防抖算法裁剪后的图像的尺寸后,防抖算法还可以按照正常的EIS防抖流程来进行防抖处理。具体的,防抖算法在获得网格信息和防抖算法裁剪后的图像的尺寸后,先进行中心路径优化,根据优化后的中心路径计算出透视矩阵(即H矩阵),最后经过warp算法得到目标图像。上述算法流程可以参见图13。之后,手机可以在预览界面上显示目标图像。
上述是以第一变焦倍率在第一变焦倍率区段内为例,来具体描述根据目标裁剪尺寸来对第一拍摄画面进行裁剪的过程。可以理解的是,当第一变焦倍率在第二变焦倍率区段或第三变焦倍率区段内,手机仍然可以通过防抖算法按照步骤S404中描述的过程来进行裁剪,最终保留根据抖动量移动位置后的裁剪框1001内的画面或裁剪框1101内的画面作为参考图像。本申请实施例对此不再赘述。
S405、手机基于参考图像获得目标图像,在预览界面上显示目标图像。
预览界面上显示图像时,通常对分辨率有一定要求。也可以认为,手机在预览界面上以第一预设尺寸显示图像。手机获得参考图像后,参考图像的尺寸不一定满足第一预设尺寸的要求,因此,手机可以对参考图像进行缩放处理,从而得到满足预设尺寸要求的目标图像。
仍然以手机最终显示的图像的分辨率为1080p,即第一预设尺寸为1920×1080为例进行说明。仍然参照图12,手机保留裁剪框902中的拍摄画面1201作为参考图像,根据上述步骤S403中的实施例1可知,拍摄画面1201,即参考图像的尺寸为2253×1267,大于第一预设尺寸,因此,手机通过防抖算法将参考图像1201缩放至第一预设尺寸,获得目标图像1202,并将目标图像1202显示在预览界面502的取景窗口503中。此时,目标图像1202既满足当前变焦倍率的变焦需求,同时补偿了手机因抖动产生的画面偏移,并且满足手机显示图像的分辨率的要求,使用户获取较好的拍摄体验。
在一些实施例中,若参考图像与第一预设尺寸不符时,还可以通过增加像素间距、YUV缩放模块或任意比超分辨率(arbitrary ratio super resolution,ARSR)缩放模块等方式对参考图像进行缩放,使得手机最终显示的图像满足分辨率的要求。
示例性的,如图13所示,手机采用增加像素间距的变量进行缩放时,先计算像素间距pixelDist,pixelDist记录了最终输出图像的尺寸(即第一预设尺寸)与用户实际拍摄的尺寸(即第一拍摄画面的尺寸)的比例。在warp输出时,手机可以通过调整像素间距得到最终的输出图像。
上述实施例中是以手机获取到第一变焦倍率和第一拍摄画面后,根据第一变焦倍率对应的变焦倍率区段对第一拍摄画面进行裁剪进行说明的。手机可以根据上述步骤S400-S405描述的方法基于第一变焦倍率对拍摄画面进行裁剪,从而实现在节省内存占用的同时,综合清晰度和防抖能力的收益的效果。
在一些实施例中,用户在预览过程中可能调整当前的变焦倍率,因此,本申请实施例提供的拍摄方法还包括:
S406、响应于用户的变焦操作,手机获取第二变焦倍率和第二拍摄画面。
当手机在录像模式下预览的过程中,用户可以手动调整当前的变焦倍率。例如,用户可以通过滑动图5中所示的变焦控件504,从而获取第二变焦倍率。或者,用户可以通过捏合操作来调整当前的变焦倍率。
可以理解的是,若手机的当前变焦倍率改变,则手机可能自动更换摄像头。例如,若当前变焦倍率变大,则手机的摄像头可能从广角摄像头转换成长焦摄像头。
下面以第二变焦倍率大于第一变焦倍率为例,则响应于用户的变焦操作,手机获取到更大的变焦倍率,说明用户希望将第二拍摄画面按照第二变焦倍率,放大更多后显示在预览界面502的取景窗口503中。
S407、手机确定第二变焦倍率对应的变焦倍率区段。
在本申请实施例中,手机预设有多个变焦倍率区段。通常,在响应于用户的变焦操作,手机获取到第二变焦倍率后,手机预设的多个变焦倍率区段不会改变。当然,在一些实施例中,手机获取到第二变焦倍率后,也可以改变手机中预设的变焦倍率区段,本申请对此不作限定。
S408、手机根据第二变焦倍率对应的变焦倍率区段确定第二拍摄画面的目标裁剪尺寸。其中,目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸,或者目标裁剪尺寸包括第二裁剪尺寸,第一裁剪尺寸为ISP裁剪后的第一裁剪图像的尺寸,第二裁剪图像为防抖算法裁剪后的第二裁剪图像的尺寸。
需要说明的是,在本申请实施例中,将ISP裁剪后的图像称为第一裁剪图像,将防抖算法裁剪后的图像称为第二裁剪图像。在手机获取的当前拍摄画面和/或当前变焦倍率不同时,则第一裁剪图像可能不同,第二裁剪图像也可能不同。例如,步骤S408中确定的第一裁剪图像与上述步骤S403中确定的第一裁剪图像可能不同,步骤S408中确定的第二裁剪图像与上述步骤S403中确定的第二裁剪图像也可能不同。
与步骤S402类似,手机可以根据第二变焦倍率对应的变焦倍率区段,按照实施例1至实施例3中的一种方案确定目标裁剪尺寸。
以第二变焦倍率属于第一变焦倍率区段,第二变焦倍率为1.3为例,如图14中的(a)所示,手机获取到第二拍摄画面1401后,ISP对第二拍摄画面1401不进行裁剪,ISP将拍摄画面1401缩放至第二预设尺寸,如图14中的(b)所示。之后防抖算法对第二预设尺寸的输入图像进行裁剪,由于第二拍摄画面仍然为尺寸为4000×2250,视场角为全FOV,第二预设尺寸仍然为2704×1520,因此根据公式3和公式4可以计算得出,第二变焦倍率为1.3时,第二裁剪图像的高=2704×1/1.3×(1-0)=2080,宽=1520×1/1.3×(1-0)=1169,第二裁剪尺寸为2080×1169。也就是说,图14中的(c)中所示的裁剪框1402的尺寸为2080×1169,裁剪框1402内保留的图像的尺寸即为第二裁剪尺寸。由于视场角与图像的尺寸之间正相关,因此第二裁剪图像的视场角小于全FOV。
由于在第一变焦倍率区段内,随着当前变焦倍率变大,防抖效果提升。因此,在第二变焦倍率大于第一变焦倍率的情况下,第二变焦倍率下得到的第二裁剪图像的尺寸更小,防抖裁剪比例更大,防抖效果更好。
S409、手机按照目标裁剪尺寸对第二拍摄画面进行裁剪,获得参考图像。
类似于S404,手机可以结合通过陀螺仪等传感器或最近拍摄的拍摄画面,得到拍摄第二拍摄画面过程中的抖动量,如图15所示,将裁剪框1402移动至裁剪框1403的位置处,以补偿第二拍摄画面的画面偏移。手机保留裁剪框1403中的画面作为参考图像1501。
S410、手机基于参考图像获得目标图像,在预览界面上显示目标图像。
类似于S405,参见图15,手机保留裁剪框1403中的画面作为参考图像1501,然而参考图像不一定符合手机最后显示的目标图像的分辨率要求。因此,手机还可以对参考图像进行缩放等处理,得到符合要求的目标图像1502,最终将目标图像1502显示在预览界面502的取景窗口503中。
由于本申请实施例中以第二变焦倍率与第一变焦倍率同属第一变焦倍率区段,第二变焦倍率大于第一变焦倍率为例进行说明,因此,根据第二变焦倍率最终在手机预览界面中显示的画面的视场角小于根据第一变焦倍率最终在手机预览界面中显示的画面的视场角。
通过上述步骤S406-S410,手机可以响应于用户的变焦操作,获取第二变焦倍率和第二拍摄画面,之后,根据第二变焦倍率对应的变焦倍率区段(即第二变焦倍率所属的变焦倍率区段)对第二拍摄画面进行裁剪,从而实现在节省内存占用的同时,综合清晰度和防抖能力的收益的效果。
上述步骤S400-S410描述的是在录像模式下预览时,手机根据当前变焦倍率在预览界面中显示目标图像的过程。在预览之后,手机还可以响应用户的录像操作录制视频。因此,继续参见图4,本申请实施例提供的拍摄方法还可以包括:
S411、响应于用户的录像操作,手机获取第三变焦倍率和第三拍摄画面。
在本申请实施例中,用户的录像操作包括用户点击预览界面中的“开始录制”按钮,按压某一物理按键,语音输入“开始录制”或者其他手势操作。本申请对录像操作的具体类型不作限定。
其中,第三变焦倍率与第二变焦倍率可以相同或不相同。在一些实施例中,用户在预览过程中能够查看到取景窗口中显示的画面,通常用户在取景窗口中显示的画面符合用户期望时,才进行录像操作。此时,第三变焦倍率与第二变焦倍率相同。
S412、手机确定第三变焦倍率对应的变焦倍率区段。
该步骤类似于步骤S402,这里不再赘述。
S413、手机根据第三变焦倍率对应的变焦倍率区段确定第三拍摄画面的目标裁剪尺寸。其中,目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸,或者目标裁剪尺寸包括第二裁剪尺寸,第一裁剪尺寸为ISP裁剪后的第一裁剪图像的尺寸,第二裁剪尺寸为防抖算法裁剪后的第二裁剪图像的尺寸。
该步骤类似于步骤S403,这里不再赘述。
需要说明的是,在本申请实施例中,将ISP裁剪后的图像称为第一裁剪图像,将防抖算法裁剪后的图像称为第二裁剪图像。在手机获取的当前拍摄画面和/或当前变焦倍率不同时,则第一裁剪图像可能不同,第二裁剪图像也可能不同。
S414、手机按照目标裁剪尺寸对第三拍摄画面进行裁剪,获得参考图像。
该步骤类似于步骤S404,这里不再赘述。
S415、手机基于参考图像获得目标图像,在拍摄界面上显示目标图像,并保存目标图像。
由于手机此时在拍摄过程中,因此手机在拍摄界面的取景窗口中显示目标图像。同时,手机保存目标图像,用于生成目标视频。
该步骤类似于步骤S405,这里不再赘述。
用户在录像模式的拍摄过程中,也可以根据需求改变当前变焦倍率,因此,本申请实施例提供的拍摄方法还包括:
S416、响应于用户的变焦操作,手机获取第四变焦倍率和第四拍摄画面。
用户在拍摄过程中,也可以改变当前变焦倍率。
该步骤类似于步骤S406,这里不再赘述。
S417、手机确定第四变焦倍率对应的变焦倍率区段。
该步骤类似于步骤S407,这里不再赘述。
S418、手机根据第四变焦倍率对应的变焦倍率区段确定第四拍摄画面的目标裁剪尺寸。其中,目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸,目标裁剪尺寸包括第二裁剪尺寸,第一裁剪尺寸为ISP裁剪后的第一裁剪图像的尺寸,第二裁剪尺寸为防抖算法裁剪后的第二裁剪图像的尺寸。
该步骤类似于步骤S408,这里不再赘述。
S419、手机按照目标裁剪尺寸对第四拍摄画面进行裁剪,获得参考图像。
该步骤类似于步骤S409,这里不再赘述。
S420、手机基于参考图像获得目标图像,在拍摄界面上显示目标图像,并保存目标图像。
该步骤类似于步骤S410,这里不再赘述。
S421、响应于用户停止录制的操作,手机结束视频录制,并根据拍摄过程中保存的目标图像生成目标视频。
在本申请实施例中,用户停止录制的操作用于使手机结束视频录制。
在一些实施例中,用户可以通过点击拍摄界面中的“结束录制”的按钮来结束视频录制。在另一些实施例中,用户还可以通过触发特定物理按键、语音输入或手势输入等方式结束时评录制。本申请实施例对用户停止录制的操作的类型不作限定。
手机在结束视频录制时,可以生成目标视频。目标视频是视频编码器根据手机拍摄过程中保存的目标图像生成的。
在一些实施例中,目标视频生成后,手机重新进入预览界面。可选地,生成的目标视频显示在预览界面的图库窗口中。
根据上述步骤S400-S421,示例性的,参见图16,手机在录像模式下进行预览时,在第一变焦倍率下,手机可以显示如图16中的(a)所示的预览界面。用户根据需求将当前变焦倍率调整为第二变焦倍率时,例如,用户可以通过向上滑动图16中的(a)中所示的变焦控件来将当前变焦倍率调整为第二变焦倍率时,手机可以响应于用户的变焦操作,根据第二变焦倍率,显示如图16中的(b)所示的预览界面。示例性的,由于图16中的(b)中的第二变焦倍率大于图16中的(a)中的第一变焦倍率,因此图16中的(b)所示的预览界面的取景窗口中显示的图像的视场角比图16中的(a)所示的预览界面的取景窗口中显示的图像的视场角小。在如图16中的(b)所示的预览界面中,用户可以点击“开始录制”的按钮,手机响应于用户的录制操作,进入拍摄界面,根据当前的变焦倍率(第三变焦倍率)显示如图16中的(c)所示的拍摄界面,同时手机保存拍摄界面的取景窗口中的目标图像。可以理解的是,在一些实施例中,第三变焦倍率与第二变焦倍率相同。在录制视频的过程中,用户也可以根据需求调整当前变焦倍率。若用户将当前变焦倍率调整为第四变焦倍率,例如,若用户通过向下滑动图16中的(c)中所示的变焦控件将当前变焦倍率调整为第四变焦倍率,则手机可以响应于用户的变焦操作,根据第四变焦倍率,显示如图16中的(d)所示的拍摄界面,同时手机保存拍摄界面的取景窗口中的目标图像。示例性的,由于图16中的(d)中的第四变焦倍率小于图16中的(c)中的第三变焦倍率,因此图16中的(d)所示的预览界面的取景窗口中显示的图像的视场角比图16中的(c)所示的预览界面的取景窗口中显示的图像的视场角大。之后,若用户希望终止录制视频,则如图16中的(e)所示,用户可以点击“结束录制”按钮停止录制视频,同时手机根据之前拍摄过程中保存的目标图像生成目标视频。如图16中的(f)所示,结束录制视频之后,手机可以重新进入预览界面,同时预览界面中的图库窗口中可以显示目标视频。
可以理解的是,在一些实施例中,手机通过防抖算法对输入防抖算法的拍摄画面进行裁剪等处理得到目标图像后,可以先将目标图像存储在手机的缓存中。例如,可将目标图像存储在预览缓存或视频缓存中。在拍摄视频或拍照的预览场景下,手机可从预览缓存中实时获取已经裁剪的各个拍摄画面,即目标图像,并输出在预览界面的取景窗口中。在视频的拍摄过程中,手机可从视频缓存中实时获取已经裁剪的各个拍摄画面,即目标图像,并将这些目标图像编码为本次录制的目标视频进行保存。
可以看出,无论在拍照场景或视频场景下,无论在预览场景或录制场景下,手机获取到每一帧拍摄画面后,均可按照当前变焦倍率对应的变焦倍率区段动态地设置本次拍摄画面的目标裁剪尺寸。本申请实施例提供的方法能够扩展变焦倍率范围,在当前变焦倍率较小时,能够获得FOV较大的目标图像,甚至全FOV图像;在当前变焦倍率较大,拍摄画面的抖动较明显时,能够有效提高拍摄画面的防抖性能。此外,本申请实施例提供的拍摄方法通过在不同变焦倍率区段设置不同的防抖能力,能够节省内存占用,综合图像清晰度和防抖能力的收益,提升用户体验。
本申请实施例还提供了一种拍摄方法,以电子设备为手机举例,如图17所示,该方法包括:
S1701、手机开启录像模式。
该步骤可以参考上述步骤S400。
S1702、手机获取目标变焦倍率和目标拍摄画面。
手机可以在录像模式的预览场景或拍摄场景下,都可以获取当前变焦倍率作为目标变焦倍率,获取当前拍摄画面作为目标拍摄画面。此外,在录像模式的预览场景或拍摄场景下,若手机检测到用户的变焦操作后,则可以获取变焦操作后的目标变焦倍率和目标拍摄画面。
该步骤可以参考上述步骤S401、S406、S411和S416。例如,手机在开启录像模式后,可以在预览界面中获取第一变焦倍率和第一拍摄画面。此时,目标变焦倍率为第一变焦倍率,目标拍摄画面为第一拍摄画面。
S1703、手机确定目标变焦倍率对应的目标变焦倍率区段。
手机中可以预设多个变焦倍率区段,手机获取到目标变焦倍率后,可以确定目标变焦倍率对应的目标变焦倍率区段,从而根据目标变焦倍率所属的目标变焦倍率区段选择对应的防抖能力。
该步骤可以参考上述步骤S402、S407、S412和S417。示例性的,仍以目标变焦倍率为第一变焦倍率举例,若手机设置有3个变焦倍率区段,则手机可以确定第一变焦倍率对应这3个变焦倍率区段中的哪一个。其中,第一变焦倍率对应的变焦倍率区段不同,手机的防抖能力也不同。
S1704、手机根据目标变焦倍率区段确定目标拍摄画面的目标裁剪尺寸。其中,目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸,或者目标裁剪尺寸包括第二裁剪尺寸。第一裁剪尺寸为ISP对目标拍摄画面裁剪后的第一裁剪图像的尺寸,第二裁剪尺寸为防抖算法对ISP输出的图像裁剪后的第二裁剪图像的尺寸。
该步骤可以参考上述步骤S403、S408、S413和S418。以目标变焦倍率为第一变焦倍率,目标变焦倍率区段为第一变焦倍率区段为例,则手机可以根据S403中实施例1描述的方法,ISP仅对第一拍摄画面缩放,防抖算法对ISP输出的图像进行裁剪,从而得到第一拍摄画面的目标裁剪尺寸。示例性的,若第一拍摄画面为4000×2250,ISP输出的图像的预设尺寸为2704×1520,第一变焦倍率为1.5,基准变焦倍率为1,基准变焦倍率对应的裁剪比例为0,则目标裁剪尺寸(即第二裁剪尺寸)为2253×1267。
S1705、手机根据目标裁剪尺寸对目标拍摄画面进行裁剪,获得参考图像。
这里,参考图像的尺寸即为第二裁剪尺寸。
该步骤可以参考上述步骤S404、S409、S414和S419。例如,手机可以根据上述示例中的目标裁剪尺寸2253×1267对第一拍摄画面进行裁剪,获得参考图像。其中,参考图像的尺寸为2253×1267。
S1706、手机对参考图像进行缩放获得目标图像。
由于参考图像的尺寸不一定满足手机显示的分辨率的要求,因此,手机可能还需要对参考图像进行缩放等处理,从而获得目标图像。
目标图像满足手机显示的分辨率的要求,可以将目标图像显示在预览界面或拍摄界面上,也可以在拍摄场景下保存目标图像,从而基于目标图像生成目标视频。
该步骤可以参考上述步骤S405、S410、S415、S420。例如,上面得到的参考图像的尺寸为2253×1267,当手机分辨率为1080p时,手机最终显示的图像的尺寸为1920×1080。因此,手机还需要对参考图像进行缩放,以满足手机分辨率的要求。
通过上述S1701-S1706描述的拍摄方法,手机能够在不同的变焦倍率区段配置不同的防抖能力,在确定目标变焦倍率对应的目标变焦倍率区段后,能够通过ISP和防抖算法协同对目标拍摄画面进行裁剪、缩放等处理,从而在保证防抖效果的同时减少内存占用,同时达到平衡防抖效果、内存占用和图像清晰度的效果。
本申请实施例公开了一种电子设备,包括处理器,以及与处理器相连的存储器、输入设备和输出设备。其中,输入设备和输出设备可集成为一个设备,例如,可将触摸传感器作为输入设备,将显示屏作为输出设备,并将触摸传感器和显示屏集成为触摸屏。
此时,如图18所示,上述电子设备可以包括:触摸屏1801,所述触摸屏1801包括触摸传感器1806和显示屏1807;一个或多个处理器1802;一个或多个摄像头1808;存储器1803;一个或多个应用程序(未示出);以及一个或多个计算机程序1804,上述各器件可以通过一个或多个通信总线1805连接。其中该一个或多个计算机程序1804被存储在上述存储器1803中并被配置为被该一个或多个处理器1802执行,该一个或多个计算机程序1804包括指令,上述指令可以用于执行上述实施例中的各个步骤。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述,在此不再赘述。
示例性的,上述处理器1802具体可以为图1所示的处理器110,上述存储器1803具体可以为图1所示的内部存储器121,上述摄像头1808具体可以为图1所示的摄像头193,上述显示屏1807具体可以为图1所示的显示屏194,上述触摸传感器1806具体可以为图1所示的传感器模块180中的触摸传感器,本申请实施例对此不做任何限制。
本申请的实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄方法。
本申请的实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中电子设备执行的拍摄方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中电子设备执行的拍摄方法。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种拍摄方法,其特征在于,所述方法包括:
电子设备开启录像模式;
所述电子设备获取目标变焦倍率和目标拍摄画面;
所述电子设备确定所述目标变焦倍率对应的目标变焦倍率区段;
所述电子设备根据所述目标变焦倍率区段确定所述目标拍摄画面的目标裁剪尺寸;其中,所述目标裁剪尺寸包括第一裁剪尺寸和第二裁剪尺寸,或者所述目标裁剪尺寸包括所述第二裁剪尺寸,所述第一裁剪尺寸为图像信号处理器ISP对所述目标拍摄画面裁剪后获得的第一裁剪图像的尺寸,所述第二裁剪尺寸为防抖算法对所述ISP输出的图像裁剪后获得的第二裁剪图像的尺寸;
所述电子设备根据所述目标裁剪尺寸对所述目标拍摄画面进行裁剪,获得参考图像;
所述电子设备对所述参考图像进行缩放获得目标图像。
2.根据权利要求1所述的方法,其特征在于,
所述目标变焦倍率区段包括:第一变焦倍率区段[zoomBase,zoom1),第二变焦倍率区段[zoom1,zoom2)和第三变焦倍率区段[zoom2,zoomMax];
其中,在zoomBase下,所述目标拍摄画面的裁剪比例为第一预设值;在所述第二变焦倍率区段中,所述第二裁剪尺寸等于所述目标图像的尺寸;在所述第三变焦倍率区段中,所述第一裁剪尺寸等于所述ISP输出的图像的尺寸;zoomMax为所述电子设备的最大变焦倍率。
3.根据权利要求2所述的方法,其特征在于,
若所述第一预设值为0,则所述目标图像为全视场角FOV图像。
4.根据权利要求2或3所述的方法,其特征在于,所述电子设备根据所述目标变焦倍率对应的目标变焦倍率区段确定所述目标拍摄画面的目标裁剪尺寸,包括:
若所述目标变焦倍率对应的目标变焦倍率区段为所述第一变焦倍率区段,则所述目标裁剪尺寸包括所述第二裁剪尺寸;所述ISP将所述目标拍摄画面缩放至所述ISP输出的图像的尺寸,所述防抖算法根据所述目标变焦倍率将所述ISP输出的图像裁剪至所述第二裁剪尺寸。
5.根据权利要求2或3所述的方法,其特征在于,所述电子设备根据所述目标变焦倍率对应的目标变焦倍率区段确定所述目标拍摄画面的目标裁剪尺寸,包括:
若所述目标变焦倍率对应的目标变焦倍率区段为所述第二变焦倍率区段,则所述目标裁剪尺寸包括所述第一裁剪尺寸和所述第二裁剪尺寸;所述ISP根据所述目标变焦倍率将所述目标拍摄画面裁剪至所述第一裁剪尺寸,并将所述第一裁剪尺寸的所述第一裁剪图像缩放至所述ISP输出的图像的尺寸,所述防抖算法将所述ISP输出的图像裁剪至所述第二裁剪尺寸,所述第二裁剪尺寸为所述目标图像的尺寸。
6.根据权利要求2或3所述的方法,其特征在于,所述电子设备根据所述目标变焦倍率对应的目标变焦倍率区段确定所述目标拍摄画面的目标裁剪尺寸,包括:
若所述目标变焦倍率对应的目标变焦倍率区段是所述第三变焦倍率区段,则所述目标裁剪尺寸包括所述第一裁剪尺寸和所述第二裁剪尺寸;所述ISP将所述目标拍摄画面裁剪至所述第一裁剪尺寸,所述第一裁剪尺寸等于所述ISP输出的图像的尺寸,所述防抖算法根据所述目标变焦倍率将所述ISP输出的图像裁剪至所述第二裁剪尺寸。
7.根据权利要求1所述的方法,其特征在于,
所述目标变焦倍率区段包括:第四变焦倍率区段[zoomBase,zoom3)和第五变焦倍率区段[zoom3,zoomMax];
其中,在zoomBase下,所述目标拍摄画面的裁剪比例为第二预设值,所述第二预设值大于0;在所述第四变焦倍率区段中,所述防抖算法的裁剪比例是固定的;在所述第五变焦倍率区段中,所述第一裁剪尺寸等于所述ISP输出的图像的尺寸;zoomMax为所述电子设备的最大变焦倍率。
8.根据权利要求7所述的方法,其特征在于,所述电子设备根据所述目标变焦倍率对应的目标变焦倍率区段确定所述目标拍摄画面的目标裁剪尺寸,包括:
若所述目标变焦倍率对应的目标变焦倍率区段为所述第四变焦倍率区段,则所述目标裁剪尺寸包括所述第一裁剪尺寸和所述第二裁剪尺寸;所述ISP根据所述目标变焦倍率将所述目标拍摄画面裁剪至所述第一裁剪尺寸,并将所述第一裁剪尺寸的所述第一裁剪图像缩放至所述ISP输出的图像的尺寸,所述防抖算法将所述ISP输出的图像裁剪至所述第二裁剪尺寸。
9.根据权利要求7所述的方法,其特征在于,所述电子设备根据所述目标变焦倍率对应的目标变焦倍率区段确定所述目标拍摄画面的目标裁剪尺寸,包括:
若所述目标变焦倍率对应的目标变焦倍率区段是所述第五变焦倍率区段,则所述目标裁剪尺寸包括所述第一裁剪尺寸和所述第二裁剪尺寸;所述ISP将所述目标拍摄画面裁剪至所述第一裁剪尺寸,所述第一裁剪尺寸等于所述ISP输出的图像的尺寸,所述防抖算法根据所述目标变焦倍率将所述ISP输出的图像裁剪至所述第二裁剪尺寸。
10.根据权利要求1-9中任一项所述的方法,其特征在于,
在所述电子设备显示预览界面时,所述电子设备获取的所述目标变焦倍率为第一变焦倍率,所述目标图像为第一目标图像;
所述方法还包括:
所述电子设备将所述第一目标图像显示在预览界面上。
11.根据权利要求1-10中任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备检测到用户针对预览界面的第一变焦操作后获得第二变焦倍率;所述目标变焦倍率为所述第二变焦倍率;所述目标图像为第二目标图像;
所述电子设备将所述第二目标图像显示在所述预览界面上。
12.根据权利要求1-11中任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备检测到用户的录像操作后显示拍摄界面,所述电子设备获取的所述目标变焦倍率为第三变焦倍率;所述目标图像为第三目标图像;
所述电子设备将所述第三目标图像显示在所述拍摄界面上,并保存所述第三目标图像。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
所述电子设备检测到用户针对所述拍摄界面的第二变焦操作后获得第四变焦倍率;所述目标变焦倍率为所述第四变焦倍率;所述目标图像为第四目标图像;
所述电子设备将所述第四目标图像显示在所述拍摄界面上,并保存所述第四目标图像。
14.根据权利要求12或13所述的方法,其特征在于,所述方法还包括:
所述电子设备基于检测到用户的录像操作后保存的目标图像生成目标视频。
15.一种电子设备,其特征在于,包括:
触摸屏,所述触摸屏包括触摸传感器和显示屏;
一个或多个摄像头;
一个或多个处理器;
存储器;
其中,所述存储器中存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行权利要求1-14中任一项所述的拍摄方法。
16.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-14中任一项所述的拍摄方法。
17.一种计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-14中任一项所述的拍摄方法。
CN202011140852.2A 2020-10-22 2020-10-22 一种拍摄方法及设备 Active CN114390213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011140852.2A CN114390213B (zh) 2020-10-22 2020-10-22 一种拍摄方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011140852.2A CN114390213B (zh) 2020-10-22 2020-10-22 一种拍摄方法及设备

Publications (2)

Publication Number Publication Date
CN114390213A true CN114390213A (zh) 2022-04-22
CN114390213B CN114390213B (zh) 2023-04-18

Family

ID=81194950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011140852.2A Active CN114390213B (zh) 2020-10-22 2020-10-22 一种拍摄方法及设备

Country Status (1)

Country Link
CN (1) CN114390213B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115426449A (zh) * 2022-07-30 2022-12-02 荣耀终端有限公司 一种拍照方法和终端
CN116055868A (zh) * 2022-05-30 2023-05-02 荣耀终端有限公司 一种拍摄方法及相关设备
CN117082344A (zh) * 2023-08-11 2023-11-17 蚂蚁区块链科技(上海)有限公司 图像拍摄方法和装置
WO2023231869A1 (zh) * 2022-05-30 2023-12-07 维沃移动通信有限公司 拍摄方法和装置
CN117278855A (zh) * 2023-11-22 2023-12-22 荣耀终端有限公司 视频防抖方法及相关设备
CN117714899A (zh) * 2023-07-28 2024-03-15 荣耀终端有限公司 延时摄影的拍摄方法和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924877A (zh) * 2009-06-15 2010-12-22 佳能株式会社 摄像设备及其控制方法
CN103918251A (zh) * 2011-11-08 2014-07-09 富士胶片株式会社 摄像装置及其控制方法
US20150109408A1 (en) * 2013-10-21 2015-04-23 Stmicroelectronics International N.V. System and method for capturing and rendering a landscape image or video
JP2016050973A (ja) * 2014-08-29 2016-04-11 キヤノン株式会社 撮像装置及びその制御方法
EP3445036A1 (en) * 2011-09-26 2019-02-20 Sony Mobile Communications Japan, Inc. Image photography apparatus
CN111447359A (zh) * 2020-03-19 2020-07-24 展讯通信(上海)有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备
JP2020161872A (ja) * 2019-03-25 2020-10-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924877A (zh) * 2009-06-15 2010-12-22 佳能株式会社 摄像设备及其控制方法
EP3445036A1 (en) * 2011-09-26 2019-02-20 Sony Mobile Communications Japan, Inc. Image photography apparatus
CN103918251A (zh) * 2011-11-08 2014-07-09 富士胶片株式会社 摄像装置及其控制方法
US20150109408A1 (en) * 2013-10-21 2015-04-23 Stmicroelectronics International N.V. System and method for capturing and rendering a landscape image or video
JP2016050973A (ja) * 2014-08-29 2016-04-11 キヤノン株式会社 撮像装置及びその制御方法
JP2020161872A (ja) * 2019-03-25 2020-10-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN111447359A (zh) * 2020-03-19 2020-07-24 展讯通信(上海)有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赫贵然等: "基于CNN特征提取的双焦相机连续数字变焦", 《浙江大学学报(工学版)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055868A (zh) * 2022-05-30 2023-05-02 荣耀终端有限公司 一种拍摄方法及相关设备
CN116055868B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 一种拍摄方法及相关设备
WO2023231869A1 (zh) * 2022-05-30 2023-12-07 维沃移动通信有限公司 拍摄方法和装置
CN115426449A (zh) * 2022-07-30 2022-12-02 荣耀终端有限公司 一种拍照方法和终端
CN115426449B (zh) * 2022-07-30 2023-07-11 荣耀终端有限公司 一种拍照方法和终端
CN117714899A (zh) * 2023-07-28 2024-03-15 荣耀终端有限公司 延时摄影的拍摄方法和电子设备
CN117082344A (zh) * 2023-08-11 2023-11-17 蚂蚁区块链科技(上海)有限公司 图像拍摄方法和装置
CN117278855A (zh) * 2023-11-22 2023-12-22 荣耀终端有限公司 视频防抖方法及相关设备
CN117278855B (zh) * 2023-11-22 2024-04-12 荣耀终端有限公司 视频防抖方法及相关设备

Also Published As

Publication number Publication date
CN114390213B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN114390213B (zh) 一种拍摄方法及设备
CN114205522B (zh) 一种长焦拍摄的方法及电子设备
JP5567235B2 (ja) 画像処理装置、撮影装置、プログラム及び画像処理方法
US9019387B2 (en) Imaging device and method of obtaining image
CN113747050B (zh) 一种拍摄方法及设备
JP2008193196A (ja) 撮像装置および指定音声出力方法
CN113596316B (zh) 拍照方法及电子设备
CN113747049B (zh) 一种延时摄影的拍摄方法及设备
EP4344240A1 (en) Camera switching method, and electronic device
WO2024087804A1 (zh) 切换摄像头的方法与电子设备
CN114339102A (zh) 一种录像方法及设备
EP4287638A1 (en) Image photographing method, and device, storage medium and program product
US9001254B2 (en) Digital photographing apparatus and method of controlling the same
JP2010268019A (ja) 撮影装置
US8988559B2 (en) Electronic device
JP5248951B2 (ja) カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
CN114390186B (zh) 视频拍摄方法及电子设备
CN114531539B (zh) 拍摄方法及电子设备
JPWO2020158069A1 (ja) 撮像装置、撮像方法、及びプログラム
CN114339101B (zh) 一种录像方法及设备
JP5660306B2 (ja) 撮像装置、プログラム、及び撮像方法
KR20210115185A (ko) 이미지 처리 방법 및 장치
EP4280154A1 (en) Image blurriness determination method and device related thereto
WO2023185127A1 (zh) 图像处理方法与电子设备
CN117135459A (zh) 图像防抖方法与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant