CN116074620B - 一种拍摄方法及电子设备 - Google Patents

一种拍摄方法及电子设备 Download PDF

Info

Publication number
CN116074620B
CN116074620B CN202210871133.0A CN202210871133A CN116074620B CN 116074620 B CN116074620 B CN 116074620B CN 202210871133 A CN202210871133 A CN 202210871133A CN 116074620 B CN116074620 B CN 116074620B
Authority
CN
China
Prior art keywords
image
subject
frame
target
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210871133.0A
Other languages
English (en)
Other versions
CN116074620A (zh
Inventor
王宁
徐荣跃
李智琦
郝智翔
陈代挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to PCT/CN2023/089350 priority Critical patent/WO2023226634A1/zh
Publication of CN116074620A publication Critical patent/CN116074620A/zh
Application granted granted Critical
Publication of CN116074620B publication Critical patent/CN116074620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging

Abstract

本申请提供一种拍摄方法及电子设备,该方法包括:电子设备启动相机应用。电子设备检测到视频录制操作后,在录制界面上显示预览图像和突出显示目标拍摄主体的主体图像。预览图像和主体图像根据原始图像处理获得,目标拍摄主体在主体图像上处于目标位置,主体图像的取景范围在预览图像的取景范围之内。这样用户只需要将目标拍摄主体保持在预览图像的取景范围内,就能在不需要实时、精确调整目标拍摄主体位置的情况下进行视频录制,因此降低了拍摄难度,提高了用户的拍摄体验。

Description

一种拍摄方法及电子设备
本申请要求于2022年5月27日提交国家知识产权局、申请号为202210594819X、发明名称为“一种主体追踪方法及设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请图像处理技术领域,尤其涉及一种拍摄方法及电子设备。
背景技术
用户录制视频或视频网络日志(video log,vlog)时,一般较为关注拍摄主体,希望拍摄主体始终位于视觉最优位置(如图像中心或黄金分割处等)。然而,当拍摄主体运动时,拍摄主体的位置发生变化,录制的视频或者vlog便无法实现用户希望的拍摄主体始终位于视觉最优位置的效果,视频或vlog的呈现效果较差,影响用户拍摄和观看体验。
发明内容
本申请实施例提供一种拍摄方法及电子设备,能够追踪视频中的拍摄主体,使得拍摄主体始终处于视觉最优位置等目标位置,以突出拍摄主体以及拍摄内容。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,本申请实施例提供一种拍摄方法,该方法可以应用于电子设备,其中电子设备包括摄像头,摄像头用于采集原始图像,该方法中,电子设备启动相机应用。电子设备检测到视频录制操作后,在录制界面上显示预览图像和突出显示目标拍摄主体的主体图像。预览图像和主体图像根据原始图像处理获得,目标拍摄主体在主体图像上处于目标位置,主体图像的取景范围在预览图像的取景范围之内。
本申请中,电子设备在录制界面中既显示了预览图像,还显示了主体图像。预览图像为摄像头实际采集的较大的取景范围的图像,因此画面内容更丰富,而主体图像在取景范围在预览图像的取景范围之内,即主体图像为较小的取景范围的图像。那么主体图像显示的是预览图像中的部分画面内容。这样主体图像便可突出显示目标拍摄主体及与目标拍摄主体相关的拍摄内容。
主体图像既可用于生成静态图片,也可用于生成视频文件。其中,静态图片中目标拍摄主体处于视觉最优位置,这样拍摄的图像构图更为美观,能突出目标拍摄主体,从而呈现视觉最优的显示效果。而视频文件中目标拍摄主体始终保持在目标位置,这样用户只需要将目标拍摄主体保持在预览图像的取景范围内,就能在不需要实时、精确调整目标拍摄主体位置的情况下进行视频录制,因此降低了拍摄难度,提高了用户的拍摄体验。
结合第一方面,在一种可能的设计方式中,在目标拍摄主体发生运动的过程中,目标拍摄主体保持在所述主体图像上的目标位置。
该设计方式下,用户不需要精确调整,就能在目标拍摄主体发生运动时,让目标拍摄主体始终位于视觉最优位置从而被突显,因此降低了拍摄难度,提高了用户的拍摄体验。
结合第一方面,在一种可能的设计方式中,在目标拍摄主体发生运动的过程中,主体图像中目标拍摄主体背景变化的平滑度,大于预览图像中目标拍摄主体背景变化的平滑度。
该设计方式下,主体图像中的背景的平滑度更大,意味着背景过渡更为平滑。那么,相较于预览图像,主体图像中的目标拍摄主体之外的背景,在目标拍摄主体运动特别是剧烈运动造成目标拍摄主体中心点突变时不会剧烈变化。这样背景不易产生虚影,那么背景更加清晰。且相邻帧的主体图像的背景变化跨度小,能够更好避免因背景剧烈变化带来的录制的视频中画面产生跳跃和闪烁的情况。因此,主体图像的平滑度更大,主体图像所呈现的视觉效果更好。
结合第一方面,在一种可能的设计方式中,目标拍摄主体包括至少一个,主体图像包括至少一个。其中,一个目标拍摄主体对应一个主体图像,或者一个目标拍摄主体对应多个主体图像,主体图像位于预览图像的区域外或者与预览图像的区域部分重叠。
该设计方式下,录制界面上显示的主体图像的数量以及主体图像中所突显的目标拍摄主体的数量是不限制的。那么在视频录制过程中,可以根据拍摄目的和构图需求进行调整,从而满足多样化拍摄需要,提高用户的拍摄体验。另外,在录制界面中主体图像与预览图像的位置关系也可以多样化调整,以提高拍摄功能性和趣味性。
结合第一方面,在一种可能的设计方式中,目标拍摄主体和/或目标位置为响应于用户的指示操作确定的或者电子设备自动确定的,该方法还包括:电子设备检测到切换目标拍摄主体的操作,在录制界面上显示切换后的目标拍摄主体对应的主体图像;和/或检测到切换目标位置的操作,在所述录制界面上显示目标拍摄主体位于切换后的目标位置对应的主体图像。
该设计方式下,录制开始时刻以及录制过程中,电子设备都可以对目标拍摄主体进行多种方式的切换(如主动切换和被动切换)。比如,电子设备可以在录制过程中根据用户执行的切换操作,将当前目标拍摄主体切换为用户所指定的目标拍摄主体,然后电子设备将指定的拍摄主体所对应的主体图像显示在录制界面。这样,便可达到更好的交互体验。再比如,电子设备还可以在录制过程自动确定目标拍摄主体,并且在主体图像中将目标拍摄主体保持在画面的目标位置,这样即使用户的拍摄技巧有限,电子设备也能辅助用户拍摄出能够突出拍摄主体和拍摄内容的视频,从而降低了拍摄难度,也提高了拍摄得到的视频质量。
该设计方式下,电子设备目标位置的确定以及切换方式可以参考上述目标拍摄主体进行多种切换的方式。例如,电子设备可以默认目标拍摄主体的初始目标位置(如图像中间位置),在录制前的预览过程或者录制过程中,电子设备可以根据用户执行的切换操作,将目标拍摄主体切换至用户指定的目标位置(如图像的黄金分割点)。那么切换后录制界面显示的主体图像中,目标拍摄主体始终位于图像的黄金分割点。
在一种可能的设计方式下,电子设备可以将可选的目标位置显示在预览图像中,用以指示该位置可作为目标位置,这样用户便可在通过触摸预览图像中的目标位置,从而执行切换操作。
结合第一方面,在一种可能的设计方式中,电子设备在录制界面上显示第i帧预览图像和目标拍摄主体对应的主体图像,i为大于1的正整数,包括:电子设备根据第i帧原始图像,获取第i帧预览图像。电子设备根据目标拍摄主体在第i-1帧预览图像中的第一位置信息,对目标拍摄主体在第i帧预览图像中的第一位置信息进行平滑处理,得到目标拍摄主体的第二位置信息。然后电子设备根据第二位置信息裁剪第i帧预览图像,得到目标拍摄主体对应的主体图像。并在录制界面上显示第i帧预览图像和目标拍摄主体对应的主体图像。
该设计方式下,电子设备以第i-1帧预览图像的第一位置信息,来平滑处理第i帧预览图像的第一位置信息,使得第i帧预览图像的第一位置信息既参考了目标拍摄主体的实际位置,又结合了第i-1帧预览图像的第一位置信息(历史时刻的位置“预测值”)。从而能够在目标拍摄主体运动过程中发生如张臂、挥手、蹦跳等形态变化,导致目标拍摄主体的实际位置剧烈变化时,通过历史时刻的位置“预测值”调整第i帧预览图像中目标拍摄主体的实际位置。这样既增加了相邻主体图像的画面流畅度,还能够减少因背景剧烈变化带来的录制的视频中画面产生跳跃和闪烁的情况。故提高了拍摄得到的视频质量。
结合第一方面,在一种可能的设计方式中,电子设备根据目标拍摄主体在第i-1帧预览图像中的第一位置信息,对目标拍摄主体在第i帧预览图像中的第一位置信息进行平滑处理,得到目标拍摄主体的第二位置信息,包括:电子设备获取目标拍摄主体分别在第i-1帧预览图像中的第一位置信息和在第i帧预览图像中的第一位置信息之间的第一位置差值。基于第一位置差值,确定根据目标拍摄主体在第i-1帧预览图像中的第一位置信息,对第i帧预览图像中的第一位置信息进行平滑化处理,得到目标拍摄主体的第二位置信息,其中,第二位置信息与第i-1帧预览图像中的第一位置信息之间的第二位置差值小于或等于第一位置差值。
该设计方式下,电子设备通过减少第一位置信息的变化程度,从而实现平滑处理。也就是说,电子设备获取目标拍摄主体在第i-1帧预览图像和第i帧预览图像之间的位移幅度(即第一位置差值),并以该位移幅度,确定是否需要对第i帧预览图像进行平滑处理,在确定需要进行平滑处理的情况下,电子设备以第i-1帧预览图像中的第一位置信息(历史时刻的位置“预测值”),平滑第i帧预览图像中的第一位置信息(当前时刻的实际位置)。使得经平滑处理后,目标拍摄主体的位移幅度(即第二位置差值)更小,那么目标拍摄主体的背景的变化跨度也就更小,背景更为平滑化。
结合第一方面,在一种可能的设计方式中,根据第i帧原始图像,获取第i帧预览图像,包括:电子设备对第i帧原始图像进行格式处理,得到第i帧第一图像。然后电子设备第i帧第一图像即为第i帧预览图像。或者,电子设备还可以对第i帧第一图像进行抖动位移补偿处理,得到第i帧第一输出图像,第i帧第一输出图像即为第i帧预览图像。
该设计方式下,预览图像可以是未经防抖处理的第一图像。第一图像由摄像头采集的原始图像直接经过格式处理得到,因此又称实况图像。显示实况图像能够使画面更真实和自然。预览图像也可以是经过防抖处理的第一输出图像。第一输出图像通过补偿因相机抖动造成的画面偏移,因此画面整体更为清晰和稳定。如此,通过在录制界面有选择的显示第一图像或者第一输出图像的方式能够满足用户多样化的拍摄需要,提高用户的拍摄体验。
结合第一方面,在一种可能的设计方式中,对第i帧第一图像进行抖动位移补偿处理,得到第i帧第一输出图像,包括:电子设备获取第i帧第一图像相对于第i帧第一图像之前的任一或多帧第一图像的画面抖动位移信息。根据画面抖动位移信息,对第i帧第一图像中的画面进行抖动位移补偿处理,得到第i帧第一输出图像。
该设计方式下,第i帧第一图像之前任一帧或多帧第一图像都可以作为电子设备对第i帧第一图像进行防抖处理时的参考图像。那么得到的画面抖动位移信息更为准确。采用该画面抖动位移信息进行抖动位移补偿处理,就能达到更准确地防抖效果。经防抖得到的第一输出图像中,像素点不受抖动干扰,能够保持在稳定位置,因此像素点所构成的画面可以达到清晰和稳定的呈现效果。
结合第一方面,在一种可能的设计方式中,获取第i帧第一图像相对于第i帧第一图像之前的任一或多帧第一图像的画面抖动位移信息,包括:检测电子设备的抖动幅度。根据抖动幅度,确定画面抖动位移信息,其中,画面抖动位移信息包括第i帧第一图像中的每个像素点相对于第i帧前的任一或多帧第一图像中的对应像素点的偏移量。
其中,可以采用手机加速度传感器和陀螺仪传感器检测手机的抖动幅度。
该设计方式下,采用检测电子设备抖动幅度的方式来确定第一图像的画面抖动幅度(即画面抖动位移信息),这样实现方式更为简单高效,提高了图像处理速度。
结合第一方面,在一种可能的设计方式中,该方法还包括:对第i帧第一图像进行下采样处理,得到第i帧第二图像。在根据目标拍摄主体在第i-1帧预览图像中的第一位置信息,对目标拍摄主体在第i帧预览图像中的第一位置信息进行平滑处理之前,该方法还包括:电子设备从第i帧第二图像中检测得到目标拍摄主体,并获取目标拍摄主体的第三位置信息。然后电子设备将目标拍摄主体的第三位置信息映射到第i帧预览图像中,得到目标拍摄主体位于第i帧预览图像中的第一位置信息。
该设计方式下,主体追踪处理和图像防抖处理为两个并行处理的任务,电子设备对两个任务的结果进行融合,得到第二位置信息。电子设备采用这样先并行处理,再融合结果的方式,可以减少单个任务的等待时间。且可以提高对电子设备的处理器资源的利用率,减少内存消耗,从而提高了获取第i帧预览图像中目标拍摄主体的第一位置信息的处理速度。
结合第一方面,在一种可能的设计方式中,根据第二位置信息裁剪第i帧预览图像,得到目标拍摄主体对应的主体图像,包括:电子设备根据第二位置信息确定目标拍摄主体的最小外接矩形框。根据最小外接矩形框确定裁剪区域,其中,裁剪区域包含最小外接矩形框。然后电子设备在第i帧预览图像获取裁剪区域对应的图像,得到目标拍摄主体对应的主体图像。
其中,最小外接矩形框为包括目标拍摄主体的外轮廓的最小边界矩形,最小外接矩形框可以通过外轮廓上最上/下/左/右的坐标点的坐标值确定。
该设计方式下,得到的裁剪区域包含了目标拍摄主体的外轮廓,使得裁剪后的主体图像能完整显示目标拍摄主体。
结合第一方面,在一种可能的设计方式中,在第i帧预览图像获取裁剪区域对应的图像之后,该方法还包括:电子设备将裁剪区域对应的图像缩小或放大,得到具有预设显示规格的目标拍摄主体对应的主体图像,其中,预设显示规格为预设的电子设备的屏幕占比。
该设计方式下,电子设备对裁剪后的图像进行规格的调整,以满足输出的实际规格的需求,这样按照预设显示规格输出的主体图像在屏幕中显示地更为清楚,且相邻帧主体图像的规格统一,显示效果更好。
结合第一方面,在一种可能的设计方式中,目标位置包括中间位置或黄金分割点位置。
电子设备按照中间位置和黄金分割点进行构图得到的主体图像,不仅更为美观,而且能突出目标拍摄主体及视频拍摄内容,从而实现视觉最优效果,使视频或v log的呈现效果更好,提高了用户的拍摄和观看体验。
结合第一方面,在一种可能的设计方式中,该方法还包括:电子设备检测到结束录制操作,便生成视频文件,其中视频文件包括主体图像,或者视频文件包括主体图像和预览图像。
该设计方式下,由于视频文件中的视频帧图像所包括的主体图像是目标拍摄主体兼顾防抖和平滑且位于目标位置的图像,因而视频文件中的视频帧图像能保持目标拍摄主体始终位于视觉最优位置,以突显该目标拍摄主体以及拍摄内容。不仅如此,视频文件中减少相机抖动造成的干扰,相邻主体图像和视频帧图像间的画面过渡更为稳定,还能够平滑拍摄主体的中心点使主体图像上拍摄主体的偏离程度小,主体图像和视频帧图像不易产生虚影且背景更加清晰。
结合第一方面,在一种可能的设计方式中,该方法还包括:在启动相机应用后显示拍摄预览界面,其中,拍摄预览界面包括预览图像,或者拍摄预览界面包括预览图像和主体图像。
该设计方式中,电子设备可以将开始录制时的呈现效果先实时预览,这样可以让用户提前知道视频录制出来的实际效果。用户进行拍摄创作时,在预览界面便可根据需要调节拍摄参数,从而使电子设备进入录制界面后,得到视频效果更好。
第二方面,本申请提供一种电子设备,包括:用于采集图像摄像头、用于显示上述预览界面和录制界面的屏幕、一个或多个处理器、存储器、以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当该指令被电子设备执行时,使得电子设备执行如第一方面及其可能的设计方式的方法。
第三方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质可以包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其可能的设计方式的方法。
第四方面,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面及其可能的设计方式的方法。
可以理解地,上述提供的第二方面的电子设备,第三方面的计算机存储介质,以及第四方面的计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构示意图;
图2为本申请实施例提供的一种电子设备的软件结构示意图;
图3为本申请实施例提供的一种拍摄方法的流程图;
图4为本申请实施例提供的两种用户执行第一操作的示意图;
图5为本申请实施例提供的一组目标位置的示意图;
图6为本申请实施例提供的一种平滑处理方法的流程图;
图7为本申请实施例提供的一组第二界面的示意图;
图8为本申请实施例提供的第一种应用场景下的主体图像的示意图;
图9为本申请实施例提供的第二种应用场景下的主体图像的示意图;
图10为本申请实施例提供的第三种应用场景下的主体图像的示意图;
图11为本申请实施例提供的第四种应用场景下的一种主体图像的示意图;
图12为本申请实施例提供的第四种应用场景下的另一种主体图像的示意图;
图13为本申请实施例提供的拍摄主体位置随时间变化的折线示意图;
图14为本申请实施例提供的第一种拍摄设备的示意图;
图15为本申请实施例提供的第二种拍摄设备的示意图;
图16为本申请实施例提供的第三种拍摄设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在用户录制视频或vlog时,一般更加关注拍摄主体,希望拍摄主体始终位于视觉最优位置(如图像中心或黄金分割处等)。然而录制时拍摄主体通常不会一直保持静止,因此拍摄主体在图像上就难以保持在视觉最优位置,录制的视频或者vlog便无法达到用户想要的拍摄效果。
为此,可以采用将相机的拍摄角度跟随拍摄主体一起运动的方式,以尽量使得拍摄主体能够处于视觉最优位置,这样有助于强调拍摄主体以及拍摄内容,提高画面的视觉表达效果。然而在相机的拍摄角度跟随拍摄主体运动的过程中,很难保证相机与拍摄主体的运动频率一致,因此常出现相机运动过快或者过慢,导致拍摄主体偏离画面中心、拍摄主体的背景产生虚影等问题。
此外,还可以考虑采用主体追踪技术识别并突显拍摄界面中的拍摄主体的位置信息,主体追踪技术通过突显位置信息从而达到用户手持摄像头拍摄时,辅助用户尽量将拍摄主体的位置信息保持在视觉最优位置的效果。然而,主体追踪技术存在几点问题:
首先,该技术只有应用在相机固定(如采用相机三脚架固定相机)的场景下才能较好辅助用户拍摄出拍摄主体稳定处于画面中间的视频。一旦用户手持相机录制视频,相机会受到用户手部的抖动的干扰,从而造成拍摄主体的主体位置偏差。这种因相机抖动造成的主体位置偏差无法采用主体追踪技术解决,这就导致采用主体追踪技术拍摄的视频,拍摄主体受相机抖动无法始终处于视觉最优位置的问题。
其次,拍摄过程中,若拍摄主体的形态发生改变(如张臂,挥手,蹦跳等),则可能影响拍摄主体的中心点发生突变,从而造成拍摄的视频中拍摄主体偏离画面中心或者拍摄主体的背景产生虚影等问题。这种拍摄主体的中心点突变对画面呈现质量造成影响的问题也无法通过主体追踪技术解决。
另外,主体追踪技术在用户拍摄时起到的只是辅助作用,该技术需要用户根据主体位置实施调整界面显示的视频画面。用户很难通过实时地调整相机的拍摄位置和拍摄角度来调整视频画面,从而精确地将拍摄的视频画面中拍摄主体保持在视觉最优位置,因此主体追踪技术的拍摄难度高,会造成用户较差的拍摄体验。
基于此,本申请实施例提供一种拍摄方法,该方法可以应用于电子设备,电子设备包括显示屏和摄像头。其中,电子设备启动相机应用,进入追踪主体的视频拍摄模式。该模式下,在开始录制视频后,电子设备对摄像头采集到的原始图像进行处理,并将处理后的图像显示在录制界面上。其中,电子设备基于原始图像进行抖动位移补偿处理,来消除因相机抖动造成的主体位置偏差,并基于原始图像对拍摄主体的位置进行平滑处理,以减少拍摄主体位置突变对拍摄主体的位置造成影响。这样,显示在录制界面上的图像中的拍摄主体经过了抖动补偿处理,不受相机抖动干扰,能保持在目标位置从而被重点突出,达到了画面稳定的效果。
而且,本申请实施例还能够平滑拍摄主体的中心点使拍摄主体的偏离程度小,不易产生虚影,背景更加清晰。
此外,本申请实施例不需要用户根据拍摄主体位置实时调整界面显示的视频画面,就能将拍摄主体保持在目标位置,从而降低了拍摄难度,提高了用户的拍摄体验。
综上,本申请实施例在拍摄视频时不仅能够稳定且清晰地突显拍摄内容和拍摄主体,提高了视频的拍摄质量,视频的呈现效果较好。还可以减少用户调整画面的操作,降低拍摄难度,提高用户的拍摄体验。
本申请实施例提供的拍摄方法可以适用于设置有摄像头和显示屏的电子设备,其中,该电子设备可以为手机、平板电脑、笔记本电脑、超级移动个人计算机(Ultra-mobilePersonal Computer,UMPC)、上网本、掌上电脑(Personal DigitalAssistant,PDA)、摄像机、数码相机、监控等设备。请参考图1,其示出了本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
其中,上述传感器模块180可以包括压力传感器,陀螺仪传感器180A,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器180B,环境光传感器,骨传导传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signalprocessor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器神经网络处理器(neural-network processing unit,NPU),和/或微控制单元(micro controller unit,MCU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,串行外设接口(serial peripheral interface,SPI),集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronousreceiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processorinterface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serialbus,USB)接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,WLAN)(如Wi-Fi网络),蓝牙(blue tooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),NFC,红外技术(infrared,IR)等无线通信的解决方案。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频(又称原始图像)。本申请实施例中,ISP还用于将摄像头采集的原始图像处理为第一图像和第二图像,并将第一图像和第二图像分流给不同处理器分别进行防抖处理和主体追踪处理。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:主体识别,防抖处理,主体位置平滑处理等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音、语音交互等。
陀螺仪传感器180A又称陀螺仪、角速度传感器,可以对手机转动、偏转的动作进行测量。本申请实施中,陀螺仪传感器180A用于检测手机的抖动幅度,其中,抖动幅度用于处理器110确定画面抖动位移,并根据画面抖动位移对视频画面进行偏移量的补偿。
触摸传感器180B,也称“触控面板(TP)”。触摸传感器180B用于检测作用于其上方或附近的触摸操作。例如用户使用手指、触控笔等任何适合的物体或附件在触摸屏上或触摸屏附近的操作(如用户按压“拍摄”按钮),触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。并且手机100可以通过显示屏194提供与触摸操作相关的视觉输出。在本申请实施例中,触摸传感器180B和显示屏组合成上述触摸屏。在另一些实施例中,触摸传感器180B也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。
以电子设备100为手机为例,图2是本申请实施例提供的手机的一种软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android Runtime)和系统库,以及内核层。
如图2所示,应用程序层可以包括一系列应用程序包,应用程序包可以包括相机,日历、地图、视频、音乐、短消息、图库、通话、导航、蓝牙、WLAN等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括:相机应用对应的接口、界面管理服务(activity manager service,AMS)模块。其中,AMS统一调度上述应用程序的界面Activity。
应用程序框架层还可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供手机100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,手机振动,指示灯闪烁等。
AndroidRuntime包括核心库和虚拟机。AndroidRuntime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
如图2所示,系统库可以包括多个功能模块。例如:表面管理器(surfacemanager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层中至少包括硬件的驱动,用于驱动硬件工作。
如图2所示,内核层中包括:摄像头驱动、显示驱动(display driver)、图形处理器驱动(graphics processing unit driver,GPU driver)等。
其中,摄像头驱动用于启动摄像头响应用户的操作。内核层还可以包含音频驱动,传感器驱动。
下面结合本申请提供的一种拍摄方法,示例性说明手机的工作流程。应用程序层中相机应用的图标可以显示于手机的显示屏上,当相机应用的图标被用户手指接触,位于显示屏上的触摸传感器180B检测到触摸操作时,手机启动相机应用。相机应用调用内核层中的摄像头驱动,来启动摄像头响应录制操作。在视频录制的过程中,摄像头采集连续的原始图像,所采集的原始图像经过ISP处理为第一图像和第二图像,并将第一图像和第二图像分流给不同处理器110,来分别对第一图像进行主体追踪处理,对第二图像进行防抖处理。然后,处理器110将主体追踪结果与防抖处理结果相结合,从而得到经过主体追踪处理和防抖处理的图像,再对该图像中的主体位置进行平滑处理,最终得到主体图像。手机开始录制视频后,在显示屏上显示该主体图像,主体图像能够在用户不根据拍摄主体位置实时调整界面显示的视频画面的情况下将拍摄主体保持在目标位置,而且通过防抖和平滑可以在拍摄视频时稳定且清晰地突显拍摄内容和拍摄主体,提高视频的拍摄质量,视频的呈现效果较好。还减少用户调整画面的操作,降低拍摄难度,从而提高用户的拍摄体验。
本申请实施例提供一种拍摄方法,该方法可以应用于电子设备,电子设备包括显示屏和摄像头。以电子设备是手机为例,如图3所示,该拍摄方法可以包括:
S301、手机检测到用户执行的第一操作,第一操作用于指示启动相机应用。
例如,第一操作包括:用户触摸手机桌面上的相机应用的图标的操作,或者用户的语音指示,或者用户手势的操作。
在一些实施例中,第一操作是用户触摸手机桌面上的相机应用的图标的操作时,手机还包括触摸传感器,触摸传感器和显示屏组合成触摸屏,图像内容通过触摸屏呈现。如图4中的(a)所示,手机在图形用户界面(graphical user interface,GUI)上显示相机应用的图标。用户手指触摸该相机应用的图标,以指示手机启动相机应用。
需要说明的是,本申请实施例不局限于手机桌面上的相机图标对应的相机应用,也可以是其他应用集成的具有相机功能的应用,比如聊天软件、购物软件或短视频社交软件里集成的用于录像的应用等。
在一些实施例中,当第一操作是用户的语音指示时,如图4的(b)所示,用户在距离手机预设范围内说出如“打开相机”、“我要录制”、“进入视频拍摄模式”等命令,以指示手机启动相机应用。
在一些实施例中,当第一操作是用户手势的操作时,用户可以在手机的GUI上划一个指示启动相机应用的手势操作,其中,该手势操作可以为初始设置或由用户自定义的圆圈轨迹、波浪线轨迹、交叉线轨迹等。
用户以上述方式作出第一操作的指示后,手机检测到第一操作,然后执行S302。
S302、手机响应于第一操作,启动相机应用,进入追踪主体的视频拍摄模式。
需要说明的是,能实现追踪主体的视频拍摄模式的相机应用可以是嵌入追踪主体程序和功能的现有相机应用,也可以是具备追踪主体的视频拍摄模式的新的应用程序,本申请实施例对此并无限制。
手机进入追踪主体的视频拍摄模式包括多种,在一些实施例中,手机启动相机应用后自动进入追踪主体的视频拍摄模式。在另一些实施例中,手机启动相机应用后,检测到用户选择的追踪主体的视频拍摄模式,手机进入该模式。
不同于常规拍摄模式,追踪主体的视频拍摄模式下拍摄出的视频,拍摄主体始终自动出现在视频画面被重点突出的目标位置,这样,手机在拍摄视频时便可以自动将拍摄内容和拍摄主体稳定且清晰地在视频中突显出来,从而提高了视频的拍摄质量和呈现效果,提高了用户的拍摄体验。
本步骤中,能够凸显拍摄内容和拍摄主体的视觉最优位置以目标位置来表示,目标位置包括初始设置位置或由用户自定义的位置。其中,初始设置位置或由用户自定义的位置包括:图像中心或者黄金分割处。
一些实施例中,目标位置包括图像中心,如图5的(a)所示。那么在追踪主体的视频拍摄模式下,拍摄的视频中主体始终处于画面中心。
另一些实施例中,目标位置包括黄金分割处,如图5的(b)所示。若初始设置位置或由用户自定义的位置是黄金分割处,则拍摄过程中,拍摄主体始终处于画面的黄金分割点。
S303、手机显示第一界面,手机检测到用户在第一界面执行的第二操作,该第二操作用于指示拍摄视频。
其中,第一界面(又称预览界面)为追踪主体的视频拍摄模式下的拍摄预览界面。第一界面显示的图像根据摄像头在用户执行第二操作前采集的原始图像得到。
第二操作用于指示摄像头启动录制视频(包括录制vlog等)。第二操作包括:用户触摸第一界面中的拍摄按钮,或者用户说出的如“开始拍摄”的语音指令,或者用户手势的操作。该第二操作可参见上述S301中的第一操作的介绍,在此不做累赘说明。
用户以上述方式作出第二操作的指示后,手机检测到第二操作,并执行S304。
S304、手机响应于第二操作,在显示屏上显示第二界面。
第二界面(又称录制界面)为手机响应上述第二操作后,开始录制视频的录制界面。录制视频过程中摄像头连续采集原始图像,手机对原始图像进行处理,并将处理得到的图像显示于第二界面。第二界面包括基于原始图像处理得到的主体图像,或者第二界面还包括基于原始图像处理得到的第一图像或第一输出图像(第一图像和/或第一输出图像又称预览图像)。
一些实施例中,在录制视频过程中,手机处理得到图像之前,第二界面可以显示原始图像,或者第二界面可以不显示任何图像。在手机处理得到图像后,第二界面显示处理得到的图像,如上述主体图像以及第一图像或第一输出图像。
其中,在录制视频的过程中,手机对原始图像进行处理,并将处理得到的图像显示于第二界面的过程可以包括S305-S311。
S305、手机获取摄像头采集的多个原始图像,将每个原始图像处理为第一图像和第二图像。
录制视频过程中摄像头连续采集原始图像,手机将原始图像处理为第一图像。其中,原始图像可以是摄像头直接采集得到的原始(raw)图,也可以是多个摄像头采集并合成的raw图。其中,raw可理解为“未经加工”,也就是说,上述raw图是由摄像头的传感器直接输出的原图,因为其尚未被处理和编辑,因此仍保留原有的宽色域的内部色彩,图像的质量更高。
该步骤中,手机将原始图像输入图像处理单元,由图像处理单元将原始图像处理为第一图像和第二图像。其中,第一图像被用于进行图像防抖处理,第二图像被用于进行主体追踪处理。在一些实施例中,手机将第一图像显示在第二界面中。以第一图像(又称实况图像)显示在第二界面中能够使画面更真实和自然,且保留画面的抖动效果可以让视频观看者身临其境,从而提高了视频的拍摄和观看体验。
在一些实施例中,第一图像与原始图像的尺寸相同,都为原始尺寸,第二图像是对第一图像进行降采样得到的尺寸较小的图像。其中,尺寸由M像素*N像素表示,也就是说,第二图像的像素个数小于第一图像的像素个数,第二图像的分辨率低于第一图像的分辨率。如此,第一图像所呈现的视频质量更高,画面更清晰,用于防抖处理中对于抖动位移的获取精度更高。第二图像用于主体检测中的计算量更小,处理速度更快。当然,在一些实施例中,第一图像的尺寸可以小于原始图像的尺寸。或者第二图像的尺寸可以大于、等于第二图像的尺寸。或者在第一图像的尺寸小于原始图像的尺寸的情况下,第二图像的尺寸小于第二视频尺寸。本申请实施例对第一图像及第二图像的尺寸并无限制。
示例性的,第一图像和第二图像可同为亮度色度饱和度(YUV)图,YUV图是指采用YUV编码方法得到的图像。其中YUV是被欧洲电视系统所采用的一种颜色编码方法,通常可以采用三管彩色摄影机进行取像,然后把取得的彩色图像信号经分色、分别放大校正后得到RGB,再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y(即U)、B-Y(即V),最后发送端把亮度和色差三个信号分别进行编码,得到YUV图。采用YUV图的好处在于,成像质量高,视频清晰,细节表现好。当然,第一图像、第二图像还可以为位图,(Bitmap,BMP)、联合图像专家小组规范(joint photographic experts group,JPGE)图等,本申请实施例对第一图像和第二图像的格式并无限制。
在得到第一图像和第二图像之后,图像处理单元将第一图像和第二图像分配给不同处理器从而并行处理,如下面S306至S309。
S306、手机对第一图像进行抖动位移补偿处理,得到第一输出图像。
在一些实施例中,手机对第一图像进行防抖处理的方法可以包括S1-S2。也就是说,S306包括S1-S2。
S1:手机确定第一图像的偏移量。
第一图像的画面抖动来源于第一图像中的像素点的位置(位置可以由坐标表示)发生偏移,因此第一图像的偏移量可以由第一图像中的每个像素点的相对位移差值确定。示例性的,以手机在处理的第一图像作为当前帧第一图像,在当前帧图像的上一帧采集到的为上一帧第一图像,那么相对像素位移表示同一拍摄主体对应的像素点在当前帧第一图像的位置相对于上一帧第一图像的位置的位移差值。由此每一帧第一图像都可以得到所有像素点的位移差值,记为一组相对像素位移。如首帧第一图像的相对像素位移为s0=0,第二帧第一图像的相对像素位移为s1……第N帧第一图像的相对像素位移为sn-1,则N帧第一图像会对应得到N组相对像素位移。通过N组相对像素位移便可确定N帧第一图像的偏移量。
在一些实施例中,为方便数据存储和查询,可以将每组相对像素位移存储在变形地图(warp map)中,这样,手机便可直接通过warp map补偿因抖动导致的第一图像的位移差值,具体的补偿方法如S2所示。
S2:手机根据第一图像和偏移量得到第一输出图像。
其中,第一输出图像为第一图像经偏移量(如warp map中的相对像素位移)的补偿处理得到的输出图像。
在一些实施例中,可以通过裁剪第一图像使得同一拍摄主体对应的像素点在当前帧第一图像的位置与上一帧第一图像的位置相同。具体的,当像素点位置在当前帧第一图像的位置相对于上一帧第一图像的位置偏上时,裁剪框为第一图像中偏上位置,那么被去掉的部分是第一图像中的下部图像,这样裁剪后图像的拍摄主体仍处于当前帧第一图像中与上一帧第一图像相同或接近相同的位置;反之,当像素点位置在当前帧第一图像的位置相对于上一帧第一图像的位置偏向下时,裁剪框为第一图像中的偏下位置,被去掉的部分是第一图像中的上部图像。这样,本实施例便可通过偏移量确定需要裁剪的图像内容和裁剪后保留的部分,从而使裁剪得到的当前帧第一输出图像与上一帧第一输出图像的像素点位置保持一致。如此,通过对像素点的位置偏移量进行补偿,便实现了对摄像头的抖动画面进行抖动补偿。
在一些实施例中,手机以经过抖动补偿处理的第一输出图像代替上述第一图像显示于第二界面。使得第一输出图像中的拍摄主体能够不受相机抖动影响,保持在目标位置,从而达到画面稳定效果。
在一些实施例中,可以通过电子防抖技术(Electric Image Stabilization,EIS)实现防抖处理,EIS采用手机加速度传感器和陀螺仪传感器检测手机的抖动幅度,根据抖动幅度确定画面抖动位移,并根据画面抖动位移对第一图像的偏移量进行补偿。此外,还可以通过光学图像稳定器(Optical Image Stabilizer,OIS)实现防抖处理,本申请实施例对防抖方法不做限制。
S307、手机从第二图像中检测得到拍摄主体的第一位置信息。
其中,手机从第二图像中检测得到拍摄主体的第一位置信息的具体方法,可以参考上述实施例和常规技术中的追踪算法如行人重识别算法(re-identification,ReID),本申请实施例这里不予赘述。
在该实施例中,S307和S306可以并行处理,例如采用手机中的主体检测与追踪单元执行S307,同时采用手机中的防抖单元执行S306。该设计方式下,处理第一图像和第二图像的时间会更为灵活,因此能提高系统的处理速度。
由于S306和S307是可以独立处理的两个步骤,因此在另一些实施例中,手机执行S305后,可以先执行S307,然后执行S306,或者,手机执行S305后,可以先执行S306,然后执行S307。即本申请对防抖处理和主体追踪处理的执行顺序不做限制。
手机采用上述方法进行防抖处理以及检测到第一位置信息之后,执行S308。
S308、手机将拍摄主体的第一位置信息映射到第一输出图像中,得到拍摄主体在第一输出图像中的第二位置信息。
该步骤从第一输出图像中确定拍摄主体的位置,以消除相机抖动干扰,使拍摄主体的位置变化只受到拍摄主体自身的影响。例如,消除相机抖动干扰后,当拍摄主体不发生位置变化(如宠物静止不动时)时,所得到的相邻两张第一输出图像之间的第二位置信息保持不变或者接近不变,当拍摄主体发生变化时,所得到的相邻两张第一输出图像之间的第二位置信息只因宠物运动的位置变化而变化,不受相机抖动因素变化。
值得一提的是,本申请实施例通过S308将S307中经主体检测处理得到的第一位置信息映射到S306中经防抖处理得到的第一输出图像中,从而对防抖结果和主体追踪结果进行融合,得到第二位置信息。这样先并行处理,再融合结果的方式,对于手机性能消耗而言,可以减少性能功耗压力,提高手机处理器的处理速度。
得到第一输出图像之后,手机对第一输出图像中的拍摄主体进行平滑处理,手机执行S309。
S309、手机根据第二位置信息确定拍摄主体在当前帧第一输出图像中的位置信息相对于上一帧第一输出图像中的位置信息是否一致,在确定拍摄主体的位置不一致的情况下,手机根据历史位置信息对当前帧第一输出图像中的拍摄主体的位置信息进行平滑处理,得到拍摄主体在第一输出图像中的第三位置信息。
其中,历史位置信息包括第一输出图像在当前帧之前的任一或多帧图像中拍摄主体的位置信息。位置信息包括坐标框的坐标位置,其中,坐标位置包括坐标点,或者坐标位置还可以包括坐标框大小。
该步骤中,手机通过对拍摄主体进行平滑处理,使得到的第一输出图像中的拍摄主体的主体背景变化的平滑度,大于处理前第一输出图像/第一图像中目标拍摄主体背景变化的平滑度。
示例性的,平滑处理如图6所示,手机通过获取目标框的坐标与EIS输出的warp信息(又称偏移量),利用EIS的warp信息将目标框换算到防抖处理后的图像坐标系,得到第二位置信息。手机获取上一帧图像的历史位置信息,通过第二位置信息与历史位置信息是否一致确定目前目标框是否近似静止。若一致,说明拍摄主体的位置没有变化,将当前目标框的位置与上一帧图像的历史位置设为相同位置,并输出当前目标框在EIS输出图坐标系中的平滑位置(第二位置信息)。若不一致,说明相对于前一帧,当前帧第一输出图像中拍摄主体的位置有变化,那么对有变化的主体位置进行平滑处理,输出当前目标框在EIS输出图坐标系中的平滑位置(第三位置信息)。在得到平滑位置之后,判断是否需要输出目标框的平滑位置在EIS输出图中的坐标位置,若是,则基于平滑位置进行裁剪,使得裁剪出的图像兼顾防抖和平滑。若否,则利用EIS warp信息将平滑位置换算到防抖处理前的第一图像的坐标系中,使得裁剪出的图像实现第一输出图像从首帧到第N帧的整体的主体位置变化较为平滑的效果。
其中,平滑处理包括:剔除异常值、滤波处理等。在一些实施例中,滤波可以包括高速滤波或者卡尔曼滤波。本实施例中以平滑处理是卡尔曼滤波处理为例,卡尔曼滤波是以历史时刻的“预测值”(即历史位置信息)与当前时刻的“真实值”(即第二位置信息),计算得到当前时刻的“预测值”(即第三位置信息)。其中,第三位置信息同时参考了当前时刻的第二位置信息以及历史时刻的“历史位置信息”预测得到,因此若第二位置信息相比于历史位置信息发生显著变化时(如画面中物体快速经过,使得第二位置信息与历史位置信息之间的位移量过大),卡尔曼滤波便会以历史位置信息对第二位置信息进行平滑处理,减少第二位置信息的变化幅度,得到平滑后的第三位置信息。由于第三位置信息与历史位置信息之间的位移量小于第二位置信息与历史位置信息之间的位移量,因此平滑处理可以避免在拍摄主体运动过程中发生的如张臂、挥手、蹦跳等导致中心点突变的形态变化对第一图像质量的影响,从而,该处理提高了视频的拍摄质量。
值得一提的是,上述S306-S309中,手机先进行主体检测处理和防抖处理,然后将二者结果相融合,得到拍摄主体在防抖处理后的第一输出图像中的第二位置信息,然后手机再进行平滑处理。而一些实施例中,手机可以在主体检测处理之后先对第一位置信息进行平滑化处理,再进行防抖处理,关于该实施例的介绍,可以参见下面对第二种拍摄设备及对应的拍摄方法的说明。此外,一些实施例中,手机可以先进行防抖处理,再在防抖得到的第一输出图像中进行主体检测处理,最后进行平滑处理,关于该实施例的介绍,可以参见下面对第三种拍摄设备及对应的拍摄方法的说明。也就是说,手机执行主体检测处理、防抖处理和平滑处理的处理顺序可以根据实际情况来选择,本申请实施例对此并无限制。
S310、手机获取第一图像中的拍摄主体,从拍摄主体中确定目标拍摄主体。
其中,手机获取第一图像中的拍摄主体的步骤,可以参见上述实施例和常规技术中的追踪算法如行人重识别算法(re-identification,ReID),本申请实施例这里不予赘述。
在一些实施例中,S310进一步包括:
S3、手机在第二界面的第一图像上显示拍摄主体的主体框。
其中,主体框用于对用户可切换拍摄主体进行标识,该标识的方式包括:以一对中括号(又称方括号)围出拍摄主体的头部区域,或者为可追踪的拍摄主体的外轮廓加描边特效,或者以矩形框指示可以追踪的拍摄主体。
S4、手机检测到用户执行的第三操作,其中,第三操作用于在第一图像中包含多个主体框的情况下选择至少一主体框,手机根据第三操作从拍摄主体中确定目标拍摄主体。
在上述S3-S4中,手机显示每个拍摄主体的主体框,并根据用户选择的至少一主体框确定用户所指定的目标拍摄主体。因此在录制视频的过程中,如果目标拍摄主体发生变化(例如手机检测到用户切换目标拍摄主体的操作),则第二界面上显示的主体图像也相应发生变化,以使得变化后的目标拍摄主体位于能保持在目标位置从而被重点突出,且目标拍摄主体所在的主体图像兼顾平滑和防抖,呈现出的拍摄效果好。上述用户切换目标拍摄主体的操作可以是录制过程中用户先后选择了不同拍摄主体的主体框。示例性的,视频录制过程中用户先选择爸爸头部的主体框,第二界面显示爸爸保持在目标位置从而被突出显示的主体图像;当用户选择弟弟头部的主体框,第二界面显示弟弟保持在目标位置从而被突出显示的主体图像,这样便可实现对目标拍摄主体的切换。
在另一些实施例中,S310进一步包括:手机获取第一图像中的拍摄主体。手机将第一时刻处于目标位置的拍摄主体作为目标拍摄主体。本实施例中,手机自动从拍摄主体中确定目标拍摄主体。第一时刻为开始录制视频时,或者第一时刻为开始录制视频后的t时刻,(0<t<=300,毫秒ms)t可以为10ms,20ms,50ms,100ms,200ms等。
手机在确定目标拍摄主体之后,执行S311。
S311、手机根据第三位置信息在第一输出图像中裁剪出目标拍摄主体对应的主体图像,并在第二界面中显示主体图像。
本步骤中,手机将经过防抖处理和平滑处理后的目标拍摄主体所在区域裁剪出来,得到主体图像。裁剪出的主体图像中目标拍摄主体保持在目标位置从而被突出显示。其中,目标位置可以包括画面中间位置或者黄金分割点位置或者其他使得拍摄主体被重点突出的位置。这样,当用户想要在拍摄画面中突显目标拍摄主体时,手机可以显示并追踪该目标拍摄主体,使目标拍摄主体在画面中处于重点突出位置。如此,本步骤既通过抖动位置补偿处理,提高了画面的稳定性;又通过平滑处理,对移动速度剧烈的拍摄主体的进行位置平滑,达到画面流畅的效果。
在一些实施例中,手机显示的第二界面参见图7,如图7中的(a)所示,第二界面中主体图像可以显示于第一图像的区域内,如图7中的(b)所示,第二界面可以显示于第一图像的区域外,如图7中的(c)所示,主体图像为1到N张,N为相机应用预设追踪数量或者用户设置的追踪数量。
该实施例中,第一图像包括至少一拍摄主体,拍摄主体中需要被突出显示的为目标拍摄主体。其中,第一图像中被突出显示的目标拍摄主体可以为一个或者多个,每个主体图像可以包括一个或多个目标拍摄主体,在主体图像包括多个目标拍摄主体的情况下,目标拍摄主体的位置情况包括多种,例如:其中一个目标拍摄主体的位置处于目标位置,或者,两个目标拍摄主体分布在目标位置两侧(或两方),或者两个目标拍摄主体都处于目标位置。
在一些实施例中,手机在第二界面中显示的主体图像的数量与用户在第一界面的选中主体框数量相对应,主体框和主体图像的数量可以对应为一个或者多个。在一些实施例中,主体图像的数量可以大于主体框的数量,或者等于主体框的数量,或者小于主体框的数量。且每个主体图像可显示一个主体或多个主体。
在第一种应用场景下,主体图像的数量为一个,且主体图像显示的用户选择的一个主体框所对应的目标拍摄主体。
示例性的,如图8所示,第一图像中包括多个人物,从左到右分别是姐姐、爸爸、弟弟、哥哥、妹妹。其中,第二界面中爸爸和弟弟的头部区域显示有一对中括号,当手指(或触控笔,下同)触摸到中括号所在区域,即可在第二界面中显示该区域内人物为拍摄主体的主体图像,如手指触摸爸爸头部的中括号区域,第二界面显示爸爸位于图像中间的主体图像;当手指触摸弟弟头部的中括号区域,第二界面显示弟弟位于图像中间的主体图像。
在第二种应用场景下,主体图像的数量为一个,且主体图像显示用户选择的至少两个主体框所对应的拍摄主体。在该场景下,当用户选择爸爸头部的中括号区域以及弟弟头部的中括号区域,第二界面显示包括爸爸和弟弟的主体图像,其中主体图像中爸爸或弟弟的位置保持在目标位置从而被突出显示。
其中,用户选择多个主体框的方法包括:采用多个手指触摸不同的主体框;或者在显示屏上长按其中一主体框,并滑动至另一主体框。
示例性的,用户的两根手指接触爸爸头部的中括号区域以及弟弟头部的中括号区域时,第二界面显示包括爸爸和弟弟的主体图像。其中,主体图像中爸爸或弟弟的位置位于图像中间位置,如图9的(a)所示,爸爸位于目标位置(图像中间位置);或者主体图像中爸爸和弟弟之间的区域位于图像中间位置,如图9的(b)所示;又或者,爸爸位于主体图像的图像中间位置,弟弟位于主体图像的黄金分割点位置,如图9的(c)所示。
在第三种应用场景下,主体图像的数量有多个,且每个主体图像显示用户选择的一个主体框所对应的拍摄主体。
示例性的,如图10所示,当用户选择爸爸头部的中括号区域以及弟弟头部的中括号区域,一个主体图像中显示爸爸的主体图像,另一主体图像中显示弟弟的主体图像,且爸爸和弟弟分别在其对应的主体图像的目标位置(图10中目标位置是爸爸和弟弟分别在图像中间的位置)。
在第四种应用场景下,主体图像的数量有多个,且至少一个主体图像内包括多个主体框。
该场景下的在一些实施例中,每个主体图像显示同一拍摄主体。其中,两个主体图像内显示的图像区别可以是:拍摄主体的位置不同。如图11所示,主体图像的数量有两个,且两个主体图像都显示爸爸和弟弟的图像,其中,第一个主体图像中爸爸位于图像中间位置,弟弟位于图像的黄金分割点处。第二个主体图像中爸爸和弟弟之间的区域位于图像中间。不同主体图像内显示的拍摄主体位置不同,可以为用户提供更多的拍摄构图选择,从而提高了用户的拍摄体验。
该场景下的另一些实施例中,每个主体图像显示不同拍摄主体。如图12所示,主体图像的数量有两个,第一个主体图像显示妹妹的图像,第二个主体图像显示爸爸和弟弟的图像。也就是说,该实施例中可以同时突出妹妹、爸爸和弟弟三个拍摄主体,使这三个拍摄主体都在兼顾视频防抖和平滑的情况下稳定、流畅且突出的显示于屏幕中。
在一些实施例中,上述S309、S311可以由S5、S6替代。
S5、手机根据第二位置信息确定第一图像中的拍摄主体在当前帧的位置相对于上一帧的位置是否静止,若确定拍摄主体的位置不静止,手机根据历史位置信息对当前帧的位置进行平滑处理,得到拍摄主体在第一图像中的第四位置信息。
S6、手机根据第四位置信息在第一图像中裁剪出目标拍摄主体对应的主体图像,并在第二界面中显示主体图像,其中,拍摄主体位于主体图像中的目标位置。
区别于上述S309和S311中获取的第三位置信息,本实施例获取的第四位置信息是拍摄主体在未经防抖处理的第一图像中的位置。即,手机将经过平滑处理后的拍摄主体在防抖处理前的第一图像中裁剪出来,以得到主体图像。在该实施例中,对拍摄主体进行位置追踪以及位置平滑处理,但并未消除手机抖动带来的图像抖动干扰,这样呈现的主体图像基本实现拍摄主体位于视频中间的目的,且相比于S309、S311,主体图像更为真实,能够满足用户多样化的拍摄需求。
在一些实施例中,与录制视频过程中第二界面显示处理后的图像类似,在拍摄预览过程中,拍摄预览界面即第一界面,也可以显示手机处理后的图像。例如,手机在进入第一界面后,开始执行S305-306,得到第一图像和第一输出图像。手机可以将第一输出图像显示在第一界面。或者,手机可以将第一图像显示在第一界面。其中,第一图像(又称实况图像),显示实况图像能够使画面更真实和自然,且一定程度上可以反映实际拍摄环境,例如,当用户在风雪天气的室外拍摄路过的行人时,保留画面的抖动效果可以让视频观看者身临其境。而手机在第一界面显示经过防抖处理的第一输出图像,使得呈现出的画面始终清晰和稳定。如此,通过在第一界面有选择的显示第一图像或者第一输出图像的方式能够满足用户多样化的拍摄需要,提高用户的拍摄体验。
在另一些实施例中,在拍摄预览状态下,与录制视频过程类似,也可以确定和切换目标拍摄主体,第一界面上也可以显示目标拍摄主体对应的主体图像,主体图像中目标拍摄主体位于视觉最优位置,从而突出目标拍摄主体以及拍摄内容,提高画面的视觉表达效果。
在另一些实施例中,在拍摄预览过程中,第一界面可以显示摄像头在用户执行第二操作前采集到的原始图像。
在另一些实施例中,在拍摄预览过程中,第一界面除了显示上述原始图像或者第一图像或者第一输出图像外,还可以显示追踪框,其中,追踪框内可以显示原始图像或者第一图像或者不显示任何图像。
在一些实施例中,手机可以在第一界面显示取景框,在第二界面显示取景框和上述追踪框。若手机处理得到第一图像、第一输出图像、主体图像,则取景框内显示原始图像、第一图像、第一输出图像的任一种,追踪框内显示主体图像。若手机未处理得到上述第一图像、第一输出图像或主体图像,取景框和追踪框中可以显示原始图像或者不显示任何图像。
S312、手机检测到用户在第二界面执行的第三操作,该第三操作用于指示结束拍摄视频。
其中,第三操作可参见上述S301中的第一操作的介绍,在此不做累赘说明。用户以上述方式作出第二操作的指示后,手机检测到第二操作,并执行S313。
S313、手机响应于第三操作,将录制的N帧主体图像制作为视频文件。
其中,N帧为手机从响应于第二操作到响应于第三操作之间所获取的主体图像的数量,手机可以将视频文件保存在图库中。
在一些实施例中,手机响应于第三操作,将录制的第二界面显示的N帧主体图像和N帧第一图像制作为视频文件。
在一些实施例中,手机响应于第三操作,将录制的第二界面显示的N帧主体图像和N帧第一输出图像制作为视频文件。
这样,由于视频文件中的视频帧图像所包括的主体图像是目标拍摄主体兼顾防抖和平滑且位于目标位置的图像,因而视频文件中的视频帧图像能保持目标拍摄主体始终位于视觉最优位置,以突显该目标拍摄主体以及拍摄内容;而且能够减少相机抖动造成的干扰,相邻主体图像和视频帧图像间的画面过渡更为稳定,还能够平滑拍摄主体的中心点使主体图像上拍摄主体的偏离程度小,主体图像和视频帧图像不易产生虚影且背景更加清晰。
在一些实施例中,手机响应于第三操作,将录制的第二界面显示的N帧第一图像或者N帧第一输出图像制作为视频文件。
在该实施例中,手机录制过程中显示主体图像,但手机结束录制后得到的视频文件中不包括主体图像。这样主体图像的作用是在录制过程中突显
下面结合图13介绍本申请实施例所实现的效果,在图13中,横轴表示时间,纵轴表示拍摄主体的位置位移量。在拍摄过程中,拍摄主体的位置随时间发生运动,拍摄主体运动轨迹如图13的曲线a所示。并且拍摄时相机会发生抖动,相机抖动轨迹如图13中的曲线b所示。因此未经过处理所录制的视频,拍摄主体的位置位移量既受到主体运动的影响,又受到相机运动的影响,由图13中的曲线c表示。对录制的视频经过主体追踪、主体位置防抖处理和平滑处理后,使拍摄主体运动图像始终保持在视觉最优位置,如图13中的曲线d所示。另外,手机在主体检测处理之后先对第一位置信息进行平滑化处理,再进行防抖处理得到的主体图像会在目标位置周围发生波动,无法维持在目标位置,其中拍摄主体的位置偏移量如图13的曲线e表示。
综上,本申请实施例提供了一种拍摄方法,在使用手机拍摄视频的情况下,手机从拍摄主体中确定目标拍摄主体,手机通过追踪目标拍摄主体,并对目标拍摄主体进行防抖和平滑处理的方式使将该目标拍摄主体始终显示在画面的视觉最优位置,这样不仅能够在拍摄视频的过程中将目标拍摄主体保持在目标位置从而被突出显示,减少相机抖动造成的干扰,达到画面稳定效果,还能够平滑拍摄主体的中心点使得,在目标拍摄主体发生运动的过程中,主体图像中目标拍摄主体背景变化的平滑度,大于预览图像中目标拍摄主体背景变化的平滑度,主体图像中不易产生虚影,背景更加清晰。那么由包括N帧主体图像的视频帧图像制作得到的视频文件不仅可以突显该目标拍摄主体以及拍摄内容;而且能够减少相机抖动造成的干扰,相邻主体图像和视频帧图像间的画面过渡更为稳定;还能够平滑拍摄主体的中心点使主体图像上拍摄主体的偏离程度小,主体图像和视频帧图像不易产生虚影且背景更加清晰。因此拍摄得到的视频文件的呈现效果更好。此外还能够在用户不根据拍摄主体位置实时调整界面显示的视频画面的情况下将拍摄主体保持在目标位置从而降低了拍摄难度,提高了用户的拍摄体验。而且对用户而言,拍摄的功能性增加,使用时更方便,即使是未学过摄影、美术等知识的普通用户,拍摄出的视频中所想要突显的拍摄主体也能在画面中间或者画面的黄金分割点位置,这样拍摄并显示在第二界面中的视频更能让人的注意力集中在拍摄主体上。
另外,本申请实施例还提供第一种拍摄设备,如图14所示,该拍摄设备包括惯性测量单元(Inertial Measurement Unit,IMU)、主体检测与追踪单元、平滑单元、第一图像处理单元、防抖变形补偿单元及图像裁剪单元等。该拍摄设备执行以下步骤,以实现上述实施例提供的拍摄方法:
S1401、IMU检测相机抖动幅度,从而得到warp map,并将warp map输入防抖变形补偿单元和平滑单元中,其中warp map中存储了网格位置在相邻帧第一图像中的坐标偏移量(坐标偏移量相当于上述S2的相对像素位移)。
S1402、手机获取大小为12百万像素mega(12M)的raw图(12M),经过第一图像处理单元将raw图处理为尺寸不变的YUV(12M)图和较小tiny尺寸的YUV(YUV(tiny))图,其中,YUV(12M)图相当于上述S305中的第一图像,YUV(tiny)图相当于上述S305中的第二图像。
S1403、手机将YUV(12M)图输入防抖变形补偿(EIS warp)单元中,该单元将主体框坐标输入warp map中进行插值,得到经抖动位移补偿的主体框坐标,该主体框坐标为拍摄主体映射到防抖后的图像中的主体坐标。(主体坐标相当于上述S308中经抖动位移补偿后的第二位置信息),并输出分辨率大小为4096*2160的像素分辨率,4K的YUV(4K)图至图像裁剪单元。
S1404、然后手机将YUV(tiny)图输入主体检测与追踪单元识别得到主体框坐标与尺寸,并将主体框坐标与尺寸输入平滑单元中,得到拍摄主体的坐标经平滑后的裁剪框坐标和尺寸(裁剪框坐标和尺寸也就是上述S309中的第三位置信息),并将裁剪框坐标和尺寸输入图像裁剪单元中。
S1405、最后,由图像裁剪单元基于裁剪框坐标和尺寸在YUV(4K)图上裁剪出YUV(高清,FHD)图,(YUV(全高清,Full High Definition,FHD)图也就是上述S311中的主体图像),并将YUV(FHD)图进行编码(Video encoder)和展示(display)。
在上述S1401-S1405描述的方案中,拍摄设备对第一图像进行主体检测与追踪,相机防抖补充以及主体位置平滑处理,从而使拍摄主体运动图像始终保持在视觉最优位置。其中主体检测与追踪单元与防抖变形补偿单元并行工作,这样手机的性能功耗压力小,且处理速度快。
本申请实施例还提供第二种拍摄设备,如图15所示,该拍摄设备包括惯性测量单元(Inertial Measurement Unit,IMU)、主体检测与追踪单元、平滑单元、第二图像处理单元、防抖裁剪warp map单元及防抖变形补偿单元。
与上述实施例中的拍摄系统不同的是,该设计方式下,手机执行上述S1402之后,执行S1413-S1415,以实现上述实施例提供的拍摄方法:
S1413、手机将YUV(tiny)图输入主体检测与追踪单元识别得到主体框坐标与尺寸,并将主体框坐标与尺寸输入平滑单元中,得到拍摄主体经坐标平滑后的裁剪框坐标和尺寸(裁剪框坐标和尺寸也就是上述S309中的第三位置信息),并将裁剪框坐标和尺寸输入防抖裁剪warp map单元中。
S1414、在防抖裁剪warp map单元中将裁框坐标和尺寸输入warp map进行插值,得到兼顾防抖和平滑的拍摄主体在YUV(tiny)图中的坐标位置,使该坐标位置兼有裁剪和偏移功能,得到新的warp map,并输入EIS warp中。
S1415、EIS warp基于新的warp map对YUV(12M)图进行裁剪(裁剪处理相当于上述S2),得到YUV(FHD)图,(YUV(FHD)图也就是上述S311中的主体图像),并将YUV(FHD)图进行编码和展示。
在上述S1401-S1402及S1413-1415描述的方案中,防抖裁剪warp map单元图像直接输出兼顾平滑和防抖后的坐标偏移量,使得EIS warp只做一次裁剪便可得到YUV(FHD)图(相当于上述S311中的主体图像)。相比于上一实施例,省略了在防抖处理时的裁剪步骤,因此处理速度提高。
本申请实施例还提供第三种拍摄设备,如图16所示,该拍摄设备包括惯性测量单元(Inertial Measurement Unit,IMU)、主体检测与追踪单元、平滑单元、第一图像处理单元、防抖变形补偿单元及图像裁剪单元。
与上述实施例不同的是,该设计方式下,手机执行上述S1402之后,执行S1423-S1425,以实现上述实施例提供的拍摄方法:
S1423、手机将YUV(12M)图输入防抖变形补偿(EIS warp)单元中,得到对YUV(12M)图经过防抖变形补偿后的第一输出图像,并对第一输出图像进行下采样,得到YUV小尺寸图(YUVtiny)图,然后将YUVtiny图输入主体检测和追踪单元中,获取主体框坐标与尺寸并输入平滑单元中。
S1424、然后由平滑单元将主体框坐标与尺寸进行平滑处理,得到裁剪框和尺寸。
S1425、图像裁剪单元基于裁剪框和尺寸对YUV(4K)图作裁剪,输出YUV(FHD)图。
在上述S1401-S1402及S1423-S1425描述的方案中,拍摄设备对YUV(12M)图依次进行防抖变形补偿处理和主体识别处理,使得两个处理过程顺序执行。这样拍摄设备可以直接在经过防抖变形补偿后的第一输出图像中进行主体检测和追踪。相比于上述两个实施例,减少了将主体坐标映射到第一输出图像中的插值步骤,因此处理速度提高。
本申请实施例提供了一种电子设备,该电子设备可以包括:存储器和一个或多个处理器。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图1所示的电子设备100的结构。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得该通电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种拍摄方法,应用于电子设备,所述电子设备包括摄像头,所述摄像头用于采集原始图像,其特征在于,所述方法包括:
启动相机应用;
从第i帧第二图像中检测得到目标拍摄主体的第一位置信息;所述第i帧第二图像根据第i帧原始图像处理获得;i为大于1的正整数;
将所述目标拍摄主体的第一位置信息映射到第i帧第一输出图像中,得到所述目标拍摄主体在所述第i帧第一输出图像中的第二位置信息;所述第i帧第一输出图像是对第i帧原始图像进行抖动位移补偿处理后得到的图像;
根据所述目标拍摄主体在第i-1帧第一输出图像中的第二位置信息,对所述目标拍摄主体在所述第i帧第一输出图像中的第二位置信息进行平滑处理,得到所述目标拍摄主体的第三位置信息;根据所述第三位置信息裁剪所述第i帧第一输出图像,得到所述目标拍摄主体对应的第i帧主体图像;
检测到视频录制操作后,在录制界面上显示第i帧预览图像和突出显示目标拍摄主体的第i帧主体图像;所述第i帧预览图像根据所述原始图像处理获得,所述目标拍摄主体处于所述第i帧主体图像上的目标位置,所述第i帧主体图像的取景范围在所述第i帧预览图像的取景范围之内。
2.根据权利要求1所述的方法,其特征在于,在所述目标拍摄主体发生运动的过程中,所述目标拍摄主体保持在所述主体图像上的所述目标位置。
3.根据权利要求1或2所述的方法,其特征在于,在所述目标拍摄主体发生运动的过程中,所述主体图像中所述目标拍摄主体背景变化的平滑度,大于所述预览图像中所述目标拍摄主体背景变化的平滑度。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述目标拍摄主体包括至少一个,所述主体图像包括至少一个;其中,一个所述目标拍摄主体对应一个所述主体图像,或者一个所述目标拍摄主体对应多个所述主体图像,所述主体图像位于所述预览图像的区域外或者与所述预览图像的区域部分重叠。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述目标拍摄主体和/或所述目标位置为响应于用户的指示操作确定的或者所述电子设备自动确定的,所述方法还包括:
检测到切换目标拍摄主体的操作,在所述录制界面上显示切换后的目标拍摄主体对应的主体图像;和/或
检测到切换目标位置的操作,在所述录制界面上显示所述目标拍摄主体位于切换后的目标位置对应的主体图像。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标拍摄主体在第i-1帧第一输出图像中的第二位置信息,对所述目标拍摄主体在所述第i帧第一输出图像中的第二位置信息进行平滑处理,得到所述目标拍摄主体的第三位置信息,包括:
获取所述目标拍摄主体分别在所述第i-1帧第一输出图像中的第二位置信息和在所述第i帧第一输出图像中的第二位置信息之间的第一位置差值;
基于所述第一位置差值,确定根据所述目标拍摄主体在所述第i-1帧第一输出图像中的所述第二位置信息,对所述第i帧第一输出图像中的第二位置信息进行平滑化处理,得到所述目标拍摄主体的第三位置信息,其中,所述第三位置信息与所述第i-1帧第一输出图像中的第二位置信息之间的第二位置差值小于或等于所述第一位置差值。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述第i帧原始图像进行格式处理,得到第i帧第一图像;
所述第i帧第一图像即为所述第i帧预览图像;或者,对所述第i帧第一图像进行抖动位移补偿处理,得到第i帧第一输出图像,所述第i帧第一输出图像即为所述第i帧预览图像。
8.根据权利要求7所述的方法,其特征在于,所述对第i帧第一图像进行抖动位移补偿处理,得到第i帧第一输出图像,包括:
获取所述第i帧第一图像相对于所述第i帧第一图像之前的任一或多帧第一图像的画面抖动位移信息;
根据所述画面抖动位移信息,对所述第i帧第一图像中的画面进行抖动位移补偿处理,得到第i帧第一输出图像。
9.根据权利要求8所述的方法,其特征在于,获取所述第i帧第一图像相对于所述第i帧第一图像之前的任一或多帧第一图像的画面抖动位移信息,包括:
检测所述电子设备的抖动幅度;
根据所述抖动幅度,确定画面抖动位移信息,其中,所述画面抖动位移信息包括所述第i帧第一图像中的每个像素点相对于所述第i帧前的任一或多帧第一图像中的对应像素点的偏移量。
10.根据权利要求7-9中任一项所述的方法,其特征在于,所述方法还包括:
对所述第i帧第一图像进行下采样处理,得到第i帧第二图像。
11.根据权利要求1-10中任一项所述的方法,其特征在于,所述根据所述第三位置信息裁剪所述第i帧第一输出图像,得到所述目标拍摄主体对应的第i帧主体图像,包括:
根据所述第三位置信息确定所述目标拍摄主体的最小外接矩形框;
根据所述最小外接矩形框确定裁剪区域,其中,所述裁剪区域包含所述最小外接矩形框;
在所述第i帧第一输出图像获取所述裁剪区域对应的图像,得到所述目标拍摄主体对应的第i帧主体图像。
12.根据权利要求11所述的方法,其特征在于,在所述第i帧第一输出图像获取裁剪区域对应的图像之后,所述方法还包括:
将所述裁剪区域对应的图像缩小或放大,得到具有预设显示规格的所述目标拍摄主体对应的第i帧主体图像,其中,所述预设显示规格为预设的所述电子设备的屏幕占比。
13.根据权利要求1-12中任一项所述的方法,其特征在于,所述目标位置包括中间位置或黄金分割点位置。
14.根据权利要求1-13中任一项所述的方法,其特征在于,所述方法还包括:
检测到结束录制操作;
生成视频文件,其中所述视频文件包括所述主体图像和/或所述预览图像。
15.根据权利要求1-14中任一项所述的方法,其特征在于,所述方法还包括:
在启动相机应用后显示拍摄预览界面,其中,所述拍摄预览界面包括所述预览图像,或者所述拍摄预览界面包括所述预览图像和所述主体图像。
16.一种电子设备,其特征在于,包括:
摄像头,用于采集图像;
屏幕,用于显示界面;
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令;当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-15中任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-15中任一项所述的方法。
CN202210871133.0A 2022-05-27 2022-07-22 一种拍摄方法及电子设备 Active CN116074620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/089350 WO2023226634A1 (zh) 2022-05-27 2023-04-19 一种拍摄方法及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210594819X 2022-05-27
CN202210594819 2022-05-27

Publications (2)

Publication Number Publication Date
CN116074620A CN116074620A (zh) 2023-05-05
CN116074620B true CN116074620B (zh) 2023-11-07

Family

ID=86172127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210871133.0A Active CN116074620B (zh) 2022-05-27 2022-07-22 一种拍摄方法及电子设备

Country Status (2)

Country Link
CN (1) CN116074620B (zh)
WO (1) WO2023226634A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117676315A (zh) * 2024-02-02 2024-03-08 深圳市积加创新技术有限公司 一种基于高像素相机形成预览双画面的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110896451A (zh) * 2019-11-20 2020-03-20 维沃移动通信有限公司 预览画面显示方法及电子设备
CN111083557A (zh) * 2019-12-20 2020-04-28 浙江大华技术股份有限公司 一种视频录播控制方法及装置
CN112954220A (zh) * 2021-03-03 2021-06-11 北京蜂巢世纪科技有限公司 图像预览方法及装置、电子设备、存储介质
WO2021227693A1 (zh) * 2020-05-15 2021-11-18 华为技术有限公司 拍摄方法、装置、移动终端及芯片系统
US11245855B2 (en) * 2018-11-28 2022-02-08 SZ DJI Technology Co., Ltd. Handheld gimbal and shooting control method for handheld gimbal

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290860A (ja) * 2008-04-28 2009-12-10 Panasonic Corp 撮像装置
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
KR20170111000A (ko) * 2016-03-24 2017-10-12 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
CN108900790B (zh) * 2018-06-26 2021-01-01 努比亚技术有限公司 视频图像处理方法、移动终端及计算机可读存储介质
CN111010590B (zh) * 2018-10-08 2022-05-17 阿里巴巴(中国)有限公司 一种视频裁剪方法及装置
CN112954219A (zh) * 2019-03-18 2021-06-11 荣耀终端有限公司 一种多路录像方法及设备
CN112261218B (zh) * 2020-10-21 2022-09-20 维沃移动通信有限公司 视频控制方法、视频控制装置、电子设备和可读存储介质
CN113766129B (zh) * 2021-09-13 2023-12-05 维沃移动通信(杭州)有限公司 录像方法、装置、电子设备及介质
CN114598819A (zh) * 2022-03-16 2022-06-07 维沃移动通信有限公司 视频录制方法、装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11245855B2 (en) * 2018-11-28 2022-02-08 SZ DJI Technology Co., Ltd. Handheld gimbal and shooting control method for handheld gimbal
CN110896451A (zh) * 2019-11-20 2020-03-20 维沃移动通信有限公司 预览画面显示方法及电子设备
CN111083557A (zh) * 2019-12-20 2020-04-28 浙江大华技术股份有限公司 一种视频录播控制方法及装置
WO2021227693A1 (zh) * 2020-05-15 2021-11-18 华为技术有限公司 拍摄方法、装置、移动终端及芯片系统
CN112954220A (zh) * 2021-03-03 2021-06-11 北京蜂巢世纪科技有限公司 图像预览方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
WO2023226634A1 (zh) 2023-11-30
CN116074620A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
EP4044580B1 (en) Capturing method and electronic device
CN113556461B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
US11669242B2 (en) Screenshot method and electronic device
WO2021213477A1 (zh) 多路录像的取景方法、图形用户界面及电子设备
US11949978B2 (en) Image content removal method and related apparatus
US20230276014A1 (en) Photographing method and electronic device
CN114466128B (zh) 目标用户追焦拍摄方法、电子设备及存储介质
EP4124019A1 (en) Video capturing method and electronic device
CN116055874B (zh) 一种对焦方法和电子设备
CN116074620B (zh) 一种拍摄方法及电子设备
CN115484380A (zh) 拍摄方法、图形用户界面及电子设备
WO2023231697A1 (zh) 一种拍摄方法及相关设备
CN115484387B (zh) 一种提示方法及电子设备
CN115225756A (zh) 确定目标对象的方法、拍摄方法和装置
CN112866557A (zh) 构图推荐方法和电子设备
CN115484392B (zh) 一种拍摄视频的方法及电子设备
CN115484390B (zh) 一种拍摄视频的方法及电子设备
CN115484394B (zh) 一种隔空手势的引导使用方法及电子设备
WO2023231696A1 (zh) 一种拍摄方法及相关设备
CN115484393A (zh) 一种异常提示方法及电子设备
CN117119276A (zh) 一种水下拍摄方法及电子设备
CN116055861A (zh) 一种视频编辑方法和电子设备
CN117857915A (zh) 一种拍照方法、拍照装置及电子设备
CN116560770A (zh) 壁纸显示方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant