CN114390186A - 视频拍摄方法及电子设备 - Google Patents

视频拍摄方法及电子设备 Download PDF

Info

Publication number
CN114390186A
CN114390186A CN202011118567.0A CN202011118567A CN114390186A CN 114390186 A CN114390186 A CN 114390186A CN 202011118567 A CN202011118567 A CN 202011118567A CN 114390186 A CN114390186 A CN 114390186A
Authority
CN
China
Prior art keywords
image
electronic device
pose
poses
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011118567.0A
Other languages
English (en)
Other versions
CN114390186B (zh
Inventor
姚垚
陈帅
刘蒙
贾志平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011118567.0A priority Critical patent/CN114390186B/zh
Publication of CN114390186A publication Critical patent/CN114390186A/zh
Application granted granted Critical
Publication of CN114390186B publication Critical patent/CN114390186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

本申请实施例提供了一种视频拍摄方法,方法包括:根据M个第一位姿确定出理想位姿和第一图像的预测位姿;根据理想位姿和预测位姿确定出第一单应性变换关系;根据第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域;采集第一图像;按照第一裁剪区域对第一图像进行裁剪,得到第二图像;对第二图像进行图像处理;根据理想位姿和第二位姿确定出第二单应性变换关系,第二位姿为是采集第一图像时的位姿;根据第二单应性变换关系对经过图像处理后的第二图像进行变换,得到第三图像;按照第二预设裁剪区域对第三图像进行裁剪,得到第四图像;显示第四图像。实时本申请实施例有利于减小拍摄过程中画面的抖动程度;以及降低电子设备的功耗。

Description

视频拍摄方法及电子设备
技术领域
本申请涉及图像处理技术领域,尤其涉及一种视频拍摄方法及电子设备。
背景技术
随着电子技术的不断进步,摄像头可以在体积较小的情况下拍摄出质量较高且满足用户需求的图像;广泛的普及了用户使用电子设备拍摄图像的使用程度;丰富了用户使用电子设备进行拍摄的场景。
电子设备在开启拍摄功能时,若电子设备处于较为平稳的状态(例如用户持有电子设备保持不动),电子设备可以在显示屏上显示较为稳定清晰的画面;当电子设备处于较为颠簸的状态(例如用户持有电子设备跑步),则电子设备在显示屏上显示的画面抖动较为剧烈,通常无法满足用户的观看需求。因此,如何提升电子设备的防抖能力为当前的主要问题。
发明内容
第一方面,提供一种视频拍摄方法,应用于电子设备,该方法包括:根据M个第一位姿确定出理想位姿和第一图像的预测位姿,所述M个第一位姿是采集M张第五图像的位姿,所述M大于等于2;根据所述理想位姿和所述预测位姿确定出第一单应性变换关系;根据所述第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域;采集第一图像,第M张第五图像的采集时间早于所述第一图像的采集时间;按照所述第一裁剪区域对所述第一图像进行裁剪,得到第二图像;对所述第二图像进行图像处理;根据所述理想位姿和第二位姿确定出第二单应性变换关系,所述第二位姿为是采集所述第一图像时的位姿;根据所述第二单应性变换关系对经过图像处理后的所述第二图像进行变换,得到第三图像;按照第二预设裁剪区域对所述第三图像进行裁剪,得到第四图像;显示所述第四图像。
其中,M张第五图像可按照采集时间的先后顺序进行排列,具体排列顺序为第一张第五图像,第二张第五图像……第(M-1)张第五图像,第M张第五图像。可以理解的是,第M张第五图像为M张第五图像中电子设备最后采集的一张图像。
可见,电子设备进行了两次裁剪,有效的保证了图像拍摄过程中的防抖质量;同时,电子设备在执行图像处理之前,可以首先对第一图像进行一次裁剪,降低了图像处理过程中电子设备的数据处理量,降低了电子设备的功耗。
结合第一方面,在一种可能的实现方式中,所述第一预设裁剪区域由至少三个第一位置点确定出,所述至少三个第一位置点的坐标是预先设置的,在所述根据所述第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域方面,该方法包括:按照所述第一单应性变换关系对所述至少三个第一位置点进行变换,得到至少三个第二位置点;根据所述至少三个第二位置点确定所述第一裁剪区域。
可见,电子设备可以根据预先设置的至少三个第一位置点进行变换,进而根据变换后的至少三个第二位置点确定出第一裁剪区域,使得电子设备在得到第一图像后可以直接根据第一裁剪区域进行裁剪,进而减小电子设备在图像处理过程中的功耗。
结合第一方面,在一种可能的实现方式中,在所述根据M个第一位姿确定出理想位姿和第一图像的预测位姿方面,该方法包括:将所述M个第一位姿输入到第一神经网络得到所述预测位姿;所述第一神经网络是经过第一训练数据集训练得到的,所述第一训练数据集包括多个第一训练数据。
可见,电子设备可通过训练完成的第一神经网络生成预测位姿。
结合第一方面,在一种可能的实现方式中,所述第一训练数据包括第一样本以及所述第一样本对应的标签,所述第一样本包括M个第三位姿,所述M个第三位姿分别是采集M张第六图像的位姿,所述M张第六图像中最后采集的一张第六图像的采集时间早于第七图像的采集时间,且不超过所述第一时间值;采集所述第七图像的位姿为所述第一样本对应的标签。
其中,电子设备在针对第一神经网络进行训练的过程中,电子设备可首先将第一样本输入到第一神经网络中,第一神经网络可由第一样本得到一个输出值;之后可计算输出值与第一样本的标签之间的误差,并根据误差针对第一神经网络进行修正,完成一次训练。
可见,电子设备可根据第一训练数据实现针对第一神经网络的训练。
结合第一方面,在一种可能的实现方式中,所述根据M个第一位姿确定出理想位姿,具体包括:所述理想位姿是由所述M个第一位姿根据第一计算方法计算得到的,所述第一计算方法可以是以下任意一种:均值滤波法,高斯滤波法,卡尔曼滤波法。
结合第一方面,在一种可能的实现方式中,所述图像处理包括以下一项或多项:去噪、高动态范围、自动白平衡,自动对焦,自动曝光。
结合第一方面,在一种可能的实现方式中,所述第M张第五图像的采集时间与所述第一图像的采集时间之间的时间间隔不超过第一时间值。
其中,第一时间值可以是预先设置的。
结合第一方面,在一种可能的实现方式中,所述M张第五图像为所述电子设备连续采集的M张图像;所述第M张第五图像的采集时间与所述第一图像的采集时间之间的时间间隔等于第一时间值,所述第一时间值等于所述电子设备的摄像头采集相邻两帧图像帧的时间差值。
其中,对于在第一时间值等于电子设备的摄像头采集相邻两帧图像帧的时间差值,例如,电子设备的摄像头每秒钟采集60帧图像帧,则第一时间值为1/60秒。可以理解的是,在第M张第五图像的采集时间与第一图像的采集时间之间的时间间隔等于第一时间值的情况下,M张第五图像和第一图像为电子设备连续采集到的(M+1)张图像。
结合第一方面,在一种可能的实现方式中,所述方法还包括:检测到第一指令;响应于所述第一指令,在所述电子设备的显示屏上显示文字,并同时执行如如第一方面及其任一种可能的实现方式,所述文字用于表示当前采用的防抖方法的效果等级。
可见,电子设备在执行本申请实施例提供的拍摄方法的同时,可在显示屏上显示文字,以告知用户当前采用的防抖方法的效果等级。
结合第一方面,在一种可能的实现方式中,所述第一指令可以是以下任意一种形式的指令:语音指令;触控指令;手势指令。
第二方面,本申请提供一种电子设备,该电子设备包括:一个或多个处理器、存储器和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器用于调用所述计算机指令以使得所述电子设备执行:根据M个第一位姿确定出理想位姿和第一图像的预测位姿,所述M个第一位姿是采集M张第五图像的位姿,所述M大于等于2;根据所述理想位姿和所述预测位姿确定出第一单应性变换关系;根据所述第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域;采集第一图像,第M张第五图像的采集时间早于所述第一图像的采集时间;按照所述第一裁剪区域对所述第一图像进行裁剪,得到第二图像;对所述第二图像进行图像处理;根据所述理想位姿和第二位姿确定出第二单应性变换关系,所述第二位姿为是采集所述第一图像时的位姿;根据所述第二单应性变换关系对经过图像处理后的所述第二图像进行变换,得到第三图像;按照第二预设裁剪区域对所述第三图像进行裁剪,得到第四图像;显示所述第四图像。
结合第二方面,在一种可能的实现方式中,所述第一预设裁剪区域由至少三个第一位置点确定出,所述至少三个第一位置点的坐标是预先设置的,在所述根据所述第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域方面,所述一个或多个处理器,具体用于调用所述计算机指令以使得所述电子设备执行:按照所述第一单应性变换关系对所述至少三个第一位置点进行变换,得到至少三个第二位置点;根据所述至少三个第二位置点确定所述第一裁剪区域。
结合第二方面,在一种可能的实现方式中,在所述根据M个第一位姿确定出理想位姿和第一图像的预测位姿方面,所述一个或多个处理器,具体用于调用所述计算机指令以使得所述电子设备执行:将所述M个第一位姿输入到第一神经网络得到所述预测位姿;所述第一神经网络是经过第一训练数据集训练得到的,所述第一训练数据集包括多个第一训练数据。
结合第二方面,在一种可能的实现方式中,所述第一训练数据包括第一样本以及所述第一样本对应的标签,所述第一样本包括M个第三位姿,所述M个第三位姿分别是采集M张第六图像的位姿,所述M张第六图像中最后采集的一张第六图像的采集时间早于第七图像的采集时间,且不超过所述第一时间值;采集所述第七图像的位姿为所述第一样本对应的标签。
结合第二方面,在一种可能的实现方式中,在所述根据M个第一位姿确定出理想位姿方面,所述一个或多个处理器,具体用于调用所述计算机指令以使得所述电子设备执行:所述理想位姿是由所述M个第一位姿根据第一计算方法计算得到的,所述第一计算方法可以是以下任意一种:均值滤波法,高斯滤波法,卡尔曼滤波法。
结合第二方面,在一种可能的实现方式中,所述图像处理包括以下一项或多项:去噪、高动态范围、自动白平衡,自动对焦,自动曝光。
结合第二方面,在一种可能的实现方式中,所述第M张第五图像的采集时间与所述第一图像的采集时间之间的时间间隔不超过第一时间值。
结合第二方面,在一种可能的实现方式中,所述M张第五图像为所述电子设备连续采集的M张图像;所述第M张第五图像的采集时间与所述第一图像的采集时间之间的时间间隔等于第一时间值,所述第一时间值等于所述电子设备的摄像头采集相邻两帧图像帧的时间差值。
结合第二方面,在一种可能的实现方式中,所述一个或多个处理器,还用于调用所述计算机指令以使得所述电子设备执行:检测到第一指令;响应于所述第一指令,在所述电子设备的显示屏上显示文字,并同时执行如第二方面及其任一种可能的实现方式;所述文字用于表示当前采用的防抖方法的效果等级。
结合第二方面,在一种可能的实现方式中,所述第一指令可以是以下任意一种形式的指令:语音指令;触控指令;手势指令。
第三方面,本申请提供一种计算机设备,包括存储器,处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时使得所述计算机设备执行如第一方面及其任一种可能的实现方式。
第四方面,本申请提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如第一方面及其任一种可能的实现方式。
第五方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如第一方面及其及其任一种可能的实现方式。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例中所需要使用的附图进行说明。
图1A是本申请实施例提供的一种用户手持电子设备拍照的示意图;
图1B至图1E是本申请实施例提供的几种抖动维度的示意图;
图1F是本申请实施例提供的一种图像处理过程的示意图;
图1G和图1H分别是本申请实施例提供的两种不同图像处理方法的示意图;
图1I是本申请实施例提供的一种可能的理想位姿的示意图;
图1J是本申请实施例提供的一种可能的拍摄场景的示意图;
图1K是本申请实施例提供的一种可能的位姿预测过程的示意图;
图1L至图1N是本申请实施例提供的一组可能的图像处理过程的示意图;
图1O是本申请实施例提供的裁剪区域相互之间关系的示意图;
图2是本申请实施例提供的一种电子设备的硬件结构的示意图;
图3A是本申请实施例提供的一种视频拍摄方法的流程示意图;
图3B是本申请实施例提供的一种可能的第一像平面的示意图;
图3C是本申请实施例提供的一种可能的第二像平面的示意图;
图3D是本申请实施例提供的一种可能的第三像平面的示意图;
图3E是本申请实施例提供的另一种可能的第一像平面的示意图;
图3F是本申请实施例提供的另一种可能的位姿预测过程的示意图;
图3G是本申请实施例提供的另一种可能的理想位姿的示意图;
图3H是本申请实施例提供的第一图像和第一裁剪区域相对位置的示意图;
图3I是本申请实施例提供的一种裁剪过程的示意图;
图3J是本申请实施例提供的实际位姿和预测位姿的示意图;
图3K是本申请实施例提供的另一种裁剪过程的示意图;
图4A是本申请实施例提供的一种视频拍摄方法的流程示意图;
图4B至图4C是本申请实施例提供的一组可能的图像处理过程的示意图;
图5A至图5B是本申请实施例提供的拍摄界面的示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
下面介绍本申请实施例中的一些相关概念。
1、位姿:
位姿指电子设备在进行拍摄时相较于基准状态的旋转角度和位移,其中,基准状态可以是本申请实施例中的理想位姿。例如,如图1E中的(1)所示,以电子设备的中心点为原点建立直角坐标系,x轴和y轴平行于电子设备的显示屏,z轴垂直于电子设备的显示屏。电子设备的理想位姿可以为图1E中的(1)所示,电子设备在之后的任意时刻的位姿都可以基于图1E中的(1)所示的理想位姿进行描述;例如相较于理想位姿,电子设备围绕x轴,y轴和z轴分别旋转的角度;以及电子设备在x轴方向,y轴方向,z轴方向的位移,共六个维度来描述电子设备的位姿。需要说明的是,描述位姿的维度可以根据具体应用场景进行适配修改。例如可以只根据围绕x轴和y轴的位移和x轴方向和y轴方向的旋转,四个维度描述位姿的变化。
需要说明的是,理想位姿为本申请实施例中假设的在理想拍摄状态下电子设备的位姿。理想位姿可以是根据当前拍摄时间点之前的预设时长内得到的多个位姿计算得到的。
本申请实施例中,理想位姿可以根据当前时间点之前的预设时长内得到的M个实际拍摄时的位姿计算得到,M为正整数,且M大于等于2;例如电子设备可以计算M个位姿在每个维度上的平均值,根据每个维度上的平均值构建出电子设备的理想位姿。
本申请实施例中,电子设备可以根据惯性测量单元检测到的数据计算出电子设备的实际位姿;惯性测量单元可以包括:陀螺仪,加速度计等。
2、单应性变换:
本申请是实施例中,单应性变换用于表示同一像素两幅图像中的坐标变换关系。
请参阅图1A,图1A是本申请实施例提供的一种用户手持电子设备拍照的示意图,在实际拍摄场景中,用户可以手持电子设备随意移动,进而拍摄用户想要拍摄的画面。理想的拍摄状态是电子设备平稳的水平移动,但在实际场景中用户保持电子设备平稳的水平移动几乎是不可能实现的;在实际场景中,电子设备可能在三维空间中的各个方向进行位移,进而产生由位移导致的位移抖动;电子设备还可能以某一条直线为转轴进行旋转,进而产生由旋转导致的旋转抖动。请参阅图1B至图1E,图1B至图1E是电子设备抖动时可能拆分出的几种抖动维度。如图1B所示,电子设备随着时间的推移可以围绕第一直线产生旋转抖动;第一直线指的是穿过电子设备的中心点,且与显示屏垂直的直线。如图1C所示,电子设备随着时间的推移可以围绕第二直线产生旋转抖动,第二直线指穿过电子设备的中心点,与显示屏平行,且与电子设备的上下边框垂直的直线。如图1D所示,电子设备随着时间的推移可以围绕第三直线产生旋转抖动,第三直线指穿过电子设备的中心点,与显示屏平行,且与电子设备的左右边框垂直的直线。如图1E所示,以电子设备的中心点为原点建立三维直角坐标系,其中,x轴和y轴与显示屏所在的平面平行,且x轴垂直于电子设备的左右边框,y轴垂直于电子设备的上下边框;z轴与显示屏所在的平面垂直。当用户手持电子设备移动的过程中,电子设备可以在x轴,y轴和z轴三个方向产生由位移造成的抖动。
在一些实施例中,请参阅图1F,电子设备首先通过摄像头对拍摄场景进行拍摄,得到第一图像。如图所示,电子设备在拍摄时产生了类似于图1B所示的抖动情况,使得用户在查阅电子设备拍摄的第一图像时:(1)若电子设备处于实际位姿,则用户观看到第一图像的视觉效果与用户直接观看拍摄场景的视觉效果相同,(2)若电子设备处于理想位姿,则用户观看到第一图像的视觉效果与用户直接观看拍摄场景的视觉效果不同。为使用户在拍摄之后以理想位姿持有电子设备时可以有直接观看拍摄场景的视觉效果,电子设备根据预设的抖动算法针对原始图像进行裁剪处理,得到如图1F所示的理想位姿下的裁剪示意图;之后,电子设备对于裁剪示意图进行调整,得到图1F所示的理想位姿下的目标图像,即最终呈现到显示屏上的图像。可见,上述示例中,即使电子设备在拍摄过程中产生了一定程度的抖动,经过防抖算法处理后也可以呈现出较为稳定的画面。需要说明的是,图1F中所示的“实际位姿下的原始图像”“理想位姿下的原始图像”“裁剪示意图”均为便于理解本方案所呈现的附图,实际拍摄过程中,电子设备对拍摄场景进行拍摄,之后可直接在显示屏上呈现目标图像。
在一些实施例中,电子设备可以结合防抖算法采用以下方法对摄像头获取到的图像进行处理:
方法一:请参阅图1G,(1)电子设备首先通过摄像头采集第一尺寸的第一图像;(2)之后,电子设备根据预设的防抖算法针对第一尺寸的第一图像进行裁剪处理,得到裁剪后的第二图像;(3)为了保证防抖的效果,电子设备的裁剪比例较大,导致第二图像的尺寸小于电子设备最终要呈现到显示屏上的第三图像的尺寸,因此,电子设备需要针对第二图像进行放大处理,得到最终呈现到显示屏上的第三图像。
方法二:请参阅图1H,(1)电子设备首先通过摄像头获取第二尺寸的第一图像,第二尺寸大于方法一中所说明的第一尺寸;(2)之后,电子设备针对第二尺寸的第一图像进行图像处理,得到处理后的第一图像;图像处理可以包括:去噪点,高动态范围,自动白平衡,自动对焦,自动曝光等影响最终显示效果的图像处理过程;需要说明的是,图像处理不改变图像的尺寸;(3)之后,电子设备根据预设的防抖算法针对第二尺寸的第一图像进行裁剪处理,得到最终呈现到显示屏上的第二图像。由于本方法中最初获取到的第一图像较大,在执行裁剪处理后无需执行方法一种的放大处理过程。
在电子设备在启用拍摄功能时,采用上述方法一和方法二可以有效的降低图像在显示屏上的抖动程度。但上述两种方法存在一定的缺点。
对于方法一:由于电子设备最初获取的第一图像的尺寸较小,使得裁剪后得到的第二图像的尺寸小于第三图像的尺寸,因此,需要针对第二图像执行放大操作,以在电子设备的显示屏上显示预设大小的第三图像;但执行放大操作得到的第三图像的分辨率并没有增大,使得最终的呈现的第三图像显示效果较差。
对于方法二:方法二相较于方法一增大了第一图像的尺寸,但由于电子设备需要针对第一图像进行图像处理,更大尺寸的第一图像意味着电子设备需要处理更多的像素,进而导致增加了电子设备的功耗。
本申请实施例提供了一种图像处理方法,以期降低显示画面抖动情况的同时减小电子设备的功耗。
示例性的,请参阅图1I至图1O。本示例仅示例了电子设备产生如图1B所示的抖动情况,即电子设备中心始终处于同一位置点,电子设备的抖动仅为围绕第一直线产生的旋转抖动;即本示例只展现一个维度的抖动,不考虑电子设备在其他维度不抖动,其中第一直线平行于水平面;需要说明的是,本示例仅为了解释说明本申请实施例的思想方法,电子设备在实际场景中的抖动可至少包含一个维度的抖动。图1I为电子设备在本示例中的理想位姿;即水平线穿过电子设备的中心和电子设备的两条边框的中心点。图1J是本示例中拍摄场景的示意图。
步骤(1)请参阅图1K,图1K是本示例中电子设备的位姿随时间变化的示意图,t0,t1,t2三个时刻对应的位姿均为电子设备在上述三个时刻采集图像时的实际位姿,电子设备可以根据t0,t1,t2三个时刻的实际位姿预测电子设备在t3时刻的位姿,得到t3时刻的预测位姿。
步骤(2)电子设备可以根据图1K中t0,t1,t2三个时刻的实际位姿求平均得到电子设备如图1I所示的理想位姿;请参阅图1L,电子设备可以根据理想位姿和预测位姿确定第一单应性变换关系;按照第一单应性变换关系针对第一预设裁剪区域进行变换,确定出被裁剪图像中的第一裁剪区域,即在第一图像为被裁剪图像的情况下,确定出了第一图像中的第一裁剪区域;其中,第一预设裁剪区域是预设置的,第一预设裁剪区域中任意一个位置点的坐标是已知的。
步骤(3)请参阅图1M,在t3时刻电子设备通过摄像头采集到第一图像后,电子设备按照第一裁剪区域针对第一图像进行裁剪,得到第二图像。
步骤(4)请参阅图1N,图1N中展示了t3时刻的实际位姿和预测位姿的差异。
电子设备根据t3时刻的实际位姿和理想位姿计算出第二单应性变换关系,并根据第二单应性变换关系和第二图像生成第三图像,针对第三图像按照第二预设裁剪区域进行裁剪,得到第四图像。
为便于查看上述第一图像,第一裁剪区域和第二预设裁剪区域相互之间的关系,请参阅图1O,图1O中第二预设裁剪区域中的图像即为第四图像。
需要说明的是,本示例中,包括图1H中所说明的图像处理;本示例中图像处理位于步骤(3)之后,步骤(4)之前。
可见,本示例中,电子设备首先获取了尺寸足够大的初始图像,之后电子设备根据历史位姿针对确定预测位姿和理想位姿,根据预测位姿和理想位姿针对图像进行第一次裁剪,得到第二图像;之后,电子设备根据实际位姿和理想位姿确定出的单应性变换关系针对第二图像进行变换,得到第三图像,之后针对第三图像进行裁剪得到最终可呈现到显示屏上的第四图像。相较于方法一:由于获取了尺寸足够大的第一图像,使得经过两次后的图像依然满足电子设备显示图像时的要求,解决了方法一由于放大导致图像显示效果较差的问题。相较于方法二:由于本示例中图像处理位于步骤(3)和步骤(4)之间,即电子设备首先针对第一图像进行了第一次裁剪,之后,在较小的第二图像中执行图像处理,相较于直接对第一图像进行图像处理,本示例中电子设备处理的像素较少,因此功耗较低。综上所述,本示例中,电子设备在保证了图像清晰度的情况下,降低了电子设备的功耗。
下面介绍本申请实施例提供的电子设备。
该电子设备以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigitalassistant,PDA)或专门的照相机(例如单反相机、卡片式相机)等,本申请对该电子设备的具体类型不作任何限制。
图2示例性示出了该电子设备的结构。如图2所示,电子设备100可具有至少一个摄像头193,例如前置摄像头、广角摄像头、超广角摄像头、长焦摄像头等。此外,电子设备100还可包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在一些实施例中,处理器110包括AP。AP可以获取电子设备上传感器的数据;并根据传感器的数据确定出电子设备的位姿。AP可以根据历史位姿数据进行处理分析,得到理想位姿和下一时刻电子设备的预测位姿。AP可以根据电子设备的预测位姿和理想位姿确定出一幅图像中的裁剪区域。AP可以根据电子设备的实际位姿和理想位姿确定出单应性变换关系,实现对于图像的变换。
在一些实施例中,处理器110包括NPU,NPU可以针对历史位姿数据进行处理,得到电子设备的理想位姿和下一帧图像的预测位姿。
在一些实施例中,处理器110包括ISP,ISP可以针对图像进行去噪点,白平衡,伽马校正,高动态范围等。
在一些实施例中,ISP可以接收AP发送的裁剪区域,并根据裁剪区域对图像进行裁剪。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。不限于集成于处理器110中,ISP也可以设置在摄像头193中。
本申请实施例中,ISP可以首先针对的第一图像进行原材料(RAW)域的图像处理,得到彩色色域的第一图像,其中,第一图像指根据摄像头传输的电信号生成的图像,RAW域的图像处理可以包括:去马赛克、白平衡、伽马矫正、Raw域去噪等Raw域图像处理方法。其次,ISP对第一图像进行第一次裁剪,得到第二图像。其次,ISP对第二图像执行彩色色域的图像处理;其中彩色色域可以包括标准的RGB色彩域,YUV色彩域等;彩色色域的图像处理包括彩色色域去噪、高动态范围等彩色色域的图像处理方法。其次,ISP对第二图像按照第二单应性变换关系进行变换得到第三图像。最后,ISP按照预设的第二预设裁剪区域针对第三图像进行裁剪得到第四图像。
摄像头193包括镜头和感光元件(又可称为图像传感器),用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号,如标准的RGB,YUV等格式的图像信号。
摄像头193的硬件配置以及物理位置可以不同,因此,摄像头采集到的图像的大小、范围、内容或清晰度等可能不同。
摄像头193的出图尺寸可以不同,也可以相同。摄像头的出图尺寸是指该摄像头采集到的图像的长度与宽度。该图像的长度和宽度均可以用像素数来衡量。摄像头的出图尺寸也可以被叫做图像大小、图像尺寸、像素尺寸或图像分辨率。常见的摄像头的出图比例可包括:4:3、16:9或3:2等等。出图比例是指摄像头所采集图像在长度上和宽度上的像素数的大致比例。本申请实施例中图1G所示的第一尺寸的第一图像和图1H所示的第二尺寸的第一图像即为两张出图尺寸不同的图像。
摄像头193可以对应同一焦段,也可以对应不同的焦段。该焦段可以包括但不限于:焦长小于预设值1(例如20mm)的第一焦段;焦长大于或者等于预设值1,且小于或者等于预设值2(例如50mm)的第二焦段;焦长大于预设值2的第三焦段。对应于第一焦段的摄像头可以被称为超广角摄像头,对应第二焦段的摄像头可以被称为广角摄像头,对应于第三焦段的摄像头可以被称为长焦摄像头。摄像头对应的焦段越大,该摄像头的视场角(field ofview,FOV)越小。视场角是指光学系统所能够成像的角度范围。
摄像头193可以设置于电子设备的两面。和电子设备的显示屏194位于同一平面的摄像头可以被称为前置摄像头,位于电子设备的后盖所在平面的摄像头可以被称为后置摄像头。前置摄像头可用于采集面对显示屏194的拍摄者自己的图像,后置摄像头可用于采集拍摄者所面对的拍摄对象(如人物、风景等)的图像。
在一些实施例中,摄像头193可以用于采集深度数据。例如,摄像头193可以具有(time of flight,TOF)3D感测模块或结构光(structured light)3D感测模块,用于获取深度信息。用于采集深度数据的摄像头可以为前置摄像头,也可为后置摄像头。
视频编解码器用于对数字图像压缩或解压缩。电子设备100可以支持一种或多种图像编解码器。这样,电子设备100可以打开或保存多种编码格式的图片或视频。
电子设备100可以通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlightemitting diodes,QLED)等。在一些实施例中,电子设备100中的GPU可将图像帧传输到显示屏194,显示屏194根据接收到的图像帧在显示屏上显示图像。
下面实施例介绍本申请实施例提供的一种视频拍摄方法。如图3A所示,该方法可以与图1I至图1O所示的示意图对应,该方法可以包括步骤S101~步骤S109:
S101,电子设备根据M个第一位姿确定出电子设备的理想位姿和预测位姿,M为大于等于2的正整数。
其中,M个第一位姿分别是电子设备采集M张第五图像的位姿,M张第五图像中最后采集的一张第五图像的采集时间早于第一图像的采集时间,且不超过第一时间值,第一时间值可以是预设的时间值;
其中,M个第五图像可以是连续采集得到的。
举例来说,在第一时间值等于电子设备的摄像头采集相邻两帧图像帧时的时间差值,且M张第五图像为连续采集到的图像时;M张第五图像和第一图像是电子设备连续采集得到的(M+1)张图像。
其中,电子设备可以根据均值滤波法或高斯滤波法或卡尔斯曼滤波法针对M个历史位姿数据进行处理,得到电子设备的理想位姿。具体的,采用均值滤波法得到理想位姿的具体过程可以参见如下示例:在本示例中,电子设备的位姿可以包括5个维度,具体包括三个旋转维度和两个位移维度;例如,图1E的(1)中围绕x轴,y轴和z轴旋转的三个旋转角度以及在x轴方向和y轴方向上的位移。用α,β和γ表示三个旋转维度,μ和υ表示两个位移维度。则位姿p可以记为(α,β,γ,μ,υ)。M个历史位姿数据包括M个p的值,即包括M个α数值,M个β数值,M个γ数值,M个μ数值和M个υ数值;电子设备计算上述M个位姿在每个维度上的平均值,得到:M个α数值的平均值
Figure BDA0002731165650000111
M个β数值的平均值
Figure BDA0002731165650000112
M个γ数值的平均值
Figure BDA0002731165650000113
M个μ数值的平均值
Figure BDA0002731165650000114
M个υ数值的平均值
Figure BDA0002731165650000115
则理想位姿
Figure BDA0002731165650000116
Figure BDA0002731165650000117
可选的,电子设备可以根据回归预测方法针对M个历史位姿数据进行处理,得到预测位姿。
可选的,电子设备可以将M个历史位姿数据输入训练完成的第一神经网络中,第一神经网络模型输出预测位姿。
其中,第一神经网络模型是经过第一训练数据集训练得到的,第一训练数据集包括多个第一训练数据,第一训练数据包括第一样本以及第一样本对应的标签,第一样本包括M个第三位姿,M个第三位姿分别是采集M张第五图像的位姿,M张第五图像中最后采集的一张第五图像的采集时间早于第六图像的采集时间,且不超过第一时间值;第六图像的实际采集位姿为第一样本对应的标签。在一次训练的过程中,可以首先将第一样本输入到第一神经网络模型中,第一神经网络根据第一样本输出一个预测位姿,之后,电子设备计算预测位姿和第六图像的实际采集位姿之间的误差,根据误差针对第一神经网络模型进行一次修正,完成针对第一神经网络的一次训练。大量的重复上述过程,即可最终得到训练完成的第一神经网络。具体的,当预测位姿与第六图像的实际采集位姿之间的误差小于等于预设误差时,可确定第一神经网络训练完成。
其中,多个第一训练数据中可以表示大量的第一训练数据。具体的,多个第一训练数据中的多个可以指预设数值的第一训练数据。例如多个第一训练数据可以指10000个训练数据。
举例来说,M=30;第六图像和30张第五图像可以是电子设备连续采集到的图像;且第六图像的采集时间位于30张第五图像之后;第一样本为采集30张第五图像的实际位姿;第一样本对应的标签是第六图像的实际位姿;30个第三位姿是电子设备在拍摄过程中连续采集到的位姿;将30个位姿输入到第一神经网络中,第一神经网络可以输出预测位姿;根据预测位姿和第六图像实际位姿之间的误差针对第一神经网络进行修正,则可以完成一次训练。不断重复上述过程,实现对于第一神经网络的重复训练,最终得到训练完成的第一神经网络。可选的,可通过以下方式判断第一神经网络是否训练完成:若当前有31张连续采集到的图像,将前30张连续采集到的图像对应的30个实际位姿输入到训练完成的第一神经网络中,第一神经网络可以输出31张连续图像中最后一张图像的预测位姿;若预测位姿与31张连续图像中最后一张图像的实际位姿之间的误差为第一误差;当第一误差小于等于预设误差时,可认为第一神经网络训练完成。
具体得,可以参阅图1K,即当M=3的情况下,电子设备根据三个历史位姿数据计算得到预测位姿。请参阅图1I,图1I为本步骤中可能的理想位姿。
S102,电子设备根据理想位姿,预测位姿和电子设备的相机参数确定第一单应性变换关系。
其中,相机参数可以是相机的内参矩阵。
其中,电子设备可以根据理想位姿,预测位姿和内参矩阵确定出第一单应性变换关系。
下面说明根据理想位姿和预测位姿得到第一单应性变换关系的具体计算过程:
若理想位姿为
Figure BDA0002731165650000121
预测位姿为(αn,βn,γn,μn,υn),则电子设备可计算预测位姿到理想位姿的旋转角变化量
Figure BDA0002731165650000122
将旋转角变化量输入罗德里格斯旋转公式,可得到旋转矩阵R
Figure BDA0002731165650000123
电子设备可计算预测位姿到理想位姿的平移变化量
Figure BDA0002731165650000124
根据平移变化量得到平移矩阵
Figure BDA0002731165650000125
电子设备可确定相机的内参矩阵K;电子设备根据旋转矩阵R,平移矩阵T和内参矩阵K计算得到单应性矩阵H,具体的H=K*R*T*K-1。若输入图像的位置坐标为(x1,y1),输出图像的位置坐标为(x2,y2),则
Figure BDA0002731165650000126
λ为未知量,λ可根据方程组计算得到。
上式即为第一单应性变换关系,具体的,在已知位置坐标(x1,y1)和单应性矩阵H的情况下,可通过第一单应性变换关系计算得到λ的数值和位置坐标(x2,y2)。具体的,第一单应性变换关系表示同一像素在第一像平面与第二像平面中坐标之间的变换关系。同一像素第一像平面坐标为(x1,y1),在第二像平面中坐标为(x2,y2),则有上述第一单应性变换关系。其中第一像平面指的是电子设备在理想位姿下的成像平面;第二像平面指的是电子设备在预测位姿下的成像平面。
S103,电子设备根据第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域。
具体的,第一预设裁剪区域是预设置的,第一预设裁剪区域中每个位置点的坐标是已知的;电子设备根据第一单应性变换针对第一预设裁剪区域中每个像素的进行变换,变换后的每个像素构成第一裁剪区域。
举例来说,请参阅图3B,图3B为本示例中,电子设备在理想位姿下的第一像平面的示意图。若电子在理想位姿下采集图像,则会得到第一像平面中的第八图像。其中,第八图像中包括第一预设裁剪区域;第一预设裁剪区域可由四个预设的位置点确定出,即为四个预设的坐标;第一预设裁剪区域的四个位置点的坐标分别是(x1,y1),(x2,y2),(x3,y3),(x4,y4)。第一预设裁剪区域中还包括第二预设裁剪区域,第二预设裁剪区域也可由四个位置点确定出,第二预设裁剪区域的四个位置点的坐标分别是(x5,y5),(x6,y6),(x7,y7),(x8,y8)。需要说明的是,若电子设备在理想位姿下进行拍摄,则最终呈现到显示屏上的图像为第二预设裁剪区域内的图像。
请参阅图3C,图3C为本示例中,电子设备在预测位姿下的第二像平面的示意图。若在预测位姿下采集得到第一图像,则第一图像在第二像平面内;此时,根据第一单应性变换关系将第一像平面中第一预设裁剪区域的四个位置点进行变换,则可以得到第一预设裁剪区域的四个位置点在第二像平面中的坐标,分别为(x1',y1'),(x2',y2'),(x3',y3'),(x4',y4');假设本示例中,变换后第一裁剪区域的四条边均为平直的,且变换后的四个位置点(x1',y1'),(x2',y2'),(x3',y3'),(x4',y4')仍为顶点,则(x1',y1'),(x2',y2'),(x3',y3'),(x4',y4')构成了第一图像中的第一裁剪区域,按照(x1',y1'),(x2',y2'),(x3',y3'),(x4',y4')构成的第一裁剪区域裁剪第一图像即可得到第二图像。需要说明的是,实际情况中,若在第二像平面中得到的第一裁剪区域四边不是平直的,则需要将第一像平面中第一预设裁剪区域的四条边上的全部位置点进行单应性变换,进而根据变换后的四条边上的全部位置点确定出在第二像平面中的第一裁剪区域;或者,将第一像平面中第一预设裁剪区域内的全部位置点进行单应性变换,由变换后的全部位置点在第二像平面中构成第一裁剪区域。需要说明的是,上述附图目的是为了理解本方案,实际处理过程中,电子设备只需在本端的坐标系中根据第一预设裁剪区域和第一单应性变换计算得到第一裁剪区域即可。
S104,电子设备采集第一图像。
S105,电子设备按照第一裁剪区域针对第一图像进行裁剪,得到第二图像。
S106,电子设备针对第二图像进行图像处理。
具体的,图像处理包括以下一项或多项:去噪、高动态范围、自动白平衡,自动对焦,自动曝光。
S107,电子设备根据理想位姿和第二位姿确定第二单应性变换关系。
其中,第二位姿是采集第一图像时电子设备的实际位姿。
其中,第二单应性变换关系表示同一像素在第一像平面与第三像平面中坐标之间的变换关系。第三像平面指的是电子设备在第二位姿下的成像平面。
下面说明根据理想位姿和第二位姿得到第二单应性变换关系的具体计算过程:
若理想位姿为
Figure BDA0002731165650000131
第二位姿为(αm,βm,γm,μm,υm),则电子设备可计算预测位姿到理想位姿的旋转角变化量
Figure BDA0002731165650000141
将旋转角变化量输入罗德里格斯旋转公式,可得到旋转矩阵R'
Figure BDA0002731165650000142
电子设备可计算预测位姿到理想位姿的平移变化量
Figure BDA0002731165650000143
根据平移变化量得到平移矩阵
Figure BDA0002731165650000144
电子设备可确定相机的内参矩阵K;电子设备根据旋转矩阵R',平移矩阵T'和内参矩阵K计算得到单应性矩阵H',具体的H'=K*R'*T'*K-1。若输入图像的位置坐标为(x1,y1),输出图像的位置坐标为(x2,y2),则
Figure BDA0002731165650000145
λ'为未知量,λ'可根据方程组计算得到。
上式即为第二单应性变换关系,具体的,在已知位置坐标(x1,y1)和单应性矩阵H的情况下,可通过第二单应性变换关系计算得到λ'的数值和位置坐标(x2,y2)。具体的,第二单应性变换关系表示同一像素在第一像平面与第三像平面中坐标之间的变换关系。若同一像素在第三像平面坐标为(x1,y1),在第一像平面中坐标为(x2,y2),则(x1,y1)和(x2,y2)有上述的第二单应性变换关系。
S108,电子设备根据第二单应性变换关系针对第二图像进行变换,得到第三图像。
请参阅图3D,图3D为本示例中,电子设备在第二位姿下的第三像平面的示意图。其中,将第二图像置于第三像平面中,且保持第二图像的像素坐标在第三像平面和第二像平面中相同。
按照第二单应性变换关系针对第二图像中的每个像素进行变换,变换后的每个像素构成第三图像。举例来说请参阅图3E,图3E为本示例中,电子设备在第一像平面中呈现第三图像的示意图,第二图像在第三像平面中的四个位置点(x1',y1'),(x2',y2'),(x3',y3'),(x4',y4')进行变换后在第一像平面中对应的坐标分别是:(x9,y9),(x10,y10),(x11,y11),(x12,y12)。可见,第三图像中包括预设的第二预设裁剪区域,按照第二预设裁剪区域裁剪第三图像,将第二预设裁剪区域之外的像素裁剪掉,即可得到本申请实施例中的第四图像。
S109,电子设备按照预设的第二预设裁剪区域针对第三图像进行裁剪,得到第四图像。
具体的,第二预设裁剪区域是预设置的,第二预设裁剪区域中的每个位置点的坐标是已知的。
可见,本示例中,电子设备进行了两次裁剪,有效的保证了图像拍摄过程中的防抖质量;同时,电子设备在执行图像处理之前,可以首先对第一图像进行一次裁剪,降低了图像处理过程中电子设备的数据处理量,降低了电子设备的功耗。
对于上述图3A所示的视频拍摄方法,下面介绍另一种可能的示例,本示例中,拍摄场景为图1J所示,本示例仅考虑二维平面中电子设备在一个方向上由位移产生的抖动情况,具体的,二维平面可以是图1E所示的x轴和y轴构成的平面,抖动方向指的是电子设备在x轴上的抖动,本示例中x轴与水平线平行,y轴与水平面垂直。该示例包括:
(1)针对步骤S101中的确定预测位姿,可以参阅图3F,图3F是本示例中电子设备的位姿随时间变化的示意图,t0,t1,t2三个时刻对应的位姿均为电子设备的实际位姿,电子设备可以根据t0,t1,t2三个时刻的实际位姿预测电子设备在t3时刻的位姿,得到t3时刻的预测位姿。
针对步骤S101中的确定理想位姿:电子设备还可以根据t0,t1,t2三个时刻的实际位姿计算得到图3G所示的理想位姿。
(2)针对步骤S103,可以参阅图3H,电子设备可以根据理想位姿和预测位姿确定出第一图像中的第一裁剪区域。
(3)针对步骤S103和S104,可以参阅图3I,在t3时刻电子设备通过摄像头获取到第一图像后,电子设备确定第一图像中的第一裁剪区域;按照第一裁剪区域针对第一图像进行裁剪,得到第二图像。
(4)针对步骤S106和S107,可以参阅图3J,图3J展示了实际位姿和预测位姿的差异;请参阅图3K,电子设备可以根据实际位姿和理想位姿针对第二图像进行变换,得到第三图像;并根据预设的第二预设裁剪区域针对第三图像进行裁剪,得到第四图像。
下面实施例介绍一种本申请实施例提供的另一视频拍摄方法。如图4A所示,该方法可以包括步骤S201~步骤S207:
S201,电子设备采集第一图像。
S202,电子设备根据预设的中心裁剪区域裁剪第一图像,得到第二图像。
其中,中心裁剪区域的中心点与第一图像的中心点重合,中心裁剪区域的尺寸大小等于预设的尺寸;或者,中心裁剪区域的尺寸是根据第一图像的尺寸大小和预设的裁剪比例计算得到的。本申请实施例中,裁剪比例用于描述裁剪区域的尺寸大小与被裁剪图像的尺寸大小之间的关系;按照裁剪比例裁剪后的裁剪区域的长宽之比等于被裁剪图像的长宽之比;即裁剪区域的长∶被裁剪图像的长=裁剪区域的宽∶被裁剪图像的宽=裁剪比例。当图像的裁剪比例和裁剪位置确定时,该图像裁剪区域是确定的。
S203,电子设备根据历史位姿数据确定电子设备的理想位姿。
S204,电子设备根据理想位姿和第一图像的第二位姿确定第一单应性变换关系,第二位姿为电子设备采集第一图像的实际位姿。
S205,电子设备根据第一单应性变换关系针对第二图像进行变换,得到第三图像。
S206,电子设备按照预设的第二预设裁剪区域裁剪第三图像,得到第四图像。
S207,电子设备显示第四图像。
对于上述图4A所示的视频拍摄方法,下面介绍另一种可能的示例,本示例中,拍摄场景为图1J所示,本示例仅示例了电子设备产生如图1B所示的抖动情况,即电子设备中心始终处于同一位置点,电子设备的抖动仅为围绕第一直线产生的旋转抖动;即本示例只展现一个维度的抖动,默认电子设备在其他维度不抖动,其中第一直线平行于水平面;需要说明的是,本示例仅为了解释说明本申请实施例的思想方法,电子设备在实际场景中的抖动可至少包含一个维度的抖动。该示例包括:
(1)针对步骤S201和步骤S202,可以参阅图4B,当电子设备通过摄像头采集到第一图像后,电子设备按照预设的中心裁剪区域针对第一图像进行裁剪,得到第二图像。
(2)针对步骤S203,电子设备的理想位姿同图1I所示。
(3)针对步骤S204和步骤S205,可以参阅图4C,电子设备根据第一单应性变换关系,将第二图像变换得到第三图像,按照预设的第二预设裁剪区域针对第三图像进行裁剪,得到第四图像。
下面实施例介绍本申请实施例提供的一种拍摄场景下的用户界面。
请参阅图5A,电子设备在启用拍摄功能时,默认的拍摄界面可以如图5A所示,电子设备在显示屏上显示“一级防抖”;具体的,电子设备的用户界面如图5A所示时,电子设备采用图4A所对应的视频拍摄方法。
电子设备在检测到第一指令的情况下,响应于第一指令,电子设备可以切换为图5B所示的拍摄界面,电子设备在显示屏上显示“二级防抖”;其中,第一指令可以是语音指令,触控指令,手势指令等。具体的,电子设备的用户界面如图5B所示时,电子设备采用图3A所对应的视频拍摄方法。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种视频拍摄方法,其特征在于,应用于电子设备,所述方法包括:
根据M个第一位姿确定出理想位姿和第一图像的预测位姿,所述M个第一位姿是采集M张第五图像的位姿,所述M大于等于2;
根据所述理想位姿和所述预测位姿确定出第一单应性变换关系;
根据所述第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域;
采集第一图像,第M张第五图像的采集时间早于所述第一图像的采集时间;
按照所述第一裁剪区域对所述第一图像进行裁剪,得到第二图像;
对所述第二图像进行图像处理;
根据所述理想位姿和第二位姿确定出第二单应性变换关系,所述第二位姿为是采集所述第一图像时的位姿;
根据所述第二单应性变换关系对经过图像处理后的所述第二图像进行变换,得到第三图像;
按照第二预设裁剪区域对所述第三图像进行裁剪,得到第四图像;
显示所述第四图像。
2.根据权利要求1所述的方法,其特征在于,所述第一预设裁剪区域由至少三个第一位置点确定出,所述至少三个第一位置点的坐标是预先设置的,所述根据所述第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域,具体包括:
按照所述第一单应性变换关系对所述至少三个第一位置点进行变换,得到至少三个第二位置点;
根据所述至少三个第二位置点确定所述第一裁剪区域。
3.根据权利要求1或2所述的方法,其特征在于,所述根据M个第一位姿确定出理想位姿和第一图像的预测位姿,具体包括:
将所述M个第一位姿输入到第一神经网络得到所述预测位姿;所述第一神经网络是经过第一训练数据集训练得到的,所述第一训练数据集包括多个第一训练数据。
4.根据权利要求3所述的方法,其特征在于,所述第一训练数据包括第一样本以及所述第一样本对应的标签,所述第一样本包括M个第三位姿,所述M个第三位姿分别是采集M张第六图像的位姿,所述M张第六图像中最后采集的一张第六图像的采集时间早于第七图像的采集时间,且不超过所述第一时间值;采集所述第七图像的位姿为所述第一样本对应的标签。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据M个第一位姿确定出理想位姿,具体包括:
所述理想位姿是由所述M个第一位姿根据第一计算方法计算得到的,所述第一计算方法可以是以下任意一种:均值滤波法,高斯滤波法,卡尔曼滤波法。
6.根据权利要求1所述的方法,其特征在于,所述图像处理包括以下一项或多项:去噪、高动态范围、自动白平衡,自动对焦,自动曝光。
7.根据权利要求1所述的方法,其特征在于,所述第M张第五图像的采集时间与所述第一图像的采集时间之间的时间间隔不超过第一时间值。
8.根据权利要求1所述的方法,其特征在于,所述M张第五图像为所述电子设备连续采集的M张图像;所述第M张第五图像的采集时间与所述第一图像的采集时间之间的时间间隔等于第一时间值,所述第一时间值等于所述电子设备的摄像头采集相邻两帧图像帧的时间差值。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测到第一指令;
响应于所述第一指令,在所述电子设备的显示屏上显示文字,并同时执行如权利要求1至8任一项所述的方法,所述文字用于表示当前采用的防抖方法的效果等级。
10.根据权利要求9所述的方法,其特征在于,所述第一指令可以是以下任意一种形式的指令:语音指令;触控指令;手势指令。
11.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器、存储器和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器用于调用所述计算机指令以使得所述电子设备执行:
根据M个第一位姿确定出理想位姿和第一图像的预测位姿,所述M个第一位姿是采集M张第五图像的位姿,所述M大于等于2;
根据所述理想位姿和所述预测位姿确定出第一单应性变换关系;
根据所述第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域;
采集第一图像,第M张第五图像的采集时间早于所述第一图像的采集时间;
按照所述第一裁剪区域对所述第一图像进行裁剪,得到第二图像;
对所述第二图像进行图像处理;
根据所述理想位姿和第二位姿确定出第二单应性变换关系,所述第二位姿为是采集所述第一图像时的位姿;
根据所述第二单应性变换关系对经过图像处理后的所述第二图像进行变换,得到第三图像;
按照第二预设裁剪区域对所述第三图像进行裁剪,得到第四图像;
显示所述第四图像。
12.根据权利要求11所述的电子设备,其特征在于,所述第一预设裁剪区域由至少三个第一位置点确定出,所述至少三个第一位置点的坐标是预先设置的,在所述根据所述第一单应性变换关系和第一预设裁剪区域确定出第一裁剪区域方面,所述一个或多个处理器,具体用于调用所述计算机指令以使得所述电子设备执行:
按照所述第一单应性变换关系对所述至少三个第一位置点进行变换,得到至少三个第二位置点;
根据所述至少三个第二位置点确定所述第一裁剪区域。
13.根据权利要求11或12所述的电子设备,其特征在于,在所述根据M个第一位姿确定出理想位姿和第一图像的预测位姿方面,所述一个或多个处理器,具体用于调用所述计算机指令以使得所述电子设备执行:
将所述M个第一位姿输入到第一神经网络得到所述预测位姿;所述第一神经网络是经过第一训练数据集训练得到的,所述第一训练数据集包括多个第一训练数据。
14.根据权利要求13所述的电子设备,其特征在于,所述第一训练数据包括第一样本以及所述第一样本对应的标签,所述第一样本包括M个第三位姿,所述M个第三位姿分别是采集M张第六图像的位姿,所述M张第六图像中最后采集的一张第六图像的采集时间早于第七图像的采集时间,且不超过所述第一时间值;采集所述第七图像的位姿为所述第一样本对应的标签。
15.根据权利要求11-14任一项所述的电子设备,其特征在于,在所述根据M个第一位姿确定出理想位姿方面,所述一个或多个处理器,具体用于调用所述计算机指令以使得所述电子设备执行:
所述理想位姿是由所述M个第一位姿根据第一计算方法计算得到的,所述第一计算方法可以是以下任意一种:均值滤波法,高斯滤波法,卡尔曼滤波法。
16.根据权利要求11所述的电子设备,其特征在于,所述图像处理包括以下一项或多项:去噪、高动态范围、自动白平衡,自动对焦,自动曝光。
17.根据权利要求11所述的电子设备,其特征在于,所述第M张第五图像的采集时间与所述第一图像的采集时间之间的时间间隔不超过第一时间值。
18.根据权利要求11所述的电子设备,其特征在于,所述M张第五图像为所述电子设备连续采集的M张图像;所述第M张第五图像的采集时间与所述第一图像的采集时间之间的时间间隔等于第一时间值,所述第一时间值等于所述电子设备的摄像头采集相邻两帧图像帧的时间差值。
19.根据权利要求11所述的电子设备,其特征在于,所述一个或多个处理器,还用于调用所述计算机指令以使得所述电子设备执行:
检测到第一指令;
响应于所述第一指令,在所述电子设备的显示屏上显示文字,并同时执行如权利要求11至18任一项所述的电子设备执行的步骤;所述文字用于表示当前采用的防抖方法的效果等级。
20.根据权利要求19所述的电子设备,其特征在于,所述第一指令可以是以下任意一种形式的指令:语音指令;触控指令;手势指令。
21.一种计算机设备,包括存储器,处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时使得所述计算机设备实现如权利要求1至10任一项所述的方法。
22.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1至10任一项所述的方法。
23.一种计算机可读存储介质,包括计算机指令,其特征在于,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至10任一项所述的方法。
CN202011118567.0A 2020-10-19 2020-10-19 视频拍摄方法及电子设备 Active CN114390186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011118567.0A CN114390186B (zh) 2020-10-19 2020-10-19 视频拍摄方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011118567.0A CN114390186B (zh) 2020-10-19 2020-10-19 视频拍摄方法及电子设备

Publications (2)

Publication Number Publication Date
CN114390186A true CN114390186A (zh) 2022-04-22
CN114390186B CN114390186B (zh) 2023-05-19

Family

ID=81193581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011118567.0A Active CN114390186B (zh) 2020-10-19 2020-10-19 视频拍摄方法及电子设备

Country Status (1)

Country Link
CN (1) CN114390186B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661724A (zh) * 2022-12-12 2023-01-31 内江师范学院 一种适用于连续帧序列单应性变换的网络模型及训练方法
CN116193275A (zh) * 2022-12-15 2023-05-30 荣耀终端有限公司 视频处理方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160150158A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Photographing apparatus and method for controlling thereof
WO2017204598A1 (ko) * 2016-05-27 2017-11-30 한화테크윈주식회사 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
CN110235431A (zh) * 2019-04-30 2019-09-13 深圳市大疆创新科技有限公司 电子增稳方法、图像采集设备、可移动平台
CN111193867A (zh) * 2020-01-08 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160150158A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Photographing apparatus and method for controlling thereof
WO2017204598A1 (ko) * 2016-05-27 2017-11-30 한화테크윈주식회사 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
CN110235431A (zh) * 2019-04-30 2019-09-13 深圳市大疆创新科技有限公司 电子增稳方法、图像采集设备、可移动平台
CN111193867A (zh) * 2020-01-08 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661724A (zh) * 2022-12-12 2023-01-31 内江师范学院 一种适用于连续帧序列单应性变换的网络模型及训练方法
CN115661724B (zh) * 2022-12-12 2023-03-28 内江师范学院 一种适用于连续帧序列单应性变换的网络模型及训练方法
CN116193275A (zh) * 2022-12-15 2023-05-30 荣耀终端有限公司 视频处理方法及相关设备
CN116193275B (zh) * 2022-12-15 2023-10-20 荣耀终端有限公司 视频处理方法及相关设备

Also Published As

Publication number Publication date
CN114390186B (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN110502954B (zh) 视频分析的方法和装置
US10404915B1 (en) Method and system for panoramic video image stabilization
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
US20150103193A1 (en) Method and apparatus for long term image exposure with image stabilization on a mobile device
US10754420B2 (en) Method and device for displaying image based on virtual reality (VR) apparatus
KR20210130773A (ko) 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스
CN114390213B (zh) 一种拍摄方法及设备
US8965105B2 (en) Image processing device and method
CN114339102B (zh) 一种录像方法及设备
CN115701125B (zh) 图像防抖方法与电子设备
CN112738420B (zh) 特效实现方法、装置、电子设备和存储介质
CN113542600B (zh) 一种图像生成方法、装置、芯片、终端和存储介质
CN114390186B (zh) 视频拍摄方法及电子设备
US10362231B2 (en) Head down warning system
JP2013207344A (ja) 検出装置、撮像装置、及びプログラム
CN115209057A (zh) 一种拍摄对焦方法及相关电子设备
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
JP2010034652A (ja) 多方位カメラ搭載型携帯端末装置
WO2021238317A1 (zh) 一种全景拍摄方法及设备
EP3267675B1 (en) Terminal device and photographing method
CN114040113A (zh) 图像处理方法及其装置
WO2013187282A1 (ja) 撮像画像表示装置、撮像画像表示方法、記録媒体
CN115546043B (zh) 视频处理方法及其相关设备
CN114339101B (zh) 一种录像方法及设备
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant