CN113452919B - 用于利用光学防抖和电子防抖实现协同防抖的摄像机 - Google Patents
用于利用光学防抖和电子防抖实现协同防抖的摄像机 Download PDFInfo
- Publication number
- CN113452919B CN113452919B CN202110822687.7A CN202110822687A CN113452919B CN 113452919 B CN113452919 B CN 113452919B CN 202110822687 A CN202110822687 A CN 202110822687A CN 113452919 B CN113452919 B CN 113452919B
- Authority
- CN
- China
- Prior art keywords
- shake
- angle
- optical
- weight
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
本申请提供了一种用于利用光学防抖和电子防抖实现协同防抖的摄像机。基于本申请,在感光元件的任意一个刷新周内,摄像机的实时空间角度可以只有在摄像机的光学防抖能力范围内的一部分被光学防抖抵消,以助于降低光学防抖失效的风险;并且,基于光学防抖所抵消的一部分空间角度,还可以降低图像清晰度由于空间角度过大而过低的风险,从而,在该成像周期结束时的刷新时刻,通过电子防抖对具有清晰度被光学防抖改善后的图像实施图像处理,可以补偿摄像机的实时空间角度的剩余部分对图像质量的影响。进而,通过以电子防抖补偿光学防抖的双模式结合,有助于降低防抖失效的风险。
Description
技术领域
本申请涉及摄像机的防抖技术,特别涉及一种用于利用光学防抖和电子防抖实现协同防抖的摄像机。
背景技术
摄像机会由于成像过程中的抖动而导致图像质量的降低,为此,摄像机通常会配置防抖功能,试图降低抖动对图像质量的影响。
光学防抖(Optical Image Stabilization,OIS)和电子防抖(Electric ImageStabilization,EIS)是用于实现防抖功能的两种常见防抖模式。
其中,光学防抖是在感光元件的成像期间内,通过调节成像坐标系相对于摄像机的相对角度而实现的防抖措施;电子防抖则是在感光元件输出图像之后,通过对图像进行图像处理而实现的防抖措施。
通常情况下,由于光学防抖和电子防抖的原理不同,因而这两种防抖模式是择一使用的。但光学防抖和电子防抖均存在各自的性能瓶颈,因此,无论使用哪一种防抖模式,都有可能发生防抖失效。
可见,如何降低防抖失效的风险,成为现有技术中有待解决的技术问题。
发明内容
有鉴于此,本申请的实施例提供了一种用于利用光学防抖和电子防抖实现协同防抖的摄像机,有助于降低防抖失效的风险。
在一个实施例中,该摄像机可以包括:
抖动传感器,用于以第一频率持续产生所述摄像机的实时抖动数据,其中,所述第一频率不低于所述摄像机的感光元件成像的第二频率的两倍,并且,所述实时抖动数据用于确定所述摄像机在空间坐标系中的实时空间角度;
处理器组件,用于以所述第二频率更新用于实现协同防抖的光学防抖权重和电子防抖权重的权重值;
防抖驱动组件,用于根据所述光学防抖权重的权重值,对所述感光元件的成像坐标系在所述摄像机的机身坐标系中的实时相对角度,实施与所述实时空间角度反向的持续角度校正,以实现响应于所述实时空间角度的光学防抖;
其中,所述光学防抖权重在所述感光元件的第一成像周期内的权重值,意图将所述实时相对角度限制在所述摄像机的光学防抖能力范围内,以使得所述第一成像周期内的所述实时相对角度具有相对于所述实时空间角度的实时角度差值;
并且,处理器组件还用于根据所述第一成像周期内的所述实时空间角度,确定所述第一成像周期的第一单帧等效空间角度,并且,根据所述电子防抖权重在所述第一成像周期内的权重值、以及所述第一单帧等效空间角度,确定第一电子防抖补偿角度,以根据所述第一电子防抖补偿角度对所述第一成像周期结束时的第一刷新时刻得到的图像实施图像处理,通过使所述图像产生用于补偿所述实时角度差值的像素阵列调节,实现电子防抖。
可选地,所述处理器组件进一步用于根据所述第一成像周期之前的第二成像周期内的所述实时空间角度和第二电子防抖补偿角度,确定所述光学防抖权重和所述电子防抖权重在所述第一成像周期内的权重值,以促使:在所述第一成像周期内,所述实时相对角度被意图限制为收敛在预设的角度校正极限范围内;以及,在所述第一刷新时刻得到的所述图像的清晰度不低于预设的清晰度阈值;其中,所述角度校正极限范围是根据所述光学防抖能力范围确定的,并且,所述清晰度阈值是根据预先设定的用于避免所述电子防抖失效的最低图像清晰度确定的。
可选地,所述处理器组件进一步用于根据所述第二成像周期内的所述实时空间角度,确定所述第二成像周期的第二单帧等效空间角度,并且,确定所述第二单帧等效空间角度超出所述角度校正极限范围的光学超额幅度,其中,所述光学超额幅度产生使所述电子防抖权重的权重值增大的权重变化趋势;所述处理器组件进一步用于确定所述第二电子防抖补偿角度相比于在所述第二成像周期之前的第三成像周期的第三电子防抖补偿角度的电子防抖补偿角度帧间偏差,并且,确定所述电子防抖补偿角度帧间偏差超出预设的帧间抖幅阈值的电子超额幅度,其中,所述电子超额幅度引发所述图像的清晰度低于所述清晰度阈值,并且,所述电子超额幅度产生使所述光学防抖权重的权重值增大的权重变化趋势。
可选地,所述处理器组件进一步根据所述光学超额幅度在所述光学镜组所在镜头的视场角中的角度占比、以及所述电子防抖权重在所述第二成像周期内的权重值,确定所述电子防抖权重在所述第一成像周期内的权重值;并且,根据所述电子超额幅度在所述视场角中的角度占比、以及所述光学防抖权重在所述第二成像周期内的权重值,确定所述光学防抖权重在所述第一成像周期内的权重值。
可选地,所述防抖驱动组件进一步用于通过调节所述摄像机的光学镜组与所述感光元件之间的相对位姿,实现对所述成像坐标系的所述持续角度校正;其中,所述光学防抖能力范围是根据所述光学镜组与所述感光元件之间的相对位姿的物理调节性能确定的。
可选地,所述处理器组件进一步用于确定所述第二单帧等效空间角度所需的目标速度超出预设最大速度的速度差,其中:所述光学超额幅度包括所述第二单帧等效空间角度中引发所述速度差的速度超限幅度;所述目标速度表示,为使所述成像坐标系从当前相对角度校正至与所述第二单帧等效空间角度反向等幅的目标速度理想校正角度,所述相对位姿在所述第一频率的一个频率周期内的理论变化速率;所述预设最大速度是根据所述物理调节性能所能支持的极限速度确定的。
可选地,所述处理器组件进一步用于确定所述第二单帧等效空间角度所需的目标位姿超出预设位姿范围之外的位姿差,其中:所述光学超额幅度包括所述第二单帧等效空间角度中引发所述位姿差的位姿超限幅度;所述目标位姿表示,为使所述成像坐标系达到与所述第二单帧等效空间角度反向等幅的目标位姿理想校正角度,所述相对位姿经调节后的理论相对位姿;所述预设位姿范围是根据所述物理调节性能所能支持的极限位姿确定的。
可选地,所述处理器组件进一步用于获取与所述光学镜组所在镜头的快门时间关联变化的防模糊角度阈值;其中,所述帧间抖幅阈值包括获取到的所述防模糊角度阈值,并且,所述防模糊角度阈值是根据与所述快门时间关联的所述清晰度阈值确定的。
可选地,所述处理器组件进一步用于响应于所述摄像机的上电启动完成,将所述光学防抖权重初始赋值为1、并将所述电子防抖权重初始赋值为0。
可选地,所述处理器组件进一步用于将每个成像周期内的所述实时空间角度中的峰值角度确定为该成像周期内的单帧等效空间角度。
可选地,所述摄像机的抖动包括在水平摆动方向上的偏摆抖动、在仰俯摆动方向上的仰俯抖动、以及在绕镜头光轴的旋转方向上的翻转抖动;所述抖动传感器产生所述实时抖动数据、所述处理器组件对所述光学防抖权重和所述电子防抖权重的权重值更新、所述防抖驱动组件实施的所述持续角度校正、所述处理器组件通过图像处理对所述像素阵列的调节,是响应于所述偏摆抖动、所述仰俯抖动以及所述翻转抖动中的至少之一而被引发的。
在另一个实施例中,提供了一种用于利用光学防抖和电子防抖实现协同防抖的控制方法,包括:
确定用于实现协同防抖的光学防抖权重和电子防抖权重在感光元件的第一成像周期内的权重值,其中,所述光学防抖权重在摄像机的感光元件的第一成像周期内的权重值,意图将所述感光元件在所述摄像机的机身坐标系中的实时相对角度,限制在所述摄像机的光学防抖能力范围内,以使得所述第一成像周期内的所述实时相对角度具有相对于所述摄像机在空间坐标系中的实时空间角度的实时角度差值;
根据所述第一成像周期内的所述实时空间角度,确定所述第一成像周期的第一单帧等效空间角度;以及,
根据所述电子防抖权重在所述第一成像周期内的权重值、以及所述第一单帧等效空间角度,确定第一电子防抖补偿角度,以根据所述第一电子防抖补偿角度对所述第一成像周期结束时的第一刷新时刻得到的图像实施图像处理,通过使所述图像产生用于补偿所述实时角度差值的像素阵列调节实现电子防抖。
可选地,确定用于实现协同防抖的光学防抖权重和电子防抖权重在感光元件的第一成像周期内的权重值,包括:根据所述第一成像周期之前的第二成像周期内的所述实时空间角度和第二电子防抖补偿角度,确定所述光学防抖权重和所述电子防抖权重在所述第一成像周期内的权重值,以促使:在所述第一成像周期内,所述实时相对角度被意图限制为收敛在预设的角度校正极限范围内;以及,在所述第一刷新时刻得到的所述图像的清晰度不低于预设的清晰度阈值;其中,所述角度校正极限范围是根据所述光学防抖能力范围确定的,并且,所述清晰度阈值是根据预先设定的用于避免所述电子防抖失效的最低图像清晰度确定的。
可选地,确定所述光学防抖权重和所述电子防抖权重在所述第一成像周期内的权重值,包括:根据所述第二成像周期内的所述实时空间角度,确定所述第二成像周期的第二单帧等效空间角度,并且,确定所述第二单帧等效空间角度超出所述角度校正极限范围的光学超额幅度,其中,所述光学超额幅度产生使所述电子防抖权重的权重值增大的权重变化趋势;确定所述第二电子防抖补偿角度相比于在所述第二成像周期之前的第三成像周期的第三电子防抖补偿角度的电子防抖补偿角度帧间偏差,并且,确定所述电子防抖补偿角度帧间偏差超出预设的帧间抖幅阈值的电子超额幅度,其中,所述电子超额幅度引发所述图像的清晰度低于所述清晰度阈值,并且,所述电子超额幅度产生使所述光学防抖权重的权重值增大的权重变化趋势。
可选地,所述光学防抖对所述成像坐标系的所述实时相对角度的持续校正,是通过调节所述摄像机的光学镜组与所述感光元件之间的相对位姿实现的;其中,所述光学防抖能力范围是根据所述光学镜组与所述感光元件之间的相对位姿的物理调节性能确定的;并且,确定所述第二单帧等效空间角度超出所述角度校正极限范围的光学超额幅度,包括:确定所述第二单帧等效空间角度所需的目标速度超出预设最大速度的速度差,其中,所述光学超额幅度包括所述第二单帧等效空间角度中引发所述速度差的速度超限幅度;所述目标速度表示,为使所述成像坐标系从当前相对角度校正至与所述第二单帧等效空间角度反向等幅的目标速度理想校正角度,所述相对位姿的理论变化速率;所述预设最大速度是根据所述物理调节性能所能支持的极限速度确定的;和/或,确定所述第二单帧等效空间角度所需的目标位姿超出预设位姿范围之外的位姿差,其中,所述光学超额幅度包括所述第二单帧等效空间角度中引发所述位姿差的位姿超限幅度;所述目标位姿表示,为使所述成像坐标系达到与所述第二单帧等效空间角度反向等幅的目标位姿理想校正角度,所述相对位姿经调节后的理论相对位姿;所述预设位姿范围是根据所述物理调节性能所能支持的极限位姿确定的。
可选地,确定所述光学防抖权重和所述电子防抖权重在所述第一成像周期内的权重值,进一步包括:获取与所述光学镜组所在镜头的快门时间关联变化的防模糊角度阈值;其中,所述帧间抖幅阈值包括获取到的所述防模糊角度阈值,并且,所述防模糊角度阈值是根据与所述快门时间关联的所述清晰度阈值确定的。
基于上述实施例,在感光元件的任意一个刷新周内,摄像机的实时空间角度可以只有在摄像机的光学防抖能力范围内的一部分被光学防抖抵消,以助于降低光学防抖失效的风险;并且,基于光学防抖所抵消的一部分空间角度,还可以降低图像清晰度由于空间角度过大而过低的风险,从而,在该成像周期结束时的刷新时刻,通过电子防抖对具有清晰度被光学防抖改善后的图像实施图像处理,可以补偿摄像机的实时空间角度的剩余部分对图像质量的影响。进而,通过以电子防抖补偿光学防抖的双模式结合,有助于降低防抖失效的风险。
附图说明
以下附图仅对本申请做示意性说明和解释,并不限定本申请的范围:
图1为本申请的一个实施例中用于利用光学防抖和电子防抖实现协同防抖的摄像机的硬件架构示意图;
图2为如图1所示摄像机确定的实时空间角度的示例性示意图;
图3为如图1所示摄像机实现的协同防抖的原理示意图;
图4为如图3所示协同防抖采用的电子防抖补偿光学防抖的示例性效果图;
图5为适用于如图3所示协同防抖的权重更新过程的原理示意图;
图6为如图5所示权重更新过程中基于速度极限确定的光学超额幅度的示例性效果图;
图7为如图5所示权重更新过程中基于位姿极限确定的光学超额幅度的示例性效果图;
图8为如图5所示权重更新过程中关联快门时间确定的电子超额幅度的示例性效果图;
图9为本申请的另一个实施例中用于利用光学防抖和电子防抖实现协同防抖的控制方法的示例性流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本申请作进一步详细说明。
图1为本申请的一个实施例中用于利用光学防抖和电子防抖实现协同防抖的摄像机的硬件架构示意图。请参见图1,该摄像机可以包括镜头10和机身20,其中,镜头10具有光学镜组31,机身20中具有感光元件32、以及防抖驱动组件70和处理器组件90,并且,镜头10或机身20中还可以装设有抖动传感器50。
感光元件32可以包括CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)或CCD(Charge Coupled Device,电荷耦合器件),用于在光学镜组31的成像路径中曝光成像,并刷新输出曝光成像得到的图像。
防抖传感器50用于以第一频率f_gyro持续产生摄像机的实时抖动数据,例如,防抖传感器50可以包括例如陀螺仪等用于确定摄像机的实时空间角度的传感器,即,该实时空间角度可以认为是摄像机的机身坐标系在空间坐标系中的实时角度。
其中,防抖传感器50以第一频率f_gyro持续产生的实时抖动数据用于确定摄像机在空间坐标系中的实时空间角度。并且,抖动传感器50产生实时抖动数据的第一频率f_gyro,不低于感光元件32成像的第二频率f_img的两倍。因此,在感光元件32的每个成像周期T_img_i内,实时空间角度包括根据至少两次实时抖动数据确定的角度值序列{A_i_1,...,A_i_n},i表示感光元件32的第i个成像周期T_img_i的序列号,i为大于0的正整数,并且,n为一个成像周期T_img_i内的实时抖动数据的产生次数,n大于等于2。
摄像机的抖动包括水平摆动方向上的偏摆抖动、仰俯摆动方向上的仰俯抖动、以及绕镜头光轴的旋转方向上的翻转抖动。
相应地,抖动传感器50产生的实时抖动数据可以是响应于偏摆抖动、仰俯抖动以及翻转抖动中的至少之一而被引发的。以防抖传感器50包括陀螺仪(诸如3轴陀螺仪)为例,防抖传感器50以第一频率f_gyro持续产生的实时抖动数据可以包括响应于摄像机的偏摆抖动、仰俯抖动、以及翻转抖动中的至少之一的角速度或角加速度,并且,通过预设的算法,可以根据角速度或角加速度确定摄像机在空间坐标系中的实时空间角度{A_i_1,...,A_i_n}。
从而,摄像机的实时空间角度可以包括反应偏摆抖动的偏摆空间角度、反应仰俯抖动的仰俯空间角度、以及反应翻转抖动的翻转空间角度。即,前文用于表示一个成像周期T_img_i内的实时空间角度所使用的通用表达式{A_i_1,...,A_i_n},可以具体化为:实时偏摆空间角度{Yaw_i_1,...,Yaw_i_n},或实时仰俯空间角度{Pitch_i_1,...,Pitch_i_n},或实时翻转空间角度{Roll_i_1,...,Roll_i_n}。
图2为如图1所示摄像机确定的实时空间角度的示例性示意图。在图2中示出了偏摆抖动、仰俯抖动以及翻转抖动中的任一个发生时,在对应的抖动方向上的实时空间角度{A_i_1,...,A_i_n}的变化状态,实时空间角度{A_i_1,...,A_i_n}在图2中以第一频率f_gyro的频率周期Tgyro为间隔离散分布,并且,图2中还示出了离散分布的实时空间角度{A_i_1,...,A_i_n}的拟合曲线W20,以表示实时空间角度{A_i_1,...,A_i_n}的变化趋势。
在该实施例中,根据防抖传感器50产生的实时抖动数据确定的实时空间角度{A_i_1,...,A_i_n},是相对于预先标定的空间基准角度A_abs_ref的角度值,该空间基准角度A_abs_ref是在空间坐标系中标定的,例如,该空间基准角度A_abs_ref可以表示镜头光轴在摄像机的部署空间中的期望角度。即,实时偏摆空间角度{Yaw_i_1,...,Yaw_i_n}均是相对于预先标定的空间偏摆基准角度Yaw_abs_ref的角度值,实时仰俯空间角度{Pitch_i_1,...,Pitch_i_n}均是相对于预先标定的空间仰俯基准角度Pitch_abs_ref的角度值,以及实时翻转空间角度{Roll_i_1,...,Roll_i_n}均是相对于预先标定的空间翻转基准角度Roll_abs_ref的角度值。
在该实施例中,每个成像周期T_img_i内,可以至少针对偏摆抖动和仰俯抖动实施光学防抖和电子防抖的协同防抖;而翻转抖动则可以完全依靠电子防抖,或者,也可以针对翻转抖动实施光学防抖和电子防抖的协同防抖。
防抖驱动组件70可以用于实现光学防抖,具体地,防抖驱动组件70可以用于对感光元件32的成像坐标系在摄像机的机身坐标系中的实时相对角度,实施与实时空间角度{A_i_1,...,A_i_n}反向的持续角度校正,以实现响应于实时空间角度{A_i_1,...,A_i_n}的光学防抖。其中,感光元件32的成像坐标系的实施相对角度,可以由光学镜组31与感光元件32之间的相对位姿确定,因此,防抖驱动组件70可以通过调节摄像机的光学镜组31与感光元件32之间的相对位姿,实现对成像坐标系的持续角度校正。例如,防抖驱动组件70可以包括用于驱动光学镜组31与感光元件32之间的相对位姿调节的OIS驱动器。
具体地,防抖驱动组件70实施的持续角度校正,可以是响应于偏摆抖动、仰俯抖动以及翻转抖动中的至少之一而被引发的。
其中,针对偏摆抖动和仰俯抖动,防抖驱动组件70调节的相对位姿可以包括对光学镜组31与感光元件32之间的相对平移位置的调节。
例如,在摄像机发生偏摆抖动或仰俯抖动的期间内,通过驱动光学镜组31相对于感光元件32的水平平移或竖直平移,防抖驱动组件70可以调节光学镜组31与感光元件32之间的相对水平位置或相对竖直位置,从而使成像坐标系在摄像机的偏摆抖动或仰俯抖动相反的方向上,摆动至相对于摄像机的指定水平相对角度或指定竖直相对角度,以缓解成像坐标系跟随于摄像机的偏摆抖动或仰俯抖动(即机身坐标系在空间坐标系中的偏摆抖动或仰俯抖动)的波动,并促使成像坐标系在空间坐标系中的空间角度保持稳定。通过光学镜组31的平移实现的光学防抖,也可以称为镜头防抖或光学镜组位移防抖。
再例如,作为镜头防抖或光学镜组位移防抖的替代方案,通过驱动感光元件32相对于光学镜组31的水平平移或竖直平移,防抖驱动组件70同样可以调节光学镜组31与感光元件32之间的相对水平位置或相对竖直位置,并以此缓解成像坐标系跟随于摄像机的偏摆抖动或仰俯抖动的波动。通过感光元件32的移动实现的光学防抖,也可以称为机身防抖或感光元件位移防抖。
并且,若针对翻转抖动也实施光学防抖和电子防抖的协同防抖,则,防抖驱动组件70调节的相对位姿可以包括对光学镜组31与感光元件32之间的相对平转角度的调节。
例如,感光元件32可转动地装设在摄像机的机身20内,通过驱动感光元件32相对于光学镜组31的平转,防抖驱动组件70可以调节光学镜组31与感光元件32之间的相对平转角度,从而使成像坐标系在摄像机的翻转抖动相反的方向上,翻转至相对于摄像机的指定翻转相对角度,以缓解成像坐标系跟随于摄像机的翻转抖动(即机身坐标系在空间坐标系中的翻转抖动)的波动,并促使成像坐标系在空间坐标系中的空间角度保持稳定。
处理器组件90可以用于实现电子防抖。具体地,处理器组件90可以用于对感光元件32在任意成像周期T_img_i结束时的刷新时刻输出的图像进行图像处理,以通过图像处理产生的像素阵列调节实现电子防抖。例如,处理器组件90可以包括用于对图像进行图像处理的图像处理器。
其中,处理器组件通90过图像处理对像素阵列的调节,可以是响应于偏摆抖动、仰俯抖动以及翻转抖动中的至少之一而被引发的。即,对于偏摆抖动和仰俯抖动的电子防抖,可以通过处理器组件90可以对感光元件32输出的图像进行像素阵列平移;对于翻转抖动的电子防抖,处理器组件90可以对感光元件32输出的图像进行像素阵列平转。
不同于光学防抖直接利用持续的实时空间角度{A_i_1,...,A_i_n}对实时相对角度持续实施角度校正的方式,电子防抖是在一个成像周期T_img_i结束时的刷新时刻对图像的像素阵列实施单次处理,因此,在任意成像周期T_img_i的刷新时刻执行的电子防抖,可以使用与该成像周期T_img_i内的实时空间角度{A_i_1,...,A_i_n}关联的单帧等效空间角度A_eq_i,即,与实时偏摆空间角度{Yaw_i_1,...,Yaw_i_n}关联的单帧等效偏摆空间角度Yaw_eq_i,与实时仰俯空间角度{Pitch_i_1,...,Pitch_i_n}关联的单帧等效仰俯空间角度Pitch_eq_i,以及,与实时翻转空间角度{Roll_i_1,...,Roll_i_n}关联的单帧等效翻转空间角度Roll_eq_i。
具体地,处理器组件90可以从任意一个成像周期T_img_i内的实时空间角度{A_i_1,...,A_i_n}中采样得到该成像周期T_img_i的单帧等效空间角度A_eq_i,即,单帧等效空间角度A_eq_i也可以称为采样空间角度。
例如,处理器组件90可以从任意一个成像周期T_img_i内的实时空间角度{A_i_1,...,A_i_n}中采样得到峰值角度A_i_max(其角度绝对值最大)、或均值角度A_i_avg(角度绝对值的平均值)、或中位角度A_i_med(角度绝对值的中位值),并且,将该成像周期T_img_i内的实时空间角度{A_i_1,…,A_i_n}中的峰值角度A_i_max、或均值角度A_i_avg、或中位角度A_i_med确定为该成像周期T_img_i内的单帧等效空间角度A_eq_i,即:
在单帧等效空间角度A_eq_i表示单帧等效偏摆空间角度Yaw_eq_i的情况下,实时偏摆空间角度{Yaw_i_1,...,Yaw_i_n}中的偏摆峰值角度Yaw_i_max、或偏摆均值角度Yaw_i_avg、或偏摆中位角度Yaw_i_med可以被确定为单帧等效偏摆空间角度Yaw_eq_i;
在单帧等效空间角度A_eq_i表示单帧等效仰俯空间角度Pitch_eq_i的情况下,实时仰俯空间角度{Pitch_i_1,…,Pitch_i_n}中的仰俯峰值角度Pitch_i_max、或仰俯均值角度Pitch_i_avg、或仰俯中位角度Pitch_i_med可以被确定为单帧等效仰俯空间角度Pitch_eq_i;
在单帧等效空间角度A_eq_i表示单帧等效翻转空间角度Roll_eq_i的情况下,实时翻转空间角度{Roll_i_1,...,Roll_i_n}中的翻转峰值角度Roll_i_max、或翻转均值角度Roll_i_avg、或翻转中位角度Roll_i_med可以被确定为单帧等效翻转空间角度Roll_eq_i。
由于峰值角度A_i_max能够反应出该成像周期T_img_i内曾发生过的最大抖动幅度,因此,优选地,可以将峰值角度A_i_max确定为单帧等效空间角度A_eq_i,以助于电子防抖使图像的像素阵列产生的调节幅度足以减轻甚至消除最大抖动幅度对图像质量的影响。
处理器组件90还用于实现光学防抖与电子防抖之间的协同控制。例如,该协同控制可以由处理器组件90中的图像处理器承担、或者也可以由处理器组件90中进一步包括的独立于图像处理器的另一处理器承担。
对于光学防抖和电子防抖的协同控制,该实施例中为摄像机提供了用于实现协同防抖的两个参数,即,光学防抖权重Wois和电子防抖权重Weis。其中,光学防抖权重Wois的权重值Wois_i以及电子防抖权重Weis的权重值Weis_i是可以与感光元件32的图像刷新同步更新调节的。
处理器组件90可以用于以第二频率f_img更新用于实现协同防抖的光学防抖权重Wois的权重值Wois_i、以及电子防抖权重Weis的权重值Weis_i,更新的依据可以是单个成像周期T_img_i内的实时空间角度{A_i_1,...,A_i_n}的单帧等效空间角度A_eq_i。
即,处理器组件90对光学防抖权重Wois的权重值Wois_i、以及电子防抖权重Weis的权重值Weis_i的更新,可以是响应于偏摆抖动、仰俯抖动以及翻转抖动中的至少之一而被引发的,在此情况下:
光学防抖权重Wois和电子防抖权重Weis可以表示对应实时偏摆空间角度{Yaw_i_1,...,Yaw_i_n}的光学偏摆防抖权重Wois_yaw和电子偏摆防抖权重Weis_yaw;
光学防抖权重Wois和电子防抖权重Weis还可以表示对应实时仰俯空间角度{Pitch_i_1,...,Pitch_i_n}的光学仰俯防抖权重Wois_pitch和电子仰俯防抖权重Weis_pitch;
若针对实时翻转空间角度{Roll_i_1,...,Roll_i_n}也实施光学防抖和电子防抖的协同防抖,则,光学防抖权重Wois和电子防抖权重Weis还可以表示对应实时翻转空间角度{Roll_i_1,...,Roll_i_n}的光学翻转防抖权重Wois_roll和电子翻转防抖权重Weis_roll。
处理器组件90对光学偏摆防抖权重Wois_yaw和电子偏摆防抖权重Weis_yaw的权重值更新,对光学仰俯防抖权重Wois_pitch和电子仰俯防抖权重Weis_pitch的权重更新,以及,对光学翻转防抖权重Wois_roll和电子翻转防抖权重Weis_roll的权重值更新,可以是相互独立的。
图3为如图1所示摄像机实现的协同防抖的原理示意图。请参见图3:
防抖驱动组件70可以具体用于在任意一个成像周期T_img_i内,根据光学防抖权重Wois_roll在该成像周期T_img_i内的权重值Wois_i,对感光元件32的成像坐标系相对于摄像机的实时相对角度,实施与实时空间角度{A_i_1,...,A_i_n}反向的持续角度校正,以实现响应于实时空间角度{A_i_1,...,A_i_n}的光学防抖。
也就是,在任意一个成像周期T_img_i内,成像坐标系相对于摄像机(即机身坐标系)的实时相对角度被校正为{Aosi_i_1,...,Aois_i_n}。
其中,Aois_i_j=A_i_j×Wois_i/(Wois_i+Weis_i),j为一个成像周期T_img_i内的一次实时抖动数据或实时空间角度的序列中基于时间的排序位置,j大于等于1且小于等于前文提及的n。
被校正后的实时相对角度Aois_i_j是指,为抵消摄像机抖动时所处的实时空间角度{A_i_1,...,A_i_n}所引发的成像坐标系相对于空间基准角度A_abs_ref(即空间坐标系中的空间基准角度)的偏差,而使成像坐标系相对于预先标定的相对基准角度A_rlv_ref的角度值,该相对基准角度A_rlv_ref可以是在摄像机的机身坐标系中标定的,例如,该相对基准角度A_rlv_ref可以表示镜头光轴在机身坐标系中的装配角度,并且,该相对基准角度A_rlv_ref在空间坐标系中所述的方位角度是响应于实时空间角度{A_i_1,...,A_i_n}变化的。
在任意一个成像周期T_img_i结束时的刷新时刻,电子防抖对图像实施的像素阵列调节所依据的电子防抖补偿角度Aeis_i=A_eq_i×Weis_i/(Wois_i+Weis_i)。
相应地,处理器组件90可以具体用于根据任意一个成像周期T_img_i内的实时空间角度{A_i_1,...,A_i_n},确定该成像周期T_img_i的单帧等效空间角度A_eq_i,并且,根据电子防抖权重Weis_roll在该成像周期T_img_i内的权重值Weis_i、以及该成像周期T_img_i的单帧等效空间角度A_eq_i,确定第一电子防抖补偿角度Aeis_i,以根据该第一电子防抖补偿角度Aeis_i对该成像周期T_img_i结束时的刷新时刻得到的图像实施图像处理,使该图像产生用于实现电子防抖的像素阵列调节。
针对实时偏摆空间角度{Yaw_i_1,...,Yaw_i_n}校正后的实时偏摆相对角度Yaw_ois_i_j=Yaw_i_j×Wois_yaw_i/(Wois_yaw_i+Weis_yaw_i),其表示为抵消摄像机抖动时的实时偏摆空间角度{Yaw_i_1,...,Yaw_i_n}所引发的成像坐标系相对于空间偏摆基准角度Yaw_abs_ref的偏摆偏差,而使成像坐标系相对于相对偏摆基准角度Yaw_rlv_ref(例如镜头光轴在机身坐标系中的偏摆方向上的装配角度)的角度值;
针对实时仰俯空间角度{Pitch_i_1,...,Pitch_i_n}校正后的实时仰俯相对角度Pitch_ois_i_j=Pitch_i_j×Wois_pitch_i/(Wois_pitch_i+Weis_pitch_i),其表示为抵消摄像机抖动时的实时仰俯空间角度{Pitch_i_1,...,Pitch_i_n}所引发的成像坐标系相对于空间仰俯基准角度Pitch_abs_ref的仰俯偏差,而使成像坐标系相对于相对仰俯基准角度Pitch_rlv_ref(例如镜头光轴在机身坐标系中的仰俯方向上的装配角度)的角度值;
假设针对实时翻转空间角度{Roll_i_1,...,Roll_i_n}也实施光学防抖和电子防抖的协同防抖,则,针对实时翻转空间角度{Roll_i_1,...,Roll_i_n}校正后的实时仰俯翻转角度Roll_ois_i_j=Roll_i_i-1×Wois_roll_i/(Wois_roll_i+Weis_roll_i),其表示为抵消摄像机抖动时的实时翻转空间角度{Roll_i_1,...,Roll_i_n}所引发的成像坐标系相对于空间翻转基准角度Roll_abs_ref的翻转偏差,而使成像坐标系相对于相对仰俯基准角度Roll_rlv_ref(例如镜头光轴在机身坐标系中的翻转方向上的装配角度)的角度值。
电子防抖实施图像处理而使像素阵列在水平方向上的平移,依据的是电子防抖偏摆补偿角度Yaw_eis_i=Yaw_eq_i×Weis_yaw_i/(Wois_yawi+Weis_yaw_i);
电子防抖实施图像处理而使像素阵列在竖直方向上的平移,依据的是电子防抖仰俯补偿角度Pitch_eis_i=Pitch_eq_i×Weis_pitch_i/(Wois_pitch_i+Weis_pitch_i);
假设针对翻转抖动也实施光学防抖和电子防抖的协同防抖,则,电子防抖实施图像处理而使像素阵列在翻转方向上的平转,依据的是单子防抖翻转补偿角度Roll_eis_i=Roll_eq_i×Weis_roll_i/(Wois_roll_i+Weis_roll_i);若针对翻转空间角度{Roll_i_1,...,Roll_i_n}的防抖完全依靠电子防抖,则,电子防抖根据单帧等效翻转角度实施图像处理而使像素阵列在翻转方向上的平转,即,Roll_eis_i=Roll_eq_i。
在该实施例中,处理器组件90对光学防抖权重Wois的权重值Wois_i与电子防抖权重Weis的权重值Weis_i的更新,是基于对光学防抖对成像坐标系的实时相对角度的校正能力、以及电子防抖对图像清晰度的容忍度的考量,这是因为:
光学防抖受限于光学镜组31和感光元件32之间的相对位姿的物理调节性能,若成像坐标系被校正至足以抵消实时空间角度{A_i_1,...,A_i_n}的实时相对角度所需的物理调节性能,超出光学镜组31和感光元件32之间的相对位姿的物理调节性能之外,则,容易引发光学防抖的失效;
电子防抖依赖于感光元件32得到的图像的清晰度,若成像坐标系在成像周期(尤其是成像周期内的曝光期间)由于过大的实时空间角度而产生较大震动,并导致图像的清晰度被降低至不足以通过图像处理而被改善的程度(例如模糊),则,容易引发电子防抖的失效。
基于上述原因,在任意一个成像周期T_img_i,摄像机的空间角度{A_i_1,...,A_i_n}可以只有在摄像机的光学防抖能力范围内的一部分(即与校正后的实时相对角度{Aois_i_1,...,Aois_i_n}反向等值的部分)被光学防抖抵消,以助于降低光学防抖失效的风险;并且,基于光学防抖所抵消的一部分空间角度,还可以降低图像清晰度由于空间角度过大而过低的风险,从而,在该成像周期T_img_i结束时的刷新时刻,通过电子防抖对清晰度被光学防抖改善后的图像实施图像处理,可以补偿摄像机的空间角度{A_i_1,...,A_i_n}的剩余部分(即A_i_j的绝对值与Aois_i_j的绝对值的差值)对图像质量的影响。进而,通过以电子防抖补偿光学防抖的双模式结合,有助于降低防抖失效的风险。
优选地,光学防抖权重Wois的初始值Wois_0可以取1、电子防抖权重Weis的初始值Weis_0可以取0。即,处理器组件90可以进一步用于响应于摄像机的上电启动的完成,将光学防抖权重Wois初始赋值为1、并将电子防抖权重Weis初始赋值为0,以实现光学防抖优先的协同原则。
即,光学偏摆防抖权重Wois_yaw的初始值Wois_yaw_0可以取1、电子偏摆防抖权重Weis_yaw的初始值Weis_yaw_0可以取0;光学偏摆防抖权重Wois_pitch的初始值Wois_pitch_0可以取1、电子偏摆防抖权重Weis_pitch的初始值Weis_pitch_0可以取0;光学翻转防抖权重Wois_roll的初始值Wois_roll_0可以取1、电子翻转防抖权重Weis_roll的初始值Weis_roll_0可以取0。
假设将感光元件32的任意一个成像周期T_img_i看作是第一成像周期,并且,假设:
光学防抖权重Wois在感光元件32的第一成像周期T_img_i内的权重值Wois_i,意图将实时相对角度{Aois_i_1,…,Aois_i_n}限制在摄像机的光学防抖能力范围内,以使得第一成像周期T_img_i内的实时相对角度{Aois_i_1,...,Aois_i_n}具有相对于实时空间角度{A_i_1,...,A_i_n}的实时角度差值{ΔA_i_1,...,ΔA_i_n},其中,ΔA_ij=|A_ij|-|Aois_ij|,该实时角度差值ΔA_ij可以看作是实时空间角度A_i_j中未被校正后的实时相对角度Aois_i_i完全抵消的差幅部分或残差部分。
图4为如图3所示协同防抖采用的电子防抖补偿光学防抖的示例性效果图。
在图4中,示出了两条拟合曲线W51和W52,其中,拟合曲线W51表示实时相对角度{Aois_i_1,...,Aois_i_n}在光学偏摆防抖权重Wois_yaw取初始值1时的理想值,拟合曲线W52表示实时相对角度{Aois_i_1,...,Aois_i_n}在第一成像周期T_img_i内实际发生的真实值,故,拟合曲线W51可以称为实时相对角度{Aois_i_1,...,Aois_i_n}的理想拟合曲线,拟合曲线W52可以称为实时相对角度{Aois_i_1,...,Aois_i_n}的真实拟合曲线,并且,理想拟合曲线W51与实时空间角度{A_i_1,...,A_i_n}的拟合曲线W20以第一频率f_gyro的一个频率周期T_gyro的延迟反向等值。
实时角度差值{ΔA_i_1,...,ΔA_i_n}可以由理想拟合曲线W51与真实拟合曲线W52之间的偏差等效表示。
在此情况下,处理器组件90可以具体用于根据第一成像周期T_img_i内的实时空间角度{A_i_1,...,A_i_n},确定该第一成像周期T_img_i内的第一单帧等效空间角度A_eq_i,并且,根据电子防抖权重Weis在该第一成像周期T_img_i内的权重值Weis_i、以及该第一单帧等效空间角度A_eq_i,确定第一电子防抖补偿角度Aeis_i=A_eq_i×Weis_i/(Wois_i+Weis_i),以根据更该第一电子防抖补偿角度Aeis_i对该第一成像周期T_img_i结束时的第一刷新时刻得到的图像30实施图像处理,使该图像30产生用于补偿实时角度差值{ΔA_i_1,...,ΔA_i_n}的像素阵列调节,以实现电子防抖。也就是,以该方式实现的电子防抖可以认为是对光学防抖的补偿措施。
从而,基于光学防抖校正后的实时相对角度{Aois_i_1,...,Aois_i_n}、以及光学防抖对图像30的像素阵列调节的共同作用,光学防抖和电子防抖的协同防抖可以改善在摄像机抖动期间内拍摄到的图像质量。并且,相比于完全依赖光学防抖持续对成像坐标系的相对坐标实施满额校正的情况,协同防抖可以在实时空间角度{A_i_1,...,A_i_n}超出光学防抖能力范围的情况下,缓解光学防抖部分失效的风险;相比于完全依靠电子防抖的图像处理而改善图像质量的情况,协同防抖可以在实时空间角度{A_i_1,...,A_i_n}足以引发图像模糊的情况下,降低由于图像模糊而导致电子防抖失效的风险。
图5为适用于如图3所示协同防抖的权重更新过程的原理示意图。请参见图5,假设将第一成像周期T_img_i的前一成像周期T_img_i-1看作第二成像周期,则:
处理器组件90可以进一步用于根据该第二成像周期T_img_i-1内的实时空间角度{A_i-11,…,A_i-1n}以及和第二电子防抖补偿角度Aeis_i-1,确定光学防抖权重Wois在第一成像周期T_img_i内的权重值Weis_i和电子防抖权重Weis在第一成像周期T_img_i内的权重值Weis_i,以促使:
在第一成像周期T_img_i内,实时相对角度{A_i_1,…,A_i_n}被意图限制为收敛在预设的角度校正极限范围内,其中,该角度校正极限范围是根据光学防抖能力范围确定的;以及,
在第一成像周期T_img_i的第一刷新时刻得到的图像30的清晰度不低于预设的清晰度阈值,其中,该清晰度阈值是根据预先设定的用于避免电子防抖失效的最低图像清晰度确定的。
优选地,处理器组件90可以进一步用于:
根据该第二成像周期T_img_i-1内的实时空间角度{A_i-1_1,...,A_i-1_n},确定该第二成像周期T_img_i-1内的第二单帧等效空间角度A_eq_i-1,并且,确定第二单帧等效空间角度A_eq_i-1超出角度校正极限范围的光学超额幅度Aois_ex_i-1。
其中,该光学超额幅度Aois_ex_i-1产生使电子防抖权重Weis的权重值增大的权重变化趋势,即,该光学超额幅度Aois_ex_i-1促使电子防抖权重Weis在第一成像周期T_img_i内的权重值Weis_i大于在第二成像周期T_img_i-1内的权重值Weis_i-1;以及,
确定第二成像周期T_img_i-1的第二电子防抖补偿角度Aeis_i-1相比于在第二成像周期T_img_i-1的第三成像周期T_img_i-2的第三电子防抖补偿角度Aeis_i-2的电子防抖补偿角度帧间偏差ΔAeis_i-1=|Aeis_i-1-Aeis_i-2|,并且,确定电子防抖补偿角度帧间偏差ΔAeis_i-1超出预设的帧间抖幅阈值A_int_th的电子超额幅度Aeis_ex_i-1。
其中,该电子超额幅度Aeis_ex_i-1可能引发图像30的清晰度降低,并且,该电子超额幅度Aeis_ex_i-1产生使光学防抖权重Wois的权重值增大的权重变化趋势,即,该电子超额幅度Aeis_ex_i-1促使光学防抖权重Wois在第一成像周期T_img_i内的权重值Wois_i大于在第二成像周期T_img_i-1内的权重值Wois_i-1。
例如,处理器组件90可以进一步根据光学超额幅度Aois_ex_i-1在光学镜组31所在镜头10的视场角A_fov中的角度占比、以及电子防抖权重Weis在第二成像周期T_img_i-1内的权重值Weis_i-1,确定电子防抖权重Weis在第一成像周期T_img_i内的权重值Weis_i,并且,根据电子超额幅度Aeis_ex_i-1在光学镜组31所在镜头10的视场角A_fov中的角度占比、以及光学防抖权重Wois在第二成像周期T_img_i-1内的权重值Wois_i-1,确定光学防抖权重Wois在第一成像周期T_img_i内的权重值Wois_i。该确定方式可以表示为:
Wois_i=Wois_i-1+Aeis_ex_i-1/A_fov;
Weis_i=Weis_i-1+Aois_ex_i-1/A_fov。
针对偏摆抖动、仰俯抖动、以及翻转抖动,光学超额幅度Aois_ex_i-1可以分别包括光学偏转超额幅度Yaw_ois_ex_i-1、光学仰俯超额幅度Pitch_ois_ex_i-1以及光学翻转超额幅度Roll_ois_ex_i-1,电子超额幅度Aeis_ex_i-1可以具体包括电子偏转超额幅度Yaw_eis_ex_i-1、电子仰俯超额幅度Pitch_eis_ex_i-1以及电子翻转超额幅度Roll_eis_ex_i-1,并且,上述的确定方式可以具体表示为:
Wois_yaw_i=Wois_yaw_i-1+Yaw_eis_ex_i-1/A_fov_yaw;
Weis_yaw_i=Weis_yaw_i-1+Yaw_ois_ex_i-1/A_fov_yaw;
Wois_pitch_i=Wois_pitch_i-1+Pitch_eis_ex_i-1/A_fov_pitch;
Weis_pitch_i=Weis_pitch_i-1+Pitch_ois_ex_i-1/Afov_pitch;
Wois_roll_i=Wois_roll_i-1+Roll_eis_ex_i-1/A_fov_roll;
Weis_roll_i=Weis_roll_i-1+Roll_ois_ex_i-1/A_fov_roll;
其中,A_fov_yaw表示视场角A_fov中的水平视场角,A_fov_pitch表示视场角中的垂直视场角,A_fov_roll表示视场角A_fov的角度范围(例如360°)。
如前文所述,防抖驱动组件70可以通过调节光学镜组31与感光元件32之间的相对位姿,实现对成像坐标系的持续角度校正,在此情况下,光学防抖能力范围可以是根据光学镜组31与感光元件32之间的相对位姿的物理调节性能确定的。其中,光学镜组31与感光元件32之间的相对位姿的物理调节性能可以涉及相对位姿的调节速率以及位姿极限中的至少之一。
在光学镜组31与感光元件32之间的相对位姿的物理调节性能可以涉及相对位姿的调节速率的情况下,处理器组件90可以进一步用于确定第二单帧等效空间角度A_eq_i-1所需的目标速度Vobj_i-1超出光学镜组31与感光元件32之间的相对位姿调节的预设最大速度Vmax的速度差(即Vobj_i-1-Vmax),并且,光学超额幅度Aois_ex_i-1可以包括第二单帧等效空间角度A_eq_i-1中引发该速度差的速度超限幅度Aois_v_ex_i-1。
其中,该目标速度Vobj_i-1表示:为使成像坐标系从当前相对角度Aois_i-1_n校正至与第二单帧等效空间角度A_eq_i-1反向等幅的目标速度理想校正角度Aois_v_obj_i-1,光学镜组31与感光元件32之间的相对位姿在第一频率f_gyro的一个频率周期T_gyro内的理论变化速率。
也就是,目标速度Vobj_i-1×T_gyro×Kapm=|Aois_v_obj_i-1-Aois_i-1_n|,Kapm为预先设定的转换系数,该转换系数Kapm是根据光学镜组31与感光元件32之间的相对位姿的物理调节性能确定的,表示光学镜组31与感光元件32之间的相对位姿每调节预设的单位步长所能够产生的成像坐标系的单位校正幅度。
并且,预设最大速度Vmax是根据光学镜组31与感光元件32之间的相对位姿的物理调节性能所能支持的极限速度确定的。
若该目标速度Vobj_i-1表示对应偏摆方向的目标水平速度v_yaw_obj_i-1,预设最大速度Vmax表示光学镜组31与感光元件32之间的相对位姿调节的最大水平速度v_yaw_max,并且,目标速度理想校正角度Aois_v_obj_i-1表示与第二单帧等效空间角度A_eq_i-1所表示的单帧偏摆等效空间角度Yaw_eq_i-1反向等幅的目标水平速度理想校正角度Yaw_ois_v_obj_i-1,则:
v_yaw_obj_i-1×T_gyro×Kapm_yaw=|Yaw_ois_v_obj_i-1-Yaw_ois_i-1n|,其中,Kapm_yaw为预先设定的偏摆转换系数,该偏摆转换系数Kapm_yaw是根据光学镜组31与感光元件32之间的水平相对位置的物理调节性能确定的,表示光学镜组31与感光元件32之间的水平相对位置每调节预设的水平距离单位步长所能够产生的成像坐标系的单位偏摆校正幅度。
若该目标速度Vobj_i-1表示对应仰俯方向的目标竖直速度v_pitch_obj_i-1,预设最大速度Vmax表示光学镜组31与感光元件32之间的相对位姿调节的最大竖直速度v_pitch_max,并且,目标速度理想校正角度Aois_v_obj_i-1表示与由第二单帧等效空间角度A_eq_i-1所表示的单帧仰俯等效空间角度Pitch_eq_i-1反向等幅的目标竖直速度理想校正角度Pitch_ois_v_obi_i-1,则:
v_pitch_obj_i-1×T_gyro×Kapm_pitch=|Pitch_ois_obj_i-1-Pitch_ois_i-1_n|,其中,Kapmpitch为预先设定的仰俯转换系数,该仰俯转换系数Kapm_pitch是根据光学镜组31与感光元件32之间的竖直相对位置的物理调节性能确定的,表示光学镜组31与感光元件32之间的竖直相对位置每调节预设的竖直距离单位步长所能够产生的成像坐标系的单位仰俯校正幅度。
若该目标速度Vobj_i-1表示对应翻转方向的目标角速度ω_roll_obj_i-1,预设最大速度Vmax表示光学镜组31与感光元件32之间的相对位姿调节的最大角速度ω_roll_max,并且,目标速度理想校正角度Aois_v_obj_i-1表示与第二单帧等效空间角度A_eq_i-1所表示的单帧翻转等效空间角度Roll_eq_i-1反向等幅的目标角速度理想翻转校正角度Roll_ois_obj_i-1,则:
ω_roll_obj_i-1×T_gyro×Kapm_roll=|Roll_ois_obj_i-1-Roll_ois_i-i_n|,其中,Kapm_roll为预先设定的翻转转换系数,该翻转转换系数Kapm_roll是根据光学镜组31与感光元件32之间的平转相对角度的物理调节性能确定的,表示光学镜组31与感光元件32之间的平转相对角度每调节预设的角度单位步长所能够产生的成像坐标系的单位翻转校正幅度。
图6为如图5所示权重更新过程中基于速度极限确定的光学超额幅度的示例性效果图。在图6中示出了表示目标速度理想校正角度Aois_v_obj的拟合曲线W71、以及表示速度超限幅度Aois_v_ex_i-1的拟合曲线W72,通过图6可以看出:
成像坐标系在一个频率周期T_gyro内,以目标速度Vobj_i-1从当前相对角度Aois_i-1_n校正至目标速度理想校正角度Aois_v_obj_i-1,该校正过程所需的目标速度理想校正行程可以表示为目标校正幅度ΔAois_v_obj_i-1=|Aois_v_obj_i-1-Aois_i-1n|;
若该速度理想校正行程ΔAois_v_obj_i-1超出了预设最大速度Vmax所能够支持的极限速度校正行程ΔAois_v_max=Vmax×T_gyro×Kapm,则,第二单帧等效空间角度A_eq_i-1中引发该速度差(即,Vobj_i-1-Vmax)的速度超限幅度Aois_v_ex_i-1,可以包括目标速度理想校正幅度ΔAois_v_obj_i-1与极限速度校正行程ΔAois_v_max的差值,即,Aois_v_ex_i-1=ΔAois_v_obj_i-1-ΔAois_v_max;
若该速度理想校正行程ΔAois_v_obj_i-1未超出极限速度校正幅度ΔAois_v_max,则,第二单帧等效空间角度A_eq_i-1中引发速度差(即Vobj_i-1-Vmax)的速度超限幅度Aois_v_ex_i-1为0。
即,若第二单帧等效空间角度A_eq_i-1所需的目标速度Vobj_i-1超出光学镜组31与感光元件32之间的相对位姿调节的预设最大速度Vmax,则:
Aois_v_ex_i-1=|Aois_v_obj_i-1-Aois_i-1n|-Vmax×T_gyro×Kapm;
否则,Aois_v_ex_i-1=0。
假设成像坐标系在第一频率f_gyro的一个频率周期T_gyro内,从当前偏摆相对角度Yaw_ois_i-1n校正至目标水平速度理想校正角度Yaw_ois_v_obj_i-1的目标水平速度理想校正行程ΔYaw_ois_v_obj_i-1=|Yaw_ois_v_obj_i-1-Yaw_ois_i-1n|),并且,最大水平速度v_yaw_max所能够支持的极限水平速度校正行程ΔYaw_ois_v_max被确定为v_yaw_max×T_gyro×Kapm_yaw
若该目标水平速度理想校正行程ΔYaw_ois_v_obj_i-1,超出了极限水平速度校正行程ΔYaw_ois_v_max,则,单帧偏摆等效空间角度Yaw_eq_i-1中引发水平速度差(即v_yaw_obj_i-1-v_yaw_max)的水平速度超限幅度Yaw_ois_v_ex_i-1,可以包括目标水平速度理想校正行程ΔYaw_ois_v_obj_i-1速度校正行程ΔYaw_ois_v_max的差值,否则,偏摆速度超限幅度Yaw_ois_v_ex_i-1取0。
假设成像坐标系在第一频率f_gyro的一个频率周期T_gyro内,从当前仰俯相对角度Pitch_ois_i-1_n校正至目标竖直速度理想校正角度Pitch_ois_v_obj_i-1的目标竖直速度理想校正行程ΔPitch_ois_v_obj_i-1=|Pitch_ois_v_obj_i-1-Pitch_ois_i-1_n|),并且,最大竖直速度v_pitch_max所能够支持的极限竖直速度校正行程ΔPitch_ois_v_max被确定为v_pitch_max×T_gyro×Kapm_pitch:
若该目标竖直速度理想校正行程ΔPitch_ois_v_obj_i-1,超出了极限竖直速度校正行程ΔPitch_ois_v_max,则,单帧仰俯等效空间角度Pitch_eq_i-1中引发竖直速度差(即v_pitch_obj_i-1-v_pitch_max)的竖直速度超限幅度Pitch_ois_v_ex_i-1,可以包括目标竖直速度理想校正行程ΔPitch_ois_v_obj_i-1限竖直速度校正行程ΔPitch_ois_v_max的差值,否则,竖直速度超限幅度Pitch_ois_v_ex_i-1取0。
假设成像坐标系在第一频率f_gyro的一个频率周期T_gyro内,从当前翻转相对角度Roll_ois_i-1_n校正至目标角速度理想校正角度Roll_ois_ω_obj_i-1的目标角速度理想校正行程ΔRoll_ois_ω_obj_i-1=|Roll_ois_ω_obj_i-1-Roll_ois_i-1_n|,最大角速度ω_roll_max支持的极限角速度校正行程ΔRoll_ois_ω_max被确定为ω_roll_max×T_gyro×Kapm_roll):
若该目标角速度理想校正行程ΔRoll_ois_ω_obj_i-1,超出了上述的极限角速度校正行程ΔRoll_ois_ω_max,则,单帧翻转等效空间角度Roll_eq_i-1中引发平转角速度差(即ω_roll_obj_i-1-ω_roll_max)的角速度超限幅度Roll_ois_ω_ex_i-1,可以包括目标角速度理想校正行程ΔRoll_ois_ω_obj_i-1与极限角速度校正行程ΔRoll_ois_ω_max的差值,否则,角速度超限幅度Roll_ois_ω_ex_i-1取0。
在光学镜组31与感光元件32之间的相对位姿的物理调节性能可以涉及相对位姿的位姿极限的情况下,处理器组件90可以进一步用于确定第二单帧等效空间角度A_eq_i-1所需的目标位姿Pobj_i-1超出预设位姿范围Pmax之外的位姿差(即Pobj_i-1-Pmax),并且,光学超额幅度Aois_ex_i-1可以包括第二单帧等效空间角度A_eq_i-1中引发该位姿差的位姿超限幅度Aois_p_ex_i-1。
其中,该目标位姿Pobj_i-1表示,为使成像坐标系达到与第二单帧等效空间角度A_eq_i-1反向等幅的目标位姿理想校正角度Aois_p_obj_i-1,光学镜组31与感光元件32之间的相对位姿经调节后的理论相对位姿。
并且,预设位姿范围Pmax是根据光学镜组31与感光元件32之间的相对位姿的物理调节性能所能支持的极限位姿确定的,例如,预设位姿范围Pmax可以小于物理调节性能所能支持的极限位姿的物理调节范围,以避免光学镜组31与感光元件32之间的相对位姿处于物理调节范围的边界处(处于边界处的期间内的成像质量相对低)。
具体地,该目标位姿Pobj_i-1可以表示对应偏摆方向的目标水平位置p_yaw_obj_i-1、或目标竖直位置p_pitch_obj_i-1、或目标翻转角度p_roll_obj_i-1,相应地,目标位姿理想校正度Aois_p_obj_i-1可以表示:
与第二单帧等效空间角度A_eq_i-1所表示的单帧偏摆等效空间角度Yaw_eq_i-1反向等幅的目标水平位置理想校正角度Yaw_ois_p_obj_i-1;或者,
与第二单帧等效空间角度A_eq_i-1所表示的单帧仰俯等效空间角度Pitch_eq_i-1反向等幅的目标竖直位置理想校正角度Pitch_ois_p_obj_i-1;或者,
与第二单帧等效空间角度A_eq_i-1所表示的单帧翻转等效空间角度Roll_eq_i-1反向等幅的目标翻转角度理想校正角度Roll_ois_p_obj_i-1。
图7为如图5所示权重更新过程中基于位姿极限确定的光学超额幅度的示例性效果图。在图7中示出的拟合折线W80表示目标位姿校正超幅Aois_p_ex_i-1,该目标位姿校正超幅Aois_p_ex_i-1是目标位姿理想校正角度Aois_p_obj_i-1(例如2°)超出预设位姿范围Pmax所能支持的极限校正角度Aois_p_max(例如1.8°)的部分。
即,若第二单帧等效空间角度A_eq_i-1所需的目标位姿Pobj_i-1超出预设位姿范围Pmax,则:
Aois_p_ex_i-1=Aois_p_obj_i-1-Aois_p_max;
否则,Aois_p_ex_i-1=0。
假设目标水平位置p_yaw_obj_i-1超出了预设位姿范围Pmax中的极限水平位置p_yaw_max,导致成像坐标的目标水平位置理想校正角度Yaw_ois_p_obj_i-1,超出了预设位姿范围Pmax所能支持的极限偏摆校正角度Yaw_ois_p_max,则,单帧偏摆等效空间角度Yaw_eq_i-1中引发水平位置差(即p_yaw_obj_i-1-p_yaw_max)的水平位置超限幅度Yaw_ois_p_ex_i-1=Yaw_ois_p_obj_i-1-Yaw_ois_p_max,否则,水平位置超限幅度Yaw_ois_p_ex_i-1取0。
假设目标水平位置p_yaw_obj_i-1超出了预设位姿范围Pmax中的极限竖直位置p_pitch_max,导致成像坐标系的目标竖直位置理想校正角度Pitch_ois_p_obj_i-1,超出了预设位姿范围围Pmax所能支持的极限仰俯校正角度Pitch_ois_p_max,则,单帧仰俯等效空间角度Pitch_eq_i-1中引发竖直位置差(即p_pitch_obj_i-1-p_pitch_max)的竖直位置超限幅度Pitch_ois_p_ex_i-1=Pitch_ois_p_obj_i-1-Pitch_ois_p_max,否则,竖直位置超限幅度Pitch_ois_p_ex_i-1取0。
假设目标翻转角度p_roll_obj_i-1超出了预设位姿范围Pmax中的极限翻转角度p_roll_max,导致成像坐标系的目标翻转角度理想校正角度Roll_ois_p_obj_i-1,超出了预设位姿范围Pmax所能支持的极限翻转校正角度Roll_ois_p_max(该极限翻转校正角度Roll_ois_p_max通常小于±180°),则,单帧翻转等效空间角度Roll_eq_i-1中引发翻转角度差(即p_roll_obj_i-1-p_roll_max)的翻转角度超限幅度Roll_ois_p_ex_i-1=Roll_ois_p_obj_i-1-Roll_ois_p_max,否则,翻转角度超限幅度Roll_ois_pex_i-1取0。
上述如图6所示的基于位姿极限确定的光学超额幅度Aois_ex_i-1=Aois_v_ex_i-1,上述如图7所示的基于位姿极限确定的光学超额幅度Aois_ex_i-1=Aois_p_ex_i-1,这两种方案可以彼此独立地分开使用。
或者,作为进一步优化,这两种方案也可以组合使用,在此情况下,光学超额幅度Aois_ex_i-1=Aois_v_ex_i-1+Aois_p_ex_i-1,相应地,电子防抖权重Weis在第一成像周期T_img_i的权重值Weis_i被更新为:
Weis_i=Weis_i-l+(Aois_v_ex_i-1+Aois_p_ex_i-1)/A_fov,即:
Weis_yaw_i=Weis_yaw_i-1+(Yaw_ois_v_ex_i-1+Yaw_ois_p_ex_i-1)/A_fov_yaw;
Weis_pitch_i=Weis_pitch_i-1+(Pitch_ois_v_ex_i-1+Pitch_ois_p_ex_i-1)/Afov_pitch;
Weis_roll_i=Weis_roll_i-1+(Roll_ois_v_ex_i-1+Roll_ois_p_ex_i-1)/A_fov_roll。
若Aois_v_ex_i-1和Aois_p_ex_i-1均为0,则,电子防抖权重Weis在第一成像周期T_img_i的权重值Weois_i与在第二成像周期T_img_i-1的权重值Weis_i-1相同。
对于电子超额幅度Aeis_ex_i-1的确定,如前文所述,处理器组件90用于确定第二成像周期T_img_i-1相比于之前的第三成像周期T_img_i-2的电子防抖补偿角度帧间偏差ΔAeis_i-1(即|Aeis_i-1-Aeis_i-2|)超出预设的帧间抖幅阈值A_int_th的电子超额幅度Aeis_ex_i-1,即:
第二成像周期T_img_i-1相比于之前的第三成像周期T_img_i-2的电子防抖偏摆补偿角度帧间偏差ΔYaw_eis_i-1(即|Yaw_eis_i-1-Yaw_eis_i-2|)超出帧间偏摆抖幅阈值Yaw_int_th的偏摆抖幅超限幅度Yaw_eis_ex_i-1=ΔYaw_eis_i-1-ΔYaw_int_th;
第二成像周期T_img_i-1相比于之前的第三成像周期T_img_i-2的电子防抖仰俯补偿角度帧间偏差ΔPitch_eis_i-1(即|Pitch_eis_i-1-Pitch_eis_i-2|)超出帧间仰俯抖幅阈值Pitch_int_th的仰俯抖幅超限幅度Pitch_eis_ex_i-1=ΔPitch_eis_i-1-ΔPitch_int_th;
第二成像周期T_img_i-1相比于之前的第三成像周期T_img_i-2的电子防抖翻转补偿角度帧间偏差ΔRoll_eis_i-1(即|Roll_eis_i-1-Roll_eis_i-2|)超出帧间翻转抖幅阈值Roll_int_th的仰俯抖幅超限幅度Roll_eis_ex_i-1=ΔRoll_eis_i-1-ΔRoll_int_th|。
除此之外,处理器组件90还可以进一步用于获取与所述光学镜组31所在镜头10的快门时间t_sh关联变化的防模糊角度阈值A_ed(sh),用作确定电子超额幅度Aeis_ex_i-1的帧间抖幅阈值A_int_th,即,该帧间抖幅阈值A_int_th可以包括获取到的防模糊角度阈值A_ed(sh),并且,该防模糊角度阈值A_ed(sh)是根据与快门时间t_sh关联的清晰度阈值确定的。
若电子防抖补偿角度帧间偏差ΔAeis_i-1超出预设的帧间抖幅阈值A_int_th,即超出防模糊角度阈值A_ed(sh),则,可能引发图像30的清晰度低于预设清晰度阈值的电子超额幅度Aeis_ex_i-1=ΔAeis_i-1-A_ed(sh),进而,光学防抖权重Wois在第一成像周期T_img_i的权重值Wois_i可以被更新为:
Wois_i=Wois_i-1+(ΔAeis_i-1-A_ed(sh))/A_fov;
否则,Aeis_ex_i-1=0,光学防抖权重Wois在第一成像周期T_img_i的权重值Wois_i与在第二成像周期T_img_i-1的权重值Wois_i-1相同。
该防模糊角度阈值A_ed(sh)可以表示偏摆方向上的防模糊偏摆角度阈值Yaw_ed(sh)、或防模糊仰俯角度阈值Pitch_ed(sh)、或防模糊翻转角度阈值Roll_ed(sh)。
图8为如图5所示权重更新过程中关联快门时间确定的电子超额幅度的示例性效果图。在图8中,折线W91表示第二成像周期T_img_i-1的第二电子防抖补偿角度Aeis_i-1和第三成像周期T_img_i-2的第三电子防抖补偿角度Aeis_i-2,折线W92表示电子防抖补偿角度帧间偏差ΔAeis_i-1,折线W90则表示电子防抖补偿角度帧间偏差ΔAeis_i-1超出防模糊角度阈值A_ed(sh)的电子超额幅度Aeis_ex_i-1。
以上是对光学防抖权重Wois在第一成像周期T_img_i内的权重值Weis_i和电子防抖权重Weis在第一成像周期T_img_i内的权重值Weis_i,在第二成像周期T_img_i-1的确定方式的举例说明。按照与第二成像周期T_img_i-1相同的原理,处理器组件90还可以进一步用于确定光学防抖权重Wois在跟随于第一成像周期T_img_i的第四成像周期T_img_i+1内的权重值Weis_i+1和电子防抖权重Weis在该第四成像周期T_img_i+1内的权重值Weis_i+1,本文对此不再赘述。
图9为本申请的另一个实施例中用于利用光学防抖和电子防抖实现协同防抖的控制方法的示例性流程示意图。请参见图9,在另一个实施例中提供的该控制方法可以由摄像机的处理器组件以第二频率(例如感光元件产生图像的周期频率f_img)周期性地执行,并且,该控制方法可以包括:
S900:确定用于实现协同防抖的光学防抖权重和电子防抖权重在感光元件的第一成像周期内的权重值,该光学防抖权重在摄像机的感光元件的第一成像周期内的权重值,意图将感光元件在摄像机的机身坐标系中的实时相对角度,限制在摄像机的光学防抖能力范围内,以使得第一成像周期内的实时相对角度具有相对于摄像机在空间坐标系中的实时空间角度的实时角度差值。
例如,摄像机在空间坐标系中的实时空间角度,可以是根据诸如陀螺仪等防抖传感器以第一频率f_gyro持续产生的实时抖动数据确定的,并且,抖动传感器产生实时抖动数据的第一频率f_gyro,不低于感光元件成像的第二频率f_img的两倍。
S910:根据第一成像周期内的实时空间角度,确定第一成像周期的第一单帧等效空间角度。
例如,第一单帧等效空间角度可以取第一成像周期内的实时空间角度中的峰值角度。
S930:根据述电子防抖权重在所述第一成像周期内的权重值、以及第一单帧等效空间角度,确定第一电子防抖补偿角度,以根据确定的第一电子防抖补偿角度对第一成像周期结束时的第一刷新时刻得到的图像实施图像处理,通过使该图像产生用于补偿实时角度差值的像素阵列调节实现电子防抖。
本步骤之后,即可将下一成像周期作为第一成像周期、并返回S900继续执行上述流程。
基于上述流程,在感光元件的任意一个刷新周内,摄像机的实时空间角度可以只有在摄像机的光学防抖能力范围内的一部分被光学防抖抵消,以助于降低光学防抖失效的风险;并且,基于光学防抖所抵消的一部分空间角度,还可以降低图像清晰度由于空间角度过大而过低的风险,从而,在该成像周期结束时的刷新时刻,通过电子防抖对具有清晰度被光学防抖改善后的图像实施图像处理,可以补偿摄像机的实时空间角度的剩余部分对图像质量的影响。进而,通过以电子防抖补偿光学防抖的双模式结合,有助于降低防抖失效的风险。
优选地,上述流程中的S900可以发生在第一成像周期之前,并且,可以具体包括:
根据第一成像周期之前的第二成像周期内的实时空间角度和第二电子防抖补偿角度,确定光学防抖权重和电子防抖权重在第一成像周期内的权重值,以促使:
在第一成像周期内,实时相对角度被意图限制为收敛在预设的角度校正极限范围内,该角度校正极限范围可以是根据所述光学防抖能力范围确定的;以及,
在第一刷新时刻得到的图像的清晰度不低于预设的清晰度阈值,该清晰度阈值可以是根据预先设定的用于避免电子防抖失效的最低图像清晰度确定的。
进一步地,为了确定光学防抖权重和电子防抖权重在第一成像周期内的权重值,可以具体采用如下方式:
根据第二成像周期内的实时空间角度,确定第二成像周期的第二单帧等效空间角度,并且,确定第二单帧等效空间角度超出角度校正极限范围的光学超额幅度,其中,光学超额幅度产生使电子防抖权重的权重值增大的权重变化趋势;
确定第二电子防抖补偿角度相比于在第二成像周期之前的第三成像周期的第三电子防抖补偿角度的电子防抖补偿角度帧间偏差,并且,确定电子防抖补偿角度帧间偏差超出预设的帧间抖幅阈值的电子超额幅度,其中,电子超额幅度引发图像的清晰度低于清晰度阈值,并且,电子超额幅度产生使光学防抖权重的权重值增大的权重变化趋势。
例如,若光学防抖对成像坐标系的实时相对角度的持续校正,通过调节所述摄像机的光学镜组与所述感光元件之间的相对位姿实现,并且,光学防抖能力范围是根据光学镜组与感光元件之间的相对位姿的物理调节性能确定的,则,在确定第二单帧等效空间角度超出角度校正极限范围的光学超额幅度时:
可以确定第二单帧等效空间角度所需的目标速度超出预设最大速度的速度差,其中,光学超额幅度可以包括第二单帧等效空间角度中引发该速度差的速度超限幅度;该目标速度表示,为使成像坐标系从当前相对角度校正至与第二单帧等效空间角度反向等幅的目标速度理想校正角度,光学镜组与感光元件之间的相对位姿的理论变化速率(例如在第一频率的一个频率周期内的理论变化速率);,并且,预设最大速度可以是根据物理调节性能所能支持的极限速度确定的;和/或,
可以确定第二单帧等效空间角度所需的目标位姿超出预设位姿范围之外的位姿差,其中,光学超额幅度包括第二单帧等效空间角度中引发该位姿差的位姿超限幅度;该目标位姿表示,为使成像坐标系达到与第二单帧等效空间角度反向等幅的目标位姿理想校正角度,相对位姿经调节后的理论相对位姿;预设位姿范围可以是根据物理调节性能所能支持的极限位姿确定的。
确定光学超额幅度和电子超额幅度的具体示例,可以参见前述实施例,此处不再赘述。
另外,该控制方法还可以进一步包括:获取与光学镜组所在镜头的快门时间关联变化的防模糊角度阈值,其中,确定电子超额幅度所使用的帧间抖幅阈值可以包括获取到的所述防模糊角度阈值,并且,该防模糊角度阈值可以是根据与所快门时间关联的清晰度阈值确定的。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (15)
1.一种用于利用光学防抖和电子防抖实现协同防抖的摄像机,其特征在于,包括:
抖动传感器,用于以第一频率持续产生所述摄像机的实时抖动数据,其中,所述第一频率不低于所述摄像机的感光元件成像的第二频率的两倍,并且,所述实时抖动数据用于确定所述摄像机在空间坐标系中的实时空间角度;
处理器组件,用于以所述第二频率更新用于实现协同防抖的光学防抖权重和电子防抖权重的权重值;
防抖驱动组件,用于根据所述光学防抖权重的权重值,对所述感光元件的成像坐标系在所述摄像机的机身坐标系中的实时相对角度,实施与所述实时空间角度反向的持续角度校正,以实现响应于所述实时空间角度的光学防抖;
其中,所述光学防抖权重在所述感光元件的第一成像周期内的权重值,意图将所述实时相对角度限制在所述摄像机的光学防抖能力范围内,以使得所述第一成像周期内的所述实时相对角度具有相对于所述实时空间角度的实时角度差值;
其中,处理器组件还用于将所述第一成像周期内的所述实时空间角度中的峰值角度,确定为所述第一成像周期的第一单帧等效空间角度,并且,根据所述电子防抖权重在所述第一成像周期内的权重值、以及所述第一单帧等效空间角度,确定第一电子防抖补偿角度,以根据所述第一电子防抖补偿角度对所述第一成像周期结束时的第一刷新时刻得到的图像实施图像处理,通过使所述图像产生用于补偿所述实时角度差值的像素阵列调节,实现电子防抖。
2.根据权利要求1所述的摄像机,其特征在于,
所述处理器组件进一步用于根据所述第一成像周期之前的第二成像周期内的所述实时空间角度和第二电子防抖补偿角度,确定所述光学防抖权重和所述电子防抖权重在所述第一成像周期内的权重值,以促使:
在所述第一成像周期内,所述实时相对角度被意图限制为收敛在预设的角度校正极限范围内;以及,
在所述第一刷新时刻得到的所述图像的清晰度不低于预设的清晰度阈值;
其中,所述角度校正极限范围是根据所述光学防抖能力范围确定的,并且,所述清晰度阈值是根据预先设定的用于避免所述电子防抖失效的最低图像清晰度确定的。
3.根据权利要求2所述的摄像机,其特征在于,
所述处理器组件进一步用于将所述第二成像周期内的所述实时空间角度中的峰值角度,确定为所述第二成像周期的第二单帧等效空间角度,并且,确定所述第二单帧等效空间角度超出所述角度校正极限范围的光学超额幅度,其中,所述光学超额幅度产生使所述电子防抖权重的权重值增大的权重变化趋势;
所述处理器组件进一步用于确定所述第二电子防抖补偿角度相比于在所述第二成像周期之前的第三成像周期的第三电子防抖补偿角度的电子防抖补偿角度帧间偏差,并且,确定所述电子防抖补偿角度帧间偏差超出预设的帧间抖幅阈值的电子超额幅度,其中,所述电子超额幅度引发所述图像的清晰度低于所述清晰度阈值,并且,所述电子超额幅度产生使所述光学防抖权重的权重值增大的权重变化趋势。
4.根据权利要求3所述的摄像机,其特征在于,
所述处理器组件进一步根据所述光学超额幅度在所述光学镜组所在镜头的视场角中的角度占比、以及所述电子防抖权重在所述第二成像周期内的权重值,确定所述电子防抖权重在所述第一成像周期内的权重值;并且,根据所述电子超额幅度在所述视场角中的角度占比、以及所述光学防抖权重在所述第二成像周期内的权重值,确定所述光学防抖权重在所述第一成像周期内的权重值。
5.根据权利要求3所述的摄像机,其特征在于,
所述防抖驱动组件进一步用于通过调节所述摄像机的光学镜组与所述感光元件之间的相对位姿,实现对所述成像坐标系的所述持续角度校正;
其中,所述光学防抖能力范围是根据所述光学镜组与所述感光元件之间的相对位姿的物理调节性能确定的。
6.根据权利要求5所述的摄像机,其特征在于,
所述处理器组件进一步用于确定所述第二单帧等效空间角度所需的目标速度超出预设最大速度的速度差,其中:
所述光学超额幅度包括所述第二单帧等效空间角度中引发所述速度差的速度超限幅度;
所述目标速度表示,为使所述成像坐标系从当前相对角度校正至与所述第二单帧等效空间角度反向等幅的目标速度理想校正角度,所述相对位姿在所述第一频率的一个频率周期内的理论变化速率;
所述预设最大速度是根据所述物理调节性能所能支持的极限速度确定的。
7.根据权利要求5所述的摄像机,其特征在于,
所述处理器组件进一步用于确定所述第二单帧等效空间角度所需的目标位姿超出预设位姿范围之外的位姿差,其中:
所述光学超额幅度包括所述第二单帧等效空间角度中引发所述位姿差的位姿超限幅度;
所述目标位姿表示,为使所述成像坐标系达到与所述第二单帧等效空间角度反向等幅的目标位姿理想校正角度,所述相对位姿经调节后的理论相对位姿;
所述预设位姿范围是根据所述物理调节性能所能支持的极限位姿确定的。
8.根据权利要求3所述的摄像机,其特征在于,
所述处理器组件进一步用于获取与所述光学镜组所在镜头的快门时间关联变化的防模糊角度阈值;
其中,所述帧间抖幅阈值包括获取到的所述防模糊角度阈值,并且,所述防模糊角度阈值是根据与所述快门时间关联的所述清晰度阈值确定的。
9.根据权利要求1所述的摄像机,其特征在于,所述处理器组件进一步用于响应于所述摄像机的上电启动完成,将所述光学防抖权重初始赋值为1、并将所述电子防抖权重初始赋值为0。
10.根据权利要求1至9中任一项所述的摄像机,其特征在于,
所述摄像机的抖动包括在水平摆动方向上的偏摆抖动、在仰俯摆动方向上的仰俯抖动、以及在绕镜头光轴的旋转方向上的翻转抖动;
所述抖动传感器产生所述实时抖动数据、所述处理器组件对所述光学防抖权重和所述电子防抖权重的权重值更新、所述防抖驱动组件实施的所述持续角度校正、所述处理器组件通过图像处理对所述像素阵列的调节,是响应于所述偏摆抖动、所述仰俯抖动以及所述翻转抖动中的至少之一而被引发的。
11.一种用于利用光学防抖和电子防抖实现协同防抖的控制方法,其特征在于,包括:
确定用于实现协同防抖的光学防抖权重和电子防抖权重在感光元件的第一成像周期内的权重值,其中,所述光学防抖权重在摄像机的感光元件的第一成像周期内的权重值,意图将所述感光元件在所述摄像机的机身坐标系中的实时相对角度,限制在所述摄像机的光学防抖能力范围内,以使得所述第一成像周期内的所述实时相对角度具有相对于所述摄像机在空间坐标系中的实时空间角度的实时角度差值;
将所述第一成像周期内的所述实时空间角度中的峰值角度,确定为所述第一成像周期的第一单帧等效空间角度;以及,
根据所述电子防抖权重在所述第一成像周期内的权重值、以及所述第一单帧等效空间角度,确定第一电子防抖补偿角度,以根据所述第一电子防抖补偿角度对所述第一成像周期结束时的第一刷新时刻得到的图像实施图像处理,通过使所述图像产生用于补偿所述实时角度差值的像素阵列调节实现电子防抖。
12.根据权利要求11所述的控制方法,其特征在于,确定用于实现协同防抖的光学防抖权重和电子防抖权重在感光元件的第一成像周期内的权重值,包括:
根据所述第一成像周期之前的第二成像周期内的所述实时空间角度和第二电子防抖补偿角度,确定所述光学防抖权重和所述电子防抖权重在所述第一成像周期内的权重值,以促使:
在所述第一成像周期内,所述实时相对角度被意图限制为收敛在预设的角度校正极限范围内;以及,
在所述第一刷新时刻得到的所述图像的清晰度不低于预设的清晰度阈值;
其中,所述角度校正极限范围是根据所述光学防抖能力范围确定的,并且,所述清晰度阈值是根据预先设定的用于避免所述电子防抖失效的最低图像清晰度确定的。
13.根据权利要求12所述的控制方法,其特征在于,确定所述光学防抖权重和所述电子防抖权重在所述第一成像周期内的权重值,包括:
将所述第二成像周期内的所述实时空间角度中的峰值角度,确定为所述第二成像周期的第二单帧等效空间角度,并且,确定所述第二单帧等效空间角度超出所述角度校正极限范围的光学超额幅度,其中,所述光学超额幅度产生使所述电子防抖权重的权重值增大的权重变化趋势;
确定所述第二电子防抖补偿角度相比于在所述第二成像周期之前的第三成像周期的第三电子防抖补偿角度的电子防抖补偿角度帧间偏差,并且,确定所述电子防抖补偿角度帧间偏差超出预设的帧间抖幅阈值的电子超额幅度,其中,所述电子超额幅度引发所述图像的清晰度低于所述清晰度阈值,并且,所述电子超额幅度产生使所述光学防抖权重的权重值增大的权重变化趋势。
14.根据权利要求13所述的控制方法,其特征在于,
所述光学防抖对所述成像坐标系的所述实时相对角度的持续校正,是通过调节所述摄像机的光学镜组与所述感光元件之间的相对位姿实现的;
其中,所述光学防抖能力范围是根据所述光学镜组与所述感光元件之间的相对位姿的物理调节性能确定的;
并且,确定所述第二单帧等效空间角度超出所述角度校正极限范围的光学超额幅度,包括:
确定所述第二单帧等效空间角度所需的目标速度超出预设最大速度的速度差,其中,所述光学超额幅度包括所述第二单帧等效空间角度中引发所述速度差的速度超限幅度;所述目标速度表示,为使所述成像坐标系从当前相对角度校正至与所述第二单帧等效空间角度反向等幅的目标速度理想校正角度,所述相对位姿的理论变化速率;所述预设最大速度是根据所述物理调节性能所能支持的极限速度确定的;
和/或,
确定所述第二单帧等效空间角度所需的目标位姿超出预设位姿范围之外的位姿差,其中,所述光学超额幅度包括所述第二单帧等效空间角度中引发所述位姿差的位姿超限幅度;所述目标位姿表示,为使所述成像坐标系达到与所述第二单帧等效空间角度反向等幅的目标位姿理想校正角度,所述相对位姿经调节后的理论相对位姿;所述预设位姿范围是根据所述物理调节性能所能支持的极限位姿确定的。
15.根据权利要求13所述的控制方法,其特征在于,确定所述光学防抖权重和所述电子防抖权重在所述第一成像周期内的权重值,进一步包括:
获取与所述光学镜组所在镜头的快门时间关联变化的防模糊角度阈值;
其中,所述帧间抖幅阈值包括获取到的所述防模糊角度阈值,并且,所述防模糊角度阈值是根据与所述快门时间关联的所述清晰度阈值确定的。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110822687.7A CN113452919B (zh) | 2021-07-21 | 2021-07-21 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
PCT/CN2022/105429 WO2023001036A1 (zh) | 2021-07-21 | 2022-07-13 | 摄像机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110822687.7A CN113452919B (zh) | 2021-07-21 | 2021-07-21 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113452919A CN113452919A (zh) | 2021-09-28 |
CN113452919B true CN113452919B (zh) | 2022-04-19 |
Family
ID=77816869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110822687.7A Active CN113452919B (zh) | 2021-07-21 | 2021-07-21 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113452919B (zh) |
WO (1) | WO2023001036A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113452919B (zh) * | 2021-07-21 | 2022-04-19 | 杭州海康威视数字技术股份有限公司 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
CN116055881B (zh) * | 2022-07-15 | 2023-11-24 | 荣耀终端有限公司 | 一种光学防抖模块的控制方法及相关装置 |
CN116709023B (zh) * | 2022-12-14 | 2024-03-26 | 荣耀终端有限公司 | 视频处理方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3244607A1 (en) * | 2016-05-11 | 2017-11-15 | HTC Corporation | Camera device, method for camera device, and non-transitory computer readable storage medium |
CN109660718A (zh) * | 2018-11-30 | 2019-04-19 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN110266966A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
WO2019178872A1 (zh) * | 2018-03-23 | 2019-09-26 | 华为技术有限公司 | 视频图像防抖方法和终端 |
CN111246100A (zh) * | 2020-01-20 | 2020-06-05 | Oppo广东移动通信有限公司 | 防抖参数的标定方法、装置和电子设备 |
CN111711756A (zh) * | 2020-06-28 | 2020-09-25 | Oppo广东移动通信有限公司 | 一种图像防抖方法、电子设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170041545A1 (en) * | 2015-08-06 | 2017-02-09 | Invensense, Inc. | Systems and methods for stabilizing images |
US10462370B2 (en) * | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
CN110166697B (zh) * | 2019-06-28 | 2021-08-31 | Oppo广东移动通信有限公司 | 摄像头防抖方法、装置、电子设备和计算机可读存储介质 |
CN110278360B (zh) * | 2019-06-28 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN113452919B (zh) * | 2021-07-21 | 2022-04-19 | 杭州海康威视数字技术股份有限公司 | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 |
-
2021
- 2021-07-21 CN CN202110822687.7A patent/CN113452919B/zh active Active
-
2022
- 2022-07-13 WO PCT/CN2022/105429 patent/WO2023001036A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3244607A1 (en) * | 2016-05-11 | 2017-11-15 | HTC Corporation | Camera device, method for camera device, and non-transitory computer readable storage medium |
WO2019178872A1 (zh) * | 2018-03-23 | 2019-09-26 | 华为技术有限公司 | 视频图像防抖方法和终端 |
CN109660718A (zh) * | 2018-11-30 | 2019-04-19 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN110266966A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
CN111246100A (zh) * | 2020-01-20 | 2020-06-05 | Oppo广东移动通信有限公司 | 防抖参数的标定方法、装置和电子设备 |
CN111711756A (zh) * | 2020-06-28 | 2020-09-25 | Oppo广东移动通信有限公司 | 一种图像防抖方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023001036A1 (zh) | 2023-01-26 |
CN113452919A (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113452919B (zh) | 用于利用光学防抖和电子防抖实现协同防抖的摄像机 | |
US10848676B2 (en) | Semiconductor device and electronic device | |
US9596411B2 (en) | Combined optical and electronic image stabilization | |
CN106353949B (zh) | 照相机系统、抖动校正方法、照相机机身以及更换镜头 | |
JPWO2015087533A1 (ja) | 手振れ補正装置及び手振れ補正回路並びに手振れ補正方法 | |
JP2015022027A (ja) | 撮像装置およびその制御方法 | |
CN106575070A (zh) | 摄像装置及其像抖校正方法 | |
JP2012037865A (ja) | 像ブレ補正装置及びその制御方法及び撮像装置 | |
JP2009044520A (ja) | 防振制御回路 | |
JP2009145635A (ja) | 撮像装置の防振制御回路 | |
CN104767930A (zh) | 用于图像校正的设备和方法 | |
WO2021085249A1 (ja) | 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム | |
US9204059B2 (en) | Image processing apparatus having function of reading captured image, control method thereof, and imaging apparatus | |
KR20160087684A (ko) | 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법 | |
US6163651A (en) | Control apparatus for image blur prevention | |
CN109683345B (zh) | 抖动校正装置、镜头镜筒以及摄影装置 | |
JP2008124850A (ja) | 画像動き補正装置、レンズ装置および撮像装置 | |
JP4649938B2 (ja) | ブレ補正装置、レンズ鏡筒、カメラシステム | |
JP6271969B2 (ja) | 撮像装置および画像補正方法 | |
JPWO2011129036A1 (ja) | 撮像装置および集積回路 | |
JP2014228623A (ja) | ブレ補正装置、レンズ鏡筒および撮影装置 | |
CN106030401A (zh) | 摄像模块和摄像装置 | |
JP7116639B2 (ja) | 像振れ補正装置、及びそれを備えたレンズユニット、撮像装置、並びに像振れ補正方法 | |
JP3460385B2 (ja) | 手振れ補正装置 | |
KR101587890B1 (ko) | 고해상도 광학구조체의 영상안정화 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |