CN106303249B - 视频防抖方法和设备 - Google Patents

视频防抖方法和设备 Download PDF

Info

Publication number
CN106303249B
CN106303249B CN201610736499.1A CN201610736499A CN106303249B CN 106303249 B CN106303249 B CN 106303249B CN 201610736499 A CN201610736499 A CN 201610736499A CN 106303249 B CN106303249 B CN 106303249B
Authority
CN
China
Prior art keywords
image
output
output image
preset
pixel displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610736499.1A
Other languages
English (en)
Other versions
CN106303249A (zh
Inventor
曹国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610736499.1A priority Critical patent/CN106303249B/zh
Publication of CN106303249A publication Critical patent/CN106303249A/zh
Application granted granted Critical
Publication of CN106303249B publication Critical patent/CN106303249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种视频防抖方法和设备,该方法应用于视频采集设备,视频采集设备包括:运动传感器、中央处理器CPU、图像传感器IS及图像信号处理器ISP,该方法包括:CPU获取由运动传感器采集的视频采集设备的运动信息(包括视频采集设备的转动角度);CPU根据转动角度确定第一输出图像的输出坐标,其中,第一输出图像为IS的输出图像;IS根据第一输出图像的输出坐标将第一输出图像输出至ISP。本发明实施例提供的方法,充分利用IS的所有像素,既不损失ISP输出图像的分辨率,又实现高质量的视频防抖,提升了视频帧率以及降低了视频采集设备的功耗。

Description

视频防抖方法和设备
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种视频防抖方法和设备。
背景技术
在视频拍摄过程中,尤其是手持移动拍摄,视频采集设备会出现一定程度的抖动,导致录制的视频画面不平稳,影响视频观看体验。因此,视频防抖技术是视频采集设备的一项基本需求,采用该技术,可以使录制的视频更加稳定。随着在众多的视频采集设备,例如数码相机,拍照手机,视频监控设备等被广泛使用,视频防抖技术也变得越来越重要。
目前,一些厂家开发了光学防抖镜头,其原理是利用传感器,感知视频采集设备的抖动,动态调整镜片,补偿视频采集设备的抖动,从而得到清晰的图片和稳定的视频。但是光学防抖镜头是控制机械部件,易出现故障,而且光学防抖镜头的价格高,不利于视频采集设备的低成本需求。
由此出现了数字视频防抖技术,如图1A所示(图1A为视频采集设备中图像处理的流程示意图),图像信号处理器(Image Signal Processor,简称:ISP)在对图像传感器(Image Sensor,简称:IS)的输出图像进行ISP处理操作之后,进一步地对ISP处理操作之后的图像进行数字视频防抖操作,其中,数字视频防抖操作包括:通过软件分析多帧图像的内容,判断出视频采集设备的运动方向,令实际的输出图像在输入图像范围内上下左右移动,从而达到视频稳定的目的。
但是,上述数字视频防抖技术中在进行视频防抖处理之后的输出图像的分辨率通常小于输入图像的分辨率,会造成分辨率损失,而且防抖的幅度要求越高,分辨率损失越大。这样如果希望提高输出图像的分辨率,就势必要提高输入图像的分辨率,这就要求IS输出更大分辨率的图像,ISP作为处理IS输出的图像的处理器,相应地则要处理更大分辨率的图像(即ISP处理图像的速度会减缓,从而消耗更多能量),这会导致视频帧率较低或者视频采集设备的功耗增加。
发明内容
本发明实施例提供一种视频防抖方法和设备,提升了视频帧率以及降低了视频采集设备的功耗。
第一方面,本发明实施例提供一种视频防抖方法,视频防抖方法应用于视频采集设备,视频采集设备包括:运动传感器、中央处理器CPU、图像传感器IS及图像信号处理器ISP;视频防抖方法,包括:
CPU获取由运动传感器采集的视频采集设备的运动信息,运动信息包括视频采集设备的转动角度;
CPU根据转动角度确定第一输出图像的输出坐标,其中,第一输出图像为IS的输出图像;
IS根据第一输出图像的输出坐标将第一输出图像输出至ISP。
通过第一方面提供的视频防抖方法,通过CPU获取由运动传感器采集的视频采集设备的运动信息,并利用该运动信息对IS的输出图像的输出位置进行运动补偿,充分利用IS的所有像素,既不损失ISP输出图像的分辨率,又实现高质量的视频防抖,提升了视频帧率以及降低了视频采集设备的功耗。
在一个可能的设计中,CPU根据转动角度确定第一输出图像的输出坐标,包括:
CPU将转动角度、视频采集设备的镜头视场角和视频采集设备的像素数经第一预设算法确定IS的当前帧图像相对于上一帧图像的相对像素位移,并将相对像素位移存储在视频采集设备的存储器中;其中,第一输出图像为当前帧图像中的一部分图像;存储器存储有IS的当前帧图像之前的多帧图像的相对像素位移;
CPU将IS的当前帧图像相对于上一帧图像的相对像素位移和当前帧图像之前的多帧图像的相对像素位移经第二预设算法确定加权像素位移;其中,加权像素位移为:IS的当前帧图像相对于上一帧图像的相对像素位移和当前帧图像之前的多帧图像的相对像素位移的加权平均像素位移;
CPU将加权像素位移、视频采集设备的像素数和IS的像素数经第三预设算法确定第一输出图像的输出坐标。
在一个可能的设计中,运动传感器包括:加速度传感器和陀螺仪传感器,CPU获取由运动传感器采集的视频采集设备的运动信息,包括:
CPU获取由加速度传感器采集的第一预设时间内第一预设采样点的加速度,并根据第一预设采样点的加速度和预设的静态阈值判断视频采集设备是否处于静止状态;
若第一预设采样点的加速度大于预设的静态阈值,则CPU获取由陀螺仪传感器采集的第二预设时间内第二预设采样点的角速度,并将第二预设采样点的角速度和第二预设时间相乘,确定视频采集设备的转动角度。
在一个可能的设计中,运动传感器包括:陀螺仪传感器,CPU获取由运动传感器采集的视频采集设备的运动信息,包括:
CPU获取由陀螺仪传感器采集的第三预设时间内第三预设采样点的角速度,并将第三预设采样点的角速度和第三预设时间相乘,确定视频采集设备的转动角度。
通过该实施方式提供的视频防抖方法,CPU通过获取由运动传感器实时采集的运动信息,该运动信息可以更加准确地反映视频采集设备的运动状态,以便于CPU根据该运动信息对IS的输出图像的输出位置进行更加准确地运动补偿,进一步提高了视频防抖效果。
在一个可能的设计中,IS根据第一输出图像的输出坐标将第一输出图像输出至ISP之后,还包括:
ISP根据数字视频防抖算法确定第二输出图像的第一输出坐标;
ISP将第一输出图像的输出坐标和第二输出图像的第一输出坐标经第四预设算法确定第二输出图像的第二输出坐标;其中,第二输出图像为ISP的输出图像。
通过该实施方式提供的视频防抖方法,ISP通过结合数字视频防抖技术对IS的输出图像的输出位置进行运动补偿后得到的结果进一步进行完善,从而进一步提高视频防抖效果。
在一个可能的设计中,IS根据第一输出图像的输出坐标将第一输出图像输出至ISP之前,还包括:
IS将IS的当前帧图像缓存在图像缓存区中。
第二方面,本发明实施例提供一种视频采集设备,视频采集设备包括:运动传感器、中央处理器CPU、图像传感器IS及图像信号处理器ISP;
运动传感器,用于采集视频采集设备的运动信息;
CPU,用于获取由运动传感器采集的视频采集设备的运动信息,运动信息包括视频采集设备的转动角度;
CPU,还用于根据转动角度确定第一输出图像的输出坐标,其中,第一输出图像为IS的输出图像;
IS,用于根据第一输出图像的输出坐标将第一输出图像输出至ISP。
在一个可能的设计中,CPU具体用于:
将转动角度、视频采集设备的镜头视场角和视频采集设备的像素数经第一预设算法确定IS的当前帧图像相对于上一帧图像的相对像素位移,并将相对像素位移存储在视频采集设备的存储器中;其中,第一输出图像为当前帧图像中的一部分图像;存储器存储有IS的当前帧图像之前的多帧图像的相对像素位移;
将IS的当前帧图像相对于上一帧图像的相对像素位移和当前帧图像之前的多帧图像的相对像素位移经第二预设算法确定加权像素位移;其中,加权像素位移为:IS的当前帧图像相对于上一帧图像的相对像素位移和当前帧图像之前的多帧图像的相对像素位移的加权平均像素位移;
将加权像素位移、视频采集设备的像素数和IS的像素数经第三预设算法确定第一输出图像的输出坐标。
在一个可能的设计中,运动传感器包括:加速度传感器和陀螺仪传感器,CPU具体用于:
获取由加速度传感器采集的第一预设时间内第一预设采样点的加速度,并根据第一预设采样点的加速度和预设的静态阈值判断视频采集设备是否处于静止状态;
若第一预设采样点的加速度大于预设的静态阈值,则获取由陀螺仪传感器采集的第二预设时间内第二预设采样点的角速度,并将第二预设采样点的角速度和第二预设时间相乘,确定视频采集设备的转动角度。
在一个可能的设计中,运动传感器包括:陀螺仪传感器,CPU具体用于:
获取由陀螺仪传感器采集的第三预设时间内第三预设采样点的角速度,并将第三预设采样点的角速度和第三预设时间相乘,确定视频采集设备的转动角度。
在一个可能的设计中,ISP还用于:
根据数字视频防抖算法确定第二输出图像的第一输出坐标;
将第一输出图像的输出坐标和第二输出图像的第一输出坐标经第四预设算法确定第二输出图像的第二输出坐标;其中,第二输出图像为ISP的输出图像。
在一个可能的设计中,IS还用于:将IS的当前帧图像缓存在图像缓存区中。
上述第二方面以及上述第二方面的各可能的实施方式所提供的视频采集设备,其有益效果可以参见上述第一方面的各可能的实施方式所带来的有益效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A为视频采集设备中图像处理的流程示意图;
图1B为本发明视频采集设备的结构示意图;
图1C为本发明视频防抖方法实施例一的流程图;
图2是本实施例提供的全局快门传感器的时序示意图;
图3是本实施例提供的卷帘快门传感器的时序示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请涉及的视频采集设备可以是具有拍照功能的移动终端、视频监控、手持摄像机、数码相机等。
本申请涉及的IS可以为全局快门传感器或者卷帘快门传感器,当然,还可以为其它图像传感器,本申请实施例中对此并不作限制。
本申请涉及的数字视频防抖技术是基于视频采集设备在拍摄过程中可能由于抖动而导致画面不平稳、失焦的一种常用的画面补偿技术。
本申请提供的视频防抖方法应用于视频采集设备,图1B为本发明视频采集设备的结构示意图,如图1B所示,视频采集设备包括:运动传感器、中央处理器(CentralProcessing Unit,简称CPU)、图像传感器IS及图像信号处理器ISP。图1C为本发明视频防抖方法实施例一的流程图,如图1C所示,本实施例的方法可以包括:
步骤101、CPU获取由运动传感器采集的视频采集设备的运动信息。
本实施例中,因为视频采集设备的运动导致拍摄的图像产生抖动,为了取得更好的视频防抖效果,视频采集设备的CPU首先要获取自身的运动信息,以便于根据该运动信息衡量需要为视频画面的输出做出哪种运动补偿,以实现视频防抖。
本实施例中,运动传感器会实时采集视频采集设备的运动信息,CPU实时获取由运动传感器实时采集的运动信息,可选地,运动信息包括:视频采集设备的转动角度,当然,运动信息还可以包括其它信息,本申请实施例中对此并不作限制。
第一种可实现方式:运动传感器包括:加速度传感器和陀螺仪传感器,步骤S101包括:
CPU获取由加速度传感器采集的第一预设时间内第一预设采样点的加速度,并根据第一预设采样点的加速度和预设静态阈值判断视频采集设备是否处于静止状态;
若第一预设采样点的加速度大于预设静态阈值,则CPU获取由陀螺仪传感器采集的第二预设时间内第二预设采样点的角速度,并将第二预设采样点的角速度和第二预设时间相乘,确定视频采集设备的转动角度。
本实施例中,从运动的方向来讲,视频采集设备可以做出上下左右位移以及转动等运动,CPU获取加速度传感器所采集的第一预设时间内第一预设采样点的加速度,通过比较第一预设采样点的加速度和预设的静态阈值判断视频采集设备是否处于静止状态;A)如果第一预设采样点的加速度小于该预设的静态阈值,则CPU确定视频采集设备的运动很微弱,其对视频画面产生的抖动较小,此时确定视频采集设备近似处于静止状态;B)如果第一预设采样点的加速度大于该预设的静态阈值,则CPU确定视频采集设备的运动会使得视频画面产生的抖动较大,此时确定视频采集设备处于非静止状态;需要说明的是,该预设的静态阈值是一个经验值。
进一步,CPU获取由陀螺仪传感器采集的第二预设时间内第二预设采样点的角速度,并将第二预设时间内第二预设采样点的角速度和第二预设时间相乘,确定该视频采集设备在第二预设时间内的转动角度,该转动角度包括沿X轴的转动角度Ax和沿Y轴的转动角度Ay,该转动角度可以表示为(Ax,Ay)。可选地,第一预设时间和第二预设时间可以为同一帧时间。
第二种可实现方式:运动传感器包括:陀螺仪传感器,步骤S101包括:
CPU获取由陀螺仪传感器采集的第三预设时间内第三预设采样点的角速度,并将第三预设采样点的角速度和所述第三预设时间相乘,确定视频采集设备的转动角度。
本实施例中,CPU直接获取由陀螺仪传感器采集的第三预设时间内第三预设采样点的角速度,并将第三预设时间内第三预设采样点的角速度和第三预设时间相乘,确定该视频采集设备在第三预设时间内的转动角度,A)若该视频采集设备在第三预设时间内的转动角速度为0,则CPU确定视频采集设备在第三预设时间内静止;B)若该视频采集设备在第三预设时间内的转动角速度不为0,则CPU确定视频采集设备在第三预设时间内进行了转动,该转动角度包括沿X轴的转动角度Ax和沿Y轴的转动角度Ay,该转动角度可以表示为(Ax,Ay)。
可选地,CPU还可通过其它方式获取运动传感器采集的视频采集设备的运动信息,本申请实施例中对此并不作限制。
步骤102、CPU根据转动角度确定第一输出图像的输出坐标。
本实施例中,CPU获取到视频采集设备的运动信息后,可以根据运动信息做出运动补偿,这样可以对第一输出图像的位置(如第一输出图像在IS的当前帧图像中的位置或坐标)做出一定的调整,可选地,第一输出图像为IS的输出图像,第一输出图像为IS的当前帧图像中的一部分图像。
可选地,CPU将转动角度(Ax,Ay)、视频采集设备的镜头视场角和视频采集设备的像素数经第一预设算法确定IS的当前帧图像相对于上一帧对象的相对像素位移,例如,通过下述第一预设算法的公式分别计算IS的当前帧图像相对于上一帧对象在X轴和Y轴上的相对像素位移(X,Y):
X=(Ax/FOVx)×Width
Y=(Ay/FOVy)×Height
其中,FOVx和FOVy分别表示视频采集设备的镜头对应于X轴和Y轴的视场角,其可以从摄像参数或镜头参数中获取到;
Width和Height分别表示视频采集设备在X轴和Y轴上的像素数。可选地,(X,Y)还可以通过第一预设算法的上述公式的变形公式或者其它公式计算得到,本申请实施例中对此并不作限制。
可选地,CPU可以将ISP的当前帧图像相对于上一帧对象的相对像素位移(X,Y)存储在视频采集设备的存储器中,可选地,存储器中存储有IS的当前帧图像之前的多帧图像的相对像素位移;进一步地,CPU从该存储器获取ISP的当前帧图像之前的多帧图像的相对像素位移(可选地,这里具体获取多少帧图像的相对像素位移可以预先设置),并将IS的当前帧图像相对于上一帧图像的相对像素位移和当前帧图像之前的多帧图像的相对像素位移经第二预设算法确定加权像素位移(Xf,Yf),其中,加权像素位移为:IS的当前帧图像相对于上一帧图像的相对像素位移和当前帧图像之前的多帧图像的相对像素位移的加权平均像素位移,例如,通过下述第二预设算法的公式确定加权像素位移(Xf,Yf):
Xf=w(N)×X(i-N)+w(N-1)×X(i-N+1)+….+w(1)×X(i-1)+w(0)×X(i)
Yf=w(N)×Y(i-N)+w(N-1)×Y(i-N+1)+….+w(1)×Y(i-1)+w(0)×Y(i)
其中,X(i)和Y(i)分别表示IS的当前帧图像(即ISP的第i帧图像)相对于上一帧图像(即ISP的第i-1帧图像)在X轴和Y轴的相对像素位移,X(i-1)和Y(i-1)分别表示ISP的第i-1帧图像相对于上一帧图像(即ISP的第i-2帧图像)的相对像素位移,……,依次类推;可选地,i的取值范围为大于等于1的整数;
w(N),w(N-1),…,w(1),w(0)表示加权系数,其满足w(N)+w(N-1)+…+w(1)+w(0)=1;可选地,N的取值范围为大于等于0的整数。
可选地,加权像素位移(Xf,Yf)还可以通过第二预设算法的上述公式的变形公式或者其它公式计算得到,本申请实施例中对此并不作限制。
可选地,第二预设算法可以为低通滤波算法,当然还可采用其它可以达到运动平滑效果的算法,本实施例中对此并不作限制。
进一步地,考虑到IS的像素数是有限且固定的,为了保证第一输出图像不超出IS的像素数的范围,CPU将加权像素位移(Xf,Yf)、视频采集设备的像素数和IS的像素数经第三预设算法确定第一输出图像的输出坐标(Xs,Ys),从而将加权像素位移(Xf,Yf)限定在IS的成像范围内;例如通过下述第三预设算法的公式确定第一输出图像的输出坐标(Xs,Ys),第一输出图像的输出坐标(Xs,Ys)要满足:
如果(Xf+Width)<Mx,则Xs=Xf,否则Xs=Mx-Width
如果(Yf+Height)<My,则Ys=Yf,否则Ys=My-Height
其中,Mx和My分别表示IS在X轴和Y轴上的像素数,IS的像素数记为(Mx,My)。可选地,第一输出图像的输出坐标(Xs,Ys)还可以通过第三预设算法的上述公式的变形公式或者其它公式计算得到,本申请实施例中对此并不作限制。
可选地,CPU根据转动角度还可通过其它方式确定第一输出图像的输出坐标,本实施例中对此并不作限制。
步骤103、IS根据第一输出图像的输出坐标将第一输出图像输出至ISP。
本实施例中,CPU在IS将当前帧图像输出之前,将第一输出图像的输出坐标发送给IS,进一步地,IS从第一输出图像的输出坐标指示的图像位置开始输出第一输出图像至ISP,以便于ISP对第一输出图像进行ISP处理操作;可见,本实施例中,IS的输出图像在传输至ISP之前就已进行视频防抖,充分利用IS的所有像素,IS无需输出更大分辨率的图像至ISP以及ISP也无需处理更大分辨率的图像,从而既不损失ISP输出图像的分辨率,又实现高质量的视频防抖,提升视频帧率以及降低视频采集设备的功耗。
本实施例,通过CPU获取由运动传感器采集的视频采集设备的运动信息,并利用该运动信息对IS的输出图像的输出位置进行运动补偿,充分利用IS的所有像素,既不损失ISP输出图像的分辨率,又实现高质量的视频防抖,提升了视频帧率以及降低了视频采集设备的功耗。
可选地,为了进一步完善视频防抖的效果,步骤S103之后,还包括:
ISP根据数字视频防抖算法确定第二输出图像的第一输出坐标;
ISP将第一输出图像的输出坐标和第二输出图像的第一输出坐标经第四预设算法确定第二输出图像的第二输出坐标;其中,第二输出图像为ISP的输出图像。
本实施例中,ISP在收到IS传输的第一输出图像后,可以根据数字视频防抖算法确定第二输出图像的第一输出坐标,记为(Xd,Yd),其中,第二输出图像为ISP的输出图像(可选地,第二输出图像为第一输出图像中的一部分图像),可选地,数字视频防抖算法可以采用常用的数字视频防抖算法,本申请实施例中对此不再赘述。
进一步地,ISP根据第一输出图像的输出坐标(Xs,Ys)和第二输出图像的第一输出坐标(Xd,Yd)经第四预设算法确定第二输出图像的第二输出坐标,记为(Xe,Ye);例如,通过数字视频防抖算法得到第二输出图像的第一输出坐标(Xd,Yd)和运动状态判断结果(即视频采集设备是否处于静止状态),而经过了上述步骤101~103通过视频采集设备的运动传感器所采集的运动信息得到了第一输出图像的输出坐标(Xs,Ys)和视频采集设备是否处于静止状态;A)如果通过运动传感器所采集的运动信息判断视频采集设备为静止状态,则ISP确定第二输出图像的第二输出坐标(Xe,Ye)可以等于第一输出图像的输出坐标(Xs,Ys);B)如果通过运动传感器所采集的运动信息和数字视频防抖算法都判断视频采集设备为运动状态,则ISP根据两者的相关性,对第二输出图像的第一输出坐标(Xd,Yd)进行调整,得到第二输出图像的第二输出坐标(Xe,Ye),例如通过下述第四预设算法的方式确定第二输出图像的第二输出坐标(Xe,Ye):
Xe=abs(a)×Xd+b×(1-abs(a))×Xd
Ye=abs(a)×Yd+b×(1-abs(a))×Yd
其中,b为微调因子,b=[0,1];
a为相关系数,a=(Xs×Ys+Xd×Yd)/((Xs-Xd)2+(Ys-Yd)2)1/2,a值越大,说明两者的方向判断一致,数字视频防抖的可信度较高;a值越小,说明两者方向判断不一致,数字视频防抖的可信度较低。
可选地,第二输出图像的第二输出坐标(Xe,Ye)还可以通过第四预设算法的上述公式的变形公式或者其它公式计算得到,本申请实施例中对此并不作限制。
可见,本实施例中,ISP通过结合数字视频防抖技术对上述步骤S101-步骤S103中对IS的输出图像的输出位置进行运动补偿后得到的结果进一步进行完善,从而进一步提高视频防抖效果。
图2是本实施例提供的全局快门传感器的时序示意图,如图2所示,当IS为全局快门传感器时,一帧图像中每一行曝光起始时间是相同的,在一帧图像中所有的像素行曝光结束之后,再开始逐行读出数据;对应地,上述步骤S103中,IS从第一输出图像的输出坐标指示的图像位置开始依次输出第一输出图像的每行像素行至ISP。
图3是本实施例提供的卷帘快门传感器的时序示意图,如图3所示,当IS为卷帘快门传感器时,一帧图像中每一行像素曝光起始时间是不同的,第一行像素曝光结束后,就开始读出该行像素数据;对应地,此时在上述图1C所示方法实施例中需要增加图像缓存的步骤,即在上述步骤103之前,IS将IS的当前帧图像缓存在图像缓存区中,当一帧图像的所有行像素均缓存下来后,上述步骤S103中,IS从第一输出图像的输出坐标指示的图像位置开始依次输出第一输出图像的每行像素行至ISP。
本实施例提供的视频采集设备(其结构示意图详见上述图1B),包括运动传感器、中央处理器CPU、图像传感器IS及图像信号处理器ISP;
其中,运动传感器,用于采集视频采集设备的运动信息;
CPU,用于获取由运动传感器采集的视频采集设备的运动信息,运动信息包括视频采集设备的转动角度;
CPU,还用于根据转动角度确定第一输出图像的输出坐标,其中,第一输出图像为IS的输出图像;
IS,用于根据第一输出图像的输出坐标将第一输出图像输出至ISP。
可选地,CPU具体用于:
将转动角度、视频采集设备的镜头视场角和视频采集设备的像素数经第一预设算法确定IS的当前帧图像相对于上一帧图像的相对像素位移,并将相对像素位移存储在视频采集设备的存储器中;其中,第一输出图像为当前帧图像中的一部分图像;存储器存储有IS的当前帧图像之前的多帧图像的相对像素位移;
将IS的当前帧图像相对于上一帧图像的相对像素位移和当前帧图像之前的多帧图像的相对像素位移经第二预设算法确定加权像素位移;其中,加权像素位移为:IS的当前帧图像相对于上一帧图像的相对像素位移和当前帧图像之前的多帧图像的相对像素位移的加权平均像素位移;
将加权像素位移、视频采集设备的像素数和IS的像素数经第三预设算法确定第一输出图像的输出坐标。
可选地,运动传感器包括:加速度传感器和陀螺仪传感器,CPU具体用于:
获取由加速度传感器采集的第一预设时间内第一预设采样点的加速度,并根据第一预设采样点的加速度和预设的静态阈值判断视频采集设备是否处于静止状态;
若第一预设采样点的加速度大于预设的静态阈值,则获取由陀螺仪传感器采集的第二预设时间内第二预设采样点的角速度,并将第二预设采样点的角速度和第二预设时间相乘,确定视频采集设备的转动角度。
可选地,运动传感器包括:陀螺仪传感器,CPU具体用于:
获取由陀螺仪传感器采集的第三预设时间内第三预设采样点的角速度,并将第三预设采样点的角速度和第三预设时间相乘,确定视频采集设备的转动角度。
可选地,ISP还用于:
根据数字视频防抖算法确定第二输出图像的第一输出坐标;
将第一输出图像的输出坐标和第二输出图像的第一输出坐标经第四预设算法确定第二输出图像的第二输出坐标;其中,第二输出图像为ISP的输出图像。
可选地,IS还用于:将IS的当前帧图像缓存在图像缓存区中。
本实施例提供的视频采集设备,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种视频防抖方法,所述视频防抖方法应用于视频采集设备,其特征在于,所述视频采集设备包括:运动传感器、中央处理器CPU、图像传感器IS及图像信号处理器ISP;所述方法,包括:
所述CPU获取由所述运动传感器采集的所述视频采集设备的运动信息,所述运动信息包括所述视频采集设备的转动角度;
所述CPU根据所述转动角度确定所述IS的当前帧图像相对于上一帧图像的相对像素位移,并根据所述相对像素位移确定第一输出图像的输出坐标,其中,所述第一输出图像为所述IS的输出图像;
所述IS根据所述第一输出图像的输出坐标将所述第一输出图像输出至所述ISP。
2.根据权利要求1所述的方法,其特征在于,所述CPU根据所述转动角度确定所述IS的当前帧图像相对于上一帧图像的相对像素位移,并根据所述相对像素位移确定第一输出图像的输出坐标,包括:
所述CPU将所述转动角度、所述视频采集设备的镜头视场角和所述视频采集设备的像素数经第一预设算法确定所述IS的当前帧图像相对于上一帧图像的相对像素位移,并将所述相对像素位移存储在所述视频采集设备的存储器中;其中,所述第一输出图像为所述当前帧图像中的一部分图像;所述存储器存储有所述IS的当前帧图像之前的多帧图像的相对像素位移;
所述CPU将所述IS的当前帧图像相对于上一帧图像的相对像素位移和所述当前帧图像之前的多帧图像的相对像素位移经第二预设算法确定加权像素位移;其中,所述加权像素位移为:所述IS的当前帧图像相对于上一帧图像的相对像素位移和所述当前帧图像之前的多帧图像的相对像素位移的加权平均像素位移;
所述CPU将所述加权像素位移、所述视频采集设备的像素数和所述IS的像素数经第三预设算法确定所述第一输出图像的输出坐标。
3.根据权利要求1或2所述的方法,其特征在于,所述运动传感器包括:加速度传感器和陀螺仪传感器,所述CPU获取由所述运动传感器采集的所述视频采集设备的运动信息,包括:
所述CPU获取由所述加速度传感器采集的第一预设时间内第一预设采样点的加速度,并根据所述第一预设采样点的加速度和预设的静态阈值判断所述视频采集设备是否处于静止状态;
若所述第一预设采样点的加速度大于所述预设的静态阈值,则所述CPU获取由所述陀螺仪传感器采集的第二预设时间内第二预设采样点的角速度,并将所述第二预设采样点的角速度和所述第二预设时间相乘,确定所述视频采集设备的转动角度。
4.根据权利要求1或2所述的方法,其特征在于,所述运动传感器包括:陀螺仪传感器,所述CPU获取由所述运动传感器采集的所述视频采集设备的运动信息,包括:
所述CPU获取由所述陀螺仪传感器采集的第三预设时间内第三预设采样点的角速度,并将所述第三预设采样点的角速度和所述第三预设时间相乘,确定所述视频采集设备的转动角度。
5.根据权利要求1或2所述的方法,其特征在于,所述IS根据所述第一输出图像的输出坐标将所述第一输出图像输出至所述ISP之后,还包括:
所述ISP根据数字视频防抖算法确定第二输出图像的第一输出坐标;
所述ISP将所述第一输出图像的输出坐标和所述第二输出图像的第一输出坐标经第四预设算法确定第二输出图像的第二输出坐标;其中,所述第二输出图像为所述ISP的输出图像。
6.根据权利要求1或2所述的方法,其特征在于,所述IS根据所述第一输出图像的输出坐标将所述第一输出图像输出至所述ISP之前,还包括:
所述IS将所述IS的当前帧图像缓存在图像缓存区中。
7.一种视频采集设备,其特征在于,所述视频采集设备包括:运动传感器、中央处理器CPU、图像传感器IS及图像信号处理器ISP;
所述运动传感器,用于采集所述视频采集设备的运动信息;
所述CPU,用于获取由所述运动传感器采集的所述视频采集设备的运动信息,所述运动信息包括所述视频采集设备的转动角度;
所述CPU,还用于根据所述转动角度确定所述IS的当前帧图像相对于上一帧图像的相对像素位移,并根据所述相对像素位移确定第一输出图像的输出坐标,其中,所述第一输出图像为所述IS的输出图像;
所述IS,用于根据所述第一输出图像的输出坐标将所述第一输出图像输出至所述ISP。
8.根据权利要求7所述的设备,其特征在于,所述CPU具体用于:
将所述转动角度、所述视频采集设备的镜头视场角和所述视频采集设备的像素数经第一预设算法确定所述IS的当前帧图像相对于上一帧图像的相对像素位移,并将所述相对像素位移存储在所述视频采集设备的存储器中;其中,所述第一输出图像为所述当前帧图像中的一部分图像;所述存储器存储有所述IS的当前帧图像之前的多帧图像的相对像素位移;
将所述IS的当前帧图像相对于上一帧图像的相对像素位移和所述当前帧图像之前的多帧图像的相对像素位移经第二预设算法确定加权像素位移;其中,所述加权像素位移为:所述IS的当前帧图像相对于上一帧图像的相对像素位移和所述当前帧图像之前的多帧图像的相对像素位移的加权平均像素位移;
将所述加权像素位移、所述视频采集设备的像素数和所述IS的像素数经第三预设算法确定所述第一输出图像的输出坐标。
9.根据权利要求7或8所述的设备,其特征在于,所述运动传感器包括:加速度传感器和陀螺仪传感器,所述CPU具体用于:
获取由所述加速度传感器采集的第一预设时间内第一预设采样点的加速度,并根据所述第一预设采样点的加速度和预设的静态阈值判断所述视频采集设备是否处于静止状态;
若所述第一预设采样点的加速度大于所述预设的静态阈值,则获取由所述陀螺仪传感器采集的第二预设时间内第二预设采样点的角速度,并将所述第二预设采样点的角速度和所述第二预设时间相乘,确定所述视频采集设备的转动角度。
10.根据权利要求7或8所述的设备,其特征在于,所述运动传感器包括:陀螺仪传感器,所述CPU具体用于:
获取由所述陀螺仪传感器采集的第三预设时间内第三预设采样点的角速度,并将所述第三预设采样点的角速度和所述第三预设时间相乘,确定所述视频采集设备的转动角度。
11.根据权利要求7或8所述的设备,其特征在于,所述ISP还用于:
根据数字视频防抖算法确定第二输出图像的第一输出坐标;
将所述第一输出图像的输出坐标和所述第二输出图像的第一输出坐标经第四预设算法确定第二输出图像的第二输出坐标;其中,所述第二输出图像为所述ISP的输出图像。
12.根据权利要求7或8所述的设备,其特征在于,所述IS还用于:将所述IS的当前帧图像缓存在图像缓存区中。
CN201610736499.1A 2016-08-26 2016-08-26 视频防抖方法和设备 Active CN106303249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610736499.1A CN106303249B (zh) 2016-08-26 2016-08-26 视频防抖方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610736499.1A CN106303249B (zh) 2016-08-26 2016-08-26 视频防抖方法和设备

Publications (2)

Publication Number Publication Date
CN106303249A CN106303249A (zh) 2017-01-04
CN106303249B true CN106303249B (zh) 2020-05-19

Family

ID=57676455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610736499.1A Active CN106303249B (zh) 2016-08-26 2016-08-26 视频防抖方法和设备

Country Status (1)

Country Link
CN (1) CN106303249B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖系统和视频获取器材
CN108600622B (zh) * 2018-04-12 2021-12-24 联想(北京)有限公司 一种视频防抖的方法及装置
CN109697700B (zh) * 2018-05-07 2020-11-24 杭州新瀚光电科技有限公司 手持红外热像仪拍摄防抖方法
US10997884B2 (en) 2018-10-30 2021-05-04 Nvidia Corporation Reducing video image defects by adjusting frame buffer processes
CN110351508B (zh) * 2019-08-13 2021-09-28 Oppo广东移动通信有限公司 基于录像模式的防抖处理方法和装置、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744674A (zh) * 2005-10-09 2006-03-08 北京中星微电子有限公司 一种视频电子防抖的方法
CN103414844A (zh) * 2013-08-27 2013-11-27 北京奇艺世纪科技有限公司 视频抖动修正方法及装置
CN104469251A (zh) * 2013-09-23 2015-03-25 联想(北京)有限公司 图像采集方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5077003B2 (ja) * 2008-03-25 2012-11-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN103607535A (zh) * 2013-08-09 2014-02-26 南昌欧菲光电技术有限公司 移动终端用摄像头模组和移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744674A (zh) * 2005-10-09 2006-03-08 北京中星微电子有限公司 一种视频电子防抖的方法
CN103414844A (zh) * 2013-08-27 2013-11-27 北京奇艺世纪科技有限公司 视频抖动修正方法及装置
CN104469251A (zh) * 2013-09-23 2015-03-25 联想(北京)有限公司 图像采集方法及电子设备

Also Published As

Publication number Publication date
CN106303249A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106303249B (zh) 视频防抖方法和设备
CN109842753B (zh) 摄像头防抖系统、方法、电子设备和存储介质
KR100968974B1 (ko) 손떨림 보정 장치
CN110035228B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN110300263B (zh) 陀螺仪处理方法和装置、电子设备、计算机可读存储介质
JP2007068168A (ja) イメージング装置の動きを判定するための方法及びシステム
JP2019129410A (ja) 監視カメラ、監視カメラの制御方法、およびプログラム
CN111432118A (zh) 图像防抖处理方法、装置、电子设备和存储介质
CN113875219A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110351508B (zh) 基于录像模式的防抖处理方法和装置、电子设备
CN110177213B (zh) 陀螺仪参数调整方法和装置、终端、计算机可读存储介质
CN108476286B (zh) 一种图像输出方法以及电子设备
EP3267675B1 (en) Terminal device and photographing method
JP2017060091A (ja) 姿勢推定装置、姿勢推定方法及びプログラム
US11128814B2 (en) Image processing apparatus, image capturing apparatus, video reproducing system, method and program
CN114390186A (zh) 视频拍摄方法及电子设备
JP2016111561A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP5393877B2 (ja) 撮像装置および集積回路
JP2021136461A (ja) 撮像装置、制御方法、プログラム及び記憶媒体
JP2020096280A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
JP6316030B2 (ja) 撮像装置及びその制御方法
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN116934654B (zh) 图像模糊度的确定方法及其相关设备
JP2010093451A (ja) 撮像装置および撮像装置用プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant