CN113243103A - 成像设备、稳像设备、成像方法和稳像方法 - Google Patents

成像设备、稳像设备、成像方法和稳像方法 Download PDF

Info

Publication number
CN113243103A
CN113243103A CN201880100262.1A CN201880100262A CN113243103A CN 113243103 A CN113243103 A CN 113243103A CN 201880100262 A CN201880100262 A CN 201880100262A CN 113243103 A CN113243103 A CN 113243103A
Authority
CN
China
Prior art keywords
frequency
image stabilization
signal
low
cut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880100262.1A
Other languages
English (en)
Other versions
CN113243103B (zh
Inventor
山本隆師
有賀弘
伊藤悠一
成温滝澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113243103A publication Critical patent/CN113243103A/zh
Application granted granted Critical
Publication of CN113243103B publication Critical patent/CN113243103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

提供了一种成像设备,其能够针对每个频带有效地将光学稳像和电子稳像应用于混合稳像系统中。所述成像设备(1)包括:成像单元(2),包括:振动检测单元,其检测振动并输出检测信号;信号处理器,其包括高通滤波器(high‑pass filter,HPF)和低通滤波器(low‑passfilter,LPF),并将所述振动检测单元输出的所述检测信号分离为高频振动信号和低频振动信号;第一校正单元,其根据所述信号处理器分离的所述高频振动信号进行光学稳像;以及第二校正单元,其根据所述信号处理器分离的所述低频振动信号进行电子稳像;以及图像处理器(3),其处理经过所述第一校正单元和/或所述第二校正单元所校正的图像。所述HPF和所述LPF的截止频率可在频带内可变地设置。

Description

成像设备、稳像设备、成像方法和稳像方法
技术领域
本发明涉及一种具有校正因手抖等振动导致的图像模糊的机制的成像设备、稳像设备、成像方法和稳像方法。
背景技术
光学稳像(optical image stabilization,OIS)和电子稳像(electronic imagestabilization,EIS)被认为是用于校正图像模糊的稳像(image stabilization,IS)技术。光学稳像通过陀螺仪传感器检测摄像头等成像设备的振动来校正图像模糊。图像抖动校正通过移动镜头来进行,从而消除振动引起的移动。另一方面,电子稳像(EIS)通过改变图像传感器的图像捕获范围来校正图像模糊,从而消除陀螺仪传感器检测到的移动量。
采用上述光学稳像和电子稳像的混合稳像系统的一种形式为一个在OIS侧校正振动,将移动量传递到EIS侧,并用EIS处理残差的系统。
发明内容
本发明的目的在于提供一种成像设备、稳像设备、成像方法和稳像方法,能够针对每个频带有效地将光学稳像和电子稳像应用于混合稳像系统中。
第一方面提供一种成像设备,包括:
成像单元,包括:
振动检测单元,其检测成像设备的振动并输出检测信号;
信号处理器,其包括高通滤波器(high-pass filter,HPF)和低通滤波器(low-pass filter,LPF),并将所述振动检测单元输出的所述检测信号分离为高频振动信号和低频振动信号;
第一校正单元,其根据所述信号处理器分离的所述高频振动信号进行光学稳像;以及
第二校正单元,其根据所述信号处理器分离的所述低频振动信号进行电子稳像;以及
图像处理器,其处理所述第一校正单元和/或所述第二校正单元所校正的图像;
其中,所述信号处理器包括截止频率控制器,其在频带内可变地设置所述HPF和所述LPF的截止频率。
所述第一方面能够提供一种有效应用光学稳像和电子稳像的成像设备。
根据所述第一方面的第一种可能的实现方式,所述HPF和所述LPF的所述截止频率彼此相同。
在所述第一方面或所述第一方面的第一种可能的实现方式中,根据所述第一方面的第二种可能的实现方式,所述截止频率在所述检测信号的控制频带内。
在所述第一方面或所述第一方面的第一种或第二种可能的实现方式中,根据所述第一方面的第三种可能的实现方式,所述截止频率控制器根据周围的亮度改变所述截止频率。
在所述第一方面或所述第一方面的第一种至第三种可能的实现方式的任一项中,根据所述第一方面的第四种可能的实现方式,所述截止频率控制器根据曝光时间改变所述截止频率。
在所述第一方面或所述第一方面的第一种至第四种可能的实现方式的任一项中,根据所述第一方面的第五种可能的实现方式,所述成像设备还包括平移-倾斜信号处理器,其判断所述成像设备是否处于平移-倾斜状态,并根据所述判断的结果操作所述第一校正单元和所述第二校正单元。
第二方面提供一种稳像设备,包括:
振动检测单元,其检测成像设备的振动并输出检测信号;
信号处理器,其包括高通滤波器(high-pass filter,HPF)和低通滤波器(low-pass filter,LPF),并将所述振动检测单元输出的所述检测信号分离为高频振动信号和低频振动信号;
第一校正单元,其根据所述信号处理器分离的所述高频振动信号进行光学稳像;以及
第二校正单元,其根据所述信号处理器分离的所述低频振动信号进行电子稳像;
其中,所述信号处理器包括截止频率控制器,其在频带内可变地设置所述HPF和所述LPF的截止频率。
所述第二方面能够提供一种有效应用光学稳像和电子稳像的稳像设备。
根据所述第二方面的第一种可能的实现方式,所述HPF和所述LPF的所述截止频率彼此相同。
在所述第二方面或所述第二方面的第一种可能的实现方式中,根据所述第二方面的第二种可能的实现方式,所述截止频率在所述检测信号的控制频带内。
在所述第二方面或所述第二方面的第一种或第二种可能的实现方式中,根据所述第二方面的第三种可能的实现方式,所述截止频率控制器根据周围的亮度改变所述截止频率。
在所述第二方面或所述第二方面的第一种至第三种可能的实现方式的任一项中,根据所述第二方面的第四种可能的实现方式,所述截止频率控制器根据曝光时间改变所述截止频率。
在所述第二方面或所述第二方面的第一种至第四种可能的实现方式的任一项中,根据所述第二方面的第五种可能的实现方式,所述成像设备还包括平移-倾斜信号处理器,其判断所述成像设备是否处于平移-倾斜状态,并根据所述判断的结果操作所述第一校正单元和所述第二校正单元。
第三方面提供一种成像设备中的成像方法,包括:
检测所述成像设备的振动并输出检测信号;
通过高通滤波器(high-pass filter,HPF)和低通滤波器(low-pass filter,LPF)将所述输出的检测信号分离为高频振动信号和低频振动信号;
根据所述分离的高频振动信号进行光学稳像,同时根据所述低频振动信号进行电子稳像;以及
处理经过所述光学稳像和/或所述电子稳像所校正的图像;
其中,所述HPF和所述LPF的截止频率可在频带内可变地设置。
所述第三方面能够提供一种有效应用光学稳像和电子稳像的成像方法。
根据所述第三方面的第一种可能的实现方式,所述HPF和所述LPF的所述截止频率彼此相同。
在所述第三方面或所述第三方面的第一种可能的实现方式中,根据所述第三方面的第二种可能的实现方式,所述截止频率在所述检测信号的控制频带内。
在所述第三方面或所述第三方面的第一种或第二种可能的实现方式中,根据所述第三方面的第三种可能的实现方式,所述截止频率控制器根据周围的亮度改变所述截止频率。
在所述第三方面或所述第三方面的第一种至第三种可能的实现方式的任一项中,根据所述第三方面的第四种可能的实现方式,所述截止频率控制器根据曝光时间改变所述截止频率。
在所述第三方面或所述第三方面的第一种至第四种可能的实现方式的任一项中,根据所述第三方面的第五种可能的实现方式,所述根据所述分离的高频振动信号进行光学稳像,同时根据所述低频振动信号进行电子稳像是根据对所述成像设备是否处于平移-倾斜状态的判断的结果来执行的。
第四方面提供一种稳像方法,包括:
检测成像设备的振动并输出检测信号;
通过高通滤波器(high-pass filter,HPF)和低通滤波器(low-pass filter,LPF)将所述输出的检测信号分离为高频振动信号和低频振动信号;以及
根据所述分离的高频振动信号进行光学稳像,同时根据所述低频振动信号进行电子稳像;
其中,所述HPF和所述LPF的截止频率可在频带内可变地设置。
所述第四方面能够提供一种有效应用光学稳像和电子稳像的稳像方法。
根据所述第四方面的第一种可能的实现方式,所述HPF和所述LPF的所述截止频率彼此相同。
在所述第四方面或所述第四方面的第一种可能的实现方式中,根据所述第四方面的第二种可能的实现方式,所述截止频率在所述检测信号的控制频带内。
在所述第四方面或所述第四方面的第一种或第二种可能的实现方式中,根据所述第四方面的第三种可能的实现方式,所述截止频率控制器根据周围的亮度改变所述截止频率。
在所述第四方面或所述第四方面的第一种至第三种可能的实现方式的任一项中,根据所述第四方面的第四种可能的实现方式,所述截止频率控制器根据曝光时间改变所述截止频率。
在所述第四方面或所述第四方面的第一种至第四种可能的实现方式的任一项中,根据所述第四方面的第五种可能的实现方式,所述根据所述分离的高频振动信号进行光学稳像,同时根据所述低频振动信号进行电子稳像是根据对所述成像设备是否处于平移-倾斜状态的判断的结果来执行的。
附图说明
为了更清楚地说明实施例中的技术方案,下面将对描述实施例所需的附图进行简单的描述。显然,下面描述中的附图仅描述了一些可能的实施例,本领域普通技术人员在不付出创造性劳动的情况下,仍可以从这些附图中获得其他的附图,其中:
图1是示出了本公开实施例提供的成像设备的功能配置的示图。
图2是示出了本公开实施例提供的稳像单元的配置的示图。
图3是描述光学稳像的示图。
图4是描述电子稳像的示图。
图5是示出了稳像设备的操作步骤的流程图。
图6是描述本公开实施例提供的截止频率设置的示图。
图7是描述本公开实施例提供的截止频率设置的示图。
图8是示出了本公开实施例提供的稳像单元的配置的示图。
图9是示出了其中实现了本公开实施例提供的成像设备的智能手机的概要配置的示图。
图10是示出了本公开实施例提供的稳像单元的配置的示图。
具体实施方式
为了使本领域技术人员更好地理解本公开中的技术方案,以下结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚完整的描述。显然,所描述的实施例仅是本公开的一部分实施例,而非全部的实施例。根据本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
(第一实施例)
图1是示出了本公开实施例提供的成像设备1的功能配置的示图。如图1所示,成像设备1包括成像单元2和处理通过图像模糊校正所得的图像的图像处理器3。成像单元2包括稳像单元100,用于校正图像模糊。稳像单元100的配置将在后面结合图2等进行详细描述。
成像设备1还包括显示单元4、存储单元5和输入单元6,并配置成使这些组件能够彼此通信。成像设备1可以配置为智能手机、数码相机、个人数字助理、游戏设备等电子设备。
成像单元2用于包括其中包含了镜头、自动对焦(auto-focus,AF)机构和稳像机构的镜头单元,并根据通过所述镜头在图像传感器上形成的光学图像来存储电荷。成像单元2将所述存储的电荷转换为电压,对所述转换后的电压进行预定的信号处理,并将经所述信号处理得到的信号输出给图像处理器3。这里进行的所述信号处理可以包括各种信号处理,例如根据光学稳像或电子稳像的图像模糊校正、自动白平衡处理、自动曝光处理和降噪。例如,稳像单元100可以由中央处理器(central processing unit,CPU)等处理器配置。
图像处理器3利用从成像单元2输出的信号进行图像处理。图像处理器3执行的所述图像处理例如可以包括对成像单元2输出的所述信号进行反马赛克处理,控制将图像数据显示到显示单元4,以及将图像数据存储到存储单元5。图像处理器3例如可以配置为图像信号处理器(image signal processor,ISP)。
显示单元4为在图像处理器3的控制下显示图像的显示设备。例如,显示单元4可以由液晶显示器(liquid crystal display,LCD)、有机发光显示器(organic light-emitting display,OLED)等配置。
存储单元5存储成像单元2捕获的经过图像处理器3图像处理的图像。存储单元5存储的图像可以根据用户对成像设备1的操作显示在显示单元4上。存储单元5可以包括计算机可读存储介质的形式,例如易失性存储器、随机存取存储器(random access memory,RAM)和/或非易失性存储器,例如闪存。
所述计算机可读存储介质可以包括易失性或非易失性类型的、可以使用任何方法或技术存储信息的可移动或不可移动介质。信息可以包括计算机可读指令、数据结构、程序模块或其他数据。
输入单元6用于向成像设备1输入用户指令和图像数据。具体地,输入单元6由触控面板、开关和按钮等配置。用户指令包括图像捕获和图像数据的编辑、记录、删除等。输入单元6可以配置为与个人计算机(personal computer,PC)等其他电子设备进行数据交换的通信接口。此时,从其他电子设备输入用户指令和数据。
接下来参见图2,描述了本实施例提供的稳像单元100的配置。
稳像单元100用于包括:
陀螺仪传感器102,用作检测成像设备1的振动并输出检测信号的振动检测单元;
信号处理器104,其包括低通滤波器(low-pass filter,LPF)106和高通滤波器(high-pass filter,HPF)108,并将陀螺仪传感器102输出的所述检测信号分离为高频振动信号和低频振动信号;
光学稳像(optical image stabilization,OIS)信号处理器110,用作根据信号处理器104分离的所述高频振动信号进行光学稳像的第一校正单元;以及
电子稳像(electronic image stabilization,EIS)信号处理器112,用作根据信号处理器104分离的所述低频振动信号进行电子稳像的第二校正单元。
稳像单元100还用于包括驱动程序(driver,DRV)114、镜头单元115、执行器116和图像传感器117。下面分别介绍这些组件。
陀螺仪传感器102通过测量角速度来检测成像设备1的姿态,并输出检测到的信号,因此用作所述振动检测单元。
信号处理器104包括低通滤波器106、高通滤波器108和截止频率(cutofffrequency,fc)控制器109。低通滤波器106对所述检测信号中的低频振动信号进行滤波流程。高通滤波器108对所述检测信号中的高频振动信号进行滤波流程。截止频率(cutofffrequency,fc)控制器109进行控制以设置和改变低通滤波器106和高通滤波器108的截止频率。
OIS信号处理器110向驱动程序114输出用于控制执行器116的驱动信号。驱动程序114根据来自OIS信号处理器110的所述驱动信号来驱动执行器116。EIS信号处理器112校正模糊的捕获图像。镜头单元115在驱动程序114的控制下操作,以在图像传感器117上形成光学图像。
接下来结合图3描述了由OIS信号处理器110执行的光学稳像。在图中,镜头单元115包括聚焦镜头115-1、校正镜头115-2和其他镜头115-3。从被摄体所在的图中左侧入射的光线沿着由实线所表示的轴301穿过聚焦镜头115-1、校正镜头115-2和其他镜头115-3,以在图像传感器117上形成光学图像。当成像设备1的姿态倾斜,光线沿着虚线所表示的轴301’进入,使得所述光线的到达点从图像传感器117上所述光线本应到达的P点位移到P’点时,该位移变成手抖。通过使驱动程序114沿箭头A所示的上下方向或箭头B所示的垂直于本附图表面的方向移动校正镜头115-2来抵消该位移。
接下来结合图4描述了由EIS信号处理器112执行的电子稳像。EIS是根据陀螺仪传感器102检测到的成像设备1的姿态信息通过帧间图像处理实现的稳像,且通过逐帧移动运动图像等中的连续图像数据来进行稳像。当图像从图像传感器117以帧402、404和406的顺序输出时,如图4所示,EIS信号处理器112根据姿态信息将帧404和帧406与帧402的相对位置移动以校正模糊的图像408。EIS与OIS相似,是一种在智能手机等中安装的摄像头上实现的技术。
关于上述OIS和EIS,首先,手抖振动通常倾向于在低频时具有较大振幅,在高频时具有较小振幅。
由于OIS是在成像时进行稳像的技术,因此OIS本身可以有效进行稳像,而不依赖于曝光时间。但是,由于OIS使用物理移动镜头的机构,因此镜头的可移动范围受到该机构大小的限制。因此,实现允许OIS处理较大手抖的机构是不现实的。另一方面,与OIS不同的是,EIS不受物理机构的限制,因此EIS能够进行稳像以应对低频区域中的较大手抖。然而,在成像设备使用CMOS传感器作为图像传感器的情况下,可能会发生捕获的图像因为手抖或被摄体的快速运动而变形的现象,称为卷帘门效应。这种现象源于一帧图像中出现的模糊,出现模糊是因为曝光起始时间在要成像的各行都不同。当模糊以这样的方式在一帧图像中出现时,EIS本身就不容易进行稳像。手抖或被摄体的快速运动很可能会在高频段中发生。相应地,EIS在高频区域可能先天就性能较差。
按照以上所述,根据本实施例,陀螺仪传感器102的手抖检测信号被分离为高频信号和低频信号,并且根据所述高频信号的稳像由OIS实现,而根据所述低频信号的稳像由EIS实现。
接下来结合图5中的流程图描述了稳像单元100中的操作步骤。
在步骤S502中,检测成像设备1的振动,并输出检测信号。陀螺仪传感器102检测出振动的信息,所述振动是因为手抖引起的成像设备1的姿态变化。来自陀螺仪传感器102的检测信号输出至信号处理器104。
在步骤S504中,通过高通滤波器108和低通滤波器106将所述输出的检测信号分离为高频信号和低频信号。来自陀螺仪传感器102的检测信号由低通滤波器106处理以生成低频振动信号。在进行该处理的同时,输入到信号处理器104的信号由高通滤波器108处理以生成高频振动信号。由截止频率(cutoff frequency,fc)控制器109设置的高通滤波器108和低通滤波器106的截止频率可在频带内可变地设置。
在步骤S506中,OIS根据所述分离的高频振动信号进行稳像,而EIS根据所述分离的低频振动信号进行稳像。高通滤波器108输出的所述高频振动信号由OIS信号处理器110处理。该信号输入至驱动程序114,而驱动程序114又将所述输入信号转换为用于驱动执行器116的信号。镜头单元115由执行器116控制移动以抵消由高频振动产生的图像模糊。
另一方面,从低通滤波器106输出的所述低频振动信号输入到EIS信号处理器112。EIS信号处理器112根据所述输入信号处理由图像传感器117提供的多帧运动图像数据,以校正图像。然后,将经过EIS信号处理器112稳像的所述运动图像数据输出至图像处理器3。
然后,在步骤S508中,处理由OIS和/或EIS校正的图像。图像处理器3进行各种处理,如对所述输入信号进行反马赛克处理、控制将图像数据显示到显示单元4,以及将图像数据存储到存储单元5。
根据上述操作,陀螺仪传感器102输出的所述信号经过高通滤波器108处理,在所述控制频带内的高频区域生成信号,且该信号用于OIS信号处理。
此外,陀螺仪传感器102输出的所述信号经过低通滤波器106处理,在所述控制频带内的低频区域生成信号,且该信号用于EIS信号处理。
接下来结合图6和图7描述了本实施例提供的所述截止频率(cutoff frequency,fc)的设置。
图6是示出了低通滤波器106和高通滤波器108的截止频率示例的示图。在图6中,低通滤波器106的截止频率与高通滤波器108的截止频率相匹配。这样可以完全平化稳像处理的频率特点。也就是说,可以在所述检测信号的整个控制频带上无缝进行稳像。图7示出了所述截止频率的设置位置的另一个例子。在图7中,低通滤波器106的截止频率也与高通滤波器108的截止频率相匹配。如图6和图7所示,所述截止频率最好应在所述控制频带内设置。
在本实施例中,所述高频振动信号和所述低频振动信号的截止频率可在频带内可变地设置。信号处理器104检测所述成像设备周围的亮度或手抖振动的幅度,并根据检测结果设置截止频率fc的值。这种控制是通过在截止频率(cutoff frequency,fc)控制器109中执行以下操作的算法来实现的。
在根据来自陀螺仪传感器102的所述检测信号的判断中,当手抖振动的幅度小于设定值时,截止频率(cutoff frequency,fc)控制器109确定可以实现基于OIS的稳像,并将所述截止频率降低到接近所述控制频带的下限。以这种方式执行控制可以实现基于OIS的稳像,而不依赖于曝光时间。
另一方面,在根据来自陀螺仪传感器102的所述检测信号进行的判断中,当所述手抖振动的幅度等于或大于所述设定值时,截止频率(cutoff frequency,fc)控制器109确定该状态超出能够实现基于OIS的稳像的范围。然后,截止频率(cutoff frequency,fc)控制器109将截止频率fc移至所述控制频带内的高频侧。也就是说,截止频率(cutofffrequency,fc)控制器109设置所述截止频率fc,使得OIS应用于幅度小于所述设定值的频段。以这种方式执行控制可以允许OIS只校正幅度较小的高频,并允许EIS处理大幅度的低频手抖振动。
同样,当在黑暗环境下成像导致曝光时间变长使得在该曝光时间内发生手抖振动时,可以将所述截止频率fc设置为接近所述控制频带的下限,从而无论幅度大小均能够实现基于OIS的稳像。用于进行基于OIS的稳像的截止频率fc可以根据对所述曝光时间是否大于所述设定值的判断来设置。或者,可以为所述成像设备设置用于测量周围环境的亮度的测量单元,以使得所述截止频率fc可以根据所述测量单元测量的亮度是否小于所述设定值来设置。
(第二实施例)
接下来结合图8描述了本公开的第二实施例。图8示出了本实施例提供的稳像单元700的功能配置。稳像单元700与稳像单元100的不同之处在于,在图2所示的配置中加入了加速度计118。由于图8所示的其他组件的功能与图2中分别具有相同附图标记的组件的功能相同,因此省略对这些组件的详细描述。
加速度计118与信号处理器104连接,并且检测成像设备1中的振动,并向信号处理器104输出检测信号。在本实施例中,陀螺仪传感器102和加速度计118用作所述振动检测单元。信号处理器104处理从陀螺仪传感器102和加速度计118输出的检测信号。
图9是示出了其中实现了本发明实施例提供的成像设备的智能手机800的概要配置的示图。当陀螺仪传感器102配置为双轴角速度传感器时,陀螺仪传感器102检测箭头801所指示的绕X轴的旋转(俯仰角),以及箭头802所指示的绕Y轴的旋转(偏航角)。当陀螺仪传感器102配置为三轴角速度传感器时,陀螺仪传感器102还检测箭头805所指示的绕Z轴的旋转(翻滚角)。在本实施例中,加速度计118的使用进一步确保了所述成像设备的平行移动的检测。因此,也有可能会检测沿着图9中箭头803所指示的X轴方向的移动以及沿着箭头804所指示的Y轴方向的移动。
可以结合图5描述本实施例提供的稳像单元700的操作。在步骤S502中,陀螺仪传感器102和加速度计118检测手抖振动的信息。来自陀螺仪传感器102和加速度计118的检测信号输出至信号处理器104。这些信号可以在信号处理器104中合并处理,也可以单独处理。步骤S504之后的处理与上述实施例中的处理相同。
(第三实施例)
接下来结合图10描述了本公开的第三实施例。图10示出了本实施例提供的稳像单元900。稳像单元900与稳像单元700的不同之处在于,在图8所示的配置中加入了平移-倾斜信号处理器120。
当用户进行成像(平移-倾斜)的同时大幅度改变摄像头的方向,或者在任何方向上移动摄像头时,所述成像设备可能会错误地将平移-倾斜识别为手抖。在这种情况下,所述稳像设备将平移-倾斜当作手抖来进行稳像。因此,所述稳像提供了视频图像,使得屏幕尝试在稳定状态下暂时保持静止,但当所述稳定运动超过可控移动范围时,会突然恢复到不稳定状态。相应地,当检测到成像设备1的振动时,平移-倾斜信号处理器120判断该振动是手抖还是平移-倾斜。在下文中,所述成像设备在平移-倾斜成像期间的状态称为平移-倾斜状态。
平移-倾斜信号处理器120用于接收来自信号处理器104的检测信号。这里要接收的信号可以是未经滤波的检测信号或者是经过低通滤波器106或高通滤波器108滤波的检测信号。当用户已经正在拍摄用户右侧的景色并尝试拍摄用户左侧的人时,例如,用户可以在水平方向上大幅度改变成像设备1的方向。此时,平移-倾斜信号处理器120确定所述成像设备的状态为平移-倾斜状态。或者,所述摄像头的方向可以在180°或360°的范围内翻转进行全景拍摄,在这种情况下,平移-倾斜信号处理器120也会确定所述成像设备的状态处于平移-倾斜状态。
具体地,平移-倾斜信号处理器120保存指示所述翻转范围的值,该值可以通过稳像校正为第一设定值。平移-倾斜信号处理器120还保存一个值,用于终止所述平移-倾斜状态并恢复稳像作为第二指定值。当陀螺仪传感器102输出的检测信号中指示绕X轴或Y轴的旋转的检测信号变成等于或大于所述第一设定值时,平移-倾斜信号处理器120确定所述成像设备的状态为平移-倾斜状态。平移-倾斜信号处理器120向OIS信号处理器110和EIS信号处理器112输出指示停止稳像的信号。结果,OIS信号处理器110和EIS信号处理器112停止稳像,使得镜头单元115的校正镜头115-2返回到原来的位置(中心)。这样,除了成像设备1处于平移-倾斜状态的情况外都执行OIS和EIS。
同时,在停止稳像时,平移-倾斜信号处理器120可以指示信号处理器104不通过低通滤波器106和高通滤波器108进行滤波。
当所述指示绕X轴或Y轴的旋转的检测信号变成等于或小于所述第二设定值时,平移-倾斜信号处理器120确定平移-倾斜状态已结束。平移-倾斜信号处理器120向OIS信号处理器110和EIS信号处理器112输出指示启动稳像的信号。因此,OIS信号处理器110和EIS信号处理器112恢复稳像。
所述第二设定值可以设置为大于所述第一设定值。
在恢复稳像时,平移-倾斜信号处理器120可以指示信号处理器104恢复被低通滤波器106和高通滤波器108停止的滤波。
在本实施例中,低通滤波器106和高通滤波器108的截止频率可以根据从平移-倾斜信号处理器120输出的信号或根据以该信号为基础所确定的情况在频带内可变地设置。
例如,根据对OIS或EIS当前接近可移动范围极限的程度的情况判断,由平移-倾斜信号处理器120设置或改变所述截止频率。在根据来自陀螺仪传感器102的所述检测信号进行的判断中,当所述成像设备的状态处于平移-倾斜状态时,平移-倾斜信号处理器120指示截止频率(cutoff frequency,fc)控制器109将所述截止频率fc移至所述控制频带内的高频侧。即设置所述截止频率fc以将OIS应用于幅度小于设定值的频段。这种控制可以允许OIS只校正幅度较小的高频,并允许EIS处理大幅度的低频手抖振动。
尽管在上述实施例中已经通过示例将EIS描述为电子稳像,但是数字稳像(digital image stabilization,DIS)可以代替EIS或与EIS一起使用。在DIS的情况下,通过相互比较连续拍摄的多个图像来移动来自所述图像传感器的视频图像的捕获范围以实现稳像,从而确定拍摄的图像中因振动产生的偏差以及根据所述确定的偏差确定多个图像数据的移动区域。
上述描述仅是本发明的具体实施方式但并非旨在限制本发明的保护范围。本领域技术人员在本公开的技术范围中容易发现的任意变体或替代应落入本发明的保护范围内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (24)

1.一种成像设备,其特征在于,包括:
成像单元,包括:
振动检测单元,其检测所述成像设备的振动并输出检测信号;
信号处理器,其包括高通滤波器(high-pass filter,HPF)和低通滤波器(low-passfilter,LPF),并将所述振动检测单元输出的所述检测信号分离为高频振动信号和低频振动信号;
第一校正单元,其根据所述信号处理器分离的所述高频振动信号进行光学稳像;以及
第二校正单元,其根据所述信号处理器分离的所述低频振动信号进行电子稳像;以及
图像处理器,其处理经过所述第一校正单元和/或所述第二校正单元所校正的图像;
其中,所述信号处理器包括截止频率控制器,其在频带内可变地设置所述HPF和所述LPF的截止频率。
2.根据权利要求1所述的成像设备,其特征在于,
所述HPF和所述LPF的所述截止频率彼此相同。
3.根据权利要求1或2所述的成像设备,其特征在于,
所述截止频率在所述检测信号的控制频带内。
4.根据权利要求1至3中任一项所述的成像设备,其特征在于,
所述截止频率控制器根据周围的亮度改变所述截止频率。
5.根据权利要求1至4中任一项所述的成像设备,其特征在于,
所述截止频率控制器根据曝光时间改变所述截止频率。
6.根据权利要求1至5中任一项所述的成像设备,其特征在于,还包括:
平移-倾斜信号处理器,其判断所述成像设备是否处于平移-倾斜状态,并根据所述判断的结果操作所述第一校正单元和所述第二校正单元。
7.一种稳像设备,其特征在于,包括:
振动检测单元,其检测成像设备的振动并输出检测信号;
信号处理器,其包括高通滤波器(high-pass filter,HPF)和低通滤波器(low-passfilter,LPF),并将所述振动检测单元输出的所述检测信号分离为高频振动信号和低频振动信号;
第一校正单元,其根据所述信号处理器分离的所述高频振动信号进行光学稳像;以及
第二校正单元,其根据所述信号处理器分离的所述低频振动信号进行电子稳像;
其中,所述信号处理器包括截止频率控制器,其在频带内可变地设置所述HPF和所述LPF的截止频率。
8.根据权利要求7所述的稳像设备,其特征在于,
所述HPF和所述LPF的所述截止频率彼此相同。
9.根据权利要求7或8所述的稳像设备,其特征在于,
所述截止频率在所述检测信号的控制频带内。
10.根据权利要求7至9中任一项所述的稳像设备,其特征在于,
所述截止频率控制器根据周围的亮度改变所述截止频率。
11.根据权利要求7至10中任一项所述的稳像设备,其特征在于,
所述截止频率控制器根据曝光时间改变所述截止频率。
12.根据权利要求7至11中任一项所述的稳像设备,其特征在于,还包括:
平移-倾斜信号处理器,其判断所述成像设备是否处于平移-倾斜状态,并根据所述判断的结果操作所述第一校正单元和所述第二校正单元。
13.一种成像设备中的成像方法,其特征在于,包括:
检测所述成像设备的振动并输出检测信号;
通过高通滤波器(high-pass filter,HPF)和低通滤波器(low-pass filter,LPF)将所述输出的检测信号分离为高频振动信号和低频振动信号;
根据所述分离的高频振动信号进行光学稳像,同时根据所述低频振动信号进行电子稳像;以及
处理经过所述光学稳像和/或所述电子稳像所校正的图像;
其中,所述HPF和所述LPF的截止频率可在频带内可变地设置。
14.根据权利要求13所述的成像方法,其特征在于,
所述HPF和所述LPF的所述截止频率彼此相同。
15.根据权利要求13或14所述的成像方法,其特征在于,
所述截止频率在所述检测信号的控制频带内。
16.根据权利要求13至15中任一项所述的成像方法,其特征在于,
所述截止频率可根据周围的亮度可变地设置。
17.根据权利要求13至16中任一项所述的成像方法,其特征在于,
所述截止频率可根据曝光时间可变地设置。
18.根据权利要求13至17中任一项所述的成像方法,其特征在于,
所述根据所述分离的高频振动信号进行光学稳像,同时根据所述低频振动信号进行电子稳像是根据对所述成像设备是否处于平移-倾斜状态的判断的结果来执行的。
19.一种稳像方法,其特征在于,包括:
检测成像设备的振动并输出检测信号;
通过高通滤波器(high-pass filter,HPF)和低通滤波器(low-pass filter,LPF)将所述输出的检测信号分离为高频振动信号和低频振动信号;以及
根据所述分离的高频振动信号进行光学稳像,同时根据所述低频振动信号进行电子稳像;
其中,所述HPF和所述LPF的截止频率可在频带内可变地设置。
20.根据权利要求19所述的稳像方法,其特征在于,
所述HPF和所述LPF的所述截止频率彼此相同。
21.根据权利要求19或20所述的稳像方法,其特征在于,
所述截止频率在所述检测信号的控制频带内。
22.根据权利要求19至21中任一项所述的稳像方法,其特征在于,
所述截止频率根据周围的亮度改变。
23.根据权利要求19至22中任一项所述的稳像方法,其特征在于,
所述截止频率根据曝光时间改变。
24.根据权利要求19至23中任一项所述的稳像方法,其特征在于,
所述根据所述分离的高频振动信号进行光学稳像,同时根据所述低频振动信号进行电子稳像是根据对所述成像设备是否处于平移-倾斜状态的判断的结果来执行的。
CN201880100262.1A 2018-12-26 2018-12-26 成像设备、稳像设备、成像方法和稳像方法 Active CN113243103B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/123758 WO2020132917A1 (en) 2018-12-26 2018-12-26 Imaging device, image stabilization device, imaging method and image stabilization method

Publications (2)

Publication Number Publication Date
CN113243103A true CN113243103A (zh) 2021-08-10
CN113243103B CN113243103B (zh) 2022-11-22

Family

ID=71126865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880100262.1A Active CN113243103B (zh) 2018-12-26 2018-12-26 成像设备、稳像设备、成像方法和稳像方法

Country Status (3)

Country Link
JP (1) JP7324284B2 (zh)
CN (1) CN113243103B (zh)
WO (1) WO2020132917A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230012732A (ko) * 2021-07-16 2023-01-26 삼성전자주식회사 전자 장치 및 안테나 성능을 고려한 손떨림 보정 방법
CN117714867A (zh) * 2023-05-16 2024-03-15 荣耀终端有限公司 图像防抖方法与电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090040320A1 (en) * 2007-08-09 2009-02-12 Sanyo Electric Co., Ltd. Image stabilization control circuit
JP2009272890A (ja) * 2008-05-07 2009-11-19 Sony Corp 画像処理装置及び画像処理方法、並びに撮影装置
US20150172548A1 (en) * 2013-12-12 2015-06-18 Canon Kabushiki Kaisha Image shake correcting apparatus and control method therefor, optical apparatus, and image pickup apparatus
CN104902142A (zh) * 2015-05-29 2015-09-09 华中科技大学 一种移动终端视频的电子稳像方法
JP2015219445A (ja) * 2014-05-20 2015-12-07 キヤノン株式会社 像ブレ補正装置及びその制御方法、光学機器、撮像装置
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技(深圳)有限公司 一种视频稳像方法及装置
CN107241544A (zh) * 2016-03-28 2017-10-10 展讯通信(天津)有限公司 视频稳像方法、装置及摄像终端
US20180260939A1 (en) * 2017-03-09 2018-09-13 Canon Kabushiki Kaisha Image blur correction device, optical apparatus, and control method
CN108900775A (zh) * 2018-08-14 2018-11-27 深圳纳瓦科技有限公司 一种水下机器人实时电子稳像方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3473105B2 (ja) * 1993-11-26 2003-12-02 ソニー株式会社 カメラのパンチルト判別装置及びカメラ装置
JP4567313B2 (ja) * 2003-10-21 2010-10-20 オリンパス株式会社 カメラ
JP5153183B2 (ja) * 2007-03-30 2013-02-27 キヤノン株式会社 画像振れ補正装置および撮像装置
JP5259172B2 (ja) * 2007-12-19 2013-08-07 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 手振れ補正制御回路およびそれを搭載した撮像装置
JP4518197B2 (ja) * 2008-06-20 2010-08-04 ソニー株式会社 撮像装置、及び像振れ補正方法並びにプログラム
KR20170075442A (ko) * 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090040320A1 (en) * 2007-08-09 2009-02-12 Sanyo Electric Co., Ltd. Image stabilization control circuit
JP2009272890A (ja) * 2008-05-07 2009-11-19 Sony Corp 画像処理装置及び画像処理方法、並びに撮影装置
US20150172548A1 (en) * 2013-12-12 2015-06-18 Canon Kabushiki Kaisha Image shake correcting apparatus and control method therefor, optical apparatus, and image pickup apparatus
JP2015219445A (ja) * 2014-05-20 2015-12-07 キヤノン株式会社 像ブレ補正装置及びその制御方法、光学機器、撮像装置
CN104902142A (zh) * 2015-05-29 2015-09-09 华中科技大学 一种移动终端视频的电子稳像方法
CN107241544A (zh) * 2016-03-28 2017-10-10 展讯通信(天津)有限公司 视频稳像方法、装置及摄像终端
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技(深圳)有限公司 一种视频稳像方法及装置
US20180260939A1 (en) * 2017-03-09 2018-09-13 Canon Kabushiki Kaisha Image blur correction device, optical apparatus, and control method
JP2018148531A (ja) * 2017-03-09 2018-09-20 キヤノン株式会社 像ブレ補正装置およびその制御方法、光学機器、撮像装置
CN108900775A (zh) * 2018-08-14 2018-11-27 深圳纳瓦科技有限公司 一种水下机器人实时电子稳像方法

Also Published As

Publication number Publication date
JP7324284B2 (ja) 2023-08-09
CN113243103B (zh) 2022-11-22
JP2022516481A (ja) 2022-02-28
WO2020132917A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
US8150250B2 (en) Camera body and camera system including the same
CN104345517B (zh) 图像抖动校正设备和方法、镜筒、光学设备以及摄像设备
KR101528860B1 (ko) 디지털 촬영 장치의 흔들림 보정 방법 및 장치
JP6214316B2 (ja) 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体
JP6135848B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP2019106656A (ja) 半導体装置および電子機器
JPH07123317A (ja) 防振機能付き撮影装置
CN109417593B (zh) 摄像装置、工作方法、图像处理装置以及图像处理方法
JP6302341B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7484866B2 (ja) ブレ補正装置、交換レンズ、撮像装置及び像ブレ補正方法
JP2014128014A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US10827124B2 (en) Shake correction device, imaging apparatus, and shake correction method
KR20160140193A (ko) 영상 보정 회로 및 그 보정 방법
CN113243103B (zh) 成像设备、稳像设备、成像方法和稳像方法
JP2019145958A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2012078495A (ja) 撮像装置、ブレ補正装置及びブレ補正方法
JP5939768B2 (ja) 像ブレ補正装置、撮像システム、像ブレ補正装置の制御方法
KR101657283B1 (ko) 광학식 손떨림 보정장치
JP5426952B2 (ja) 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP6173134B2 (ja) 像振れ補正装置及びその制御方法
US8817127B2 (en) Image correction device for image capture device and integrated circuit for image correction device
JP2016050973A (ja) 撮像装置及びその制御方法
JP6024031B2 (ja) ブレ補正装置及び光学機器
JP2020085992A (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP2019008143A (ja) 像ブレ補正装置、撮像装置、撮像システム、制御方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant