CN101236307B - 用在移动装置中的摄像机模块的手抖校正方法和设备 - Google Patents

用在移动装置中的摄像机模块的手抖校正方法和设备 Download PDF

Info

Publication number
CN101236307B
CN101236307B CN2007103035623A CN200710303562A CN101236307B CN 101236307 B CN101236307 B CN 101236307B CN 2007103035623 A CN2007103035623 A CN 2007103035623A CN 200710303562 A CN200710303562 A CN 200710303562A CN 101236307 B CN101236307 B CN 101236307B
Authority
CN
China
Prior art keywords
hand
sensor
signal
control
correcting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007103035623A
Other languages
English (en)
Other versions
CN101236307A (zh
Inventor
具俊谟
崔镇荣
姜秉权
张东薰
金杓宰
宋东星
张亨镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seoul National University Industry University Cooperation Foundation
Samsung Electronics Co Ltd
Seoul National University Industry Foundation
Original Assignee
Seoul National University Industry University Cooperation Foundation
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seoul National University Industry University Cooperation Foundation, Samsung Electronics Co Ltd filed Critical Seoul National University Industry University Cooperation Foundation
Publication of CN101236307A publication Critical patent/CN101236307A/zh
Application granted granted Critical
Publication of CN101236307B publication Critical patent/CN101236307B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/06—Swinging lens about normal to the optical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

一种典型的适用于移动装置的摄像机模块的抖动校正设备和方法。摄像机单元包括：角速度传感器，用于感测摄像机的抖动运动的角速度；位置检测传感器，用于检测图像传感器的当前位置；以及致动器，用于激励图像传感器。光学图像稳定器(OIS)电路单元使用多速率比例积分微分(PID)控制方案来控制致动器，所述PID控制方案使用与现有对基本周期的PID控制相比较而较短的控制周期执行若干次控制，在该控制周期中，根据图像传感器应该移动以校正抖动运动的控制参考值来更新参考值。

Description

用在移动装置中的摄像机模块的手抖校正方法和设备
技术领域
本发明总的涉及用于移动装置中的摄像机模块。更特别地，本发明涉及用于校正由于照相期间拿着摄像机模块时发生了手的抖动/摇晃而引起的图像抖动的手抖动(hand-shake)校正方法和设备。
背景技术
即使图像拍摄期间用户的手有略微的抖动，传统的摄像机也可以提供在1/125秒或以下的快门速度的无抖动(shake-free)高分辨率图片。然而，位于移动装置的摄像机在图像拍摄期间具有少于传统摄像机的光线数量，这是因为其镜头光圈小于传统摄像机的镜头光圈，使摄像机光圈接收到周围光线的机会少得多。因此，位于移动装置上的摄像机使用较慢的快门速度来补偿光线的缺乏，当移动装置中的摄像机拍摄静止图像时，可能发生图像抖动，从而导致模糊的照片，甚至因为快门速度慢，当抖动程度轻微的时候，也难于获得清晰的图像。特别地，当周围光线量进一步减少的时候，例如在低光线数量的室内环境中、在夜间、或多云的白天期间，因为手的晃动而导致的图像抖动问题更加不可忽视。此外，即使当由于使用变焦功能而引起焦距增加时，由于手抖动造成的图像抖动也是不可忽视的。不仅在拍摄静止图像时，而且在拍摄运动图像时，由于走动或在移动的汽车中的摄影师的手抖动而引起的摄像机抖动造成了大量的图像模糊。
为了解决由于手抖动和/或装配有摄像机的装置的抖动而造成的图像不稳定问题，本领域对于由手抖动引起的图像不稳定问题的纠正技术存在长期迫切需求，并且已经开发了各种手抖动校正方案来满足所述需求。致力于所述长期迫切需求的努力包括提供设备来校正拍摄期间手抖动的影响，所述设备通常大致分为运动检测器和运动校正器。
关于运动检测器，已经提出了使用回转传感器(gyro sensor)来测量装配有摄像机的设备的运动的技术和由图像信号处理检测矢量分量中图像运动的技术。
关于运动校正器，其使用由运动检测器检测的运动信息，所述运动校正器以光学方式或电子方式校正图像。可以将已知的光学图像校正方案分为使用角度可调镜头(或激活的棱镜)来在任意方向折射入射光线的技术，以及通过使用压电装置或音圈电机(Voice Coil Motor，VCM)，上/下/左/右移动镜头或诸如电荷耦合装置(CCD)和互补型金属氧化物半导体(CMOS)之类的图像传感器使偏离光轴的图像返回到原始位置的技术。
一般将电子图像校正方案分为控制传感器的输入位置的技术，以及在存储器中存储数据，然后控制从中读出图像数据的地址的技术。典型地，电子图像校正方案在低价位的可携式摄像机中普遍使用，因为它适合于校正运动图像。另一方面，光学图像校正方案在高级的可携式摄像机和摄像机中普遍使用，因为它不但能校正运动图像还能校正静止图像。
通过使用VCM来移动镜头、CCD或CMOS图像传感器中至少一个的方法在公开号为1999-007051、名称为“镜头移动设备”、由Toyoda Yasuhiro发明、由佳能有限公司在1997年6月16日申请的日本专利中公开，并且指定申请号为1997-172760。
在制造用于便携移动装置中的摄像机模块时，要特别考虑尺寸、重量和功耗这些重要因素，因为设备(特别是移动终端或电话)的便携性和功耗是购买这些设备时要重点考虑的因素。
因此，即使在设计手抖动校正装置时也需要关于尺寸、重量和功耗的考虑。假设用于操作包括镜头或图像传感器的致动器(actuator)的所需功耗(在手抖动校正设备中扮演了重要的角色)随着致动器的尺寸和重量而增加，那么本领域中存在提供包括镜头或图像传感器的、尺寸小于传统元件的致动器和控制器的需求。因此，最好在制造各种传感器和其他设备时将手抖动校正设备以小尺寸进行模块化。上述考虑特别适用于本领域移动装置情况的未来发展方向，其中，移动电话、MPEG音频层3(MP3)、便携多媒体播放器(PMP)、数字摄像机等作为包括多种功能的一体化产品而出现。
此外，当传统的手抖动校正设备真正地小型化并实现用于移动装置时，可能产生以下问题：
首先，当实现从由回转传感器所测量的信号中测量手抖动的功能时，真实信号值和经处理的信号值之间的误差会由于偏移、漂移和相位延迟而累加。
第二，VCM致动器使用通常使用的控制器难以期待其最佳控制性能，因为其具有非线性特性、动态特性随着时间流逝而变化的时间变化特性、以及滞后特性。即使致动器发出了重复的命令，在致动期间由于出现在彼此接触的表面之间的摩擦也会引起包括镜头或图像传感器的致动器可能经受其致动范围逐步减小的致动错误。因此，为了执行最佳的控制，需要从已经广泛用于配置控制器的现有的比例积分微分(Proportional Integrate Derivative，PID)控制器经过改良的控制器。此外，要考虑到即使所提出的控制器性能优良，但是如果有过量的计算，则使用通常用于控制小型化装置的、诸如8位处理器之类的装置，其执行不容易。
第三，因为校正模式是根据用户和环境而变的，所以不可能预测用于校正的控制值，从而所有的计算应该在很短的时间内实时执行。
发明内容
本发明致力于本领域中至少某些问题和/或不足，并提供至少下述优势。因此，本发明的示例性方面是提供用于移动装置的摄像机模块的手抖动校正方法和设备，能够校正在用摄像机模块拍摄时发生的手抖动，并适于在便携移动装置中的使用。
根据本发明的一个示例性方面，提供了特别适用于移动装置的摄像机模块的手抖动校正设备。手抖动校正设备的一个示例一般包括摄像机单元，具有用于感知摄像机的手抖动运动的角速度的角速度传感器、用于检测图像传感器的当前位置的位置检测传感器以及用于激励图像传感器的致动器；光学图像稳定器(OIS)电路单元，用于使用多速率比例积分微分(PID)控制方案控制致动器。所述PID使用与针对基本周期的现有PID控制相比更短的控制周期执行若干次控制，由此，根据图像传感器应该移动以校正手抖动运动的控制参考值而更新参考值。从而，最小化和/或防止了图像不稳定性。
根据本发明的另一个示例性方面，提供了适合在移动装置中使用的摄像机模块的手抖动校正方法。根据本发明的手抖动校正方法的一个示例一般包括检测发生在摄像机中的手抖动运动的角速度，和检测图像传感器的位置；处理所检测到的角速度信号和图像传感器位置信号；通过手抖动角速度信号来计算手抖动的度数/数量；以及使用多速率比例积分微分(PID)控制方案控制图像传感器，所述比例积分微分(PID)控制方案执行若干次控制功能并使用与现有PID控制相比较更短的控制周期。
特别的，根据本发明，PID控制方案的基本周期一般是基于所计算出的手抖动和经处理的图像传感器位置信号，所述PID控制方案中根据图像传感器应该移动以补偿手抖动运动的控制参考值而更新参考值。该基本周期比迄今为止已知的周期要短。
附图说明
联系附图，本发明的上述和其他示例性方面、特征和优点将从下面的详细描述中变得更显而易见，其中：
图1是图解了根据本发明的示例性实施例的手抖动校正设备的结构的框图；
图2A到图2C是图解了运动平均方法所适用的回转角速度的波形的曲线图；
图3A和图3B是图解了示出通常PID控制的控制周期和根据本发明示例性实施例的多速率PID控制周期之间的比较的波形的曲线图；
图4是图解了显示根据本发明另一个示例性实施例的手抖动校正设备的手抖动校正控制信号的波形的曲线图；和
图5是图解了根据本发明另一个示例性实施例的、用于手抖动校正设备的一个控制周期的控制操作的流程图。
具体实施方式
将参照附图详细地描述本发明的优选示例性实施例。为了清楚和简洁的目的，省略在此合并的已知功能和配置的详细描述，以便这些已知功能和配置的描述不会模糊本领域技术人员对本发明的理解。
通常，对于手抖动校正的控制器的电路实现，可考虑使用模拟电路来配置控制器的技术和使用微控制器单元(MCU)来配置数字化控制器的技术。与数字化控制器相比，模拟控制器不需要忍受由数字化引起的信号损耗而导致的稳定性的损耗。然而，考虑到由于电路小型化而造成的设备小型化和以后技术补偿的简易性，本发明一般使用通过将小型化微控制器中的控制器算法化所实现的数字化控制器。
图1图解了根据本发明的示例性实施例的具有手抖动校正设备的系统的结构。参照图1，根据本发明的该示例性实施例的手抖动校正设备包括：摄像机单元100，用于检测(捕获)摄像机的手抖动运动和移动(shift)图像传感器以校正抖动；光学图像稳定器(Optical Image Stabilizer，OIS)电路单元200，用于处理由摄像机单元100所检测的手抖动运动信号并计算用于校正抖动的估计移动值；个人计算机(PC)400，用于执行监控操作；以及摄像机控制器500，用于向OIS电路单元200提供用于手抖动校正的控制值。
现在将详细描述摄像机单元100的元件。摄像机单元100包括：回转传感器110，用于感测摄像机在偏转轴(yaw axis)和俯仰轴(pitch axis)上手抖动运动的角速度；霍尔传感器120，用于为CCD或CMOS图像传感器115或镜头(下文中称作“图像传感器”，因为两者都适于用在位置检测方法中)测量(捕获)在偏转轴和俯仰轴上的当前位置；和致动器130，由VCM构成，用于在控制器的控制下移动(激励(actuate))图像传感器。为了补偿图像传感器上/下和左/右的手抖动，附上回转传感器110以便在两个方向上(例如，一个是偏转轴，一个是俯仰轴)检测运动的角速度。
OIS电路单元200包括用于回转信号的模拟滤波器单元(下文中称作“回转信号模拟滤波器单元”)210，由低通滤波器(LPF)构成，用于滤除来自摄像机单元100的运动信号的高频噪声分量，所述摄像机单元100的运动信号由回转传感器110检测，以便仅提取所期望的频带；用于霍尔信号的模拟滤波器单元(下文中称作“霍尔信号模拟滤波器单元”)220，用于处理由霍尔传感器120所检测到的图像传感器位置信号；微处理器300，用于使用由回转信号和霍尔信号模拟滤波器单元210和220所处理的信号来计算手抖动，和计算图像传感器应该移动以补偿手抖动的估计移动值；以及电机驱动单元230，用于处理从微处理器300提供的图像传感器控制值和根据所处理的图像传感器控制值来控制致动器130的VCM。
包括监控程序的可选PC 400使用串行通信方案从微处理器300接收监控数据，并在适当的调节之后向微处理器300提供调整参数(tuningparameter)。本领域的技术人员要理解和意识到，用于在PC 400、PC 400中的监控程序和微处理器300之间发送/接收的控制部分是为了手抖动校正设备的性能测量和特征检测而额外提供的，从而在本发明的开发阶段获得更好的效果，并且所述控制部分在对应的手抖动校正设备的实际用户环境中是不必要的配置。因而，本发明不要求为了调整/调节的目的而与个人计算机通信的能力。
摄像机控制器500一般经由使用I2C通信方案的I平方C(I2C)通信模块340来向微处理器300提供用于控制镜头放大值和OIS电路单元200开/关的控制信号。
下面将详细描述一般在OIS电路单元200中所包括的微处理器300的示例。微处理器300包括：用于回转信号的数字滤波器单元(下文中称作“回转信号数字滤波器单元”)350，一般使用高通滤波器(HPF)从由回转传感器110所检测到的手抖动运动的角速度信号中滤除直流(DC)分量，以便仅提取出感兴趣的、被看作手抖动的信号分量；手抖动计算器310，用于通过积分从回转信号数字滤波器单元350中输出的手抖动运动的角速度信号来计算摄像机单元100的手抖动运动；图像传感器位置控制器320，用于使用来自图像传感器的、由霍尔传感器120所检测到的位置信息和通过手抖动计算器310计算的摄像机单元100的手抖动值，计算图像传感器应该移动以校正手抖动的位置控制值，然后使用所述控制值来控制电机驱动单元230；I2C通信模块340，用于获得处理通过与摄像机控制器500通信的信号所必需的系数；以及串行通信模块330可包括在内来发送/接收监控数据，用于通过执行与可选PC 400的通信来对程序进行监控。
现在将参照图1详细描述根据本发明的示例性实施例的手抖动校正设备的全部操作。如果摄像机单元100中发生了手抖动运动，则回转传感器110测量手抖动运动的角速度，并向回转信号模拟滤波器单元210提供所测量出的角速度，而且霍尔传感器120测量图像传感器115的位置信息，并向霍尔信号模拟滤波器单元220提供所述位置信息。将由滤波器单元210和220所处理的手抖动信号变换为数字信号。由回转信号数字滤波器单元350仅从变换的数字回转信号中提取所期望的分量，并且由手抖动计算器310计算所提取的分量作为手抖动值。所计算出的手抖动值和经变换的数字霍尔信号的图像传感器位置信息被提供给图像传感器位置控制器320。图像传感器位置控制器320使用手抖动值和图像传感器位置信息，计算图像传感器应该移动以校正手抖动的控制值。由图像传感器位置控制器320所计算出的控制值被变换为模拟信号，然后提供给电机驱动单元230。电机驱动单元230通过控制致动器130中的VCM来移动用于手抖动校正的图像传感器。以这种方式，根据本发明的示例性实施例的手抖动校正设备执行所有的操作。
当回转传感器110测量手抖动运动时，由于外部影响或电压不稳而造成的信号漂移或偏移可能因为回转传感器110的独特特性而发生。因而优选地是，应该消除所述漂移或偏移，因为其与手抖动运动不相关。本发明应用了移动平均方法来消除所述漂移或偏移。
图2A到2C是应用了移动平均方法的回转角速度波形的曲线图。具体地，图2A图解了回转角速度的波形，示出了回转角速度的移动平均。参照图2A，应用到本发明的移动平均方法计算从当前时间开始的特定采样周期中回转角速度信号的平均值，并用该值替换当前回转信号的中心值，从而将手抖动角位移的中心总是定位在零点。以这种方式，通过使用移动平均方法，由于回转传感器的独特特性，所以可以不需要补偿就阻止偏移。图2B和2C图解了示出应用移动平均方法的回转角速度中的变化的波形。图2B示出了使用移动平均方法之前的回转角速度，并示出了由于回转传感器的独特特性而发生的偏移。图2C图解了考虑图2B的回转角速度中移动平均的、应用了移动平均方法的回转角速度的波形。
因而，根据图2A、2B和2C，本领域技术人员将意识到，通过使用所述方式的移动平均方法用特定采样周期内的回转角速度的平均值替换当前回转信号的中心值，所提出的手抖动校正设备显示出了较优的性能。由于使用移动平均方法计算的手抖动而产生的角度变化被变换为考虑到摄像机放大率、图像传感器应该移动以校正手抖动的位置位移。
现在再次参照图1，图像传感器位置控制器320是用于控制电机的部分，所述电机用于移动图像传感器以补偿由手抖动计算器310所计算出的手抖动。用于控制电机的控制器基本上是基于PID控制方法的，并通过结合若干附加的方法进行配置以达到目标性能。
基于VCD的致动器130具有轻微的滞后现象，因为其非线性很高并且使用电磁铁来移动，并且每个致动器130有其独特的生产(production)偏差。因此，仅通过致动器130的操作特性和PID系数调节而获得的控制器性能受限。为了解决这个问题，本发明一般使用具有最大控制分辨率的PID系数，和使用多速率PID控制器，所述多速率PID控制器一般使用与，例如采用了基本采样周期的传统的PID控制相比的更短控制周期来执行若干次控制，其中根据图像传感器应该移动的控制参考值来更新参考值，以便更新的参考值达到所期望的参考值。
图3A和3B是示出了通常的PID控制的控制周期和根据本发明的实施例的多速率PID控制的控制周期之间的比较的波形曲线图。
参照图3，fctrl代表PID控制周期，而fs代表外部采样周期。图3A中示出的通常的PID控制的控制周期使用考虑了致动器的线性操作特性的PID系数通过一个控制信号而达到所期望的参考值，并且采样周期fs和控制周期fctrl在数值上相等。相反，使用具有最高分辨率的PID系数，图3B的多速率PID控制器向具有对于基本周期fs最短可能的控制周期fctrl的当前基本周期的参考值执行若干次控制，在基本周期fs中更新参考值，从而使能针对致动器的操作特性或每个单独致动器的性能偏差是健壮的控制。因此，不同的多速率PID控制器被配置为用于计算手抖动的回转传感器信号的采样周期，并用于图像传感器位置控制的霍尔传感器信号的反馈采样周期。
基于VCM的致动器130可能经历随着时间流逝由于接触面之间的摩擦而使其致动(actuation)减弱的现象。因为在致动器的静摩擦和动摩擦之间有很大的差别，所以不可能在每一时刻用控制致动器处于平稳状态的方案来获得恒定的控制性能。
因此，为了解决上述问题和保证抗外部强有力影响的健壮的控制器性能，本发明一般配置通过向多速率PID控制器中增加伪抖动(或伪震动)方案来设计的新控制器，使得新控制器以控制信号的预定间隔输出伪抖动信号，用于控制致动器来持续地激励致动器，以控制特定动摩擦中的致动器。由于增加的伪抖动信号而引起的图像传感器致动器的致动能够阻止当图像传感器致动器镜头朝向一个方向时致动减弱的现象，并且能够提高控制器从外部强有力的影响中恢复的性能。
图4图解了示出根据本发明的实施例的手抖动校正设备的手抖动校正控制信号的波形。图4的位移值“参考”是控制器应该移动具有致动器的图像传感器以补偿摄像机的手抖动运动的参考值。根据本发明的示例性实施例的手抖动校正设备通过执行依赖于位移值的多速率PID控制来执行用于手抖动校正的控制。这里，致动器应该移动的位移值对偏转轴和俯仰轴的每一个都存在，并且手抖动校正设备在用于手抖动校正的控制操作中同时在两个轴方向上执行控制。
本发明一般使用利用时分方案的控制器来最佳地利用微处理器性能，同时通过微处理器来提供伪抖动信号来最小化无源元件的数量，以便促成摄像机模块的小型化。参照图4，根据本发明，控制器一般以这样一种方式在规则的间隔中使用用于手抖动校正的控制信号来生成中断，在这种方式下4个中断间隔具有在其中执行的不同功能，从而将4个中断使用作为跟随一个参考值的一个间隔。使用新的控制器，本发明能够分配对于控制所需的计算，并通过伪抖动方案和时分方案混合的多速率PID控制来保证最佳控制性能。
现在将参照图5来详细描述时分方案。图5是图解了根据本发明的示例性实施例的、对于手抖动校正设备的一个控制周期的控制操作的流程图。参照图5，现在将详细描述在每个单独的中断间隔中执行的控制操作。
参照图5，在步骤402(第一中断)，手抖动校正设备输出具有充分大于普通PID控制值的值的上部伪抖动信号，以保证即使在外部强有力影响下的控制器的性能，使用偏转轴信号计算偏转轴控制值，并将结果信号发送到监控程序。
在步骤404(第二中断)，手抖动校正设备使用多速率PID控制器为偏转轴和俯仰轴两者同时执行控制。这里，对于偏转轴，手抖动校正设备使用步骤402中所计算出的值来执行控制，对于俯仰轴，手抖动校正设备使用在前一个间隔的步骤406中所计算出的值来执行控制。
在步骤406(第三中断)，与在步骤402中相似，手抖动校正设备输出具有充分大于普通PID控制值的值的下部伪抖动信号，使用俯仰轴回转信号计算俯仰轴控制值，并将结果信号发送到监控程序。
在步骤408(第四中断)，手抖动校正设备使用多速率PID控制器为偏转轴和俯仰轴两者同时执行控制。对于偏转轴，抖动校正设备使用步骤402中所计算出的完整的值来执行控制，而对于俯仰轴，手抖动校正设备使用步骤406中所计算出的值来执行控制。根据本发明的示例性实施例的手抖动校正设备的控制方案，是用于多速率PID控制的伪抖动方案和时分方案混合的控制方案，通过重复执行步骤402到步骤408的四个步骤作为一个准则来执行用于校正手抖动的操作。
从上述描述中显而易见的是，根据本发明的、用于移动装置的摄像机模块的手抖动校正方法和设备，在通过摄像机模块拍摄图片时，根据手抖动的数量和方向控制图像传感器的位置，以允许在图像传感器的相同位置处形成图像，从而能够拍摄出高质量的图片，并且由此提高用户对于产品的满意度。此外，与现有的类似装置相比，所述新颖的装置能够以小尺寸进行模块化，便于其应用到小型移动装置中。
虽然通过参照本发明的特定的优选实施例，已经示出和描述了本发明，但是本领域技术人员将理解，在不背离本发明的精神和附加权利要求的范围的情况下，可以在其中做出形式和细节上的各种变化。例如，虽然本发明适于用在诸如手机、PDA之类的移动设备中，但本发明不局限于这些预期的使用，而是具有广泛的适用性，例如，交通工具(可以是汽车、火车、自行车等)内部或交通工具上、船上、在飞行时、附加到人或一件衣服上等，其中环境可以引入代替手震动或除手震动之外的抖动。
此外，当图像传感器位置控制器计算图像传感器115应该移动的量时，这可以是最佳值，并且实际移动的量要经受元件的限制/磨损(wear)，或者所述移动值可以很大以至于实际移动不同于由控制器所确定的最佳量。最后，回转传感器不需要附加到摄像机模块上。然而，优选地的是，将回转传感器附加到摄像机模块上，以便最小化传感器的检测误差。此外，例如，传感器可以附加到处于容限内分离摄像机单元的状态中的移动电话外壳或衬底并且将传感器坚固固定。

Claims (16)

1.一种用在移动装置中的摄像机模块的手抖动校正设备，所述设备包括：
摄像机单元，包括用于感测摄像机的手抖动运动的角速度的角速度传感器；用于检测图像传感器的位置的位置检测传感器；以及用于激励图像传感器的致动器；以及
光学图像稳定器(OIS)电路单元，用于使用多速率比例积分微分(PID)控制方案控制致动器，所述控制方案在基本周期上执行多次控制，在所述基本周期中根据图像传感器最佳地移动以校正手抖动运动的控制参考值而更新参考值。
2.根据权利要求1所述的手抖动校正设备，其中所述角速度传感器被附加到摄像机单元上，用于在两个方向上检测运动的角速度，以补偿图像传感器的上/下和左/右手抖动。
3.根据权利要求2所述的手抖动校正设备，其中所述两个方向包括偏转轴和俯仰轴。
4.根据权利要求1所述的手抖动校正设备，其中所述角速度传感器包括回转传感器。
5.根据权利要求2所述的手抖动校正设备，其中所述角速度传感器包括回转传感器。
6.根据权利要求1所述的手抖动校正设备，其中所述位置检测传感器包括霍尔传感器。
7.根据权利要求5所述的手抖动校正设备，其中所述位置检测传感器包括霍尔传感器。
8.根据权利要求1所述的手抖动校正设备，其中所述致动器包括在移动所述图像传感器时的音圈电机(VCM)。
9.根据权利要求1所述的手抖动校正设备，其中所述0IS电路单元包括：
回转信号模拟滤波器单元，包括低通滤波器(LPF)，用于从手抖动运动信号中滤除高频噪声分量，以提取所期望的频带；
霍尔信号模拟滤波器单元，用于处理由所述霍尔传感器检测到的图像传感器位置信号；
电机驱动单元，用于控制所述致动器的电机；以及
微处理器，用于计算图像传感器应该移动以补偿手抖动的控制值，并用于依赖于所述控制值来控制电机驱动单元。
10.根据权利要求9所述的手抖动校正设备，其中所述微处理器包括：
回转信号数字滤波器单元，用于使用高通滤波器(HPF)从手抖动运动的角速度信号中滤除直流(DC)分量；
手抖动计算器，用于通过积分手抖动运动的角速度信号来计算摄像机单元的手抖动；以及
图像传感器位置控制器，用于计算图像传感器应该移动以补偿抖动运动的控制值，并依赖于所述控制值来控制电机驱动单元。
11.一种在移动装置中使用的摄像机模块的手抖动校正方法，所述方法包括：
(a)检测发生在摄像机中的手抖动运动的角速度，以及检测所述摄像机的图像传感器的位置；
(b)根据步骤(a)分别生成角速度信号和图像传感器信号；
(c)处理步骤(b)中生成的所检测到的角速度信号和图像传感器位置信号；
(d)通过积分所述角速度信号来计算手抖动；以及
(e)使用多速率比例积分微分(PID)控制方案控制图像传感器，所述控制方案基于所计算出的手抖动和所处理的图像传感器位置信号在基本周期上执行若干次控制，在所述周期中根据图像传感器最佳地移动以补偿手抖动运动的控制参考值来更新参考值。
12.根据权利要求11所述的手抖动校正方法，其中所述手抖动的计算包括：
应用移动平均方法，该移动平均方法计算从当前时间开始的特定采样周期中的回转角速度信号的平均值，并用所计算出的平均值替换当前回转信号的中心值，从而将手抖动角位移的中心定位在零点。
13.根据权利要求11所述的手抖动校正方法，其中用于控制图像传感器以补偿手抖动运动的控制方案包括添加到其中的伪抖动方案，所述伪抖动方案在控制信号的预定间隔期间向致动器输出伪抖动信号，以便持续地激励致动器，由此控制特定动摩擦中的图像传感器。
14.根据权利要求13所述的手抖动校正方法，其中用于控制图像传感器以补偿手抖动运动的所述控制方案包括添加到其中的时分方案，其在规则的间隔中使用控制信号来生成中断，并使用多个中断作为一个间隔在预定数量的中断间隔的每一个中执行不同的操作。
15.根据权利要求14所述的手抖动校正方法，其中所述时分方案输出伪抖动信号，计算偏转轴的回转信号，并在四个预定中断间隔之外的第一个中断间隔中向监控程序发送结果信号；
在第二中断间隔中同时在偏转轴和俯仰轴两个方向上执行多速率PID控制；
在第三中断间隔中输出伪抖动信号，计算俯仰轴的回转信号，并向监控程序发送结果信号；以及
在第四中断间隔中同时在偏转轴和俯仰轴两个方向上执行多速率PID控制。
16.根据权利要求11所述的方法，其中在步骤(e)中，图像传感器的最佳移动和实际移动基本上相等。
CN2007103035623A 2006-12-20 2007-12-20 用在移动装置中的摄像机模块的手抖校正方法和设备 Expired - Fee Related CN101236307B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR130934/06 2006-12-20
KR1020060130934A KR100819301B1 (ko) 2006-12-20 2006-12-20 모바일 기기용 카메라 모듈의 손떨림 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
CN101236307A CN101236307A (zh) 2008-08-06
CN101236307B true CN101236307B (zh) 2011-02-09

Family

ID=39144347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007103035623A Expired - Fee Related CN101236307B (zh) 2006-12-20 2007-12-20 用在移动装置中的摄像机模块的手抖校正方法和设备

Country Status (4)

Country Link
US (1) US8009971B2 (zh)
EP (1) EP1936956B1 (zh)
KR (1) KR100819301B1 (zh)
CN (1) CN101236307B (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI367026B (en) * 2007-03-28 2012-06-21 Quanta Comp Inc Method and apparatus for image stabilization
JP4900401B2 (ja) * 2008-05-16 2012-03-21 カシオ計算機株式会社 撮影装置およびプログラム
KR101434203B1 (ko) * 2008-05-29 2014-08-26 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
KR101490242B1 (ko) 2008-06-10 2015-02-05 엘지전자 주식회사 스캐닝 디스플레이 및 이를 이용한 손떨림 보정장치
JP5274130B2 (ja) * 2008-07-15 2013-08-28 キヤノン株式会社 像振れ補正装置及び光学機器、撮像装置並びに像振れ補正装置の制御方法
KR100968974B1 (ko) 2008-08-26 2010-07-14 삼성전기주식회사 손떨림 보정 장치
TWM354096U (en) * 2008-11-24 2009-04-01 Lumos Technology Co Ltd Shockproof camera
KR20100099007A (ko) * 2009-03-02 2010-09-10 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
KR101664352B1 (ko) * 2009-09-09 2016-10-10 엘지이노텍 주식회사 Ｖｃｍ 엑추에이터를 이용한 자동 초점조절방법
KR101630287B1 (ko) * 2009-11-19 2016-06-14 삼성전자주식회사 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법
KR101630297B1 (ko) * 2009-12-03 2016-06-14 삼성전자주식회사 손떨림 보정 방법 및 장치
US8314865B2 (en) 2009-12-23 2012-11-20 Nokia Corporation Lens shading correction
US8547440B2 (en) 2010-01-29 2013-10-01 Nokia Corporation Image correction for image capturing with an optical image stabilizer
US20120038675A1 (en) * 2010-08-10 2012-02-16 Jay Wesley Johnson Assisted zoom
US9304591B2 (en) 2010-08-10 2016-04-05 Lenovo (Singapore) Pte. Ltd. Gesture control
US8947797B2 (en) 2010-11-15 2015-02-03 DigitalOptics Corporation MEMS Miniature MEMS actuator assemblies
US9204047B2 (en) 2011-04-08 2015-12-01 Nokia Technologies Oy Imaging
JP2013127492A (ja) * 2011-06-09 2013-06-27 Panasonic Corp レンズアクチュエータ
US9596398B2 (en) 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
US8855476B2 (en) * 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
TWI584001B (zh) * 2011-09-28 2017-05-21 數位光學Ｍｅｍｓ有限公司 相機、致動器裝置及影像穩定化之方法
KR101991860B1 (ko) 2012-05-07 2019-06-24 삼성전자주식회사 카메라 모듈에서 액추에이터 제어 방법 및 장치
TW201404133A (zh) * 2012-07-09 2014-01-16 Wistron Corp 自動拍照裝置及方法
TWI547164B (zh) * 2012-07-13 2016-08-21 三營超精密科技股份有限公司 鏡頭抖動補償系統及方法
JP6101074B2 (ja) * 2012-12-27 2017-03-22 キヤノン株式会社 光学機器、像ブレ補正装置、撮像装置、およびその制御方法、プログラム、記憶媒体
US9121866B2 (en) * 2013-03-15 2015-09-01 Autoliv Asp, Inc. System and method for inertial sensor offset compensation
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
US9167161B1 (en) 2013-08-30 2015-10-20 Amazon Technologies, Inc. Camera module package with a folded substrate and laterally positioned components
KR101598255B1 (ko) 2013-11-27 2016-03-07 삼성전기주식회사 광학식 손떨림 보정 장치의 액추에이터 제어 장치, 방법 및 이를 이용한 광학식 손떨림 보정 장치
JP6335554B2 (ja) * 2014-03-11 2018-05-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
KR20150106734A (ko) * 2014-03-12 2015-09-22 삼성전기주식회사 모바일 장치용 카메라 모듈의 액추에이터 구동 장치
KR101433846B1 (ko) 2014-03-14 2014-08-26 주식회사 퓨런티어 광학 이미지 안정화 모듈의 검사 장치 및 방법
JP6454869B2 (ja) * 2014-03-24 2019-01-23 パナソニックＩｐマネジメント株式会社 撮像装置
JP6861355B2 (ja) * 2014-03-28 2021-04-21 パナソニックＩｐマネジメント株式会社 撮像装置
JP2015194587A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像データ処理装置、画像データ処理方法、画像歪み対応処理装置、画像歪み対応処理方法
JP6320164B2 (ja) * 2014-05-20 2018-05-09 キヤノン株式会社 像ブレ補正装置及びその制御方法、光学機器、撮像装置
KR102257809B1 (ko) 2014-08-29 2021-05-28 삼성전자 주식회사 카메라 모듈 보호구조를 가지는 전자장치
CN104202527B (zh) * 2014-09-17 2019-01-18 广州三星通信技术研究有限公司 用于在便携式终端中调整镜头的设备和方法
KR20160039494A (ko) * 2014-10-01 2016-04-11 삼성전자주식회사 커버 촬영 장치, 휴대용 단말 장치 및 커버 촬영 장치의 제어 방법
JP6381433B2 (ja) * 2014-12-15 2018-08-29 オリンパス株式会社 カメラシステム及びそのブレ補正方法
TWI569081B (zh) * 2015-03-13 2017-02-01 台灣東電化股份有限公司 影像擷取系統
JP6642971B2 (ja) * 2015-03-13 2020-02-12 キヤノン株式会社 像ブレ補正装置、光学機器、撮像装置および制御方法
CN104679294B (zh) * 2015-03-16 2018-01-09 酷派软件技术（深圳）有限公司 触控操作装置和触控操作防抖方法
KR101657283B1 (ko) 2015-06-15 2016-09-19 (주)엠씨넥스 광학식 손떨림 보정장치
KR102184564B1 (ko) * 2015-08-12 2020-12-01 삼성전기주식회사 카메라 모듈
CN106556956A (zh) * 2015-09-28 2017-04-05 亚德半导体股份有限公司 光学影像稳定装置
CN106556955B (zh) * 2015-09-28 2019-11-22 南京联台众芯半导体有限公司 解决组装误差的光学影像稳定装置及镜头调整方法
KR20170069060A (ko) * 2015-12-10 2017-06-20 삼성전기주식회사 광학식 이미지 안정화 모듈 및 카메라 모듈
CN105872309A (zh) * 2015-12-31 2016-08-17 乐视移动智能信息技术（北京）有限公司 用于消除图像抖动的视频图像处理方法、装置及移动终端
KR102462711B1 (ko) 2016-01-08 2022-11-04 삼성전자주식회사 전자 장치의 센서 동작 방법 및 장치
CN105847686B (zh) * 2016-04-01 2019-10-15 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
US10925160B1 (en) 2016-06-28 2021-02-16 Amazon Technologies, Inc. Electronic device with a display assembly and silicon circuit board substrate
CN106231204A (zh) * 2016-08-30 2016-12-14 宇龙计算机通信科技(深圳)有限公司 基于双摄像头的防抖拍照方法及装置、终端
US10306148B2 (en) 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
KR20180040409A (ko) 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102540236B1 (ko) 2016-12-05 2023-06-02 삼성전자주식회사 이미지 처리 장치 및 시스템
JP6873716B2 (ja) * 2017-01-31 2021-05-19 キヤノン株式会社 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置
JP6942535B2 (ja) * 2017-06-26 2021-09-29 キヤノン株式会社 撮像装置およびその制御方法、レンズ装置およびその制御方法、撮像システム
JP7001376B2 (ja) 2017-07-07 2022-01-19 旭化成エレクトロニクス株式会社 駆動装置、デバイス、駆動システム、プログラムおよび駆動方法
CN109429004B (zh) * 2017-08-29 2021-06-04 中兴通讯股份有限公司 一种拍照方法、装置及移动终端
CN108702121A (zh) * 2017-09-29 2018-10-23 深圳市大疆灵眸科技有限公司 云台电机控制方法及相应的云台
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
KR102452575B1 (ko) * 2018-01-19 2022-10-11 삼성전자주식회사 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
KR102460750B1 (ko) * 2018-02-13 2022-10-31 삼성전기주식회사 Ois 기능을 갖는 카메라 장치 및 그 통신 방법
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
KR102620533B1 (ko) 2018-10-12 2024-01-03 삼성전기주식회사 카메라 모듈
KR20200094509A (ko) * 2019-01-30 2020-08-07 엘지이노텍 주식회사 액체 렌즈를 포함하며 색수차 보정 기능을 갖는 광학 기기 및 영상 처리 방법
KR102586073B1 (ko) * 2019-04-19 2023-10-05 삼성전기주식회사 Spi 통신 효율성을 개선한 카메라 장치 및 그 통신 방법
CN111050075B (zh) * 2019-12-26 2021-06-04 维沃移动通信有限公司 图像处理方法及电子设备
KR20210152203A (ko) * 2020-06-08 2021-12-15 삼성전기주식회사 데이터 공유를 위한 ois 회로, ois 장치 및 그 동작 방법
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
KR20220033569A (ko) 2020-09-07 2022-03-17 삼성디스플레이 주식회사 전자 장치 및 전자 장치의 구동 방법
CN111879499B (zh) * 2020-09-28 2020-12-08 常州市瑞泰光电有限公司 摄像头驱动马达的光学稳像性能测试方法
US11223767B1 (en) * 2020-12-16 2022-01-11 Semiconductor Components Industries, Llc Methods and apparatus for optical image stabilization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122004A (en) * 1995-12-28 2000-09-19 Samsung Electronics Co., Ltd. Image stabilizing circuit for a camcorder
CN1580928A (zh) * 2003-08-07 2005-02-16 佳能株式会社 振动修正装置、振动修正方法以及执行该方法的控制程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940003090B1 (ko) * 1990-09-29 1994-04-13 가부시끼가이샤 고오베 세이꼬오쇼 산업용 로보트의 오프-라인 교시방법
KR0120177Y1 (ko) * 1995-12-28 1998-06-15 김태구 자동차의 안개등 보호장치
JP2001201777A (ja) 2000-01-14 2001-07-27 Minolta Co Ltd ぶれ補正装置及び該ぶれ補正装置を含む光学機器
JP2004354878A (ja) * 2003-05-30 2004-12-16 Minolta Co Ltd 撮像装置
TWI375112B (en) 2004-06-24 2012-10-21 Pentax Ricoh Imaging Co Ltd Digital camera
JP4528138B2 (ja) * 2005-01-13 2010-08-18 富士フイルム株式会社 撮影装置
JP4671705B2 (ja) * 2005-02-09 2011-04-20 オリンパスイメージング株式会社 撮像装置
JP4135729B2 (ja) * 2005-06-15 2008-08-20 コニカミノルタオプト株式会社 鏡胴ユニット、これを搭載した撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122004A (en) * 1995-12-28 2000-09-19 Samsung Electronics Co., Ltd. Image stabilizing circuit for a camcorder
CN1580928A (zh) * 2003-08-07 2005-02-16 佳能株式会社 振动修正装置、振动修正方法以及执行该方法的控制程序

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2001-201777 2001.07.02
JP特开2005-43625 2005.02.17
JP特开平9-200608 1997.07.31

Also Published As

Publication number Publication date
EP1936956B1 (en) 2012-02-08
EP1936956A2 (en) 2008-06-25
EP1936956A3 (en) 2010-04-28
CN101236307A (zh) 2008-08-06
US8009971B2 (en) 2011-08-30
KR100819301B1 (ko) 2008-04-03
US20080152332A1 (en) 2008-06-26

Similar Documents

Publication Publication Date Title
CN101236307B (zh) 用在移动装置中的摄像机模块的手抖校正方法和设备
CN107018313B (zh) 图像稳定设备和图像稳定方法
JP6212135B2 (ja) カメラモジュールの調整方法及びレンズ位置制御装置並びに線形運動デバイスの制御装置及びその制御方法
CN107026970B (zh) 图像稳定设备和图像稳定方法
CN106911889B (zh) 图像模糊校正设备和倾斜校正设备及其控制方法
CN103167237B (zh) 摄像装置以及图像抖动修正方法
CN105007406B (zh) 光学装置及其控制方法
US20060279849A1 (en) Lens actuating device and image pickup apparatus
US20060215283A1 (en) Lens driving mechanism, lens unit and image pickup apparatus
CN102917168A (zh) 图像模糊校正设备及其控制方法、光学装置和摄像设备
CN104469139A (zh) 图像捕获装置和图像捕获方法
CN109212711B (zh) 自动对焦装置和操作具有温度敏感部件的自动对焦装置的方法
JP4807855B2 (ja) 防振装置および防振方法およびプログラム
CN110398913B (zh) 用于控制致动器的致动器控制电路和方法
US20140355119A1 (en) Driving circuit and driving method for voice coil motor, and lens module and electronic device using the same
JP2009542120A (ja) 画像安定化装置の制御方法
US20130202280A1 (en) Imaging apparatus
Chang et al. Optical image stabilizing system using multirate fuzzy PID controller for mobile device camera
JP3853158B2 (ja) 撮像装置の像ぶれ補正方法および装置
KR101608828B1 (ko) 모바일용 카메라의 손떨림 보정 장치
JP2007057605A (ja) 撮像装置
CN107305308B (zh) 用于光学图像稳定的方法和装置
KR101569823B1 (ko) 손떨림 보정 기능을 갖는 자이로 센서 모듈
JP4046707B2 (ja) 撮像装置における像ぶれ補正装置
CN108375862B (zh) 光学图像稳定器和操作该光学图像稳定器的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110209

Termination date: 20181220

CF01 Termination of patent right due to non-payment of annual fee