CN1917585A - 摄影装置以及自动聚焦控制方法 - Google Patents

摄影装置以及自动聚焦控制方法 Download PDF

Info

Publication number
CN1917585A
CN1917585A CNA2006100908746A CN200610090874A CN1917585A CN 1917585 A CN1917585 A CN 1917585A CN A2006100908746 A CNA2006100908746 A CN A2006100908746A CN 200610090874 A CN200610090874 A CN 200610090874A CN 1917585 A CN1917585 A CN 1917585A
Authority
CN
China
Prior art keywords
subject
image recognition
camera
view data
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100908746A
Other languages
English (en)
Other versions
CN100431337C (zh
Inventor
涩谷敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN1917585A publication Critical patent/CN1917585A/zh
Application granted granted Critical
Publication of CN100431337C publication Critical patent/CN100431337C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

若半按压快门按钮，则进行基于远近景同时摄影法的聚焦处理(S3)，其后，进行识别被摄体的脸在哪个位置上的第一图像识别处理(S4)。并且，若识别到被摄体的脸所在位置(S5、Y)，则将该识别的被摄体的脸位置作为AF区域来定位，在该定位的AF区域上进行AF处理。并且，若全按压快门按钮(S7、Y)，则进行静止图像摄影处理(S8)，基于由该摄影处理得到的摄影图像数据，进行具体地识别该图像数据的被摄体的脸的第二图像识别处理(S9)。

Description

摄影装置以及自动聚焦控制方法
技术领域
本发明涉及可使用于数码相机中的、具备自动聚焦功能的摄影装置以及自动聚焦控制方法。
背景技术
在数码相机中，为了得到良好的图像而具有对于想要摄影的被摄体对准焦点的自动聚焦控制方法。
然而，在现有的自动聚焦功能中，没有对想要摄影的人物对准焦点，而对风景等其他的被摄体对准焦点，从而存在没有对真正想要拍摄的被摄体对准焦点的问题。
为了解决该问题，出现以由图像识别处理识别被摄体的脸，对该识别后的脸位置对准焦点的方式进行自动聚焦的AF处理(例如，参考作为日本公开专利公报的特开2004-317699号公报)。
但，根据现有的图像识别的AF处理，当以没有对准焦点的状态下，即，以图像模糊的状态下由图像识别处理识别脸的情况下，脸的识别精度下降，其结果，有时产生不能进行对脸位置对准焦点的自动聚焦的现象。
发明内容
本发明是为了解决上述以往技术问题而制成的，其目的在于提供一种能以高精度对被摄体对准焦点的摄影装置以及自动聚焦控制方法。
在一个方式中，摄影装置，具备：摄影机构，其摄影被摄体；第一聚焦控制机构，其对被摄体进行规定的聚焦工作；第一图像识别机构，在由上述第一聚焦控制机构进行规定的聚焦工作之后，基于由上述摄影机构取得的图像数据，识别被摄体位置；以及第二聚焦控制机构，其将聚焦镜头移动到由上述第一图像识别机构识别的被摄体位置的图像的焦点对准的对焦镜头位置上。
另外，在另一方式中，提供聚焦控制方法，作为聚焦控制方法，包括：第一聚焦处理步骤，对被摄体进行规定的聚焦工作；摄影处理步骤，在由该第一聚焦处理步骤进行规定的聚焦工作之后，摄影被摄体；图像识别处理步骤，基于由该摄影处理步骤得到的图像数据，识别被摄体位置；以及第二聚焦处理步骤，将聚焦镜头移动到由该图像识别处理步骤识别的被摄体位置的图像的焦点对准的对焦镜头位置。
还有，在另一方式中，提供用于由摄像装置的计算机来执行以下各个处理的程序，作为摄像装置的程序，包括：摄影处理，摄影被摄体；第一聚焦处理，对被摄体进行规定的聚焦工作；图像识别处理，在由第一聚焦处理进行规定的聚焦工作之后，基于由上述摄影处理得到的图像数据，识别被摄体位置；以及第二聚焦处理，将聚焦镜头移动到由该图像识别处理识别的被摄体位置的图像的焦点对准的聚焦镜头位置。
附图说明
图1是本发明的实施方式的数码相机的框图。
图2是表示实施方式的数码相机的动作的流程图。
图3是表示在第一图像识别处理后显示的直通图像以及聚焦框的状态的图。
具体实施方式
下面，参照附图，详细地说明对本发明的实施方式使用数码相机的一例。
(实施方式)
A.数码相机的结构
图1为，表示实现本发明的摄影装置的数码相机1的电概略结构的框图。
数码相机1，具备摄影镜头2、镜头驱动块(block)3、光圈兼快门4、CCD5、TG(timing generator)6、单元电路7、DRAM8、存储器9、CPU10、闪存11、图像显示部12、键输入部13、声音处理部14、闪光驱动部15、以及闪光发光部16。
摄影镜头2，包括未图示的聚焦镜头(focus lens)、变焦距镜头，与镜头驱动块3连接。镜头驱动块3，由将未图示的聚焦镜头、变焦距镜头分别向光轴方向驱动的聚焦电机、变焦距电机、按照来自CPU10的控制信号将聚焦电机、变焦距电机分别向光轴方向驱动的聚焦电机驱动器、变焦距电机驱动器来构成。
光圈兼快门4，包括未图示的驱动电路，驱动电路按照来自CPU10的控制信号使光圈兼快门工作。该光圈兼快门作为光圈与快门来发挥作用。
光圈为，控制从摄影镜头2射入的光量的机构，快门为，控制给CCD5照射光的时间的机构，给CCD5照射光的时间，由快门开闭的速度(快门速度)来变化。曝光，能由该光圈与快门速度来确定。
CCD5，作为本发明的摄影机构来发挥作用，通过摄影镜头2、光圈兼快门4将投射的被摄体的光转换为电信号，作为摄影信号输出到单元电路7中。还有，CCD5，按照由TG6生成的规定频率的定时信号驱动。TG6与单元电路7连接。
单元电路7，由对从CCD5输出的摄影信号进行相关双重采样而保存的CDS(Correlated Double Sampling)电路、进行该采样后的摄影信号的自动增益调整的AGC(Automatic Gain Control)电路、将该自动增益调整后的模拟的摄影信号转换为数字信号的A/D转换器来构成，CCD5的摄影信号，通过单元电路7作为数字信号被发送到CPU10。
CPU10，具有进行由单元电路7发送过来的图像数据的图像处理(图像插补处理、γ校正、亮度色差信号的生成、白平衡处理、曝光校正处理等)、图像数据的压缩/解压缩(例如、JPEG格式或者MPEG格式的压缩/解压缩)的处理、AF处理(根据对比度检测方式的AF处理或者根据远近景同时摄影法的AF处理)、图像识别处理等的功能，并且为控制数码相机1的各个部分的单片微型机。
在存储器9中，记录在CPU10的各个部分中所需的控制程序、即、包括AE或者AF等的各种控制中所必要程序、以及所必要的的数据，CPU10，按照上述程序进行工作，以作为本发明的第一、第二的聚焦控制机构、判定机构、第一、第二的图像识别机构、摄影控制机构、记录控制机构、对比度AF机构、判断机构发挥作用。
DRAM8，作为暂时保存由CCD5摄影后，发送到CPU10中的图像数据的缓冲存储器来使用，并且作为CPU的工作内存来使用。
闪存11为，作为本发明的记录机构发挥作用，保存由CCD5摄影的图像数据的记录介质。
图像显示部12，包括彩色LCD与其驱动电路，在处于摄影待机状态下时，将由CCD5摄影的被摄体作为直通图像来显示，在再生记录图像时，显示从保存用闪存11中读出、解压缩的记录图像。
键输入部13，作为本发明的第一、第二的指示机构发挥作用，除了能进行半按压操作与全按压操作的快门按钮之外，还包括变焦距连拍键、十字键、SET键等多个操作键，并将对应于用户的键操作的操作信号输出到CPU10。
声音处理部14，包括内置话筒、放大器、A/D转换器、D/A转换器、内置扬声器等，在摄影附带声音的图像时，将输入到内置话筒中的声音转换为数字信号发送到CPU10。CPU10，将发送过来的声音数据，按顺序保存在缓冲内存(DRAM8)中，并且与由CCD5摄影的图像数据一起记录在闪存11中。
还有，声音处理部14，在再生附带声音的图像时，从内置扬声器放出基于附属在各个图像数据中的声音数据的声音等。
闪光驱动部15，按照CPU10的控制信号，对闪光发光部16进行闪光驱动，闪光发光部16使闪光灯闪光。CPU10，由未图示的测光电路判断摄影场面是否较暗，当判断为摄影场面较暗，并且判断为进行摄影的情况下(按压快门按钮时)，将控制信号发送到闪光驱动部15中。
B.数码相机1的工作
按照图2的流程说明实施方式的数码相机1的工作。
若由用户的键输入部13的操作设定图像识别摄影模式，则CPU10，开始进行基于CCD5的被摄体的摄像，对由CCD5摄影的被摄体的图像数据实施图像处理而保存在缓冲存储器(DRAM8)中，在图像显示部12中显示该保存的图像数据的图像的所谓的直通图像显示(步骤S1)。
接着，CPU10，判断快门按钮是否被用户半按压(步骤S2)。该判断，根据是否从键输入部发送对应于快门按钮半按压的操作信号来判断。
在步骤S2中，若判断为快门按钮被半按压，则CPU10，进行根基于近景同时摄影法的聚焦处理(步骤S3)。即，将聚焦镜头移动到预先设定的的固定焦点镜头位置。
接着，CPU10，进行第一图像识别处理(步骤S4)。若简单地说明的话，该第一图像识别处理，是指识别摄影的图像数据的图像的哪个位置是人的脸的处理。首先，CPU10，对预先保存的脸的特征数据与摄影的图像数据进行比较对照以识别在摄影的图像数据中是否有人的脸的图像数据，若判断为存在人的脸的图像数据，则识别在哪个位置上存在该脸的图像数据。但，也可以同时进行脸的有无识别与脸的位置识别。
还有，在该第一图像识别处理中，若能识别摄影的图像数据的图像的哪个位置上有人的脸就足够，因此图像识别程度为识别人的脸轮廓、眼睛、或者嘴等笼统的人的脸的程度也可。即，完全不需要具体地识别该脸是谁的脸。
若进行第一图像识别处理，则CPU10，判断是否能识别图像(步骤S5)。即，在能识别摄影的图像数据的图像的哪个位置上有人的脸的情况下，判断为能识别图像。
在步骤S5中，若判断为不能识别图像，则返回到步骤S4。即，进行第一图像识别处理直到判断为能识别图像为止。
另一方面，在步骤S5中，若判断为能识别图像，则将AF区域定位于该识别后的被摄体的脸的位置，进行AF处理(步骤S6)。在此，由于进行根据对比度检测方式的AF处理，因此将聚焦镜头移动到该定位的AF区域的对比度值最高的镜头位置。根据对比度检测方式的AF处理，使聚焦镜头移动，将此时的CCD5的对比度转换为电信号，解析该波形，即、将聚焦镜头调整在高频成分变得最多的镜头位置而对准焦点。
还有，为了将定位的AF区域通知给用户，将聚焦框显示在图像显示部12中。该聚焦框，表示AF区域。
图3为，表示第一图像识别处理后显示的直通图像以及聚焦框的状态的图。在图像显示部12中显示的女孩子(在此，称为A女孩)等的图像为，由CCD5摄影的图像数据，21表示聚焦框。
接着，CPU10，判断用户是否全按压快门按钮(步骤S7)。该判断，根据是否从键输入部13发送过来对应于全按压快门按钮的操作信号来进行判断。
在步骤7中，若判断为没有全按压快门按钮，则停留在步骤S7直到全按压为止，在步骤S7中，若判断为全按压快门按钮，则CPU10，进行静止图像摄影处理(步骤S8)。即，以比较长的输出定时将一个画面中的偶数线的像素信号、与奇数线的像素信号依次输出到CCD2中，将整个画面像素的数据取入到缓冲存储器(DRAM8)中，在此，如图3所示的状态下，用户将快门按钮全按压。
接着，CPU10，对于由该静止图像摄影处理取得的摄影图像数据进行第二图像识别处理(步骤9)。若简单地说明的话，该第二图像识别处理，比第一图像识别处理精度较高，进行不仅识别人的脸是否在图像内，也具体地进行识别被摄体的脸为谁的脸的处理。例如，识别肌肤的颜色、头发的颜色、眼睛的位置、鼻子的位置、嘴的位置等，以及也识别那些位置关系等，对那些进行数值化而计算数值数据，将该数值数据与由预先保存的特定人物的脸图像识别/计算的数值数据相比较对照以特别指定人物。还有，图像识别方法，除此之外已经还存在多个有名的方法，在此不进行详细的说明。
若进行第二图像识别处理，则CPU10，判断能否识别图像(步骤S10)。即，判断能否具体地识别谁的脸。
在步骤S10中，若判断为不能进行图像识别，则返回到步骤S9。即，进行第二图像识别处理直到判断为能识别图像为止。
另一方面，在步骤S10中，若判断为能识别图像，则判断是否存在对应于该识别的脸(的人物)的文件夹(folder)(步骤S11)。即，判断是否在闪存11中存在与一致的脸的数值数据关联的文件夹。
在此，由于识别为A女孩的脸，从而判断是否存在对应于A女孩的文件夹。即，A女孩的文件夹(与A女孩的脸的数值数据关联的文件夹)创建在闪存11中的情况等，由于A女孩的文件夹存在，因此判断为存在对应于该识别的脸的文件夹。
在步骤11中，在判断为存在对应于该识别的脸的文件夹的情况下，即，在判断为存在对应于A女孩的脸的文件夹的情况下，将摄影图像数据记录在存在于闪存11中的A女孩的文件夹中。
另一方面，在步骤S11中，在判断为不存在对应于该识别的脸的文件夹的情况下，即，在判断为不存在对应于A女孩的脸的文件夹的情况下，与A女孩的脸的数值数据关联而创建新的文件夹，在该文件夹中记录摄影图像数据。
C.如上所述，在实施方式中，在图像识别摄影模式中，若用户半按压快门按钮，则由于进行根据远近景同时摄影法的聚焦处理后进行第一图像识别处理，因此能以高精度识别被摄体的脸在哪个位置中。
还有，由于第一图像识别处理为，识别人的脸是否在摄影的图像数据的图像中存在，当存在的情况下识别存在于哪个位置中的程度的简易的处理，因此能迅速地进行。
还有，将AF区域定位在由图像识别处理识别的脸的位置上，在该定位的AF区域中进行根据对比度检测方式的AF处理，因此能以高精度对被摄体的脸进行聚焦。
还有，关于对被摄体的脸聚焦后摄影的摄影图像数据进行第二图像识别处理，因此能以高精度识别被摄体是谁。
还有，第二图像识别处理后，记录在对应于该识别的人物的文件夹中，因此能迅速、且简单地检索摄影图像数据。还有，第二图像识别处理后，即使不存在对应于该识别的人物的文件夹，由于创建并记录对应于该识别的人物的文件夹，因此也能迅速、且简单地检索摄影图像数据。
还有，在上述实施方式中，在进行远近景同时摄影的情况下将聚焦镜头移动到预先设定的固定焦点镜头位置上(图2的步骤S3)，但也可以将聚焦镜头移动到由用户任意地设定的镜头位置上，或者在快门按钮半按压前的直通图显示中(步骤S1～步骤S2)基于直通图像判断摄影场面(屋外或者屋内、光圈是否开放、光学变焦距倍数等)，将聚焦镜头移动到对应于在即将半按压快门按钮前判断的摄影场面的固定焦点镜头位置上。
还有，也可以代替远近景同时摄影法，以对应于该被判断的摄影场面的检索范围(聚焦镜头移动范围)、检索间隔(采样间隔)等进行基于对比度检测方式的AF处理。在这种情况下，为了迅速地进行AF处理，比对应于图2的步骤S6的对比度检测方式的AF处理，还要缩小检索范围，或者扩大检索间隔。
还有，也可以不判断摄影场面，也可以进行比单纯的由图2的步骤S6的对比度检测方式的AF处理，还要缩小检索范围，扩大检索间隔的简易的AF处理。
即，图2的步骤3的AF处理，只要是以不成为第一图像识别处理的障碍的程度对被摄体对准焦点的聚焦处理(该聚焦处理称为简易聚焦处理)的话任何处理都可以。
还有，半按压快门按钮后，进行简易的聚焦工作后进行第一图像识别处理，但也可以在半按压快门按钮前的直通图像显示中或者复原到静止图像摄影处理后的直通图像显示时，进行简易的聚焦工作。通过上述方式，由此能加快半按压快门按钮后的处理。
还有，也可以在半按压快门按钮前的直通图像显示中，进行简易的聚焦，并且进行第一图像识别处理。通过上述方式，在半按压快门按钮后，由于只要进行基于对比度检测方式的AF处理、与第二图像识别处理就可以，因此能进一步加快半按压快门按钮后的处理。
还有，当不存在对应于由第二图像识别处理识别的人物的文件夹的情况下，新创建对应于该人物的文件夹，在该文件夹中记录摄影图像数据，但也可以不创建新的文件夹而按照原样记录摄影图像数据。这是因为，当不存在对应于该识别的人物的文件夹的情况下，能认为并不是频繁地摄影人物的缘故。
还有，当存在两个以上的对应于由第二图像识别处理识别的人物的文件夹的情况下，也可以记录在所有的文件夹中。例如，在摄影图像数据中拍摄有爸爸、妈妈以及A女孩的情况下，该摄影图像数据，记录在对应于爸爸的文件夹、对应于妈妈的文件夹、以及对应于A女孩的文件夹中。在此，应该注意的是，记录的摄影图像数据为一个，在摄影图像数据的报头(header)中，记录属于爸爸的文件夹、妈妈的文件夹、以及A女孩的文件的信息。
还有，对应于由第二图像识别处理识别的人物的文件夹中记录摄影图像数据，但也可以记录表示只与摄影图像数据关联而识别的人物的信息。
还有，在第一、第二的图像识别处理中，识别人的脸，但不限定于此，例如也可以识别汽车、动物、以及植物等，总而言之只要是被摄体的话任何的都可以。
还有，基于根据第二图像识别处理的识别结果分类摄影图像数据而记录，但也可以将基于根据第二图像识别处理的识别结果使用于其他的用途上。
还有，上述实施方式的数码相机1，不限定于上述实施方式，也可以是附带相机的移动电话、附带相机的PDA、附带相机的个人机算机、附带相机的录音笔(IC recorder)、或者数码摄影机等，总而言之只要是能摄影被摄体的机器的话任何都可以。

Claims (17)

1、一种摄影装置，具备：
摄影机构，其摄影被摄体；
第一聚焦控制机构，其对被摄体进行规定的聚焦工作；
第一图像识别机构，在由所述第一聚焦控制机构进行规定的聚焦工作后，其基于由所述摄影机构取得的图像数据，识别被摄体位置；以及
第二聚焦控制机构，其将聚焦镜头移动到由所述第一图像识别机构识别出的被摄体位置的图像的焦点对准的对焦镜头位置上。
2、根据权利要求1所述的摄影装置，其特征在于，
所述第一聚焦控制机构，通过将聚焦镜头移动到固定镜头位置，从而对被摄体进行聚焦工作。
3、根据权利要求1所述的摄影装置，其特征在于，
具备判定摄影场面的判定机构，
所述第一聚焦控制机构，将聚焦镜头移动到对应于由所述判定机构判定的摄影场面的镜头位置。
4、根据权利要求1所述的摄影装置，其特征在于，
所述第一聚焦控制机构，包括对比度AF机构，其改变聚焦镜头的镜头位置，并且检测由所述摄影机构得到的图像数据的AF评估值，且基于该检测出的多个AF评估值将聚焦镜头移动到对焦镜头位置。
5、根据权利要求4所述的摄影装置，其特征在于，
具备判定摄影场面的判定机构，
所述对比度AF机构，
以与由所述判定机构判定的摄影场面相对应的检索范围以及/或者检索间隔，改变聚焦镜头的镜头位置以检测由所述摄影机构得到的图像数据的AF评估值，并将聚焦镜头移动到对焦镜头位置上。
6、根据权利要求1所述的摄影装置，其特征在于，
所述第二聚焦控制机构，改变聚焦镜头的镜头位置，并且检测在由所述摄影机构得到的图像数据中的对应于由所述第一图像识别机构识别的被摄体位置的图像数据的AF评估值，并基于该检测出的多个AF评估值将聚焦镜头移动到对焦镜头位置上。
7、根据权利要求1所述的摄影装置，其特征在于，
所述第一聚焦控制机构，比所述第二聚焦控制机构更简易或者迅速地进行聚焦工作。
8、根据权利要求1所述的摄影装置，其特征在于，
具备用户指示摄影准备的第一指示机构，
所述第一聚焦控制机构，在由所述第一指示机构产生了摄影准备的指示的情况下，对被摄体进行规定的聚焦工作，
所述第一图像识别机构，在由所述第一指示机构产生了摄影准备的指示的情况下，由所述第一聚焦控制机构进行了聚焦工作后，基于由所述摄影机构得到的图像数据识别被摄体位置，
所述第二聚焦控制机构，在由所述第一指示机构产生了摄影准备的指示的情况下，将聚焦镜头移动到对焦镜头上以对准由所述第一图像识别机构识别的被摄体位置的图像的焦距。
9、根据权利要求1所述的摄影装置，其特征在于，
具备第二图像识别机构，其基于由所述摄影机构得到的图像数据，识别被摄体的种类，
所述第二图像识别机构，在由所述第二聚焦控制机构进行了聚焦工作后，识别由所述摄影机构得到的图像数据的被摄体的种类。
10、根据权利要求9所述的摄影装置，其特征在于，
所述第一图像识别机构为，比由所述第二图像识别机构进行的图像识别更简易的图像识别。
11、根据权利要求1所述的摄影装置，其特征在于，
具备：
用户指示摄影的第二指示机构；以及
控制由所述摄影机构进行的被摄体的静止图像摄影的摄影控制机构，
所述摄影控制机构，在由所述第二聚焦控制机构进行了聚焦工作后，当由所述第二指示机构而产生了摄影指示的情况下，控制由所述摄影机构进行的被摄体的静止图像摄影，
所述第二图像识别机构，基于由通过所述摄影控制机构控制的静止图像摄影得到的图像数据，识别被摄体的种类。
12、根据权利要求9所述的摄影装置，其特征在于，
具备记录控制机构，其将由所述摄影机构得到的图像数据记录在记录机构中，
所述记录控制机构，基于由所述第二图像识别机构识别出的被摄体的种类，分类记录该被识别出的由所述摄影机构得到的图像数据。
13、根据权利要求12所述的摄影装置，其特征在于，
所述记录控制机构，在对应于由所述第二图像识别机构识别出的被摄体的文件夹中，记录该被识别出的由所述摄影机构得到的图像数据，并具备判断机构，其判断对应于由所述第二图像识别机构识别出的被摄体的种类的文件夹是否在所述记录机构内，
所述记录控制机构，在由所述判断机构判断为存在对应于所识别出的被摄体的种类的文件夹的情况下，在该文件夹中记录该被识别出的由所述摄影机构得到的图像数据。
14、根据权利要求13所述的摄影装置，其特征在于，
所述记录控制机构，在由所述判断机构判断为不存在对应于所识别出的被摄体的种类的文件夹的情况下，新创建对应于该被识别的被摄体的种类的文件夹，在该创建的文件夹中记录该被识别出的由所述摄影机构得到的图像数据。
15、根据权利要求13所述的摄影装置，其特征在于，
所述记录控制机构，在由所述判断机构判断为不存在对应于所识别出的被摄体的种类的文件夹的情况下，将该被识别的由所述摄影机构得到的图像数据直接记录到所述记录机构。
16、一种自动聚焦控制方法，包括：
第一聚焦处理步骤，对被摄体进行规定的聚焦工作；
摄影处理步骤，在由该第一聚焦处理步骤进行规定的聚焦工作后，摄影被摄体；
图像识别处理步骤，基于由该摄影处理步骤得到的图像数据，识别被摄体位置；以及
第二聚焦处理步骤，将聚焦镜头移动到由该图像识别处理步骤识别的被摄体位置的图像的焦点对准的对焦镜头位置。
17、一种程序，包括：
摄影处理，摄影被摄体；
第一聚焦处理，对被摄体进行规定的聚焦工作；
图像识别处理，在由第一聚焦处理进行了规定的聚焦工作后，基于由所述摄影处理得到的图像数据，识别被摄体位置；以及
第二聚焦处理，将聚焦镜头移动到由该图像识别处理识别出的被摄体位置的图像的焦点对准的聚焦镜头位置，
所述程序用于在摄影装置的计算机中执行所述各个处理。
CNB2006100908746A 2005-06-29 2006-06-27 摄影装置以及自动聚焦控制方法 Expired - Fee Related CN100431337C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005-190279 2005-06-29
JP2005190279 2005-06-29
JP2005190279A JP2007010898A (ja) 2005-06-29 2005-06-29 撮像装置及びそのプログラム

Publications (2)

Publication Number Publication Date
CN1917585A true CN1917585A (zh) 2007-02-21
CN100431337C CN100431337C (zh) 2008-11-05

Family

ID=37589656

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100908746A Expired - Fee Related CN100431337C (zh) 2005-06-29 2006-06-27 摄影装置以及自动聚焦控制方法

Country Status (5)

Country Link
US (1) US20070003267A1 (zh)
JP (1) JP2007010898A (zh)
KR (1) KR100821801B1 (zh)
CN (1) CN100431337C (zh)
TW (1) TWI330747B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055903A (zh) * 2009-11-06 2011-05-11 三洋电机株式会社 电子照相机
CN102752509A (zh) * 2007-08-31 2012-10-24 卡西欧计算机株式会社 摄像装置及其程序
US8300136B2 (en) 2008-06-26 2012-10-30 Canon Kabushiki Kaisha Imaging apparatus for detecting a face image and imaging method
CN102833482A (zh) * 2011-06-14 2012-12-19 三星电子株式会社 调整自动聚焦的设备和方法
CN103037164A (zh) * 2007-08-10 2013-04-10 奥林巴斯映像株式会社 摄像装置以及摄像方法
CN101472070B (zh) * 2007-12-28 2013-05-22 卡西欧计算机株式会社 记录符合规定条件的图像的摄像装置及其摄像方法
US8730375B2 (en) 2007-05-18 2014-05-20 Casio Computer Co., Ltd. Imaging apparatus having focus control function
US8823864B2 (en) 2007-06-28 2014-09-02 Sony Corporation Image capturing apparatus and associated methodology for auto-focus and facial detection
CN104184942A (zh) * 2014-07-28 2014-12-03 联想(北京)有限公司 一种信息处理的方法及电子设备
US9521311B2 (en) 2013-03-28 2016-12-13 Huawei Technologies Co., Ltd. Quick automatic focusing method and image acquisition apparatus
CN108780261A (zh) * 2016-04-15 2018-11-09 深圳市大疆创新科技有限公司 使用自适应步长的对比度检测自动聚焦

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4747003B2 (ja) * 2005-06-22 2011-08-10 富士フイルム株式会社 自動合焦制御装置およびその制御方法
JP5036334B2 (ja) * 2007-02-02 2012-09-26 株式会社リコー 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム
JP5251215B2 (ja) * 2007-04-04 2013-07-31 株式会社ニコン デジタルカメラ
JP4906582B2 (ja) * 2007-05-09 2012-03-28 キヤノン株式会社 焦点調節装置及びその制御方法及び撮像装置及びプログラム及び記憶媒体
JP4894661B2 (ja) 2007-07-24 2012-03-14 株式会社ニコン 撮像装置
KR101431535B1 (ko) 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
US8111874B2 (en) 2007-12-04 2012-02-07 Mediatek Inc. Method and apparatus for image capturing
US20090174805A1 (en) * 2008-01-07 2009-07-09 Motorola, Inc. Digital camera focusing using stored object recognition
US8577216B2 (en) * 2008-02-13 2013-11-05 Qualcomm Incorporated Auto-focus calibration for image capture device
JP2009244431A (ja) 2008-03-28 2009-10-22 Canon Inc 撮像装置
TWI394085B (zh) * 2008-10-28 2013-04-21 Asustek Comp Inc 辨識被攝主體之維度形態的方法
JP5430314B2 (ja) 2009-09-18 2014-02-26 キヤノン株式会社 撮像装置及びその制御方法
JP2011130043A (ja) * 2009-12-16 2011-06-30 Sanyo Electric Co Ltd 電子カメラ
JP2012019324A (ja) * 2010-07-07 2012-01-26 Sanyo Electric Co Ltd 画像管理装置
JP5257496B2 (ja) * 2011-09-22 2013-08-07 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP5360191B2 (ja) * 2011-12-28 2013-12-04 株式会社ニコン 撮像装置
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9706089B2 (en) 2012-03-02 2017-07-11 Microsoft Technology Licensing, Llc Shifted lens camera for mobile computing devices
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9426905B2 (en) 2012-03-02 2016-08-23 Microsoft Technology Licensing, Llc Connection device for computing devices
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US8873227B2 (en) 2012-03-02 2014-10-28 Microsoft Corporation Flexible hinge support layer
US9064654B2 (en) 2012-03-02 2015-06-23 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9360893B2 (en) 2012-03-02 2016-06-07 Microsoft Technology Licensing, Llc Input device writing surface
USRE48963E1 (en) 2012-03-02 2022-03-08 Microsoft Technology Licensing, Llc Connection device for computing devices
US8935774B2 (en) 2012-03-02 2015-01-13 Microsoft Corporation Accessory device authentication
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
US8786767B2 (en) 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US9304549B2 (en) 2013-03-28 2016-04-05 Microsoft Technology Licensing, Llc Hinge mechanism for rotatable component attachment
JP5874753B2 (ja) 2014-01-28 2016-03-02 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
AU2015308492B2 (en) * 2014-08-29 2020-03-26 Solenis Technologies, L.P. Powdery water-soluble cationic polymer composition
US9424048B2 (en) 2014-09-15 2016-08-23 Microsoft Technology Licensing, Llc Inductive peripheral retention device
US9447620B2 (en) 2014-09-30 2016-09-20 Microsoft Technology Licensing, Llc Hinge mechanism with multiple preset positions
US9752361B2 (en) 2015-06-18 2017-09-05 Microsoft Technology Licensing, Llc Multistage hinge
US9864415B2 (en) 2015-06-30 2018-01-09 Microsoft Technology Licensing, Llc Multistage friction hinge
JP2016122196A (ja) * 2016-01-12 2016-07-07 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US10344797B2 (en) 2016-04-05 2019-07-09 Microsoft Technology Licensing, Llc Hinge with multiple preset positions
US10037057B2 (en) 2016-09-22 2018-07-31 Microsoft Technology Licensing, Llc Friction hinge
KR20180060786A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 전자 장치 및 전자 장치의 자동 초점 방법
KR102382865B1 (ko) * 2017-06-28 2022-04-05 삼성전자주식회사 카메라 모듈, 카메라 모듈을 포함하는 전자 장치
CN109361857A (zh) * 2018-10-29 2019-02-19 江苏环宇臻视智能科技有限公司 一种基于人脸识别的相机自动对焦系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6331293A (ja) * 1986-07-24 1988-02-09 Minolta Camera Co Ltd 焦点調節装置
JP3519782B2 (ja) * 1994-07-20 2004-04-19 オリンパス株式会社 測距装置
KR19980054703A (ko) * 1996-12-27 1998-09-25 구자홍 카메라의 포커스 영역 제어방법
JPH11262030A (ja) * 1998-03-10 1999-09-24 Fuji Photo Film Co Ltd ディジタル・スチル・カメラおよびその動作制御方法
US7057636B1 (en) * 1998-12-22 2006-06-06 Koninklijke Philips Electronics N.V. Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
JP3820076B2 (ja) * 2000-03-03 2006-09-13 株式会社リコー 自動合焦装置、デジタルカメラ、携帯情報入力装置、合焦位置検出方法、およびコンピュータが読取可能な記録媒体
KR100356186B1 (ko) * 2000-04-25 2002-10-12 주식회사 씨앤비텍 줌 카메라의 자동 포커스 제어 방법
KR100358859B1 (ko) * 2000-05-19 2002-10-31 주식회사 씨앤비텍 카메라 수동초점 모드에서의 자동 포커스 제어 방법
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
JP2002333652A (ja) * 2001-05-10 2002-11-22 Oki Electric Ind Co Ltd 撮影装置及び再生装置
JP3955201B2 (ja) * 2001-11-20 2007-08-08 オリンパス株式会社 オートフォーカスカメラ
JP3760846B2 (ja) * 2001-11-22 2006-03-29 コニカミノルタフォトイメージング株式会社 被写体抽出装置及び撮影装置
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP2003344891A (ja) * 2002-05-23 2003-12-03 Canon Inc 撮影モード自動設定カメラ
JP4090276B2 (ja) * 2002-05-28 2008-05-28 富士フイルム株式会社 デジタルカメラ
JP2004040549A (ja) * 2002-07-04 2004-02-05 Fuji Photo Film Co Ltd デジタルカメラ
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
JP2004205792A (ja) 2002-12-25 2004-07-22 Fuji Photo Film Co Ltd オートフォーカス制御方法および画像記録装置
KR100547992B1 (ko) * 2003-01-16 2006-02-01 삼성테크윈 주식회사 디지털 카메라와 그의 제어 방법
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
JP4250436B2 (ja) * 2003-02-27 2009-04-08 キヤノン株式会社 表示制御装置
JP2004356984A (ja) * 2003-05-29 2004-12-16 Casio Comput Co Ltd 撮影画像処理装置およびプログラム
JP2005012307A (ja) * 2003-06-17 2005-01-13 Minolta Co Ltd 撮像装置
JP4022828B2 (ja) * 2003-06-30 2007-12-19 カシオ計算機株式会社 撮像装置、オートフォーカス制御方法、及びオートフォーカス制御プログラム
JP2005045600A (ja) * 2003-07-23 2005-02-17 Casio Comput Co Ltd 画像撮影装置およびプログラム
US8159561B2 (en) * 2003-10-10 2012-04-17 Nikon Corporation Digital camera with feature extraction device
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
CN2667571Y (zh) * 2003-10-27 2004-12-29 北京雷波泰克信息技术有限公司 快速多目标人像自动识别与跟踪安全防御装置
JP2005140851A (ja) * 2003-11-04 2005-06-02 Olympus Corp オートフォーカスカメラ
JP2005173269A (ja) * 2003-12-11 2005-06-30 Canon Inc 光学機器
US20050248681A1 (en) * 2004-05-07 2005-11-10 Nikon Corporation Digital camera
KR20060007792A (ko) * 2004-07-22 2006-01-26 삼성전자주식회사 오토포커스 제어기능을 구비한 촬상장치 및 그 제어방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730375B2 (en) 2007-05-18 2014-05-20 Casio Computer Co., Ltd. Imaging apparatus having focus control function
CN103905729B (zh) * 2007-05-18 2018-01-16 卡西欧计算机株式会社 摄像装置和聚焦控制方法以及记录介质
CN103905729A (zh) * 2007-05-18 2014-07-02 卡西欧计算机株式会社 摄像装置和聚焦控制方法
US8823864B2 (en) 2007-06-28 2014-09-02 Sony Corporation Image capturing apparatus and associated methodology for auto-focus and facial detection
CN103037164A (zh) * 2007-08-10 2013-04-10 奥林巴斯映像株式会社 摄像装置以及摄像方法
CN103037164B (zh) * 2007-08-10 2016-05-25 奥林巴斯株式会社 摄像装置以及摄像方法
CN102752509A (zh) * 2007-08-31 2012-10-24 卡西欧计算机株式会社 摄像装置及其程序
CN102752509B (zh) * 2007-08-31 2016-06-22 卡西欧计算机株式会社 摄像装置及其程序
CN101472070B (zh) * 2007-12-28 2013-05-22 卡西欧计算机株式会社 记录符合规定条件的图像的摄像装置及其摄像方法
US8300136B2 (en) 2008-06-26 2012-10-30 Canon Kabushiki Kaisha Imaging apparatus for detecting a face image and imaging method
CN102055903A (zh) * 2009-11-06 2011-05-11 三洋电机株式会社 电子照相机
CN102833482A (zh) * 2011-06-14 2012-12-19 三星电子株式会社 调整自动聚焦的设备和方法
CN102833482B (zh) * 2011-06-14 2017-06-30 三星电子株式会社 调整自动聚焦的设备和方法
US9521311B2 (en) 2013-03-28 2016-12-13 Huawei Technologies Co., Ltd. Quick automatic focusing method and image acquisition apparatus
CN104184942A (zh) * 2014-07-28 2014-12-03 联想(北京)有限公司 一种信息处理的方法及电子设备
CN108780261A (zh) * 2016-04-15 2018-11-09 深圳市大疆创新科技有限公司 使用自适应步长的对比度检测自动聚焦
US10798286B2 (en) 2016-04-15 2020-10-06 SZ DJI Technology Co., Ltd. Contrast detection autofocus using adaptive step
CN108780261B (zh) * 2016-04-15 2020-11-17 深圳市大疆创新科技有限公司 使用自适应步长的对比度检测自动聚焦
US10944897B2 (en) 2016-04-15 2021-03-09 SZ DJI Technology Co., Ltd. Contrast detection autofocus using adaptive step

Also Published As

Publication number Publication date
CN100431337C (zh) 2008-11-05
KR100821801B1 (ko) 2008-04-11
JP2007010898A (ja) 2007-01-18
TW200710527A (en) 2007-03-16
US20070003267A1 (en) 2007-01-04
TWI330747B (en) 2010-09-21
KR20070001817A (ko) 2007-01-04

Similar Documents

Publication Publication Date Title
CN100431337C (zh) 摄影装置以及自动聚焦控制方法
US7652714B2 (en) Imaging device and image processing method
KR101634247B1 (ko) 피사체 인식을 알리는 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법
JP5299912B2 (ja) 撮像装置及び画像ファイルのデータ構造
CN1956501A (zh) 透镜位置调整装置、透镜位置调整方法和记录介质
CN101047792A (zh) 图像处理装置、图像处理方法和成像装置
CN1495460A (zh) 自动聚焦装置和方法，摄影装置
JP2008289004A (ja) 撮像装置及びそのプログラム
JP2007215091A (ja) 撮像装置及びそのプログラム
CN1960446A (zh) 摄像装置、摄像方法以及程序
JP2009010776A (ja) 撮像装置、撮影制御方法及びプログラム
CN1856021A (zh) 摄像装置及焦点调节方法
JP2007072254A (ja) 撮像装置及びそのプログラム
CN100345056C (zh) 数字照相机
CN1511412A (zh) 自动聚焦设备、电子照相机和自动聚焦方法
CN1829288A (zh) 摄像装置以及摄像方法
CN1929554A (zh) 摄像装置、透镜装置、摄像系统、及其控制方法
US8054341B2 (en) Photographing apparatus for supporting overriding mode and method of controlling same
KR101760345B1 (ko) 동영상 촬영 방법 및 동영상 촬영 장치
CN1761287A (zh) 图像处理装置和电子照相机
KR101630287B1 (ko) 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법
JP2008004996A (ja) 撮像装置及びそのプログラム
KR20120011920A (ko) 디지털 영상 신호 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체
JP4761048B2 (ja) 撮像装置及びそのプログラム
JP4878978B2 (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1101001

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1101001

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081105

Termination date: 20170627

CF01 Termination of patent right due to non-payment of annual fee