CN102685387A - 摄像设备 - Google Patents

摄像设备 Download PDF

Info

Publication number
CN102685387A
CN102685387A CN2012100665928A CN201210066592A CN102685387A CN 102685387 A CN102685387 A CN 102685387A CN 2012100665928 A CN2012100665928 A CN 2012100665928A CN 201210066592 A CN201210066592 A CN 201210066592A CN 102685387 A CN102685387 A CN 102685387A
Authority
CN
China
Prior art keywords
detecting unit
output
unit
focus
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100665928A
Other languages
English (en)
Other versions
CN102685387B (zh
Inventor
瓦田昌大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102685387A publication Critical patent/CN102685387A/zh
Application granted granted Critical
Publication of CN102685387B publication Critical patent/CN102685387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

一种摄像设备，用于拍摄由摄像镜头形成的被摄体图像，所述摄像设备包括：焦点检测单元，用于在摄像平面上多个位置处检测所述被摄体图像的焦点位置；预测单元，用于存储所述焦点检测单元的过去的输出，并且基于所存储的输出而预测所述被摄体图像的焦点位置的轨迹，从而预测在预定时刻的所述被摄体图像的焦点位置；检测单元，用于检测所述被摄体图像在所述摄像平面上的移位；以及控制单元，用于基于所述检测单元的输出而改变所述预测单元的输出。

Description

摄像设备
技术领域
本发明涉及一种摄像设备中的自动调焦技术。
背景技术
如日本特开昭60-249477所述，过去提出了一种焦点检测设备，其基于亮度信号或色差信号的变化来检测主被摄体在二维摄像平面上的相对移动，以进行焦点检测，从而根据主被摄体的移动来移动焦点检测位置。
如日本专利03218730所述，过去也提出了一种焦点检测设备，其在连续进行主被摄体的焦点检测时，基于焦点检测的特征的时间变化来预测预定时间之后的主被摄体的焦点位置。
日本专利03218730所述的焦点检测设备基于预定过去时间内所获得的焦点检测结果，计算主被摄体在图像面上移动的方向上的移动速度变化曲线，以预测预定时间之后的主被摄体的焦点位置。在计算移动速度变化曲线之前，判断主被摄体在图像面上移动的速度的变化是否超过预定阈值。如果主被摄体在图像面上移动的速度的变化小，则基于在相对长的过去时间内所获得的焦点检测结果来计算主被摄体在图像面上移动的方向上的移动速度变化曲线。如果主被摄体在图像面上移动的速度的变化大，那么基于在相对短的过去时间内所获得的焦点检测结果来计算移动速度变化曲线。利用这一操作，可以使得预测误差小到一定程度。
如上所述，提出了一种即使主被摄体快速移动也可以对主被摄体进行焦点检测的焦点检测设备。然而，当对例如花样滑冰运动员进行焦点检测时，由于例如跳跃或下落，他或她移动的方向在表演中可能快速变化，因而难以持续聚焦于滑冰运动员。这是因为，不仅主被摄体在图像面上移动的方向的速度变化，而且主被摄体在二维摄像平面上的构图变化。
发明内容
本发明使得在具有自动调焦功能的摄像设备中，即使主被摄体的运动特征快速变化也可以持续对主被摄体进行适当焦点调整。
根据本发明的第一方面，提供一种摄像设备，用于拍摄由摄像镜头形成的被摄体图像，所述摄像设备包括：焦点检测单元，用于在摄像平面上的多个位置处检测所述被摄体图像的焦点位置；预测单元，用于存储所述焦点检测单元的过去的输出，并且基于所存储的输出而预测所述被摄体图像的焦点位置的轨迹，从而预测在预定时刻所述被摄体图像的焦点位置；检测单元，用于检测所述被摄体图像在所述摄像平面上的移位；以及控制单元，用于基于所述检测单元的输出而改变所述预测单元的输出。
根据本发明的另一方面，提供一种摄像设备，用于拍摄由摄像镜头形成的被摄体图像，所述摄像设备包括：焦点检测单元，用于在摄像平面上的多个位置处检测所述被摄体图像的焦点位置；预测单元，用于存储所述焦点检测单元的过去的输出，并且基于所存储的输出而预测所述被摄体图像的焦点位置的轨迹，从而预测在预定时刻所述被摄体图像的焦点位置；第一检测单元，用于使用所述第一检测单元受所述摄像镜头影响的方法，检测所述被摄体图像在所述摄像平面上的移位；第二检测单元，用于使用所述第二检测单元不受所述摄像镜头影响的方法，检测所述被摄体图像在所述摄像平面上的移位；以及控制单元，基于所述第一检测单元的输出和所述第二检测单元的输出之间的差，改变所述预测单元的输出。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是示出根据本发明第一实施例的数字照相机的结构的框图；
图2是用于说明相位差AF传感器上焦点检测区域的模式的示意图；
图3是用于说明对比度评价值计算电路的框图；
图4是用于说明预测被摄体在图像面上的移动的方法的图；
图5A和5B是示出通过追踪单元所检测到的被摄体在摄像平面上的移位的图；
图6是示出根据第一实施例的操作的流程图；
图7是示出根据第二实施例的数字照相机的结构的框图；
图8是示出根据第二实施例的操作的流程图；
图9是示出根据第三实施例的数字照相机的结构的框图；
图10是示出根据第三实施例的操作的流程图；以及
图11是示出根据第五实施例的操作的流程图。
具体实施方式
下面将参考图1～11说明本发明的实施例。
第一实施例
数字照相机的结构
图1是示出根据本发明的摄像设备的第一实施例的数字照相机的结构的框图。如图1所示，经由安装部(未示出)中的镜头安装机构将摄像镜头100可拆卸地安装到数字照相机200上。安装部设置有电接触单元107。电接触单元107具有用于包括例如通信时钟线路、数据传送线路、数据接收线路的通信总线线路的端子。这些线路允许数字照相机200和摄像镜头100相互通信。数字照相机200经由电接触单元107与摄像镜头100通信，以控制对摄像镜头100中的调焦透镜101和用于调节入射光的量的光圈102的驱动。尽管图1仅示出调焦透镜101作为摄像镜头100中的透镜，但是在摄像镜头100中还设置有变倍透镜和固定透镜以与它们一起构成镜头单元。另外，电接触单元107设置有通信总线线路和同步信号线路，其中，经由同步信号线路，将图像信号的电荷储存时刻从照相机侧发送至镜头侧。
经由摄像镜头100中的光圈102和包括调焦透镜101的镜头单元将来自被摄体(未示出)的光束引导至数字照相机200中的快速返回镜203。快速返回镜203相对于光轴倾斜地被配置在摄像光路上。镜驱动机构213进行上下驱动以在第一位置(图1所示)和第二位置之间移动快速返回镜203，其中，在第一位置处，快速返回镜203将来自被摄体的光束引导至上面的取景器光学系统，在第二位置处，快速返回镜203退避到摄像光路外。
快速返回镜203在其中心部包括半透半反镜。当快速返回镜203处于下面的第一位置时，来自被摄体的光束的特定成分透过半透半反镜部。通过设置在快速返回镜203的背面上的副镜204反射透过的光束。
将由副镜204反射的光束引导至相位差AF传感器单元205，其中，相位差AF传感器单元205与焦点检测电路206和预测计算电路237一起构成自动调焦单元。由一对众所周知的光瞳分割光学系统和多对众所周知的用于分割副镜204所反射的光束的线传感器构成相位差AF传感器单元205，并且存在与焦点检测区域相对应的线传感器。图2示出相位差AF传感器单元205包括多个焦点检测区域的模式。参考图2，斜线区域表示二维摄像平面上的焦点检测区域。作为本发明实施例的例子所示的相位差AF传感器单元205包括总共45个焦点检测区域，并且将来自与各焦点检测区域相对应的一对线传感器的图像信号输出给焦点检测电路206。另外，将各线传感器的电荷储存时刻输出给焦点检测电路206。在这种情况下，各线传感器的电荷储存时刻是与从该线传感器的电荷储存的开始到结束的期间的中间相对应的时刻，并且表示电荷储存定时的重心。图2示出水平坐标和垂直坐标以指定和说明各焦点检测区域。焦点检测电路206根据从各线传感器输出的输入图像信号，进行众所周知的基于相关运算的相位差检测，并且计算调焦透镜101的当前焦点位置和被摄体的焦点位置之间的离焦量。计算各焦点检测区域中的离焦量，并且将其与相应线传感器的电荷储存时刻一起输出给预测计算电路237。预测计算电路237基于输入的各焦点检测区域的离焦量和来自追踪单元209(后面说明)的输出，预测被摄体在图像面上的移动，从而确定调焦透镜101的所需驱动量。经由系统控制器230将确定的所需驱动量发送给镜头控制器108，并且基于该所需驱动量来控制调焦透镜101的焦点位置。还使用预测计算电路237来存储通过过去的四次焦点检测操作的各次焦点检测操作所获得的各焦点检测区域中的离焦量，并且预测预定时间之后被摄体在图像面上的移动。另外，预测计算电路237在预测主被摄体在图像面上的移动时选择特别关注的焦点检测区域，并且基于来自最终选择的焦点检测区域的输出来预测该移动。尽管基于通过过去四次焦点检测操作的各次焦点检测操作所获得的各焦点检测区域中的离焦量来预测主被摄体在图像面上的移动，但是本发明不局限于此，并且可以改变预测的次数。
另一方面，由快速返回镜203反射的光束经由取景器光学系统到达拍摄者的眼，其中，由存在于焦平面上的取景屏202、五棱镜201和目镜207构成取景器光学系统。另外，将测光单元208配置成倾斜观察通过五棱镜201弯曲的光束，并且在光束的与二维摄像平面相对应的区域内，针对通过分割该区域所获得的多个区域中的每一个区域而进行测光。将在上述分割区域中所获得的测光结果输出给系统控制器230和追踪单元209。
追踪单元209存储在分割出的区域中所获得的紧挨着的前两个帧的测光结果，并且通过众所周知的相关运算来追踪主被摄体在二维摄像平面所位于的区域。将追踪结果输出给系统控制器230，作为包括移动方向和移动量的运动矢量信息。
当快速返回镜203处于上面的第二位置时，来自摄像镜头100的光束经由用作机械快门的焦平面快门210和光学滤波器211到达图像传感器212。光学滤波器211具有用于截止红外线以仅将可见光束引导至图像传感器212的功能和光学低通滤波器的功能。另外，焦平面快门210具有前幕帘和后幕帘，并且控制来自摄像镜头100的光束的透过和遮挡。
另外，数字照相机200包括进行总体控制的系统控制器230。系统控制器230使用例如CPU或MPU，并且控制(后面说明的)各电路的操作。系统控制器230经由通过电接触单元107的通信总线线路与摄像镜头100中的镜头控制器108通信。如系统控制器230一样，镜头控制器108使用例如CPU或MPU，并且控制摄像镜头100中的各电路的操作。
在系统控制器230和镜头控制器108之间的通信中，从系统控制器230发送摄像镜头100中的调焦透镜101的驱动命令、停止命令、驱动量和驱动速度。另外，从系统控制器230发送光圈102的驱动量和驱动速度。而且，从系统控制器230发送用于发送镜头侧的各种类型的数据的请求。
在焦点驱动中，系统控制器230与镜头控制器108通信与透镜驱动方向、驱动量和驱动速度相关联的命令。当镜头控制器108从系统控制器230接收到透镜驱动命令时，镜头控制器108经由透镜驱动控制单元104控制透镜驱动机构103以进行焦点控制，其中，透镜驱动机构103在光轴方向上驱动调焦透镜101。透镜驱动机构103包括作为驱动源的步进电动机。当镜头控制器108从系统控制器230接收到光圈控制命令时，镜头控制器108经由光圈控制驱动单元106，通过控制驱动光圈102的光圈驱动机构105将光圈102控制成命令值。
另外，系统控制器230与快门控制单元215和测光单元208连接。快门控制单元215根据来自系统控制器230的信号，控制焦平面快门210的前幕帘和后幕帘的行进驱动。用于焦平面快门210的前幕帘和后幕帘的驱动源由弹簧构成，并且在快门行进之后需要用于下一操作的弹簧储能。快门储能机构214进行该弹簧储能。系统控制器230存储下面的程序图，该程序图定义用于图像传感器212的电荷储存时间、曝光灵敏度和F值的曝光控制程序，并且基于根据测光单元208或图像传感器212上的预定测光区域的输出所获得的曝光量来设置该程序图。另外，系统控制器230向镜头控制器108发送透镜驱动命令以经由透镜驱动控制单元104来控制透镜驱动机构103。从而在图像传感器212上形成被摄体图像。
照相机DSP 227包括用于计算在对比度AF中所使用的对比度评价值的电路块、以及用于确定进行对比度评价计算的区域的位置和大小的电路块。尽管后面将详细说明这些电路块，但是这里所述的对比度评价值意为表示包括调焦透镜101的光学系统的焦点状态的值。照相机DSP 227经由时序生成器219和选择器222与A/D转换器217连接，并且还与工作存储器226连接。
注意，根据基于来自用于确定全部驱动定时的时序生成器219的信号而控制针对各像素的水平驱动和垂直驱动的驱动器218的输出，控制图像传感器212。因此，光电转换被摄体图像以生成和输出图像信号。通过CDS/AGC电路216放大通过图像传感器212所生成的图像信号，并且通过A/D转换器217转换成数字信号。在利用通过操作开关232的操作输入而设置图像传感器212的摄像帧频时，数字照相机200转换从时序生成器219输出的信号。因此，根据上述设置控制图像传感器212的摄像帧频。可以根据包括运动图像拍摄模式和静止图像拍摄模式的多个拍摄模式来改变摄像帧频，其中，在运动图像拍摄模式下，生成运动图像的图像信号，以及在静止图像拍摄模式下，生成静止图像的图像信号。
经由基于来自系统控制器230的信号而选择信号的选择器222，将来自A/D转换器217的输出输入给存储器控制器228，并且将其全部传送至用作帧存储器的DRAM 229。在摄像机或紧凑型数字照相机中，在拍摄之前，将该传送结果周期性(针对各帧)传送至视频存储器221，以在监视器显示单元220上进行例如取景器显示(实时取景)。在数字单镜头反光照相机中，在拍摄之前，通常通过快速返回镜203和焦平面快门210对图像传感器212遮光，从而不能进行实时取景显示。
在这方面，向上移动快速返回镜203以使其从摄像光路退避，然后打开焦平面快门210，从而使得进行实时取景操作。另外，在实时取景时通过照相机DSP 227或系统控制器230处理来自图像传感器212的图像信号，以获得表示包括调焦透镜101的光学系统的焦点状态的对比度评价值。使用该评价值，这使得能够进行对比度评价方法的焦点检测。
在拍摄时，根据来自系统控制器230的控制信号，从DRAM229读出一个帧的各像素数据，对其进行照相机DSP 227的图像处理，并且将其临时存储在工作存储器226中。通过压缩/解压缩电路225基于预定压缩格式对来自工作存储器226的数据进行压缩，并且将压缩结果存储在外部非易失性存储器224中。通常使用诸如闪速存储器等的非易失性存储器作为非易失性存储器224。可选地，非易失性存储器224可以是硬盘或磁盘。与系统控制器230连接的显示单元231通过使用诸如液晶元件、LED(发光二极管)元件或有机EL元件等的显示元件，显示各类型的开关(后面说明)所设置或选择的照相机工作状态。
操作开关232用作对数字照相机200的各种类型的设置项进行操作输入的操作构件。释放开关SW1 233用于开始诸如测光和焦点检测等的拍摄准备操作。释放开关SW2 234用于开始拍摄操作(用于获得静止图像的电荷储存和电荷读取操作)。实时取景模式开关235用于对实时取景显示进行ON/OFF控制。运动图像开关236用于开始连续拍摄操作(用于获得运动图像的重复电荷储存和电荷读取操作)。
另一方面，在用作镜头单元的摄像镜头100中，镜头控制器108设置有存储器109。存储器109存储包括例如表示摄像镜头100的焦距、全光圈值和可设置光圈驱动速度的多个信息的性能信息、以及作为用于识别摄像镜头100的固有信息的镜头ID(识别)信息。注意，通过在将摄像镜头100安装至数字照相机200上时的初始通信，将该性能信息和镜头ID信息发送给系统控制器230，并且通过系统控制器230将其存储在EEPROM 223中。
另外，摄像镜头100设置有用于检测调焦透镜101的位置信息的透镜位置信息检测单元110。将由透镜位置信息检测单元110所检测到的透镜位置信息读入至镜头控制器108。使用透镜位置信息来控制对调焦透镜101的驱动，并且经由电接触单元107将其发送给系统控制器230。透镜位置信息检测单元110使用例如用于检测电动机的转动脉冲计数的脉冲编码器，其中，例如，该电动机形成例如透镜驱动机构。透镜位置信息检测单元110的输出与镜头控制器108中的硬件计数器(未示出)连接，并且在驱动调焦透镜101时，由硬件计数器对调焦透镜101的位置信息进行计数。当镜头控制器108读取透镜位置信息时，镜头控制器108访问内部硬件计数器的寄存器，并且读取所存储的计数器值。
接着将参考图3说明照相机DSP 227的对比度评价值计算电路块。图3是用于说明照相机DSP 227中的电路块的框图。
如上所述，通过CDS/AGC电路216放大由图像传感器212生成的图像信号，并且通过A/D转换器217将该图像信号转换成数字信号。经由选择器222将数字化后的图像数据输入给照相机DSP 227。为了计算对比度AF中所使用的对比度评价值，首先经由照相机DSP 227中的DSP内部存储器241，将输入给照相机DSP 227的图像数据输入给焦点检测区域提取块242。焦点检测区域提取块242用于从整个画面的图像数据裁切焦点检测区域及其附近的图像，并且在随后阶段将裁切出的图像发送给对比度评价值计算块243。希望焦点检测区域具有约画面的外框的大小的1/5～1/10的大小。注意，可以通过系统控制器230在焦点检测区域提取块242中设置画面内的焦点检测区域的位置和大小。对比度评价值计算块243用于通过数字滤波计算从焦点检测区域及其附近的图像提取预定频率成分，并且将其发送给系统控制器230作为对比度评价值。
用于预测被摄体在图像面上的移动的方法
接着将说明用于通过预测计算电路237预测主被摄体在图像面上的移动的方法。图4是用于说明预测被摄体在图像面上的移动(焦点位置的轨迹)的方法的图。图4示出与紧挨着的前一焦点检测操作相关联的电荷储存时刻(准确地说，与电荷储存时间的存储的中间相对应的时刻)t0、在与相对于紧挨着的前一焦点检测操作的前第n次焦点检测操作相关联的电荷储存时刻tn获得的所检测到的离焦量Dn、以及基于所检测到的离焦量Dn驱动调焦透镜101的驱动量Mn。在时刻tp，开始将调焦透镜101移动基于通过紧挨着的前一焦点检测操作和更前面的焦点检测操作所获得的离焦量D-3～D0所预测出的驱动量，并且图4示出从时刻t0到时刻tp驱动调焦透镜101的量Mp。另外，将在电荷储存时刻tn时被摄体在图像面上的位置定义为fn，并且将在时刻tp时被摄体在图像面上的位置定义为fp。另外，将调焦透镜101的焦点的成像位置定义为Ln。此外，基于在时刻t0～t-3所获得的焦点检测结果，图4示出在下一焦点检测时刻tp的被摄体在图像面上的移动预测位置fp和将调焦透镜101驱动至位置fp的驱动量Mp。
在基于过去的四个焦点检测结果来获得被摄体在图像面上移动的速度时，通过三次方程f(t)描述被摄体的图像面移动函数：
f(t)＝h×t3+i×t2+j×t+k...(1)
当将(t-3，f-3)～(t0，f0)代入方程(1)时，获得：
t - 3 3 t - 3 2 t - 3 1 t - 2 3 t - 2 3 t - 2 1 t - 1 3 t - 1 2 t - 1 1 t 0 3 t 0 2 t 0 1 h i j k = f - 3 f - 2 f - 1 0 . . . ( 2 )
求解方程(2)求出三次方程f(t)的各项的系数(h，i，j，k)。
注意，如下获得被摄体在图像面上的位置fn：
fn＝Ln+Dn...(3)
根据所获得的被摄体的图像面移动函数f(t)，如下获得在时刻tp被摄体在图像面上的预测位置fp：
fp＝h×tp 3+i×tp 2+j×tp+k...(4)
如下获得用于将焦点位置移动至在时刻tp被摄体在图像面上的预测位置fp的调焦透镜101的驱动量Mp：
Mp＝fp-L0...(5)
通过相位差AF传感器单元205和焦点检测电路206检测在时刻tp获得的所检测到的离焦量Dp(未示出)，以递归预测被摄体在图像面上的移动。当在焦点检测时刻tp获得的所检测到的离焦量Dp(未示出)具有小的值时，这意味着预测精度高。然而，当在焦点检测时刻tp获得的所检测到的离焦量Dp具有大的值时，这意味着预测精度低。
尽管在上述预测方法中使用三次方程来预测被摄体在图像面上的移动，但是本发明不局限于此，并且可以根据预测计算电路237的运算性能，使用任意多阶方程来预测该移动。
预测方法的切换
接着将说明根据本实施例的特征操作，即用于基于被摄体在与光轴垂直的二维平面上的移位来切换用于预测被摄体在图像面上的移动的方法的操作。
图5A和5B是示出由追踪单元209所检测到的被摄体在摄像平面上的移位的图。图5A以图像传感器212的摄像平面为基准示出被摄体的水平移位501。另外，图5B以图像传感器212的摄像平面为基准示出被摄体的垂直移位502。参考图5A和5B，水平检测移位轴和垂直检测移位轴上所标记的数字分别对应于图2所示的焦点检测区域的坐标。图5A和5B的图中所示的水平移位501和垂直移位502分别假定被摄体是移动的人，并且示出在该人跳跃时他或她的移位。参考图5A，在完成预测运算的时刻t-3～t0和时刻tp，被摄体持续落在水平坐标10的焦点检测范围内。参考图5B，在时刻t-3～t-1，被摄体落在垂直坐标3的焦点检测范围内。然而，当被摄体，即该人跳跃时，他或她在时刻t0移动进垂直坐标0的焦点检测范围中，并且在完成预测运算的时刻tp移动进垂直坐标2的焦点检测范围中。
预测计算电路237经由系统控制器230获得从追踪单元209输出的、包括被摄体的移动方向和移动量的运动矢量信息，并且利用焦点检测区域的坐标位置对其进行替换。因此，识别被摄体是否落在该焦点检测区域内。
当从追踪单元209输出的被摄体的移动量超过预定阈值(以下称为摄像平面移动阈值)时，将用于预测被摄体在图像面上的移动的方法改变成根据本实施例的特征操作。更具体地，将预测中所使用的焦点检测范围改变成被摄体的移动目的地，并且对于预测仅使用由更靠近紧挨着的前一焦点检测操作的焦点检测操作获得的所检测到的离焦结果，并且降低了图像面移动函数f(t)的阶次。此外，更具体地，在改变后的焦点检测范围中，使用通过在时刻t-1和t0的两次焦点检测操作获得的所检测到的离焦结果，降低图像面移动函数f(t)的阶次以获得线性方程，并且进行预测计算，从而基于该预测结果来驱动调焦透镜101。
这样切换预测方法使得在根据追踪单元209所获得的输出结果而预期被摄体的操作快速改变时，可以防止由于被摄体的运动受到过去的不同离焦检测结果的影响而导致预测精度下降。
用于设置摄像平面移动阈值的方法
使用摄像平面移动阈值判断是否将关注焦点检测区域移动至邻近焦点检测区域或更远的焦点检测区域。因此，为了检测被摄体是否移动到了邻近焦点检测区域，希望采用参考图像传感器212的摄像平面、从当前焦点检测区域到相邻焦点检测区域的水平位置间隔和垂直位置间隔各自的约50～100％的阈值作为摄像平面移动阈值。然而，本发明不局限于此，并且在假定在摄像平面上的大的图像中的所拍摄的被摄体的情况下，可以进一步增大阈值，并且可以仅在被摄体移动大的量时才改变预测操作。
数字照相机的操作
将参考图6所示的流程图说明根据上述第一实施例的操作。系统控制器230进行下面的控制，除非另有说明。
首先，按下释放开关SW1 233以发出AF命令，从而使得开始该操作。注意，预先接通数字照相机200的电源。
在步骤S601，进行相位差AF传感器单元205的各线传感器的电荷储存。在电荷储存之后，相位差AF传感器单元205向焦点检测电路206输出储存结果和电荷储存时刻(准确地说，与电荷储存时间的储存的中间相对应的时刻)。在输出之后，处理进入步骤S602。
在步骤S602，焦点检测电路206基于由相位差AF传感器单元205所获得的电荷储存结果来计算离焦量，并且将离焦量和电荷储存时刻输出给预测计算电路237。预测计算电路237存储输入的离焦量和电荷储存时刻的多个信息。在该存储之后，处理进入步骤S603。
在步骤S603，使用测光单元208所获得的用于测光计算的图像数据，与相位差AF传感器单元205的焦点检测操作同步，追踪单元209检测被摄体在摄像平面上的移动方向和移动量。用于识别被摄体的方法是使用众所周知的技术的所谓的被摄体追踪。更具体地，在第一焦点检测时刻，创建用于被摄体的模板以适于诸如中心等的关注焦点检测区域。由亮度信息和颜色信息形成用于被摄体的模板。在测光单元208所获得的用于测光计算的图像数据中，通过将最接近用于被摄体的模板的摄像平面上的位置确定为移动后的被摄体的位置来检测被摄体的移动方向和移动量。追踪单元209基于与紧挨着的前一焦点检测操作的时刻相对应的移动之后的被摄体位置和与相对于紧挨着的前一焦点检测操作的前一次焦点检测操作的时刻相对应的移动之前的被摄体位置，计算被摄体的移动方向和移动量。针对摄像平面上的水平方向和垂直方向各自分开地检测被摄体的移动方向和移动量，并且经由系统控制器230将其输出给预测计算电路237。在计算之后，处理进入步骤S604。
在步骤S604，预测计算电路237将输入的被摄体的移动的移动量与预定摄像平面移动阈值进行比较。如果被摄体的移动量大于阈值，则处理进入步骤S606。如果被摄体的移动量等于或小于阈值，则处理进入步骤S605。
在步骤S605，使用关注焦点检测区域中的多个过去的焦点检测信息(t0，f0)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。注意，在处理通过步骤S605的子例程中，不改变焦点检测区域。在计算之后，处理进入步骤S608。
在步骤S606，基于被摄体在摄像平面上的移动量而改变由预测计算电路237所识别的关注焦点检测区域。在改变之后，处理进入步骤S607。在步骤S607，使用在步骤S606改变后的关注焦点检测区域中的紧挨着的前一焦点检测信息(t0，f0)和改变之前的关注焦点检测区域中的多个更过去的焦点检测信息(t-1，f-1)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。在计算之后，处理进入步骤S608。
在步骤S608，透镜驱动控制单元104基于在步骤S605或S607计算出的透镜驱动目标位置，经由透镜驱动机构103驱动调焦透镜101。在驱动之后，处理进入步骤S609。
在步骤S609，预测计算电路237存储用于下一预测计算操作的透镜驱动目标位置。在存储之后，处理进入步骤S610。在步骤S610，判断是否释放了释放开关SW1 233。如果没有释放释放开关SW1 233，则处理进入步骤S611。如果释放了释放开关SW1 233，则处理返回到步骤S601。
在步骤S611，判断是否按下了释放开关SW2 234。如果按下了释放开关SW2 234，则处理进入步骤S612，在步骤S612，进行预定拍摄操作。如果没有按下释放开关SW2 234，则结束根据本实施例的操作。
利用上述操作，即使被摄体的运动特征快速改变，也可以在适当切换关注焦点检测区域时，进行焦点位置的预测计算，从而持续聚焦于被摄体。
第一实施例的变形例
在第一实施例中，追踪单元209使用通过前一焦点检测操作所获得的测光图像数据和通过相对于前一焦点检测操作的前一次焦点检测操作所获得的测光图像数据进行相关运算，以检测被摄体的移动方向和移动量。然而，本发明不局限于此，并且可以根据需要，经由系统控制器230从镜头控制器108向追踪单元209输出摄像镜头100的图像倍率信息(图像倍率系数)，从而使得追踪单元209在基于图像倍率信息对测光图像数据进行变倍之后，进行相关运算。该操作使得可以提高相关运算精度，进而提高预测计算精度，从而更精确地控制焦点。
另外，尽管在第一实施例中，预测计算电路237向任意方向改变关注焦点检测区域，但是本发明不局限于此，并且预测计算电路237可以仅向特定方向改变关注焦点检测区域。利用这一操作，例如，当控制焦点以追踪花样滑冰运动员的表演时，预先进行设置以仅在垂直方向上改变焦点检测范围。当滑冰运动员在表演中跳跃时，预期他/她的预测位置改变的可能性高，因而进行该操作以改变预测计算方法。
第二实施例
在第一实施例，追踪单元209使用测光单元208所获得的测光图像数据来检测被摄体在摄像平面上的移动。然而，本发明不局限于此，并且数字照相机200可以设置有陀螺仪来检测数字照相机200的姿势移位，从而在使用该姿势移位来切换关注焦点检测区域时，进行被摄体在图像面上的位置的预测计算。当例如专业照相机爱好者追踪被摄体时，通常认为拍摄者适当保持构图，并且基于与关注焦点检测区域中的预定数量的过去的焦点检测操作相对应的所检测到的离焦结果，持续预测被摄体在图像面上的位置。另一方面，当被摄体在摄像平面上改变其位置太快以使得拍摄者不能适当保持构图时，拍摄者快速改变数字照相机200的姿势以对图像进行重新构图。通过陀螺仪检测到数字照相机200的快速姿势移位以适当改变用于预测被摄体在图像面上的位置的方法。下面将更详细地说明本发明。
数字照相机的结构
图7是示出根据第二实施例的数字照相机的结构的框图。注意，在图7中，与第一实施例的图1中相同的附图标记表示相同构件。与图1的不同在于，在图7中，代替图1所示的设置在数字照相机200中的追踪单元209，数字照相机200包括陀螺仪238。
陀螺仪238检测围绕总共三个轴：侧倾(roll)/俯仰(pitch)/横摆(yaw)轴的角速度，并且通过对围绕这三个轴的角速度进行积分，计算从紧挨着的前一焦点检测时刻t0到与相对于紧挨着的前一焦点检测操作的前一次焦点检测操作相对应的焦点检测时刻t-1的期间的角位移。在计算之后，陀螺仪238将上述角位移转换成图2所示的焦点检测区域的坐标位置，并且经由系统控制器230将其输出给预测计算电路237。预测计算电路237基于从焦点检测电路206输入的各焦点检测区域的离焦量和从陀螺仪238输入的被转换成焦点检测区域的坐标位置的角位移，预测被摄体在图像面上的移动，从而确定调焦透镜101所需的驱动量。由于陀螺仪238将角位移转换成焦点检测区域的坐标位置，所以预测计算电路237的操作细节与第一实施例的相同。
数字照相机的操作
下面将参考图8所示的流程图说明根据上述第二实施例的操作。系统控制器230进行下面的控制，除非另有说明。
首先，按下释放开关SW1 233以发出AF命令，从而开始该操作。注意，预先接通数字照相机200的电源。
在步骤S801，进行相位差AF传感器单元205的各线传感器的电荷储存。在电荷储存之后，相位差AF传感器单元205向焦点检测电路206输出储存结果和电荷储存时刻(准确地说，与电荷储存时间的储存的中间相对应的时刻)。在输出之后，处理进入步骤S802。
在步骤S802，焦点检测电路206基于由相位差AF传感器单元205所获得的电荷储存结果计算离焦量，并且将离焦量和电荷储存时刻输出给预测计算电路237。预测计算电路237存储输入的离焦量和电荷储存时刻的多个信息。在存储之后，处理进入步骤S803。
在步骤S803，陀螺仪238检测数字照相机200的姿势的变化。陀螺仪238经由系统控制器230向预测计算电路237输出被转换成图2所示的焦点检测区域的坐标位置的角位移。在角位移输出之后，处理进入步骤S804。
在步骤S804，预测计算电路237将输入的角位移与预定角速度阈值进行比较。如果角位移大于阈值，则处理进入步骤S806。如果角位移等于或小于阈值，则处理进入步骤S805。
在步骤S805，使用关注焦点检测区域中的多个过去的焦点检测信息(t0，f0)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。注意，在处理通过步骤S805的子例程中，不改变焦点检测区域。在计算之后，处理进入步骤S808。
在步骤S806，基于被转换成焦点检测区域的坐标位置的角位移，改变由预测计算电路237所识别的关注焦点检测区域。在改变之后，处理进入步骤S807。在步骤S807，使用在步骤S806改变后的关注焦点检测区域中的紧挨着的前一焦点检测信息(t0，f0)和改变之前的关注焦点检测区域中的多个更过去的焦点检测信息(t-1，f-1)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。在计算之后，处理进入步骤S808。
在步骤S808，透镜驱动控制单元104基于在步骤S805或S807所计算出的透镜驱动目标位置，经由透镜驱动机构103驱动调焦透镜101。在驱动之后，处理进入步骤S809。
在步骤S809，预测计算电路237存储用于下一预测计算操作的透镜驱动目标位置。在存储之后，处理进入步骤S810。
在步骤S810，判断是否释放了释放开关SW1 233。如果没有释放释放开关SW1 233，则处理进入步骤S811。如果释放了释放开关SW1 233，则处理返回到步骤S801。
在步骤S811，判断是否按下了释放开关SW2 234。如果按下了释放开关SW2 234，则处理进入步骤S812，在步骤S812，进行预定拍摄操作。如果没有按下释放开关SW2 234，则结束根据本实施例的操作。
利用这一操作，可以通过陀螺仪238检测数字照相机200的快速姿势移位，并且可以适当改变用于预测被摄体在图像面上的位置的方法，从而持续聚焦于被摄体。更具体地，在图5B所示的变形例中，当被摄体，即该人跳跃时，拍摄者使数字照相机200面朝上，以使得在时刻t0跳跃的被摄体落在想要的构图的范围内。另外，当被摄体，即该人在跳跃之后落地时，将数字照相机200的姿势改变成面朝下姿势，从而使得在时刻tp落地的被摄体落在想要的构图的范围内。因此，在由于快速移动而可能要落在想要的构图的范围外部的被摄体可以落在该范围内的状况下，例如，在拍摄者是专业照相机爱好者的状况下，可以适当改变用于预测被摄体在图像面上的位置的方法。
第二实施例的变形例
尽管在第二实施例中说明了将陀螺仪238内置于图7中的数字照相机200的结构，但是本发明不局限于此，并且可以采用将陀螺仪238内置于摄像镜头100中的结构。在后一情况下，经由镜头控制器108到系统控制器230，将来自陀螺仪238的输出发送给数字照相机200，从而进行与第二实施例中相同的操作。
第三实施例
在第一实施例中，当拍摄者需要通过平转(pan)/俯仰(tilt)操作再次确定构图以聚焦于不同被摄体时，必须临时释放释放开关SW1 233以结束焦点检测操作。另外，在第二实施例中，必须在短时间段内校正在被摄体的快速移动时所遇到的构图误差。为了克服这些制约，可以采用下面的结构，在该结构中，数字照相机200包括根据第一实施例的追踪单元(受摄像镜头影响的第一检测部件)209和根据第二实施例的陀螺仪(不受摄像镜头影响的第二检测部件)238。下面将详细说明第三实施例。
数字照相机的结构
图9是示出根据第三实施例的数字照相机的结构的框图。与示出第一实施例的图1和示出第二实施例的图7的不同在于，在图9中，数字照相机200包括如第一实施例所述的追踪单元209和如第二实施例所述的陀螺仪238两者。
经由系统控制器230将基于测光图像数据的被摄体的移动方向和移动量从追踪单元209输入给预测计算电路237。还经由系统控制器230将数字照相机200的姿势的角位移从陀螺仪238输入给预测计算电路237。将诸如被摄体的移动方向和移动量以及角位移等的上述多个信息转换成参考图2所述的焦点检测区域的坐标位置，并且将其输入给预测计算电路237。
预测方法的切换
接着将说明根据第三实施例的特征操作，即用于基于诸如被摄体的移动方向和移动量以及角位移等的多个信息来切换预测被摄体在图像面上的移动的方法的操作。
从追踪单元209输出的被摄体的移动方向和移动量包括被摄体本身在摄像平面上的移动和数字照相机200的姿势变化两者。另一方面，从陀螺仪238输出的角位移包括数字照相机200的姿势的变化。因此，使用通过从利用追踪单元209所获得的输出结果减去利用陀螺仪238所获得的输出结果而获得的差，可以更精确地识别被摄体的移动。由于可以分开识别被摄体的移动和数字照相机200的姿势变化，所以在无需临时释放释放开关SW1 233的情况下，在拍摄者持续调整构图时可以根据被摄体的移动来改变焦点检测区域。
用于设置摄像平面移动阈值的方法
在第一实施例中说明了摄像平面移动阈值，但是在第三实施例中，该摄像平面移动阈值还根据摄像镜头100的焦距而改变。这是因为，随着焦距增大，拍摄越大的被摄体图像，因而预期关注焦点检测区域的微小移动变得没有必要的可能性更高。希望基于焦距的绝对值改变摄像平面移动阈值。
然而，本发明不局限于此。当摄像镜头100使用变焦透镜时，考虑到在按下释放开关SW1 233时进行变焦操作的可能性，可以基于以紧接着按下释放开关SW1 233之后的焦距为基准的焦距的变化量或变化率来改变摄像平面移动阈值。
数字照相机的操作
将参考图10所示的流程图说明根据上述第三实施例的操作。系统控制器230进行下面的控制，除非另外说明。
首先，按下释放开关SW1 233以发出AF命令，从而使得开始该操作。注意，预先接通数字照相机200的电源。
在步骤S1001，进行相位差AF传感器单元205的各线传感器的电荷储存。在电荷储存之后，相位差AF传感器单元205向焦点检测电路206输出储存结果和电荷储存时刻(准确地说，与电荷储存时间的储存的中间相对应的时刻)。在输出之后，处理进入步骤S1002。
在步骤S1002，焦点检测电路206基于由相位差AF传感器单元205所获得的电荷储存结果而计算离焦量，并且将离焦量和电荷储存时刻输出给预测计算电路237。预测计算电路237存储输入的离焦量和电荷储存时刻的多个信息。在存储之后，处理进入步骤S1003。
在步骤S1003，使用通过测光单元208所获得的用于测光计算的图像数据，与相位差AF传感器单元205的焦点检测操作同步，追踪单元209检测被摄体在摄像平面上的移动方向和移动量。针对摄像平面上的水平方向和垂直方向各自分开检测被摄体的移动方向和移动量，并且经由系统控制器230将其输出给预测计算电路237。在计算之后，处理进入步骤S1004。
在步骤S1004，陀螺仪238检测数字照相机200的姿势变化。陀螺仪238经由系统控制器230将被转换成图2所示的焦点检测区域的坐标位置的角位移输出给预测计算电路237。在角位移输出之后，处理进入步骤S1005。
在步骤S1005，通过从利用追踪单元209所获得的被摄体的移动方向和移动量减去利用陀螺仪238所获得的角位移来计算校正后的移动方向和移动量。在计算之后，处理进入步骤S1006。在步骤S1006，根据摄像镜头100的焦距来设置在步骤S1007(后面说明)所使用的预定摄像平面移动阈值。在设置之后，处理进入步骤S1007。
在步骤S1007，将针对摄像平面上的水平方向和垂直方向各自分开获得的校正后的移动量与在步骤S1006所设置的摄像平面移动阈值进行比较。如果校正后的移动量大于阈值，则处理进入步骤S1009。如果校正后的移动量等于或小于阈值，则处理进入步骤S1008。
在步骤S1008，使用关注焦点检测区域中的多个过去的焦点检测信息(t0，f0)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。注意，在处理通过步骤S1007的子例程中，不改变焦点检测区域。在计算之后，处理进入步骤S1011。
在步骤S1009，基于被摄体在摄像平面上的移动量改变由预测计算电路237所识别的关注焦点检测区域。在改变之后，处理进入步骤S1010。在步骤S1010，使用在步骤S1009改变之后的关注焦点检测区域中的紧挨着的前一焦点检测信息(t0，f0)、以及改变之前的关注焦点检测区域中的多个更过去的焦点检测信息(t-1，f-1)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。在计算之后，处理进入步骤S1011。
在步骤S1011，透镜驱动控制单元104基于在步骤S1008或S1010所计算出的透镜驱动目标位置，经由透镜驱动机构103驱动调焦透镜101。在驱动之后，处理进入步骤S1012。
在步骤S1012，预测计算电路237存储用于下一预测计算操作的透镜驱动目标位置。在存储之后，处理进入步骤S1013。在步骤S1013，判断是否释放了释放开关SW1 233。如果没有释放释放开关SW1 233，则处理进入步骤S1014。如果释放了释放开关SW1 233，则处理返回到步骤S1001。
在步骤S1014，判断是否按下了释放开关SW2 234。如果按下了释放开关SW2 234，则处理进入步骤S1015，在步骤S1015，进行预定拍摄操作。如果没有按下释放开关SW2 234，则结束根据本实施例的操作。
利用上述操作，可以更精确地识别被摄体的移动，因而提高了用于焦点检测的预测操作的精度。另外，由于可以分开识别被摄体的移动和数字照相机200的姿势变化，所以在无需临时释放释放开关SW1 23的情况下，在拍摄者持续调整构图时可以根据被摄体的移动来改变焦点检测区域。而且，无需在短时间段内校正在被摄体的快速移动时所遇到的构图误差。
第四实施例
在第一～第三实施例中，当关注焦点检测区域移动时，使用该移动之后的关注焦点检测区域中的紧挨着的前一焦点检测信息(t0，f0)和该移动之前的关注焦点检测区域中的多个更过去的焦点检测信息(t-1，f-1)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。然而，本发明不局限于此。当关注焦点检测区域移动时，可以仅使用该移动之后的关注焦点检测区域中的紧挨着的前一焦点检测信息(t0，f0)和该移动之前的关注焦点检测区域中的一个更过去的焦点检测信息(t-1，f-1)来计算透镜驱动量Mp。
利用这一操作，当被摄体在除被摄体在图像面上移动的方向以外的方向上移动时，在无需参考旧的焦点检测结果，仅使用新的焦点检测结果来进行预测计算，从而增加了提高预测精度的可能性。
可以以与第一～第三实施例中相同的方式实现根据第四实施例的数字照相机的结构和操作步骤。也就是说，如上所述，仅需要在第二预测计算中改变多个过去的焦点检测信息的参考范围，并且根据该参考范围将图像面移动函数f(t)的阶次降低成二阶。
第五实施例
在第一、第三或第四实施例中，当追踪单元209检测被摄体的移动量时，预测计算电路237判断是否要改变关注焦点检测范围。然而，本发明不局限于此。追踪单元209可以检测移动量，并且基于检测时的相关运算中的相关程度来计算可靠性水平。可选地，追踪单元209可以将计算出的可靠性水平输出给预测计算电路237，并且预测计算电路237可以基于该可靠性水平判断是否改变关注焦点检测范围。下面将更详细地说明第五实施例。
数字照相机的结构
根据第五实施例的数字照相机200的结构与根据参考图1所述的第一实施例的数字照相机200的相同。然而，追踪单元209基于关注被摄体的大小、以及为了检测被摄体的移动方向和移动量所进行的已知相关运算的相关程度，计算相关运算的可靠性水平。追踪单元209经由系统控制器230将计算出的可靠性水平与所检测到的被摄体的移动方向和移动量一起输出给预测计算电路237。
通常，随着被摄体的大小增大，相关运算使用更大数量的像素来判断检测结果是否具有相关性，从而使得可以更高精度进行计算。另外，即使在拍摄是同一被摄体时，如果假定被摄体是例如人，则相关程度随着人的姿势变化而下降。在这种情况下，可靠性水平太小以至于不能获得被摄体的移动方向和移动量。因此，将可靠性水平计算为数值，从而使得如果被摄体的大小大于预定标准，则可靠性水平高，而如果被摄体的大小小于预定标准，则可靠性水平低。另外，将可靠性水平计算为数值，从而使得如果相关程度高于预定标准，则可靠性水平高，而如果相关程度低于预定标准，则可靠性水平低。作为例子，通过下面的方程将可靠性水平R计算为数值：
R＝α×(Sin/Sstd)×(Cin/Cstd)...(6)
其中，α是比例系数，Sin是测光图像数据中的被摄体的大小，Sstd是基准大小，Cin是相关程度，并且Cstd是基准相关程度。
在方程(6)中，比例系数是任意自然数，其中，通过设置比例系数来调整可靠性水平R可取的数值的范围。
数字照相机的操作
将参考图11所示的流程图说明上述根据第五实施例的操作。系统控制器230进行下面的控制，除非另外说明。
首先，按下释放开关SW1 233以发出AF命令从而使得开始该操作。注意，预先接通数字照相机200的电源。
在步骤S1101，进行相位差AF传感器单元205的各线传感器的电荷储存。在电荷储存之后，相位差AF传感器单元205向焦点检测电路206输出储存结果和电荷储存时刻(准确地说，与电荷储存时间的储存的中间相对应的时刻)。在输出之后，处理进入步骤S1102。
在步骤S1102，焦点检测电路206基于通过相位差AF传感器单元205所获得的电荷储存结果来计算离焦量，并且将离焦量和电荷储存时刻输出给预测计算电路237。预测计算电路237存储输入的离焦量和电荷储存时刻的多个信息。在该存储之后，处理进入步骤S1103。
在步骤S1103，使用由测光单元208所获得的用于测光计算的图像数据，与相位差AF传感器单元205的焦点检测操作同步，追踪单元209检测被摄体在摄像平面上的移动方向和移动量。针对摄像平面上的水平方向和垂直方向各自分开检测被摄体的移动方向和移动量，并且经由系统控制器230将其输出给预测计算电路237。在计算之后，处理进入步骤S1104。
在步骤S1104，预测计算电路237将输入的相关运算的可靠性水平与预定可靠性水平阈值进行比较。如果相关运算的可靠性水平高于可靠性水平阈值，则处理进入步骤S1105。如果相关运算的可靠性水平等于或低于可靠性水平阈值，则处理进入步骤S1114。
在步骤S1105，预测计算电路237将输入的被摄体的移动量与预定摄像平面移动阈值进行比较。如果被摄体的移动量大于阈值，则处理进入步骤S1107。如果被摄体的移动量等于或小于阈值，则处理进入步骤S1106。
在步骤S1106，使用关注焦点检测区域中的多个过去的焦点检测信息(t0，f0)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。注意，在处理通过步骤S1106的子例程中不改变焦点检测区域。在计算之后，处理进入步骤S1109。
在步骤S1107，基于被摄体在摄像平面上的移动量改变由预测计算电路237所识别的关注焦点检测区域。在改变之后，处理进入步骤S1108。在步骤S1108，使用在步骤S1107改变后的关注焦点检测区域中的紧挨着的前一焦点检测信息(t0，f0)以及改变之前的关注焦点检测区域中的多个更过去的焦点检测信息(t-1，f-1)～(t-3，f-3)，根据方程(1)～(5)计算透镜驱动量Mp。在计算之后，处理进入步骤S1109。
在步骤S1109，透镜驱动控制单元104基于在步骤S1106或S1108所计算出的透镜驱动目标位置，经由透镜驱动机构103驱动调焦透镜101。在驱动之后，处理进入步骤S1110。
在步骤S1110，预测计算电路237存储用于下一预测计算操作的透镜驱动目标位置。在该存储之后，处理进入步骤S1111。在步骤S1111，判断是否释放了释放开关SW1 233。如果没有释放释放开关SW1 233，则处理进入步骤S1112。如果释放了释放开关SW1 233，则处理返回到步骤S1101。
在步骤S1112，判断是否按下了释放开关SW2 234。如果按下了释放开关SW2 234，则处理进入步骤S1113，在步骤S1113，进行预定拍摄操作。如果没有按下释放开关SW2 234，则结束根据该实施例的操作。
在步骤S1114，使用由测光单元208所获得的用于测光计算的图像数据，与相位差AF传感器单元205的焦点检测操作同步，追踪单元209检测被摄体在摄像平面上的移动方向和移动量。检测方法与步骤S1105中所述的相同。预测计算电路237将输入的被摄体的移动量与预定摄像平面移动阈值进行比较。如果被摄体的移动量大于该阈值，则处理进入步骤S1115。在切换焦点检测电路206的关注焦点检测区域之后，处理进入S1116。如果被摄体的移动量等于或小于该阈值，则处理直接进入步骤S1116。在步骤S1116，基于关注焦点检测区域中的紧挨着的前一检测到的离焦量设置透镜驱动目标位置。在设置之后，处理进入步骤S1109。
对于上述操作，如果相关运算的可靠性水平高，则估计获得不存在离焦的大的被摄体图像，因此预测运算适当，因而根据前一预测运算方程进行预测计算来控制焦点。然而，如果相关运算的可靠性水平低，则获得存在离焦的大的被摄体图像，因此预测运算不适当，因而改变要参考的所检测到的离焦量，并且进行预测运算来控制焦点。利用预测运算中的这一改变，可以提高焦点追踪能力。
第五实施例的变形例
在第五实施例中，基于从追踪单元209输出的可靠性水平和预定可靠性水平阈值之间的大小关系改变预测运算。然而，本发明不局限于此。如果与紧挨着的前一焦点控制操作相关联的可靠性水平高于与相对于紧挨着的前一焦点控制操作的前一次焦点控制操作相关联的可靠性水平，则估计预测运算适当，因而根据前一预测运算方程进行预测运算来控制焦点。另外，如果与紧挨着的前一焦点控制操作相关联的可靠性水平低于与相对于紧挨着的前一焦点控制操作的前一次焦点控制操作相关联的可靠性水平，则估计预测运算不适当，因而改变要参考的所检测到的离焦量，并且进行预测运算来控制焦点。利用这一操作，如第五实施例一样，可以提高焦点追踪能力。
另外，在第五实施例中，当如步骤S1107或S1115所述，改变关注焦点检测区域时，如果由于不可能进行距离测量，所以不能获得改变目的地处的焦点检测区域中的所检测到的离焦量，则不能继续焦点预测运算。然而，本发明不局限于此。在通过追踪单元209检测被摄体的移动方向和移动量时，检测(输出)多个候选移位，并且基于它们的可靠性进行排序。如果在作为具有最高可靠性水平的候选的改变后的焦点检测区域中，由于不可能进行距离测量(不可能进行焦点检测)，所以不能获得所检测到的离焦量，则将关注焦点检测区域改变成作为具有第二最高可靠性水平的候选的焦点检测区域。利用这一操作，即使在关注焦点检测区域的改变目的地处不可能进行距离测量，也可以容易地继续焦点预测运算。
此外，在第五实施例中，基于作为具有最高可靠性水平的候选的改变之后的焦点检测区域中的紧挨着的前一所检测到的离焦量以及改变之前的焦点检测区域中的过去所检测到的离焦量，进行预测运算来控制焦点。然而，本发明不局限于此。在通过追踪单元209检测被摄体的移动方向和移动量中，检测多个候选，并且基于它们的可靠性进行排序。针对这些候选中的每一个设置与可靠性水平相对应的权重系数，并且经由系统控制器230将权重系数从追踪单元209输出给预测计算电路237。预测计算电路237计算与从追踪单元209输出的多个候选相对应的预测运算方程，以计算这些候选的目标位置处的透镜驱动量。将计算出的透镜驱动量乘以相应的权重系数，并且相加(合成)该积以使用该和作为适当目标位置处的透镜驱动量来控制焦点。利用这一操作，可以提高焦点追踪能力，如第五实施例一样。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (20)

1.一种摄像设备，用于拍摄由摄像镜头形成的被摄体图像，所述摄像设备包括：
焦点检测单元，用于在摄像平面上的多个位置处检测所述被摄体图像的焦点位置；
预测单元，用于存储所述焦点检测单元的过去的输出，并且基于所存储的输出而预测所述被摄体图像的焦点位置的轨迹，从而预测在预定时刻所述被摄体图像的焦点位置；
检测单元，用于检测所述被摄体图像在所述摄像平面上的移位；以及
控制单元，用于基于所述检测单元的输出而改变所述预测单元的输出。
2.根据权利要求1所述的摄像设备，其特征在于，所述检测单元使用所述检测单元不受所述摄像镜头影响的方法，检测所述被摄体图像在所述摄像平面上的移位。
3.根据权利要求1所述的摄像设备，其特征在于，所述控制单元基于所述检测单元的输出，改变对所述预测单元在预测所述被摄体图像的焦点位置时要使用的所述焦点检测单元的过去的输出进行参考、以找到该焦点位置的范围。
4.根据权利要求1所述的摄像设备，其特征在于，所述预测单元将所述检测单元的输出与预定阈值进行比较，如果所述检测单元的输出大于所述预定阈值，则所述预测单元基于在从紧挨着所述检测单元的输出变得大于所述预定阈值之前的时刻开始、直到紧挨着的前一焦点检测操作的时刻为止的期间、所述焦点检测单元的过去的输出，预测所述被摄体图像的焦点位置。
5.根据权利要求1所述的摄像设备，其特征在于，所述检测单元输出所述被摄体图像的移位的检测的可靠性水平，并且所述控制单元基于所述可靠性水平来改变所述预测单元的输出。
6.根据权利要求5所述的摄像设备，其特征在于，如果所述检测单元的紧挨着的前一焦点检测操作的可靠性水平高于所述检测单元的过去的焦点检测操作的可靠性水平，则所述控制单元基于在紧挨着的前一预测操作中预测出的焦点位置的轨迹来控制焦点位置。
7.根据权利要求5所述的摄像设备，其特征在于，如果所述检测单元的紧挨着的前一焦点检测操作的可靠性水平低于所述检测单元的过去的焦点检测操作的可靠性水平，则所述预测单元再次预测焦点位置的轨迹。
8.根据权利要求5所述的摄像设备，其特征在于，所述检测单元输出所述被摄体图像在所述摄像平面上的多个候选移位，并且输出与所述多个候选移位中的每一个相对应的可靠性水平，如果不可能进行获得与具有高可靠性水平的候选移位相对应的、所述焦点检测单元的输出的焦点检测，则所述预测单元基于与具有低可靠性水平的候选移位相对应的、所述焦点检测单元的输出而输出预测结果。
9.根据权利要求5所述的摄像设备，其特征在于，所述预测单元基于从所述检测单元输出的多个候选移位和相应的可靠性来设置权重系数，并且根据所述权重系数来创建与所述多个候选移位中的每一个相对应的焦点位置的轨迹，并且所述控制单元根据所创建的焦点位置的轨迹来控制焦点位置。
10.根据权利要求1所述的摄像设备，其特征在于，所述检测单元基于所述摄像镜头的图像倍率系数来校正所检测到的移位。
11.根据权利要求1所述的摄像设备，其特征在于，所述检测单元仅在所述摄像平面上的预先指定的方向上检测移位。
12.一种摄像设备，用于拍摄由摄像镜头形成的被摄体图像，所述摄像设备包括：
焦点检测单元，用于在摄像平面上的多个位置处检测所述被摄体图像的焦点位置；
预测单元，用于存储所述焦点检测单元的过去的输出，并且基于所存储的输出而预测所述被摄体图像的焦点位置的轨迹，从而预测在预定时刻所述被摄体图像的焦点位置；
第一检测单元，用于使用所述第一检测单元受所述摄像镜头影响的方法，检测所述被摄体图像在所述摄像平面上的移位；
第二检测单元，用于使用所述第二检测单元不受所述摄像镜头影响的方法，检测所述被摄体图像在所述摄像平面上的移位；以及
控制单元，基于所述第一检测单元的输出和所述第二检测单元的输出之间的差，改变所述预测单元的输出。
13.根据权利要求12所述的摄像设备，其特征在于，所述控制单元根据所述摄像镜头的焦距来改变所述预测单元的输出。
14.根据权利要求12所述的摄像设备，其特征在于，所述预测单元将所述第一检测单元和所述第二检测单元的其中之一的输出与预定阈值进行比较，如果所述第一检测单元和所述第二检测单元的所述其中之一的输出大于所述预定阈值，则所述预测单元基于在从紧挨着所述第一检测单元和所述第二检测单元的所述其中之一的输出变得大于所述预定阈值之前的时刻开始、直到紧挨着的前一焦点检测操作的时刻为止的期间、所述焦点检测单元的过去的输出，预测所述被摄体图像的焦点位置。
15.根据权利要求12所述的摄像设备，其特征在于，所述第一检测单元输出所述被摄体图像的移位的检测的可靠性水平，并且所述控制单元基于所述可靠性水平来改变所述预测单元的输出。
16.根据权利要求15所述的摄像设备，其特征在于，所述可靠性水平是基于所述被摄体图像在所述摄像平面上的大小而计算出的。
17.根据权利要求15所述的摄像设备，其特征在于，如果所述第一检测单元的紧挨着的前一焦点检测操作的可靠性水平高于所述第一检测单元的过去的焦点检测操作的可靠性水平，则所述控制单元基于在紧挨着的前一预测操作中预测出的焦点位置的轨迹来控制焦点位置。
18.根据权利要求15所述的摄像设备，其特征在于，如果所述第一检测单元的紧挨着的前一焦点检测操作的可靠性水平低于所述第一检测单元的过去的焦点检测操作的可靠性水平，则所述预测单元再次预测焦点位置的轨迹。
19.根据权利要求15所述的摄像设备，其特征在于，所述第一检测单元输出所述被摄体图像在所述摄像平面上的多个候选移位，并且输出与所述多个候选移位中的每一个相对应的可靠性水平，如果不可能进行获得与具有高可靠性水平的候选移位相对应的、所述焦点检测单元的输出的焦点检测，则所述预测单元基于与具有低可靠性水平的候选移位相对应的、所述焦点检测单元的输出而输出预测结果。
20.根据权利要求12所述的摄像设备，其特征在于，所述第一检测单元仅在所述摄像平面上的预先指定的方向上检测移位。
CN201210066592.8A 2011-03-14 2012-03-14 摄像设备 Active CN102685387B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-055223 2011-03-14
JP2011055223A JP5882593B2 (ja) 2011-03-14 2011-03-14 撮像装置

Publications (2)

Publication Number Publication Date
CN102685387A true CN102685387A (zh) 2012-09-19
CN102685387B CN102685387B (zh) 2015-06-10

Family

ID=46816699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210066592.8A Active CN102685387B (zh) 2011-03-14 2012-03-14 摄像设备

Country Status (3)

Country Link
US (1) US8750699B2 (zh)
JP (1) JP5882593B2 (zh)
CN (1) CN102685387B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040713A (zh) * 2015-12-03 2017-08-11 佳能株式会社 运动矢量检测设备及其控制方法和摄像设备
CN109379533A (zh) * 2018-10-15 2019-02-22 Oppo广东移动通信有限公司 一种拍照方法、拍照装置及终端设备
CN114785948A (zh) * 2022-04-14 2022-07-22 常州联影智融医疗科技有限公司 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532336B2 (en) 2010-08-17 2013-09-10 International Business Machines Corporation Multi-mode video event indexing
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
EP2667232A1 (en) * 2012-05-21 2013-11-27 Canon Kabushiki Kaisha Autofocus apparatus
JP6045214B2 (ja) * 2012-06-19 2016-12-14 キヤノン株式会社 焦点調節装置及びその制御方法
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
US9743016B2 (en) * 2012-12-10 2017-08-22 Intel Corporation Techniques for improved focusing of camera arrays
US9104929B2 (en) 2013-06-26 2015-08-11 Hand Held Products, Inc. Code symbol reading system having adaptive autofocus
JP6288968B2 (ja) 2013-07-19 2018-03-07 キヤノン株式会社 自動焦点調整制御装置及びそれを有するレンズ装置、撮像装置
JP6465566B2 (ja) * 2013-08-21 2019-02-06 キヤノン株式会社 撮像装置及び撮像方法
KR102126505B1 (ko) 2013-11-07 2020-06-24 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
KR102149448B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
US10419658B1 (en) 2014-07-20 2019-09-17 Promanthan Brains LLC, Series Point only Camera optimizing for several directions of interest
CN104883506B9 (zh) * 2015-06-26 2021-09-03 重庆智韬信息技术中心 基于人脸识别技术实现的自助拍摄方法
JP6466000B2 (ja) * 2015-12-22 2019-02-06 三菱電機株式会社 ぶれ検出装置
US9910247B2 (en) 2016-01-21 2018-03-06 Qualcomm Incorporated Focus hunting prevention for phase detection auto focus (AF)
JP6700973B2 (ja) * 2016-05-24 2020-05-27 キヤノン株式会社 撮像装置およびその制御方法
JP6742173B2 (ja) 2016-06-30 2020-08-19 キヤノン株式会社 焦点調節装置及び方法、及び撮像装置
JP6833405B2 (ja) * 2016-08-26 2021-02-24 キヤノン株式会社 焦点検出装置、焦点調節装置、撮像装置及び焦点検出方法
JP2018087864A (ja) * 2016-11-28 2018-06-07 オリンパス株式会社 焦点調節装置及び焦点調節装置の制御方法
JP6851854B2 (ja) * 2017-02-22 2021-03-31 キヤノン株式会社 画像処理装置、撮像装置および画像処理装置の制御方法
KR102382871B1 (ko) * 2017-07-18 2022-04-05 삼성전자주식회사 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
US10834309B2 (en) * 2017-11-16 2020-11-10 Canon Kabushiki Kaisha Lens control apparatus and control method for tracking moving object
JP7210185B2 (ja) * 2018-07-30 2023-01-23 キヤノン株式会社 撮像装置及びその制御方法
JP7406880B2 (ja) 2019-04-10 2023-12-28 キヤノン株式会社 画像処理装置、その制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739856A (en) * 1993-10-07 1998-04-14 Nikon Corporation Photographic subject position predicting apparatus
US20050285967A1 (en) * 2004-06-15 2005-12-29 Hirofumi Suda Focus control apparatus and optical apparatus
CN101118369A (zh) * 2006-08-01 2008-02-06 佳能株式会社 调焦控制设备、摄像设备和调焦控制方法
CN101943840A (zh) * 2009-07-02 2011-01-12 佳能株式会社 图像拾取装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60249477A (ja) 1984-05-25 1985-12-10 Canon Inc 自動追尾焦点検出装置
JPH03218730A (ja) 1990-01-24 1991-09-26 Nec Corp 心電図波形認識装置
JP3218730B2 (ja) * 1992-10-19 2001-10-15 株式会社ニコン 予測機能を有する焦点調節装置
JP3791068B2 (ja) * 1996-11-06 2006-06-28 株式会社ニコン 予測測距装置及び撮影装置
JP2004061721A (ja) * 2002-07-26 2004-02-26 Minolta Co Ltd 撮像装置
JP4504158B2 (ja) * 2004-10-29 2010-07-14 オリンパス株式会社 カメラ、追尾装置及び追尾方法並びに追尾プログラム
JP2009059326A (ja) * 2007-08-06 2009-03-19 Nikon Corp 撮像装置
JP2009210815A (ja) * 2008-03-04 2009-09-17 Olympus Imaging Corp 自動焦点調節装置
JP2009302731A (ja) * 2008-06-11 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP2010008507A (ja) * 2008-06-24 2010-01-14 Olympus Imaging Corp カメラ
JP5176845B2 (ja) * 2008-10-03 2013-04-03 株式会社ニコン 画像追尾装置および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739856A (en) * 1993-10-07 1998-04-14 Nikon Corporation Photographic subject position predicting apparatus
US20050285967A1 (en) * 2004-06-15 2005-12-29 Hirofumi Suda Focus control apparatus and optical apparatus
CN101118369A (zh) * 2006-08-01 2008-02-06 佳能株式会社 调焦控制设备、摄像设备和调焦控制方法
CN101943840A (zh) * 2009-07-02 2011-01-12 佳能株式会社 图像拾取装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040713A (zh) * 2015-12-03 2017-08-11 佳能株式会社 运动矢量检测设备及其控制方法和摄像设备
CN107040713B (zh) * 2015-12-03 2020-05-19 佳能株式会社 运动矢量检测设备及其控制方法和摄像设备
CN109379533A (zh) * 2018-10-15 2019-02-22 Oppo广东移动通信有限公司 一种拍照方法、拍照装置及终端设备
CN114785948A (zh) * 2022-04-14 2022-07-22 常州联影智融医疗科技有限公司 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质
CN114785948B (zh) * 2022-04-14 2023-12-26 常州联影智融医疗科技有限公司 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质

Also Published As

Publication number Publication date
CN102685387B (zh) 2015-06-10
US8750699B2 (en) 2014-06-10
JP5882593B2 (ja) 2016-03-09
US20120237193A1 (en) 2012-09-20
JP2012189934A (ja) 2012-10-04

Similar Documents

Publication Publication Date Title
CN102685387A (zh) 摄像设备
CN102045510B (zh) 摄像设备
CN101750846B (zh) 摄像设备
CN101685239B (zh) 调焦控制设备、摄像设备和调焦控制方法
US8866955B2 (en) Focus detection apparatus, method for controlling the same, and image capturing apparatus having a focus detection apparatus
CN1940700B (zh) 具有自动对焦系统的照相机
JP5038283B2 (ja) 撮影システム及びレンズ装置
US20130135516A1 (en) Auto-focus controlling apparatus, electronic imaging apparatus and digital still camera
CN104427247B (zh) 一种照相机系统
CN101493568B (zh) 摄像设备和镜头设备
CN102645818A (zh) 成像装置、聚焦控制方法和程序
US8508584B2 (en) Image pickup apparatus, zoom correction information creation method and program, and recording medium
US20110075125A1 (en) Image taking system and lens apparatus
CN105629428B (zh) 光学设备以及镜头控制方法
US20080199169A1 (en) Camera and photographic lens
CN101118369A (zh) 调焦控制设备、摄像设备和调焦控制方法
JP2008058399A (ja) 焦点調節装置、撮像装置、および制御方法
CN100563305C (zh) 图像传感设备及其控制方法
EP1763225A2 (en) Lens apparatus
JP2018134712A (ja) ロボットシステム及びロボットシステムの制御方法
EP0472015B1 (en) Stereoscopic video pickup device
JP2019068183A (ja) 監視装置
JP2014016513A (ja) レンズ制御装置、及び撮像装置
JP7379083B2 (ja) 制御装置、撮像装置、制御方法、および、プログラム
US20230276131A1 (en) Image capture apparatus and control method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant