CN101247477B - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN101247477B
CN101247477B CN2008100061669A CN200810006166A CN101247477B CN 101247477 B CN101247477 B CN 101247477B CN 2008100061669 A CN2008100061669 A CN 2008100061669A CN 200810006166 A CN200810006166 A CN 200810006166A CN 101247477 B CN101247477 B CN 101247477B
Authority
CN
China
Prior art keywords
phase difference
focusing
driving
signal
evaluation signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008100061669A
Other languages
English (en)
Other versions
CN101247477A (zh
Inventor
森本庸介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101247477A publication Critical patent/CN101247477A/zh
Application granted granted Critical
Publication of CN101247477B publication Critical patent/CN101247477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

本发明涉及一种摄像设备及其控制方法。该摄像设备包括：摄像元件，用于光电转换被摄体图像；光接收传感器，用于根据一对被摄体图像之间的相位差输出信号；以及控制器，用于基于表示由所述摄像元件所生成的视频信号的对比状态的调焦评价信号来进行控制调焦部件的驱动的第一调焦控制，并基于根据相位差的信号来进行控制所述调焦部件的驱动的第二调焦控制，其中，所述控制器响应于在所述第二调焦控制期间在所述调焦评价信号中发现的预定变化，停止所述第二调焦控制或者将调焦控制从所述第二调焦控制切换到所述第一调焦控制。该摄像设备能够利用混合AF平稳且精确地实现对焦状态。

Description

摄像设备及其控制方法
技术领域
本发明涉及摄像机等摄像设备，尤其涉及进行所谓的结合使用TV-AF和外部或内部相位差AF的混合AF的摄像设备。
背景技术
对于摄像机或其它摄像设备的自动调焦(auto-focus，AF)控制，主要使用TV-AF方法，在该方法中，通过使用摄像元件生成视频信号，生成AF评价值信号以表示该视频信号的锐度(sharpness)(对比状态)，以及搜索AF评价值信号处于最高的调焦透镜的位置。
AF方法包括外部测距方法或外部相位差检测方法，其中与摄像透镜相独立地设置测距传感器以检测到被摄体的距离，基于该距离计算调焦透镜的对焦位置(in-focus position)，并将调焦透镜移动到该对焦位置。
在外部相位差检测方法中，将来自被摄体的光通量分成两部分，由一对光接收元件阵列(线传感器(line sensor))接收各部分。检测在该对线传感器上形成的图像之间的差，即相位差，并且使用该相位差通过三角测量方法来确定被摄体距离。将调焦透镜移动到该透镜对该被摄体距离进行调焦的位置。
AF方法还包括内部相位差检测方法，其中光通量穿过摄像透镜的出射光瞳(exit pupil)，然后被分成两部分，由一对线传感器接收各部分。检测该对线传感器上的两个图像之间的相位差，从该相位差确定摄像透镜的散焦(defocus)量，并将调焦透镜移动与散焦量相对应的量。
日本特开平5(1993)-64056提出了一种通过结合这些AF方法来实现的混合AF方法，以便利用TV-AF方法中高精度调焦的优点和相位差检测方法中快速调焦的优点。日本特开平5(1993)-64056提出的混合AF方法通过相位差检测方法使调焦透镜移动到对焦位置附近，然后通过随后的TV-AF方法使调焦透镜更精确地移动到对焦位置。
在该传统的混合AF中，首先将调焦透镜移动到利用相位差检测方法获得的对焦位置，并且仅当该点处的AF评价值高时，才接着采用TV-AF方法将调焦透镜移动到利用TV-AF方法获得的对焦位置。
然而，以与TV-AF方法相比通常具有较低调焦精度的相位差检测方法将调焦透镜移动到对焦位置时，可能将调焦透镜移动超出(过冲(overshoot))利用TV-AF方法获得的对焦位置。此外，在利用TV-AF方法获得的对焦位置之前可能临时停止调焦透镜的移动。
在前者情况下，显示视频的调焦状态显著改变，从而降低了图像质量。在后者情况下，调焦透镜的临时停止可能增加用TV-AF方法实现调焦所花费的时间，或者可能引起显示视频的调焦状态中的非平稳变化，直到在TV-AF方法中获得对焦状态为止，从而使用户感觉异常。
另外，特别当使用外部相位差检测方法时，对于一定的被摄体距离，测距传感器的视场相对于TV-AF方法中的视场(摄像区域)产生偏移，即，存在视差。因此，外部相位差检测方法和TV-AF方法可以计算彼此不同的被摄体的调焦透镜的对焦位置。在此情况下，将调焦透镜移动到在相位差检测方法中计算出的作为对焦位置的错误位置，从而所得到的视频明显离焦。
发明内容
本发明提供一种能够利用混合AF平稳且精确地实现对焦状态的摄像设备。
根据一方面，本发明提供一种摄像设备，包括：摄像元件，用于光电转换被摄体图像；光接收传感器，用于根据一对被摄体图像之间的相位差输出信号；以及控制器，用于基于表示由所述摄像元件所生成的视频信号的对比状态的调焦评价信号来进行控制调焦部件的驱动的第一调焦控制，并基于根据相位差的所述信号来进行控制所述调焦部件的驱动的第二调焦控制，其中，所述控制器响应于在所述第二调焦控制期间在所述调焦评价信号中发现的预定变化，停止所述第二调焦控制或者将调焦控制从所述第二调焦控制切换到所述第一调焦控制。
根据另一方面，本发明提供一种控制摄像设备的方法，该摄像设备包括光电转换被摄体图像的摄像元件和根据一对被摄体图像之间的相位差输出信号的光接收传感器，所述方法包括以下步骤：基于表示由所述摄像元件所生成的视频信号的对比状态的调焦评价信号来进行控制调焦部件的驱动的第一调焦控制；基于根据相位差的所述信号来进行控制所述调焦部件的驱动的第二调焦控制；以及响应于在所述第二调焦控制期间在所述调焦评价值信号中发现的预定变化，停止所述第二调焦控制或者将调焦控制从所述第二调焦控制切换到所述第一调焦控制。
通过以下参照附图说明的实施例，本发明的其它方面将是很明显的。
附图说明
图1是示出作为本发明第一实施例的摄像机的结构的框图；
图2是示出第一实施例中AF控制的流程图；
图3是示出第一实施例中TV-AF控制的流程图；
图4是示出第一实施例中相位差AF控制的流程图；
图5A是用于说明第一实施例的相位差AF中的模式的图；
图5B是用于说明第一实施例的相位差AF中的每个模式的调焦控制的细节和效果的表格；
图6是用于说明第一实施例的TV-AF中微小驱动操作的图；
图7是用于说明第一实施例的TV-AF中爬升驱动操作的图；
图8是示出作为本发明第二实施例的摄像机的结构的框图；
图9是用于说明AF评价值和调焦透镜位置之间的关系的图；
图10是用于说明第一实施例中测距原理的示意图；以及
图11是第一实施例中相位差检测的原理的图。
具体实施方式
下面将参考附图说明本发明的典型实施例。
第一实施例
图1示出了用作本发明第一实施例的摄像设备的摄像机的结构。尽管在第一实施例中说明了摄像机，然而本发明可应用于数字静止照相机等的其它摄像设备。
在图1中，附图标记101示出了第一固定透镜，102示出了在光轴方向上移动以提供放大率变化的放大率变化透镜，103示出了光圈。附图标记104示出了第二固定透镜，105示出了调焦补偿器透镜(在下文中称为调焦透镜)，其用作具有校正与放大率变化相关联的焦平面的移动的功能和调焦功能这两者的调焦部件。第一固定透镜101、放大率变化透镜102、光圈103、第二固定透镜104以及调焦透镜105构成摄像光学系统。
附图标记106示出了用作由例如CCD传感器或CMOS传感器形成的光电转换元件的摄像元件。附图标记107示出了对摄像元件106的输出进行采样并调节其增益的CDS/AGC电路。
附图标记108示出了对CDS/AGC电路107的输出信号进行各种处理以产生视频信号的照相机信号处理电路。附图标记109示出了由LCD等形成并显示来自照相机信号处理电路108的视频信号的监视显示器。附图标记113示出了将来自照相机信号处理电路108的视频信号记录在磁带、光盘以及半导体存储器等的记录介质上的记录部。
附图标记110示出了用于移动放大率变化透镜102的变焦驱动源。附图标记111示出了用于移动调焦透镜105的调焦驱动源。由步进电动机、DC电动机、摆动式电动机以及音圈电动机等致动装置形成变焦驱动源110和调焦驱动源111中的每一个。
附图标记112示出了仅通过从CDS/AGC电路107输出的所有像素的信号中在调焦检测中使用的像素区域中的信号的AF门。附图标记114示出了AF信号处理电路，其从通过AF门112的信号中提取高频分量，根据该高频分量所生成的亮度差分量(通过AF门112的信号的亮度级别的最高值和最低值之间的差)等以产生AF评价值信号(调焦评价信号)。将该AF评价值信号输出到照相机/AF微计算机115。
AF评价值信号表示基于来自摄像元件106的输出信号所产生的视频信号的锐度(对比状态)。由于锐度依赖于摄像光学系统的调焦状态而改变，因而AF评价值信号表示摄像光学系统的调焦状态。
图9示出了调焦透镜105的位置和AF评价值信号之间的关系。在调焦透镜105远离对焦位置(对焦点)的离焦状态下，AF评价值低。然而，随着调焦透镜105接近对焦位置，AF评价值增加，并且AF评价值的峰值(最大值)对应于对焦位置。
用作控制器的照相机/AF微计算机(在下文中简称为微计算机)115负责控制摄像机的整体操作并进行用于控制调焦驱动源111以移动调焦透镜105的调焦控制。微计算机115通过进行TV-AF方法中的调焦控制(第一调焦控制：在下文中称为TV-AF)和外部相位差检测方法中的调焦控制(第二调焦控制：在下文中称为相位差AF)来实现调焦控制。
附图标记117示出了由用户操作以使微计算机115通过变焦驱动源110移动放大率变化透镜102的变焦开关。在该控制中，微计算机115通过调焦驱动源111来移动调焦透镜105，以基于存储在内部存储器(未示出)中的变焦跟踪数据最小化与放大率变化相关联的图像平面中的变化。因此，利用所保持的对焦状态实现放大率变化。
附图标记116示出了用作光接收传感器的外部测距单元，其中该外部测距单元116检测一对被摄体图像之间的相位差以输出与该相位差相对应的信号。该相位差与到被摄体的距离相对应。图10和图11示出了通过使用外部测距单元116所进行的相位差无源(passive)方法中的测距原理。与摄像光学系统相独立地设置外部测距单元116。换句话说，来自被摄体的光通量进入外部测距单元116而不通过摄像光学系统。
在图10中，附图标记201示出了被摄体，202示出了第一成像透镜，203示出了第一光接收元件阵列，204示出了第二成像透镜，205示出了第二光接收元件阵列。多个光接收元件(像素)在一条线中形成第一光接收元件阵列203和第二光接收元件阵列205中的每一个。第一光接收元件阵列203和第二光接收元件阵列205彼此间隔基线长度(base length)B。
在来自被摄体201的光中，穿过第一成像透镜202的光分量在第一光接收元件阵列203上形成被摄体图像，穿过第二成像透镜204的另一光分量在第二光接收元件阵列205上形成另一被摄体图像。在这种方式下，在第一光接收元件阵列203和第二光接收元件阵列205上形成成对的两个被摄体图像。
图11示出了来自第一光接收元件阵列203和第二光接收元件阵列205的输出信号(图像信号)的示例。由于第一光接收元件阵列203和第二光接收元件阵列205间隔基线长度B，因而来自第一光接收元件阵列203的图像信号相对于来自第二光接收元件阵列205的图像信号偏移X个像素。利用偏移像素来计算这两个图像信号之间的相关性，确定实现最高相关性的像素偏移量以计算个数X。可以使用像素偏移量X、基线长度B以及成像透镜202和204的焦距f通过根据以下表达式(1)的三角测量方法来确定到被摄体的距离L：
L＝B·f/X    (1)
外部测距单元116输出像素偏移量X(与相位差相对应的信号)。微计算机115基于像素偏移量X确定被摄体距离。
微计算机115使用所确定出的被摄体距离来计算对该距离处的被摄体进行调焦的调焦透镜位置(在下文中也将该位置称为相位差对焦位置)。“计算”不仅包括利用表达式计算而且还包括读取预先存储在未示出的存储器中的关于被摄体距离的对焦位置的数据。
接下来，将参考图2～7说明在微计算机115中进行的AF控制。根据存储在微计算机115中的计算机程序进行AF控制。
图2示出了AF控制的总流程。在步骤201，微计算机115响应于摄像机的电源接通开始AF控制处理。
在步骤202，微计算机115检查稍后说明的相位差移动中标志是否为“是”。如果是“否”，则控制进入步骤203。如果是“是”，则控制进入步骤209以继续相位差AF。
在步骤203，微计算机115进行TV-AF。稍后将参考图3说明TV-AF的细节。
在步骤204，微计算机115基于来自外部测距单元116的信号计算被摄体距离并计算针对该被摄体距离的相位差对焦位置。
在步骤205，微计算机115设置在判断调焦透镜105是否应该被移动到相位差对焦位置时使用的调焦移动量阈值(th)。
根据变焦位置优先改变调焦移动量阈值。这是因为由于本实施例使用像方焦点(rear-focus)类型的变焦摄像光学系统，因而针对不同被摄体距离的相位差对焦位置的差依赖于焦距而改变。例如，1米被摄体距离的相位差对焦位置和无穷大被摄体距离的相位差对焦位置之间的差随着朝向摄远侧焦距的增加而增加。
例如，鉴于相位差AF的对焦精度，在摄远侧，将调焦移动量阈值设置为允许根据相位差AF中提供的信息判断出被摄体距离的明显改变。在此情况下，如果在广角侧使用相同的调焦移动量阈值，则判断出被摄体距离的改变是不可能的，除非被摄体距离的改变量大于一米和无穷远之间的差。结果，在广角侧不能操作相位差AF。
在步骤206，微计算机115对在步骤204获得的相位差对焦位置和当前调焦透镜位置之间的差与在步骤205设置的调焦移动量阈值进行比较。例如可以通过未示出的编码器来检测当前调焦透镜位置。如果该差大于调焦移动量阈值，则控制进入步骤207以将调焦透镜105移动到相位差对焦位置。另一方面，如果该差小于调焦移动量阈值，则控制返回到步骤202。然后，进行步骤202的处理，并接着进行TV-AV。
在步骤207，微计算机115将当前调焦透镜位置作为数据START_POS存储在内部存储器中，作为利用相位差AF的调焦透镜105的驱动开始位置。
接下来，在步骤208，微计算机115将相位差对焦位置作为数据TARGET_POS存储，然后控制进入步骤209。
在步骤209，进行相位差AF。稍后将参考图4说明相位差AF的细节。
在步骤209之后，控制返回到步骤202。
接下来，将参考图3说明在步骤203进行的TV-AF的细节。
在步骤301，微计算机115开始TV-AF处理。
在步骤302，微计算机115从AF信号处理电路114获取AF评价值信号。
在步骤303，微计算机115判断TV-AF当前是否处于微小驱动模式。如果处于微小驱动模式，则控制进入步骤304，如果未处于微小驱动模式，则控制进入步骤311。
在步骤304，微计算机115使调焦透镜105进行微小驱动操作。该微小驱动操作允许判断是否发现了存在TV-AF中的对焦位置(在下文中称为对焦位置TV-AF)的对焦方向以及是否实现了TV-AF中的对焦状态。稍后将参考图6说明微小驱动操作。
在步骤305，微计算机115判断是否已经确定了对焦状态。如果已经确定了对焦状态，则控制进入步骤308以停止调焦透镜105的驱动，然后在步骤309，保持该对焦位置处的AF评价值。然后，控制进入步骤310，以转换到重启模式。另一方面，如果还没有确定对焦状态，则控制进入步骤306。
在步骤306，微计算机115判断是否已经确定了对焦方向。如果已经确定了对焦方向，则控制进入步骤307，以转换到爬升驱动模式。如果还没有确定对焦方向，则控制进入步骤326，然后继续以微小驱动模式进行的操作。
在步骤311，微计算机115判断TV-AF当前是否处于爬升驱动模式。如果处于爬升驱动模式，则控制进入步骤312，如果未处于爬升驱动模式，则控制进入步骤318以转换到重启模式。
在步骤312，微计算机115以预定速度进行调焦透镜105的爬升驱动。稍后将参考图7说明爬升驱动。
在步骤313，微计算机115判断在爬升驱动模式下是否已经超过AF评价值的峰值。如果判断为已经超过该峰值，则控制进入步骤314。如果判断为未超过该峰值，则继续以爬升驱动模式进行的操作。
在步骤314，微计算机115将调焦透镜105返回到AF评价值处于爬升驱动模式中的峰值的位置(TV-AF对焦位置)。
在步骤315，微计算机115判断调焦透镜105是否已经返回到AF评价值处于峰值的TV-AF对焦位置。如果已经返回到TV-AF对焦位置，则控制进入步骤316以转换到微小驱动模式。如果不是，则继续以爬升驱动模式进行将调焦透镜105返回到TV-AF对焦位置的操作。
当在步骤311判断为TV-AF未处于爬升驱动模式时，微计算机115从步骤318进入重启模式。
在步骤318，微计算机115将在步骤309所保持的AF评价值与最新的AF评价值进行比较以判断AF评价值的变化是否大于预定阈值。如果AF评价值的变化大于该阈值，则控制进入步骤320以转换到微小驱动模式。如果AF评价值的变换小于该阈值，则控制进入步骤319以停止调焦透镜105而没有任何改变。
接下来，将参考图6说明TV-AF中微小驱动模式的操作。图6示出了微小驱动操作中调焦透镜105的移动与AF评价值的变化之间的关系。水平轴表示时间，垂直轴表示调焦透镜位置。在图6的顶部示出视频信号的垂直同步信号。
在时刻TA取得针对时间段A期间在摄像元件106中累积的电荷(由对角阴影椭圆示出)的AF评价值信号EVA，在时刻TB取得针对时间段B期间在摄像元件106中累积的电荷的AF评价值信号EVB。在时刻TC，比较AF评价值EVA和EVB。如果EVB＞EVA，则移动微小驱动的驱动(摆动)中心，使得调焦透镜105的驱动幅度等于摆动幅度与驱动中心的移动幅度之和。另一方面，如果EVA＞EVB，则不移动驱动中心，使得调焦透镜105的驱动幅度等于摆动幅度。在这种方式下，在移动调焦透镜105时微小驱动操作涉及检测AF评价值增加的方向和搜索AF评价值处于最高的调焦透镜位置(峰值位置)。
当摆动中心在相同的方向上连续移动了预定次数时，将该方向判断为对焦方向。将该判断结果用于判断是否在图3中步骤306转换到爬升驱动模式。
接下来，将参考图7说明TV-AF中爬升驱动模式的操作。在爬升驱动操作中，高速驱动调焦透镜105以检测与高速驱动期间获得的AF评价值的峰值相对应的峰值位置或者该峰值位置附近的位置。图7示出了在爬升驱动操作中调焦透镜105的移动和AF评价值的变化之间的关系。
在移动C中，在峰值之后AF评价值减小，因此可以发现峰值位置(TV-AF对焦位置)的存在，从而结束爬升驱动操作并切换到微小驱动操作。另一方面，在移动D中，由于AF评价值单调减少而没有峰值，因而可以判断出在错误的方向上驱动调焦透镜105。在此情况下，倒转驱动方向，然后继续爬升驱动操作。
接下来，将参考图4、图5A和图5B说明在图2的步骤209进行的相位差AF处理。
图5A示出了在相位差AF中向着相位差对焦位置的调焦透镜105的驱动时间段的从开始到结束的多个分割阶段(在下文中称为模式)。在本实施例中，微计算机115将从开始到结束的驱动时间段分割成四个模式(模式1～4)。然而，分割后的模式个数不局限于此。
在图5A中，水平轴表示调焦透镜位置。START_POS表示在图2的步骤207所存储的当前调焦透镜位置，即，调焦驱动开始位置。TARGET_POS表示在图2的步骤208所存储的相位差对焦位置，即，驱动结束位置。
在相位差AF中，从图5A中左侧的START_POS向右侧的TARGET_POS驱动调焦透镜105。
垂直轴表示AF评价值。实线L1示出了TV-AF对焦位置位于相位差对焦位置(驱动结束位置)TARGET_POS之前的被摄体的AF评价值的示例。虚线L2示出TV-AF对焦位置位于相位差对焦位置(驱动结束位置)TARGET_POS之后的被摄体的AF评价值的示例。
如图5A中所示，当调焦透镜105位于驱动开始位置START_POS之后的范围(阈值)TH1内时，为作为驱动开始阶段的模式1选择适合于紧接在驱动开始之后的调焦透镜105的状态的调焦控制。
另一方面，当调焦透镜105位于在末端具有驱动结束位置TARGET_POS的范围(阈值)TH2内时，为作为紧接在驱动结束之前的阶段的模式3选择适合于紧接在驱动结束之前的调焦透镜105的状态的调焦控制。
在模式1和模式3之间的中间范围(中间阶段)，为模式2选择适合于中间状态的调焦控制。在驱动结束时，为作为驱动结束阶段的模式4选择适合于驱动结束状态的调焦控制。
在本实施例中，将调焦透镜105从驱动开始到驱动结束(当调焦透镜105到达驱动结束位置TARGET_POS时)的时间段表示为“利用相位差AF的调焦控制期间”(第二调焦控制期间)。
在模式1、2和4中，微计算机115基于调焦透镜105的当前位置确定模式(或者在模式之间切换)。另一方面，在模式3中，即在范围TH2中，由于调焦透镜105位于相位差对焦位置附近，因而希望基于摄像光学系统的焦距来确定模式。
接下来，将同样参考图5B说明每个模式中的调焦控制的细节。
模式1与紧接在调焦透镜105的驱动开始之后的状态相对应。在该状态中，由于外部测距单元116的视场偏离于TV-AF(摄像元件106)的视场，即存在视差，因而可能将调焦透镜105驱动到不正确的相位差对焦位置TARGET_POS。
因此，在模式1中，如果在利用相位差AF的调焦控制期间(向着TARGET_POS的调焦透镜105的驱动期间)AF评价值的减小大于预定阈值，则判断为该驱动方向是错误的。然后，停止向着TARGET_POS的调焦透镜105的驱动，并将调焦控制切换到TV-AF。这可以防止调焦透镜105继续在TV-AF中要开始调焦的被摄体越来越离焦的方向上移动。另外，在模式1中，将向着TARGET_POS的调焦透镜105驱动速度设置到低速SPEED1(第一速度)。这可以避免如下情况：如果在错误的方向上驱动调焦透镜105，则散焦量突然增加并且散焦变得明显。
模式2与调焦透镜105的驱动开始和驱动结束之间的中间状态相对应。在该状态中，以比模式1中的低速SPEED1更高的速度SPEED2(第二速度)驱动调焦透镜105，以减小移动到TARGET_POS所需的时间，即调焦时间。如果在中间状态中存在TV-AF对焦位置，则更好地防止了以下情况的发生：以相位差AF驱动的调焦透镜105移动超出(过冲)TV-AF对焦位置并因此引起显著的散焦。因为这个原因，如在模式1中，当AF评价值的减少大于预定阈值时，停止向着TARGET_POS的驱动并将调焦控制切换到TV-AF。模式2中的阈值可以与模式1中的阈值相同也可以不同。
模式3与紧接在调焦透镜105的驱动结束之前的状态相对应。在该状态中，可能存在根据图5A中的AV评价值L1所获得的TV-AF对焦位置，并且必须可靠地防止以相位差AF驱动的调焦透镜105超过TV-AF对焦位置。因此，在模式3中，当AF评价值超过峰值并且随后开始减小时，停止向着TARGET_POS的调焦透镜105的驱动。然后驱动调焦透镜105返回到作为TV-AF的爬升驱动模式中的峰值位置。此时，反转调焦透镜105的驱动方向。
在此情况下，可以停止向着TARGET_POS的调焦透镜105的驱动并将驱动模式切换到TV-AF中的爬升驱动模式，然后将调焦透镜105驱动到峰值位置。
在模式3中，将调焦透镜105的驱动速度设置为比高速SPEED2更低的速度SPEED3(第三速度)。这可以可靠地检测AF评价值的峰值位置并准确地将调焦透镜105返回到峰值位置。低速SPEED3可以与上述低速SPEED1相同，也可以不同。
模式4与调焦透镜105的驱动结束状态相对应。在该状态中，必须避免如下现象的发生：在检测图5A中AF评价值L2的被摄体的TV-AF对焦位置之前临时停止调焦透镜105。因此，在模式4中，如果AF评价值从模式3到模式4增加，则认为TV-AF对焦位置超出TARGET_POS。进入到TV-AF中的爬升驱动模式以通过将爬升驱动方向设置为与相位差AF中调焦透镜105的驱动方向相同的方向来进行TV-AF。这实现了从相位差AF到TV-AF的无缝切换(无需调焦透镜105的任何临时停止)。
将参考图4说明上述相位差AF。
在步骤401，微计算机115开始相位差AF的处理。
在步骤402，微计算机115判断调焦透镜105是否已经到达相位差对焦位置。如果已经到达该对焦位置，则控制进入步骤423以转换到模式4。稍后说明该情况下的处理。如果它没有到达该对焦位置，则控制进入步骤403。
在步骤403，微计算机115判断峰值位置返回标志是否为“是”以表示正在驱动调焦透镜105返回到模式3中的AF评价值的峰值位置。如果该标志为“是”，则控制进入步骤419。稍后说明在该情况下的处理。如果该标志为“否”，则控制进入步骤404。
在步骤404，微计算机115确定当前调焦透镜位置和驱动开始位置START_POS之间的差DIST1。
接下来，在步骤405，微计算机115确定当前调焦透镜位置和驱动结束位置TARGET_POS之间的差DIST2。
在步骤406，微计算机115判断所述差DIST1是否小于阈值TH1。如果差DIST1小于阈值TH1，则判断为正在模式1中，即正在紧接在调焦透镜驱动的开始之后的状态中进行该处理，然后控制进入步骤407。
在步骤407，微计算机115设置作为模式1中调焦透镜105的驱动速度的低速SPEED1。
在步骤408，微计算机115判断AF评价值的减小是否等于或大于预定阈值。如果小于预定阈值，则微计算机115设置表示正在进行利用相位差AF的调焦控制的相位差移动中标志，然后结束该处理。
另一方面，如果该减小等于或大于预定阈值，则判断为驱动方向是错误的。在此情况下，微计算机115清空相位差移动中标志(转为“否”)，以停止相位差AF并将调焦控制切换到TV-AF。微计算机115将驱动模式切换到TV-AF中的微小驱动模式，然后结束该处理。可选地，可以将驱动模式切换到爬升驱动模式而不是微小驱动模式，并将爬升驱动方向设置为与相位差AF中的驱动方向相反的方向。
如果在步骤406中差DIST1大于阈值TH1，则控制进入步骤412，并且微计算机115判断差DIST2是否小于阈值TH2。如果差DIST2大于或等于阈值TH2，则判断为正在模式2中进行该处理，并且控制进入步骤413。
在步骤413，微计算机115设置作为模式2中调焦透镜105的驱动速度的高速SPEED2。如上所述，高速SPEED2的设置可以减少驱动到相位差对焦位置所需的时间。由干除了驱动速度的设置以外，模式2中的处理与模式1中的处理相同，因而控制进入步骤408以执行随后的处理。
另一方面，如果在步骤412中差DIST2小于阈值TH2，则微计算机115进入步骤414以转换到模式3。
在步骤414，微计算机115将低速SPEED3设置为模式3中调焦透镜105的驱动速度。
接下来，在步骤415，微计算机115判断AF评价值是否已经超过峰值并且随后开始减小。如果没有超过峰值，则控制进入步骤416以将相位差移动中标志设置为“是”。然后，结束该处理。
另一方面，如果判断为AF评价值已经超过峰值，则在步骤417中驱动调焦透镜105以返回到峰值位置，从而避免由超过TV-AF对焦位置所引起的散焦。
在步骤418，将峰值位置返回标志设置为“是”。
接下来，在步骤419，微计算机115判断调焦透镜105是否已经返回到峰值位置。如果还没有返回到峰值位置，则控制进入将相位差移动中标志设置为“是”的步骤416。然后，结束该处理。
另一方面，如果判断出调焦透镜105已经返回到峰值位置，则控制进入步骤420以清空峰值位置返回标志。然后，在步骤421，清空相位差移动中标志。
在步骤422，微计算机115切换到TV-AF中的微小驱动模式并结束该处理。
如果在上述步骤402判断为调焦透镜105到达相位差对焦位置，则控制进入步骤423，以转换到模式4，并清空相位差移动中标志。
在步骤424，微计算机115判断AF评价值是否正在增加。如果没有正在增加，则控制进入步骤427以进入TV-AF中的微小驱动模式。然后，结束该处理。
另一方面，如果AF评价值正在增加，则认为前面存在TV-AF对焦位置，并且控制进入步骤425以将爬升驱动方向设置为与相位差AF中的驱动方向相同的方向。接下来，在步骤426，微计算机115切换到在所设置的爬升驱动方向上的TV-AF中的爬升驱动模式。然后，结束该处理。
在如下情况下进行上述说明：基于调焦透镜位置或摄像光学系统的焦深进行相位差AF中的模式切换。然而，还可以基于调焦透镜105的驱动时间段进行模式切换，例如通过将模式1定义为从驱动开始时刻到100ms的时间段。
如上所述，在第一实施例中，如果在相位差AF中向着相位差对焦位置的调焦透镜105的驱动期间在AF评价值中发现预定变化，则停止相位差AF或者将调焦控制切换到TV-AF。这可以避免如下情况：以相位差AF驱动的调焦透镜105的位置超过TV-AF对焦位置以及在TV-AF对焦位置之前发生调焦透镜105的任何临时停止。还可以防止由于向着错误的相位差对焦位置的调焦透镜105的驱动而引起的散焦。这可以平稳且精确地利用混合AF实现对焦状态以提高摄像机AF的质量。
此外，在第一实施例中，将调焦透镜105从开始到结束的驱动时间段分割为多个模式(阶段)，在不同的模式中使用AF评价值中的不同预定变化，并且针对每个模式切换调焦透镜的驱动速度。结果，可以进行适合于每个状态如紧接在驱动开始之后的状态和驱动结束附近的状态的调焦控制。
第二实施例
图8示出了作为本发明第二实施例的摄像机的配置。
在第二实施例中，用与第一实施例中相同的附图标记来表示与第一实施例中的组件相同的组件，并省略其说明。尽管利用外部测距单元116的外部相位差检测方法被用作第一实施例中的第二调焦控制，然而在第二实施例中使用TTL内部相位差检测方法。
在图8中，附图标记621示出了用作分光元件的半棱镜，其用于反射穿过摄像光学系统的部分光通量。在第二实施例中，由于在运动摄像期间总是在开和关方向上操作光圈103，因而半棱镜621被置于与光圈103相比更靠近被摄体侧的位置。
附图标记622示出了反射由半棱镜621所反射的光通量的副镜。附图标记623示出了成像透镜，其接收来自副镜622的光通量并从该光通量形成用于相位差AF的一对被摄体图像。
附图标记624示出了用作光接收传感器的焦点检测传感器，其接收成对的被摄体图像以根据被摄体图像之间的相位差输出信号。附图标记625示出了处理来自焦点检测传感器624的输出信号的AF电路。
微计算机115基于根据通过AF电路625从焦点检测传感器624输入其中的相位差的信号来检测摄像光学系统的散焦量(包括散焦方向)。微计算机115基于散焦量计算调焦透镜105的驱动量以实现对焦状态，即相位差对焦位置。
在第二实施例中，提供散焦量(包括散焦方向)来代替第一实施例中所述的图2中步骤204的被摄体距离，从而允许使用第一实施例中所述AF控制算法。
具体地，在图2的流程图中的步骤204，微计算机115可以获得摄像光学系统的散焦量并根据该散焦量计算相位差对焦位置。
在这种方式中，当使用内部相位差检测方法时，如果在向着相位差对焦位置的调焦透镜105驱动期间在AF评价值中发现预定变化，则可以停止相位差AF或者切换到TV-AF。这可以提供类似于第一实施例中的效果。
如上所述，根据第一实施例和2中的每一个，当利用相位差检测方法的调焦控制期间发现调焦评价值中的预定变化(例如，预定的减小、预定的增加或者超过峰值)时，响应于该变化，停止调焦控制或者切换到TV-AF方法中的调焦控制。这可以防止利用相位差检测方法的调焦控制中的超过、在对焦位置之前的任何临时停止以及向着错误对焦位置的调焦控制。因此，可以利用混合AF进行平稳且精确的调焦控制。
此外，本发明不局限于这些优选实施例，在不偏离本发明的范围的情况下可以进行各种变化和修改。

Claims (8)

1.一种摄像设备，包括：
摄像元件，用于光电转换被摄体图像；
光接收传感器，用于根据一对被摄体图像之间的相位差输出信号；以及
控制器，用于基于表示由所述摄像元件所生成的视频信号的对比状态的调焦评价信号来进行控制调焦部件的驱动的TV-AF，并基于根据相位差的所述信号来进行控制所述调焦部件的驱动的相位差AF，
其中，当通过所述相位差AF来控制所述调焦部件的驱动时，所述控制器监视所述调焦评价信号，并响应于在所述调焦评价信号中发现的预定变化，停止所述相位差AF或者将调焦控制从所述相位差AF切换到所述TV-AF。
2.根据权利要求1所述的摄像设备，其特征在于，所述控制器在所述相位差AF中将所述调焦部件从开始到结束的驱动时间段分割为多个阶段，并依赖于所述多个阶段改变所述预定变化。
3.根据权利要求2所述的摄像设备，其特征在于，从所述调焦部件的驱动开始阶段到驱动结束阶段，所述控制器将所述预定变化从所述调焦评价信号的减小切换到超过所述调焦评价信号的峰值之后所述调焦评价信号的减小，然后切换到所述调焦评价信号的增加。
4.根据权利要求3所述的摄像设备，其特征在于，当在所述相位差AF期间发现所述调焦评价信号在超过所述峰值之后减小时，所述控制器停止所述相位差AF并驱动所述调焦部件以返回到所述调焦评价信号处于所述峰值的位置。
5.根据权利要求2所述的摄像设备，其特征在于，当在所述相位差AF期间没有在所述调焦评价信号中发现所述预定变化时，所述控制器依赖于所述多个阶段改变所述调焦部件的驱动速度。
6.根据权利要求4所述的摄像设备，其特征在于，从所述调焦部件的所述驱动开始阶段到所述驱动结束阶段，所述控制器将所述调焦部件的驱动速度从第一速度改变为高于所述第一速度的第二速度，然后改变为低于所述第二速度的第三速度。
7.根据权利要求2所述的摄像设备，其特征在于，所述控制器基于所述调焦部件的位置、驱动时间段以及摄像光学系统的焦深中的至少一个来设置所述多个阶段。
8.一种控制摄像设备的方法，该摄像设备包括光电转换被摄体图像的摄像元件和根据一对被摄体图像之间的相位差输出信号的光接收传感器，所述方法包括以下步骤：
基于表示由所述摄像元件所生成的视频信号的对比状态的调焦评价信号来进行控制调焦部件的驱动的TV-AF；
基于根据相位差的所述信号来进行控制所述调焦部件的驱动的相位差AF；以及
当通过所述相位差AF来控制所述调焦部件的驱动时，监视所述调焦评价信号，并响应于在所述调焦评价信号中发现的预定变化，停止所述相位差AF或者将调焦控制从所述相位差AF切换到所述TV-AF。
CN2008100061669A 2007-02-16 2008-02-15 摄像设备及其控制方法 Active CN101247477B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007035843A JP5247044B2 (ja) 2007-02-16 2007-02-16 撮像装置
JP2007035843 2007-02-16
JP2007-035843 2007-02-16

Publications (2)

Publication Number Publication Date
CN101247477A CN101247477A (zh) 2008-08-20
CN101247477B true CN101247477B (zh) 2013-01-16

Family

ID=39706296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100061669A Active CN101247477B (zh) 2007-02-16 2008-02-15 摄像设备及其控制方法

Country Status (3)

Country Link
US (1) US9354487B2 (zh)
JP (1) JP5247044B2 (zh)
CN (1) CN101247477B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4775930B2 (ja) * 2004-02-20 2011-09-21 キヤノン株式会社 レンズ制御装置、撮像装置およびレンズ制御方法
JP5415899B2 (ja) 2008-10-30 2014-02-12 パナソニック株式会社 撮像装置
JP5247522B2 (ja) * 2009-02-18 2013-07-24 パナソニック株式会社 撮像装置
JP5448621B2 (ja) * 2009-07-27 2014-03-19 キヤノン株式会社 撮像装置、及び撮像装置の制御方法
JP5445150B2 (ja) * 2010-01-12 2014-03-19 株式会社リコー 自動合焦制御装置、電子撮像装置及びデジタルスチルカメラ
US20120026802A1 (en) * 2010-07-30 2012-02-02 Emanuele Confalonieri Managed hybrid memory with adaptive power supply
JP5618712B2 (ja) * 2010-09-02 2014-11-05 キヤノン株式会社 自動焦点調節装置および撮像装置
JP5623254B2 (ja) * 2010-11-29 2014-11-12 キヤノン株式会社 撮像装置およびその制御方法
JP5743514B2 (ja) * 2010-12-08 2015-07-01 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP5808124B2 (ja) * 2011-03-24 2015-11-10 キヤノン株式会社 焦点検出装置及びその制御方法並びに焦点検出装置を有する撮像装置
JP6000520B2 (ja) * 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
JP5917207B2 (ja) * 2012-03-14 2016-05-11 キヤノン株式会社 焦点調節装置
JP5963526B2 (ja) 2012-04-27 2016-08-03 キヤノン株式会社 レンズ装置及びそれを有する撮像装置
ES2547022T3 (es) * 2012-08-24 2015-09-30 Sick Ag Cámara y procedimiento para el registro de imágenes nitidas
WO2014083914A1 (ja) * 2012-11-29 2014-06-05 富士フイルム株式会社 撮像装置及び合焦制御方法
US9467604B2 (en) * 2012-12-03 2016-10-11 Cognex Corporation Method and apparatus for calibrating a camera lens flange to sensor distance
JP2016114614A (ja) * 2013-03-29 2016-06-23 富士フイルム株式会社 オート・フォーカス装置およびその動作制御方法
JP2016106242A (ja) * 2013-03-29 2016-06-16 富士フイルム株式会社 オート・フォーカス装置およびその動作制御方法
JP5930999B2 (ja) 2013-04-05 2016-06-08 キヤノン株式会社 撮像装置、撮像システム、レンズユニット、撮像装置の制御方法、およびレンズユニットの制御方法
JP5871858B2 (ja) * 2013-05-20 2016-03-01 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6288968B2 (ja) * 2013-07-19 2018-03-07 キヤノン株式会社 自動焦点調整制御装置及びそれを有するレンズ装置、撮像装置
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
CN105100573B (zh) * 2015-08-21 2018-09-04 广东欧珀移动通信有限公司 摄像模组及电子装置
CN105163011A (zh) * 2015-08-21 2015-12-16 广东欧珀移动通信有限公司 摄像模组及电子装置
US9420164B1 (en) * 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
CN106027889B (zh) * 2016-05-20 2019-04-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
WO2018008243A1 (ja) * 2016-07-06 2018-01-11 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP2018128542A (ja) * 2017-02-08 2018-08-16 日本放送協会 合焦位置検出器及び撮像装置
US11561284B2 (en) * 2018-11-02 2023-01-24 Waymo Llc Parallax compensating spatial filters
CN111614914B (zh) * 2020-05-20 2022-08-19 南通市第一人民医院 一种光电隔离型的内镜工作站专用的视频输入切换器
CN113660425B (zh) * 2021-08-19 2023-08-22 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450398A (zh) * 2002-04-05 2003-10-22 佳能株式会社 摄象装置以及摄象系统
CN1595219A (zh) * 2003-09-09 2005-03-16 佳能株式会社 摄像装置和摄像装置的聚焦控制程序
CN1908720A (zh) * 2002-09-12 2007-02-07 佳能株式会社 自动聚焦装置和方法,摄影装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06205264A (ja) 1992-12-28 1994-07-22 Canon Inc 自動合焦装置
US5757429A (en) * 1993-06-17 1998-05-26 Sanyo Electric Co., Ltd. Automatic focusing apparatus which adjusts the speed of focusing based on a change in the rate of the focus evaluating value
US7209175B1 (en) * 1996-04-08 2007-04-24 Nikon Corporation Autofocus apparatus
JP2003114377A (ja) * 2001-10-05 2003-04-18 Nikon Gijutsu Kobo:Kk カメラ
JP3989261B2 (ja) * 2002-02-19 2007-10-10 オリンパス株式会社 デジタルカメラ
JP2003241074A (ja) * 2002-02-20 2003-08-27 Canon Inc 自動焦点調節装置及びカメラシステム
US6895181B2 (en) * 2002-08-27 2005-05-17 Olympus Corporation Camera and distance measuring method thereof
JP5464771B2 (ja) * 2003-10-15 2014-04-09 キヤノン株式会社 撮像装置およびそのフォーカス制御方法
JP4042710B2 (ja) * 2004-02-25 2008-02-06 カシオ計算機株式会社 オートフォーカス装置及びそのプログラム
JP4502376B2 (ja) * 2004-06-15 2010-07-14 キヤノン株式会社 フォーカス制御装置及び撮影装置
JP4701805B2 (ja) 2005-04-19 2011-06-15 株式会社ニコン オートフォーカス装置
JP4886210B2 (ja) 2005-04-21 2012-02-29 キヤノン株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450398A (zh) * 2002-04-05 2003-10-22 佳能株式会社 摄象装置以及摄象系统
CN1908720A (zh) * 2002-09-12 2007-02-07 佳能株式会社 自动聚焦装置和方法,摄影装置
CN1595219A (zh) * 2003-09-09 2005-03-16 佳能株式会社 摄像装置和摄像装置的聚焦控制程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2002-258147A 2002.09.11
JP特开平5-64056A 1993.03.12

Also Published As

Publication number Publication date
CN101247477A (zh) 2008-08-20
US9354487B2 (en) 2016-05-31
JP2008203294A (ja) 2008-09-04
US20080198257A1 (en) 2008-08-21
JP5247044B2 (ja) 2013-07-24

Similar Documents

Publication Publication Date Title
CN101247477B (zh) 摄像设备及其控制方法
EP1921845B1 (en) Lens controlling apparatus and focus controlling method for an image-taking optical system
US7852398B2 (en) Image-taking apparatus
US7778539B2 (en) Optical apparatus
RU2456654C2 (ru) Устройство для съемки изображения, способ управления им и носитель информации
US7945150B2 (en) Image-pickup apparatus and focus control method
USRE45692E1 (en) Automatic focusing apparatus and image pickup apparatus
US8121470B2 (en) Focusing device, image pick-up apparatus, and control method
US7602435B2 (en) Image-taking apparatus and focus control program for image-taking apparatus
US8525919B2 (en) Image-pickup apparatus and control method therefor which provide at least two types of focus control and which output information for causing a user to recognize the type of focus control currently performed, wherein the information is output when a first of the types of focus control is performed but not when a second of the types of focus control is performed
US6704054B1 (en) Autofocusing system
US7518807B2 (en) Focus adjustment apparatus, image pickup apparatus, and control method
JP2004279683A (ja) 画像入力装置
US7526190B2 (en) Automatic focusing apparatus and optical instrument including automatic focusing apparatus
US7423685B2 (en) Image-taking apparatus with first control method in which focus lens is driven based upon signal from image-pickup device and second control method in which focus lens is driven based on signal representing object distance
US7570298B2 (en) Image-taking apparatus with first focus control such that in-focus position is searched for based on first signal and second focus control such that one of in-focus position and drive amount is determined based on second signal
JP2003241074A (ja) 自動焦点調節装置及びカメラシステム
JPH1026725A (ja) オートフォーカス装置
JPH04161912A (ja) 電子カメラのオートフォーカス装置
JP5610929B2 (ja) 撮像装置
JP5930979B2 (ja) 撮像装置
JP2005227447A (ja) オートフォーカスカメラ
JP2004069953A (ja) カメラ
JP2005234350A (ja) プロジェクタ装置および焦点調節方法
JPH02215282A (ja) 動体追尾装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Beijing Lin Daliu Intellectual Property Agency (general partnership) Finance

Document name: Notification of Approving Refund

C14 Grant of patent or utility model
GR01 Patent grant