JP2006227605A - Imaging apparatus, method of detecting focused position and recording medium readable by information processor - Google Patents

Imaging apparatus, method of detecting focused position and recording medium readable by information processor Download PDF

Info

Publication number
JP2006227605A
JP2006227605A JP2006011181A JP2006011181A JP2006227605A JP 2006227605 A JP2006227605 A JP 2006227605A JP 2006011181 A JP2006011181 A JP 2006011181A JP 2006011181 A JP2006011181 A JP 2006011181A JP 2006227605 A JP2006227605 A JP 2006227605A
Authority
JP
Japan
Prior art keywords
focus
distance interval
state
focus state
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006011181A
Other languages
Japanese (ja)
Other versions
JP4574559B2 (en
Inventor
Shinya Hirai
信也 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006011181A priority Critical patent/JP4574559B2/en
Publication of JP2006227605A publication Critical patent/JP2006227605A/en
Application granted granted Critical
Publication of JP4574559B2 publication Critical patent/JP4574559B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a focusing device and method capable of shortening focusing time while ensuring focusing accuracy. <P>SOLUTION: In step S1, a search in rough steps is carried out. In step S2, it is determined whether a search in fine steps is necessary or not. In step S3, if the search in fine steps is necessary, processing proceeds to step S4. If not, it proceeds to step S6. When proceeding to step S4, the proximity of the maximum value searched in rough steps is subjected to a search in fine steps. In step S5, a focused position is determined based on an AF evaluation value obtained as a result of the search in the fine steps. When proceeding to step S6, a focused position is determined based upon an AF evaluation value obtained as a result of the search in the rough steps. In step S7, a focus lens is driven to the focused position, thereby obtaining a focused state. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、撮像素子から得られる映像信号に基づいて行われる焦点調節技術に関する。   The present invention relates to a focus adjustment technique performed based on a video signal obtained from an image sensor.

デジタルカメラやデジタルビデオカメラなどに用いられるオートフォーカス装置(合焦装置)には、撮像素子から得られる映像信号を用いて合焦状態を評価する信号を作成し、その信号を用いて合焦位置を決定するものがある。かかる方法は、オートフォーカス専用のセンサーを必要としないため、コストが低く、また、パララックスが存在せず、精度も高いという利点を備えている。しかし、フォーカスレンズを所定距離範囲内で駆動し、順次評価信号を作成する必要があるため、レンズの焦点距離の長かったり、開放F値が小さい場合等、相対的に広い範囲にわたってフォーカスレンズを駆動する場合には、合焦時間が長くかかってしまうという欠点がある。   For autofocus devices (focusing devices) used in digital cameras and digital video cameras, a signal for evaluating the in-focus state is created using the video signal obtained from the image sensor, and the focus position is determined using that signal. There is something to decide. Such a method does not require a sensor dedicated to autofocus, and thus has the advantages of low cost, no parallax, and high accuracy. However, since it is necessary to drive the focus lens within a predetermined distance range and create evaluation signals sequentially, the focus lens is driven over a relatively wide range, such as when the focal length of the lens is long or the open F value is small. In this case, there is a disadvantage that it takes a long time to focus.

この問題に対しては、例えば、特許文献1に記載された方法が知られている。この発明では、比較的粗いステップで被写体距離範囲をサーチして評価値の極大値を特定し、この極大値付近において細かいステップでサーチし直して、合焦位置を決定する。この方法によれば、十分サーチ範囲が広い場合に、細かいステップのみでサーチする場合と比べ、取得する合計データ数が減少し、合焦時間を削減することが可能である。
特許第2708904号公報
For this problem, for example, a method described in Patent Document 1 is known. According to the present invention, the subject distance range is searched in a relatively rough step to identify the maximum value of the evaluation value, and the search is performed again in a fine step in the vicinity of the maximum value to determine the in-focus position. According to this method, when the search range is sufficiently wide, the total number of data to be acquired can be reduced and the focusing time can be reduced as compared with the case where the search is performed only with fine steps.
Japanese Patent No. 2708904

しかしながら、上記の方法では、粗いステップでサーチした後、常に細かいステップでのサーチを行うため、フォーカスレンズを多数回往復動作させる必要があり、合焦に至るまでの時間(合焦時間)が長くなることがある。   However, in the above method, since the search is always performed in the fine step after the search in the rough step, it is necessary to reciprocate the focus lens many times, and the time until focusing (focusing time) is long. May be.

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。   As a result of intensive studies to solve the above problems, the present inventor has come up with various aspects of the invention described below.

撮像素子から得られる画像信号を用いてフォーカスレンズの合焦位置を求める合焦位置検出装置であって、予め定められた距離範囲について、合焦状態を取得する取得手段と、第1の距離間隔と、前記第1の距離間隔よりも狭い第2の距離間隔とで合焦状態を取得するように、前記取得手段を制御する制御手段と、前記第1の距離間隔または前記第2の距離間隔で取得した合焦状態に基づいて合焦位置を求める合焦位置検出手段とを有し、前記制御手段は、前記第1の距離間隔で得られた合焦状態に基づいて、前記第2の距離間隔で合焦状態を取得するか否かを切り替える。   An in-focus position detecting device for obtaining an in-focus position of a focus lens using an image signal obtained from an image sensor, an acquisition means for acquiring an in-focus state for a predetermined distance range, and a first distance interval And a control means for controlling the acquisition means so as to acquire an in-focus state at a second distance interval narrower than the first distance interval, and the first distance interval or the second distance interval. Focusing position detection means for obtaining a focusing position based on the focusing state acquired in step (i), wherein the control means is configured to control the second position based on the focusing state obtained at the first distance interval. Switches whether to acquire the in-focus state at distance intervals.

本発明によれば、合焦精度を確保しながら合焦時間を短縮することができる合焦技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the focusing technique which can shorten a focusing time can be provided, ensuring a focusing precision.

本発明を実施するための最良の形態は、以下の実施例1および実施例2に示す通りである。   The best mode for carrying out the present invention is as shown in Example 1 and Example 2 below.

図1は、本発明の実施形態に係る合焦装置を備えたデジタルカメラの概略を示す図である。   FIG. 1 is a diagram illustrating an outline of a digital camera including a focusing device according to an embodiment of the present invention.

本実施形態に係るデジタルカメラには、光学系1及びフォーカスレンズ2が設けられており、これらにより結像した光を撮像素子3が光電変換する。撮像素子3から出力されたアナログ信号は、出力ノイズを除去するCDS回路及びA/D変換前に行う非線形増幅回路等を備えた前置処理回路4により処理された後、A/D変換器5によってデジタル化される。そして、デジタル信号がメモリコントローラ6を介してメモリ7に格納され、また、信号処理回路(図示せず)によって画像データに変換されて記録媒体8に記録される。   The digital camera according to the present embodiment is provided with an optical system 1 and a focus lens 2, and the image sensor 3 photoelectrically converts light imaged by these. The analog signal output from the image pickup device 3 is processed by a pre-processing circuit 4 including a CDS circuit for removing output noise and a non-linear amplification circuit performed before A / D conversion, and then the A / D converter 5. Digitized by The digital signal is stored in the memory 7 via the memory controller 6, converted into image data by a signal processing circuit (not shown), and recorded on the recording medium 8.

フォーカスレンズ2の焦点を主被写体に合わせるフォーカス動作(合焦動作)は、主に制御部11により制御される。また、フォーカスレンズ駆動回路12は、ここでは2種類の速度(高速、低速)でフォーカスレンズ2を駆動できるように構成されている。   The focus operation (focusing operation) for focusing the focus lens 2 on the main subject is mainly controlled by the control unit 11. The focus lens drive circuit 12 is configured to drive the focus lens 2 at two speeds (high speed and low speed) here.

ここで、本願におけるフォーカス動作の概要について説明する。先ず、高速でフォーカスレンズ駆動回路12によりフォーカスレンズ2が駆動され、所定周期で撮像した画像信号を用いて画像のコントラストに応じた信号(AF評価値)をAF評価値演算部14が演算して求める。   Here, an outline of the focus operation in the present application will be described. First, the focus lens drive circuit 12 drives the focus lens 2 at high speed, and the AF evaluation value calculation unit 14 calculates a signal (AF evaluation value) corresponding to the contrast of the image using an image signal captured at a predetermined period. Ask.

この演算はAFフレーム設定部13により設定された1又は2以上のAFフレームについて行われる。   This calculation is performed for one or more AF frames set by the AF frame setting unit 13.

ここで、撮影画像のコントラストに応じた信号(AF評価値)の演算は次のように行う。先ず、AFフレーム内に相当する撮像素子3から出力された画像データの各ラインに所定の高周波信号を透過させる水平方向のバンドパスフィルタを適用する。次に、ライン毎にバンドパス出力信号(絶対値)の最も大きいものを選択する。そして、選択した信号を垂直方向に積分する。従って、水平方向のコントラストの大きいものが検出されて垂直方向に積分されることで、信号のS/N比が向上する。また、このような演算を行うことにより、合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなるような信号を得ることが可能となる。従って、このような信号の極大値が得られる位置で撮影を行えば、被写体に合焦状態の画像を得ることができる。   Here, calculation of a signal (AF evaluation value) corresponding to the contrast of the captured image is performed as follows. First, a horizontal band-pass filter that transmits a predetermined high-frequency signal is applied to each line of image data output from the image sensor 3 corresponding to the AF frame. Next, the one having the largest bandpass output signal (absolute value) is selected for each line. Then, the selected signal is integrated in the vertical direction. Accordingly, a signal having a large contrast in the horizontal direction is detected and integrated in the vertical direction, so that the S / N ratio of the signal is improved. In addition, by performing such calculation, it is possible to obtain a signal that has the largest value in the in-focus state and decreases in the defocus state. Therefore, if photographing is performed at a position where such a maximum value of the signal is obtained, an image in a focused state on the subject can be obtained.

AF評価値が求められると、このAF評価値を用いて細サーチ判定部15により低速での合焦動作が必要か否かを判定する。なお、低速駆動する際も、上述した高速駆動の時と同じ周期で撮像した画像信号を用いてAF評価値を求める。従って、AF評価値を取得するフォーカスレンズ2の位置間隔は、高速駆動時と比較して短くなる。   When the AF evaluation value is obtained, the fine search determination unit 15 determines whether or not a low-speed focusing operation is necessary using the AF evaluation value. In addition, when driving at a low speed, an AF evaluation value is obtained using an image signal captured at the same cycle as that at the time of the high speed driving described above. Therefore, the position interval of the focus lens 2 for acquiring the AF evaluation value is shorter than that at the time of high speed driving.

低速での合焦状態を検出する動作が必要でない場合には合焦位置決定部16において合焦位置を決定した後、その位置にフォーカスレンズを駆動する。一方、低速での合焦状態を検出する動作が必要な場合には、フォーカスレンズ駆動回路12により低速でフォーカスレンズ2が駆動される。その際、上述のようにしてAF評価値を演算した後、合焦位置を決定する。そして、この合焦位置にフォーカスレンズを駆動する。なお、スイッチ9及び10は、動作モードを切り替えるためのスイッチである。例えば、スイッチ9が操作された場合に合焦状態を検出する動作に移行し、スイッチ10が操作された場合に撮像及び画像の記録する動作に移行する。   When the operation for detecting the in-focus state at low speed is not required, the in-focus position determination unit 16 determines the in-focus position, and then drives the focus lens to that position. On the other hand, when an operation for detecting a focused state at a low speed is necessary, the focus lens 2 is driven at a low speed by the focus lens driving circuit 12. At that time, after calculating the AF evaluation value as described above, the in-focus position is determined. Then, the focus lens is driven to this in-focus position. The switches 9 and 10 are switches for switching the operation mode. For example, when the switch 9 is operated, the operation shifts to an operation for detecting the in-focus state, and when the switch 10 is operated, the operation shifts to an operation for capturing and recording an image.

次に、合焦動作について図2に示すフローチャートを参照しながらより詳細に説明する。   Next, the focusing operation will be described in more detail with reference to the flowchart shown in FIG.

先ず、ステップS1において、高速でフォーカスレンズ2を駆動し、AF評価値演算部14の演算によりAF評価値を得る。この得られたAF評価値を用いて、ステップS2において、低速でのサーチが必要か否かを判定する。低速でのフォーカスレンズ2の駆動によるAF評価値の取得が必要になる場合の詳細については後述する。   First, in step S1, the focus lens 2 is driven at high speed, and an AF evaluation value is obtained by calculation of the AF evaluation value calculation unit 14. Using the obtained AF evaluation value, it is determined in step S2 whether a low-speed search is necessary. Details of the case where it is necessary to acquire the AF evaluation value by driving the focus lens 2 at low speed will be described later.

ステップS2においてフォーカスレンズ2の低速駆動に伴うAF評価値の取得(サーチ動作)が必要か否かを判定する。ステップS3において、ステップS2の判定結果を踏まえて、フォーカスレンズ2の低速駆動に伴うAF評価値の取得(サーチ動作)が必要な場合にはステップS4へ、必要でない場合にはステップS6へ進む。   In step S2, it is determined whether it is necessary to acquire an AF evaluation value (search operation) associated with low-speed driving of the focus lens 2. In step S3, based on the determination result in step S2, the process proceeds to step S4 when the AF evaluation value acquisition (search operation) accompanying the low-speed driving of the focus lens 2 is necessary, and to step S6 when it is not necessary.

ステップS4に進んだ場合、高速駆動により取得した仮の極大値付近をフォーカスレンズ2の低速駆動を行ってAF評価値の取得する、ステップS5において、仮の極大値付近のフォーカスレンズ2の低速駆動に伴うAF評価値の取得の結果、得られたAF評価値に基づいて合焦位置を決定する。一方、ステップS6に進んだ場合は、フォーカスレンズ2の高速駆動に伴うAF評価値の取得の結果、得られたAF評価値に基づいて合焦位置を決定する。   When the process proceeds to step S4, the focus lens 2 is driven at a low speed near the temporary maximum value obtained by high speed driving to obtain an AF evaluation value. At step S5, the focus lens 2 near the temporary maximum value is driven at low speed. As a result of the acquisition of the AF evaluation value accompanying this, the in-focus position is determined based on the obtained AF evaluation value. On the other hand, when the process proceeds to step S6, the in-focus position is determined based on the AF evaluation value obtained as a result of obtaining the AF evaluation value accompanying the high-speed driving of the focus lens 2.

そして、ステップS5又はS6で合焦位置を決定した後に、ステップS7において合焦位置にフォーカスレンズ2を駆動することにより、合焦状態を得る。   Then, after the focus position is determined in step S5 or S6, the focus lens 2 is driven to the focus position in step S7, thereby obtaining a focused state.

フォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要になる場合の例として、例えば以下の3つの場合が挙げられる。   As an example of the case where it is necessary to acquire the AF evaluation value accompanying the low-speed driving of the focus lens 2, there are the following three cases, for example.

第1の例は、例えば細い線等のような被写体が高周波成分を多く含む場合である。一般的に、フォーカスレンズを合焦位置からずらしていった場合、デフォーカス特性は、被写体像が高周波成分を多く含むほど速く減衰する。例えば、図6に示されるAは被写体像が高周波成分を多く含む場合で、一方、Bは被写体像が高周波成分を多く含まない場合を示している。従って、AF評価値の山は急峻となり、フォーカスレンズ2の高速駆動では、必要なサンプリング間隔以上の粗い間隔でAF評価値の取得してしまう場合がある。例えば、図3に示すような場合には、正確な合焦位置が求められない。即ち、山の形状をなしている部分からは1ポイントのみしかAF評価値を取得しておらず、山のどの部分からデータを得るかによって合焦位置がばらついてしまう。なお、図3では、■がサンプリングを行いAF評価値を取得したポイントを示している。   The first example is a case where an object such as a thin line contains a lot of high frequency components. In general, when the focus lens is shifted from the in-focus position, the defocus characteristic attenuates faster as the subject image contains more high-frequency components. For example, A shown in FIG. 6 is a case where the subject image contains a lot of high-frequency components, while B shows a case where the subject image does not contain many high-frequency components. Therefore, the peaks of the AF evaluation values are steep, and when the focus lens 2 is driven at high speed, the AF evaluation values may be acquired at a rough interval that is greater than the required sampling interval. For example, in the case shown in FIG. 3, an accurate in-focus position cannot be obtained. That is, only one point of the AF evaluation value is acquired from the portion having the shape of the mountain, and the in-focus position varies depending on from which portion of the mountain the data is obtained. In FIG. 3, ■ indicates points where sampling was performed and AF evaluation values were acquired.

このようなシーン、即ちフォーカスレンズ2の高速駆動に伴うAF評価値の取得で合焦位置を特定できるか否かは、例えば、AF評価値の山の幅を求めることで判定可能である。つまり、先ず、フォーカスレンズ2の高速駆動に伴うAF評価値の取得で得たデータの位置をi=1,2,・・・,Nとし、位置iでのAF評価値をV(i)と定義する。そして、極大値の位置(i=Imax)を求め、更に、i=Imax、Imax+1、Imax+2、・・・の順で「L(i)=|V(i)‐V(i+1)|」を求める。そして、不等式「L(i)>所定値」が満たされなくなるまでの、位置iの個数をカウントする。同様に、i=Imax−1、Imax−2、・・・の順でも、位置iの個数をカウントする。   Whether or not an in-focus position can be specified by acquiring an AF evaluation value associated with high-speed driving of the focus lens 2 in such a scene can be determined by, for example, obtaining a width of a peak of the AF evaluation value. That is, first, i = 1, 2,..., N is the position of the data obtained by acquiring the AF evaluation value associated with high-speed driving of the focus lens 2, and the AF evaluation value at position i is V (i). Define. Then, the position of the maximum value (i = Imax) is obtained, and further “L (i) = | V (i) −V (i + 1) |” is obtained in the order of i = Imax, Imax + 1, Imax + 2,. . Then, the number of positions i until the inequality “L (i)> predetermined value” is not satisfied is counted. Similarly, the number of positions i is counted in the order of i = Imax-1, Imax-2,.

このような処理を行うと、図3に示す例では、i=Imax+1とした場合及びi=Imax−2とした場合に不等式「L(i)>所定値」が満たされなくなる。したがって、位置iの個数は総計で2個となり、フォーカスレンズ2の位置に対するAF評価値の信号の山幅を2と判断することができる。   When such processing is performed, in the example shown in FIG. 3, the inequality “L (i)> predetermined value” is not satisfied when i = Imax + 1 and i = Imax−2. Therefore, the total number of positions i is two, and the peak width of the AF evaluation value signal with respect to the position of the focus lens 2 can be determined to be two.

そして、上記のような高周波成分を多く含む被写体像における山の幅の所定値を予め定めておき、上述のようにして得られた山の幅と所定値とを比較する。比較した結果、その差が所定値以下であれば、山の幅が狭く、高周波成分を多く含む被写体像であると判定すればよい。例えば、図3に示す例で、山の幅の所定値が予め2と定められているのであれば、フォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要になる場合であると判断する。   Then, a predetermined value of the peak width in the subject image including a lot of high frequency components as described above is determined in advance, and the peak width obtained as described above is compared with the predetermined value. As a result of the comparison, if the difference is equal to or smaller than a predetermined value, it may be determined that the subject image is narrow and has a high frequency component. For example, in the example shown in FIG. 3, if the predetermined value of the mountain width is set to 2 in advance, it is determined that it is necessary to acquire the AF evaluation value accompanying the low-speed driving of the focus lens 2. .

なお、AF評価値の最大値Vmaxと最小値Vminと差(山をなす部分の高さ)が所定値以下となる場合に、AF評価値の山が急峻で、高周波成分を多く含む被写体像であるとして、フォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要になる場合と判定するようにしてもよい。これは、山が急峻の場合に高速駆動でAF評価値を取得すると、その急峻な山全体を検出できない場合があるからである。   When the difference between the maximum value Vmax and the minimum value Vmin of the AF evaluation value is less than or equal to a predetermined value, the peak of the AF evaluation value is steep and the subject image contains a lot of high-frequency components. As an alternative, it may be determined that it is necessary to acquire an AF evaluation value associated with low-speed driving of the focus lens 2. This is because if the AF evaluation value is acquired at high speed when the mountain is steep, the entire steep mountain may not be detected.

第2の例は、AFエリアに複数の被写体が存在し、それぞれの被写体距離が異なる場合である。AFエリアとは撮像した画像データのうち、AF評価値のための信号を取得するエリアのことで、撮像画像に対して1、又は二以上ある。撮影者には、AFエリアに対応する領域をファインダー(若しくは背面モニター)上にAFフレームとして表示することで、AFエリアの撮像画像上の位置関係を視認可能にしてある。   The second example is a case where there are a plurality of subjects in the AF area and the subject distances are different. An AF area is an area for acquiring a signal for an AF evaluation value among captured image data, and there are one or two or more for a captured image. The photographer can visually recognize the positional relationship of the AF area on the captured image by displaying an area corresponding to the AF area as an AF frame on the viewfinder (or rear monitor).

このようなAFエリアに複数の被写体が存在し、それぞれの被写体距離が異なる場合、フォーカスレンズ2の位置に対するAF評価値の山のピークが複数存在することになる。そして、図4に示すように、フォーカスレンズ2の位置に対するAF評価値の山の裾が重なる場合、フォーカスレンズ2の高速駆動に伴うAF評価値の取得では合焦位置を判断することができない。   When there are a plurality of subjects in such an AF area and the subject distances are different, there are a plurality of peaks of the AF evaluation value for the position of the focus lens 2. As shown in FIG. 4, when the peaks of the AF evaluation values with respect to the position of the focus lens 2 overlap, the focus position cannot be determined by acquiring the AF evaluation values associated with high-speed driving of the focus lens 2.

すなわち、図4に示すようにフォーカスレンズ2の位置に対するAF評価値の複数の山が存在しているのか、それともノイズによりAF評価値が変動しているのかを明確に区別することが困難となる。そのため、フォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要となる。   That is, as shown in FIG. 4, it is difficult to clearly distinguish whether there are a plurality of peaks of AF evaluation values for the position of the focus lens 2 or whether the AF evaluation values fluctuate due to noise. . Therefore, it is necessary to acquire an AF evaluation value accompanying the low-speed driving of the focus lens 2.

AFエリアに複数の被写体が存在する場合にフォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要か否かの判定を行う方法としては、例えば次のような方法がある。すなわち、フォーカスレンズ2の位置に対するAF評価値の極大値が複数個存在する場合にその間隔が予め定めておいた所定値以下であるときに、フォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要であると判定すればよい。例えば、上記間隔の所定値が予め2と定められている場合、図4に示すようなフォーカスレンズ2の位置に対するAF評価値が得られたときである。このようなAF評価値が得られた場合、極大値の間隔が2であるため、フォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要であると判定することとなる。また、極大値が複数個存在する場合にその個数が予め定めておいた所定値以上であるときに、フォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要であると判定してもよい。   As a method for determining whether or not it is necessary to acquire an AF evaluation value associated with low-speed driving of the focus lens 2 when there are a plurality of subjects in the AF area, for example, there is the following method. That is, when there are a plurality of maximum AF evaluation values for the position of the focus lens 2 and the interval is equal to or less than a predetermined value, the AF evaluation value associated with the low-speed driving of the focus lens 2 is acquired. May be determined to be necessary. For example, when the predetermined value of the interval is set to 2 in advance, the AF evaluation value for the position of the focus lens 2 as shown in FIG. 4 is obtained. When such an AF evaluation value is obtained, since the interval between the maximum values is 2, it is determined that it is necessary to acquire the AF evaluation value accompanying the low-speed driving of the focus lens 2. Further, when there are a plurality of local maximum values and the number is equal to or greater than a predetermined value, it may be determined that it is necessary to acquire an AF evaluation value associated with low-speed driving of the focus lens 2. .

なお、フォーカスレンズ2、或いは被写体の微小の変動で極大値となるような場合を考慮して、例えば、AF評価値の変動が微小である場合や手ぶれが起きていることを知らせる信号が発生した場合には極大値と見なさないようにしてもよい。また、取得したフォーカスレンズ2の位置に対するAF評価値の極大値の大きさが最大値に対して所定の割合以上のものだけを判定の対象としての極大値と見なすようにしてもよい。   Considering the case where the focus lens 2 or the subject has a maximum value due to a minute fluctuation, for example, a signal is generated to notify that the fluctuation of the AF evaluation value is minute or camera shake has occurred. In some cases, the maximum value may not be considered. Alternatively, only the maximum value of the AF evaluation value with respect to the acquired position of the focus lens 2 that is a predetermined ratio or more with respect to the maximum value may be regarded as the maximum value as a determination target.

図4に示す複数、この場合は2つの被写体距離が更に近づいた場合には、図5のようなAF評価値が得られることがある。これが第3の例である。このような場合には、複数の被写体がそれぞれ異なる被写体距離に存在しているにも拘わらず、取得したAF評価値の極大値が1つとなるため、上述の方法では判定することができない。   When a plurality of object distances shown in FIG. 4, in this case, two subject distances are closer, an AF evaluation value as shown in FIG. 5 may be obtained. This is the third example. In such a case, although the plurality of subjects are present at different subject distances, the maximum value of the acquired AF evaluation value becomes one, and thus cannot be determined by the above method.

このような場合には、例えば次のようにして判定することができる。即ち、フォーカスレンズ2の高速駆動により得られた複数のAF評価値のうち、最大値と、そのAF評価値の最大値に隣接するAF評価値の値の減少割合が単一の山の場合と比較して低減することに注目したものである。   In such a case, it can be determined as follows, for example. That is, among the plurality of AF evaluation values obtained by high-speed driving of the focus lens 2, the maximum value and the decrease rate of the AF evaluation value adjacent to the maximum value of the AF evaluation value are a single peak. In comparison, the reduction is noted.

これは、AF評価値の最大値V(Imax)とそれに隣接するV(Imax−1)及びV(Imax+1)とを用いて、V(Imax)/V(Imax−1)及びV(Imax)/V(Imax+1)を計算する。そして、これらの少なくとも一方が予め定めておいた所定値以下である場合に、即ちAF評価値の変化が緩やかである場合に、複数の山が重なっていると認定し、フォーカスレンズ2の低速駆動に伴うAF評価値の取得が必要であると判定する。   This is done by using the maximum AF evaluation value V (Imax) and the adjacent V (Imax-1) and V (Imax + 1), and V (Imax) / V (Imax-1) and V (Imax) / Calculate V (Imax + 1). Then, when at least one of them is equal to or less than a predetermined value set in advance, that is, when the change in the AF evaluation value is moderate, it is determined that a plurality of peaks overlap, and the focus lens 2 is driven at low speed. It is determined that it is necessary to acquire an AF evaluation value associated with.

このような本発明の実施形態によれば、十分な精度を確保しながら合焦時間を短縮することができる。フォーカスレンズの高速駆動に伴うAF評価値の取得で合焦可能な被写体に対しては、フォーカスレンズの低速駆動に伴うAF評価値の取得を行わずに合焦位置を決定するからである。   According to such an embodiment of the present invention, it is possible to shorten the focusing time while ensuring sufficient accuracy. This is because, for a subject that can be focused by acquiring an AF evaluation value accompanying high-speed driving of the focus lens, the in-focus position is determined without acquiring an AF evaluation value accompanying low-speed driving of the focus lens.

また、フォーカスレンズの低速駆動に伴うAF評価値の取得をしないと適切な合焦位置を決定できず、十分な合焦精度を得ることができないような場合でも、十分な合焦精度を得ることができる。細かいステップでのフォーカスレンズの駆動に伴うAF評価値の取得を行うためである。   In addition, even if AF evaluation values associated with low-speed driving of the focus lens cannot be obtained, an appropriate focus position cannot be determined and sufficient focus accuracy cannot be obtained. Can do. This is because the AF evaluation value accompanying the driving of the focus lens in a fine step is acquired.

なお、上記実施の形態では、AF評価値の取得周期を一定にして、フォーカスレンズ2を高速または低速で駆動することにより、AF評価値のフォーカスレンズ2の位置に対する取得間隔を粗くしたり、細かくしたりした。しかしながら、取得間隔を変更する方法は、フォーカスレンズ2の駆動速度を変更するものに限るものではない。フォーカスレンズ2の駆動速度を一定にして、AF評価値の取得周期を長くすれば、AF評価値のフォーカスレンズ2の位置に対する取得間隔を粗くすることができ、また、取得周期を短くすることで、取得間隔を細かくすることができる。また、AF評価値の取得の際には、フォーカスレンズを停止しても、動かしつつAF評価値を取得しても構わない。   In the above-described embodiment, the AF evaluation value acquisition period is fixed, and the focus lens 2 is driven at high speed or low speed, so that the acquisition interval of the AF evaluation value with respect to the position of the focus lens 2 is increased or reduced. I did. However, the method of changing the acquisition interval is not limited to changing the driving speed of the focus lens 2. If the driving speed of the focus lens 2 is constant and the AF evaluation value acquisition cycle is lengthened, the acquisition interval of the AF evaluation value with respect to the position of the focus lens 2 can be increased, and the acquisition cycle can be shortened. The acquisition interval can be made fine. Further, when acquiring the AF evaluation value, the AF evaluation value may be acquired while the focus lens is stopped or moved.

本発明の実施形態に係る合焦装置を備えたデジタルカメラの概略を示す図である。It is a figure which shows the outline of the digital camera provided with the focusing apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る合焦装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the focusing apparatus which concerns on embodiment of this invention. 細かいステップでのサーチが必要になるAF評価値の分布の第1の例を示す図である。It is a figure which shows the 1st example of distribution of AF evaluation value which requires the search by a fine step. 細かいステップでのサーチが必要になるAF評価値の分布の第2の例を示す図である。It is a figure which shows the 2nd example of distribution of AF evaluation value which requires the search by a fine step. 細かいステップでのサーチが必要になるAF評価値の分布の第3の例を示す図である。It is a figure which shows the 3rd example of distribution of AF evaluation value which requires the search by a fine step. 高周波成分を多く含む画像と、高周波成分を多く含まない画像のAF評価値の分布例を示す図である。It is a figure which shows the example of distribution of AF evaluation value of the image which contains many high frequency components, and the image which does not contain many high frequency components.

符号の説明Explanation of symbols

1 光学系
2 フォーカスレンズ
3 撮像素子
4 前置処理回路
5 A/D変換器
6 メモリコントローラ
7 メモリ
8 記録媒体
9、10 スイッチ
11 制御部
12 フォーカスレンズ駆動回路
13 測距枠設定部
14 AF評価値演算部
15 細サーチ判定部
16 合焦位置決定部
DESCRIPTION OF SYMBOLS 1 Optical system 2 Focus lens 3 Image pick-up element 4 Pre-processing circuit 5 A / D converter 6 Memory controller 7 Memory 8 Recording medium 9, 10 Switch 11 Control part 12 Focus lens drive circuit 13 Distance measurement frame setting part 14 AF evaluation value Calculation unit 15 Fine search determination unit 16 In-focus position determination unit

Claims (18)

撮像素子から得られる画像信号を用いてフォーカスレンズの合焦位置を求める合焦位置検出装置であって、
予め定められた距離範囲について、合焦状態を取得する取得手段と、
第1の距離間隔と、前記第1の距離間隔よりも狭い第2の距離間隔とで合焦状態を取得するように、前記取得手段を制御する制御手段と、
前記第1の距離間隔または前記第2の距離間隔で取得した合焦状態に基づいて合焦位置を求める合焦位置検出手段とを有し、
前記制御手段は、前記第1の距離間隔で得られた合焦状態に基づいて、前記第2の距離間隔で合焦状態を取得するか否かを切り替えることを特徴とする合焦位置検出装置。
An in-focus position detecting device that obtains an in-focus position of a focus lens using an image signal obtained from an image sensor,
Acquisition means for acquiring a focused state for a predetermined distance range;
Control means for controlling the acquisition means so as to acquire an in-focus state at a first distance interval and a second distance interval narrower than the first distance interval;
Focusing position detecting means for obtaining a focusing position based on the focusing state acquired at the first distance interval or the second distance interval;
The control means switches whether or not to acquire the in-focus state at the second distance interval based on the in-focus state obtained at the first distance interval. .
前記制御手段は、前記第1の距離間隔で得られた合焦状態に基づいて前記合焦位置を求めることができない場合に、前記第2の距離間隔で前記合焦状態を取得し、前記合焦状態を求めることができる場合に、前記第2の距離間隔での前記合焦状態の取得を行わないように前記取得手段を制御することを特徴とする請求項1に記載の合焦位置検出装置。   The control means acquires the in-focus state at the second distance interval when the in-focus position cannot be obtained based on the in-focus state obtained at the first distance interval. 2. The in-focus position detection according to claim 1, wherein when the in-focus state can be obtained, the acquisition unit is controlled not to acquire the in-focus state at the second distance interval. apparatus. 前記制御手段は、前記第2の距離間隔で前記合焦状態を取得する場合、前記予め設定された距離範囲内のより狭い距離範囲について、合焦状態を取得するように前記取得手段を制御することを特徴とする請求項1または2に記載の合焦位置検出装置。   When acquiring the in-focus state at the second distance interval, the control unit controls the acquiring unit to acquire the in-focus state for a narrower distance range within the preset distance range. The in-focus position detection apparatus according to claim 1 or 2, 前記合焦位置検出手段は、前記制御手段が前記第2の距離間隔で合焦状態で取得しないように前記取得手段を制御した場合、前記第1の距離間隔で得られた合焦状態に基づいて合焦状態を求め、前記第2の距離間隔で合焦状態を取得した場合、前記第2の距離間隔で得られた合焦状態に基づいて合焦位置を求めることを特徴とする請求項1乃至3のいずれか1項に記載の合焦位置検出装置。   The in-focus position detection means is based on the in-focus state obtained at the first distance interval when the control means controls the acquisition means so as not to acquire in the in-focus state at the second distance interval. The in-focus state is obtained, and when the in-focus state is acquired at the second distance interval, the in-focus position is obtained based on the in-focus state obtained at the second distance interval. The in-focus position detection device according to any one of 1 to 3. 前記取得手段は、前記合焦状態として前記画像信号から合焦評価値を取得し、
前記制御手段は、前記第1の距離間隔で得られた合焦評価値の分布状態に基づいて、前記第2の距離間隔で合焦状態を取得するか否かを切り替えることを特徴とする請求項1乃至4のいずれか1項に記載の合焦位置検出装置。
The acquisition means acquires a focus evaluation value from the image signal as the focus state,
The control means switches whether or not to acquire a focus state at the second distance interval based on a distribution state of focus evaluation values obtained at the first distance interval. Item 5. The focusing position detection device according to any one of Items 1 to 4.
前記制御手段は、前記第1の距離間隔で得られた合焦評価値の分布において、山をなす部分の幅が予め設定された閾値以下である場合に、前記第2の距離間隔で合焦状態を取得するように制御することを特徴とする請求項5に記載の合焦位置検出装置。   In the distribution of the focus evaluation values obtained at the first distance interval, the control means focuses at the second distance interval when the width of the portion forming the mountain is equal to or less than a preset threshold value. The in-focus position detection apparatus according to claim 5, wherein control is performed so as to acquire a state. 前記制御手段は、前記第1の距離間隔で得られた合焦評価値の分布において、山をなす部分の高さが予め設定された閾値以下である場合に、前記第2の距離間隔で合焦状態を取得するように制御することを特徴とする請求項5に記載の合焦位置検出装置。   In the distribution of the focus evaluation values obtained at the first distance interval, the control means adjusts at the second distance interval when the height of the portion forming the mountain is not more than a preset threshold value. The in-focus position detection apparatus according to claim 5, wherein the in-focus position detection apparatus is controlled to acquire a focus state. 前記制御手段は、前記第1の距離間隔で得られた合焦評価値の分布において、山をなす部分の個数が予め設定された閾値以上である場合に、前記第2の距離間隔で合焦状態を取得するように制御することを特徴とする請求項5に記載の合焦位置検出装置。   In the distribution of the focus evaluation values obtained at the first distance interval, the control means focuses at the second distance interval when the number of ridged portions is equal to or greater than a preset threshold value. The in-focus position detection apparatus according to claim 5, wherein control is performed so as to acquire a state. 前記制御手段は、前記第1の距離間隔で得られた合焦評価値の分布において、山をなす部分が複数ある場合、各々の極大値の間隔が予め設定された閾値以下であるときに、前記第2の距離間隔で合焦状態を取得するように制御することを特徴とする請求項5に記載の合焦位置検出装置。   In the distribution of the focus evaluation values obtained at the first distance interval, when the control means has a plurality of portions that form a mountain, when the interval between the maximum values is equal to or less than a preset threshold value, The in-focus position detection apparatus according to claim 5, wherein control is performed so as to acquire an in-focus state at the second distance interval. 前記制御手段は、前記第1の距離間隔で得られた合焦評価値の分布において、合焦評価値の最大値とこの最大値が得られる位置に隣接する位置における合焦評価値との間の変化量が予め設定された閾値以下である場合に、前記第2の距離間隔で合焦状態を取得するように制御することを特徴とする請求項5に記載の合焦位置検出装置。   In the distribution of the focus evaluation values obtained at the first distance interval, the control means is configured to determine whether the focus evaluation value is between a maximum value of the focus evaluation value and a focus evaluation value at a position adjacent to the position where the maximum value is obtained. The focus position detection apparatus according to claim 5, wherein when the amount of change is equal to or less than a preset threshold value, control is performed so as to acquire a focus state at the second distance interval. 前記制御手段は、前記取得手段により固定周期で合焦状態を取得させると共に、前記フォーカスレンズの駆動速度を変更させることで、前記距離距離を変更させ、前記第1の距離間隔で前記合焦状態を取得する時の駆動速度は、第2の距離間隔時の駆動速度よりも速いことを特徴とする請求項1乃至10のいずれか1項に記載の合焦位置検出装置。   The control unit causes the acquisition unit to acquire the in-focus state at a fixed period, and also changes the driving distance of the focus lens to change the distance distance, and the in-focus state at the first distance interval. 11. The in-focus position detecting device according to claim 1, wherein a driving speed at the time of acquiring is faster than a driving speed at the second distance interval. 前記制御手段は、前記フォーカスレンズを一定の駆動速度で駆動すると共に、前記取得手段により合焦状態を取得する周期を変更させることで、前記距離間隔を変更させ、前記第1の距離間隔で前記合焦状態を取得する時の周期は、第2の距離間隔時よりも長いことを特徴とする請求項1乃至11のいずれか1項に記載の合焦位置検出装置。   The control means drives the focus lens at a constant driving speed, and changes the distance interval by changing a period for acquiring the in-focus state by the acquisition means, and changes the distance interval at the first distance interval. The in-focus position detection apparatus according to claim 1, wherein a period when the in-focus state is acquired is longer than that in the second distance interval. 前記制御手段は、前記フォーカスレンズの駆動速度を変更させ、前記取得手段により合焦状態を取得する周期を変更させることで、前記距離間隔を変更させることを特徴とする請求項1乃至12のいずれか1項に記載の合焦位置検出装置。   The said control means changes the distance interval by changing the drive speed of the said focus lens, and changing the period which acquires an in-focus state by the said acquisition means. The in-focus position detecting device according to claim 1. 撮像素子と、
請求項1乃至13のいずれか1項に記載の合焦位置検出装置と、
前記合焦位置検出装置によって決定した合焦位置で撮影を行うように制御する制御手段と
を有することを特徴とする撮像装置。
An image sensor;
A focusing position detection device according to any one of claims 1 to 13,
An image pickup apparatus comprising: a control unit that performs control so that photographing is performed at a focus position determined by the focus position detection apparatus.
撮像素子から得られる画像信号を用いてフォーカスレンズの合焦位置を求める合焦位置検出方法であって、
予め定められた距離範囲について、第1の距離間隔で合焦状態を取得し、
前記第1の距離間隔で取得した合焦状態に基づいて、前記第1の距離間隔よりも狭い第2の距離間隔で合焦状態を取得するか否かを切り替え、
前記第2の距離間隔で合焦状態を取得する場合に、前記第2の距離間隔で合焦状態を取得し、
前記第2の距離間隔で合焦状態を取得しなかった場合に、前記第1の距離間隔で取得した合焦状態に基づいて合焦位置を求め、前記第2の距離間隔で合焦状態を取得した場合に、前記第2の距離間隔で取得した合焦状態に基づいて合焦位置を求める
ことを特徴とする合焦位置検出方法。
A focus position detection method for obtaining a focus position of a focus lens using an image signal obtained from an image sensor,
For a predetermined distance range, obtain a focused state at a first distance interval;
Based on the in-focus state acquired at the first distance interval, switching whether to acquire the in-focus state at a second distance interval that is narrower than the first distance interval,
When acquiring the in-focus state at the second distance interval, acquiring the in-focus state at the second distance interval;
When the in-focus state is not acquired at the second distance interval, an in-focus position is obtained based on the in-focus state acquired at the first distance interval, and the in-focus state is determined at the second distance interval. When acquired, the in-focus position is obtained based on the in-focus state acquired at the second distance interval.
前記第2の距離間隔で前記合焦状態を取得する場合、前記予め設定された距離範囲内のより狭い距離範囲について、合焦状態を取得することを特徴とする請求項15に記載の合焦位置検出方法。   The in-focus state according to claim 15, wherein when the in-focus state is acquired at the second distance interval, the in-focus state is acquired for a narrower distance range within the preset distance range. Position detection method. 前記合焦状態として、前記画像信号から合焦評価値を取得することを特徴とする請求項15に記載の合焦位置検出方法。   The focus position detection method according to claim 15, wherein a focus evaluation value is acquired from the image signal as the focus state. 請求項15に記載の合焦位置検出方法を実現するためのプログラムコードを有するプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
16. A storage medium readable by an information processing apparatus, wherein a program having a program code for realizing the in-focus position detection method according to claim 15 is stored.
JP2006011181A 2005-01-21 2006-01-19 Imaging device, focus position detection device, and focus position detection method Expired - Fee Related JP4574559B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006011181A JP4574559B2 (en) 2005-01-21 2006-01-19 Imaging device, focus position detection device, and focus position detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005014326 2005-01-21
JP2006011181A JP4574559B2 (en) 2005-01-21 2006-01-19 Imaging device, focus position detection device, and focus position detection method

Publications (2)

Publication Number Publication Date
JP2006227605A true JP2006227605A (en) 2006-08-31
JP4574559B2 JP4574559B2 (en) 2010-11-04

Family

ID=36988988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006011181A Expired - Fee Related JP4574559B2 (en) 2005-01-21 2006-01-19 Imaging device, focus position detection device, and focus position detection method

Country Status (1)

Country Link
JP (1) JP4574559B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009086030A (en) * 2007-09-27 2009-04-23 Fujifilm Corp Imaging apparatus, method and program
US7911527B2 (en) 2007-08-23 2011-03-22 Fujifilm Corporation Focusing apparatus and focusing method
CN114040069A (en) * 2021-11-05 2022-02-11 东方晶源微电子科技(北京)有限公司 Automatic focusing method and device based on detector channel, equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003279838A (en) * 2002-03-20 2003-10-02 Ricoh Co Ltd Automatic focus adjustment device
JP2004219581A (en) * 2003-01-10 2004-08-05 Canon Inc Automatic focusing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003279838A (en) * 2002-03-20 2003-10-02 Ricoh Co Ltd Automatic focus adjustment device
JP2004219581A (en) * 2003-01-10 2004-08-05 Canon Inc Automatic focusing device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7911527B2 (en) 2007-08-23 2011-03-22 Fujifilm Corporation Focusing apparatus and focusing method
JP2009086030A (en) * 2007-09-27 2009-04-23 Fujifilm Corp Imaging apparatus, method and program
CN114040069A (en) * 2021-11-05 2022-02-11 东方晶源微电子科技(北京)有限公司 Automatic focusing method and device based on detector channel, equipment and storage medium

Also Published As

Publication number Publication date
JP4574559B2 (en) 2010-11-04

Similar Documents

Publication Publication Date Title
JP4795155B2 (en) Optical device, imaging device, and control method thereof
JP5483953B2 (en) Focus adjustment device, focus adjustment method and program
JP2009031760A (en) Imaging apparatus and automatic focus control method
JP2008203294A (en) Imaging apparatus
JP5213813B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2008046351A (en) Automatic focusing device and imaging apparatus
JP2010139666A (en) Imaging device
US10542202B2 (en) Control apparatus that performs focusing by imaging-plane phase difference AF, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP2015087704A (en) Automatic focus adjustment unit, control method of automatic focus adjustment unit, control program of automatic focus adjustment unit, and storage medium
JP2004361484A (en) Autofocus camera
EP2166408B1 (en) Imaging device and imaging method using the same
CN107272139B (en) Lens control apparatus and control method
JP4574559B2 (en) Imaging device, focus position detection device, and focus position detection method
JP2006343777A (en) Focusing device and program
JP5371184B2 (en) Imaging device and control method thereof.
JP2008176113A (en) Focus detecting device and camera
US7486331B2 (en) Auto focus methods and auto focus devices for electronic cameras using the same
JP4769667B2 (en) Imaging device
JP7023673B2 (en) Focus control device, focus control method, and image pickup device
JP4933347B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4564884B2 (en) Lens apparatus and photographing apparatus
US11012609B2 (en) Image pickup apparatus and its control method, and storage medium
JP5930979B2 (en) Imaging device
JP5355252B2 (en) Imaging apparatus and control method thereof
JP2004037732A (en) Digital camera

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091209

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100818

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees