JP2012048166A - Focus adjustment device and focus adjustment method - Google Patents
Focus adjustment device and focus adjustment method Download PDFInfo
- Publication number
- JP2012048166A JP2012048166A JP2010192917A JP2010192917A JP2012048166A JP 2012048166 A JP2012048166 A JP 2012048166A JP 2010192917 A JP2010192917 A JP 2010192917A JP 2010192917 A JP2010192917 A JP 2010192917A JP 2012048166 A JP2012048166 A JP 2012048166A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- signal
- focus adjustment
- subject
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、撮像装置等で用いられる焦点調節装置及び焦点調節方法に関し、更に詳しくは、撮影して得られた画像に基づいて自動焦点調節を行う焦点調節装置及び焦点調節方法に関する。 The present invention relates to a focus adjustment device and a focus adjustment method used in an imaging device and the like, and more particularly to a focus adjustment device and a focus adjustment method for performing automatic focus adjustment based on an image obtained by photographing.
従来よりビデオカメラ等の焦点調節装置において、いわゆるTV−AF方式の焦点調節が用いられている。このTV−AF方式では、撮像素子により被写体像を光電変換して得られた画像信号中より鮮鋭度を表す焦点信号を検出し、その焦点信号が最大となるようにフォーカスレンズ位置を制御して焦点調節を行う。 Conventionally, so-called TV-AF type focus adjustment is used in a focus adjustment device such as a video camera. In this TV-AF system, a focus signal representing sharpness is detected from an image signal obtained by photoelectrically converting a subject image with an image sensor, and the focus lens position is controlled so that the focus signal is maximized. Adjust the focus.
さらに近年では、撮像して得られた画像から人物の顔を検出し、検出された顔に対応する領域にAFエリアを設定して焦点調節を行う手法も広く利用されている。 Furthermore, in recent years, a method of detecting a human face from an image obtained by imaging and setting an AF area in an area corresponding to the detected face and performing focus adjustment has been widely used.
例えば、特許文献1に記載された焦点調節では、特に動画撮影の場合を想定し、図5に示すように、画面全体にサブのAFエリアを設定し、メイン及びサブのAFエリアから得られる焦点信号を所定の比率で加算して使用する。このようにすることで、安定した焦点状態を維持することを目的としている。 For example, in the focus adjustment described in Patent Document 1, assuming the case of moving image shooting in particular, as shown in FIG. 5, a sub AF area is set on the entire screen, and the focus obtained from the main and sub AF areas. The signals are added at a predetermined ratio and used. By doing in this way, it aims at maintaining the stable focus state.
ところが、一般的に人物の顔はコントラストが低く、十分な焦点信号が得られにくいため、特許文献1に記載されたようにしてAFエリアを設定してもなお、背景のコントラスト成分に影響されて顔にピントを合わせきれない場合がある。例えば、図5の例では、図6に示すような焦点信号の状態となるため、背景の被写体Bにピントがある場合に主被写体Aにピント面を移動することができない。 However, since a human face generally has low contrast and it is difficult to obtain a sufficient focus signal, even if an AF area is set as described in Patent Document 1, it is still influenced by the background contrast component. You may not be able to focus on your face. For example, in the example of FIG. 5, the focus signal is in a state as shown in FIG. 6, so that the focus plane cannot be moved to the main subject A when the background subject B is in focus.
さらに、上述した顔に対応する領域にAFエリアを設定する従来の方法では、顔が検出されている場合には顔領域に、また、顔が検出されていない場合には予め設定された固定領域にAFエリアを設定して焦点調節を行っている。そのため、撮影した動画を編集する時に、以下のような問題点があった。 Furthermore, in the conventional method of setting the AF area in the area corresponding to the face described above, the face area is detected when a face is detected, and the preset fixed area when a face is not detected. Focus adjustment is performed by setting an AF area. For this reason, there are the following problems when editing a shot video.
一般的に、撮影した動画を編集する際には、編集点の映像は動きが少ないのが理想である。一方、上述した顔に対応する領域にAFエリアを設定する焦点調節では、顔が検出された場合にはその被写体に対して焦点調節を行うが、被写体が画角から外れるなどして顔が検出できなくなった場合には、背景などに焦点調節動作を行ってしまう。そのため、被写体が画角が外れたタイミングで編集したい場合、ピント面の移動が発生してしまうために、映像が静止した編集点を得ることができない。 In general, when editing a captured video, it is ideal that the video at the editing point has little movement. On the other hand, in the focus adjustment in which the AF area is set in the area corresponding to the face described above, the focus adjustment is performed on the subject when the face is detected. However, the face is detected because the subject is out of the angle of view. When it becomes impossible, the focus adjustment operation is performed on the background. For this reason, when it is desired to edit the subject at a timing when the angle of view has deviated, the focus plane moves, so that it is not possible to obtain an edit point where the image is stationary.
そこで、撮影目的によっては、顔が検出された場合にはその被写体に対して焦点調節を行い、被写体が画角から外れるなどして顔が検出できなくなった場合に、編集時の利便性を考慮してピント位置を保持する焦点調節方法が考えられる。 Therefore, depending on the shooting purpose, if a face is detected, focus adjustment is performed on the subject, and if the face cannot be detected because the subject is out of the angle of view, the convenience of editing is considered. Thus, a focus adjustment method that maintains the focus position can be considered.
しかしながら、顔が検出できなくなった場合にピント位置を保持する場合、特許文献1のようにしてAFエリアを設定したときに意図した被写体にピントが合わせきれず、意図しない被写体にピントが合ってしまうと、致命的な問題となり得る。 However, if the focus position is held when the face cannot be detected, the intended subject cannot be completely focused when the AF area is set as in Patent Document 1, and the unintended subject is focused. It can be a fatal problem.
本発明は上記問題点を鑑みてなされたものであり、特に顔を検出している場合など、限られた条件下でのみ焦点調節を行う場合に、撮影者の意図する被写体に対して安定した焦点調節を行えるようにすることを目的とする。 The present invention has been made in view of the above-described problems. In particular, when focus adjustment is performed only under limited conditions, such as when a face is detected, the subject is stable with respect to the subject intended by the photographer. The purpose is to enable focus adjustment.
上記目的を達成するために、本発明の焦点調節装置は、動画を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られた映像信号に基づいて、前記動画から予め決められた特徴を有する被写体を検出する検出手段と、複数の焦点調節モードの何れかを選択する選択手段と、前記被写体が検出された場合には前記被写体の領域に第1の焦点検出領域を設定し、前記被写体が検出されなかった場合には予め決められた領域に前記第1の焦点検出領域を設定する第1の設定手段と、前記第1の焦点検出領域を含む予め決められた領域に第2の焦点検出領域を設定する第2の設定手段と、前記映像信号のうち、前記第1の焦点検出領域の映像信号に基づいて焦点状態を示す第1の焦点信号を算出し、前記第2の焦点検出領域の映像信号に基づいて焦点状態を示す第2の焦点信号を算出する算出手段と、前記選択手段により選択された焦点調節モードに基づいて、前記第1の焦点信号に対する前記第2の焦点信号の加算比率を決定する決定手段と、前記加算比率に基づいて、前記第1の焦点信号と前記第2の焦点信号とを合成して、第3の焦点信号を生成する生成手段と、前記第3の焦点信号が最大となるように焦点調節部材を移動して焦点調節制御を行う焦点調節手段とを有し、前記複数の焦点調節モードは、前記検出手段により前記被写体が検出された場合に前記被写体に焦点を合わせ、検出されなかった場合に前記動画の予め決められた領域に焦点を合わせる第1の焦点調節モードと、前記検出手段により前記被写体が検出された場合に前記被写体に焦点を合わせ、検出されなかった場合に、前記焦点調節手段による前記焦点調節制御を行わない第2の焦点調節モードとを含み、前記決定手段は、前記第2の焦点調節モードが選択されている場合に、前記第1の焦点調節モードが選択されている場合よりも、前記加算比率を低くする。 In order to achieve the above object, the focus adjustment apparatus of the present invention is preliminarily determined from the moving image based on an imaging unit that captures a moving image and outputs a video signal, and a video signal obtained from the imaging unit. Detecting means for detecting an object having characteristics, selecting means for selecting one of a plurality of focus adjustment modes, and when the object is detected, a first focus detection area is set in the area of the object; When the subject is not detected, a first setting means for setting the first focus detection area in a predetermined area and a second area in the predetermined area including the first focus detection area. A second setting means for setting a focus detection area of the first focus signal, a first focus signal indicating a focus state is calculated based on the video signal of the first focus detection area among the video signals, and the second Based on the video signal in the focus detection area And calculating a second focus signal indicating the focus state and a ratio of the second focus signal to the first focus signal based on the focus adjustment mode selected by the selection means. Determining means; generating means for generating a third focus signal by combining the first focus signal and the second focus signal based on the addition ratio; and the third focus signal being the maximum And a focus adjustment unit that performs focus adjustment control by moving the focus adjustment member such that the plurality of focus adjustment modes focus on the subject when the detection unit detects the subject. A first focus adjustment mode for focusing on a predetermined area of the moving image when it is not detected, and when the subject is detected by the detecting means, the subject is focused and detected. A second focus adjustment mode in which the focus adjustment control by the focus adjustment means is not performed, and the determination means is configured to select the first focus adjustment mode when the second focus adjustment mode is selected. The addition ratio is made lower than when the focus adjustment mode is selected.
本発明によれば、特に顔を検出している場合など、限られた条件下でのみ焦点調節を行う場合に、撮影者の意図する被写体に対して安定した焦点調節を行うことができる。 According to the present invention, it is possible to perform stable focus adjustment on a subject intended by a photographer, particularly when focus adjustment is performed only under limited conditions such as when a face is detected.
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.
<第1の実施形態>
図1は、本発明の実施の形態における撮像装置の一例として、ビデオカメラの概略構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明は、顕微鏡、デジタルスチルカメラ等、動画を撮影することの可能な他の撮像装置への適用も可能である。
<First Embodiment>
FIG. 1 is a block diagram illustrating a schematic configuration of a video camera as an example of an imaging apparatus according to an embodiment of the present invention. Note that although a video camera is described in this embodiment, the present invention can also be applied to other imaging devices that can capture moving images, such as a microscope and a digital still camera.
図1において、101は第1固定レンズ、102は光軸方向に移動して変倍を行う変倍レンズ、103は絞り、104は第2固定レンズである。また、105は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ(以下、「フォーカスレンズ」と呼ぶ。)である(焦点調節部材)。第1固定レンズ101、変倍レンズ102、絞り103、第2固定レンズ104及びフォーカスレンズ105により撮像光学系が構成される。なお、撮像光学系の移動範囲は予め定められている。
In FIG. 1, 101 is a first fixed lens, 102 is a variable magnification lens that moves in the optical axis direction and performs variable magnification, 103 is a stop, and 104 is a second fixed lens.
106はCCDセンサやCMOSセンサ等により構成される、光電変換部を有する画素を複数備えた撮像素子である。この画素において被写体像を光電変換し、得られた電気信号を一定周期で出力することで、動画の映像信号を得ることができる。また、107は撮像素子106の出力をサンプリング、ゲイン調整、デジタル化するCDS/AGC/ADコンバータである。108はCDS/AGC/ADコンバータ107からの出力信号に対して各種の画像処理を施し、画像信号を生成するカメラ信号処理回路である。109はカメラ信号処理回路108からの画像信号を表示する表示装置、110はカメラ信号処理回路108からの画像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する記録装置である。
111はCDS/AGC/ADコンバータ107からの全画素の出力信号のうち、焦点検出に用いられる領域の信号のみを通すAFゲートである。また、112はAFゲート111を通過した信号から高周波成分や該高周波信号から生成した輝度差成分(AFゲート111を通過した信号の輝度レベルの最大値と最小値の差分)等を抽出して焦点信号を生成する焦点信号処理回路(算出手段)である。ここで、焦点信号は、撮像素子106からの出力信号に基づいて生成される画像の鮮鋭度(コントラスト状態)を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す焦点信号となる。
113は画像信号に対して顔検出処理を施し、被写体情報(撮影画面内の人物の顔の大きさ、位置、顔の確からしさを示す信頼性)を検出する顔検出処理回路である。顔検出処理回路113は、その検出結果を後述のカメラ/AFマイコン114に送信する。カメラ/AFマイコン114は、上記検出結果に基づき、撮影画面内の顔領域を含む位置に焦点検出に用いられる領域(AFエリア)を追加するようにAFゲート111へ情報を送信する(第1の設定手段、第2の設定手段、第3の設定手段)。
なお、上記の顔検出処理は、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等がある。本発明では、顔を検出できるのであれば、どのような方法を用いても構わない。 The face detection process described above is, for example, a method of extracting a skin color region from the gradation color of each pixel represented by image data and detecting a face with a matching degree with a face contour plate prepared in advance, There is a method of performing pattern recognition from extracted facial feature points such as eyes, nose and mouth. In the present invention, any method may be used as long as a face can be detected.
114は、焦点信号処理回路112の出力信号に基づいて、後述のフォーカスレンズ駆動源116を制御してフォーカスレンズ105を駆動するとともに、記録装置110へ画像記録命令を出力するカメラ/AFマイコンである。115は変倍レンズ102を移動させるためのアクチュエータ及びそのドライバを含む変倍レンズ駆動源、116はフォーカスレンズ105を移動させるためのアクチュエータ及びそのドライバを含むフォーカスレンズ駆動源である。変倍レンズ駆動源115及びフォーカスレンズ駆動源116は、ステッピングモータ、DCモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
117は、撮影者が第1のAFモード、第2のAFモード(複数の焦点調節モード)を切り替えることが可能なAFモード切替部(選択手段)である。ここで、第1のAFモード(第1の焦点調節モード)とは、顔検出処理回路113の出力結果に基づいて、顔が検出された場合は撮影画面内の顔領域を含む位置に、そうでない場合は予め設定された固定領域にAFエリアを設定するモードである。また、第2のAFモード(第2の焦点調節モード)とは、顔検出処理回路113の出力結果に基づいて、顔が検出された場合は撮影画面内の顔領域を含む位置に設定し、そうでない場合は焦点調節動作を中止するモードである。なお、このAFモード切替部117では、前述の第1のAFモード及び第2のAFモードの他、例えば、顔検出処理回路113の出力結果に関わらず、予め設定された固定領域にAFエリアを設定するその他のAFモードが選択可能であっても構わない。
次に、カメラ/AFマイコン114で行われる焦点調節制御について、図2を参照して説明する。
Next, focus adjustment control performed by the camera /
図2は、本第1の実施形態における焦点調節制御の手順を示すフローチャートである。図2において、S100では、AFモード切替部117にて設定されている現在のAFモード情報を取得し、第1または第2のAFモードが設定されているかを判断し、設定されていればS101に進み、設定されていなければS103に進む。S101では、顔検出処理回路113から顔検出処理結果の情報を取得する。S102では、S101で取得した情報から顔が検出されたか否かを判別し、検出されなかった場合はS103、検出された場合はS104へ遷移する。S103では、撮像画面に対して中央の、顔検出結果に基づかない固定位置にメインAFエリア(第1の焦点検出領域)を設定する。S104では、例えば図5に示すように、S101で取得した顔検出情報に基づき、顔位置にメインAFエリア(第1の焦点検出領域)を設定する。
FIG. 2 is a flowchart showing a procedure of focus adjustment control in the first embodiment. In FIG. 2, in S100, the current AF mode information set by the AF
S105では、S103またはS104で設定したメインAFエリアを含む領域の、顔検出結果に基づかない固定位置に、例えば図5に示すように、サブAFエリア(第2の焦点検出領域)を設定する。なお、S103またはS104でメインAFエリアを、また、S105でサブAFエリアを設定したことにより、焦点信号処理回路112にてTV−AF制御の基本となる焦点信号を取得することが可能となる。また、このとき焦点信号処理回路112内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理回路112内のバンドパスフィルタの設定値を変更することを意味する。
In S105, a sub AF area (second focus detection area) is set at a fixed position not based on the face detection result in the area including the main AF area set in S103 or S104, for example, as shown in FIG. Note that, by setting the main AF area in S103 or S104 and the sub AF area in S105, the focus
S106では、S103またはS104で設定したメインAFエリア、及びS105で設定したサブAFエリアの焦点信号を取得する。なお、本第1の実施形態では、顔位置に設定されたメインAFエリアにおける焦点信号は、メモリ等に履歴として記憶されているものとする。これは、制御対象とする顔位置に設定されたメインAFエリアが変化した場合に、後述のS114にて焦点信号を合成する際、履歴をたどって再利用できるようにするためである。 In S106, the focus signals of the main AF area set in S103 or S104 and the sub AF area set in S105 are acquired. In the first embodiment, it is assumed that the focus signal in the main AF area set at the face position is stored as a history in a memory or the like. This is so that when the main AF area set at the face position to be controlled changes, when a focus signal is synthesized in S114 described later, the history can be traced and reused.
S107では、AFモード切替部117にて設定されている現在のAFモード情報を取得する。S108では、S107で取得した現在のAFモードが第1のAFモードであるか否かを判別し、第1のAFモードである場合はS109へ、そうでない場合はS110へ遷移する。S109では、第1のAFモード時の処理として、カメラ/AFマイコン114(決定手段)が、S106で取得した焦点信号を後述のS114で合成する際の加算比率αを決定し、設定する。この加算比率αは、S103またはS104で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S105で設定したサブAFエリアから得られる焦点信号(第2の焦点信号)の加算比率である。ここでの加算比率αは、コントラストの低い人物の顔に対応する焦点信号の重み付けを相対的に大きくして主被写体にピントが合いやすくするため、後述の加算比率γに比べて小さく(即ち、γ>α)設定するのが一般的である。
In S107, the current AF mode information set by the AF
一方、S110では、S107で取得した現在のAFモードが第2のAFモードであるか否かを判別し、第2のAFモードである場合はS111へ、そうでない場合はS113へ遷移する。S111では、S101で取得した情報から顔が検出されたか否かを再度判別し、検出された場合はS112へ遷移する。検出されなかった場合はAF制御を行わないため、S101へ遷移してここでの処理を終了する。S112では、第2のAFモード時の処理として、カメラ/AFマイコン114(決定手段)が、S106で取得した焦点信号を後述のS114で合成する際の加算比率βを決定し、設定する。この加算比率βは、S104で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S105で設定したサブAFエリアから得られる焦点信号(第2の焦点信号)の加算比率である。このとき、加算比率βを、S109で設定する第1のAFモード時の加算比率αに比べて小さく(即ち、α>β)設定する。これにより、コントラストの低い人物の顔に対応する焦点信号の重み付けが相対的に大きくなり、従来手法に比べて主被写体にピントが合いやすくなる。なお、ここでの加算比率βを0とすることにより、第2のAFモード時はS105で設定したサブAFエリアから得られる焦点信号を使用しないものとしても構わない。 On the other hand, in S110, it is determined whether or not the current AF mode acquired in S107 is the second AF mode. If it is the second AF mode, the process proceeds to S111, and if not, the process proceeds to S113. In S111, it is determined again whether or not a face has been detected from the information acquired in S101. If it is detected, the process proceeds to S112. If not detected, since AF control is not performed, the process proceeds to S101, and the process here ends. In S112, as processing in the second AF mode, the camera / AF microcomputer 114 (determination means) determines and sets an addition ratio β when the focus signal acquired in S106 is combined in S114 described later. This addition ratio β is an addition ratio of the focus signal (second focus signal) obtained from the sub AF area set in S105 to the focus signal (first focus signal) obtained from the main AF area set in S104. is there. At this time, the addition ratio β is set smaller than the addition ratio α in the first AF mode set in S109 (that is, α> β). Thereby, the weighting of the focus signal corresponding to the face of a person with low contrast becomes relatively large, and the main subject can be easily focused as compared with the conventional method. Note that, by setting the addition ratio β here to 0, the focus signal obtained from the sub AF area set in S105 may not be used in the second AF mode.
S113では、第1及び第2のAFモード時以外の処理として、S106で取得した焦点信号を後述のS114で合成する際の加算比率γを設定する。この加算比率γは、S103で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S105で設定したサブAFエリアから得られる焦点信号(第2の焦点信号)の加算比率である。 In S113, as a process other than in the first and second AF modes, an addition ratio γ is set when the focus signal acquired in S106 is combined in S114 described later. This addition ratio γ is an addition ratio of the focus signal (second focus signal) obtained from the sub AF area set in S105 to the focus signal (first focus signal) obtained from the main AF area set in S103. is there.
S114では、S106で取得した焦点信号を、S109またはS112、あるいはS113で設定した加算比率に基づいて合成する。S115では、S114で合成された焦点信号(第3の焦点信号)に基づいて、TV−AF方式の焦点調節を行い、S101へ戻る。なお、焦点信号を用いたTV−AF方式の焦点調節としては、例えば、特開2010−156850に記載された方法など、公知の方法を用いることが可能であるため、ここでは詳細な説明を省略する。 In S114, the focus signal acquired in S106 is synthesized based on the addition ratio set in S109, S112, or S113. In S115, TV-AF focus adjustment is performed based on the focus signal (third focus signal) synthesized in S114, and the process returns to S101. In addition, as a TV-AF system focus adjustment using a focus signal, for example, a known method such as a method described in JP2010-156850A can be used, and thus detailed description is omitted here. To do.
上記の通り、本第1の実施形態によれば、第2のAFモードが設定されているときには、第1のAFモードが設定されているときよりも、顔位置に設定されたメインAFエリアから得られる焦点信号の加算比率を高くする。このように、設定されたAFモードに応じてメインAFエリアとサブAFエリアとから得られる焦点信号の加算比率を変える。これにより、特に顔を検出している場合など、限られた条件下でのみ焦点調節を行う場合に、撮影者の意図する被写体に対して安定した焦点調節を行うことができる。 As described above, according to the first embodiment, when the second AF mode is set, from the main AF area set at the face position, compared to when the first AF mode is set. Increase the focus signal addition ratio. As described above, the addition ratio of the focus signal obtained from the main AF area and the sub AF area is changed according to the set AF mode. This makes it possible to perform stable focus adjustment on the subject intended by the photographer, particularly when focus adjustment is performed only under limited conditions, such as when a face is detected.
なお、どの顔エリアの情報に従って焦点調節動作を行っているかを示す情報(例えば、メインAFエリアを囲う枠など)を表示装置109に表示するようにしてもよい。
Information (for example, a frame surrounding the main AF area) indicating which face area is being operated according to the information on which face area may be displayed on the
また、本第1の実施形態では、メインAFエリアは、撮像画面内で検出された顔の領域(顔が検出された場合)にしているが、顔以外に、画像検出により特定の被写体を検出しても構わない。例えば、背景から被写体像を切り出して検出したりすることも考えられる。その他、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定しても構わない。 In the first embodiment, the main AF area is a face area detected in the imaging screen (when a face is detected). In addition to the face, a specific subject is detected by image detection. It doesn't matter. For example, it may be possible to cut out and detect a subject image from the background. In addition, the position in the imaging screen may be determined by inputting the position in the imaging screen from an external input means or by detecting the line of sight of the photographer who is looking at the viewfinder.
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。本第2の実施形態における撮像素子の構成は、図1を参照して第1の実施形態で説明したものと同様であるため、ここでは説明を省略する。本第2の実施形態は、2つのサブAFエリアを設定するところが、上述した第1の実施形態と異なり、図3に示す焦点調節制御が図2を参照して説明した焦点調節制御の代わりに行われる。上述した第1の実施形態では必要最低限の構成にて効果を得るため、サブAFエリアは顔検出結果に基づかない固定位置のみに配置した。これに対し、本第2の実施形態では、被写体に対してより確実に焦点を追従させるため、メインAFエリアの重心位置に第2のサブAFエリアを配置している。以下、図3のフローチャートを参照して、本第2の実施形態における焦点調節制御の手順について説明する。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. The configuration of the image sensor in the second embodiment is the same as that described in the first embodiment with reference to FIG. In the second embodiment, two sub AF areas are set. Unlike the first embodiment described above, the focus adjustment control shown in FIG. 3 is replaced with the focus adjustment control described with reference to FIG. Done. In the first embodiment described above, the sub AF area is arranged only at a fixed position that is not based on the face detection result in order to obtain the effect with the minimum necessary configuration. On the other hand, in the second embodiment, the second sub AF area is arranged at the center of gravity of the main AF area in order to make the focus follow the subject more reliably. Hereinafter, the procedure of the focus adjustment control in the second embodiment will be described with reference to the flowchart of FIG.
図3において、S200では、AFモード切替部117にて設定されている現在のAFモード情報を取得し、第1または第2のAFモードが設定されているかを判断し、設定されていればS201に進み、設定されていなければS203に進む。S201では、顔検出処理回路113から顔検出処理結果の情報を取得する。S202では、S201で取得した情報から顔が検出されたか否かを判別し、検出されなかった場合はS203、検出された場合はS204へ遷移する。S203では、撮像画面に対して中央の、顔検出結果に基づかない固定位置にメインAFエリア(第1の焦点検出領域)を設定する。S204では、例えば図4に示すように、S201で取得した顔検出情報に基づき、顔位置にメインAFエリア(第1の焦点検出領域)を設定する。
In FIG. 3, in S200, the current AF mode information set in the AF
S205では、S203またはS204で設定したメインAFエリアを含む領域の、顔検出結果に基づかない固定位置に、例えば図4に示すように、第1のサブAFエリア(第2の焦点検出領域)を設定する。更に、本第2の実施形態では、S206において、S203またはS204で設定したメインAFエリアの重心の領域に、例えば図4に示すように、第2のサブAFエリア(第3の焦点検出領域)を設定する。なお、S203またはS204でメインAFエリアを、そして、S205及びS206で第1及び第2のサブAFエリアを設定したことにより、焦点信号処理回路112にてTV−AF制御の基本となる焦点信号を取得することが可能となる。また、このとき焦点信号処理回路112内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。
In S205, the first sub AF area (second focus detection area) is set at a fixed position not based on the face detection result in the area including the main AF area set in S203 or S204, for example, as shown in FIG. Set. Furthermore, in the second embodiment, in S206, the second sub-AF area (third focus detection area) as shown in FIG. 4, for example, in the area of the center of gravity of the main AF area set in S203 or S204. Set. It should be noted that the main AF area is set in S203 or S204, and the first and second sub AF areas are set in S205 and S206, so that the focus signal that is the basis of TV-AF control is obtained in the focus
S207では、S203またはS204で設定したメインAFエリア、及びS205及びS206で設定した第1のサブAFエリア及び第2のサブAFエリアの焦点信号を取得する。なお、本第2の実施形態では、上述した第1の実施形態と同様に、顔位置に設定されたメインAFエリアにおける焦点信号は、メモリ等に履歴として記憶されているものとする。 In S207, focus signals of the main AF area set in S203 or S204 and the first sub AF area and the second sub AF area set in S205 and S206 are acquired. In the second embodiment, as in the first embodiment described above, it is assumed that the focus signal in the main AF area set to the face position is stored as a history in a memory or the like.
S208では、AFモード切替部117にて設定されている現在のAFモード情報を取得する。S209では、S208で取得した現在のAFモードが第1のAFモードであるか否かを判別し、第1のAFモードである場合はS210へ、そうでない場合はS211へ遷移する。S210では、第1のAFモード時の処理として、カメラ/AFマイコン114(決定手段)が、S207で取得した焦点信号を後述のS215で合成する際の加算比率α1、α2を決定し、設定する。ここで、加算比率α1は、S203またはS204で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S205で設定した第1のサブAFエリアから得られる焦点信号(第2の焦点信号)の加算比率である。また、加算比率α2は、同じくS203またはS204で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S206で設定した第2のサブAFエリアから得られる焦点信号(第4の焦点信号)の加算比率である。ここで、コントラストの低い人物の顔に対応する焦点信号の重み付けを相対的に大きくして主被写体にピントが合いやすくするため、後述の加算比率γ1、γ2に比べてα1は小さく(即ち、γ1>α1)、α2は大きく(γ2<α2)設定するのが一般的である。
In S208, the current AF mode information set by the AF
一方、S211では、S208で取得した現在のAFモードが第2のAFモードであるか否かを判別し、第2のAFモードである場合はS212へ、そうでない場合はS214へ遷移する。S212では、S201で取得した情報から顔が検出されたか否かを再度判別し、検出された場合はS213へ遷移する。検出されなかった場合はAF制御を行わないため、S201へ遷移してここでの処理を終了する。S213では、第2のAFモード時の処理として、カメラ/AFマイコン114(決定手段)が、S207で取得した焦点信号を後述のS215で合成する際の加算比率β1、β2を決定し、設定する。ここで、加算比率β1は、S204で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S205で設定した第1のサブAFエリアから得られる焦点信号(第2の焦点信号)の加算比率である。また、加算比率β2は、同じくS204で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S206で設定した第2のサブAFエリアから得られる焦点信号(第4の焦点信号)の加算比率である。このとき、加算比率β1を、S210で設定する第1のAFモード時の加算比率α1に比べて小さく(即ち、α1>β1)設定すると共に、加算比率β2は、S210で設定する第1のAFモード時の加算比率α2に比べて大きく(即ち、α2<β2)設定する。これにより、コントラストの低い人物の顔に対応する焦点信号の重み付けが相対的により一層大きくなり、従来手法に比べて主被写体にピントが合いやすくなる。なお第1の実施形態同様、ここでの加算比率β1を0とすることにより、第2のAFモード時はS205で設定した第1のサブAFエリアから得られる焦点信号を使用しないものとしても構わない。
On the other hand, in S211, it is determined whether or not the current AF mode acquired in S208 is the second AF mode. If it is the second AF mode, the process proceeds to S212, and if not, the process proceeds to S214. In S212, it is determined again whether or not a face has been detected from the information acquired in S201, and if it is detected, the process proceeds to S213. If not detected, since AF control is not performed, the process proceeds to S201, and the process here is terminated. In S213, as processing in the second AF mode, the camera / AF microcomputer 114 (determination means) determines addition ratios β 1 and β 2 when the focus signal acquired in S207 is combined in S215 described later, Set. Here, addition ratio beta 1 is for focus signal obtained from the main AF area set in S204 (first focus signal), a first focus signal obtained from the sub-AF area (the second focal point of the set in S205 Signal). Also, the addition ratio β 2 is the focus signal (fourth focus) obtained from the second sub AF area set in S206 with respect to the focus signal (first focus signal) obtained from the main AF area set in S204. Signal). At this time, the addition ratio β 1 is set smaller than the addition ratio α 1 in the first AF mode set in S210 (that is, α 1 > β 1 ), and the addition ratio β 2 is set in S210. Is set larger than the addition ratio α 2 in the first AF mode (that is, α 2 <β 2 ). As a result, the weighting of the focus signal corresponding to the face of a person with low contrast becomes relatively larger, and the main subject is more easily focused as compared with the conventional method. Note as in the first embodiment, by the
S214では、第1および第2のAFモード時以外の処理として、S207で取得した焦点信号を後述のS215で合成する際の加算比率γ1、γ2を設定する。ここで、加算比率γ1は、S203で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S205で設定した第1のサブAFエリアから得られる焦点信号(第2の焦点信号)の加算比率である。また、加算比率γ2は、同じくS203で設定したメインAFエリアから得られる焦点信号(第1の焦点信号)に対する、S206で設定した第2のサブAFエリアから得られる焦点信号(第4の焦点信号)の加算比率である。 In S214, as processings other than those in the first and second AF modes, addition ratios γ 1 and γ 2 when the focus signal acquired in S207 is combined in S215 described later are set. Here, the addition ratio γ 1 is the focus signal (second focus) obtained from the first sub AF area set in S205 with respect to the focus signal (first focus signal) obtained from the main AF area set in S203. Signal). Also, the addition ratio γ 2 is the focus signal (fourth focus) obtained from the second sub AF area set in S206 with respect to the focus signal (first focus signal) obtained from the main AF area set in S203. Signal).
S215では、S207で取得した焦点信号を、S210またはS213、あるいはS214で設定した加算比率に基づいて合成する。S216では、S215で合成された焦点信号(第3の焦点信号)に基づいて、第1の実施形態と同様にTV−AF方式の焦点調節を行い、S201へ戻る。 In S215, the focus signal acquired in S207 is synthesized based on the addition ratio set in S210, S213, or S214. In S216, based on the focus signal (third focus signal) synthesized in S215, the TV-AF focus adjustment is performed in the same manner as in the first embodiment, and the process returns to S201.
上記の通り、本第2の実施形態によれば、上述した第1の実施形態と比較して、コントラストの低い人物の顔に対応する焦点信号の重み付けが相対的により一層大きくなり、従来手法に比べて主被写体にピントが合いやすくなる。 As described above, according to the second embodiment, compared with the first embodiment described above, the weighting of the focus signal corresponding to the face of a person with low contrast is relatively larger, and the conventional method is used. Compared to the main subject, it is easier to focus.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (7)
前記撮像手段から得られた映像信号に基づいて、前記動画から予め決められた特徴を有する被写体を検出する検出手段と、
複数の焦点調節モードの何れかを選択する選択手段と、
前記被写体が検出された場合には前記被写体の領域に第1の焦点検出領域を設定し、前記被写体が検出されなかった場合には予め決められた領域に前記第1の焦点検出領域を設定する第1の設定手段と、
前記第1の焦点検出領域を含む予め決められた領域に第2の焦点検出領域を設定する第2の設定手段と、
前記映像信号のうち、前記第1の焦点検出領域の映像信号に基づいて焦点状態を示す第1の焦点信号を算出し、前記第2の焦点検出領域の映像信号に基づいて焦点状態を示す第2の焦点信号を算出する算出手段と、
前記選択手段により選択された焦点調節モードに基づいて、前記第1の焦点信号に対する前記第2の焦点信号の加算比率を決定する決定手段と、
前記加算比率に基づいて、前記第1の焦点信号と前記第2の焦点信号とを合成して、第3の焦点信号を生成する生成手段と、
前記第3の焦点信号が最大となるように焦点調節部材を移動して焦点調節制御を行う焦点調節手段とを有し、
前記複数の焦点調節モードは、前記検出手段により前記被写体が検出された場合に前記被写体に焦点を合わせ、検出されなかった場合に前記動画の予め決められた領域に焦点を合わせる第1の焦点調節モードと、前記検出手段により前記被写体が検出された場合に前記被写体に焦点を合わせ、検出されなかった場合に、前記焦点調節手段による前記焦点調節制御を行わない第2の焦点調節モードとを含み、前記決定手段は、前記第2の焦点調節モードが選択されている場合に、前記第1の焦点調節モードが選択されている場合よりも、前記加算比率を低くすることを特徴とする焦点調節装置。 Imaging means for shooting a video and outputting a video signal;
Detecting means for detecting a subject having a predetermined characteristic from the moving image based on a video signal obtained from the imaging means;
Selecting means for selecting one of a plurality of focus adjustment modes;
When the subject is detected, a first focus detection region is set in the subject region, and when the subject is not detected, the first focus detection region is set in a predetermined region. First setting means;
Second setting means for setting a second focus detection area in a predetermined area including the first focus detection area;
A first focus signal indicating a focus state is calculated based on the video signal in the first focus detection area, and a focus state is indicated based on the video signal in the second focus detection area. Calculating means for calculating the focus signal of 2;
Determining means for determining an addition ratio of the second focus signal to the first focus signal based on the focus adjustment mode selected by the selection means;
Generating means for combining the first focus signal and the second focus signal based on the addition ratio to generate a third focus signal;
Focus adjustment means for performing focus adjustment control by moving a focus adjustment member so that the third focus signal is maximized,
The plurality of focus adjustment modes include a first focus adjustment that focuses on the subject when the detection unit detects the subject and focuses on a predetermined area of the moving image when the detection unit does not detect the subject. And a second focus adjustment mode in which when the subject is detected by the detection means, the subject is focused, and when the subject is not detected, the focus adjustment control by the focus adjustment means is not performed. The determination means lowers the addition ratio when the second focus adjustment mode is selected than when the first focus adjustment mode is selected. apparatus.
前記算出手段は、更に、前記映像信号のうち、前記第3の焦点検出領域の映像信号に基づいて焦点状態を示す第4の焦点信号を算出し、前記決定手段は、更に、前記第1の焦点信号に対する前記第4の焦点信号の加算比率を決定し、該加算比率を、前記第2の焦点調節モードが選択されている場合に、前記第1の焦点調節モードが選択されている場合よりも高くすることを特徴とする請求項1または2に記載の焦点調節装置。 A third setting means for setting a third focus detection area including the first focus detection area in the center;
The calculation means further calculates a fourth focus signal indicating a focus state based on the video signal of the third focus detection area, among the video signals, and the determination means further includes the first focus signal. The addition ratio of the fourth focus signal to the focus signal is determined, and the addition ratio is greater than that in the case where the first focus adjustment mode is selected when the second focus adjustment mode is selected. The focus adjustment apparatus according to claim 1, wherein the focus adjustment apparatus is also made higher.
前記撮像工程で得られた映像信号に基づいて、前記動画から予め決められた特徴を有する被写体を検出する検出工程と、
複数の焦点調節モードの何れかを選択する選択工程と、
前記被写体が検出された場合には前記被写体の領域に第1の焦点検出領域を設定し、前記被写体が検出されなかった場合には予め決められた領域に前記第1の焦点検出領域を設定する第1の設定工程と、
前記第1の焦点検出領域を含む予め決められた領域に第2の焦点検出領域を設定する第2の設定工程と、
前記映像信号のうち、前記第1の焦点検出領域の映像信号に基づいて焦点状態を示す第1の焦点信号を算出し、前記第2の焦点検出領域の映像信号に基づいて焦点状態を示す第2の焦点信号を算出する算出工程と、
前記選択工程により選択された焦点調節モードに基づいて、前記第1の焦点信号に対する前記第2の焦点信号の加算比率を決定する決定工程と、
前記加算比率に基づいて、前記第1の焦点信号と前記第2の焦点信号とを合成して、第3の焦点信号を生成する生成工程と、
前記第3の焦点信号が最大となるように焦点調節部材を移動して焦点調節制御を行う焦点調節工程とを有し、
前記複数の焦点調節モードは、前記検出工程で前記被写体が検出された場合に前記被写体に焦点を合わせ、検出されなかった場合に前記動画の予め決められた領域に焦点を合わせる第1の焦点調節モードと、前記検出工程で前記被写体が検出された場合に前記被写体に焦点を合わせ、検出されなかった場合に、前記焦点調節工程による前記焦点調節制御を行わない第2の焦点調節モードとを含み、前記決定工程では、前記第2の焦点調節モードが選択されている場合に、前記第1の焦点調節モードが選択されている場合よりも、前記加算比率を低くすることを特徴とする焦点調節方法。 An imaging process of shooting a video and outputting a video signal;
A detection step of detecting a subject having a predetermined characteristic from the moving image based on the video signal obtained in the imaging step;
A selection step of selecting one of a plurality of focus adjustment modes;
When the subject is detected, a first focus detection region is set in the subject region, and when the subject is not detected, the first focus detection region is set in a predetermined region. A first setting step;
A second setting step of setting a second focus detection area in a predetermined area including the first focus detection area;
A first focus signal indicating a focus state is calculated based on the video signal in the first focus detection area, and a focus state is indicated based on the video signal in the second focus detection area. A calculation step of calculating a focus signal of 2;
A determination step of determining an addition ratio of the second focus signal to the first focus signal based on the focus adjustment mode selected in the selection step;
Generating a third focus signal by combining the first focus signal and the second focus signal based on the addition ratio;
A focus adjustment step of performing focus adjustment control by moving the focus adjustment member so that the third focus signal is maximized,
The plurality of focus adjustment modes include a first focus adjustment that focuses on the subject when the subject is detected in the detection step and focuses on a predetermined region of the moving image when the subject is not detected. And a second focus adjustment mode in which the focus is adjusted when the subject is detected in the detection step, and the focus adjustment control is not performed by the focus adjustment step when the subject is not detected. In the determination step, when the second focus adjustment mode is selected, the addition ratio is made lower than when the first focus adjustment mode is selected. Method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010192917A JP5759127B2 (en) | 2010-08-30 | 2010-08-30 | Focus adjustment device and focus adjustment method |
US13/177,739 US9148557B2 (en) | 2010-07-16 | 2011-07-07 | Focus adjustment apparatus and method, and image capturing apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010192917A JP5759127B2 (en) | 2010-08-30 | 2010-08-30 | Focus adjustment device and focus adjustment method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012048166A true JP2012048166A (en) | 2012-03-08 |
JP2012048166A5 JP2012048166A5 (en) | 2013-10-10 |
JP5759127B2 JP5759127B2 (en) | 2015-08-05 |
Family
ID=45903068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010192917A Expired - Fee Related JP5759127B2 (en) | 2010-07-16 | 2010-08-30 | Focus adjustment device and focus adjustment method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5759127B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013153666A1 (en) * | 2012-04-13 | 2013-10-17 | キヤノン株式会社 | Focus adjustment device and image capture device employing same |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6139009A (en) * | 1984-07-31 | 1986-02-25 | Canon Inc | Camera |
JP2009229584A (en) * | 2008-03-19 | 2009-10-08 | Fujinon Corp | Autofocus system |
JP2010008983A (en) * | 2008-06-30 | 2010-01-14 | Canon Inc | Focus detector and its control method |
JP2010156850A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Focus adjustment device and method |
JP2010156851A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Focus adjustment device and method |
-
2010
- 2010-08-30 JP JP2010192917A patent/JP5759127B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6139009A (en) * | 1984-07-31 | 1986-02-25 | Canon Inc | Camera |
JP2009229584A (en) * | 2008-03-19 | 2009-10-08 | Fujinon Corp | Autofocus system |
JP2010008983A (en) * | 2008-06-30 | 2010-01-14 | Canon Inc | Focus detector and its control method |
JP2010156850A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Focus adjustment device and method |
JP2010156851A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Focus adjustment device and method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013153666A1 (en) * | 2012-04-13 | 2013-10-17 | キヤノン株式会社 | Focus adjustment device and image capture device employing same |
Also Published As
Publication number | Publication date |
---|---|
JP5759127B2 (en) | 2015-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5335302B2 (en) | Focus detection apparatus and control method thereof | |
JP5553472B2 (en) | Focus adjustment device, imaging device, and control method thereof | |
JP5517435B2 (en) | Automatic focusing device, automatic focusing method, and imaging device | |
US8259214B2 (en) | Image pickup apparatus and auto-focus detection method | |
JP5294647B2 (en) | Focus adjustment apparatus and control method thereof | |
JP2011259285A (en) | Imaging apparatus | |
JP2010139666A (en) | Imaging device | |
JP5335408B2 (en) | Focus adjustment apparatus and method | |
JP5075110B2 (en) | Focus adjustment apparatus and method | |
JP4991899B2 (en) | Imaging apparatus and control method thereof | |
JP4981758B2 (en) | Focus adjustment apparatus and method | |
JP5607458B2 (en) | Imaging apparatus and control method thereof | |
JP5759127B2 (en) | Focus adjustment device and focus adjustment method | |
JP2014149541A (en) | Automatic focus device and automatic focusing method, and imaging device | |
JP5017195B2 (en) | Focus adjustment apparatus and method | |
JP2008067136A (en) | Imaging device and imaging method | |
JP2012182823A (en) | Imaging device and method for controlling the same | |
JP5553598B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
JP5780723B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP2010060657A (en) | Focus adjustment device and focus adjustment method | |
JP5610889B2 (en) | Focus adjustment apparatus and method | |
KR101923185B1 (en) | Display apparatus and method | |
JP5451869B2 (en) | Focus adjustment apparatus and method | |
JP2014149540A (en) | Focus adjusting device, imaging device, and control method therefor | |
JP2017058563A (en) | Automatic focus adjustment device, imaging device, and automatic focus adjustment method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150605 |
|
LAPS | Cancellation because of no payment of annual fees |