JP2008005110A - Subject tracking device, subject tracking method, and camera - Google Patents

Subject tracking device, subject tracking method, and camera Download PDF

Info

Publication number
JP2008005110A
JP2008005110A JP2006171266A JP2006171266A JP2008005110A JP 2008005110 A JP2008005110 A JP 2008005110A JP 2006171266 A JP2006171266 A JP 2006171266A JP 2006171266 A JP2006171266 A JP 2006171266A JP 2008005110 A JP2008005110 A JP 2008005110A
Authority
JP
Japan
Prior art keywords
image
reference image
tracking
subject
subject tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006171266A
Other languages
Japanese (ja)
Other versions
JP2008005110A5 (en
JP4702193B2 (en
Inventor
Keiko Muramatsu
慶子 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006171266A priority Critical patent/JP4702193B2/en
Publication of JP2008005110A publication Critical patent/JP2008005110A/en
Publication of JP2008005110A5 publication Critical patent/JP2008005110A5/ja
Application granted granted Critical
Publication of JP4702193B2 publication Critical patent/JP4702193B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem wherein a processing quantity for tracking a subject increases, even though an imaging element capable of obtaining image information of high resolution is used to increase the accuracy of tracking. <P>SOLUTION: A subject tracking device comprises the imaging element 19, a reference image setting means 33 of setting a reference image 45 on the basis of the image output from the imaging element 19, a small reference image setting means 33 of setting a portion of the reference image 45 as a small reference image 46, and a tracking means 33 of tracking an object, corresponding to the reference image 45 by using the reference image 45 and the small reference image 46. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、被写界内を移動する被写体を自動的に追尾する被写体追尾装置、被写体追尾方法およびカメラに関する。   The present invention relates to a subject tracking device, a subject tracking method, and a camera that automatically track a subject moving in an object scene.

移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を行うカメラが知られている。従来のカメラでは、入力画像データと参照画像データとを比較して移動被写体を追尾する（たとえば、下記特許文献１）。
特開平６−８３９６３号公報 There is known a camera that automatically tracks a subject when shooting a moving subject and performs focus detection and exposure calculation. In a conventional camera, a moving subject is tracked by comparing input image data and reference image data (for example, Patent Document 1 below).
JP-A-6-83963

しかしながら、従来のカメラでは、追尾の精度を上げるために解像度の高い画像情報が得られる撮像素子を用いた場合は情報量が増えるので、被写体を追尾するための処理量が増加するという問題がある。   However, the conventional camera has a problem that the amount of information for tracking the subject increases because the amount of information increases when an imaging element capable of obtaining high-resolution image information is used to improve tracking accuracy. .

請求項１の発明による被写体追尾装置は、撮像素子と、撮像素子からの像出力に基づいて参照画像を設定する参照画像設定手段と、参照画像の一部の画像を小参照画像として設定する小参照画像設定手段と、参照画像および小参照画像を用いて参照画像に対応する対象を追尾する追尾手段とを備えることを特徴とする。
請求項２に記載の発明は、請求項１に記載の被写体追尾装置において、追尾手段は、参照画像を用いた比較におけるサンプリングピッチよりも、小参照画像を用いた比較におけるサンプリングピッチを小さくすることを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の被写体追尾装置において、追尾手段は、撮像素子で得られる画像における複数の部分画像と参照画像とを比較することによって、対象とする部分画像を選択する選択手段と、対象とする部分画像の一部の画像と小参照画像とを比較することによって、最終的に対象とする部分画像を特定する特定手段とを含むことを特徴とする。
請求項４に記載の発明は、請求項１または２に記載の被写体追尾装置において、追尾手段は、撮像素子で得られる画像における複数の部分画像のそれぞれに対して参照画像との比較と、小参照画像との比較とを行ない、両比較の結果に基づいて、最終的な部分画像を特定する特定手段を含むことを特徴とする。
請求項５に記載の発明は、請求項３または４に記載の被写体追尾装置において、撮影画面を複数に分割した領域に対応する像出力を分割画像データとして出力する分割手段をさらに備え、追尾手段は、分割画像データを部分画像とすることを特徴とする。
請求項６に記載の発明は、請求項１乃至５のいずれか一項に記載の被写体追尾装置において、追尾手段は、撮像素子から出力される色情報を用いて追尾を行なうことを特徴とする。
請求項７に記載の発明は、請求項６に記載の被写体追尾装置において、追尾手段は、第一の色情報に基づいて参照画像による比較を行ない、第一の色情報とは異なる第二の色情報に基づいて小参照領域による比較を行なうことを特徴とする。
請求項８の発明によるカメラは、請求項１乃至７のいずれか一項に記載の被写体追尾装置を備えることを特徴とする。
請求項９に記載の発明は、請求項１に記載の被写体追尾装置に対応する被写体追尾方法である。 An object tracking device according to a first aspect of the present invention includes an imaging device, reference image setting means for setting a reference image based on an image output from the imaging device, and a small image for setting a part of the reference image as a small reference image. Reference image setting means, and tracking means for tracking an object corresponding to the reference image using the reference image and the small reference image are provided.
According to a second aspect of the present invention, in the subject tracking device according to the first aspect, the tracking means makes the sampling pitch in the comparison using the small reference image smaller than the sampling pitch in the comparison using the reference image. It is characterized by.
According to a third aspect of the present invention, in the subject tracking device according to the first or second aspect, the tracking means is targeted by comparing a plurality of partial images and a reference image in an image obtained by the image sensor. A selection unit that selects a partial image; and a specifying unit that finally specifies a partial image to be processed by comparing a partial reference image with a partial image of the target partial image. To do.
According to a fourth aspect of the present invention, in the subject tracking device according to the first or second aspect, the tracking unit compares each of the plurality of partial images in the image obtained by the image sensor with a reference image, It includes a specifying means for comparing with a reference image and specifying a final partial image based on the result of both comparisons.
According to a fifth aspect of the present invention, in the subject tracking device according to the third or fourth aspect of the present invention, the subject tracking device further includes a dividing unit that outputs an image output corresponding to a region obtained by dividing the photographing screen as a plurality of divided image data. Is characterized in that the divided image data is a partial image.
According to a sixth aspect of the present invention, in the subject tracking device according to any one of the first to fifth aspects, the tracking unit performs tracking using color information output from the image sensor. .
According to a seventh aspect of the present invention, in the subject tracking device according to the sixth aspect, the tracking means performs a comparison based on the reference image based on the first color information, and a second different from the first color information. The comparison is performed using a small reference area based on color information.
According to an eighth aspect of the present invention, a camera includes the subject tracking apparatus according to any one of the first to seventh aspects.
A ninth aspect of the invention is a subject tracking method corresponding to the subject tracking device of the first aspect.

本発明によれば、撮像素子からの像出力に基づいて設定された参照画像の一部の画像を小参照画像として用いるので、演算処理の負担を抑制できる。   According to the present invention, since a part of the reference image set based on the image output from the image sensor is used as the small reference image, the burden of the arithmetic processing can be suppressed.

以下、図面を参照しながら、被写体追尾装置を備える一眼レフデジタルカメラの一実施の形態を説明する。図１に、本発明のデジタルカメラの要部構成を示す。カメラ本体１０には、撮影レンズ２１を備えるレンズ鏡筒２０が交換可能に装着されている。   Hereinafter, an embodiment of a single-lens reflex digital camera including a subject tracking device will be described with reference to the drawings. FIG. 1 shows a main configuration of a digital camera of the present invention. A lens barrel 20 including a photographic lens 21 is attached to the camera body 10 in a replaceable manner.

カメラ本体１０の内部には、被写体を撮像するための第一の撮像素子１２が設けられている。第一の撮像素子１２としてＣＣＤやＣＭＯＳ等が使用される。撮影レンズ２１と第一の撮像素子１２との間には、撮影レンズ２１を通過した被写体光をファインダ光学系へと反射するクイックリターンミラー１１が配設されている。被写体光の一部はクイックリターンミラー１１の半透過領域を透過し、サブミラー１１１にて下方に反射され、位相差式ＡＦセンサモジュール１１２へ入射される。   Inside the camera body 10, a first image sensor 12 for imaging a subject is provided. A CCD, CMOS, or the like is used as the first image sensor 12. A quick return mirror 11 that reflects subject light that has passed through the photographing lens 21 to the finder optical system is disposed between the photographing lens 21 and the first image sensor 12. Part of the subject light passes through the semi-transmissive region of the quick return mirror 11, is reflected downward by the sub mirror 111, and enters the phase difference AF sensor module 112.

位相差式ＡＦセンサモジュール１１２は、たとえば、焦点検出光束を一対の焦点検出用光像に分割して結像する焦点検出光学系と、分割された一対の光像が入射し、それに応じた焦点検出信号を出力する一対のＣＣＤラインセンサとを備える。ＣＣＤラインセンサから出力される焦点検出信号は制御部３０に入力され、後述するように、制御部３０は、焦点調節レンズを合焦位置まで駆動させるレンズ駆動信号を出力する。   For example, the phase difference AF sensor module 112 divides a focus detection light beam into a pair of focus detection light images and a focus detection optical system that forms an image and a pair of split light images incident thereon and a focus corresponding thereto. And a pair of CCD line sensors that output detection signals. The focus detection signal output from the CCD line sensor is input to the control unit 30, and as will be described later, the control unit 30 outputs a lens drive signal for driving the focus adjustment lens to the in-focus position.

クイックリターンミラー１１で反射された被写体光は、第一の撮像素子１２と光学的に等価な位置に設けられた焦点板１３上に結像する。焦点板１３上に結像された被写体像は、ペンタプリズム１４と接眼レンズ１５を介して撮影者により観察されるとともに、ペンタプリズム１４からプリズム１７と結像レンズ１８とを通過し、第二の撮像素子１９の受光面上に結像する。なお、不図示のレリーズボタン全押しによって撮影動作が実行される場合は、クイックリターンミラー１１が図の破線で示す位置に回動して、被写体光は第一の撮像素子１２上に結像する。   The subject light reflected by the quick return mirror 11 forms an image on a focusing screen 13 provided at a position optically equivalent to the first image sensor 12. The subject image formed on the focusing screen 13 is observed by the photographer through the pentaprism 14 and the eyepiece lens 15 and passes through the prism 17 and the imaging lens 18 from the pentaprism 14. An image is formed on the light receiving surface of the image sensor 19. When a shooting operation is executed by fully pressing a release button (not shown), the quick return mirror 11 is rotated to a position indicated by a broken line in the drawing, and the subject light forms an image on the first image sensor 12. .

第二の撮像素子１９は、図２（ａ）に示すように、マトリックス状に配列された複数（図示例では２０×１４）の画素１９１を備えている。各画素１９１は、図２（ｂ）に示すように、さらに３つの細画素１９１ａ〜１９１ｃに分割されている。これら細画素１９１ａ〜１９１ｃのそれぞれに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色フィルターが設けられることにより、被写体像のＲＧＢ出力が得られる。   As shown in FIG. 2A, the second image sensor 19 includes a plurality (20 × 14 in the illustrated example) of pixels 191 arranged in a matrix. Each pixel 191 is further divided into three fine pixels 191a to 191c as shown in FIG. Each of these fine pixels 191a to 191c is provided with three primary color filters of R (red), G (green), and B (blue), thereby obtaining an RGB output of the subject image.

第二の撮像素子１９は、ＣＣＤ制御部３１により、撮像面に結像された被写体像に対応する信号電荷の蓄積および蓄積電荷の掃き出しを行う。Ａ／Ｄ変換回路３２は、第二の撮像素子１９から出力されたアナログ撮像信号をデジタル画像信号に変換して、制御部３０へ出力する。制御部３０はＣＰＵ、ＲＯＭ、ＲＡＭおよび各種周辺回路から構成されている。機能的には、第二の撮像素子１９で取得された画像データに基づいて追尾対象の追尾を行う追尾制御部３３と、追尾対象の適正露出を演算する露出演算部３４と、焦点検出演算を行う焦点検出演算部３５と、撮影レンズ２１の駆動量を演算するレンズ駆動量演算部３６と、後述の焦点検出領域４０を表すＡＦエリアマークの点灯／消灯（点消灯）を行う表示部３７１の点消灯制御部３７とを有する。表示部３７１は、焦点板１３近傍に配置された液晶表示板２２によってＡＦエリアマークを表示可能となっている。   The second image sensor 19 causes the CCD control unit 31 to accumulate signal charges corresponding to the subject image formed on the imaging surface and sweep out the accumulated charges. The A / D conversion circuit 32 converts the analog image signal output from the second image sensor 19 into a digital image signal and outputs the digital image signal to the control unit 30. The control unit 30 includes a CPU, ROM, RAM, and various peripheral circuits. Functionally, the tracking control unit 33 that tracks the tracking target based on the image data acquired by the second image sensor 19, the exposure calculation unit 34 that calculates the appropriate exposure of the tracking target, and the focus detection calculation. A focus detection calculation unit 35 to perform, a lens drive amount calculation unit 36 to calculate the drive amount of the photographic lens 21, and a display unit 371 to turn on / off (turn on / off) an AF area mark representing a focus detection area 40 described later. A lighting on / off control unit 37. The display unit 371 can display the AF area mark by the liquid crystal display plate 22 disposed in the vicinity of the focusing screen 13.

焦点検出演算部３５は、撮影者によるエリア選択操作部３５１の操作で選択された焦点検出領域４０に対応する一対のＣＣＤラインセンサから出力される焦点検出信号に基づいて、デフォーカス量などの焦点調節状態の演算を行う。   The focus detection calculation unit 35 is based on a focus detection signal output from a pair of CCD line sensors corresponding to the focus detection region 40 selected by the photographer's operation of the area selection operation unit 351. Calculate the adjustment state.

図３（ａ）に示すようにこの実施の形態のカメラでは、被写界内に、たとえば７つの焦点検出領域４０ａ〜４０ｇが設けられている。この７箇所の焦点検出領域４０ａ〜４０ｇの中から１つがエリア選択操作部３５１によって選択されると、焦点検出演算部３５は選択された焦点検出領域４０に対する焦点調節状態（焦点調節量）の演算を行う。さらに、エリア選択操作部３５１は、７箇所の焦点検出領域４０ａ〜４０ｇの中のどの焦点検出領域が選択されたかを示す選択領域信号を追尾制御部３３へ出力する。焦点検出演算部３５で算出された焦点調節量はレンズ駆動量演算部３６に出力される。レンズ駆動量演算部３６では、入力した焦点調節量に基づきレンズ駆動量を演算して、レンズ駆動モータ３６１に対してレンズ駆動信号を送出する。レンズ駆動モータ３６１は、レンズ駆動信号に応じて撮影レンズ２１を光軸方向へ移動させ、これにより、焦点調節状態が調節される。   As shown in FIG. 3A, in the camera of this embodiment, for example, seven focus detection areas 40a to 40g are provided in the object scene. When one of the seven focus detection regions 40a to 40g is selected by the area selection operation unit 351, the focus detection calculation unit 35 calculates the focus adjustment state (focus adjustment amount) for the selected focus detection region 40. I do. Furthermore, the area selection operation unit 351 outputs a selection region signal indicating which focus detection region of the seven focus detection regions 40a to 40g has been selected to the tracking control unit 33. The focus adjustment amount calculated by the focus detection calculation unit 35 is output to the lens drive amount calculation unit 36. The lens drive amount calculation unit 36 calculates a lens drive amount based on the input focus adjustment amount and sends a lens drive signal to the lens drive motor 361. The lens drive motor 361 moves the photographic lens 21 in the optical axis direction according to the lens drive signal, thereby adjusting the focus adjustment state.

追尾制御部３３では、入力された選択領域信号に基づいて、第二の撮像素子１９から入力した画像データの中から追尾領域に相当する画像データを抽出し、この追尾領域の画像データに基づいて被写体追尾演算を行う。この実施の形態では、追尾演算に際して、図３（ｂ）に示すように、第二の撮像素子１９より取得した初期画像４３上において、参照画像４５と、小参照画像４６と、参照画像４５よりも範囲の広い追尾探索領域４７とを設定する。参照画像４５は、選択領域信号により認識した焦点検出領域４０ｂを中心として、たとえば、４×４画素などの所定のサイズで設定される。小参照画像４６は、参照画像４５の中心部分の画素、たとえば２×２画素などのサイズで設定される。追尾探索領域４７は、参照画像４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で設定される。参照画像４５および小参照画像４６が設定されると、これらの各領域は記憶部３８に記憶される。なお、参照画像４５の大きさはデフォルトで設定されるものとし、撮影者による大きさの設定操作は行わないものとする。   The tracking control unit 33 extracts image data corresponding to the tracking area from the image data input from the second image sensor 19 based on the input selection area signal, and based on the image data of the tracking area. Subject tracking calculation is performed. In this embodiment, during the tracking calculation, as shown in FIG. 3B, on the initial image 43 acquired from the second image sensor 19, the reference image 45, the small reference image 46, and the reference image 45 are used. Also, a tracking search area 47 having a wide range is set. The reference image 45 is set in a predetermined size such as 4 × 4 pixels with the focus detection area 40b recognized by the selection area signal as the center. The small reference image 46 is set with a size of a pixel at the center of the reference image 45, for example, 2 × 2 pixels. The tracking search area 47 is set, for example, in a range enlarged by 3 pixels vertically and horizontally with the reference image 45 as the center. When the reference image 45 and the small reference image 46 are set, each of these areas is stored in the storage unit 38. Note that the size of the reference image 45 is set as a default, and the size setting operation by the photographer is not performed.

第二の撮像素子１９にて時系列的に続けて取得した次画像４４（図３（ｃ））において、追尾探索領域４７の領域内で参照画像４５と同じ大きさの部分画像４８を作成する。追尾探索領域４７内で部分画像４８を、図３（ｃ）に示すように、たとえば上下左右に１画素ずつずらしながら画像の比較を行なう。すなわち、部分画像４８内の各画素におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色と、参照画像４５内の各画素におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色との差分をそれぞれ計算する。３つの色の差分の合計値が所定の閾値以下の部分画像４８を、追尾対象が存在する可能性の高い領域として推定し、図４（ａ）に示すように、推定被写体領域４９ａ〜ｃとして設定する。   A partial image 48 having the same size as the reference image 45 is created in the tracking search region 47 in the next image 44 (FIG. 3C) acquired continuously in time series by the second image sensor 19. . In the tracking search area 47, as shown in FIG. 3C, the partial images 48 are compared, for example, by shifting one pixel at a time in the vertical and horizontal directions. That is, R (red), G (green), and B (blue) colors in each pixel in the partial image 48, and R (red), G (green), and B (blue) in each pixel in the reference image 45. The difference from each color is calculated. A partial image 48 in which the total value of the differences between the three colors is equal to or smaller than a predetermined threshold is estimated as an area where there is a high possibility that the tracking target exists, and as shown in FIG. Set.

推定被写体領域４９ａ〜ｃのそれぞれについて、図４（ｂ）に示すように、中心部に存在する小参照画像４６と同じ大きさの小部分画像５０ａ〜ｃを設定する。そして、小参照画像４６の色相と小部分画像５０ａ〜ｃの色相とを画素ごとに比較する。すなわち、各画素についてそれぞれＲ／ＧとＢ／Ｇを算出し、小参照画像４６の各画素のＲ／ＧおよびＢ／Ｇと、小部分画像５０ａ〜ｃにおける各画素のＲ／ＧおよびＢ／Ｇとの差分をそれぞれ計算する。計算の結果、差分の値が最小の小部分画像５０ｂを含む推定被写体領域４９ｂを、図４（ｃ）に示すように、追尾対象が存在する被写体領域５１として特定する。さらに、被写体領域５１を中心として上下左右に、３画素ずつ拡大した範囲で被写体探索領域４７ｂを新たに設定する。   For each of the estimated subject areas 49a to 49c, as shown in FIG. 4B, small partial images 50a to 50c having the same size as the small reference image 46 existing in the center are set. Then, the hue of the small reference image 46 and the hues of the small partial images 50a to 50c are compared for each pixel. That is, R / G and B / G are calculated for each pixel, R / G and B / G of each pixel of the small reference image 46, and R / G and B / of each pixel in the small partial images 50a to 50c. The difference from G is calculated. As a result of the calculation, the estimated subject region 49b including the small partial image 50b having the smallest difference value is specified as the subject region 51 where the tracking target exists, as shown in FIG. Further, a subject search region 47b is newly set in a range enlarged by three pixels vertically and horizontally with the subject region 51 as the center.

追尾制御部３３は、被写体領域５１の範囲および被写体領域５１の中央位置の座標を焦点検出演算部３５および露出演算部３４へ出力する。焦点検出演算部３５は、入力した被写体領域５１の座標に基づき、図４（ｄ）に示すように、被写体領域５１の中心に最も近い焦点検出領域４０ｃに追尾対象が存在するものとみなし、焦点検出領域４０ｃに対応する一対のＣＣＤラインセンサから出力される焦点検出信号を用いて焦点調節状態を演算する。焦点検出演算部３５は、焦点検出領域４０ｃを示す選択領域信号を追尾制御部３３を介して点消灯制御部３７へ出力する。これにより、表示部３７１は、焦点検出領域４０ｃのＡＦエリアマークを点灯する。   The tracking control unit 33 outputs the range of the subject region 51 and the coordinates of the center position of the subject region 51 to the focus detection calculation unit 35 and the exposure calculation unit 34. Based on the input coordinates of the subject area 51, the focus detection calculation unit 35 considers that the tracking target exists in the focus detection area 40c closest to the center of the subject area 51, as shown in FIG. The focus adjustment state is calculated using the focus detection signals output from the pair of CCD line sensors corresponding to the detection area 40c. The focus detection calculation unit 35 outputs a selection region signal indicating the focus detection region 40 c to the on / off control unit 37 via the tracking control unit 33. As a result, the display unit 371 lights the AF area mark in the focus detection area 40c.

露出演算部３４は、第二の撮像素子１９からの画像データのうち、被写体領域５１の中央部に対応する画像データに基づいて適正露出を演算して、演算結果を絞り駆動部３４１とシャッタ駆動部３４２とへ出力する。すなわち、追尾領域の中央部に対応する領域に主たる重みを置いて露出演算している。   The exposure calculation unit 34 calculates an appropriate exposure based on the image data corresponding to the center portion of the subject area 51 among the image data from the second image sensor 19, and calculates the calculation result to the aperture drive unit 341 and the shutter drive. To the unit 342. That is, the exposure calculation is performed with the main weight placed on the area corresponding to the center of the tracking area.

なお、複数の焦点検出領域４０が被写体領域５１の中心から等距離に位置している場合には、それ以前に取得した時系列的な画像における被写体の移動方向、すなわち、移動履歴に基づいて、被写体の移動が予測される方向に位置する焦点検出領域４０を選択する。   When the plurality of focus detection areas 40 are located at the same distance from the center of the subject area 51, based on the movement direction of the subject in the time-series image acquired before that, that is, based on the movement history, The focus detection area 40 located in the direction in which the movement of the subject is predicted is selected.

以下で、図５に示すフローチャートを用いて、被写体追尾制御動作の各処理について説明する。なお、このフローチャートに示す各処理は、制御部３０によりプログラムを実行して行われる。また、このフローチャートは不図示のレリーズスイッチの半押し操作により開始される。
ステップＳ１では、撮影者により設定された焦点検出領域４０に対して焦点検出演算部３５で演算された焦点検出演算結果に基づいて、撮影レンズ２１を駆動して焦点調節を行い、ステップＳ２へ進む。ステップＳ２では、第二の撮像素子１９からの画像を取得してステップＳ３へ進む。 Hereinafter, each process of the subject tracking control operation will be described using the flowchart shown in FIG. Each process shown in this flowchart is performed by executing a program by the control unit 30. This flowchart is started by half-depressing a release switch (not shown).
In step S1, based on the focus detection calculation result calculated by the focus detection calculation unit 35 for the focus detection area 40 set by the photographer, the photographing lens 21 is driven to adjust the focus, and the process proceeds to step S2. . In step S2, an image from the second image sensor 19 is acquired, and the process proceeds to step S3.

ステップＳ３においては、ステップＳ１で設定された焦点検出領域４０に基づいて前述のように参照画像４５および小参照画像４６を設定し、ステップＳ４へ進む。ステップＳ４において、ステップＳ３で設定された参照画像４５および小参照画像４６を記憶部３８に記憶して、ステップＳ５へ進む。   In step S3, the reference image 45 and the small reference image 46 are set as described above based on the focus detection area 40 set in step S1, and the process proceeds to step S4. In step S4, the reference image 45 and the small reference image 46 set in step S3 are stored in the storage unit 38, and the process proceeds to step S5.

ステップＳ５において、ステップＳ３で設定された参照画像４５に基づいて、前述のように追尾探索領域４７を設定して、ステップＳ６へ進む。ステップＳ６においては、焦点検出演算を行った焦点検出領域に対応する画像データに基づいて露出演算を行い、ステップＳ７へ進む。ステップＳ７では、撮影者により不図示のレリーズスイッチが全押しされたか否かを判定する。ステップＳ７が肯定された場合、すなわち、ステップＳ７において、レリーズスイッチが全押しされたと判定された場合は、ステップＳ１６へ進む。ステップＳ７が否定された場合、すなわち、ステップＳ７において、レリーズスイッチが全押しされていないと判定された場合は、ステップＳ８へ進む。   In step S5, the tracking search area 47 is set as described above based on the reference image 45 set in step S3, and the process proceeds to step S6. In step S6, an exposure calculation is performed based on the image data corresponding to the focus detection area on which the focus detection calculation has been performed, and the process proceeds to step S7. In step S7, it is determined whether or not a release switch (not shown) has been fully pressed by the photographer. If step S7 is affirmed, that is, if it is determined in step S7 that the release switch has been fully pressed, the process proceeds to step S16. If step S7 is negative, that is, if it is determined in step S7 that the release switch has not been fully pressed, the process proceeds to step S8.

ステップＳ８では、第二の撮像素子１９から次画像（新たな画像）を取得し、ステップＳ９へ進む。ステップＳ９では、前述のように、参照画像４５と部分画像４８との比較を行ないステップＳ１０へ進む。ステップＳ１０において、ステップＳ９における比較結果に基づいて、少なくとも１つの推定被写体領域４９を決定してステップＳ１１へ進む。   In step S8, the next image (new image) is acquired from the second image sensor 19, and the process proceeds to step S9. In step S9, as described above, the reference image 45 and the partial image 48 are compared, and the process proceeds to step S10. In step S10, at least one estimated subject area 49 is determined based on the comparison result in step S9, and the process proceeds to step S11.

ステップＳ１１において、前述のように小参照画像４６と小部分画像５０との比較を行いステップＳ１２へ進む。ステップＳ１２において、ステップＳ１１における比較結果に基づいて被写体領域５１を特定し、その座標位置を焦点検出演算部３５および露出演算部３４へ出力して、ステップＳ１３へ進む。ステップＳ１３において、ステップＳ１２で特定された被写体領域５１を中心として、新たな追尾探索領域４７を設定してステップＳ１４へ進む。   In step S11, the small reference image 46 and the small partial image 50 are compared as described above, and the process proceeds to step S12. In step S12, the subject region 51 is specified based on the comparison result in step S11, the coordinate position is output to the focus detection calculation unit 35 and the exposure calculation unit 34, and the process proceeds to step S13. In step S13, a new tracking search area 47 is set around the subject area 51 specified in step S12, and the process proceeds to step S14.

ステップＳ１４では、ステップＳ１１で特定した被写体領域５１の中央に最も近い焦点検出領域４０を示す選択領域信号を焦点検出演算部３５へ出力し、この焦点検出領域に対する焦点調節量の演算を行いステップＳ１５へ進む。ステップＳ１５では、ステップＳ１４で新たに設定された焦点検出領域４０に対応する画像データに基づいて露出演算を行い、ステップＳ７へ戻る。   In step S14, a selection region signal indicating the focus detection region 40 closest to the center of the subject region 51 identified in step S11 is output to the focus detection calculation unit 35, and a focus adjustment amount is calculated for this focus detection region. Proceed to In step S15, an exposure calculation is performed based on the image data corresponding to the focus detection area 40 newly set in step S14, and the process returns to step S7.

ステップＳ７においてレリーズスイッチが全押しされたと判定すると、ステップＳ１６へ進んで、前述したように撮影動作を行う。撮影が行われることにより本フローチャートに示す一連の処理が終了する。   If it is determined in step S7 that the release switch has been fully pressed, the process proceeds to step S16 to perform the photographing operation as described above. A series of processing shown in this flowchart is completed by photographing.

以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得られる。
（１）第二の撮像素子１９からの像出力に基づいて、撮影者により選択された焦点検出領域４０に相当する位置を中心とした所定範囲を参照画像４５として設定し、参照画像４５の中心部分である一部の画像を小参照画像４６として設定し、参照画像４５と小参照画像４６とを用いて対象の追尾を行なうようにした。したがって、広い範囲の追尾領域を用いる場合と比べて、追尾対象の背景情報による影響を制限できるので追尾演算の信頼性を向上させることができる。 According to the digital camera according to the embodiment described above, the following operational effects can be obtained.
(1) Based on the image output from the second image sensor 19, a predetermined range centered on the position corresponding to the focus detection region 40 selected by the photographer is set as the reference image 45, and the center of the reference image 45 is set. A partial image which is a part is set as the small reference image 46, and the target tracking is performed using the reference image 45 and the small reference image 46. Therefore, as compared with the case where a wide range of tracking area is used, the influence of the tracking target background information can be limited, so that the reliability of the tracking calculation can be improved.

（２）参照画像４５と部分画像４８とを比較することにより、参照画像４５と類似した画像である推定被写体領域４９を選択し、推定被写体領域４９内の小部分画像５０と小参照画像４６とを比較することにより、最終的に追尾対象とする部分画像を被写体領域５１として特定するようにした。したがって、追尾対象の背景情報による影響を受けず、かつ少ない情報処理量で追尾演算を行なうことができるので、追尾演算の信頼性を維持しつつ、演算処理の負担を抑制することができる。 (2) By comparing the reference image 45 and the partial image 48, an estimated subject region 49 that is an image similar to the reference image 45 is selected, and the small partial image 50 and the small reference image 46 in the estimated subject region 49 are selected. As a result, the partial image to be finally tracked is specified as the subject area 51. Therefore, since the tracking calculation can be performed with a small amount of information processing without being affected by the tracking target background information, the burden of the calculation process can be suppressed while maintaining the reliability of the tracking calculation.

（３）参照画像４５と部分画像４８との比較は、第二の撮像素子１９から出力されるＲ、Ｇ、Ｂの差分を計算することにより行い、小参照画像４６と小部分画像５０との比較は、色相に基づいて行なうようにした。したがって、参照画像４５による比較に用いる色情報とは異なる色情報を用いて参照画像４６による比較を行なうので、追尾演算の精度を向上させることができる。 (3) The comparison between the reference image 45 and the partial image 48 is performed by calculating the difference between R, G, and B output from the second image sensor 19, and the small reference image 46 and the small partial image 50 are compared. The comparison was made based on the hue. Therefore, since the comparison by the reference image 46 is performed using the color information different from the color information used for the comparison by the reference image 45, the accuracy of the tracking calculation can be improved.

以上で説明した実施の形態を以下のように変形することができる。
（１）初期設定画面で設定した参照画像４５に対応する画像データを常に次画像以降の部分画像４８の比較対象としたが、新たに検出した被写体領域５１、すなわち再設定した追尾領域に対応する画像データを次画像に対する参照画像４５として設定し直してもよい。もしくは、初期設定画面で設定した参照画像４５におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の色情報と、被写体領域５１におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の色情報とを合成して、新たな参照画像４５を作成してもよい。ただし、この場合は、初期設定画面で設定した参照画像４５の色情報の割合を多く配分する。たとえば、初期設定画面で設定した参照画像４５の色情報を８０パーセントとし、被写体領域５１の色情報を２０パーセントとした割合で合成する。 The embodiment described above can be modified as follows.
(1) Although the image data corresponding to the reference image 45 set on the initial setting screen is always used as a comparison target of the subsequent image 48 after the next image, it corresponds to the newly detected subject area 51, that is, the reset tracking area. The image data may be reset as a reference image 45 for the next image. Alternatively, color information of each color of R (red), G (green), and B (blue) in the reference image 45 set on the initial setting screen, and R (red), G (green), and B (blue) in the subject area 51 The new reference image 45 may be created by combining the color information of each color of (). However, in this case, a large proportion of the color information of the reference image 45 set on the initial setting screen is allocated. For example, the color information of the reference image 45 set on the initial setting screen is set to 80%, and the color information of the subject area 51 is set to 20%.

（２）参照画像４５と部分画像４８の比較に関して、画素ごとにＲ、Ｇ、Ｂの差分を計算するものに代えて、参照画像４５内の全画素と部分画像４８内の全画素の平均輝度や色相情報を用いて比較するものでもよい。この場合も、小参照画像４６と小部分画像５０との比較は画素ごとに行なう。すなわち、参照画像４５による比較におけるサンプリングピッチよりも、小参照画像４６による比較におけるサンプリングピッチを小さくするものであれば比較する情報は問わない。 (2) Regarding the comparison between the reference image 45 and the partial image 48, instead of calculating the R, G, and B differences for each pixel, the average luminance of all the pixels in the reference image 45 and all the pixels in the partial image 48 Or a comparison using hue information. Also in this case, the comparison between the small reference image 46 and the small partial image 50 is performed for each pixel. That is, the information to be compared is not limited as long as the sampling pitch in the comparison with the small reference image 46 is made smaller than the sampling pitch in the comparison with the reference image 45.

（３）参照画像４５と部分画像４８との比較においては第二の撮像素子１９から出力されるＲＧＢの差分を演算し、小参照画像４６と小部分画像５０との比較においては色相に基づいて演算を行なうものとしたが、ＲＧＢの差分や色相に限らず、輝度など第二の撮像素子１９から出力される色情報に基づくものであればいずれを用いてもよい。 (3) In the comparison between the reference image 45 and the partial image 48, the RGB difference output from the second image sensor 19 is calculated, and in the comparison between the small reference image 46 and the small partial image 50, based on the hue. The calculation is performed. However, the calculation is not limited to RGB differences and hues, and any of them may be used as long as it is based on color information output from the second image sensor 19 such as luminance.

（４）参照画像４５と部分画像４８の比較結果に基づいて推定被写体領域４９を設定した後、小参照画像４６と小部分画像５０の比較結果に基づいて被写体領域５１を特定するものとして説明した。しかし、参照画像４５と複数の部分画像４８のそれぞれとの比較結果と、小参照画像４６と複数の部分画像４８内の小部分画像５０のそれぞれとの比較結果とに基づいて、被写体領域５１を特定してもよい。 (4) It has been described that the estimated subject area 49 is set based on the comparison result between the reference image 45 and the partial image 48, and then the subject area 51 is specified based on the comparison result between the small reference image 46 and the small partial image 50. . However, based on the comparison result between the reference image 45 and each of the plurality of partial images 48 and the comparison result between each of the small reference image 46 and each of the small partial images 50 in the plurality of partial images 48, the subject region 51 is defined. You may specify.

（５）追尾探索領域４７の範囲において部分画像４８を１画素ずつずらしながら参照画像４５と比較を行なうものとしたが、追尾探索領域４７を予め所定の画素数で分割した分割領域を部分画像４８として参照画像４５と比較してもよい。 (5) The partial image 48 is compared with the reference image 45 while shifting the partial image 48 by one pixel in the range of the tracking search region 47. However, the divided region obtained by dividing the tracking search region 47 by a predetermined number of pixels in advance is the partial image 48. May be compared with the reference image 45.

（６）第二の撮像素子１９で取得された画像データを所定の画像サイズ（単位）に分割して、この分割された領域からの像出力を１つの画素からの像出力とみなして、上述の追尾処理を行なうようにしてもよい。 (6) The image data acquired by the second image sensor 19 is divided into predetermined image sizes (units), and the image output from this divided area is regarded as the image output from one pixel, and the above-mentioned The tracking process may be performed.

（７）撮影者の操作により追尾対象となる被写体を指定するものに代えて、被写体を認識する機能を備えるカメラであれば、被写体の認識結果に基づいて追尾対象となる被写体を設定して上述の追尾処理を開始するようにしてもよい。 (7) In the case of a camera having a function for recognizing a subject instead of specifying a subject to be tracked by a photographer's operation, the subject to be tracked is set based on the recognition result of the subject and The tracking process may be started.

（８）撮影レンズが交換可能な一眼レフデジタルカメラとして説明したが、本発明はこれに限定されるものではなく、レンズ一体型カメラやビデオカメラに適用してもよい。 (8) Although the present invention has been described as a single-lens reflex digital camera with an interchangeable photographic lens, the present invention is not limited to this and may be applied to a lens-integrated camera or a video camera.

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。   In addition, the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included.

本発明の実施の形態におけるデジタルカメラの要部構成を説明する図である。It is a figure explaining the principal part structure of the digital camera in embodiment of this invention. 撮像素子の画素構成を説明する図である。It is a figure explaining the pixel composition of an image sensor. 実施の形態における被写体追尾制御に用いる各種領域を概念的に説明する図である。It is a figure which illustrates notionally various fields used for subject tracking control in an embodiment. 実施の形態における追尾方法を説明する図である。It is a figure explaining the tracking method in embodiment. 実施の形態における被写体追尾処理の動作を説明するフローチャートである。6 is a flowchart illustrating an operation of subject tracking processing in the embodiment.

符号の説明Explanation of symbols

１９ 第二の撮像素子 ３３ 被写体追尾制御部
４５ 参照画像 ４６ 小参照画像
４７ 追尾探索領域 ４８ 部分画像
４９ 推定被写体領域 ５０ 小部分画像
５１ 被写体領域 19 Second image sensor 33 Subject tracking control unit 45 Reference image 46 Small reference image 47 Tracking search region 48 Partial image 49 Estimated subject region 50 Small partial image 51 Subject region

Claims (9)

撮像素子と、
前記撮像素子からの像出力に基づいて参照画像を設定する参照画像設定手段と、
前記参照画像の一部の画像を小参照画像として設定する小参照画像設定手段と、
前記参照画像および前記小参照画像を用いて前記参照画像に対応する対象を追尾する追尾手段とを備えることを特徴とする被写体追尾装置。 An image sensor;
Reference image setting means for setting a reference image based on an image output from the image sensor;
A small reference image setting means for setting a partial image of the reference image as a small reference image;
A subject tracking apparatus comprising: tracking means for tracking a target corresponding to the reference image using the reference image and the small reference image. 請求項１に記載の被写体追尾装置において、
前記追尾手段は、
前記参照画像を用いた比較におけるサンプリングピッチよりも、前記小参照画像を用いた比較におけるサンプリングピッチを小さくすることを特徴とする被写体追尾装置。 The subject tracking device according to claim 1,
The tracking means includes
A subject tracking device, wherein a sampling pitch in comparison using the small reference image is made smaller than a sampling pitch in comparison using the reference image. 請求項１または２に記載の被写体追尾装置において、
前記追尾手段は、
前記撮像素子で得られる画像における複数の部分画像と前記参照画像とを比較することによって、対象とする部分画像を選択する選択手段と、
前記対象とする部分画像の一部の画像と前記小参照画像とを比較することによって、最終的に対象とする部分画像を特定する特定手段とを含むことを特徴とする被写体追尾装置。 The subject tracking device according to claim 1 or 2,
The tracking means includes
Selecting means for selecting a target partial image by comparing a plurality of partial images in the image obtained by the imaging device and the reference image;
A subject tracking apparatus comprising: a specifying unit that finally specifies a target partial image by comparing a partial image of the target partial image with the small reference image. 請求項１または２に記載の被写体追尾装置において、
前記追尾手段は、
前記撮像素子で得られる画像における複数の部分画像のそれぞれに対して前記参照画像との比較と、前記小参照画像との比較とを行ない、両比較の結果に基づいて、最終的な部分画像を特定する特定手段を含むことを特徴とする被写体追尾装置。 The subject tracking device according to claim 1 or 2,
The tracking means includes
A comparison with the reference image and a comparison with the small reference image are performed for each of a plurality of partial images in an image obtained by the imaging device, and a final partial image is obtained based on a result of both comparisons. A subject tracking device including a specifying means for specifying. 請求項３または４に記載の被写体追尾装置において、
撮影画面を複数に分割した領域に対応する像出力を分割画像データとして出力する分割手段をさらに備え、
前記追尾手段は、前記分割画像データを前記部分画像とすることを特徴とする被写体追尾装置。 The subject tracking device according to claim 3 or 4,
Further comprising a dividing means for outputting an image output corresponding to an area obtained by dividing the shooting screen into a plurality of divided image data;
The subject tracking device, wherein the tracking means uses the divided image data as the partial image. 請求項１乃至５のいずれか一項に記載の被写体追尾装置において、
前記追尾手段は、前記撮像素子から出力される色情報を用いて前記追尾を行なうことを特徴とする被写体追尾装置。 In the subject tracking device according to any one of claims 1 to 5,
The subject tracking device, wherein the tracking means performs the tracking using color information output from the image sensor. 請求項６に記載の被写体追尾装置において、
前記追尾手段は、第一の色情報に基づいて前記参照画像による比較を行ない、前記第一の色情報とは異なる第二の色情報に基づいて前記小参照領域による比較を行なうことを特徴とする被写体追尾装置。 The subject tracking device according to claim 6,
The tracking means performs comparison by the reference image based on first color information, and performs comparison by the small reference region based on second color information different from the first color information. Subject tracking device. 請求項１乃至７のいずれか一項に記載の被写体追尾装置を備えることを特徴とするカメラ。   A camera comprising the subject tracking device according to any one of claims 1 to 7. 撮像素子からの像出力に基づいて参照画像を設定し、
前記参照画像の一部の画像を小参照画像として設定し、
前記設定された参照画像および前記小参照画像を用いて前記参照画像に対応する対象を追尾することを特徴とする被写体追尾方法。 Set the reference image based on the image output from the image sensor,
Set a part of the reference image as a small reference image,
A subject tracking method characterized by tracking a target corresponding to the reference image using the set reference image and the small reference image.
JP2006171266A 2006-06-21 2006-06-21 Subject area specifying device, subject area specifying method, and camera Expired - Fee Related JP4702193B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006171266A JP4702193B2 (en) 2006-06-21 2006-06-21 Subject area specifying device, subject area specifying method, and camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006171266A JP4702193B2 (en) 2006-06-21 2006-06-21 Subject area specifying device, subject area specifying method, and camera

Publications (3)

Publication Number Publication Date
JP2008005110A true JP2008005110A (en) 2008-01-10
JP2008005110A5 JP2008005110A5 (en) 2009-09-10
JP4702193B2 JP4702193B2 (en) 2011-06-15

Family

ID=39009160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006171266A Expired - Fee Related JP4702193B2 (en) 2006-06-21 2006-06-21 Subject area specifying device, subject area specifying method, and camera

Country Status (1)

Country Link
JP (1) JP4702193B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2892228A1 (en) * 2011-08-05 2015-07-08 Fox Sports Productions, Inc. Selective capture and presentation of native image portions
US9191569B2 (en) 2011-06-30 2015-11-17 Canon Kabushiki Kaisha Imaging apparatus having object detection function and method for controlling imaging apparatus
US9288545B2 (en) 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05203865A (en) * 1992-01-27 1993-08-13 Nikon Corp Focus detection device
JPH07203276A (en) * 1993-12-30 1995-08-04 Sony Corp Video camera system and object extract method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05203865A (en) * 1992-01-27 1993-08-13 Nikon Corp Focus detection device
JPH07203276A (en) * 1993-12-30 1995-08-04 Sony Corp Video camera system and object extract method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191569B2 (en) 2011-06-30 2015-11-17 Canon Kabushiki Kaisha Imaging apparatus having object detection function and method for controlling imaging apparatus
EP2892228A1 (en) * 2011-08-05 2015-07-08 Fox Sports Productions, Inc. Selective capture and presentation of native image portions
US10939140B2 (en) 2011-08-05 2021-03-02 Fox Sports Productions, Llc Selective capture and presentation of native image portions
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US11490054B2 (en) 2011-08-05 2022-11-01 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US9288545B2 (en) 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast

Also Published As

Publication number Publication date
JP4702193B2 (en) 2011-06-15

Similar Documents

Publication Publication Date Title
JP5288015B2 (en) Image tracking device, image tracking method, and camera
JP4720673B2 (en) Subject tracking device and camera
JP5045125B2 (en) Subject tracking device and optical device
JP5167750B2 (en) TRACKING DEVICE, IMAGING DEVICE, AND TRACKING METHOD
US8254773B2 (en) Image tracking apparatus and tracking evaluation method
WO2008001575A1 (en) Tracking device, automatic focusing device, and camera
JP2009109839A (en) Image tracking device and imaging device
JP4893334B2 (en) Image tracking device and imaging device
JP5359117B2 (en) Imaging device
JP4702193B2 (en) Subject area specifying device, subject area specifying method, and camera
JP5403111B2 (en) Image tracking device
JP5056136B2 (en) Image tracking device
JP4888249B2 (en) Focus detection apparatus and imaging apparatus
JP4985155B2 (en) Focus adjustment device and imaging device
US9420167B2 (en) Imaging apparatus
JP5233646B2 (en) Image tracking device, imaging device, and image tracking method
JP5447579B2 (en) Tracking device, focus adjustment device, and photographing device
JP2010054586A (en) Focusing device and imaging apparatus
JP2012093775A (en) Focus detector and imaging apparatus
JP5772933B2 (en) Imaging device
JP2024004307A (en) Imaging device and control method thereof, program, and storage medium
JP4973369B2 (en) Image processing apparatus and imaging apparatus
JP2010093320A (en) Image tracking device and image tracking method
JP2009063688A (en) Image recognition device and imaging device
JP2016028298A (en) Focus adjustment device and imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090729

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110221

R150 Certificate of patent or registration of utility model

Ref document number: 4702193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140318

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees