JP2008193278A - 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム - Google Patents
撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム Download PDFInfo
- Publication number
- JP2008193278A JP2008193278A JP2007023739A JP2007023739A JP2008193278A JP 2008193278 A JP2008193278 A JP 2008193278A JP 2007023739 A JP2007023739 A JP 2007023739A JP 2007023739 A JP2007023739 A JP 2007023739A JP 2008193278 A JP2008193278 A JP 2008193278A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- imaging
- unit
- imaging data
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
Abstract
【解決手段】被写体に応じた撮像データを得るための撮像部、撮像部で得られる撮像データに基づいて画像を表示する表示部12、表示部12にターゲットを表示するターゲット表示部、ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部、判定した被写体の表示部12内での移動を追跡することができる被写体追尾手段、を備え、ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾する。
【選択図】図1
Description
しかし、フォーカス位置を決定する技術は、最も至近の被写体に焦点を合わせ、露出を決定するものである。このような技術は、あらかじめ決められた画角中央部と周辺部の測光結果の加重平均をとるなどの技術であって、真にユーザが意図する被写体について最適な撮影条件を取得するものではなかった。したがって、以上のような従来の技術では、被写体が複数あって、中間距離のものが主要被写体である場合、また、あらかじめ決められた測距、測光エリアに対して被写体が小さい場合などには、正確なフォーカス位置及び露出量を求めることができない。
そこで、ピント合わせや露出制御に最適な撮像データを得ようとすると、その都度露出の明暗が変わり、表示部で表示している撮像画像が見難いものになる。
被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
表示部にターゲットを表示するターゲット表示部と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部と、
判定した被写体の表示部内での移動を追跡することができる被写体追尾手段と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾する
ことを最も主要な特徴とする。
その他、各請求項に記載された発明によれば、以下のような効果を得ることができる。
操作することによりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作中は、被写体追尾手段を動作させる操作部を備えることにより、主要被写体部の追尾性能を改善することができる。
主要被写体の変化に応じて撮影直前にフォーカス位置や露出条件を変更することにより、より正確な主要被写体部の撮影が可能である。
主要被写体部の情報で、周辺の被写体検出に応じて判定条件を変更することで、主要被写体の検出および判定時間を短縮化することができる。
被写体としての撮影頻度が最も高い人間を検出することができる。
複数の被写体を検出し判定することができる。
被写体の種類を追加し、また削除することができ、使用者が必要な対象に最適化することができる。
黒つぶれや白とびが現れやすい被写体であると判断される場合にのみ、上述の方法を行なわせることにより、消費電力の無駄を抑えることができる。
併行処理ブロックには、「定期タイマ割り込み処理」、「顔検出モニタリングタイマ」、「顔検出処理」、「顔追尾処理」の各処理がある。併行処理は、定期的なタイマ割り込みで起動され、図1に示す操作部13の状態の読み込みなどを行う。
記録モードでカメラ電源がONされると、図示されていないが、カメラ内部のハードウェア初期化や、カード内のファイル情報をメモリ9内に作成するなどの初期処理を行い、その後、図4に示すメイン処理が開始される。メイン処理では、モニタリング状態をチェックし(S1)、モニタリング停止状態であれば、モニタリング開始処理を行う(S4)。モニタリング開始処理とは、撮像部すなわち図1における撮影レンズ1、機構部2、CCD3を含む構成部分の駆動を開始し、また併行処理のモニタリング処理を起動するものである。メイン処理に最初に入った場合にもモニタリング開始処理(S4)は実行されることになる。
1. テレビジョン学会誌Vol.49、No.6、pp.787−797(1995)の「顔領域抽出に有効な修正HSV表色系の提案」に示されているように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
2. 電子情報通信学会誌Vol.74−D−II、No.11、pp.1625−1627(1991)の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
3. 画像ラボ1991−11(1991)の「テレビ電話用顔領域検出とその効果」に示されているように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
4. 被写体検出においては、上述の方法以外に、画像に対するレクタングルフィルタ(白、黒の組み合わせの帯状フィルタ)をかけた非常に多くの特徴抽出結果を識別空間に配置し、対象被写体の場合と非対象被写体の境界をAdaboost方法で学習させ、装置に組み込むレクタングルフィルタ定数及び識別空間境界定数を研究段階で決定する方式もある。最終的に決定された必要最小限のフィルタ定数及境界定数を装置に組み込み、それにより被写体検出する。この方式は、特徴量を学習により判定するので、顔以外の検出にも有効である。
一般的に、表示画面上の任意の位置にありかつ任意の大きさの対象物を検出するには処理時間がかかる。そこで、上述のように定期的に検出するだけとし、それ以外では、検出した顔付近の時間的な画像データ差分検出をDSP5で行ない、表示部12内での被写体の移動を検出し、追尾するようにしている。
このような動作を行なう部分を「被写体追尾部」という。被写体追尾は、顔検出エリア内の特徴量を抽出して、その特徴量のエリア付近での特徴量と比較を繰り返し、差分が少ないエリアがあった場合に、顔がその位置に移動したと判定する。「被写体追尾部」はCPU8が機能の一つとして備えている。
第一スイッチの操作時に、ターゲット表示付近の顔を検出した場合に、検出情報をターゲット顔として登録すれば、その情報を用いて、顔検出モニタリング処理の効率化を図ることができる。
ターゲット顔情報は、使用者が目的とした対象の情報であるので、新規の顔検出開始時の顔検出範囲の大きさを、ターゲット顔の大きさに近い大きさから開始すると、他の顔の検出までの時間を短縮できる可能性が大きい。任意の大きさの顔を検出するには有効な時間短縮方法である。
また、ターゲット顔として登録した顔の追尾を、第一スイッチ操作解除後も一定時間保持するようにしてもよい。
撮影直後に、ターゲット顔がターゲット表示からずれた状態で、即座に次の撮影をする場合、第一スイッチ操作時にターゲット付近に顔を検出できなくても、ターゲット顔タイマ計時中の一定時間うちなら、追尾している前回のターゲット顔を第一優先顔として登録するようにしてもよい。この第一優先顔にピントが合って、露出量、色が最適になるAE、AWB処理を行なうことができる。
図6に示す顔検出処理動作は、これを図5に示すターゲット付近顔検出の処理動作と共通にすることができる。
顔検出モニタリングタイマを使用することなく、第一スイッチがオンしたときの顔検出のみとするのも効果的である。これにより、常時DSP5、メモリ9を最高動作周波数で動作させる必要がなく、消費電力を少なくすることができる。また、撮影者が主要被写体をターゲット表示付近に収めるので、無駄なく主要被写体を判定することができる。
従来、第一スイッチがオンすることで、ターゲット表示付近の主要被写体とその周辺を含んだエリアにフォーカス位置や露出量を合わせる機能は一般的である。本発明の上記実施例によれば、被写体判定機能により、主要被写体部の大きさも検知でき、主要被写体だけにフォーカスし、あるいは露出を合わせることができる。
併行処理ブロックには、「定期タイマ割り込み処理」、「顔検出モニタリングタイマ」、「顔検出処理」、「顔追尾処理」の各処理がある。併行処理は、定期的なタイマ割り込みで起動され、図1に示す操作部13の状態の読み込みなどを行う。
そこで、本発明の実施例2では、図15に示すように、表示用AEの結果による撮像データ信号レベルを変えるために、電子シャッタ速度やCCD3によって得られる画像信号の増幅率を設定する。これを図15では露出設定A−1,A−2,A−3,・・・で時間順に示している。露出設定A−1で設定された値により撮像素子で露光される。この露光をB−1で示している。露光により得られた撮像データはメモリ9に転送され(C−1)、DSP5により輝度や色の映像信号に変換する画像処理を行なう(D−1)。その映像信号を表示部12に表示する(E−1)。また、上記伝送C−1と同時に明るさに関する積算を行い、その結果をAE演算し(G−1)、露出設定A−4において撮像データ信号レベルを変える設定に反映する。また、F−1で顔検出を行なう。
その対策として、図16に示すように、露出設定A−1で表示用の撮像を行い、露出設定A−4以降に表示する(E−1)。CCDAF用には、露出設定A−2のタイミングでフォーカスを駆動する(I−2)とともに、CCDAF用露出設定A−2で撮像(露光)を行い(B−2)、露出設定A−4のタイミングでCCDAF用ハイパスフィルタの検波データを取得する(H−2)。以降、同様に、フォーカス駆動I−3でのCCDAF検波データをH−3で取得して、検波データが最も高かったフォーカス位置を合焦位置と判定することができる。
2 機構部
3 撮像素子であるCCD
5 DSP
6 メカニカル駆動部
7 CCD駆動回路
8 CPU
9 メモリ
12 表示部
13 操作部
14 AF部
Claims (23)
- 被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
表示部にターゲットを表示するターゲット表示部と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定部と、
判定した被写体の表示部内での移動を追跡することができる被写体追尾手段と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段が追尾することを特徴とする撮像装置。 - 請求項1記載の撮像装置において、操作することによりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作中は、被写体追尾手段を動作させる操作部を備えていることを特徴とする撮像装置。
- 請求項2記載の撮像装置において、被写体追尾は、操作部の操作を解除しても継続して動作することを特徴とする撮像装置。
- 請求項1から3のいずれかに記載の撮像装置において、操作部によりフォーカス位置や露出条件を決定した後でも、被写体判定部で判定した被写体情報に応じてフォーカス位置や露出条件を変更することを特徴とする撮像装置。
- 請求項1から3のいずれかに記載の撮像装置において、被写体判定部で判定したターゲット表示部周辺の被写体情報に応じて、表示部内のほかの被写体に対する判定条件を変更することを特徴とする撮像装置。
- 請求項1から5のいずれかに記載の撮像装置において、被写体判定部は、人間の顔を判定するものであることを特徴とする撮像装置。
- 請求項1から5のいずれかに記載の撮像装置において、被写体判定部は、複数種類の被写体分類から手動又は自動により決定された分類の被写体を検出し判定することを特徴とする撮像装置。
- 請求項6記載の撮像装置において、被写体分類は、追加又は削除可能であることを特徴とする撮像装置。
- 被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
被写体が何であるかを判定する被写体判定部と、
撮像データの信号レベルを可変する信号可変手段と、
撮像データを遅延させて表示させる遅延手段と、
信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データから測光演算する測光演算手段と、を備え、
被写体判定部は測光演算手段で演算した値を用いて撮像中の被写体が何であるかを判定する撮像装置。 - 被写体に応じた撮像データを得るための撮像部と、
撮像部で得られる撮像データに基づいて画像を表示する表示部と、
被写体が何であるかを判定する被写体判定部と、
撮像データの信号レベルを可変する信号可変手段と、
撮像データを遅延させて表示させる遅延手段と、
信号可変手段よって第一信号レベルにした撮像データを遅延手段により遅延させ表示部で画像を表示中に、第二信号レベルにした撮像データからフォーカス位置を演算するフォーカス位置演算手段と、を備え、
被写体判定部はフォーカス位置演算手段で演算した値を用いて撮像中の被写体が何であるかを判定する撮像装置。 - 撮像データの信号レベルに応じて、第二の信号レベルによる撮像をするかいなかを選択する請求項9又は10記載の撮像装置。
- 被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて表示部に画像を表示する表示工程と、
表示部に画像とともにターゲットを表示するターゲット表示工程と、
ターゲット表示部周辺の被写体を検出し被写体が何であるかを判定する被写体判定工程と、
判定した被写体の表示部内での移動を追跡する被写体追尾工程と、を備え、
ターゲット表示部付近で所望の被写体を判定した場合は、その被写体を被写体追尾手段で追尾することを特徴とする撮像方法。 - 請求項12記載の撮像方法において、操作部の操作によりターゲット表示部周辺の被写体に関して被写体判定部を起動させ、操作部の操作中、被写体を追尾させることを特徴とする撮像方法。
- 請求項13記載の撮像方法において、被写体追尾工程は、操作部の操作を解除しても継続して行なわれることを特徴とする撮像方法。
- 請求項12から14のいずれかに記載の撮像方法において、操作部によりフォーカス位置や露出条件を決定した後でも、被写体判定工程で判定した被写体情報に応じてフォーカス位置や露出条件を変更することを特徴とする撮像方法。
- 請求項12から14のいずれかに記載の撮像方法において、被写体判定工程で判定したターゲット表示部周辺の被写体情報に応じて、表示部内のほかの被写体に対する判定条件を変更することを特徴とする撮像方法。
- 請求項11から16のいずれかに記載の撮像方法において、被写体判定工程は、人間の顔を判定するものであることを特徴とする撮像方法。
- 請求項12から16のいずれかに記載の撮像方法において、被写体判定工程は、複数種類の被写体分類から手動又は自動により決定された分類の被写体を検出し判定することを特徴とする撮像方法。
- 請求項17記載の撮像方法において、被写体の分類は、追加又は削除可能であることを特徴とする撮像方法。
- 被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて画像を表示する表示工程と、
被写体が何であるかを判定する被写体判定工程と、
撮像データの信号レベルを可変する信号可変工程と、
撮像データを遅延させて表示させる遅延工程と、
信号可変工程よって第一信号レベルにした撮像データを遅延工程により遅延させ表示工程で画像を表示中に、第二信号レベルにした撮像データから測光演算する測光演算工程と、を備え、
被写体判定工程は測光演算工程で演算した値を用いて撮像中の被写体が何であるかを判定する撮像方法。 - 被写体に応じた撮像データを得る撮像工程と、
撮像工程で得られる撮像データに基づいて画像を表示する表示工程と、
被写体が何であるかを判定する被写体判定工程と、
撮像データの信号レベルを可変する信号可変工程と、
撮像データを遅延させて表示させる遅延工程と、
信号可変工程よって第一信号レベルにした撮像データを遅延工程により遅延させ表示工程で画像を表示中に、第二信号レベルにした撮像データからフォーカス位置を演算するフォーカス位置演算工程と、を備え、
被写体判定工程はフォーカス位置演算工程で演算した値を用いて撮像中の被写体が何であるかを判定する撮像方法。 - 撮像データの信号レベルに応じて、第二の信号レベルによる撮像をするかいなかを選択する請求項20又は21記載の撮像方法。
- 撮像方法をコンピュータが実行するためのプログラムであって、請求項12から22のいずれかに記載されている各工程を実行するためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007023739A JP5036334B2 (ja) | 2007-02-02 | 2007-02-02 | 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007023739A JP5036334B2 (ja) | 2007-02-02 | 2007-02-02 | 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008193278A true JP2008193278A (ja) | 2008-08-21 |
JP5036334B2 JP5036334B2 (ja) | 2012-09-26 |
Family
ID=39752955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007023739A Expired - Fee Related JP5036334B2 (ja) | 2007-02-02 | 2007-02-02 | 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5036334B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100965320B1 (ko) * | 2008-10-08 | 2010-06-22 | 삼성전기주식회사 | 연속 오토포커스 자동 제어장치 및 자동 제어방법 |
JP2011097141A (ja) * | 2009-10-27 | 2011-05-12 | Renesas Electronics Corp | 撮像装置、撮像装置の制御方法、及びプログラム |
JP2012257126A (ja) * | 2011-06-09 | 2012-12-27 | Canon Inc | 撮像装置及びその制御方法 |
JP2013115459A (ja) * | 2011-11-25 | 2013-06-10 | Kyocera Corp | 携帯端末、表示方向制御プログラムおよび表示方向制御方法 |
JP2018077683A (ja) * | 2016-11-09 | 2018-05-17 | コニカミノルタ株式会社 | 画像処理装置、認証方法および認証プログラム |
JP2019102847A (ja) * | 2017-11-28 | 2019-06-24 | 株式会社ザクティ | 画像処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08205021A (ja) * | 1995-01-23 | 1996-08-09 | Canon Inc | 画像入力装置 |
JP2006101166A (ja) * | 2004-09-29 | 2006-04-13 | Casio Comput Co Ltd | カメラ装置、情報処理装置、被写体識別方法 |
JP2006211139A (ja) * | 2005-01-26 | 2006-08-10 | Sanyo Electric Co Ltd | 撮像装置 |
JP2006330567A (ja) * | 2005-05-30 | 2006-12-07 | Nikon Corp | オートフォーカス装置 |
JP2007010898A (ja) * | 2005-06-29 | 2007-01-18 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
-
2007
- 2007-02-02 JP JP2007023739A patent/JP5036334B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08205021A (ja) * | 1995-01-23 | 1996-08-09 | Canon Inc | 画像入力装置 |
JP2006101166A (ja) * | 2004-09-29 | 2006-04-13 | Casio Comput Co Ltd | カメラ装置、情報処理装置、被写体識別方法 |
JP2006211139A (ja) * | 2005-01-26 | 2006-08-10 | Sanyo Electric Co Ltd | 撮像装置 |
JP2006330567A (ja) * | 2005-05-30 | 2006-12-07 | Nikon Corp | オートフォーカス装置 |
JP2007010898A (ja) * | 2005-06-29 | 2007-01-18 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100965320B1 (ko) * | 2008-10-08 | 2010-06-22 | 삼성전기주식회사 | 연속 오토포커스 자동 제어장치 및 자동 제어방법 |
JP2011097141A (ja) * | 2009-10-27 | 2011-05-12 | Renesas Electronics Corp | 撮像装置、撮像装置の制御方法、及びプログラム |
US8638373B2 (en) | 2009-10-27 | 2014-01-28 | Renesas Electronics Corporation | Imaging device that resets an exposure by feedback control, method for controlling imaging device and program product |
JP2012257126A (ja) * | 2011-06-09 | 2012-12-27 | Canon Inc | 撮像装置及びその制御方法 |
JP2013115459A (ja) * | 2011-11-25 | 2013-06-10 | Kyocera Corp | 携帯端末、表示方向制御プログラムおよび表示方向制御方法 |
JP2018077683A (ja) * | 2016-11-09 | 2018-05-17 | コニカミノルタ株式会社 | 画像処理装置、認証方法および認証プログラム |
JP2019102847A (ja) * | 2017-11-28 | 2019-06-24 | 株式会社ザクティ | 画像処理装置 |
JP6992947B2 (ja) | 2017-11-28 | 2022-01-13 | 株式会社ザクティ | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5036334B2 (ja) | 2012-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
US8749687B2 (en) | Apparatus and method of capturing jump image | |
US7961228B2 (en) | Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face | |
JP2009177271A (ja) | 撮像装置、その制御方法およびプログラム | |
JP5317737B2 (ja) | 撮像装置、その制御方法及びプログラム | |
US8411159B2 (en) | Method of detecting specific object region and digital camera | |
JP2009177272A (ja) | 撮像装置、その制御方法およびプログラム | |
KR20090098197A (ko) | 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체 | |
JP5759170B2 (ja) | 追尾装置およびその制御方法 | |
JP5036334B2 (ja) | 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム | |
KR20120025341A (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
KR20120071192A (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
JP2007124292A (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP4775172B2 (ja) | 電子カメラ | |
JP2008054297A (ja) | 撮影装置および方法並びにプログラム | |
JP2009027352A (ja) | 撮像装置、画像処理装置およびプログラム | |
JP3985005B2 (ja) | 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム | |
JP5316923B2 (ja) | 撮像装置及びそのプログラム | |
JP5355124B2 (ja) | 撮像装置及びそのシーン判別方法 | |
JP4884887B2 (ja) | 撮像装置 | |
JP5451918B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP5598156B2 (ja) | 撮像装置 | |
JP5245644B2 (ja) | 露出演算装置 | |
JP2012039646A (ja) | 撮像装置及びそのプログラム | |
JP5253184B2 (ja) | 撮像装置、顔検出方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20110817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120703 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5036334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |