JP2010103975A - 撮像装置およびその制御方法、プログラム - Google Patents

撮像装置およびその制御方法、プログラム Download PDF

Info

Publication number
JP2010103975A
JP2010103975A JP2009186155A JP2009186155A JP2010103975A JP 2010103975 A JP2010103975 A JP 2010103975A JP 2009186155 A JP2009186155 A JP 2009186155A JP 2009186155 A JP2009186155 A JP 2009186155A JP 2010103975 A JP2010103975 A JP 2010103975A
Authority
JP
Japan
Prior art keywords
image
sensitivity
correction process
selectable range
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009186155A
Other languages
English (en)
Other versions
JP5498087B2 (ja
JP2010103975A5 (ja
Inventor
Takashi Kamisaka
天志 上坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009186155A priority Critical patent/JP5498087B2/ja
Priority to US12/568,647 priority patent/US8471935B2/en
Publication of JP2010103975A publication Critical patent/JP2010103975A/ja
Publication of JP2010103975A5 publication Critical patent/JP2010103975A5/ja
Application granted granted Critical
Publication of JP5498087B2 publication Critical patent/JP5498087B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】自動画像補正機能を用いて撮影する際にノイズの多い失敗写真を低減する。
【解決手段】撮像装置は、撮像素子の感度を所定の選択可能範囲から自動で選択する選択手段と、選択手段で選択された感度の撮像素子により撮像された画像に対して、信号を増幅する補正処理を行う画像処理手段と、を備える。選択手段は、画像処理手段が補正処理を実行する状態に設定されている場合に、補正処理を実行しない状態に設定されている場合に比較して、選択可能範囲の上限を低く設定する。
【選択図】図3

Description

本発明は自動画像補正機能を用いた撮影技術に関するものである。
従来、撮影画像の明るさを適正なものとするために、撮像装置には撮影時の露出パラメータを決定するための露出制御部が備えられている。この露出制御部は、測光結果に応じて、適正露出となるシャッタ秒時(あるいは、電荷蓄積期間)、絞り値、ISO感度の組み合わせからなる露出パラメータを撮影前に決定する。ところが、逆光下での撮影や、高反射物が撮影範囲内に存在する場合の撮影などでは、撮影画像は必ずしもユーザが満足する仕上がりとならない場合があった。また、レンズ交換式のシステムにおいては装着するレンズの特性により周辺光量落ちが発生し、撮影画像の四隅が暗くなってしまう場合があった。そこで、測光の結果求められた露出パラメータで撮影した画像データに対して、さらに画像補正処理を行い、適正な明るさの画像データを得る技術が提案されている(特許文献1参照)。
フィルムカメラでは、ISO感度が使用するフィルムによって決まっていたので、シャッタ秒時と絞り値の組み合わせが、露出パラメータとして設定されていた。これに対し、デジタルカメラではISO感度自体が変更可能となっており、ユーザによる感度設定の他にも感度を自動で決定するISO感度自動モードも搭載されてきている。そのため、デジタルカメラでは、シャッタ秒時と絞り値に加え、ISO感度も露出パラメータとして設定することが可能である。例えば、低輝度下では自動的にISO感度を高感度側に変更し、シャッタ秒時が遅くならないように制御することで、手ブレを防ぐデジタルカメラも提案されている(特許文献2参照)。
特開2005−223511号公報 特開2005−292740号公報
しかしながら、ISO感度を高感度側に設定して撮影を行うと、画像に対するノイズが増える傾向がある。よって、ISO感度自動モードでは、ユーザによるISO感度の選択可能範囲に比較して、画像のS/N比(Signal to Noise Ratio)が所定のレベルより悪くならないよう、上限を制限するのが一般的である。
例えば、ユーザによる感度設定ではISO感度100からISO1600まで可能であるが、ISO感度自動モードではISO感度の選択可能範囲がISO感度100からISO感度800までとなる。ここでISO感度800は撮影画像のS/N比が所定のレベルを満足していることになる。ところが、前述の画像補正処理が画像データを明るくするために信号を増幅する処理であると、この撮影画像に対してこの画像補正処理が行われた場合、結果としてノイズがさらに増幅されてしまい、S/N比が悪くなってしまうことがある。
本発明は、上記課題に鑑みてなされ、自動画像補正機能を用いた撮影を行う場合であっても、画像データのノイズを抑制することができる技術を実現する。
上記課題を解決するために、本発明の撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子の感度を所定の選択可能範囲から自動で選択する選択手段と、前記選択手段で選択された感度の撮像素子により撮像された画像に対して、信号を増幅する補正処理を行う画像処理手段と、を備え、前記選択手段は、前記画像処理手段が前記補正処理を実行する状態に設定されている場合に、前記補正処理を実行しない状態に設定されている場合に比較して、前記選択可能範囲の上限を低く設定することを特徴とする。
本発明によれば、自動画像補正機能を用いた撮影を行う場合であっても、画像データのノイズを抑制することができる。
本発明に係る第1および第2の実施形態の撮像装置のブロック図である。 第1および第2の実施形態におけるISO感度設定画面を例示する図である。 第1の実施形態におけるISO感度自動設定時の動作を示すフローチャートである。 第1および第2の実施形態におけるISO感度自動設定時のISO選択可能範囲を例示する図である。 第1および第2の実施形態におけるレンズの周辺光量落ち補正の動作と、顔明るさ補正の動作を示すフローチャートである。 第1および第2の実施形態におけるレンズの周辺光量低下の概念図である。 第2の実施形態における自動画像補正処理時に所定のISO感度より高いISO感度が選択された場合の警告動作を示すフローチャートである。
以下に、添付図面を参照して本発明の実施の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図1は、本発明に係る実施形態の撮像装置の構成を示すブロック図である。図1において、100はデジタルカメラなどの撮像装置である。12は撮像素子13への露光量を制御するためのシャッタ、13は被写体像を光電変換する撮像素子であり、CCDやCMOSイメージセンサで構成される。撮影レンズ310に入射した光線は、ミラー130が光路から退避していれば、一眼レフ方式によって、絞り312、レンズマウント306及び106、シャッタ12を介して導き、光学像として撮像素子13上に結像する。
15はAGC回路(オートゲインコントロール回路)であり、A/D変換する前のアナログ信号のゲインを調整することにより画像信号のレベル調整を行う。ここでは選択されたISO感度に応じたゲイン調整が行われる。このAGC回路15のゲイン調整を行うことで、撮像素子13の感度を調整する。
16はAGC回路15のアナログ信号出力をデジタル信号に変換するA/D変換器である。18は撮像素子13、AGC回路15、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御される。
20は画像処理回路であり、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。また、レベル補正、ガンマ調整処理を行うことにより画像の露出レベルの調整を行うことも可能である。
21は顔検出部であり、画像処理回路20により処理された画像データに対して人物の顔を検出する。画像データから顔の位置および大きさを特定する。検出方法としては画像データから肌色データを抽出し肌色範囲と判定された領域を顔領域として抽出するが、例えば、目、鼻、口など顔の部品に注目する方法や、顔の輪郭に注目した楕円形状情報を利用する方法など他の方法を用いても構わない。
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長回路32を制御する。A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。24は画像表示メモリ、26はD/A変換器、28はTFT、LCD等から成る画像表示部であり、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。
30は撮影した静止画像を格納するためのメモリである。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
40は測光部46からの測光情報に基づいて、絞り312を制御する絞り制御回路340と連携しながら、シャッタ12を制御するシャッタ制御回路である。42はAF処理を行うための測距部であり、撮影レンズ310に入射した光線を一眼レフ方式により、絞り312、レンズマウント306,106、ミラー130、不図示の測距用サブミラーを介して入射し、光学像として結像された画像の合焦状態を測定する。
46はAE処理を行うための測光部であり、撮影レンズ310に入射した光線を一眼レフ方式により、絞り312、レンズマウント306,106、ミラー130,132、不図示の測光用レンズを介して入射し、光学像として結像された画像の露出状態を測定する。また、測光部46は、フラッシュ48と連携することによりフラッシュ調光処理機能も有する。48はフラッシュであり、静止画の撮影時に被写体を照らすだけでなく、AF補助光の投光機能も備えている。50は撮像装置100全体を制御するシステム制御回路、52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部54は、撮像装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。また、表示部54は、その一部の機能が光学ファインダ104内に設置されている。表示部54の表示内容のうち、LCD等に表示するものとしては、例えば、シャッタスピード表示、絞り値表示、露出補正表示、調光補正表示、等がある。56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
60、62、64、66、及び70は、システム制御回路50の各種の動作指示の入力に使用するための操作手段であり、スイッチやダイヤル等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。60はモードダイアルスイッチで、自動撮影モード、シャッタ秒時優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、ポートレート撮影モード、スポーツ撮影モード等を切り替え設定することができる。62はシャッタスイッチSW1で、不図示のシャッタボタンの操作途中でONとなり、AF処理、AE処理等の動作開始を指示する。
64はシャッタスイッチSW2で、不図示のシャッタボタンの操作完了でONとなり、フラッシュ調光処理、露光処理、現像処理、記録処理という一連の撮影処理の動作開始を指示する。ここで、フラッシュ調光処理は、露光処理の前にフラッシュ48を予備発光させ、そのときの被写体からの反射光量から、露光処理時のフラッシュ48の発光量を算出する処理である。露光処理は、撮像素子13から読み出した信号をAGC回路15で信号レベルの調整を行い、A/D変換器16、メモリ制御回路22を介してメモリ30に画像データを書き込む処理である。現像処理は、画像処理回路20やメモリ制御回路22での演算を用いた処理である。記録処理は、メモリ30から画像データを読み出し、圧縮伸長回路32で圧縮を行い、記録媒体200に画像データを書き込む処理である。
66は再生スイッチで、撮影した画像をメモリ30或いは記録媒体200から読み出して画像表示部28によって表示する再生動作の開始を指示する。70は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、ISO感度選択ボタン、各種設定を選択するためのダイヤル等がある。90はメモリカードやハードディスク等の記録媒体200とのインターフェースであり、92は記録媒体200と接続を行うコネクタである。
120は、レンズマウント106内において、撮像装置100をレンズユニット300と接続するためのインターフェース、122は撮像装置100をレンズユニット300と電気的に接続するコネクタである。コネクタ122は、撮像装置100とレンズユニット300との間で制御信号、状態信号、データ信号等を伝え合う。
130,132はミラーで、撮影レンズ310に入射した光線を、一眼レフ方式によって光学ファインダ104に導くことができる。なお、ミラー132は、クイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。
200はメモリカードやハードディスク等の記録媒体である。記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、撮像装置100とのインターフェース204、撮像装置100と接続を行うコネクタ206を備えている。
300は交換レンズタイプのレンズユニットである。306は、レンズユニット300を撮像装置100と機械的に結合するレンズマウントである。レンズマウント306内には、レンズユニット300を撮像装置100と電気的に接続する各種機能が含まれている。310は撮影レンズ、312は絞りである。
320は、レンズマウント306内において、レンズユニット300を撮像装置100と接続するためのインターフェース、322はレンズユニット300を撮像装置100と電気的に接続するコネクタである。コネクタ322は、撮像装置100とレンズユニット300との間で制御信号、状態信号、データ信号等を伝え合う。
340は測光部46からの測光情報に基づいて、シャッタ12を制御するシャッタ制御回路40と連携しながら、絞り312を制御する絞り制御回路である。342は撮影レンズ310のフォーカシングを制御する測距制御回路、344は撮影レンズ310のズーミングを制御するズーム制御回路である。350はレンズユニット300全体を制御するレンズシステム制御回路である。レンズシステム制御回路350は、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備える。
[第1の実施形態]ここで、第1の実施形態のISO感度自動設定時の動作について説明する。撮影に使用するISO感度に関しては、操作部70のISO感度選択ボタンおよびダイヤル部材を操作することで設定可能になっている。図2にISO感度設定時の様子を例示する。ISO感度は100から1600の間で操作部70のダイヤル部材の回転により順次選択可能になっており、さらにISO感度自動設定も可能になっている。ここで設定されたISO感度に応じてAGC回路15の増幅率が変更される。
図3はISO感度自動設定時の動作を示すフローチャートである。S301では、システム制御回路50は、自動画像補正処理が無効か有効かを判定する。操作部70を用いることでユーザが自動画像補正処理モードのON/OFFを選択することができる。システム制御回路50は、自動画像補正処理が無効な場合はS302へ進み、オートISOの上限値であるISO_MAXにISO_MAX_1を設定し、下限値であるISO_MINにISO_MIN_1を設定する。ここでISO_MAX_1は例えばISO感度800であり、ISO_MIN_1はISO感度200であるものとする。この上限値および下限値の組み合わせを第1の選択可能範囲という。
システム制御回路50は、自動画像補正処理が有効な場合はS303へ進み、オートISOの上限値であるISO_MAXにISO_MAX_2を設定し、下限値であるISO_MINにISO_MIN_2を設定する。ここでISO_MAX_2は例えばISO感度400であり、ISO_MIN_2はISO感度100であるものとする。この上限値および下限値の組み合わせを第2の選択可能範囲という。ここではISO感度の上限と下限をそれぞれ設定する例を説明するが、上限と下限に加えて、基準ISO感度に関してそれぞれ異なる設定を行っても良いし、上限と下限はそのままに、基準ISO感度のみ変更しても良い。例えばS302では基準ISO感度をISO感度200、ISO_MINをISO感度100とし、S303では基準ISO感度をISO_MINと同じISO感度100とするようにしても良い。図4は上述したISO感度の上限、下限の設定例、および、基準ISO感度の設定例を示している。特に、図4(a)は自動画像補正処理が有効な場合には、無効である場合に比較してISO感度の選択可能範囲を狭く変更する例を示している。図4(b)は自動画像補正処理が有効な場合には、無効である場合に比較して基準ISO感度を低く変更する例を示している。さらに、図4(c)は自動画像補正処理が有効な場合には、無効である場合に比較してISO感度および基準ISO感度の各選択可能範囲を変更する例を示している。
システム制御回路50は、S304でSW1がONしたことが検出されるとS305へ進み、S305において測光部46により得られた被写体輝度(BV)から適正露出となるシャッタ秒時(TV)と絞り値(AV)の組み合わせを決定する。シャッタ12を備えていないデジタルカメラであれば、シャッタ秒時の代わりに、撮像素子13の電荷蓄積時間(TV)を用いる。システム制御回路50は、シャッタ秒時優先撮影モードであれば、シャッタ秒時をユーザが指定した値に固定して絞り値を調整し、絞り優先撮影モードであれば、絞り値をユーザが指定した値に固定してシャッタ秒時を調整するようにしてもよい。シャッタ秒時と絞り値の組み合わせに関しては、いわゆるアペックス演算により求めればよく、EV=BV+SV=TV+AVにより決定される。ここでSVはISO感度に相当する。ここではISO感度自動設定時に基準ISO感度としてISO感度100が優先的に選択されるものとする。基準ISO感度に関してはISO感度100という値に限定されるものではなく、他の値でも構わない。また、撮影モードに応じて基準ISO感度を変更してもよく、例えばポートレートではISO感度100基準だが、スポーツモードではISO感度400基準とするように切り替えても良い。また、本実施形態に示す露出制御値の算出方法はあくまで一例であり、これに限定されるものではない。
S306では、システム制御回路50は、決定されたシャッタ秒時と絞り値を確認し、適正露出に対して露出が不足する場合、つまりシャッタ秒時が低速秒時の制御範囲を超えているか、もしくは絞り値が開放側の制御範囲を超えている場合はS307へ進む。ここでシャッタ秒時の低速側制御範囲は設定可能範囲と等しく設定(例えば30秒)しても良いし、手ブレしやすい秒時(例えば1/焦点距離)としても良い。S307では、システム制御回路50は、不足した露出を補うべくISO感度を基準ISO感度から変更し、これに応じてAGC回路15の増幅率を変更する。
続いて、システム制御回路50は、S308で変更したISO感度が、S302あるいはS303で設定したISO感度上限値であるISO_MAXを超えていないか比較する。上限値を超えている場合にはS309でISO感度をISO_MAXとし、これに応じてAGC回路15の増幅率を変更する。S310で、システム制御回路50は、シャッタ秒時もしくは絞り値が制御限界に突き当たっており適正露出が得られない旨を表示部54に表示する。表示部54は、例えばシャッタ秒時や絞り値表示を点滅させるなどしても良い。そして、S315へと進む。
S306において、システム制御回路50は、適正露出に対して露出がオーバーしている場合はS311へ進み、適正露出とするためISO感度を基準ISO感度から変更し、これに応じてAGC回路15の増幅率を変更する。続いてS312では、システム制御回路50は、変更したISO感度が、S302あるいはS303で設定したISO感度下限値であるISO_MINを下回っていないか比較する。下限値を下回っている場合にはS313でISO感度をISO_MINとし、これに応じてAGC回路15の増幅率を変更する。S314で、システム制御回路50は、S310の処理内容と同様に警告表示を行う。システム制御回路50は、基準ISO感度をISO感度設定値の下限であるISO感度100としている場合には、S306で露出オーバーと判定された場合には直ちに高輝度警告を表示部54に表示させ、S315へと進む。
S306において、システム制御回路50は、適正露出であると判定された場合には、ISO感度の変更は行わず、基準ISO感度のままとし、S315へと進む。本実施形態では、システム制御回路50がISO感度を変更する判定を適正露出であるか否かを基準に行う例を説明したが、シャッタ秒時が手ブレ秒時より低速か否かや、スポーツモードなどで1/500秒などの高速シャッタ秒時を基準にするなどしてもよい。
S315で、システム制御回路50は、シャッタスイッチSW2がONされたことを検出すると、S316で露光処理、現像処理を行う。次に、S317では、システム制御回路50は、自動画像補正処理が無効か有効かを判定する。操作部70を用いることでユーザが周辺光量落ち補正のON/OFFを選択することができる。自動画像補正処理が無効であれば、そのまま現像処理した画像を記録し、このフローチャートを終了する。自動画像補正処理が有効であれば、S318にて、システム制御回路50は、画像処理回路20に自動画像補正処理を行わせ、自動画像補正処理後の画像を記憶してこのフローチャートを終了する。
次に自動画像補正について説明する。ここでは自動画像補正処理の一例として、撮像光学系(レンズ)の周辺光量落ちを補正する場合の動作と、撮影画像から被写体の顔部分の明るさを評価し、暗い場合に適正な明るさに補正する場合の動作について、図5のフローチャートを用いて説明する。図3のS318で自動画像補正処理が開始されると、図5のS401で、システム制御回路50は、自動画像補正として周辺光量落ち補正が無効か有効かを判定する。
S401で、システム制御回路50は、周辺光量落ち補正が無効であればS403に進み、有効であればS402に進む。S402では、システム制御回路50は、撮影された画像に対して画像処理回路20により周辺光量補正を行う。具体的には画像処理回路20がレンズユニット300からインターフェース120を通して周辺光量に関する情報を取得し、その情報をもとに補正を行い、S403に進む。ここで周辺光量に関する情報としては、ズーム位置、絞り値、瞳位置などを用いる。周辺光量落ちとは、均一輝度面を撮影しても、レンズの光軸に対する入射角の角度が大きくなると、撮像面上の光量が低下する現象のことである。補正方法に関しては特に限定するものではないが、例えば、予め図6に示すような像高ごとの周辺光量比を光学シミュレーションツールなどを用いて求めておき、撮像素子の各画素に対応する周辺光量係数を記憶メモリ52に予め記憶しておく。そして、レンズユニット300から取得した瞳距離情報などに応じて、画像処理回路20が周辺光量係数を補正し、周辺光量比を算出し、その比に応じて画像の信号を増幅する。
続いて、S403では、システム制御回路50は、自動画像補正として顔検出補正が無効か有効かを判定する。操作部70を用いることでユーザが顔検出補正のON/OFFを選択することができる。
S403で、システム制御回路50は、顔検出補正が無効であればこのフローチャートを終了し、有効であればS404に進む。S404では、システム制御回路50は、撮影された画像に対して、顔検出部21に人物の顔が存在するかどうか検出を行わせる。検出方法としては前述の通り、画像データから肌色データを抽出し肌色範囲と判定された領域を顔領域として抽出したり、その他、目、鼻、口など顔の部品に注目する方法や、顔の輪郭に注目した楕円形状情報を利用する方法など他の方法を用いても構わない。
S405で、システム制御回路50は、顔領域が検出できていなければこのフローチャートを終了し、顔領域を検出できていればS406に進む。顔が検出された場合にはS406で、システム制御回路50は、画像処理回路20により検出された顔領域内の明るさを測定し、S407で測定した明るさが適正なレベルかどうかの判定を行う。ここでは、例えば顔領域の輝度の平均を撮影画像から算出するとともに、その範囲の理論上の輝度(測光部46およびシステム制御回路50により算出された適正露出の画像の輝度)を算出し、その理論上の輝度に対する実際に撮像された画像の輝度の差を求める。顔領域の明るさが適正なレベルではない場合には、S408で画像処理回路20によりレベル補正、ガンマ調整処理を行って、顔領域の画像の信号を増幅させたり、減少させたりして露出レベルの調整を行う。このとき、画像の一部の領域のみの露出レベルを調整しても良いし、画像全体の露出レベルを調整しても構わない。
本実施形態では、自動画像補正処理として、主被写体の明るさを補正する場合と、レンズの周辺光量落ちを補正する場合の2つの補正処理に対して、画像補正処理が有効な場合に自動ISO感度設定におけるISOの選択可能範囲を変更する例を説明した。これらの補正処理では、画像の一部の領域における信号が増幅されるため、結果的にその領域に含まれるノイズも増幅されることになる。そのため、予めオートISOの上限値を低く設定しておくことで、この画像補正処理の結果、撮影画像のS/N比が余計に悪く、ノイズの多い失敗写真を低減することができる。
画像補正処理についてはこの2つ以外にも、画像の明るさやコントラストに関する補正など、画像データ信号の増幅に関するものであれば同様の効果が得られる。また、複数の自動画像補正機能が実装される場合、前述の明るさやコントラストに関する補正の場合のみISO選択可能範囲や基準ISO感度を変更し、画像信号の増幅を伴わない補正の場合はISO選択可能範囲を特に変更しないようにすることも可能である。ここで、画像信号の増幅を伴わない補正とは、例えば赤目補正やレンズ歪曲収差補正などがある。
[第2の実施形態]次に、ISO感度自動設定時に、自動画像補正処理が実施された場合、選択されたISO感度に応じて撮影後に警告を行う場合の動作を図7のフローチャートを用いて説明する。図7のフローチャートの処理のうち、図3のフローチャートと同じ処理には、同じ番号が付与されている。本実施形態では、露光処理を終えるまでは、オートISOの上限値であるISO_MAXにISO_MAX_1を設定し、下限値であるISO_MINにISO_MIN_1を設定するものとする。そのため、図3のS301〜S303の処理を行わずに、S304へと進む。
システム制御回路50は、S304でSW1がONしたことが検出されるとS305へ進み、S305において、基準ISO感度を設定し、適正露出となるシャッタ秒時(TV)と絞り値(AV)の組み合わせを決定する。S306では、システム制御回路50は、決定されたシャッタ秒時と絞り値を確認し、適正露出に対して露出が不足する場合はS307へ進み、不足した露出を補うべくISO感度を基準ISO感度から変更する。続いてS708では、システム制御回路50は、変更したISO感度がISO感度上限値であるISO_MAX_1を超えていないか比較する。上限値を超えている場合には、システム制御回路50は、S709でISO感度をISO_MAX_1とし、S310で低輝度警告表示を行い、S315へと進む。
S306において、システム制御回路50は、適正露出に対して露出がオーバーしている場合はS311へ進み、適正露出とするためISO感度を基準ISO感度から変更する。続いてS712では、システム制御回路50は、変更したISO感度が設定したISO感度下限値であるISO_MIN_1を下回っていないか比較する。システム制御回路50は、下限値を下回っている場合にはS713でISO感度をISO_MIN_1とし、S314で警告表示を行う。システム制御回路50は、基準ISO感度をISO感度設定値の下限であるISO感度100としている場合には、S306で露出オーバーと判定された場合には直ちに高輝度警告表示を行い、S315へと進む。
S306において、システム制御回路50は、適正露出であると判定された場合には、特にISO感度の変更は行わず、基準ISO感度のままとし、S315へと進む。システム制御回路50は、S315でシャッタスイッチSW2を検出すると、S316で露光処理、現像処理を行う。次に、S317では、システム制御回路50は、自動画像補正処理が無効か有効かを判定する。システム制御回路50は、自動画像補正処理が無効であれば、そのまま現像処理した画像を記録し、このフローチャートを終了する。
システム制御回路50は、自動画像補正処理が有効であれば、S719で、システム制御回路50は、撮影画像に設定されたISO感度が所定のISO感度より低いならばS318にて上述した自動画像補正処理を行う。システム制御回路50は、反対に、撮影画像に設定されたISO感度が所定のISO感度より高いならばS720で表示部54に警告表示を行う。ここでは所定のISO感度として、第2の選択可能範囲の上限であるISO_MAX_2(ISO感度400)を適用することとする。例えばISO感度自動設定処理によりISO感度800で撮影された場合、警告表示が行われることになる。ここで、警告は表示部54への表示に限るものではなく、画像表示部28に画像に重ね合わせて表示しても良いし、音声などで警告しても良い。
これにより、システム制御回路50は、自動画像補正処理が行われた撮影に対して、所定のISO感度よりも高いISO感度が選択された場合、表示部54を用いて撮影画像の画質が低下している可能性がある旨を警告する。そして、システム制御回路50は、表示部54に、警告とともに自動画像補正処理を実行するのかユーザに問い合わせる表示を行わせる。
ステップS721で、システム制御回路50は、ユーザが操作部70を操作することによって自動画像補正処理を実行することを指示したかどうかを判定する。ユーザによる自動画像補正処理の実行が指示されていれば、システム制御回路50は、S318にて上述した自動画像補正処理を行う。ユーザから指示がなれば、自動画像補正処理の実行をキャンセルし、このフローチャートを終了する。
第1の実施形態では、SW2がONされる前に警告表示が出された場合に、ユーザは、自動画像補正処理を無効にさえすれば警告表示がなくなるのか、自動画像補正処理を無効にしても警告表示がなくならないのかが判断できなった。そこで、本実施形態では、システム制御回路50は、撮影処理を開始するまでは自動画像補正処理の有無に関わらずISO感度の選択可能範囲を一律に第1の選択可能範囲に設定している。その後、システム制御回路50は、撮影画像に対して自動画像補正が行われる場合に、撮影画像のISO感度が、自動画像補正処理によって撮影画像のS/N比が悪くなると判断される第2の選択可能範囲を超えていた場合に、警告表示を行うようにしている。このようにすることで、自動画像補正処理さえしなければS/N比が所定のレベルより悪くならないような場合に、自動画像補正処理の実行の可否をユーザの判断に委ねることが可能となる。
また、第2の実施形態では、システム制御回路50は、S719で撮影画像のISO感度が第2の選択可能範囲内であることを判定してから、S318で自動画像補正を行っていたが、これに限られるものではない。画像処理回路20による自動画像補正処理として顔検出補正のみが設定されている場合には、自動画像補正処理が有効であっても、撮影画像から顔領域が検出されなければ、画像のS/N比が劣化する補正は行われない。そのため、画像処理回路20による自動画像補正処理として顔検出補正のみが設定されているのであれば、システム制御回路50は、S719に進む前に顔検出部21が撮影画像から顔領域を検出できるかどうかを判定する。システム制御回路50は、顔検出部21が撮影画像から顔領域を検出できたと判定すればS719に進み、検出できなかったと判定すれば補正対象となる領域が存在しないため、このフローチャートを終了するようにしてもよい。
また、上記実施形態では一眼レフのデジタルカメラを例に挙げて説明を行ったが、上述したような自動画像補正処理の機能を備えたカメラであれば、その他のカメラでも構わない。例えば、ミラー130やシャッタ12を備えていないコンパクトなデジタルカメラ、デジタルビデオカメラ、あるいは、カメラと自動画像補正処理の機能を備えたコンピュータが接続された監視カメラシステムであってもよい。
[他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ(CPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性の半導体メモリカード、ROMなどを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。
しかし、さらにプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる場合も有得る。その後、プログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

Claims (12)

  1. 被写体像を撮像する撮像素子と、
    前記撮像素子の感度を所定の選択可能範囲から自動で選択する選択手段と、
    前記選択手段で選択された感度の撮像素子により撮像された画像に対して、信号を増幅する補正処理を行う画像処理手段と、を備え、
    前記選択手段は、前記画像処理手段が前記補正処理を実行する状態に設定されている場合に、前記補正処理を実行しない状態に設定されている場合に比較して、前記選択可能範囲の上限を低く設定することを特徴とする撮像装置。
  2. 前記選択手段は、前記画像処理手段が前記補正処理を実行する状態に設定されている場合に、実行しない状態に設定されている場合に比較して、前記選択可能範囲を狭く設定することを特徴とする請求項1に記載の撮像装置。
  3. 被写体像を撮像する撮像素子と、
    前記撮像素子の感度を所定の選択可能範囲から自動で選択する選択手段と、
    前記選択手段で選択された感度の撮像素子により撮像された画像に対して、信号を増幅する補正処理を行う画像処理手段と、を備え、
    前記選択手段は、前記画像処理手段が前記補正処理を実行する状態に設定されている場合に、前記補正処理を実行しない状態に設定されている場合に比較して、前記選択可能範囲において優先的に選択される基準の感度を低く設定することを特徴とする撮像装置。
  4. シャッタ秒時、電荷蓄積時間、および、絞り値の少なくともいずれかを調整して、前記撮像素子により撮像された画像の露出を調整する露出制御手段を更に有し、
    前記露出制御手段は、被写体輝度と前記基準の感度とに基づいて、前記シャッタ秒時、電荷蓄積時間、および、絞り値の少なくともいずれかを調整し、
    前記選択手段は、前記撮像素子の感度が前記基準の感度に設定されているときに、前記露出制御手段により前記シャッタ秒時、電荷蓄積時間、および、絞り値の少なくともいずれかを調整しても、前記撮像素子により撮像された画像が適正露出とならない場合に、前記撮像素子の感度を前記基準の感度とは別の感度に変更するものであることを特徴とする請求項3に記載の撮像装置。
  5. 被写体像を撮像する撮像素子と、
    前記撮像素子の感度を第1の選択可能範囲から自動で選択する選択手段と、
    前記選択手段で選択された感度の撮像素子により撮像された画像に対して、信号を増幅する補正処理を行う画像処理手段と、
    前記画像処理手段が前記補正処理を実行する状態に設定されている場合に、前記選択手段によって選択された感度が前記第1の選択可能範囲よりも上限が小さく設定された第2の選択可能範囲の上限を超えていた場合に、警告を行う警告手段と、を備えることを特徴とする撮像装置。
  6. 前記補正処理とは、前記撮像された画像の一部もしくは全体の明るさを補正するように前記信号を増幅する処理であることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記補正処理とは、撮像光学系の周辺光量に関する情報により前記撮像素子から出力される画像データに対して周辺光量を補正するように前記信号を増幅する処理であることを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記撮像素子から出力される画像データに対して人物の顔領域を検出するための顔検出手段を更に備え、
    前記画像処理手段は、前記顔領域の画像データについて、前記顔領域もしくは全体の明るさを適正なレベルに補正するように前記信号を増幅する補正処理を行うことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 被写体像を撮像する撮像素子の感度を所定の選択可能範囲から自動で選択する選択工程と、
    前記選択工程において選択された感度の撮像素子により撮像された画像に対して、信号を増幅する補正処理を行う画像処理工程と、を備え、
    前記選択工程では、前記補正処理を実行する状態に設定されている場合に、補正処理を実行しない状態に設定されている場合に比較して、前記選択可能範囲の上限を低く設定することを特徴とする撮像方法。
  10. 被写体像を撮像する撮像素子の感度を所定の選択可能範囲から自動で選択する選択工程と、
    前記選択工程において選択された感度の撮像素子により撮像された画像に対して、信号を増幅する補正処理を行う画像処理工程と、を備え、
    前記選択工程では、前記補正処理を実行する状態に設定されている場合に、補正処理を実行しない状態に設定されている場合に比較して、前記選択可能範囲において優先的に選択される基準の感度を低く設定することを特徴とする撮像方法。
  11. 被写体像を撮像する撮像素子の感度を第1の選択可能範囲から自動で選択する選択工程と、
    前記選択工程において選択された感度の撮像素子により撮像された画像に対して、信号を増幅する補正処理を行う画像処理工程と、
    前記補正処理を実行する状態に設定されている場合に、前記選択工程において選択された感度が前記第1の選択可能範囲よりも上限が小さく設定された第2の選択可能範囲の上限を超えていた場合に、警告を行う警告工程と、を備えることを特徴とする撮像方法。
  12. 請求項9乃至11のいずれか1項に記載の撮像方法を撮像装置のコンピュータに実行させるためのプログラム。
JP2009186155A 2008-09-29 2009-08-10 撮像装置および撮像方法、プログラム Expired - Fee Related JP5498087B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009186155A JP5498087B2 (ja) 2008-09-29 2009-08-10 撮像装置および撮像方法、プログラム
US12/568,647 US8471935B2 (en) 2008-09-29 2009-09-28 Imaging apparatus having an image correction function and method for controlling the same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008251687 2008-09-29
JP2008251687 2008-09-29
JP2009186155A JP5498087B2 (ja) 2008-09-29 2009-08-10 撮像装置および撮像方法、プログラム

Publications (3)

Publication Number Publication Date
JP2010103975A true JP2010103975A (ja) 2010-05-06
JP2010103975A5 JP2010103975A5 (ja) 2012-09-20
JP5498087B2 JP5498087B2 (ja) 2014-05-21

Family

ID=42057030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009186155A Expired - Fee Related JP5498087B2 (ja) 2008-09-29 2009-08-10 撮像装置および撮像方法、プログラム

Country Status (2)

Country Link
US (1) US8471935B2 (ja)
JP (1) JP5498087B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012198273A (ja) * 2011-03-18 2012-10-18 Nikon Corp 撮像装置
JP2019054552A (ja) * 2018-12-20 2019-04-04 株式会社ニコン 撮像装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101618298B1 (ko) * 2009-10-23 2016-05-09 삼성전자주식회사 고감도 영상 생성 장치 및 방법
US8447132B1 (en) 2009-12-09 2013-05-21 CSR Technology, Inc. Dynamic range correction based on image content
JP5156108B2 (ja) * 2011-04-23 2013-03-06 オリンパスイメージング株式会社 撮像装置および撮像方法
JP6092690B2 (ja) * 2012-04-11 2017-03-08 キヤノン株式会社 撮像装置およびその制御方法
JP2015097382A (ja) * 2013-10-08 2015-05-21 キヤノン株式会社 情報処理装置、撮像システム、情報処理方法、及びプログラム
JP6360397B2 (ja) * 2014-09-12 2018-07-18 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US10346953B2 (en) 2016-08-23 2019-07-09 Microsoft Technology Licensing, Llc Flash and non-flash images in flash artifact removal
JP6833801B2 (ja) * 2018-12-26 2021-02-24 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
CN110661983B (zh) * 2019-11-12 2021-03-19 腾讯科技(深圳)有限公司 图像采集方法、装置、设备及存储介质
CN115529409A (zh) * 2021-06-24 2022-12-27 荣耀终端有限公司 一种拍摄方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189175A (ja) * 2001-12-20 2003-07-04 Nikon Corp 電子カメラ
JP2004304438A (ja) * 2003-03-31 2004-10-28 Minolta Co Ltd 撮像装置、およびプログラム
JP2006004124A (ja) * 2004-06-17 2006-01-05 Fuji Photo Film Co Ltd 画像補正装置および方法,ならびに画像補正プログラム
JP2006129270A (ja) * 2004-10-29 2006-05-18 Olympus Corp カメラ、撮影感度制御方法及びシャッタースピード制御方法、並びに撮影感度制御プログラム
JP2006217418A (ja) * 2005-02-04 2006-08-17 Canon Inc 画像処理装置及び方法
JP2007028496A (ja) * 2005-07-21 2007-02-01 Canon Inc 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2007104315A (ja) * 2005-10-04 2007-04-19 Fujifilm Corp 撮影装置
JP2007295281A (ja) * 2006-04-25 2007-11-08 Ricoh Co Ltd 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058234B2 (en) * 2002-10-25 2006-06-06 Eastman Kodak Company Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
US7777806B2 (en) 2003-08-06 2010-08-17 Nikon Corporation Camera, method, and program which captures a field of an object to generate an image, and image processing program and imaging device for applying image processing to an image
JP4305200B2 (ja) 2004-02-04 2009-07-29 株式会社ニコン 撮像装置および方法、並びにプログラム
JP2005269373A (ja) * 2004-03-19 2005-09-29 Fuji Photo Film Co Ltd 映像信号処理システムおよび電子映像機器
JP2005292740A (ja) 2004-04-06 2005-10-20 Canon Inc 電子カメラ
JP4655957B2 (ja) * 2006-02-20 2011-03-23 ソニー株式会社 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
US7877004B2 (en) * 2006-03-03 2011-01-25 Olympus Imaging Corp. Imaging apparatus and imaging method
JP2007318221A (ja) * 2006-05-23 2007-12-06 Nikon Corp 電子カメラ

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189175A (ja) * 2001-12-20 2003-07-04 Nikon Corp 電子カメラ
JP2004304438A (ja) * 2003-03-31 2004-10-28 Minolta Co Ltd 撮像装置、およびプログラム
JP2006004124A (ja) * 2004-06-17 2006-01-05 Fuji Photo Film Co Ltd 画像補正装置および方法,ならびに画像補正プログラム
JP2006129270A (ja) * 2004-10-29 2006-05-18 Olympus Corp カメラ、撮影感度制御方法及びシャッタースピード制御方法、並びに撮影感度制御プログラム
JP2006217418A (ja) * 2005-02-04 2006-08-17 Canon Inc 画像処理装置及び方法
JP2007028496A (ja) * 2005-07-21 2007-02-01 Canon Inc 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2007104315A (ja) * 2005-10-04 2007-04-19 Fujifilm Corp 撮影装置
JP2007295281A (ja) * 2006-04-25 2007-11-08 Ricoh Co Ltd 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012198273A (ja) * 2011-03-18 2012-10-18 Nikon Corp 撮像装置
JP2019054552A (ja) * 2018-12-20 2019-04-04 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
JP5498087B2 (ja) 2014-05-21
US8471935B2 (en) 2013-06-25
US20100079617A1 (en) 2010-04-01

Similar Documents

Publication Publication Date Title
JP5498087B2 (ja) 撮像装置および撮像方法、プログラム
KR101900097B1 (ko) 이미지 캡처 방법 및 이미지 캡처 장치
US7813635B2 (en) Photographing apparatus, method for controlling photographing apparatus and computer-readable recording medium containing program
JP7346654B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP4615458B2 (ja) 露出制御方法及び撮像装置
KR20090098197A (ko) 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체
JP2010072619A (ja) 露出演算装置およびカメラ
JP6887245B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP4323969B2 (ja) 撮影装置
JP2011050048A (ja) 撮像装置
US20130093945A1 (en) Imaging apparatus
JP2008118389A (ja) 撮像装置、画像処理装置、及び画像処理方法
JP2020077938A (ja) 撮影装置、その制御方法、プログラム
JP2014230018A (ja) 撮影装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6300514B2 (ja) 撮像装置、および撮像装置の制御方法
KR20100112788A (ko) 손떨림 방지 기능과 플래쉬 기능의 제어 방법, 이를 이용한 촬영 방법 및 디지털 카메라 모듈
JP4789776B2 (ja) 撮像装置及び撮像方法
JP2009135670A (ja) 撮像装置及びその制御方法
JP2002258344A (ja) カメラ
JP2006295708A (ja) 撮像装置及びその制御方法
JP4539254B2 (ja) 電子カメラおよび画像処理プログラム
JP2010271507A (ja) 撮像装置、露出調整方法及びプログラム
JP2007208827A (ja) 撮像装置
JP2008109582A (ja) 撮像装置および撮像方法
JP2003158667A (ja) 撮像装置、その制御方法、記録媒体、及び制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140307

LAPS Cancellation because of no payment of annual fees