JP2003092705A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JP2003092705A
JP2003092705A JP2001283474A JP2001283474A JP2003092705A JP 2003092705 A JP2003092705 A JP 2003092705A JP 2001283474 A JP2001283474 A JP 2001283474A JP 2001283474 A JP2001283474 A JP 2001283474A JP 2003092705 A JP2003092705 A JP 2003092705A
Authority
JP
Japan
Prior art keywords
light
area
abnormality
exposure
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001283474A
Other languages
English (en)
Other versions
JP4672933B2 (ja
Inventor
Tsutomu Ogasawara
努 小笠原
Yoshiro Udagawa
善郎 宇田川
Kenichi Kondo
健一 近藤
Toshikazu Yanai
敏和 柳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001283474A priority Critical patent/JP4672933B2/ja
Publication of JP2003092705A publication Critical patent/JP2003092705A/ja
Application granted granted Critical
Publication of JP4672933B2 publication Critical patent/JP4672933B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

(57)【要約】 【課題】 イメージエリアセンサにおいて遮光領域の異
常によるクランプ誤動作を原因とする測光ミスを防止す
る。 【解決手段】 遮光領域の所定ブロック毎の積分値と基
準値を比較し、積分値が基準値以上のブロックがあった
時に遮光領域の異常を検出し、異常が検出されたブロッ
クの位置に基づいて受光領域の測光枠を設定する。ま
た、遮光領域の異常検出時に露光条件を保持する。更
に、遮光領域の異常が検出された時に露光条件をメモリ
に記憶しておいた1つ前の条件に戻す。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像装置に関する
ものである。
【0002】
【従来の技術】図7は従来例の固体撮像素子を用いたデ
ジタルスチルカメラの撮像信号処理系と感度・露光制御
系の構成を示すブロック図である。図中1は、被写体を
像面に結像するためのレンズ、2はレンズからの像面光
量を制御するための絞り、3はレンズからの光の像面へ
の入射を必要時間のみ照射するためのメカニカルシャッ
ター、4は結像された光の像を電気的な信号に変換する
ための固体撮像素子である。固体撮像素子4としては、
主にCCDエリアセンサが用いられる。また、近年、X
−Yアドレス方式のCMOSセンサも用いられている。
ここでは、CCDエリアセンサを用いるものとする。5
はCCDエリアセンサを駆動するための駆動パルスを供
給する撮像素子駆動回路、6はCCDエリアセンサの出
力を二重相関サンプリングするCDS回路である。
【0003】7はCDS回路6の出力信号を増幅するた
めのAGC回路であり、使用者が好みでカメラの感度設
定を変える場合、あるいは低輝度時にカメラが自動的に
ゲインアップする場合、このCDS回路6のゲイン設定
が変えられる。8はAGC回路の出力信号のうち後述す
るOB電位を基準の電位にクランプするためのクランプ
回路、9はクランプ回路8から出力されるアナログ撮像
信号をデジタル信号に変換するAD変換回路である。
【0004】10は映像処理回路であり、デジタル信号
に変換された撮像信号を輝度と色(R−Y、B−Yの色
差信号か、R,G,B信号)の映像信号に処理する映像
信号処理回路11、入力されたCCD信号のレベルから
測光量を測定する測光回路12、入力されたCCD信号
から被写体の色温度を測定して映像信号処理回路11の
ホワイトバランスに必要な情報を引き出すWB回路(図
示せず)等から構成されている。13はカメラ各部の回
路に必要なパルスタイミングを発生するタイミングパル
ス発生回路、14はカメラを制御するCPUで、測光回
路12の情報に基づいて感度、露光を制御すべくAGC
回路7のゲインを変える命令を発行したり、あるいは露
光制御回路16に露出をどのようにするかの命令を発行
する機能等を有する。
【0005】図8は固体撮像素子(CCDセンサ)4を
示す図である。71は光を電荷に変換するホトダイオー
ド(PD)、72は垂直列の各PDの電荷を読み出して
転送する垂直CCD(VCCD)、73は各VCCD7
2から転送された電荷を横1行ずつの信号電荷として転
送する水平CCD(HCCD)、74はHCCD73の
電荷を電圧信号に変換する出力アンプである。PD71
とVCCD72で形成されたエリアのうち75で示す領
域は光学レンズで結像した像を電荷に変換するイメージ
エリア、76はイメージエリアと同様に構成されたPD
71とVCCD72上をアルミ等の遮光部材で覆うこと
で黒基準となる暗時レベル電荷を取得するためのオプチ
カルブラック(OB)領域である。
【0006】通常、OB領域76は各水平ラインの先頭
(アンプ側)か後部に数十画素設けられている。最近で
は後部に設けられることが多く、図8はこれにならって
後部に設けた例を示している。また、実際にはOB領域
76はHCCD73に接して数行〜10行位の垂直OB
ライン、あるいは受光領域を挟んでその反対側に数列か
ら10列くらいのOB領域が設けられることが多い。
【0007】次に、図7のデジタルスチルカメラの動作
を図9のタイミングチャートを参照しながら説明する。
デジタルスチルカメラはファインダーとして液晶フィル
タにCCDの動画出力を表示する方法が用いられる。こ
の場合、数百万画素のCCDセンサでファインダー動画
のために必要な画素数とフレームレートを出すために
は、CCDの全画素を読み出すのでは、画素数は必要以
上であり、更には読み出し時間が動画表示のためには遅
すぎる。そこで、CCDセンサをライン間引き、あるい
はライン加算等の方法で読み出し画素数をファインダー
表示に適したライン数の信号に減らしてファインダー動
画として必要なレートに早める駆動方法(ファインダー
モード駆動)が採られている。
【0008】図9のTfはファインダー動画期間であ
る。CCDセンサはファインダーモード駆動で動作す
る。TfcはCCDセンサのファインダー駆動での一画
面を出力する期間である。この時、メカニカルシャッタ
ー3は開いた状態に保持されている。レンズ1を通った
光学像はCCDセンサ4に結像され、ファインダーモー
ド駆動で出力される。CCDセンサ4の出力信号はCD
S回路6、AGC回路7、クランプ回路8、AD変換回
路9の前段処理を通してデジタル撮像信号として出力さ
れ、これが映像信号処理回路11で映像信号に処理さ
れ、液晶ファインダーに表示される。この映像処理過程
で測光回路12で撮像信号のレベルを測定し、その情報
に基づきCPU14で露光量を適正とする命令を発行す
る。
【0009】ファインダー動作期間の露出制御はメカニ
カル絞り2での絞り値とCCDセンサの電子シャッター
によるシャッター秒時とを変えることで行う。CCDセ
ンサの電子シャッターはCCDセンサのPD71の深さ
方向に設けられたポテンシャルバリアの開閉で行う。図
9のΦVsubパルスは電子シャッターのためのパルス
でパルスHighでPD71に蓄積された信号電荷がC
CDセンサの深さ方向(基板、サブストレート)に吐き
出される。従って、ファインダー動作時のシャッター秒
時は電子シャッターパルスが停止したところからPD7
1からVCCDに電荷が読み出される(Tfcの最初)
まで時間Tfeとなる。
【0010】カメラ使用者はファインダーで撮りたい被
写体を決めるとメカニカルシャッター3を押下する。通
常、このシャッターは深さ方向に2段になっており、半
押し状態で検知されるスイッチをS1、最後まで押した
ところで検知されるスイッチをS2とする。S1まで押
された段階で、カメラはピントの追込みと本露光時のシ
ャッター秒時と絞り開口を決める。露光条件はS1が押
された時点でのファインダー駆動時のCCDセンサ出力
から判断される。
【0011】この時、測光枠を指定しその枠内領域の積
分値もしくは平均値を求めることにより本撮影(スイッ
チS2)での露光量を決定するが、測光枠の領域設定の
1例を図10〜図12に示す。これらの図では測光枠を
受光領域全体にとり、その受光領域を均等に16分割
(縦4、横4)した例である。図10(a)は16分割
を平等の重み付けで扱い、測光枠の16分割すべての積
分値(平均値)を適正にし本撮影(S2)を行う設定で
ある。重み付けは図中201で示すようにすべて1であ
り、各測光枠の重み付けをすべて1とすることを示す。
【0012】図10(a)の測光枠では主被写体(ここ
では中心に存在する人を指す)が背景より暗い場合にそ
のまま暗く撮影してしまう。これを解決するために図1
0(b)に示すように中心に重み付けした測光計算を行
うことがある。図中の重み付け1,2は重み付けの条件
が異なる(2>1)ことを示すものであり、重み付け係
数2が1の2倍であるとは限らない。これにより背景は
図10(a)の測光方法に比べ明るく(露出オーバー)
なるが、主被写体は適正露光にすることが可能となる。
また、図11(a)、(b)は主被写体が中心でなく、
左右に存在する場合の測光方法であり、効果は図10
(b)の場合と同様である。但し、図11(a)、
(b)においては、撮影者が手動で測光枠を左右に動か
さない場合、カメラがフォーカス制御等と連動して枠を
左右に動かす必要がある。また、図10(b)の場合は
重み付け2の周辺(1の部分)に太陽が入ると適正露光
にならないことがあるが、図12に示すように受光領域
中央の周辺を0とすることによって適正露光にすること
が可能である。
【0013】次に、S2が押下されると本露光撮影を行
うが、その時の露光条件はS1押し時点で決定された絞
り値とシャッター秒時で決まるわけであり、絞り値はメ
カニカル絞りの絞り開口径、シャッター秒時は、CCD
センサの電子シャッターパルスを露光開始時間とし、メ
カニカルシャッター閉で終了するシャッター秒時(Ts
e)とによって決定される。メカニカルシャッター閉後
にCCDセンサのPDに蓄積された電荷は、それぞれ別
々に(加算されることなく)、全画素の信号が読み出さ
れる。
【0014】CCDセンサの信号はCDS回路6、AG
C回路7、クランプ回路8、AD変換回路9の前段処理
を通してデジタル撮像信号として出力され、これが映像
信号処理回路11で映像信号に処理され、媒体に記録さ
れる。また、媒体に記録される本画像を液晶ファインダ
ー表示に適した画像サイズにリサイズした画像を別途生
成し、これを予め決められた撮影画像表示時間ファイン
ダーに表示する。液晶のファインダー撮影画像の表示時
間が終了すると、再びファインダー駆動に戻り、カメラ
の使用者は次の被写体を選ぶことができる。
【0015】
【発明が解決しようとする課題】しかしながら、上記従
来例のデジタルスチルカメラにおいては、例えば、図1
3に示すようにイメージ部のOB領域に接する部分に太
陽77のような強烈な光が入射すると、ファインダー画
像が黒つぶれし、画像が劣化する問題があった。以下、
これのメカニズムを説明する。図13はCCDエリアセ
ンサに光学像が結像している状態を示すイメージ図であ
る。761,762,763はOB領域である。761
は水平後OB、762は垂直前OB、763は水平前O
Bと呼ぶこととする。水平CCD73の反対側に数ライ
ンのOB(垂直後OB)が設けられる場合もある。
【0016】以下の説明では、水平後OB、水平前OB
は、単に後OB、前OBという。垂直OBの場合は必ず
垂直OBという。図7のクランプ回路8は通常762と
761をクランプする。クランプする基準電位は、例え
ば、ADが10Bitであれば黒レベルが32LSBく
らいになるような電位とする。
【0017】図14はクランプ回路8の動作を説明する
ための図で、(a)はAGC回路出力(即ちクランプ回
路入力)、(b)はクランプパルスで、パルスHigh
時にクランプパルスHighの幅の期間のAGC出力部
をクランプ基準電位に引き込むためのパルスである。
(c)、(d)はAD変換入力で、(c)は正常時の状
態を示し、(d)は後述する異常時の状態を示す。な
お、(a)の波形形状は正常時のもので、異常時は
(d)の波形と同じ形状となる(正常、異常の差異は後
述する)。Thは撮像信号の1ライン分に相当する期間
で、このうちT763は前OB出力期間、T761は後
OB出力期間である。TisはCCDセンサのイメージ
領域の撮像信号期間、TemはCCDセンサのHCCD
の空転送(HCCDの転送段数分以上の転送をすること
で、無電荷状態を出力する)、あるいはHCCD転送停
止をする有効でない期間である。
【0018】通常、CCDセンサ4からの信号はCDS
回路6、AGC回路5を経て、AD変換回路9に入力す
る前にADのダイナミックレンジを有効に使うために、
CCD撮像信号のOB部をADのボトムレベルよりやや
高い電位にクランプする(図14(c))。クランプ回
路8でのクランプはアナログ信号で行うので、以下アナ
ログクランプともいう。クランプ回路8は後OBのうち
の前半部(Tobbの期間)をクランプし、後段の映像
信号処理回路11はアナログランプされた領域以外のO
B領域の出力レベルを黒レベルとしてイメージ部の出力
値を補正し(所謂デジタルクランプ)、輝度、色処理を
行う。ここで、デジタルクランプするのは、アナログク
ランプされた信号を、更に高い精度でクランするための
追込みのためである。また、アナログクランプする場所
とデジタルクランプする場所を変えているのは、アナロ
グクランプした場合のクランプ箇所の信号が多少歪むた
めにADした後の信号レベルがクランプ部とクランプし
なかった部分とで多少のレベル差を生じることによる。
【0019】ここで、図13に示すようにイメージ部の
OB領域に接する部分に太陽のような強烈な光77が入
射するような場合、VCCDの転送時に発生するスミア
電荷(VCCD上部はアルミ等の遮光部材により遮光す
るが、PDからの斜め入射光等によりVCCDに発生す
る電荷が偽信号となり、これをスミアという)がVCC
Dの飽和容量を超え、更にHCCDに入り込む電荷がH
CCDの飽和容量を超えることで、HCCDの電荷が溢
れ、HCCDの前後、特に転送時に溢れるために転送後
段への溢れが多くなる。このため、本来、遮光時の電荷
量(暗電流分のみ)であるべきOB領域71に出力電荷
が生じる。この電荷はHCCDの飽和量まで達し、光の
強さによりイメージ部に近い領域から飽和に達する画素
が異なり、光の量が強めであれば後OB761の先頭の
数ライン程度が飽和出力となり、強い時は後OB全段が
飽和出力に達するばかりか、次のラインの前OBにまで
影響を及ぼすことがある。
【0020】通常、CCDの画素電荷を蓄積するウエル
から電荷が溢れ、隣接画素に電荷がこぼれる現象をブル
ーミングというが、以上のような現象は特にOB領域に
溢れる電荷であり、以降、OBブルーミングと表現す
る。このようにOBブルーミング発生のメカニズムをV
CCDのスミア成分を起因として述べたが、VCCDで
のブルーミングもその原因となり、この要因が強いと、
例えば、図13のような位置に太陽があるとした場合、
OBブルーミングは後OBの全ラインに及ばず太陽のあ
る近辺のみに生じる。
【0021】以上これまでブルーミングによりOB領域
に電荷が発生する場合を述べたが、この他にイメージ部
から入射した光が、基板裏面で反射してOB領域内に光
が回り込み、これがOB領域内で光電変換されて発生す
る電荷がある。また、CCDセンサのイメージ部とOB
領域エリアの外部より回り込む光がOB領域で光電変換
されることもある。OBブルーミングはOB領域のイメ
ージ部に近い側から光の強さが強くなるに従って飽和容
量に達するセルが増えていくが、このような光の回り込
みにより発生するOB出力は、強烈な光が入射した近辺
のOB領域のみ出力が高くなり、そのレベルは必ずしも
飽和量に達せず、中間的な出力レベルとなる。以下、こ
のような要因のOB出力はOB光漏れと呼ぶ。
【0022】図14(d)はOBブルーミングが生じた
場合の波形である。OB領域の半分までブルーミングが
達している。このようなOBブルーミングの発生してい
る出力信号をクランプした場合の電位関係を図14
(a)に示す。飽和に達しているOB領域でクランプさ
れるために、飽和レベルがクランプ基準電位となる。先
にも述べたがこのレベルは10BITのADであれば3
2LSBくらいである。従って、イメージ部の信号はク
ランプされたOB領域の信号レベル以下の部分が32L
SB以下の値となり、0LSB以下のレベルに相当する
信号部分はすべて0LSBとなる。
【0023】このようにAD変換された信号はアナログ
クランプされない後OBの後段領域部を黒基準(0レベ
ル)として信号処理されるが、図14(d)の信号はこ
の部分までOBブルーミングは達しておらず、この部分
の値は0LSBとなる。従って、処理された信号は0〜
32LSB程度の値となり、本来高い輝度の部分の信号
が低出力値としてカウントされ、その他の部分は0とな
る。即ち、AD0LSB電位レベル以下の部分は沈み、
高輝度部のみは、暗く、僅かに形状が現れる画像とな
る。なお、この場合は、デジタルクランプ部位までOB
ブルーミングが達していない場合を述べたが、OBブル
ーミングが後OB全体に達している場合は全面完全黒の
画像となる。
【0024】また、実際のカメラでの撮影では図13に
示すような位置に急に太陽が入ってきた場合、図14
(d)のような電位関係に直ちに至るわけではなく、ク
ランプ回路8の応答速度に応じて順次図14(c)から
(d)の電位関係に変化する。ファインダー上では順次
黒部が広がり色合いが変化する(黒バランスのずれ量の
変化)過程がみられる。また、OB光漏れの場合、強い
光の入っている近辺のOB光漏れしているラインが沈み
ぎみとなり(沈み量はOB出力レベルによる)、強い光
の当たった部分に横筋が生じたように見える。そして、
横筋内の低輝度部は黒沈みし、黒沈みするレベルより高
い部分は、黒沈みにより黒バランスのずれた色となり、
出力が高くなるほど現実の色に近づく。以上、OBブル
ーミング、光漏れが起きた場合の画像の劣化のメカニズ
ムを説明したが、この問題はカメラのシステム上では更
に複雑化する。以下、それを述べる。
【0025】EVF動作においては通常(OB正常時)
は、AD変換された後、位置画面の信号レベルから露出
レベルの適否が判断され、適した露光量となるように露
出制御、またはAGCのゲインが制御される。ここで、
通常は絞りと電子シャッターによる露出制御が優先さ
れ、露出制御範囲を越えるレベルに達するとアンプのゲ
イン制御がなされる。通常、低輝度ゲインアップとして
システム化され、高輝度ゲインダウンが採用されること
は、感度とダイナミックレンジに制限のあるCCDを使
用していることからあまり行われない。
【0026】ここで、画像の露出レベルの測定(測光)
は、例えば、全画素の積分値を用いるような場合(平均
測光)、あるいは画面内を複数領域に分け、各領域の積
分値を画面内の場所による重み付けをして演算する方法
(例えば、中央重点測光等)が採られている。重み付け
の仕方を撮影する被写体により変えるようにモード設定
すること等も行われる。
【0027】EVF動作時、図13のように太陽が入っ
た場合、図14(c)の状態から(d)のようなブルー
ミング波形となる。電位関係も図14(c)から(d)
に変化する。その変化はクランプ回路の応答速度に依存
する。即ち、本来の黒レベルから黒電位が黒沈み方向に
変動することとなり、イメージ部の出力値は小さくな
り、測光値が減少する。測光値が小さくなったことでC
PUは露出量を増加すべく電子シャッターと絞りを露光
量を増す方向にするように命令を出す。これは、更にO
Bブルーミングの量を増やすようにする命令である。こ
れにより、黒沈み量は変化しないか、もしくは更に大き
くなる。従って、命令後の測光量はやはりアンダーであ
ると判断され、露光量は最大になるまで増やされる。
【0028】露光量が最大になると、露出量は制御範囲
外として超低輝度と判断し、カメラの感度設定を変える
べくAGCアンプのゲインアップを行い、更に最大ゲイ
ンにまで上げられる。以上、OBブルーミングの場合を
説明したが、OB光漏れの場合でも同様な挙動をする。
但し、OB光漏れの場合、OBの出力レベルがOBブル
ーミングより低いこと、OBの出力が上がる領域が狭い
ことから、自動露出制御(AE)が狂う変化の時間がO
Bブルーミングの場合よりゆるやかになる。以上のよう
にOBブルーミング、OB光漏れは画質を異常にするば
かりでなく、AE制御をも狂わすのである。
【0029】以上述べたのはEVF動作時のAEの誤制
御に関してであるが、これが本露光時、即ち、取得した
い本スチル画像を記録する動作で、先に述べたようにメ
カニカルシャッターを閉じた後にCCDセンサの信号電
荷を読み出す場合にはどのように影響するかを以下に説
明する。図13のようにOB領域近辺に太陽等の強烈な
光が入って画面が黒沈みをして色合いもおかしくなりな
がらもメカニカルシャッター3を押したとする。この場
合、通常、シャッターの半押し(S1)の時に測光及び
本露光時のシャッタースピード、絞り値が決定される。
以上のようにEVF時のAEが狂うプロセスを説明した
が、この時点で行われる本露光のための測光値も異常で
ある。即ち、正常な露出量よりもオーバーの命令が発行
され、露出最大で感度設定最大とされる可能性が高い。
【0030】次に、シャッターのS2で本露光を行う。
即ち、まず、電子シャッターでPDの電荷がリセットさ
れて測光値から割り出されたシャッター秒時時間露出後
にメカニカルシャッター3が閉じられる。メカニカルシ
ャッター3が閉じられると通常、PDの信号電荷読み出
しの前にVCCDの不要電荷の吐き出しのためにVCC
Dを高速で転送段数分以上の転送(VCCDクリア)を
行う。VCCDクリア後にPDの信号電荷がVCCDに
読み出され、順次各画素の電荷が読み出される(本画像
読み出し)。本露光読み出し時にはメカニカルシャッタ
ーが閉じられているため、スミアは生じずOBブルーミ
ングの発生もない。但し、光漏れによるOBの偽信号電
荷分はVCCDで光電変換した分はVCCDクリアで除
去されるが、PDで光電変換された分は除去されること
なく読み出される。
【0031】このようにして読み出された本露光画像信
号は露光量が正常状態よりはるかにオーバーな状態で撮
影されたものである。しかし、VCCDクリアでOB領
域が正常な暗電荷となっている(便宜上、光漏れの場合
をここでは記す:現実に光漏れ分は無いか、極めて少量
なので無しとしての記述は現実とあまり離れない)。こ
のため、本露光の画像はオーバー画像、それもオーバー
すぎるために真っ白画像となることが多い。なお、OB
光漏れのある場合はOB光漏れしているラインが光漏れ
分下がることとなるが、通常光漏れの量は少ないことか
ら画像の飽和レベルで全体が白くなっている画像に薄い
筋がでる程度の影響となる。
【0032】このように全体が白くなる画像はクランプ
の応答速度が速い場合である。もしクランプの応答速度
が遅いと、EVF時のOB電位と本露光時のOB電位の
差から、本露光時のOBのクランプの基準電位への引き
込みが間に合わず、本露光の読み出しラインで早いライ
ンから遅いラインにかけて徐々に正常電位になるような
場合、画面上部は黒つぶれ画像で画面下部は正常画像と
なり、全体として異常な画像となる。クランプの応答速
度が更に遅いと上部真っ黒で下側が黒つぶれ画像、更に
遅いと真っ黒画像がとれることとなる。このような本画
像時の挙動を考えると、画像が半分つぶれているような
画像がとれないようにクランプの速度を早くしておきた
いところであるが、クランプの応答性が速いとクランプ
する部分のキズ(センサのキズ、あるいは外部ノイズ)
に対して敏感になり、OB正常の通常撮影画像において
も横筋ノイズの大きい画像がとれることとなり、必ずし
も応答速度が速いことが良いとは言えなかった。
【0033】本発明は、上記従来の問題点に鑑みなされ
たもので、その目的は、OB領域近辺に強い光が入って
も画像の劣化を防止することができる撮像装置を提供す
ることにある。
【0034】
【課題を解決するための手段】本発明の目的は、複数の
画素から成る受光領域及び複数の画素から成り黒基準信
号を作成するための上部を遮光された遮光領域を有する
撮像手段と、前記撮像手段に入射する光量を制御する露
光制御手段と、前記遮光領域の所定ブロック毎に出力を
積分又は平均する手段と、前記所定ブロック毎の積分値
又は平均値と予め設定された基準値とを比較し、積分値
又は平均値が基準値以上のブロックがあった時に遮光領
域の異常を検出する手段と、前記検出手段により遮光領
域の異常が検出された時に異常が検出されたブロックの
位置に基づいて受光領域の測光枠を設定する手段とを備
えたことを特徴とする撮像装置によって達成される。
【0035】また、本発明の目的は、複数の画素から成
る受光領域及び複数の画素から成り黒基準信号を作成す
るための上部を遮光された遮光領域を有する撮像手段
と、前記撮像手段に入射する光量を制御する露光制御手
段と、前記遮光領域の所定ブロック毎に出力を積分又は
平均する手段と、前記所定ブロック毎の積分値又は平均
値と予め設定された基準値とを比較し、積分値又は平均
値が基準値以上のブロックがあった時に遮光領域の異常
を検出する手段と、前記検出手段により遮光領域の異常
が検出された時に前記露光制御手段による露光条件を保
持する手段とを備えたことを特徴とする撮像装置によっ
て達成される。
【0036】更に、本発明の目的は、複数の画素から成
る受光領域及び複数の画素から成り黒基準信号を作成す
るための上部を遮光された遮光領域を有する撮像手段
と、前記撮像手段に入射する光量を制御する露光制御手
段と、前記露光制御手段の露光条件を記憶する手段と、
前記遮光領域の所定ブロック毎に出力を積分又は平均す
る手段と、前記所定ブロック毎の積分値又は平均値と予
め設定された基準値とを比較し、積分値又は平均値が基
準値以上のブロックがあった時に遮光領域の異常を検出
する手段と、前記検出手段により遮光領域の異常が検出
された時に前記記憶手段に記憶されている1つ前の露光
条件を前記露光制御手段の露光条件として設定する手段
とを備えたことを特徴とする撮像装置によって達成され
る。
【0037】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。
【0038】(第1の実施形態)図1は本発明の撮像装
置の第1の実施形態を示すブロック図である。なお、図
1では図7の従来装置と同一部分は同一符号を付して説
明を省略する。本実施形態では、映像処理回路10内に
OB積分回路17が設けられ、CPU14内にはOBレ
ベルブロック比較部18が設けられている。固体撮像素
子4は前述のように受光領域とOB領域を含んでいる
が、OB領域は複数のブロックに分割されている。OB
積分回路17はOB領域の複数のブロック毎に積分処理
を行い、ブロック毎の出力の積分値をOBレベルブロッ
ク比較部18に出力する。
【0039】OBレベルブロック比較部18はブロック
毎に積分値と予め設定された基準値とを比較し、1つで
も積分値が基準値以上のブロックがあればOB領域の信
号に異常があると判断し、OB異常情報を感度・露光制
御部15に通知する。また、遮光領域の複数のブロック
のうち積分値が基準値以上のブロックの位置情報を同時
に通知する。本実施形態では、詳しく後述するように遮
光領域の異常が検出された時に異常が検出されたブロッ
クの位置を考慮して受光領域の測光枠の設定を行う。な
お、遮光領域の複数のブロックの出力の平均値を算出
し、ブロック毎の平均値と所定の基準値を比較してOB
異常を検出してもよい。
【0040】ここで、固体撮像素子4の受光領域内に設
ける測光枠を仮に16分割とし、遮光領域に異常を生じ
ていない場合の露光量制御は図10〜図12と同様の測
光枠設定・露光量計算の重み付けとする。一方、遮光領
域近傍に高輝度入射があり遮光領域に異常が生じた場
合、測光枠設定・露光量計算の重み付けが図12の設定
であると高輝度入射領域を露光量計算から除外するた
め、次回の露光量設定では露光量を絞る制御にはならな
い。また、測光枠設定・露光量計算の重み付けが図10
(a),(b)、図11(a),(b)の設定でも同様
に高輝度入射領域を露光量計算にて重視されないため、
さほど露光量を絞る制御にはならない。よって、遮光領
域に異常が生じた場合、次回の露光量制御にて入射光量
を増す方向で制御されるため、本撮影における撮影画像
が真っ白になってしまうことは前に述べた通りである。
【0041】そこで、本実施形態では遮光領域の異常を
防ぐために、原因となる遮光領域近傍の高輝度入射を防
ぐことを目的とするものである。具体的に説明すると、
まずファインダーモード駆動で遮光領域に異常が生じた
場合、即ち、OBレベルブロック比較部18からOB異
常情報が出力された場合、遮光領域上あるいはその近傍
の受光領域に異常発生の原因となる高輝度入射があると
考えられる。例えば、図2(a)に示すように画面の右
下隅部に太陽77の強い光が入射したものとする。な
お、図2(a)において斜線部は遮光領域であり、前述
のように複数のブロックに分割されている。遮光領域に
囲まれた中央部は受光領域であり、例えば、16個のブ
ロックに分割されている。
【0042】このように高輝度入射があると、遮光領域
内の太陽77の入射位置のブロックあるいはその近傍の
ブロックで積分値(平均値)が基準値以上となり、OB
異常情報が出力される。図2(a)の例では、高輝度入
射を検出するため、遮光領域近傍に入射する高輝度入射
光のみを考慮する測光枠の設定、即ち、OB異常が検出
されたブロックの位置に基づいて図2(a)に示すよう
に高輝度入射光の近傍であるブロック(“1”で示す)
を測光枠として設定する。“0”のブロックは測光対象
外の領域である。これにより、通常の画像全面あるいは
中央で露光量計算を行う場合と比べて次回の露光量を大
きく絞ることになるため、高輝度入射を抑えられ、遮光
領域の異常を防ぐことが可能である。なお、図2(a)
の例は水平遮光領域の異常が原因で水平クランプエラー
が発生することを防止するために、水平クランプに用い
る水平遮光領域に隣接する測光枠のみを測光対象とする
測光枠設定である。
【0043】図2(b)は同様の位置に太陽77の強い
光が入射した場合の他の測光枠設定を示す図である。図
2(b)の例は垂直遮光領域の異常が原因で垂直クラン
プエラーが発生を防止するために、垂直クランプに用い
る垂直遮光領域に隣接する測光枠(“1”で示す)のみ
を測光対象とする測光枠設定である。また、図3(a)
は受光領域と遮光領域の境界でVCCD72からHCC
D73(図8参照)に転送する領域を広く測光対象とす
る例、図3(b)はVCCD72からHCCD73に転
送する領域を狭く測光対象とする例である。なお、受光
領域の分割数は16に限ることはなく、分割方法も縦4
列、横4列としているが、縦横同数に限ることはない。
また、全分割枠を同一サイズとしているが、同一サイズ
に限ることはない。
【0044】(第2の実施形態)次に、本発明の第2の
実施形態について説明する。第2の実施形態の構成、目
的、制御等は第1の実施形態と同様であるが、OB異常
が検出された時の測光枠の設定方法が異なっている。第
1の実施形態では受光領域の予め分割された測光枠を選
択しているが、本実施形態では受光領域内に任意の範囲
に測光枠を設定するものである。図4(a),(b)、
図5(a),(b)は本実施形態の測光枠設定の例を示
す。太陽77の強い光は同じ位置に入射するものとす
る。
【0045】これらの図では、遮光領域の異常の原因と
なる遮光領域近傍の高輝度入射光を検出するために予め
設定する測光範囲を太線で示している。図4(a)は高
輝度入射により遮光領域の異常が発生する可能性のある
受光領域の範囲を含み、ある程度の大きさを持った測光
範囲を設定する例である。図4(b)は高輝度入射によ
り遮光領域の異常が発生する可能性のある遮光領域近傍
の受光領域に広く測光範囲を設定する例である。図5
(a)は通常撮影時に設定する測光枠と別に高輝度入射
により遮光領域の異常が発生する可能性のある受光領域
に測光範囲を設定する例である。図5(b)は通常撮影
時に設定する測光枠と別に図4(b)で示した遮光領域
近傍の受光領域に測光範囲を設定する例である。
【0046】(第3の実施形態)高輝度入射等により本
撮影前の撮影画像にて遮光領域にブルーミング等の異常
が発生した場合、OBクランプ動作により受光領域が沈
む結果となり、次回の本撮影の露光設定を入射光量を増
やす設定となる。結果として本撮影で得られる画像はほ
ぼ真っ白になることは前に述べた通りである。また、本
撮影時は本撮影前の撮影と異なり、読み出し前にVCC
Dの空転送(クリア)により遮光領域が正常となること
も前に述べた通りである。そこで、本実施形態では、O
Bレベルブロック比較部18で遮光領域の異常が検出さ
れた場合、露光条件をその時の条件に保持するものであ
る。即ち、感度・露光制御部15はOBレベルブロック
比較部18からOB異常情報を受信すると現在の露光条
件を保持する。
【0047】これにより、例えば、本撮影前の撮影画像
にて遮光領域に異常が発生し、次回の露出設定計算にて
本撮影での露光条件設定が入射光量を増やす設定を示し
たとしても、その設定をせずに現在の設定を保持するこ
とにより本撮影時に露出オーバーとなる現象を回避でき
る。また、露光条件設定を保持することにより露光量も
変わらない。更に、前述のように本撮影ではVCCDの
空転送により遮光領域が正常となりOBクランプ動作も
正常に行われ、結果としてOBクランプ異常による沈ん
だ黒画像も回避できる。
【0048】ここで、特に、図1では図示しないが、O
B領域の異常が発生した場合、カメラの表示機能を利用
して警告を表示することにより、撮影者が異常を認識で
きるならばファインダーモード駆動での異常画像を把握
できる。更に、撮影者が被写体(シーン)を変えること
により異常画像発生原因である高輝度入射を回避するこ
とが可能となる。このOB領域の異常を使用者に知らせ
ることは、第1、第2の実施形態や後述する第4の実施
形態に用いてもよい。
【0049】(第4の実施形態)図6は本発明の第4の
実施形態を示すブロック図である。図1との違いは、感
度・露光設定20を記憶するメモリ19を設けている点
である。その他は図1と同様である。従来、露光量は絞
りと露光時間により制御することは前に述べた通りであ
る。また、画像を生成する上で、アナログアンプにより
センサ出力にゲインをかけることも述べた通りである。
ここで、露光量制御の設定を変更することにより遮光領
域の異常が発生した場合、露光量を減らしてゲインをか
けることにより最終出力画像のレベルを一定にするか、
最終出力画像のレベルを減ずることにより遮光領域の異
常の発生を回避することを考える。
【0050】例えば、図13のシーンにおいて、画像周
辺に高輝度被写体が存在し、中央に暗い被写体が存在す
る場合、露光量設定を計算するための測光枠を中心にと
ると露光量を増やす設定となる。これがもし、前のシー
ンにて高輝度被写体が測光枠に収まる場所に存在した場
合、露光量を減らす設定となっている。つまり、図13
のシーンにて固定している間に露光量を増やす設定に変
化する。そこで、本実施形態では露光条件の設定を変更
する際に、現在の設定、つまり1つ前の露光条件をメモ
リ19に保持しておく。これにより、遮光領域の異常が
発生した場合、感度・露光制御15はメモリ19に記憶
している1つ前の露光条件を参照し、露光条件の設定を
前の設定に戻すことにより露光量を減じることで遮光領
域の異常の発生を回避できる。
【0051】
【発明の効果】以上説明したように本発明によれば、遮
光領域の異常検出時に測光枠を異常が検出された遮光領
域近傍に設定することにより、露光量を減じることがで
き、高輝度入射を抑えることができるため遮光領域の異
常を防ぐことができる。また、遮光領域の異常検出時に
露光条件を保持することにより、本撮影時に露出オーバ
ーとならず、本撮影時に真っ白画像になる事態を回避す
ることができる。更に、遮光領域の異常検出時に露光条
件を1つ前の条件に戻すことにより、露光量を減じるこ
とができ、遮光領域の異常の発生を防止できる。
【図面の簡単な説明】
【図1】本発明の撮像装置の第1の実施形態を示すブロ
ック図である。
【図2】図1の実施形態の受光領域の測光枠設定の例を
示す図である。
【図3】図1の実施形態の受光領域の測光枠設定の例を
示す図である。
【図4】本発明の第2の実施形態の測光枠設定の例を示
す図である。
【図5】本発明の第2の実施形態の測光枠設定の例を示
す図である。
【図6】本発明の第4の実施形態を示すブロック図であ
る。
【図7】従来例の撮像装置を示すブロック図である。
【図8】図7の装置の固体撮像素子のイメージエリア及
びOB領域を示す図である。
【図9】図7の装置の動作を示すタイミングチャートで
ある。
【図10】図7の装置における測光枠の領域設定の例を
示す図である。
【図11】図7の装置における測光枠の領域設定の例を
示す図である。
【図12】図7の装置における測光枠の領域設定の例を
示す図である。
【図13】固体撮像素子のイメージ部のOB領域に接す
る部分に強烈な光が入射した様子を示す図である。
【図14】図7の装置のクランプ回路の動作を説明する
図である。
【符号の説明】
1 レンズ 2 メカニカル絞り 3 メカニカルシャッター 4 固体撮像素子 5 撮像素子駆動回路 6 CDS回路 7 AGC回路 8 クランプ回路 9 AD変換回路 10 映像処理回路 11 映像信号処理回路 12 測光回路 13 タイミングパルス発生回路 14 CPU 15 感度・露光制御部 16 露出制御回路 17 OB積分回路 18 OBレベルブロック比較部
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/335 H04N 5/335 Q // H04N 101:00 101:00 (72)発明者 近藤 健一 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 柳井 敏和 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 Fターム(参考) 2H002 BB05 BB06 DB01 DB02 DB06 DB14 DB15 DB19 DB23 DB24 DB27 DB31 DB32 FB30 FB31 FB58 FB71 HA04 HA07 JA07 2H102 AA01 AA16 AA17 AA22 AA42 AA71 AB21 5C022 AA13 AB06 AB17 AB52 AC03 AC42 AC69 5C024 BX01 CX12 GY01 GZ03 GZ38 GZ40 HX09 HX21 HX23 HX29 HX31 HX57 JX09

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 複数の画素から成る受光領域及び複数の
    画素から成り黒基準信号を作成するための上部を遮光さ
    れた遮光領域を有する撮像手段と、前記撮像手段に入射
    する光量を制御する露光制御手段と、前記遮光領域の所
    定ブロック毎に出力を積分又は平均する手段と、前記所
    定ブロック毎の積分値又は平均値と予め設定された基準
    値とを比較し、積分値又は平均値が基準値以上のブロッ
    クがあった時に遮光領域の異常を検出する手段と、前記
    検出手段により遮光領域の異常が検出された時に異常が
    検出されたブロックの位置に応じて受光領域の測光枠を
    設定する手段とを備えたことを特徴とする撮像装置。
  2. 【請求項2】 前記受光領域は複数のブロックに分割さ
    れており、前記測光枠設定手段は分割されたブロックの
    うち遮光領域の異常が検出されたブロックに近い1つ以
    上のブロックを選択することによって測光枠を設定する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 【請求項3】 前記測光枠設定手段は、異常が検出され
    たブロックの位置に応じて受光領域内の任意の範囲に測
    光枠を設定することを特徴とする請求項1に記載の撮像
    装置。
  4. 【請求項4】 前記検出手段により遮光領域の異常が検
    出された時に遮光領域の異常を報知する手段を有するこ
    とを特徴とする請求項1〜3のいずれか1項に記載の撮
    像装置。
  5. 【請求項5】 複数の画素から成る受光領域及び複数の
    画素から成り黒基準信号を作成するための上部を遮光さ
    れた遮光領域を有する撮像手段と、前記撮像手段に入射
    する光量を制御する露光制御手段と、前記遮光領域の所
    定ブロック毎に出力を積分又は平均する手段と、前記所
    定ブロック毎の積分値又は平均値と予め設定された基準
    値とを比較し、積分値又は平均値が基準値以上のブロッ
    クがあった時に遮光領域の異常を検出する手段と、前記
    検出手段により遮光領域の異常が検出された時に前記露
    光制御手段による露光条件を保持する手段とを備えたこ
    とを特徴とする撮像装置。
  6. 【請求項6】 前記検出手段で遮光領域の異常が検出さ
    れた時に遮光領域の異常を報知する手段を有することを
    特徴とする請求項5に記載の撮像装置。
  7. 【請求項7】 複数の画素から成る受光領域及び複数の
    画素から成り黒基準信号を作成するための上部を遮光さ
    れた遮光領域を有する撮像手段と、前記撮像手段に入射
    する光量を制御する露光制御手段と、前記露光制御手段
    の露光条件を記憶する手段と、前記遮光領域の所定ブロ
    ック毎に出力を積分又は平均する手段と、前記所定ブロ
    ック毎の積分値又は平均値と予め設定された基準値とを
    比較し、積分値又は平均値が基準値以上のブロックがあ
    った時に遮光領域の異常を検出する手段と、前記検出手
    段により遮光領域の異常が検出された時に前記記憶手段
    に記憶されている1つ前の露光条件を前記露光制御手段
    の露光条件として設定する手段とを備えたことを特徴と
    する撮像装置。
  8. 【請求項8】 前記検出手段で遮光領域の異常が検出さ
    れた時に遮光領域の異常を報知する手段を有することを
    特徴とする請求項7に記載の撮像装置。
JP2001283474A 2001-09-18 2001-09-18 撮像装置 Expired - Fee Related JP4672933B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001283474A JP4672933B2 (ja) 2001-09-18 2001-09-18 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001283474A JP4672933B2 (ja) 2001-09-18 2001-09-18 撮像装置

Publications (2)

Publication Number Publication Date
JP2003092705A true JP2003092705A (ja) 2003-03-28
JP4672933B2 JP4672933B2 (ja) 2011-04-20

Family

ID=19106954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001283474A Expired - Fee Related JP4672933B2 (ja) 2001-09-18 2001-09-18 撮像装置

Country Status (1)

Country Link
JP (1) JP4672933B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005064923A1 (ja) * 2003-12-26 2005-07-14 Sanyo Electric Co., Ltd. 電子カメラ
JP2006345422A (ja) * 2005-06-10 2006-12-21 Sanyo Electric Co Ltd 撮像装置及び信号処理方法
JP2007151186A (ja) * 2007-02-27 2007-06-14 Hitachi Kokusai Electric Inc 撮像装置およびその雑音低減方法
JP2007158830A (ja) * 2005-12-06 2007-06-21 Canon Inc 撮像装置及び撮像装置の制御方法
US7570289B2 (en) 2004-03-16 2009-08-04 Sanyo Electric Co., Ltd. Electronic camera having a clamp circuit and performing a clamping process on an image signal
JP2009177425A (ja) * 2008-01-23 2009-08-06 Canon Inc 撮像装置及びその制御方法及びプログラム
US8885075B2 (en) 2011-06-07 2014-11-11 Kabushiki Kaisha Toshiba Image processing device, image processing method, and solid-state imaging device
JP2021148668A (ja) * 2020-03-19 2021-09-27 株式会社リコー ステレオカメラ装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62107578A (ja) * 1985-11-05 1987-05-18 Nippon Kogaku Kk <Nikon> 電子スチルカメラ
JPH0832866A (ja) * 1994-07-18 1996-02-02 Canon Inc 自動露光制御装置
JPH09116805A (ja) * 1995-10-19 1997-05-02 Fuji Photo Film Co Ltd 自動焦点調節装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62107578A (ja) * 1985-11-05 1987-05-18 Nippon Kogaku Kk <Nikon> 電子スチルカメラ
JPH0832866A (ja) * 1994-07-18 1996-02-02 Canon Inc 自動露光制御装置
JPH09116805A (ja) * 1995-10-19 1997-05-02 Fuji Photo Film Co Ltd 自動焦点調節装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005064923A1 (ja) * 2003-12-26 2005-07-14 Sanyo Electric Co., Ltd. 電子カメラ
US7532814B2 (en) 2003-12-26 2009-05-12 Sanyo Electric Co., Ltd. Electronic camera
US7570289B2 (en) 2004-03-16 2009-08-04 Sanyo Electric Co., Ltd. Electronic camera having a clamp circuit and performing a clamping process on an image signal
JP2006345422A (ja) * 2005-06-10 2006-12-21 Sanyo Electric Co Ltd 撮像装置及び信号処理方法
JP2007158830A (ja) * 2005-12-06 2007-06-21 Canon Inc 撮像装置及び撮像装置の制御方法
JP2007151186A (ja) * 2007-02-27 2007-06-14 Hitachi Kokusai Electric Inc 撮像装置およびその雑音低減方法
JP4642036B2 (ja) * 2007-02-27 2011-03-02 株式会社日立国際電気 撮像装置およびその雑音低減方法
JP2009177425A (ja) * 2008-01-23 2009-08-06 Canon Inc 撮像装置及びその制御方法及びプログラム
US8885075B2 (en) 2011-06-07 2014-11-11 Kabushiki Kaisha Toshiba Image processing device, image processing method, and solid-state imaging device
JP2021148668A (ja) * 2020-03-19 2021-09-27 株式会社リコー ステレオカメラ装置

Also Published As

Publication number Publication date
JP4672933B2 (ja) 2011-04-20

Similar Documents

Publication Publication Date Title
US9571742B2 (en) Image capture apparatus and control method thereof
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
US20080044170A1 (en) Image Capturing System And Method Of Operating The Same
US20070139548A1 (en) Image capturing apparatus, image capturing method, and computer-readable medium storing program
US20060082675A1 (en) Method and apparatus for capturing high quality long exposure images with a digital camera
JP2010157925A (ja) 撮像装置及びその制御方法及びプログラム
US20110043674A1 (en) Photographing apparatus and method
JP2003324656A (ja) 撮像装置および方法、記録媒体、並びにプログラム
JP4385383B2 (ja) カメラ用のプログラム可能なアンチエイリアシングシステムおよび方法
US8488033B2 (en) Photographing apparatus and photographing method
JP2003092705A (ja) 撮像装置
CN105144697A (zh) 摄像装置、照相机系统以及图像处理方法
JP2007036438A (ja) 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法
JP4260003B2 (ja) 電子カメラ
JP4047000B2 (ja) 撮像装置及び撮像方法
US8259197B2 (en) Imaging device
US7881595B2 (en) Image stabilization device and method
JP5528093B2 (ja) 撮像装置および撮像方法
JP2003158673A (ja) 画像撮像装置及び方法
JP2003324748A (ja) テレビジョンカメラ
JPH07154676A (ja) カメラ
JP2011128212A (ja) 画像処理装置、方法及びプログラム
JP2011049737A (ja) 撮像装置及びその露出制御方法
JP3864409B2 (ja) 撮像装置及び撮像結果の処理方法
JPH0556331A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080916

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090324

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees