JP2001346096A - ダイナミックレンジ拡大カメラ - Google Patents

ダイナミックレンジ拡大カメラ

Info

Publication number
JP2001346096A
JP2001346096A JP2000162172A JP2000162172A JP2001346096A JP 2001346096 A JP2001346096 A JP 2001346096A JP 2000162172 A JP2000162172 A JP 2000162172A JP 2000162172 A JP2000162172 A JP 2000162172A JP 2001346096 A JP2001346096 A JP 2001346096A
Authority
JP
Japan
Prior art keywords
signal
photoelectric conversion
time exposure
time
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000162172A
Other languages
English (en)
Other versions
JP4403635B2 (ja
Inventor
Masayuki Yoneyama
匡幸 米山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000162172A priority Critical patent/JP4403635B2/ja
Publication of JP2001346096A publication Critical patent/JP2001346096A/ja
Application granted granted Critical
Publication of JP4403635B2 publication Critical patent/JP4403635B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 ダイナミックレンジ拡大を有効に達成しなが
ら、光電変換手段の小型化およびコストダウンを図る。 【解決手段】 ＣＭＯＳセンサなどの光電変換手段１０
において、通常の倍以上の駆動周波数で走査を行って時
間圧縮された長時間露光信号２１と短時間露光信号２２
を生成し、それぞれを第１の記憶手段１１と第２の記憶
手段１２に一時記憶させる。第１の記憶手段１１および
第２の記憶手段１２から通常の駆動周波数で読み出しを
行って時間伸長された長時間露光信号２３および短時間
露光信号２４を生成し、それらを信号合成手段１３にお
いて同時化しつつ合成してダイナミックレンジ拡大され
た合成映像信号２５を生成する。ダイナミックレンジ拡
大するに、通常タイプの光電変換手段１０の採用が可能
となっている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ダイナミックレン
ジ拡大の機能を有するビデオカメラなどのダイナミック
レンジ拡大カメラにかかわり、特には、小型化および画
質改善についての有効な技術に関する。
【０００２】
【従来の技術】ビデオカメラのダイナミックレンジは、
ＣＭＯＳセンサなどの光電変換手段のダイナミックレン
ジで制約を受けるという性質があり、その限りにおい
て、十分な性能を得る上での障害となっている。
【０００３】そこで、露光量の異なる映像信号を合成す
ることにより、ダイナミックレンジの高い映像信号を得
るように工夫されたダイナミックレンジ拡大カメラが提
案されている。
【０００４】図７は従来の技術におけるダイナミックレ
ンジ拡大カメラの概略的構成を示すブロック図である。
図７において、符号の４０は被写体などからの光束を入
射して光電変換により光信号を電気信号に変換するとと
もに、その変換された電気信号の出力形態としてそれぞ
れ通常の映像信号期間の１／２に時間圧縮された長時間
露光信号（ＬＯＮＧ信号）５１と短時間露光信号（ＳＨ
ＯＲＴ信号）５２とを別々かつラインごとに交互に出力
するように構成されてなる特殊な光電変換手段である。
ここで、この光電変換手段４０が特殊な構成のものであ
ることに着目しておく必要がある。４１は光電変換手段
４０から出力された１／２時間圧縮の長時間露光信号
（ＬＯＮＧ信号）５１を入力して通常の映像信号期間に
時間伸長した通常の長時間露光信号（ＬＯＮＧ信号）５
３に走査変換して出力する第１の走査変換手段、４２は
光電変換手段４０から出力された１／２時間圧縮の短時
間露光信号（ＳＨＯＲＴ信号）５２を入力して通常の映
像信号期間に時間伸長した通常の短時間露光信号（ＳＨ
ＯＲＴ信号）５４に走査変換して出力する第２の走査変
換手段、４３は第１の走査変換手段４１からの時間伸長
された通常の長時間露光信号（ＬＯＮＧ信号）５３と第
２の走査変換手段４２からの時間伸長された通常の短時
間露光信号（ＳＨＯＲＴ信号）５４とを同期をとった
（同時化した）状態で合成し、合成映像信号５５として
出力する信号合成手段である。
【０００５】図８は上記のように構成された従来の技術
におけるダイナミックレンジ拡大カメラの動作を説明す
るタイミングチャートである。図８（Ａ）は映像信号の
水平同期信号を示す。
【０００６】図８（Ｂ）は、光電変換手段４０によって
通常の映像信号期間の１／２に時間圧縮された長時間露
光信号（ＬＯＮＧ信号）５１と短時間露光信号（ＳＨＯ
ＲＴ信号）５２とがラインごとに交互に出力されている
状態を示す。時間圧縮された長時間露光信号（ＬＯＮＧ
信号）５１は第１の走査変換手段４１に入力され、時間
圧縮された短時間露光信号（ＳＨＯＲＴ信号）５２は第
２の走査変換手段４２に入力される。
【０００７】図８（Ｃ）は、入力した１／２時間圧縮の
長時間露光信号（ＬＯＮＧ信号）５１を第１の走査変換
手段４１によって走査変換することにより通常の映像信
号期間に時間伸長した通常の長時間露光信号（ＬＯＮＧ
信号）５３が生成出力され、また、入力した１／２時間
圧縮の短時間露光信号（ＳＨＯＲＴ信号）５２を第２の
走査変換手段４２によって走査変換することにより通常
の映像信号期間に時間伸長した通常の短時間露光信号
（ＳＨＯＲＴ信号）５４が生成出力され、さらに、それ
ら２つの通常の長時間露光信号（ＬＯＮＧ信号）５３と
短時間露光信号（ＳＨＯＲＴ信号）５４とが同時化され
ている状態を示す。
【０００８】前記の時間伸長され同時化された通常の映
像信号期間の長時間露光信号（ＬＯＮＧ信号）５３と短
時間露光信号（ＳＨＯＲＴ信号）５４とは同期した状態
で信号合成手段４３に入力される。信号合成手段４３
は、入力した通常の映像信号期間の長時間露光信号（Ｌ
ＯＮＧ信号）５３と短時間露光信号（ＳＨＯＲＴ信号）
５４とを合成し、合成映像信号５５として出力する。
【０００９】図９は入力信号レベルと出力信号レベルと
の相関を示している。ガンマ特性、ニー特性、ホワイト
バランスなどに関係するものである。
【００１０】図９（Ａ）は、第１の走査変換手段４１か
ら信号合成手段４３に入力される時間伸長された通常の
映像信号期間の長時間露光信号（ＬＯＮＧ信号）５３を
示す。この長時間露光信号（ＬＯＮＧ信号）５３は、入
力信号レベルが比較的に小さい範囲では出力信号レベル
は入力信号レベルにほぼ比例するが、入力信号レベルが
大きく高輝度になると出力信号レベルは飽和の領域に入
ってしまうことになる。その要因は長時間露光そのもの
にある。
【００１１】図９（Ｂ）は、第２の走査変換手段４２か
ら信号合成手段４３に入力される時間伸長された通常の
映像信号期間の短時間露光信号（ＳＨＯＲＴ信号）５４
を示す。この短時間露光信号（ＳＨＯＲＴ信号）５４
は、入力信号レベルの広い範囲にわたって出力信号レベ
ルは入力信号レベルにほぼ比例する。つまり、飽和は起
こさない。短時間露光のためである。
【００１２】図９（Ｃ）は、信号合成手段４３によって
長時間露光信号（ＬＯＮＧ信号）５３と短時間露光信号
（ＳＨＯＲＴ信号）５４とを合成した結果の合成映像信
号５５を示す。この合成映像信号５５においては、図９
（Ａ）の長時間露光信号（ＬＯＮＧ信号）５３単独のと
きの水平フラットな部分つまり飽和領域を、図９（Ｂ）
の短時間露光信号（ＳＨＯＲＴ信号）５４の勾配だけ傾
斜させることとなっており、結果として、入力信号レベ
ルが大きく高輝度になっても飽和しない出力信号レベル
を得ることができている。すなわち、ダイナミックレン
ジを広げている。
【００１３】
【発明が解決しようとする課題】上記のように構成され
た従来技術のダイナミックレンジ拡大カメラにおいて
は、次のような問題がある。
【００１４】（１）すなわち、まず、光電変換手段４０
上において長時間露光信号（ＬＯＮＧ信号）５１と短時
間露光信号（ＳＨＯＲＴ信号）５２とが同時刻でライン
ごとに交互に存在するような構成となっているので、長
時間露光信号が飽和する状態となったときには、長時間
露光信号の転送漏れ分が短時間露光信号に漏れ込み、悪
影響を与える結果、画質が低下するおそれがある。
【００１５】（２）上記の（１）の問題を回避するべく
光電変換手段の取り扱い電荷量を低減することが考えら
れるが、そうすると随伴してダイナミックレンジも狭く
なってしまい、やはり画質の低下を招く。
【００１６】（３）光電変換手段上で長時間露光信号と
短時間露光信号とをラインごとに交互となるように電荷
を走査しなければならないため、光電変換手段の回路構
成が相当に複雑なものとなる。
【００１７】（４）以上の（１）〜（３）のいずれもが
原因となって、光電変換手段自体のチップサイズが大型
化してしまい、カメラの小型化のトレンド（技術動向）
とマッチングしない。また、不必要なコストアップを招
く結果となる。
【００１８】本発明は上記した課題の解決を図るべく創
作したものであって、ダイナミックレンジ拡大を有効に
達成しながら、光電変換手段の小型化およびコストダウ
ンを図ることを目的としている。
【００１９】
【課題を解決するための手段】ダイナミックレンジ拡大
カメラについての本発明は、次のような手段を講じるこ
とにより、上記の課題を解決するものである。
【００２０】光電変換手段を通常の倍以上の駆動周波数
で駆動することにより、長時間露光信号と短時間露光信
号とを面順次に出力させるように構成する。光電変換手
段から出力される時間圧縮された長時間露光信号と短時
間露光信号のそれぞれに対応して、第１の記憶手段と第
２の記憶手段とを設ける。第１の記憶手段は一時記憶し
た時間圧縮された長時間露光信号を通常の駆動周波数で
読み出すことにより、時間伸長された長時間露光信号を
出力する。同様に、第２の記憶手段は一時記憶した時間
圧縮された短時間露光信号を通常の駆動周波数で読み出
すことにより、時間伸長された短時間露光信号を出力す
る。さらに、信号合成手段を用意し、この信号合成手段
に前記の時間圧縮された長時間露光信号と短時間露光信
号とを入力して、同期をとって（同時化して）両者を合
成することにより合成映像信号を生成する。
【００２１】以上のようにして生成された合成映像信号
は、ダイナミックレンジが拡大されたものとなるが、そ
のために必要とする光電変換手段は、従来の技術の場合
のような特殊なものではなく、通常のタイプの光電変換
手段を採用することが可能となる。
【００２２】光電変換手段において面順次に長時間露光
信号と短時間露光信号を生成するに際して、通常の倍以
上の駆動周波数で駆動することによりそのようにするの
で、長時間露光信号を生成するための長時間露光と短時
間露光信号を生成するための短時間露光とを光電変換手
段において時間をずらせて行うことが可能となってい
る。したがって、たとえ、長時間露光信号が光電変換手
段上で飽和しても、長時間露光信号の転送漏れ分が短時
間露光信号に悪影響を与え、画質を低下させるといった
不都合は生じないですむ。したがって、また、光電変換
手段における取り扱い電荷量をことさら低減するといっ
た特別の対応をとらなくてもよく、ダイナミックレンジ
の不測の減少を招かないですむ。さらに、従来技術の場
合のような複雑な構成の特殊タイプではなく通常タイプ
の光電変換手段の採用が可能であるので、光電変換手段
のチップサイズの不必要な拡大を招かないですむ。そし
て、カメラの小型化が有利となるとともに、コスト面で
も有利である。
【００２３】このように本発明によると、上記のような
すぐれた付加価値を有しながらもダイナミックレンジ拡
大を行うことができる。
【００２４】
【発明の実施の形態】以下、本発明の実施の形態を総括
的に説明する。
【００２５】本願第１の発明のダイナミックレンジ拡大
カメラは、長時間露光信号と短時間露光信号とを通常の
倍以上の駆動周波数で面順次に出力する光電変換手段
と、前記光電変換手段から出力される長時間露光信号を
一時記憶し通常の駆動周波数で読み出しを行う第１の記
憶手段と、前記光電変換手段から出力される短時間露光
信号を一時記憶し通常の駆動周波数で読み出しを行う第
２の記憶手段と、前記第１の記憶手段から読み出される
時間伸長された長時間露光信号と前記第２の記憶手段か
ら読み出される時間伸長された短時間露光信号とを同期
をとって合成し合成映像信号を出力する信号合成手段と
を備えたという構成になっている。
【００２６】この第１の発明による作用については、上
記の〔課題を解決するための手段〕の項で説明したのと
実質的に同様のものとなる。すなわち、光電変換手段上
で長時間露光信号の飽和においてその転送漏れ分が短時
間露光信号に悪影響を与えるといったことがないために
画質が改善され、簡単な構成の通常タイプの光電変換手
段を用いてダイナミックレンジ拡大を実現し、カメラの
小型化およびコストダウンを図ることが可能となる。
【００２７】本願第２の発明のダイナミックレンジ拡大
カメラは、上記の第１の発明において、前記光電変換手
段における長時間露光の終了と短時間露光の開始との間
に電荷掃き捨てを行うように構成してあるというもので
ある。
【００２８】この第２の発明によると、上記の通常タイ
プの光電変換手段でダイナミックレンジ拡大を実現する
という作用に加えて、さらに次のような作用を発揮す
る。すなわち、光電変換手段において長時間露光が終了
した直後に光電変換手段から電荷掃き捨てを行うので、
引き続いての短時間露光に対して長時間露光が悪影響を
与えることが回避される。すなわち、長時間露光信号が
たとえ飽和状態となったとしても、その転送漏れ分が短
時間露光信号に漏れ込むおそれがなく、品質の高い画質
を確保することが可能となっている。
【００２９】本願第３の発明のダイナミックレンジ拡大
カメラは、上記の第２の発明において、前記光電変換手
段における長時間露光と短時間露光とを垂直周期内で完
了し、かつ、前記光電変換手段から前記第１の記憶手段
への長時間露光信号の転送の完了後に前記光電変換手段
から前記第２の記憶手段への短時間露光信号の転送を開
始するように構成してあるというものである。
【００３０】この第３の発明によると、上記の通常タイ
プの光電変換手段でダイナミックレンジ拡大を実現する
という作用に加えて、さらに次のような作用を発揮す
る。すなわち、これは、光電変換手段において通常の倍
以上の駆動周波数で面順次走査するということに相当し
ている。そして、長時間露光信号の転送が完了して初め
て短時間露光信号の転送を開始するので、仮に飽和状態
の長時間露光信号であっても短時間露光信号には悪影響
を与えないですみ、画質改善を図ることが可能となる。
【００３１】本願第４の発明のダイナミックレンジ拡大
カメラは、上記の第１〜第３の発明において、前記光電
変換手段における垂直周期が１／６０秒であるときに、
前記長時間露光の露光時間を１／１００秒に設定してあ
ることを特徴としている。
【００３２】この第４の発明によると、上記の通常タイ
プの光電変換手段でダイナミックレンジ拡大を実現する
という作用に加えて、さらに次のような作用を発揮す
る。すなわち、一般にビデオカメラは、その垂直周期が
ＮＴＳＣ方式に準拠した１／６０秒となっている。その
ビデオカメラを関東圏の５０Ｈｚの電源地域で使用する
と、そのままでは、電源周波数の２倍の周波数すなわち
１／１００秒で点滅する蛍光灯照明のためにフリッカが
生じるおそれがある。１／６０秒と１／１００秒とでは
差分があるためである。
【００３３】ところが、この第４の発明においては、上
記のように長時間露光についての露光時間を１／１００
秒となしてあるので、蛍光灯の点滅の位相に対してカメ
ラの動作タイミングがどのようにずれても、入射され蓄
積（積分）される光量が常に一定となり、長時間露光信
号についてはフリッカの影響を排除することが可能とな
っている。
【００３４】本願第５の発明のダイナミックレンジ拡大
カメラは、上記の第１〜第４の発明において、前記光電
変換手段として通常の映像信号表示画素以上の画素数を
有するＣＭＯＳセンサを採用し、さらに、前記第１の記
憶手段から前記信号合成手段に転送される時間伸長され
た長時間露光信号から動きベクトルを検出する動きベク
トル検出手段を設け、検出した動きベクトルに基づいて
生成された補正信号に基づいて前記光電変換手段をフィ
ードバック制御して所定の画素数領域の切り出しを行っ
て手ぶれ補正するように構成してあるというものであ
る。
【００３５】この第５の発明によると、簡単な構成の通
常タイプの光電変換手段を用いてのダイナミックレンジ
拡大を行いながら、時間伸長された長時間露光信号の高
速応答性をもつ動きベクトルに基づいて確実な手ぶれ補
正をも可能となしてある。
【００３６】本願第６の発明のダイナミックレンジ拡大
カメラは、上記の第１〜第４の発明において、前記光電
変換手段として通常の映像信号表示画素以上の画素数を
有するＣＭＯＳセンサを採用し、さらに、前記第１の記
憶手段から前記信号合成手段に転送される時間伸長され
た長時間露光信号から動きベクトルを検出する動きベク
トル検出手段を設け、検出した動きベクトルに基づいて
生成された補正信号に基づいて前記第１の記憶手段およ
び第２の記憶手段をフィードバック制御して所定の画素
数領域の切り出しを行って手ぶれ補正するように構成し
てあるというものである。
【００３７】この第６の発明によると、簡単な構成の通
常タイプの光電変換手段を用いてのダイナミックレンジ
拡大を行いながら、時間伸長された長時間露光信号の高
速応答性をもつ動きベクトルに基づいて確実な手ぶれ補
正をも可能となしてある。
【００３８】本願第７の発明のダイナミックレンジ拡大
カメラは、上記の第１〜第６の発明において、前記光電
変換手段として通常の映像信号表示画素以上の画素数を
有するＣＭＯＳセンサを採用し、さらに、水平方向また
は垂直方向あるいは水平垂直両方向で所定の画素数のみ
切り出すことで手ぶれ補正を行うように構成してあると
いうものである。
【００３９】この第７の発明によると、簡単な構成の通
常タイプの光電変換手段を用いてのダイナミックレンジ
拡大を行いながら、画素余裕を利用して手ぶれ補正を確
実なものとなしてある。なお、一般にＰＡＬ方式の有効
画素数はＮＴＳＣ方式に比べて水平、垂直ともに約２０
％大きいので、その画素余裕を利用して画質劣化なしに
手ぶれ補正が行える。
【００４０】（具体的な実施の形態）以下、本発明のダ
イナミックレンジ拡大カメラの具体的な実施の形態につ
いて、図面を用いて詳細に説明する。
【００４１】（実施の形態１）図１は本発明の実施の形
態１におけるダイナミックレンジ拡大カメラの概略的構
成を示すブロック図である。図１において、符号の１０
は被写体などからの光束を入射して光電変換により光信
号を電気信号に変換するのであるが、露光形態として長
時間露光と短時間露光との２方式を交互に繰り返し、そ
れぞれ長時間露光信号２１と短時間露光信号２２を通常
の倍以上の駆動周波数で面順次に出力するように構成さ
れている通常タイプの光電変換手段である。この光電変
換手段１０が従来の技術の特殊な光電変換手段４０と違
って、通常タイプのものであるという点に留意する必要
がある。１１は光電変換手段１０から出力された通常の
倍以上のレートの長時間露光信号２１を一時記憶すると
ともに読み出しは通常の駆動周波数で行う第１の記憶手
段、１２は光電変換手段１０から出力された通常の倍以
上のレートの短時間露光信号２２を一時記憶するととも
に読み出しは通常の駆動周波数で行う第２の記憶手段、
１３は第１の記憶手段１１から通常の駆動周波数で読み
出された時間伸長された長時間露光信号２３と第２の記
憶手段１２から通常の駆動周波数で読み出された時間伸
長された短時間露光信号２４とを同期をとった（同時化
した）状態で合成し、ダイナミックレンジ拡大された１
系統の合成映像信号２５として出力する信号合成手段で
ある。
【００４２】図２は上記のように構成された本実施の形
態１におけるダイナミックレンジ拡大カメラの動作を説
明するタイミングチャートである。図２（Ａ）は映像信
号の垂直同期信号を示す。１Ｖは垂直周期を表す。
【００４３】図２（Ｂ）は、光電変換手段１０における
露光の状態を示すもので、長時間露光と短時間露光とが
それぞれ垂直周期（１Ｖ）内に１回ずつ行われる。これ
は、露光量の累積を三角形で示している。長時間露光の
勾配と短時間露光の勾配とは互いに等しくなっている。
長時間露光の方は露光時間が長いため、三角形の高さも
大きくなっている。
【００４４】図２（Ｃ）は、光電変換手段１０に蓄積さ
れた電荷の読み出しタイミングを示している。すなわ
ち、タイミングＴ１において長時間露光の電荷読み出し
を行い、タイミングＴ２において短時間露光の電荷読み
出しを行う。なお、ここで、長時間露光の時間が垂直周
期（１Ｖ）の１／２以上となるようにＴ１を設定してお
く。
【００４５】図２（Ｄ）は、光電変換手段１０から面順
次で出力された時間圧縮された長時間露光信号２１と短
時間露光信号２２のタイミングを示している。すなわ
ち、長時間露光の電荷の読み出しタイミングＴ１から長
時間露光信号２１の出力が行われ、また、短時間露光の
電荷読み出しタイミングＴ２から短時間露光信号２２の
出力が行われる。このとき、光電変換手段１０を通常の
倍以上の駆動周波数で動作させるので、図示のように、
長時間露光信号２１および短時間露光信号２２はとも
に、その出力期間が垂直周期（１Ｖ）の１／２以下に時
間圧縮される。
【００４６】光電変換手段１０からの短時間露光の電荷
読み出しタイミングＴ２は、このタイミングＴ２よりも
前に、図２（Ｄ）における光電変換手段１０からの長時
間露光信号２１の読み出しが完了しているように、タイ
ミングＴ２を定めてある。
【００４７】長時間露光の電荷の読み出しタイミングＴ
１を時刻ａとし、短時間露光の開始を時刻ｂとし、長時
間露光信号２１の第１の記憶手段１１への転送終了を時
刻ｃとし、短時間露光信号２４の第２の記憶手段１２へ
の転送開始を時刻ｄとする。長時間露光信号２１の転送
開始は時刻ａであり、長時間露光信号２１の転送終了の
時刻ｃより前に短時間露光の開始時刻ｂが設定されてい
る。短時間露光信号２４の転送開始の時刻ｄは読み出し
タイミングＴ２であるが、この時刻ｄよりも前に長時間
露光信号２１の転送終了の時刻ｃがくるように設定され
ている。
【００４８】また、短時間露光信号２２の出力が完了す
る前に、次の長時間露光が開始されているが、長時間露
光の電荷蓄積が低レベルの間に短時間露光信号２２の出
力が完了しておれば、特に不都合はない。
【００４９】光電変換手段１０から出力された時間圧縮
された長時間露光信号２１は第１の記憶手段１１に一時
記憶され、また、時間圧縮された短時間露光信号２２は
第２の記憶手段１２に一時記憶される。
【００５０】図２（Ｅ）に示すように、第１の記憶手段
１１に記憶されている長時間露光信号２１および第２の
記憶手段１２に記憶されている短時間露光信号２２のそ
れぞれは、次の垂直周期（１Ｖ）の期間において、通常
の駆動周波数で読み出され、通常の時間軸のもとで伸長
される。このとき、時間伸長された長時間露光信号２３
の読み出しと時間伸長された短時間露光信号２４の読み
出しとは同時化されている。通常時間軸に伸長された長
時間露光信号２３と短時間露光信号２４とは同期の状態
で信号合成手段１３に入力される。そして、信号合成手
段１３は、入力した長時間露光信号２３と短時間露光信
号２４とを同時化の状態で合成し、図２（Ｆ）に示すよ
うに合成映像信号２５を生成して出力する。この長時間
露光信号２３と短時間露光信号２４との合成および合成
映像信号２５の出力は、次の短時間露光が終了する時ま
で、あるいは次の長時間露光が始まる時までに完了する
ことになる。
【００５１】以上により、従来の技術の図９で説明した
のと同様の理由により、ダイナミックレンジが拡大され
た１系統の合成映像信号２５が生成出力されることにな
る。採用している光電変換手段１０は通常の光電変換手
段であるので、従来技術のような特殊な光電変換手段を
使用せずに、良好な信号出力特性を有する状態でダイナ
ミックレンジを拡大することができる。
【００５２】（実施の形態２）本発明の実施の形態２
は、蛍光灯照明下でのフリッカ（ちらつき）防止にかか
わるものである。
【００５３】図３に示すように、長時間露光にかかわる
露光時間を１／１００秒となしてある。垂直周期（１
Ｖ）は１／６０秒である。
【００５４】なお、Ｔ３は光電変換手段１０における長
時間露光の電荷読み出しのタイミングであるが、このタ
イミングＴ３から所定の期間αにわたって、光電変換手
段１０から電荷掃き捨てを行うこととしている。そし
て、タイミングＴ４からタイミングＴ５にかけて短時間
露光を行うこととしている。
【００５５】一般のビデオカメラは、その垂直周期（１
Ｖ）がＮＴＳＣ方式に準拠した１／６０秒となってい
る。そのビデオカメラを関東圏の５０Ｈｚの電源地域で
使用すると、そのままでは、電源周波数の２倍の周波数
すなわち１／１００秒で点滅する蛍光灯照明のためにフ
リッカが生じるおそれがある。
【００５６】ところが、本実施の形態１のダイナミック
レンジ拡大カメラにおいては、上記のように長時間露光
についての露光時間を１／１００秒となしてあるので、
蛍光灯の点滅の位相に対してカメラの動作タイミングが
どのようにずれても、入射され蓄積される光量が常に一
定となり、長時間露光信号２１についてはフリッカの影
響を排除することができる。
【００５７】また、電荷掃き捨てを行うことにより、引
き続いての短時間露光に対して長時間露光が悪影響を与
えることが回避される。すなわち、長時間露光信号がた
とえ飽和状態となったとしても、その転送漏れ分が短時
間露光信号に漏れ込むおそれがなく、品質の高い画質を
確保することが可能となっている。
【００５８】もちろん、実施の形態１の場合と同様に、
従来技術のような特殊な光電変換手段を使用せずに、良
好な信号出力特性を有する状態でダイナミックレンジを
拡大することができるという効果も発揮する。
【００５９】（実施の形態３）実施の形態３は、ＣＭＯ
Ｓセンサにおける手ぶれ補正をも考慮したより高次のダ
イナミックレンジ拡大カメラについてのものである。こ
こでは、動きベクトルの検出をもって光電変換手段その
ものを制御することを通じて、手ぶれ補正を行うように
構成してある。
【００６０】図４は本発明の実施の形態３のダイナミッ
クレンジ拡大カメラの構成を示すブロック図である。符
号の１０〜１３については既述のとおりであるので説明
を省略するが、新たな要素として、符号の１４は第１の
記憶手段１１から読み出される通常時間軸に伸長された
長時間露光信号２３を入力して、動きベクトルを検出す
る動きベクトル検出回路である。動きベクトルを短時間
露光信号２４から検出するよりも、長時間露光信号２３
から検出した方が応答性が高い。この動きベクトル検出
回路１４は、検出した動きベクトルに基づいて補正信号
Ｓｃを生成し、この補正信号Ｓｃを光電変換手段１０に
与えることにより、光電変換手段１０の垂直駆動や水平
駆動の制御を行って手ぶれ補正を行うように構成してあ
る。すなわち、検出した動きベクトルを打ち消すような
ネガティブフィードバック制御を行うことにより、手ぶ
れ補正を行うこととしている。
【００６１】もちろん、実施の形態１の場合と同様に、
従来技術のような特殊な光電変換手段を使用せずに、良
好な信号出力特性を有する状態でダイナミックレンジを
拡大することができるという効果も発揮する。
【００６２】（実施の形態４）ＣＭＯＳセンサにおける
手ぶれ補正をも考慮したより高次のダイナミックレンジ
拡大カメラについての別の形態が本実施の形態４であ
る。ここでは、動きベクトルの検出をもって第１および
第２の記憶手段を制御することを通じて、手ぶれ補正を
行うように構成してある。
【００６３】図５は本発明の実施の形態４のダイナミッ
クレンジ拡大カメラの構成を示すブロック図である。符
号の１０〜１３については既述のとおりであるので説明
を省略するが、新たな要素として、符号の１４は上記の
実施の形態３と同様の第１の記憶手段１１から読み出さ
れる通常時間軸に伸長された長時間露光信号２３を入力
して、動きベクトルを検出する動きベクトル検出回路で
ある。この動きベクトル検出回路１４は、検出した動き
ベクトルに基づいて補正信号Ｓｃを生成し、この補正信
号Ｓｃを第１の記憶手段１１と第２の記憶手段１２とに
共通に与えることにより、各記憶手段１１，１２の読み
出しアドレスの制御を行って手ぶれ補正を行うように構
成してある。すなわち、検出した動きベクトルを打ち消
すようなネガティブフィードバック制御を行うことによ
り、手ぶれ補正を行うこととしている。
【００６４】もちろん、実施の形態１の場合と同様に、
従来技術のような特殊な光電変換手段を使用せずに、良
好な信号出力特性を有する状態でダイナミックレンジを
拡大することができるという効果も発揮する。
【００６５】（実施の形態５）実施の形態５は、ＣＭＯ
Ｓセンサの画素余裕を利用して手ぶれ補正を行うように
構成したものである。
【００６６】光電変換手段１０として水平方向または垂
直方向あるいは水平垂直両方向において通常の映像信号
表示画素以上の画素数を有するＣＭＯＳセンサを使用
し、水平画素または垂直画素あるいは水平垂直双方の所
定の画素数のみ切り出して出力されるように構成すると
よい。
【００６７】図６（Ａ）は、光電変換手段１０として垂
直方向に画素余裕を有するＣＭＯＳセンサを使用した場
合の光電変換領域Ａ１と信号出力領域Ａ２を示す。光電
変換領域Ａ１は信号出力領域Ａ２よりも上下方向でサイ
ズが大きくなっており、その分、画素余裕がある。その
画素余裕の範囲内でウインドウを上下方向に動かして手
ぶれ補正を行う。
【００６８】図６（Ｂ）は、光電変換手段１０として水
平垂直両方向に画素余裕を有するＣＭＯＳセンサを使用
した場合の光電変換領域Ａ１と信号出力領域Ａ２を示
す。光電変換領域Ａ１は信号出力領域Ａ２よりも上下方
向および左右方向でサイズが大きくなっており、その
分、画素余裕がある。その画素余裕の範囲内でウインド
ウを上下左右方向に動かして手ぶれ補正を行う。
【００６９】もちろん、実施の形態１の場合と同様に、
従来技術のような特殊な光電変換手段を使用せずに、良
好な信号出力特性を有する状態でダイナミックレンジを
拡大することができるという効果も発揮する。
【００７０】なお、ＣＭＯＳセンサにおいて手ぶれ補正
を行うと、過剰な駆動周波数の上昇を回避しつつ、ダイ
ナミックレンジ拡大が可能となる。
【００７１】
【発明の効果】ダイナミックレンジ拡大カメラについて
の本発明によれば、光電変換手段において面順次に長時
間露光信号と短時間露光信号を生成するに際して、通常
の倍以上の駆動周波数で駆動することで実現するので、
光電変換手段において時間をずらせて長時間露光と短時
間露光を行うことが可能であり、たとえ、長時間露光信
号が光電変換手段上で飽和しても、長時間露光信号の転
送漏れ分が短時間露光信号に悪影響を与えて画質を低下
させるといった不都合は生じないですむ。したがって、
また、光電変換手段における取り扱い電荷量をことさら
低減するといった特別の対応をとらなくてもよく、ダイ
ナミックレンジの不測の減少を招かないですむ。さら
に、従来技術の場合のような複雑な構成の特殊タイプで
はなく通常タイプの光電変換手段の採用が可能であるの
で、光電変換手段のチップサイズの不必要な拡大を招か
ないですみ、カメラの小型化およびコスト面が有利なも
のとなる。つまりは、上記のようなすぐれた付加価値を
有しながらもダイナミックレンジ拡大を実現することが
できる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１におけるダイナミック
レンジ拡大カメラの概略的構成を示すブロック図
【図２】 本発明の実施の形態１におけるダイナミック
レンジ拡大カメラの動作を説明するタイミングチャート
【図３】 本発明の実施の形態２のダイナミックレンジ
拡大カメラのタイミングチャート
【図４】 本発明の実施の形態３におけるダイナミック
レンジ拡大カメラの概略的構成を示すブロック図
【図５】 本発明の実施の形態４におけるダイナミック
レンジ拡大カメラの概略的構成を示すブロック図
【図６】 本発明の実施の形態５のダイナミックレンジ
拡大カメラにおける光電変換手段としてＣＭＯＳセンサ
を採用する場合の画素読み出し範囲を示す概念図
【図７】 従来の技術におけるダイナミックレンジ拡大
カメラの概略的構成を示すブロック図
【図８】 従来の技術におけるダイナミックレンジ拡大
カメラの動作を説明するタイミングチャート
【図９】 ダイナミックレンジ拡大カメラにおける入力
信号レベルと出力信号レベルとの相関を示す特性図
【符号の説明】 １０…光電変換手段 １１…第１の記憶手段 １２…第２の記憶手段 １３…信号合成手段 １４…動きベクトル検出手段 ２１…時間圧縮された長時間露光信号 ２２…時間圧縮された短時間露光信号 ２３…時間伸長された長時間露光信号 ２４…時間伸長された短時間露光信号 ２５…ダイナミックレンジ拡大された合成映像信号 Ｓｃ…補正信号 Ａ１…光電変換領域 Ａ２…信号出力領域

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 長時間露光信号と短時間露光信号とを通
    常の倍以上の駆動周波数で面順次に出力する光電変換手
    段と、前記光電変換手段から出力される長時間露光信号
    を一時記憶し通常の駆動周波数で読み出しを行う第１の
    記憶手段と、前記光電変換手段から出力される短時間露
    光信号を一時記憶し通常の駆動周波数で読み出しを行う
    第２の記憶手段と、前記第１の記憶手段から読み出され
    る時間伸長された長時間露光信号と前記第２の記憶手段
    から読み出される時間伸長された短時間露光信号とを同
    期をとって合成し合成映像信号を出力する信号合成手段
    とを備えていることを特徴とするダイナミックレンジ拡
    大カメラ。
  2. 【請求項２】 前記光電変換手段における長時間露光の
    終了と短時間露光の開始との間に電荷掃き捨てを行うよ
    うに構成してあることを特徴とする請求項１に記載のダ
    イナミックレンジ拡大カメラ。
  3. 【請求項３】 前記光電変換手段における長時間露光と
    短時間露光とを垂直周期内で完了し、かつ、前記光電変
    換手段から前記第１の記憶手段への長時間露光信号の転
    送の完了後に前記光電変換手段から前記第２の記憶手段
    への短時間露光信号の転送を開始するように構成してあ
    ることを特徴とする請求項２に記載のダイナミックレン
    ジ拡大カメラ。
  4. 【請求項４】 前記光電変換手段における垂直周期が１
    ／６０秒であるときに、前記長時間露光の露光時間を１
    ／１００秒に設定してあることを特徴とする請求項１か
    ら請求項３までのいずれかに記載のダイナミックレンジ
    拡大カメラ。
  5. 【請求項５】 前記光電変換手段として通常の映像信号
    表示画素以上の画素数を有するＣＭＯＳセンサを採用
    し、さらに、前記第１の記憶手段から前記信号合成手段
    に転送される時間伸長された長時間露光信号から動きベ
    クトルを検出する動きベクトル検出手段を設け、検出し
    た動きベクトルに基づいて生成された補正信号に基づい
    て前記光電変換手段をフィードバック制御して所定の画
    素数領域の切り出しを行って手ぶれ補正するように構成
    してあることを特徴とする請求項１から請求項４までの
    いずれかに記載のダイナミックレンジ拡大カメラ。
  6. 【請求項６】 前記光電変換手段として通常の映像信号
    表示画素以上の画素数を有するＣＭＯＳセンサを採用
    し、さらに、前記第１の記憶手段から前記信号合成手段
    に転送される時間伸長された長時間露光信号から動きベ
    クトルを検出する動きベクトル検出手段を設け、検出し
    た動きベクトルに基づいて生成された補正信号に基づい
    て前記第１の記憶手段および第２の記憶手段をフィード
    バック制御して所定の画素数領域の切り出しを行って手
    ぶれ補正するように構成してあることを特徴とする請求
    項１から請求項４までのいずれかに記載のダイナミック
    レンジ拡大カメラ。
  7. 【請求項７】 前記光電変換手段として通常の映像信号
    表示画素以上の画素数を有するＣＭＯＳセンサを採用
    し、さらに、水平方向または垂直方向あるいは水平垂直
    両方向で所定の画素数のみ切り出すことで手ぶれ補正を
    行うように構成してあることを特徴とする請求項１から
    請求項６までのいずれかに記載のダイナミックレンジ拡
    大カメラ。
JP2000162172A 2000-05-31 2000-05-31 ダイナミックレンジ拡大カメラ Expired - Fee Related JP4403635B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000162172A JP4403635B2 (ja) 2000-05-31 2000-05-31 ダイナミックレンジ拡大カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000162172A JP4403635B2 (ja) 2000-05-31 2000-05-31 ダイナミックレンジ拡大カメラ

Publications (2)

Publication Number Publication Date
JP2001346096A true JP2001346096A (ja) 2001-12-14
JP4403635B2 JP4403635B2 (ja) 2010-01-27

Family

ID=18666104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000162172A Expired - Fee Related JP4403635B2 (ja) 2000-05-31 2000-05-31 ダイナミックレンジ拡大カメラ

Country Status (1)

Country Link
JP (1) JP4403635B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1339227A2 (en) * 2002-02-25 2003-08-27 Kabushiki Kaisha Toshiba Image pickup apparatus
JP2003274278A (ja) * 2002-03-15 2003-09-26 Hitachi Kokusai Electric Inc テレビジョンカメラ
WO2004110057A1 (ja) * 2003-06-02 2004-12-16 Shoji Kawahito 広ダイナミックレンジイメージセンサ
JP2006014117A (ja) * 2004-06-29 2006-01-12 Sony Corp 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP2007221423A (ja) * 2006-02-16 2007-08-30 Matsushita Electric Ind Co Ltd 撮像装置
JP2007221757A (ja) * 2006-01-23 2007-08-30 Seiko Epson Corp 撮像素子、撮像装置、撮像方法、撮像システム及び画像処理装置
WO2007119680A1 (ja) * 2006-04-11 2007-10-25 Panasonic Corporation 撮像装置
US7379094B2 (en) 2002-04-18 2008-05-27 Olympus Corporation Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range
US7528876B2 (en) 2003-03-18 2009-05-05 Thomson Licensing Image sensing device, process for driving such a device and electrical signal generated in such a device
JP2010193524A (ja) * 2010-05-26 2010-09-02 Sony Corp 固体撮像装置および固体撮像装置の駆動方法
JP2011211620A (ja) * 2010-03-30 2011-10-20 Olympus Imaging Corp 撮像装置、撮像システム、撮像方法
US8189086B2 (en) 2007-07-20 2012-05-29 Canon Kabushiki Kaisha Image sensing apparatus and image capturing system that performs a thinning-out readout
WO2013084605A1 (ja) * 2011-12-08 2013-06-13 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
FR2996957A1 (fr) * 2012-10-12 2014-04-18 St Microelectronics Grenoble 2 Procede de lecture d'un pixel
KR20180128823A (ko) 2016-03-31 2018-12-04 소니 주식회사 고체 촬상 소자, 고체 촬상 소자의 구동 방법, 및, 전자 기기
US10158809B2 (en) * 2014-09-17 2018-12-18 Sony Semiconductor Solutions Corporation Image capturing device, image sensor, and method of controlling image capturing device
US11064129B2 (en) 2016-05-16 2021-07-13 Sony Corporation Image processing apparatus, image processing method, imaging apparatus, and program
US11128823B2 (en) 2016-03-31 2021-09-21 Sony Corporation Imaging apparatus, driving method, and electronic device
JP2021184591A (ja) * 2020-04-22 2021-12-02 アクシス アーベー 高ダイナミックレンジ画像の電子画像安定化を実施するための方法、デバイス、カメラ、およびソフトウェア

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1339227A3 (en) * 2002-02-25 2004-03-10 Kabushiki Kaisha Toshiba Image pickup apparatus
EP1339227A2 (en) * 2002-02-25 2003-08-27 Kabushiki Kaisha Toshiba Image pickup apparatus
JP2003274278A (ja) * 2002-03-15 2003-09-26 Hitachi Kokusai Electric Inc テレビジョンカメラ
US7379094B2 (en) 2002-04-18 2008-05-27 Olympus Corporation Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range
US7528876B2 (en) 2003-03-18 2009-05-05 Thomson Licensing Image sensing device, process for driving such a device and electrical signal generated in such a device
WO2004110057A1 (ja) * 2003-06-02 2004-12-16 Shoji Kawahito 広ダイナミックレンジイメージセンサ
US7889253B2 (en) 2003-06-02 2011-02-15 National University Corporation Shizuoka University Wide dynamic range image sensor
JP2006014117A (ja) * 2004-06-29 2006-01-12 Sony Corp 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP2007221757A (ja) * 2006-01-23 2007-08-30 Seiko Epson Corp 撮像素子、撮像装置、撮像方法、撮像システム及び画像処理装置
JP4638361B2 (ja) * 2006-02-16 2011-02-23 パナソニック株式会社 撮像装置
JP2007221423A (ja) * 2006-02-16 2007-08-30 Matsushita Electric Ind Co Ltd 撮像装置
WO2007119680A1 (ja) * 2006-04-11 2007-10-25 Panasonic Corporation 撮像装置
US8189086B2 (en) 2007-07-20 2012-05-29 Canon Kabushiki Kaisha Image sensing apparatus and image capturing system that performs a thinning-out readout
JP2011211620A (ja) * 2010-03-30 2011-10-20 Olympus Imaging Corp 撮像装置、撮像システム、撮像方法
JP2010193524A (ja) * 2010-05-26 2010-09-02 Sony Corp 固体撮像装置および固体撮像装置の駆動方法
CN103975578A (zh) * 2011-12-08 2014-08-06 索尼公司 图像处理设备、图像处理方法以及程序
WO2013084605A1 (ja) * 2011-12-08 2013-06-13 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9148604B2 (en) 2012-10-12 2015-09-29 Stmicroelectronics (Grenoble 2) Sas Pixel read method
FR2996957A1 (fr) * 2012-10-12 2014-04-18 St Microelectronics Grenoble 2 Procede de lecture d'un pixel
US10158809B2 (en) * 2014-09-17 2018-12-18 Sony Semiconductor Solutions Corporation Image capturing device, image sensor, and method of controlling image capturing device
KR20180128823A (ko) 2016-03-31 2018-12-04 소니 주식회사 고체 촬상 소자, 고체 촬상 소자의 구동 방법, 및, 전자 기기
US10498984B2 (en) 2016-03-31 2019-12-03 Sony Corporation Solid-state image pickup device, method of driving the same, and electronic apparatus
US11128823B2 (en) 2016-03-31 2021-09-21 Sony Corporation Imaging apparatus, driving method, and electronic device
US11818487B2 (en) 2016-03-31 2023-11-14 Sony Group Corporation Imaging apparatus, driving method, and electronic device
US11064129B2 (en) 2016-05-16 2021-07-13 Sony Corporation Image processing apparatus, image processing method, imaging apparatus, and program
JP2021184591A (ja) * 2020-04-22 2021-12-02 アクシス アーベー 高ダイナミックレンジ画像の電子画像安定化を実施するための方法、デバイス、カメラ、およびソフトウェア
JP7169388B2 (ja) 2020-04-22 2022-11-10 アクシス アーベー 高ダイナミックレンジ画像の電子画像安定化を実施するための方法、デバイス、カメラ、およびソフトウェア

Also Published As

Publication number Publication date
JP4403635B2 (ja) 2010-01-27

Similar Documents

Publication Publication Date Title
JP4403635B2 (ja) ダイナミックレンジ拡大カメラ
JP3877565B2 (ja) 撮像装置
JP3110797B2 (ja) 撮像方法及び撮像画面合成装置
JPH10243288A (ja) 撮像方法及び撮像装置
US6587149B1 (en) Video camera with progressive scanning and dynamic range enlarging modes
JP2001086391A (ja) 撮像装置
JP2007097033A (ja) 撮像装置及びそのプログラム
JP2002084449A (ja) 固体撮像素子を用いた撮像装置
JPH08154201A (ja) 画像合成方法と画像合成装置
BRPI1104778A2 (pt) unidade de processamento de sinal, e, sistema de processamento de sinal de imagem
JP2000224604A (ja) 画像処理装置
JP2015053643A (ja) 撮像装置
JPH0278382A (ja) 撮像装置
JPH09326963A (ja) 撮像装置
JPH06268898A (ja) 固体撮像素子を用いた撮像装置
JP2003189193A (ja) 撮像装置
JP2000299810A (ja) 撮像装置
JP2002027328A (ja) 固体撮像素子の駆動方法および固体撮像装置
JP2970092B2 (ja) ビデオカメラ
JP2001061106A (ja) 撮像装置
JP4133878B2 (ja) デジタルカメラ及び画像信号生成方法
JPH09214829A (ja) デジタルスチルカメラ
JP2000295537A (ja) 固体撮像装置
JP2022120682A (ja) 撮像装置及びその制御方法
JPH02231873A (ja) ビデオカメラ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees