JP2003507911A - ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法 - Google Patents

ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法

Info

Publication number
JP2003507911A
JP2003507911A JP2001517211A JP2001517211A JP2003507911A JP 2003507911 A JP2003507911 A JP 2003507911A JP 2001517211 A JP2001517211 A JP 2001517211A JP 2001517211 A JP2001517211 A JP 2001517211A JP 2003507911 A JP2003507911 A JP 2003507911A
Authority
JP
Japan
Prior art keywords
video
field
video signal
fields
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001517211A
Other languages
English (en)
Other versions
JP2003507911A5 (ja
JP4130737B2 (ja
Inventor
クロフォード，ジョン
ザラー，ハーバート・エイ
皓一郎 堀
Original Assignee
アプライド・ビジョン・システムズ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アプライド・ビジョン・システムズ・インコーポレーテッド filed Critical アプライド・ビジョン・システムズ・インコーポレーテッド
Publication of JP2003507911A publication Critical patent/JP2003507911A/ja
Publication of JP2003507911A5 publication Critical patent/JP2003507911A5/ja
Application granted granted Critical
Publication of JP4130737B2 publication Critical patent/JP4130737B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19634—Electrical details of the system, e.g. component blocks for carrying out specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 本願発明は、(1)捕らえられたイメージ(4)を表す光学的イメージ映像データを含む連続映像フィールド又はフレーム(4a,4b)からなるビデオ信号を生成し、複数の第一の映像フィールド又はフレーム(4d)が第一の露出レベルでの光学的イメージを表し、複数の第二の映像フィールド又はフレーム(4c)が第二の露出レベルでの光学的イメージを表し、前記第一の映像フィールド又はフレームが前記第二の映像フィールド又はフレームの間に点在していること、及び(2)前記ビデオ信号を利用して、(a)前記第一の映像フィールド又はフレーム(4a)で表されるイメージ又は前記第二の映像フィールド又はフレーム(4b)で表されるイメージのディスプレイ(7)を生成し、又は(b)前記第一の映像フィールド又はフレームで表されるイメージ及び前記第二の映像フィールド又はフレームで表されるイメージの第一のディスプレイを同時に生成することによって、ビデオイメージを捕らえて表示する。

Description

【発明の詳細な説明】
【０００１】
【関連出願に関する引用】
本出願は、１９９９年８月１７日に提出された、米国仮特許出願第６０/１４
９，２３７号（弁理士整理番号Ｅ３ＬＰ−０１Ｐ）の利益を主張する。
【０００２】
【発明の属する技術分野】
本発明は、映像信号の連続的なストリームを生成し、記憶するビデオシステム
のダイナミックレンジを改善するものに関するものであり、特に、もっぱら監視
と監察とを遠方で可視化するために意図されていなく、もっぱら安全を得るため
に記憶しないビデオカメラシステムに関するものである。
【０００３】
【発明の背景と従来の技術】
シーン（scene）を記憶することが手当てされていないビデオカメラの用途は
、よく知られている。セキュリティーアプリケーションにおいては、例えば、い
くつかのビデオカメラが、各カメラからの短い周期の映像を定期的に記憶する記
憶システムに、接続される。一般的に、これらのカメラは、自動露出モードで働
くように設計され、自動露出モードでは、周囲の明暗条件にマッチするように、
電子シャッターと呼ばれるデバイスが各映像フレームの積分時間を変化さる。一
般的に、これらのカメラは、一つの映像フレームを生成するために組み合わされ
た二つの映像フィールドを含む標準的な映像信号に関し、一つの連続的なストリ
ームを生成する。例えば、標準的な米国のシステムであるＮＴＳＣ又はＲＳ−１
７０ ｖｉｄｅｏは、最初のセットから1/60 sec.後にスタートしている２番目の
セットとともに、別のフィールド中の２６２．５の映像ラインと組み合わされた
、一つのフィールド中に２６２．５の映像ラインを持つ。これらの信号を用いる
ビデオモニタ又はレコーダは、これらのフィールドを交互に組み合わせて、テレ
ビで可視化するための映像のフルフレームを生成する。さらに、プログレッシブ
・スキャン・システム（progressive scan systems）と呼ばれる他のビデオカメ
ラシステムも存在する。これらの最新のシステムでは、映像のフルフレームが、
一般的な1/60 sec.毎の組み合わせ（インターレース）を伴わずに生成される。
【０００４】 これらのシステムでは、映像信号は電圧によって表される。各フィールド又は
フレームには、ビデオシステムが信号に変換できる最大光量に相当する最大電圧
と、ビデオシステムが確かに表すことができる最小光量に相当する最小電圧とが
ある。カメラで可視化するある特定のシーンでは、そのシーンのイメージが、最
大電圧値と最小電圧値との間の範囲内にある電圧を用いて、そのシーンを表す映
像信号電圧に変換される。ある一般的なシーンとある特別な自動露出とに対して
は、そのシーンの一部分が暗くなり過ぎて使用に適した情報を含まなかったり、
他の一部分が明る過ぎて使用に適さなかったりする。監視システムでは、例えば
、これは、非常に重要なイメージの部分が明るすぎたり又は暗すぎたりして可視
化できないという状態に帰着することができる。
【０００５】 前述の問題を解決するために、従来の一つのアプローチは、二重露出結合ビデ
オカメラを使用する必要がする。二重露出結合ビデオカメラは、商業的に利用す
ることができるが、標準的な一重露出ビデオカメラの様に、一般的ではない。二
重露出結合ビデオカメラシステムは、各フィールド又はフレームの時間フレーム
内で、電子シャッターにより光学上同一のイメージに関して二つの異なる露出を
生成するカメラと、両方の露出を結合して一つの出力フィールド又はフレームに
する手段とを備える。これは、二つの異なる露出の親イメージから生成される一
つのイメージに帰着し、この一つのイメージは、シーンの照度値が広範囲に及ぶ
が、一つの映像フレームの電圧制限内に圧縮される。
【０００６】 図１に、この従来技術のアプローチが図示され、二重露出カメラＰ１が窓台の
上の花瓶を可視化している一方、鳥が外を飛んでいる。そのカメラＰ１は、Ｐ４
ａで表される長い周期の露出と、Ｐ４ｂで表される短い周期の露出とからなる２
重の露出を行い、各露出は一つの映像フィールド（インターレースド・スキャン
）又はフレーム（プログレッシブ・スキャン）の時間フレーム内で行われ、これ
ら二つの異なる露出に相当する映像信号を予めプログラムされたアルゴリズムに
従い処理装置Ｐ３で結合する。この結合演算処理後のイメージはＰ４ｃで表され
る。結合後のイメージＰ４ｃでは、鳥と花瓶との両方を可視化することができる
。しかしながら、プロセスを結合するこのイメージは、シーンの照度値が広範囲
に及ぶので、一方又は他方の親イメージに含まれる様々な情報を省略する得られ
たイメージからコントラストの減少を犠牲にしてしまう。この省略された情報は
、最終的なイメージに対して重要でないと強く信じられている。しかしながら、
このような判断は、常に、適切であり又は受け入れられるものでなく、特に、ビ
デオ監視装置においてはそうである。さらに、この様に生成されたイメージが記
憶されると、このダイナミックレンジの改善の大部分が、後のプロセスにおいて
制限される。これは、信号を結合することによって形成されて生成されたイメー
ジから得ることのできる情報が、もはやオリジナルの画像にある完全な情報を含
んでいないからである。
【０００７】
【発明の目的と発明の概要】
本願発明の第一の目的は、物又は景色を可視化して、可視化した景色又は物を
表す映像フィールド又はフレームを定義する映像信号の連続的なストリームを生
成するビデオシステムのダイナミックレンジを改善する方法と装置を提供するこ
とである。
【０００８】 本願発明の他の目的は、少なくとも二つの異なる露出レベルを表す映像データ
を用いて、映像フィールド又はフレームのシークエンスを定義する映像信号のス
トリームを生成する様なカメラで景色又は物を可視化して記憶し、記憶されたイ
メージからゆらぎのないディスプレイを生成するために、映像信号のストリーム
を処理するビデオシステムを提供することである。
【０００９】 本願発明のさらなる目的は、第一の露出レベルを表すデータを含む映像フィー
ルド又はフレームの少なくともいくつかと、第二の大きい又は小さい露出レベル
を表すデータを含む前記フィールド又はフレームの他のものとを用いて、選択さ
れた光学的イメージに関し、映像フィールド又はフレームのシークエンスを表す
連続する映像信号を生成し、選択された光学的イメージからゆらぎのないディス
プレイを生成するために、連続する映像信号を利用するする方法と装置を提供す
ることである。
【００１０】 上述の目的と、以下に述べる記述から明らかに与えられる他の目的とは、異な
る露出を用いて連続する映像フィールド又はフレームを生成し、それらをマージ
して一つの連続映像信号を得て、各連続するフィールド又はフレームを独立して
記憶することによって実行される。より特別に、これは、光学的イメージを捕ら
える電子シャッターを用いるビデオカメラ提供し、第一の露出レベルを表す複数
の第一の映像フィールド又はフレームと第一の露出レベルとは異なる第二の露出
レベルを表す複数の第二の映像フィールド又はフレームとを用いて、前記第一の
フィールド又はフレームが前記第二のフィールド又はフレームの中に点在するよ
うに、光学的イメージを表す連続する映像フィールド又はフレームからなる映像
信号の出力をそのカメラが生成する様に、そのシャッターの操作をコントロール
することによって実行される。このような映像信号の出力は、ある特定のセット
又は組み合わせの露出をマッチする映像データのビデオ・ディスプレイを生成す
るために利用される。個々のビデオ・ディスプレイを提供するために、前記第一
又は第二のフィールド又はフレームを表す光学的イメージからなる映像信号の出
力を使用すること及びさらに先の光学的イメージを得ることに加えて又は代わり
に、本願発明は、前記第一又は第二の映像フィールド又はフレームを表す光学的
イメージデータからなるビデオ・ディスプレイを生成することにさらに利用する
ために、カメラから映像信号の出力を記憶することを規定する。換言すれば、そ
のディスプレイは、記憶中又は記憶後に生成されてもよい。図１に示す二重露出
ビデオカメラの映像信号の出力と比較すると、異なる露出レベルに関して第一と
第二の複数の映像フィールド又はフレームからなる、記憶された本願発明の映像
信号は、信号値の有効範囲が広く、シーン照度のガモットが広く、ダイナミック
レンジが高い。異なる露出の数をカメラとビデオ・レコーダーに適合することに
より、カメラのビデオ・センサーから得られる全ダイナミックレンジを維持する
ことができる。加えて、本願発明はさらに、本願発明の目的を達成するために、
二重露出結合ビデオカメラの代わりに標準的で一般的に利用できるビデオカメラ
を使用し、図１に示す様な従来技術の二重露出結合ビデオカメラを用いて得られ
る結果と十分に同じ結果を得られる様に、フィールド又はフィールド又はフレー
ム又はフレームの一部と、他の露出のフィールド又はフレームとを結合するため
に、選択された露出を後に演算処理することを含むこともできる。
【００１１】
【発明の実施の形態】
図２は、本願発明の好ましい実施の形態を概要的に示す。ビデオカメラ１は、
鳥が外を飛んでいる時に、窓の棚の上の花瓶２に向けられている。そのカメラは
、光応答ＣＣＤ又はＭＯＳの映像センサー型の映像検出器（図示せず）と、景色
を映像検出器に映すレンズとを備える。本実施の形態では、カメラは、例えば、
標準的な米国のシステムであるＮＴＳＣ、ＲＳ−１７０ ｖｉｄｅｏ等に従い、
フレーム毎に、二つの組み合わされるフィールド（フィールド１とフィールド２
）を生成するように設計されている。また、カメラ１は、電子シャッター（図示
せず）も備える。電子シャッターを備えるＣＣＤ及びＭＯＳの映像検出器は、よ
く知られており、以下の米国特許（Ｔ．Ｍｏｃｈｉｚｕｋｉらに１９９８年８月
１１日に発行した５，７９３，４２２号、Ｈ．Ｋｏｇａｎｅらに１９９５年９月
５日に発行した５，４４８，２９３号、Ｈ．Ｔａｎｉｇａｗａらに１９９５年４
月２５日に発行した５，４１０，３４９号、Ｍ．Ｕｓａｍｉらに１９９４年２月
１日に発行した５，２８３，６５５号、Ｊ．Ｌｅｅに１９９３年９月２１日に発
行した５，２４７，３６７号、Ｔ．Ｎａｋａｊｉｍａらに１９９２年１０月２０
日に発行した５，１５７，５０２号、Ｙ．Ｋａｗａｏｋａらに１９９１年１２月
２４日に発行し５，０７５，７７５号、Ｋ．Ｙｏｎｅｍｏｔｏらに１９８９年１
０月１７日に発行した４，８７５，１００号、Ｎ．Ｔａｌａｔｓｕらに１９８８
年５月１０日に発行した４，７４３，７７８号）に説明されている。それらに関
連する範囲内で、それらの特許の教授は、引用によってここに組み込まれる。カ
メラ１の電子シャッターは、外部コントローラ３に接続されている。電子シャッ
ターは、コントローラ３に、各フィールドの間隔の間でカメラの映像検出器の積
分時間を調整させる。カメラは、３ａで示す同調信号をコントローラ３に提供し
て、後者がカメラの電子シャッターに、各フィールドの露出時間を変化させる様
に、例えば、各映像フィールドに同調するカメラの映像検出器の積分時間を調整
させる様にする。フィールド１の間中にコントローラは、所定の遅い速度に対す
る積分時間、例えば、1/60秒をセットする。フィールド２の間中にコントローラ
は、所定の速い速度に対する積分時間、例えば、1/6000秒をセットする。一つの
映像の列データに対し、得られた映像信号値は、４で表されている。遅い露出（
1/60秒）の結果は、４ａで示されている。この場合には、イメージの一部分に空
が最大の信号レベルで表されており、花瓶は少しだけ減少した信号レベルで現わ
れ、鳥は信号レベルを実質上変化させない。なぜならば、鳥の明るさが、空の明
るさに接近していて、鳥を背景の空から区別することができないからである。短
い露出（1/6000秒）の結果は、４ｂで示されている。この場合には、イメージの
一部分に空が最大の信号レベルより下で表されており、花瓶は抜本的に減少した
信号レベルで現われ、鳥は信号レベルに意味のある変化を与える。なぜならば、
鳥の明るさが、空の明るさから区別することができるだけ十分に異なっているか
らである。本質的に、図２に示すシステムは、４ｄ（遅い、比較的に長い時間の
露出）と４ｃ（速い、比較的に短い時間の露出）とで表される、第一の露出時間
（例えば、1/60秒）のフィールドと第二の露出時間（例えば、1/6000秒）の交互
のフィールドとからなる連続映像信号のシークエンスを表す、出力映像信号の提
供を予めプログラムされた露出コントローラによって制御される一つのビデオカ
メラを使用する。
【００１２】 カメラは、交互に４ａと４ｂとで表される露出値を繰り返す連続映像フィール
ドのシークエンスからなるカメラの出力映像信号を、交互の長い露出と短い露出
とを結合した映像フィールドを記憶するビデオレコーダ５に、送るように接続さ
れる。また、カメラは、交互の露出レベルに関して同一の連続映像フィールドの
シークエンスがバッファ・シグナル・マルチプレクサ（buffered signal multip
lexer）６に送られるようにも接続され、マルチプレクサ６は、ユーザにモニタ
７上でディスプレイに対する遅い露出又は速い露出の何れかを選択させ、セレク
ター・スイッチ８は、ユーザに、活動的な、例えば、“生”の映像を表示させる
か、あるいは予め記憶された映像のシークエンスを再生させるかし、可視化する
ために遅い露出又は速い露出を選択させる。ディスプレイに対するこのフィール
ドの選択は、図３に示すマルチプレクサの構成要素を形成する付加的な露出選択
によって指令される。より詳細に後で述べられる任意の変更の様に、フィールド
・コード・ユニット３ｂは、カメラとレコーダ５とマルチプレクサ６との間に置
かれ、フィールド・コード・ユニットは、カメラの出力映像信号にフィールド・
コートを（ユーザが望む場合には、他のデータコードも）付加するのにふさわし
いようにされる。
【００１３】 図３は、図２に示すバッファ・シグナル・マルチプレクサ６を詳細に示す図で
ある。図３が示す様に、ビデオシステムはフィールド・コード・ユニット３ｂを
含んでいないことがわかる。マルチプレクサは、フィールド検出器９と、消去回
路１１と、インバータ１２と、選択的にロードされたファースト・イン又はファ
ースト・アウトを繰り返すメモリ又はバッファー１４（以下、ＦＩＦＯ１４とい
う。）とを含み、ＦＩＦＯ１４の映像データ入力側が、消去回路１１と接続され
ている。交互に発生する異なる露出値の映像フィールド４ａと４ｂとからなる、
カメラからの出力映像信号は、検出器９に送られ、消去回路１１を経由してＦＩ
ＦＯ１４にも送られる。検出器は、ＦＩＦＯ１４の操作を制御するために、カメ
ラの出力映像信号からフィールド信号パルス９ｆを生成する。限定しない例によ
れば、フィールド検出器９は、通常の映像同調分離回路でもよい。フィールド信
号パルス９ｆは、９ａに示す様に、一方の露出で高く、９ａに示す様に、他方の
露出で低くなっている。フィールド信号パルス９ｆは、露出選択スイッチ１０を
経由して消去回路１１に供給される。露出選択スイッチ１０の位置に依存して、
フィールド信号パルス９ｆは、直接に又はインバータ１２を経由して、消去回路
１１に送られる。フィールド信号パルス９ｆは、４ａ又は４ｂに対応するフィー
ルド信号パルス９ｆが反転しているか否かにより、４ａ又は４ｂに相当する信号
を消去するように、消去回路をゲートで制御するために役に立つ。消去回路から
の出力は、１３で表される。仮に、供給されるフィールド信号パルスが低ければ
、消去回路１１は無効になり、対応する映像フィールドを表す信号は、１３ｂで
表す様に、本質的に変化することなく消去回路を通過する。しかしながら、仮に
、消去回路に供給されるフィールド信号パルス９ｆが高ければ、対応する映像フ
ィールドを表す信号は消去され、消去回路からの出力は、ある固定された電圧レ
ベルになる。図３に示す様に、スイッチ１０は、フィールド信号パルス９ｆが反
転されないで直接消去回路１１に供給される様に、バイパス・インバータ１２に
設けられる。その結果として、短い（速い）露出の映像フィールド信号４ｂは消
去され、長い（遅い）露出の映像フィールド信号４ａは、１３ｂで表す様に、変
化しないで消去回路を通過する。
【００１４】 さらに図３を参照すれば、映像フィールド信号１３ａと１３ｂとのシークエン
スは、ＦＩＦＯ１４に送られる。映像データのフィールドが、コントロール・ラ
イン９ｇを経由して供給されるフィールドパルス９ｆの管理を受けて、ＦＩＦＯ
１４に選択的に書き込まれる。本質的に、フィールドパルス９ｆは、ＦＩＦＯ１
４に対するフィールド選択制御信号として作用する。ＦＩＦＯ成分から読み出さ
れた情報は、連続する出力映像データのストリームを生成するように切れ目がな
い。仮に、４ａで表す様な長い（遅い）露出に相当する新たな映像データがＦＩ
ＦＯに入力されると、ＦＩＦＯから新たなデータが読み出される。仮に、他方で
、一つ又はいくつかのフィールド時間、ＦＩＦＯに新たなデータが入力されない
とすれば、例えば、仮に、映像フィールド４ｂの信号が消去回路１１によって消
去されたとすれば、ＦＩＦＯから生じる映像フィールド４ａに相当する現存のデ
ータが、ＦＩＦＯに再循環されて映像フィールド４ｂが消去されたデータに変わ
って連続的に読み出される。別の方法で言えば、仮に、消去回路１１が映像フィ
ールド信号４ａのみを通過させる様なマルチプレクサが設けられるとすれば、Ｆ
ＩＦＯ１４に読み込まれた映像信号１３ｂを含むデータが、ＦＩＦＯへの入力と
同時に読み出されてＦＩＦＯ１４にも記憶される。消去された映像フィールドを
表す映像１３ａが、消去回路１１からＦＩＦＯ１４を通過する時に、以前記憶さ
れた映像信号を表すＦＩＦＯ１４に現存するデータは、消去された映像信号の代
わりに再循環され、読み出される。この操作により、７ａ'と７ｂ'が以前に生じ
た７ａと７ｂの複製である７ａから７ｂ'に見られる様な連続映像信号のシーク
エンスを消去された映像信号の代わりに得ることができる。この様な映像フィー
ルドは、すべて本質的に同じ露出レベルを表しているので、それらは、通常のビ
デオモニタ上でゆらぎのないで連続的に表示される。ゆらぎのないことが、ユー
ザーの目にとっての快適な表示を与える。
【００１５】 さらに図２と図３を参照すれば、図示されるシステムは、各映像フィールドに
フレームコードを挿入するフィールド・コード・ユニット３ｂを含んでもよいこ
とが分かる。フレームコードは、本質的にフレームコードを含み、好ましくはフ
ィールド・コード・ユニットも各フィールドに、日付コード、タイムコード、フ
レームシリアル番号コード、カメラコード（例えば、ある特定の現場を監視する
ために複数のカメラが用いられる時に好ましい。）、もう一つの露出及び／又は
ユーザから与えられる他の情報の様なデータを付加する。フレームコードは、外
部コントローラ３の制御下でフィールド・コード・ユニット３ｂによって挿入さ
れる。フィールド・コード・ユニット３ｂは、ある露出、例えば４ａの映像フィ
ールド又はフレームに対して第一のフィールドコードを付加し、異なる露出、例
えば４ｂの映像フィールド又はフレームに対して第二のフィールドコードを付加
する様に適合される。この適合に対して、フィールド検出器９は、フィールド・
コード・ユニット３ｂによって挿入されたフィールドコードを検出し、二つの異
なるコードに対応し、識別することができるパルス９ａ及び９ｂと同様のフィー
ルド信号パルスを生成する様に適合される。フィールド選択制御信号として役に
立つこれらのフィールド信号パルスは、消去回路１１とＦＩＦＯ１４に供給され
、ＦＩＦＯ１４は、前述した方法で７ａから７ｂ'で表される様な連続映像フィ
ールドのシークエンスの読み出しに対して応答できる。スイッチ１０の位置に依
存して、モニタ７に利用されるＦＩＦＯからの読み出しは、フィールド４ａ又は
４ｂを表すイメージの表示を生成する。この適合の利点は、フィールド・コード
・ユニット３ｂによって付加されるフィールドコードがあることにより、カメラ
からの映像信号出力を表す映像フィールドのシークエンスの中で起こっているに
も拘わらず、４ａ又は４ｂのフィールドを見分けて読み出すことができ、各フィ
ールドに対して適切なフィールド信号を生成できることである。この関係で、図
２及び図３に示すシステムを、例えば、各フレームが二つのインターレースされ
る映像フィールド（例えば、２６２．５ラインからなる各フィールド）の代わり
に一つのフィールド（例えば、５２５ラインからなる一つのフィールド）からな
る様なプログレッシブ・スキャン・システム用にビデオカメラが設計されている
ところに利用できるということを理解することができる。プログレッシブ・スキ
ャン・システムの場合、コントローラ３は電子シャッターをコントロールし、電
子シャッターによって、カメラの出力信号が、第二の露出値のフレームと交互す
る第一の露出値のフレームを表し、フィールド・コード・ユニット３ｂは、第一
又は第二の露出値に従って各フレームを識別することができるフィールドコード
を各フレームに与え、マルチプレクサは、パルス信号９ｆの管理下で露出値の様
な映像フレームからなる映像出力をモニタ７に送る様に作用する。
【００１６】 図４は、本願発明の第二の実施の形態を示す図である。この実施の形態におい
て、外部コントローラ３１ａは、本質的に、図２に示す外部コントローラ３と同
じであるが、１７表す様な公称自動露出値の間に点在する１６と１５で表す様な
遅い露出と速い露出を生成するようにカメラに指令するように、プログラムされ
、又は適合されている。図４のシステムも、フィールド・コード・ユニット３ｂ
と、レコーダ５と、モニタ７と、図３に示す１１と１４で示されたものと同様の
消去回路（図示せず）とＦＩＦＯメモリ（図示せず）とを含むマルチチャネル・
バッファ・シグナル・マルチプレクサ（multi-channel buffered multiplexer）
１８と、再生検出器３１ｂと、カメラからの映像信号出力又はレコーダ５から再
生される予め記憶された映像信号を入力信号として選択的にマルチプレクサと接
続するスイッチ８とを含む。後に詳細に述べる様に、コントローラ３１ａの管理
下で、フィールド・コード・ユニット３ｂは、フィールドを識別するフィールド
コードを、カメラ１の映像信号出力によって定義される映像フィールドに付加す
る。さらに、コントローラ３１ａも、フィールド選択制御信号を生成し、コント
ローラとマルチプレクサ１８は、これらのフィールド選択制御信号がコントロー
ラ３１ａからマルチプレクサ１８の消去回路（図示せず）まで通過する様に接合
される。この実施の形態において、セレクター・スイッチ８は、ユーザに対して
バッファ・マルチプレクサ１８に送る活動的な “生”の映像又予め記憶された
映像のシークエンスの選択を与える。スイッチ１０に相当するマルチプレクサ１
８も、モニタ７上で可視化する映像に対して速い映像フィールド１５、遅い映像
フィールド１６又は公称露出の映像フィールド１７を選ぶ選択を与える。スイッ
チ１０に相当するように、マルチプレクサは、本質的に、ＦＩＦＯに連続第三の
露出映像フィールドのシークセンスが読み出される様に消去される、三つの異な
る露出の映像フィールドのうち二つを選択する手段を有する。また、マルチプレ
クサが露出修正信号を生成する様に適合されることと、これらの露出修正信号が
コントローラ３１ａに供給されて、後にフィールド１５、１６及び１７の何れか
に対して選択されたその露出レベルに変化をもたらすことができる様に、マルチ
プレクサが図示さえるようにコントローラ３１ａに接続されることとも好ましい
。
【００１７】 図２の好ましい実施の形態について述べた様に、１５、１６及び１７で表され
る異なる露出の映像フィールドは、それらが連続して生成される様に、レコーダ
５に記憶される。この場合、フィールド・コード・ユニット３ｂは、本質的にフ
ィールド・コード・ユニット３ａと同じであり、コントローラ３１ａの制御下で
各映像フィールド（又はプログレッシブ・スキャン・ビデオ・システムの場合に
は各フレーム）の中に、あるフィールドが遅い露出、速い露出又は公称露出のフ
ィールドであるか否かを明確に識別するフィールドコードを本質的に含むフレー
ムコードを、挿入する様に作用する。図２及び図３のシステムと同様に、フィー
ルド・コード・ユニット３ｂによって挿入されるフレームコードは、例えば、日
付とタイムコード、フレームシリアル番号コード、カメラ番号コード等の様な他
のデータも含むことができる。また、特に、フィールド・コード・ユニットは、
映像フィールド１５の映像信号に対して第一のフィールド識別フィールドコード
を、映像フィールド１６の映像信号に対して第二のフィールド識別フィールドコ
ードを、映像フィールド１７の映像信号に対して第三のフィールド識別フィール
ドコードを付加する。さらに、コントローラ３１ａによって生成されるフィール
ド選択制御信号に関し、各フィールドコードに対して異なるフィールド選択制御
信号が生成され、これらのフィールド選択制御信号がマルチプレクサ１８の消去
回路に供給される。モニタ７上で可視化するためにスイッチ手段１０によって選
択されたある特定の露出映像フィールドに依存して、マルチプレクサが、コント
ローラ３１ａからのフィールド選択制御信号を確実に選択して不必要な映像フィ
ールドを消去する消去回路に供給することにより、モニタ７に適用するために映
像信号をＦＩＦＯが読み出した結果は、選択された露出値を持つ映像フィールド
だけになる。
【００１８】 例として、マルチプレクサ１８が、ディスプレイに対して映像フィールド１５
のみを選択する様にセットされているとする。この場合、いつもカメラの出力信
号は、映像フィールド１６又は１７を含み、マルチプレクサは、ＦＩＦＯから読
み出される信号出力の中で、各映像フィールド１６と各映像フィールド１７の代
わりに、映像フィールド１５を表す映像信号データを用いる。この結果は、コン
トローラ３１ａから受信されるフィールド選択制御信号を用いて、消去回路に連
続する映像フィールド１６と１７を消去させて、映像フィールド１５だけが本質
的に変化しないでマルチプレクサの一部であるＦＩＦＯを通過することによって
実行される。
【００１９】 図４の実施の形態も、レコーダ５とスイッチ８とに接続される再生検出器３１
ｂを含むことができる。検出器３１ｂは、フィールド・コード・ユニット３ｂに
よって挿入されたフィールドコードを検出し、コントローラ３１ａによって生成
されるフィールド選択制御信号に対応するフィールド選択制御信号を生成するよ
うに、また、不必要な露出値のフィールドを消去し、好ましい露出値、例えば、
図２と図３の実施の形態に関して述べた方法の様にフィールド１５の連続映像フ
ィールドのシークエンスをＦＩＦＯに読み出させる目的で、フィールド選択制御
信号をマルチプレクサ１８に供給するように、適合される。
【００２０】 図４の実施の形態の明らかな利点は、リアルタイムの公称露出フィールド１７
を可視化することができ、同時にフィールド１５、１６及び１７のダイナミック
レンジのすべてを記憶できることである。マルチプレクサ１８のバッファーメモ
リは、可視化するための長い露出、短い露出又は公称露出の何れかが繰り返され
、同時に可視化したフィールドと他のフィールドとが時間経過の方法で記憶され
る様に、外部コントローラ３１ａの制御下でフィールド・コード・ユニット３ｂ
によって挿入されたフィールドコードに基づいてプログラムされている。
【００２１】 図５は、本願発明のさらなる利点を示す。この場合、システムは、ビデオカメ
ラ１と、フィールド・コード・ユニット３ｂと、コントローラ３ａと、フィール
ド検出器９と三つの消去回路１１ａ、１１ｂ及び１１ｃと三つのＦＩＦＯユニッ
ト１４ａ、１４ｂ及び１４ｃとを備えるマルチプレクサ１８ａと、を備える。コ
ントローラは、例えば、図４中の１５、１６及び１７で表される様な映像フィー
ルドのシークエンスが生成される様に、所定のパターンに従って連続する映像フ
ィールド又はフレームに対して、電子シャッターに露出を変化させる様にプログ
ラムされている。コントローラ３１ａの制御下で動作するフィールド・コード・
ユニット３ｂは、フィールド識別フィールドコード（単独で、又は、日付、時間
、フレーム番号、カメラ番号等の他の情報を含むフレームコードの一部として）
を、図４の実施の形態の様に、カメラ１の映像信号出力に挿入する。また、特に
、フィールド・コード・ユニットは、映像フィールド１５の映像信号に対して第
一のフィールド識別フィールドコードを、映像フィールド１６の映像信号に対し
て第二のフィールド識別フィールドコードを、映像フィールド１７の映像信号に
対して第三のフィールド識別フィールドコードを付加する。フィールドコード検
出器９も、異なるフィールドコードの検出に応答して、異なるフィールド識別制
御信号を生成する。これらのフィールド識別制御信号は、消去回路１１ａと１１
ｂと１１ｃとに供給される。フィールド・コード・ユニット３ｂによってフィー
ルドコードが付加された後に、カメラ１の映像信号出力は、それぞれ消去回路１
１ａ、１１ｂ及び１１ｃを経由してＦＩＦＯ１４ａ、１４ｂ及び１４ｃのそれぞ
れに供給される。ＦＩＦＯ１４ａ、１４ｂ及び１４ｃの映像信号出力は、それぞ
れモニタ７ａ、７ｂ及び７ｃを切り離す様に供給されてもよい。さらに図５を参
照すると、択一的な又は付加的な手段として、ＦＩＦＯ１４ａ、１４ｂ及び１４
ｃの映像信号出力は、通常のビデオ・イフェクト・ジェネレータ２７に供給され
、ビデオ・イフェクト・ジェネレータ２７は、例えば、モニタ７ｃの２９ａと２
９ｂの領域で図式的に表される様なピクチャー・イン・ピクチャー（ＰＩＰ：a
Picture In a Picture）フォーマット又モニタ７ｅの２９ｃと２９ｄの領域で図
式的に表される様なサイド・バイ・サイド（Side-by-Side）フォーマットの様な
、複数のイメージをモニターが表示するようにモニターをコントロールするため
の信号を提供する様に適合されている。また、ビデオ・イフェクト・ジェネレー
タ２７が、ＦＩＦＯ１４ａ、１４ｂ及び１４ｃのそれぞれから読み出される映像
フィールド１５、１６及び１７の異なる露出に対応する三つの同時表示をモニタ
７ｅに生成させるように設計されることも考慮されている。
【００２２】 図４の実施の形態と同様に、図５のシステムは、好ましい露出値の連続映像フ
ィールドのシークエンスがディスプレイに生成される目的で、不必要な映像フィ
ールドを消去するように作用する。図５で表されるシステムにおいて、フィール
ドコード検出器９から受信されるフィールド選択制御信号は、消去回路１１ａに
映像フィールド１６及び１７を消去させ、映像フィールド１５を表すデータのみ
がＦＩＦＯ１４ａで読み出され、ＦＩＦＯａはそのデータを再循環して消去され
た映像フィールド１６と１７のデータの代わりにそのデータを用いる。同様に、
検出器９からのフィールド選択制御信号は、消去回路１１ｂに映像フィールド１
５及び１７を消去させ、映像フィールド１６を表すデータのみがＦＩＦＯ１４ｂ
で読み出され、ＦＩＦＯｂはそのデータを再循環して消去された映像フィールド
１５と１７のデータの代わりにそのデータを用いる。勿論、図５のマルチプレク
サは、フィールド１５、１６又は１７の何れかの露出レベルを修正する目的でコ
ントローラ３１ａに供給される露出修正信号を生成するように適合されてもよい
。
【００２３】 通常のカメラは、一つの映像フィールドを生成するために交互に組み合わされ
る二つの映像フィールドを表す映像信号を生成するように設計されているので、
プログレッシブ・スキャン・システムが高解像力のデジタルテレビの採用増加と
ともにより顕著になることが期待されていることが、認識されている。従って、
本願発明は、プログレッシブ・スキャン・システムに適用できるという利点を提
供する。この関係により、本願で使用する「フレーム」という用語は、通常のテ
レビシステムのような二つの交互に組み合わされたフィールドを備えるものとし
て解釈され、単一のフィールドがプログレッシブ・スキャン・システムの場合で
あることが理解される。結果的に、単一のフィールドの映像フレームの場合、先
に述べたフィールドを識別するコードは、実際にフルフレームを識別する。
【００２４】 本願発明は、様々な変更が可能である。例えば、生の映像又はレコーダ５から
再生される様な、マルチプレクサ６又は１８から読み出される好ましい露出レベ
ルの映像信号の連続するストリームは、例えば、記憶と次の表示の目的でレコー
ダ５のようなレコーダに送られてもよい。さらに、カメラの出力信号がレコーダ
５に直接に送られる場合、その記憶された信号が、再生され、マルチプレクサに
よって好ましい露出レベルの連続映像信号のシークエンスを備える映像信号をモ
ニタに送るように処理される時に、同じ信号の送りが、レコーダ５又は次の使用
と解析用の他のレコーダに記憶されることが考慮されている。
【００２５】 他の変更は、マルチプレクサが第一の露出レベルを表す映像信号の第一のスト
リームと第二の異なる露出レベルを表す映像信号の第二のストリームとを同時に
生成し、映像信号の両ストリームを表示するためにモニタへ同時に送り出すよう
な、バッファ・シグナル・マルチプレクサ６又は１８を備える。この場合、モニ
タは、二つの信号のストリームがピクチャー・イン・ピクチャ表示又は分割スク
リーン表示として現れるイメージを提供するように動作する。一つが比較的に長
い露出を露出を表し、他方が比較的に短い露出を表す二つのイメージがスクリー
ン上に同時に現れることは、異なる露出を使用する際に得られるダイナミックレ
ンジのすべてを維持できるという利点を提供する。図４の実施の形態が変更され
、第一が比較的に長い露出のイメージからなり、第二が比較的に短い露出のイメ
ージからなり、第三が公称露出のイメージからなる、三つに分離しているイメー
ジを同時に表示可能にすることも考慮されている。勿論、システムも、露出レベ
ルが映像検出器のダイナミックレンジの範囲内で変更されること可能とする。さ
らに、コントローラ３１ａによって決められる異なる露出レベルの数も、変更可
能であり、例えば、五つの異なる露出レベルが選択されてもよい。カメラのコン
トローラに関して言えば、一貫して、又は一貫しないで繰り返すシークエンスの
中で生成される異なる露出とともに、映像フィールドを生成するようにプログラ
ムされてもよい。例えば、三つの異なる露出レベルを表す映像フィールド又はフ
レームが生成される図４又は図５に示されるようなシステムに関して、コントロ
ーラは、固定されるようにプログラムされ、又は、固定したレート又はランダム
なレートで、又は所定のパターンに従い、即ちカメラの映像出力の中で表される
連続フィールド又はフレームのシークエンス中に連続する映像フィールド１７の
一連の繰り返し周期に従い、変化するようにプログラムされてもよい。同じこと
はこの場合にも当てはまり、カメラの映像信号出力は、４ａ及び４ｂで表される
第一及び第二の露出レベルに対応する第一及び第二映像フィールド又はフレーム
によって特徴づけられる。しかし、後者の場合、システムが、フィールド・コー
ド・ユニット３ｂを備えることと、後者が、第一及び第二の露出映像フィールド
を識別し区別するカメラのフィールドコードの映像信号出力に伝えられることが
必須であり、それにより、マルチプレクサが、第一又は第二の映像フィールド又
はフレームのみによって表されるディスプレイのイメージを選択することができ
るようになる。
【００２６】 また、本願発明は、電子シャッターを欠くカメラを用いて変更されることも考
慮されている。従って、検出器は、暗い光の条件下で増強されたイメージを得る
ためにフォトンが増幅される又はカスケードされる光電子検出器、例えば、画像
増強管（image intensifier tube）であることが考慮されている。ビディコン(v
idicon)は、もう一つの例である。検出器が、ＣＣＤ又はＣＭＯＳの光検出器を
使用するビデオカメラに採用されているタイプの電子シャッターを欠く場合、制
御信号に従って光の透過性が変化するＬＣＤの光フィルターを使用することが考
慮されている。このフィルターを光検出器と目標又は捕らえられているシーンと
の間に置き、フィルターの制御信号を変化させることにより、各映像フィールド
又はフレームの時間フレーム中の光検出器への光の衝突量を変化させることがで
き、それにより、図２又は図４の実施の形態で実行した異なる露出レベルと同様
なものを提供することが可能となる。可変虹彩絞り又は他の形式のシャッターが
、電子シャッターに代わって本願発明に使用されることも価値があるが、電子シ
ャッター程一般的でなく、特に増強応答速度、コスト高及び超過サイズの性能に
限界がある。
【００２７】 また、マルチプレクサ１６又は１８が、長い露出と短い露出の映像フィールド
又はフレームを結合させて単一の映像フィールド又はフレームを得るように、ま
さに二重露出カメラと同じように、ビデオカメラの信号出力を処理するようにプ
ログラムされ、又は他の方法で適合されることも考慮されている。しかしながら
、交互の明るいフィールドと暗いフィールドが、同時に起こる出来事を表すこと
を保証するためには、一方のフィールド又はフレームが、連続映像シークエンス
を得るために他方のフィールド（又はフレーム）と結合される前に、一方のフィ
ールド（又はフレーム）の（インターレースド・フィールド・ビデオ又はプログ
レッシブ・スキャン・ビデオに依存している）時間フレームだけ遅延させられる
ことが必要となる。マルチプレクサは、所定の処理アルゴリズムに基づき、表示
するために異なる露出のフィールド又はフレームを結合するようにプログラムさ
れてもよい。しかし、通常の二重露出結合カメラと同様に、結合したフィールド
又はフレーム間の時間差があるため、表示される時の結合したイメージは、不鮮
明になり、結合したイメージのコントラストは、減少する。
【００２８】 映像の表示形式は、様々であってもよい。図２〜図４の実施の形態において、
モニタ７は、アナログモードで動作する通常のビデオモニタであることが好まし
い。しかし、他の映像表示手段が採用されてもよく、例えば、デジタルモードで
動作するブラウン管（CRT：Cathode Ray Tube）型又はＬＣＤ表示デバイスでも
よい。また、ヘッド・マウント・ディスプレイ（HMD：Head Mounted Display）
又は、ヘッド・アップ・ディスプレイ（HＵD：Head Up Display）が使用されて
もよい。
【００２９】 ビデオカメラが、通常のアナログモードのカメラであることが了解されており
、この場合、ビデオカメラの出力信号は、先に述べたようなバッファ・マルチプ
レクサによって処理される前に、デジタル信号へ変換するために、Ａ／Ｄコンバ
ータに送られることが必要となり、バッファ・マルチプレクサからの出力信号は
、通常のアナログモードのビデオモニタの動作に適した信号を得るために、Ｄ／
Ａコンバータに送られることが必要となる。あるいは、ビデオカメラは、映像信
号をマルチプレクサ６又は１８によって処理できるようにするＡ／Ｄコンバータ
を備える必要性を排除する、デジタルカメラでもよい。同様に、表示デバイスは
、アナログモードのビデオモニタで動作するように、マルチプレクサからの出力
映像信号を変換するシステムであるＤ／Ａコンバータを備える必要性を排除する
、デジタルタイプであってもよい。簡素化のために、Ａ／ＤコンバータとＤ／Ａ
コンバータは、図から省略されている。なぜならば、当業者であれば、それらの
必要性又は使用が明らかであるからである。また、明らかな変更は、コントロー
ラ３又は３１ａをカメラに組み込むことである。
【００３０】 読者は、本願発明の範囲から離れることなく他の変更を理解することができる
。 ここに記述され、図示された本願発明は、多くの利点を提供する。一つの利点
に関して言えば、ダイナミックレンジが改善されたビデオカメラと記憶処理シス
テムを提供する。通常の一重露出カメラで生成されるような一重露出映像のシー
クエンス、又は、二重露出カメラで生成されるような結合露出映像のシークエン
スと比較して、本願発明は、センサーの飽和で失われるような画像の明るい部分
の映像情報と最小感度で失われるような画像の暗い部分の映像情報とを保存する
という利点を提供する。この関係において、本願システムが、フィールド又はフ
レームを結合しないで、対応するコントラストの低下をもたらさないで、保存さ
れ又は利用される、フルダイナミックレンジを含んだ信号を提供することに価値
がある。多くのアプリケーションにおいて、固定された露出での時間分解能の低
下は、ダイナミックレンジの増加によって補償されたものよりも大きい。他の利
点は、本願システム及び方法が、例えば、比較的に短い露出と長い露出のような
異なる露出を表す映像フィールド又はフレームを含む連続映像信号のシークエン
スを生成し、ゆらぎのない映像ディスプレイを生成するためにその映像信号のシ
ークエンスを使用することが可能な点である。また、バッファ・マルチプレクサ
が、それぞれ対応する異なる露出時間を用いて二つ又はそれ以上の分離した映像
フィールドのシークエンスを生成することと、異なる露出値によってそれぞれ特
徴付けられた二つ又はそれ以上の分離した表示を同時に生成するためにそれらの
二つ又はそれ以上のシークエンスを使用することを可能とする。次の利点は、本
願発明が、電子シャッターを持つ通常のビデオカメラを使用して実施されること
が考慮されている点であり、それにより、商業上利用することができるカメラの
比較的に低いコストを得られるという利点がある。次の利点は、本願発明が、白
黒ビデオカメラ又はカラービデオカメラを使用してもよい点である。
【図面の簡単な説明】
【図１】 図１は、従来技術の二重露出結合カメラを概要的に示す図である。
【図２】 図２は、本願発明の好ましい実施の形態を概要的に示す図である。
【図３】 図３は、図２に示すバッファ・シグナル・マルチプレクサ６を詳細に示す図で
ある。
【図４】 図４は、本願発明の第二の実施の形態を示す図である。
【図５】 図５は、本願発明の更なる変更形態を示す図である。 いくつかの図において、同様な数字は、同様な構成と同様な概要表示とを示す
ように使用されている。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀 皓一郎 アメリカ合衆国マサチューセッツ州01702， フラミンガム，パーカー・ロード 24 Ｆターム(参考） 5C022 AA01 AB17 AC42 AC69

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 ダイナミックレンジが改善されたビデオ記憶を生成する方法にお
    いて、 ビデオカメラを提供するステップであって、前記ビデオカメラが、光学的イメ
    ージを映像フィールド又はフレームのシークエンスに変換する映像検出器と、ビ
    デオカメラによって可視化される光学的イメージから前記映像検出器によって受
    信される光量を調節する電子シャッターとを備えている、ステップと、 前記ビデオカメラに光学的イメージを捕らえるよう作用させるステップと、 前記捕らえられた光学的イメージから前記映像検出器によって受信される光量
    を変化させるように前記電子シャッターに指令して、前記捕らえられた光学的イ
    メージを表す映像フィールド又はフレームのシークエンスであって、前記捕らえ
    られたイメージの異なる露出値を示しかつ所定の繰り返し周波数で前記シークエ
    ンスの中に反復的に生じる少なくとも第一及び第二のフィールド又はフレームを
    含んでいる前記シークエンスからなる出力映像信号を、前記映像検出器から生成
    するステップと、 前記出力映像信号を処理して、前記第一のフィールド又はフレームの連続シー
    クエンスからなる変更された映像信号、又は前記第二のフィールド又はフレーム
    の連続シークエンスからなる変更された映像信号を生成するステップと、 前記変更された映像信号を選択的に入力信号としてビデオディスプレイ装置に
    供給して、前記変更された映像信号の中に含まれる第一又は第二のフィールド又
    はフレームに応じて、前記捕らえられた光学的イメージを前記ビデオディスプレ
    イ装置に表示させるステップと からなることを特徴とする方法。
  2. 【請求項２】 請求項１に記載の方法において、該方法はさらに、ディスプレイ
    装置のそれ以降の駆動において、前記捕らえられた光学的イメージが、前記第一
    又は第二のフィールド又はフレームの中に含まれる情報に応じて表示されるよう
    にするために、前記出力映像信号を記憶するステップを含むことを特徴とする方
    法。
  3. 【請求項３】 ダイナミックレンジが改善されたビデオ記憶を生成する方法にお
    いて、 ビデオカメラを提供するステップであって、前記ビデオカメラが、光学的イメ
    ージを映像フィールド又はフレームのシークエンスに変換する映像検出器と、ビ
    デオカメラによって可視化される光学的イメージから前記映像検出器によって受
    信される光量を調節する電子シャッターとを備えている、ステップと、 前記ビデオカメラに光学的イメージを捕らえるよう作用させるステップと、 前記捕らえられた光学的イメージから前記映像検出器によって受信される光量
    を変化させるように前記電子シャッターに指令して、前記捕らえられた光学的イ
    メージを表す映像フィールド又はフレームのシークエンスであって、前記捕らえ
    られたイメージの異なる露出値を示しかつ所定の繰り返し周波数で前記シークエ
    ンスの中に反復的に生じる少なくとも第一及び第二のフィールド又はフレームを
    含んでいる前記シークエンスからなる出力映像信号を、前記映像検出器から生成
    するステップと、 前記出力映像信号を記憶媒体に記憶するステップと、 その後に、前記記憶媒体から前記出力映像信号を再生するステップと、 前記記憶媒体から再生された前記出力映像信号を処理して、前記第一のフィー
    ルド又はフレームの連続シークエンスからなる変更された映像信号、又は前記第
    二のフィールド又はフレームの連続シークエンスからなる変更された映像信号を
    生成するステップと、 前記変更された映像信号を選択的に入力信号としてビデオディスプレイ装置に
    供給して、前記変更された映像信号の中に含まれる第一又は第二のフィールド又
    はフレームに応じて、前記捕らえられた光学的イメージを前記ビデオディスプレ
    イ装置に表示させるステップと からなることを特徴とする方法。
  4. 【請求項４】 ダイナミックレンジが改善されたビデオ記憶を生成する方法にお
    いて、 映像センサーを提供するステップであって、前記映像センサーが、光学的イメ
    ージから前記光学的イメージを表す映像フィールド又はフレームのシークエンス
    を含んでいる映像信号に変換する、ステップと、 前記映像センサーに光学的イメージを捕らえるよう作用させ、同時に、各映像
    フィールド又はフレームの時間フィールド中に前記映像センサーよって受信され
    る光量を変化させて、前記捕らえられたイメージを表す得られた映像信号を、映
    像フィールド又はフレームのシークエンスからなるようにさせ、前記映像フィー
    ルド又はフレームが、本質的に異なる露出値を示しかつ前記シークエンスの中に
    反復的に生じる少なくとも第一及び第二のフィールド又はフレームを含んでいる
    、ステップと、 前記得られた映像信号から、前記第一のフィールド又はフレームの連続シーク
    エンスを含んでいる変更された映像信号、又は前記第二のフィールド又はフレー
    ムの連続シークエンスを含んでいる変更された映像信号を生成するステップと、 前記変更された映像信号を供給して、前記変更された映像信号の中に含まれる
    映像情報に応じて、前記捕らえられた光学的イメージをディスプレイ装置に表示
    するステップと からなることを特徴とする方法。
  5. 【請求項５】 請求項４に記載の方法において、該方法はさらに、ディスプレイ
    装置のそれ以降の駆動において、前記捕らえられた光学的イメージが、前記第一
    又は第二のフィールド又はフレームの中に含まれる情報に応じて表示されるよう
    にするために、前記得られた映像信号を記憶するステップを含むことを特徴とす
    る方法。
  6. 【請求項６】 請求項４に記載の方法において、 前記変更された映像信号が、前記第二のフィールド又はフレームを消去するた
    めに前記得られた映像信号を処理し、前記消去された第二フィールド又はフレー
    ムの代わりに前記第一のフィールド又はフレームを用いることによって生成され
    る ことを特徴とする方法。
  7. 【請求項７】 ビデオカメラシステムにおいて、 光学的イメージを捕らえて、この光学的イメージを表す連続映像フィールド又
    はフレームのシークエンスを特徴付ける出力映像信号を生成するビデオカメラで
    あって、前記イメージから受信される光量に応じて前記出力映像信号を生成する
    映像検出手段と、その光学的イメージから前記検出手段によって受信される光量
    を調節する露出制御手段とを備えているビデオカメラと、 前記露出制御手段に映像フィールド又はフレームのベースで光量を変化させる
    露出コントローラであって、前記露出コントローラにより、前記出力映像信号が
    、本質的に異なる露出の少なくとも第一及び第二のフィールド又はフレームの交
    互のシークエンスを特徴付ける、露出コントローラと、 前記出力映像信号に応答して、(a)前記第一のフィールド又はフレームにのみ
    応答してビデオディスプレイを生成すること、(b)前記第二のフィールド又はフ
    レームにのみ応答してビデオディスプレイを生成すること及び(c)ビデオディス
    プレイのそれ以降の生成において、前記第一のフィールド又はフレーム、又は前
    記第二のフィールド又はフレームに応答して、前記出力映像信号を記憶すること
    のうち少なくとも何れかを実行する応答手段と を備えることを特徴とするシステム。
  8. 【請求項８】 請求項７に記載のビデオカメラシステムにおいて、 前記応答手段が、前記第一のフィールド又はフレームに応答し且つ応じて第一
    のビデオディスプレイを生成し、前記第二のフィールド又はフレームに応答し且
    つ応じて第二の同時のビデオディスプレイを生成する ことを特徴とするシステム。
  9. 【請求項９】 ビデオカメラ記憶システムにおいて、 光学的イメージを捕らえて、この光学的イメージを表す連続映像フィールド又
    はフレームのシークエンスを特徴付ける出力映像信号を生成するビデオカメラで
    あって、前記イメージから受信される光量に応じて前記出力映像信号を生成する
    映像検出手段と、その光学的イメージから前記検出手段によって受信される光量
    を調節する露出制御手段とを備えているビデオカメラと、 前記露出制御手段に映像フィールド又はフレームのベースで光量を変化させる
    露出コントローラであって、前記露出コントローラにより、前記出力映像信号が
    、異なる露出の少なくとも第一及び第二のフィールド又はフレームの交互のシー
    クエンスを特徴付ける、露出コントローラと、 前記出力映像信号を記憶しするレコーダー手段と、 前記レコーダ手段に接続されている信号処理手段であって、前記出力映像信号
    が前記レコーダー手段に読み出される時に前記出力映像信号を受信して、前記出
    力映像信号から前記第一のフィールド又はフレームのみからなる変更された映像
    信号、又は前記第二のフィールド又はフレームのみからなる変更された映像信号
    を生成する信号処理手段と、 第一又は第二のフィールド又はフレームの前記シークエンスに応じて、ビデオ
    ディスプレイを生成する前記変更された映像信号に応答する応答手段と を備えることを特徴とするシステム。
  10. 【請求項１０】 請求項９に記載のビデオカメラシステムにおいて、第一及び第
    二のフィールド又はフレームが、非順次に生成されることを特徴とするシステム
    。
  11. 【請求項１１】 請求項９に記載のビデオカメラシステムにおいて、第一及び第
    二のフィールド又はフレームが、非順次に生成され、かつそれらが生成された順
    番で記憶されることを特徴とするシステム。
  12. 【請求項１２】 請求項９に記載のビデオカメラシステムにおいて、 第一及び第二のフィールド又はフレームが、一貫して繰り返すシークエンスの
    中に生成され、その繰り返し周期が、二以上の映像フィールド又はフレームであ
    る ことを特徴とするシステム。
  13. 【請求項１３】 請求項９に記載のビデオカメラシステムにおいて、前記映像検
    出手段が、ＣＣＤ又はＭＯＳデバイスであることを特徴とするシステム。
  14. 【請求項１４】 ビデオカメラシステムにおいて、 選択された光学的イメージの映像フィールド又はフレームのシークエンスを含
    んでいる連続映像信号を生成する手段であって、前記映像フィールド又はフレー
    ムの少なくともいくつかが、第一の露出レベルを示すデータを含み、前記映像フ
    ィールド又はフレームの他のものが、前記第一の露出レベルより大きい又は小さ
    い第二の露出レベルを示す映像データを含む手段と 前記映像信号を処理及び利用して、前記選択された光学的イメージからゆらぎ
    のないビデオディスプレイを生成する処理利用手段と を備えることを特徴とするシステム。
  15. 【請求項１５】 請求項１４に記載のビデオカメラシステムにおいて、前記いく
    つかの映像フィールド又はフレームが、前記他の映像フィールド又はフレームの
    間で前記シークセンスの中に点在していることを特徴とするシステム。
  16. 【請求項１６】 請求項１４に記載のビデオカメラシステムにおいて、 前記処理利用手段が、前記第一の露出レベルを示すデータを含んでいる前記い
    くつかの映像フィールド又はフレームを消去し、前記消去されたフィールド又は
    フレームの代わりに前記第二の露出レベルを示すデータを含んでいるフィールド
    又はフレームを用いることにより、変更された映像信号を生成しするマルチプレ
    クサを備え、 該システムはさらに、前記変更された映像信号をビデオディスプレイ装置に供
    給し、前記第二の露出レベルを示すデータに応じて前記光学的イメージのゆらぎ
    のないビデオディスプレイを生成する手段を備える ことを特徴とするシステム。
  17. 【請求項１７】 ビデオイメージを捕らて表示する方法において、 光学的イメージを表す連続映像フィールド又はフレームのシークエンスを定義
    する映像信号出力を生成するためにビデオカメラを使用するステップであって、
    少なくとも第一及び第二の映像フィールド又はフレームが、第一及び第二の異な
    る露出時間のそれぞれで捕らえられたイメージを表し、前記第一及び第二の映像
    フィールド又はフレームが、一貫して繰り返すシークエンスの中で得られ、前記
    第一の映像フィールド又はフレームが、前記第二の映像フィールド又はフレーム
    の間に前記連続シークエンスの中に点在する、ステップと、 前記映像信号出力を処理して、(1)前記第一のフィールド又はフレームのシー
    クエンスを定義する第一の変更された映像信号と(2)前記第二のフィールド又は
    フレームのシークエンスを定義する第二の変更された映像信号とを生成するステ
    ップと、 前記第一及び第二の変更された映像信号を利用して、前記第一及び第二のフィ
    ールド又はフレームのそれぞれを表す露出に応じて前記捕らえられた光学的イメ
    ージの分離したディスプレイを得るステップと からなることを特徴とする方法。
  18. 【請求項１８】 ダイナミックレンジが改善されたビデオ記憶を得る方法におい
    て、 映像センサーを提供するステップであって、前記映像センサーが、光学的イメ
    ージを前記光学的イメージを表す映像フィールド又はフレームのシークエンスを
    含んでいる映像信号に変換する、ステップと、 前記映像センサーに光学的イメージを捕らえるよう作用させ、同時に、各映像
    フィールド又はフレームの時間フィールド中に前記映像センサーよって受信され
    る光量を変化させて、前記捕らえられたイメージを表す得られた映像信号を、映
    像フィールド又はフレームのシークエンスからなるようにさせ、前記映像フィー
    ルド又はフレームが、前記捕らえられたイメージの第一の露出値を示す少なくと
    も複数の第一のフィールド又はフレームと前記捕らえられたイメージの第二の露
    出値を示す複数の第二のフィールド又はフレームとを含み、前記第一のフィール
    ド又はフレームが、前記第二のフィールド又はフレームの間に前記シークエンス
    の中に点在する、ステップと、 前記得られた映像信号から、前記第一のフィールド又はフレームの連続シーク
    エンスを含んでいる変更された映像信号、又は前記第二のフィールド又はフレー
    ムの連続シークエンスを含んでいる変更された映像信号を生成するステップと、 前記変更された映像信号を供給して、前記変更された映像信号の中に含まれる
    映像情報に応じて、前記捕らえられた光学的イメージをディスプレイ装置に表示
    するステップと からなることを特徴とする方法。
  19. 【請求項１９】 ビデオイメージを捕らて表示する方法において、 異なる露出時間を使用して連続ビデオイメージのシリーズを捕らえるステップ
    であって、第一の露出時間を使用して捕らえたビデオイメージが、第二の露出時
    間を使用して捕らえたビデオイメージとともに前記シリーズの中に点在するよう
    にするために、前記異なる露出時間が、所定のパターンに応じて変化する、ステ
    ップと、 それらが捕らえられた順番で、ビデオイメージの前記シリーズを表す映像信号
    を生成するステップと、 前記映像信号を利用して、前記第一の露出時間のみを使用して捕らえられたビ
    デオイメージのビデオディスプレイを生成するステップと からなることを特徴とする方法。
  20. 【請求項２０】 請求項１９に記載の方法において、該方法はさらに、前記映像
    信号を利用して、前記第二の露出時間のみを使用して捕らえられたビデオイメー
    ジの第二のビデオディスプレイを生成するステップを含むことを特徴とする方法
    。
  21. 【請求項２１】 請求項２０に記載の方法において、前記ディスプレイが、通常
    のディスプレイデバイスによって同時に表されることを特徴とする方法。
JP2001517211A 1999-08-17 2000-08-16 ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法 Expired - Fee Related JP4130737B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14923799P 1999-08-17 1999-08-17
US60/149,237 1999-08-17
PCT/US2000/040662 WO2001013171A1 (en) 1999-08-17 2000-08-16 Improved dynamic range video camera, recording system, and recording method

Publications (3)

Publication Number Publication Date
JP2003507911A true JP2003507911A (ja) 2003-02-25
JP2003507911A5 JP2003507911A5 (ja) 2006-01-05
JP4130737B2 JP4130737B2 (ja) 2008-08-06

Family

ID=22529356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001517211A Expired - Fee Related JP4130737B2 (ja) 1999-08-17 2000-08-16 ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法

Country Status (9)

Country Link
US (1) US6985185B1 (ja)
EP (1) EP1210645A4 (ja)
JP (1) JP4130737B2 (ja)
KR (1) KR100667444B1 (ja)
CN (1) CN100510933C (ja)
AU (1) AU7881500A (ja)
CA (1) CA2378066A1 (ja)
IL (2) IL147672A0 (ja)
WO (1) WO2001013171A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101889A (ja) * 2001-09-25 2003-04-04 Konica Corp 電子カメラ

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125279A (ja) * 2001-10-16 2003-04-25 Olympus Optical Co Ltd 撮像装置
US7508421B2 (en) * 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
JP2004048455A (ja) * 2002-07-12 2004-02-12 Niles Co Ltd 撮像システム
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
JP2006033049A (ja) * 2004-07-12 2006-02-02 Konica Minolta Photo Imaging Inc 撮像装置
IL165852A (en) * 2004-12-19 2010-12-30 Rafael Advanced Defense Sys System and method for image display enhancement
US20070279512A1 (en) * 2006-05-16 2007-12-06 Olympus Imaging Corp. Imaging apparatus
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US9307212B2 (en) 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
CN101867727B (zh) * 2009-04-16 2011-12-07 华为技术有限公司 一种视频处理方法及装置
JP5566048B2 (ja) 2009-04-28 2014-08-06 キヤノン株式会社 表示装置及びその制御方法
US8181302B2 (en) * 2009-09-22 2012-05-22 Applied Materials, Inc. Brush alignment control mechanism
US8625013B2 (en) 2010-08-23 2014-01-07 Red.Com, Inc. Multi-exposure imaging
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
US8515270B1 (en) * 2012-08-03 2013-08-20 Granite Bay Software System and method for improved time-lapse photography
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
CN105323496B (zh) * 2015-02-13 2019-01-11 维沃移动通信有限公司 自动曝光方法、拍照装置及移动终端
CN106034209B (zh) * 2016-04-08 2019-02-22 奇瑞汽车股份有限公司 获取视频的方法及装置
US10911689B2 (en) * 2017-02-15 2021-02-02 Intel IP Corporation Methods and apparatus using long exposure video for virtual reality headset
JP6917803B2 (ja) * 2017-06-27 2021-08-11 キヤノン株式会社 撮像装置、制御方法、及びプログラム
CN114302064B (zh) * 2022-01-27 2024-01-26 北京同尔科技有限公司 一种基于接收卡的视频处理方法、装置及系统
CN116389912B (zh) * 2023-04-24 2023-10-10 北京大学 脉冲相机融合普通相机重构高帧率高动态范围视频的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4851915A (en) 1986-08-11 1989-07-25 Xian Northwest Telecommunication Engineering Inst. Method and apparatus for obtaining clear images of high speed moving objects
US4875100A (en) 1986-10-23 1989-10-17 Sony Corporation Electronic shutter for a CCD image sensor
US5638118A (en) * 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
EP0387817A3 (en) * 1989-03-16 1991-12-11 Konica Corporation Electronic still camera
JP2538684B2 (ja) 1989-11-30 1996-09-25 富士写真フイルム株式会社 電子シャッタ―の制御装置
JPH03179889A (ja) * 1989-12-08 1991-08-05 Oki Electric Ind Co Ltd 静止画像におけるフレーム／フィールド自動切替装置
JPH04119776A (ja) 1990-09-11 1992-04-21 Sony Corp 固体撮像装置
JPH04160988A (ja) * 1990-10-25 1992-06-04 Matsushita Electric Ind Co Ltd 電子スチルカメラ
JP3004382B2 (ja) 1991-04-24 2000-01-31 松下電器産業株式会社 可変シャッタ付テレビカメラ装置
US5831676A (en) * 1992-08-19 1998-11-03 Canon Kabushiki Kaisha Image pickup device using plural control parameters for exposure control
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US5488389A (en) * 1991-09-25 1996-01-30 Sharp Kabushiki Kaisha Display device
JP3153918B2 (ja) 1991-09-30 2001-04-09 ソニー株式会社 固体撮像装置および遮光検出装置
US5376964A (en) * 1992-07-14 1994-12-27 Fuji Photo Film Co., Ltd. Video camera, method of photometry therein, and method of focusing same
US5517242A (en) * 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101889A (ja) * 2001-09-25 2003-04-04 Konica Corp 電子カメラ

Also Published As

Publication number Publication date
KR20020036844A (ko) 2002-05-16
IL147672A0 (en) 2002-08-14
AU7881500A (en) 2001-03-13
EP1210645A4 (en) 2006-09-13
IL147672A (en) 2007-06-03
JP4130737B2 (ja) 2008-08-06
CN100510933C (zh) 2009-07-08
CN1370289A (zh) 2002-09-18
US6985185B1 (en) 2006-01-10
EP1210645A1 (en) 2002-06-05
CA2378066A1 (en) 2001-02-22
WO2001013171A1 (en) 2001-02-22
KR100667444B1 (ko) 2007-01-10

Similar Documents

Publication Publication Date Title
JP4130737B2 (ja) ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法
JP5147302B2 (ja) ビデオカメラおよびビデオカメラにおけるフリッカ低減方法
JP5566133B2 (ja) フレームレート変換処理装置
JP3809661B2 (ja) 動き検出装置および動き検出方法
JP3241327B2 (ja) クロマキーシステム
US20020118293A1 (en) Dynamic range video recording and playback system and method
CN100566381C (zh) 摄像元件及其装置、摄像方法、摄像系统及图像处理装置
JP2007228099A (ja) 撮像装置
JP3834354B2 (ja) 撮像装置
JP2007006343A (ja) 撮像システム
JPH06268898A (ja) 固体撮像素子を用いた撮像装置
EP1584184B1 (de) Verfahren zum verarbeiten von aus einem filmaufnahmestrahlengang einer laufbildkamera abgezweigten filmbildern
JPH0795481A (ja) 撮像装置
US11258950B1 (en) Apparatus and method for recording a scene for a plurality of lighting setups using only a portion of each cinematic frame
JP2002185867A (ja) 撮像装置、撮像装置の制御装置及び光量制御方法
US20230179870A1 (en) Apparatus and method for recording a scene for a plurality of lighting setups using a variable frame rate camera to capture micro frames during only a portion of each cinematic frame
KR100573594B1 (ko) 저휘도시 영상 식별이 가능한 디지탈 씨씨디 카메라 및 그 제어방법
JPS6025390A (ja) 電子カメラ装置における撮像方式
JPH02213287A (ja) 画像フリーズ用信号処理装置
JPH0937128A (ja) 画像入力装置
JPH0414968A (ja) 撮像装置
JP2003274221A (ja) 撮像装置及び撮像装置における表示の制御方法
JPH09284755A (ja) デジタル撮像装置、デジタル画像インターフェース装置およびデジタル画像取り込み装置
JPH10336513A (ja) デジタルカメラおよびデジタルカメラを備えた映像表示装置
JPH09261532A (ja) 映像信号処理方法および撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080523

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees