JP2006519521A - 高フレームレート・高品位イメージングシステム及び方法 - Google Patents

高フレームレート・高品位イメージングシステム及び方法 Download PDF

Info

Publication number
JP2006519521A
JP2006519521A JP2005518596A JP2005518596A JP2006519521A JP 2006519521 A JP2006519521 A JP 2006519521A JP 2005518596 A JP2005518596 A JP 2005518596A JP 2005518596 A JP2005518596 A JP 2005518596A JP 2006519521 A JP2006519521 A JP 2006519521A
Authority
JP
Japan
Prior art keywords
imager
data
video
timing
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005518596A
Other languages
English (en)
Inventor
ウェイン エイ アプトン
Original Assignee
ウェイン エイ アプトン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイン エイ アプトン filed Critical ウェイン エイ アプトン
Publication of JP2006519521A publication Critical patent/JP2006519521A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 高フレームレート・高品位イメージングシステム及び方法が開示される。
【解決手段】 イメージャ(104)は、所望の出力ビデオクロック(114)とは非同期でクロックされる。フレームサイクル中、イメージャ内の画素アレイの第1の部分内に保持されているデータはイメージャクロック信号(102)を使用してイメージャ(104)からクロックアウトされ、画素アレイの第2の部分内に保持されているデータはバイパスされる。その後に、イメージャデータはより高めのビデオクロックレートに変換され、所望のビデオデータとして出力される。

Description

本発明は、一般的にはイメージングシステム及び方法に関する。特定的には、本発明は高品位イメージングシステム及び方法に関する。
電荷結合デバイス(CCD)のような電子画像センサは公知である。CCDイメージャにおいては、画素アレイ内の各画素に対応する画像情報が電荷として累積され、画像データとしてイメージャから読出される。その結果、CCD及び他の電子イメージングデバイスは、画像センサから画像データを順次に読出すための一連の精密タイミングパルスを必要とする。これらの精密タイミングパルスは、特定のクロック周波数で電子画像センサへ供給される。この読出しクロックレートが、単位時間当たりイメージャから読出すことができる画像データの量(画素の数)を決定する。従って、このクロックレートが所与のフレームレートにおける画像解像度を制限する。
HDTVカメラ、医療イメージング、その他の高品質画像を必要とする応用のような多くの応用においては、高解像度、高フレームレートイメージングシステムが重要になりつつある。このような高フレームレート及び高品位イメージングの場合には、極めて高い読出しクロックレートが必要である。実際に、許容された時間内にイメージャの全ての画素から電荷を転送するのに必要なクロック周波数は、従来のCCDイメージャ設計において電荷を効果的に転送することができる速度の限界付近、またはそれ以上になりかねない。CMOS画像センサのような他の電子イメージャにも同じような制約が存在する。また、高解像度画像センサを製造する場合、製造者は、読出し中に発生し得る雑音及びひずみを防ぐために特に注意を払っている。その結果、高解像度・高フレームレート電子イメージャは典型的に、より低いクロックレートで動作するイメージャに比して極めて高価になる特別設計を必要とする。特定の例を挙げれば、マシンビジョン応用に使用されるようになっていて、標準プログレッシブ読出しモードにおいて僅か15フレーム/秒の定格を有するソニーのICX204ALのような典型的な高品位(HD)CCDセンサの価格は、標準フレームレート(50または60フレーム/秒)に準拠するクロックレートで動作可能な高品位(HD)CCDセンサの価格の何分の一にしか過ぎない。
従って、低価格であり乍ら高フレームレートで高品位画像を提供できるイメージャに対する要望が存在している。
第1の面において、本発明は、あるイメージャクロックレートを有するイメージャクロック信号と、このイメージャクロックレートよりも大きいビデオクロックレートを有するビデオクロック信号とを発生するタイミング発生器を含むイメージングシステムを提供する。イメージングシステムは更に、イメージャクロック信号を受信するイメージャクロック入力と、データ出力とを有するイメージャとを含む。イメージングシステムは更に、イメージャのデータ出力及びタイミング発生器に結合されているレート変換器を含む。タイミング発生器は、ビデオクロック信号及びイメージャクロック信号と同期する信号を受信する。レート変換器は、イメージャクロックレートと同期するレートでイメージャデータを受信し、ビデオクロックレートでビデオデータを出力する。
イメージングシステムの好ましい実施の形態においては、イメージャは、イメージャによって捕捉された画像を表す画素データを保持する画素アレイを含む。画素アレイは第1の部分及び第2の部分を有し、タイミング発生器は、画素アレイの第2の部分をスキップさせ、且つ画素アレイの第1の部分をイメージャからレート変換器へクロックさせるようにイメージャを制御する一連のタイミング信号を発生する。タイミング発生器は、水平タイミングパルス及び垂直タイミングパルスを発生することができ、水平タイミングパルスはイメージャクロックレートに対応する。イメージャクロック信号及びビデオクロック信号は、互いに非同期である。画素アレイの第1の部分は所要活動画素を含むことができ、画素アレイの第2の部分は不活動光学的ブラック参照画素及びダミー画素を含むことができる。詳述すれば、画素アレイの第2の部分は、不要活動画素と不活動画素との組合わせを含むことができ、第1の部分は、画素アレイの所要活動画素を含むことができる。イメージャは、イメージャによって画素アレイの画素に電荷が累積される型のCCDセンサであることができる。画素アレイの第2の部分に対応する電荷は、複数の行の複数のグループについて同時にイメージャからシフトアウトさせることができる。例えば、1またはそれ以上の水平及び垂直タイミングパルスはイメージャの転送部分内の電荷の累積を制御することができ、水平転送クロックはイメージャからの画素データの複数の行に対応する電荷の同時転送を制御する。
好ましい実施の形態においては、タイミング発生器は、イメージャクロックを出力するイメージャクロック発生器回路ブロックと、ビデオクロックを出力するビデオクロック発生器回路ブロックと、主同期回路ブロックと、イメージャクロック発生器及び主同期回路ブロックに結合されていてイメージャクロックレートでイメージャクロック信号を出力するイメージャタイミングロジックブロックとを含むことができる。主同期回路ブロックは、好ましくは、ビデオクロック発生器回路ブロックに結合されていてビデオクロックを受信する。レート変換器は、好ましくは、イメージャからの画像データを受信して一時的に記憶するメモリと、レート変換器制御ロジックとを含む。レート変換器制御ロジックは、好ましくは、メモリへのデータの書込み、メモリからのデータの読出しを制御するメモリ制御回路を含む。メモリ制御回路は、タイミング発生器に結合されていて、ビデオクロック信号と、イメージャクロック信号と同期する信号とを受信する。レート変換器制御ロジックは、好ましくは更に、メモリ制御回路とタイミング発生器とに結合されていてビデオクロック信号を受信するビデオタイミングロジックを含む。ビデオタイミングロジックは、出力ビデオデータのブランキング期間中にメモリからのデータの読出しを中断させるようにメモリ制御回路を制御する。レート変換器制御ロジックは、好ましくは更に、メモリ及びビデオタイミングロジックに結合されているビデオ出力発生器を含む。ビデオ出力発生器は、メモリから出力データを受信し、メモリの読出しが中断されているブランキング期間中にブランキングデータを挿入し、そして実際の画素データ及びブランキングデータを有するビデオデータをビデオクロックレートで出力する。出力ビデオデータは、例えばVESA標準タイミング、またはSMPTE HDTV標準タイミングで供給することができる。
本発明の別の面によれば、フレームレートを増加させたイメージングシステムが提供される。本イメージングシステムは、不活動参照画素及びダミー画素を含む画素のアレイと、画像データを供給する出力と、読出しタイミング制御信号を受信する1またはそれ以上の制御入力を有する画像センサを含む。フレームレートを増加させたイメージングシステムは、タイミング発生器を更に含む。タイミング発生器は、画像センサの制御入力へタイミングパルスを供給し、画素アレイの不活動画素の少なくとも若干をスキップさせ、且つ画素アレイの所要部分から画像データをクロックアウトさせ、それによって画像センサのフレームレートを実効的に増加させるように画像センサの読出しを制御する。
フレームレートを増加させたイメージングシステムの好ましい実施の形態においては、タイミングパルスは、画素アレイのダミー画素、及び/または参照画素、及び/または不要活動画素の複数の行をスキップさせる一連の連続垂直転送パルスを含む垂直及び水平タイミングパルスを含む。タイミングパルスは、画素アレイの所要部分のラインの終わりに先立つ垂直転送パルスをも含み、この垂直転送パルスは、ラインの終わりの複数のダミー画素、及び/または参照画素、及び/または不要活動画素の複数の行をスキップさせる。画素センサは、画素アレイに対応する累積領域及び転送領域を含む型のCCDイメージャであることができる。タイミングパルスは、画像データを累積領域から転送領域へ、次いでイメージャの出力へ転送させる垂直及び水平タイミングパルスを含むことができ、使用されない画素データの複数の行は垂直タイミングパルスを使用して水平転送領域内へ転送され、水平タイミングパルスを使用して一緒にクロックアウトさせる。
本発明の別の面によれば、低めのクロックレートで動作するイメージャを使用して高品位ビデオデータを供給する方法を提供する。本方法は、イメージャクロックレートのイメージャクロック信号を使用してイメージャから画像データをクロックするステップを含む。本方法は更に、イメージャクロックレートより大きいビデオクロックレートでイメージャデータをビデオデータに変換するステップを含む。
本方法の好ましい実施の形態においては、イメージャデータをビデオデータに変換するステップは、画像データをメモリ内にバッファするステップを含む。イメージャデータはイメージャクロックレートで、またはイメージャクロックレートと同期するレートでメモリ内に書込まれ、データはイメージャクロックレートとは同期していない異なるクロックレートでメモリから読出される。イメージャデータをビデオデータに変換するステップは、好ましくは更に、ビデオデータのブランキング期間に対応するブランキングデータをイメージャデータ内に挿入するステップを含む。イメージャデータをビデオデータに変換するステップは、好ましくは更に、上記ブランキングデータを挿入するステップ中は、メモリからのデータの読出しを中断させるステップを含む。イメージャクロック信号は、ビデオデータとは非同期である。ビデオデータは、例えば、VESA標準タイミング、またはSMPTE HDTV標準タイミングでの出力であることができる。
別の面において、本発明は、第1及び第2の部分を有する画素アレイを有するイメージャのフレームレートを増加させる方法を提供する。本方法は、画素アレイの第2の部分をスキップするステップと、イメージャ制御タイミング信号を使用して画素アレイの第1の部分内に保持されている画像データをイメージャからクロックするステップとを含む。
本方法の好ましい実施の形態においては、画素アレイの第2の部分をスキップするステップは、イメージャに一連の連続垂直転送パルスを供給して第2の部分内の画像データの複数の行をスキップさせるステップを含む。画素アレイの第2の部分をスキップするステップは更に、画素アレイの1つのラインの終わりに先立って垂直転送パルスを供給してそのラインの終わりの画素をスキップさせるステップを含む。画素アレイの第1の部分は、画素アレイの所要活動画素及び所要不活動画素を含むことができ、画素アレイの第2の部分は、不活動画素及び不要活動画素を含むことができる。不活動画素は、一般的に標準ビデオタイミングスキームのブランキング期間に対応する。例えば、標準ビデオタイミングスキームは、VESA標準タイミング、またはSMPTE HDTV標準タイミングであることができる。イメージャはCCDイメージャであることができ、本方法は更に、画素アレイの第2の部分に対応する電荷をクロックアウトするステップを含むことができる。
本発明のこれらの、及びさらなる面及び特色は、以下の詳細な説明から明白になるであろう。
図1に、本発明によるイメージングシステムの実施の形態をブロック図で示す。本発明は、好ましくは、公称クロックレートが比較的低い低価格・高解像度イメージャ104を使用する。例えば、マシンビジョン応用に適するような高解像度ではあるが、比較的低めのクロックレートのCCDイメージセンサが比較的低価格で市販されており、イメージャ104として使用することができる。しかしながら、CMOSイメージャのような他の低価格電子イメージャも使用することができる。本発明は、クロックレートが比較的低めのイメージャデータをより高めのビデオクロックレートに変換し、このより高めのクロックレートのビデオデータをビデオ出力デバイス118へ出力する。その結果、本発明は、低価格・高フレームレート・高品位イメージングシステムを提供する。
詳述すれば、図1に示すように、タイミング発生器100はイメージャクロックレート(イメージャクロック)で第1の組のタイミング信号102をイメージャ104へ供給する。この第1の組のタイミング信号は、イメージャ104の動作を同期させ、イメージャデータ106をイメージャ104からレート変換器108へクロックアウトさせる。タイミング発生器100は、ビデオクロックレート(ビデオクロック)で第2の組のタイミング信号114をも供給する。後述するように、第1及び第2の組のタイミング信号は一般的には同期していない。これにより、ビデオ出力デバイス118のクロッキングスキームに拘束されることなく、イメージャ104の読出しを最適化することができる。これは、ビデオクロッキングスキームに関連するイメージャ読出しの重大な非効率を回避する。これにより、イメージャクロック102のクロックレートをビデオクロック114のクロックレートより小さくすることが可能になり、より安価な低クロックレートイメージャ104を使用することが可能になる。レート変換器108は、典型的にはクロックレートを増加させ、イメージャデータをビデオデバイスクロッキングスキームに同期させる。レート変換器108は、イメージャクロック102に結合されている第1のクロック入力120と、ビデオクロック114に結合されている第2のクロック入力122とを含む。イメージャデータ106は、イメージャクロックレートに同期するレートでのレート変換器108への入力である。このレートは実際のイメージャクロックレートであることも、またはイメージャクロックレートに同期するレート(整数倍であることが多い)であることもできる。このイメージャクロックレートに同期するレートは、CCDプリズムシステムにおける半画素オフセットデータの時間補正のための“二重サンプリング” のような信号処理技術に起因して必然的に異なり得る。レート変換器108内の制御ロジック及び画像データバッファメモリは、イメージャデータ106を一時的に記憶し、イメージャデータ106をこのイメージャドメインクロッキングスキームからビデオドメインクロッキングスキームへ変換する。変換されたデータは、レート変換器108からビデオデータ116として出力される。イメージャデータ106がビデオデータ116に変換されると、ビデオデータ116はその応用のための標準ビデオクロックレート及びタイミングスキームでビデオ出力デバイス118へ伝送される。例えば、ビデオ出力デバイスは、ディスプレイ、ビデオレコーダ、その他の高品位ビデオデバイスであることができる。ビデオ出力デバイス118は、典型的に、コンピュータモニタ型ディスプレイのためにVESA(Video Electronics Standards Asociation)によって定義されている、または高品位TV品質ディスプレイ(HDTV)のためのSMPTE(Society of Motion Picture and Television Engineers)標準のような高品位・高フレームレートタイミング標準で動作する。
図1及び3を参照してイメージャクロック102を使用するイメージャ104の読出し制御の詳細を、好ましい実施の形態に関して説明する。イメージャ104は、イメージャによって捕捉された画像を表す画素データを捕捉する画素アレイを有している。典型的なイメージャのためのイメージャ画素アレイは、その応用にとって望ましい画像データを含む第1の部分と、不要な第2の部分とを含んでいる。例えば、典型的なイメージャのための画素アレイは、活動画素及び不活動画素を含む。不活動画素は、光学的ブラック参照画素、及び典型的にビデオクロックを用いて同期読出しするようになっているダミー画素を含む。詳述すれば、ビデオ応用のためのCCDのようなイメージャを読出す標準的な方法は、ビデオ画素クロック及び水平/垂直同期(これらは、ビデオ出力デバイスによって専用される)と同期している水平及び垂直転送パルスを含む。不活動光学的ブラック参照画素及びライン、及びダミービット及びラインがイメージャ内で準備され、光学的ブラック信号参照を斟酌し、イメージャ出力を標準ビデオクロッキングスキーム(これらは全て、ブランキング期間に対応するアイドル時間、またはデッドタイムを有している)に同期させるのを援助する。これは、イメージャ内に蓄積された不要な、冗長な、または使用されない光学的ブラック参照画素及びダミー画素をクロックアウトするので時間の非効率をもたらす。本発明の非同期クロッキングスキームにおいては、これらのダミーライン、ダミー画素、及び多くの参照画素及びラインは必要としない。
活動画素及び不活動画素を有するこのようなイメージャ画素アレイの特定例を図3に示す。図3は、典型的なCCDの活動画素304、及び光学的ブラック画素及びダミー画素部分302の配向及びサイズと、データがイメージャからシフトアウトする方向V(垂直)及びH(水平)とを示しており、画像のトップラインは図3の底に位置している。活動領域304の周囲の特別データ302は、通常はクロックアウトされる。この特別データ302は、典型的に、光学的ブラック参照及びダミー垂直画素のトップ行308、ブラック参照及びダミー垂直画素のボットム行306、ブラック参照及びダミー水平画素のリーディング列312(これらは所要ラインのために常にクロックアウトしなければならない)、及びブラック参照及びダミー水平画素のトレーリング列310を含む。特別データ306、308、310、及び312は、各フレーム期間中に現れる不活動、不要、または使用されない“データ”転送時間の実質的な量を表すことができる。
本発明においては、画素アレイの第1の所要部分だけをクロックアウトさせる。第1の部分は、所要活動画素304、それらのラインに結合させてクロックアウトしなければならない部分312、及びオプションとして、若干の特別不活動参照画素を含む。第2の部分は、何等かの不要活動画素(例えば、ビデオ出力が異なるアスペクト比であるために不要となった画素)、及び若干の、または全ての残余の不活動画素302を含む。第1の組のタイミング信号102は、イメージャ104のロジックを制御してその画素アレイの第1の部分をクロックアウトさせ、一方画素アレイの第2の部分の殆どをバイパスさせる。第1の組のタイミング信号はイメージャ104の高速読出しに最適化されており、一般的にビデオクロック信号に同期していないから、第2の部分に対応する不要画素全体をジャンプさせるために垂直及び水平転送パルスの非標準シーケンスを使用することができる。市販されているCCDイメージャの読出しを最適にするタイミング信号の特定例を、図4−5を参照して説明する。画素アレイデータの第1の部分は、イメージャデータ106としてイメージャ104の公称フレームレートより実質的に高いフレームレートで出力される。また、例えば必要とされるより長いパルス幅を採用すると水平または垂直レジスタ転送のためにイメージャ製造者によって指定されている公称タイミングが最も効率的ではなくなり、フレームレートを更に増加させるために必要ならば、このレートを公称値より高いレートまで増加させることができる。
次に、レート変換器108の動作を説明する。ビデオ出力デバイス118は、特定の応用に対して特定のビデオタイミングフォーマットを有している。これらの全ての受入れられているビデオタイミングフォーマットは、ブランキング期間に対応する重要なアイドル時間を有している。前述したように、ビデオ応用のためにCCDまたはCMOSイメージャを読出すための標準方法は、水平及び垂直転送パルスを含む。これらの転送パルスは、ビデオ画素クロック及び水平/垂直同期と同期し、通常はビデオクロック信号が使用される。本発明によれば、イメージャ104はこの出力ビデオクロッキングスキームに同期して動作しない。しかしながら、ビデオ出力データ116は、ビデオ出力デバイス118のために有用であるようにビデオクロッキングスキームと同期させなければならない。このためには、レート変換器108をイメージデータと同期させて、所望のビデオクロッキングスキームにする必要がある。レート変換器内の制御ロジック及びバッファメモリは、イメージャドメインクロックレートをビデオドメインクロックレートに変換し、ビデオブランキング期間のためのブランキングデータを挿入する。従って、(非同期)ビデオドメイン内のクロックレートがイメージャドメイン内のクロックレートよりも高い標準ビデオクロックレートであろう。この標準ビデオクロックレートでレート変換器108からクロックされるビデオデータ及びクロッキングスキームは、ビデオ出力デバイス118(これも、ビデオクロック114によってクロックすることができる)へ供給される。イメージャドメインクロッキングスキーム自体は、独立的に且つ連続的に、即ちビデオディスプレイクロッキングスキーム(ビデオドメインクロック)の遊休ブランキング期間中であっても動作し、所与のイメージャクロックレートにおいてイメージャからのイメージデータの転送のレートを最大にする。
レート変換器108を使用することの利点は、分離したイメージャ及びビデオクロッキングスキームを可能にすることである。これは、標準ビデオクロッキングスキームの2つの特定例によって説明することにより明白になるであろう。第1の例として、1280×720p HDTV標準を考えよう。720p HDTVのためのクロッキングスキームは、本明細書が参照している公表された仕様SMPTE 296Mに記載されている。この標準において許容されている1つのスキーム(SMPTE 296Mの表1のシステム1)によれば、フレーム当たり合計750本のラインと、ライン当たり合計1650(74.25MHz)の水平画素クロックが存在する。また、720本のラインだけが活動ビデオ(またはピクチャ情報)を含み、これらの720本の各ライン内の1280のクロック期間だけが活動画素を含む。このことから、30本(750−720)のビデオ信号がピクチャ情報を含まない(例えば、ライン1−25及び746−750がブランク)と計算することができる。更に、活動画素を含まない全てのライン毎の370(1650−1280)クロック期間は、同期またはブランク時間である(SMPTE 296M参照)。従って、1280×720=921600のピクチャ貢献クロック期間と、(750×1650)−(1280×720)=315900の非ピクチャクロック期間が存在する。これは、僅か74.47%の活動ピクチャ効率しかもたらさない。ビデオ信号の残余の部分はブランキング情報及び同期情報と共に死ぬ。活動ピクチャ出力は、これらの時間中は“遊休”である。
今度は、分離したイメージャクロッキングスキーム及びレート変換器を使用して、この非効率性を低下させる利点を説明するために、“ダミー”または不活動情報が皆無であり、全てが活動である正確に1280×720画素を含む虚構の“理想的”イメージャを考えよう。このイメージャも74.25MHzでクロックされ、ドライブクロックのタイミングギャップはビデオ信号内のブランキング時間に対応し、従ってビデオ信号と同期して駆動される。この“理想的”イメージャが比較的低価格・低クロックレートイメージャであり、その固有の物理的特性の故に、例えば60MHzより高い、そして74.25MHzでクロックされた時に性能がかなり劣化する場合には、結局は有用なピクチャを発生し得ない。これらの画素の全てを60フレーム/秒(fps)でクロックアウトするための理論的最小周波数は1280×720×60、または55.296MHzである(これは、ビデオクロックレートを乗じた活動ピクチャ効率と同一である)。この周波数は、60MHzより適当に低く、イメージャを品質60fpsビデオのために使用することを可能にする。しかしながら、このクロックはビデオ信号の74.25MHzとは非同期である。イメージャデータをビデオデータとして使用できるようにするために、レート変換器108内に実現されているメモリ記憶装置及びデータフロー管理がイメージャのデータと出力ビデオ信号とを再同期させ、不可欠のブランキング時間、即ち“遊休”時間を追加する。このように、単に、イメージャを非効率的なビデオクロッキングスキームと同期させて動作させる必要性を排除することによって、本発明は、より低価格・低クロックレートイメージャの使用を可能にしている。
別の例は、標準コンピュータモニタタイミングシーケンスのためのVESA仕様である。標準コンピュータモニタタイミングのためのVESA仕様は公表された文書であり、本明細書はその内容を参照している。1つのこのような標準VESAモニタタイミングは、一般的な60Hzにおける1024×768、即ち“XGA”モニタ解像度のためのものである。XGA標準のためのフレーム当たりのクロックの合計数は、1344×806=1083264である。しかしながら、これらの中の僅か1024×768=786432だけが活動画素データである。このため、活動ピクチャ時間効率は72.60%になる。上述した方法を“理想的”XGAセンサに適用する場合、指定されている65.00MHzのビデオ信号クロックレートから60fpsの画素クロックを減少させることができる。得られるクロック周波数は、1024×768×60=47.168MHz(即ち、65.00MHzの0.7260倍)である。この場合も、所要イメージャクロック速度を大幅に低下させており、遥かに低価格のイメージャを使用することが可能になる。
これらの例は“理想的イメージャ”を想定しているが、実際には、イメージャは若干の特別参照及びダミー情報を必要とし、また他の転送最小タイミングも要求される。これは“理想的”状況に非効率性を付加する。しかしながら、これらは処理によって最小にすることが可能であり、未だに活動ピクチャ効率を増加させようとする要望が存在しており、そして実際のイメージャにとってそれは重要である。因みに、上述したイメージャ104の読出しに関する説明は、“理想”から程遠いイメージャの読出しを処理し、不活動画素の読出しが係わっている非効率性を排除して理想的イメージャに極めて近付けることに関していた。理想に近い(非効率性が低い)イメージャを用いると、より直接的なイメージャクロッキングスキームを使用することができ、重要な長所が得られる。
図2は、高フレームレート・高品位イメージデータを得るための本発明による組合わせ方法のフローチャートである。詳述すれば、ステップ200において、イメージャデータの1つのフレームの読出しがイメージャクロック102によって開始される。ステップ202において、イメージャ画素アレイの第2の部分内に保持されているデータが、適切なタイミングパルスによってスキップされる(クロックされない)。これは、垂直転送パルスを使用して初期の望ましくない画素データの行をスキップすることからなる。ステップ204において、イメージャ画素アレイの第1の部分内に保持されている所要画像データが、イメージャクロックレートと同期するレートでイメージャからレート変換器へクロックされる。ステップ202及び204は、不要画素をスキップして第1の部分を読出すように反復される。ステップ206において、レート変換器は、イメージャデータをイメージャドメインクロッキングスキームから、ビデオクロックレート及びビデオドメインクロッキングスキームに変換する。ステップ208において、レート変換器は、ビデオドメインデータを、応用に適切なビデオ出力データとしてビデオクロックレートでクロックアウトする。ステップ206及び208は、イメージャ読出しステップ202、204と同時に遂行される。ビデオフレームレートは、イメージャフレームレートより高速であることができるが、イメージャフレームレートと同一であることもできる。また、ステップ202及び204のイメージャ読出し方法はイメージャのフレームレートをその公称値から増加させるが、より理想的なイメージャに関して上述したように、このような読出し方法202、204は使用する必要がなく、全ての、または実質的に全てのイメージャデータをステップ204においてクロックアウトすることができる。
次に図3−5を参照する。イメージャ読出しクロッキングスキームの特定の実施の形態を、VESA 1024×768標準イメージャであるソニーのICX204AL CCDに基づいて説明する。このイメージャは全く非効率であるので、上述した(図2の)ステップ202、204のような読出し方法を使用できることが好ましい。この特定のイメージャの場合、図3の特別データ302(イメージのトップラインは図の底に位置している)は、1つのリーディングダミー行及び7つのリーディング参照画素行308と、2つのトレーリング参照画素行306と、29のリーディングダミー及び3つのリーディング参照画素列312(これは所望ラインのために常にクロックアウトしなければならない)と、40のトレーリング参照画素列310とを含む。(ICX204AL CCDイメージャの仕様は公に入手可能であり、本明細書はこれらの仕様の内容を参照している。)仕様書に推奨されているタイミングを使用した時のICX204AL CCDシステムの効率は、不活動イメージデータが原因で約72.60%である。本発明は、全フレーム期間を活動データだけをクロックアウトするために使用し、光学的ブラック領域のクロックアウトは可能な限り少なくする。これによって時間効率は100%近くまで増加し、最小の水平転送クロック周波数で最大のフレームレートを達成することができる。
詳述すれば、図4は、あるフレームの開始時に不要画素データの行をスキップするための典型的なタイミングシーケンスの詳細を示す図である。V1、V2A/B、及びV3は垂直レジスタ転送クロックを表し、H1及びH2は水平レジスタ転送クロックを表し、そしてRGはリセットゲートクロックを表している。これらは、ICX204ALイメージャのクロッキング信号入力ピンに対応している。クロッキングスキームは、推奨されたパルス幅のXSG(フレーム転送パルス)で開始される。それに直ちに続くのは連続VΦ転送パルスシーケンスであり、水平転送クロッキングは発生しない。これらは、如何なるダミービット及び光学的ブラックライン308をもパスさせ、ビデオの最初のラインをCCDの水平シフトレジスタ内へ配置させる。XSG及びVΦ転送パルスのパルス幅は、特定のCCDに指定されているものであっても、または最速の実施例を見出すために経験的に決定された最小値であってもよい。この点から、最初の活動ビデオライン内の所要画素がクロックアウトされ、垂直転送パルスが直ちに送られ、次のラインが直ちに開始される。
爾後のラインのための付加的な典型的タイミングを図5に示す。図5に示されているSUBは、サブストレートクロックを表している。図5に示されているパルス幅は、クロックV1、V2、及びV3の垂直転送パルスの1つのシーケンスのタイミング中に水平クロックH1及びH2が中止されていることを強調するために、詳細に示されていることに注目されたい。これは、最終活動ラインの最終必要活動画素がクロックアウトされるまで反復され、その時点でXSGが直ちに送られ、遅延なく次のサイクルが開始される。正確に1露出フレーム期間が経過している。
本発明の別の特色は、画素アレイの第2の部分に対応する残留電荷の処理を含む。イメージャ104の露出期間中に、画素アレイの第2の、不要部分も電荷を累積するが、これはイメージャから除去する必要がある。そのようにしなければ、得られる画像が劣化する。典型的には、露出期間の終わりに露出が完了した時に、電荷をフォトダイオードのアレイ(収集領域)からアナログ記憶位置の並列アレイ(転送領域)内へ転送する。転送領域は、シフトレジスタ回路を使用している。このシフトレジスタは、電荷をステージからステージへシフトさせ、最終的にはレジスタからシフトアウトさせるためのタイミング及び転送パルスを受信する。上述したように、画素アレイの第2の部分については、電荷の通常のシフトアウトはバイパスされる。本発明は、転送領域内の画素アレイの第2の部分に関連する画素の複数の行またはグループを組合わせ、それらをイメージャ104から一緒にシフトアウトさせ、それにより時間を節約することによって、累積した電荷の潜在的問題を解消する。詳述すれば、残留電荷の転送による除去は、図4及び5に示す垂直転送パルスのシーケンスの後の水平転送パルスの初期シーケンスに対応させることができる。各フレーム中に、望ましくない画素の全ての行がこれらの垂直転送パルスによってCCDの転送区分内へ転送され、次いで水平転送パルスH1及びH2の1またはそれ以上のシーケンスによって同時にクロックアウトされて電荷が除去される。また、先行フレームの望ましくない最後の行及び現フレームの初めの行の両者を組合わせ、一緒にクロックアウトすることができる。同様に、図5に示すように、所望の画素データの1つのラインの終わりに、望ましくない全画素を一緒にCCDの転送区分内へシフトさせ、次のラインの初めに一連の水平転送パルスによってクロックアウトさせることができる。異なる特定のCCDイメージャ設計に対しても、この残留電荷転送を他のさまざまな実施によって遂行することができる。
本発明の別の特色は、累積時間即ち露出時間を短縮させるために、CCDまたはイメージャの累積領域内の電荷を消去する0SUBまたは“電子シャッタ”パルスの処理を含む。これは、飽和した出力をもたらし得る高光強度の場合に有用である。図6を参照する。好ましい方法は、VΦシーケンスと同期した0SUBパルスを送出することである。図6に示すように、もしVΦシーケンスの時間を越える0SUBパルス(公称2マイクロ秒幅の)を望むのであれば、0SUBパルスが出力データを劣化させないように、水平パルスを時間的に遅らせることができる。別の可能な方法は、VΦシーケンス中にではなく、正確な所望露出時間を与えるイメージャ出力ストリーム中の何処かで、水平転送パルスを休止させて0SUBを配置することであり得る。
図7に、タイミング発生器100の好ましい実施の形態をブロック図で示す。タイミング発生器100はビデオクロック700を含む。このビデオクロック700は、所望ビデオ標準(例えば、SMPTEまたはVESA標準)に同期しているビデオクロック信号をライン716上に供給する。イメージャクロック702は、別のイメージャクロック信号をライン710上に供給する。イメージャクロック信号は、イメージャタイミングロジック706へ供給される。イメージャタイミングロジック706は、イメージャ104(図1)を読出すために使用されるタイミング信号のシーケンスを生成し、これらのタイミング信号は第1の組のタイミング信号102として供給される。例えば、イメージャタイミングロジック706は、上述したソニーのICX204AL CCDイメージャの場合、図4−5に示したタイミング信号のシーケンスを生成することができる。一般的には、イメージャクロックはビデオクロックと同期しておらず、レート変換器108によってイメージャデータをビデオに同期させることを可能にしているが、基礎となる参照クロックを有していることが望ましい。これは、主同期回路ブロック704によって与えられる。この回路ブロックは、好ましくは、利用可能な最高クロックレート(殆どの応用においては、これはビデオクロックであることができる)を使用する。従って、図示のように、主同期回路ブロックはライン708からビデオクロックを受信し、同期信号をライン712及び714上へ供給する。ライン712上の信号は、選択されたイメージャクロック信号のエッジを同期信号/ビデオクロックに位置合わせする(好ましくは、フレーム当たり1回の“フレーム同期”として実現する)ためにイメージャタイミングロジック706によって使用される。ライン714上の同期信号は、上述したように、ライン716上のビデオクロック信号と共に、第2の組のクロック信号114として出力される。
図8に、レート変換器108の好ましい実施の形態を示す。図示のように、レート変換器はメモリ800を含んでいる。メモリ800は、イメージャデータ106を受信し、イメージャデータをビデオクロッキングスキームに同期させることを可能にするためにそれを一時的にバッファする。レート変換器は更に、図示した特定の実施の形態においては、回路ブロック802、804、及び806からなるレート変換器制御ロジックを含んでいる。メモリ800は、分離したRAMのような如何なる適切なメモリであることも、またはビデオ出力デバイス内に組込まれている利用可能な記憶装置であることもできる。メモリ800はまた、ビデオデータの1フレーム全体に等しい容量を有することも、またはレート変換器108からシームレスビデオ出力を供給することができるならば、ビデオフレームの1フレームより小さい容量を有することもできる。メモリ800内へのデータの読込み、及びメモリ800からのデータの読出しは、メモリ制御回路ブロック802によって制御される。この回路ブロックは、イメージャクロック102及びビデオクロック114の両方を受信し、データは、イメージャレートと同期するレートでメモリ800内へクロックインされ、ビデオレートとは非同期でクロックアウトされる。ビデオ出力発生器804及びビデオタイミングロジック806は、適切なブランキングデータを挿入して特定のビデオタイミングフォーマットに対応するブランキング時間を充填することによって、メモリ800からのデータ出力をビデオフォーマットに変換する。これらのブランキング期間中、ビデオタイミングロジック806は回路ブロック802に制御信号808を供給し、メモリ800からの実際の画素データの読出しを中断させる。この結果、イメージデータ106よりも高いクロックレートで、ビデオデータ116を出力させることができる。また、ビデオデータ116は、ブランキングデータのブランキング期間を含む所望のビデオ出力クロッキングスキームと同期しており、一方イメージャデータ106は、このスキームと同期してはおらず、またレート変換器108内へクロックされるダミーまたは参照画素データを含まない。
図9は、高品位カメラとしての図1のシステムの実施例のブロック図である。システムの同期は、タイミング発生器100によって開始される。タイミング発生器100は、CCD104に第1の組のタイミング信号102(CCDクロック信号)を供給し、垂直クロック、水平クロック、及びRGクロックのようなCCD104タイミング機能を同期させる。次いで、CCD104は、参照電圧及びデータ電圧を含むエンコードされたビデオ画像信号106を出力する。これらの電圧は、CCDからの各水平クロックパルス出力内に存在する。信号906は相関型二重サンプラー908へ供給される。二重サンプラー908は、参照と信号906のデータ電圧とを比較することによってイメージ信号910を計算する。アナログプロセッサ912は、増幅、ホワイトバランス、濾波等のような何等かの共通アナログ信号処理機能を遂行することができる。アナログプロセッサ912の出力はアナログ・ディジタル変換器916へ印加され、アナログ・ディジタル変換器916は信号914を所望の周波数でサンプルしてディジタル画像データ918として出力する。画像データ918は、オプションとしてのディジタル信号プロセッサ920へ入力される。ディジタル信号プロセッサ920は、ディジタルカメラにおいて典型的に実現される強調、濾波、変換等のような共通ディジタル信号処理機能を遂行することができる。ディジタル信号プロセッサ920は、処理された画像データ922をタイミング発生器100のCCDクロック信号と同期したレートでレート変換器922(レート変換器制御ロジック924及びメモリ926を含む)へ出力する。メモリ926は、データバス928を通して制御ロジック924に結合され、該ロジック924によって論理的に制御されるRAMブロックからなる。RAMブロック926はデータバッファとして動作し、一方ロジック924はCCDクロックレートで受信した画像データ922を、ビデオクロックレート114と同期しているビデオ出力データ923に変換する。このように、RAMブロック926及び制御ロジック924は、前述したレート変換器108と同じように動作する。
出力データ923は、ディジタル信号プロセッサ932によって付加的な、オプションとしての処理を受けることができる。この点において、プロセッサ932からのビデオデータ934は、それがディジタルカメラ、またはアナログカメラの何れにおいて使用することを意図されているのかに依存して、2つのデータラインの何れかへ出力される。ディジタル出力の場合、データ934はディジタルドライバ936へ印加され、増幅されてディジタル出力938へ結合される。アナログ出力の場合、データ934は先ずディジタル・アナログ変換器940へ印加される。変換された後に、ビデオデータはアナログドライバ942によって増幅され、アナログ出力944へ結合される。
以上のように、図9の実施例は、HDTV、または他の高品位応用に使用することができる低価格・高フレームレート・高品位カメラを提供する。
以上の説明から、本発明が、低価格イメージャを使用し、製造者によって指定されているよりも遥かに高速の、60フレーム/秒の標準までの、及びもし必要ならば、それ以上のフレームレートでビデオを生成するイメージングシステム及び方法を提供することが理解されたであろう。本発明は更に、有用なデータ出力をクロッキングする最も効率的な方法を使用する、それによってそのフレームレートを増加させた電子イメージャを提供する。本発明は更に、イメージャクロックレートがビデオ出力標準と同期している時に、データを同期させるシステム及び方法を提供する。本発明は更に、標準HD CCDまたは他のイメージャを用いて、遊休時間を排除し、使用されないライン及び画素の不要なクロッキングをバイパスし、有用なデータ出力のクロッキングの最も効率的な方法を使用するように該イメージャをクロックするシステム及び方法を提供する。本発明は更に、データの残留電荷をバイパスし、イメージャから転送されて出力されることがないようにそれを排除するシステム及び方法を提供する。本発明は更に、特に、医療、工業、娯楽、監視、及び放送応用における使用に適する低価格・高品質・高品位ビデオカメラを提供する。当業者ならば、本発明の他の面及び特色は理解することができよう。
以上に本発明のさまざまな実施の形態を説明したが、当業者ならば、本発明の範囲内において他の多くの実施の形態及び実施例を考案することができよう。図示し、説明した特定の構造におけるこれらの変化は、本発明の思想から逸脱することなく特許請求の範囲内で実施することができる。従って、以上の説明が本発明の範囲を限定する意図の下でなされたものではないことを理解されたい。
本発明による高フレームレート・高品位イメージングシステムのブロック図である。 高フレームレート・高品位イメージを発生させる本発明による方法の一実施の形態のフローチャートである。 例示イメージャにおける活動画素及び不活動画素を示す図である。 本発明によるイメージャ読出しタイミングシーケンスの例を示すタイミング図である。 水平タイミングパルスを描いてあるイメージャ読出しタイミングシーケンスの拡大タイミング図である。 水平タイミングパルスを0SUBパルスと共に描いてある別のイメージャ読出しタイミングシーケンスの拡大タイミング図である。 図1のイメージングシステムに使用されているタイミング発生器の好ましい実施の形態のブロック図である。 図1のイメージングシステムに使用されているレート変換器の好ましい実施の形態のブロック図である。 本発明による高品位カメラシステムの実施例のブロック図である。

Claims (40)

  1. イメージングシステムであって、
    イメージャクロックレートを有するイメージャクロック信号、及び前記イメージャクロックレートより大きいビデオクロックレートを有するビデオクロック信号を供給するタイミング発生器と、
    前記イメージャクロック信号を受信するイメージャクロック入力、及びデータ出力を有するイメージャと、
    前記イメージャのデータ出力及び前記タイミング発生器に結合されていて前記イメージャクロック信号及び前記ビデオクロック信号を受信するレート変換器と、
    を含み、
    前記レート変換器は、前記イメージャクロックレートと同期するレートでイメージャデータを受信し、前記ビデオクロックレートでビデオデータを出力する、
    ことを特徴とするイメージングシステム。
  2. 前記イメージャは、前記イメージャによって捕捉された画像を表す画素データを保持する画素アレイを含み、前記画素アレイは第1及び第2の部分を有していることを特徴とする請求項1に記載のイメージングシステム。
  3. 前記タイミング発生器は、前記画素アレイの前記第2の部分をスキップさせ、且つ前記画素の前記第1の部分を前記イメージャから前記レート変換器へクロックさせるように、前記イメージャを制御するタイミング信号のシーケンスを生成することを特徴とする請求項2に記載のイメージングシステム。
  4. 前記タイミング発生器は水平タイミングパルス及び垂直タイミングパルスを生成し、前記水平タイミングパルスは前記イメージャクロックレートに対応していることを特徴とする請求項3に記載のイメージングシステム。
  5. 前記イメージャクロック信号及びビデオクロック信号は、互いに非同期であることを特徴とする請求項1に記載のイメージングシステム。
  6. 前記画素アレイの前記第1の部分は、所要活動画素を含むことを特徴とする請求項3に記載のイメージングシステム。
  7. 前記画素アレイの前記第2の部分は、不活動またはダミー画素を含むことを特徴とする請求項6に記載のイメージングシステム。
  8. 前記画素アレイの前記第2の部分は不要活動画素及び不活動画素の組合わせを含み、前記第1の部分は前記画素アレイの所要活動画素を含むことを特徴とする請求項3に記載のイメージングシステム。
  9. 前記イメージャはCCDであり、前記イメージャによって前記画素アレイの画素に電荷が累積され、前記画素の前記第2の部分の電荷は複数の行のグループについて同時に前記イメージャからシフトアウトされることを特徴とする請求項3に記載のイメージングシステム。
  10. 1またはそれ以上の前記水平及び垂直タイミングパルスは前記イメージャの転送部分における電荷の累積を制御し、前記水平転送クロックは前記画素データの複数の行に対応する電荷の前記イメージャからの同時転送を制御することを特徴とする請求項9に記載のイメージングシステム。
  11. 前記タイミング発生器は、
    イメージャクロックを出力するイメージャクロック発生器回路ブロックと、
    ビデオクロックを出力するビデオクロック発生器回路ブロックと、
    主同期回路ブロックと、
    前記イメージャクロック発生器及び前記主同期回路ブロックに結合されていて前記イメージャクロック信号を前記イメージャクロックレートで出力するイメージャタイミングロジックブロックと、
    を含むことを特徴とする請求項1に記載のイメージングシステム。
  12. 前記主同期回路ブロックは、前記ビデオクロック発生器回路ブロックに結合されていて前記ビデオクロックを受信することを特徴とする請求項11に記載のイメージングシステム。
  13. 前記レート変換器は、前記イメージャから画像データを受信してそれを一時的に記憶するメモリと、レート変換器制御ロジックとを含むことを特徴とする請求項1に記載のイメージングシステム。
  14. 前記レート変換器制御ロジックは、前記メモリへのデータの書込み、及び前記メモリからのデータの読出しを制御するメモリ制御回路を含むことを特徴とする請求項13に記載のイメージングシステム。
  15. 前記メモリ制御回路は、前記タイミング発生器に結合されていて前記イメージャクロック信号と同期する信号及び前記ビデオクロック信号を受信することを特徴とする請求項14に記載のイメージングシステム。
  16. 前記レート変換器制御ロジックは更に、前記メモリ制御回路及び前記タイミング発生器に結合されていて前記ビデオクロック信号を受信するビデオタイミングロジックを含み、前記ビデオタイミングロジックは、前記出力ビデオデータのブランキング期間中の前記メモリからのデータの読出しを中断させるように前記メモリ制御回路を制御することを特徴とする請求項15に記載のイメージングシステム。
  17. 前記レート変換器制御ロジックは更に、前記メモリ及び前記ビデオタイミングロジックに結合されているビデオ出力発生器を含み、前記ビデオ出力発生器は、前記メモリから出力ビデオデータを受信し、前記メモリの読出しが中断されているブランキング期間中にブランキングデータを挿入し、そして実際の画素データ及びブランキングデータを有する出力ビデオデータを前記ビデオクロックレートで出力することを特徴とする請求項16に記載のイメージングシステム。
  18. 前記出力ビデオデータは、VESA標準タイミングで供給されることを特徴とする請求項17に記載のイメージングシステム。
  19. 前記出力ビデオデータは、SMPTE HDTV標準タイミングで供給されることを特徴とする請求項17に記載のイメージングシステム。
  20. フレームレートを増加させたイメージングシステムであって、
    不活動画素を含む画素のアレイ、画像データを供給する出力、及び読出しタイミング制御信号を受信する1またはそれ以上の制御入力を有する画像センサと、
    前記画像センサの前記制御入力へタイミングパルスを供給し、前記画素アレイの不活動画素の少なくとも若干をスキップさせ、且つ前記画素アレイの所要部分から画像データをクロックアウトさせ、それによって前記画像センサのフレームレートを実効的に増加させるために前記画像センサの読出しを制御するタイミング発生器と、
    を含むことを特徴とするフレームレートを増加させたイメージングシステム。
  21. 前記タイミングパルスは、前記画素アレイの複数のダミーの行、及び/または参照、及び/または不要活動画素をスキップさせるための一連の連続垂直転送パルスを含む垂直及び水平タイミングパルスからなることを特徴とする請求項20に記載のフレームレートを増加させたイメージングシステム。
  22. 前記タイミングパルスは、前記画素アレイの所要部分の1つのラインの終わりの複数のダミー、及び/または参照、及び/または不要活動画素をスキップさせるための前記ラインの終わりに先立つ垂直転送パルスを含む垂直及び水平タイミングパルスからなることを特徴とする請求項20に記載のフレームレートを増加させたイメージングシステム。
  23. 前記画像センサはCCDイメージャであり、前記画素アレイに対応付けられた累積領域及び転送領域を含むことを特徴とする請求項20に記載のフレームレートを増加させたイメージングシステム。
  24. 前記タイミングパルスは、前記画像データを前記累積領域から前記転送領域へ転送し、次いで前記イメージャから出力させるための垂直及び水平タイミングパルスからなり、使用されない画素データの複数の行は、前記垂直タイミングパルスを使用して前記水平転送領域内へ転送され、前記水平タイミングパルスを使用して一緒にクロックアウトされることを特徴とする請求項23に記載のフレームレートを増加させたイメージングシステム。
  25. 低めのクロックレートで動作するイメージャを使用して高品位ビデオデータを発生させる方法であって、
    イメージャクロックレートのイメージャクロック信号を使用して前記イメージャから画像データをクロックするステップと、
    前記イメージャデータを、前記イメージャクロックレートより大きいビデオクロックレートでビデオデータに変換するステップと、
    を含むことを特徴とする方法。
  26. 前記イメージャデータをビデオデータに変換するステップは、前記画像データをメモリ内にバッファするステップを含むことを特徴とする請求項25に記載の方法。
  27. 前記イメージャデータをビデオデータに変換するステップは更に、前記イメージャデータを前記イメージャクロックレートと同期するレートで前記メモリ内に書込むステップと、前記データを異なるクロックレートで前記メモリから読出すステップとを含むことを特徴とする請求項26に記載の方法。
  28. 前記イメージャデータをビデオデータに変換するステップは更に、前記ビデオデータのブランキング期間に対応するブランキングデータを前記イメージャデータ内に挿入するステップを含むことを特徴とする請求項27に記載の方法。
  29. 前記イメージャデータをビデオデータに変換するステップは更に、前記ブランキング画素データの挿入中に前記メモリからのデータの読出しを中断させるステップを含むことを特徴とする請求項28に記載の方法。
  30. 前記イメージャクロック信号は、前記ビデオデータとは非同期であることを特徴とする請求項25に記載の方法。
  31. 前記ビデオデータは、VESA標準タイミングで出力されることを特徴とする請求項30に記載の方法。
  32. 前記ビデオデータは、SMPTE HDTV標準タイミングで出力されることを特徴とする請求項30に記載の方法。
  33. 第1及び第2の部分を有する画素アレイを有するイメージャのフレームレートを増加させる方法であって、
    前記画素アレイの前記第2の部分をスキップするステップと、
    前記画素アレイの前記第1の部分内に保持されている画像データを、イメージャ制御タイミング信号を使用して前記イメージャからクロックするステップと、
    を含むことを特徴とするイメージャのフレームレートを増加させる方法。
  34. 前記画素アレイの前記第2の部分をスキップするステップは、前記イメージャへ一連の連続垂直転送パルスを供給して前記第2の部分内の画像データの複数の行をスキップさせるステップを含むことを特徴とする請求項33に記載のイメージャのフレームレートを増加させる方法。
  35. 前記画素アレイの前記第2の部分をスキップするステップは、前記画素アレイの1つのラインの終わりに先立って垂直転送パルスを供給して前記ラインの終わりの画素をスキップさせるステップを含むことを特徴とする請求項33に記載のイメージャのフレームレートを増加させる方法。
  36. 前記画素アレイの前記第1の部分は所要活動画素及び所要不活動画素からなり、前記画素アレイの前記第2の部分は不活動画素及び不要活動画素からなることを特徴とする請求項33に記載のイメージャのフレームレートを増加させる方法。
  37. 前記不活動画素は、一般的に、標準ビデオタイミングスキームのブランキング期間に対応していることを特徴とする請求項36に記載のイメージャのフレームレートを増加させる方法。
  38. 前記標準ビデオタイミングスキームは、VESA標準タイミングであることを特徴とする請求項37に記載のイメージャのフレームレートを増加させる方法。
  39. 前記標準ビデオタイミングスキームは、SMPTE HDTV標準タイミングであることを特徴とする請求項37に記載のイメージャのフレームレートを増加させる方法。
  40. 前記イメージャはCCDであり、前記方法は更に、前記画素アレイの前記第2の部分に対応する電荷をクロックアウトするステップを含むことを特徴とする請求項33に記載のイメージャのフレームレートを高める方法。
JP2005518596A 2003-03-07 2004-03-05 高フレームレート・高品位イメージングシステム及び方法 Pending JP2006519521A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US45264603P 2003-03-07 2003-03-07
US10/793,562 US8218052B2 (en) 2003-03-07 2004-03-04 High frame rate high definition imaging system and method
PCT/US2004/006850 WO2004081866A2 (en) 2003-03-07 2004-03-05 High frame rate high definition imaging system and method

Publications (1)

Publication Number Publication Date
JP2006519521A true JP2006519521A (ja) 2006-08-24

Family

ID=32930732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005518596A Pending JP2006519521A (ja) 2003-03-07 2004-03-05 高フレームレート・高品位イメージングシステム及び方法

Country Status (7)

Country Link
US (1) US8218052B2 (ja)
EP (1) EP1602226A4 (ja)
JP (1) JP2006519521A (ja)
KR (1) KR100765880B1 (ja)
AU (1) AU2004219236B8 (ja)
CA (1) CA2516503C (ja)
WO (1) WO2004081866A2 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586526B2 (en) * 2001-03-29 2009-09-08 Canon Kabushiki Kaisha Image sensing apparatus with at least two transfer speeds and its control method
JP4612906B2 (ja) * 2003-09-12 2011-01-12 キヤノン株式会社 シーケンスを送信する方法、装置、及びコンピュータ・プログラム
JP4140518B2 (ja) * 2003-12-15 2008-08-27 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4687155B2 (ja) * 2005-03-09 2011-05-25 ソニー株式会社 固体撮像装置およびその駆動方法
JP4664118B2 (ja) * 2005-05-16 2011-04-06 富士フイルム株式会社 固体撮像装置
JP5168595B2 (ja) * 2006-05-22 2013-03-21 トムソン ライセンシング イメージセンサおよびイメージセンサのピクセル読出し方法
US20080054320A1 (en) * 2006-08-31 2008-03-06 Micron Technology, Inc. Method, apparatus and system providing suppression of noise in a digital imager
CN101146217A (zh) * 2006-09-14 2008-03-19 鸿富锦精密工业(深圳)有限公司 摄像监控系统以及该系统的控制装置和控制方法
TW200826640A (en) * 2006-12-08 2008-06-16 Altek Corp Method of accelerating image capturing process and the related digital image capturing device
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5367459B2 (ja) * 2009-05-28 2013-12-11 株式会社東芝 半導体撮像装置
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5513872B2 (ja) * 2009-12-18 2014-06-04 株式会社東芝 固体撮像装置
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10033989B2 (en) * 2013-07-05 2018-07-24 Mediatek Inc. Synchronization controller for multi-sensor camera device and related synchronization method
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN107077743B (zh) 2014-09-29 2021-03-23 快图有限公司 用于阵列相机的动态校准的系统和方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP6999381B2 (ja) * 2017-11-28 2022-01-18 シャープ株式会社 固体撮像装置
US11176386B2 (en) * 2019-07-08 2021-11-16 Nxp Usa, Inc. System and method for continuous operation of vision/radar systems in presence of bit errors
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004162A (es) 2019-10-07 2022-07-12 Boston Polarimetrics Inc Sistemas y metodos para el aumento de sistemas de sensores y sistemas de formacion de imagenes con polarizacion.
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
CN115552486A (zh) 2020-01-29 2022-12-30 因思创新有限责任公司 用于表征物体姿态检测和测量系统的系统和方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
KR20220168742A (ko) 2021-06-17 2022-12-26 삼성전자주식회사 인터럽트 제어를 수행하는 이미지 신호 프로세서 및 이미지 처리 시스템
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0671306B2 (ja) * 1983-03-30 1994-09-07 キヤノン株式会社 画像読み取り装置
DE3887547T2 (de) * 1987-03-20 1994-08-25 Canon Kk Abbildungsgerät.
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
US5452004A (en) * 1993-06-17 1995-09-19 Litton Systems, Inc. Focal plane array imaging device with random access architecture
US5668597A (en) * 1994-12-30 1997-09-16 Eastman Kodak Company Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor
JP3808928B2 (ja) 1996-02-14 2006-08-16 オリンパス株式会社 固体撮像装置
US5841471A (en) * 1996-09-12 1998-11-24 Eastman Kodak Company Timing control for a digitally interfaced camera using variable line readout intervals
KR100247936B1 (ko) * 1997-11-11 2000-03-15 윤종용 동화상 카메라 시스템에서 리드아웃 방법 및 그 장치
JPH11150703A (ja) 1997-11-14 1999-06-02 Matsushita Electric Ind Co Ltd 画像記録装置
WO1999029829A1 (en) * 1997-12-10 1999-06-17 Kao Corporation Detergent particles and method for producing the same
JP3515352B2 (ja) 1998-01-13 2004-04-05 三洋電機株式会社 ディジタルカメラ
JP3914691B2 (ja) 2000-06-21 2007-05-16 松下電器産業株式会社 Vtr一体型撮像装置
US8023796B2 (en) * 2000-11-07 2011-09-20 Panasonic Corporation Video signal producing system and video signal recording/reproducing device in that system
JP4031706B2 (ja) * 2000-11-27 2008-01-09 ビジョン−サイエンシズ・インコーポレイテッド 解像度がプログラム可能なcmosイメージ・センサ
JP4679750B2 (ja) 2001-04-05 2011-04-27 旭化成エレクトロニクス株式会社 デジタル・ビデオフレームを構成する装置
US6982763B2 (en) * 2001-08-01 2006-01-03 Ge Medical Systems Global Technology Company, Llc Video standards converter
JP2003069871A (ja) * 2001-08-22 2003-03-07 Toshiba Corp カメラモジュール及び情報処理システム
US20040155977A1 (en) 2003-02-07 2004-08-12 Clark Airell R. Digital camera that enters a sub-sampling mode for at least one auto function

Also Published As

Publication number Publication date
US20040174439A1 (en) 2004-09-09
KR20050109538A (ko) 2005-11-21
WO2004081866A3 (en) 2005-01-06
EP1602226A2 (en) 2005-12-07
EP1602226A4 (en) 2009-09-16
KR100765880B1 (ko) 2007-10-17
CA2516503C (en) 2012-07-31
US8218052B2 (en) 2012-07-10
AU2004219236B8 (en) 2008-07-17
AU2004219236A1 (en) 2004-09-23
CA2516503A1 (en) 2004-09-23
WO2004081866A2 (en) 2004-09-23
AU2004219236B2 (en) 2007-11-08

Similar Documents

Publication Publication Date Title
US8218052B2 (en) High frame rate high definition imaging system and method
US20080024659A1 (en) Video signal processing apparatus and video signal processing method
US20010050713A1 (en) Device and method for generating timing signals of different kinds
JPH08331461A (ja) 固体撮像装置の駆動方法
JPH11112882A (ja) 撮像装置
US20120133792A1 (en) Video signal capturing apparatus, signal processing and control apparatus, and video signal capturing, video signal processing, and transferring system and method
JP2004336608A (ja) 画像データの変換方法および変換回路と、電子カメラ
JP2000125213A (ja) 固体撮像装置
EP1976272A2 (en) Image pickup apparatus and method
CN100556086C (zh) 高帧速率高分辨率成像系统和方法
JP2003060994A (ja) 撮像装置及びカメラシステム
JP2006262086A (ja) 撮像装置の駆動方法
JP4273580B2 (ja) 固体撮像素子の駆動方法および固体撮像装置
JP2008306616A (ja) 撮像装置
JPH0564082A (ja) 固体撮像装置
JP2008028608A (ja) 固体撮像装置
JP2002027332A (ja) 撮像装置
JPH05167932A (ja) 固体撮像装置
JP2642807B2 (ja) 固体撮像装置
JP2006171524A (ja) 画像処理装置
JP2006229552A (ja) ビデオカメラ
JPH09270950A (ja) 画像入力装置
JP2931531B2 (ja) 固体撮像装置
JP2003116039A (ja) 高解像度画像発生装置
JP2002125145A (ja) 撮像装置及び固体撮像素子の駆動方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080603

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080903

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081125