本明細書では、イベントタイミング画像を処理するためのシステムおよび方法が開示される。ある実施形態では、そのようなシステムは、レースの決勝線領域等の場面の複数の2次元画像を捕捉する、面スキャン画像センサを利用する。複数の2次元画像は、時間遅延積算(TDI)画像を生成するように、面スキャン画像センサと別個の時間遅延積算モジュールによって処理される。時間遅延積算が画像センサと別個に行われるため、画像読出後に、時間遅延積算プロセスは、画像捕捉中または後に柔軟に最適化されてもよい。
図1は、イベントタイミング画像を処理するための1つの例示的システム100を図示する。システム100は、例えば、決勝線を通過する走者、車、または他のタイプのレース参加者(オブジェクト135として示される)の画像を捕捉する場合に有用である。システム100は、撮像光学部120によって面スキャン画像センサ110上に撮像される場面130のデジタル2次元画像115を捕捉するための面スキャン画像センサ110を含む。システム100はさらに、時間遅延積算(TDI)モジュール140と、インターフェース150と、面スキャン画像センサ110およびTDIモジュール140のための時間信号を提供する随意の時計160とを含む。TDIモジュール140は、画像処理回路141を含む。TDIモジュール140は、随意に、時計160から受信される捕捉時間165を各デジタル2次元画像115と関連付ける。TDIモジュール140は、面スキャン画像センサ110から一連の連続デジタル2次元画像115(i)を受信し、TDIに提供するように一連の画像115(i)を処理する。それに基づいて、TDIモジュール140は、オブジェクト135が場面130を通して移動すると、それの時間的なスナップショットを提供する、単一の積算TDI画像145を出力する。
従来技術では、TDIは、読出プロセスの一部として画像センサで行われ、電荷または電圧は、TDI画像が読み取られる前に、画像センサに直接搭載されて追加される。一方で、システム100の実施形態では、TDIモジュール140による画像処理は、画像センサ110の外部で行われ、図1に示されるような画像115の読出後に、画像センサ110における画素電圧または電荷の変化ではなく、デジタル画像115の後処理を伴う。
撮像光学部120、面スキャンセンサ110、TDIモジュール140、インターフェース150、および随意の時計160が、カメラ170に組み込まれてもよい。代替実施形態では、TDIモジュール140およびインターフェース150は、外部デバイスまたはコンピュータ(図1に示されていない)において実装される。面スキャン画像センサ110は、例えば、グローバルまたはローリングシャッタを伴って構成されるCMOS面スキャン画像センサであり、後者は、グローバルまたはローリングリセットを伴って実装されてもよい。画像処理回路141は、例えば、一連の画像115を処理し、TDI画像145を生成するように構成される、フィールドプログラマブルゲートアレイ(FPGA)である。インターフェース150は、画像をユーザまたは外部コンピュータに伝達し、随意に、TDIモジュール140の制御を促進する。ある実施形態では、インターフェース150は、WiFiまたはBluetooth(登録商標)インターフェース等の無線インターフェースである。
ある実施形態では、画像処理回路141は、不揮発性メモリの中で符号化される機械可読命令と、一連の画像115からTDI画像145を生成するように、これらの機械可読命令を実行するためのプロセッサとを含む。別の実施形態では、画像処理回路141は、他の場所に位置する不揮発性メモリの中で符号化される機械可読命令を受信するための揮発性メモリと、一連の画像115からTDI画像145を生成するように、これらの機械可読命令を実行するためのプロセッサとを含む。例えば、画像処理回路141の揮発性メモリは、システム100と連結される消却可能プログラマブル読取専用(EPROM)メモリまたはフラッシュメモリから機械可読命令を受信してもよい。さらに別の実施形態では、TDIモジュール140は、システム100を起動すると実行される、例えば、ブート記録の形態において、不揮発性メモリの中で符号化される機械可読起動命令を含む。起動命令は、インターフェース150を通して読み出し、画像処理回路141にロードするための命令と、上記で議論されるように、デジタル2次元画像115(i)、随意に、捕捉時間165を処理するための機械可読画像処理命令とを含む。起動命令は、TDIモジュール140内のフラッシュメモリに記憶されてもよい。画像処理命令は、例えば、外部制御システム内の不揮発性メモリに記憶されてもよい。
図2は、画像処理回路141を使用してTDIモジュール140によって行われる、TDI画像145への連続デジタル2次元画像115の1つの例示的概略変換を示す。図3は、本プロセスでTDIモジュール140によって使用されるTDIのための1つの例示的方法300を示す。図2および3は、ともに以下の説明で最も詳しく検討される。図2では、TDI画像145内の各線146(j)は、一連の線118(i,j)の積算であり、各線118(i,j)は、異なる2次元画像115(i)から抽出される。ある実施形態では、2次元画像115(i)が捕捉されるフレームレート、および画像空間内で測定される隣接線118(i,j)の間のピッチは、(オブジェクト135がフレームにつき1本の線のレートで逐次線118(i,j)を通して進行するように)場面130を通って移動する着目オブジェクトの速度に実質的に合致するように設定される。本明細書で使用されるような「線」は、一列または行の2次元画像によって、もしくはそれに形成される、画像データを指す。決勝線を横断するレース参加者のタイミングに関係している使用のシナリオでは、線118は、有利なこととして、決勝線の画像と実質的に平行であるように配向される。決勝線画像が所与の線118と一致するように、システム100を整合させることが、さらに有益である。
方法300のステップ310では、TDIモジュール140は、一連の画像115(i)内の各デジタル2次元画像115を線118(i,j)に分割し、iは、画像を示し、jは、その画像内の線を示す(例証を明確にするために、全ての線が図2で標識されているわけではない)。一実施形態では、TDIモジュール140は、画像115を線118に分割し、画像115は、2次元画像の形態で外部ソースからTDIモジュール140によって受信される。別の実施形態では、TDIモジュール140は、線118の形態で画像115を受信し、ステップ310は、受信プロセスの一体部分として実行される。
TDI画像145はまた、(例証を明確にするために、線146(7)のみが図2で標識されているが)複数の線146(i)から成る。具体的には、ステップ320では、TDIモジュール140は、一連の線118(i,j)を形成し、各線は、異なる画像115(i)から抽出される。オブジェクト135が場面130を通して移動すると、オブジェクト135の捕捉された画像が線118(i,j)を横断して移動する。例えば、図2に示されるように、オブジェクト135の特定の部分(走者の胴体)が、画像115(1)内の線118(1,6)の中、画像115(2)内の線118(2,7)の中、および画像115(3)内の線118(3,8)の中に位置する。ステップ320で形成される一連の線118(i,j)は、オブジェクト135が連続的に捕捉された画像115(i)を通して進行すると、その移動を追跡する。
ステップ330では、TDIモジュール140は、単一の積算線146(j)を形成するように、一連の線118(i,j)を積算する。例えば、積算線のn番目の画素は、一連の線118(i,j)の中の全てのn番目の画素の合計である。ステップ340では、TDI画像145の線146(j)は、ステップ330で生成される積算線に等しく設定される。図2の走者の胴体の実施例を使用して、画像115(1)からの線118(1,6)、画像115(2)からの線118(2,7)、および画像115(3)からの線118(3,8)は、単一の積算線146(7)を形成するように、ステップ330で積算される。ステップ330は、部分TDIを利用してもよく、単一の積算線146(7)は、線118(i,j)の非整数の数の積算である。例えば、線146(7)は、線118(1,6)+線118(2,7)+x線118(3,8)として形成されてもよく、xは、0より大きく、1より小さい数である。部分TDIは、図9の方法900に関連してさらに議論される。
ステップ320から340は、TDI画像145の全ての線146(j)が生成されるまで繰り返される。一連の画像115(i)の異なるサブセットが、TDI画像145の異なる線146(j)を生成するために使用され得ることに留意されたい。
ステップ360では、TDI画像が出力される。例えば、TDIモジュール140(図1)は、TDI画像145をインターフェース150に出力する。インターフェース150は、外部処理システム等の外部システムに接続されてもよく、それによって、TDIモジュール145は、TDI画像を外部処理システムに出力する。
図2の実施例では、3つの連続画像115(1)、115(2)、および115(3)が、TDI画像145を生成するようにTDIモジュール140によって処理される。オブジェクト135が場面130を通して移動すると、オブジェクト135の位置は、各逐次フレームについて1本の線だけ偏移する。オブジェクト135の特定の部分(走者の胴体)は、画像115(1)内の線118(1,6)の中、画像115(2)内の線118(2,7)の中、および画像115(3)内の線118(3,8)の中に位置する。TDI画像145の線146(7)は、画像115(1)の線118(1,6)、画像115(2)の線118(2,7)、および画像115(3)の線118(3,8)の積算である。画像115(3)に類似するが、TDI画像145は、より優れた輝度および向上した信号対雑音比を伴うオブジェクト135を示す。したがって、画像は、図1−3のTDI処理を利用しないシステムと比較して、より高速で移動するオブジェクトの速度に合致するようにより高いフレームレートで、または劣った照明環境で、面スキャン画像センサ110によって捕捉されてもよい。TDI処理がないと、着目オブジェクトを識別する十分な感受性の画像を捕捉するために、より遅いフレームレートが必要とされ、より粗い時間分解能をもたらす。
図2に図示されるように、TDI画像145は、TDI画像145の線146(7)に対応するように位置する、決勝線等の線を通過するオブジェクト135のタイミングのために好適である。したがって、TDI画像145は、画像115(2)の捕捉時間等の画像115(2)と関連付けられる時間である、タイムスタンプを与えられてもよい。したがって、図2に図示される実施例は、本明細書の範囲から逸脱することなく、TDI画像145の別の線146(i)に対応する線を通過するオブジェクト135のタイミングのために修正されてもよい。例えば、TDI画像145の線146(8)は、画像115(1)の線118(1,6)、画像115(2)の線118(2,7)、および画像115(3)の線118(3,8)の積算を投入されてもよく、結果として生じるTDI画像145は、画像115(3)と関連付けられる時間である、タイムスタンプを与えられてもよい。概して、TDI画像145に寄与する積算は、決勝線に対応するTDI画像145の任意の線146(i)、または他のタイミング線を用いて、行われてもよい。それと一致して、TDI画像145は、TDI画像145に寄与する任意の画像115の時間である、タイムスタンプを与えられてもよい。
TDIモジュール140(図1)の画像処理回路141は、図2および3に関連して議論されるように、場面を通過するオブジェクトの移動の方向を仮定することによって、画像115(i)を処理するように構成されてもよい。TDIモジュール140の画像処理回路141によって行われる処理はまた、オブジェクト移動の異なる方向のために最適化するように適合されてもよい。一実施形態では、面スキャン画像センサ110は、画素の長方形のアレイとして実装され、画像115の線118(i,j)は、面スキャン画像センサ110の画素の行または列のいずれか一方と一致するように自然に配向される。線118(i,j)のこれら2つの配向のそれぞれに関して、画像115は、線118(i,j)と垂直な2つの方向のいずれか一方へのオブジェクト移動のために最適化するように処理される。一連の画像115(i)は、オブジェクト移動の異なる方向のためにそれぞれ最適化される、いくつかの異なるTDI画像を提供するように、いくつかの異なる方法でTDIモジュール140の画像処理回路141によって処理されてもよい。
一実施形態では、画像115(i)の線118(i,j)は、面スキャン画像センサ110の全アクティブ領域を使用することに対応する、画素の長方形のアレイとして実装される、面スキャン画像センサ110の行または列のいずれか一方の完全な数を表す。別の実施形態では、画像115は、画像115(i)の線118(i,j)が面スキャン画像センサ110の行および/または列のサブセットのみを表すように、アクティブ領域の一部のみを含む。さらに別の実施形態では、画像115は、全アクティブ領域を含むが、画像115(i)の線118(i,j)が面スキャン画像センサ110の行および/または列のサブセットのみを表すように、その一部のみがTDIモジュール140によって利用される。
ある実施形態では、ステップ320から360は、場面の異なるサブセットを表す2つのそれぞれのTDI画像を生成するように、面スキャン画像センサ110のアクティブ領域の2つの異なる非隣接部分のために繰り返される。例えば、面スキャン画像センサ110および撮像光学部120は、レースの決勝線が撮像光学部120の光軸に交差するように整合させられてもよい。場面130の面スキャン画像センサ110によって捕捉される画像115の1つの選択された部分が、レースの決勝線を横断するレース参加者を示す一方で、画像115の別の選択された部分は、実際の決勝線の前に位置する、二次「決勝前線」を横断するレース参加者を示す。画像115の決勝線部分から生成されるTDI画像では、レース参加者が相互を塞ぎ得る。決勝前線が撮像光学部120の光軸に交差しないため、画像115の決勝前線部分から生成されるTDI画像は、より正面の図でレース参加者を示すであろう。したがって、レース参加者は、決勝前線TDI画像によって提供される図で、より容易に分離され得る。
図1−3のシステムおよび方法は、TDI画像を直接出力する従来技術の電荷結合素子(CCD)システムと異なる。従来技術のCCDでは、異なる時間でCCD上の異なる場所に蓄積される光誘起電荷が、TDI画像を生成するように、同期画像センサ読出プロセスの一部として積算される。対照的に、図1−3のシステムおよび方法は、2次元画像の生成に基づき、これらの2次元画像の画像画素値は、TDI画像を生成するように画像センサの外側で処理され、TDI画像の種々の側面の捕捉後最適化を可能にする。そのような側面は、TDI画像輝度、ダイナミックレンジ、鮮明さ、雑音レベル、および分解能(例えば、図4−18を参照)を含むが、それらに限定されない。さらに、TDI画像を生成するための現在開示されているシステムおよび方法は、カメラ整合(図27−31)もしくはビデオ生成(図32−34)等のTDI以外の目的で使用され得る、2次元画像を生成および/または利用し、生成される2次元画像の異なる部分は、異なるように処理ならびに/もしくは利用されてもよい(例えば、図3、10、11、および19参照)。
図4は、1つの例示的ベイヤー型カラー面スキャン画像センサ400を図示する。カラー面スキャン画像センサ400は、図1の面スキャン画像センサ110の実施形態である。カラー面スキャン画像センサ400は、ベイヤー型画素アレイを含む。本開示では、ベイヤー型画素アレイは、各色画素が、第1の色に対して感受性がある1つの第1のタイプのフォトサイト、第2の色に対して感受性がある1つの第2のタイプのフォトサイト、および第3の色に対して感受性がある1つの第3のタイプのフォトサイトから成る、あるタイプの画素アレイである。カラー面スキャン画像センサ400の各色画素420は、4つのフォトサイト421、422、423、および424から成る。ある実施形態では、フォトサイト421は、赤色(R)光に対して感受性があり、フォトサイト422および423は、緑色(G)光に対して感受性があり、フォトサイト424は、青色(B)光に対して感受性がある。カラー面スキャン画像センサ400は、色画素の3本の線410(1)、410(2)、および410(3)を有するものとして図4に図示されている。ある実施形態では、線410は、オブジェクト、例えば、オブジェクト135(図1)の運動の方向と実質的に垂直に配向される。各線410は、複数の色画素420を含む。1つだけの色画素420が、図4の各線410について図示されている。線410(1)は、色画素420(1)を含み、線410(2)は、色画素420(2)を含み、線410(3)は、色画素420(3)を含む。色画素420(1)、420(2)、および420(3)は、対応する線410(2)、410(2)、および410(3)内の同一の垂直位置に位置してもよい。オブジェクトが移動すると、時間が進むにつれて、オブジェクトの実質的に同一の部分が、色画素420(1)、420(2)、および420(3)のそれぞれによって撮像されてもよい。例えば、カラー面スキャン画像センサ400は、図2および3に関連して議論されるように、オブジェクトがフレームを通して移動する速度に合致するフレームレートで、画像を捕捉してもよい。カラー面スキャン画像センサ400は、本明細書の範囲から逸脱することなく、3本より多くの線410から成ってもよい。同様に、フォトサイト421、422、423、および424は、本明細書の範囲から逸脱することなく、色画素420内で異なるように配列されてもよい。例えば、フォトサイト421、422、423、および424のうちの2つまたはそれを上回るものの場所は、図4の説明図と比較して交換されてもよい。オブジェクトの例示的移動方向は、矢印430によって示される。
図5は、ベイヤー型画素アレイを有するカラー面スキャン画像センサによって捕捉される画像からTDI画像を生成するための1つの例示的方法500を図示する。方法500は、本明細書の範囲から逸脱することなく、各色画素が2×2フォトサイトアレイから成る、カラー面画像センサによって捕捉される画像からTDI画像を生成するステップまで拡張されてもよい。方法500は、面スキャン画像センサ110(図1)として実装される図4のカラー面スキャン画像センサ400を用いた、システム100(図1)によるTDI画像の生成に適用可能な方法300(図3)の実施形態である。方法500は、着目オブジェクトがフレームにつき1本の線のレートでカラー面スキャン画像センサの線118(図2)を通して進行するようなフレームレートで、カラー面スキャン画像センサが画像115(図1および2)を捕捉すると仮定する。例えば、カラー面スキャン画像センサ400(図4)は、オブジェクト135(図1)が矢印430(図4)によって示される方向にフレームにつき1本の線のレートで線410(図4)を通して進行するようなレートで、場面130(図1)の画像を捕捉する。方法500は、例えば、TDIモジュール140(図1)によって行われる。
ステップ510では、カラー面スキャン画像センサによって捕捉される各2次元画像が、行の形態で受信される。行は、方法300の線が方法500の2つの行に対応するように、方法300(図3)の線と平行に配向される。2つの行は、RおよびGフォトサイトからの信号から成るRおよびG行、ならびにG’およびBフォトサイトからの信号から成るG’およびB行である。例えば、TDIモジュール140(図1)は、各線410(図4)が、2つの行、すなわち、(a)線410からの全てのR1(421(1))およびG1(422(1))フォトサイト信号から成る行、ならびに(b)線410からの全てのG1’(423(1))およびB1(424(1))フォトサイト信号から成る行と関連付けられるように、行としてカラー面スキャン画像センサ400(図4)によって捕捉される2次元画像115(図1)を受信する。別の実施例では、TDIモジュール140(図1)は、恣意的な形式でカラー面スキャン画像センサ400(図4)によって捕捉される2次元画像115(図1)を受信する。TDIモジュール140(図1)は、各線410(図4)が、2つの行、すなわち、(a)線410からの全てのR1およびG1フォトサイト信号から成る行、ならびに(b)線410からの全てのG1’およびB1フォトサイト信号から成る行と関連付けられるように、行を生成するように2次元画像115(図1)を処理する。
ステップ510後に、方法500は、続いて、TDI画像内の各線にステップ521、522、531、532、および540を行うことによって、TDI画像の各線にデータ投入する。ステップ521および531は、ステップ522および532のように、連続的に行われる。連続ステップ521および531は、連続ステップ522および532と並列または直列に行われてもよい。ステップ521では、一連のRおよびG行が形成され、各RおよびG行は、異なる画像から抽出される。一連のRおよびG行は、図2および3に関連して議論されるように、場面を通したオブジェクトの進行を辿る。例えば、TDIモジュール140(図1)は、カラー面スキャン画像センサ400(図4)のそれぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる、一連のRおよびG行を形成する。一連のRおよびG行は、それぞれの一連の連続的に捕捉された画像115(図1)から抽出され、画像115は、オブジェクト135(図1)がフレームにつき1本の線410のレートでフレームを通して移動するようなフレームレートで捕捉される。ステップ531では、ステップ521で生成される一連のRおよびG行は、単一の積算RおよびG行を形成するように積算される。例えば、TDIモジュール140(図1)は、単一の積算RおよびG行を形成するように、ステップ521で生成される一連のRおよびG行を積算する。ステップ522では、それぞれ異なる画像からの一連のG’およびB行が形成される。一連のG’およびB行は、図2および3に関連して議論されるように、場面を通したオブジェクトの進行を辿る。例えば、TDIモジュール140(図1)は、カラー面スキャン画像センサ400(図4)のそれぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる、一連のG’およびB行を形成する。一連のG’およびB行は、それぞれの一連の連続的に捕捉された画像115(図1)から抽出され、画像115は、オブジェクト135(図1)がフレームにつき1本の線410のレートでフレームを通して移動するようなフレームレートで捕捉される。ステップ532では、ステップ522で生成される一連のG’およびB行は、単一の積算G’およびB行を形成するように積算される。例えば、TDIモジュール140(図1)は、単一の積算G’およびB行を形成するように、ステップ522で生成される一連のG’およびB行を積算する。
ステップ540では、ステップ531で生成される単一の積算RおよびG行は、単一の色画素線を形成するように、ステップ532で生成される単一の積算G’およびB行と組み合わせられる。本色画素線は、複合R、G、G’、およびB色データを含み、TDI画像の線を形成する。例えば、TDIモジュール140(図1)は、RおよびG行をG’およびB行と組み合わせる。ステップ530の一実施形態では、組み合わせは、TDI線の各色画素が、4つの個々のR、G、G’、B値から成る四重項によって表されるように行われる。別の実施形態では、組み合わせは、TDI線の各色画素が、3つの個々の値、すなわち、R、GおよびG’の平均、ならびにBから成る三重項によって表されるように行われる。さらに別の実施形態では、組み合わせは、TDI線の各色画素が、2つの三重項、すなわち、R、G、およびB値から成る1つの三重項、ならびにR、G’、およびB値から成る1つの三重項によって表されるように行われる。ステップ540後に、方法500は、続いて、方法300(図3)のステップ360を行う。
図4の面スキャン画像センサ400および図5の方法500は、ベイヤー型色フィルタアレイとの関連で議論されるが、面スキャン画像センサ400および方法500は両方とも、本明細書の範囲から逸脱することなく、非ベイヤー型色フィルタアレイに拡張されてもよい。一実施形態では、フォトサイト421、422、423、および444(図4)は、G’がGと異なる色を表すように、4つの異なる色に対して感受性がある。これは、フォトサイトG’がフォトサイトGと異なる色に対応する、方法500(図5)の実施形態に対応する。面スキャン画像センサ400(図4)および方法500(図5)はさらに、他の幾何学的フォトサイト構成を有する、色フィルタアレイに拡張されてもよい。例えば、各色画素は、3×3フォトサイト等のより多数のフォトサイトから成ってもよい。別の実施例では、各色画素は、Foveon, Inc.からのFoveon X3センサのように垂直に積み重ねられる、いくつかのフォトサイトを有する。
図6は、図1のシステム100の実施形態である、イベントタイミング画像を処理するための1つの例示的システム600を図示する。システム600は、TDI画像145(図1および2)の各線146(図2)を生成するために使用される、一連の連続的に捕捉された2次元画像115(図1および2)内の線118(図1および2)の数を含む、いくつかのパラメータのうちの1つまたはそれを上回るものの調節によって、TDI画像の輝度を調節するための機能性を組み込む。
システム600は、それぞれ、システム100(図1)の面スキャン画像センサ110、撮像光学部120、およびTDIモジュール140の実施形態である、面スキャン画像センサ610、撮像光学部620、およびTDIモジュール640を含む。面スキャン画像センサ610は、センサ設定630を含む。センサ設定630は、面スキャン画像センサ610の電子利得を定義する利得設定632と、面スキャン画像センサ610が、フレーム、例えば、画像115(図1および2)を捕捉するレートを定義する、フレームレート設定634と、面スキャン画像センサ610によって捕捉される画像の露出時間を定義する露出時間設定636とを含む。
撮像光学部620は、撮像光学部620を通して輸送される光の量に影響を及ぼす、絞り等の随意の調節可能開口622を含む。したがって、随意の開口622は、面スキャン画像センサ610上で撮像光学部620によって形成される画像のある輝度を達成するように調節されてもよい。随意に、撮像光学部620はさらに、構成可能フィルタ624を含む。ある実施形態では、構成可能フィルタ624は、(a)赤外光の少なくとも一部が面スキャン画像センサ610に到達することを阻止するための赤外線フィルタ部分、(b)撮像光学部620によって透過させられる光の量を低減させるための1つまたはそれを上回る減光フィルタ、および(c)フィルタ処理することなく光を透過させるためのブランクフィルタのうちの1つまたはそれを上回るものを含む。ある実施形態では、構成可能フィルタ624は、電動式であり、電気制御信号によって制御されてもよい。
TDIモジュール640はさらに、画像処理回路141(図1)の実施形態として画像処理回路641を含む。画像処理回路641は、随意の線数設定642と、随意の上限値644と、随意のデジタル利得設定646とを含む。線数設定642は、画像115(図1および2)内の線118の数である。線数設定642は、面スキャン画像センサ610が提供することができる線の最大数またはそのサブセットに設定されてもよい。上限値644は、単一のTDI画像画素がその生成中に達成し得る値の上限である。デジタル利得設定646は、画像115(図1および2)および/またはそこから生成されるTDI画像に適用される、デジタル利得を定義する。TDIモジュール640は、TDI画像145の輝度を調節するために、以下で議論される図7の方法700と併せて、線数設定642および/またはデジタル利得設定646を利用してもよい。TDIモジュール640はさらに、部分TDIを行うために、以下で議論される図9の方法900と併せて、デジタル利得設定646を利用してもよい。TDIモジュール640は、個別画素に基づいてTDI画像145の輝度を調節し、それによって、TDI画像145のダイナミックレンジを向上させるために、以下で議論される図8の方法800と併せて上限値644を利用してもよい。
ある実施形態では、システム600は、捕捉時間165等の時間信号を、面スキャン画像センサ610、TDIモジュール640、インターフェース150、およびコントローラ650に伝達するための時計160(図1)を含む。面スキャン画像センサ610、撮像光学部620、TDIモジュール640、コントローラ650、インターフェース150、および随意の時計160は、カメラ670に組み込まれてもよい。カメラ670は、カメラ170(図1)の実施形態である。
コントローラ650は、制御信号615、625、および645を、それぞれ、面スキャン画像センサ610、撮像光学部620、およびTDIモジュール640に伝達する。制御信号615は、利得設定632、フレームレート設定634、および随意に、露出時間636を調節する。ある実施形態では、面スキャン画像センサ610は、フレームレート設定634を与えられる画像115(図1および2)の露出時間設定636を最大限にするように構成される。この場合、露出時間設定636は、フレームレート設定634のほぼ逆の値である。したがって、フレームレート設定634は、露出時間設定636を定義し、画像115(図1および2)の輝度を調節するように調節されてもよい。代替実施形態では、露出時間設定636は、所与のフレームレート設定634と関連付けられる最大露出時間と比較して、短縮されてもよい。この場合、制御信号615は、露出時間を直接調節してもよい。
ある実施形態では、制御信号625は、開口622および構成可能フィルタ624の一方または両方を調節する。例えば、制御信号625は、面スキャン画像センサ610上に形成される画像の輝度を調節するように、開口622の直径を調節する。別の実施例では、制御信号625は、構成可能フィルタ624のいずれの部分が光路内にあるかを調節する。
別の実施形態では、制御信号645は、線数設定642、上限値644、および/またはデジタル利得646を調節する。TDI線146を生成するために使用される線118の数は、TDI画像145内のオブジェクト135(図1および2)の輝度を調節するように調節され得る、パラメータである。例えば、20本の線118から生成されるTDI線146内のオブジェクト135の輝度は、10本の線118から生成されるTDI線146において達成されるものの2倍である。同様に、図8に関連して以下で議論されるような上限値644は、局所輝度調節によって、TDI画像145内のオブジェクト135(図1および2)の外観を調節するように調節され得る、パラメータである。デジタル利得設定646は、TDI画像145の輝度を大域的または局所的に調節するために使用され得る、パラメータである。
したがって、システム600は、TDI画像145のある輝度を達成するための8つの調節可能パラメータ、すなわち、利得設定632、フレームレート設定634、露出時間636、開口622のサイズ、構成可能フィルタ624の設定、線数設定642、上限値644、およびデジタル利得646を提供する。概して、利得設定632、フレームレート設定634、および開口622のサイズは全て、輝度以外の画像115の性質に影響を及ぼす。図2の説明図によって例示される、ある実施形態では、フレームレート設定634は、オブジェクト135の移動速度を画像115の線118の間隔と合致させるために固定される。したがって、フレームレート設定634は、輝度調節のために利用可能ではない。露出時間設定636は、フレームレート設定634によって上向きに制限され、輝度を増加させるために利用可能ではない場合がある。典型的には、利得設定632は、利得設定632の増加した値が画像115内の増加した雑音と関連付けられるように、画像115の雑音レベルに影響を及ぼす。
オブジェクト135(図1)の輝度が高すぎる、例えば、非常に高いため面スキャン画像センサ610によって捕捉される画像の部分が飽和している、使用のシナリオでは、構成可能フィルタ624の設定は、透過光の量を低減させるように調節されてもよい。しかしながら、そのような調節は、典型的には、離散増分のみで行われることができる。露出時間設定636および/またはデジタル利得設定646は、例えば、構成可能フィルタ624の設定を調節することと併せて、オブジェクト135(図1)の輝度をより細かく調節するために、そのようなシナリオで使用されてもよい。
面スキャン画像センサ610上に形成される画像内のオブジェクト135の輝度が低い、使用のシナリオでは、利得設定632の範囲は、必要信号対雑音比の画像115を生成する範囲に限定されてもよい。開口622のサイズは、殆どの光学撮像システムでは、焦点深度に関係付けられる。開口622のサイズは、画像115(図1および2)の輝度を増加させるために増大させられてもよいが、これは、焦点深度を減少させる。したがって、いくつかの使用のシナリオでは、開口622のサイズは、焦点深度要件によって上向きに制限される。しかしながら、デジタル利得設定646が、オブジェクト135の輝度を増加させるために使用されてもよいが、デジタル利得設定646は、概して、信号対雑音比が向上させられないように、信号および雑音に等しく影響を及ぼすであろう。したがって、単独で、もしくは利得設定632、フレームレート設定634、露出時間設定636、デジタル利得設定646、開口622のサイズ、および構成可能フィルタ624の設定のうちの1つまたはそれを上回るものの調節と組み合わせてのいずれかで、線数設定642を通してTDI画像145の輝度を調節できることが有利である。線数設定642を通して輝度を調節することの代替として、輝度は、上限値644を通して調節されてもよい。上限値644は、TDI画像145の全体的な輝度を調節することに加えて、TDI画像145のダイナミックレンジを向上させるために使用され得る、局所輝度調節を促進する。
コントローラ650は、本明細書の範囲から逸脱することなく、インターフェース150を通して、TDIモジュール640、面スキャン画像センサ610、および随意に、撮像光学部620と通信してもよい。同様に、コントローラ650の機能性の全てまたは部分は、本明細書の範囲から逸脱することなく、システム600の外部に配置され、インターフェース150を通してシステム600に通信可能に連結されてもよい。
図7は、図6のシステム600を使用して、TDI画像145(図1および2)の輝度を調節するための1つの例示的方法を図示する。ステップ710では、線数設定642は、ある値に設定される。例えば、コントローラ650(図6)は、制御信号645(図6)をTDIモジュール640(図6)に伝達する。ある実施形態では、線数設定642は、方法900(図9)に関連して議論されるように、非整数値である。随意のステップ720では、利得設定632(図6)、フレームレート設定634(図6)、露出時間設定636(図6)、デジタル利得設定646(図6)、開口622(図6)のサイズ、および構成可能フィルタ624(図6)の設定のうちの1つまたはそれを上回るものの値が、調節される。例えば、コントローラ650(図6)は、制御信号615(図6)および/または625(図6)を、それぞれ、面スキャン画像センサ610ならびに撮像光学部620に伝達する。ステップ710および随意のステップ720の順序は、逆転させられてもよく、またはステップ710および随意のステップ720は、並行して実行されてもよい。ステップ730では、TDI画像145(図1および2)が生成される。例えば、一連の画像115(i)(図1および2)は、面スキャン画像センサ610(図6)によって捕捉され、画像処理回路641を使用して、方法500(図5)に従ってTDIモジュール640(図6)によって処理される。
随意のステップ740では、TDI画像145の輝度が評価される。評価の結果に基づいて、方法700は、さらなる輝度調節のためにステップ710に戻ってもよい。一実施形態では、ステップ740は、コントローラ650によって、またはシステム600の外部でコンピュータによって、自動的に行われる。別の実施形態では、ステップ740は、オペレータによって手動で行われる。
ある実施形態では、ステップ720および730で輝度調節のために利用可能なパラメータは、標的値、最小値、および最大値のうちの1つまたはそれを上回るものと関連付けられる。さらに、パラメータのそれぞれは、方法700がパラメータ調節の規定順序に従って行われるように、優先度が割り当てられてもよい。方法700は、自動的に、および/またはオペレータによって、行われてもよい。
例示的な使用のシナリオ、すなわち、環境が徐々に光を失うような落陽中に画像が捕捉される場合において、方法700は、TDI画像輝度を増加させるよう自動的に行われる。利得設定632は、最初に、規定標的値にあってもよい。輝度を増加させるために、方法700は、最初に、規定最大値、例えば、他の画像性質に悪影響を及ぼさないことが知られている値まで、開口622のサイズを増加させてもよい。調節が不十分である場合、方法700は、続いて、規定最大値まで線数設定642の値を増加させてもよい。これがまた、不十分であると判明する場合に、方法700は、オペレータによる承認後、その最大値まで規定標的値を超えて利得設定632を増加させてもよい。
方法700のステップのうちのいずれも、面スキャン画像センサまたは面スキャン画像を必要としない。したがって、方法700は、本明細書の範囲から逸脱することなく、面スキャン画像センサ610が線スキャン画像センサ等の別のタイプの画像センサによって置換される、図6のシステム600と同等のシステムに拡張されてもよい。さらに、ステップ720の動作は、面スキャン画像センサまたは線スキャン画像センサ等の非面スキャン画像センサに基づくカメラに適用されてもよく、これらのカメラは、TDIを含まない用途で使用される。この場合、捕捉された画像は、ステップ720の実施を誘導するように直接評価される。
図8は、TDIシステムの向上したダイナミックレンジを提供するための1つの例示的方法800を図示する。方法800は、TDI画像を生成するために使用される線の数が個別画像に基づいて自動的に判定される、方法700(図7)の実行である。TDIシステムによって撮像される場面、例えば、場面130(図1)は、明るい領域および薄暗い領域を含んでもよい。オブジェクト135(図1)等の着目オブジェクトは、着目されない他のオブジェクトほど有意に明るくない場合がある。同様に、着目オブジェクトのいくつかの部分は、その他の部分よりはるかに明るくあり得る。方法800は、暗い領域と関連付けられるTDI画像の画素にデータ投入するときに、より多くの線、明るい領域と関連付けられるTDI画像の画素にデータ投入するときに、より少ない線を利用することを可能にする。
概して、雑音が、暗い領域中でより明白である一方で、不鮮明は、より明るい領域中でより明白である。不鮮明は、画像捕捉フレームレートとオブジェクトの局所的または大域的移動速度との間の不整合に起因し得る。したがって、着目オブジェクトの所与の明るい部分に関して、TDI画像の画素を生成するために使用される線の数は、有利なこととして、画像捕捉フレームレートと所与のオブジェクト部分の移動速度との間の不整合と関連付けられる潜在的不鮮明の量を最小限にするために、少なく保たれる。着目オブジェクトの薄暗い部分に関して、TDIプロセスで使用される線の数は、有利なこととして、信号対雑音比を増加させるために増加させられる。方法800は、TDI画像が生成される画像を捕捉するために使用される画像センサのダイナミックレンジを超えて、TDI画像のダイナミックレンジを増加させる。したがって、方法800は、有利なこととして、高品質TDI画像を確実にするために、イベントタイミングシステムによって利用されてもよい。
方法800は、例えば、システム100(図1)のTDIモジュール140によって、または上限値642(図6)を使用するシステム600(図6)のTDIモジュール640によって、行われる。
例示的シナリオでは、場面130は、夜間競馬の決勝領域であり、オブジェクト135は、競走馬であり、決勝領域は、スタジアム照明によって照射される。競走馬のいくつかの部分は、競走馬からのスタジアム照明の反射により、非常に明るく見える。陰になっている競走馬の他の部分は、非常に暗く見える。方法800は、競走馬の明るい部分が最小限の不鮮明を伴って見える一方で、競走馬の暗い部分が最大信号対雑音比を伴って見えるように、画像捕捉に使用される画像センサのダイナミックレンジを超えてTDI画像のダイナミックレンジを増加させるステップを提供する。
ステップ810では、TDI画素の輝度の上限値が受信される。例えば、TDIモジュール640(図6)は、コントローラ650を通してインターフェース150(図1および6)から上限値を受信し、本上限値を上限値644(図6)に記憶する。ステップ810後に、方法800は、TDI画像の各画素にステップ820、830、および840を行う。
ステップ820では、TDI画像の初期値は、捕捉された画像のうちの1つの中の対応する画素の値に設定される。例えば、TDIモジュール640(図6)は、TDI画素の初期値を、面スキャン画像センサ110(図1および6)から受信される画像115(図1および6)のうちの1つからの対応する画素の値に設定する。
ステップ830では、他の捕捉された画像の対応する画素の値が、ステップ820で生成される初期値に連続的に加算される一方で、合計は、ステップ810で受信される上限値より少ない。したがって、明るい画像部分の場合、総和は、利用可能な画素値のわずかなサブセットに限定されてもよい。逆に、暗い画像部分の場合、総和は、全ての利用可能な画素値を含んでもよい。他の捕捉された画像からの対応する画素は、場面を通した着目オブジェクトの進行に合致するように、方法300(図3)のステップ320に関連する議論に従って選択される。TDIモジュール640は、合計が上限値を超える前に総和を停止することに対応する、TDI画素値を生成する。例えば、TDIモジュール640(図6)が、ステップ820で使用される画像115と異なる画像115(図1、2、および6)の対応する画素のTDI画素値のうちの初期値を連続的に増大させる一方で、TDI画素値は、上限値644(図6)より小さい。
ある実施形態では、ステップ830は、決勝線場所に対応する線等の捕捉された画像内の所望の線についての総和で使用される画素値を中心に置くための随意のステップ835を含む。ステップ835は、TDI画像内の全ての画素が、最適に中心に置かれた入力データに基づくことを確実にする。ステップ835は、反復様式でステップ830に組み込まれてもよい。例えば、TDIモジュール640(図6)は、2つの画素値が最初期の捕捉された画像115(図1、2、および6)から抽出される、ステップ820および830で、2つだけの画素値の合計を使用してもよい。これは、画像115内のその最左位置にあるオブジェクト135(図1および2)等の着目オブジェクトに対応する。しかしながら、決勝線の画像は、画素の数によって本位置から偏移させられてもよく、ステップ830は、決勝線画像の周囲で最適に中心に置かれる画像115の2本の線を使用して総和を繰り返す。
ステップ840では、TDI画素値は、ステップ830で使用される画素値の数に従って増減される。これは、画像の暗いおよび明るい部分の元の相対尺度を維持する。例えば、TDIモジュール640(図6)は、ステップ830で生成されるTDI画素値をデジタル利得設定646(図6)に含まれる値で乗算する。本値は、因数Nmax/Nusedであり、Nmaxは、ステップ830で利用可能な画素値の完全な数であり、Nusedは、ステップ830で使用される画素値の数である。
TDI画像の全ての画素にステップ820、830、および840を行った後、TDI画素は、ステップ850でTDI画像を形成するように組み合わせられる。例えば、TDIモジュール640(図6)は、TDI画像145(図1および6)を形成するように、ステップ830によって生成される全てのTDI画素値を組み合わせる。
随意のステップ860では、ステップ850で生成されるTDI画像は、より低いダイナミックレンジを伴う画像を表すように正規化される。例えば、TDIモジュール640(図6)は、画像115を捕捉するために使用される面スキャン画像センサ610と同一であるビット深度を伴う正規化TDI画像を生成するように、ガンマ補正等の当業者に公知の標準画像処理方法を適用する。
ある実施形態では、方法800は、TDI画像を生成するために使用される線の数が個別TDI線に基づいて判定されるように、実行される。これらの実施形態は、有利なこととして、方法800に含まれるステップ860を用いて行われてもよい。これらの実施形態では、ステップ830および840における寄与画素値の数は、所与のTDI線に属する全てのTDI画素について同一である。ステップ830は、例えば、検討中のTDI線と関連付けられる個々のTDI画素合計の最大値である、「合計」を用いて実行されてもよい。この場合、最も明るいTDI画素は、TDI線の寄与画素値の数を定義する。代替として、ステップ830は、検討中のTDI線と関連付けられる個々のTDI画素合計の平均値である、「合計」を用いて実行されてもよい。別の実施例では、ステップ830は、nが0〜100の数である、検討中のTDI線と関連付けられる個々のTDI画素合計の第nパーセンタイル値である、「合計」を用いて実行される。
図9は、部分TDIを使用してTDI画像のダイナミックレンジを向上させるための1つの例示的方法900を図示する。方法900は、部分TDIをさらに含む、図8の方法800の実施形態である。部分TDIは、TDI画素に寄与する捕捉された画像画素値の分数の包含を可能にする。比較のために、方法800は、TDI画素に寄与する捕捉された画像画素値の数の中において整数ステップに制約される。したがって、捕捉された画像内の類似輝度と関連付けられ、方法800を使用して生成される、2つの隣接TDI画素は、それぞれ、例えば、2つおよび3つの寄与画素値を有してもよい。場合によっては、2つの隣接TDI画素の間の雑音および/または不鮮明性質における慎重なステップが、そこから生じ得る。一方で、方法900は、上記で議論される2つの離散TDI画素が雑音および/または不鮮明性質の円滑な移行を示すように、小数画素値を加算することを可能にする。
方法900は、最初にステップ810(図8)を行う。次に、方法900は、TDI画像内の全ての画素にステップ820(図8)、930、および940を行う。ステップ930は、小数画素値をさらに利用する、ステップ830(図8)の修正である。ステップ930では、他の捕捉された画像の対応する画素の値は、合計がステップ810で受信される上限値に等しくなるまで、ステップ820で生成される初期値に連続的に加算される。概して、加算される最後の画素値は、小数画素値である。例えば、TDIモジュール640(図6)は、線118(1,6)(図2)から抽出されるTDI画素の初期値、線118(2,7)(図2)の対応する画素の値、分数xが0〜1の間である、線118(3,8)(図2)からの対応する画素値の分数xを連続的に増大させる。したがって、本実施例では、2+x画素値の合計は、TDI画素値に寄与する。ある実施形態では、ステップ930はさらに、図8に関連して議論されるように、ステップ835を含む。ステップ940は、ステップ930における小数画素値の包含を構成するように、ステップ930で生成されるTDI画素値の非整数スケーリングを可能にする、ステップ840(図8)の修正である。例えば、TDIモジュール640(図6)は、ステップ930で生成されるTDI画素値をデジタル利得設定646(図6)に含まれる値で乗算する。本値は、因数Nmax/Nusedであり、Nmaxは、ステップ930で利用可能な画素値の完全な数であり、Nusedは、ステップ930で使用される画素値の場合により非整数の数である。ステップ930に関連して議論される実施例を使用して、Nusedは、2+xである。TDI画像の全ての画素にステップ820、930、および940を完了した後、方法900は、ステップ850(図8)、随意に、ステップ860(図8)を行う。
図8の方法800について議論されるように、方法900は、TDI画像を生成するために使用される線の数が個別TDI線に基づいて判定されるように、実行されてもよい。
図10Aおよび10Bは、面スキャン画像センサ1010と、位置依存性フィルタ1020とを含む、1つの例示的なフィルタ付き面スキャン画像センサ1000を図示する。図10Aおよび10Bは、ある時には、本明細書では集合的に図10と称され得る。フィルタ付きスキャン画像センサは、図1の面スキャン画像センサ100および図6の面スキャン画像センサ610の実施形態である。図10Aは、立面図でフィルタ付き面スキャン画像センサ1000を図示する。図10Bは、上面図でフィルタ付き面スキャン画像センサ1000を図示する。面スキャン画像センサ1010は、感光性画素アレイ1012と、随意に、色情報を提供するための色フィルタアレイ1014とを含む。随意の色フィルタアレイ1014は、例えば、ベイヤー型アレイである。
位置依存性フィルタ1020は、面スキャン画像センサ1010に向かって伝搬する光をフィルタ処理するための5つの空間的に分離されたフィルタ部分1025(1)、1025(2)、1025(3)、1025(4)、および1025(5)を含む。フィルタ部分1025(1)は、赤外光を少なくとも部分的に遮断するための赤外線フィルタである。フィルタ部分1025(2)、1025(3)、および1025(4)は、3つの異なる伝送係数を伴う減光フィルタである。フィルタ部分1025(5)は、実質的に全ての入射光を透過させるためのブランクフィルタである。一実施形態では、位置依存性フィルタ1020は、面スキャン画像センサ1010に固定される。フィルタ1020は、例えば、当技術分野で公知である1つまたはそれを上回るコーティング方法を使用して、面スキャン画像センサ1010に適用される。別の実施形態では、位置依存性フィルタ1020は、面スキャン画像センサ1010の近くに搭載され、それに関して固定される。フィルタ付き面スキャン画像センサ1000によって捕捉されるようなオブジェクト135(図1)の輝度は、画像内のオブジェクト135の位置に依存する。例えば、オブジェクト135は、減光フィルタ1025(2)と関連付けられる画像の一部の中よりもブランクフィルタ部分1025(5)と関連付けられる画像の一部の中で、より明るく見えるであろう。
フィルタ付き面スキャン画像センサ1000は、本明細書の範囲から逸脱することなく、図10に図示されるよりも多いまたは少ないフィルタ部分1025を含んでもよい。加えて、フィルタ付き面スキャン画像センサ1000は、本明細書の範囲から逸脱することなく、図10に図示されるもの以外のタイプの輝度調節フィルタ部分を含んでもよい。
図11は、位置依存性フィルタを伴う面スキャン画像センサを使用することによって、TDI画像の輝度を調節するようにイベントタイミング画像を処理するための1つの例示的方法1100を図示する。方法1100は、例えば、面スキャン画像センサ110(図1)として実装されるフィルタ付き面スキャン画像センサ1000(図10)を伴うシステム100(図1)によって、または面スキャン画像センサ610(図1)として実装される面スキャン画像センサ1000(図10)を伴うシステム600によって、行われてもよい。
ステップ1110では、位置依存性フィルタを伴う面スキャン画像センサによって捕捉される2次元画像の一部が選択される。一部は、あるフィルタ部分と関連付けられる。ステップ1110は、そこから生成されるTDI画像の輝度を調節する役割を果たしてもよい。例えば、面スキャン画像センサ610として実装されるフィルタ付き面スキャン画像センサ1000(図10)を伴うシステム600(図6)では、TDIモジュール640は、TDI画像145(図1および6)の所望の輝度を達成するように、あるフィルタ部分1025(図10)と関連付けられる画像115(図1および6)の空間部分を選択する。
随意のステップ1120では、位置依存性フィルタを伴うスキャン画像センサを収納するカメラの整合が調節される。これは、例えば、決勝線が画像センサの画素の特定の線の上に撮像されるように、カメラが整合させられている、使用のシナリオで関連性がある。決勝線は、ステップ1110で行われる選択と関連付けられるセンサの一部の上に撮像されなくてもよい。随意のステップ1120が、例えば、TDIカメラ2010としてTDIカメラシステム2000(図20)の中へ実装されるフィルタ付き面スキャン画像センサ1000(図10)を用いて、システム600(図6)によって行われる。方法2100(図21)および/または方法2300(図23)を使用して、整合制御システム2040(図20)は、決勝線が、ステップ1110で選択される画像115の空間部分と関連付けられるフィルタ付き面スキャン画像センサ1000の一部の上に撮像されるように、カメラ670(図6)を再整合させる。随意のステップ1130では、面スキャン画像領域が、ステップ1120で達成される新しいカメラ整合を用いて捕捉される。例えば、面スキャン画像センサ610(図6)は、2次元画像115(図1および6)を捕捉する。
次に、方法1100は、方法800(図8)のステップ830、随意に、ステップ840に進む。随意のステップ840を行う場合、方法1100は、さらなる調節のためにステップ1110に戻ってもよい。
随意のステップ1120および1130は、例えば、レースの終了等の着目イベントの発生に先立って、ステップ1110が行われる、シナリオで行われる。本例示的シナリオでは、ステップ1110および随意のステップ1120が、イベントタイミングシステムの設定中に行われてもよい一方で、随意のステップ1130は、イベント中に行われる。別の例示的シナリオでは、方法1100は、レースの終了等のイベント中にイベントタイミング画像を処理している。本シナリオでは、ステップ1110、830、および随意に、ステップ840は、レース参加者が決勝線を横断している間に行われる。時間が許可する場合、例えば、2人の後続のレース完走者の間に十分な時間の間隙がある場合、本実施例は、決勝線を横断する2人の後続のレース完走者の間の合間に、随意のステップ1120および1130を行うことを含んでもよい。
方法800(図8)、900(図9)、および1100(図11)の全ては、TDI画像のある輝度を達成することに関する。これらの方法のうちの2つまたはそれを上回るものは、TDI画像を生成するために、併用して行われてもよく、もしくは方法のうちの1つまたはそれを上回るものは、別個に行われてもよい。
図12は、ベイヤー型画素アレイを有するカラー面スキャン画像センサによって捕捉されるイベントタイミング画像を処理するための1つの例示的方法1200を図示する。方法1200は、カラー面スキャン画像センサの2倍の分解能でカラーTDI画像を生成する。したがって、方法1200によって生成されるTDI画像は、方法500(図5)によって生成されるTDI画像と比較して、2倍の時間分解能を提供する。方法1200は、例えば、面スキャン画像センサ110(図1)として実装されるカラー面スキャン画像センサ400(図4)を伴うシステム100(図1)による、TDI画像の生成に適用可能である。図4に関連して議論されるように、フォトサイト421、422、423、および424は、色画素420内で異なるように配列されてもよい。例えば、フォトサイト421、422、423、および424のうちの2つまたはそれを上回るものの場所は、図4の説明図と比較して交換されてもよい。方法1200は、本明細書の範囲から逸脱することなく、そのような代替画像センサレイアウトに適用されるように、図12に図示される実施形態から、それに対応して修正されてもよい。分解能に関して、捕捉された2次元画像115(図1および2)の各線118(図2)は、TDI画像の2本の隣接線に対応する。方法1200は、着目オブジェクトがフレームにつき1本の線のレートでカラー面スキャン画像センサの線118(図2)を通して進行するようなフレームレートで、画像115(図1および2)がカラー面スキャン画像センサによって捕捉されると仮定する。例えば、カラー面スキャン画像センサ400(図4)は、オブジェクト135(図1)がフレームにつき1本の線のレートで線410(図4)を通して進行するようなレートで、場面130(図1)の画像を捕捉する。方法1200は、そのような画像を処理し、例えば、TDIモジュール140(図1)によって行われる。
ステップ1210では、カラー面スキャン画像センサによって捕捉される各2次元画像が、行の形態で受信される。行は、方法300の線が方法500の2つの行に対応するように、方法300(図3)の線と平行に配向される。2つの行は、RおよびGフォトサイトからの信号から成るRおよびG行、ならびにG’およびBフォトサイトからの信号から成るG’およびB行である。一実施形態では、画像は、記憶された場所から受信される。別の実施形態では、画像は、画像を捕捉するために使用される面スキャン画像センサから受信される。例えば、TDIモジュール140(図1)は、各線410(図4)が、2つの行、すなわち、(a)線410からの全てのR1(421)およびG1(422)フォトサイト信号から成る行、ならびに(b)線410からの全てのG1’(423)およびB1(424)フォトサイト信号から成る行と関連付けられるように、行としてカラー面スキャン画像センサ400(図4)によって捕捉される2次元画像115(図1)を受信する。別の実施例では、TDIモジュール140(図1)は、任意の恣意的形式でカラー面スキャン画像センサ400(図4)によって捕捉される2次元画像115(図1)を受信する。TDIモジュール140(図1)は、各線410(図4)が、2つの行、すなわち、(a)線410からの全てのR1(421)およびG1(422)フォトサイト信号から成る行、ならびに(b)線410からの全てのG1’(423)およびB1(424)フォトサイト信号から成る行と関連付けられるように、行を生成するように2次元画像115(図1)を処理する。
方法1200によって生成されるTDI画像は、Nが奇数の整数である、0からNの線から成る。方法1200によって生成されるTDI画像の線は、図2の各線146が方法1200によって生成されるTDI画像の2本の線に対応することを除いて、図2の線146と同等である。ステップ1210後に、方法1200は、各対の隣接する偶数および奇数のTDI線に、ステップ1220、1230、1241、1242、1251、1252、1261、および1262を行う。
ステップ1220では、それぞれ異なる画像からの一連のRおよびG行が形成される。一連のRおよびG行は、図2および3に関連して議論されるように、場面を通したオブジェクトの進行を辿る。例えば、TDIモジュール140(図1)は、カラー面スキャン画像センサ400(図4)のそれぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる、一連のRおよびG行を形成する。一連のRおよびG行は、それぞれの一連の連続的に捕捉された画像115(図1)から抽出される。ステップ1230では、ステップ1220で生成される一連のRおよびG行は、単一の積算RおよびG行を形成するように積算される。例えば、TDIモジュール140(図1)は、単一の積算RおよびG行を形成するように、ステップ1220で生成される一連のRおよびG行を積算する。ステップ1230は、ステップ1220の後ならびにステップ1261および1262の前の任意の時間に行われてもよい。方法1200は、続いて、偶数のTDI線にデータ投入するように連続ステップ1241、1251、および1261、奇数のTDI線にデータ投入するようにステップ1242、1252、および1262を行う。連続ステップ1241、1251、および1261は、連続ステップ1242、1252、および1262と直列または並列に行われてもよい。
ステップ1241では、一連のG’およびB行が形成される。一連のG’およびB行は、一連のG’およびB行からの各G’およびB行が、ステップ1220で生成される一連のRおよびG行のうちのそれぞれ1つと同一の捕捉された画像の同一の線から抽出されるように、ステップ1220で形成される一連のRおよびG行に合致させられる。例えば、TDIモジュール140(図1)は、カラー面スキャン画像センサ400(図4)のそれぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる一連のG’およびB行を形成し、ステップ1220で形成される一連のRおよびG行もまた、それぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる。
ステップ1251では、ステップ1241で生成される合致した一連のG’およびB行は、単一の合致した積算G’およびB行を形成するように積算される。例えば、TDIモジュール140(図1)は、単一の合致した積算G’およびB行を形成するように、合致した一連のG’およびB行を積算する。
ステップ1261では、ステップ1230で生成される積算RおよびG行ならびにステップ1251で生成される合致した積算G’およびB行は、各画素の少なくともR、G”、およびBデータを含む、単一カラーラインを形成するように組み合わせられる。偶数のTDI線は、本単一カラーラインを投入される。一実施形態では、単一カラーラインの各画素のR、G”、およびBデータは、(a)対応する積算RおよびG行からのRデータと、(b)それぞれ、積算RおよびG行ならびに合致した積算G’およびB行の対応する画素からのG”データを形成するGおよびG’データの平均と、(c)対応する積算G’およびB行からのBデータとを含む。別の実施形態では、積算RおよびG行からのGデータならびに合致した積算G’およびB行からのG’データが両方とも、保持される。本実施形態では、単一カラーラインの各画素のR、G”、およびBデータは、(a)対応する積算RおよびG行からのRデータと、(b)積算RおよびG行の対応する画素からのGデータと、(c)積算G’およびB行の対応する画素からのG’データと、(d)対応する積算G’およびB行からのBデータとを含む。本実施形態では、G”データは、GデータおよびG’データを含む。例えば、TDIモジュール140(図1)は、偶数のTDI線にデータ投入するように、ステップ1130で生成される積算RおよびG行を、ステップ1251で生成される合致した積算G’およびB行と組み合わせる。
ステップ1242では、一連のG’およびB行が形成される。一連のG’およびB行は、ステップ1220で形成される一連のRおよびG行に対して、1つの画像フレームだけ時間を偏移させられる。したがって、一連のG’およびB行からの各G’およびB行は、対応するRおよびG行と同一の線位置から抽出されるが、対応するRおよびG行が抽出される画像より1フレーム早い画像から抽出される。例えば、TDIモジュール140(図1)は、カラー面スキャン画像センサ400(図4)のそれぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる一連のG’およびB行から形成され、ステップ1220で形成される一連のRおよびG行もまた、それぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる。しかしながら、一連のG’およびB行は、ステップ1220で使用される一連の連続的に捕捉された画像と比較して、1フレームだけ時間を偏移させられる、それぞれの一連の連続的に捕捉された画像から抽出される。
ステップ1252では、ステップ1242で生成される偏移した一連のG’およびB行は、単一の偏移した積算G’およびB行を形成するように積算される。例えば、TDIモジュール140(図1)は、単一の偏移した積算G’およびB行を形成するように、偏移した一連のG’およびB行を積算する。
ステップ1262では、ステップ1230で生成される積算RおよびG行、ならびにステップ1252で生成される偏移した積算G’およびB行は、各画素の少なくともR、G”、およびBデータを含む、単一カラーラインを形成するように組み合わせられる。奇数のTDI線は、本単一カラーラインを投入される。したがって、奇数のTDI線は、奇数のTDI線の各画素が異なる画像フレームから抽出されるフォトサイトのセットから生成されるため、「クロスオーバー」色画素から成る。一実施形態では、単一カラーラインの各画素のR、G”、およびBデータは、(a)対応する積算RおよびG行からのRデータと、(b)それぞれ、積算RおよびG行ならびに合致した積算G’およびB行の対応する画素からのGおよびG’データの平均と、(c)対応する積算G’およびB行からのBデータとを含む。別の実施形態では、積算RおよびG行からのGデータならびに合致した積算G’およびB行からのG’データが両方とも、保持される。本実施形態では、単一カラーラインの各画素のR、G”、およびBデータは、(a)対応する積算RおよびG行からのRデータと、(b)積算RおよびG行の対応する画素からのGデータと、(c)積算G’およびB行の対応する画素からのG’データと、(d)対応する積算G’およびB行からのBデータとを含む。例えば、TDIモジュール140(図1)は、偶数のTDI線にデータ投入するように、ステップ1230で生成される積算RおよびG行を、ステップ1252で生成される偏移した積算G’およびB行と組み合わせる。
ステップ1241および1242後に、方法1200は、続いて、方法300(図3)のステップ360を行う。
図4のオブジェクト移動430の方向を参照すると、オブジェクトは、時間が進むにつれて、それぞれ、RおよびGフォトサイト421(1)ならびに422(2)から、それぞれ、G’およびBフォトサイト423(1)ならびに424(1)まで移動する。偶数のTDI線は、オブジェクトが所与の線410(i)の上で中心に置かれるときに、オブジェクト位置に合致させられる。奇数のTDI線は、オブジェクトが線410(i)と線410(i+1)との間の分割線の上で中心に置かれるときに、オブジェクト位置に合致させられる。したがって、方法1200は、2倍の分解能でTDI画像を生成するために、ベイヤー型カラー面スキャン画像センサ400(図4)の個々のフォトサイトを利用する。
方法1200は、本明細書の範囲から逸脱することなく、ベイヤー型フォトサイトレイアウトの他の配向に拡張されてもよい。例えば、方法1200は、図4で図示されるレイアウトと比較して90度回転させられる、ベイヤー型フォトサイトレイアウトに拡張されてもよい。方法1200はまた、本明細書の範囲から逸脱することなく、非ベイヤー型カラー面スキャンセンサに拡張されてもよい。例えば、方法1200は、各色画素が4つの一意のフォトサイトから成る、カラー面スキャン画像センサによって捕捉される画像を処理するために利用されてもよい。そのようなカラー面スキャン画像センサは、RGBE(赤、緑、青、エメラルド)またはCYGM(シアン、黄、緑、マゼンタ)色フィルタアレイを伴って構成される、カラー面スキャン画像センサを含む。
別の実施例では、方法1200は、図15の3本線カラー画像センサ1500によって捕捉される画像を処理するように拡張される。この場合、連続ステップの2つの並行セット(ステップ1241、1251、および1261、ならびにステップ1242、1252、および1262)は、連続ステップの3つの同等並行セット、すなわち、(a)画像フレームを通したオブジェクトの進行を辿る、一連の連続的に捕捉された色画素線からのR、G、およびB線を処理するステップのセット、(b)別の一連の色画素線からのB線が1つの画像フレームだけ時間をそこから偏移させられた、画像フレームを通したオブジェクトの進行を辿る、ある一連の連続的に捕捉された色画素線からのRおよびG線を処理するステップのセット、ならびに(c)別の一連の色画素線からのGおよびB線が1つの画像フレームだけ時間をそこから偏移させられた、画像フレームを通したオブジェクトの進行を辿る、ある一連の連続的に捕捉された色画素線からのR線を処理するステップのセットによって置換される。したがって、方法1200は、方法300(図3)を使用して生成されるTDI画像と比較して、3倍の時間分解能でTDI画像を生成する。
図13は、ベイヤー型画素アレイを有するカラー面スキャン画像センサによって捕捉される画像からTDI画像を生成するための1つの例示的方法1300を図示する。方法1300は、方法500(図5)によって生成されるTDI画像と比較して、2倍の分解能で着目オブジェクトを示すTDI画像を生成する。方法1300は、方法500(図5)で処理される画像と比較して2倍のフレームレートで捕捉される画像、ならびに個々のフォトサイトの処理を利用する。イベントタイミングシステムとの関連で、方法1300によって生成されるTDI画像は、方法500(図5)によって生成されるTDI画像と比較して、2倍の時間分解能を提供する。方法1300は、例えば、面スキャン画像センサ110(図1)として実装されるカラー面スキャン画像センサ400(図4)を伴うシステム100(図1)による、TDI画像の生成に適用可能である。方法1300の本議論では、カラー面スキャン画像センサは、ベイヤー型画像センサである。しかしながら、方法1300は、本明細書の範囲から逸脱することなく、各色画素が2×2フォトサイトアレイから成る、任意のカラー面画像センサによって捕捉される画像を使用して、TDI画像を使用するステップに拡張されてもよい。
方法1300は、着目オブジェクトがフレームにつき半分の線のレートでカラー面スキャン画像センサの線118(図2)を通して進行するようなフレームレートで、画像115(図2)がカラー面スキャン画像センサによって捕捉されると仮定する。方法1300の画像処理は、方法1300の画像処理が2倍のフレームレートで捕捉されている画像を構成することを除いて、方法500(図5)に類似する。方法1300は、例えば、面スキャン画像センサ110(図1)として実装されるカラー面スキャン画像センサ400(図4)を伴うシステム100(図1)によって行われる。
随意のステップ1310では、カラー面スキャン画像センサは、Nが偶数の整数である、場面を通過するオブジェクトの0からNの連続画像を捕捉する。したがって、一連の画像は、交互の偶数および奇数の画像から成る。カラー面スキャン画像センサは、着目オブジェクトがフレームにつき半分の線のレートでフレームを通して進行するようなフレームレートで、画像を捕捉する。例えば、カラー面スキャン画像センサ400(図4)は、オブジェクト135(図1)がフレームにつき半分の線118(図2)のレートで場面130(図1)を通して進行するようなフレームレートで、画像115(図1)を捕捉する。
ステップ1320では、カラー面スキャン画像センサによって捕捉される各2次元画像は、上記で定義されるように、RおよびG行ならびにG’およびB行の形態で受信される。随意のステップ1310を含む方法1200のある実施形態では、ステップ1320は、ステップ1310で捕捉される画像を受信する。随意のステップ1310を含まない方法1300のある実施形態では、画像は、他の場所から、例えば、記憶された場所から、受信されてもよい。行は、方法300の線が、方法1300の2つの行、すなわち、全てのRおよびGフォトサイト信号から成るRおよびG行、ならびに全てのG’およびBフォトサイト信号から成るG’およびB行に対応するように、方法300(図3)の線と平行に配向される。したがって、着目オブジェクトは、画像フレームにつき半分の線のレートで、連続的に捕捉された画像を通過する。例えば、TDIモジュール140(図1)は、各線410(図4)が、2つの行、すなわち、(a)線410からの全てのR(421)およびG(422)フォトサイト信号から成る行、ならびに(b)線410からの全てのG’(423)およびB(424)フォトサイト信号から成る行と関連付けられるように、行としてカラー面スキャン画像センサ400(図4)によって捕捉される2次元画像115(図1)を受信する。別の実施例では、TDIモジュール140(図1)は、恣意的な形式でカラー面スキャン画像センサ400(図4)によって捕捉される2次元画像115(図1)を受信する。TDIモジュール140(図1)は、各線410(図4)が、2つの行、すなわち、(a)線410からの全てのRおよびGフォトサイト信号から成る行、ならびに(b)線410からの全てのG’およびBフォトサイト信号から成る行と関連付けられるように、行を生成するように2次元画像115(図1)を処理する。
ステップ1320後に、方法1300は、続いて、TDI画像内の各線にステップ1331、1332、531(図5)、532(図5)、および540(図5)を行うことによって、TDI画像の各線にデータ投入する。ステップ1331および531は、ステップ1332および532のように、連続的に行われる。連続ステップ1331および531は、連続ステップ1332および532と並列または直列に行われてもよい。
ステップ1331では、それぞれ異なる画像からの一連のRおよびG行が形成される。一連のRおよびG行は、場面を通したオブジェクトの進行を辿る。一連のRおよびG行は、偶数番号付きの画像の少なくとも一部から抽出される。例えば、TDIモジュール140(図1)は、カラー面スキャン画像センサ400(図4)のそれぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる、一連のRおよびG行を形成する。一連のRおよびG行は、それぞれの一連の連続的に捕捉された偶数番号付きの画像115(図1)から抽出される。ステップ1331を行なった後、方法1300は、続いて、方法500(図5)のステップ531を行う。
ステップ1332では、それぞれ異なる画像からの一連のG’およびB行が形成される。一連のG’およびB行は、場面を通したオブジェクトの進行を辿る。一連のG’およびB行は、奇数番号付きの画像の少なくとも一部から抽出される。例えば、TDIモジュール140(図1)は、カラー面スキャン画像センサ400(図4)のそれぞれの一連の線410(1)、410(2)、ならびに410(3)と関連付けられる、一連のG’およびB行を形成する。一連のG’およびB行は、それぞれの一連の連続的に捕捉された奇数番号付きの画像115(図1)から抽出される。ステップ1332を行なった後、方法1200は、続いて、方法500(図5)のステップ532を行う。
ステップ531および532の実施後に、方法1300は、続いて、方法500(図5)のステップ540および方法300(図3)のステップ360を行う。
方法1300は、本明細書の範囲から逸脱することなく、ベイヤー型フォトサイトレイアウトの他の配向に拡張されてもよい。例えば、方法1300は、図4に図示されるレイアウトと比較して90度回転させられるベイヤー型フォトサイトレイアウトに拡張されてもよい。方法1300はまた、本明細書の範囲から逸脱することなく、非ベイヤー型カラー面スキャンセンサに拡張されてもよい。例えば、方法1200は、各色画素が4つの一意のフォトサイトから成る、カラー面スキャン画像センサによって捕捉される画像を処理するために利用されてもよい。そのようなカラー面スキャン画像センサは、RGBE(赤、緑、青、エメラルド)またはCYGM(シアン、黄、緑、マゼンタ)色フィルタアレイを伴って構成される、カラー面スキャン画像センサを含む。
別の実施例では、方法1300は、図15の3本線カラー画像センサ1500によって捕捉される画像を処理するように拡張される。この場合、画像は、3倍のフレームレートで捕捉される。連続ステップの2つの並行セット(ステップ1331および531、ならびにステップ1332および532)は、連続ステップの3つの同等並行セット、すなわち、(a)画像フレームを通したオブジェクトの進行を辿る、一連の連続的に捕捉された色画素線からのR線を処理するステップのセット、(b)画像フレームを通したオブジェクトの進行を辿る、一連の連続的に捕捉された色画素線からのG線を処理するステップのセット、および(c)画像フレームを通したオブジェクトの進行を辿る、一連の連続的に捕捉された色画素線からのB線を処理するステップのセットによって置換される。したがって、方法1300によって生成されるTDI画像は、方法300(図3)に従って処理されるTDI画像のものの3倍の時間分解能を有する。
図14は、個々のフォトサイトがカメラの空間分解能を2倍にするために使用される、1つの例示的ベイヤー型カラー面スキャン画像センサ1400の一部によって生成される2本の隣接画像線を図示する。したがって、カラー面スキャン画像センサ1400は、有利なこととして、画像ベースのイベントタイミングシステムに実装される。カラー面スキャン画像センサ1400は、ベイヤー型画素アレイを含む。カラー面スキャン画像センサ1400によって生成される画像の各色画素1420は、4つのフォトサイト信号1421、1422、1423、および1424から成る。ある実施形態では、フォトサイト信号1421は、赤色(R)光を表し、フォトサイト信号1422および1423は、緑色(G)光を表し、フォトサイト信号1424は、青色(B)光を表す。一対の隣接画像線1410(1)および1410(2)に関して、3本の出力画像線が生成される。出力画像線のうちの2本は、単純に、元の画像線1410(1)および1410(2)であり、その各画素は、画像線1410(1)のフォトサイト信号R1(1421(1))、G1(1422(1))、G1’(1423(1))、およびB1(1424(1))、ならびに画像線1410(2)のR2(1421(2))、G2(1422(2))、G2’(1423(2))、およびB2(1424(2))から成る。第3の出力画像線は、それぞれ、元の画像線1410(1)および1410(2)からのフォトサイト信号の組み合わせ、特に、画像線1410(1)のフォトサイト信号G1’(1423(1))およびB1(1424(1))、ならびに画像線1410(2)のフォトサイトR2(1421(2))およびG2(1422(2))から成る、クロスオーバー色画素1430として生成される。
元の色画素に加えてクロスオーバー色画素から成る画像は、全ての一対の隣接する元の画像線がクロスオーバー色画素から成る第3の画像線を形成するために使用され得るため、クロスオーバー色画素を使用することなく生成されるカラー画像と比較して、2倍の空間分解能で色画素線を提供する。連続的に捕捉される一連のそのような画像は、クロスオーバー画素を伴わない従来のカラー画像に基づくTDI画像と比較して、2倍の分解能で線を用いてTDI画像を形成するように処理されてもよい。
カラー面スキャン画像センサ1400から生成される線は、図1、2、および3に関連して議論されるように、画像のTDI処理への入力として使用されてもよい。ある実施形態では、カラー面スキャン画像センサ1400は、システム100内の面スキャン画像センサ110として実装される。TDIモジュール140は、(a)元の色画素およびクロスオーバー色画素から成る、より高い分解能の画像を生成し、(b)クロスオーバー画素線および元の画素線を使用して、方法300(図3)に従ってTDI画像を形成するように、標準カラー画像を処理する。例えば、イベントの時間を決定する、もしくは2つまたはそれを上回るイベントを時間的に分離するために、画像が使用される、写真判定カメラとして使用されるシステム100に関して、これは、元の画像によって提供されるものと比べて時間分解能の2倍増をもたらす。
比較のために、方法1200(図12)のクロスオーバー色画素は、TDI画像を形成するように異なる画像からの行を組み合わせながら行われる、フォトサイトの時間クロスオーバーに起因する。図14のクロスオーバー色画素は、最初に捕捉された画像内のフォトサイトの空間クロスオーバーに起因する。
図15は、フォトサイトの個々の線がカメラの空間分解能を3倍にするために使用される、1つの例示的3本線カラー画像センサ1500の一部によって生成される2本の隣接画像線を図示する。したがって、3本線カラー画像センサ1500は、有利なこととして、画像ベースのイベントタイミングシステムに実装される。一実施形態では、3本線カラー画像センサ1500は、色画素の1本の線を形成するフォトサイト線の単一のセットを伴う線スキャン画像センサである。別の実施形態では、3本線カラー画像センサ1500は、対応する複数の色画素線を形成するフォトサイト線の複数のセットを伴う面スキャン画像センサである。3本線カラー画像センサ1500の本実施形態は、面スキャン画像センサ110としてシステム100に実装されてもよい。これら2つの実施形態の両方に関して、3本線カラー画像センサ1500の各色画素線は、フォトサイトの各線が異なる色感度を有する、フォトサイトの3本の線から成る。ある実施形態では、3本線カラー画像センサ1500によって生成される画像の色画素線1510は、色画素線1510の各色画素1520が、それぞれ、赤色、緑色、および青色光を表す、3つのフォトサイト信号1521、1522、および1523から成るように、3本のフォトサイト線からの信号から成る。
一対の隣接画像線1510(1)および1510(2)に関して、3つの出力画像線が生成される。出力画像線のうちの2本は、元の線画像フレーム1510(1)および1510(2)であり、その各画素は、画像線1510(1)のフォトサイト信号R1(1521(1))、G1(1522(1))、およびB1(1523(1))、ならびに画像線1510(2)のR2(1521(2))、G2(1522(2))、およびB2(1523(2))から成る。第3の出力画像線は、それぞれ、元の隣接画像線1510(1)および1510(2)からのフォトサイトの組み合わせ、特に、画像線1510(1)のフォトサイト信号G1(1522(1))およびB1(1523(1))、ならびに画像線1510(2)のフォトサイトR2(1521(2))から成る、クロスオーバー色画素1531として生成される。同様に、第4の出力画像線は、元の隣接画像線1510(1)および1510(2)からのフォトサイトの組み合わせ、特に、画像線1510(1)のフォトサイト信号B1(1523(1))、ならびに画像線1510(2)のフォトサイト信号R2(1521(2))およびG2(1522(2))から成る、クロスオーバー色画素1532として生成される。クロスオーバー色画素から成る画像は、全ての一対の隣接する元の画像線がクロスオーバー色画素から成る2つの付加的線画像フレームを形成するために使用され得るため、元のカラー画像の3倍の空間分解能で色画素線を提供する。
図14について議論されるように、3本線カラー画像センサ1500から生成される画像線は、TDI処理への入力として使用されてもよい。ある実施形態では、3本線カラー画像センサ1500は、システム100内の面スキャン画像センサ110として実装される。TDIモジュール140は、(a)元の色画素およびクロスオーバー色画素から成る、より高い分解能の画像を生成し、(b)クロスオーバー画素線および元の画素線の両方を使用して、方法300(図3)に従ってTDI画像を形成するように、標準カラー画像を処理する。例えば、イベントの時間を決定する、もしくは2つまたはそれを上回るイベントを時間的に分離するために、画像が使用される、写真判定カメラとして使用されるシステム100に関して、これは、元の画像によって提供されるものと比べて時間分解能の3倍増をもたらす。
比較のために、方法1200(図12)のクロスオーバー色画素は、TDI画像を形成するように異なる画像からの行を組み合わせながら行われる、フォトサイトの時間クロスオーバーに起因する。図15のクロスオーバー色画素は、最初に捕捉された画像内のフォトサイトの空間クロスオーバーに起因する。
図16は、イベントタイミング画像を捕捉して処理するための1つの例示的方法1600を図示する。方法1600は、例えば、図1のシステム100または図6のシステム600によって実行されてもよい。ステップ1610では、2次元画像が、面スキャン画像センサ、例えば、図1の面スキャン画像センサ110、図4のカラー面スキャン画像センサ400、図10のフィルタ付き面スキャン画像センサ1000、図14のカラー面スキャン画像センサ1400、図15の3本線カラー画像センサ1500、または対角CFA面スキャン画像センサ1700(図17)によって捕捉される。ステップ1620では、捕捉された画像が、外部画像処理モジュール、例えば、図1のTDIモジュール140に伝達される。ステップ1630では、外部画像処理モジュールが、捕捉された画像および/または随意のステップ1630で生成される高分解能画像のTDIを行う。捕捉された画像が、カラー面スキャン画像センサ400(図4)、カラー面スキャン画像センサ1300(図13)、3本線カラー画像センサ1400(図14)、または対角CFA面スキャン画像センサ1700(図17)等の色センサによって捕捉されるカラー画像である場合、ステップ1630は、より高い分解能の画像がクロスオーバー色画素を使用して生成され得る、ステップ1640を含んでもよい。これは、方法1200(図12)に関連して時間クロスオーバーについて、ならびに図14および15に関連して空間クロスオーバーについて議論される。TDIは、図3の方法300、図5の方法500、図12の方法1200、または図13の方法1300を使用して、TDIモジュール140(図1)によって行われてもよい。ステップ1650は、TDI画像を出力する。ステップ1650は、図1のインターフェース150によって行われてもよい。
一実施形態では、外部画像処理モジュールは、完了したときにTDI画像を出力する。別の実施形態では、外部画像処理モジュールは、画素、行、または線が外部画像処理モジュールによって生成される様式で、1つずつの画素、行、もしくは線でTDI画像を出力する。
ある実施形態では、ステップ1610および1620が省略される。TDIモジュール140(図1)または画像処理能力を伴うコンピュータ等のデータ処理システムは、面スキャン画像センサによって捕捉される画像を受信し、ステップ1630および1650を行う。
図17は、各色画素が3×3フォトサイトアレイを含む、1つの例示的対角色フィルタアレイ(CFA)面スキャン画像センサ1700を図示する。対角CFA面スキャン画像センサ1700は、増進した画像処理融通性を提供し、3本線カラー画像センサ1500(図15)によって提供される高い一次元分解能を2次元に拡張する。対角CFA面スキャン画像センサ1700は、iが正の整数である、線1710(i)から成る。3本の例示的隣接線1710(1)、1710(2)、および1710(3)が、図17に示されているが、対角CFA画像センサ1700は、本明細書の範囲から逸脱することなく、任意の数の線1710を有してもよい。各線1710(i)は、jが、図17で配向されるように、線1710(i)内の色画素1720(i,j)の垂直位置を示す、色画素1720(i,j)から成る。図17は、3つの例示的色画素、すなわち、線1710(1)内の色画素1720(1,1)、線1710(2)内の色画素1720(1,2)、ならびに線1710(3)内の色画素1720(1,3)、1720(2,3)、および1720(3,3)を示す。各線1710(i)は、任意の数の色画素1720(i,j)を含んでもよい。ある実施形態では、全ての線1710は、同数の色画素1720を含む。
各色画素1720(i,j)は、nおよびmが3より小さいまたはそれに等しい正の整数である、フォトサイト1721(i,j)(n,m)の3×3アレイを含む。全てのフォトサイト1721が図17で明示的に番号付けされているわけではない。各色画素1720(i,j)は、第1の色に対して感受性があるフォトサイト1721(i,j)(1,1)、1721(i,j)(2,3)、および1721(i,j)(3,2)と、第2の色に対して感受性があるフォトサイト1721(i,j)(1,2)、1721(i,j)(2,1)、および1721(i,j)(3,3)と、第3の色に対して感受性があるフォトサイト1721(i,j)(1,3)、1721(i,j)(2,2)、および1721(i,j)(3,1)とを含む。ある実施形態では、第1、第2、および第3の色は、赤(R)、緑(G)、および青(B)である。しかしながら、対角CFA画像センサ1700は、本明細書の範囲から逸脱することなく、シアン、マゼンタ、および黄色等の他の色感度構成を使用して実装されてもよい。図17の説明図によると、同一の色感度のフォトサイトが対角線を形成する。色画素1720は、例えば、本明細書の範囲から逸脱することなく、同一の色感度のフォトサイトによって形成される対角線が、図17と比較して90度回転させられるように、異なるように配向されてもよい。フォトサイト1721は、3つのフォトサイトの任意の列が、第1の色のフォトサイト、第2の色のフォトサイト、および第3の色のフォトサイトを含むように配列され、3つのフォトサイトの任意の行は、第1の色のフォトサイト、第2の色のフォトサイト、および第3の色のフォトサイトを含み、第1、第2、および第3の色のフォトサイトは、それぞれ、第1、第2、および第3の色の光に対して感受性がある。本配列は、対角CFA面スキャン画像センサ1700のフォトサイト1721によって生成されるフォトサイト信号の処理中に、フォトサイト1721のグループ化のための増加した融通性を提供する。
1つの使用のシナリオでは、対角CFA画像センサ1700によって捕捉される画像は、処理の全体を通して別個のアイテムとして個々の色画素1720を保持して処理される。本シナリオでは、画像は、例えば、方法300(図3)に従って処理される。図5の方法500は、例えば、以降で議論されるように、対角CFA画像センサ1700によって捕捉される画像の処理に拡張可能である。ステップ510は、3つの行、すなわち、RおよびG’およびB”行、GおよびB’およびR”行、ならびにBおよびR’およびG”行を受信するように拡張される。ステップ521および531ならびにステップ522および532を含む、並行プロセスは、それぞれ、RおよびG’およびB”、GおよびB’およびR”、ならびにBおよびR’およびG”行に作用する3つの同等並行プロセスを含むように拡張される。ステップ540は、3つの積算行からのデータを組み合わせるように拡張される。
別の使用のシナリオでは、対角CFA画像センサ1700によって捕捉される画像は、2×2フォトサイトグループを使用して処理される。各2×2フォトサイトグループは、完全に単一の色画素1720内にあってもよく、または2つ、3つ、もしくは4つの隣接色画素1720からのフォトサイトを含んでもよい。後者の場合、セットが対角CFA画像センサ1700の全てのフォトサイトまたはその隣接部分に跨架するように、2×2フォトサイトグループの「完全被覆範囲セット」が選択されてもよい。例示的2×2フォトサイトグループは、2×2クロスオーバー色画素1740として図17に示されている。これは、対角CFA画像センサ1700の2×2フォトサイトグループが全て同一のフォトサイトレイアウトを有しているわけではないことを除いて、ベイヤー型カラー面スキャン画像センサ400(図4)と同等である。しかしながら、全ての2×2フォトサイトグループは、3つの異なるフォトサイトタイプを含み、したがって、ベイヤー型カラー面スキャン画像センサ400(図4)の色画素420等のベイヤー型画像センサの色画素と同じくらい完全な色情報を提供する。本使用のシナリオでは、対角CFA画像センサ1700によって捕捉される画像は、方法300(図3)、500(図5)、1200(図12)、1300(図13)、もしくは1600(図16)のうちの1つまたはそれを上回るにものに従って処理される。方法1300(図13)または1600(図16)に従って、対角CFA画像センサ1700によって捕捉される画像を処理するとき、2×2フォトサイトグループの完全被覆範囲セットが、2×2フォトサイトグループに分割される捕捉された画像の2倍の分解能でTDI画像を生成するために利用されてもよい。方法500(図5)、1300(図13)、または1600(図16)に従って画像を処理するとき、処理は、全ての2×2フォトサイトグループが同一のフォトサイトレイアウトを有しているわけではないという事実を説明するように適合される。さらに、対角CFA画像センサ1700に適用される方法1300(図13)の場合、着目オブジェクトがフレームにつき3分の1の線1710のレートで移動するように、画像が3倍のフレームレートで捕捉される。
さらに別の使用のシナリオでは、対角CFA画像センサ1700によって捕捉される画像は、色画素1720、ならびに図17の同一の垂直位置に位置する2つの隣接色画素1720の部分に跨架する3×3フォトサイトアレイから成る水平クロスオーバー色画素を使用して、処理される。水平クロスオーバー画素は、例えば、方法1200(図12)、1300(図13)、および1600(図16)に従って3本線カラー画像センサによって捕捉される画像と同様に、処理される。
対角CFA面スキャン画像センサ1700は、TDI画像の生成のための有用性を有するが、典型的には線スキャンカメラによって行われる、他の用途で使用するためにも有利であり得る。
図18は、2次元フォトサイト変動を伴う色画素を有するカラー面スキャン画像センサによって捕捉される、イベントタイミング画像を処理するための1つの例示的方法1800を図示する。2次元フォトサイト変動を有する、カラー面スキャン画像センサの実施例は、ベイヤー型カラー面スキャン画像センサ400(図4)および対角CFA面スキャン画像センサ1700(図17)を含む。方法1800は、TDI線と平行な次元において向上した分解能でTDI画像を生成する。随意に、TDI画像が2次元において向上した分解能を有するように、TDIが向上した分解能で行われる。方法1800は、例えば、TDIモジュール140(図1)によって行われる。
ステップ1810では、方法1800は、2次元フォトサイト変動を伴う色画素を有するカラー面スキャン画像センサによって捕捉される、画像を受信する。例えば、TDIモジュール140は、面スキャン画像センサ110(図1)として実装される対角CFA画像センサ1700(図17)によって捕捉される、画像を受信する。ステップ1810を行なった後、方法1800は、捕捉された画像の2つまたはそれを上回るフォトサイトグループ分割のためのステップ1630(図16)を行い、2つまたはそれを上回るフォトサイトグループ分割は、TDI線と平行な次元において相互に偏移させられる。
図17を参照すると、着目オブジェクトの仮定された運動方向が、矢印1760によって示されている。したがって、TDI線は、矢印1760に対して直角であり、線1710と平行である。対角CFA画像センサ1700によって捕捉される画像に関して、ステップ1630は、(a)線1710と平行な次元において、色画素1720と整合させられるフォトサイトグループ分割、(b)(例えば、フォトサイトグループ1750と整合させられる)線1710と平行な次元において1つのフォトサイト行だけ色画素1720から偏移させられるフォトサイトグループ分割、および(c)線1710と平行な次元において2つのフォトサイト行だけ色画素1720から偏移させられるフォトサイトグループ分割のために行われる。
図4を参照すると、着目オブジェクトの仮定された運動方向が、矢印430によって示されている。したがって、TDI線は、矢印430に対して直角であり、線410と平行である。ベイヤー型カラー面スキャン画像センサ400によって捕捉される画像に関して、ステップ1630は、(a)線410と平行な次元において色画素420と整合させられるフォトサイトグループ分割、および(b)線410と平行な次元において1つのフォトサイト行だけ色画素420から偏移させられるフォトサイトグループ分割のために行われる。
ステップ1630の複数の反復は、TDI線と平行な次元において、そのそれぞれの色画素が相互に偏移した場所で中心に置かれた、それぞれのTDI画像を生成する。随意に、ステップ1630は、TDI画像がTDI線に対して直角な次元において向上した分解能を有するように、ステップ1640を含む。図18に図示されていない、ある実施形態では、ステップ1630は、同様にTDI線に対して直角な次元において向上した分解能を提供する、方法1300(図13)によって置換される。
ステップ1850では、ステップ1630の複数の反復で生成されるTDI画像は、TDI線と平行な次元において向上した分解能でTDI画像を形成するように組み合わせられる。例えば、TDIモジュール140は、ステップ1630で生成されるTDI画像を組み合わせる。これは、直交次元内であるが、図14に関連して議論されるものと同一の方法を使用して行われてもよい。ステップ1850を行なった後、方法1800は、ステップ1650(図16)を行う。
したがって、方法1800は、両方の次元において分解能を最大限にするために個々のフォトサイトデータを利用することが可能である。ベイヤー型カラー面スキャン画像センサ400(図4)によって捕捉される画像の場合、分解能は、ベイヤー型カラー面スキャン画像センサ400の色画素分解能と比較して、両方の次元において2倍にされてもよい。対角CFA画像センサ1700(図17)によって捕捉される画像の場合、分解能は、対角CFA画像センサ1700の色画素分解能と比較して、両方の次元において3倍にされてもよい。
図19は、異なる色フィルタアレイ性質を伴う複数の領域を有する、2つの例示的カラー面スキャン画像センサ1900および1950を図示する。カラー面スキャン画像センサ1900および1950は、有利なこととして、システム100(図1)等のイベントタイミングシステムに実装される。
カラー面スキャン画像センサ1900は、3つの領域、すなわち、高分解能TDIのために最適化される色フィルタアレイを伴って構成される領域1910(1)、ならびに図4に関連して議論されるようなベイヤー型色フィルタアレイを伴って構成される領域1910(2)および1910(3)を含む。ある実施形態では、領域1910(1)は、カラー面スキャン画像センサ1900上で画像を形成するために使用される、撮像目標の光軸上に位置する。したがって、領域1910(1)によって捕捉される画像から生成されるTDI画像は、光軸に対して直角な方向に進行する着目オブジェクトの理想的な側面図を形成してもよい。例えば、カラー面スキャン画像センサ1900は、システム100(図1)内の面スキャン画像センサ110として実装され、領域1910(1)は、撮像目標120の光軸上に位置する。TDI画像情報が、領域1910(1)から抽出されてもよい一方で、領域1910(2)ならびに1910(3)は、標準2次元画像および/または付加的TDI画像を提供する。
カラー面スキャン画像センサ1950は、2つの領域、すなわち、高分解能TDIのために最適化される色フィルタアレイを伴って構成される領域1960(1)、および図4に関連して議論されるようなベイヤー型色フィルタアレイを伴って構成される領域1960(2)を含む。ある実施形態では、領域1960(1)は、カラー面スキャン画像センサ1950上に画像を形成するために使用される、撮像目標の光軸上に位置する。したがって、領域1960(1)によって捕捉される画像から生成されるTDI画像は、光軸に対して直角に進行する着目オブジェクトの理想的な側面図を形成してもよい。例えば、カラー面スキャン画像センサ1950は、システム100(図1)内の面スキャン画像センサ110として実装され、領域1960(1)は、撮像目標120の光軸上に位置する。これは、撮像目標120の光軸から離してカラー面スキャン画像センサ1950の中心を偏移させることを必要とする。TDI画像情報が、領域1960(1)から抽出されてもよい一方で、領域1960(2)は、標準2次元画像および/または付加的TDI画像を提供する。
カラー面スキャン画像センサ1900および1950は、本明細書の範囲から逸脱することなく、それぞれのTDI専用領域1910ならびに1920に加えて、より多くの領域および/または他の色フィルタアレイ構成の領域を含むように修正されてもよい。
図20は、画像捕捉、随意に、センサ2010を使用したイベントのタイミングのための1つの例示的システム2000を示す。ある実施形態では、システム2000は、図1のシステム100を組み込む。センサ2010は、インターフェース150(図1および2)を通してデータ処理システム2020と通信している。随意に、TDIモジュール140(図1)は、撮像光学部2012を通して、センサ2010によって捕捉される画像のTDI処理を行い、インターフェース150を通してTDI画像をデータ処理システム2020に伝達する。センサ2010または随意のTDIモジュール140は、時計160からの時間を使用して、画像に時間を刻印してもよい。一実施形態では、センサ2010は、面スキャン画像センサ、例えば、CMOS面スキャン画像センサである。別の実施形態では、センサ2010は、線スキャンセンサである。さらに別の実施形態では、センサ2010は、図4のカラー面スキャン画像センサ400または図14のカラー面スキャン画像センサ1400である。さらなる実施形態では、センサ2010は、図15の3本線カラー画像センサ1500である。付加的実施形態では、センサ2010は、図10のフィルタ付き面スキャン画像センサ1000である。センサ2010、撮像光学部2012、随意のTDIモジュール140、インターフェース150、および随意の時計160は、カメラ2015に組み込まれてもよい。データ処理システム2020は、プロセッサ2030と、メモリ2040と、入出力インターフェース2050を含む。メモリ2040は、インターフェース150からデータ処理2020に送信される画像、およびデータ処理2020によって行われる処理の結果を記憶するために、データ記憶装置2041を含む。メモリ2040はさらに、インターフェース150から受信される画像の処理のために、メモリ2040内の機械可読命令として実装されるアルゴリズム2042を含む。ある実施形態では、アルゴリズム2042は、メモリ2040の不揮発性部分の中に位置する。別の実施形態では、データ処理システム2020は、データ処理システム2020の外部に位置する不揮発性メモリからアルゴリズム2042を読み出し、アルゴリズム2042をメモリ2040の揮発性部分に記憶する。入出力インターフェース2050は、ユーザとの双方向通信を提供する。
ある実施形態では、入出力インターフェース2050は、無線インターフェースである。例えば、入出力インターフェース2050は、WiFiまたはBluetooth(登録商標)インターフェースである。本実施形態では、携帯電話またはスマートフォン等のモバイルデバイスが、カメラ2015を制御する、および/またはそこからデータを受信するために使用されてもよい。本モバイルデバイスは、データ処理システム2020として機能し、または別個の制御デバイス2016であってもよい。
随意に、システム2000は、代替イベントタイミングシステム2060を含む。代替イベントタイミングシステム2060は、イベントレコーダ2062と、随意に、代替時計2064とを含む。代替イベントタイミングシステム2060は、イベントを検出して識別し、時計を使用して、時間を各そのようなイベントに割り当てる。ある実施形態では、時間が代替時計2064によって提供される。別の実施形態では、時間が時計160によって提供される。代替イベントタイミングシステム2060は、イベントの撮像に基づかなくてもよいが、イベント検出の他の形態を使用してもよい。一実施形態では、代替イベントタイミングシステム2060は、カメラ2015、時計160、および随意のTDIモジュール140から成るカメラベースのシステムによって提供されるものより優れた、または低い精度で、タイミングを提供する。代替時計2064は、全地球測位システム(GPS)時間信号に基づいてもよい。時計2064のGPSベースの実施形態は、他のイベントタイミングシステムが相互と同期化され得るように、システム2000がこれらと併せて操作されるときに、特定の有用性を有する。
ある実施形態では、代替イベントタイミングシステム2060は、高周波識別に基づく。オブジェクト、例えば、レース参加者は、高周波識別(RFID)チップでタグ付けされる。イベントレコーダ2062および代替時計2064は、イベントレコーダ2062に近接するときにRFIDチップを検出して識別する、高周波タイミングシステムである。
図21は、代替イベントタイミングシステム2060がRFIDデコーダ2165を含むRFIDベースのイベントタイミングシステム2160である、図20のシステム2000の1つの例示的実施形態を図示する。オブジェクトは、近接しているときにRFIDデコーダによって検出されて識別される、RFIDチップ2170でタグ付けされる。RFIDベースのイベントタイミングシステム2160は、カメラ2010と関連付けられる時計160から時間を受信し、2つの別個の時計の同期化の必要性を排除する。
図22は、入力フレームレートで捕捉される一連の入力画像、ならびに恣意的フレームレートおよび関連時間に対応する、一連の出力画像を生成する関連時間を処理するための1つの例示的方法2200を図示するフローチャートである。画像は、イベント記録およびタイミングシステム、例えば、それぞれ、図1、6、20、および21のシステム100、600、2000、または2100によって提供される。方法2200は、画像捕捉の後に、画像ベースのイベントタイミングシステムの時間分解能を修正するために使用されてもよい。ある実施形態では、方法2200は、フレームレート調節アルゴリズム2043としてデータ処理システム2020(図20および21)に実装され、データ処理システム2020のプロセッサ2030によって実行される。
入力フレームレートで捕捉される一連の入力画像、およびタイミングは、例えば、ステップ2210においてシステム2000(図20)または2100(図21)のインターフェース150から受信される。ステップ2220では、出力フレームレートが選択される。ステップ2220の一実施例では、ユーザが、出力フレームレートを規定する。本出力フレームレートは、入出力インターフェース2050を通して、システム2000(図20)または2100(図21)のデータ処理システム2020に伝達される。ステップ2225では、初期出力時系列が判定され、初期出力時系列は、ステップ2220において選択される出力フレームレートで捕捉される画像に対応する。
ステップ2230から2260は、全ての初期出力時間に繰り返される。ステップ2230は、検討中の初期出力時間を評価する。初期出力時間が入力時間と同一である場合、方法2200は、出力画像が入力時間と関連付けられる入力画像に等しく設定される、ステップ2240に進む。初期出力時間が入力時間と同一ではない場合、方法2200は、ステップ2250に進む。ステップ2250では、初期出力時間と関連付けられる出力画像は、初期出力時間の近くで捕捉される入力画像の加重平均として計算される。ある実施形態では、出力画像は、2つの入力画像、すなわち、初期出力時間の最も近くで、およびそれに先立って捕捉される入力画像、ならびに初期出力時間の最も近くで、およびその後に捕捉される入力画像の加重平均として計算される。加重平均の加重は、初期出力時間と加重平均に寄与する入力画像と関連付けられる入力時間との間の時間差が増加するとともに、減少し得る。ステップ2240および2250の両方から、方法2200は、ステップ2260に進む。ステップ2260では、最終出力時間が、ステップ2240またはステップ2250のいずれか一方で生成される出力画像に割り当てられる。最終出力時間は、出力画像に寄与する入力画像と関連付けられる入力時間のうちの最新のものと等しく設定される。ステップ2225から2260は、フレームレート調節アルゴリズム2043(図20および21)において、命令に従って図20および21のプロセッサ2030によって実行されてもよい。ステップ2270では、出力画像および関連最終出力時間は、入出力インターフェース2050(図20および21)によって、例えば、ユーザまたはコンピュータシステムに出力される。
図23は、システム100(図1)、600(図6)、2000(図20)、および2100(図21)等の画像捕捉を利用してイベントタイミングシステムによって生成される画像データの量を自動的に低減させるための1つの例示的方法2300を図示する、フローチャートである。方法2300は、一連の画像を切り取るアルゴリズム2044としてデータ処理システム2020(図20および21)に実装されてもよい。ステップ2310では、一連の画像および関連時間が、例えば、インターフェース150(図1、20、および21)によって提供される。ステップ2320では、レース参加者が決勝線を横断すること等のイベントと時間との間の対応が提供される。ステップ2320において提供される対応は、相関器アルゴリズム2045(図20および21)における、命令に従ってプロセッサ2030(図20および21)によって生成されてもよい。一実施形態では、イベントは、代替イベントタイミングシステム2060(図20)またはRFIDベースのイベントタイミングシステム2160(図21)によって識別される。別の実施形態では、イベントは、エッジ検出を使用して、TDIモジュール140(図1、20、および21)によって識別される。
ステップ2310および2320を行った後、方法2300は、着目イベントが選択される、ステップ2330に進む。着目イベントは、例えば、(Nが規定された正の整数である)最初のN個のイベント、あるRFIDと関連付けられるイベント、または短時間フレーム内の複数のイベントの発生と関連付けられるイベントとして事前定義されてもよい。ステップ2340では、一連の画像は、着目イベントと関連付けられない画像、例えば、着目イベントと関連付けられる時間の前または後の規定時間間隔で捕捉される画像を除去することによって、切り取られる。ステップ2330および2340は、一連の画像を切り取るアルゴリズム2044に組み込まれる命令に基づいて、独占的にプロセッサ2030(図20および21)によって、または入出力インターフェース2050(図20および21)を通して提供されるユーザ入力と組み合わせて、行われてもよい。ステップ2350は、ステップ2040で生成される、切り取られた一連の画像を出力する。ある実施形態では、ステップ2350は、入出力インターフェース2050(図20および21)によって行われる。
代替イベントタイミングシステム2060(図20)、RFIDベースのイベントタイミングシステム2160(図17)、およびTDIモジュール140(図1、20、および21)のうちの1つまたはそれを上回るものを使用して、イベントがリアルタイムで識別される実施形態では、方法2300は、イベントが識別されるときのみ行われてもよい。例えば、TDIモジュール140(図1、20、および21)は、循環バッファを含んでもよい。TDIモジュール140は、エッジ検出を使用して循環バッファを評価してもよい。イベントを示すエッジの検出時に、一連の関連入力は、ステップ2340および2350の実行のためにデータ処理システム2020(図20および21)に伝達される。
図24は、4本の線2410(1)、2410(2)、2410(3)、および2410(4)とともに画像センサを使用して、移動オブジェクト2420の画像を捕捉するための1つの例示的シナリオ2400および関連方法を図示する。ある実施形態では、線2410(i)は、面スキャンセンサの画素線である。ある実施形態では、線2410(i)は、面スキャンセンサのより多数の画素線から選択される画素線である。図24に図示されるシナリオでは、4つのフレーム2401、2402、2403、および2404が、時間(2415)の関数として捕捉される一方で、オブジェクト2420は、線2410(1)、2410(2)、2410(3)、および2410(4)と関連付けられる画像フィールドを横断して移動する。線2410(i)は、オブジェクト2420の運動(2425)の方向と垂直に配向される。
例証目的で、オブジェクト2420は、オブジェクト2420の運動の方向と平行な次元において、等しいサイズの4つの領域A、B、C、Dに分割される。フレーム2401、2402、2403、および2404が捕捉されるフレームレートは、それぞれの領域A、B、C、Dの画像が各フレームの間で1本の線2410(i)だけ偏移するように、オブジェクト2420の速度に合致させられる。具体的には、オブジェクト2420が移動すると、領域Aが、フレーム2401内の線2410(1)、フレーム2402内の線2410(2)、フレーム2403内の線2410(3)、およびフレーム2404内の線2410(4)の上に撮像される。
TDIは、オブジェクト2420の捕捉された画像のフレーム間偏移を考慮しながら、フレームを横断して線を積算することによって行われてもよい。オブジェクト2420の領域Aの増進した画像が、フレーム2401の線2410(1)、フレーム2402の線2410(2)、フレーム2403の線2410(3)、およびフレーム2404の線2410(4)を積算することによって形成される。図24に図示される実施例は、非限定的であり、任意の数の線2410(i)、任意の数のフレーム、任意の数のオブジェクト、および任意の数の領域に容易に拡張される。ある実施形態では、フレーム2401、2402、2403、および2404は、図1の面スキャン画像センサ110によって捕捉される。ある実施形態では、TDIは、例えば、図3の方法300を使用して、例えば、TDIモジュール140(図1)によって、センサ外で行われる。さらなる実施形態では、システム400(図4)、1400(図14)、または1500(図15)および関連方法を使用して、増加した分解能が達成される。
一実施形態では、フレーム2401、2402、2403、および2404は、線2410(1)、2410(2)、2410(3)、ならびに2410(4)を伴う線間電荷結合素子(CCD)面スキャンセンサによって捕捉される。線間CCD面スキャンセンサでは、画素電荷を読み出すプロセスは、異なるフレームの積算の間に遅延を課さない。線間CCD面スキャンセンサの各画素は、関連する隠された画素を有する。読出プロセスは、対応する隠された画素への1つのフレームの積算中に蓄積される全ての画素電荷を偏移させるリセット動作によって開始され、次のフレームの積算は、リセット動作の直後に続いて起こる。したがって、線間CCD面スキャンセンサの集光効率は、リセット動作と関連付けられる遅延がごくわずかであると仮定して100%である。
別の実施形態では、線2410(1)、2410(2)、2410(3)、および2410(4)は、CMOS面スキャン画像センサに属する。CMOS面スキャン画像センサは、グローバルシャッタまたはローリングシャッタのいずれか一方を伴って構成されてもよい。グローバルシャッタCMOS面スキャン画像センサの積算および読取プロセスは、線間CCDのものに類似する。ローリングシャッタCMOS面スキャン画像センサは、グローバルリセットまたはローリングリセットを伴って実装されてもよく、ローリングリセットは、より一般的に利用可能な構成である。図25は、グローバルリセットを伴って実装されるローリングシャッタCMOS面スキャン画像センサのための積算および読取プロセス2500を図示する。図26は、ローリングリセットを伴って実装されるローリングシャッタCMOS面スキャン画像センサのための積算および読取プロセス2600を図示する。グローバルリセットを伴って実装されるローリングシャッタCMOS面スキャン画像センサでは、全ての画素が同時にリセットされ、次いで、線毎に読み出される。画素は、読出中に積算することを許可されず、これは、センサが読出プロセス中に動作していないことを意味する。ローリングリセットを伴って実装されるローリングシャッタCMOS面スキャン画像センサでは、個々の画素行がリセットされ、ローリング基準で読み出される。1つの行が読み出されている間に、全ての他の行は依然として積算している。1つの行の読出が完了したとき、それは再び積算することを許可され、次の行の読出が開始される。
2つのリセットタイプの集光効率を比較するために、積算時間が両方のタイプの読出時間に等しいことが仮定される。図26で図示される実施形態では、4本の線2410(1)、2410(2)、2410(3)、および2410(4)は、画素行に一致する。したがって、画素が線毎に読み出される。したがって、ローリングリセットを伴って実装され、その最大フレームレートで作動する、ローリングシャッタCMOS面スキャン画像センサのN本の線の場合、N個の読出期間が完全フレームサイクルで完了する。等しい読出および積算時間を用いて、各線は、読み出される前にN個の読出期間と同等の持続時間にわたって積算する。グローバルリセットを伴って実装されるローリングシャッタCMOS面スキャン画像センサに同一の仮定を適用すると、図25で図示される実施例は、センサが積算に半分のフレームサイクル、読取に半分のフレームサイクルを費やすことを生じさせる。
図25では、線2410(1)、2410(2)、2410(3)、および2410(4)の線状態は、時間2415の関数として示される。リセット動作の持続時間は、ごくわずかであり、したがって、線状態は、「積算」(INT)または「読出」(READ)のいずれか一方であることが仮定される。オブジェクト2420の各区画の画像は、フレーム2401中に線2410(1)(標識2520(1))、フレーム2402中に線2410(2)(標識2520(2))、フレーム2403中に線2410(3)(標識2520(3))、およびフレーム2404中に線2410(4)(標識2520(4))の上に撮像される、区画Aによって示されるように、フレームサイクル中に1本の線だけ偏移する。フレーム2401は、例えば、全て同期化積算に起因する、読出信号2530(1)、2530(2)、2530(3)、および2530(4)から成る。
時間遅延積算は、図24について議論されるように線を積算することによって行われることができる。結果は、集光効率が50%であることを除いて、線間CCD面スキャン画像センサまたはグローバルシャッタCMOS面スキャン画像センサを用いて得られるものと同等である。グローバルリセットを伴うローリングシャッタCMOS面スキャン画像センサは、例えば、システム100(図1)、200(図2)、600(図6)、2000(図20)、または2100(図21)に実装されてもよい。時間遅延積算は、例えば、図3の方法300を使用して行われてもよい。
図26では、線2410(1)、2410(2)、2410(3)、および2410(4)の線状態は、時間2415の関数として示される。図25に関して、リセット動作の持続時間は、ごくわずかであり、したがって、線状態は、「積算」(INT)または「読出」(READ)のいずれか一方であることが仮定される。オブジェクト2420の各区画の画像は、フレームサイクル中に1本の線だけ偏移する。しかしながら、この場合、全ての線が同時に読み出されるわけではない。例示的フレームは、読出信号2630(1)、2630(2)、2630(3)、および2630(4)から成る。これらの読出信号は、非同期積算に起因する。線2410(1)の読出信号が区画位置と整合させられる一方で、線2410(2)、2410(3)、および2410(4)の読出信号は、そこからますます偏移させられる。同様に、区画Aが、標識2620(1)、2620(2)、2620(3)、および2620(4)によって示される、線から線まで偏移すると、対応する読出信号は、区画Bからの増大する寄与を含有する。しかしながら、フレームレートは、ローリングリセットを伴って実装されるローリングシャッタ画像センサが、そこから生成されるTDI画像の劣化を伴わずに使用され得るように、非同期積算を補償するために調節されてもよい。例えば、通過オブジェクトの画像が、1つの読出時間を加えた1つのフレーム時間の持続時間において1本の線だけ移動するように、画像が捕捉されるフレームレートは、グローバルシャッタ画像センサの公称フレームレートと比較して増加させられてもよい。
ローリングリセットを伴って実装されるローリングシャッタCMOS面スキャン画像センサの利益は、集光効率が100%に近似し得ることである。N本の線およびローリングリセットを伴うローリングシャッタCMOS面スキャン画像センサに関して、線と関連付けられる読出時間は、フレームサイクル持続時間の1/(N+1)にすぎない。したがって、光積算デューティサイクルは、N/(N+1)である。図26に図示される4本の線を伴う実施形態では、光積算デューティサイクルは、80%である。しかしながら、例えば、1024本の線を伴うセンサに関して、光積算デューティサイクルは、99.9%である。
時間遅延積算は、図24について議論されるように線を積算することによって行われることができる。結果は、わずかなサブフレーム不鮮明および光積算デューティサイクルのわずかな減少を除いて、線間CCD面スキャン画像センサまたはグローバルシャッタCMOS面スキャン画像センサを用いて得られるものと同等である。ローリングリセットを伴うローリングシャッタCMOS面スキャン画像センサは、例えば、システム100(図1)、600(図6)、2000(図20)、または2100(図21)に実装されてもよい。時間遅延積算は、例えば、図3の方法300を使用して行われてもよい。
図27は、整合支援システムを伴って構成される1つの例示的カメラシステム2700を図示する。カメラシステム2700は、3つの直交回転自由度と、1つの平行移動自由度とを含む、少なくとも4軸移動を有するマウント2720と連結される、カメラ2710を含む。カメラ2710は、図1のシステム100と、水準器2712と、随意の整合制御システム2714とを含む。カメラ2710は、本明細書の範囲から逸脱することなく、システム100(図1)のTDIモジュール140を伴わずに実装されてもよい。カメラ2710は、3つの直交軸2730、2740、および2750によって画定される座標系と関連付けられる。座標系は、カメラ2710とともに移動するようにカメラ2710に対して固定される。軸2750は、カメラ2710によって捕捉される画像内で垂直方向と平行である。座標系の原点、すなわち、軸2730、2740、および2750の交差は、カメラ2710内に、またはその外部に位置してもよい。マウント2720は、少なくとも、軸2730の周囲の回転2731、軸2740の周囲の回転2741、軸2750の周囲の回転2751、および軸2740に沿った平行移動2742を提供するように構成される。
例示的な使用のシナリオでは、カメラシステム2700が、決勝線の画像を捕捉するために使用される。決勝線の方向および重力の方向はともに、決勝面を画定する。代替として、決勝面は、決勝線の方向、および決勝線を横断するレース参加者の運動の方向と略垂直である別の方向によって画定される。マウント2720は、重力の方向がカメラ2712によって捕捉される画像115(図1)内で垂直であるように、水準器2712によって示されるように、カメラ2710を水平に整合させるために使用される。これは、重力の方向と平行である軸2750に対応する。本実施例では、軸2740に沿った平行移動が、カメラ2710によって捕捉される画像内の決勝線の略左右移動をもたらすように、カメラ2710が決勝線に対して配置されていることに留意されたい。マウント2720はさらに、決勝線が画像115(図1および2)内で垂直であるように、決勝面内にカメラ2710を配置するために使用される。以下で議論される図28から31は、本整合を行うための2つの方法を図示する。
一実施形態では、水準器2712は、電子水準器であり、マウント2720は、電動式作動を含む。水準器2712は、整合制御システム2714に通信可能に連結される。整合制御システム2714はさらに、システム100およびマウント2720に通信可能に連結される。整合制御システム2714は、水準器2712による測定およびシステム100によって捕捉される画像を処理する。整合制御システム2714は、カメラ2710の所望の整合を達成するように、それに応じてマウント2720を制御する。本実施形態は、カメラ2710の自動整合を促進する。
別の実施形態では、整合カメラ2710は、水準器2712による測定およびシステム100によって捕捉される画像を使用して、オペレータによって手動で整合させられる。さらに別の実施形態では、整合制御システム2714が、マウント2720の自由度の一部を制御する一方で、他の自由度は、オペレータによって制御される。本実施形態では、オペレータは、制御システム2714によって提供される命令によって補助されてもよい。例えば、整合制御システム2714は、回転2731、2741、および2751を制御するようにマウント2720を制御し、必要に応じて、平行移動2742を調節するために命令をオペレータに提供する。
カメラ2710は、本明細書の範囲から逸脱することなく、システム100の代わりに図20のカメラ2015を含んでもよい。加えて、カメラ2710は、本明細書の範囲から逸脱することなく、TDI機能性を有していないカメラであってもよい。
図28は、カメラシステム2700(図27)のカメラ2710を決勝線と整合させるための1つの例示的方法2800を図示する。図28は、図27および図29とともに最も詳しく検討される。方法2800は、上記で議論されるように、手動で、または自動的に、もしくはそれらの組み合わせで行われてもよい。ステップ2810では、マウント2720は、カメラ2710を水平にするように、軸2730および2740の周囲でカメラ2710を回転させる。これは、軸2750を重力の方向と平行にすることに対応する。例えば、整合制御システム2714は、水準器2712から測定を受信し、カメラ2710を水平にするようにマウント2720を制御する。ステップ2820では、カメラ2710は、決勝線を含む場面の画像を捕捉する。例えば、整合制御システム2714は、画像115(図1および2)を捕捉するようにカメラ2710をトリガする。決勝線画像2920(1)を含む例示的画像2910(1)が、図29に図示されている。ステップ2830では、決勝線は、ステップ2820で捕捉される画像内で検出される。例えば、整合制御システム2714は、画像2910(1)内の決勝線画像2920(1)を検出する。別の実施例では、オペレータが、画像2910(1)内の決勝線画像2920(1)を識別し、識別された場所を整合制御システム2714に提供する。ステップ2840では、画像2910(1)内の決勝線画像2920(1)は、決勝面内にカメラ2710を配置するために必要とされる、軸2750の周囲の回転2751および軸2740に沿った平行移動2742を計算するために使用される。例えば、整合制御システム2714は、決勝面内にカメラ2710を配置するために必要とされる回転2751および平行移動2742を判定するために、画像2910(1)内の決勝線2920(1)の場所ならびに配向を分析する。これは、カメラ2710から撮像された場面内の規定点までの距離の知識を利用することを含んでもよい。ステップ2850では、マウント2720は、ステップ2840の出力に従って、カメラ2710を回転および平行移動させる。マウント2720は、回転2751および平行移動2742を行う。例えば、整合制御システム2714は、回転2751および平行移動2742を行うようにマウント2720を制御する。捕捉される場合、結果として生じる画像2910(2)は、図29に図示されている。決勝線画像2920(2)は、画像2910(2)内で垂直である。
図30は、カメラシステム2700(図27)のカメラ2710を決勝線と整合させるための別の例示的方法2600を図示する。図30は、図27および図31と一緒に最も良く見られる。方法3000は、上記で議論されるように、手動で、または自動的に行われてもよい。方法3000は、図28のステップ2810を行うことで開始する。後続のステップ3020では、マウント2720は、画像115(図1および2)内の決勝線の位置が監視されている間に、軸2750の周囲でカメラ2710を回転させる。図31は、本回転を行うことに先立って捕捉される例示的画像3110(1)を図示する。画像3110(1)では、決勝線画像3120(1)は、画像3110(1)の右手部分の中に位置する。マウント2720は、決勝線が画像115(図1および2)内で水平に中心に置かれるまで、カメラ2710を回転させる。これは、決勝線画像3120(2)が水平に中心に置かれる、例示的画像3110(2)として図31に図示されている。例えば、整合制御システム2714は、必要に応じてカメラ2710を回転させるようにマウント2720を制御しながら、システム100によって捕捉される画像115(図1および2)を連続的に分析する。ステップ3030では、マウント2720が、軸2750に沿ってカメラ2710を平行移動させる一方で、画像115(図1および2)内の決勝線の位置は、決勝線が垂直になるまで監視される。垂直決勝線画像が達成されるとき、カメラ2710は、決勝面内に位置する。図31は、本平行移動を行った後に捕捉される、垂直決勝線画像3120(3)を伴う例示的画像3110(3)を図示する。例えば、整合制御システム2714は、必要に応じてTDIカメラ2010を平行移動させるようにマウント2720を制御しながら、システム100によって捕捉される画像115(図1および2)を連続的に分析する。
図32は、画像センサおよびディスプレイを伴うイベントタイミングシステムを使用して、スコアボード型ビデオを生成して表示するための1つの例示的システム3200を図示する。スコアボード型ビデオは、例えば、結果リスト、順位表、TDIカメラまたは他の写真判定システムによって生成される画像、ビデオ、コマーシャル、および他のグラフィックを含む。システム3200は、図20のシステム2000の実施形態である。システム3200は、随意のカメラ2015(図20)の実施形態であるカメラ3215と、データ処理システム2020(図20)と、ディスプレイ3260とを含む。システム3200はさらに、代替イベントタイミングシステム2060(図20)を含んでもよい。カメラ3215は、画像センサ3210と、撮像光学部2012(図20)と、インターフェース3250と、スコアボード型ビデオを生成するためのビデオ発生器3220とを含む。ある実施形態では、画像センサ3210は、面スキャン画像センサ110(図1)等の面スキャン画像センサである。随意に、カメラ3215はさらに、TDIモジュール140(図1)および/または時計160(図1)を含む。ビデオ発生器3220は、メモリ3240を含む。メモリ3240は、データ処理システム2020によって生成され、インターフェース3250を通してビデオ発生器3220によって受信される結果データを記憶するための結果データ記憶装置3242を含む。加えて、メモリ3240は、メモリ3240の中で符号化される機械可読命令3244を含む。ある実施形態では、機械可読命令3244は、メモリ3240の不揮発性部分の中に位置する。別の実施形態では、ビデオ発生器3220は、ビデオ発生器3220の外部に位置する不揮発性メモリから機械可読命令3244を読み出し、機械可読命令3244をメモリ3240の揮発性部分に記憶する。ビデオ発生器3220はさらに、スコアボード型ビデオを生成するように、命令3244に従った結果データ3242の処理のためのプロセッサ3230を含む。ビデオ発生器3220は、インターフェース3250を通してスコアボード型ビデオをディスプレイ3260に伝達する。命令は、インターフェース3250を介して、ユーザまたは外部コンピュータシステム、例えば、データ処理システム2020からビデオ発生器に伝達され、命令3244に記憶されてもよい。そのような命令は、例えば、印刷設定、グラフィカル設定、および全体的画面レイアウトを含む。インターフェース3250は、スコアボード型ビデオをコンピュータ等の他のディスプレイまたはコンピュータのネットワークに伝達するための通信ポートを含んでもよい。インターフェース3250は、1つまたはそれを上回る無線通信ポートを含んでもよい。
システム3200は、別個のタイミングシステムおよびスコアボードデータの生成に基づく、従来のスコアボード生成の単純かつ費用効率的な代替案を提供する。従来、スコアボードデータは、積算スコアボードコントローラまたは外部スコアボードコントローラとともにスコアボードを使用して、生成される。スコアボードコントローラは、タイミングシステムから結果を受信し、スコアボードコントローラソフトウェアを使用して結果を処理し、スコアボード用のビデオを生成する。対照的に、システム3200は、スコアボード型ビデオを生成するために、特に、カメラ3215内のタイミングシステムに組み込まれたビデオ生成能力を利用する。スコアボード型ビデオは、インターフェース3250を通してディスプレイ3260に直接伝達される。インターフェース3250は、本目的で、高解像度マルチメディアインターフェース(HDMI(登録商標))および/または無線通信ポートを含んでもよい。無線通信ポートは、例えば、スコアボード型ビデオを、ディスプレイ3260のHDMI(登録商標)ポートと通信可能に連結される無線/HDMI(登録商標)変換器に伝達することが可能なWi−Fi通信ポートであってもよい。したがって、システム3200は、スコアボードおよびスコアボードコントローラの必要性を排除する。多くの市販の面スキャン画像センサがビデオ生成能力を含むため、カメラ3215の電子要素は、手頃な価格の容易に入手可能な電子構成要素に基づいてもよい。ある実施形態では、ディスプレイ3260は、発光ダイオード(LED)ディスプレイである。
システム3200のビデオ生成能力は、場面に対するカメラ3215の整合中に採用されてもよい。ある実施形態では、カメラ3215は、画像センサ3210によって捕捉される画像をビデオ発生器3220に直接伝達するように構成される。ビデオ発生器3220は、画像のストリームを含むスコアボード型ビデオを生成するように、そのような画像のストリームを処理してもよい。本スコアボード型ビデオは、ディスプレイ3260上のリアルタイム画像ストリームを見ることによって、オペレータがカメラ3215を整合させ得るように、インターフェース3250を介してディスプレイ3260に伝達されてもよい。
図33は、積算ビデオ生成能力を伴うイベントタイミングシステムを使用して、スコアボード型ビデオを生成して表示するための1つの例示的方法3300を図示する。方法3300は、図32のシステム3200を使用して行われてもよい。ステップ3310では、イベントタイミングデータが、カメラシステムを使用して生成される。一実施形態では、カメラシステムは、システム100(図1)またはカメラシステム3215(図32)等のTDIカメラシステムであり、イベントタイミングデータは、TDI画像145(図1および2)等の画像を含む。別の実施形態では、イベントタイミングデータは、デジタル2次元画像115(図1および2)または面スキャン画像センサ110(図1および32)によって捕捉される2次元画像等の面スキャン画像を含む。ステップ3310は、例えば、カメラ3215(図32)によって行われる。
ステップ3320では、イベントタイミングデータが、データ処理システムに伝達される。例えば、カメラ3215(図32)は、インターフェース3250(図32)を介して、画像等のイベントタイミングデータをデータ処理システム2020(図20および32)に伝達する。
ステップ3330では、データ処理システムは、結果データを生成するように、ステップ3320でそれに伝達されたイベントタイミングデータを処理する。ある実施形態では、結果データは、イベントタイミングシステムから受信されるTDI画像145(図1および2)等の画像を分析することによって判定される、イベントタイミング結果を含む。例えば、データ処理システム2020(図20および32)のプロセッサ2030(図20および32)は、イベントタイミング結果を生成するように、アルゴリズム2042(図20および32)に従って、ステップ3320でカメラ3215(図32)から受信される画像を処理する。イベントタイミングは、データ記憶装置2041に記憶されてもよい。
ステップ3340では、ステップ3330で生成される結果データは、カメラシステムに伝達される。例えば、データ処理システム2020(図20および32)は、結果データをカメラ3215(図32)のインターフェース3250に伝達する。
ステップ3350では、結果データは、スコアボード型ビデオを生成するようにカメラによって処理される。カメラは、内蔵ビデオ生成能力を使用して、結果データを処理する。例えば、ビデオ発生器3220(図32)は、スコアボード型ビデオを生成するように、インターフェース3250(図32)から受信される結果データを処理する。プロセッサ3230(図32)は、インターフェース3250(図32)から受信されるデータを結果データ3242(図32)に記憶する。次いで、プロセッサ3230(図32)は、命令3244に従って、結果データ3242(図32)から結果データを読み出して処理する。スコアボード型ビデオは、本明細書の範囲から逸脱することなく、ステップ3330で生成される結果データ以外のデータに基づく他の要素を含んでもよい。例えば、スコアボード型ビデオは、画像のライブストリーム等の画像センサによって捕捉される画像を含んでもよい。
ステップ3360では、ステップ3350で生成されるスコアボード型ビデオが、ディスプレイに伝達される。例えば、カメラ3215(図32)は、インターフェース3250(図32)を介して、ビデオ発生器3220(図32)によって生成されるスコアボード型ビデオをディスプレイ3260(図32)に伝達する。スコアボード型ビデオは、それが生成され、またはメモリ3240(図32)に一時的に記憶され、後にディスプレイ3260(図32)に伝達される際に、ディスプレイ3260(図32)にストリーム配信されてもよい。メモリ3240(図32)は、連続ストリーミングを確実にするようにバッファとして機能してもよい。
図34は、複数の別個のカメラ2015(図20)および/または他のデータ生成システムから受信されるデータに基づいて結果を生成するために、単一のデータ処理システム2020(図20)を使用する、1つの例示的イベントタイミングシステム3400を図示する。ある実施形態では、システム3400は、1つまたはそれを上回る代替イベントタイミングシステム2060(図20)を含む。ある実施形態では、システム3400は、スコアボード型ビデオを生成することが可能な少なくとも1つのカメラ3215(図32)と、スコアボード型ビデオを表示するための少なくとも1つのディスプレイ3260(図32)とを含む。随意に、システム3400は、時間ベースではないイベント結果を提供するための1つまたはそれを上回る代替測定システム3410を含む。例えば、代替測定システム3410は、ジャンプまたはスローの長さ等の距離を測定するためのシステムである。システム3400は、本明細書の範囲から逸脱することなく、任意の数のカメラ2015と、代替イベントタイミングシステム2060と、代替測定システム3410と、データ処理システム2020に通信可能に連結されるカメラ3215とを含んでもよい。システム3400はさらに、本明細書の範囲から逸脱することなく、1つまたはそれを上回るカメラ3215に通信可能に連結される任意の数のディスプレイ3260を含んでもよい。
例示的な使用のシナリオでは、カメラ2015、随意に、代替イベントタイミングシステム2060、カメラ3215、および代替測定システム3410が、同時または連続的に発生するいくつかの個々のイベントを含む、スポーツイベントで採用される。例えば、陸上競技イベントは、典型的には、種々の走る競争、跳ぶ競争、投げる競争を含む。これらの競争のそれぞれ1つは、カメラ2015、随意に、代替イベントタイミングシステム2060、カメラ3215、および代替測定システム3410のうちの1つまたはそれを上回るものを使用して、結果を測定するための関連必要性を有する。頻繁に、複数のディスプレイ3260が、異なるタイプの結果を表示するように、スタジアムエリアに設置される。
ある実施形態では、カメラに含まれるTDIモジュール、例えば、TDIモジュール140(図1)によって行われるものとして本明細書に開示されるプロセスは、代替として、本明細書の範囲から逸脱することなく、カメラの外部の別の処理システム、例えば、データ処理システム2020(図20)によって、完全または部分的のいずれかで行われてもよい。そのようなデータ処理システムは、捕捉された画像を受信し、任意の以降の時点でこれらを処理してもよい。カメラは、(TDIとは対照的に)捕捉された画像のエクスポートと関連付けられるデータレートを低減させるためのデータ圧縮モジュールを具備されてもよい。同様に、データ処理システム2020(図20)等のカメラの外部のデータ処理システムによって行われるものとして本明細書に開示されるプロセスは、代替として、TDIモジュール140(図1)の実施形態等のカメラに含まれるTDIモジュールによって、またはカメラに含まれる別のデータ処理モジュールによって、完全または部分的のいずれかで行われてもよい。
前述の特徴ならびに以下に請求されるものは、本明細書の範囲から逸脱することなく、種々の方法で組み合わせられてもよい。例えば、本明細書に説明されるイベントタイミング画像を処理するための1つのシステムまたは方法の側面は、本明細書に説明されるイベントタイミング画像を処理するための別のシステムまたは方法の特徴を組み込み、または交換し得ることが、理解されるであろう。以下の実施例は、前述の実施形態の可能性として考えられる非限定的組み合わせを図示する。多くの他の変更および修正も、本発明の精神および範囲から逸脱することなく、本明細書の方法およびデバイスに行なわれ得ることが、明白となるはずである。
(A1)イベントタイミング画像を処理するためのシステムは、(a)場面の連続デジタル2次元画像を生成するための面スキャン画像センサと、(b)場面内の移動オブジェクトの時間遅延積算画像を生成するように連続デジタル2次元画像を処理するための時間遅延積算モジュールとを含んでもよい。
(A2)(A1)として表されるシステムでは、時間遅延積算モジュールは、面スキャン画像センサと別個であり得る。
(A3)(A1)および(A2)として表されるシステムでは、面スキャン画像センサは、カメラに実装されてもよく、時間遅延積算モジュールは、カメラと別個であり得る。
(A4)(A1)から(A3)として表されるシステムでは、面スキャン画像センサは、CMOS画像センサであってもよい。
(A5)(A1)から(A3)として表されるシステムでは、面スキャン画像センサは、ローリングシャッタを伴うCMOS画像センサであってもよい。
(A6)(A5)として表されるシステムでは、ローリングシャッタを伴うCMOS画像センサは、ローリングリセットを伴って実装されてもよい。
(A7)(A1)から(A6)として表されるシステムでは、場面は、移動オブジェクトを含んでもよく、連続2次元画像は、線を含んでもよく、面スキャン画像センサは、連続デジタル2次元画像につき1本の線のレートにおけるオブジェクト画像移動に対応するフレームレートを有してもよい。
(A8)請求項1の(A1)から(A6)として表されるシステムでは、場面は、移動オブジェクトを含んでもよく、連続2次元画像は、線を含んでもよく、面スキャン画像センサは、連続デジタル2次元画像につき半分の線のレートにおけるオブジェクト画像移動に対応するフレームレートを有してもよい。
(A9)(A1)から(A8)として表されるシステムでは、場面は、レースの決勝線を含んでもよく、移動オブジェクトは、レース参加者、またはレース参加者の一部を含んでもよい。
(A10)(A1)から(A9)として表されるシステムはさらに、(a)面スキャン画像センサおよび水準器を伴うカメラと、(b)カメラと連結される調節可能マウントとを含んでもよい。
(A11)(A10)として表されるシステムはさらに、決勝線に対してカメラを整合させるようにマウントを自動的に調節するための整合制御システムを含んでもよい。
(A12)(A10)および(A11)として表されるシステムでは、マウントは、3つの相互に直交する回転自由度と、1つの平行移動自由度とを含んでもよい。
(A13)(A1)から(A12)として表されるシステムでは、時間遅延積算モジュールは、フィールドプログラマブルゲートアレイに実装される画像処理回路を含んでもよく、画像処理回路は、時間遅延積算画像を生成するように連続デジタル2次元画像を処理するために適合されてもよい。
(A14)(A1)から(A13)として表されるシステムでは、面スキャン画像センサは、色画素を含んでもよく、各色画素は、複数のフォトサイトから成る。
(A15)(A14)として表されるシステムでは、時間遅延積算画像は、カラー時間遅延積算画像であってもよい。
(A16)(A15)として表されるシステムでは、画像処理回路は、連続デジタル2次元画像の分解能より優れた分解能でカラー時間遅延積算画像を生成するように、フォトサイト信号のうちの個々のものを処理するために適合されてもよい。
(A17)(A1)から(A16)として表されるシステムでは、時間遅延積算モジュールは、それぞれの連続デジタル2次元画像の少なくとも一部を入力線に分割し、入力線の積算から時間遅延積算画像を形成するために適合される、画像処理回路を含んでもよく、積算の各入力線は、連続デジタル2次元画像のうちの異なるものに対応する。
(A18)(A17)として表されるシステムでは、少なくとも1つの積算の入力線の数は、非整数であってもよい。
(A19)(A17)および(A18)として表されるシステムはさらに、時間遅延積算モジュールに通信可能に連結されるコントローラを含んでもよく、画像処理回路は、コントローラから受信される信号に従って入力線の数を調節して、時間遅延積算画像の輝度を調節するように適合されてもよい。
(A20)(A19)として表されるシステムでは、画像処理回路はさらに、時間遅延積算画像の個々の画素について、入力線の数を独立して調節するように適合されてもよい。
(A21)(A20)として表されるシステムでは、入力線の数は、時間遅延積算画像の少なくとも一部について非整数であってもよい。
(A22)(A21)として表されるシステムでは、面スキャン画像センサは、それぞれの複数の伝送を伴う複数のフィルタ部分を有する、フィルタを含んでもよく、連続デジタル2次元画像は、それぞれの複数の輝度を有する複数の画像部分を含んでもよく、各画像部分は、フィルタ部分のうちの1つに対応する。
(A23)(A17)から(A22)として表されるシステムでは、面スキャン画像センサは、色センサであり、各色センサ画素は、フォトサイトのベイヤー型アレイを含み、入力線は、入力線と垂直な連続デジタル2次元画像の2倍の分解能で入力線を生成するように、(a)色センサによって捕捉される同一の線画像フレームからのフォトサイトからの信号から成る、元の画素と、(b)2本の連続的に捕捉された線画像フレームからのフォトサイトからの信号から成る、クロスオーバー画素とを交互に繰り返してもよい。
(A24)(A17)から(A22)として表されるシステムでは、面スキャン画像センサは、複数の3本線カラーラインを伴う色センサであってもよく、それぞれの3本線カラーラインは、それぞれの第1、第2、および第3の色感度を有する、第1、第2、および第3のフォトサイト線を含み、入力線は、入力線と垂直な連続デジタル2次元画像の3倍の分解能で入力線を生成するように、(a)面スキャン画像センサによって捕捉される第1の線画像フレームに属する第1、第2、および第3のフォトサイト線からの信号から成る、元の画像と、(b)第1の線画像フレームおよび後に捕捉された第2の線画像フレームからの信号から成る、第1のクロスオーバー画素であって、クロスオーバー画素は、第1の線画像フレームの2本のフォトサイト線および第2の線画像フレームの1本のフォトサイト線からの信号から成る、第1のクロスオーバー画素と、(c)第1の線画像フレームおよび第2の線画像フレームからの信号から成る、第2のクロスオーバー画素であって、第1の線画像フレームの1本のフォトサイト線および第2の線画像フレームの2本のフォトサイト線からの信号を備える、第2のクロスオーバー画素とを交互に繰り返してもよい。
(A25)(A1)から(A24)として表されるシステムでは、面スキャン画像センサは、色センサであってもよく、時間遅延積算画像は、色センサの元の色画素と、色センサによって捕捉される異なる画像からのフォトサイトを組み合わせることによって形成されるクロスオーバー色画素とを含んでもよい。
(A26)(A1)から(A25)として表されるシステムでは、面スキャン画像センサおよび時間遅延積算モジュールは、(a)カメラから受信される画像から結果データを生成するためのデータ処理システム、および(b)スコアボード型ビデオを表示するためのディスプレイと通信可能に連結されるカメラに組み込まれてもよく、カメラはさらに、スコアボード型ビデオを生成するように結果データを処理するためのビデオ発生器を含んでもよい。
(B1)イベントタイミング画像を処理するための方法は、(a)面スキャン画像センサを使用して、場面の連続デジタル2次元画像を捕捉するステップと、(b)場面内で移動するオブジェクトの時間遅延積算画像を生成するように連続デジタル2次元画像を処理するステップとを含んでもよい。
(B2)(B1)として表される方法はさらに、処理するステップを行うために、面スキャン画像センサから面スキャン画像センサと別個のモジュールに連続デジタル2次元画像を伝達するステップを含んでもよい。
(B3)(B1)および(B2)として表される方法では、面スキャン画像センサは、カメラに実装されてもよく、モジュールは、カメラと別個であり得る。
(B4)(B1)から(B3)として表される方法では、処理するステップは、(a)それぞれの連続デジタル2次元画像の少なくとも一部を入力線に分割することと、(b)時間遅延積算画像の各線に複数の入力線にわたる積算を投入することとによって、場面内の移動オブジェクトの少なくとも一部の時間遅延積算画像を形成するように、連続デジタル2次元画像を積算するステップを含んでもよく、それぞれの複数の入力線は、入力線と垂直な方向への移動オブジェクトの移動に実質的に合致するように、連続デジタル2次元画像のうちの異なるものから選択される。
(B5)(B4)として表される方法では、処理するステップはさらに、時間遅延積算画像の輝度を調節するように入力線の数を調節するステップを含んでもよい。
(B6)(B5)として表される方法では、入力線の数を調節するステップは、時間遅延積算画像の各画素について、時間遅延積算画像の輝度を局所的に調節するように、入力線の数を独立して調節するステップを含んでもよい。
(B7)(B4)から(B6)として表される方法では、入力線の数は、時間遅延積算画像の少なくとも一部について非整数であってもよい。
(B8)(B1)から(B7)として表される方法では、面スキャン画像センサは、色センサであってもよい。
(B9)(B8)として表される方法では、連続デジタル2次元画像を処理するステップはさらに、連続的に捕捉された2次元画像からのフォトサイトを組み合わせることによって形成されるクロスオーバー画素を含むことによって、時間遅延積算画像の分解能を増加させるステップを含んでもよい。
(B10)(B1)から(B9)として表される方法では、場面は、移動オブジェクトを含んでもよく、2次元画像は、線を含んでもよく、捕捉するステップは、連続画像につき1本の線のレートにおけるオブジェクト画像移動に対応するフレームレートで画像を捕捉するステップを含んでもよい。
(B11)(B1)から(B9)として表される方法では、場面は、移動オブジェクトを含んでもよく、2次元画像は、線を含んでもよく、捕捉するステップは、連続画像につき半分の線のレートにおけるオブジェクト画像移動に対応するフレームレートで画像を捕捉するステップを含んでもよい。
(B12)(B1)から(B11)として表される方法では、場面はさらに、レースの決勝線を含んでもよく、オブジェクトは、レースの参加者、またはレースの参加者の一部を含んでもよい。
(B13)(B1)から(B12)として表される方法では、面スキャン画像センサは、ローリングシャッタを含んでもよい。
(B14)(B1)から(B12)として表される方法では、面スキャン画像センサは、ローリングリセットを伴って実装されるローリングシャッタを含んでもよい。
(B15)(B1)から(B14)として表される方法では、面スキャン画像センサは、それぞれの複数の伝送を伴う複数のフィルタ部分を有する、フィルタを含んでもよく、処理するステップはさらに、ある輝度の時間遅延積算画像を生成するように、フィルタ部分のうちの1つと関連付けられる連続デジタル2次元画像の一部を選択するステップを含んでもよい。
(C1)それぞれの複数の入力時間と関連付けられる複数の入力画像を処理するための方法であって、入力画像および入力時間が、イベントタイミングシステムによって提供され、方法は、(a)出力フレームレートを選択するステップと、(b)複数の入力画像から、出力フレームレートに対応する複数の出力画像を生成するステップと、(c)イベントタイミングシステムによって提供される最終出力時間を各出力画像に割り当てるステップであって、最終出力時間は、出力画像に寄与する入力画像と関連付けられる入力時間である、ステップとを含んでもよい。
(C2)(C1)として表される方法はさらに、出力フレームレートに対応する初期出力時系列を判定するステップを含んでもよい。
(C3)(C2)として表される方法では、生成するステップにおいて、各出力画像は、初期出力時間が入力時間と同一であるときに、入力画像と同一であり得、初期出力時間が入力時間と同一ではないときに、初期出力時間の近くで捕捉される入力画像の加重平均であってもよい。
(C4)(C3)として表される方法では、加重平均は、初期出力時間に最も近い関連入力時間を伴う2つの入力画像の加重平均であってもよく、初期出力時間が入力時間と同一ではないとき、2つの入力画像のうちの一方は、初期出力時間の前に捕捉され、2つの入力画像のうちの他方は、初期出力時間の後に捕捉される。
(C5)(C4)として表される方法では、加重平均の加重は、初期出力時間と加重平均に寄与する入力画像と関連付けられる入力時間との間の時間差が増加するとともに減少してもよい。
(C6)(C1)から(C5)として表される方法はさらに、(A1)から(A26)として表されるシステムのうちのいずれか1つを使用して、入力画像を生成するステップを含んでもよい。
(C7)(C6)として表される方法では、入力画像は、(A1)から(A26)として表されるシステムのうちのいずれか1つによって生成される、時間遅延積算画像であってもよい。
(C8)(C6)として表される方法では、入力画像は、(A1)から(A26)として表されるシステムのうちのいずれか1つの面スキャン画像センサによって捕捉される、デジタル2次元画像であってもよい。
(C9)(C1)から(C7)として表される方法はさらに、(B1)から(B15)として表される方法のうちのいずれか1つに従って、時間遅延積算画像として入力画像を生成するステップを含んでもよい。
(D1)イベント記録およびタイミングシステムによって提供される画像ならびに関連イベント時間を処理するための方法は、(a)(i)画像および関連時間、ならびに(ii)時間とイベントとの間の対応を受信するステップと、(b)着目イベントを選択するステップと、(c)プロセッサおよび機械可読命令を使用して、着目イベントと関連付けられない画像を自動的に破棄するステップとを含んでもよい。
(D2)(D1)として表される方法では、時間とイベントとの間の対応は、高周波識別タイミングシステムによって提供されてもよい。
(D3)(D1)および(D2)として表される方法では、画像は、時間遅延積算画像であってもよい。
(D4)(D1)から(D3)として表される方法はさらに、(A1)から(A26)として表されるシステムのうちのいずれか1つを使用して、画像を生成するステップを含んでもよい。
(D5)(D4)として表される方法では、画像は、(A1)から(A26)として表されるシステムのうちのいずれか1つによって生成される、時間遅延積算画像であってもよい。
(D6)(D3)として表される方法はさらに、(B1)から(B15)として表される方法のうちのいずれか1つに従って、時間遅延積算画像を生成するステップを含んでもよい。
(E1)イベントの記録およびタイミングのためのシステムは、(a)イベントの画像を捕捉するためのカメラシステムであって、時計を備える、カメラシステムと、(b)イベントを検出するためのイベントレコーダであって、時計と通信可能に連結される、イベントレコーダと、(c)時計によって提供される時間を、カメラシステムによって捕捉される画像およびイベントレコーダによって検出されるイベントに割り当てることが可能である、データ処理システムとを含んでもよい。
(E2)(E1)として表されるシステムでは、データ処理システムは、プロセッサと、不揮発性メモリの中で符号化される機械可読命令とを含んでもよく、命令は、プロセッサによって実行されると、時間を割り当てるために適合される。
(E3)(E1)および(E2)として表されるシステムでは、カメラシステムは、CMOS画像センサを含んでもよい。
(E4)(E3)として表されるシステムでは、CMOS画像センサは、ローリングシャッタを含んでもよい。
(E5)(E4)として表されるシステムでは、ローリングシャッタは、ローリングリセット機能を伴って実装されてもよい。
(E6)(E1)から(E5)として表されるシステムはさらに、カメラシステムによって捕捉される画像の時間遅延積算を行うための回路を有する、時間遅延積算モジュールを含んでもよい。
(E7)(E6)として表されるシステムでは、回路は、フィールドプログラマブルゲートアレイに実装される。
(E8)(E6)および(E7)として表されるシステムでは、時間遅延積算モジュールは、(A1)から(A26)として表されるシステムのうちのいずれか1つの時間遅延積算モジュールであってもよい。
(E9)(E1)から(E2)として表されるシステムでは、カメラは、イベントの画像を捕捉するために、(A1)から(A26)として表されるシステムのうちのいずれか1つの面スキャン画像センサを利用してもよい。
(E10)(E1)から(E9)として表されるシステムでは、イベントレコーダは、近接している高周波識別チップを検出および識別するための高周波識別デコーダであってもよい。
(E11)(E1)から(E10)として表されるシステムでは、データ処理システムは、プロセッサによって実行されると、カメラシステムによって捕捉されるイベントの画像をイベントレコーダによって検出されるイベントと相関させるために適合される、命令を含んでもよい。
(E12)(E1)から(E11)として表されるシステムでは、データ処理システムは、プロセッサによって実行されると、イベントレコーダによって検出されるイベントと関連付けられない、カメラシステムによって捕捉される画像を破棄するために適合される、命令を含んでもよい。
(F1)面スキャン画像センサは、複数の色画素を含んでもよく、各色画素は、3つの異なる色に対して感受性がある、3つの異なるフォトサイトタイプを含み、フォトサイトは、3×3アレイの各行および各列が、3つのフォトサイトタイプを備え、全ての行および列が、それぞれ、任意の他の行および列と異なるフォトサイト構成を有するように、3×3アレイに配列される。
(F2)(F1)として表される面スキャン画像センサでは、3つのフォトサイトタイプは、それぞれ、赤色、緑色、および青色光に対する感受性を有してもよい。
(F3)(F1)および(F2)として表される、それぞれの面スキャン画像センサは、面スキャン画像センサによって捕捉される画像から時間遅延積算画像を提供するためのイベントタイミングシステムに実装されてもよい。
(F4)(F1)および(F2)として表される、それぞれの面スキャン画像センサは、面スキャン画像センサの色画素の分解能と比較して増加させられる分解能で、面スキャン画像センサによって捕捉される画像から時間遅延積算画像を提供するためのイベントタイミングシステムに実装されてもよい。
(F5)(F3)および(F4)として表される面スキャン画像センサでは、イベントタイミングシステムは、(A1)から(A22)、(A25)、(A26)、および(E1)から(E12)として表されるシステムのうちのいずれか1つであってもよい。
(G1)イベントタイミング画像を処理するためのシステムは、(a)(i)線を含む場面の画像を捕捉するための面スキャン画像センサと、(ii)水準器とを備える、カメラと、(b)カメラと連結される調節可能マウントと、(c)線に対してカメラを整合させるようにマウントを自動的に調節するための整合制御システムとを含んでもよい。
(G2)(G1)として表されるシステムでは、線は、レースの決勝線であってもよい。
(G3)(G1)および(G2)として表されるシステムでは、カメラはさらに、時間遅延積算画像を生成するように面スキャン画像センサによって捕捉される画像を処理するための時間遅延積算モジュールを含んでもよい。
(G4)(G3)として表されるシステムでは、面スキャン画像センサは、(A1)から(A26)として表されるシステムのうちのいずれか1つの面スキャン画像センサであってもよい。
(G5)(G3)および(G4)として表されるシステムでは、時間遅延積算モジュールは、(A1)から(A26)として表されるシステムのうちのいずれか1つの時間遅延積算モジュールであってもよい。
(H1)イベントタイミング画像を処理するためのシステムは、(a)画像を捕捉するための画像センサと、スコアボード型ビデオを生成するためのビデオ発生器とを備える、カメラと、(b)カメラから受信される画像から結果データを生成し、結果データをビデオ発生器に伝達するためのカメラと通信可能に連結されるデータ処理モジュールとを含んでもよい。
(H2)(H1)として表されるシステムはさらに、スコアボード型ビデオを表示するためのディスプレイを含んでもよく、スコアボード型ビデオの少なくとも一部は、結果データから生成される。
(H3)(H1)および(H2)として表されるシステムでは、カメラは、時間遅延積算画像を生成するように、画像センサによって捕捉される画像を処理するための画像センサと通信可能に連結される時間遅延積算モジュールを含んでもよい。
(H4)(H3)として表されるシステムでは、時間遅延積算モジュールは、(A1)から(A26)として表されるシステムのうちのいずれか1つの時間遅延積算モジュールであってもよい。
(H5)(H1)から(H4)として表されるシステムでは、画像センサは、面スキャン画像センサであってもよく、画像は、2次元面スキャン画像であってもよい。
(I1)ソフトウェア製品は、非一過性のコンピュータ可読媒体上に記憶された命令を含み、命令は、コンピュータによって実行されると、時間遅延積算画像を形成するように、移動オブジェクトを備える場面の連続デジタル2次元画像を処理するためのステップを行い、ソフトウェア製品は、(a)それぞれの連続デジタル2次元画像の少なくとも一部を入力線に分割するための命令と、(b)時間遅延積算画像の各線に複数の入力線にわたる積算を投入するための命令であって、それぞれの複数の入力線は、入力線と垂直な方向への移動オブジェクトの移動に実質的に合致するように、連続デジタル2次元画像のうちの異なるものから選択される、命令とを含んでもよい。
(I2)(I1)として表されるソフトウェア製品では、連続的に捕捉されたデジタル2次元画像を処理するための命令はさらに、時間遅延積算画像の輝度を調節するように入力線の数を調節するための命令を含んでもよい。
(I3)(I2)として表されるソフトウェア製品では、入力線の数を調節するための命令は、時間遅延積算画像の各画素について、時間遅延積算画像の輝度を局所的に調節するように、入力線の数を独立して調節するための命令を含んでもよい。
(I4)(I3)として表されるソフトウェア製品では、入力線の数は、時間遅延積算画像の少なくとも一部について非整数であってもよい。
(I5)(I1)から(I4)として表されるソフトウェア製品では、連続デジタル2次元画像は、カラー画像であってもよい。
(I6)(I5)として表されるソフトウェア製品では、連続デジタル2次元画像を処理するための命令はさらに、連続的に捕捉された2次元画像からのフォトサイト信号を組み合わせることによって形成されるクロスオーバー画素を含むことによって、時間遅延積算画像の分解能を増加させるための命令を含んでもよい。
(I7)(I1)から(I6)として表されるソフトウェア製品は、(A1)から(A26)として表されるシステムのうちのいずれか1つに実装されてもよい。
(J1)ソフトウェア製品は、非一過性のコンピュータ可読媒体上に記憶された命令を含み、命令は、コンピュータによって実行されると、それぞれの複数の入力時間と関連付けられる複数の入力画像を処理するためのステップを行い、入力画像および入力時間は、イベントタイミングシステムによって提供され、命令は、(a)出力フレームレートを選択するための命令と、(b)複数の入力画像から、出力フレームレートに対応する複数の出力画像を生成するための命令と、(c)イベントタイミングシステムによって提供される最終出力時間を各出力画像に割り当てるための命令であって、最終出力時間は、出力画像に寄与する入力画像と関連付けられる入力時間である、命令とを含んでもよい。
(J2)(J1)として表されるソフトウェア製品では、複数の入力画像を処理するための命令はさらに、出力フレームレートに対応する初期出力時系列を判定するための命令を含んでもよく、複数の出力画像を生成するための命令は、各出力画像を、初期出力時間が入力時間と同一であるときに、入力画像と同等に、初期出力時間が入力時間と同一ではないときに、初期出力時間の近くで捕捉される入力画像の加重平均に設定するための命令を含んでもよい。
本明細書の範囲から逸脱することなく、前述のシステムおよび方法に変更が行なわれてもよい。したがって、前述の説明に含有され、付随の図面に示される事項は、限定的意味としてではなく、例証的として解釈されるべきであることに留意されたい。以下の請求項は、本明細書に説明される一般的および具体的特徴ならびに文言上それに含まれると見なされ得る、本方法およびシステムの範囲の全記述を網羅することが意図される。