JP2017108428A - イベントタイミング画像を処理するためのシステムおよび方法 - Google Patents

イベントタイミング画像を処理するためのシステムおよび方法 Download PDF

Info

Publication number
JP2017108428A
JP2017108428A JP2017011293A JP2017011293A JP2017108428A JP 2017108428 A JP2017108428 A JP 2017108428A JP 2017011293 A JP2017011293 A JP 2017011293A JP 2017011293 A JP2017011293 A JP 2017011293A JP 2017108428 A JP2017108428 A JP 2017108428A
Authority
JP
Japan
Prior art keywords
image
line
tdi
image sensor
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017011293A
Other languages
English (en)
Other versions
JP2017108428A5 (ja
JP6564409B2 (ja
Inventor
ダブリュー． オルドリッジ ジェレミー
W Aldridge Jeremy
ダブリュー． オルドリッジ ジェレミー
ジェイ． デアンジェリス ダグラス
J Deangelis Douglas
ジェイ． デアンジェリス ダグラス
エム． シーゲル カーク
M Sigel Kirk
エム． シーゲル カーク
イー． シホラス マイク
E Ciholas Mike
イー． シホラス マイク
アール． ブレイロック ポール
R Blaylock Paul
アール． ブレイロック ポール
エー． ホリンガー ハーブ
A Hollinger Herb
エー． ホリンガー ハーブ
エー． ハラム エバン
A Hallam Evan
エー． ハラム エバン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lynx System Developers Inc
Original Assignee
Lynx System Developers Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/263,504 external-priority patent/US20150312504A1/en
Priority claimed from US14/263,550 external-priority patent/US9398196B2/en
Priority claimed from US14/263,532 external-priority patent/US10375300B2/en
Priority claimed from US14/263,578 external-priority patent/US9413926B2/en
Application filed by Lynx System Developers Inc filed Critical Lynx System Developers Inc
Publication of JP2017108428A publication Critical patent/JP2017108428A/ja
Publication of JP2017108428A5 publication Critical patent/JP2017108428A5/ja
Application granted granted Critical
Publication of JP6564409B2 publication Critical patent/JP6564409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/22—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people in connection with sports or games
    • G07C1/24—Race time-recorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Television Receiver Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】イベントタイミング画像を処理するためのシステムおよび方法を提供する。【解決手段】イベントタイミング画像を処理するためのシステム１００は、場面の連続デジタル２次元画像を生成するための面スキャン画像センサと、場面内の移動オブジェクトの時間遅延積算画像を生成するように連続デジタル２次元画像を処理するための時間遅延積算（ＴＤＩ）モジュールとを含む。イベントタイミング画像を処理するための方法は、面スキャン画像センサを使用して、場面の連続デジタル２次元画像を捕捉するステップと、場面内で移動する移動オブジェクトの時間遅延積算画像を生成するように連続デジタル２次元画像を処理するステップとを含む。【選択図】図１

Description

写真判定カメラは、レース参加者が決勝線を横断するときに正確に時間を刻印するように、および２人またはそれより多くのレース参加者を分離するように、決勝線の画像を捕捉する。線スキャンカメラは、決勝線が線スキャンカメラの線形検出器の長さの上に投影されるため、写真判定カメラとして有用であることが判明している。線スキャンカメラは、レース参加者が決勝線を横断すると一連の連続画像を捕捉し、次いで、参加者の２次元表現を形成するように、それらをともに繋ぎ合わせる。線スキャンカメラが一列の画素のみを含有するため、信号処理は、高速であり、カメラは、高いフレームレートで動作することができる。したがって、線スキャンカメラは、高い時間分解能、したがって、正確なイベントのタイミングを提供する。
ある実施形態では、システムは、イベントタイミング画像を処理し、場面の連続デジタル２次元画像を生成するための面スキャン画像センサと、場面内の移動オブジェクトの時間遅延積算画像を生成するように連続デジタル２次元画像を処理するための時間遅延積算モジュールとを含む。
ある実施形態では、イベントタイミング画像を処理するための方法は、面スキャン画像センサを使用して、場面の連続デジタル２次元画像を捕捉するステップと、場面内で移動する移動オブジェクトの時間遅延積算画像を生成するように連続デジタル２次元画像を処理するステップとを含む。
ある実施形態では、それぞれの複数の入力時間と関連付けられる複数の入力画像を処理するための方法であって、入力画像および入力時間は、イベントタイミングシステムによって提供され、方法は、出力フレームレートを選択するステップと、複数の入力画像から、出力フレームレートに対応する複数の出力画像を生成するステップと、イベントタイミングシステムによって提供される最終出力時間であって、出力画像に寄与する入力画像と関連付けられる入力時間である、最終出力時間を各出力画像に割り当てるステップとを含む。
ある実施形態では、イベント記録およびタイミングシステムによって提供される画像ならびに関連イベント時間を処理するための方法は、（ａ）画像および関連時間、ならびに（ｂ）時間とイベントとの間の対応を受信するステップと、着目イベントを選択するステップと、プロセッサおよび機械可読命令を使用して、着目イベントと関連付けられない画像を自動的に破棄するステップとを含む。
ある実施形態では、システムが、イベントの記録およびタイミングのために提供され、イベントの画像を捕捉するためのカメラシステムであって、時計を備える、カメラシステムと、イベントを検出するためのイベントレコーダであって、時計と通信可能に連結される、イベントレコーダと、時計によって提供される時間を、カメラシステムによって捕捉される画像およびイベントレコーダによって検出されるイベントに割り当てることが可能である、データ処理システムとを含む。
ある実施形態では、面スキャン画像センサは、複数の色画素を含み、各色画素は、３つの異なる色に対して感受性がある、３つの異なるフォトサイトタイプを備え、フォトサイトは、３×３アレイの各行および各列が、３つのフォトサイトタイプを備え、全ての行および列が、それぞれ、任意の他の行および列と異なるフォトサイト構成を有するように、３×３アレイに配列される。
ある実施形態では、イベントタイミング画像を処理するためのシステムは、（ａ）線を含む場面の画像を捕捉するための面スキャン画像センサと、（ｂ）水準器とを備える、カメラと、カメラと連結される調節可能マウントと、線に対してカメラを整合させるようにマウントを自動的に調節するための整合制御システムとを含む。
ある実施形態では、イベントタイミング画像を処理するためのシステムは、画像を捕捉するための画像センサと、スコアボード型ビデオを生成するためのビデオ発生器とを備える、カメラと、カメラから受信される画像から結果データを生成し、結果データをビデオ発生器に伝達するためのカメラと通信可能に連結されるデータ処理モジュールとを含む。
ある実施形態では、ソフトウェア製品は、非一過性のコンピュータ可読媒体上に記憶された命令を含み、命令は、コンピュータによって実行されると、時間遅延積算画像を形成するように、移動オブジェクトを備える場面の連続デジタル２次元画像を処理するためのステップを行い、命令は、それぞれの連続デジタル２次元画像の少なくとも一部を入力線に分割するための命令と、時間遅延積算画像の各線に複数の入力線にわたる積算を投入するための命令であって、それぞれの複数の入力線は、入力線と垂直な方向への移動オブジェクトの移動に実質的に合致するように、連続デジタル２次元画像のうちの異なるものから選択される、命令とを含む。
ある実施形態では、ソフトウェア製品は、非一過性のコンピュータ可読媒体上に記憶された命令を含み、命令は、コンピュータによって実行されると、それぞれの複数の入力時間と関連付けられる複数の入力画像を処理するためのステップを行い、入力画像および入力時間は、イベントタイミングシステムによって提供され、命令は、出力フレームレートを選択するための命令と、複数の入力画像から、出力フレームレートに対応する複数の出力画像を生成するための命令と、イベントタイミングシステムによって提供される最終出力時間であって、出力画像に寄与する入力画像と関連付けられる入力時間である、最終出力時間を各出力画像に割り当てるための命令とを含む。
本発明は、例えば、以下を提供する。
（項目１）
場面の連続デジタル２次元画像を生成するための面スキャン画像センサと、
前記場面内の移動オブジェクトの時間遅延積算画像を生成するように前記連続デジタル２次元画像を処理するための時間遅延積算モジュールと
を備える、イベントタイミング画像を処理するためのシステム。
（項目２）
前記時間遅延積算モジュールは、前記面スキャン画像センサと別個である、項目１に記載のシステム。
（項目３）
前記面スキャン画像センサは、カメラに実装され、前記時間遅延積算モジュールは、前記カメラと別個である、項目２に記載のシステム。
（項目４）
前記面スキャン画像センサは、ＣＭＯＳ画像センサである、項目１に記載のシステム。
（項目５）
前記面スキャン画像センサは、ローリングリセットを伴って実装されるローリングシャッタを伴うＣＭＯＳ画像センサである、項目１に記載のシステム。
（項目６）
前記場面は、移動オブジェクトを備え、前記連続２次元画像は、線を備え、前記面スキャン画像センサは、連続デジタル２次元画像につき１本の線のレートにおけるオブジェクト画像移動に対応するフレームレートを有する、項目１に記載のシステム。
（項目７）
前記場面は、移動オブジェクトを備え、前記連続２次元画像は、線を備え、前記面スキャン画像センサは、連続デジタル２次元画像につき半分の線のレートにおけるオブジェクト画像移動に対応するフレームレートを有する、項目１に記載のシステム。
（項目８）
前記場面は、レースの決勝線を備え、前記移動オブジェクトは、レース参加者を備える、項目１に記載のシステム。
（項目９）
前記面スキャン画像センサおよび水準器を備える、カメラと、
前記カメラと連結される調節可能マウントと、
前記決勝線に対して前記カメラを整合させるように前記マウントを自動的に調節するための整合制御システムと
をさらに備える、項目８に記載のシステム。
（項目１０）
前記マウントは、３つの相互に直交する回転自由度と、１つの平行移動自由度とを備える、項目９に記載のシステム。
（項目１１）
前記時間遅延積算モジュールは、フィールドプログラマブルゲートアレイに実装される画像処理回路を備え、前記画像処理回路は、前記時間遅延積算画像を生成するように前記連続デジタル２次元画像を処理するために適合される、項目１に記載のシステム。
（項目１２）
前記面スキャン画像センサは、色画素を備え、各色画素は、複数のフォトサイトから成り、
前記時間遅延積算画像は、カラー時間遅延積算画像であり、
前記画像処理回路は、前記連続デジタル２次元画像の分解能より優れた分解能で前記カラー時間遅延積算画像を生成するように、前記フォトサイト信号のうちの個々のものを処理するために適合される、項目１１に記載のシステム。
（項目１３）
前記時間遅延積算モジュールは、前記連続デジタル２次元画像のそれぞれの少なくとも一部を入力線に分割し、入力線の積算から前記時間遅延積算画像を形成するために適合される、画像処理回路を備え、積算の各入力線は、前記連続デジタル２次元画像のうちの異なるものに対応する、項目１に記載のシステム。
（項目１４）
少なくとも１つの積算の入力線の数は、非整数である、項目１３に記載のシステム。
（項目１５）
前記時間遅延積算モジュールに通信可能に連結されるコントローラをさらに備え、
前記画像処理回路は、前記コントローラから受信される信号に従って入力線の数を調節して、前記時間遅延積算画像の輝度を調節するように適合される、項目１３に記載のシステム。
（項目１６）
前記画像処理回路はさらに、前記時間遅延積算画像の個々の画素について、前記入力線の数を独立して調節するように適合される、項目１５に記載のシステム。
（項目１７）
前記入力線の数は、前記時間遅延積算画像の少なくとも一部について非整数である、項目１５に記載のシステム。
（項目１８）
前記面スキャン画像センサは、それぞれの複数の伝送を有する複数のフィルタ部分を含む、フィルタを備え、前記連続デジタル２次元画像は、それぞれの複数の輝度を有する複数の画像部分を備え、各画像部分は、前記フィルタ部分のうちの１つに対応する、項目１３に記載のシステム。
（項目１９）
前記面スキャン画像センサは、色センサであり、各色センサ画素は、フォトサイトのベイヤー型アレイを備え、
前記入力線は、前記入力線と垂直な前記連続デジタル２次元画像の２倍の分解能で入力線を生成するように、（ａ）前記色センサによって捕捉される同一の線画像フレームからのフォトサイトからの信号から成る、元の画素と、（ｂ）２本の連続的に捕捉された線画像フレームからのフォトサイトからの信号から成る、クロスオーバー画素とを交互に繰り返す、項目１３に記載のシステム。
（項目２０）
前記面スキャン画像センサは、複数の３本線カラーラインを伴う色センサであり、それぞれの前記３本線カラーラインは、それぞれの第１、第２、および第３の色感度を有する、第１、第２、および第３のフォトサイト線を備え、
前記入力線は、前記入力線と垂直な前記連続デジタル２次元画像の３倍の分解能で入力線を生成するように、（ａ）前記面スキャン画像センサによって捕捉される第１の線画像フレームに属する第１、第２、および第３のフォトサイト線からの信号から成る、元の画像と、（ｂ）前記第１の線画像フレームおよび後に捕捉された第２の線画像フレームからの信号から成る、第１のクロスオーバー画素であって、前記クロスオーバー画素は、前記第１の線画像フレームの２本のフォトサイト線および前記第２の線画像フレームの１本のフォトサイト線からの信号を備える、第１のクロスオーバー画素と、（ｃ）前記第１の線画像フレームおよび前記第２の線画像フレームからの信号から成る、第２のクロスオーバー画素であって、前記第１の線画像フレームの１本のフォトサイト線および前記第２の線画像フレームの２本のフォトサイト線からの信号を備える、第２のクロスオーバー画素とを交互に繰り返す、項目１３に記載のシステム。
（項目２１）
前記面スキャン画像センサは、色センサであり、
前記時間遅延積算画像は、前記色センサの元の色画素と、前記色センサによって捕捉される異なる画像からのフォトサイトを組み合わせることによって形成されるクロスオーバー色画素とを備える、項目１に記載のシステム。
（項目２２）
前記面スキャン画像センサおよび前記時間遅延積算モジュールは、（ａ）前記カメラから受信される画像から結果データを生成するためのデータ処理システム、および（ｂ）スコアボード型ビデオを表示するためのディスプレイと通信可能に連結されるカメラに組み込まれ、前記カメラはさらに、前記スコアボード型ビデオを生成するように前記結果データを処理するためのビデオ発生器を備える、項目１に記載のシステム。
（項目２３）
面スキャン画像センサを使用して、場面の連続デジタル２次元画像を捕捉するステップと、
前記場面内で移動するオブジェクトの時間遅延積算画像を生成するように前記連続デジタル２次元画像を処理するステップと
を含む、イベントタイミング画像を処理するための方法。
（項目２４）
前記処理するステップを行うために、前記面スキャン画像センサから前記面スキャン画像センサと別個のモジュールに前記連続デジタル２次元画像を伝達するステップをさらに含む、項目２３に記載の方法。
（項目２５）
前記面スキャン画像センサは、カメラに実装され、前記モジュールは、前記カメラと別個である、項目２４に記載の方法。
（項目２６）
前記処理するステップは、（ａ）前記連続デジタル２次元画像のぞれぞれの少なくとも一部を入力線に分割することと、（ｂ）前記時間遅延積算画像の各線に複数の入力線にわたる積算を投入することとによって、前記場面内の移動オブジェクトの少なくとも一部の時間遅延積算画像を形成するように、前記連続デジタル２次元画像を積算するステップを含み、前記複数の入力線のそれぞれは、前記入力線と垂直な方向への前記移動オブジェクトの移動に実質的に合致するように、前記連続デジタル２次元画像のうちの異なるものから選択される、項目２３に記載の方法。
（項目２７）
前記処理するステップはさらに、前記時間遅延積算画像の輝度を調節するように入力線の数を調節するステップを含む、項目２６に記載の方法。
（項目２８）
前記入力線の数を調節するステップは、前記時間遅延積算画像の各画素について、前記時間遅延積算画像の前記輝度を局所的に調節するように、前記入力線の数を独立して調節するステップを含む、項目２７に記載の方法。
（項目２９）
入力線の数は、前記時間遅延積算画像の少なくとも一部について非整数である、項目２６に記載の方法。
（項目３０）
前記面スキャン画像センサは、色センサであり、前記連続デジタル２次元画像を処理するステップはさらに、連続的に捕捉された２次元画像からのフォトサイトを組み合わせることによって形成されるクロスオーバー画素を含むことによって、前記時間遅延積算画像の分解能を増加させるステップを含む、項目２３に記載の方法。
（項目３１）
前記場面は、移動オブジェクトを備え、前記２次元画像は、線を備え、前記捕捉するステップは、連続画像につき１本の線のレートにおけるオブジェクト画像移動に対応するフレームレートで画像を捕捉するステップを含む、項目２３に記載の方法。
（項目３２）
前記場面は、移動オブジェクトを備え、前記２次元画像は、線を備え、前記捕捉するステップは、連続画像につき半分の線のレートにおけるオブジェクト画像移動に対応するフレームレートで画像を捕捉するステップを含む、項目２３に記載の方法。
（項目３３）
前記場面はさらに、レースの決勝線を備え、前記オブジェクトは、前記レースの参加者を備える、項目２３に記載の方法。
（項目３４）
前記面スキャン画像センサは、ローリングリセットを伴って実装されるローリングシャッタを備える、項目２３に記載の方法。
（項目３５）
前記面スキャン画像センサは、それぞれの複数の伝送を有する複数のフィルタ部分を含む、フィルタを備え、前記処理するステップはさらに、ある輝度の時間遅延積算画像を生成するように、前記フィルタ部分のうちの１つと関連付けられる前記連続デジタル２次元画像の一部を選択するステップを含む、項目２３に記載の方法。
（項目３６）
それぞれの複数の入力時間と関連付けられる複数の入力画像を処理するための方法であって、前記入力画像および入力時間は、イベントタイミングシステムによって提供され、
前記方法は、
出力フレームレートを選択するステップと、
前記複数の入力画像から、前記出力フレームレートに対応する複数の出力画像を生成するステップと、
前記イベントタイミングシステムによって提供される最終出力時間を各出力画像に割り当てるステップであって、前記最終出力時間は、前記出力画像に寄与する入力画像と関連付けられる前記入力時間である、ステップと
を含む、方法。
（項目３７）
前記出力フレームレートに対応する初期出力時系列を判定するステップをさらに含み、
生成するステップにおいて、各出力画像は、前記初期出力時間が入力時間と同一であるときに、入力画像と同一であり、前記初期出力時間が入力時間と同一ではないときに、前記初期出力時間の近くで捕捉される入力画像の加重平均である、項目３６に記載の方法。
（項目３８）
前記加重平均は、前記初期出力時間に最も近い関連入力時間を伴う２つの入力画像の加重平均であり、前記初期出力時間が入力時間と同一ではないとき、前記２つの入力画像のうちの一方は、前記初期出力時間の前に捕捉され、前記２つの入力画像のうちの他方は、前記初期出力時間の後に捕捉される、項目３７に記載の方法。
（項目３９）
前記加重平均の加重は、前記初期出力時間と前記加重平均に寄与する前記入力画像と関連付けられる前記入力時間との間の時間差が増加するとともに減少する、項目３７に記載の方法。
（項目４０）
イベント記録およびタイミングシステムによって提供される画像ならびに関連イベント時間を処理するための方法であって、前記方法は、
（ａ）画像および関連時間、ならびに（ｂ）時間とイベントとの間の対応を受信するステップと、
着目イベントを選択するステップと、
プロセッサおよび機械可読命令を使用して、着目イベントと関連付けられない画像を自動的に破棄するステップと
を含む、方法。
（項目４１）
時間とイベントとの間の前記対応は、高周波識別タイミングシステムによって提供される、項目４０に記載の方法。
（項目４２）
前記画像は、時間遅延積算画像である、項目４０に記載の方法。
（項目４３）
イベントの記録およびタイミングのためのシステムであって、
前記イベントの画像を捕捉するためのカメラシステムであって、時計を備える、カメラシステムと、
前記イベントを検出するためのイベントレコーダであって、前記時計と通信可能に連結される、イベントレコーダと、
前記時計によって提供される時間を、前記カメラシステムによって捕捉される前記画像および前記イベントレコーダによって検出されるイベントに割り当てることが可能である、データ処理システムと
を備える、システム。
（項目４４）
前記データ処理システムは、プロセッサと、不揮発性メモリの中で符号化される機械可読命令とを備え、前記命令は、前記プロセッサによって実行されると、前記時間を割り当てるために適合される、項目４３に記載のシステム。
（項目４５）
前記カメラシステムは、ＣＭＯＳ画像センサを備える、項目４３に記載のシステム。
（項目４６）
前記ＣＭＯＳ画像センサは、ローリングリセット機能を伴って実装されるローリングシャッタを備える、項目４５に記載のシステム。
（項目４７）
前記カメラシステムによって捕捉される前記画像の時間遅延積算を行うための回路を備える、時間遅延積算モジュールをさらに備える、項目４３に記載のシステム。
（項目４８）
前記回路は、フィールドプログラマブルゲートアレイに実装される、項目４７に記載のシステム。
（項目４９）
前記イベントレコーダは、近接している高周波識別チップを検出および識別するための高周波識別デコーダである、項目４３に記載のシステム。
（項目５０）
前記命令はさらに、前記プロセッサによって実行されると、前記カメラシステムによって捕捉されるイベントの画像を前記イベントレコーダによって検出されるイベントと相関させるために適合される、項目４３に記載のシステム。
（項目５１）
前記命令はさらに、前記プロセッサによって実行されると、前記イベントレコーダによって検出されるイベントと関連付けられない、前記カメラシステムによって捕捉される画像を破棄するために適合される、項目５０に記載のシステム。
（項目５２）
複数の色画素を備え、各色画素は、３つの異なる色に対して感受性がある、３つの異なるフォトサイトタイプを備え、前記フォトサイトは、３×３アレイの各行および各列が、前記３つのフォトサイトタイプを備え、全ての行および列が、それぞれ、任意の他の行および列と異なるフォトサイト構成を有するように、３×３アレイに配列される、面スキャン画像センサ。
（項目５３）
前記３つのフォトサイトタイプは、それぞれ、赤色、緑色、および青色光に対する感受性を有する、項目５２に記載の面スキャン画像センサ。
（項目５４）
前記面スキャン画像センサによって捕捉される画像から時間遅延積算画像を提供するためのイベントタイミングシステムに実装される、項目５２に記載の面スキャン画像センサ。
（項目５５）
前記面スキャン画像センサの色画素の分解能と比較して増加させられる分解能で、前記面スキャン画像センサによって捕捉される画像から時間遅延積算画像を提供するためのイベントタイミングシステムに実装される、項目５２に記載の面スキャン画像センサ。
（項目５６）
（ａ）線を含む場面の画像を捕捉するための面スキャン画像センサと、（ｂ）水準器とを備える、カメラと、
前記カメラと連結される調節可能マウントと、
前記線に対して前記カメラを整合させるように前記マウントを自動的に調節するための整合制御システムと
を備える、イベントタイミング画像を処理するためのシステム。
（項目５７）
前記線は、レースの決勝線である、項目５６に記載のシステム。
（項目５８）
前記カメラはさらに、時間遅延積算画像を生成するように前記面スキャン画像センサによって捕捉される画像を処理するための時間遅延積算モジュールを備える、項目５６に記載のシステム。
（項目５９）
画像を捕捉するための画像センサと、スコアボード型ビデオを生成するためのビデオ発生器とを備える、カメラと、
前記カメラから受信される画像から結果データを生成し、前記結果データを前記ビデオ発生器に伝達するための前記カメラと通信可能に連結されるデータ処理モジュールと
を備える、イベントタイミング画像を処理するためのシステム。
（項目６０）
前記スコアボード型ビデオを表示するためのディスプレイをさらに備え、前記スコアボード型ビデオの少なくとも一部は、前記結果データから生成される、項目５９に記載のシステム。
（項目６１）
前記カメラは、時間遅延積算画像を生成するように、前記画像センサによって捕捉される画像を処理するための前記画像センサと通信可能に連結される時間遅延積算モジュールを備える、項目５９に記載のシステム。
（項目６２）
前記画像センサは、面スキャン画像センサであり、前記画像は、２次元面スキャン画像である、項目６１に記載のシステム。
（項目６３）
非一過性のコンピュータ可読媒体上に記憶された命令を備える、ソフトウェア製品であって、前記命令は、コンピュータによって実行されると、時間遅延積算画像を形成するように、移動オブジェクトを備える場面の連続デジタル２次元画像を処理するためのステップを行い、
前記連続デジタル２次元画像のそれぞれの少なくとも一部を入力線に分割するための命令と、
前記時間遅延積算画像の各線に複数の入力線にわたる積算を投入するための命令であって、前記複数の入力線のそれぞれは、前記入力線と垂直な方向への前記移動オブジェクトの移動に実質的に合致するように、前記連続デジタル２次元画像のうちの異なるものから選択される、命令と
を含む、ソフトウェア製品。
（項目６４）
連続的に捕捉されたデジタル２次元画像を処理するための前記命令はさらに、前記時間遅延積算画像の輝度を調節するように入力線の数を調節するための命令を備える、項目６３に記載のソフトウェア製品。
（項目６５）
前記入力線の数を調節するための前記命令は、前記時間遅延積算画像の各画素について、前記時間遅延積算画像の前記輝度を局所的に調節するように、前記入力線の数を独立して調節するための命令を備える、項目６４に記載のソフトウェア製品。
（項目６６）
前記入力線の数は、前記時間遅延積算画像の少なくとも一部について非整数である、項目６３に記載のソフトウェア製品。
（項目６７）
前記連続デジタル２次元画像は、カラー画像であり、前記連続デジタル２次元画像を処理するための前記命令はさらに、連続的に捕捉された２次元画像からのフォトサイト信号を組み合わせることによって形成されるクロスオーバー画素を含むことによって、前記時間遅延積算画像の分解能を増加させるための命令を備える、項目６３に記載のソフトウェア製品。
（項目６８）
非一過性のコンピュータ可読媒体上に記憶された命令を備える、ソフトウェア製品であって、前記命令は、コンピュータによって実行されると、それぞれの複数の入力時間と関連付けられる複数の入力画像を処理するためのステップを行い、前記入力画像および入力時間は、イベントタイミングシステムによって提供され、前記命令は、
出力フレームレートを選択するための命令と、
前記複数の入力画像から、前記出力フレームレートに対応する複数の出力画像を生成するための命令と、
前記イベントタイミングシステムによって提供される最終出力時間を各出力画像に割り当てるための命令であって、前記最終出力時間は、前記出力画像に寄与する入力画像と関連付けられる前記入力時間である、命令と
を備える、ソフトウェア製品。
（項目６９）
複数の入力画像を処理するための前記命令はさらに、前記出力フレームレートに対応する初期出力時系列を判定するための命令を備え、複数の出力画像を生成するための前記命令は、各出力画像を、前記初期出力時間が入力時間と同一であるときに、入力画像と同等に、前記初期出力時間が入力時間と同一ではないときに、前記初期出力時間の近くで捕捉される入力画像の加重平均に設定するための命令を備える、項目６８に記載のソフトウェア製品。
図１は、実施形態による、イベントタイミング画像を処理するためのシステムを図示する。 図２は、実施形態による、図１のシステムによって行われる時間遅延積算画像への連続画像の概略変換を示す。 図３は、実施形態による、イベントタイミング画像を処理するための方法を図示する。 図４は、実施形態による、イベントタイミング画像を捕捉するためのベイヤー型カラー面スキャン画像センサを図示する。 図５は、実施形態による、ベイヤー型カラー面スキャン画像センサによって捕捉されるイベントタイミング画像を処理するための方法を図示する。 図６は、実施形態による、ＴＤＩ画像の輝度を調節するための図１のシステムの実施形態を図示する。 図７は、実施形態による、時間遅延積算に含まれる線の数を変動させることによって時間遅延積算画像の輝度を調節するための方法を図示する。 図８は、実施形態による、個別画素基準で時間遅延積算に含まれる線の数を選択することによって、ＴＤＩ画像のダイナミックレンジを向上させるための方法を図示する。 図９は、実施形態による、部分ＴＤＩを使用してＴＤＩ画像のダイナミックレンジを向上させるための方法を図示する。 図１０Ａおよび１０Ｂは、実施形態による、異なる輝度レベルで画像捕捉を提供するための位置依存性フィルタを含む、面スキャン画像センサを図示する。 図１１は、実施形態による、図１０Ａおよび１０Ｂの面スキャン画像センサを使用して、ＴＤＩ画像の輝度を調節するようにイベントタイミング画像を処理するための方法を図示する。 図１２は、実施形態による、捕捉された画像の２倍の分解能でＴＤＩ画像を生成するように、捕捉された画像を処理するための方法を図示する。 図１３は、実施形態による、捕捉された画像の２倍の分解能でＴＤＩ画像を生成するように、二重フレームレートにおいてカラー面スキャン画像センサによって捕捉される画像を処理するための方法を図示する。 図１４は、実施形態による、個々のフォトサイトがカメラの空間分解能を２倍にするために使用される、ベイヤー型カラー面スキャン画像センサを図示する。 図１５は、実施形態による、個々のフォトサイトの線がカメラの空間分解能を３倍にするために使用される、３本線カラー画像センサを図示する。 図１６は、実施形態による、イベントタイミング画像を処理するための方法を図示する。 図１７は、実施形態による、個々の色画素が３×３フォトサイトアレイを含む、対角色フィルタアレイ面スキャン画像センサを図示する。 図１８は、実施形態による、２次元フォトサイト変動を伴う色画素を有するカラー面スキャン画像センサによって捕捉される、イベントタイミング画像を処理するための方法を図示する。 図１９は、実施形態による、異なる色フィルタアレイ性質を伴う複数の領域を有する、２つの例示的カラー面スキャン画像センサを図示する。 図２０は、実施形態による、画像を記録し、随意に、イベントの時間を決定するためのシステムを図示する。 図２１は、実施形態による、カメラおよび高周波識別を使用して、イベントタイミング画像を処理するためのシステムを図示する。 図２２は、実施形態による、イベントタイミング画像を捕捉するための方法を図示する。 図２３は、実施形態による、着目イベントと関連付けられない画像を除去するように、一連の画像を切り取るための方法を図示する。 図２４は、実施形態による、移動オブジェクトの時間遅延積算画像を生成するステップを含む、イベントタイミング画像を処理するための方法を図示する。 図２５は、実施形態による、図２４の方法のための積算および読出プロセスを図示する。 図２６は、実施形態による、図２４の方法のための積算および読出プロセスを図示する。 図２７は、実施形態による、１つの時間遅延積算カメラシステムを図示する。 図２８は、実施形態による、図２７の時間遅延積算カメラシステムを整合させるための方法を図示する。 図２９は、ある実施形態において、図２８の方法を行いながら、図２７の時間遅延積算カメラシステムによって捕捉される例示的画像を図示する。 図３０は、実施形態による、図２７のシステムの時間遅延積算カメラを整合させるための方法を図示する。 図３１は、ある実施形態において、図３０の方法を行いながら、図２７の時間遅延積算カメラシステムによって捕捉される例示的画像を図示する。 図３２は、実施形態による、イベントタイミング画像を処理するためのシステムを使用して、スコアボードビデオを生成して表示するためのシステムを図示する。 図３３は、実施形態による、イベントタイミング画像を処理するためのシステムを使用して、スコアボードビデオを生成して表示するための１つの方法を図示する。 図３４は、実施形態による、イベントタイミング画像を処理するためのさらに別のシステムを図示する。
本明細書では、イベントタイミング画像を処理するためのシステムおよび方法が開示される。ある実施形態では、そのようなシステムは、レースの決勝線領域等の場面の複数の２次元画像を捕捉する、面スキャン画像センサを利用する。複数の２次元画像は、時間遅延積算（ＴＤＩ）画像を生成するように、面スキャン画像センサと別個の時間遅延積算モジュールによって処理される。時間遅延積算が画像センサと別個に行われるため、画像読出後に、時間遅延積算プロセスは、画像捕捉中または後に柔軟に最適化されてもよい。
図１は、イベントタイミング画像を処理するための１つの例示的システム１００を図示する。システム１００は、例えば、決勝線を通過する走者、車、または他のタイプのレース参加者（オブジェクト１３５として示される）の画像を捕捉する場合に有用である。システム１００は、撮像光学部１２０によって面スキャン画像センサ１１０上に撮像される場面１３０のデジタル２次元画像１１５を捕捉するための面スキャン画像センサ１１０を含む。システム１００はさらに、時間遅延積算（ＴＤＩ）モジュール１４０と、インターフェース１５０と、面スキャン画像センサ１１０およびＴＤＩモジュール１４０のための時間信号を提供する随意の時計１６０とを含む。ＴＤＩモジュール１４０は、画像処理回路１４１を含む。ＴＤＩモジュール１４０は、随意に、時計１６０から受信される捕捉時間１６５を各デジタル２次元画像１１５と関連付ける。ＴＤＩモジュール１４０は、面スキャン画像センサ１１０から一連の連続デジタル２次元画像１１５（ｉ）を受信し、ＴＤＩに提供するように一連の画像１１５（ｉ）を処理する。それに基づいて、ＴＤＩモジュール１４０は、オブジェクト１３５が場面１３０を通して移動すると、それの時間的なスナップショットを提供する、単一の積算ＴＤＩ画像１４５を出力する。
従来技術では、ＴＤＩは、読出プロセスの一部として画像センサで行われ、電荷または電圧は、ＴＤＩ画像が読み取られる前に、画像センサに直接搭載されて追加される。一方で、システム１００の実施形態では、ＴＤＩモジュール１４０による画像処理は、画像センサ１１０の外部で行われ、図１に示されるような画像１１５の読出後に、画像センサ１１０における画素電圧または電荷の変化ではなく、デジタル画像１１５の後処理を伴う。
撮像光学部１２０、面スキャンセンサ１１０、ＴＤＩモジュール１４０、インターフェース１５０、および随意の時計１６０が、カメラ１７０に組み込まれてもよい。代替実施形態では、ＴＤＩモジュール１４０およびインターフェース１５０は、外部デバイスまたはコンピュータ（図１に示されていない）において実装される。面スキャン画像センサ１１０は、例えば、グローバルまたはローリングシャッタを伴って構成されるＣＭＯＳ面スキャン画像センサであり、後者は、グローバルまたはローリングリセットを伴って実装されてもよい。画像処理回路１４１は、例えば、一連の画像１１５を処理し、ＴＤＩ画像１４５を生成するように構成される、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）である。インターフェース１５０は、画像をユーザまたは外部コンピュータに伝達し、随意に、ＴＤＩモジュール１４０の制御を促進する。ある実施形態では、インターフェース１５０は、ＷｉＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース等の無線インターフェースである。
ある実施形態では、画像処理回路１４１は、不揮発性メモリの中で符号化される機械可読命令と、一連の画像１１５からＴＤＩ画像１４５を生成するように、これらの機械可読命令を実行するためのプロセッサとを含む。別の実施形態では、画像処理回路１４１は、他の場所に位置する不揮発性メモリの中で符号化される機械可読命令を受信するための揮発性メモリと、一連の画像１１５からＴＤＩ画像１４５を生成するように、これらの機械可読命令を実行するためのプロセッサとを含む。例えば、画像処理回路１４１の揮発性メモリは、システム１００と連結される消却可能プログラマブル読取専用（ＥＰＲＯＭ）メモリまたはフラッシュメモリから機械可読命令を受信してもよい。さらに別の実施形態では、ＴＤＩモジュール１４０は、システム１００を起動すると実行される、例えば、ブート記録の形態において、不揮発性メモリの中で符号化される機械可読起動命令を含む。起動命令は、インターフェース１５０を通して読み出し、画像処理回路１４１にロードするための命令と、上記で議論されるように、デジタル２次元画像１１５（ｉ）、随意に、捕捉時間１６５を処理するための機械可読画像処理命令とを含む。起動命令は、ＴＤＩモジュール１４０内のフラッシュメモリに記憶されてもよい。画像処理命令は、例えば、外部制御システム内の不揮発性メモリに記憶されてもよい。
図２は、画像処理回路１４１を使用してＴＤＩモジュール１４０によって行われる、ＴＤＩ画像１４５への連続デジタル２次元画像１１５の１つの例示的概略変換を示す。図３は、本プロセスでＴＤＩモジュール１４０によって使用されるＴＤＩのための１つの例示的方法３００を示す。図２および３は、ともに以下の説明で最も詳しく検討される。図２では、ＴＤＩ画像１４５内の各線１４６（ｊ）は、一連の線１１８（ｉ，ｊ）の積算であり、各線１１８（ｉ，ｊ）は、異なる２次元画像１１５（ｉ）から抽出される。ある実施形態では、２次元画像１１５（ｉ）が捕捉されるフレームレート、および画像空間内で測定される隣接線１１８（ｉ，ｊ）の間のピッチは、（オブジェクト１３５がフレームにつき１本の線のレートで逐次線１１８（ｉ，ｊ）を通して進行するように）場面１３０を通って移動する着目オブジェクトの速度に実質的に合致するように設定される。本明細書で使用されるような「線」は、一列または行の２次元画像によって、もしくはそれに形成される、画像データを指す。決勝線を横断するレース参加者のタイミングに関係している使用のシナリオでは、線１１８は、有利なこととして、決勝線の画像と実質的に平行であるように配向される。決勝線画像が所与の線１１８と一致するように、システム１００を整合させることが、さらに有益である。
方法３００のステップ３１０では、ＴＤＩモジュール１４０は、一連の画像１１５（ｉ）内の各デジタル２次元画像１１５を線１１８（ｉ，ｊ）に分割し、ｉは、画像を示し、ｊは、その画像内の線を示す（例証を明確にするために、全ての線が図２で標識されているわけではない）。一実施形態では、ＴＤＩモジュール１４０は、画像１１５を線１１８に分割し、画像１１５は、２次元画像の形態で外部ソースからＴＤＩモジュール１４０によって受信される。別の実施形態では、ＴＤＩモジュール１４０は、線１１８の形態で画像１１５を受信し、ステップ３１０は、受信プロセスの一体部分として実行される。
ＴＤＩ画像１４５はまた、（例証を明確にするために、線１４６（７）のみが図２で標識されているが）複数の線１４６（ｉ）から成る。具体的には、ステップ３２０では、ＴＤＩモジュール１４０は、一連の線１１８（ｉ，ｊ）を形成し、各線は、異なる画像１１５（ｉ）から抽出される。オブジェクト１３５が場面１３０を通して移動すると、オブジェクト１３５の捕捉された画像が線１１８（ｉ，ｊ）を横断して移動する。例えば、図２に示されるように、オブジェクト１３５の特定の部分（走者の胴体）が、画像１１５（１）内の線１１８（１，６）の中、画像１１５（２）内の線１１８（２，７）の中、および画像１１５（３）内の線１１８（３，８）の中に位置する。ステップ３２０で形成される一連の線１１８（ｉ，ｊ）は、オブジェクト１３５が連続的に捕捉された画像１１５（ｉ）を通して進行すると、その移動を追跡する。
ステップ３３０では、ＴＤＩモジュール１４０は、単一の積算線１４６（ｊ）を形成するように、一連の線１１８（ｉ，ｊ）を積算する。例えば、積算線のｎ番目の画素は、一連の線１１８（ｉ，ｊ）の中の全てのｎ番目の画素の合計である。ステップ３４０では、ＴＤＩ画像１４５の線１４６（ｊ）は、ステップ３３０で生成される積算線に等しく設定される。図２の走者の胴体の実施例を使用して、画像１１５（１）からの線１１８（１，６）、画像１１５（２）からの線１１８（２，７）、および画像１１５（３）からの線１１８（３，８）は、単一の積算線１４６（７）を形成するように、ステップ３３０で積算される。ステップ３３０は、部分ＴＤＩを利用してもよく、単一の積算線１４６（７）は、線１１８（ｉ，ｊ）の非整数の数の積算である。例えば、線１４６（７）は、線１１８（１，６）＋線１１８（２，７）＋ｘ線１１８（３，８）として形成されてもよく、ｘは、０より大きく、１より小さい数である。部分ＴＤＩは、図９の方法９００に関連してさらに議論される。
ステップ３２０から３４０は、ＴＤＩ画像１４５の全ての線１４６（ｊ）が生成されるまで繰り返される。一連の画像１１５（ｉ）の異なるサブセットが、ＴＤＩ画像１４５の異なる線１４６（ｊ）を生成するために使用され得ることに留意されたい。
ステップ３６０では、ＴＤＩ画像が出力される。例えば、ＴＤＩモジュール１４０（図１）は、ＴＤＩ画像１４５をインターフェース１５０に出力する。インターフェース１５０は、外部処理システム等の外部システムに接続されてもよく、それによって、ＴＤＩモジュール１４５は、ＴＤＩ画像を外部処理システムに出力する。
図２の実施例では、３つの連続画像１１５（１）、１１５（２）、および１１５（３）が、ＴＤＩ画像１４５を生成するようにＴＤＩモジュール１４０によって処理される。オブジェクト１３５が場面１３０を通して移動すると、オブジェクト１３５の位置は、各逐次フレームについて１本の線だけ偏移する。オブジェクト１３５の特定の部分（走者の胴体）は、画像１１５（１）内の線１１８（１，６）の中、画像１１５（２）内の線１１８（２，７）の中、および画像１１５（３）内の線１１８（３，８）の中に位置する。ＴＤＩ画像１４５の線１４６（７）は、画像１１５（１）の線１１８（１，６）、画像１１５（２）の線１１８（２，７）、および画像１１５（３）の線１１８（３，８）の積算である。画像１１５（３）に類似するが、ＴＤＩ画像１４５は、より優れた輝度および向上した信号対雑音比を伴うオブジェクト１３５を示す。したがって、画像は、図１−３のＴＤＩ処理を利用しないシステムと比較して、より高速で移動するオブジェクトの速度に合致するようにより高いフレームレートで、または劣った照明環境で、面スキャン画像センサ１１０によって捕捉されてもよい。ＴＤＩ処理がないと、着目オブジェクトを識別する十分な感受性の画像を捕捉するために、より遅いフレームレートが必要とされ、より粗い時間分解能をもたらす。
図２に図示されるように、ＴＤＩ画像１４５は、ＴＤＩ画像１４５の線１４６（７）に対応するように位置する、決勝線等の線を通過するオブジェクト１３５のタイミングのために好適である。したがって、ＴＤＩ画像１４５は、画像１１５（２）の捕捉時間等の画像１１５（２）と関連付けられる時間である、タイムスタンプを与えられてもよい。したがって、図２に図示される実施例は、本明細書の範囲から逸脱することなく、ＴＤＩ画像１４５の別の線１４６（ｉ）に対応する線を通過するオブジェクト１３５のタイミングのために修正されてもよい。例えば、ＴＤＩ画像１４５の線１４６（８）は、画像１１５（１）の線１１８（１，６）、画像１１５（２）の線１１８（２，７）、および画像１１５（３）の線１１８（３，８）の積算を投入されてもよく、結果として生じるＴＤＩ画像１４５は、画像１１５（３）と関連付けられる時間である、タイムスタンプを与えられてもよい。概して、ＴＤＩ画像１４５に寄与する積算は、決勝線に対応するＴＤＩ画像１４５の任意の線１４６（ｉ）、または他のタイミング線を用いて、行われてもよい。それと一致して、ＴＤＩ画像１４５は、ＴＤＩ画像１４５に寄与する任意の画像１１５の時間である、タイムスタンプを与えられてもよい。
ＴＤＩモジュール１４０（図１）の画像処理回路１４１は、図２および３に関連して議論されるように、場面を通過するオブジェクトの移動の方向を仮定することによって、画像１１５（ｉ）を処理するように構成されてもよい。ＴＤＩモジュール１４０の画像処理回路１４１によって行われる処理はまた、オブジェクト移動の異なる方向のために最適化するように適合されてもよい。一実施形態では、面スキャン画像センサ１１０は、画素の長方形のアレイとして実装され、画像１１５の線１１８（ｉ，ｊ）は、面スキャン画像センサ１１０の画素の行または列のいずれか一方と一致するように自然に配向される。線１１８（ｉ，ｊ）のこれら２つの配向のそれぞれに関して、画像１１５は、線１１８（ｉ，ｊ）と垂直な２つの方向のいずれか一方へのオブジェクト移動のために最適化するように処理される。一連の画像１１５（ｉ）は、オブジェクト移動の異なる方向のためにそれぞれ最適化される、いくつかの異なるＴＤＩ画像を提供するように、いくつかの異なる方法でＴＤＩモジュール１４０の画像処理回路１４１によって処理されてもよい。
一実施形態では、画像１１５（ｉ）の線１１８（ｉ，ｊ）は、面スキャン画像センサ１１０の全アクティブ領域を使用することに対応する、画素の長方形のアレイとして実装される、面スキャン画像センサ１１０の行または列のいずれか一方の完全な数を表す。別の実施形態では、画像１１５は、画像１１５（ｉ）の線１１８（ｉ，ｊ）が面スキャン画像センサ１１０の行および／または列のサブセットのみを表すように、アクティブ領域の一部のみを含む。さらに別の実施形態では、画像１１５は、全アクティブ領域を含むが、画像１１５（ｉ）の線１１８（ｉ，ｊ）が面スキャン画像センサ１１０の行および／または列のサブセットのみを表すように、その一部のみがＴＤＩモジュール１４０によって利用される。
ある実施形態では、ステップ３２０から３６０は、場面の異なるサブセットを表す２つのそれぞれのＴＤＩ画像を生成するように、面スキャン画像センサ１１０のアクティブ領域の２つの異なる非隣接部分のために繰り返される。例えば、面スキャン画像センサ１１０および撮像光学部１２０は、レースの決勝線が撮像光学部１２０の光軸に交差するように整合させられてもよい。場面１３０の面スキャン画像センサ１１０によって捕捉される画像１１５の１つの選択された部分が、レースの決勝線を横断するレース参加者を示す一方で、画像１１５の別の選択された部分は、実際の決勝線の前に位置する、二次「決勝前線」を横断するレース参加者を示す。画像１１５の決勝線部分から生成されるＴＤＩ画像では、レース参加者が相互を塞ぎ得る。決勝前線が撮像光学部１２０の光軸に交差しないため、画像１１５の決勝前線部分から生成されるＴＤＩ画像は、より正面の図でレース参加者を示すであろう。したがって、レース参加者は、決勝前線ＴＤＩ画像によって提供される図で、より容易に分離され得る。
図１−３のシステムおよび方法は、ＴＤＩ画像を直接出力する従来技術の電荷結合素子（ＣＣＤ）システムと異なる。従来技術のＣＣＤでは、異なる時間でＣＣＤ上の異なる場所に蓄積される光誘起電荷が、ＴＤＩ画像を生成するように、同期画像センサ読出プロセスの一部として積算される。対照的に、図１−３のシステムおよび方法は、２次元画像の生成に基づき、これらの２次元画像の画像画素値は、ＴＤＩ画像を生成するように画像センサの外側で処理され、ＴＤＩ画像の種々の側面の捕捉後最適化を可能にする。そのような側面は、ＴＤＩ画像輝度、ダイナミックレンジ、鮮明さ、雑音レベル、および分解能（例えば、図４−１８を参照）を含むが、それらに限定されない。さらに、ＴＤＩ画像を生成するための現在開示されているシステムおよび方法は、カメラ整合（図２７−３１）もしくはビデオ生成（図３２−３４）等のＴＤＩ以外の目的で使用され得る、２次元画像を生成および／または利用し、生成される２次元画像の異なる部分は、異なるように処理ならびに／もしくは利用されてもよい（例えば、図３、１０、１１、および１９参照）。
図４は、１つの例示的ベイヤー型カラー面スキャン画像センサ４００を図示する。カラー面スキャン画像センサ４００は、図１の面スキャン画像センサ１１０の実施形態である。カラー面スキャン画像センサ４００は、ベイヤー型画素アレイを含む。本開示では、ベイヤー型画素アレイは、各色画素が、第１の色に対して感受性がある１つの第１のタイプのフォトサイト、第２の色に対して感受性がある１つの第２のタイプのフォトサイト、および第３の色に対して感受性がある１つの第３のタイプのフォトサイトから成る、あるタイプの画素アレイである。カラー面スキャン画像センサ４００の各色画素４２０は、４つのフォトサイト４２１、４２２、４２３、および４２４から成る。ある実施形態では、フォトサイト４２１は、赤色（Ｒ）光に対して感受性があり、フォトサイト４２２および４２３は、緑色（Ｇ）光に対して感受性があり、フォトサイト４２４は、青色（Ｂ）光に対して感受性がある。カラー面スキャン画像センサ４００は、色画素の３本の線４１０（１）、４１０（２）、および４１０（３）を有するものとして図４に図示されている。ある実施形態では、線４１０は、オブジェクト、例えば、オブジェクト１３５（図１）の運動の方向と実質的に垂直に配向される。各線４１０は、複数の色画素４２０を含む。１つだけの色画素４２０が、図４の各線４１０について図示されている。線４１０（１）は、色画素４２０（１）を含み、線４１０（２）は、色画素４２０（２）を含み、線４１０（３）は、色画素４２０（３）を含む。色画素４２０（１）、４２０（２）、および４２０（３）は、対応する線４１０（２）、４１０（２）、および４１０（３）内の同一の垂直位置に位置してもよい。オブジェクトが移動すると、時間が進むにつれて、オブジェクトの実質的に同一の部分が、色画素４２０（１）、４２０（２）、および４２０（３）のそれぞれによって撮像されてもよい。例えば、カラー面スキャン画像センサ４００は、図２および３に関連して議論されるように、オブジェクトがフレームを通して移動する速度に合致するフレームレートで、画像を捕捉してもよい。カラー面スキャン画像センサ４００は、本明細書の範囲から逸脱することなく、３本より多くの線４１０から成ってもよい。同様に、フォトサイト４２１、４２２、４２３、および４２４は、本明細書の範囲から逸脱することなく、色画素４２０内で異なるように配列されてもよい。例えば、フォトサイト４２１、４２２、４２３、および４２４のうちの２つまたはそれを上回るものの場所は、図４の説明図と比較して交換されてもよい。オブジェクトの例示的移動方向は、矢印４３０によって示される。
図５は、ベイヤー型画素アレイを有するカラー面スキャン画像センサによって捕捉される画像からＴＤＩ画像を生成するための１つの例示的方法５００を図示する。方法５００は、本明細書の範囲から逸脱することなく、各色画素が２×２フォトサイトアレイから成る、カラー面画像センサによって捕捉される画像からＴＤＩ画像を生成するステップまで拡張されてもよい。方法５００は、面スキャン画像センサ１１０（図１）として実装される図４のカラー面スキャン画像センサ４００を用いた、システム１００（図１）によるＴＤＩ画像の生成に適用可能な方法３００（図３）の実施形態である。方法５００は、着目オブジェクトがフレームにつき１本の線のレートでカラー面スキャン画像センサの線１１８（図２）を通して進行するようなフレームレートで、カラー面スキャン画像センサが画像１１５（図１および２）を捕捉すると仮定する。例えば、カラー面スキャン画像センサ４００（図４）は、オブジェクト１３５（図１）が矢印４３０（図４）によって示される方向にフレームにつき１本の線のレートで線４１０（図４）を通して進行するようなレートで、場面１３０（図１）の画像を捕捉する。方法５００は、例えば、ＴＤＩモジュール１４０（図１）によって行われる。
ステップ５１０では、カラー面スキャン画像センサによって捕捉される各２次元画像が、行の形態で受信される。行は、方法３００の線が方法５００の２つの行に対応するように、方法３００（図３）の線と平行に配向される。２つの行は、ＲおよびＧフォトサイトからの信号から成るＲおよびＧ行、ならびにＧ’およびＢフォトサイトからの信号から成るＧ’およびＢ行である。例えば、ＴＤＩモジュール１４０（図１）は、各線４１０（図４）が、２つの行、すなわち、（ａ）線４１０からの全てのＲ１（４２１（１））およびＧ１（４２２（１））フォトサイト信号から成る行、ならびに（ｂ）線４１０からの全てのＧ１’（４２３（１））およびＢ１（４２４（１））フォトサイト信号から成る行と関連付けられるように、行としてカラー面スキャン画像センサ４００（図４）によって捕捉される２次元画像１１５（図１）を受信する。別の実施例では、ＴＤＩモジュール１４０（図１）は、恣意的な形式でカラー面スキャン画像センサ４００（図４）によって捕捉される２次元画像１１５（図１）を受信する。ＴＤＩモジュール１４０（図１）は、各線４１０（図４）が、２つの行、すなわち、（ａ）線４１０からの全てのＲ１およびＧ１フォトサイト信号から成る行、ならびに（ｂ）線４１０からの全てのＧ１’およびＢ１フォトサイト信号から成る行と関連付けられるように、行を生成するように２次元画像１１５（図１）を処理する。
ステップ５１０後に、方法５００は、続いて、ＴＤＩ画像内の各線にステップ５２１、５２２、５３１、５３２、および５４０を行うことによって、ＴＤＩ画像の各線にデータ投入する。ステップ５２１および５３１は、ステップ５２２および５３２のように、連続的に行われる。連続ステップ５２１および５３１は、連続ステップ５２２および５３２と並列または直列に行われてもよい。ステップ５２１では、一連のＲおよびＧ行が形成され、各ＲおよびＧ行は、異なる画像から抽出される。一連のＲおよびＧ行は、図２および３に関連して議論されるように、場面を通したオブジェクトの進行を辿る。例えば、ＴＤＩモジュール１４０（図１）は、カラー面スキャン画像センサ４００（図４）のそれぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる、一連のＲおよびＧ行を形成する。一連のＲおよびＧ行は、それぞれの一連の連続的に捕捉された画像１１５（図１）から抽出され、画像１１５は、オブジェクト１３５（図１）がフレームにつき１本の線４１０のレートでフレームを通して移動するようなフレームレートで捕捉される。ステップ５３１では、ステップ５２１で生成される一連のＲおよびＧ行は、単一の積算ＲおよびＧ行を形成するように積算される。例えば、ＴＤＩモジュール１４０（図１）は、単一の積算ＲおよびＧ行を形成するように、ステップ５２１で生成される一連のＲおよびＧ行を積算する。ステップ５２２では、それぞれ異なる画像からの一連のＧ’およびＢ行が形成される。一連のＧ’およびＢ行は、図２および３に関連して議論されるように、場面を通したオブジェクトの進行を辿る。例えば、ＴＤＩモジュール１４０（図１）は、カラー面スキャン画像センサ４００（図４）のそれぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる、一連のＧ’およびＢ行を形成する。一連のＧ’およびＢ行は、それぞれの一連の連続的に捕捉された画像１１５（図１）から抽出され、画像１１５は、オブジェクト１３５（図１）がフレームにつき１本の線４１０のレートでフレームを通して移動するようなフレームレートで捕捉される。ステップ５３２では、ステップ５２２で生成される一連のＧ’およびＢ行は、単一の積算Ｇ’およびＢ行を形成するように積算される。例えば、ＴＤＩモジュール１４０（図１）は、単一の積算Ｇ’およびＢ行を形成するように、ステップ５２２で生成される一連のＧ’およびＢ行を積算する。
ステップ５４０では、ステップ５３１で生成される単一の積算ＲおよびＧ行は、単一の色画素線を形成するように、ステップ５３２で生成される単一の積算Ｇ’およびＢ行と組み合わせられる。本色画素線は、複合Ｒ、Ｇ、Ｇ’、およびＢ色データを含み、ＴＤＩ画像の線を形成する。例えば、ＴＤＩモジュール１４０（図１）は、ＲおよびＧ行をＧ’およびＢ行と組み合わせる。ステップ５３０の一実施形態では、組み合わせは、ＴＤＩ線の各色画素が、４つの個々のＲ、Ｇ、Ｇ’、Ｂ値から成る四重項によって表されるように行われる。別の実施形態では、組み合わせは、ＴＤＩ線の各色画素が、３つの個々の値、すなわち、Ｒ、ＧおよびＧ’の平均、ならびにＢから成る三重項によって表されるように行われる。さらに別の実施形態では、組み合わせは、ＴＤＩ線の各色画素が、２つの三重項、すなわち、Ｒ、Ｇ、およびＢ値から成る１つの三重項、ならびにＲ、Ｇ’、およびＢ値から成る１つの三重項によって表されるように行われる。ステップ５４０後に、方法５００は、続いて、方法３００（図３）のステップ３６０を行う。
図４の面スキャン画像センサ４００および図５の方法５００は、ベイヤー型色フィルタアレイとの関連で議論されるが、面スキャン画像センサ４００および方法５００は両方とも、本明細書の範囲から逸脱することなく、非ベイヤー型色フィルタアレイに拡張されてもよい。一実施形態では、フォトサイト４２１、４２２、４２３、および４４４（図４）は、Ｇ’がＧと異なる色を表すように、４つの異なる色に対して感受性がある。これは、フォトサイトＧ’がフォトサイトＧと異なる色に対応する、方法５００（図５）の実施形態に対応する。面スキャン画像センサ４００（図４）および方法５００（図５）はさらに、他の幾何学的フォトサイト構成を有する、色フィルタアレイに拡張されてもよい。例えば、各色画素は、３×３フォトサイト等のより多数のフォトサイトから成ってもよい。別の実施例では、各色画素は、Ｆｏｖｅｏｎ， Ｉｎｃ．からのＦｏｖｅｏｎ Ｘ３センサのように垂直に積み重ねられる、いくつかのフォトサイトを有する。
図６は、図１のシステム１００の実施形態である、イベントタイミング画像を処理するための１つの例示的システム６００を図示する。システム６００は、ＴＤＩ画像１４５（図１および２）の各線１４６（図２）を生成するために使用される、一連の連続的に捕捉された２次元画像１１５（図１および２）内の線１１８（図１および２）の数を含む、いくつかのパラメータのうちの１つまたはそれを上回るものの調節によって、ＴＤＩ画像の輝度を調節するための機能性を組み込む。
システム６００は、それぞれ、システム１００（図１）の面スキャン画像センサ１１０、撮像光学部１２０、およびＴＤＩモジュール１４０の実施形態である、面スキャン画像センサ６１０、撮像光学部６２０、およびＴＤＩモジュール６４０を含む。面スキャン画像センサ６１０は、センサ設定６３０を含む。センサ設定６３０は、面スキャン画像センサ６１０の電子利得を定義する利得設定６３２と、面スキャン画像センサ６１０が、フレーム、例えば、画像１１５（図１および２）を捕捉するレートを定義する、フレームレート設定６３４と、面スキャン画像センサ６１０によって捕捉される画像の露出時間を定義する露出時間設定６３６とを含む。
撮像光学部６２０は、撮像光学部６２０を通して輸送される光の量に影響を及ぼす、絞り等の随意の調節可能開口６２２を含む。したがって、随意の開口６２２は、面スキャン画像センサ６１０上で撮像光学部６２０によって形成される画像のある輝度を達成するように調節されてもよい。随意に、撮像光学部６２０はさらに、構成可能フィルタ６２４を含む。ある実施形態では、構成可能フィルタ６２４は、（ａ）赤外光の少なくとも一部が面スキャン画像センサ６１０に到達することを阻止するための赤外線フィルタ部分、（ｂ）撮像光学部６２０によって透過させられる光の量を低減させるための１つまたはそれを上回る減光フィルタ、および（ｃ）フィルタ処理することなく光を透過させるためのブランクフィルタのうちの１つまたはそれを上回るものを含む。ある実施形態では、構成可能フィルタ６２４は、電動式であり、電気制御信号によって制御されてもよい。
ＴＤＩモジュール６４０はさらに、画像処理回路１４１（図１）の実施形態として画像処理回路６４１を含む。画像処理回路６４１は、随意の線数設定６４２と、随意の上限値６４４と、随意のデジタル利得設定６４６とを含む。線数設定６４２は、画像１１５（図１および２）内の線１１８の数である。線数設定６４２は、面スキャン画像センサ６１０が提供することができる線の最大数またはそのサブセットに設定されてもよい。上限値６４４は、単一のＴＤＩ画像画素がその生成中に達成し得る値の上限である。デジタル利得設定６４６は、画像１１５（図１および２）および／またはそこから生成されるＴＤＩ画像に適用される、デジタル利得を定義する。ＴＤＩモジュール６４０は、ＴＤＩ画像１４５の輝度を調節するために、以下で議論される図７の方法７００と併せて、線数設定６４２および／またはデジタル利得設定６４６を利用してもよい。ＴＤＩモジュール６４０はさらに、部分ＴＤＩを行うために、以下で議論される図９の方法９００と併せて、デジタル利得設定６４６を利用してもよい。ＴＤＩモジュール６４０は、個別画素に基づいてＴＤＩ画像１４５の輝度を調節し、それによって、ＴＤＩ画像１４５のダイナミックレンジを向上させるために、以下で議論される図８の方法８００と併せて上限値６４４を利用してもよい。
ある実施形態では、システム６００は、捕捉時間１６５等の時間信号を、面スキャン画像センサ６１０、ＴＤＩモジュール６４０、インターフェース１５０、およびコントローラ６５０に伝達するための時計１６０（図１）を含む。面スキャン画像センサ６１０、撮像光学部６２０、ＴＤＩモジュール６４０、コントローラ６５０、インターフェース１５０、および随意の時計１６０は、カメラ６７０に組み込まれてもよい。カメラ６７０は、カメラ１７０（図１）の実施形態である。
コントローラ６５０は、制御信号６１５、６２５、および６４５を、それぞれ、面スキャン画像センサ６１０、撮像光学部６２０、およびＴＤＩモジュール６４０に伝達する。制御信号６１５は、利得設定６３２、フレームレート設定６３４、および随意に、露出時間６３６を調節する。ある実施形態では、面スキャン画像センサ６１０は、フレームレート設定６３４を与えられる画像１１５（図１および２）の露出時間設定６３６を最大限にするように構成される。この場合、露出時間設定６３６は、フレームレート設定６３４のほぼ逆の値である。したがって、フレームレート設定６３４は、露出時間設定６３６を定義し、画像１１５（図１および２）の輝度を調節するように調節されてもよい。代替実施形態では、露出時間設定６３６は、所与のフレームレート設定６３４と関連付けられる最大露出時間と比較して、短縮されてもよい。この場合、制御信号６１５は、露出時間を直接調節してもよい。
ある実施形態では、制御信号６２５は、開口６２２および構成可能フィルタ６２４の一方または両方を調節する。例えば、制御信号６２５は、面スキャン画像センサ６１０上に形成される画像の輝度を調節するように、開口６２２の直径を調節する。別の実施例では、制御信号６２５は、構成可能フィルタ６２４のいずれの部分が光路内にあるかを調節する。
別の実施形態では、制御信号６４５は、線数設定６４２、上限値６４４、および／またはデジタル利得６４６を調節する。ＴＤＩ線１４６を生成するために使用される線１１８の数は、ＴＤＩ画像１４５内のオブジェクト１３５（図１および２）の輝度を調節するように調節され得る、パラメータである。例えば、２０本の線１１８から生成されるＴＤＩ線１４６内のオブジェクト１３５の輝度は、１０本の線１１８から生成されるＴＤＩ線１４６において達成されるものの２倍である。同様に、図８に関連して以下で議論されるような上限値６４４は、局所輝度調節によって、ＴＤＩ画像１４５内のオブジェクト１３５（図１および２）の外観を調節するように調節され得る、パラメータである。デジタル利得設定６４６は、ＴＤＩ画像１４５の輝度を大域的または局所的に調節するために使用され得る、パラメータである。
したがって、システム６００は、ＴＤＩ画像１４５のある輝度を達成するための８つの調節可能パラメータ、すなわち、利得設定６３２、フレームレート設定６３４、露出時間６３６、開口６２２のサイズ、構成可能フィルタ６２４の設定、線数設定６４２、上限値６４４、およびデジタル利得６４６を提供する。概して、利得設定６３２、フレームレート設定６３４、および開口６２２のサイズは全て、輝度以外の画像１１５の性質に影響を及ぼす。図２の説明図によって例示される、ある実施形態では、フレームレート設定６３４は、オブジェクト１３５の移動速度を画像１１５の線１１８の間隔と合致させるために固定される。したがって、フレームレート設定６３４は、輝度調節のために利用可能ではない。露出時間設定６３６は、フレームレート設定６３４によって上向きに制限され、輝度を増加させるために利用可能ではない場合がある。典型的には、利得設定６３２は、利得設定６３２の増加した値が画像１１５内の増加した雑音と関連付けられるように、画像１１５の雑音レベルに影響を及ぼす。
オブジェクト１３５（図１）の輝度が高すぎる、例えば、非常に高いため面スキャン画像センサ６１０によって捕捉される画像の部分が飽和している、使用のシナリオでは、構成可能フィルタ６２４の設定は、透過光の量を低減させるように調節されてもよい。しかしながら、そのような調節は、典型的には、離散増分のみで行われることができる。露出時間設定６３６および／またはデジタル利得設定６４６は、例えば、構成可能フィルタ６２４の設定を調節することと併せて、オブジェクト１３５（図１）の輝度をより細かく調節するために、そのようなシナリオで使用されてもよい。
面スキャン画像センサ６１０上に形成される画像内のオブジェクト１３５の輝度が低い、使用のシナリオでは、利得設定６３２の範囲は、必要信号対雑音比の画像１１５を生成する範囲に限定されてもよい。開口６２２のサイズは、殆どの光学撮像システムでは、焦点深度に関係付けられる。開口６２２のサイズは、画像１１５（図１および２）の輝度を増加させるために増大させられてもよいが、これは、焦点深度を減少させる。したがって、いくつかの使用のシナリオでは、開口６２２のサイズは、焦点深度要件によって上向きに制限される。しかしながら、デジタル利得設定６４６が、オブジェクト１３５の輝度を増加させるために使用されてもよいが、デジタル利得設定６４６は、概して、信号対雑音比が向上させられないように、信号および雑音に等しく影響を及ぼすであろう。したがって、単独で、もしくは利得設定６３２、フレームレート設定６３４、露出時間設定６３６、デジタル利得設定６４６、開口６２２のサイズ、および構成可能フィルタ６２４の設定のうちの１つまたはそれを上回るものの調節と組み合わせてのいずれかで、線数設定６４２を通してＴＤＩ画像１４５の輝度を調節できることが有利である。線数設定６４２を通して輝度を調節することの代替として、輝度は、上限値６４４を通して調節されてもよい。上限値６４４は、ＴＤＩ画像１４５の全体的な輝度を調節することに加えて、ＴＤＩ画像１４５のダイナミックレンジを向上させるために使用され得る、局所輝度調節を促進する。
コントローラ６５０は、本明細書の範囲から逸脱することなく、インターフェース１５０を通して、ＴＤＩモジュール６４０、面スキャン画像センサ６１０、および随意に、撮像光学部６２０と通信してもよい。同様に、コントローラ６５０の機能性の全てまたは部分は、本明細書の範囲から逸脱することなく、システム６００の外部に配置され、インターフェース１５０を通してシステム６００に通信可能に連結されてもよい。
図７は、図６のシステム６００を使用して、ＴＤＩ画像１４５（図１および２）の輝度を調節するための１つの例示的方法を図示する。ステップ７１０では、線数設定６４２は、ある値に設定される。例えば、コントローラ６５０（図６）は、制御信号６４５（図６）をＴＤＩモジュール６４０（図６）に伝達する。ある実施形態では、線数設定６４２は、方法９００（図９）に関連して議論されるように、非整数値である。随意のステップ７２０では、利得設定６３２（図６）、フレームレート設定６３４（図６）、露出時間設定６３６（図６）、デジタル利得設定６４６（図６）、開口６２２（図６）のサイズ、および構成可能フィルタ６２４（図６）の設定のうちの１つまたはそれを上回るものの値が、調節される。例えば、コントローラ６５０（図６）は、制御信号６１５（図６）および／または６２５（図６）を、それぞれ、面スキャン画像センサ６１０ならびに撮像光学部６２０に伝達する。ステップ７１０および随意のステップ７２０の順序は、逆転させられてもよく、またはステップ７１０および随意のステップ７２０は、並行して実行されてもよい。ステップ７３０では、ＴＤＩ画像１４５（図１および２）が生成される。例えば、一連の画像１１５（ｉ）（図１および２）は、面スキャン画像センサ６１０（図６）によって捕捉され、画像処理回路６４１を使用して、方法５００（図５）に従ってＴＤＩモジュール６４０（図６）によって処理される。
随意のステップ７４０では、ＴＤＩ画像１４５の輝度が評価される。評価の結果に基づいて、方法７００は、さらなる輝度調節のためにステップ７１０に戻ってもよい。一実施形態では、ステップ７４０は、コントローラ６５０によって、またはシステム６００の外部でコンピュータによって、自動的に行われる。別の実施形態では、ステップ７４０は、オペレータによって手動で行われる。
ある実施形態では、ステップ７２０および７３０で輝度調節のために利用可能なパラメータは、標的値、最小値、および最大値のうちの１つまたはそれを上回るものと関連付けられる。さらに、パラメータのそれぞれは、方法７００がパラメータ調節の規定順序に従って行われるように、優先度が割り当てられてもよい。方法７００は、自動的に、および／またはオペレータによって、行われてもよい。
例示的な使用のシナリオ、すなわち、環境が徐々に光を失うような落陽中に画像が捕捉される場合において、方法７００は、ＴＤＩ画像輝度を増加させるよう自動的に行われる。利得設定６３２は、最初に、規定標的値にあってもよい。輝度を増加させるために、方法７００は、最初に、規定最大値、例えば、他の画像性質に悪影響を及ぼさないことが知られている値まで、開口６２２のサイズを増加させてもよい。調節が不十分である場合、方法７００は、続いて、規定最大値まで線数設定６４２の値を増加させてもよい。これがまた、不十分であると判明する場合に、方法７００は、オペレータによる承認後、その最大値まで規定標的値を超えて利得設定６３２を増加させてもよい。
方法７００のステップのうちのいずれも、面スキャン画像センサまたは面スキャン画像を必要としない。したがって、方法７００は、本明細書の範囲から逸脱することなく、面スキャン画像センサ６１０が線スキャン画像センサ等の別のタイプの画像センサによって置換される、図６のシステム６００と同等のシステムに拡張されてもよい。さらに、ステップ７２０の動作は、面スキャン画像センサまたは線スキャン画像センサ等の非面スキャン画像センサに基づくカメラに適用されてもよく、これらのカメラは、ＴＤＩを含まない用途で使用される。この場合、捕捉された画像は、ステップ７２０の実施を誘導するように直接評価される。
図８は、ＴＤＩシステムの向上したダイナミックレンジを提供するための１つの例示的方法８００を図示する。方法８００は、ＴＤＩ画像を生成するために使用される線の数が個別画像に基づいて自動的に判定される、方法７００（図７）の実行である。ＴＤＩシステムによって撮像される場面、例えば、場面１３０（図１）は、明るい領域および薄暗い領域を含んでもよい。オブジェクト１３５（図１）等の着目オブジェクトは、着目されない他のオブジェクトほど有意に明るくない場合がある。同様に、着目オブジェクトのいくつかの部分は、その他の部分よりはるかに明るくあり得る。方法８００は、暗い領域と関連付けられるＴＤＩ画像の画素にデータ投入するときに、より多くの線、明るい領域と関連付けられるＴＤＩ画像の画素にデータ投入するときに、より少ない線を利用することを可能にする。
概して、雑音が、暗い領域中でより明白である一方で、不鮮明は、より明るい領域中でより明白である。不鮮明は、画像捕捉フレームレートとオブジェクトの局所的または大域的移動速度との間の不整合に起因し得る。したがって、着目オブジェクトの所与の明るい部分に関して、ＴＤＩ画像の画素を生成するために使用される線の数は、有利なこととして、画像捕捉フレームレートと所与のオブジェクト部分の移動速度との間の不整合と関連付けられる潜在的不鮮明の量を最小限にするために、少なく保たれる。着目オブジェクトの薄暗い部分に関して、ＴＤＩプロセスで使用される線の数は、有利なこととして、信号対雑音比を増加させるために増加させられる。方法８００は、ＴＤＩ画像が生成される画像を捕捉するために使用される画像センサのダイナミックレンジを超えて、ＴＤＩ画像のダイナミックレンジを増加させる。したがって、方法８００は、有利なこととして、高品質ＴＤＩ画像を確実にするために、イベントタイミングシステムによって利用されてもよい。
方法８００は、例えば、システム１００（図１）のＴＤＩモジュール１４０によって、または上限値６４２（図６）を使用するシステム６００（図６）のＴＤＩモジュール６４０によって、行われる。
例示的シナリオでは、場面１３０は、夜間競馬の決勝領域であり、オブジェクト１３５は、競走馬であり、決勝領域は、スタジアム照明によって照射される。競走馬のいくつかの部分は、競走馬からのスタジアム照明の反射により、非常に明るく見える。陰になっている競走馬の他の部分は、非常に暗く見える。方法８００は、競走馬の明るい部分が最小限の不鮮明を伴って見える一方で、競走馬の暗い部分が最大信号対雑音比を伴って見えるように、画像捕捉に使用される画像センサのダイナミックレンジを超えてＴＤＩ画像のダイナミックレンジを増加させるステップを提供する。
ステップ８１０では、ＴＤＩ画素の輝度の上限値が受信される。例えば、ＴＤＩモジュール６４０（図６）は、コントローラ６５０を通してインターフェース１５０（図１および６）から上限値を受信し、本上限値を上限値６４４（図６）に記憶する。ステップ８１０後に、方法８００は、ＴＤＩ画像の各画素にステップ８２０、８３０、および８４０を行う。
ステップ８２０では、ＴＤＩ画像の初期値は、捕捉された画像のうちの１つの中の対応する画素の値に設定される。例えば、ＴＤＩモジュール６４０（図６）は、ＴＤＩ画素の初期値を、面スキャン画像センサ１１０（図１および６）から受信される画像１１５（図１および６）のうちの１つからの対応する画素の値に設定する。
ステップ８３０では、他の捕捉された画像の対応する画素の値が、ステップ８２０で生成される初期値に連続的に加算される一方で、合計は、ステップ８１０で受信される上限値より少ない。したがって、明るい画像部分の場合、総和は、利用可能な画素値のわずかなサブセットに限定されてもよい。逆に、暗い画像部分の場合、総和は、全ての利用可能な画素値を含んでもよい。他の捕捉された画像からの対応する画素は、場面を通した着目オブジェクトの進行に合致するように、方法３００（図３）のステップ３２０に関連する議論に従って選択される。ＴＤＩモジュール６４０は、合計が上限値を超える前に総和を停止することに対応する、ＴＤＩ画素値を生成する。例えば、ＴＤＩモジュール６４０（図６）が、ステップ８２０で使用される画像１１５と異なる画像１１５（図１、２、および６）の対応する画素のＴＤＩ画素値のうちの初期値を連続的に増大させる一方で、ＴＤＩ画素値は、上限値６４４（図６）より小さい。
ある実施形態では、ステップ８３０は、決勝線場所に対応する線等の捕捉された画像内の所望の線についての総和で使用される画素値を中心に置くための随意のステップ８３５を含む。ステップ８３５は、ＴＤＩ画像内の全ての画素が、最適に中心に置かれた入力データに基づくことを確実にする。ステップ８３５は、反復様式でステップ８３０に組み込まれてもよい。例えば、ＴＤＩモジュール６４０（図６）は、２つの画素値が最初期の捕捉された画像１１５（図１、２、および６）から抽出される、ステップ８２０および８３０で、２つだけの画素値の合計を使用してもよい。これは、画像１１５内のその最左位置にあるオブジェクト１３５（図１および２）等の着目オブジェクトに対応する。しかしながら、決勝線の画像は、画素の数によって本位置から偏移させられてもよく、ステップ８３０は、決勝線画像の周囲で最適に中心に置かれる画像１１５の２本の線を使用して総和を繰り返す。
ステップ８４０では、ＴＤＩ画素値は、ステップ８３０で使用される画素値の数に従って増減される。これは、画像の暗いおよび明るい部分の元の相対尺度を維持する。例えば、ＴＤＩモジュール６４０（図６）は、ステップ８３０で生成されるＴＤＩ画素値をデジタル利得設定６４６（図６）に含まれる値で乗算する。本値は、因数Ｎｍａｘ／Ｎｕｓｅｄであり、Ｎｍａｘは、ステップ８３０で利用可能な画素値の完全な数であり、Ｎｕｓｅｄは、ステップ８３０で使用される画素値の数である。
ＴＤＩ画像の全ての画素にステップ８２０、８３０、および８４０を行った後、ＴＤＩ画素は、ステップ８５０でＴＤＩ画像を形成するように組み合わせられる。例えば、ＴＤＩモジュール６４０（図６）は、ＴＤＩ画像１４５（図１および６）を形成するように、ステップ８３０によって生成される全てのＴＤＩ画素値を組み合わせる。
随意のステップ８６０では、ステップ８５０で生成されるＴＤＩ画像は、より低いダイナミックレンジを伴う画像を表すように正規化される。例えば、ＴＤＩモジュール６４０（図６）は、画像１１５を捕捉するために使用される面スキャン画像センサ６１０と同一であるビット深度を伴う正規化ＴＤＩ画像を生成するように、ガンマ補正等の当業者に公知の標準画像処理方法を適用する。
ある実施形態では、方法８００は、ＴＤＩ画像を生成するために使用される線の数が個別ＴＤＩ線に基づいて判定されるように、実行される。これらの実施形態は、有利なこととして、方法８００に含まれるステップ８６０を用いて行われてもよい。これらの実施形態では、ステップ８３０および８４０における寄与画素値の数は、所与のＴＤＩ線に属する全てのＴＤＩ画素について同一である。ステップ８３０は、例えば、検討中のＴＤＩ線と関連付けられる個々のＴＤＩ画素合計の最大値である、「合計」を用いて実行されてもよい。この場合、最も明るいＴＤＩ画素は、ＴＤＩ線の寄与画素値の数を定義する。代替として、ステップ８３０は、検討中のＴＤＩ線と関連付けられる個々のＴＤＩ画素合計の平均値である、「合計」を用いて実行されてもよい。別の実施例では、ステップ８３０は、ｎが０〜１００の数である、検討中のＴＤＩ線と関連付けられる個々のＴＤＩ画素合計の第ｎパーセンタイル値である、「合計」を用いて実行される。
図９は、部分ＴＤＩを使用してＴＤＩ画像のダイナミックレンジを向上させるための１つの例示的方法９００を図示する。方法９００は、部分ＴＤＩをさらに含む、図８の方法８００の実施形態である。部分ＴＤＩは、ＴＤＩ画素に寄与する捕捉された画像画素値の分数の包含を可能にする。比較のために、方法８００は、ＴＤＩ画素に寄与する捕捉された画像画素値の数の中において整数ステップに制約される。したがって、捕捉された画像内の類似輝度と関連付けられ、方法８００を使用して生成される、２つの隣接ＴＤＩ画素は、それぞれ、例えば、２つおよび３つの寄与画素値を有してもよい。場合によっては、２つの隣接ＴＤＩ画素の間の雑音および／または不鮮明性質における慎重なステップが、そこから生じ得る。一方で、方法９００は、上記で議論される２つの離散ＴＤＩ画素が雑音および／または不鮮明性質の円滑な移行を示すように、小数画素値を加算することを可能にする。
方法９００は、最初にステップ８１０（図８）を行う。次に、方法９００は、ＴＤＩ画像内の全ての画素にステップ８２０（図８）、９３０、および９４０を行う。ステップ９３０は、小数画素値をさらに利用する、ステップ８３０（図８）の修正である。ステップ９３０では、他の捕捉された画像の対応する画素の値は、合計がステップ８１０で受信される上限値に等しくなるまで、ステップ８２０で生成される初期値に連続的に加算される。概して、加算される最後の画素値は、小数画素値である。例えば、ＴＤＩモジュール６４０（図６）は、線１１８（１，６）（図２）から抽出されるＴＤＩ画素の初期値、線１１８（２，７）（図２）の対応する画素の値、分数ｘが０〜１の間である、線１１８（３，８）（図２）からの対応する画素値の分数ｘを連続的に増大させる。したがって、本実施例では、２＋ｘ画素値の合計は、ＴＤＩ画素値に寄与する。ある実施形態では、ステップ９３０はさらに、図８に関連して議論されるように、ステップ８３５を含む。ステップ９４０は、ステップ９３０における小数画素値の包含を構成するように、ステップ９３０で生成されるＴＤＩ画素値の非整数スケーリングを可能にする、ステップ８４０（図８）の修正である。例えば、ＴＤＩモジュール６４０（図６）は、ステップ９３０で生成されるＴＤＩ画素値をデジタル利得設定６４６（図６）に含まれる値で乗算する。本値は、因数Ｎｍａｘ／Ｎｕｓｅｄであり、Ｎｍａｘは、ステップ９３０で利用可能な画素値の完全な数であり、Ｎｕｓｅｄは、ステップ９３０で使用される画素値の場合により非整数の数である。ステップ９３０に関連して議論される実施例を使用して、Ｎｕｓｅｄは、２＋ｘである。ＴＤＩ画像の全ての画素にステップ８２０、９３０、および９４０を完了した後、方法９００は、ステップ８５０（図８）、随意に、ステップ８６０（図８）を行う。
図８の方法８００について議論されるように、方法９００は、ＴＤＩ画像を生成するために使用される線の数が個別ＴＤＩ線に基づいて判定されるように、実行されてもよい。
図１０Ａおよび１０Ｂは、面スキャン画像センサ１０１０と、位置依存性フィルタ１０２０とを含む、１つの例示的なフィルタ付き面スキャン画像センサ１０００を図示する。図１０Ａおよび１０Ｂは、ある時には、本明細書では集合的に図１０と称され得る。フィルタ付きスキャン画像センサは、図１の面スキャン画像センサ１００および図６の面スキャン画像センサ６１０の実施形態である。図１０Ａは、立面図でフィルタ付き面スキャン画像センサ１０００を図示する。図１０Ｂは、上面図でフィルタ付き面スキャン画像センサ１０００を図示する。面スキャン画像センサ１０１０は、感光性画素アレイ１０１２と、随意に、色情報を提供するための色フィルタアレイ１０１４とを含む。随意の色フィルタアレイ１０１４は、例えば、ベイヤー型アレイである。
位置依存性フィルタ１０２０は、面スキャン画像センサ１０１０に向かって伝搬する光をフィルタ処理するための５つの空間的に分離されたフィルタ部分１０２５（１）、１０２５（２）、１０２５（３）、１０２５（４）、および１０２５（５）を含む。フィルタ部分１０２５（１）は、赤外光を少なくとも部分的に遮断するための赤外線フィルタである。フィルタ部分１０２５（２）、１０２５（３）、および１０２５（４）は、３つの異なる伝送係数を伴う減光フィルタである。フィルタ部分１０２５（５）は、実質的に全ての入射光を透過させるためのブランクフィルタである。一実施形態では、位置依存性フィルタ１０２０は、面スキャン画像センサ１０１０に固定される。フィルタ１０２０は、例えば、当技術分野で公知である１つまたはそれを上回るコーティング方法を使用して、面スキャン画像センサ１０１０に適用される。別の実施形態では、位置依存性フィルタ１０２０は、面スキャン画像センサ１０１０の近くに搭載され、それに関して固定される。フィルタ付き面スキャン画像センサ１０００によって捕捉されるようなオブジェクト１３５（図１）の輝度は、画像内のオブジェクト１３５の位置に依存する。例えば、オブジェクト１３５は、減光フィルタ１０２５（２）と関連付けられる画像の一部の中よりもブランクフィルタ部分１０２５（５）と関連付けられる画像の一部の中で、より明るく見えるであろう。
フィルタ付き面スキャン画像センサ１０００は、本明細書の範囲から逸脱することなく、図１０に図示されるよりも多いまたは少ないフィルタ部分１０２５を含んでもよい。加えて、フィルタ付き面スキャン画像センサ１０００は、本明細書の範囲から逸脱することなく、図１０に図示されるもの以外のタイプの輝度調節フィルタ部分を含んでもよい。
図１１は、位置依存性フィルタを伴う面スキャン画像センサを使用することによって、ＴＤＩ画像の輝度を調節するようにイベントタイミング画像を処理するための１つの例示的方法１１００を図示する。方法１１００は、例えば、面スキャン画像センサ１１０（図１）として実装されるフィルタ付き面スキャン画像センサ１０００（図１０）を伴うシステム１００（図１）によって、または面スキャン画像センサ６１０（図１）として実装される面スキャン画像センサ１０００（図１０）を伴うシステム６００によって、行われてもよい。
ステップ１１１０では、位置依存性フィルタを伴う面スキャン画像センサによって捕捉される２次元画像の一部が選択される。一部は、あるフィルタ部分と関連付けられる。ステップ１１１０は、そこから生成されるＴＤＩ画像の輝度を調節する役割を果たしてもよい。例えば、面スキャン画像センサ６１０として実装されるフィルタ付き面スキャン画像センサ１０００（図１０）を伴うシステム６００（図６）では、ＴＤＩモジュール６４０は、ＴＤＩ画像１４５（図１および６）の所望の輝度を達成するように、あるフィルタ部分１０２５（図１０）と関連付けられる画像１１５（図１および６）の空間部分を選択する。
随意のステップ１１２０では、位置依存性フィルタを伴うスキャン画像センサを収納するカメラの整合が調節される。これは、例えば、決勝線が画像センサの画素の特定の線の上に撮像されるように、カメラが整合させられている、使用のシナリオで関連性がある。決勝線は、ステップ１１１０で行われる選択と関連付けられるセンサの一部の上に撮像されなくてもよい。随意のステップ１１２０が、例えば、ＴＤＩカメラ２０１０としてＴＤＩカメラシステム２０００（図２０）の中へ実装されるフィルタ付き面スキャン画像センサ１０００（図１０）を用いて、システム６００（図６）によって行われる。方法２１００（図２１）および／または方法２３００（図２３）を使用して、整合制御システム２０４０（図２０）は、決勝線が、ステップ１１１０で選択される画像１１５の空間部分と関連付けられるフィルタ付き面スキャン画像センサ１０００の一部の上に撮像されるように、カメラ６７０（図６）を再整合させる。随意のステップ１１３０では、面スキャン画像領域が、ステップ１１２０で達成される新しいカメラ整合を用いて捕捉される。例えば、面スキャン画像センサ６１０（図６）は、２次元画像１１５（図１および６）を捕捉する。
次に、方法１１００は、方法８００（図８）のステップ８３０、随意に、ステップ８４０に進む。随意のステップ８４０を行う場合、方法１１００は、さらなる調節のためにステップ１１１０に戻ってもよい。
随意のステップ１１２０および１１３０は、例えば、レースの終了等の着目イベントの発生に先立って、ステップ１１１０が行われる、シナリオで行われる。本例示的シナリオでは、ステップ１１１０および随意のステップ１１２０が、イベントタイミングシステムの設定中に行われてもよい一方で、随意のステップ１１３０は、イベント中に行われる。別の例示的シナリオでは、方法１１００は、レースの終了等のイベント中にイベントタイミング画像を処理している。本シナリオでは、ステップ１１１０、８３０、および随意に、ステップ８４０は、レース参加者が決勝線を横断している間に行われる。時間が許可する場合、例えば、２人の後続のレース完走者の間に十分な時間の間隙がある場合、本実施例は、決勝線を横断する２人の後続のレース完走者の間の合間に、随意のステップ１１２０および１１３０を行うことを含んでもよい。
方法８００（図８）、９００（図９）、および１１００（図１１）の全ては、ＴＤＩ画像のある輝度を達成することに関する。これらの方法のうちの２つまたはそれを上回るものは、ＴＤＩ画像を生成するために、併用して行われてもよく、もしくは方法のうちの１つまたはそれを上回るものは、別個に行われてもよい。
図１２は、ベイヤー型画素アレイを有するカラー面スキャン画像センサによって捕捉されるイベントタイミング画像を処理するための１つの例示的方法１２００を図示する。方法１２００は、カラー面スキャン画像センサの２倍の分解能でカラーＴＤＩ画像を生成する。したがって、方法１２００によって生成されるＴＤＩ画像は、方法５００（図５）によって生成されるＴＤＩ画像と比較して、２倍の時間分解能を提供する。方法１２００は、例えば、面スキャン画像センサ１１０（図１）として実装されるカラー面スキャン画像センサ４００（図４）を伴うシステム１００（図１）による、ＴＤＩ画像の生成に適用可能である。図４に関連して議論されるように、フォトサイト４２１、４２２、４２３、および４２４は、色画素４２０内で異なるように配列されてもよい。例えば、フォトサイト４２１、４２２、４２３、および４２４のうちの２つまたはそれを上回るものの場所は、図４の説明図と比較して交換されてもよい。方法１２００は、本明細書の範囲から逸脱することなく、そのような代替画像センサレイアウトに適用されるように、図１２に図示される実施形態から、それに対応して修正されてもよい。分解能に関して、捕捉された２次元画像１１５（図１および２）の各線１１８（図２）は、ＴＤＩ画像の２本の隣接線に対応する。方法１２００は、着目オブジェクトがフレームにつき１本の線のレートでカラー面スキャン画像センサの線１１８（図２）を通して進行するようなフレームレートで、画像１１５（図１および２）がカラー面スキャン画像センサによって捕捉されると仮定する。例えば、カラー面スキャン画像センサ４００（図４）は、オブジェクト１３５（図１）がフレームにつき１本の線のレートで線４１０（図４）を通して進行するようなレートで、場面１３０（図１）の画像を捕捉する。方法１２００は、そのような画像を処理し、例えば、ＴＤＩモジュール１４０（図１）によって行われる。
ステップ１２１０では、カラー面スキャン画像センサによって捕捉される各２次元画像が、行の形態で受信される。行は、方法３００の線が方法５００の２つの行に対応するように、方法３００（図３）の線と平行に配向される。２つの行は、ＲおよびＧフォトサイトからの信号から成るＲおよびＧ行、ならびにＧ’およびＢフォトサイトからの信号から成るＧ’およびＢ行である。一実施形態では、画像は、記憶された場所から受信される。別の実施形態では、画像は、画像を捕捉するために使用される面スキャン画像センサから受信される。例えば、ＴＤＩモジュール１４０（図１）は、各線４１０（図４）が、２つの行、すなわち、（ａ）線４１０からの全てのＲ１（４２１）およびＧ１（４２２）フォトサイト信号から成る行、ならびに（ｂ）線４１０からの全てのＧ１’（４２３）およびＢ１（４２４）フォトサイト信号から成る行と関連付けられるように、行としてカラー面スキャン画像センサ４００（図４）によって捕捉される２次元画像１１５（図１）を受信する。別の実施例では、ＴＤＩモジュール１４０（図１）は、任意の恣意的形式でカラー面スキャン画像センサ４００（図４）によって捕捉される２次元画像１１５（図１）を受信する。ＴＤＩモジュール１４０（図１）は、各線４１０（図４）が、２つの行、すなわち、（ａ）線４１０からの全てのＲ１（４２１）およびＧ１（４２２）フォトサイト信号から成る行、ならびに（ｂ）線４１０からの全てのＧ１’（４２３）およびＢ１（４２４）フォトサイト信号から成る行と関連付けられるように、行を生成するように２次元画像１１５（図１）を処理する。
方法１２００によって生成されるＴＤＩ画像は、Ｎが奇数の整数である、０からＮの線から成る。方法１２００によって生成されるＴＤＩ画像の線は、図２の各線１４６が方法１２００によって生成されるＴＤＩ画像の２本の線に対応することを除いて、図２の線１４６と同等である。ステップ１２１０後に、方法１２００は、各対の隣接する偶数および奇数のＴＤＩ線に、ステップ１２２０、１２３０、１２４１、１２４２、１２５１、１２５２、１２６１、および１２６２を行う。
ステップ１２２０では、それぞれ異なる画像からの一連のＲおよびＧ行が形成される。一連のＲおよびＧ行は、図２および３に関連して議論されるように、場面を通したオブジェクトの進行を辿る。例えば、ＴＤＩモジュール１４０（図１）は、カラー面スキャン画像センサ４００（図４）のそれぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる、一連のＲおよびＧ行を形成する。一連のＲおよびＧ行は、それぞれの一連の連続的に捕捉された画像１１５（図１）から抽出される。ステップ１２３０では、ステップ１２２０で生成される一連のＲおよびＧ行は、単一の積算ＲおよびＧ行を形成するように積算される。例えば、ＴＤＩモジュール１４０（図１）は、単一の積算ＲおよびＧ行を形成するように、ステップ１２２０で生成される一連のＲおよびＧ行を積算する。ステップ１２３０は、ステップ１２２０の後ならびにステップ１２６１および１２６２の前の任意の時間に行われてもよい。方法１２００は、続いて、偶数のＴＤＩ線にデータ投入するように連続ステップ１２４１、１２５１、および１２６１、奇数のＴＤＩ線にデータ投入するようにステップ１２４２、１２５２、および１２６２を行う。連続ステップ１２４１、１２５１、および１２６１は、連続ステップ１２４２、１２５２、および１２６２と直列または並列に行われてもよい。
ステップ１２４１では、一連のＧ’およびＢ行が形成される。一連のＧ’およびＢ行は、一連のＧ’およびＢ行からの各Ｇ’およびＢ行が、ステップ１２２０で生成される一連のＲおよびＧ行のうちのそれぞれ１つと同一の捕捉された画像の同一の線から抽出されるように、ステップ１２２０で形成される一連のＲおよびＧ行に合致させられる。例えば、ＴＤＩモジュール１４０（図１）は、カラー面スキャン画像センサ４００（図４）のそれぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる一連のＧ’およびＢ行を形成し、ステップ１２２０で形成される一連のＲおよびＧ行もまた、それぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる。
ステップ１２５１では、ステップ１２４１で生成される合致した一連のＧ’およびＢ行は、単一の合致した積算Ｇ’およびＢ行を形成するように積算される。例えば、ＴＤＩモジュール１４０（図１）は、単一の合致した積算Ｇ’およびＢ行を形成するように、合致した一連のＧ’およびＢ行を積算する。
ステップ１２６１では、ステップ１２３０で生成される積算ＲおよびＧ行ならびにステップ１２５１で生成される合致した積算Ｇ’およびＢ行は、各画素の少なくともＲ、Ｇ”、およびＢデータを含む、単一カラーラインを形成するように組み合わせられる。偶数のＴＤＩ線は、本単一カラーラインを投入される。一実施形態では、単一カラーラインの各画素のＲ、Ｇ”、およびＢデータは、（ａ）対応する積算ＲおよびＧ行からのＲデータと、（ｂ）それぞれ、積算ＲおよびＧ行ならびに合致した積算Ｇ’およびＢ行の対応する画素からのＧ”データを形成するＧおよびＧ’データの平均と、（ｃ）対応する積算Ｇ’およびＢ行からのＢデータとを含む。別の実施形態では、積算ＲおよびＧ行からのＧデータならびに合致した積算Ｇ’およびＢ行からのＧ’データが両方とも、保持される。本実施形態では、単一カラーラインの各画素のＲ、Ｇ”、およびＢデータは、（ａ）対応する積算ＲおよびＧ行からのＲデータと、（ｂ）積算ＲおよびＧ行の対応する画素からのＧデータと、（ｃ）積算Ｇ’およびＢ行の対応する画素からのＧ’データと、（ｄ）対応する積算Ｇ’およびＢ行からのＢデータとを含む。本実施形態では、Ｇ”データは、ＧデータおよびＧ’データを含む。例えば、ＴＤＩモジュール１４０（図１）は、偶数のＴＤＩ線にデータ投入するように、ステップ１１３０で生成される積算ＲおよびＧ行を、ステップ１２５１で生成される合致した積算Ｇ’およびＢ行と組み合わせる。
ステップ１２４２では、一連のＧ’およびＢ行が形成される。一連のＧ’およびＢ行は、ステップ１２２０で形成される一連のＲおよびＧ行に対して、１つの画像フレームだけ時間を偏移させられる。したがって、一連のＧ’およびＢ行からの各Ｇ’およびＢ行は、対応するＲおよびＧ行と同一の線位置から抽出されるが、対応するＲおよびＧ行が抽出される画像より１フレーム早い画像から抽出される。例えば、ＴＤＩモジュール１４０（図１）は、カラー面スキャン画像センサ４００（図４）のそれぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる一連のＧ’およびＢ行から形成され、ステップ１２２０で形成される一連のＲおよびＧ行もまた、それぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる。しかしながら、一連のＧ’およびＢ行は、ステップ１２２０で使用される一連の連続的に捕捉された画像と比較して、１フレームだけ時間を偏移させられる、それぞれの一連の連続的に捕捉された画像から抽出される。
ステップ１２５２では、ステップ１２４２で生成される偏移した一連のＧ’およびＢ行は、単一の偏移した積算Ｇ’およびＢ行を形成するように積算される。例えば、ＴＤＩモジュール１４０（図１）は、単一の偏移した積算Ｇ’およびＢ行を形成するように、偏移した一連のＧ’およびＢ行を積算する。
ステップ１２６２では、ステップ１２３０で生成される積算ＲおよびＧ行、ならびにステップ１２５２で生成される偏移した積算Ｇ’およびＢ行は、各画素の少なくともＲ、Ｇ”、およびＢデータを含む、単一カラーラインを形成するように組み合わせられる。奇数のＴＤＩ線は、本単一カラーラインを投入される。したがって、奇数のＴＤＩ線は、奇数のＴＤＩ線の各画素が異なる画像フレームから抽出されるフォトサイトのセットから生成されるため、「クロスオーバー」色画素から成る。一実施形態では、単一カラーラインの各画素のＲ、Ｇ”、およびＢデータは、（ａ）対応する積算ＲおよびＧ行からのＲデータと、（ｂ）それぞれ、積算ＲおよびＧ行ならびに合致した積算Ｇ’およびＢ行の対応する画素からのＧおよびＧ’データの平均と、（ｃ）対応する積算Ｇ’およびＢ行からのＢデータとを含む。別の実施形態では、積算ＲおよびＧ行からのＧデータならびに合致した積算Ｇ’およびＢ行からのＧ’データが両方とも、保持される。本実施形態では、単一カラーラインの各画素のＲ、Ｇ”、およびＢデータは、（ａ）対応する積算ＲおよびＧ行からのＲデータと、（ｂ）積算ＲおよびＧ行の対応する画素からのＧデータと、（ｃ）積算Ｇ’およびＢ行の対応する画素からのＧ’データと、（ｄ）対応する積算Ｇ’およびＢ行からのＢデータとを含む。例えば、ＴＤＩモジュール１４０（図１）は、偶数のＴＤＩ線にデータ投入するように、ステップ１２３０で生成される積算ＲおよびＧ行を、ステップ１２５２で生成される偏移した積算Ｇ’およびＢ行と組み合わせる。
ステップ１２４１および１２４２後に、方法１２００は、続いて、方法３００（図３）のステップ３６０を行う。
図４のオブジェクト移動４３０の方向を参照すると、オブジェクトは、時間が進むにつれて、それぞれ、ＲおよびＧフォトサイト４２１（１）ならびに４２２（２）から、それぞれ、Ｇ’およびＢフォトサイト４２３（１）ならびに４２４（１）まで移動する。偶数のＴＤＩ線は、オブジェクトが所与の線４１０（ｉ）の上で中心に置かれるときに、オブジェクト位置に合致させられる。奇数のＴＤＩ線は、オブジェクトが線４１０（ｉ）と線４１０（ｉ＋１）との間の分割線の上で中心に置かれるときに、オブジェクト位置に合致させられる。したがって、方法１２００は、２倍の分解能でＴＤＩ画像を生成するために、ベイヤー型カラー面スキャン画像センサ４００（図４）の個々のフォトサイトを利用する。
方法１２００は、本明細書の範囲から逸脱することなく、ベイヤー型フォトサイトレイアウトの他の配向に拡張されてもよい。例えば、方法１２００は、図４で図示されるレイアウトと比較して９０度回転させられる、ベイヤー型フォトサイトレイアウトに拡張されてもよい。方法１２００はまた、本明細書の範囲から逸脱することなく、非ベイヤー型カラー面スキャンセンサに拡張されてもよい。例えば、方法１２００は、各色画素が４つの一意のフォトサイトから成る、カラー面スキャン画像センサによって捕捉される画像を処理するために利用されてもよい。そのようなカラー面スキャン画像センサは、ＲＧＢＥ（赤、緑、青、エメラルド）またはＣＹＧＭ（シアン、黄、緑、マゼンタ）色フィルタアレイを伴って構成される、カラー面スキャン画像センサを含む。
別の実施例では、方法１２００は、図１５の３本線カラー画像センサ１５００によって捕捉される画像を処理するように拡張される。この場合、連続ステップの２つの並行セット（ステップ１２４１、１２５１、および１２６１、ならびにステップ１２４２、１２５２、および１２６２）は、連続ステップの３つの同等並行セット、すなわち、（ａ）画像フレームを通したオブジェクトの進行を辿る、一連の連続的に捕捉された色画素線からのＲ、Ｇ、およびＢ線を処理するステップのセット、（ｂ）別の一連の色画素線からのＢ線が１つの画像フレームだけ時間をそこから偏移させられた、画像フレームを通したオブジェクトの進行を辿る、ある一連の連続的に捕捉された色画素線からのＲおよびＧ線を処理するステップのセット、ならびに（ｃ）別の一連の色画素線からのＧおよびＢ線が１つの画像フレームだけ時間をそこから偏移させられた、画像フレームを通したオブジェクトの進行を辿る、ある一連の連続的に捕捉された色画素線からのＲ線を処理するステップのセットによって置換される。したがって、方法１２００は、方法３００（図３）を使用して生成されるＴＤＩ画像と比較して、３倍の時間分解能でＴＤＩ画像を生成する。
図１３は、ベイヤー型画素アレイを有するカラー面スキャン画像センサによって捕捉される画像からＴＤＩ画像を生成するための１つの例示的方法１３００を図示する。方法１３００は、方法５００（図５）によって生成されるＴＤＩ画像と比較して、２倍の分解能で着目オブジェクトを示すＴＤＩ画像を生成する。方法１３００は、方法５００（図５）で処理される画像と比較して２倍のフレームレートで捕捉される画像、ならびに個々のフォトサイトの処理を利用する。イベントタイミングシステムとの関連で、方法１３００によって生成されるＴＤＩ画像は、方法５００（図５）によって生成されるＴＤＩ画像と比較して、２倍の時間分解能を提供する。方法１３００は、例えば、面スキャン画像センサ１１０（図１）として実装されるカラー面スキャン画像センサ４００（図４）を伴うシステム１００（図１）による、ＴＤＩ画像の生成に適用可能である。方法１３００の本議論では、カラー面スキャン画像センサは、ベイヤー型画像センサである。しかしながら、方法１３００は、本明細書の範囲から逸脱することなく、各色画素が２×２フォトサイトアレイから成る、任意のカラー面画像センサによって捕捉される画像を使用して、ＴＤＩ画像を使用するステップに拡張されてもよい。
方法１３００は、着目オブジェクトがフレームにつき半分の線のレートでカラー面スキャン画像センサの線１１８（図２）を通して進行するようなフレームレートで、画像１１５（図２）がカラー面スキャン画像センサによって捕捉されると仮定する。方法１３００の画像処理は、方法１３００の画像処理が２倍のフレームレートで捕捉されている画像を構成することを除いて、方法５００（図５）に類似する。方法１３００は、例えば、面スキャン画像センサ１１０（図１）として実装されるカラー面スキャン画像センサ４００（図４）を伴うシステム１００（図１）によって行われる。
随意のステップ１３１０では、カラー面スキャン画像センサは、Ｎが偶数の整数である、場面を通過するオブジェクトの０からＮの連続画像を捕捉する。したがって、一連の画像は、交互の偶数および奇数の画像から成る。カラー面スキャン画像センサは、着目オブジェクトがフレームにつき半分の線のレートでフレームを通して進行するようなフレームレートで、画像を捕捉する。例えば、カラー面スキャン画像センサ４００（図４）は、オブジェクト１３５（図１）がフレームにつき半分の線１１８（図２）のレートで場面１３０（図１）を通して進行するようなフレームレートで、画像１１５（図１）を捕捉する。
ステップ１３２０では、カラー面スキャン画像センサによって捕捉される各２次元画像は、上記で定義されるように、ＲおよびＧ行ならびにＧ’およびＢ行の形態で受信される。随意のステップ１３１０を含む方法１２００のある実施形態では、ステップ１３２０は、ステップ１３１０で捕捉される画像を受信する。随意のステップ１３１０を含まない方法１３００のある実施形態では、画像は、他の場所から、例えば、記憶された場所から、受信されてもよい。行は、方法３００の線が、方法１３００の２つの行、すなわち、全てのＲおよびＧフォトサイト信号から成るＲおよびＧ行、ならびに全てのＧ’およびＢフォトサイト信号から成るＧ’およびＢ行に対応するように、方法３００（図３）の線と平行に配向される。したがって、着目オブジェクトは、画像フレームにつき半分の線のレートで、連続的に捕捉された画像を通過する。例えば、ＴＤＩモジュール１４０（図１）は、各線４１０（図４）が、２つの行、すなわち、（ａ）線４１０からの全てのＲ（４２１）およびＧ（４２２）フォトサイト信号から成る行、ならびに（ｂ）線４１０からの全てのＧ’（４２３）およびＢ（４２４）フォトサイト信号から成る行と関連付けられるように、行としてカラー面スキャン画像センサ４００（図４）によって捕捉される２次元画像１１５（図１）を受信する。別の実施例では、ＴＤＩモジュール１４０（図１）は、恣意的な形式でカラー面スキャン画像センサ４００（図４）によって捕捉される２次元画像１１５（図１）を受信する。ＴＤＩモジュール１４０（図１）は、各線４１０（図４）が、２つの行、すなわち、（ａ）線４１０からの全てのＲおよびＧフォトサイト信号から成る行、ならびに（ｂ）線４１０からの全てのＧ’およびＢフォトサイト信号から成る行と関連付けられるように、行を生成するように２次元画像１１５（図１）を処理する。
ステップ１３２０後に、方法１３００は、続いて、ＴＤＩ画像内の各線にステップ１３３１、１３３２、５３１（図５）、５３２（図５）、および５４０（図５）を行うことによって、ＴＤＩ画像の各線にデータ投入する。ステップ１３３１および５３１は、ステップ１３３２および５３２のように、連続的に行われる。連続ステップ１３３１および５３１は、連続ステップ１３３２および５３２と並列または直列に行われてもよい。
ステップ１３３１では、それぞれ異なる画像からの一連のＲおよびＧ行が形成される。一連のＲおよびＧ行は、場面を通したオブジェクトの進行を辿る。一連のＲおよびＧ行は、偶数番号付きの画像の少なくとも一部から抽出される。例えば、ＴＤＩモジュール１４０（図１）は、カラー面スキャン画像センサ４００（図４）のそれぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる、一連のＲおよびＧ行を形成する。一連のＲおよびＧ行は、それぞれの一連の連続的に捕捉された偶数番号付きの画像１１５（図１）から抽出される。ステップ１３３１を行なった後、方法１３００は、続いて、方法５００（図５）のステップ５３１を行う。
ステップ１３３２では、それぞれ異なる画像からの一連のＧ’およびＢ行が形成される。一連のＧ’およびＢ行は、場面を通したオブジェクトの進行を辿る。一連のＧ’およびＢ行は、奇数番号付きの画像の少なくとも一部から抽出される。例えば、ＴＤＩモジュール１４０（図１）は、カラー面スキャン画像センサ４００（図４）のそれぞれの一連の線４１０（１）、４１０（２）、ならびに４１０（３）と関連付けられる、一連のＧ’およびＢ行を形成する。一連のＧ’およびＢ行は、それぞれの一連の連続的に捕捉された奇数番号付きの画像１１５（図１）から抽出される。ステップ１３３２を行なった後、方法１２００は、続いて、方法５００（図５）のステップ５３２を行う。
ステップ５３１および５３２の実施後に、方法１３００は、続いて、方法５００（図５）のステップ５４０および方法３００（図３）のステップ３６０を行う。
方法１３００は、本明細書の範囲から逸脱することなく、ベイヤー型フォトサイトレイアウトの他の配向に拡張されてもよい。例えば、方法１３００は、図４に図示されるレイアウトと比較して９０度回転させられるベイヤー型フォトサイトレイアウトに拡張されてもよい。方法１３００はまた、本明細書の範囲から逸脱することなく、非ベイヤー型カラー面スキャンセンサに拡張されてもよい。例えば、方法１２００は、各色画素が４つの一意のフォトサイトから成る、カラー面スキャン画像センサによって捕捉される画像を処理するために利用されてもよい。そのようなカラー面スキャン画像センサは、ＲＧＢＥ（赤、緑、青、エメラルド）またはＣＹＧＭ（シアン、黄、緑、マゼンタ）色フィルタアレイを伴って構成される、カラー面スキャン画像センサを含む。
別の実施例では、方法１３００は、図１５の３本線カラー画像センサ１５００によって捕捉される画像を処理するように拡張される。この場合、画像は、３倍のフレームレートで捕捉される。連続ステップの２つの並行セット（ステップ１３３１および５３１、ならびにステップ１３３２および５３２）は、連続ステップの３つの同等並行セット、すなわち、（ａ）画像フレームを通したオブジェクトの進行を辿る、一連の連続的に捕捉された色画素線からのＲ線を処理するステップのセット、（ｂ）画像フレームを通したオブジェクトの進行を辿る、一連の連続的に捕捉された色画素線からのＧ線を処理するステップのセット、および（ｃ）画像フレームを通したオブジェクトの進行を辿る、一連の連続的に捕捉された色画素線からのＢ線を処理するステップのセットによって置換される。したがって、方法１３００によって生成されるＴＤＩ画像は、方法３００（図３）に従って処理されるＴＤＩ画像のものの３倍の時間分解能を有する。
図１４は、個々のフォトサイトがカメラの空間分解能を２倍にするために使用される、１つの例示的ベイヤー型カラー面スキャン画像センサ１４００の一部によって生成される２本の隣接画像線を図示する。したがって、カラー面スキャン画像センサ１４００は、有利なこととして、画像ベースのイベントタイミングシステムに実装される。カラー面スキャン画像センサ１４００は、ベイヤー型画素アレイを含む。カラー面スキャン画像センサ１４００によって生成される画像の各色画素１４２０は、４つのフォトサイト信号１４２１、１４２２、１４２３、および１４２４から成る。ある実施形態では、フォトサイト信号１４２１は、赤色（Ｒ）光を表し、フォトサイト信号１４２２および１４２３は、緑色（Ｇ）光を表し、フォトサイト信号１４２４は、青色（Ｂ）光を表す。一対の隣接画像線１４１０（１）および１４１０（２）に関して、３本の出力画像線が生成される。出力画像線のうちの２本は、単純に、元の画像線１４１０（１）および１４１０（２）であり、その各画素は、画像線１４１０（１）のフォトサイト信号Ｒ１（１４２１（１））、Ｇ１（１４２２（１））、Ｇ１’（１４２３（１））、およびＢ１（１４２４（１））、ならびに画像線１４１０（２）のＲ２（１４２１（２））、Ｇ２（１４２２（２））、Ｇ２’（１４２３（２））、およびＢ２（１４２４（２））から成る。第３の出力画像線は、それぞれ、元の画像線１４１０（１）および１４１０（２）からのフォトサイト信号の組み合わせ、特に、画像線１４１０（１）のフォトサイト信号Ｇ１’（１４２３（１））およびＢ１（１４２４（１））、ならびに画像線１４１０（２）のフォトサイトＲ２（１４２１（２））およびＧ２（１４２２（２））から成る、クロスオーバー色画素１４３０として生成される。
元の色画素に加えてクロスオーバー色画素から成る画像は、全ての一対の隣接する元の画像線がクロスオーバー色画素から成る第３の画像線を形成するために使用され得るため、クロスオーバー色画素を使用することなく生成されるカラー画像と比較して、２倍の空間分解能で色画素線を提供する。連続的に捕捉される一連のそのような画像は、クロスオーバー画素を伴わない従来のカラー画像に基づくＴＤＩ画像と比較して、２倍の分解能で線を用いてＴＤＩ画像を形成するように処理されてもよい。
カラー面スキャン画像センサ１４００から生成される線は、図１、２、および３に関連して議論されるように、画像のＴＤＩ処理への入力として使用されてもよい。ある実施形態では、カラー面スキャン画像センサ１４００は、システム１００内の面スキャン画像センサ１１０として実装される。ＴＤＩモジュール１４０は、（ａ）元の色画素およびクロスオーバー色画素から成る、より高い分解能の画像を生成し、（ｂ）クロスオーバー画素線および元の画素線を使用して、方法３００（図３）に従ってＴＤＩ画像を形成するように、標準カラー画像を処理する。例えば、イベントの時間を決定する、もしくは２つまたはそれを上回るイベントを時間的に分離するために、画像が使用される、写真判定カメラとして使用されるシステム１００に関して、これは、元の画像によって提供されるものと比べて時間分解能の２倍増をもたらす。
比較のために、方法１２００（図１２）のクロスオーバー色画素は、ＴＤＩ画像を形成するように異なる画像からの行を組み合わせながら行われる、フォトサイトの時間クロスオーバーに起因する。図１４のクロスオーバー色画素は、最初に捕捉された画像内のフォトサイトの空間クロスオーバーに起因する。
図１５は、フォトサイトの個々の線がカメラの空間分解能を３倍にするために使用される、１つの例示的３本線カラー画像センサ１５００の一部によって生成される２本の隣接画像線を図示する。したがって、３本線カラー画像センサ１５００は、有利なこととして、画像ベースのイベントタイミングシステムに実装される。一実施形態では、３本線カラー画像センサ１５００は、色画素の１本の線を形成するフォトサイト線の単一のセットを伴う線スキャン画像センサである。別の実施形態では、３本線カラー画像センサ１５００は、対応する複数の色画素線を形成するフォトサイト線の複数のセットを伴う面スキャン画像センサである。３本線カラー画像センサ１５００の本実施形態は、面スキャン画像センサ１１０としてシステム１００に実装されてもよい。これら２つの実施形態の両方に関して、３本線カラー画像センサ１５００の各色画素線は、フォトサイトの各線が異なる色感度を有する、フォトサイトの３本の線から成る。ある実施形態では、３本線カラー画像センサ１５００によって生成される画像の色画素線１５１０は、色画素線１５１０の各色画素１５２０が、それぞれ、赤色、緑色、および青色光を表す、３つのフォトサイト信号１５２１、１５２２、および１５２３から成るように、３本のフォトサイト線からの信号から成る。
一対の隣接画像線１５１０（１）および１５１０（２）に関して、３つの出力画像線が生成される。出力画像線のうちの２本は、元の線画像フレーム１５１０（１）および１５１０（２）であり、その各画素は、画像線１５１０（１）のフォトサイト信号Ｒ１（１５２１（１））、Ｇ１（１５２２（１））、およびＢ１（１５２３（１））、ならびに画像線１５１０（２）のＲ２（１５２１（２））、Ｇ２（１５２２（２））、およびＢ２（１５２３（２））から成る。第３の出力画像線は、それぞれ、元の隣接画像線１５１０（１）および１５１０（２）からのフォトサイトの組み合わせ、特に、画像線１５１０（１）のフォトサイト信号Ｇ１（１５２２（１））およびＢ１（１５２３（１））、ならびに画像線１５１０（２）のフォトサイトＲ２（１５２１（２））から成る、クロスオーバー色画素１５３１として生成される。同様に、第４の出力画像線は、元の隣接画像線１５１０（１）および１５１０（２）からのフォトサイトの組み合わせ、特に、画像線１５１０（１）のフォトサイト信号Ｂ１（１５２３（１））、ならびに画像線１５１０（２）のフォトサイト信号Ｒ２（１５２１（２））およびＧ２（１５２２（２））から成る、クロスオーバー色画素１５３２として生成される。クロスオーバー色画素から成る画像は、全ての一対の隣接する元の画像線がクロスオーバー色画素から成る２つの付加的線画像フレームを形成するために使用され得るため、元のカラー画像の３倍の空間分解能で色画素線を提供する。
図１４について議論されるように、３本線カラー画像センサ１５００から生成される画像線は、ＴＤＩ処理への入力として使用されてもよい。ある実施形態では、３本線カラー画像センサ１５００は、システム１００内の面スキャン画像センサ１１０として実装される。ＴＤＩモジュール１４０は、（ａ）元の色画素およびクロスオーバー色画素から成る、より高い分解能の画像を生成し、（ｂ）クロスオーバー画素線および元の画素線の両方を使用して、方法３００（図３）に従ってＴＤＩ画像を形成するように、標準カラー画像を処理する。例えば、イベントの時間を決定する、もしくは２つまたはそれを上回るイベントを時間的に分離するために、画像が使用される、写真判定カメラとして使用されるシステム１００に関して、これは、元の画像によって提供されるものと比べて時間分解能の３倍増をもたらす。
比較のために、方法１２００（図１２）のクロスオーバー色画素は、ＴＤＩ画像を形成するように異なる画像からの行を組み合わせながら行われる、フォトサイトの時間クロスオーバーに起因する。図１５のクロスオーバー色画素は、最初に捕捉された画像内のフォトサイトの空間クロスオーバーに起因する。
図１６は、イベントタイミング画像を捕捉して処理するための１つの例示的方法１６００を図示する。方法１６００は、例えば、図１のシステム１００または図６のシステム６００によって実行されてもよい。ステップ１６１０では、２次元画像が、面スキャン画像センサ、例えば、図１の面スキャン画像センサ１１０、図４のカラー面スキャン画像センサ４００、図１０のフィルタ付き面スキャン画像センサ１０００、図１４のカラー面スキャン画像センサ１４００、図１５の３本線カラー画像センサ１５００、または対角ＣＦＡ面スキャン画像センサ１７００（図１７）によって捕捉される。ステップ１６２０では、捕捉された画像が、外部画像処理モジュール、例えば、図１のＴＤＩモジュール１４０に伝達される。ステップ１６３０では、外部画像処理モジュールが、捕捉された画像および／または随意のステップ１６３０で生成される高分解能画像のＴＤＩを行う。捕捉された画像が、カラー面スキャン画像センサ４００（図４）、カラー面スキャン画像センサ１３００（図１３）、３本線カラー画像センサ１４００（図１４）、または対角ＣＦＡ面スキャン画像センサ１７００（図１７）等の色センサによって捕捉されるカラー画像である場合、ステップ１６３０は、より高い分解能の画像がクロスオーバー色画素を使用して生成され得る、ステップ１６４０を含んでもよい。これは、方法１２００（図１２）に関連して時間クロスオーバーについて、ならびに図１４および１５に関連して空間クロスオーバーについて議論される。ＴＤＩは、図３の方法３００、図５の方法５００、図１２の方法１２００、または図１３の方法１３００を使用して、ＴＤＩモジュール１４０（図１）によって行われてもよい。ステップ１６５０は、ＴＤＩ画像を出力する。ステップ１６５０は、図１のインターフェース１５０によって行われてもよい。
一実施形態では、外部画像処理モジュールは、完了したときにＴＤＩ画像を出力する。別の実施形態では、外部画像処理モジュールは、画素、行、または線が外部画像処理モジュールによって生成される様式で、１つずつの画素、行、もしくは線でＴＤＩ画像を出力する。
ある実施形態では、ステップ１６１０および１６２０が省略される。ＴＤＩモジュール１４０（図１）または画像処理能力を伴うコンピュータ等のデータ処理システムは、面スキャン画像センサによって捕捉される画像を受信し、ステップ１６３０および１６５０を行う。
図１７は、各色画素が３×３フォトサイトアレイを含む、１つの例示的対角色フィルタアレイ（ＣＦＡ）面スキャン画像センサ１７００を図示する。対角ＣＦＡ面スキャン画像センサ１７００は、増進した画像処理融通性を提供し、３本線カラー画像センサ１５００（図１５）によって提供される高い一次元分解能を２次元に拡張する。対角ＣＦＡ面スキャン画像センサ１７００は、ｉが正の整数である、線１７１０（ｉ）から成る。３本の例示的隣接線１７１０（１）、１７１０（２）、および１７１０（３）が、図１７に示されているが、対角ＣＦＡ画像センサ１７００は、本明細書の範囲から逸脱することなく、任意の数の線１７１０を有してもよい。各線１７１０（ｉ）は、ｊが、図１７で配向されるように、線１７１０（ｉ）内の色画素１７２０（ｉ，ｊ）の垂直位置を示す、色画素１７２０（ｉ，ｊ）から成る。図１７は、３つの例示的色画素、すなわち、線１７１０（１）内の色画素１７２０（１，１）、線１７１０（２）内の色画素１７２０（１，２）、ならびに線１７１０（３）内の色画素１７２０（１，３）、１７２０（２，３）、および１７２０（３，３）を示す。各線１７１０（ｉ）は、任意の数の色画素１７２０（ｉ，ｊ）を含んでもよい。ある実施形態では、全ての線１７１０は、同数の色画素１７２０を含む。
各色画素１７２０（ｉ，ｊ）は、ｎおよびｍが３より小さいまたはそれに等しい正の整数である、フォトサイト１７２１（ｉ，ｊ）（ｎ，ｍ）の３×３アレイを含む。全てのフォトサイト１７２１が図１７で明示的に番号付けされているわけではない。各色画素１７２０（ｉ，ｊ）は、第１の色に対して感受性があるフォトサイト１７２１（ｉ，ｊ）（１，１）、１７２１（ｉ，ｊ）（２，３）、および１７２１（ｉ，ｊ）（３，２）と、第２の色に対して感受性があるフォトサイト１７２１（ｉ，ｊ）（１，２）、１７２１（ｉ，ｊ）（２，１）、および１７２１（ｉ，ｊ）（３，３）と、第３の色に対して感受性があるフォトサイト１７２１（ｉ，ｊ）（１，３）、１７２１（ｉ，ｊ）（２，２）、および１７２１（ｉ，ｊ）（３，１）とを含む。ある実施形態では、第１、第２、および第３の色は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）である。しかしながら、対角ＣＦＡ画像センサ１７００は、本明細書の範囲から逸脱することなく、シアン、マゼンタ、および黄色等の他の色感度構成を使用して実装されてもよい。図１７の説明図によると、同一の色感度のフォトサイトが対角線を形成する。色画素１７２０は、例えば、本明細書の範囲から逸脱することなく、同一の色感度のフォトサイトによって形成される対角線が、図１７と比較して９０度回転させられるように、異なるように配向されてもよい。フォトサイト１７２１は、３つのフォトサイトの任意の列が、第１の色のフォトサイト、第２の色のフォトサイト、および第３の色のフォトサイトを含むように配列され、３つのフォトサイトの任意の行は、第１の色のフォトサイト、第２の色のフォトサイト、および第３の色のフォトサイトを含み、第１、第２、および第３の色のフォトサイトは、それぞれ、第１、第２、および第３の色の光に対して感受性がある。本配列は、対角ＣＦＡ面スキャン画像センサ１７００のフォトサイト１７２１によって生成されるフォトサイト信号の処理中に、フォトサイト１７２１のグループ化のための増加した融通性を提供する。
１つの使用のシナリオでは、対角ＣＦＡ画像センサ１７００によって捕捉される画像は、処理の全体を通して別個のアイテムとして個々の色画素１７２０を保持して処理される。本シナリオでは、画像は、例えば、方法３００（図３）に従って処理される。図５の方法５００は、例えば、以降で議論されるように、対角ＣＦＡ画像センサ１７００によって捕捉される画像の処理に拡張可能である。ステップ５１０は、３つの行、すなわち、ＲおよびＧ’およびＢ”行、ＧおよびＢ’およびＲ”行、ならびにＢおよびＲ’およびＧ”行を受信するように拡張される。ステップ５２１および５３１ならびにステップ５２２および５３２を含む、並行プロセスは、それぞれ、ＲおよびＧ’およびＢ”、ＧおよびＢ’およびＲ”、ならびにＢおよびＲ’およびＧ”行に作用する３つの同等並行プロセスを含むように拡張される。ステップ５４０は、３つの積算行からのデータを組み合わせるように拡張される。
別の使用のシナリオでは、対角ＣＦＡ画像センサ１７００によって捕捉される画像は、２×２フォトサイトグループを使用して処理される。各２×２フォトサイトグループは、完全に単一の色画素１７２０内にあってもよく、または２つ、３つ、もしくは４つの隣接色画素１７２０からのフォトサイトを含んでもよい。後者の場合、セットが対角ＣＦＡ画像センサ１７００の全てのフォトサイトまたはその隣接部分に跨架するように、２×２フォトサイトグループの「完全被覆範囲セット」が選択されてもよい。例示的２×２フォトサイトグループは、２×２クロスオーバー色画素１７４０として図１７に示されている。これは、対角ＣＦＡ画像センサ１７００の２×２フォトサイトグループが全て同一のフォトサイトレイアウトを有しているわけではないことを除いて、ベイヤー型カラー面スキャン画像センサ４００（図４）と同等である。しかしながら、全ての２×２フォトサイトグループは、３つの異なるフォトサイトタイプを含み、したがって、ベイヤー型カラー面スキャン画像センサ４００（図４）の色画素４２０等のベイヤー型画像センサの色画素と同じくらい完全な色情報を提供する。本使用のシナリオでは、対角ＣＦＡ画像センサ１７００によって捕捉される画像は、方法３００（図３）、５００（図５）、１２００（図１２）、１３００（図１３）、もしくは１６００（図１６）のうちの１つまたはそれを上回るにものに従って処理される。方法１３００（図１３）または１６００（図１６）に従って、対角ＣＦＡ画像センサ１７００によって捕捉される画像を処理するとき、２×２フォトサイトグループの完全被覆範囲セットが、２×２フォトサイトグループに分割される捕捉された画像の２倍の分解能でＴＤＩ画像を生成するために利用されてもよい。方法５００（図５）、１３００（図１３）、または１６００（図１６）に従って画像を処理するとき、処理は、全ての２×２フォトサイトグループが同一のフォトサイトレイアウトを有しているわけではないという事実を説明するように適合される。さらに、対角ＣＦＡ画像センサ１７００に適用される方法１３００（図１３）の場合、着目オブジェクトがフレームにつき３分の１の線１７１０のレートで移動するように、画像が３倍のフレームレートで捕捉される。
さらに別の使用のシナリオでは、対角ＣＦＡ画像センサ１７００によって捕捉される画像は、色画素１７２０、ならびに図１７の同一の垂直位置に位置する２つの隣接色画素１７２０の部分に跨架する３×３フォトサイトアレイから成る水平クロスオーバー色画素を使用して、処理される。水平クロスオーバー画素は、例えば、方法１２００（図１２）、１３００（図１３）、および１６００（図１６）に従って３本線カラー画像センサによって捕捉される画像と同様に、処理される。
対角ＣＦＡ面スキャン画像センサ１７００は、ＴＤＩ画像の生成のための有用性を有するが、典型的には線スキャンカメラによって行われる、他の用途で使用するためにも有利であり得る。
図１８は、２次元フォトサイト変動を伴う色画素を有するカラー面スキャン画像センサによって捕捉される、イベントタイミング画像を処理するための１つの例示的方法１８００を図示する。２次元フォトサイト変動を有する、カラー面スキャン画像センサの実施例は、ベイヤー型カラー面スキャン画像センサ４００（図４）および対角ＣＦＡ面スキャン画像センサ１７００（図１７）を含む。方法１８００は、ＴＤＩ線と平行な次元において向上した分解能でＴＤＩ画像を生成する。随意に、ＴＤＩ画像が２次元において向上した分解能を有するように、ＴＤＩが向上した分解能で行われる。方法１８００は、例えば、ＴＤＩモジュール１４０（図１）によって行われる。
ステップ１８１０では、方法１８００は、２次元フォトサイト変動を伴う色画素を有するカラー面スキャン画像センサによって捕捉される、画像を受信する。例えば、ＴＤＩモジュール１４０は、面スキャン画像センサ１１０（図１）として実装される対角ＣＦＡ画像センサ１７００（図１７）によって捕捉される、画像を受信する。ステップ１８１０を行なった後、方法１８００は、捕捉された画像の２つまたはそれを上回るフォトサイトグループ分割のためのステップ１６３０（図１６）を行い、２つまたはそれを上回るフォトサイトグループ分割は、ＴＤＩ線と平行な次元において相互に偏移させられる。
図１７を参照すると、着目オブジェクトの仮定された運動方向が、矢印１７６０によって示されている。したがって、ＴＤＩ線は、矢印１７６０に対して直角であり、線１７１０と平行である。対角ＣＦＡ画像センサ１７００によって捕捉される画像に関して、ステップ１６３０は、（ａ）線１７１０と平行な次元において、色画素１７２０と整合させられるフォトサイトグループ分割、（ｂ）（例えば、フォトサイトグループ１７５０と整合させられる）線１７１０と平行な次元において１つのフォトサイト行だけ色画素１７２０から偏移させられるフォトサイトグループ分割、および（ｃ）線１７１０と平行な次元において２つのフォトサイト行だけ色画素１７２０から偏移させられるフォトサイトグループ分割のために行われる。
図４を参照すると、着目オブジェクトの仮定された運動方向が、矢印４３０によって示されている。したがって、ＴＤＩ線は、矢印４３０に対して直角であり、線４１０と平行である。ベイヤー型カラー面スキャン画像センサ４００によって捕捉される画像に関して、ステップ１６３０は、（ａ）線４１０と平行な次元において色画素４２０と整合させられるフォトサイトグループ分割、および（ｂ）線４１０と平行な次元において１つのフォトサイト行だけ色画素４２０から偏移させられるフォトサイトグループ分割のために行われる。
ステップ１６３０の複数の反復は、ＴＤＩ線と平行な次元において、そのそれぞれの色画素が相互に偏移した場所で中心に置かれた、それぞれのＴＤＩ画像を生成する。随意に、ステップ１６３０は、ＴＤＩ画像がＴＤＩ線に対して直角な次元において向上した分解能を有するように、ステップ１６４０を含む。図１８に図示されていない、ある実施形態では、ステップ１６３０は、同様にＴＤＩ線に対して直角な次元において向上した分解能を提供する、方法１３００（図１３）によって置換される。
ステップ１８５０では、ステップ１６３０の複数の反復で生成されるＴＤＩ画像は、ＴＤＩ線と平行な次元において向上した分解能でＴＤＩ画像を形成するように組み合わせられる。例えば、ＴＤＩモジュール１４０は、ステップ１６３０で生成されるＴＤＩ画像を組み合わせる。これは、直交次元内であるが、図１４に関連して議論されるものと同一の方法を使用して行われてもよい。ステップ１８５０を行なった後、方法１８００は、ステップ１６５０（図１６）を行う。
したがって、方法１８００は、両方の次元において分解能を最大限にするために個々のフォトサイトデータを利用することが可能である。ベイヤー型カラー面スキャン画像センサ４００（図４）によって捕捉される画像の場合、分解能は、ベイヤー型カラー面スキャン画像センサ４００の色画素分解能と比較して、両方の次元において２倍にされてもよい。対角ＣＦＡ画像センサ１７００（図１７）によって捕捉される画像の場合、分解能は、対角ＣＦＡ画像センサ１７００の色画素分解能と比較して、両方の次元において３倍にされてもよい。
図１９は、異なる色フィルタアレイ性質を伴う複数の領域を有する、２つの例示的カラー面スキャン画像センサ１９００および１９５０を図示する。カラー面スキャン画像センサ１９００および１９５０は、有利なこととして、システム１００（図１）等のイベントタイミングシステムに実装される。
カラー面スキャン画像センサ１９００は、３つの領域、すなわち、高分解能ＴＤＩのために最適化される色フィルタアレイを伴って構成される領域１９１０（１）、ならびに図４に関連して議論されるようなベイヤー型色フィルタアレイを伴って構成される領域１９１０（２）および１９１０（３）を含む。ある実施形態では、領域１９１０（１）は、カラー面スキャン画像センサ１９００上で画像を形成するために使用される、撮像目標の光軸上に位置する。したがって、領域１９１０（１）によって捕捉される画像から生成されるＴＤＩ画像は、光軸に対して直角な方向に進行する着目オブジェクトの理想的な側面図を形成してもよい。例えば、カラー面スキャン画像センサ１９００は、システム１００（図１）内の面スキャン画像センサ１１０として実装され、領域１９１０（１）は、撮像目標１２０の光軸上に位置する。ＴＤＩ画像情報が、領域１９１０（１）から抽出されてもよい一方で、領域１９１０（２）ならびに１９１０（３）は、標準２次元画像および／または付加的ＴＤＩ画像を提供する。
カラー面スキャン画像センサ１９５０は、２つの領域、すなわち、高分解能ＴＤＩのために最適化される色フィルタアレイを伴って構成される領域１９６０（１）、および図４に関連して議論されるようなベイヤー型色フィルタアレイを伴って構成される領域１９６０（２）を含む。ある実施形態では、領域１９６０（１）は、カラー面スキャン画像センサ１９５０上に画像を形成するために使用される、撮像目標の光軸上に位置する。したがって、領域１９６０（１）によって捕捉される画像から生成されるＴＤＩ画像は、光軸に対して直角に進行する着目オブジェクトの理想的な側面図を形成してもよい。例えば、カラー面スキャン画像センサ１９５０は、システム１００（図１）内の面スキャン画像センサ１１０として実装され、領域１９６０（１）は、撮像目標１２０の光軸上に位置する。これは、撮像目標１２０の光軸から離してカラー面スキャン画像センサ１９５０の中心を偏移させることを必要とする。ＴＤＩ画像情報が、領域１９６０（１）から抽出されてもよい一方で、領域１９６０（２）は、標準２次元画像および／または付加的ＴＤＩ画像を提供する。
カラー面スキャン画像センサ１９００および１９５０は、本明細書の範囲から逸脱することなく、それぞれのＴＤＩ専用領域１９１０ならびに１９２０に加えて、より多くの領域および／または他の色フィルタアレイ構成の領域を含むように修正されてもよい。
図２０は、画像捕捉、随意に、センサ２０１０を使用したイベントのタイミングのための１つの例示的システム２０００を示す。ある実施形態では、システム２０００は、図１のシステム１００を組み込む。センサ２０１０は、インターフェース１５０（図１および２）を通してデータ処理システム２０２０と通信している。随意に、ＴＤＩモジュール１４０（図１）は、撮像光学部２０１２を通して、センサ２０１０によって捕捉される画像のＴＤＩ処理を行い、インターフェース１５０を通してＴＤＩ画像をデータ処理システム２０２０に伝達する。センサ２０１０または随意のＴＤＩモジュール１４０は、時計１６０からの時間を使用して、画像に時間を刻印してもよい。一実施形態では、センサ２０１０は、面スキャン画像センサ、例えば、ＣＭＯＳ面スキャン画像センサである。別の実施形態では、センサ２０１０は、線スキャンセンサである。さらに別の実施形態では、センサ２０１０は、図４のカラー面スキャン画像センサ４００または図１４のカラー面スキャン画像センサ１４００である。さらなる実施形態では、センサ２０１０は、図１５の３本線カラー画像センサ１５００である。付加的実施形態では、センサ２０１０は、図１０のフィルタ付き面スキャン画像センサ１０００である。センサ２０１０、撮像光学部２０１２、随意のＴＤＩモジュール１４０、インターフェース１５０、および随意の時計１６０は、カメラ２０１５に組み込まれてもよい。データ処理システム２０２０は、プロセッサ２０３０と、メモリ２０４０と、入出力インターフェース２０５０を含む。メモリ２０４０は、インターフェース１５０からデータ処理２０２０に送信される画像、およびデータ処理２０２０によって行われる処理の結果を記憶するために、データ記憶装置２０４１を含む。メモリ２０４０はさらに、インターフェース１５０から受信される画像の処理のために、メモリ２０４０内の機械可読命令として実装されるアルゴリズム２０４２を含む。ある実施形態では、アルゴリズム２０４２は、メモリ２０４０の不揮発性部分の中に位置する。別の実施形態では、データ処理システム２０２０は、データ処理システム２０２０の外部に位置する不揮発性メモリからアルゴリズム２０４２を読み出し、アルゴリズム２０４２をメモリ２０４０の揮発性部分に記憶する。入出力インターフェース２０５０は、ユーザとの双方向通信を提供する。
ある実施形態では、入出力インターフェース２０５０は、無線インターフェースである。例えば、入出力インターフェース２０５０は、ＷｉＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースである。本実施形態では、携帯電話またはスマートフォン等のモバイルデバイスが、カメラ２０１５を制御する、および／またはそこからデータを受信するために使用されてもよい。本モバイルデバイスは、データ処理システム２０２０として機能し、または別個の制御デバイス２０１６であってもよい。
随意に、システム２０００は、代替イベントタイミングシステム２０６０を含む。代替イベントタイミングシステム２０６０は、イベントレコーダ２０６２と、随意に、代替時計２０６４とを含む。代替イベントタイミングシステム２０６０は、イベントを検出して識別し、時計を使用して、時間を各そのようなイベントに割り当てる。ある実施形態では、時間が代替時計２０６４によって提供される。別の実施形態では、時間が時計１６０によって提供される。代替イベントタイミングシステム２０６０は、イベントの撮像に基づかなくてもよいが、イベント検出の他の形態を使用してもよい。一実施形態では、代替イベントタイミングシステム２０６０は、カメラ２０１５、時計１６０、および随意のＴＤＩモジュール１４０から成るカメラベースのシステムによって提供されるものより優れた、または低い精度で、タイミングを提供する。代替時計２０６４は、全地球測位システム（ＧＰＳ）時間信号に基づいてもよい。時計２０６４のＧＰＳベースの実施形態は、他のイベントタイミングシステムが相互と同期化され得るように、システム２０００がこれらと併せて操作されるときに、特定の有用性を有する。
ある実施形態では、代替イベントタイミングシステム２０６０は、高周波識別に基づく。オブジェクト、例えば、レース参加者は、高周波識別（ＲＦＩＤ）チップでタグ付けされる。イベントレコーダ２０６２および代替時計２０６４は、イベントレコーダ２０６２に近接するときにＲＦＩＤチップを検出して識別する、高周波タイミングシステムである。
図２１は、代替イベントタイミングシステム２０６０がＲＦＩＤデコーダ２１６５を含むＲＦＩＤベースのイベントタイミングシステム２１６０である、図２０のシステム２０００の１つの例示的実施形態を図示する。オブジェクトは、近接しているときにＲＦＩＤデコーダによって検出されて識別される、ＲＦＩＤチップ２１７０でタグ付けされる。ＲＦＩＤベースのイベントタイミングシステム２１６０は、カメラ２０１０と関連付けられる時計１６０から時間を受信し、２つの別個の時計の同期化の必要性を排除する。
図２２は、入力フレームレートで捕捉される一連の入力画像、ならびに恣意的フレームレートおよび関連時間に対応する、一連の出力画像を生成する関連時間を処理するための１つの例示的方法２２００を図示するフローチャートである。画像は、イベント記録およびタイミングシステム、例えば、それぞれ、図１、６、２０、および２１のシステム１００、６００、２０００、または２１００によって提供される。方法２２００は、画像捕捉の後に、画像ベースのイベントタイミングシステムの時間分解能を修正するために使用されてもよい。ある実施形態では、方法２２００は、フレームレート調節アルゴリズム２０４３としてデータ処理システム２０２０（図２０および２１）に実装され、データ処理システム２０２０のプロセッサ２０３０によって実行される。
入力フレームレートで捕捉される一連の入力画像、およびタイミングは、例えば、ステップ２２１０においてシステム２０００（図２０）または２１００（図２１）のインターフェース１５０から受信される。ステップ２２２０では、出力フレームレートが選択される。ステップ２２２０の一実施例では、ユーザが、出力フレームレートを規定する。本出力フレームレートは、入出力インターフェース２０５０を通して、システム２０００（図２０）または２１００（図２１）のデータ処理システム２０２０に伝達される。ステップ２２２５では、初期出力時系列が判定され、初期出力時系列は、ステップ２２２０において選択される出力フレームレートで捕捉される画像に対応する。
ステップ２２３０から２２６０は、全ての初期出力時間に繰り返される。ステップ２２３０は、検討中の初期出力時間を評価する。初期出力時間が入力時間と同一である場合、方法２２００は、出力画像が入力時間と関連付けられる入力画像に等しく設定される、ステップ２２４０に進む。初期出力時間が入力時間と同一ではない場合、方法２２００は、ステップ２２５０に進む。ステップ２２５０では、初期出力時間と関連付けられる出力画像は、初期出力時間の近くで捕捉される入力画像の加重平均として計算される。ある実施形態では、出力画像は、２つの入力画像、すなわち、初期出力時間の最も近くで、およびそれに先立って捕捉される入力画像、ならびに初期出力時間の最も近くで、およびその後に捕捉される入力画像の加重平均として計算される。加重平均の加重は、初期出力時間と加重平均に寄与する入力画像と関連付けられる入力時間との間の時間差が増加するとともに、減少し得る。ステップ２２４０および２２５０の両方から、方法２２００は、ステップ２２６０に進む。ステップ２２６０では、最終出力時間が、ステップ２２４０またはステップ２２５０のいずれか一方で生成される出力画像に割り当てられる。最終出力時間は、出力画像に寄与する入力画像と関連付けられる入力時間のうちの最新のものと等しく設定される。ステップ２２２５から２２６０は、フレームレート調節アルゴリズム２０４３（図２０および２１）において、命令に従って図２０および２１のプロセッサ２０３０によって実行されてもよい。ステップ２２７０では、出力画像および関連最終出力時間は、入出力インターフェース２０５０（図２０および２１）によって、例えば、ユーザまたはコンピュータシステムに出力される。
図２３は、システム１００（図１）、６００（図６）、２０００（図２０）、および２１００（図２１）等の画像捕捉を利用してイベントタイミングシステムによって生成される画像データの量を自動的に低減させるための１つの例示的方法２３００を図示する、フローチャートである。方法２３００は、一連の画像を切り取るアルゴリズム２０４４としてデータ処理システム２０２０（図２０および２１）に実装されてもよい。ステップ２３１０では、一連の画像および関連時間が、例えば、インターフェース１５０（図１、２０、および２１）によって提供される。ステップ２３２０では、レース参加者が決勝線を横断すること等のイベントと時間との間の対応が提供される。ステップ２３２０において提供される対応は、相関器アルゴリズム２０４５（図２０および２１）における、命令に従ってプロセッサ２０３０（図２０および２１）によって生成されてもよい。一実施形態では、イベントは、代替イベントタイミングシステム２０６０（図２０）またはＲＦＩＤベースのイベントタイミングシステム２１６０（図２１）によって識別される。別の実施形態では、イベントは、エッジ検出を使用して、ＴＤＩモジュール１４０（図１、２０、および２１）によって識別される。
ステップ２３１０および２３２０を行った後、方法２３００は、着目イベントが選択される、ステップ２３３０に進む。着目イベントは、例えば、（Ｎが規定された正の整数である）最初のＮ個のイベント、あるＲＦＩＤと関連付けられるイベント、または短時間フレーム内の複数のイベントの発生と関連付けられるイベントとして事前定義されてもよい。ステップ２３４０では、一連の画像は、着目イベントと関連付けられない画像、例えば、着目イベントと関連付けられる時間の前または後の規定時間間隔で捕捉される画像を除去することによって、切り取られる。ステップ２３３０および２３４０は、一連の画像を切り取るアルゴリズム２０４４に組み込まれる命令に基づいて、独占的にプロセッサ２０３０（図２０および２１）によって、または入出力インターフェース２０５０（図２０および２１）を通して提供されるユーザ入力と組み合わせて、行われてもよい。ステップ２３５０は、ステップ２０４０で生成される、切り取られた一連の画像を出力する。ある実施形態では、ステップ２３５０は、入出力インターフェース２０５０（図２０および２１）によって行われる。
代替イベントタイミングシステム２０６０（図２０）、ＲＦＩＤベースのイベントタイミングシステム２１６０（図１７）、およびＴＤＩモジュール１４０（図１、２０、および２１）のうちの１つまたはそれを上回るものを使用して、イベントがリアルタイムで識別される実施形態では、方法２３００は、イベントが識別されるときのみ行われてもよい。例えば、ＴＤＩモジュール１４０（図１、２０、および２１）は、循環バッファを含んでもよい。ＴＤＩモジュール１４０は、エッジ検出を使用して循環バッファを評価してもよい。イベントを示すエッジの検出時に、一連の関連入力は、ステップ２３４０および２３５０の実行のためにデータ処理システム２０２０（図２０および２１）に伝達される。
図２４は、４本の線２４１０（１）、２４１０（２）、２４１０（３）、および２４１０（４）とともに画像センサを使用して、移動オブジェクト２４２０の画像を捕捉するための１つの例示的シナリオ２４００および関連方法を図示する。ある実施形態では、線２４１０（ｉ）は、面スキャンセンサの画素線である。ある実施形態では、線２４１０（ｉ）は、面スキャンセンサのより多数の画素線から選択される画素線である。図２４に図示されるシナリオでは、４つのフレーム２４０１、２４０２、２４０３、および２４０４が、時間（２４１５）の関数として捕捉される一方で、オブジェクト２４２０は、線２４１０（１）、２４１０（２）、２４１０（３）、および２４１０（４）と関連付けられる画像フィールドを横断して移動する。線２４１０（ｉ）は、オブジェクト２４２０の運動（２４２５）の方向と垂直に配向される。
例証目的で、オブジェクト２４２０は、オブジェクト２４２０の運動の方向と平行な次元において、等しいサイズの４つの領域Ａ、Ｂ、Ｃ、Ｄに分割される。フレーム２４０１、２４０２、２４０３、および２４０４が捕捉されるフレームレートは、それぞれの領域Ａ、Ｂ、Ｃ、Ｄの画像が各フレームの間で１本の線２４１０（ｉ）だけ偏移するように、オブジェクト２４２０の速度に合致させられる。具体的には、オブジェクト２４２０が移動すると、領域Ａが、フレーム２４０１内の線２４１０（１）、フレーム２４０２内の線２４１０（２）、フレーム２４０３内の線２４１０（３）、およびフレーム２４０４内の線２４１０（４）の上に撮像される。
ＴＤＩは、オブジェクト２４２０の捕捉された画像のフレーム間偏移を考慮しながら、フレームを横断して線を積算することによって行われてもよい。オブジェクト２４２０の領域Ａの増進した画像が、フレーム２４０１の線２４１０（１）、フレーム２４０２の線２４１０（２）、フレーム２４０３の線２４１０（３）、およびフレーム２４０４の線２４１０（４）を積算することによって形成される。図２４に図示される実施例は、非限定的であり、任意の数の線２４１０（ｉ）、任意の数のフレーム、任意の数のオブジェクト、および任意の数の領域に容易に拡張される。ある実施形態では、フレーム２４０１、２４０２、２４０３、および２４０４は、図１の面スキャン画像センサ１１０によって捕捉される。ある実施形態では、ＴＤＩは、例えば、図３の方法３００を使用して、例えば、ＴＤＩモジュール１４０（図１）によって、センサ外で行われる。さらなる実施形態では、システム４００（図４）、１４００（図１４）、または１５００（図１５）および関連方法を使用して、増加した分解能が達成される。
一実施形態では、フレーム２４０１、２４０２、２４０３、および２４０４は、線２４１０（１）、２４１０（２）、２４１０（３）、ならびに２４１０（４）を伴う線間電荷結合素子（ＣＣＤ）面スキャンセンサによって捕捉される。線間ＣＣＤ面スキャンセンサでは、画素電荷を読み出すプロセスは、異なるフレームの積算の間に遅延を課さない。線間ＣＣＤ面スキャンセンサの各画素は、関連する隠された画素を有する。読出プロセスは、対応する隠された画素への１つのフレームの積算中に蓄積される全ての画素電荷を偏移させるリセット動作によって開始され、次のフレームの積算は、リセット動作の直後に続いて起こる。したがって、線間ＣＣＤ面スキャンセンサの集光効率は、リセット動作と関連付けられる遅延がごくわずかであると仮定して１００％である。
別の実施形態では、線２４１０（１）、２４１０（２）、２４１０（３）、および２４１０（４）は、ＣＭＯＳ面スキャン画像センサに属する。ＣＭＯＳ面スキャン画像センサは、グローバルシャッタまたはローリングシャッタのいずれか一方を伴って構成されてもよい。グローバルシャッタＣＭＯＳ面スキャン画像センサの積算および読取プロセスは、線間ＣＣＤのものに類似する。ローリングシャッタＣＭＯＳ面スキャン画像センサは、グローバルリセットまたはローリングリセットを伴って実装されてもよく、ローリングリセットは、より一般的に利用可能な構成である。図２５は、グローバルリセットを伴って実装されるローリングシャッタＣＭＯＳ面スキャン画像センサのための積算および読取プロセス２５００を図示する。図２６は、ローリングリセットを伴って実装されるローリングシャッタＣＭＯＳ面スキャン画像センサのための積算および読取プロセス２６００を図示する。グローバルリセットを伴って実装されるローリングシャッタＣＭＯＳ面スキャン画像センサでは、全ての画素が同時にリセットされ、次いで、線毎に読み出される。画素は、読出中に積算することを許可されず、これは、センサが読出プロセス中に動作していないことを意味する。ローリングリセットを伴って実装されるローリングシャッタＣＭＯＳ面スキャン画像センサでは、個々の画素行がリセットされ、ローリング基準で読み出される。１つの行が読み出されている間に、全ての他の行は依然として積算している。１つの行の読出が完了したとき、それは再び積算することを許可され、次の行の読出が開始される。
２つのリセットタイプの集光効率を比較するために、積算時間が両方のタイプの読出時間に等しいことが仮定される。図２６で図示される実施形態では、４本の線２４１０（１）、２４１０（２）、２４１０（３）、および２４１０（４）は、画素行に一致する。したがって、画素が線毎に読み出される。したがって、ローリングリセットを伴って実装され、その最大フレームレートで作動する、ローリングシャッタＣＭＯＳ面スキャン画像センサのＮ本の線の場合、Ｎ個の読出期間が完全フレームサイクルで完了する。等しい読出および積算時間を用いて、各線は、読み出される前にＮ個の読出期間と同等の持続時間にわたって積算する。グローバルリセットを伴って実装されるローリングシャッタＣＭＯＳ面スキャン画像センサに同一の仮定を適用すると、図２５で図示される実施例は、センサが積算に半分のフレームサイクル、読取に半分のフレームサイクルを費やすことを生じさせる。
図２５では、線２４１０（１）、２４１０（２）、２４１０（３）、および２４１０（４）の線状態は、時間２４１５の関数として示される。リセット動作の持続時間は、ごくわずかであり、したがって、線状態は、「積算」（ＩＮＴ）または「読出」（ＲＥＡＤ）のいずれか一方であることが仮定される。オブジェクト２４２０の各区画の画像は、フレーム２４０１中に線２４１０（１）（標識２５２０（１））、フレーム２４０２中に線２４１０（２）（標識２５２０（２））、フレーム２４０３中に線２４１０（３）（標識２５２０（３））、およびフレーム２４０４中に線２４１０（４）（標識２５２０（４））の上に撮像される、区画Ａによって示されるように、フレームサイクル中に１本の線だけ偏移する。フレーム２４０１は、例えば、全て同期化積算に起因する、読出信号２５３０（１）、２５３０（２）、２５３０（３）、および２５３０（４）から成る。
時間遅延積算は、図２４について議論されるように線を積算することによって行われることができる。結果は、集光効率が５０％であることを除いて、線間ＣＣＤ面スキャン画像センサまたはグローバルシャッタＣＭＯＳ面スキャン画像センサを用いて得られるものと同等である。グローバルリセットを伴うローリングシャッタＣＭＯＳ面スキャン画像センサは、例えば、システム１００（図１）、２００（図２）、６００（図６）、２０００（図２０）、または２１００（図２１）に実装されてもよい。時間遅延積算は、例えば、図３の方法３００を使用して行われてもよい。
図２６では、線２４１０（１）、２４１０（２）、２４１０（３）、および２４１０（４）の線状態は、時間２４１５の関数として示される。図２５に関して、リセット動作の持続時間は、ごくわずかであり、したがって、線状態は、「積算」（ＩＮＴ）または「読出」（ＲＥＡＤ）のいずれか一方であることが仮定される。オブジェクト２４２０の各区画の画像は、フレームサイクル中に１本の線だけ偏移する。しかしながら、この場合、全ての線が同時に読み出されるわけではない。例示的フレームは、読出信号２６３０（１）、２６３０（２）、２６３０（３）、および２６３０（４）から成る。これらの読出信号は、非同期積算に起因する。線２４１０（１）の読出信号が区画位置と整合させられる一方で、線２４１０（２）、２４１０（３）、および２４１０（４）の読出信号は、そこからますます偏移させられる。同様に、区画Ａが、標識２６２０（１）、２６２０（２）、２６２０（３）、および２６２０（４）によって示される、線から線まで偏移すると、対応する読出信号は、区画Ｂからの増大する寄与を含有する。しかしながら、フレームレートは、ローリングリセットを伴って実装されるローリングシャッタ画像センサが、そこから生成されるＴＤＩ画像の劣化を伴わずに使用され得るように、非同期積算を補償するために調節されてもよい。例えば、通過オブジェクトの画像が、１つの読出時間を加えた１つのフレーム時間の持続時間において１本の線だけ移動するように、画像が捕捉されるフレームレートは、グローバルシャッタ画像センサの公称フレームレートと比較して増加させられてもよい。
ローリングリセットを伴って実装されるローリングシャッタＣＭＯＳ面スキャン画像センサの利益は、集光効率が１００％に近似し得ることである。Ｎ本の線およびローリングリセットを伴うローリングシャッタＣＭＯＳ面スキャン画像センサに関して、線と関連付けられる読出時間は、フレームサイクル持続時間の１／（Ｎ＋１）にすぎない。したがって、光積算デューティサイクルは、Ｎ／（Ｎ＋１）である。図２６に図示される４本の線を伴う実施形態では、光積算デューティサイクルは、８０％である。しかしながら、例えば、１０２４本の線を伴うセンサに関して、光積算デューティサイクルは、９９．９％である。
時間遅延積算は、図２４について議論されるように線を積算することによって行われることができる。結果は、わずかなサブフレーム不鮮明および光積算デューティサイクルのわずかな減少を除いて、線間ＣＣＤ面スキャン画像センサまたはグローバルシャッタＣＭＯＳ面スキャン画像センサを用いて得られるものと同等である。ローリングリセットを伴うローリングシャッタＣＭＯＳ面スキャン画像センサは、例えば、システム１００（図１）、６００（図６）、２０００（図２０）、または２１００（図２１）に実装されてもよい。時間遅延積算は、例えば、図３の方法３００を使用して行われてもよい。
図２７は、整合支援システムを伴って構成される１つの例示的カメラシステム２７００を図示する。カメラシステム２７００は、３つの直交回転自由度と、１つの平行移動自由度とを含む、少なくとも４軸移動を有するマウント２７２０と連結される、カメラ２７１０を含む。カメラ２７１０は、図１のシステム１００と、水準器２７１２と、随意の整合制御システム２７１４とを含む。カメラ２７１０は、本明細書の範囲から逸脱することなく、システム１００（図１）のＴＤＩモジュール１４０を伴わずに実装されてもよい。カメラ２７１０は、３つの直交軸２７３０、２７４０、および２７５０によって画定される座標系と関連付けられる。座標系は、カメラ２７１０とともに移動するようにカメラ２７１０に対して固定される。軸２７５０は、カメラ２７１０によって捕捉される画像内で垂直方向と平行である。座標系の原点、すなわち、軸２７３０、２７４０、および２７５０の交差は、カメラ２７１０内に、またはその外部に位置してもよい。マウント２７２０は、少なくとも、軸２７３０の周囲の回転２７３１、軸２７４０の周囲の回転２７４１、軸２７５０の周囲の回転２７５１、および軸２７４０に沿った平行移動２７４２を提供するように構成される。
例示的な使用のシナリオでは、カメラシステム２７００が、決勝線の画像を捕捉するために使用される。決勝線の方向および重力の方向はともに、決勝面を画定する。代替として、決勝面は、決勝線の方向、および決勝線を横断するレース参加者の運動の方向と略垂直である別の方向によって画定される。マウント２７２０は、重力の方向がカメラ２７１２によって捕捉される画像１１５（図１）内で垂直であるように、水準器２７１２によって示されるように、カメラ２７１０を水平に整合させるために使用される。これは、重力の方向と平行である軸２７５０に対応する。本実施例では、軸２７４０に沿った平行移動が、カメラ２７１０によって捕捉される画像内の決勝線の略左右移動をもたらすように、カメラ２７１０が決勝線に対して配置されていることに留意されたい。マウント２７２０はさらに、決勝線が画像１１５（図１および２）内で垂直であるように、決勝面内にカメラ２７１０を配置するために使用される。以下で議論される図２８から３１は、本整合を行うための２つの方法を図示する。
一実施形態では、水準器２７１２は、電子水準器であり、マウント２７２０は、電動式作動を含む。水準器２７１２は、整合制御システム２７１４に通信可能に連結される。整合制御システム２７１４はさらに、システム１００およびマウント２７２０に通信可能に連結される。整合制御システム２７１４は、水準器２７１２による測定およびシステム１００によって捕捉される画像を処理する。整合制御システム２７１４は、カメラ２７１０の所望の整合を達成するように、それに応じてマウント２７２０を制御する。本実施形態は、カメラ２７１０の自動整合を促進する。
別の実施形態では、整合カメラ２７１０は、水準器２７１２による測定およびシステム１００によって捕捉される画像を使用して、オペレータによって手動で整合させられる。さらに別の実施形態では、整合制御システム２７１４が、マウント２７２０の自由度の一部を制御する一方で、他の自由度は、オペレータによって制御される。本実施形態では、オペレータは、制御システム２７１４によって提供される命令によって補助されてもよい。例えば、整合制御システム２７１４は、回転２７３１、２７４１、および２７５１を制御するようにマウント２７２０を制御し、必要に応じて、平行移動２７４２を調節するために命令をオペレータに提供する。
カメラ２７１０は、本明細書の範囲から逸脱することなく、システム１００の代わりに図２０のカメラ２０１５を含んでもよい。加えて、カメラ２７１０は、本明細書の範囲から逸脱することなく、ＴＤＩ機能性を有していないカメラであってもよい。
図２８は、カメラシステム２７００（図２７）のカメラ２７１０を決勝線と整合させるための１つの例示的方法２８００を図示する。図２８は、図２７および図２９とともに最も詳しく検討される。方法２８００は、上記で議論されるように、手動で、または自動的に、もしくはそれらの組み合わせで行われてもよい。ステップ２８１０では、マウント２７２０は、カメラ２７１０を水平にするように、軸２７３０および２７４０の周囲でカメラ２７１０を回転させる。これは、軸２７５０を重力の方向と平行にすることに対応する。例えば、整合制御システム２７１４は、水準器２７１２から測定を受信し、カメラ２７１０を水平にするようにマウント２７２０を制御する。ステップ２８２０では、カメラ２７１０は、決勝線を含む場面の画像を捕捉する。例えば、整合制御システム２７１４は、画像１１５（図１および２）を捕捉するようにカメラ２７１０をトリガする。決勝線画像２９２０（１）を含む例示的画像２９１０（１）が、図２９に図示されている。ステップ２８３０では、決勝線は、ステップ２８２０で捕捉される画像内で検出される。例えば、整合制御システム２７１４は、画像２９１０（１）内の決勝線画像２９２０（１）を検出する。別の実施例では、オペレータが、画像２９１０（１）内の決勝線画像２９２０（１）を識別し、識別された場所を整合制御システム２７１４に提供する。ステップ２８４０では、画像２９１０（１）内の決勝線画像２９２０（１）は、決勝面内にカメラ２７１０を配置するために必要とされる、軸２７５０の周囲の回転２７５１および軸２７４０に沿った平行移動２７４２を計算するために使用される。例えば、整合制御システム２７１４は、決勝面内にカメラ２７１０を配置するために必要とされる回転２７５１および平行移動２７４２を判定するために、画像２９１０（１）内の決勝線２９２０（１）の場所ならびに配向を分析する。これは、カメラ２７１０から撮像された場面内の規定点までの距離の知識を利用することを含んでもよい。ステップ２８５０では、マウント２７２０は、ステップ２８４０の出力に従って、カメラ２７１０を回転および平行移動させる。マウント２７２０は、回転２７５１および平行移動２７４２を行う。例えば、整合制御システム２７１４は、回転２７５１および平行移動２７４２を行うようにマウント２７２０を制御する。捕捉される場合、結果として生じる画像２９１０（２）は、図２９に図示されている。決勝線画像２９２０（２）は、画像２９１０（２）内で垂直である。
図３０は、カメラシステム２７００（図２７）のカメラ２７１０を決勝線と整合させるための別の例示的方法２６００を図示する。図３０は、図２７および図３１と一緒に最も良く見られる。方法３０００は、上記で議論されるように、手動で、または自動的に行われてもよい。方法３０００は、図２８のステップ２８１０を行うことで開始する。後続のステップ３０２０では、マウント２７２０は、画像１１５（図１および２）内の決勝線の位置が監視されている間に、軸２７５０の周囲でカメラ２７１０を回転させる。図３１は、本回転を行うことに先立って捕捉される例示的画像３１１０（１）を図示する。画像３１１０（１）では、決勝線画像３１２０（１）は、画像３１１０（１）の右手部分の中に位置する。マウント２７２０は、決勝線が画像１１５（図１および２）内で水平に中心に置かれるまで、カメラ２７１０を回転させる。これは、決勝線画像３１２０（２）が水平に中心に置かれる、例示的画像３１１０（２）として図３１に図示されている。例えば、整合制御システム２７１４は、必要に応じてカメラ２７１０を回転させるようにマウント２７２０を制御しながら、システム１００によって捕捉される画像１１５（図１および２）を連続的に分析する。ステップ３０３０では、マウント２７２０が、軸２７５０に沿ってカメラ２７１０を平行移動させる一方で、画像１１５（図１および２）内の決勝線の位置は、決勝線が垂直になるまで監視される。垂直決勝線画像が達成されるとき、カメラ２７１０は、決勝面内に位置する。図３１は、本平行移動を行った後に捕捉される、垂直決勝線画像３１２０（３）を伴う例示的画像３１１０（３）を図示する。例えば、整合制御システム２７１４は、必要に応じてＴＤＩカメラ２０１０を平行移動させるようにマウント２７２０を制御しながら、システム１００によって捕捉される画像１１５（図１および２）を連続的に分析する。
図３２は、画像センサおよびディスプレイを伴うイベントタイミングシステムを使用して、スコアボード型ビデオを生成して表示するための１つの例示的システム３２００を図示する。スコアボード型ビデオは、例えば、結果リスト、順位表、ＴＤＩカメラまたは他の写真判定システムによって生成される画像、ビデオ、コマーシャル、および他のグラフィックを含む。システム３２００は、図２０のシステム２０００の実施形態である。システム３２００は、随意のカメラ２０１５（図２０）の実施形態であるカメラ３２１５と、データ処理システム２０２０（図２０）と、ディスプレイ３２６０とを含む。システム３２００はさらに、代替イベントタイミングシステム２０６０（図２０）を含んでもよい。カメラ３２１５は、画像センサ３２１０と、撮像光学部２０１２（図２０）と、インターフェース３２５０と、スコアボード型ビデオを生成するためのビデオ発生器３２２０とを含む。ある実施形態では、画像センサ３２１０は、面スキャン画像センサ１１０（図１）等の面スキャン画像センサである。随意に、カメラ３２１５はさらに、ＴＤＩモジュール１４０（図１）および／または時計１６０（図１）を含む。ビデオ発生器３２２０は、メモリ３２４０を含む。メモリ３２４０は、データ処理システム２０２０によって生成され、インターフェース３２５０を通してビデオ発生器３２２０によって受信される結果データを記憶するための結果データ記憶装置３２４２を含む。加えて、メモリ３２４０は、メモリ３２４０の中で符号化される機械可読命令３２４４を含む。ある実施形態では、機械可読命令３２４４は、メモリ３２４０の不揮発性部分の中に位置する。別の実施形態では、ビデオ発生器３２２０は、ビデオ発生器３２２０の外部に位置する不揮発性メモリから機械可読命令３２４４を読み出し、機械可読命令３２４４をメモリ３２４０の揮発性部分に記憶する。ビデオ発生器３２２０はさらに、スコアボード型ビデオを生成するように、命令３２４４に従った結果データ３２４２の処理のためのプロセッサ３２３０を含む。ビデオ発生器３２２０は、インターフェース３２５０を通してスコアボード型ビデオをディスプレイ３２６０に伝達する。命令は、インターフェース３２５０を介して、ユーザまたは外部コンピュータシステム、例えば、データ処理システム２０２０からビデオ発生器に伝達され、命令３２４４に記憶されてもよい。そのような命令は、例えば、印刷設定、グラフィカル設定、および全体的画面レイアウトを含む。インターフェース３２５０は、スコアボード型ビデオをコンピュータ等の他のディスプレイまたはコンピュータのネットワークに伝達するための通信ポートを含んでもよい。インターフェース３２５０は、１つまたはそれを上回る無線通信ポートを含んでもよい。
システム３２００は、別個のタイミングシステムおよびスコアボードデータの生成に基づく、従来のスコアボード生成の単純かつ費用効率的な代替案を提供する。従来、スコアボードデータは、積算スコアボードコントローラまたは外部スコアボードコントローラとともにスコアボードを使用して、生成される。スコアボードコントローラは、タイミングシステムから結果を受信し、スコアボードコントローラソフトウェアを使用して結果を処理し、スコアボード用のビデオを生成する。対照的に、システム３２００は、スコアボード型ビデオを生成するために、特に、カメラ３２１５内のタイミングシステムに組み込まれたビデオ生成能力を利用する。スコアボード型ビデオは、インターフェース３２５０を通してディスプレイ３２６０に直接伝達される。インターフェース３２５０は、本目的で、高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標））および／または無線通信ポートを含んでもよい。無線通信ポートは、例えば、スコアボード型ビデオを、ディスプレイ３２６０のＨＤＭＩ（登録商標）ポートと通信可能に連結される無線／ＨＤＭＩ（登録商標）変換器に伝達することが可能なＷｉ−Ｆｉ通信ポートであってもよい。したがって、システム３２００は、スコアボードおよびスコアボードコントローラの必要性を排除する。多くの市販の面スキャン画像センサがビデオ生成能力を含むため、カメラ３２１５の電子要素は、手頃な価格の容易に入手可能な電子構成要素に基づいてもよい。ある実施形態では、ディスプレイ３２６０は、発光ダイオード（ＬＥＤ）ディスプレイである。
システム３２００のビデオ生成能力は、場面に対するカメラ３２１５の整合中に採用されてもよい。ある実施形態では、カメラ３２１５は、画像センサ３２１０によって捕捉される画像をビデオ発生器３２２０に直接伝達するように構成される。ビデオ発生器３２２０は、画像のストリームを含むスコアボード型ビデオを生成するように、そのような画像のストリームを処理してもよい。本スコアボード型ビデオは、ディスプレイ３２６０上のリアルタイム画像ストリームを見ることによって、オペレータがカメラ３２１５を整合させ得るように、インターフェース３２５０を介してディスプレイ３２６０に伝達されてもよい。
図３３は、積算ビデオ生成能力を伴うイベントタイミングシステムを使用して、スコアボード型ビデオを生成して表示するための１つの例示的方法３３００を図示する。方法３３００は、図３２のシステム３２００を使用して行われてもよい。ステップ３３１０では、イベントタイミングデータが、カメラシステムを使用して生成される。一実施形態では、カメラシステムは、システム１００（図１）またはカメラシステム３２１５（図３２）等のＴＤＩカメラシステムであり、イベントタイミングデータは、ＴＤＩ画像１４５（図１および２）等の画像を含む。別の実施形態では、イベントタイミングデータは、デジタル２次元画像１１５（図１および２）または面スキャン画像センサ１１０（図１および３２）によって捕捉される２次元画像等の面スキャン画像を含む。ステップ３３１０は、例えば、カメラ３２１５（図３２）によって行われる。
ステップ３３２０では、イベントタイミングデータが、データ処理システムに伝達される。例えば、カメラ３２１５（図３２）は、インターフェース３２５０（図３２）を介して、画像等のイベントタイミングデータをデータ処理システム２０２０（図２０および３２）に伝達する。
ステップ３３３０では、データ処理システムは、結果データを生成するように、ステップ３３２０でそれに伝達されたイベントタイミングデータを処理する。ある実施形態では、結果データは、イベントタイミングシステムから受信されるＴＤＩ画像１４５（図１および２）等の画像を分析することによって判定される、イベントタイミング結果を含む。例えば、データ処理システム２０２０（図２０および３２）のプロセッサ２０３０（図２０および３２）は、イベントタイミング結果を生成するように、アルゴリズム２０４２（図２０および３２）に従って、ステップ３３２０でカメラ３２１５（図３２）から受信される画像を処理する。イベントタイミングは、データ記憶装置２０４１に記憶されてもよい。
ステップ３３４０では、ステップ３３３０で生成される結果データは、カメラシステムに伝達される。例えば、データ処理システム２０２０（図２０および３２）は、結果データをカメラ３２１５（図３２）のインターフェース３２５０に伝達する。
ステップ３３５０では、結果データは、スコアボード型ビデオを生成するようにカメラによって処理される。カメラは、内蔵ビデオ生成能力を使用して、結果データを処理する。例えば、ビデオ発生器３２２０（図３２）は、スコアボード型ビデオを生成するように、インターフェース３２５０（図３２）から受信される結果データを処理する。プロセッサ３２３０（図３２）は、インターフェース３２５０（図３２）から受信されるデータを結果データ３２４２（図３２）に記憶する。次いで、プロセッサ３２３０（図３２）は、命令３２４４に従って、結果データ３２４２（図３２）から結果データを読み出して処理する。スコアボード型ビデオは、本明細書の範囲から逸脱することなく、ステップ３３３０で生成される結果データ以外のデータに基づく他の要素を含んでもよい。例えば、スコアボード型ビデオは、画像のライブストリーム等の画像センサによって捕捉される画像を含んでもよい。
ステップ３３６０では、ステップ３３５０で生成されるスコアボード型ビデオが、ディスプレイに伝達される。例えば、カメラ３２１５（図３２）は、インターフェース３２５０（図３２）を介して、ビデオ発生器３２２０（図３２）によって生成されるスコアボード型ビデオをディスプレイ３２６０（図３２）に伝達する。スコアボード型ビデオは、それが生成され、またはメモリ３２４０（図３２）に一時的に記憶され、後にディスプレイ３２６０（図３２）に伝達される際に、ディスプレイ３２６０（図３２）にストリーム配信されてもよい。メモリ３２４０（図３２）は、連続ストリーミングを確実にするようにバッファとして機能してもよい。
図３４は、複数の別個のカメラ２０１５（図２０）および／または他のデータ生成システムから受信されるデータに基づいて結果を生成するために、単一のデータ処理システム２０２０（図２０）を使用する、１つの例示的イベントタイミングシステム３４００を図示する。ある実施形態では、システム３４００は、１つまたはそれを上回る代替イベントタイミングシステム２０６０（図２０）を含む。ある実施形態では、システム３４００は、スコアボード型ビデオを生成することが可能な少なくとも１つのカメラ３２１５（図３２）と、スコアボード型ビデオを表示するための少なくとも１つのディスプレイ３２６０（図３２）とを含む。随意に、システム３４００は、時間ベースではないイベント結果を提供するための１つまたはそれを上回る代替測定システム３４１０を含む。例えば、代替測定システム３４１０は、ジャンプまたはスローの長さ等の距離を測定するためのシステムである。システム３４００は、本明細書の範囲から逸脱することなく、任意の数のカメラ２０１５と、代替イベントタイミングシステム２０６０と、代替測定システム３４１０と、データ処理システム２０２０に通信可能に連結されるカメラ３２１５とを含んでもよい。システム３４００はさらに、本明細書の範囲から逸脱することなく、１つまたはそれを上回るカメラ３２１５に通信可能に連結される任意の数のディスプレイ３２６０を含んでもよい。
例示的な使用のシナリオでは、カメラ２０１５、随意に、代替イベントタイミングシステム２０６０、カメラ３２１５、および代替測定システム３４１０が、同時または連続的に発生するいくつかの個々のイベントを含む、スポーツイベントで採用される。例えば、陸上競技イベントは、典型的には、種々の走る競争、跳ぶ競争、投げる競争を含む。これらの競争のそれぞれ１つは、カメラ２０１５、随意に、代替イベントタイミングシステム２０６０、カメラ３２１５、および代替測定システム３４１０のうちの１つまたはそれを上回るものを使用して、結果を測定するための関連必要性を有する。頻繁に、複数のディスプレイ３２６０が、異なるタイプの結果を表示するように、スタジアムエリアに設置される。
ある実施形態では、カメラに含まれるＴＤＩモジュール、例えば、ＴＤＩモジュール１４０（図１）によって行われるものとして本明細書に開示されるプロセスは、代替として、本明細書の範囲から逸脱することなく、カメラの外部の別の処理システム、例えば、データ処理システム２０２０（図２０）によって、完全または部分的のいずれかで行われてもよい。そのようなデータ処理システムは、捕捉された画像を受信し、任意の以降の時点でこれらを処理してもよい。カメラは、（ＴＤＩとは対照的に）捕捉された画像のエクスポートと関連付けられるデータレートを低減させるためのデータ圧縮モジュールを具備されてもよい。同様に、データ処理システム２０２０（図２０）等のカメラの外部のデータ処理システムによって行われるものとして本明細書に開示されるプロセスは、代替として、ＴＤＩモジュール１４０（図１）の実施形態等のカメラに含まれるＴＤＩモジュールによって、またはカメラに含まれる別のデータ処理モジュールによって、完全または部分的のいずれかで行われてもよい。
前述の特徴ならびに以下に請求されるものは、本明細書の範囲から逸脱することなく、種々の方法で組み合わせられてもよい。例えば、本明細書に説明されるイベントタイミング画像を処理するための１つのシステムまたは方法の側面は、本明細書に説明されるイベントタイミング画像を処理するための別のシステムまたは方法の特徴を組み込み、または交換し得ることが、理解されるであろう。以下の実施例は、前述の実施形態の可能性として考えられる非限定的組み合わせを図示する。多くの他の変更および修正も、本発明の精神および範囲から逸脱することなく、本明細書の方法およびデバイスに行なわれ得ることが、明白となるはずである。
（Ａ１）イベントタイミング画像を処理するためのシステムは、（ａ）場面の連続デジタル２次元画像を生成するための面スキャン画像センサと、（ｂ）場面内の移動オブジェクトの時間遅延積算画像を生成するように連続デジタル２次元画像を処理するための時間遅延積算モジュールとを含んでもよい。
（Ａ２）（Ａ１）として表されるシステムでは、時間遅延積算モジュールは、面スキャン画像センサと別個であり得る。
（Ａ３）（Ａ１）および（Ａ２）として表されるシステムでは、面スキャン画像センサは、カメラに実装されてもよく、時間遅延積算モジュールは、カメラと別個であり得る。
（Ａ４）（Ａ１）から（Ａ３）として表されるシステムでは、面スキャン画像センサは、ＣＭＯＳ画像センサであってもよい。
（Ａ５）（Ａ１）から（Ａ３）として表されるシステムでは、面スキャン画像センサは、ローリングシャッタを伴うＣＭＯＳ画像センサであってもよい。
（Ａ６）（Ａ５）として表されるシステムでは、ローリングシャッタを伴うＣＭＯＳ画像センサは、ローリングリセットを伴って実装されてもよい。
（Ａ７）（Ａ１）から（Ａ６）として表されるシステムでは、場面は、移動オブジェクトを含んでもよく、連続２次元画像は、線を含んでもよく、面スキャン画像センサは、連続デジタル２次元画像につき１本の線のレートにおけるオブジェクト画像移動に対応するフレームレートを有してもよい。
（Ａ８）請求項１の（Ａ１）から（Ａ６）として表されるシステムでは、場面は、移動オブジェクトを含んでもよく、連続２次元画像は、線を含んでもよく、面スキャン画像センサは、連続デジタル２次元画像につき半分の線のレートにおけるオブジェクト画像移動に対応するフレームレートを有してもよい。
（Ａ９）（Ａ１）から（Ａ８）として表されるシステムでは、場面は、レースの決勝線を含んでもよく、移動オブジェクトは、レース参加者、またはレース参加者の一部を含んでもよい。
（Ａ１０）（Ａ１）から（Ａ９）として表されるシステムはさらに、（ａ）面スキャン画像センサおよび水準器を伴うカメラと、（ｂ）カメラと連結される調節可能マウントとを含んでもよい。
（Ａ１１）（Ａ１０）として表されるシステムはさらに、決勝線に対してカメラを整合させるようにマウントを自動的に調節するための整合制御システムを含んでもよい。
（Ａ１２）（Ａ１０）および（Ａ１１）として表されるシステムでは、マウントは、３つの相互に直交する回転自由度と、１つの平行移動自由度とを含んでもよい。
（Ａ１３）（Ａ１）から（Ａ１２）として表されるシステムでは、時間遅延積算モジュールは、フィールドプログラマブルゲートアレイに実装される画像処理回路を含んでもよく、画像処理回路は、時間遅延積算画像を生成するように連続デジタル２次元画像を処理
するために適合されてもよい。
（Ａ１４）（Ａ１）から（Ａ１３）として表されるシステムでは、面スキャン画像センサは、色画素を含んでもよく、各色画素は、複数のフォトサイトから成る。
（Ａ１５）（Ａ１４）として表されるシステムでは、時間遅延積算画像は、カラー時間遅延積算画像であってもよい。
（Ａ１６）（Ａ１５）として表されるシステムでは、画像処理回路は、連続デジタル２次元画像の分解能より優れた分解能でカラー時間遅延積算画像を生成するように、フォトサイト信号のうちの個々のものを処理するために適合されてもよい。
（Ａ１７）（Ａ１）から（Ａ１６）として表されるシステムでは、時間遅延積算モジュールは、それぞれの連続デジタル２次元画像の少なくとも一部を入力線に分割し、入力線の積算から時間遅延積算画像を形成するために適合される、画像処理回路を含んでもよく、積算の各入力線は、連続デジタル２次元画像のうちの異なるものに対応する。
（Ａ１８）（Ａ１７）として表されるシステムでは、少なくとも１つの積算の入力線の数は、非整数であってもよい。
（Ａ１９）（Ａ１７）および（Ａ１８）として表されるシステムはさらに、時間遅延積算モジュールに通信可能に連結されるコントローラを含んでもよく、画像処理回路は、コントローラから受信される信号に従って入力線の数を調節して、時間遅延積算画像の輝度を調節するように適合されてもよい。
（Ａ２０）（Ａ１９）として表されるシステムでは、画像処理回路はさらに、時間遅延積算画像の個々の画素について、入力線の数を独立して調節するように適合されてもよい。
（Ａ２１）（Ａ２０）として表されるシステムでは、入力線の数は、時間遅延積算画像の少なくとも一部について非整数であってもよい。
（Ａ２２）（Ａ２１）として表されるシステムでは、面スキャン画像センサは、それぞれの複数の伝送を伴う複数のフィルタ部分を有する、フィルタを含んでもよく、連続デジタル２次元画像は、それぞれの複数の輝度を有する複数の画像部分を含んでもよく、各画像部分は、フィルタ部分のうちの１つに対応する。
（Ａ２３）（Ａ１７）から（Ａ２２）として表されるシステムでは、面スキャン画像センサは、色センサであり、各色センサ画素は、フォトサイトのベイヤー型アレイを含み、入力線は、入力線と垂直な連続デジタル２次元画像の２倍の分解能で入力線を生成するように、（ａ）色センサによって捕捉される同一の線画像フレームからのフォトサイトからの信号から成る、元の画素と、（ｂ）２本の連続的に捕捉された線画像フレームからのフォトサイトからの信号から成る、クロスオーバー画素とを交互に繰り返してもよい。
（Ａ２４）（Ａ１７）から（Ａ２２）として表されるシステムでは、面スキャン画像センサは、複数の３本線カラーラインを伴う色センサであってもよく、それぞれの３本線カラーラインは、それぞれの第１、第２、および第３の色感度を有する、第１、第２、および第３のフォトサイト線を含み、入力線は、入力線と垂直な連続デジタル２次元画像の３倍の分解能で入力線を生成するように、（ａ）面スキャン画像センサによって捕捉される第１の線画像フレームに属する第１、第２、および第３のフォトサイト線からの信号から成る、元の画像と、（ｂ）第１の線画像フレームおよび後に捕捉された第２の線画像フレームからの信号から成る、第１のクロスオーバー画素であって、クロスオーバー画素は、第１の線画像フレームの２本のフォトサイト線および第２の線画像フレームの１本のフォトサイト線からの信号から成る、第１のクロスオーバー画素と、（ｃ）第１の線画像フレームおよび第２の線画像フレームからの信号から成る、第２のクロスオーバー画素であって、第１の線画像フレームの１本のフォトサイト線および第２の線画像フレームの２本のフォトサイト線からの信号を備える、第２のクロスオーバー画素とを交互に繰り返してもよい。
（Ａ２５）（Ａ１）から（Ａ２４）として表されるシステムでは、面スキャン画像センサは、色センサであってもよく、時間遅延積算画像は、色センサの元の色画素と、色センサによって捕捉される異なる画像からのフォトサイトを組み合わせることによって形成されるクロスオーバー色画素とを含んでもよい。
（Ａ２６）（Ａ１）から（Ａ２５）として表されるシステムでは、面スキャン画像センサおよび時間遅延積算モジュールは、（ａ）カメラから受信される画像から結果データを生成するためのデータ処理システム、および（ｂ）スコアボード型ビデオを表示するためのディスプレイと通信可能に連結されるカメラに組み込まれてもよく、カメラはさらに、スコアボード型ビデオを生成するように結果データを処理するためのビデオ発生器を含んでもよい。
（Ｂ１）イベントタイミング画像を処理するための方法は、（ａ）面スキャン画像センサを使用して、場面の連続デジタル２次元画像を捕捉するステップと、（ｂ）場面内で移動するオブジェクトの時間遅延積算画像を生成するように連続デジタル２次元画像を処理するステップとを含んでもよい。
（Ｂ２）（Ｂ１）として表される方法はさらに、処理するステップを行うために、面スキャン画像センサから面スキャン画像センサと別個のモジュールに連続デジタル２次元画像を伝達するステップを含んでもよい。
（Ｂ３）（Ｂ１）および（Ｂ２）として表される方法では、面スキャン画像センサは、カメラに実装されてもよく、モジュールは、カメラと別個であり得る。
（Ｂ４）（Ｂ１）から（Ｂ３）として表される方法では、処理するステップは、（ａ）それぞれの連続デジタル２次元画像の少なくとも一部を入力線に分割することと、（ｂ）時間遅延積算画像の各線に複数の入力線にわたる積算を投入することとによって、場面内の移動オブジェクトの少なくとも一部の時間遅延積算画像を形成するように、連続デジタル２次元画像を積算するステップを含んでもよく、それぞれの複数の入力線は、入力線と垂直な方向への移動オブジェクトの移動に実質的に合致するように、連続デジタル２次元画像のうちの異なるものから選択される。
（Ｂ５）（Ｂ４）として表される方法では、処理するステップはさらに、時間遅延積算画像の輝度を調節するように入力線の数を調節するステップを含んでもよい。
（Ｂ６）（Ｂ５）として表される方法では、入力線の数を調節するステップは、時間遅延積算画像の各画素について、時間遅延積算画像の輝度を局所的に調節するように、入力線の数を独立して調節するステップを含んでもよい。
（Ｂ７）（Ｂ４）から（Ｂ６）として表される方法では、入力線の数は、時間遅延積算画像の少なくとも一部について非整数であってもよい。
（Ｂ８）（Ｂ１）から（Ｂ７）として表される方法では、面スキャン画像センサは、色センサであってもよい。
（Ｂ９）（Ｂ８）として表される方法では、連続デジタル２次元画像を処理するステップはさらに、連続的に捕捉された２次元画像からのフォトサイトを組み合わせることによって形成されるクロスオーバー画素を含むことによって、時間遅延積算画像の分解能を増加させるステップを含んでもよい。
（Ｂ１０）（Ｂ１）から（Ｂ９）として表される方法では、場面は、移動オブジェクトを含んでもよく、２次元画像は、線を含んでもよく、捕捉するステップは、連続画像につき１本の線のレートにおけるオブジェクト画像移動に対応するフレームレートで画像を捕捉するステップを含んでもよい。
（Ｂ１１）（Ｂ１）から（Ｂ９）として表される方法では、場面は、移動オブジェクトを含んでもよく、２次元画像は、線を含んでもよく、捕捉するステップは、連続画像につき半分の線のレートにおけるオブジェクト画像移動に対応するフレームレートで画像を捕捉するステップを含んでもよい。
（Ｂ１２）（Ｂ１）から（Ｂ１１）として表される方法では、場面はさらに、レースの決勝線を含んでもよく、オブジェクトは、レースの参加者、またはレースの参加者の一部を含んでもよい。
（Ｂ１３）（Ｂ１）から（Ｂ１２）として表される方法では、面スキャン画像センサは、ローリングシャッタを含んでもよい。
（Ｂ１４）（Ｂ１）から（Ｂ１２）として表される方法では、面スキャン画像センサは、ローリングリセットを伴って実装されるローリングシャッタを含んでもよい。
（Ｂ１５）（Ｂ１）から（Ｂ１４）として表される方法では、面スキャン画像センサは、それぞれの複数の伝送を伴う複数のフィルタ部分を有する、フィルタを含んでもよく、処理するステップはさらに、ある輝度の時間遅延積算画像を生成するように、フィルタ部分のうちの１つと関連付けられる連続デジタル２次元画像の一部を選択するステップを含んでもよい。
（Ｃ１）それぞれの複数の入力時間と関連付けられる複数の入力画像を処理するための方法であって、入力画像および入力時間が、イベントタイミングシステムによって提供され、方法は、（ａ）出力フレームレートを選択するステップと、（ｂ）複数の入力画像から、出力フレームレートに対応する複数の出力画像を生成するステップと、（ｃ）イベントタイミングシステムによって提供される最終出力時間を各出力画像に割り当てるステップであって、最終出力時間は、出力画像に寄与する入力画像と関連付けられる入力時間である、ステップとを含んでもよい。
（Ｃ２）（Ｃ１）として表される方法はさらに、出力フレームレートに対応する初期出力時系列を判定するステップを含んでもよい。
（Ｃ３）（Ｃ２）として表される方法では、生成するステップにおいて、各出力画像は、初期出力時間が入力時間と同一であるときに、入力画像と同一であり得、初期出力時間が入力時間と同一ではないときに、初期出力時間の近くで捕捉される入力画像の加重平均であってもよい。
（Ｃ４）（Ｃ３）として表される方法では、加重平均は、初期出力時間に最も近い関連入力時間を伴う２つの入力画像の加重平均であってもよく、初期出力時間が入力時間と同一ではないとき、２つの入力画像のうちの一方は、初期出力時間の前に捕捉され、２つの入力画像のうちの他方は、初期出力時間の後に捕捉される。
（Ｃ５）（Ｃ４）として表される方法では、加重平均の加重は、初期出力時間と加重平均に寄与する入力画像と関連付けられる入力時間との間の時間差が増加するとともに減少してもよい。
（Ｃ６）（Ｃ１）から（Ｃ５）として表される方法はさらに、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つを使用して、入力画像を生成するステップを含んでもよい。
（Ｃ７）（Ｃ６）として表される方法では、入力画像は、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つによって生成される、時間遅延積算画像であってもよい。
（Ｃ８）（Ｃ６）として表される方法では、入力画像は、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つの面スキャン画像センサによって捕捉される、デジタル２次元画像であってもよい。
（Ｃ９）（Ｃ１）から（Ｃ７）として表される方法はさらに、（Ｂ１）から（Ｂ１５）として表される方法のうちのいずれか１つに従って、時間遅延積算画像として入力画像を生成するステップを含んでもよい。
（Ｄ１）イベント記録およびタイミングシステムによって提供される画像ならびに関連イベント時間を処理するための方法は、（ａ）（ｉ）画像および関連時間、ならびに（ｉｉ）時間とイベントとの間の対応を受信するステップと、（ｂ）着目イベントを選択するステップと、（ｃ）プロセッサおよび機械可読命令を使用して、着目イベントと関連付けられない画像を自動的に破棄するステップとを含んでもよい。
（Ｄ２）（Ｄ１）として表される方法では、時間とイベントとの間の対応は、高周波識別タイミングシステムによって提供されてもよい。
（Ｄ３）（Ｄ１）および（Ｄ２）として表される方法では、画像は、時間遅延積算画像であってもよい。
（Ｄ４）（Ｄ１）から（Ｄ３）として表される方法はさらに、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つを使用して、画像を生成するステップを含んでもよい。
（Ｄ５）（Ｄ４）として表される方法では、画像は、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つによって生成される、時間遅延積算画像であってもよい。
（Ｄ６）（Ｄ３）として表される方法はさらに、（Ｂ１）から（Ｂ１５）として表される方法のうちのいずれか１つに従って、時間遅延積算画像を生成するステップを含んでもよい。
（Ｅ１）イベントの記録およびタイミングのためのシステムは、（ａ）イベントの画像を捕捉するためのカメラシステムであって、時計を備える、カメラシステムと、（ｂ）イベントを検出するためのイベントレコーダであって、時計と通信可能に連結される、イベントレコーダと、（ｃ）時計によって提供される時間を、カメラシステムによって捕捉される画像およびイベントレコーダによって検出されるイベントに割り当てることが可能である、データ処理システムとを含んでもよい。
（Ｅ２）（Ｅ１）として表されるシステムでは、データ処理システムは、プロセッサと、不揮発性メモリの中で符号化される機械可読命令とを含んでもよく、命令は、プロセッサによって実行されると、時間を割り当てるために適合される。
（Ｅ３）（Ｅ１）および（Ｅ２）として表されるシステムでは、カメラシステムは、ＣＭＯＳ画像センサを含んでもよい。
（Ｅ４）（Ｅ３）として表されるシステムでは、ＣＭＯＳ画像センサは、ローリングシャッタを含んでもよい。
（Ｅ５）（Ｅ４）として表されるシステムでは、ローリングシャッタは、ローリングリセット機能を伴って実装されてもよい。
（Ｅ６）（Ｅ１）から（Ｅ５）として表されるシステムはさらに、カメラシステムによって捕捉される画像の時間遅延積算を行うための回路を有する、時間遅延積算モジュールを含んでもよい。
（Ｅ７）（Ｅ６）として表されるシステムでは、回路は、フィールドプログラマブルゲートアレイに実装される。
（Ｅ８）（Ｅ６）および（Ｅ７）として表されるシステムでは、時間遅延積算モジュールは、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つの時間遅延積算モジュールであってもよい。
（Ｅ９）（Ｅ１）から（Ｅ２）として表されるシステムでは、カメラは、イベントの画像を捕捉するために、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つの面スキャン画像センサを利用してもよい。
（Ｅ１０）（Ｅ１）から（Ｅ９）として表されるシステムでは、イベントレコーダは、近接している高周波識別チップを検出および識別するための高周波識別デコーダであってもよい。
（Ｅ１１）（Ｅ１）から（Ｅ１０）として表されるシステムでは、データ処理システムは、プロセッサによって実行されると、カメラシステムによって捕捉されるイベントの画像をイベントレコーダによって検出されるイベントと相関させるために適合される、命令を含んでもよい。
（Ｅ１２）（Ｅ１）から（Ｅ１１）として表されるシステムでは、データ処理システムは、プロセッサによって実行されると、イベントレコーダによって検出されるイベントと関連付けられない、カメラシステムによって捕捉される画像を破棄するために適合される、命令を含んでもよい。
（Ｆ１）面スキャン画像センサは、複数の色画素を含んでもよく、各色画素は、３つの異なる色に対して感受性がある、３つの異なるフォトサイトタイプを含み、フォトサイトは、３×３アレイの各行および各列が、３つのフォトサイトタイプを備え、全ての行および列が、それぞれ、任意の他の行および列と異なるフォトサイト構成を有するように、３×３アレイに配列される。
（Ｆ２）（Ｆ１）として表される面スキャン画像センサでは、３つのフォトサイトタイプは、それぞれ、赤色、緑色、および青色光に対する感受性を有してもよい。
（Ｆ３）（Ｆ１）および（Ｆ２）として表される、それぞれの面スキャン画像センサは、面スキャン画像センサによって捕捉される画像から時間遅延積算画像を提供するためのイベントタイミングシステムに実装されてもよい。
（Ｆ４）（Ｆ１）および（Ｆ２）として表される、それぞれの面スキャン画像センサは、面スキャン画像センサの色画素の分解能と比較して増加させられる分解能で、面スキャン画像センサによって捕捉される画像から時間遅延積算画像を提供するためのイベントタイミングシステムに実装されてもよい。
（Ｆ５）（Ｆ３）および（Ｆ４）として表される面スキャン画像センサでは、イベントタイミングシステムは、（Ａ１）から（Ａ２２）、（Ａ２５）、（Ａ２６）、および（Ｅ１）から（Ｅ１２）として表されるシステムのうちのいずれか１つであってもよい。
（Ｇ１）イベントタイミング画像を処理するためのシステムは、（ａ）（ｉ）線を含む場面の画像を捕捉するための面スキャン画像センサと、（ｉｉ）水準器とを備える、カメラと、（ｂ）カメラと連結される調節可能マウントと、（ｃ）線に対してカメラを整合させるようにマウントを自動的に調節するための整合制御システムとを含んでもよい。
（Ｇ２）（Ｇ１）として表されるシステムでは、線は、レースの決勝線であってもよい。
（Ｇ３）（Ｇ１）および（Ｇ２）として表されるシステムでは、カメラはさらに、時間遅延積算画像を生成するように面スキャン画像センサによって捕捉される画像を処理するための時間遅延積算モジュールを含んでもよい。
（Ｇ４）（Ｇ３）として表されるシステムでは、面スキャン画像センサは、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つの面スキャン画像センサであってもよい。
（Ｇ５）（Ｇ３）および（Ｇ４）として表されるシステムでは、時間遅延積算モジュールは、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つの時間遅延積算モジュールであってもよい。
（Ｈ１）イベントタイミング画像を処理するためのシステムは、（ａ）画像を捕捉するための画像センサと、スコアボード型ビデオを生成するためのビデオ発生器とを備える、カメラと、（ｂ）カメラから受信される画像から結果データを生成し、結果データをビデオ発生器に伝達するためのカメラと通信可能に連結されるデータ処理モジュールとを含んでもよい。
（Ｈ２）（Ｈ１）として表されるシステムはさらに、スコアボード型ビデオを表示するためのディスプレイを含んでもよく、スコアボード型ビデオの少なくとも一部は、結果データから生成される。
（Ｈ３）（Ｈ１）および（Ｈ２）として表されるシステムでは、カメラは、時間遅延積算画像を生成するように、画像センサによって捕捉される画像を処理するための画像センサと通信可能に連結される時間遅延積算モジュールを含んでもよい。
（Ｈ４）（Ｈ３）として表されるシステムでは、時間遅延積算モジュールは、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つの時間遅延積算モジュールであってもよい。
（Ｈ５）（Ｈ１）から（Ｈ４）として表されるシステムでは、画像センサは、面スキャン画像センサであってもよく、画像は、２次元面スキャン画像であってもよい。
（Ｉ１）ソフトウェア製品は、非一過性のコンピュータ可読媒体上に記憶された命令を含み、命令は、コンピュータによって実行されると、時間遅延積算画像を形成するように、移動オブジェクトを備える場面の連続デジタル２次元画像を処理するためのステップを行い、ソフトウェア製品は、（ａ）それぞれの連続デジタル２次元画像の少なくとも一部を入力線に分割するための命令と、（ｂ）時間遅延積算画像の各線に複数の入力線にわたる積算を投入するための命令であって、それぞれの複数の入力線は、入力線と垂直な方向への移動オブジェクトの移動に実質的に合致するように、連続デジタル２次元画像のうちの異なるものから選択される、命令とを含んでもよい。
（Ｉ２）（Ｉ１）として表されるソフトウェア製品では、連続的に捕捉されたデジタル２次元画像を処理するための命令はさらに、時間遅延積算画像の輝度を調節するように入力線の数を調節するための命令を含んでもよい。
（Ｉ３）（Ｉ２）として表されるソフトウェア製品では、入力線の数を調節するための命令は、時間遅延積算画像の各画素について、時間遅延積算画像の輝度を局所的に調節するように、入力線の数を独立して調節するための命令を含んでもよい。
（Ｉ４）（Ｉ３）として表されるソフトウェア製品では、入力線の数は、時間遅延積算画像の少なくとも一部について非整数であってもよい。
（Ｉ５）（Ｉ１）から（Ｉ４）として表されるソフトウェア製品では、連続デジタル２次元画像は、カラー画像であってもよい。
（Ｉ６）（Ｉ５）として表されるソフトウェア製品では、連続デジタル２次元画像を処理するための命令はさらに、連続的に捕捉された２次元画像からのフォトサイト信号を組み合わせることによって形成されるクロスオーバー画素を含むことによって、時間遅延積算画像の分解能を増加させるための命令を含んでもよい。
（Ｉ７）（Ｉ１）から（Ｉ６）として表されるソフトウェア製品は、（Ａ１）から（Ａ２６）として表されるシステムのうちのいずれか１つに実装されてもよい。
（Ｊ１）ソフトウェア製品は、非一過性のコンピュータ可読媒体上に記憶された命令を含み、命令は、コンピュータによって実行されると、それぞれの複数の入力時間と関連付けられる複数の入力画像を処理するためのステップを行い、入力画像および入力時間は、イベントタイミングシステムによって提供され、命令は、（ａ）出力フレームレートを選択するための命令と、（ｂ）複数の入力画像から、出力フレームレートに対応する複数の出力画像を生成するための命令と、（ｃ）イベントタイミングシステムによって提供される最終出力時間を各出力画像に割り当てるための命令であって、最終出力時間は、出力画像に寄与する入力画像と関連付けられる入力時間である、命令とを含んでもよい。
（Ｊ２）（Ｊ１）として表されるソフトウェア製品では、複数の入力画像を処理するための命令はさらに、出力フレームレートに対応する初期出力時系列を判定するための命令を含んでもよく、複数の出力画像を生成するための命令は、各出力画像を、初期出力時間が入力時間と同一であるときに、入力画像と同等に、初期出力時間が入力時間と同一ではないときに、初期出力時間の近くで捕捉される入力画像の加重平均に設定するための命令を含んでもよい。
本明細書の範囲から逸脱することなく、前述のシステムおよび方法に変更が行なわれてもよい。したがって、前述の説明に含有され、付随の図面に示される事項は、限定的意味としてではなく、例証的として解釈されるべきであることに留意されたい。以下の請求項は、本明細書に説明される一般的および具体的特徴ならびに文言上それに含まれると見なされ得る、本方法およびシステムの範囲の全記述を網羅することが意図される。

Claims (1)

  1. 本願明細書に記載の発明。
JP2017011293A 2014-04-28 2017-01-25 イベントタイミング画像を処理するためのシステムおよび方法 Active JP6564409B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US14/263,578 2014-04-28
US14/263,504 US20150312504A1 (en) 2014-04-28 2014-04-28 Camera Systems For Processing Event Timing Images
US14/263,550 2014-04-28
US14/263,550 US9398196B2 (en) 2014-04-28 2014-04-28 Methods for processing event timing images
US14/263,532 2014-04-28
US14/263,504 2014-04-28
US14/263,532 US10375300B2 (en) 2014-04-28 2014-04-28 Methods for processing event timing data
US14/263,578 US9413926B2 (en) 2014-04-28 2014-04-28 Systems for processing event timing images

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016565504A Division JP6196745B2 (ja) 2014-04-28 2015-04-28 イベントタイミング画像を処理するためのシステムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019137883A Division JP6842509B2 (ja) 2014-04-28 2019-07-26 イベントタイミング画像を処理するためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2017108428A true JP2017108428A (ja) 2017-06-15
JP2017108428A5 JP2017108428A5 (ja) 2018-06-07
JP6564409B2 JP6564409B2 (ja) 2019-08-21

Family

ID=54359216

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016565504A Active JP6196745B2 (ja) 2014-04-28 2015-04-28 イベントタイミング画像を処理するためのシステムおよび方法
JP2017011293A Active JP6564409B2 (ja) 2014-04-28 2017-01-25 イベントタイミング画像を処理するためのシステムおよび方法
JP2019137883A Active JP6842509B2 (ja) 2014-04-28 2019-07-26 イベントタイミング画像を処理するためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016565504A Active JP6196745B2 (ja) 2014-04-28 2015-04-28 イベントタイミング画像を処理するためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019137883A Active JP6842509B2 (ja) 2014-04-28 2019-07-26 イベントタイミング画像を処理するためのシステムおよび方法

Country Status (7)

Country Link
EP (4) EP3934228B1 (ja)
JP (3) JP6196745B2 (ja)
AU (5) AU2015253372B2 (ja)
CA (4) CA2969933C (ja)
ES (1) ES2757809T3 (ja)
NZ (1) NZ726074A (ja)
WO (1) WO2015168058A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020246186A1 (ja) * 2019-06-04 2020-12-10 ソニー株式会社 撮像システム
WO2021079455A1 (ja) * 2019-10-24 2021-04-29 三菱電機株式会社 画像生成システム及び画像処理装置、並びにプログラム及び記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020034083A1 (en) * 2018-08-14 2020-02-20 Huawei Technologies Co., Ltd. Image processing apparatus and method for feature extraction
CN109089031B (zh) * 2018-09-21 2020-04-10 中国科学院长春光学精密机械与物理研究所 Cmos探测器不同帧频相同积分时间下输出一致的方法
EP3667415B1 (fr) * 2018-12-12 2022-03-02 Swiss Timing Ltd. Procede et systeme d'affichage d'une image instantanee de l'arrivee d'une course a partir d'une image temporelle de type photofinish
EP3869793B1 (en) * 2020-02-19 2022-10-12 Sick IVP AB Method for reducing effects of laser speckles
JP2022108472A (ja) * 2021-01-13 2022-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
CN116866726B (zh) * 2023-09-01 2023-11-07 合肥埃科光电科技股份有限公司 Tdi相机积分方法、彩色tdi相机积分方法、tdi相机及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511718A (ja) * 1998-04-10 2002-04-16 リンクス システム デベロッパーズ インコーポレイテッド 対象物認識機能及びデータ出力を有するカメラ
JP2013236658A (ja) * 2012-05-11 2013-11-28 Flovel Co Ltd 着順判定装置およびその制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657077A (en) * 1993-02-18 1997-08-12 Deangelis; Douglas J. Event recording system with digital line camera
US7009163B2 (en) * 2001-06-22 2006-03-07 Orbotech Ltd. High-sensitivity optical scanning using memory integration
KR20040047383A (ko) * 2002-11-29 2004-06-05 장영조 Cmos 이미지센서와 칼라 보간 알고리즘을 이용한 영상처리방법 및 장치.
KR100538322B1 (ko) * 2003-04-10 2005-12-23 스타브이-레이주식회사 면적센서를 이용한 티디아이(ｔｄｉ) 방식의 디텍터 시스템
JP4432497B2 (ja) * 2004-01-13 2010-03-17 カシオ計算機株式会社 画像撮影装置
TWI243587B (en) * 2004-09-02 2005-11-11 Primax Electronics Ltd Multiple resolution image sensor and control method thereof
JP4357471B2 (ja) * 2005-09-30 2009-11-04 三洋電機株式会社 画像取得装置及びプログラム
JP4618100B2 (ja) * 2005-11-04 2011-01-26 ソニー株式会社 撮像装置、撮像方法、およびプログラム
EP2055095A4 (en) * 2006-08-25 2012-06-27 Eliezer Jacob IMPROVED DIGITAL CAMERA WITH INCORRECT IMAGE RESOLUTION
WO2008108071A1 (ja) * 2007-03-06 2008-09-12 Panasonic Corporation 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ
US8446309B2 (en) * 2009-02-19 2013-05-21 Cmosis Nv Analog-to-digital conversion in pixel arrays
US8558899B2 (en) * 2009-11-16 2013-10-15 The Aerospace Corporation System and method for super-resolution digital time delay and integrate (TDI) image processing
US8827574B2 (en) * 2010-11-03 2014-09-09 Joseph M. Johnson Camera mounting assembly
JP5678911B2 (ja) * 2012-03-12 2015-03-04 カシオ計算機株式会社 画像合成装置、その画像合成方法、及びプログラム
GB2502065A (en) * 2012-05-14 2013-11-20 Sony Corp Video comparison apparatus for sports coverage
JP5653395B2 (ja) * 2012-07-06 2015-01-14 日本写真判定株式会社 走行競技の順位判定方法及びその装置
US9148601B2 (en) * 2012-09-26 2015-09-29 Teledyne Dalsa, Inc. CMOS TDI image sensor with rolling shutter pixels

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002511718A (ja) * 1998-04-10 2002-04-16 リンクス システム デベロッパーズ インコーポレイテッド 対象物認識機能及びデータ出力を有するカメラ
JP2013236658A (ja) * 2012-05-11 2013-11-28 Flovel Co Ltd 着順判定装置およびその制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020246186A1 (ja) * 2019-06-04 2020-12-10 ソニー株式会社 撮像システム
US11760267B2 (en) 2019-06-04 2023-09-19 Sony Group Corporation Imaging system
WO2021079455A1 (ja) * 2019-10-24 2021-04-29 三菱電機株式会社 画像生成システム及び画像処理装置、並びにプログラム及び記録媒体
JPWO2021079455A1 (ja) * 2019-10-24 2021-04-29
JP7166470B2 (ja) 2019-10-24 2022-11-07 三菱電機株式会社 画像生成システム及び画像処理装置、並びにプログラム及び記録媒体

Also Published As

Publication number Publication date
AU2015253372B2 (en) 2018-07-19
EP3138278B1 (en) 2019-09-11
AU2018204625A1 (en) 2018-07-12
JP2017514408A (ja) 2017-06-01
AU2018204625B2 (en) 2020-07-09
JP6196745B2 (ja) 2017-09-13
AU2022204184A1 (en) 2022-07-07
JP6842509B2 (ja) 2021-03-17
CA3171586C (en) 2023-05-23
EP4307704A2 (en) 2024-01-17
AU2022204184B2 (en) 2023-09-14
EP3934228C0 (en) 2023-11-29
EP3598731A1 (en) 2020-01-22
EP3138278A1 (en) 2017-03-08
WO2015168058A1 (en) 2015-11-05
EP3934228A1 (en) 2022-01-05
EP4307704A3 (en) 2024-04-10
CA2969933C (en) 2022-12-13
CA2969933A1 (en) 2015-11-05
CA3197174A1 (en) 2015-11-05
CA2947266C (en) 2017-07-18
CA3171586A1 (en) 2015-11-05
AU2020205247B2 (en) 2022-03-17
EP3934228B1 (en) 2023-11-29
JP6564409B2 (ja) 2019-08-21
NZ726074A (en) 2017-12-22
ES2757809T3 (es) 2020-04-30
JP2019216441A (ja) 2019-12-19
EP3138278A4 (en) 2018-02-21
AU2023282215A1 (en) 2024-01-04
CA2947266A1 (en) 2015-11-05
NZ738243A (en) 2021-11-26
AU2020205247A1 (en) 2020-07-30
AU2015253372A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
US10986267B2 (en) Systems and methods for generating time delay integration color images at increased resolution
JP6564409B2 (ja) イベントタイミング画像を処理するためのシステムおよび方法
US9398196B2 (en) Methods for processing event timing images
US9413926B2 (en) Systems for processing event timing images
US20150312504A1 (en) Camera Systems For Processing Event Timing Images
US9661210B2 (en) Image pickup device and image pickup apparatus
US9288399B2 (en) Image processing apparatus, image processing method, and program
Bradley et al. Synchronization and rolling shutter compensation for consumer video camera arrays
CN103688536B (zh) 图像处理装置、图像处理方法
JP2015177258A (ja) 画像入力装置
NZ738243B2 (en) Systems and methods for processing event timing images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190726

R150 Certificate of patent or registration of utility model

Ref document number: 6564409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250