JP2020507974A - 追跡、敵の攻撃インジケーション、輝き抑圧、及びその他の用途のためのピクセルベースのイベント検出 - Google Patents

追跡、敵の攻撃インジケーション、輝き抑圧、及びその他の用途のためのピクセルベースのイベント検出 Download PDF

Info

Publication number
JP2020507974A
JP2020507974A JP2019541362A JP2019541362A JP2020507974A JP 2020507974 A JP2020507974 A JP 2020507974A JP 2019541362 A JP2019541362 A JP 2019541362A JP 2019541362 A JP2019541362 A JP 2019541362A JP 2020507974 A JP2020507974 A JP 2020507974A
Authority
JP
Japan
Prior art keywords
counter
pixel
event
detector
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019541362A
Other languages
English (en)
Other versions
JP6785978B2 (ja
Inventor
アール． ハリス，ミッキー
アール． ハリス，ミッキー
ジェイ． ビエヴィル，エリック
ジェイ． ビエヴィル，エリック
エス． コスタ，ジュリエット
エス． コスタ，ジュリエット
エム． ボエミラー，クリスチャン
エム． ボエミラー，クリスチャン
エー． マシー，マーク
エー． マシー，マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2020507974A publication Critical patent/JP2020507974A/ja
Application granted granted Critical
Publication of JP6785978B2 publication Critical patent/JP6785978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0266—Field-of-view determination; Aiming or pointing of a photometer; Adjusting alignment; Encoding angular position; Size of the measurement area; Position tracking; Photodetection involving different fields of view for a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/17—Circuit arrangements not adapted to a particular type of detector
    • G01T1/171—Compensation of dead-time counting losses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

方法(500)は、撮像システム(100)のピクセルで受けた照明に基づく強度値(216)を生成することを含む。強度値は、第１の期間中に検出器(200)の第１のカウンタ(210)を用いて値を積分する(506)ことによって生成される。当該方法はまた、検出器の第２のカウンタ(212)を用いて、第１の期間内の、より短い複数の第２の期間中に繰り返し値を積分する(508)ことを含む。第２のカウンタは、第１のカウンタよりも低いビット分解能を有する。当該方法は更に、第２の期間の各々で第２のカウンタをリセットすることを含む。さらに、当該方法は、第２のカウンタが指定の値を出力することに応答してピクセルイベントインジケータ(218)を生成する(510)ことを含む。当該方法はまた、１つ以上の隣接検出器(200)も１つ以上のピクセルイベントインジケータを生成したかを決定し(512)、１つ以上の隣接検出器も１つ以上のピクセルイベントインジケータを生成したときにイベントインジケータ(226)を生成する(514)ことを含み得る。

Description

本開示は概して撮像システムに関する。より具体的には、本開示は、追跡、敵の攻撃インジケーション、輝き抑圧、及びその他の用途のためのピクセルベースのイベント検出に関する。
典型的な撮像システム又は“イメージャ”は、特定のフレームレートで一連の画像フレームをキャプチャすることができる。残念ながら、イメージャの時間帯域幅は、キャプチャされる画像フレームのフレームレートによって制限される。強度的に明るいがフレームレートよりも短いイベントが発生した場合、イメージャの乏しい時間分解能のために、そのイベントが発生したときを特定する情報が失われ得る。また、イベントの明るい強度が、シーン内の空間情報を見定めるイメージャの能力を制限し得る。イメージャに影響を及ぼし得る様々な明るいイベントは、反射物体からの輝き、兵器からの砲口火花、又は携行式ロケット弾発射を含む。
この問題を解決するための１つの従来アプローチは、アナログ式ピーク・デリバティブフィルタリングの使用を含む。しかしながら、このアプローチは典型的に、大量の電力を消費するとともに、例えば相補型金属酸化膜半導体（ＣＭＯＳ）ピクセルを使用するものなどの先進的なデジタル撮像システムではうまく機能しない。別の従来アプローチは、イベントを位置特定するためにイメージャの全体的なフレームレートを上げて画像フレームを後処理するものであるが、このアプローチは、イメージャの感度を低下させるとともに、システム全体によって消費される電力量を劇的に増加させてしまう。
本開示は、追跡、敵の攻撃インジケーション、輝き抑圧、及びその他の用途のためのピクセルベースのイベント検出を提供する。
第１の実施形態において、方法は、撮像システムのピクセルで受けた照明に基づく強度値を生成することを含む。強度値は、第１の期間中に検出器の第１のカウンタを用いて値を積分することによって生成される。当該方法はまた、検出器の第２のカウンタを用いて、第１の期間内の、より短い複数の第２の期間中に繰り返し値を積分することを含む。第２のカウンタは、第１のカウンタよりも低いビット分解能を有する。当該方法は更に、第２の期間の各々で第２のカウンタをリセットすることを含む。さらに、当該方法は、第２のカウンタが指定の値を出力することに応答して、ピクセルイベントインジケータを生成することを含む。
第２の実施形態において、装置は、ピクセルで受けた照明の強度を測定し、受けた照明を用いてイベントを検出するように構成された検出器を含む。検出器は、第１の期間中に値を積分することによって、ピクセルで受けた照明に基づく強度値を生成するように構成された第１のカウンタを含む。検出器はまた、第１の期間内の、より短い複数の第２の期間中に繰り返し値を積分するように構成された第２のカウンタを含む。第２のカウンタは、第１のカウンタよりも低いビット分解能を有し、且つ複数の第２の期間の各々でリセットされるように構成される。検出器は更に、第２のカウンタが指定の値を出力することに応答してピクセルイベントインジケータを生成するように構成されたラッチを含む。
第３の実施形態において、システムは、複数のピクセルを有するフォーカルプレーンアレイと、ピクセルのうち少なくとも一部の各々についての、ピクセルで受けた照明の強度を測定し、受けた照明を用いてイベントを検出するように構成された検出器とを含む。各検出器が、第１の期間中に値を積分することによって、ピクセルで受けた照明に基づく強度値を生成するように構成された第１のカウンタを含む。各検出器はまた、第１の期間内の、より短い複数の第２の期間中に繰り返し値を積分するように構成された第２のカウンタを含み、第２のカウンタは、第１のカウンタよりも低いビット分解能を有し、且つ複数の第２の期間の各々でリセットされるように構成される。各検出器は更に、第２のカウンタが指定の値を出力することに応答してピクセルイベントインジケータを生成するように構成されたラッチを含む。
その他の技術的特徴が、以下の図面、説明、及び請求項から、当業者には容易に明らかになる。
より完全なる本開示の理解のため、以下の図を含む添付図面とともに以下の説明を参照する。
本開示に従ったピクセルベースのイベント検出をサポートするシステムの一例を示している。 本開示に従ったピクセルベースのイベント検出器の一例を示している。 本開示に従ったピクセルベースのイベント検出器の動作に関連するタイミング図の一例を示している。 本開示に従ったピクセルベースのイベント検出器の一使用例を示している。 本開示に従ったピクセルベースのイベント検出の方法の一例を示している。
以下に説明される図１−５、及び本特許文献にて本発明の原理を説明するために使用される様々な実施形態は、単に例示によるものであり、本発明の範囲を限定するように解釈されるべきでない。当業者が理解するように、本発明の原理は、あらゆる種類の好適に構成された装置又はシステムにて実装され得る。
図１は、本開示に従ったピクセルベースのイベント検出をサポートするシステム１００の一例を示している。図１に示すように、システム１００は、集束系（フォーカシングシステム）１０２、フォーカルプレーン（焦点面）アレイ１０４、及びプロセッシングシステム１０６を含んでいる。集束系１０２は概して、シーンからの照明をフォーカルプレーンアレイ１０４上にフォーカシングするように動作する。集束系１０２は、例えば６０°×６０°の視野など、フォーカルプレーンアレイ１０４上に向けられる任意の好適な視野を持ち得る。集束系１０２は、例えば１つ以上のレンズ、ミラー、又は他の光学デバイスなど、照明をフォーカシングするための任意の好適な（１つ以上の）構造を含む。
フォーカルプレーンアレイ１０４は概して、シーンの画像をキャプチャするように動作する。フォーカルプレーンアレイ１０４は、シーンを表す電気信号を生成するピクセルのマトリックス又は他の集まりを含んでいる。フォーカルプレーンアレイ１０４は、例えば可視、赤外、又は紫外のスペクトルなどの任意の好適な（１つ以上の）スペクトルで画像をキャプチャし得る。フォーカルプレーンアレイ１０４はまた、例えばフォーカルプレーンアレイ１０４が約８，０００ピクセル×約８，０００ピクセルの集まりを含む場合など、任意の好適な解像度を持ち得る。フォーカルプレーンアレイ１０４は、画像をキャプチャする任意の好適なピクセルの集まりを含む。フォーカルプレーンアレイ１０４はまた、例えば読み出し（リードアウト）集積回路（ＲＯＩＣ）などの、ピクセルからの情報の受信及び出力を支援する更なるコンポーネントを含み得る。
より詳細に後述するように、フォーカルプレーンアレイ１０４は、選択された強度のイベントを識別するためにデジタルピクセルと共に使用されるピクセルベースのイベント検出器を含む。低分解能カウンタ（例えば１ビット又は数ビットのカウンタなど）と周波数基準とを用いて、各検出器内のフィルタを形成することができる。低分解能カウンタは、比較器によってインクリメントされるとともに、周波数基準によって定められる周期的な時間インターバルの後にリセットされることができる。低分解能カウンタが単一の周期的時間インターバル内で閾値まで進んだ場合、そのピクセルによって測定された強度は指定の強度を超えており、それ故に、関心あるイベントを表す。
従って、各ピクセルベースのイベント検出器の出力は、高強度イベントが発生したことのインジケータとして使用され得る。（例えば、輝き又はちらつくものからの）誤った警報を減らすために、検出器によって局所的なフィルタリングをもサポートすることができる。局所的なフィルタリングは、１つの検出器が、実際のイベントが検出されたことを検証するために、隣接する検出器からの出力を使用することを可能にする。
このアプローチは、多数の画像フレームを処理する必要なしに高分解能の時間的情報を取得する能力をサポートする。それはまた、明るいイベントにより失われるダイナミックレンジを回復するために、イベントが発生しているときにピクセルベースの検出器でリアルタイム情報を処理する能力をも提供する。とりわけ、これらの検出器を用いて、輝きを抑圧し、砲口火花の局所的な検出を実行し、又は物体を追跡することができる。ピクセルベースの検出器に関する更なる詳細は以下にて提供される。
プロセッシングシステム１０６は、フォーカルプレーンアレイ１０４からの出力を受け取り、その情報を処理する。例えば、プロセッシングシステム１０６は、例えばディスプレイ１０８上などでの１人以上の要員への提示用に視覚画像を生成するために、フォーカルプレーンアレイ１０４によって生成された画像データを処理し得る。プロセッシングシステム１０６はまた、関心あるイベントがピクセルベース検出器によって検出されたかを決定するために、フォーカルプレーンアレイ１０４内のピクセルベース検出器からの情報を処理することもできる。イベントが検出された場合、プロセッシングシステム１０６は何らかの好適なアクションをとることができる。例えば、プロセッシングシステム１０６は、検出されたイベントに関連する情報をディスプレイ１０８上に提示することができ、あるいは、早期警戒インジケータ１１０を発することができる。ディスプレイ１０８は、例えばイベントに関連する１つ以上の画像など、検出されたイベントについての何らかの好適な情報を提示し得る。早期警戒インジケータ１１０は、可聴警報又は視覚警報などの任意の好適なタイプのインジケータを表し得る。
プロセッシングシステム１０６は、ピクセルベースの検出器を含むフォーカルプレーンアレイ又は他の撮像システムからの情報を処理する任意の好適な構造を含む。例えば、プロセッシングシステム１０６は、例えば１つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、又はディスクリートロジックデバイスなどの、１つ以上のプロセッシングデバイスを含み得る。ディスプレイ１０８は、情報をグラフィカルに提示する任意の好適なデバイスを含む。早期警戒インジケータ１１０は、一人以上の要員に出力を提供する任意の好適な構造を含む。
図１は、ピクセルベースのイベント検出をサポートするシステム１００の一例を示しているが、図１には様々な変更が為され得る。例えば、具体的なニーズに従って、図１の様々なコンポーネントが組み合わされ、更に細分化され、配置変更され、又は省略されてもよく、また、更なるコンポーネントが追加されてもよい。また、図１は、関心あるイベントを識別するためにピクセルベースの検出器が使用され得るシステムのタイプの一例を示している。しかしながら、この機能は他の好適な装置又はシステムで使用されてもよい。
図２は、本開示に従ったピクセルベースのイベント検出器２００の一例を示している。説明の容易さのため、検出器２００は、図１のシステム１００のフォーカルプレーンアレイ１０４内で使用されるものとして説明される。検出器２００は、フォーカルプレーンアレイ１０４の全てのピクセルと共に使用されてもよいし、あるいは、検出器２００は、フォーカルプレーンアレイ１０４のピクセルのサブセットと共に使用されてもよい。なお、しかし、検出器２００は、他の好適な装置内及び他の好適なシステム内で使用されてもよい。
図２に示すように、検出器２００は、ピクセル２０２と共に使用される。ピクセル２０２は、ピクセル２０２によって受けられた入射照明の強度に基づいて、例えば電圧信号などの電気信号を生成する。ピクセル２０２は、例えば光検出器など、照明に基づいて信号を生成する任意の好適構造を含む。ピクセル２０２は、例えば、フォーカルプレーンアレイ１０４内のピクセルのうちの１つを表し得る。
キャパシタ２０４が、ピクセル２０２と直列に且つスイッチ２０６と並列に結合されている。キャパシタ２０４は、ピクセル２０２の出力に基づいて電荷を蓄える。キャパシタ２０４はまた、グランドに結合されたものであるスイッチ２０６を介して放電されることができる。スイッチ２０６を開くことは、ピクセル２０２からの電気エネルギーがキャパシタ２０４を充電することを可能にし、スイッチ２０６を閉じることは、キャパシタ２０４を放電する。キャパシタ２０４は、所望のキャパシタンスを持つ任意の好適構造を含む。スイッチ２０６は、例えばトランジスタなど、電気的な接続を選択的に形成するように構成された任意の好適構造を含む。
比較器２０８が、図２にＶＩｎｔｅｇｒａｔｉｏｎと表したキャパシタ２０４に蓄えられた電圧を基準電圧と比較し、その比較に基づいて出力を生成する。比較器２０８の出力は、キャパシタ２０４に蓄えられた電圧が基準電圧よりも低いときの１つの値と、キャパシタ２０４に蓄えられた電圧が基準電圧より高いときのもう１つの値を持つ。比較器２０８の出力は、スイッチ２０６を制御するために使用されることができ、これが意味することには、比較器２０８は、（キャパシタの電圧が指定のレベルに達した後に）スイッチ２０６を閉じることによってキャパシタ２０４を放電させることができるとともに、スイッチ２０６を開くことによってキャパシタ２０４が充電することを可能にできる。比較器２０８は、電気信号を比較する任意の好適構造を含む。
比較器２０８はまた、その出力を強度カウンタ２１０及びフィルタカウンタ２１２に提供し、これらの各々が、周波数基準によって定められる周期的な時間インターバルの間、比較器の出力を積分する。強度カウンタ２１０は、キャパシタ２０４に蓄えられた電圧が例えば基準電圧よりも高いレベルなどの指定のレベルに達したことを比較器２０８の出力が指し示す度にカウンタ値をインクリメント又はデクリメントするカウンタを表す。強度カウンタ２１０は、各周期的時間インターバル中に比較器２０８の出力を積分することができる。強度カウンタ２１０はまた、別の積分を行うことができるよう、現在の周期的時間インターバルの終わり及び次の周期的時間インターバルの始まりでリセットされることができる。強度カウンタ２１０は、従って、周期的な時間インターバル中にピクセル２０２によって受け取られた照明の強度を指し示すカウンタ値を生成する。
強度カウンタ２１０は、各周期的時間インターバル中の強度を効果的に測定することができる一方で、強度カウンタ２１０は、（イメージャのフレームレートよりも高速に）時間インターバルの小さい部分の間に極めて高速な明るいイベントが発生したときを指し示すのには効果的ではないとし得る。強度カウンタ２１０は時間インターバル全体にわたって強度を積分するので、それ以外は暗い時間インターバル内での高速な明るいイベントの強度は、積分の結果として失われ得る。例えば、平均強度の時間インターバルの積分強度が、高速な明るいイベントを伴うそれ以外は暗い時間インターバルの積分強度と同等であることがある。強度カウンタ２１０の出力は必ずしも、高速な明るいイベントが発生したことを指し示さない。
フィルタカウンタ２１２は、強度カウンタ２１０と同じ値を、より低いビット分解能で積分することによって、この問題を解決するのを助ける。フィルタカウンタ２１２は、キャパシタ２０４に蓄えられた電圧が指定のレベル（すなわち、基準電圧）に達したことを比較器２０８の出力が指し示す度にカウンタ値をインクリメント又はデクリメントするカウンタを表す。フィルタカウンタ２１２は、各周期的時間インターバル中に比較器２０８の出力を積分することができる。フィルタカウンタ２１２はまた、現在の周期的時間インターバルの終わり及び次の周期的時間インターバルの始まりでリセットされることができる。しかしながら、フィルタカウンタ２１２は強度カウンタ２１０よりも低いビット分解能を持つので、フィルタカウンタ２１２はまた、強度カウンタ２１０よりも遥かに速いレートでそのカウンタ値を（例えば最大値から最小値へ又はその逆に）“ロールオーバー”する。故に、同じ値を積分するとき、強度カウンタ２１０がそのカウンタ値を１回ロールオーバーするごとに、フィルタカウンタ２１２はそのカウンタ値をｎ回ロールオーバーすることができる（ｎ＞１）。
カウンタ２１０及び２１２の各々は、カウンタ値をインクリメント又はデクリメントする任意の好適構造を表す。例えば複数のフリップフロップを使用するものなど、カウンタに関する様々な設計が技術的に知られている。また、カウンタ２１０及び２１２の各々は、任意の好適な分解能を持ち得る。例えば、フィルタカウンタ２１２は３ビットカウンタ値を出力し、その一方で、強度カウンタ２１０は各々が４ビット以上を持つカウンタ値を出力し得る。
フィルタカウンタ２１２の出力はラッチ２１４に提供され、ラッチ２１４は、フィルタカウンタ２１２が閾値を出力しているかに基づいて信号を生成する。例えば、ラッチ２１４は、フィルタカウンタ２１２の出力が全て“１”であるときにハイの論理信号を出力することができ、また、ラッチ２１４は、フィルタカウンタ２１２の出力が他の値を持つときにローの論理信号を出力することができる。この例では、ラッチ２１４は故に、フィルタカウンタ２１２が最大カウンタ値を出力するときを特定するが、他のアプローチ（例えば、フィルタカウンタ２１２が最小カウンタ値を出力するときに常に信号伝達するなど）が使用されてもよい。ラッチ２１４は、例えばデジタル比較器など、カウンタ値が指定の値を持つときを検出する任意の好適構造を含む。
フィルタカウンタ２１２は強度カウンタ２１０よりも低いビット分解能を持つので、たとえイベントが極端に短い場合であっても、フィルタカウンタ２１２を用いることで、明るい強度のイベントが発生したときが特定される。例えば、周期的な時間インターバルの小さい部分の間にイベントが発生し、その時間インターバルの残りの部分の間には殆ど又は全く照明が存在しない場合、強度カウンタ２１０は、実効的に、その時間インターバルの長さ全体にわたって強度を平均して、そのイベントに関する殆ど又は全ての情報を喪失する。フィルタカウンタ２１２はより低いビット分解能を持つので、フィルタカウンタ２１２は、そのイベント中に１回以上、閾値に達し得る。従って、ラッチ２１４は、１回以上、フィルタカウンタ２１２によって閾値が到達されたことを指し示し、（たとえ、イベントが、時間インターバルよりもかなり短くて、強度カウンタ２１０の出力を用いたのでは識別できない場合であっても）イベントが発生したことを指し示す。
図２に示すように、検出器２００は、強度カウンタ２１０によって生成されたカウンタ値を表し得るものである強度値を含んだ信号２１６を出力する。検出器２００はまた、ラッチ２１４によって生成されて、ラッチ２１４がフィルタカウンタ２１２から閾値を検出したときを指し示すものであるピクセルイベントインジケータ信号２１８を出力する。検出器２００は、オプションで、比較器２０８によって出力された値を含んだ残差信号２２０を出力することができる。
検出器２００のこれらのコンポーネントの動作の一例を図３に示す。図３は、本開示に従ったピクセルベースのイベント検出器２００の動作に関連するタイミング図３００の一例を示している。図３において、ｖ積分電圧３０２は、ピクセル２０２によってキャパシタ２０４に蓄えられた電圧を表す。グローバル時間基準信号３０４及びグローバル時間カウンタ値３０６もここに示されている。グローバル時間基準信号３０４は検出器２００の周波数基準を定め、グローバル時間基準信号３０４内のパルスは反復時間インターバルを定める。グローバル時間カウンタ値３０６は、それらの時間インターバルのカウントを表す。
カウンタ値３０８はフィルタカウンタ２１２からの出力を含み、信号３１０は（ピクセルイベントインジケータ信号２１８としての）ラッチ２１４からの出力を含み、カウンタ値３１２は信号２１６における強度カウンタ２１０からの出力を含む。これらの値は、図３に示されるｖ積分電圧３０２を処理するときに生成される。
この特定の例において、キャパシタ２０４上のｖ積分電圧３０２は最大値まで上昇することができ、その時点で比較器２０８によってスイッチ２０６が閉じられてキャパシタ２０４上の電圧がリセットされる。強度カウンタ２１０は、そのカウンタ値３１２を、ｖ積分電圧３０２がその最大値に達する度にインクリメントする。フィルタカウンタ２１２は同様に、そのカウンタ値３０８を、ｖ積分電圧３０２がその最大値に達する度にインクリメントする。しかしながら、フィルタカウンタ２１２（より低いビット分解能を有する）は、そのカウンタ値３０８を、強度カウンタ２１０よりも頻繁に“ロールオーバー”することができ、また、フィルタカウンタ２１２は、グローバル時間基準信号３０４内の各パルス（各時間インターバル）でリセットされ、その一方で、強度カウンタ２１０は、異なるフレームインターバルでのみリセットされ得る。
図３の時間インターバル３１４において、明るいイベントは発生していない。結果として、強度カウンタ２１０は、グローバル時間基準信号３０４の各周期中に単一のカウンタ値３１２を出力する。また、フィルタカウンタ２１２が、閾値に達するのに十分な数の値をカウントすることはなく、故に、ラッチ２１４は、その出力信号３１０の値を変化させない。
時間インターバル３１６において、明るいイベントが発生している。これは、キャパシタ２０４がその最大電荷に達し、遥かに早く放電することを引き起こす。強度カウンタ２１０は、そのカウンタ値３１２をこれらの時間インターバル３１６中に繰り返しインクリメントするが、強度カウンタ２１０はより高いビット数を持つので決してロールオーバーしない（当然ながら、イベントが開始した時のカウンタ値３１２に応じて一度ロールオーバーすることもある）。対照的に、フィルタカウンタ２１２はより少ないビット数を持つので、フィルタカウンタ２１２は、そのカウンタ値３０８をこれらの時間インターバル３１６中に繰り返しインクリメントするとともに、何度もロールオーバーする。この例では、フィルタカウンタ２１２が“１１１”なる値に達する度にラッチ２１４がその出力信号３１０をハイにパルス出力し、これが時間インターバル３１６中に二度発生している。
時間インターバル３１８において、明るいイベントは発生していない。結果として、強度カウンタ２１０は、グローバル時間基準信号３０４の各周期中に単一のカウンタ値３１２を出力する。また、フィルタカウンタ２１２が、閾値に達するのに十分な数の値をカウントすることはなく、故に、ラッチ２１４は、その出力信号３１０の値を変化させない。
図３にて見てとれるように、フィルタカウンタ２１２及びラッチ２１４は、強度の増加を、たとえそれが短い時間量の中で発生したとしても、特定するように動作する。強度カウンタ２１０の出力（すなわち、カウンタ値３１２）は、イベントが発生したことを適切に指し示さないことがある。たとえ、それがそうしたとしても、強度カウンタ２１０の乏しい時間分解能のために情報が失われ得る。例えば、図３における強度カウンタ２１０の出力は、キャパシタ２０４が６つの時間インターバルの間に２１回その最大電荷に達したことを指し示すに過ぎない。それは、明るいイベントとしてシステム１００に記録されないかもしれず、その場合、システム１００は、時間の一部の間に強度が急速に増加したことを検出し損なうことになる。
フィルタカウンタ２１２は強度カウンタ２１０よりも低い分解能を持つので、明るいイベントは、フィルタカウンタ２１２が閾値に繰り返し達し、そこでラッチ２１４がその出力信号３１０をパルス出力することを引き起こす。従って、明るいイベントが単一のフレームインターバルよりも素早く発生したとしても、ラッチ２１４の出力信号３１０を、明るいイベントを指し示すインジケータとして使用することができる。さらに、出力信号３１０内のパルスは、そのイベントが２つの画像フレーム間でいつ発生したかに関する時間的情報を提供することができる。
図２に戻るに、誤警報を減らすために、検出器２００は、隣接ピクセルフィルタ及びイベントフラグ生成部２２２を含んでいる。隣接ピクセルフィルタ及びイベントフラグ生成部２２２は、検出器２００のラッチ２１４からのピクセルイベントインジケータ信号２１８と、１つ以上の隣接検出器からの１つ以上のピクセルイベントインジケータ信号２２４とを受信する。隣接ピクセルフィルタ及びイベントフラグ生成部２２２は、（１つ以上の）隣接検出器が検出器２００と同じイベントを検出したかを決定し、そうであれば、イベントインジケータ信号２２６にてパルスを生成する。結果として、十分な数の検出器２００が同じイベントを検出した場合にのみ、実際のイベントが特定され得る。単一の検出器の位置での照明のランダムな揺らぎ又は単一の検出器における障害がイベントインジケータをトリガーすることがないようにし得る。
隣接ピクセルフィルタ及びイベントフラグ生成部２２２は、例えば、単一の隣接検出器から、隣接検出器のサブセットから、又は全ての隣接検出器からなど、何らかの好適な隣接検出器からピクセルイベントインジケータ信号２２４を受信し得る。一部の実施形態において、各検出器２００内の隣接ピクセルフィルタ及びイベントフラグ生成部２２２は、例えばその検出器２００の真上、真下、真っすぐ右、及び真っすぐ左にある隣接検出器などの、直角位置にある隣接検出器からピクセルイベントインジケータ信号２２４を受信する。しかしながら、検出器２００のその他の連合も使用され得る。隣接ピクセルフィルタ及びイベントフラグ生成部２２２は、複数の検出器がイベントを特定したかを決定する任意の好適構造を含む。特定の一例として、隣接ピクセルフィルタ及びイベントフラグ生成部２２２は、イベントが検出されたことを全ての入力が指し示すときにのみ指定の論理値を出力するように配置及び構成された１つ以上のＡＮＤゲートを用いて実装され得る。
隣接フィルタリングを備えた複数の検出器２００をイメージャ内でどのように使用することができるかの一例を図４に示す。図４は、本開示に従ったピクセルベースのイベント検出器２００の一使用例を示している。図４に示すように、集束系１０２が、明るいイベントからの光をフォーカルプレーンアレイ１０４の一部４０２上にフォーカシングする。円４０４は、明るいイベントからの光がフォーカルプレーンアレイ１０４に当たる場所を表し、星４０６はフォーカルプレーンアレイ１０４上にフォーカシングされたシーン内の明るいイベントの実際の位置を表す。ここで見て取れるように、イベントからの明るい照明の光学“ブルーミング”に起因して、円４０４は実際のイベントよりも遥かに大きい。
検出器２００の結び付けを表すために、図４では様々な菱形４０８を用いている。これは、各検出器２００内の隣接ピクセルフィルタ及びイベントフラグ生成部２２２が、４つの直角位置にある隣接検出器からのピクセルイベントインジケータ信号２２４を受け取るように構成されているということを意味する（フォーカルプレーンアレイ１０４のエッジに沿って位置する検出器を除く）。これはまた、各検出器２００が、そのピクセルイベントインジケータ信号２１８を、４つの直角位置にある隣接検出器に提供することを意味する（フォーカルプレーンアレイ１０４のエッジに沿って位置する検出器を除く）。
各検出器２００内の隣接ピクセルフィルタ及びイベントフラグ生成部２２２が、イベントインジケータ信号２２６内のパルスが生成される前に、その検出器２００によって検出されてもいるイベントを４つの直角位置にある検出器２００の全てが検出することを必要とすると仮定する。その構成においては、フォーカルプレーンアレイ１０４内のピクセルの小さいサブセット４１０のみから、イベントインジケータ信号２２６内にパルスが生成されることになる。図４に示す例では、フォーカルプレーンアレイ１０４の部分４０２内の９０個のピクセルのうち４つのピクセルのみがそれらのイベントインジケータ信号２２６内にパルスを生成する。
従って、検出器２００は、明るいイベントが非常に短い継続時間であっても、非常に素早いやり方でそれら明るいイベントを検出するように動作する。検出器２００はまた、フォーカルプレーンアレイ１０４のフレームレートよりも遥かに高い周波数で動作することができる。これは、検出器２００が、高められたフレームレートの使用を必要とせずに、イベントのインジケーションを提供することを可能にする（とはいえ、フォーカルプレーンアレイ１０４と共に、なおも、通常より高いフレームレートが使用されてもよい）。特定の一例として、フォーカルプレーンアレイ１０４が６０ヘルツのフレームレートで画像をキャプチャしながら、検出器２００は１キロヘルツ又は何キロヘルツかの周波数で動作し得る。さらに、“隣接”フィルタリングをサポートすることにより、正しくない検出器動作又は不具合のある検出器に起因した誤警報を抑制する能力を提供しながら、明るいイベントに関連する実際の領域を非常に迅速に特定することができる。実効的に、検出器２００は、強度測定を可能にする周波数弁別器であり、全体としてのアーキテクチャが、隣接フィルタリングを通じて局所領域抑制と制限されたイベント報告との双方を備えた、大規模並列ピクセルベースイベント検出をサポートする。
イベントが検出されると、検出器２００からの情報を用いて、プロセッシングシステム１０６又は他のシステムによって、何らかの好適情報を導出することができる。例えば、プロセッシングシステム１０６又は他のシステムは、検出器２００からのイベントインジケータ信号２２６を用いて、フォーカルプレーンアレイ１０４内の検出したピクセルのＸＹ座標、検出されたイベントの中心位置、それらのピクセルから測定された強度、及びそのイベントのタイムスタンプ（又はこの情報のサブセット）を特定し得る。そして、この情報を用いて、ディスプレイ１０８上に情報を提示し、早期警戒インジケータ１１０を発し、又は他の機能を実行し得る。
この検出器機能は、幾つもの用途に使用され得る。例えば、この機能は、到来する敵の砲撃の早期警戒インジケータを軍隊又は他の要員に提供するために使用され得る。特定の一例として、携行式ロケット弾の発射は典型的に２つの閃光を含み、１つは、携行式ロケット弾がその筒から発射される時であり、１つは、携行式ロケット弾の中の発射火薬が点火する時である。プロセッシングシステム１０６は、立て続けにフォーカルプレーンアレイ１０４によって複数の閃光が検出されたときを決定し、パイロット又は他の要員に対して早期警戒インジケータ１１０を発し得る。検出された閃光を用いて、弾の進行方向も推定し得る。検出器２００からのデータを使用して行い得る他の処理動作は、兵器発砲からの砲口火花を検出すること、又は物体からの輝き若しくは他の反射に基づいてそれら物体を追跡することを含む。
他の一例として、プロセッシングシステム１０６又は他のシステムは、検出器２００のラッチ２１４からの出力を用いて、検出器２００の強度カウンタ２１０によって測定された強度から、検出器２００のフィルタカウンタ２１２によって測定された強度を減算し得る。これは、シーン全体に関係した強度測定値から高速な明るいイベントに関係した強度測定値を効果的に除去し、それにより、さもなければシーンの撮像を妨げてしまい得る閃光、輝き、又は他の照明を抑圧することを助けることができる。第３の例として、関心ある物体からの輝き又は他の反射が検出され、その物体を追跡するために使用され得る。例えばイベントの強度、イベントの位置、又はイベントのタイミングに関する知識などの、急速な明るいイベントの知識に基づいて、幾つもの他の機能も行われ得る。
図２は、ピクセルベースのイベント検出器２００の一例を示し、図３及び図４は、検出器２００の使用に関する詳細例を示しているが、図２−４には様々な変更が為され得る。例えば、具体的なニーズに従って、図２の様々なコンポーネントが組み合わされ、更に細分化され、配置変更され、又は省略されてもよく、また、更なるコンポーネントが追加されてもよい。また、図３は、カウンタ２１０及び２１２がそれらのカウンタ値を１ずつインクリメントすること、及びカウンタ２１２の出力が“１１１”であるときにラッチ２１４がパルスをトリガーすることを仮定している。しかしながら、カウンタ２１０及び２１２は、強度を積分するために任意の好適なインクリメント動作又はデクリメント動作を行うことができ、また、ラッチ２１４は、カウンタ２１２から任意の好適な閾値を検出するように構成されることができる。さらに、図４は、隣接ピクセルフィルタ及びイベントフラグ生成部２２２が、４つの直角位置の隣接検出器２００からピクセルイベントインジケータ信号２２４を受信するように構成されると仮定しているが、他のタイプのピクセルイベントインジケータフィルタリングも使用され得る。
図５は、本開示に従ったピクセルベースのイベント検出の方法５００の一例を示している。説明の容易さのため、方法５００は、図１のフォーカルプレーンアレイ１０４内の図２の検出器２００によって、及び図１のプロセッシングシステム１０６によって実行されるものとして説明される。なお、しかし、方法５００は、他の好適な（１つ以上の）装置を用いて他の好適なシステム内で使用されてもよい。
図５に示すように、ステップ５０２にて、ピクセルによって感知された照明に基づいて、検出器のキャパシタに電圧が生成される。これは、例えば、ピクセル２０２が電気信号を生成し、キャパシタ２０４が電圧を蓄えることを含み得る。ステップ５０４にて、キャパシタに蓄えられた電圧が基準電圧と比較される。これは、例えば、比較器２０８が、キャパシタ２０４に蓄えられた電圧を基準電圧と比較し、その比較に基づいて信号を出力することを含み得る。この信号は、キャパシタ２０４に蓄えられた電圧が基準電圧よりも低いときの１つの値と、キャパシタ２０４に蓄えられた電圧が基準電圧よりも高いときのもう１つの値を持ち得る。比較器２０８からの信号は、キャパシタの電圧が基準レベルに達した時点でキャパシタ２０４の電圧をリセットするようにスイッチ２０６を制御するために使用されることができる。
ステップ５０６にて、比較結果が、強度測定値を生成するために、検出器の第１のカウンタを用いて積分される。これは、例えば、キャパシタ２０４に蓄えられた電圧が基準電圧に達したことを比較器２０８が指し示す度に強度カウンタ２１０がそのカウンタ値３１２をインクリメント又はデクリメントすることを含み得る。強度カウンタ２１０は、例えば各画像フレームがキャプチャされるのに対して１回など、任意の好適長さの時間の後にリセットされることができる。
ステップ５０８にて、比較結果がまた、第１のカウンタよりも低いビット分解能を持つものである検出器の第２のカウンタを用いて積分される。これは、例えば、キャパシタ２０４に蓄えられた電圧が基準電圧に達したことを比較器２０８が指し示す度にフィルタカウンタ２１２がそのカウンタ値３０８をインクリメント又はデクリメントすることを含み得る。フィルタカウンタ２１２は、例えば、グローバル時間基準信号３０４の各パルスの後など、任意の好適長さの時間の後にリセットされることができる。一部の実施形態において、フィルタカウンタ２１２は３ビットカウンタであり、強度カウンタ２１０は４ビット以上をサポートする。
ステップ５１０にて、ピクセルによって受けられる照明に応じて、ある時点で、第２のカウンタが閾値を得たとの決定がなされ、その時点でピクセルイベントインジケーションが生成される。これは、例えば、フィルタカウンタ２１２からのカウンタ値３０８が例えば全て“１”などの指定の閾値を有することをラッチ２１４が決定することを含み得る。これはまた、ラッチ２１４がその出力信号３１０内にパルスを生成することを含むことができ、これはまたピクセルイベントインジケータ信号２１８を表し得る。
ステップ５１２にて、１つ以上の隣接検出器が同時に又はほぼ同時にイベントを検出したかの決定がなされる。これは、例えば、検出器２００内の隣接ピクセルフィルタ及びイベントフラグ生成部２２２が、１つ以上の隣接検出器２００からのピクセルイベントインジケータ信号２２４内でパルスが受け取られたかを決定することを含み得る。上述のように、隣接ピクセルフィルタ及びイベントフラグ生成部２２２は、４つの直角位置の隣接検出器から信号を受信し得るが、他の実施形態が使用されてもよい。また、隣接ピクセルフィルタ及びイベントフラグ生成部２２２は、隣接検出器の１つ、一部、又は全てが同じイベントを検出したかを検証するように構成され得る。
十分な数（１つ、一部、又は全て）の隣接検出器が同じイベントを検出した場合（ステップ５１２でＹＥＳ）、ステップ５１４にて、イベントインジケータが生成される。これは、例えば、隣接ピクセルフィルタ及びイベントフラグ生成部２２２がイベントインジケータ信号２２６内にパルスを生成することを含み得る。そうでない場合には（ステップ５１２でＮＯ）、ステップ５１６にて、ピクセルイベントインジケータがフィルタリングされ無視される。
ステップ５１８にて、検出器によって生成されたデータが出力される。これは、例えば、検出器２００が、例えば４つの直角位置の検出器又は他の（１つ以上の）検出器などの、１つ以上の隣接検出器に、ピクセルイベントインジケータを提供することを含み得る。これはまた、検出器２００が、強度測定値及びイベントインジケータをプロセッシングシステム１０６に提供することを含み得る。ステップ５２０にて、そのデータを好適に処理して使用することができる。正確な処理は用途に応じて様々となり得る。上述のように、例えば、到来する敵の砲撃の検出、砲口火花の検出、又は輝き若しくは閃光の抑圧などの、幾つもの用途がこの検出技術を使用し得る。
図５は、ピクセルベースのイベント検出の方法５００の一例を示しているが、図５には様々な変更が為され得る。例えば、図５における様々なステップは、重複してもよいし、並列に行われてもよいし、異なる順序で行われてもよいし、あるいは複数回行われてもよい。特定の一例として、図５における様々なステップは、検出器２００の複数の異なるコンポーネントを用いて並列に行われることができる。
一部の実施形態において、本特許文献に記載された様々な機能は、コンピュータ読み取り可能プログラムコードから形成されてコンピュータ読み取り可能媒体にて具現化されるコンピュータプログラムによって実装又はサポートされる。“コンピュータ読み取り可能プログラムコード”なる言い回しは、ソースコード、オブジェクトコード、及び実行可能コードを含め、如何なるタイプのコンピュータコードをも含む。“コンピュータ読み取り可能媒体”なる言い回しは、例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、又はその他のタイプのメモリなど、コンピュータによってアクセスされることが可能な如何なるタイプの媒体をも含む。“非一時的”なコンピュータ読み取り可能媒体は、一時的な電気的又はその他の信号を輸送する有線リンク、無線リンク、光リンク、又はその他の通信リンクを除外する。非一時的コンピュータ読み取り可能媒体は、例えば書換可能な光ディスク又は消去可能なメモリデバイスなど、データが永続的に格納され得る媒体及びデータが格納され且つ後に上書きされ得る媒体を含む。
本特許文献の全体を通して使用される特定の単語及びフレーズの定義を説明しておくことが有益であるかもしれない。用語“アプリケーション”及び“プログラム”は、好適なコンピュータコード（ソースコード、オブジェクトコード、又は実行可能コードを含む）での実装に適応された、１つ以上のコンピュータプログラム、ソフトウェアコンポーネント、命令のセット、プロシージャ、関数、オブジェクト、クラス、インスタンス、関連データ、又はその一部を指す。用語“通信する”及びその派生語は、直接的な通信及び間接的な通信の両方を包含する。用語“含む”及び“有する”、並びにこれらの派生語は、限定なしでの包含を意味する。用語“又は”は、及び／又はを意味する包括的なものである。“〜と関連付けられる”なる言い回し、及びその派生語は、〜を含む、〜の中に含まれる、〜と相互接続される、〜を含有する、〜内に含有される、〜に又は〜と接続する、〜に又は〜と結合する、〜と通信可能である、〜と協働する、〜と交互である、〜隣り合う、〜に近接した、〜に又は〜と結合される、〜を有する、〜の特性を有する、〜に又は〜と関係を有する、又はこれらに類するものを意味し得る。“〜のうちの少なくとも１つ”なる言い回しは、アイテムのリストとともに使用されるとき、リストアップされたアイテムのうちの１つ以上の様々な組み合わせが使用され得ることを意味し、リスト内の１つのアイテムのみが必要とされることもある。例えば、“Ａ、Ｂ、及びＣのうちの少なくとも１つ”は、以下の組み合わせ：Ａ、Ｂ、Ｃ、ＡとＢ、ＡとＣ、ＢとＣ、及びＡとＢとＣ、のうちの何れをも含む。
本特許文献における記載は、特定の要素、ステップ、又は機能がクレーム範囲に含まれていなければならない必須又は重要な要素であることを意味するものとして読まれるべきでない。また、クレームは何れも、その特定のクレーム中で“する手段”又は“するステップ”なるそのままの語が、機能を特定する特定の言い回しに続かれて、明示的に使用されない限り、添付のクレーム又はクレーム要素に関して３５ＵＳＣ第１１２節（ｆ）を行使することを意図していない。クレーム内での、例えば（以下に限られないが）“機構”、“モジュール”、“デバイス”、“ユニット”、“コンポーネント”、“要素”、“部材”、“装置”、“機械”、“システム”、“プロセッサ”、“プロセッシングデバイス”、又は“コントローラ”などの用語の使用は、クレームの特徴自体によって更に改良又は強化されるような、当業者に知られた構造を指すものと理解及び意図されるものであり、３５ＵＳＣ第１１２節（ｆ）を行使することを意図するものではない。
本開示は、特定の実施形態及び概して関連する方法を述べてきたが、これらの実施形態及び方法の改変及び並べ替えが当業者に明らかになる。従って、以上の実施形態例の説明は、本開示を定めたり制約したりするものではない。以下の請求項によって規定される本開示の精神及び範囲を逸脱することなく、その他の変形、代用、及び改変も可能である。

Claims (20)

  1. 撮像システムのピクセルで受けた照明に基づく強度値を生成し、前記強度値は、第１の期間中に検出器の第１のカウンタを用いて値を積分することによって生成され、
    前記検出器の第２のカウンタを用いて、前記第１の期間内の、より短い複数の第２の期間中に繰り返し前記値を積分し、前記第２のカウンタは、前記第１のカウンタよりも低いビット分解能を有し、
    前記複数の第２の期間の各々で前記第２のカウンタをリセットし、且つ
    前記第２のカウンタが指定の値を出力することに応答して、ピクセルイベントインジケータを生成する、
    ことを有する方法。
  2. １つ以上の隣接検出器も１つ以上のピクセルイベントインジケータを生成したかを決定し、且つ
    前記１つ以上の隣接検出器も前記１つ以上のピクセルイベントインジケータを生成したときに、イベントインジケータを生成する、
    ことを更に有する請求項１に記載の方法。
  3. 前記１つ以上の隣接検出器は、前記検出器に対して直角位置の４つの隣接検出器を有する、請求項２に記載の方法。
  4. 複数の第１の期間中に繰り返し強度値を生成し、
    前記複数の第１の期間の各々内の、より短い複数の第２の期間中に繰り返し前記値を積分し、且つ
    前記第２のカウンタが、複数回、前記指定の値を出力することに応答して、複数のピクセルイベントインジケータを生成する、
    ことを更に有する請求項１に記載の方法。
  5. 前記ピクセルイベントインジケータは、前記強度値よりも高い時間分解能で生成される、請求項４に記載の方法。
  6. 当該方法は更に、
    前記ピクセルで受けた前記照明に基づいて繰り返しキャパシタを充電及び放電し、且つ
    前記キャパシタに蓄えられた電圧を基準電圧と比較して比較結果を生成する、
    ことを有し、
    積分される前記値は前記比較結果を有する、
    請求項１に記載の方法。
  7. 前記第１及び第２のカウンタが同じ値を積分している間に、前記第２のカウンタは、前記第１のカウンタによって出力されるカウンタ値よりも頻繁にロールオーバーするカウンタ値を出力する、請求項１に記載の方法。
  8. ピクセルで受けた照明の強度を測定し、受けた前記照明を用いてイベントを検出するように構成された検出器を有し、該検出器は、
    第１の期間中に値を積分することによって、前記ピクセルで受けた前記照明に基づく強度値を生成するように構成された第１のカウンタと、
    前記第１の期間内の、より短い複数の第２の期間中に繰り返し前記値を積分するように構成された第２のカウンタであり、当該第２のカウンタは、前記第１のカウンタよりも低いビット分解能を有し、且つ前記複数の第２の期間の各々でリセットされるように構成されている、第２のカウンタと、
    前記第２のカウンタが指定の値を出力することに応答してピクセルイベントインジケータを生成するように構成されたラッチと、
    を有する装置。
  9. 前記検出器は更にフィルタを有し、該フィルタは、
    １つ以上の隣接検出器も１つ以上のピクセルイベントインジケータを生成したかを決定し、且つ
    前記１つ以上の隣接検出器も前記１つ以上のピクセルイベントインジケータを生成したときに、イベントインジケータを生成する、
    ように構成されている、請求項８に記載の装置。
  10. 前記第１のカウンタは、複数の第１の期間中に繰り返し強度値を生成するように構成され、
    前記第２のカウンタは、前記複数の第１の期間の各々内の、より短い複数の第２の期間中に繰り返し値を積分するように構成され、且つ
    前記ラッチは、前記第２のカウンタが、複数回、前記指定の値を出力することに応答して、複数のピクセルイベントインジケータを生成するように構成されている、
    請求項８に記載の装置。
  11. 当該装置は更に、
    前記ピクセルによって生成された電気エネルギーを蓄えるように構成されたキャパシタと、
    前記キャパシタを放電するために選択的に閉じられるように構成されたスイッチと、
    前記キャパシタに蓄えられた電圧を基準電圧と比較して比較結果を生成するように構成された比較器と、
    を有し、
    積分される前記値は前記比較結果を有する、
    請求項８に記載の装置。
  12. 複数のピクセルを有するフォーカルプレーンアレイと、
    前記複数のピクセルのうち少なくとも一部の各々についての、ピクセルで受けた照明の強度を測定し且つ受けた前記照明を用いてイベントを検出するように構成された検出器であり、各検出器が、
    第１の期間中に値を積分することによって、前記ピクセルで受けた前記照明に基づく強度値を生成するように構成された第１のカウンタと、
    前記第１の期間内の、より短い複数の第２の期間中に繰り返し前記値を積分するように構成された第２のカウンタであり、当該第２のカウンタは、前記第１のカウンタよりも低いビット分解能を有し、且つ前記複数の第２の期間の各々でリセットされるように構成されている、第２のカウンタと、
    前記第２のカウンタが指定の値を出力することに応答してピクセルイベントインジケータを生成するように構成されたラッチと、
    を有する、検出器と、
    を有するシステム。
  13. 各検出器が更にフィルタを有し、該フィルタは、
    １つ以上の隣接検出器も１つ以上のピクセルイベントインジケータを生成したかを決定し、且つ
    前記１つ以上の隣接検出器も前記１つ以上のピクセルイベントインジケータを生成したときに、イベントインジケータを生成する、
    ように構成されている、請求項１２に記載のシステム。
  14. 各検出器において、
    前記第１のカウンタは、複数の第１の期間中に繰り返し強度値を生成するように構成され、
    前記第２のカウンタは、前記複数の第１の期間の各々内の、より短い複数の第２の期間中に繰り返し値を積分するように構成され、且つ
    前記ラッチは、前記第２のカウンタが、複数回、前記指定の値を出力することに応答して、複数のピクセルイベントインジケータを生成するように構成されている、
    請求項１２に記載のシステム。
  15. 各検出器が更に、
    前記ピクセルによって生成された電気エネルギーを蓄えるように構成されたキャパシタと、
    前記キャパシタを放電するために選択的に閉じられるように構成されたスイッチと、
    前記キャパシタに蓄えられた電圧を基準電圧と比較して比較結果を生成するように構成された比較器と、
    を有し、
    積分される前記値は前記比較結果を有する、
    請求項１２に記載のシステム。
  16. 前記フォーカルプレーンアレイから情報を受信して処理するように構成されたプロセッシングシステム、
    を更に有する請求項１２に記載のシステム。
  17. 前記プロセッシングシステムは、前記フォーカルプレーンアレイによってキャプチャされた画像を第１のレートで受信して表示するように構成され、且つ
    前記第２のカウンタ及び前記検出器は、前記第１のレートよりも高い第２のレートで動作するように構成されている、
    請求項１６に記載のシステム。
  18. 前記プロセッシングシステムは更に、
    検出されたイベントに応答して警報を発する、及び
    前記イベントに関連した情報を表示する、
    のうちの少なくとも一方を行うように構成されている、請求項１６に記載のシステム。
  19. 前記プロセッシングシステムは更に、
    検出された前記イベントに基づいて、到来する敵の攻撃の警報を発する、
    検出された前記イベントに基づいて物体を追跡する、
    のうちの少なくとも一方を行うように構成されている、請求項１６に記載のシステム。
  20. 前記プロセッシングシステムは更に、１つ以上の画像において輝き又閃光の抑圧を提供するために、前記第１のカウンタによって出力される前記強度値から、前記第２のカウンタによって出力される前記積分された値を減算するように構成されている、請求項１６のシステム。
JP2019541362A 2017-02-03 2017-10-06 追跡、敵の攻撃インジケーション、輝き抑圧、及びその他の用途のためのピクセルベースのイベント検出 Active JP6785978B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/424,509 US10242268B2 (en) 2017-02-03 2017-02-03 Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications
US15/424,509 2017-02-03
PCT/US2017/055506 WO2018144076A1 (en) 2017-02-03 2017-10-06 Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications

Publications (2)

Publication Number Publication Date
JP2020507974A true JP2020507974A (ja) 2020-03-12
JP6785978B2 JP6785978B2 (ja) 2020-11-18

Family

ID=60201659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019541362A Active JP6785978B2 (ja) 2017-02-03 2017-10-06 追跡、敵の攻撃インジケーション、輝き抑圧、及びその他の用途のためのピクセルベースのイベント検出

Country Status (7)

Country Link
US (2) US10242268B2 (ja)
EP (1) EP3577892B1 (ja)
JP (1) JP6785978B2 (ja)
KR (1) KR102229306B1 (ja)
CN (1) CN110249616B (ja)
IL (1) IL266449B (ja)
WO (1) WO2018144076A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540733B2 (en) * 2017-11-16 2020-01-21 The Boeing Company Frameless random-access image sensing
IT201900007225A1 (it) * 2019-05-24 2020-11-24 Fond Bruno Kessler Sensore di immagine a stato solido con fotomoltiplicatore distribuito ad elevata risoluzione spaziale
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
US11467964B1 (en) * 2020-03-09 2022-10-11 Marvell Asia Pte Ltd Mergeable counter system and method
US11379370B1 (en) 2020-04-08 2022-07-05 Marvell Asia Pte Ltd System and methods for reducing global coherence unit snoop filter lookup via local memories
WO2022010456A1 (en) * 2020-07-06 2022-01-13 Hewlett-Packard Development Company, L.P. Event-based thermal camera system
US20240080581A1 (en) 2020-12-23 2024-03-07 Voxelsensors Srl Neighborhood-gated switching pixel sensor
BE1028950B9 (nl) * 2020-12-23 2023-10-09 Voxelsensors Srl Buurtgebonden geschakelde pixel-sensor
US11496701B2 (en) 2021-03-29 2022-11-08 Raytheon Company Digital pixel comparator with bloom transistor frontend
US11894670B2 (en) 2021-09-21 2024-02-06 Raytheon Company High-energy suppression for infrared imagers or other imaging devices
US11843355B2 (en) 2022-02-04 2023-12-12 Raytheon Company High-energy suppression for capacitor transimpedance amplifier (CTIA)-based imagers or other imaging devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276864A (ja) * 2007-04-27 2008-11-13 Toshiba Corp ２次元デジタルデータ取得素子およびホログラフィックストレージ装置
JP2015530855A (ja) * 2012-10-05 2015-10-15 ラムバス・インコーポレーテッド 条件付きリセットのマルチビット読み出しイメージセンサ
JP2015216592A (ja) * 2014-05-13 2015-12-03 日本放送協会 信号電荷のａ／ｄ変換回路、信号読み出し回路及び固体撮像素子
JP2016533140A (ja) * 2013-09-16 2016-10-20 クロノカム 動的な、単一光ダイオードの画素回路およびその作動方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585942A (en) * 1991-06-20 1996-12-17 Canon Kabushiki Kaisha Image pickup apparatus
US5200623A (en) 1991-12-04 1993-04-06 Grumman Aerospace Corp. Dual integration circuit
US6618117B2 (en) * 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
JP2001333328A (ja) * 2000-05-18 2001-11-30 Sony Corp 撮像装置及び露光制御方法
US7349574B1 (en) * 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
US8179296B2 (en) * 2005-09-30 2012-05-15 The Massachusetts Institute Of Technology Digital readout method and apparatus
WO2007056753A2 (en) * 2005-11-08 2007-05-18 General Atomics Apparatus and methods for use in flash detection
WO2007111912A2 (en) * 2006-03-22 2007-10-04 Ii-Vi Incorporated Multi-window signal processing electronics arhitecture for photon counting with multi-element sensors
JP4998056B2 (ja) * 2006-05-11 2012-08-15 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
GB2439098A (en) * 2006-06-12 2007-12-19 Sharp Kk Image sensor and display
US20100226495A1 (en) * 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
US7829860B2 (en) * 2006-10-31 2010-11-09 Dxray, Inc. Photon counting imaging detector system
US20080218616A1 (en) * 2007-03-08 2008-09-11 Nokia Corporation Method and apparatus for video acquisition
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US7851764B2 (en) 2009-03-20 2010-12-14 Direct Electron, Lp Method of high-energy particle imaging by computing a difference between sampled pixel voltages
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
CN101909157B (zh) * 2009-06-05 2012-09-05 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器
JP2012010105A (ja) * 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
WO2012176101A2 (en) * 2011-06-21 2012-12-27 Koninklijke Philips Electronics N.V. Method for robust and fast presence detection with a sensor
US8605853B2 (en) * 2011-07-01 2013-12-10 Massachusetts Institute Of Technology Methods and apparatus for in-pixel filtering in focal plane arrays
JP5917071B2 (ja) * 2011-09-30 2016-05-11 株式会社東芝 放射線測定器
US9635287B2 (en) * 2011-10-11 2017-04-25 Raytheon Company Method and apparatus for integrated sensor to provide higher resolution, lower frame rate and lower resolution, higher frame rate imagery simultaneously
CN102740009B (zh) * 2012-07-16 2014-10-22 中国科学院上海高等研究院 图像传感器及其像素读出方法
US8946613B2 (en) * 2012-11-07 2015-02-03 Himax Imaging, Inc. Ultra low readout noise architecture having a pixel sensor with dual active pixel sensor pixel and dual ramp line
US9270895B2 (en) * 2013-07-31 2016-02-23 Massachusetts Institute Of Technology Methods and apparatus for true high dynamic range imaging
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276864A (ja) * 2007-04-27 2008-11-13 Toshiba Corp ２次元デジタルデータ取得素子およびホログラフィックストレージ装置
JP2015530855A (ja) * 2012-10-05 2015-10-15 ラムバス・インコーポレーテッド 条件付きリセットのマルチビット読み出しイメージセンサ
JP2016533140A (ja) * 2013-09-16 2016-10-20 クロノカム 動的な、単一光ダイオードの画素回路およびその作動方法
JP2015216592A (ja) * 2014-05-13 2015-12-03 日本放送協会 信号電荷のａ／ｄ変換回路、信号読み出し回路及び固体撮像素子

Also Published As

Publication number Publication date
CN110249616B (zh) 2021-09-14
CN110249616A (zh) 2019-09-17
WO2018144076A1 (en) 2018-08-09
EP3577892B1 (en) 2020-09-30
JP6785978B2 (ja) 2020-11-18
US20190180113A1 (en) 2019-06-13
US20180225521A1 (en) 2018-08-09
KR102229306B1 (ko) 2021-03-17
US10839229B2 (en) 2020-11-17
IL266449B (en) 2022-02-01
KR20190085960A (ko) 2019-07-19
IL266449A (en) 2019-06-30
US10242268B2 (en) 2019-03-26
EP3577892A1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
JP6785978B2 (ja) 追跡、敵の攻撃インジケーション、輝き抑圧、及びその他の用途のためのピクセルベースのイベント検出
US9069083B2 (en) Portable radiation detector
JP5518359B2 (ja) 煙検出装置
KR20080043635A (ko) 동적 촬영 대역의 확장을 위한 이미지 센서 및 화소에수광된 광량을 측정하는 방법
JP4729610B2 (ja) 煙検出装置
US9635287B2 (en) Method and apparatus for integrated sensor to provide higher resolution, lower frame rate and lower resolution, higher frame rate imagery simultaneously
CN101726357A (zh) 烟检测装置
US8946647B2 (en) System and method for identifying non-cooperative pulsed radiation sources in a field-of-view of an imaging sensor
US10819914B2 (en) Illuminance sensor, proximity sensor, electronic device, and surveillance system
US9258494B2 (en) Method and system for restricting applications for a focal plane array
US8842178B2 (en) Supervising system for image
US10175030B2 (en) Threat detection
US9759601B2 (en) Muzzle flash detection
US11832002B2 (en) Information processing apparatus, information processing method, and storage medium for displaying a measurement result in accordance with a direction of luminance changes
TWI820354B (zh) 熱健康監測感測器
JP6688280B2 (ja) 宇宙粒子により生じた画像欠陥を是正する時間遅延積分画像キャプチャ方法
TWI812896B (zh) 熱像儀健康監測
KR20130105273A (ko) 영상 분석을 이용한 이벤트 감지 시스템 및 방법
JP2009284230A (ja) 不審物監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201027

R150 Certificate of patent or registration of utility model

Ref document number: 6785978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250