JP2003294417A - 高ダイナミックレンジを有するスキャナレス距離画像システム - Google Patents

高ダイナミックレンジを有するスキャナレス距離画像システム

Info

Publication number
JP2003294417A
JP2003294417A JP2003074156A JP2003074156A JP2003294417A JP 2003294417 A JP2003294417 A JP 2003294417A JP 2003074156 A JP2003074156 A JP 2003074156A JP 2003074156 A JP2003074156 A JP 2003074156A JP 2003294417 A JP2003294417 A JP 2003294417A
Authority
JP
Japan
Prior art keywords
image
scene
distance
range
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003074156A
Other languages
English (en)
Inventor
Lawrence A Ray
アレン レイ ローレンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2003294417A publication Critical patent/JP2003294417A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 本発明は、高ダイナミックレンジを有するス
キャナレス距離画像システムを提供することを目的とす
る。 【解決手段】 スキャナレス距離画像は、変調された照
明でシーンを照明する照明システムと、反射された変調
された照明を受信し且つシーンからの反射された変調さ
れた照明を変調する変調段階を含む画像増強装置を有す
る。画像応答要素は、画像増強装置により出力される画
像を捕捉する個々の画素の配列を有しそれにより、反射
された変調された照明の変調は、距離画像システムから
のシーン内の物体の距離に対応する位相遅延を組み込
む。空間的に変化するパターンの透過率を有する複数の
フィルタ要素を有する透過フィルタは、画像応答要素を
構成する画素に関して１対１マッピングに配置される。
空間的に変化するパターンの透過率は、続いて拡張され
たダイナミックレンジを有する１つの出力画像を構成す
るために結合される、複数の別々の露光を提供する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、３次元画像捕捉の
分野に関連し、特に、改善されたダイナミックレンジを
有するスキャナレス距離画像システムを用いた画像捕捉
に関連する。
【０００２】
【従来の技術】Ｍａｒｉｏｎ Ｗ．Ｓｃｏｔｔの、１９
９０年７月１９日に発行された、名称”距離画像レーザ
レーダ”の米国特許番号４，９３５，６１６の特許文献
１内には、距離スキャナを採用することなしに、全体の
シーンの距離データを取得する手段が提案されている
（そして、さらに、Ｓａｎｄｉａ Ｌａｂニュース、ｖ
ｏｌ．４６，Ｎｏ．１９，１９９４年９月１６日の非特
許文献１に開示されている）。シーンを走査する代わり
に、このシステムは、僅かに変更された露光条件の下
で、繰返された画像を撮ることにより、距離を取得す
る。特に、そこに開示されたスキャナレス距離画像化シ
ステムは、目標のシーンを完全に照明するために、振幅
変調された高出力レーザダイオード又は、振幅変調され
た発光ダイオード（ＬＥＤ）の配列のいずれかを使用す
る。従来の光学系は、目標ビームを閉じこめそして、目
標を、各次元当り数百の要素を有する積分する検出器配
列センサを有する、受信器上に像を描く。
【０００３】目標への距離は、送られた光の振幅変調さ
れたキャリアに対して、目標から反射された光の位相シ
フトを測定することにより、決定される。この測定を行
うために、受信器内の画像増強装置（特に、マイクロチ
ャネルプレート）のゲインが、送信器と同じ周波数で変
調され、センサ（電荷結合素子）に達する光の量は、距
離に依存する位相差の関数である。そして、第２の画像
が受信器又は送信器変調なしに撮られ、そして、距離を
担わない強度情報を除去するために使用される。両方の
捕捉された画像は、空間的に登録され、そして、距離を
抽出するために、ディジタルプロセッサが、これらの２
つのフレームに作用するように使用される。この結果、
各画素に関連する距離は、全体のシーンをわたって、本
質的に同時に測定される。
【０００４】特許文献１の距離を推定する好ましい方法
は、１組の捕捉された画像を使用し、１つの画像は画像
増強装置を変調することにより発生される破壊的な妨害
を有し、他の画像では、画像増強装置は、一定の電圧に
設定されている。しかしながら、Ｌａｗｒｅｎｃｅ
Ａ．Ｒａｙ及びＴｉｍｏｈｙ Ｐ．Ｍａｔｈｅｒｓの２
０００年９月１２日に発行された、名称”写真フィルム
を使用するスキャナレス距離画像捕捉のための方法及び
装置（Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆ
ｏｒ Ｓｃａｎｎｅｒｌｅｓｓ Ｒａｎｇｅ Ｉｍａｇ
ｅ Ｃａｐｔｕｒｅ Ｕｓｉｎｇ Ｐｈｏｔｏｇｒａｐ
ｈｉｃ Ｆｉｌｍ）”の米国特許番号６，１１８，９４
６の特許文献２に示されたように、更に安定な推定方法
は、一連の少なくとも３つの画像を使用し、各々は画像
増強装置に与えられた変調を有する。その特許には、各
画像の区別する特徴は、画像増強装置変調の位相は、照
明器の変調に関して唯一である。一連のｎの画像が集め
られた場合には、好ましい配置は、連続する画像につい
て、前の画像の位相から、
【０００５】
【外１】 ラジアンの位相シフトを有することである（ここで、ｎ
は画像の数）。位相シフトは唯一である必要はあるが、
しかしながら、この特定のシフトは、要求されない。画
像の結果の組みは、画像の束と呼ばれる。ある画素位置
での距離は、束の各画像内の位置で画素の強度を選択す
ることにより、そして、その点を通して１期間のサイン
波の最良の適合を実行することにより、推定される。結
果の最も良く適合されたサイン波の位相は、そして、照
明周波数の波長に基づいて、物体への距離を推定するの
に使用され、そして、特定の画素での、カメラから物体
への距離は、容易く確かめられる。
【０００６】従って、束の中に少なくとも３つの画像を
使用する、Ｒａｙ他の特許文献２に記載された画像の束
の分析は、Ｓｃｏｔｔにより提案された、特許文献１に
より提案された分析と異なる。更に加えて、距離分解能
は、知られた関数形式への、データの最小二乗推定を実
行する能力に依存する。露出不足又は露出過多のため
に、画像内のデータにノイズが多い場合には、結果の距
離推定値は劣化する。システムは、領域の広いデータを
平行して集めるので、１つの領域が、適切な露光レベル
を有し、一方、他の領域は、好ましくない露光特性を有
するのがしばしばである。
【０００７】両方の方法ともに、画像は振幅変調された
光源で照明される。受信器の光路は、照明器と同じ周波
数で変調されている反射された信号の増幅を伴う、即
ち、暗視システムでのように、マイクロチャネルプレー
トを含む光学系と適合される。この方法では、Ｒａｙ他
による特許文献２により開示された方法では、第１の画
像に対しては、照明器と受信器は、同じ周波数を有する
だけでなく、２つの装置の間の位相が一致することが好
ましい。続く画像は、Ｒａｙ他による特許文献２により
開示された方法に従って、同様な方法で、捕捉される
が、しかし、照明器と受信器の相対的な位相関係は、知
られた角度だけ、シフトされる。
【０００８】ディジタル画像システム内の画像の束内の
全ての画像の登録を制御することが容易なので、ディジ
タル画像システムは、距離画像システムを実行するため
の、好ましいアプローチである。しかしながら、ディジ
タル画像は、制限された数の露光量子化レベルを有し、
例えば、標準的な民生用ディジタルカメラは、２５６露
光量子化レベルを有する。距離を推定するために、画像
の束内の所定の画素での値の変化は、システム内の雑音
を支配するのに十分でなければならない。特に、画素
が、最大露光レベルでの値である幾つかの値を有する場
合には、結果の距離画像の推定値は、怪しい。一般的に
は、画像の束内のある画素位置で値のより広い変化が好
ましい。
【０００９】実際には、しばしば、画像の束の幾つかの
領域は、受け入れられる変化を有し、一方他の領域は受
け入れられる変化を有しないという状況がある。この問
題を、適応させることが望ましい。１つのアプローチ
は、１組の露光設定を使用して、複数の画像の束を集め
ることである。各画像の束の分析は、性能の測定を維持
しながら実行され、そして、最も性能の良い測定値を有
する特定の画素での距離の測定値が、選択される。例え
ば、１／４秒、１／２秒、１秒及び２秒の、４つの露光
期間が使用される場合には、そして、１／４秒露光期間
での露光不足の領域は、例えば、１秒で露光された画像
内の露光特性よりも良い特性を有しそうである。この方
法は、目的を達成するが、露光回数を４倍にし、そし
て、距離を推定する時間を４倍以上にする。しかしなが
ら、多くのディジタル画像は適切以上の空間解像度を有
する場合もあり、そして、改善された距離分解能のため
の空間解像度のトレードオフは、可能なだけでなく、同
様に望ましい。
【００１０】近年、可視画像のダイナミックレンジを改
善するアプローチが提案された（非特許文献２及び、Ｎ
ａｙｅｒ及びＭｉｔｓｕｎａｇａの名前で２００１年８
月３０に発行された「高ダイナミックレンジ画像を得る
方法及び装置（Ｍｅｔｈｏｄａｎｄ Ａｐｐａｒａｔｕ
ｓ ｆｏｒ Ｏｂｔａｉｎｉｎｇ Ｈｉｇｈ Ｄｙｎａ
ｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅｓ）」の特許文献３参
照）。解像度の大きな損失なしに、比較的低いダイナミ
ックレンジの画像センサを使用して、比較的高ダイナミ
ックレンジ画像を得るための、方法及び装置が開示され
ている。画像センサは、感光要素の配列についての予め
定められた変化する感度パターンに従って、異なる感度
レベルを有する感光要素の配列を有する。予め定められ
た変化する感度パターンは、画像面に先立ちフィルタ配
列を採用することにより設けられる。この場合には、フ
ィルタ配列は、一連のタイルであり、各タイルは２ｘ２
画素の領域をカバーする。各タイルは、空間的に変化す
るパターンの透過率を提供する透過フィルタの配列を含
む。
【００１１】
【特許文献１】米国特許第４，９３５，６１６号明細書
【特許文献２】米国特許第６，１１８，９４６号明細書
【特許文献３】国際公開第ＷＯ０１／６３９１４Ａ１号
パンフレット
【特許文献４】米国特許第３，９７１，０６５号明細書
【特許文献５】米国特許第６，３４９，１７４号明細書
【特許文献５】ＵＳＳＮ０９／６３１，６０１
【非特許文献１】Ｋｅｎ Ｆｒａｚｉｅｒ著、「革新的
な距離画像器は、目標はどのくらい能力があるかをみ
る：賢い武器のために且つ市民も使用する（Ｉｎｎｏｖ
ａｔｉｖｅ ｒａｎｇｅ ｉｍａｇｅｒ ｓｅｅｓ ｈ
ｏｗ ｔａｒｇｅｔｓ ｍｅａｓｕｒｅ ｕｐ：Ｆｏｒ
ｓｍａｒｔ ｗｅａｐｏｎ ａｎｄ ｃｉｖｉｌｉａ
ｎ ｕｓｅｓ ｔｏｏ）」Ｓａｎｄｉａ Ｌａｂニュー
ス、ｖｏｌ．４６，Ｎｏ．１９，１９９４年９月１４日
【非特許文献２】Ｓｈｒｅｅ Ｋ．Ｎａｙａｒ及びＴｏ
ｍｏｏ Ｍｉｔｓｕｎａｇａ著、「高ダイナミックレン
ジ画像化：空間的に変化する画素露光（Ｈｉｇｈ Ｄｙ
ａｎｍｉｃ Ｒａｎｇｅ ｉｍａｇｉｎｇ：Ｓｐａｔｉ
ａｌｌｙ ＶａｒｙｉｎｇＰｉｘｅｌ Ｅｘｐｏｓｕｒ
ｅｓ）」、コンピュータビジョン及びパターン認識２０
００の会報（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｍｐ
ｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒ
ｅｃｏｇｎｉｔｉｏｎ ２０００）、ｐｐ．４７２−４
７９
【発明が解決しようとする課題】本発明の目的は、高ダ
イナミックレンジ画像器を使用して、スキャナレス距離
画像システムの距離分解能を改善することである。
【００１２】
【課題を解決するための手段】本発明は、前述の１つ又
はそれ以上の問題を解決することに向けられている。簡
単に要約すると、本発明の１つの見方に従って、スキャ
ナレス距離画像は、予め定められた変調周波数の変調さ
れた照明でシーンを照明し、それにより、幾つかの変調
された照明がシーン内の物体から反射される、照明シス
テムと、反射された照明を受信し、且つ、シーンからの
反射された変調された照明を、予め定められた変調周波
数で変調する変調段階を含む、画像増強装置を有する。
画像応答要素は、画像増強装置により出力される画像を
捕捉する個々の画素の配列を有し、それにより、反射さ
れた変調された照明の変調は、距離画像システムからの
シーン内の物体の距離に対応する位相遅延を組み込む。
空間的に変化するパターンの透過率を有する複数のフィ
ルタ要素を有する透過フィルタは、画像応答要素を構成
する画素に関して１対１マッピングに配置される。空間
的に変化するパターンの透過率は、続いて拡張されたダ
イナミックレンジを有する１つの出力画像を構成するた
めに結合される、複数の別々の露光を提供する。
【００１３】本発明は、画像の束の中に場所を占めるた
めに更なる画像を捕捉しなければならないという不利を
負うことなしに、スキャナレス距離画像システムの有益
なダイナミックレンジを拡大するという優位点を有す
る。本発明は、また、カラーテクスチャ画像が収集され
ることを許すが、しかし、フィルタの透過率がマイクロ
チャネルプレート内の蛍光体エミッタのスペクトラムに
合わされることを要求する。本発明は、更に制限された
数の量子化レベルを有するカメラを使用して、距離の収
集を許す。
【００１４】本発明のこれらのそして、他の見方、目
的、特徴及び優位点は、添付の図面を参照して、以下の
好ましい実施例の記載と請求の範囲を見れば、更に明ら
かに理解され且つ評価されよう。
【００１５】
【発明の実施の形態】レーザ照明器と（画像増強装置と
電子センサを有する）捕捉装置を採用する距離画像装置
は、良く知られているので、本記載は、特に、本発明の
一部を構成する又は本発明に従った装置とさらに直接的
に協同する構成要素に向けられる。特に示されていない
又はここに説明されない構成要素は、従来技術で知られ
ているものから選択される。説明される実施例のある特
徴は、ソフトウェアで提供されても良い。本発明の実行
に有益であるとここに記載され又は暗示されている、以
下の素材内の本発明に従って示され且つ説明されるシス
テム、特に示されていないソフトウェアは、従来のもの
であり、且つ、その技術の通常の知識内である。
【００１６】最初に、スキャナレス距離画像内に含まれ
る原理と技術を最初に見直すのが役に立つ。従って、最
初に、図７を参照して、距離画像システム２１０が、シ
ーン２１２を照明しそして、シーン２１２の最小の３つ
の画像を含む画像の束を捕捉するのに使用される、レー
ザレーダとして示されている。照明器２１４は、時間的
な周波数が変調器２１６により制御された電磁放射のビ
ームを放出する。典型的には、従来技術では、照明器２
１４は、広いフィールド照明をもたらすために、光学散
光器を含む、レーザ装置である。変調器２１６は、振幅
の変化する正弦変調を提供する。変調された照明源は、
【００１７】
【数１】 でモデル化され、ここで、μＬは平均照度、ηは照明源
の率、そして、λは、照明器２１４に与えられる変調周
波数である。変調周波数は、十分に正確な距離推定値を
達成するために、十分に高い（例えば、１２．５ＭＨ
ｚ）。出力ビーム２１８は、シーン２１２へ向けられ、
そして、反射されたビーム２２０が受信部２２２へ戻さ
れる。良く知られているように、反射されたビーム２２
０は、送信された出力ビーム２１８の遅延されたもので
あり、位相遅延量は、距離画像システムからシーン２１
２の距離の関数である。反射されたビーム２２０は、画
像増強装置２２６内のフォトカソード２２４に衝突し、
それにより、入力振幅変化に比例する変調された電子ス
トリームを発生する。画像増強装置２２６の増幅機能
は、
【００１８】
【数２】 によりモデル化され、ここで、μＭは平均の増強度、γ
は増強度の率、そして、λは画像増強装置２２６に与え
られる変調周波数である。画像増強装置の目的は、画像
を増強するだけでなく、周波数ミキサとシャッターとし
ても働く。従って、画像増強装置２２６は、変調器２１
６に接続され、マイクロチャネルプレート２３０のゲイ
ンを変調する。フォトカソード２２４からの電子ストリ
ームは、マイクロチャネルプレート２３０と衝突し、そ
して、変調器２１６からの変調信号と混合される。変調
された電子ストリームは、マイクロチャネルプレート２
３０による２次放射を通して増幅される。強調された電
子ストリームは、蛍光体スクリーン２３２に衝突し、こ
れは、エネルギーを可視光画像に変換する。強調された
光画像信号は、電荷結合素子（ＣＣＤ）又は、写真フィ
ルムのような、捕捉機構２３４により捕捉される。捕捉
された画像信号は、シーン内の各点での位相遅延を決定
するために、距離プロセッサ２３６へ与えられる。距離
ρメートルでの物体の位相遅延項ωは、
【００１９】
【数３】 により与えられ、ここで、ｃは真空中の光の速度であ
る。従って、捕捉システムへの入力での反射された光の
振幅は、
【００２０】
【数４】 によりモデル化され、ここで、κは物体から反射された
照明の率である。この点での画素応答Ｐは、反射された
光の積分であり、そして、増強の効果は、
【００２１】
【数５】 である。
【００２２】前述の、Ｒａｙ他の特許（米国特許第６，
１１８，９４６号）では、参照によりここに組み込ま
れ、少なくとも３つの位相画像（画像の束と呼ぶ）が収
集される。画像増強装置２２６の位相は、照明器２１４
の位相に関してシフトされ、そして、各々の位相画像は
特徴的な位相オフセットを有する。この目的のために、
平均照明レベル及びそのような他の捕捉機能も必要とさ
れるだけでなく、距離プロセッサ２３６は、変調器２１
６の位相オフセットを制御するために好ましく接続され
る。画像増強装置２２６（又は、レーザ照明器２１４）
は、θｉだけ位相シフトされ、式（５）からの画素応答
は、
【００２３】
【数６】 となる。
【００２４】この式から、位相項ωを抽出することが望
ましい。しかしながら、この項は、単一の画像から直接
的にはアクセスできない。式（６）では、３つの未知の
値があり、そして、式の形式は非常に単純である。この
結果、数学的に、（３つの画像からの）３つのサンプル
のみが、画像システムからシーン内の物体の距離に比例
する、この位相項の推定値を取り出すのに要求される。
従って、唯一の位相シフトを有する捕捉された３つの画
像の組みは、ωを決定するのに十分である。簡単のため
に、位相シフトは、θｋ＝２πｋ／３；ｋ＝０，１，
２。以下の説明では、画像の束は、同じシーンの、しか
し、各画像が画像増強装置２２６により与えられる変調
から得られる特徴的な位相オフセットを有する、画像の
集合を構成すると理解される。画像増強装置２２６の代
わりに照明器２１４を位相シフトすることにより、同様
な分析が実行できることは理解されるべきである。３画
像以上を含む画像の束が捕捉された場合には、特異値分
解を使用する最小２乗分析により、改善されることが可
能である（例えば、Ｗ．Ｈ．プレス，Ｂ．Ｐ．Ｆｌａｎ
ｎｅｒｙ，Ｓ．Ａ．Ｔｅｕｋｏｌｓｋｙ及びＷ．Ｔ．Ｖ
ｅｔｔｅｒｌｉｎｇ，Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐ
ｅｓ（科学計算の技術、ｔｈｅ Ａｒｔ ｏｆＳｃｉｅ
ｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ），ケンブリッジ大
学出版，ケンブリッジ、１９８６年参照）。
【００２５】画像増強装置（又はレーザ又は、その両方
の組合せ）の
【００２６】
【外２】 の特徴的な位相オフセットを有する画像が捕捉された場
合には、これらの画像は画像の束を構成する。画像の束
内の各画像に、式（６）を適用することにより、そし
て、コサイン項（即ち、
【００２７】
【数７】 ）を展開すると、各点で、ｎの未知の線形な指揮の以下
の系となる：
【００２８】
【数８】 ここで、
【００２９】
【数９】 及び
【００３０】
【数１０】 である。式のこの系は、ベクトルΛ＝[Λ１，Λ２，Λ
３]τを生じるために、特異値分解により解かれる。こ
の計算は、画像の束内の各（ｘ，ｙ）位置で実行される
ので、Λは、実際に、各点での３つの要素ベクトルを含
むベクトル画像である。位相項ωは、４象限逆正接計
算：
【００３１】
【数１１】 を使用して、各点で計算される。各点での位相値の結果
の集合は、位相画像を構成する。一旦位相が決定される
と、距離ｒは、
【００３２】
【数１２】 により計算される。式（１）−（９）はこのように、画
像増強装置又は照明器の特徴的な位相オフセットに対応
する少なくとも３つの画像（即ち、ｎ＝３）を有する画
像の束を使用して、距離を推定する方法を開示してい
る。
【００３３】しかしながら、背景部分で説明したよう
に、距離の分解能は、既知の関数の形式へデータの最小
２乗推定を実行する能力に依存するので、露出不足又は
露出過多のために、画像内のデータにノイズが多い場合
には、結果の距離推定値は劣化する。このシステムが平
行してデータを収集するので、１つの領域は適切な露光
レベルを有し、一方で、他の領域はあまり望ましくない
露光特性を有する場合がしばしばである。
【００３４】図１を参照すると、本発明に従った改善さ
れたダイナミックレンジを有するスキャナレス距離画像
システムのブロック図が示されており、特に、距離画像
器により使用される、ディジタル画像器４６を含む、感
光画素４４の配列について、予め定められた変化する感
度パターンを実行するフィルタ配列４２を使用する、ス
キャナレス距離画像器１０の一般的な構成を示す。好ま
しい実施例では、距離画像器１０は、例えば約８３０ｎ
ｍの波長のスペクトラムの赤外部分で動作するのが好ま
しい、レーザ又は発光ダイオード（ＬＥＤ）の集合のい
ずれかを使用する、光源としての照明器１２を組み込
む。照明器により放出されるエネルギーは、例えば、１
２．５ＭＨｚの高周波数で振幅変調され、目標を照明し
且つ、受信器４０により検出されることが可能な反射信
号を供給するために適切な出力を有する。例えば、６０
０ミリワットの照明出力は、システムの４０フィート以
内の物体については適切であることが示されている。
【００３５】システムの振幅変調は、典型的には、注目
の物体の距離の期待される変化と望ましい距離分解能を
適応させるように選択される。より高い周波数変調は、
非常に良い距離分解能を意味するが、しかし、不明りょ
うな距離推定値の間の距離が減少する。同様に、距離デ
ータの曖昧さは、低周波数では減少するが、しかし、従
って、距離解像度は減少する。受信器２０の光学的部分
は、レンズ２２、マイクロチャネルプレート２４及び、
（オプションで）リレー光学部品２６より構成される。
レンズは、典型的には、標準的な写真応用に使用される
標準レンズであるが、しかし、レンズは最初レンズ歪み
を有することが好ましい。典型的には、レンズ２２は、
例えば、８３０ｎｍの放出される放射の波長と整合する
ノッチドフィルタと適合される。これは、周囲光は距離
情報を担わないので、周囲光の有害な効果を非常に減少
する効果を有する。
【００３６】マイクロチャネルプレート２４は、光子を
取得し、そして、光子を電子に変換する。そして、電子
は、増幅され、そして、増幅量は制御されることが可能
である。照明器１２により放射される振幅変調された光
と同じ周波数で、ゲインを変調することが好ましい。照
明器１２により供給される照明とマイクロチャネルプレ
ート２４のゲインの間の相対的な位相は、知られてお
り、そして、制御されることが可能であることも必要で
ある。そして、マイクロチャネルプレート２４は、電子
を光子に戻して変換し、蛍光体スクリーンに衝突し、蛍
光体スクリーンは後続の画像収集サブシステム、即ち、
画像器４６により検出される光を放出する。ある応用で
は、画像器４６へ蛍光体スクリーンの出力を送る１組の
リレー光学部品２６を有することが望ましいが、これは
常にではない。そうでなければ、蛍光体スクリーンは、
（図示していない）光ファイバーの束により画像器４６
に結合されても良い。いずれかの選択が本発明と使用で
きることは明らかである。
【００３７】受信器４０は、フィルタ配列４２と画像器
４６を有する。フィルタ配列４２は、続いて説明され；
画像器４６はＣＣＤ又は、ＣＭＯＳ画像センサのような
ディジタル画像センサであることが好ましく、そのいず
れかは、普通に入手できる。コントローラ３０は、シス
テムを調整するのに使用され、そして、画像器４６の露
光期間を制御するだけでなく、照明器１２とマイクロチ
ャネルプレート２４の間の相対的な位相の整列を管理す
る責任がある。マイクロチャネルプレート２４を負に衝
撃を起こす、感光レベルのような、他の機能は、コント
ローラ３０により管理されてもよい。
【００３８】図２Ａを参照すると、フィルタ配列４２
が、１対１のマッピングで画像器４６の画素４４と整列
された１組の個々の透過フィルタ４８が示されている。
即ち、各画素は、フィルタ配列中に、唯一に関連された
透過フィルタを有する。そのような構成、即ち、感光画
素へのフィルタ要素の１対１マッピングは、広い種類の
カラーディジタルカメラ内のカラーフィルタ配列で使用
されている。フィルタ配列４２は、フィルタ配列４２を
構成するために繰返される、１組のタイル１４０に、分
解される。各タイルは、１組の個々の透過フィルタ１４
１，１４２，１４３及び１４４を有し、各々は唯一の透
過特性を有する。好ましい実施例では、個々のフィルタ
の透過率は、１／２のべき乗だけ減少され、これゆえ
に、４つの透過フィルタ１４１，１４２，１４３及び１
４４を有するタイル１４０については、透過率は、それ
ぞれ、１００％、５０％、２５％及び１２．５％であ
る。タイル内にどのように個々のフィルタが配置される
かは、重要ではないが、しかし、配置はフィルタ配列の
各タイルで同一でなければならない。
【００３９】個々のフィルタの透過率は、蛍光体プレー
トにより放出される色のスペクトラムに相対的であるこ
とは、認識されるべきである。従って、フィルタは、他
の特性を有しうる。特に、カメラが、カラーテクスチャ
画像を記録することも意図している場合には、配列中の
フィルタは標準カラーフィルタ配列の特性を共有するこ
とも可能である。１つの一般的な配列は、Ｂａｙｅｒパ
ターンであり（米国特許番号３，９７１，０６５、参照
によりここに組み込まれる）；図２Ｂに示されているよ
うに、そのようなフィルタ配列は、緑色を透過するタイ
ル１４０内の２つ（１４４、１４１）のフィルタ、１つ
の（１４３）赤色透過フィルタ、及び他の（１４２）青
色透過フィルタを有する。色特性は、維持されるが、し
かし、マイクロチャネルプレートの典型的な緑色蛍光体
の透過率は、前述の透過レベルに従って、空間的に可変
である。しかしながら、画像増強装置は、光子のエネル
ギーを電子のストリームへ変換し、このストリーム内の
電子の数を増幅し、そして、電子を光子エネルギーへ蛍
光体プレートを介して変換することにより動作する。こ
の処理の１つの結果は、色情報が失われることである。
図２Ｂに示されたフィルタ配列はカラーテクスチャ画像
を供給することが意図されているので、距離情報と共に
登録される色情報を取得する手段は、そのような実施例
について設けられなければならない。
【００４０】色を取得する１つのアプローチは、Ｌａｗ
ｒｅｎｃｅ Ａ．ＲａｙとＬｏｕｉｓ Ｒ．Ｇａｂｅｌ
ｌｏの名で、２０００年８月３日に出願された名称「カ
ラースキャナレス距離画像システム（Ｍｅｔｈｏｄ ａ
ｎｄ Ａｐｐａｒａｔｕｓｆｏｒ ａ Ｃｏｌｏｒ Ｓ
ｃａｎｎｅｒｌｅｓｓ Ｒａｎｇｅ Ｉｍａｇｉｎｇ
Ｓｙｓｔｅｍ）」の米国特許出願番号０９／６３１，６
０１に開示されている。この出願には、カラーフィルタ
配列が、増強装置内のマイクロチャネルプレート上のフ
ォトカソードに先立ち導入され、ここで、カラーフィル
タ配列は、増強装置に、カラー画像を生成する能力を提
供するために、マイクロチャネルプレートの空間チャネ
ルパターンに整合される。例えば、赤、青、緑及び赤外
のような４つの特徴的なカラーフィルタのパターンを有
する、カラーフィルタ配列は、マイクロチャネルプレー
トのチャネルパターンに合うように設計された、６辺形
格子に配置される。良く知られているように、画像増強
装置の感度は、フォトカソードは多くは、近赤外放射
（４００−９００ナノメータ）に応答し、その一部は人
間の目に見える、という事実から部分的に得られる。従
って、変調された照明は、赤外領域に制限され、そし
て、カラーフィルタ配列により分離される可視領域は、
従って、実質的に変調により影響されない。本発明は、
前述の空間的に変化する透過率パターンを、カラーフィ
ルタ配列内の赤外要素へ組み込むことにより、実行され
うる。代わりに、図２Ｂに示された前述のＢａｙｅｒ配
列は、カラーフィルタ配列として、採用されても良く、
ここで、空間的に変化する透過率パターンは、カラー要
素に組み込まれる。
【００４１】他のアプローチが、Ｌａｗｒｅｎｃｅ Ａ
ｌｌｅｎ ＲａｙとＬｏｕｉｓ Ｒ．Ｇａｂｅｌｌｏの
名で２００２年２月１９日に発行された、名称「カラー
スキャナレス距離画像システム（Ｍｅｔｈｏｄ ａｎｄ
Ａｐｐａｒａｔｕｓ ｆｏｒ ａ Ｃｏｌｏｒ Ｓｃ
ａｎｎｅｒｌｅｓｓ Ｒａｎｇｅ Ｉｍａｇｅ Ｓｙｓ
ｔｅｍ）」の米国特許番号６，３４９，１７４に記載さ
れている。このシステムでは、第１の光路が、単一の画
像応答要素に向けて画像光を向けるために、確立され
る。第１の光路内に配置されたビームスプリッタは、画
像光を、赤外成分を含む第１チャネルと、カラーテクス
チャ成分を含む第２チャネルの、２つのチャネルに分け
る。チャネルの１つは、第１の光路を横切り続け、そし
て、他のチャネルは第１の光路から別個の第２の光路を
横切る。変調要素は、赤外成分と変調信号を受信し、そ
して、距離情報を示す位相データを有する処理された赤
外成分発生するように、第１チャネル内で動作できる。
処理された赤外成分とカラーテクスチャ成分が、単一の
画像応答要素へ向けられるように、第２の光路を第１の
光路に再度結合するために、第２の光路内に光ネットワ
ークが設けられる。本発明は、前述の空間的に変化する
透過率フィルタ配列を第１のチャネルに組み込むことに
より実行されうる。加えて、第２のチャネル内にカラー
テクスチャ成分を供給するカラーフィルタ配列は、図２
Ｂに示された空間的に変化する透過率パターンを組み込
みうる。従って、後者の構成の優位点は、増加されたダ
イナミックレンジは、距離成分とカラーテクスチャ成分
の両方で実現されうることである。
【００４２】図３を参照すると、マイクロチャネルプレ
ートからの出力Ｉに関する実効的な量子化レベルＱ
Ｌが、示されている。画像システムの空間的に変化する
露光パターンは、異なる露光１５０、１５２、１５４及
び１５６を使用して、マイクロチャネルプレート２４か
らの出力ラジアンスIを測定する。図３に示されたパタ
ーンでは、（最大透過率フィルタ１４１に対応する）最
大出力露光１５０が、ノイズへ落とされることなくそし
てそれゆえに高分解能で、低蛍光体プレートラジアンス
を測定し、一方、（最小透過率フィルタ１４４に対応す
る）最小露光１５６は、飽和無しに、そしてそれゆえに
高分解能で、高蛍光体プレートラジアンスを測定するよ
うに、（４つの透過フィルタ１４１，１４２，１４３及
び１４４に対応する）４つの露光が使用される。４つの
露光からの情報が共に使用されるときには、拡張された
ダイナミックレンジが、マイクロチャネルプレート２４
からの出力について得られる。このように、最大透過率
のフィルタの下の画素については、量子化レベルは、精
細に配置された量子化バンド１６０により、グラフィッ
ク的に示されているように、最も精細に配置される。こ
れは、低レベルの反射光の領域に好ましい。しかしなが
ら、量子化レベルの数は固定され且つ有限であるので、
より多くの照明された光を反射する領域では、最高の透
過率を有するフィルタの下の画素は飽和されることも、
考えられる。第２の組みの量子化バンド１６２は、第１
のバンドよりもさらに広く配置され、そして、より大き
なダイナミックレンジを有するがしかし、光レベルを分
解する能力が低いという不利がある。続く離量子化バン
ド１６４と１６６は、この進行を続けそして、同じ特性
を満たす。しかしながら、この結果、４つの露光からの
情報がともに使用されるときには、システムのダイナミ
ックレンジは、４の係数で改善される。
【００４３】図４を参照すると、フィルタ配列内の単一
のタイル１４０の下で画素Ｑ１．．．Ｑ４を考慮する。
画像器は、いわゆる画像の束内の１組の画像を収集する
ので、各画素は、ここで、画素の束と呼ばれる照明値の
束を有する。説明を簡単にするために、物体と、フィル
タ配列に先立ち同一であるその物体から反射された全体
的な照明を考える。フィルタ配列のタイルに関連する画
素の束の間の差は、個々のフィルタの透過率レベルによ
ってのみ発生される。距離を推定する好ましい方法は、
最小２乗推定処理である。最良の結果を得るために、画
素の束は、可能な限り多くの変化を有するが、しかし、
最小又は最大量子化レベルを有しないことは好ましい。
８ビット画像器については、ゼロ又は２５５の何れかの
画素値については望ましくない。記載された配置では、
異なるレンジでの照明サンプルを有する４つの画素の束
がある。好ましい方法は、最大変化を有するが、しか
し、０又は最大画素値を有する値を有しない、サンプル
を拾う。これは、画像ノイズから最も解放された画素の
束と、画像器のダイナミックレンジ分解能を選択する。
例えば、図４内に、例示の形式で示されているように、
画素Ｑ１は、最大露光１５０に対応し、そして、飽和レ
ベル１６８でクリップされ、一方、画素Ｑ４は、最小露
光１５６に対応し、そして、ノイズレベル１７０に落ち
る。従って、画素Ｑ３とＱ４に関連する値は、最小２乗
推定処理に有益な十分な変化を含む。
【００４４】図５Ａを参照すると、画像器の画素位置の
組みは、典型的には、矩形の格子１７２である。上述の
アプローチで、距離格子推定値１７４も、矩形格子を形
成するが、しかし、実効的には、画像器格子１７６内の
４つの隣接画素の組み内の中間の点への、図５Ｂに示さ
れたオフセットである。これは、多くの状況で問題では
ない。代わりに、図５Ｃに示されたように、単一の距離
推定値１７８が、各タイル１４について、要素
Ｂ１．．．Ｂ４から形成されることが可能であり、そし
て、実効的に、同じ格子を維持するが、しかし、両空間
方向に半分の期間を有する。
【００４５】図６Ａと６Ｂを参照すると、画素位置
（ｉ，ｊ）で、距離推定値を選択するための、論理的な
フローチャートが示されている。各画素は、前述の関連
する画素の束を有する。画素（ｉ，ｊ）について画素の
束を得て（３００）、そして、この画素の束から、距離
と位相の推定値を計算する（３０２）。これを達成する
方法は前述した。そして、データの完全性の測定値を計
算する（３０４）。このタスクを実行するのには、制限
はされないが、適合されたデータから画素の束のデータ
への相関を測定し、クリップされた画素の数を決定し、
幾つの画素が低信号対雑音比を有する等を含む、幾つか
の方法がある。好ましい方法は、クリップされていな
い、又は、画素の束内の全体のサンプルへの低ＳＮＲを
有する、画素の束内の、サンプルの相関と比例のプロダ
クトであるが、この方法は幾つかの変形があることは理
解されよう。この方法は、データ完全性方法と呼ばれ
る。データの完全性方法は、例えば、しきい値以上のよ
うな、適切であると考えられる場合には（３０６）、距
離の推定値は受け入れられる（３０８）。そのようでな
い場合には、距離推定値のエラー境界が、標準的な統計
方法を使用して、形成される（３１０）。続いて、隣接
画素の画素の束（例えば、８の最も近い隣接画素）が取
り出される（３１２）。各々について、データの完全性
方法は、計算しそして、結果は、順序付けされたランク
である（３１４）。これらの最良が、選択され（３１
６）そして、位相推定がなされる（３１８）。位相推定
が初期画素の束のエラー境界内である場合には（３２
０）、この画素の束は受け入れられ、そして、距離推定
がなされ（３２２）そして、受け入れられる。そのよう
でない場合には、そして、多くの隣接画素の束が完全に
処理されていない場合には（３２４）、次の最良の画素
の束が、ランク順序付けされたリストから選択され（３
２６）そして、評価処理が実行される。全ての隣接画素
の束が評価され、そして、１つが選択されなかった場合
には、初期距離推定が受け入れられる（３２８）。
【００４６】
【発明の効果】上述のように、本発明により、高ダイナ
ミックレンジ画像器を使用して、スキャナレス距離画像
システムの距離分解能を改善することのできる、高ダイ
ナミックレンジを有するスキャナレス距離画像システム
を提供できる。
【図面の簡単な説明】
【図１】本発明に従った、改善されたダイナミックレン
ジを有するスキャナレス距離画像システムの主な構成要
素を示す図である。
【図２Ａ】図１に示された距離画像システム内に含まれ
るディジタル画像についての、予め定められた空間的に
変化する感度パターンを実行するための、タイル化され
フィルタ配列の２つのバージョンを示す図である。
【図２Ｂ】図１に示された距離画像システム内に含まれ
るディジタル画像についての、予め定められた空間的に
変化する感度パターンを実行するための、タイル化され
フィルタ配列の２つのバージョンを示す図である。
【図３】図１に示された距離画像システムに含まれるマ
イクロチャネルプレートからの出力ラジアンスに対する
実効的な量子化レベルを示す図である。
【図４】図２に示されたフィルタ配列により供給される
信号変化の例を示す図である。
【図５Ａ】図２に示されたタイル化フィルタ配列からの
結果の距離情報についての異なる格子位置を示す図であ
る。
【図５Ｂ】図２に示されたタイル化フィルタ配列からの
結果の距離情報についての異なる格子位置を示す図であ
る。
【図５Ｃ】図２に示されたタイル化フィルタ配列からの
結果の距離情報についての異なる格子位置を示す図であ
る。
【図６】ＡとＢは、画素位置での距離推定値を選択する
論理的なフローチャートを示す図である。
【図７】画像の束を捕捉するのに使用されることが可能
な、知られた距離画像システムのブロック図を示す図で
ある。
【符号の説明】
１０ スキャナレス距離画像器 １２ 照明器 ２０ 受信器 ２２ レンズ ２４ マイクロチャネルプレート ２６ リレー光学部品 ３０ コントローラ ４０ 受信器 ４２ フィルタ配列 ４４ 感光画素 ４６ ディジタル画像器 ４８ 透過フィルタ １４０ タイル １４１ 最大透過フィルタ １４２ 中間透過フィルタ １４３ 中間透過フィルタ １４４ 最小透過フィルタ １５０ 最大露光 １５２ 中間露光 １５４ 中間露光 １５６ 最小露光 １６０ 精密に配置された量子化バンド １６２ 中間に配置された量子化バンド １６４ 中間に配置された量子化バンド １６６ 広く配置された量子化バンド １６８ 飽和レベル １７０ ノイズレベル １７２ 矩形の格子 １７４ 距離格子推定値 １７６ 画像格子 １７８ 単一の距離推定値 ２１０ 距離画像システム ２１２ シーン ２１４ 照明器 ２１６ 変調器 ２１８ 出力ビーム ２２０ 反射されたビーム ２２２ 受信部 ２２４ フォトカソード ２２６ 画像増強装置 ２３０ マイクロチャネルプレート ２３２ 蛍光体スクリーン ２３４ 捕捉機構 ２３６ 距離プロセッサ ３００から３２８ 論理フローステップ
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA01 DD04 FF04 FF13 FF42 GG04 GG07 HH07 JJ03 JJ26 LL21 LL41 NN05 NN08 QQ17 QQ18 5B057 BA15 CA08 CA13 CA16 CB13 CB16 DB03 DC02

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 シーンから反射された照明から、距離情
    報を捕捉するための、拡張されたダイナミックレンジを
    有するスキャナレス距離画像システムであって、 予め定められた変調周波数の変調された照明でシーンを
    照明し、それにより、幾つかの変調された照明がシーン
    内の物体から反射される、照明システムを有し、 反射された照明を受信し、且つ、シーンからの反射され
    た変調された照明を、予め定められた変調周波数で変調
    する変調段階を含む、画像増強装置を有し、 画像増強装置の光路内に配置された画像応答要素を有
    し、前記画像応答要素は、画像増強装置により出力され
    る画像を捕捉する個々の画素の配列を有し、反射された
    変調された照明に対応する少なくとも１つの画像を含
    み、それにより、反射された変調された照明の変調は、
    距離画像システムからのシーン内の物体の距離に対応す
    る位相遅延を組み込み、 空間的に変化するパターンの透過率を有する複数のフィ
    ルタ要素を有する透過フィルタを有し、前記フィルタ要
    素は、画像応答要素を構成する画素に関して１対１マッ
    ピングに配置され、それにより、空間的に変化するパタ
    ーンの透過率は、続いて拡張されたダイナミックレンジ
    を有する１つの出力画像を構成するために結合される、
    複数の別々の露光を提供する、スキャナレス距離画像シ
    ステム。
  2. 【請求項２】 前記複数のフィルタ要素は、タイルのパ
    ターン内に配置され、各タイルは、各々が異なるレベル
    の透過率を提供するフィルタ要素の予め定められたグル
    ープを含む、請求項１に記載の距離画像システム。
  3. 【請求項３】 透過フィルタは、カラーテクスチャー画
    像を発生するカラーフィルタ要素を含む、請求項１に記
    載の距離画像システム。
JP2003074156A 2002-03-21 2003-03-18 高ダイナミックレンジを有するスキャナレス距離画像システム Pending JP2003294417A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US103640 1987-10-02
US10/103,640 US6707054B2 (en) 2002-03-21 2002-03-21 Scannerless range imaging system having high dynamic range

Publications (1)

Publication Number Publication Date
JP2003294417A true JP2003294417A (ja) 2003-10-15

Family

ID=27788379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003074156A Pending JP2003294417A (ja) 2002-03-21 2003-03-18 高ダイナミックレンジを有するスキャナレス距離画像システム

Country Status (4)

Country Link
US (1) US6707054B2 (ja)
EP (1) EP1347636A3 (ja)
JP (1) JP2003294417A (ja)
IL (1) IL154173A0 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012506994A (ja) * 2008-07-15 2012-03-22 サムスン エレクトロニクス カンパニー リミテッド 映像処理方法
JP2012237720A (ja) * 2011-05-13 2012-12-06 Sokkia Topcon Co Ltd 光波距離計
JP2020512632A (ja) * 2017-03-17 2020-04-23 ザ リージェンツ オブ ザ ユニバーシティ オブ コロラド，ア ボディー コーポレイトＴＨＥ ＲＥＧＥＮＴＳ ＯＦ ＴＨＥ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＣＯＬＯＲＡＤＯ，ａ ｂｏｄｙ ｃｏｒｐｏｒａｔｅ アナログインターフェースを有する高速２次元イベント検出および撮像

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7092013B2 (en) * 2002-06-12 2006-08-15 Litton Systems, Inc. InGaAs image intensifier camera
IL165053A0 (en) * 2002-06-12 2005-12-18 Litton Systems Inc Image intensification camera
WO2004055776A1 (en) 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
KR101094119B1 (ko) * 2003-10-24 2011-12-15 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 양방향 비디오 디스플레이 시스템 운용 방법 및 시스템
US20060227316A1 (en) * 2005-04-06 2006-10-12 Phillip Gatt Three-dimensional imaging device
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US7193720B2 (en) 2005-05-17 2007-03-20 Lockheed Martin Coherent Technologies, Inc. Optical vibration imager
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
JP4899351B2 (ja) * 2005-06-17 2012-03-21 株式会社デンソー 走行状況判定装置及び車載ナビゲーション装置
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US7468504B2 (en) * 2006-03-09 2008-12-23 Northrop Grumman Corporation Spectral filter for optical sensor
CN100365436C (zh) * 2006-04-26 2008-01-30 浙江大学 一种区域化照明探测方法
US7995191B1 (en) * 2006-06-29 2011-08-09 Sandia Corporation Scannerless laser range imaging using loss modulation
WO2008124820A1 (en) * 2007-04-10 2008-10-16 Reactrix Systems, Inc. Display using a three dimensional vision system
US7420656B1 (en) 2007-08-20 2008-09-02 Sandia Corporation Scannerless loss modulated flash color range imaging
US7495748B1 (en) 2007-08-20 2009-02-24 Sandia Corporation Scannerless loss modulated flash color range imaging
EP2188737A4 (en) 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
CN100593796C (zh) * 2008-04-25 2010-03-10 清华大学 变化光照动态场景三维采集系统
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US20110018993A1 (en) * 2009-07-24 2011-01-27 Sen Wang Ranging apparatus using split complementary color filters
US9071763B1 (en) * 2012-09-26 2015-06-30 Google Inc. Uniform illumination image capture
JP6329240B2 (ja) 2013-03-14 2018-05-23 スパイレーション インコーポレイテッド ディー ビー エイ オリンパス レスピラトリー アメリカ バルブローダの方法、システム、および装置
EP3029494A1 (de) 2014-12-02 2016-06-08 Sick Ag Optoelektronischer Sensor
US9800795B2 (en) * 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
CN108780142B (zh) 2016-02-29 2023-10-31 恩耐股份有限公司 3d成像系统和方法
US20190098264A1 (en) * 2017-03-21 2019-03-28 Irvine Sensors Corporation Image Intensified Color Camera
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
WO2019109091A1 (en) 2017-12-03 2019-06-06 Munro Design & Technologies, Llc Digital image processing systems for three-dimensional imaging systems with image intensifiers and methods thereof
US11212512B2 (en) 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
US10901087B2 (en) * 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
CN113841034A (zh) * 2019-04-23 2021-12-24 合刃人工智能有限责任公司 用宽带滤光片与光强探测器集成的高动态范围光学传感器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4690555A (en) * 1985-11-01 1987-09-01 Hughes Aircraft Company Solid-state wavefront slope determination
US4935616A (en) * 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
JP3305083B2 (ja) * 1993-12-22 2002-07-22 キヤノン株式会社 光レーダ
US6088086A (en) * 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
US5990506A (en) * 1996-03-20 1999-11-23 California Institute Of Technology Active pixel sensors with substantially planarized color filtering elements
GB2341029B (en) * 1998-08-29 2002-12-31 Marconi Gec Ltd Cameras
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6118946A (en) 1999-06-29 2000-09-12 Eastman Kodak Company Method and apparatus for scannerless range image capture using photographic film
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6349174B1 (en) * 2000-05-17 2002-02-19 Eastman Kodak Company Method and apparatus for a color scannerless range imaging system
US6456793B1 (en) * 2000-08-03 2002-09-24 Eastman Kodak Company Method and apparatus for a color scannerless range imaging system
US6584283B2 (en) * 2001-02-02 2003-06-24 Eastman Kodak Company LED illumination device for a scannerless range imaging system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012506994A (ja) * 2008-07-15 2012-03-22 サムスン エレクトロニクス カンパニー リミテッド 映像処理方法
JP2012237720A (ja) * 2011-05-13 2012-12-06 Sokkia Topcon Co Ltd 光波距離計
JP2020512632A (ja) * 2017-03-17 2020-04-23 ザ リージェンツ オブ ザ ユニバーシティ オブ コロラド，ア ボディー コーポレイトＴＨＥ ＲＥＧＥＮＴＳ ＯＦ ＴＨＥ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＣＯＬＯＲＡＤＯ，ａ ｂｏｄｙ ｃｏｒｐｏｒａｔｅ アナログインターフェースを有する高速２次元イベント検出および撮像
JP7173590B2 (ja) 2017-03-17 2022-11-16 ザ リージェンツ オブ ザ ユニバーシティ オブ コロラド，ア ボディー コーポレイト アナログインターフェースを有する高速２次元イベント検出および撮像

Also Published As

Publication number Publication date
EP1347636A3 (en) 2004-11-03
US20030178549A1 (en) 2003-09-25
EP1347636A2 (en) 2003-09-24
US6707054B2 (en) 2004-03-16
IL154173A0 (en) 2003-07-31

Similar Documents

Publication Publication Date Title
JP2003294417A (ja) 高ダイナミックレンジを有するスキャナレス距離画像システム
KR101655742B1 (ko) 다중 조리개 촬영용 플래시 시스템
JP2003307407A (ja) スキャナを用いないカラー逐次距離画像化システム用の方法及び装置
EP1178333A2 (en) Method and apparatus for a color scannerless range imaging system
US6856355B1 (en) Method and apparatus for a color scannerless range image system
US7119842B2 (en) Image capturing device including a spectrally-selectively transmissive diaphragm
US6839088B2 (en) System and method for estimating physical properties of objects and illuminants in a scene using modulated light emission
JP2003532122A (ja) 変調された電磁波を空間的に分解して光検出し復調するための装置及び方法
US6349174B1 (en) Method and apparatus for a color scannerless range imaging system
Hytti Characterization of digital image noise properties based on RAW data
US20070262235A1 (en) Compensating for Non-Uniform Illumination of Object Fields Captured by a Camera
US8391698B2 (en) Systems and methods of generating Z-buffers for an image capture device of a camera
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
JP2003114379A (ja) 電気機械格子を用いたカラースキャナレスレンジ撮像システム
CN110574368B (zh) 固态摄像装置、摄像系统以及物体识别系统
CN106716592B (zh) 具有光电阴极的双模式图像采集装置
US6410930B1 (en) Method and apparatus for aligning a color scannerless range imaging system
Burns Image signal modulation and noise characteristics of charge-coupled device imagers
JP2002532868A (ja) Ｘ線束を調節するために制御ループを含むｘ線検査装置
JP2002112108A (ja) 画像処理装置
AU2018387689B2 (en) Method and system for imaging at high and low light levels
Ray et al. Approaches to a color scannerless range imaging system
Yamashita et al. Wide-dynamic-range camera using a novel optical beam splitting system
JP2835100B2 (ja) 分光撮像装置
Kelly et al. Image Sensor Characterization in a Photographic Context

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080610