JP2023022237A - 色によるパノラマｌｉｄａｒ結果の増強 - Google Patents

色によるパノラマｌｉｄａｒ結果の増強 Download PDF

Info

Publication number
JP2023022237A
JP2023022237A JP2022192760A JP2022192760A JP2023022237A JP 2023022237 A JP2023022237 A JP 2023022237A JP 2022192760 A JP2022192760 A JP 2022192760A JP 2022192760 A JP2022192760 A JP 2022192760A JP 2023022237 A JP2023022237 A JP 2023022237A
Authority
JP
Japan
Prior art keywords
color
lidar
pixels
pixel
angular position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022192760A
Other languages
English (en)
Inventor
アンガス パカラ
Pacala Angus
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ouster Inc
Original Assignee
Ouster Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ouster Inc filed Critical Ouster Inc
Publication of JP2023022237A publication Critical patent/JP2023022237A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】カラーカメラから得られた色でＬＩＤＡＲの結果を増強する、パノラマＬＩＤＡＲシステムを提供する。【解決手段】カラーピクセルルックアップテーブルは、ＬＩＤＡＲピクセルとカラーピクセルとの間の対応を指定することができ、これは、異なる表示オブジェクト距離で実行され得る。カラーカメラの動作は、ＬＩＤＡＲシステムが特定の角度位置にあるときにトリガすることで、特定のカメラのカラー画像を捕捉することができ、それは、カメラのシャッタスピードに基づいて事前に決定することができる。代替的にまたは加えて、ＬＩＤＡＲ及びカラーピクセルが捕捉されるときに、共通の内部クロックを使用して、それらにタイムスタンプを割り当てることができる。例えば、カラーピクセルルックアップテーブルを使用して決定された、最も近いタイムスタンプを有する対応するカラーピクセル（複数可）を、色付けのために使用することができる。【選択図】図３

Description

〔関連出願の相互参照〕
本出願は、２０１７年５月１５日に出願された「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｇｍｅｎｔｉｎｇ ３６０° Ｐａｎｏｒａｍｉｃ ＬＩＤＡＲ ｒｅｓｕｌｔｓ ｗｉｔｈ Ｃｏｌｏｒ」と題する米国仮特許出願第６２／５０６，４６０号に対する優先権を主張し、その内容全体は、あらゆる目的のためにそれらの全体が参照により本明細書に援用される。
３６０度パノラマビューＬＩＤＡＲシステムは、システムを囲むボリュームの３次元地図を作成することができるため、車両安全性及び自律車両制御などの多くの用途で使用することができる。ほとんどのＬＩＤＡＲシステムは、単色レーザパルスを採用し、反射レーザパルスの強度及び時間遅延の両方を測定することができる。強度及び時間遅延から、ＬＩＤＡＲシステムは、次いで、ＬＩＤＡＲピクセルのアレイを含むＬＩＤＡＲ画像を計算することができ、各ピクセルは、システム周辺の視野における検出されたオブジェクトの範囲（ＬＩＤＡＲシステムからの距離）及び反射率を含む。しかしながら、かかるＬＩＤＡＲシステムは、マッピングされている周囲のボリュームの色またはスペクトル品質を本質的に認識していない。したがって、強度及び範囲情報を追加的な色情報で強化することは、ＬＩＤＡＲシステムが、オブジェクトの検出及び認識を助けるものとしてより効果的に展開され得る、より情報的な３Ｄ地図を生成することを可能にするであろう。
異なる色の複数のレーザを使用するＬＩＤＡＲシステムは、高価である。代替的に、１または複数の外部カラーカメラを車両の様々な部分に取り付けるには、綿密かつ時間のかかるキャリブレーションが必要である。加えて、カラーカメラ及びＬＩＤＡＲを独立したモジュールとして有するには、測距データとカラー画像を首尾よくマージするために、画像データの複雑かつ時間のかかる後処理が必要である。更に、ＬＩＤＡＲ及びカラーカメラが同じ物理的空間を占有することができないという事実により、視差エラーが存在する。
したがって、信頼性が高く、低コストで、かつ設置が容易である、色で強化されたＬＩＤＡＲシステムが依然として必要である。
特定の実施形態によれば、方法及びシステムは、カラーカメラから得られた色で、（例えば、回転するＬＩＤＡＲシステムから）３６０度パノラマＬＩＤＡＲ結果を増強することができる。カラーピクセルルックアップテーブルは、ＬＩＤＡＲピクセル（深度／測距ピクセル）とカラーピクセルとの間の対応を指定することができ、これは、異なる表示オブジェクト距離で実行され得る。カラーカメラの動作は、ＬＩＤＡＲシステムの角度位置によってトリガすることができる。例えば、ＬＩＤＡＲシステムが特定の角度位置にあるときに特定のカメラのカラー画像を捕捉することができ、それは、カメラのプロパティ（例えば、シャッタスピード）に基づいて事前に決定することができる。このようにカラーカメラをトリガすることは、カメラの取得が（ＬＩＤＡＲの回転速度に関係なく）同じ視野内の対応するＬＩＤＡＲ測距測定と時間的に同期することを確実にすることができる。
代替的にまたは加えて、ＬＩＤＡＲ及びカラーピクセルが捕捉されるときに、共通の内部クロックを使用して、それらにタイムスタンプを割り当てることができる。例えば、カラーピクセルルックアップテーブルを使用して決定された、最も近いタイムスタンプを有する対応するカラーピクセル（複数可）を、色付けのために使用することができる。
本発明のこれら及び他の実施形態を以下に詳細に説明する。例えば、他の実施形態は、本明細書に記載の方法に関連付けられたシステム、デバイス、及び、コンピュータ可読媒体に関する。
本発明の実施形態の性質及び利点に関するより良好な理解は、以下の詳細な説明及び添付の図面を参照して得ることができる。
いくつかの実施形態による、自動車用途の状況における３６０度パノラマカラーＬＩＤＡＲシステム（ＰＣＬＳ）を示す。
特定の実施形態によるＰＣＬＳ配置を示す。 特定の実施形態によるＰＣＬＳ配置を示す。
特定の実施形態による、回転するＬＩＤＡＲとカラーカメラシャッタとの間の回転同期の概念を更に例解するための、ＰＣＬＳのブロック図を例解する。
特定の実施形態による、カメラ同期プロセスを例解することを目的として、カラーカメラ視野のセットと重複するＬＩＤＡＲ視野を例解する。
ピクセルごとのレベルでの、ＬＩＤＡＲピクセルとカラーピクセルとの間の対応を例解する。
１または複数の実施形態に従って、視差に起因するＬＩＤＡＲとカラー画像との間の相違を例解する。 １または複数の実施形態に従って、視差に起因するＬＩＤＡＲとカラー画像との間の相違を例解する。 １または複数の実施形態に従って、視差に起因するＬＩＤＡＲとカラー画像との間の相違を例解する。
特定の実施形態による、深度依存ピクセル対応のためのルックアップテーブルの使用を更に例解するためのＰＣＬＳ３１０のブロック図を示す。
３６０パノラマビューＬＩＤＡＲシステムを色で増強するためのステップを示すフローチャートである。
３６０パノラマビューＬＩＤＡＲシステムを色で増強するためのステップを示すフローチャートである。
１または複数の実施形態に従ってＬＩＤＡＲシステムの断面図を示す １または複数の実施形態に従ってＬＩＤＡＲシステムの断面図を示す １または複数の実施形態に従ってＬＩＤＡＲシステムの断面図を示す いくつかの実施形態による個々の回路基板の表面の図を提供する。 いくつかの実施形態による個々の回路基板の表面の図を提供する。 特定の実施形態による、ＬＩＤＡＲ及びカラーピクセルのタイムスタンプを使用したＰＣＬＳのブロック図を示す。
特定の実施形態によると、本明細書に開示された方法及びシステムは、３６０度パノラマＬＩＤＡＲ結果を色で増強することに関する。３６０度パノラマビュー、カラー、回転する、ＬＩＤＡＲシステム（ＰＣＬＳ）の実施形態は、カラーカメラ情報でその距離及び強度のＬＩＤＡＲ結果を増強する。カメラ及びＬＩＤＡＲシステム（例えば、エミッタ及びセンサなど）は、製造中に工場でキャリブレーションされ得る機械的に統合されたユニットとして構築することができる。
キャリブレーションの一部には、ＬＩＤＡＲピクセル（深度／測距ピクセル）とカラーピクセルとの間の対応を決定するためのカラーピクセルルックアップテーブルの決定を含むことができ、これは、異なる表示オブジェクト距離で実行され得る。ＬＩＤＡＲピクセルは、ＬＩＤＡＲ検知に関連する任意の情報、例えば、深度値、信号強度値、信号対雑音比値などを含むことができる。カラーピクセルルックアップテーブルは、どのカラー画像ピクセル（複数可）が所与の測距測定に対する各ＬＩＤＡＲピクセルに対応するかを指定することができる。したがって、ＬＩＤＡＲシステムとカラーカメラとの間の視差効果を修正することができる。カメラ及びＬＩＤＡＲシステムは、製造中に機械的支持体に固定して取り付けることができるため、ＬＩＤＡＲピクセルとカラーピクセルとの間のピクセルごとのマッピングは、初期の組み付け後は変更されず、それによって、車両への設置時に追加的なキャリブレーションが不要になるが、かかる後のキャリブレーションは可能である。
いくつかの実施形態では、ロータリエンコーダを使用して、カラーカメラに対するＬＩＤＡＲシステムのポインティング方向（すなわち、角度位置）をキャリブレーションすることができ、ＬＩＤＡＲシステムが回転する際に、いつカラーカメラの各々をトリガする必要があるかをシステムが決定する直接的な方法を可能にする。このようにカラーカメラをトリガすることは、カメラの取得が（ＬＩＤＡＲの回転速度に関係なく）同じ視野内の対応するＬＩＤＡＲ測距測定と時間的に同期することを確実にする。かかるシステムは、ＬＩＤＡＲとカラー取得との間の時間的変化（例えば、車、歩行者などの移動によって生じる）を最小限に抑え、それにより、２種類のピクセルをオブジェクト上のポイントに、より厳密に対応させることができる。他の実施形態では、独立したＬＩＤＡＲ及びカラーカメラシステムは、タイムスタンプを使用して位置合わせを行い、ＬＩＤＡＲ画像のＬＩＤＡＲピクセルに時間的に最も近いカメラ画像のカラーピクセル（複数可）を特定することができる。ＬＩＤＡＲの位置に基づいてカラーカメラをトリガすることは、時間的な同期の改善を提供することができる。
カラーカメラ及びＬＩＤＡＲシステムは、別個のモジュールではなく、単一の機械ユニットに統合することができるため、システムを、工場でキャリブレーションすることができ、車両への設置時に更にキャリブレーションすることなく設置することができる。同様に、工場でのキャリブレーション中に、カラーカメラに対するＬＩＤＡＲのポインティング方向も、回転するＬＩＤＡＲに統合されているロータリエンコーダの出力を使用して、キャリブレーションすることができる。この回転キャリブレーションにより、システムは、いつＬＩＤＡＲが複数のカメラのうちの１つの視野内の方向を向いているか、及び、いつ特定のカメラの取得をトリガするかを決定することが可能になる。したがって、工場でのキャリブレーション後、ＬＩＤＡＲデータ（ＬＩＤＡＲの３６０度の１回転中に取得された）のフレームごとに、様々なカラー画像とＬＩＤＡＲポイントクラウドとの間の位置合わせが固定され得、かつ反復可能であり得る。
ＬＩＤＡＲとカラーカメラとの間の取得タイミング（例えば、トリガとカラーピクセルの捕捉との間の時間）も工場で設定することができ、設置時に再キャリブレーションする必要はない。システムの全体的な剛性及び安定性により、ピクセルルックアップテーブルを使用して、指定されたカラー画像の１または複数のカラーピクセルをあらゆるＬＩＤＡＲピクセルに素早く関連付けることができる。ルックアップテーブルは、現在の回転サイクル中にトリガされたカラー画像と特定の角度位置で取得されたＬＩＤＡＲピクセルとの間の所定の相関関係の結果として、リアルタイムで使用することができる。リアルタイムでのルックアップテーブルの使用は、タイムスタンプ及び／または地理データを使用した後処理ステップ中に、後に相互に位置合わせされるカラーデータ及びＬＩＤＡＲデータの別個の取得に依存する配列よりも簡素である。
取得したＬＩＤＡＲピクセルごとにカラーピクセルを素早く特定することができるため、ＰＣＬＳは、フルカラー強化ピクセル（範囲、強度、Ｒ、Ｇ、Ｂ）を、３次元画像再構成に使用するために、または、カラー及びＬＩＤＡＲ画像を相互に位置合わせをするための複雑な後処理を必要としない、例えばタイムスタンプに基づいた安全システムに使用するために、下流の処理素子へ素早く送信することができる。この処理時間の短縮は、システムが、先進運転支援システム（ＡＤＡＳ）または自動運転システムなど、より広範な安全システム内で採用される場合に有利であり得る。
Ｉ．自動車用パノラマカラーＬＩＤＡＲシステム
図１は、いくつかの実施形態による、自動車用途の状況における３６０度パノラマカラーＬＩＤＡＲシステム（ＰＣＬＳ）１００を示す。ＰＣＬＳの自動車用途は、ここでは単に例解のために選択したものであり、本明細書に記載のセンサは、例えば、ボート、航空機、列車などの他のタイプの車両において、ならびに医用撮像、測地学、ジオマティクス、考古学、地理学、地質学、地形学、地震学、林業、大気物理学、レーザ誘導、空中レーザスワスマッピング（ＡＬＳＭ）、レーザ高度計などの、ＬＩＤＡＲ画像が有用な様々な他の用途において採用され得る。いくつかの実施形態によれば、ＰＣＬＳ１００は、図１に示すように車両１０５の屋根に取り付けることができる。
いくつかの実施形態では、ＰＣＬＳ１００は、カラーカメラ１１９ａ～１１９ｄのアレイを含むカラーカメラアセンブリに回転可能に連結されたスキャンＬＩＤＡＲシステム１０２を含む。図１に示すスキャンＬＩＤＡＲシステム１０２は、ＬＩＤＡＲシステム１０２のポインティング方向（すなわち、角度位置）を車両１０５の周りの３６０度視野のすべてまたは一部にわたってスキャンすることができる、回転アーキテクチャを採用することができる。いくつかの実施形態において、パルス出力ビーム（複数可）１１１は、図のように、周囲環境にわたってスキャンすることができる。周囲のボリューム内のオブジェクトは、次いで、パルス出力ビーム（複数可）１１１の反射光の部分１１７を反射し、これらの反射部分１１７は、次いで、ＬＩＤＡＲシステムに戻り、検出器回路によって検出することができる。放出と検出との間の時間差に基づいて、計算によって、車両を囲む環境内のポイント１１０におけるＬＩＤＡＲシステムからのオブジェクトの距離（本明細書では「測距」とも称される）を決定することができる。単一のポイント１１０のみが所与の角度方向で図１に示されているが、ＬＩＤＡＲシステム１０２は、出力ビーム（複数可）１１１の任意の所与の配向のポイントの対応するアレイにおける深度値を測定するためのエミッタ（例えば、ｚ軸の上下に分布）のアレイを含んでもよい。エミッタの２次元（２Ｄ）アレイも使用することができる。
スキャンＬＩＤＡＲシステム１０２は、（時計回りの回転方向１１５で示すように）ｚ軸の周りを機械的に回転し、車両１０５の周囲３６０度である全視野のＬＩＤＡＲ画像を捕捉することができる。いくつかの実施形態では、回転は、機械的手段によって、例えば、スキャンＬＩＤＡＲシステム１０２を、電気モータによって駆動することができる回転柱またはプラットフォームに取り付けることによって、実施することができる。いくつかの実施形態では、回転は、検流計を使用するなど、他の機械的手段を介して実施することができる。例えば、デジタルマイクロミラー（ＤＭＤ）デバイス、デジタル光処理（ＤＬＰ）デバイスなどの１または複数のＭＥＭＳベースの反射器を採用するマイクロチップを使用することによって、チップベースのステアリング技術を採用することもできる。いくつかの実施形態では、スキャンは、非機械的手段を介して、例えば、電子信号を使用して１または複数の光フェーズドアレイを操縦することにより達成することができる。
図示されるように、カラーカメラのアレイは、カラーカメラ１１９ａ～１１９ｄを含む。カメラ１１９ａ～１１９ｄの各々は、ＬＩＤＡＲシステムの全３６０視野の一部であるそれぞれの視野角１２０ａ～１２０ｄ内の２Ｄカラー画像を捕捉することができる。いくつかの実施形態では、各カラーカメラ１１９ａ～１１９ｄは、それぞれ、周囲光反射を使用して、その視野１２０ａ～１２０ｄ内のピクセルの色を決定することができる。以下で詳細に説明するように、カメラから捕捉された色情報を使用して、スキャンＬＩＤＡＲシステムによって捕捉された深度データを充実させ、それにより、ピクセルごとの深度（距離）及び色情報の両方が提供される。
ＩＩ．幾何学的配列
図２Ａは、図１を参照して上述したＰＣＬＳ１００と同様の、特定の実施形態によるＰＣＬＳ２５０を示す斜視図である。ＰＣＬＳ２５０は、スキャンＬＩＤＡＲシステム２１０を保護するための、光学的に透明な窓２６０及び蓋２７０から形成されたエンクロージャを含む。いくつかの実施形態では、システムコントローラ２８０、及びカメラ２２０を含むカラーカメラアレイもハウジング内に存在することができる。カラーカメラのアレイは、ベース２４０の周囲に位置付けることができ、ベース自体は、各カメラがベース２４０から出る透明な光路を有するように開口部のアレイを含むことができる。いくつかの実施形態では、開口部は、中身のない貫通孔であってもよく、または各カラーカメラの撮像を支援するための１または複数の光学素子を含んでもよい。
いくつかの実施形態では、カラーカメラをベース２４０に直接取り付ける必要はないが、何らかの内部構造に取り付けることができる、またはエンクロージャ内に収容される１または複数の回路基板に取り付けることができる。いくつかの実施形態において、カメラ２２０は、スキャンＬＩＤＡＲシステム２１０がカメラに対して回転することができるように、すなわち、カメラ２２０はハウジングに対して静止しているが、スキャンＬＩＤＡＲシステム２１０はエンクロージャ内で、例えばｚ軸を中心に、回転することができるように、エンクロージャのベース２４０に（直接的または間接的に）堅固に取り付けられている。
図２Ｂは、エンクロージャが取り外されたＰＣＬＳをｚ軸に沿って見下ろしたＰＣＬＳの平面図を例解し、スキャンＬＩＤＡＲシステム２１０に対するカメラ２２０の幾何学的配列を更に詳細に示している。前述のように、スキャンＬＩＤＡＲシステム２１０は、光パルスを送信し、その反射を分析して、距離及び強度値をＬＩＤＡＲ画像の形態で生成する。
任意の所与の時点で、スキャンＬＩＤＡＲシステム２１０は、（例えば、ｙ軸に位置する固定基準位置に対する）特定の角度方向θを向いていることができ、したがって、その特定の方向の視野内のオブジェクトの距離及び強度値を生成することができる。ＬＩＤＡＲシステム２１０は、ｚ軸を中心に回転するので、例えば測定を実行するための時間／速度によって定義される、それが回転する複数の方向の距離及び強度値を生成することができる。したがって、ＬＩＤＡＲシステム２１０は、それを囲むボリュームの３６０度のパノラマビューを提供することができる。
一実施形態では、ＰＣＬＳは、スキャンＬＩＤＡＲシステム２１０の周りに対称的に配列された８つのカラーカメラ２２０を含むことができる。他の実施形態は、本開示の範囲から逸脱することなく、異なる数のカメラ及び非対称配列を含んでもよい。各カラーカメラ２２０は、それ自体の視野角２３０（スキャンＬＩＤＡＲシステム２１０の全３６０度視野の一部である）内で２Ｄ画像を捕捉することができる。図のように、８つのカラーカメラ２２０の各々の視野２３０は、４５度の角度に広がることができる。
カラーカメラの各々のシャッタは、ＬＩＤＡＲシステム２１０が対応するカメラの視野内に配向されている場合、例えば、ＬＩＤＡＲシステム２１０が視野の中央に向けられている場合、ＰＣＬＳ２５０がカラーカメラの取得をトリガすることができるように、スキャンＬＩＤＡＲシステム２１０の回転と同期することができる。トリガされたカメラの視野内で取得されたＬＩＤＡＲデータ（例えば、ピクセル）は、トリガされた画像のカラーデータと組み合わせることができる。ＰＣＬＳ２５０は、取得したばかりのＬＩＤＡＲデータ（例えば、視野の前半内）をカラー画像データと組み合わせてもよい。ＰＣＬＳ２５０は、ＬＩＤＡＲシステム２１０が視野内の（例えば、トリガされた画像に対応する）すべての測距を完了する前に、カラーカメラデータを取得してもよい。かかる場合、ＰＣＬＳ２５０は、その特定のカラーカメラ２２０からカラー画像データを読み取り、それを、ＬＩＤＡＲがカメラの残りの視野をスイープするときに、今取得されたＬＩＤＡＲデータと組み合わせることができる。
一実施形態では、カラーカメラ２２０は、通常、ローリングシャッタを有する低コストのＣＭＯＳセンサであり得る。ローリングシャッタセンサは、一度に１または複数のピクセル列のデータを生成する。グローバルシャッタを有するカメラも使用することができる。いずれの場合でも、ＰＣＬＳ２５０は、カラーカメラ２２０の配向及びＬＩＤＡＲシステム２１０の回転方向を調整して、同じ円方向のピクセルデータを取得することができる。ＰＣＬＳ２５０はまた、カラーカメラシャッタを制御することができるため、カラーピクセルの取得は、ＬＩＤＡＲピクセルの捕捉と同期する（つまり、対応するＬＩＤＡＲピクセルが決定された角度位置の近く及びその位置において捕捉されており、トリガされた画像のカラーピクセルが時間的に近接して位置合わせされるように、時間的に同期する）。他の実施形態は、異なるタイプのカラーカメラを使用してもよい。例えば、ＰＣＬＳはより高価なＣＣＤカメラを使用することができ、それは通常、画像全体を同時に捕捉する。カラーカメラ２２０は、ＲＧＢ、ＹＵＶ、及びＣＭＹＫを含む任意のフォーマットで色情報を提供することができる。一実施形態では、ベース２４０は成形プラスチックの機械的ハウジングであるが、他の実施形態は、金属または他の材料を使用してもよい。
ＩＩＩ．回転同期を採用するＰＣＬＳシステム
図３は、特定の実施形態による、スキャンＬＩＤＡＲシステムとカラーカメラシャッタとの間の回転同期の概念を更に詳しく説明するための、ＰＣＬＳ３００のブロック図を例解する。回転同期とは、カラーカメラ取得とスキャンＬＩＤＡＲ取得を同期するプロセスを指す。いくつかの実施形態では、後処理でタイムスタンプを使用することなく、例えば、スキャンＬＩＤＡＲシステムの角度位置に基づいて１または複数のカラーカメラ取得をトリガすることにより、同期を達成することができる。
図３では、回転アセンブリ３１１（例えば、１または複数の回路基板、ブラケット、または他の構造部材を含む）が、回転カップリング３１７を介して固定アセンブリ３１３（固定ベースとも呼ばれる）に回転可能に連結されている。したがって、スキャンＬＩＤＡＲシステム３０１は、回転アセンブリ３１３とともに回転することができ、かつｚ軸の周りを全３６０度スキャンすることができる。固定アセンブリ３１３は、例えば、１または複数の回路基板、ブラケット、または他の構造部材を含むことができる。
スキャンＬＩＤＡＲシステム３０１の回転は、本明細書で「ポイントクラウド」及び／またはＬＩＤＡＲ画像とも称される、デバイスの周囲の環境のパノラマ深度マップを提供することができる。いくつかの実施形態において、固定アセンブリ３１３は、固定アセンブリ３１３が固定された状態で、かつハウジング３１５に対して回転しないように、例えば、機械的ブラケット及びネジ（図示せず）によってハウジング３１５に連結され得る。
回転カップリング３１７は、様々な実施形態において、多くの異なる方法で実装することができる。例えば、いくつかの実施形態は、シャフト及びベアリング構造（図示せず）を採用することができる。いくつかの実施形態では、回転カップリング３１７は、回転運動を可能にするだけでなく、回転アセンブリ３１１の回転運動も駆動する回転アクチュエータ用の１または複数のコンポーネントも含む。例えば、電気モータモジュール（図示せず）を使用することができ、または１または複数の回転駆動要素をアセンブリ自体の一体部品として形成することができる。例えば、ロータ要素（例えば、永久磁石）の配列が、回転アセンブリ３１１の回路基板の表面に直接統合されてもよく、また、電気モータステータアセンブリ（例えば、ソレノイドコイルなどのステータ要素の配列を含む）が、固定アセンブリ３１３の回路基板に直接統合されてもよい。かかる実施形態では、１または複数の回転駆動コンポーネントが固定アセンブリ３１３及び／または回転アセンブリ３１１に統合されており、回転駆動のための別のモジュールはもはや不要であり、それによって信頼性が高まり、複雑性が低下し、アセンブリプロセスの簡素化が促進される。
いくつかの実施形態では、ロータリエンコーダシステムは、ある固定基準に対するスキャンＬＩＤＡＲシステム３０１の角度位置を追跡することができる（例えば、エンコーダは、図２Ｂに示すように角度θを測定することができる）。回転アセンブリ３１１（したがって、ＬＩＤＡＲシステム３０１）の角度位置は、ロータリエンコーダレシーバ３１９によって追跡することができる。例えば、ロータリエンコーダレシーバ３１９は、開始特徴を検出し、次いで、固定アセンブリ３１３に取り付けることができるリング状のエンコーダ（例えば、エンコーダ３２３）上の特徴／マーキングの数の通過を追跡することにより、回転アセンブリ３１１の角度位置を追跡することができる。かかる開始特徴は、固定アセンブリ３１３上の固定基準点の一例である。
他の実施形態では、ハウジング３１５内のどこか別の場所に固定されたロータリエンコーダモジュールによって角度位置を追跡することができる。例えば、ロータリエンコーダレシーバ３１９ａは、リング状ロータリエンコーダ３２３ａを受け入れるスロットを有することができる。ロータリエンコーダレシーバ３１９ａは、リング状ロータリエンコーダ３２３ａ上の１または複数の特徴／マークの通過を検出することにより、リング状ロータリエンコーダ３３１の角度位置を決定することができる。当業者は、１つのエンコーディングメカニズムのみが使用されてもよく、また、２つの例が例解目的のみのために示されることを認識するであろう。図３は、ロータリエンコーダアーキテクチャの２つの例を示しているが、本開示の範囲から逸脱することなく、任意のロータリエンコーダ技術を採用することができる。
採用されるエンコーダの特定の形態に関係なく、エンコーダレシーバ３１９は、スキャンＬＩＤＡＲシステム３０１が時間とともに回転するときのその角度位置をエンコードする角度位置信号３３４を生成することができる。角度位置信号３３４をＬＩＤＡＲコントローラ３２１に提供して、スキャンＬＩＤＡＲ取得とカラーカメラ取得との間の回転同期を実行することができる。ＬＩＤＡＲコントローラ３２１は、カメラコントローラ３２７と通信しており、それにより、特定のカメラをトリガして画像を撮影することができる。ＬＩＤＡＲコントローラ３２１及び／またはカメラコントローラ３２７は、各々別個の操作を実行する２つの別個のコントローラとして示されているが、回転するまたは固定される単一のコントローラとして存在することができる。
コントローラ（複数可）は、角度位置信号３３４によって示される現在の角度位置を決定することができる。コントローラ（複数可）は、現在の角度位置が、複数のカメラ３２５のうちのいずれかをトリガするための任意の所定の値／位置に対応するかどうかを決定することができる。所定の位置は、対応するカメラの識別子と関連付けて記憶することができる。現在の角度位置が一致する場合、コントローラ（複数可）は対応するカメラにコマンド信号を送信して、画像を撮影することができる。コントローラ（複数可）は、リアルタイムで、ロータリエンコーダレシーバ３１９から角度位置信号３３４を受信することができ、したがって、システムは、時間の関数としてＬＩＤＡＲシステムの現在の角度位置を継続的に監視しており、それにより、発生している実際の回転速度に対応する速度でカメラを連続してトリガすることができる。
カメラ３２５は、固定されており、固定アセンブリに対して決められた場所に取り付けられているため、角度位置信号３３４は、カラーカメラに対するＬＩＤＡＲシステムの角度位置を示す。上述のように、コントローラ（複数可）は、適切なときにカメラの取得を行わせるトリガ信号を生成することができる。例えば、ＬＩＤＡＲシステム３０１が、トリガされたカメラの視野に対して所定及び／または特定された方向に現在向いているときに、カラーカメラの取得をトリガすることができる。例えば、ＬＩＤＡＲシステム３０１が、カメラの視野角の中間、中心の少し前、中心の少し後、またはＬＩＤＡＲが所与のカメラの視野に入る直前または直後にカメラをトリガすることができる。上述の回転同期のプロセスは、ＬＩＤＡＲ及びカラーピクセルの位置合わせのための時間のかかる後処理なしに、カラーカメラの取得と時間的に近接して同期するＬＩＤＡＲ取得を提供する。
いくつかの実施形態では、スキャンＬＩＤＡＲシステム３０１は、光送信モジュール３０３及び光検知モジュール３０５を含むことができる。光検知及び送信モジュール３０３及び３０５は、それぞれ、例えば、検知及び送信モジュールの入力／出力に位置付けられたバルク光学素子３０８、例えば多素子レンズアセンブリを含むことができる。光送信モジュール３０３は、マイクロ光学素子アレイを有する焦点面アレイ、及び、バルク光学素子３０８と発光回路３０７との間に位置する任意のノッチフィルタ素子（図示せず）を更に含むことができる。いくつかの実施形態では、発光回路３０７は、ヒ化インジウムガリウム（ＩｎＧＡ）基板上の垂直共振器面発光レーザ（ＶＣＳＥＬ）のアレイなどの光源のチップスケールアレイを含む。光検知モジュール３０５はまた、マイクロ光学素子アレイ、及びバルク光学素子３０８と光検出器回路３０９との間に位置するノッチフィルタ素子（図示せず）を含むことができる。いくつかの実施形態では、光検出器回路３０９は、ＣＭＯＳ技術で製造された単一光子アバランシェダイオード（ＳＰＡＤＳ）のアレイなどの、光検出器のチップスケールアレイを含むことができる。他の検出器技術、例えば、アバランシェフォトダイオード、ＣＣＤイメージセンサ、ＣＭＯＳフォトダイオードイメージセンサ、空洞強化光検出器、表面強化光検出器なども採用することができる。さらなる詳細（例えば、マイクロ光学素子に関する）は、米国特許公開第２０１７／０２８９５２４号及び第２０１７／０２１９４２６号に見出すことができ、その内容は、それらの全体が参照により援用される。
ＬＩＤＡＲコントローラ３２１及び／またはカメラコントローラ３２７は、１または複数のプロセッサ及びメモリ（図示せず）を含むことができる。例えば、システムコントローラは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）ならびに／または特定のＬＩＤＡＲ及び／もしくはカメラコントロール機能を提供するように調整された１または複数の用途固有の集積回路（ＡＳＩＣ）を含むことができる。スキャンＬＩＤＡＲシステム３０１は、マルチピン電気コネクタを介して回転アセンブリ３１１に配線接続することができ、または、例えば、光学、誘導、ＲＦ接続などを採用する１または複数の通信チャネルを介して固定アセンブリ３１３に無線で接続することができる。カラーカメラ３２５は、固定アセンブリ３１３の回路基板に直接取り付けることができる。固定アセンブリ３１３は、回転アセンブリ３１１に無線で電力を送信して、例えば、スキャンＬＩＤＡＲシステム３０１及び他のあらゆる関連回路、例えば、ＡＳＩＣＳ、ＦＰＧＡ、通信回路などに電力を供給することができる。加えて、光学、誘導、及び／または容量通信チャネルは、固定アセンブリ３１３を回転アセンブリ３１１に接続することができ、それにより、ベース回路基板アセンブリから非接触データ転送を介してスキャンＬＩＤＡＲシステム３０１を制御することができる。
いくつかの実施形態では、１または複数のＬＩＤＡＲ固有の動作（例えば、ピーク検出ならびに測距データの計算及び出力に続く光子時系列蓄積）を実行するためのハードウェア及びソフトウェア／ファームウェアは、スキャンＬＩＤＡＲシステム３０１及び／またはＬＩＤＡＲコントローラ３２１の回路に組み込まれ得る。例えば、光検出器回路３０９は、ＳＰＡＤのアレイと同じ基板上に統合されるＡＳＩＣを含むこともできる。かかる状況では、スキャンＬＩＤＡＲシステム３０１は、ソフトウェア／ファームウェアの再プログラミング（再構成）により、スキャンＬＩＤＡＲシステム３０１が、回転ＬＩＤＡＲシステムの一部として、またはスタンドアロンのソリッドステートＬＩＤＡＲシステムとして動作することができるという意味において、モジュール式である。また、機械的回転アクチュエータを必要とせずにビームステアリングを可能にすることもできる回路（例えば、ＭＥＭＳ、ＤＭＤ、光学フェーズドアレイなど）を採用することができる。したがって、本明細書で開示されるシステムのモジュール設計は、ハードウェア及び機械的アーキテクチャ全体の高価かつ時間のかかる再設計なしに、ユーザのニーズに適合することができる高度に適応可能なシステムをもたらす。
ＩＶ．ＬＩＤＡＲの角度位置に基づくカラー画像の取得
図４は、特定の実施形態による、回転同期プロセスを例解することを目的として、カラーカメラの視野のセットと位置合わせされたパノラマＬＩＤＡＲ画像４０３を例解する。図４は、特定の実施形態による、システムコントローラが、ロータリエンコーダによって生成された角度位置信号に基づいて、ＰＣＬＳシステムのカラーカメラのセットからカラー画像４０５、４０７、及び４０９の一連の取得を、どのようにトリガすることができるかを例解する。より具体的には、図４は、図２Ｂに示されるのと同様の方法でベースの周囲に周方向に配置された３つのカラーカメラを有するＰＣＬＳについて、取得されたカラー画像４０５、４０７、及び４０９と重複する全３６０度パノラマＬＩＤＡＲ画像４０３を示す。この例では、各カラーカメラは約１２０度の視野を有している。
図４の上部の横軸４０２は、スキャンＬＩＤＡＲシステムの配向角を示し、下部の横軸４０４は、経過時間を表し、スキャンＬＩＤＡＲの角速度が１０Ｈｚの回転速度をもたらす等角速度であると仮定する。更に、本例の目的のために、第１のカメラ（カラー画像４０５に対応）は、その視野角が０度の点を中心とするように、０度方向を向いているその撮像面の法線に向けられ、第２のカメラ（カラー画像４０７に対応）は、その視野角が１２０度の点を中心とするように、１２０度の方向を向いているその撮像面の法線に向けられ、第３のカメラ（カラー画像４０９に対応）は、その視野角が２４０度の点を中心とするように、２４０度の方向を向いているその撮像面の法線に向けられる。
簡素化するために、スキャンＬＩＤＡＲシステムは、５つのＬＩＤＡＲピクセルのグループ４１１を任意の所与の角度で取得することができ、ＬＩＤＡＲシステムの前にある視野内の５つの非重複視野の間で、それらの５つのＬＩＤＡＲピクセルはｚ方向に垂直に分布していると仮定する。また、スキャンＬＩＤＡＲシステムは、スキャンＬＩＤＡＲシステムの各回転について、５つのＬＩＤＡＲピクセルの２４グループを取得することができると想定されている。したがって、ＬＩＤＡＲデータのすべてのフレームは、システムの周囲の３６０視野の周辺に分布する２４×５＝１２０ＬＩＤＡＲピクセルを含む。
回転の特定の部分については、ＬＩＤＡＲピクセルの特定のグループが、異なるカメラの特定の視野と重複することが分かる。ＬＩＤＡＲピクセルとカラーカメラピクセルとの間の時間的な同期を最大化するには、ＬＩＤＡＲシステムがカメラの視野をアクティブにスキャンしているときにカラーカメラ画像を取得することが有益である。これは、ＬＩＤＡＲ取得とカラーカメラの取得との間の時間を最小限に抑え、それにより、ＬＩＤＡＲピクセル取得とカラーピクセル取得との間の時間に視野内の何かが動的に変化する可能性を最小限に抑えるため、有利である。ＬＩＤＡＲ取得とカラーカメラの取得との間に発生し得る変化の例には、車両、歩行者の移動、停止信号の色、動き、または道路の破片の変化などが含まれる。車両の移動の場合を例にとると、ＬＩＤＡＲデータとカラーカメラデータとの時間的同期が不十分であると、交差点内の車を示すＬＩＤＡＲ画像、及びその車のない同じ視野のカラー画像をもたらす場合がある。
最初に、エンコーダレシーバ（例えば、図３のエンコーダレシーバ３１９）は、例えば、スキャンＬＩＤＡＲシステムが０度を向いていることを示すエンコーダ信号をコントローラに送信することができる。このエンコーダ信号に基づいて、コントローラは、第１のカメラに送信されるトリガコマンドを生成して、カラー画像４０５の取得をトリガすることができる。同様に、エンコーダ信号が、スキャンＬＩＤＡＲシステムが１２０度を向いていることを示す場合は、システムによって第２のカラーカメラをトリガすることができる。また、システムは、次いで、エンコーダ信号が、スキャンＬＩＤＡＲシステムが２４０度を向いていることを示す場合は、第３のカラーカメラをトリガすることができる。回転同期プロセスの物理的解釈を助けるために、実際の角度０、１２０、及び２４０度が本明細書で使用される。しかし、本開示の恩恵を受ける当業者には理解されるように、実際のエンコーダは角度位置を度数で測定する必要はなく、本開示の範囲から逸脱することなく任意のエンコーディングを使用することができる。
いくつかの実施形態では、カメラをトリガする角度位置は、カメラ取得の性質、例えば、カメラがローリングシャッタを採用するかどうか、またはすべての画像ピクセルを同時に取得する（例えば、グローバルシャッタを有するプログレッシブフレームカメラ）かどうか、に基づいて設定することができる。ＬＩＤＡＲピクセルのセットの取得時間が、対応するカラーカメラの取得時間に最も近いことを確実にするために、コントローラは、カメラの蓄積時間（つまり、シャッタスピードまたは露出時間）を考慮し、それに従って、トリガ位置を、各カラーカメラ視野の中心に対して進めるまたは遅らせる（つまり、スキャンＬＩＤＡＲシステムの所与の回転サイクルにおいてより早いまたはより遅い）角度位置へシフトすることができる。したがって、いくつかの実装形態では、カメラフレームのトリガポイントは、カメラ露出設定ポイントとＬＩＤＡＲ回転速度に基づいており、所与のカメラとＬＩＤＡＲデータとの間の時間的誤差を最小限に抑えることができる。目標は、ＬＩＤＡＲシステムをカメラのＦＯＶの中心に置いて、カメラの露出期間の中心を位置合わせすることであり得る。かかる手順は、ＬＩＤＡＲデータとカメラデータとの間の最悪の場合の時間的誤差を最小限に抑えることができる。
一例として第２のカラーカメラ取得４０７を使用すると、システムコントローラは、１２０度前または１２０度後のＬＩＤＡＲの角度位置でカラーカメラをトリガすることができる。したがって、第２カメラを実際にトリガする時間遅延が、ＬＩＤＡＲシステムが１２０度を向いているときと一致する場合があるため、第２のカメラのトリガ位置は、１１５度で発生する場合がある。
図４は、カメラ画像のトリガを例解することに加えて、異なるＬＩＤＡＲピクセルの、カラー画像の異なる部分へのマッピングも例解している。マッピングテーブルは、各ＬＩＤＡＲピクセルに対応するカラーピクセル（複数可）を特定するキャリブレーションプロセス中に決定することができる。通常、ＬＩＤＡＲは低解像度であるため、パノラマＬＩＤＡＲ画像４０３の各ＬＩＤＡＲピクセルに複数のカラーピクセルを割り当てることができる。単一のＬＩＤＡＲピクセルに複数のカラーピクセルが割り当てられている場合、色の平均値を使用することができる。
トリガされた画像のカラーピクセルのセット及び対応するＬＩＤＡＲピクセル（例えば、視野内で撮影された）は、結合するために互いに割り当てられたバッファに記憶することができる。例として、各カラー画像４０５、４０７、及び４０９についてカラーバッファのセットが存在することができ、ＬＩＤＡＲデータを、ＬＩＤＡＲデータが取得された角度位置に基づいて、対応するＬＩＤＡＲバッファに記憶することができる。例えば、カラー画像４０７に対応するＬＩＤＡＲバッファは、６０～１８０度の角度位置のＬＩＤＡＲピクセルを保持することができる。バッファ内の記憶位置は角度位置に対応することができ、記憶位置を使用してルックアップテーブルの対応するカラーピクセル（複数可）のインデックスを作成することができる。
別の実施形態では、所与のＬＩＤＡＲ画像のＬＩＤＡＲピクセルは、対応する角度位置でタグ付けすることができ、ルックアップテーブルは、現在の回転で撮影されたカラー画像のどのピクセル（複数可）が角度位置に対応するかを指定することができる。かかる実施形態では、異なるＬＩＤＡＲ画像（回転）に対して２つのバッファを使用することができ、１つのバッファでリアルタイム分析が発生している間に、データが次のバッファに記憶されている。
多くの最新のカメラは、ＬＩＤＡＲセンサよりも高いフレームレート（例えば６０Ｈｚ対１０Ｈｚ）で動作することができるため、いくつかの実施形態では、カメラに素早く連続して２回の露出をさせ、例えば、各々をＬＩＤＡＲ角度位置によってトリガする。第１の露出画像の前半及び第２の露出画像の後半を使用して、カラー画像を生成することができる。代替的に、両方の露出は、それら自体のＬＩＤＡＲ角度位置によってトリガすることができる。したがって、１回転で、カラーカメラを複数回トリガすることができ、例えば、その回転についてそのカメラのカラー画像全体を生成するために、その露出の一部分のみを使用することができる。したがって、カメラが更に高いフレームレートをサポートすることができる場合、これを各カメラのＦＯＶについて撮影された任意の数のカメラフレームに拡張することができる。かかる操作は、露出した数に応じて、例えば２倍以上、時間的誤差（及びプロキシによる空間的誤差）を減らすことができる。
Ｖ．ＬＩＤＡＲ画像－カラー画像ピクセル対応
上記で説明したように、１または複数のカラーピクセルは、１つのＬＩＤＡＲピクセルに対応することができる。ルックアップテーブルは、かかるマッピングを特定するためのキャリブレーション手順を介して決定されてもよい。
Ａ．理想的なピクセル対応
図５は、ピクセルごとのレベルでの、ＬＩＤＡＲピクセルとカラーピクセルとの間の対応を例解する。有利なことに、いくつかの実施形態では、カメラの取得は、ＬＩＤＡＲシステムの角度位置に基づいて（システムクロックなどを使用するのではなく）、トリガすることができるため、ＬＩＤＡＲ画像全体内の各カラー取得の相対位置が固定されており、それにより、キャリブレーション手順を介して、ＬＩＤＡＲとカラーピクセルとの間の単一マッピングを工場で決定することが可能になる。このマッピングをＰＣＬＳのシステムメモリに記憶することができ、その後、システムが、対応するＬＩＤＡＲピクセルにマップする各カラーピクセルを認識することができるように、ルックアップテーブルとして使用することができる。
ＬＩＤＡＲ画像５１０は長方形として表されており、ＬＩＤＡＲシステムの１回転（回転）中に取得されたＬＩＤＡＲデータに対応する。ＬＩＤＡＲ画像５１０は、ＬＩＤＡＲピクセル５４０及び５５０などのＬＩＤＡＲピクセルデータポイント（本明細書ではＬＩＤＡＲピクセルと称される）を含む。これらのＬＩＤＡＲピクセルは、図４で前述した非重複視野に対応し得る。ＬＩＤＡＲ画像５１０は、ＬＩＤＡＲ画像幅５２０及びＬＩＤＡＲ画像高さ５３０を有する。例えば、ＬＩＤＡＲ画像５１０は、２０４８ピクセルのＬＩＤＡＲ画像幅及び６４ピクセルのＬＩＤＡＲ画像高さを有し得る。
カラー画像５６０及び５６２も長方形で表される。各ＬＩＤＡＲシステム回転の間に、ＰＣＬＳは、各カラーカメラから１つの画像を捕捉し、各カラーカメラの取得は、ＩＤＡＲシステムの角度位置に基づいてシステムコントローラによってトリガされる。各カラー画像５６０及び５６２は、カラーピクセル５７５及び５８０などのカラーピクセルを有する。各カラー画像５６０及び５６２は、カラー画像幅５６５及びカラー画像高さ５７０を有する。例えば、各カラー画像５６０及び５６２は、幅６４０ピクセル×高さ４８０ピクセルを有し得る。この例では、ＬＩＤＡＲピクセル５４５は、第１のカメラ画像からのカラーピクセル５７５に対応し、ＬＩＤＡＲピクセル５５０は、第２のカメラ画像からのカラーピクセル５８０に対応する。
以下で更に詳しく説明するように、ＬＩＤＡＲピクセルとカラーピクセルとの間の対応は、システムを現場の車両に設置する前に工場でキャリブレーションすることができ、例えば、設置後の再キャリブレーションは不要である。ＬＩＤＡＲピクセル及びカラーピクセルは、図３及び図４を参照して上述したように、特定の視野角（ＦＯＶ）の測定値を表す。ＬＩＤＡＲピクセルのＦＯＶのサイズは、通常、カラーピクセルのＦＯＶのサイズとは異なる。いくつかの実施形態では、ＬＩＤＡＲピクセルとカラーピクセルとの間の対応は、ＬＩＤＡＲシステムと近距離でのカメラとの間の視差差のため、表示オブジェクトの距離、すなわち範囲に依存する。
ＬＩＤＡＲピクセル５４０が特定の角度位置で取得された後、特定の角度位置、または角度位置の何らかのプロキシ、例えば特定の角度位置に対応することが知られているメモリ内の位置を使用して、ルックアップテーブルにアクセスすることができる。例えば、ＬＩＤＡＲフレームは、回転中に取得した各角度位置に対応する列を有する２次元アレイとして記憶することができる。ルックアップテーブルは、角度位置（またはプロキシ）によってインデックス付けすることができ、指定されたカメラ画像、例えばカラー画像５６０のカラーピクセル位置（複数可）を提供することができる。したがって、カラーピクセルルックアップテーブルは、各回転について約３６０度の角度位置によってインデックス付けすることができる。カラーピクセルルックアップテーブルの各エントリは、ピクセルアレイ（例えば、１次元または２次元のピクセルアレイ）内の特定の角度位置及び特定のセンサに対するそれぞれのカラー画像の１または複数のカラーピクセルを特定することができる。
所与の回転におけるカメラ画像は、対応するカメラの識別子とともに記憶することができる。異なる回転の画像を識別し、かかるように記憶することができる。したがって、ルックアップテーブルは、対応する回転の第１のカメラ画像の位置（１２３、２４２）でカラーピクセル５７５を指定することができる。
Ｂ．視差を含むピクセル対応
図６Ａは、１または複数の実施形態に従って、視差に起因するＬＩＤＡＲとカラー画像との間の相違を例解する。より具体的には、図６Ａは、近点オブジェクト６９４及び遠点オブジェクト６９２の両方を撮像するＬＩＤＡＲシステム６１０及びカラーカメラ６２０を示す。視差効果を更に例解するために、図６Ｂは、ＬＩＤＡＲシステム６１０から取得される画像の例を示し、図６Ｃは、カラーカメラ６２０から取得される画像の例を示す。図６Ｂ及び図６Ｃにおいて、近点オブジェクトは木の上部に対応し、遠点オブジェクトは家の上部に対応する。
図６Ｂに示すＬＩＤＡＲ画像では、近点オブジェクト６９４及び遠点オブジェクト６９２は、ＬＩＤＡＲシステム６１０の中心からそれぞれのオブジェクトを通って延びる線に対して同一線上にあることが分かる。したがって、視野内のこれらのポイントは、同じＬＩＤＡＲピクセル列に対応する。しかしながら、図６Ａ及び図６Ｃから分かるように、近点オブジェクト６９４及び遠点オブジェクト６９２は、カラーカメラ６２０に対して同一線上にない。むしろ、それらの対応するピクセルは、カラーカメラ画像の異なるピクセル列にある。したがって、カラー画像とＬＩＤＡＲ画像との間のピクセル対応は、ある深度に位置するオブジェクトに対しては正確であるが、他の深度に位置するオブジェクトに対しては不正確である場合がある。
この視差効果を補うために、ＰＣＬＳは、ＬＩＤＡＲシステムのできるだけ近くにカラーカメラを配置することにより、視差効果を最小限に抑えるように構築することができる。加えて、工場でのキャリブレーション手順中に、既知の深度のオブジェクトに対して複数のピクセルマッピングを決定することができ、これらの複数のマッピングを使用して、任意の所与の深度に対するピクセル対応を提供する、深度依存ルックアップテーブルを決定することができる。例えば、異なる深度に対して別個のルックアップテーブルを決定することができる。したがって、所与のＬＩＤＡＲピクセルの深度測定値を使用して、どのルックアップテーブルを使用するべきであるかを特定することができ、次いで、特定したルックアップテーブルを使用して、どのカメラ画像のどのカラーピクセル（複数可）を使用するべきかを特定して、色付けされたＬＩＤＡＲピクセルを作成することができる。
ＶＩ．ルックアップテーブルを採用するＰＣＬＳシステム
ＬＩＤＡＲピクセルが所与の角度位置で取得された後、ＬＩＤＡＲピクセルのセンサアレイ内の所与の角度位置及び場所に関する情報（例えば、実際の角度値、角度エンコーディング位置、または角度／エンコーディング位置によって並べられたバッファ内のメモリ位置）を使用して、所与の角度位置及びセンサ位置に割り当てられた対応するカラーピクセル（複数可）の座標（複数可）を提供するルックアップテーブルにアクセスすることができる。本明細書で説明するように、かかるテーブルは、例えば、異なるカメラ用の異なるテーブル、すべてのカメラ用の１つのテーブル、及び深度の関数によって定義することができる異なる深度用の異なるテーブルなど、様々な方法で構成することができる。
Ａ．システムアーキテクチャ
図７は、特定の実施形態による、深度依存ピクセル対応のためのルックアップテーブルの使用を更に例解するためのＰＣＬＳ７１０のブロック図を示す。ＰＣＬＳ７１０は、ユーザインターフェースハードウェア７１５と相互作用することができる。ユーザインターフェースハードウェア７１５は、ａ）モニタ、キーボード、マウス、ＣＰＵ及びメモリを有するコンピュータシステム、ｂ）自動車のタッチスクリーン、及びｃ）タッチスクリーン付きのハンドヘルドデバイスを含む多くの形態をとることができる。ユーザインターフェースは、ユーザが、ａ）ＰＣＬＳをアクティブにするまたは非アクティブにすること、ｂ）カメラの明るさ、コントラスト、彩度、色相、その他の操作パラメーターを指定すること、ｃ）ＬＩＤＡＲピクセルとカラーピクセルとの間の対応を定義するカラーピクセルルックアップテーブルをセットアップすること、及びｄ）結果を表示するための方法を選択すること、を含め、１または複数のユーザコマンドを介してＰＣＬＳを制御することを可能にすることができる。ユーザインターフェースは、ａ）検出されたオブジェクトの経時的な３次元カラーマップ、及び、ｂ）特定のオブジェクトの特定のビューの特定の時間における距離値を含み得る、ＰＣＬＳ結果を表示することができる。
ＰＣＬＳ７１０は、システムコントローラ７２０（例えば、ＬＩＤＡＲコントローラ３２１及び／またはカメラコントローラ３２７）、スキャンＬＩＤＡＲシステム７３０、及びカラーカメラ７４０のアレイを含む。システムコントローラ７２０は、ユーザインターフェースハードウェア７１５と相互作用することができ、ＬＩＤＡＲシステム７３０及びカラーカメラのアレイ７４０の両方を制御することができる。システムコントローラ７２０は、例えば、ＬＩＤＡＲピクセル及び少なくとも１つの対応するカラーピクセルを単一のパケットで送信することにより、着色されたＬＩＤＡＲピクセルデータをユーザインターフェースハードウェアに送信するように構成された、通信モジュールを含むことができる。システムコントローラ７２０は、（ａ）ＦＰＧＡなどのプログラマブルロジックデバイスを使用して、（ｂ）ＡＳＩＣまたはＡＳＩＣの一部として、（ｃ）メモリを有するプロセッサを使用して、及び（ｄ）上記のいくつかの組み合わせ、のうちの１または複数を含む複数の方法で実現され得る。
システムコントローラ７２０は、開始及び停止を含むコマンドを送信することにより、スキャンＬＩＤＡＲシステム７３０を制御することができる。システムコントローラ７２０は、ＬＩＤＡＲシステムステータスを読み取って、いつＬＩＤＡＲシステム７３０が異なるカメラの視野を向いているかを決定することができ、したがって、本明細書で説明するように、ロータリエンコーダシステムの１または複数のコンポーネントを含むことができる。システムコントローラ７２０は、ａ）「フレームの捕捉」、及び、ｂ）カメラのパラメーターの調整を含むコマンドを送信することにより、カラーカメラ７４０を制御することができる。システムコントローラ７２０は、カラーカメラ７４０からカラー画像ピクセルデータを読み取ることができる。一実施形態では、システムコントローラ７２０は、ＬＩＤＡＲシステム７３０及びカラーカメラ７４０と相互作用するための有線インターフェースを有する。
いくつかの実施形態では、システムコントローラ７２０は、非一過性コンピュータ可読媒体（図示せず）に記憶されたカラーピクセルルックアップテーブル７２４を含むことができる。カラーピクセルルックアップテーブル７２４は、ＬＩＤＡＲピクセルとカラーピクセルとの間の対応（マッピング）を定義する。可能なカラーピクセルルックアップテーブルの形式は以下を含む。
（１）パノラマＬＩＤＡＲ画像内の各ＬＩＤＡＲピクセルについてのエントリと最も近いカラーピクセル座標のリスト。カラーピクセル座標は、特定のカラーカメラのカラー画像、及びそのカラーカメラの画像内のカラーピクセル場所（複数可）を特定することができ、これは、単一のテーブル、または異なるカメラの別個のテーブルで行うことができる。かかる形式では、表示オブジェクトまでの距離を無視することができる。
（２）ルックアップテーブルは、異なる距離のセット（例えば、近距離、中距離、及び遠距離、または数値範囲などのより多くの分類）のサブテーブルを含むことができる。測定距離がサブテーブルに対応する範囲内にあることに基づき、特定のサブテーブルが特定されると、ＬＩＤＡＲピクセル座標（例えば、アレイ内の角度位置及びセンサ位置）を使用してサブテーブルにアクセスし、対応するカラー画像のカラーピクセル座標（複数可）を得ることができる。このように、ルックアップテーブルは、テーブル内のフィールドとして、ピクセルＩＤ（ＬＩＤＡＲセンサのアレイの識別子など）、エンコーダ値（角度位置など）、及び深度値を有し、多次元であり得る。
（３）．各プロパティ値エントリ（ＬＩＤＡＲピクセル座標に対応）がプロパティフィールド及び対応する値フィールドを有する、プロパティ値エントリのリスト。各プロパティフィールドは、表示オブジェクト距離の異なる範囲（例えば、０～１ｍ、１ｍ～５ｍ、５ｍ～２０ｍ、及び２０～１００ｍなどの深度値の範囲）のＬＩＤＡＲピクセルに対応するカラーピクセル座標（複数可）を指定する。各値フィールドは、プロパティフィールドに基づいて対応するカラーピクセル場所（複数可）を計算するための式を定義する。式は、異なるカラーピクセルのブレンドを選択可能にするカーブフィット関数として機能することができ、例えば、異なる深度について異なるブレンドウェイトを異なるカラーピクセルに割り当てることができる。かかるウェイトは、所与のＬＩＤＡＲピクセルに対して測定された測定距離に基づいて割り当てることができる。例えば、測定距離は、２つの深度範囲との間の境界近くであることができ（例えば、上記の例では、５ｍが２つの深度範囲の境界である）、ブレンドウェイトは、２つの深度範囲に対して特定されたカラーピクセル（複数可）の２つのセットについて、約０．５であり得る。各エントリの式は、表示オブジェクト距離の範囲を使用して、視差エラーを補正することができる。
したがって、カラーピクセルルックアップテーブルは、ＬＩＤＡＲピクセルとカラーピクセルとの間のマッピングのための深度値を含むことができる。システムコントローラは、対応するＬＩＤＡＲピクセルの測定深度値を使用して、カラーピクセルルックアップテーブルにアクセスし、次いで、対応するＬＩＤＡＲピクセルの測定深度値に対して記憶されている１または複数のカラーピクセルを使用して、カラーピクセル（複数可）をＬＩＤＡＲピクセルに関連付けることができる。そして、カラーピクセルルックアップテーブルは、各々が対応する深度値に関連付けられた複数のサブテーブルを含むことができ、コントローラは、特定の深度値を有する特定のＬＩＤＡＲピクセルをマッピングするために、複数のサブテーブルのうちの１つを選択するように構成されている。
カラーピクセル（複数可）が特定されると、システムコントローラ７２０は、カラー値（複数可）をＬＩＤＡＲピクセルの値（複数可）（例えば、距離及び強度）と組み合わせることができる。かかる組み合わせを実行するシステムコントローラ７２０の部分は、回転しないベース回路（例えば、固定アセンブリ３１３）に実装され得る。システムコントローラ７２０の別の部分は、異なる回路基板に実装されてもよい。キャリブレーション
キャリブレーションは、どのトリガ位置でＬＩＤＡＲ視野をカメラ視野（例えば、それらの中間点）と位置合わせをするかを特定することができ、システムが設置されている各車両に対して行うことができる。カラーピクセルルックアップテーブル７２４はまた、ＰＣＬＳ製造中に構築することもできる。どのカラーピクセル（またはカラーピクセルのグループ）がどのＬＩＤＡＲピクセルに対応するかを決定するために、ＰＣＬＳを、異なる既知の距離において静的テストパターンでカバーされたオブジェクトを含むテストチャンバーに入れることができる。次いで、ＬＩＤＡＲシステム及びカラーカメラの各々の両方で画像が撮影される。２つの画像内の様々な既知のオブジェクトの画像を使用して、１または複数のカラー画像ピクセルを所与の深度測定値のＬＩＤＡＲピクセルと相関させることができる。
代替的に、ＰＣＬＳを円筒状のテストチャンバーの中央に配置することができ、ＬＩＤＡＲ及びカラーカメラをトリガして、シリンダーの内面上のパターンの画像を捕捉する。例えば、ＬＩＤＡＲ及びカラーカメラの両方で特徴を検出することができるように、様々な反射率を有する明るい正方形と暗い正方形が交互に並ぶチェス盤パターンでシリンダーをコーティングすることができる。代替的に、シリンダーの表面を、既知のオブジェクト検出技術を使用して、画像内で検出することができるＱＲコード（登録商標）または他のオブジェクトでコーティングすることができる。ＰＣＬＳから様々な距離にあるオブジェクトのＬＩＤＡＲ―カラーピクセルの対応を決定するために、いくつかの異なるキャリブレーションシリンダーを使用することができ、各シリンダーは異なる半径を有する。カラーピクセルルックアップテーブルが完全に決定されると、情報は、ＰＣＬＳの非一過性コンピュータメモリにカラーピクセルルックアップテーブル７２４として記憶され得る。カラーピクセルルックアップテーブル７２４は、様々な方式で記憶することができ、例えば、深度、カメラ識別子、角度位置、及びセンサアレイ内の位置などの様々な値によってインデックス付けされたサブテーブルに分類することができる。
ほとんどの場合、ＬＩＤＡＲ画像は、任意の所与のカラー画像よりも少ないピクセルを含み、したがって、複数のカラーピクセルが１つのＬＩＤＡＲピクセルに対応することができる場合が多い。このような場合、カラーピクセルルックアップテーブルは、値を結合（例えば、平均化）し、次いで、単一のＬＩＤＡＲピクセルに関連付けることができる、カラーピクセルのグループの識別データを記憶することができる。最大値、最小値、モードなどの結合の他の方法を使用することができる。
Ｂ．ランタイムピクセルマッピング方法
図８は、３６０度パノラマビューのＬＩＤＡＲシステムを色で増強するための方法８００を示すフローチャートを例解する。方法８００を使用して、特定の実施形態による、記憶されたカラーピクセルルックアップテーブルを使用して、取得された各ＬＩＤＡＲピクセルについて色情報を決定することができる。ＰＣＬＳは、前もってキャリブレーションすることができ、したがって、ＬＩＤＡＲピクセルをカラーピクセルにマッピングするためのルックアップテーブルを記憶することができる。
ステップ８１０で、ＰＣＬＳはＬＩＤＡＲシステム及びカラーカメラを初期化する。ＰＣＬＳは、回転速度、画像の解像度、どのテーブル（複数可）をメモリにロードするかなど、ＬＩＤＡＲシステムの動作パラメーターを設定または読み取ることができる。ＰＣＬＳは、次いで、ＬＩＤＡＲデータの回転及び捕捉を開始することができる。ＰＣＬＳは、カラーカメラの各々の動作パラメーターを初期化することができる。
ステップ８２０で、ＰＣＬＳは、所与の瞬間におけるＬＩＤＡＲシステムのポインティング方向を決定する。ＰＣＬＳは、光を送信すること、及び反射光を検出することにより、測距測定の一部としてＬＩＤＡＲピクセルを二乗することができる。上述のように、ロータリエンコーダは、システムコントローラに角度位置信号を提供することができ、システムコントローラは、角度位置信号に基づいてＬＩＤＡＲシステムの角度位置を決定することができる。ＰＣＬＳは、エンコードされた位置の数に相当する、あるいはより速いまたはより遅いレートでかかる測定を実行することができる。
ステップ８３０では、ＰＣＬＳは、決定された角度位置が次のカメラ（すなわち、カラー画像を得るためにトリガされた最後のカメラの後の回転方向の次）の視野内を向いているかどうかを確認する。決定された方向が次のカメラの視野内を向いている場合、例えば、画像の撮影をトリガするためにシステムコントローラから次のカメラに送信されたコマンド信号に基づいて、カラー画像を記録することができる。次のカメラの視野に入っている状態は、特定の角度位置によって定義することができる。決定された角度位置が次のカメラの視野内を向いていない場合、ＰＣＬＳはステップ８２０にループバックすることができる。
ステップ８４０で、ＰＣＬＳのシステムコントローラは、適切なカメラに画像を捕捉するよう命令する。例えば、システムコントローラは、取得トリガ信号をカメラに直接提供することができる。トリガ信号を受信すると、カメラのシャッタがトリガされ、取得が開始する。したがって、システムコントローラは、ＬＩＤＡＲの角度位置がそれぞれのカメラ視野内にあるとコントローラが判断したときに、複数のカラー画像の各々の画像捕捉をトリガすることができる。
ステップ８５０で、ＰＣＬＳは、カラーピクセルルックアップテーブル及びいくつかの手順のうちの１つを使用して、ＬＩＤＡＲピクセルの色を決定する。手順の選択は、ａ）ＬＩＤＡＲピクセルのＦＯＶサイズ対カラーピクセルのＦＯＶサイズ、ｂ）所望の精度、ｃ）利用可能な計算資源、及び、ｄ）システムコストを含む複数の要因に依存し得る。ＰＣＬＳは、カメラとＬＩＤＡＲシステムとの間の視差差を補正する際に、ＬＩＤＡＲピクセル位置及び表示オブジェクト距離の両方を使用して、カラーピクセル位置を選択することができる。システムコントローラはこの決定を行うことができる。
ＬＩＤＡＲピクセルの色を決定するための代替手順は、（１）ＬＩＤＡＲピクセルＦＯＶとの重複が最も多いＦＯＶを有する１つのカラーピクセルの色を選択することと、この場合、カラーピクセルルックアップテーブルは、どのカラーピクセルを使用するかを示し、（２）カラーカメラ画像を、その解像度がＬＩＤＡＲ画像の関連部分の解像度と一致する、またはほぼ一致するように、フィルタリングまたはダウンサンプリングすることと、ＬＩＤＡＲピクセルＦＯＶとの重複が最も多いＦＯＶを有する１つのピクセル（フィルタリングまたはダウンサンプリングカラー画像内の）の色を選択することと、及び（３）ＬＩＤＡＲピクセルＦＯＶと重複しているカラーピクセルの色成分に双線形フィルタを平均化または適用することと、を含む。
ＬＩＤＡＲピクセルＦＯＶがカラーピクセルＦＯＶよりも大きい一実施形態では、ＰＣＬＳは、ＬＩＤＡＲピクセルＦＯＶと重複するカラーピクセルに対応する複数のカラー値でＬＩＤＡＲピクセルデータを増強することができる。この特別なレベルのカラーディテイルは、オブジェクトの検出及び認識に役立つ場合がある。
ステップ８６０で、ＰＣＬＳは、色情報で増強されたＬＩＤＡＲピクセルデータを出力する。一実施形態では、ＰＣＬＳは、ＰＣＬＳがＬＩＤＡＲピクセルの色を決定した直後に、色で増強されたＬＩＤＡＲピクセルデータを出力する。他の実施形態は、データのバッチを出力し得る。ＰＣＬＳは、色で増強されたＬＩＤＡＲピクセルデータをローカルデバイス、例えば図７のユーザインターフェースハードウェア７１５に出力してもよい。
ステップ８７０で、ＰＣＬＳは停止するかどうかを決定する。例えば、ユーザインターフェースが停止コマンドを発行する場合、または、エラーによりＰＣＬＳを停止する必要がある場合がある。ＰＣＬＳを停止する必要がある場合、デバイスは電源を切られ、方法８００は終了することができる。ＰＣＬＳを停止する必要がない場合、方法８００は、引き続きステップ８２０に戻り、ＬＩＤＡＲシステムの角度位置のさらなる測定を実行することができる。
ステップ８５０で色付けされたＬＩＤＡＲピクセルは、カラー画像にまだマッピングされていないＬＩＤＡＲピクセル、及びステップ８４０でカラー画像が捕捉された後に取得されるがそのカラー画像にマッピングするＬＩＤＡＲピクセル、に対応することができる。まだ撮影されていないカラー画像に対応するＬＩＤＡＲピクセルは、メモリに記憶することができ、次いで、対応するカメラの画像がトリガされると色付けすることができる。対応するカラー画像が存在するかどうかの決定は、様々な方法で、例えば、対応するメモリ場所が任意のデータを含むかどうかを特定して、または、次のカラー画像が撮影されるまで新しいＬＩＤＡＲピクセルを記憶することを示すフラグによって、実行することができる。かかる手順のさらなる詳細については、次のフローチャートで説明する。
図９は、３６０度パノラマビューのＬＩＤＡＲシステムを色で増強するための方法９００を示すフローチャートを例解する。方法９００は、特定の実施形態による、記憶されたカラーピクセルルックアップテーブルを使用して、取得された各ＬＩＤＡＲピクセルについて色情報を決定するために使用され得る。ＬＩＤＡＲピクセルは、カメラの視野内の方向に沿って取得され得るが、カメラは、ＬＩＤＡＲシステムの現在の全回転に対応する最新のカラー画像をまだ取得していない。この場合、ＬＩＤＡＲピクセルは、ＬＩＤＡＲシステムの前回の回転中に取得したカラー画像を使用して色付けすることができるが、これは、古い画像がかなり古くなる、つまり最後の取得後にＬＩＤＡＲの周囲の視野内にある多くのオブジェクトが移動したかもしれないリスクを冒す。したがって、方法９００は、ＬＩＤＡＲシステムが複数のカメラのうちの１つの視野に近づいている、または入ったことをシステムコントローラが検出すると、カメラアレイ内のカメラの各々によってトリガされる新しいカラー画像取得を提供することができる。
ステップ９１０では、ＬＩＤＡＲシステムの角度位置ωは、ロータリエンコーダから決定される（例えば、読み取られる）。例えば、図３を参照して上述したように、エンコーダレシーバ３１９は、スキャンＬＩＤＡＲシステムが特定の角度位置、例えば１００度を向いていることを示す角度位置信号３３４を、ＬＩＤＡＲコントローラ３２１に送信することができる。
ステップ９２０で、ＬＩＤＡＲシステムは、ω方向（この例では１００度）のＬＩＤＡＲピクセルを取得する。いくつかの実施形態では、ＬＩＤＡＲピクセルは、ＬＩＤＡＲを囲む視野内のポイント（例えば、オブジェクト）の反射率及び距離を表すデータを含むことができる。したがって、ＬＩＤＡＲピクセルは、ＬＩＤＡＲを囲む１つの視野の深度及び反射強度を表すことができる。上記のように、この例では各角度位置に対して単一のＬＩＤＡＲピクセルのみを使用するが、ＬＩＤＡＲシステムは、（例えば、図４に示すようにｚ軸に沿って分布された）複数のＬＩＤＡＲピクセルを同時にまたは密に連続して取得することができる。
ステップ９３０において、取得されたＬＩＤＡＲピクセルは、例えば、後で色付けプロセス中にアクセスされるために、メモリに記憶される。取得されたＬＩＤＡＲピクセルは、例えば、後で対応するカラー画像が捕捉されるときに検索されるために、メモリ９３５に記憶され得る。
ステップ９４０において、システムコントローラは、トリガ角度位置のセット、例えば、ω1、ω2、．．．、ωnと、決定された角度位置とを比較し、添字ｎは、アレイ内のカメラの数に等しい。トリガ角度位置（例えば、ω1、ω2、．．．、ωn）に対して指定された値は、ＬＩＤＡＲの現在の回転速度、カメラのシャッタ速度（蓄積時間）、各カメラの視野角のサイズを含む多数の変数に依存し得る。様々な場合、トリガ（指定）値は、カメラの視野角の直前、（例えば、処理遅延を考慮して）または中間点、あるいは、所与のカメラのゼロ以外の蓄積時間を考慮して、所与のカメラの視野角外でも発生することがある。
一例として図４を使用すると、カラー画像４０７に関与する第２のカメラの中心が１２０度にある場合、そのカメラのトリガポイントを１００度に事前に決定してもよい）。トリガが１００度であり、ＬＩＤＡＲシステムが回転し続けている間にカメラが起動されるまでにＬＩＤＡＲシステムが１２０度にあるときに、実際のカラー画像を取得することができる。
様々なカメラのトリガポイントを決定するために、多数の異なるＬＩＤＡＲ回転速度及びシャッタ速度に対してキャリブレーションプロセスを実行することができる。例えば、トリガポイントは、ＬＩＤＡＲシステムが任意の所与のカメラの視野角の中間を向いているときまでに、任意の所与のカメラのカラー画像が完了していることを確実にするように、選択することができる。これにより、カラー画像の中心に最も近いＬＩＤＡＲピクセルを、その画像のカラーピクセルに時間的に最も近接して同期することを確実にすることができる。同様に、例えば、７０～１２０度の間の回転がより早いＬＩＤＡＲピクセルは、カラーカメラの取得の少し前に取得されることになり、例えば、１２０～１７０度の間の回転がより遅いＬＩＤＡＲピクセルは、カラーカメラの取得の少し後に取得されることになる。
ステップ９５０において、角度位置信号が、ωがω1、ω2、…、またはωnに等しいことを示す、とシステムコントローラが決定した場合、システムコントローラは、次いで、適切なカメラに送信されるトリガコマンドを生成することができる。様々な実施形態では、トリガコマンドを、カメラコントローラを介して送信して、または、システムコントローラからカメラに直接送信して、カラーカメラのアレイの適切なカラーカメラの取得をトリガすることができる。このように所定の位置値に基づいてカメラを連続的にトリガすることは、ＬＩＤＡＲシステムの所与の回転に対するカラー画像の連続的な取得を提供することができる。
ステップ９６０において、新しいカラーカメラ取得は、メモリに、例えば、複数のカメラのうちの１つに位置するフラッシュメモリ内、またはシステムコントローラ及びカメラの両方にアクセス可能なシステムメモリ内に記憶される。いくつかの実施形態では、ＬＩＤＡＲシステムの異なる回転のカラー画像は、ＬＩＤＡＲピクセルの色付けの処理時間に依存するが、交互のメモリ（例えば、２つ、３つなどのメモリバンク間）に記憶することができる。更に、各カメラは、そのカメラの指定されたメモリバンクにカラー画像を記憶することができる。他の実施形態では、次のカメラは、そのカラー画像を、単一のメモリバンク内の前のカラー画像に付加することができ、例えば、カラー画像のサイズによって分かるように、カラー画像の開始と終了を記憶することができる。
ステップ９７０で、システムコントローラは、次いで、少なくとも１つのカラー値（複数可）をＬＩＤＡＲピクセルに割り当てることにより、記憶されたＬＩＤＡＲピクセルから色付けされたＬＩＤＡＲピクセルを生成することができる。カラー値（複数可）は、上記のステップの結果としてトリガされた新しいカラーカメラ取得から少なくとも１つのピクセルに関連付けることができる。例えば、カラー値（複数可）は、ＬＩＤＡＲピクセルに近いカラーピクセルのグループから得られてもよい。
図４、図５及び図７で説明したように、カラーピクセルとＬＩＤＡＲピクセルとの間のマッピングは、工場で事前に決定することができ、カラーピクセルルックアップテーブルの形態でメモリに記憶することができる。したがって、システムコントローラは、カラーピクセルルックアップテーブルを使用して、ＬＩＤＡＲピクセルを色付けするために使用される適切なカラーピクセルから１または複数のカラー値（複数可）を選択することができる。複数のピクセルを選択した場合、カラー値を組み合わせて、例えば平均化して、単一の平均カラー値を生成することができる。本明細書で使用されるように、「カラー値」という用語は、例えば、ＲＧＢ値、または他のあらゆるカラースペースで使用されるあらゆる他の値などの数値のセットを含む。
ステップ９８０では、色付けされたＬＩＤＡＲ値は、システムコントローラから、例えばディスプレイなどのユーザインターフェースに、またはオブジェクト検出などのさらなる処理のための別のモジュールに出力される。
ステップ９４０に戻って、角度位置信号が、ωがω1、ω2、…またはωnと等しくないことを示す、とシステムコントローラが決定する場合、方法９００はステップ９９０に進むことができる。
ステップ９９０では、対応するカラー画像が撮影されたかどうかを判定することができる。ＬＩＤＡＲピクセルが、カメラの視野の前半の角度位置で取得される場合、ＬＩＤＡＲピクセルは、そのカメラの撮影されていないカラー画像に対応し得る。例えば、角度位置が９０度であり、そのカメラのトリガ角度が１２０度である場合、対応するカラー画像は撮影されていない。かかる場合、ＬＩＤＡＲピクセルは、ステップ９７０で後に使用するためにメモリ９３５に記憶される。したがって、トリガ位置においてカラー画像を取得した後、ステップ９７０で、そのカラー画像についてメモリ９３５に記憶されたピクセルは、ステップ９７０で検索及び色付けすることができる。したがって、いくつかの実施形態は、複数のカラー画像のうち対応するカラー画像が取得されるまで、ＬＩＤＡＲピクセルのグループをメモリに記憶し、次いで、対応するカラー画像が取得されることに応答して、ピクセル複数のＬＩＤＡＲピクセルのグループの各々に複数のカラーピクセルのうちの１または複数を割り当てることができる。
カラー画像が既に撮影されている場合、方法９００は、ステップ９７０に進むことができる。新しく取得したＬＩＤＡＲピクセルは、例えばルックアップテーブルを使用して、取得した最新のカラー画像で色付けすることができる。
ＶＩＩ．システム例のさらなる詳細
一般に、ＰＣＬＳは、本開示の範囲から逸脱することなく、任意のタイプのスキャンＬＩＤＡＲを採用することができる。例えば、ＬＩＤＡＲは、図３を参照して上述したように、ベースの周りに周方向に配置されたカラーカメラのアレイを含むことができるベースユニットに回転可能に連結された上部ハウジング内に位置するレーザエミッタ及びフォトダイオード検出器のペア（例えば、３２ペア、６４ペア、１２８ペアなど）を含むことができる。いくつかの実施形態では、各エミッタ及び検出器は、独自の別個の基板に取り付けることができ、エミッタ基板及び検出器基板は２つの別個のアセンブリに取り付けられている。別個のアセンブリを、水平に対して異なる角度で上部ハウジング内に位置付けられ、異なる垂直視野を提供することができる。いくつかの実施形態では、ベースは、電気モータ上部ハウジングを可能にする回転カップリングに接続されたモータを含むことができ、それにより、ＬＩＤＡＲシステムが全３６０度の水平視野を捕捉することができるようになる。
図１０Ａ乃至図１０Ｃは、１または複数の実施形態に従うＬＩＤＡＲシステム１００１の断面図を示す。より具体的には、図１０Ａ乃至図１０Ｃに示す個々のコンポーネントは、図２及び図３を参照して既に上述したものに対応し、図１０Ａ乃至図１０Ｃに示す図は、いくつかの実施形態による、様々な回路素子の幾何学的配置の例を提供する。図１０Ａ乃至図１０Ｂは、上部及び下部回路基板アセンブリ間のすべての光通信を採用する実施形態を示し、図１０Ｃは、誘導通信を採用する実施形態を示す。図１０Ｄ乃至図１０Ｅは、いくつかの実施形態による個々の回路基板の表面の図を提供し、多数の個々の回路素子の周方向の同心配列を更に例解する。
図１０Ａに示すように、上部及び下部回路基板アセンブリ１００７及び１０１７は、それぞれ、２つ以上の積層された平面回路基板を含むことができる。代替的に、図１０Ｂに示すように、上部及び下部アセンブリは、それぞれ、単一の回路基板１０５９及び１０５１であってもよい。この高度に統合、積層された基板設計は、ＬＩＤＡＲシステムの異なる機能素子のすべてに多数のスタンドアロンモジュールを採用するシステムと比較して、アセンブリプロセスが大幅に簡素化されたシステムを提供する。
図１０Ａに見られるように、ＬＩＤＡＲの回転タレットアセンブリは、上部回路基板アセンブリ１００７と光測距システム１００５を含む。回転は、中空シャフト１００３上に位置するベアリングシステム１０１３（平面回路基板の各々が回転する回転軸でもある長手方向軸１００４を有する）によって可能になる。
Ａ．光リンク
１．統合された中心光ダウンリンク
いくつかの実施形態では、中空シャフト１００３は、基板アセンブリの各々を支持する中心構造部材として機能することができるだけでなく、データ、例えば、測距及び／または動作データを、タレットアセンブリから、下部回路基板アセンブリ１０１７（ベースシステムとも称される）に位置する制御及び処理回路に提供するためのダウンリンク光通信チャネル（「ダウンリンクチャネル」）のハウジングとしても機能する。光ダウンリンクチャネルは、光ダウンリンクトランスミッタ１０１９及び光ダウンリンクレシーバ１０２１を含むことができる。光ダウンリンクトランスミッタ１０１９は、上部回路基板アセンブリ１００７の回路基板の表面に直接はんだ付けなどで取り付けることができ、中空シャフト１００３の中心孔または開口部を通して光を送信することができるように位置付けることができる。同様に、光ダウンリンクレシーバ１０２１は、下部回路基板アセンブリ１０１７の回路基板の表面に直接はんだ付けなどで取り付けることができる。光ダウンリンクレシーバ１０２１は、光ダウンリンクトランスミッタ１０１９から送信される光を検出することができるように、シャフトの下端に位置付け、光ダウンリンクトランスミッタ１０１９と位置合わせすることができる。
２．統合された光アップリンク
光アップリンクチャネルは、光アップリンクトランスミッタ１０２３の周方向配列と光アップリンクレシーバ１０２５の相補的な周方向配列との間に形成される。有利には、中空シャフト１００３の壁は、アップリンクチャネルとダウンリンクチャネルとの間の光分離を提供し、したがって、クロストークを最小限に抑える。周方向配列の個々のエミッタ及びレシーバは、単一の複合レシーバ及び単一の複合トランスミッタとしてともに機能するように一緒に配線される。例えば、システムが全体の光強度を上げて回転すると、個々のエミッタ／検出器が互いに通過するときに、光アップリンクレシーバの全配列によって検出されるアップリンク信号は、わずかにしか変化しない。更に、個々のトランスミッタの数は、個々のレシーバの数と同じでもまたは異なってもよい。
回転アクチュエータの光アップリンクに使用される光トランスミッタ及びレシーバは、任意のタイプの光エミッタまたは検出器である。例えば、ＩＲ ＬＥＤ、レーザダイオード、ＶＣＳＥＬなどをエミッタに使用することができる。同様に、任意のタイプの光検出技術、例えば、フォトダイオードなどをレシーバに使用することができる。加えて、光アップリンクに使用される光トランスミッタ及びレシーバは、ダウンリンクに使用されるものと同じまたは異なるタイプ（例えば、電源及び波長）であり得る。
光アップリンクトランスミッタ１０２３の周方向配列の例が図１０Ｄに示されており、それは、回路基板、例えば図１０Ａの回路基板１０４１または図１０Ｂの回路基板１０５１の平面図を例解する。この例では、中心孔１０６９の周囲に周方向に配列された６つの光アップリンクトランスミッタ１０２３がある。６つのトランスミッタは、中心がシャフト（図示せず）の中心に位置する、したがって回転軸と重複する、円１０６５の周りに等間隔に配置されている。
回転基板の反対側の表面は、図１０Ｅに示すように、対応する周方向配列の光アップリンクレシーバ１０２５を含み、それは、いくつかの実施形態による、回転回路基板、例えば図１０Ａの回路基板１０３９または図１０Ｂの回路基板１０５１の下面図を例解する。この例では、中心孔１０７１の周囲に円周方向に配列された７つの光アップリンクレシーバがある。７つのレシーバは、中心がシャフト（図示せず）の中心に位置する、したがって回転軸と重複する、円１０６７の周りに等間隔に配置されている。したがって、基板が回転すると、光アップリンクレシーバ１０２５の配列は、回転軸を中心に回転する。円１０６７の半径は円１０６５の半径と同じであるため、トランスミッタはレシーバと位置合わせされており、回転は時間の経過とともに平均信号のわずかな上昇及び下降をもたらすだけであり、周波数はタレットシステムの回転周波数の倍数である。
Ｂ．誘導通信リンク
図１０Ｃは、上部回路基板アセンブリと下部回路基板アセンブリとの間の誘導通信システムを採用する実施形態を示す。この例では、データのアップリンクとダウンリンクは、図のように、下部回路基板アセンブリと上部回路基板アセンブリにそれぞれ取り付けられたコイルのペア１０６１ａ～ｅ及び１０６３ａ～ｅによって提供される。コイルは、データライン及びクロックラインの両方を含むことができる。各コイルは、それぞれの回路基板の表面に取り付けられたそれら自体である上部コイルハウジング１０６１及び下部コイルハウジング１０６３などのハウジングの別のチャネル、例えば円形チャネル内に埋め込むことができる。いくつかの実施形態では、複数の誘導データ線に使用されるいくつかのコイル、例えば、ダウンリンクチャネル１トランスミッタコイル１０６１ｂ及びダウンリンクチャネル１レシーバコイル１０６３ｂ、ダウンリンクチャネル２トランスミッタコイル１０６１ｃ、ならびにダウンリンクチャネル２レシーバコイル１０６３ｃがあり得る。いくつかの実施形態において、ダウンリンククロック信号は、別のコイルペア、例えば、ダウンリンククロック送信コイル１０６１ａ及びダウンリンククロックレシーバコイル１０６３ａを介して送信され得る。同様に、データアップリンクチャネルは、１または複数のペアのコイルから、例えばアップリンクトランスミッタコイル１０６３ｄ及びアップリンクレシーバコイル１０６１ｄにより、形成することができる。ダウンリンクと同様に、データアップリンククロック信号は、一ペアのコイル、例えば、アップリンククロックトランスミッタコイル１０６３ｅ及びアップリンククロックレシーバコイル１０６１ｅから形成される、専用チャネルを有することもできる。
Ｃ．統合された電気モータ
特定の実施形態によれば、回転アクチュエータ用の電動モータは、対向するステータ基板上の平面ステータアセンブリに対向するロータ基板上の平面ロータアセンブリを有する「パンケーキ」または「アキシャル」設計のものである。電気モータのステータ及びロータアセンブリはまた、回転アクチュエータ１００６の基板に統合されている、つまり、電気モータの要素は、プリント回路基板の表面上の多くのコンポーネントの１つであり、したがって、別のモータモジュールはＬＩＤＡＲシステムには必要ではない。例えば、モータステータアセンブリ１０２７は、ステータ要素、例えば、接着剤を使用して、下部回路基板アセンブリ１０１７の基板に貼り付けられる、または軟磁性コアに貼り付けられ、次いで、下部回路基板アセンブリ１０１７に貼り付けられる、垂直に配向されたソレノイド（基板の表面に垂直な長手方向軸を有する）の円形配列を含むことができる。ソレノイド巻線の例は、図１０Ｄの平面図に示される。各ソレノイドコイルは、磁性材料、例えばフェライトなどのコアの周りに巻かれることができる。コイルは、ソレノイドを出る磁場が回路基板の平面に実質的に垂直である方向に実質的に配向されるように配向される。
モータステータアセンブリ１０２７の上方に位置付けられ、上部回路基板アセンブリ１００７の基板に取り付けられているのは、モータロータアセンブリ１０２９である。いくつかの実施形態では、モータロータアセンブリは、永久磁石の円形配列を含む受動素子であり得、それらの極は、ステータアセンブリの様々なソレノイドコイルの開口部に順番に対向及び引き付けるために交互のパターンで配列されており、図１０Ｅに示す基板図により詳細に示される。図１０Ｄ及び図１０Ｅに見られるように、モータステータアセンブリ１０２７及びモータロータアセンブリ１０２９は、ステータ及びロータの両方の円が同じ半径及び中心位置を有する全体的に円形リング形状を有することができる（例えば、両方のリングは、シャフトを中心とすることができる）。
Ｄ．統合された無線電力送信システム
回転する上部回路基板アセンブリ１００７に接続された回路素子に電力を提供するために、回転アクチュエータ１００６は、本明細書で回転変圧器とも称される無線電力システムを含み、無線電力トランスミッタ１０３５を含む無線電力送信サブシステム及び無線電力レシーバ１０３７を含む無線電力受信サブシステムを含む。無線電力トランスミッタ１０３５は、円形ループアンテナ形状のトランスミッタコイル、すなわち、シングルターンまたはマルチターンコイルであり得、例えば、図１０Ｄに示すように、下部回路基板アセンブリ１０１７の回路基板の表面に取り付けられている。同様に、無線電力レシーバ１０３７は、円形ループアンテナ形状のレシーバコイル、すなわち、シングルターンまたはマルチターンコイルであり得、例えば、図１０Ｅに示すように、上部回路基板アセンブリ１０１７の回路基板の表面に取り付けられている。無線電力トランスミッタ１０３５及び無線電力レシーバ１０３７の両方の中心は、中空シャフト１００３の中心に位置付けられ、したがって、光学エンコーダリング、電気モータアセンブリ、及び光学アップリンクレシーバ／トランスミッタと同心である。
いくつかの実施形態では、無線電力トランスミッタ１０３５及び無線電力レシーバ１０３７は、それぞれの基板の環状領域内に配置されており、環状領域の壁及び底は、磁性材料、例えばフェライトなどから形成されている。例えば、図１０Ｅは、フェライト壁１０４７及び１０４９と閉塞されたフェライト底部から形成された環状領域内に配置された無線電力レシーバ１０３７を示す。かかるフェライト材料の配列は、トランスミッタとレシーバとの間の磁場を通すのに役立ち、電力伝送効率を改善し、システムから漏れる電磁放射を低減する。
Ｅ．統合された光学エンコーダ
回転アクチュエータ１００６は、下部回路基板アセンブリ１０１７に対する上部回路基板アセンブリ１００７の角度位置の読み出しを可能にする、統合された光学エンコーダアセンブリを更に含む。光学エンコーダアセンブリは、パターン化された環状光学エンコーダ１０３１、及び、例えば、システムが回転するときにロータリエンコーダ検出器１０３１を通過するパターンの数を検出及びカウントすることによりアセンブリの角度位置を読み取るためのロータリエンコーダ検出器１０３３を含む。特定の実施形態では、ロータリエンコーダ検出器１０３３は、ＬＥＤなどの照明デバイス、ならびに、環状光学エンコーダのパターン化された表面を照射及び検出するためのフォトダイオードまたは撮像検出器などの検出器を含むことができる。いくつかの実施形態では、環状光学エンコーダは、円環上の一意の位置で発生する開始コードを含むことができ、または絶対エンコーディングパターンを提供し、それにより絶対角度配向測定を可能にする。いくつかの実施形態では、エンコーダシステムは、本質的に光学的ではなく磁気的であり、同様に位置付けられた磁気エンコーダストリップ及び磁気エンコーダリーダに依存する。
いくつかの実施形態では、環状光学エンコーダ１０３１は、下部回路基板アセンブリ１０１７の回路基板の表面に取り付けることができ、ロータリエンコーダ検出器１０３３は、ここに図示するように、上部回路基板アセンブリ１００７の表面に取り付けることができ、またはその逆も可能である。環状光学エンコーダ１０３１は、どちらの基板に配置されるかに関わらず、その中心が中空シャフト１００３の中心にあるように配列することができ、したがって、例えば図１０Ｄに示すように、電気モータアセンブリ及び光アップリンクレシーバ／トランスミッタの両方と同心である。いくつかの実施形態では、ロータリエンコーダ検出器１０３３は、例えば図１０Ｅに示すように、環状光学エンコーダ１０３１の上方のどこか回転回路基板上に位置付けられる。有利には、エンコーダアセンブリは、無線電力送信システムと電気モータアセンブリとの間に位置付けられ、エンコーダ検出器と光学アップリンクシステムのトランスミッタとの間の光学的分離を最大化する。図１０Ａの例に示すように、いくつかの実施形態では、環状光学エンコーダ１０３１は、回転アクチュエータ１００６のステータ側にあり、ロータリエンコーダ検出器１０３３はロータ側にあり得る。これは、回転アクチュエータの非標準的な構成であるが、ＬＩＤＡＲ用途にはこの構成が有利である。例えば、このようにロータリエンコーダ検出器１０３３と光測距システム１００５との間の回転接続を排除することにより、２つのシステム間の低遅延接続の実施を実行することができる。ＬＩＤＡＲ用途では、ロータリエンコーダ検出器１０３３の角度位置測定値を迅速に取り込むため、及び現在の測距情報をロータの現在の角度位置と相関させて空間精度を高めるために、低遅延接続が重要になり得る。
ＶＩＩＩ．タイムスタンプを使用した位置合わせ
ＬＩＤＡＲシステムの角度位置を使用してカラー画像をトリガすることに加えて、いくつかの実施形態は、共通の内部クロックを使用して、プロセッサにストリームするときに各ＬＩＤＡＲピクセル及び各カメラピクセルにタイムスタンプし、それにより、データは共通のタイムベース上にあり、厳密な時間的相関関係が得られる。ＬＩＤＡＲピクセルが色付けのために受信されると、その捕捉時間を使用して、時間的に近くにある、例えば、最も近い時間内または指定された時間しきい値内にある、カラーピクセル（複数可）を選択することができる。例えば、選択は、ルックアップテーブルを使用してカラーピクセルの座標を特定することができ、これらの座標（複数可）をＬＩＤＡＲピクセルのタイムスタンプとともに使用して、ＬＩＤＡＲピクセルのタイムスタンプに対し所望の時間を有するこれらの座標（複数可）において特定のピクセル値（複数可）を選択することができる。異なる時間におけるカラーピクセルのブレンドを実行することもできる。
図１１は、特定の実施形態による、ＬＩＤＡＲ及びカラーピクセルのタイムスタンプを使用したＰＣＬＳ１１１０のブロック図を示す。ＰＣＬＳ１１１０は、図７のユーザインターフェースハードウェア７１５と同様の方法で、ユーザインターフェースハードウェア１１１５と相互作用することができる。ＰＣＬＳ１１１０は、システムコントローラ１１２０、スキャンＬＩＤＡＲシステム１１３０、及びカラーカメラのアレイ１１４０を含む。ＰＣＬＳ１１１０は、ルックアップテーブル１１２４（例えば、図７の７２４）を使用することができる。
クロック１１２１は、ＬＩＤＡＲタイミングモジュール１１２２及びカラータイミングモジュール１１２３に共通の内部クロック信号を提供することができる。ＬＩＤＡＲタイミングモジュール１１２２は、クロック信号を使用して各ＬＩＤＡＲピクセルにタイムスタンプを割り当てることができる。ＬＩＤＡＲピクセルセンサのアレイが使用される場合、アレイ内のＬＩＤＡＲピクセルの各々は、同じ時間を有し得る。様々な実施形態では、時間は、最初のＬＩＤＡＲピクセル、最後のＬＩＤＡＲピクセル、またはアレイ内の他のあらゆるＬＩＤＡＲピクセルがＬＩＤＡＲタイミングモジュール１１２２によって受信されるときであり得る。ＬＩＤＡＲピクセルは、そのタイミング情報とともにＬＩＤＡＲタイミングバッファ１１２５に記憶することができる。
カラータイミングモジュール１１２３は、タイムスタンプをカラーピクセルに割り当てる。グローバルシャッタが使用される場合、所与のカラー画像のピクセルは、すべて同じタイムスタンプを有することができる。ローリングシャッタが使用される場合、ピクセル画像のカラーピクセルは、異なるタイムスタンプを有することができ、例えば、各々は、カラーピクセルが捕捉された特定の時間に対応する。したがって、実施形態は、ストリームするときにローリングシャッタカメラの各ピクセルにタイムスタンプをすることができる。更に、カラータイミングモジュール１１２３は、カラーカメラの各々の露光時間及び／またはデータ読み出し待ち時間の知識に基づいて、タイムスタンプを調整することができる。カラータイミングメモリ１１２６は、カメラからのカラーピクセルを記憶することができ、所定のカメラからの複数のピクセル画像を記憶することができる。例えば、カラーカメラ１１４０は、ＬＩＤＡＲシステム１１３０よりも高いフレームレートで動作することができる。このより高いレートにより、システムは、ＬＩＤＡＲシステム１１３０の角度位置に基づいてカラー画像のトリガを要求することに加えて、またはその代替として、時間的に比較的近いカラーピクセルを選択することができる。したがって、ＬＩＤＡＲシステムの所定の回転について、各カラーカメラに対して複数のカラー画像、例えばＬＩＤＡＲシステムの回転について、カメラごとに２つ、３つ、またはそれ以上のカラー画像を捕捉することができる。
ＬＩＤＡＲピクセルがＬＩＤＡＲタイミングバッファ１１２５（例えば、ＦＩＦＯバッファ）から色付けモジュール１１２７に送信されると、色付けモジュール１１２７は、ルックアップテーブル１１２４を使用して対応するカラーピクセル座標（複数可）を特定することができる。次いで、色付けモジュール１１２７は、これらの座標（複数）に対応し、ＬＩＤＡＲピクセルのタイムスタンプに最も近いタイムスタンプを有するカラーピクセルをカラータイミングメモリ１１２６から検索することができる。カラータイミングメモリ１１２６は、迅速な検索を容易にするために、様々なフィールド、例えば時間、カラーピクセル座標、及びカメラＩＤによってインデックス付けされたデータを記憶することができる。
所望のカラーピクセル（複数可）が検索されると、色付けモジュール１１２７は、例えば本明細書で説明されるように、カラーピクセル（複数可）から使用する色を決定することができる。次いで、色付けされたＬＩＤＡＲピクセルをＰＣＬＳ１１１０から、例えばユーザインターフェースハードウェアに出力することができる。
ＩＸ．コンピュータシステム
本明細書で言及されるコンピュータシステムまたは回路のいずれも、任意の好適な数のサブシステムを利用し得る。サブシステムは、システムバスを介して接続することができる。例として、サブシステムは、コンピュータシステムを他のデバイス（例えば、エンジン制御まで）に接続するために使用されることができる、入力／出力（Ｉ／Ｏ）デバイス、システムメモリ、記憶デバイス（複数可）、及びネットワークアダプタ（複数可）（例えば、Ｅｔｈｅｒｎｅｔ、Ｗｉ－Ｆｉなど）を含むことができる。システムメモリ及び／または記憶デバイス（複数可）は、コンピュータ可読媒体を統合することができる。
コンピュータシステムは、内部インターフェースによって、または１つのコンポーネントから別のコンポーネントに接続して取り外し可能な記憶デバイスを介して、例えば外部インターフェースによって互いに接続された、複数の同一コンポーネントまたはサブシステムを含むことができる。いくつかの実施形態では、コンピュータシステム、サブシステム、またはデバイスは、ネットワーク上で通信することができる。
実施形態の態様は、制御ロジックの形態で、ハードウェア回路（例えば、特定用途向け集積回路またはフィールドプログラマブルゲートアレイ）を使用して、及び／またはモジュール式もしくは集積様態で汎用プログラマブルプロセッサを有するコンピュータソフトウェアを使用して、実装することができる。本明細書で使用される場合、プロセッサは、シングルコアプロセッサ、同じ集積チップ上のマルチコアプロセッサ、または単一の回路基板もしくはネットワーク化された上の複数の処理ユニット、ならびに専用のハードウェアを含むことができる。本開示及び本明細書に提供される教示に基づいて、当業者は、ハードウェアを用いて及びハードウェアとソフトウェアとを併用して、本発明の実施形態を実施するための他のやりかた及び／または方法を知り、認識することになっている。
本出願で説明されるソフトウェアコンポーネントまたは関数のうちのいずれも、例えば、Ｊａｖａ（登録商標）、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｓｗｉｆｔなどの何らかの好適なコンピュータ言語、または例えば、従来の技術もしくはオブジェクト指向の技術を使用するＰｅｒｌもしくはＰｙｔｈｏｎなどのスクリプト言語を使用する、処理デバイスによって実行されるソフトウェアコードとして実装されてもよい。ソフトウェアコードは、保存及び／または伝送のためのコンピュータ可読媒体上に一連の命令またはコマンドとして保存することができる。好適な非一過性コンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、磁気媒体（ハードドライブもしくはフロッピーディスクなど）、または光学媒体（コンパクトディスク（ＣＤ）もしくはＤＶＤ（デジタル多用途ディスク）など）、及びフラッシュメモリなどを含むことができる。コンピュータ可読媒体は、かかる記憶デバイスまたは送信デバイスの任意の組み合わせであってもよい。
かかるプログラムはまた、コード化され、インターネットを含む様々なプロトコルに従う有線ネットワーク、光ネットワーク、及び／または無線ネットワークを介した送信に適合した搬送波信号を使用して送信されてもよい。このように、コンピュータ可読媒体は、かかるプログラムでコード化されたデータ信号を用いて作成されてもよい。プログラムコードでコード化されたコンピュータ可読媒体は、互換性のあるデバイスでパッケージ化されていても、または（例えば、インターネットダウンロードを介して）他のデバイスとは別個に提供されてもよい。任意のかかるコンピュータ可読媒体は、単一のコンピュータ製品（例えば、ハードドライブ、ＣＤ、またはコンピュータシステム全体）上またはその内部に存在してもよく、システムまたはネットワーク内の異なるコンピュータ製品上またはその内部に存在してもよい。コンピュータシステムは、モニタ、プリンタ、または本明細書に記載の結果のうちのいずれかをユーザへ提供するための他の好適なディスプレイを含み得る。
本明細書記載の方法のうちのいずれも、ステップを実行するように構成することができる１または複数のプロセッサを含むコンピュータシステムを用いて全体的または部分的に実施することができる。したがって、実施形態は、本明細書に説明される方法のうちのいずれかのステップを実行するように構成されたコンピュータシステムを対象とし得、潜在的には異なるコンポーネントがそれぞれのステップまたはそれぞれのステップのグループを実行する。番号付けされたステップとして提示されるが、本明細書の方法のステップは、同時にもしくは異なる時間に、または異なる順序で実行することができる。加えて、これらのステップの部分は、他の方法からの他のステップの部分と併用することができる。また、あるステップのすべてまたは部分が任意であってもよい。加えて、本方法のうちのいずれかのステップのうちのいずれかを、これらのステップを実行するためのシステムのモジュール、ユニット、回路、または他の手段を用いて実行することができる。
特定の実施形態の具体的な詳細は、本発明の実施形態の趣旨及び範囲から逸脱することなく、任意の好適な様態で組み合わせることができる。しかしながら、本発明の他の実施形態は、各個々の態様、またはこれらの個々の態様の具体的な組み合わせに関する具体的な実施形態を対象とし得る。
本発明の例示的実施形態の上の説明は、例解及び説明目的で提示されている。包括的であること、または本発明を説明された正確な形態に限定することは意図されず、多くの修正及び変更が、先の教示に鑑みて可能である。
「ａ」、「ａｎ」、または「ｔｈｅ」の記述は、それとは反対に具体的に示されない限り、「１または複数」を意味することが意図される。「または」の使用は、それとは反対に具体的に示されない限り、「を除く、または」ではなく「を含む、または」を意味することが意図される。「第１」のコンポーネントへの言及は、第２のコンポーネントが提供されることを必ずしも必要としない。更に、「第１」または「第２」のコンポーネントへの言及は、明示的に述べられていない限り、言及されるコンポーネントを特定の場所に限定するものではない。「～に基づいて」という用語は、「少なくとも一部に基づいて」を意味することを意図している。
本明細書において言及されるすべての特許、特許出願、刊行物、及び明細書は、すべての目的に対して参照によりそれらの全体が組み込まれる。いかなるものも、先行技術であるとは認められていない。

Claims (20)

  1. パノラマカラー光検出及び測距（ＬＩＤＡＲ）システムであって、
    固定ベースと、
    前記固定ベースに回転可能に連結されており、光を送信する工程と反射光を検出する工程とにより複数の測距測定を実行して、視野角内に分布する複数のＬＩＤＡＲピクセルを含むＬＩＤＡＲ画像を取得するように構成されているＬＩＤＡＲシステムと、
    前記固定ベースに固定的に連結され、前記ＬＩＤＡＲシステムの周囲に周方向に配置された複数のカラーカメラであって、各カメラは前記視野角の一部分であるそれぞれのカメラ視野を有し、当該複数のカラーカメラは複数のカラーピクセルを含む複数のカラー画像を取得するように構成されている、複数のカラーカメラと、
    前記複数のＬＩＤＡＲピクセルと前記複数のカラーピクセルとの間のマッピングを定義するカラーピクセルルックアップテーブルを記憶するメモリと、
    前記メモリに動作可能に連結されたコントローラであって、
    それぞれのカメラ視野に対する前記ＬＩＤＡＲシステムの決定された角度位置に基づいて、前記複数のカラー画像の各々の画像捕捉をトリガして、前記ＬＩＤＡＲピクセルの一部分の捕捉を前記複数のカラーカメラのそれぞれのカメラのカラーピクセルの捕捉と同期させる工程と、
    前記メモリに記憶された前記カラーピクセルルックアップテーブルを使用して、前記複数のカラーピクセルのうちの少なくとも１つを前記複数のＬＩＤＡＲピクセルのうちの対応するＬＩＤＡＲピクセルに関連付け、それによって色付けされたＬＩＤＡＲピクセルを生成する工程と、
    を行うように構成されている、コントローラと、
    を備えたことを特徴とするシステム。
  2. 前記固定ベース上の固定基準点に対する前記ＬＩＤＡＲシステムのポインティング方向に対応する角度位置信号を出力するように構成されているロータリエンコーダ
    を更に備え、
    前記コントローラは、前記角度位置信号を受信するように、かつ、前記角度位置信号が前記角度位置が前記複数のカラーカメラのうちの１つに関連付けられた前記角度位置信号の指定値に等しいことを示す場合に、前記画像捕捉をトリガするように、構成されている
    ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
  3. 前記コントローラは、
    前記ＬＩＤＡＲシステムの回転中に、前記ＬＩＤＡＲシステムの角度位置を複数回決定する工程と、
    前記決定された角度位置を、各々が前記複数のカラーカメラの対応するカメラのトリガ角度位置に対応する複数の指定値と比較する工程と、
    前記決定された角度位置が前記対応するカメラの前記トリガ角度位置と一致する場合、前記対応するカメラにコマンドを送信してカラー画像を取得し、それによって前記複数のカラーピクセルを含む前記複数のカラー画像を得る工程と、
    前記複数のカラーピクセルのうちの１または複数を、前記決定された角度位置の各々において、ＬＩＤＡＲピクセルアレイの各々に関連付ける工程と、
    を行うように構成されている
    ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
  4. 前記カラーピクセルルックアップテーブルは、前記ＬＩＤＡＲピクセルと前記カラーピクセルとの間のマッピングのための深度値を含み、
    前記コントローラは、
    対応するＬＩＤＡＲピクセルの測定された深度値を使用して、前記カラーピクセルルックアップテーブルにアクセスする工程と、
    対応するＬＩＤＡＲピクセルの測定された深度値に対して記憶された１または複数のカラーピクセルを使用して、前記複数のカラーピクセルのうちの少なくとも１つを、前記複数のＬＩＤＡＲピクセルのうちの対応するＬＩＤＡＲピクセルに関連付ける工程と、
    を行うように構成されている
    ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
  5. 前記カラーピクセルルックアップテーブルは、各々が対応する深度値に関連付けられた複数のサブテーブルを含み、
    前記コントローラは、特定の深度値を有する特定のＬＩＤＡＲピクセルをマッピングするために前記複数のサブテーブルのうちの１つを選択するように構成されている
    ことを特徴とする請求項４に記載のパノラマカラーＬＩＤＡＲシステム。
  6. 前記サブテーブルの各々は、深度値の範囲と関連付けられ、
    前記ＬＩＤＡＲピクセルと前記カラーピクセルとの間の前記マッピングは、前記サブテーブル間で異なる
    ことを特徴とする請求項５に記載のパノラマカラーＬＩＤＡＲシステム。
  7. 前記カラーピクセルルックアップテーブルに従って、前記コントローラは、
    カラー画像の解像度が前記ＬＩＤＡＲ画像の関連部分と一致するように、当該カラー画像をフィルタリングまたはダウンサンプリングする工程と、
    ＬＩＤＡＲピクセル視野（ＦＯＶ）との重複が最も多い視野（ＦＯＶ）を有する前記フィルタリングまたはダウンサンプリングされたカラー画像内で、１つのピクセルの色を選択する工程と、
    を行うために使用するように構成されている
    ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
  8. 前記カラーピクセルルックアップテーブルは、プロパティ値エントリのリストを含み、
    各プロパティ値エントリは、プロパティフィールド及び対応する値フィールドを有し、
    前記プロパティフィールドは、ＬＩＤＡＲピクセルのセット及び深度値の範囲を定義し、
    各値フィールドは、前記対応するＬＩＤＡＲピクセルに関連付けられる前記複数のカラーピクセルのうちの前記少なくとも１つを特定するための式を定義する
    ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
  9. 前記コントローラは、
    前記複数のカラー画像のうちの対応するカラー画像が取得されるまで、前記複数のＬＩＤＡＲピクセルのグループを前記メモリに記憶する工程と、
    前記対応するカラー画像が取得されることに応答して、前記複数のカラーピクセルのうちの１または複数を、前記複数のＬＩＤＡＲピクセルの前記グループの各々に関連付ける工程と、
    を行うように構成されている
    ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
  10. 前記カラーピクセルルックアップテーブルは、各回転について３６０度の角度位置によってインデックス付けされており、
    前記カラーピクセルルックアップテーブルの各エントリは、ピクセルアレイ内の特定の角度位置及び特定のセンサに対するそれぞれのカラー画像の１または複数のカラーピクセルを特定する
    ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
  11. 回転する光測距及び検出（ＬＩＤＡＲ）システムの第１の角度位置を決定する工程と、
    前記ＬＩＤＡＲシステムにより、前記第１の角度位置で第１のＬＩＤＡＲピクセルを取得する工程と、
    前記ＬＩＤＡＲシステムのメモリに前記第１のＬＩＤＡＲピクセルを記憶する工程と、
    前記第１の角度位置が第１のカラーカメラと関連付けられた第１の指定値に等しいことを決定する工程であって、前記第１の指定値は、前記第１のＬＩＤＡＲピクセルが前記第１のカラーカメラの視野角内にあるように設定されている、という工程と、
    前記第１の角度位置が前記第１の指定値に等しいと決定した結果、前記第１のカラーカメラに第１のカラー画像を取得させる工程であって、前記第１のカラー画像は、カラーピクセルのセットを含む、という工程と、
    メモリに前記第１のカラー画像を記憶する工程と、
    前記ＬＩＤＡＲシステムのプロセッサによって、前記第１のＬＩＤＡＲピクセルに、前記メモリに記憶されたカラーピクセルルックアップテーブルを使用して前記カラーピクセルのセットの少なくとも１つのカラーピクセルから少なくとも１つのカラー値を割り当てることにより、第１の色付けされたＬＩＤＡＲピクセルを生成する工程であって、前記カラーピクセルルックアップテーブルは、複数のＬＩＤＡＲピクセルと前記カラーピクセルのセットとの間のマッピングを定義する、という工程と、
    を備えたことを特徴とする方法。
  12. 前記第１の角度位置を決定する工程は、前記第１の角度位置に対応する第１の特徴をエンコーダレシーバによって検出する工程を含む
    ことを特徴とする請求項１１に記載の方法。
  13. 前記ＬＩＤＡＲシステムの回転中に、前記ＬＩＤＡＲシステムの角度位置を複数回決定する工程と、
    前記決定された角度位置を、各々が前記複数のカラーカメラの対応するカメラのトリガ角度位置に対応する複数の指定値と比較する工程と、
    前記決定された角度位置が前記対応するカメラの前記トリガ角度位置と一致する場合、前記対応するカメラにコマンドを送信してカラー画像を取得し、それによって前記複数のカラーピクセルを含む前記複数のカラー画像を得る工程と、
    前記複数のカラーピクセルのうちの１または複数を、前記決定された角度位置の各々において、ＬＩＤＡＲピクセルアレイの各々に関連付ける工程と、
    を更に備えたことを特徴とする請求項１１に記載の方法。
  14. 前記複数のカラー画像のうちの対応するカラー画像が取得されるまで、前記複数のＬＩＤＡＲピクセルのグループを前記メモリに記憶する工程と、
    前記対応するカラー画像が取得されることに応答して、前記複数のカラーピクセルのうちの１または複数を、前記複数のＬＩＤＡＲピクセルの前記グループの各々に関連付ける工程と、
    を更に備えたことを特徴とする請求項１３に記載の方法。
  15. 前記カラーピクセルルックアップテーブルは、前記ＬＩＤＡＲピクセルと前記カラーピクセルとの間のマッピングのための深度値を含み、
    当該方法は、
    前記第１のＬＩＤＡＲピクセルの第１の深度値を決定する工程と、
    前記カラーピクセルルックアップテーブルを使用して、前記カラーピクセルのセットの前記少なくとも１つのカラーピクセルから前記少なくとも１つのカラー値を割り当てるために、前記第１の深度値を使用する工程と、
    を更に備えたことを特徴とする請求項１１に記載の方法。
  16. 前記カラーピクセルルックアップテーブルは、各々が対応する深度値に関連付けられた複数のサブテーブルを含み、
    当該方法は、前記第１の深度値を有する前記第１のＬＩＤＡＲピクセルをマッピングするために、前記複数のサブテーブルのうちの１つを選択する工程を更に含む
    ことを特徴とする請求項１５に記載の方法。
  17. 前記第１のカラー画像の解像度がＬＩＤＡＲピクセルのＬＩＤＡＲ画像の関連部分と一致するように、前記第１のカラー画像をフィルタリングまたはダウンサンプリングする工程
    を更に備え、
    前記第１の色付けされたＬＩＤＡＲピクセルは、前記第１のＬＩＤＡＲピクセルの視野（ＦＯＶ）との重複が最も多い視野（ＦＯＶ）を有する前記フィルタリングまたはダウンサンプリングされたカラー画像内のカラーピクセルの色を使用して生成される
    ことを特徴とする請求項１１に記載の方法。
  18. 前記カラーピクセルルックアップテーブルは、プロパティ値エントリのリストを含み、
    各プロパティ値エントリは、プロパティフィールド及び対応する値フィールドを有し、
    前記プロパティフィールドは、ＬＩＤＡＲピクセルのセット及び深度値の範囲を定義し、
    各値フィールドは、前記第１のＬＩＤＡＲピクセルに関連付けられる前記少なくとも１つのカラーピクセルを特定するための式を定義する
    ことを特徴とする請求項１１に記載の方法。
  19. 前記ＬＩＤＡＲシステムにより、第２の角度位置で第２のＬＩＤＡＲピクセルを取得する工程と、
    前記ＬＩＤＡＲシステムのプロセッサにより、前記第２のＬＩＤＡＲピクセルに、前記メモリに記憶された前記カラーピクセルルックアップテーブルを使用して前記カラーピクセルのセットの１または複数の他のピクセルから１または複数のカラー値を割り当てることにより、第２の色付けされたＬＩＤＡＲピクセルを生成する工程であって、前記第１のカラー画像は前記第２のＬＩＤＡＲピクセルが取得される前に取得される、という工程と、
    を更に備えたことを特徴とする請求項１１に記載の方法。
  20. 前記カラーピクセルルックアップテーブルは、各回転について３６０度の角度位置によってインデックス付けされており、
    前記カラーピクセルルックアップテーブルの各エントリは、ピクセルアレイ内の特定の角度位置及び特定のセンサに対するそれぞれのカラー画像の１または複数のカラーピクセルを特定する
    ことを特徴とする請求項１１に記載の方法。
JP2022192760A 2017-05-15 2022-12-01 色によるパノラマｌｉｄａｒ結果の増強 Pending JP2023022237A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762506460P 2017-05-15 2017-05-15
US62/506,460 2017-05-15
JP2019563212A JP7189156B2 (ja) 2017-05-15 2018-05-15 色によるパノラマｌｉｄａｒ結果の増強
PCT/US2018/032811 WO2018213338A1 (en) 2017-05-15 2018-05-15 Augmenting panoramic lidar results with color

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019563212A Division JP7189156B2 (ja) 2017-05-15 2018-05-15 色によるパノラマｌｉｄａｒ結果の増強

Publications (1)

Publication Number Publication Date
JP2023022237A true JP2023022237A (ja) 2023-02-14

Family

ID=64097862

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019563212A Active JP7189156B2 (ja) 2017-05-15 2018-05-15 色によるパノラマｌｉｄａｒ結果の増強
JP2022192760A Pending JP2023022237A (ja) 2017-05-15 2022-12-01 色によるパノラマｌｉｄａｒ結果の増強

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019563212A Active JP7189156B2 (ja) 2017-05-15 2018-05-15 色によるパノラマｌｉｄａｒ結果の増強

Country Status (6)

Country Link
US (2) US10809380B2 (ja)
EP (1) EP3615961A4 (ja)
JP (2) JP7189156B2 (ja)
KR (1) KR20200004840A (ja)
CN (1) CN110832349B (ja)
WO (1) WO2018213338A1 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11067385B2 (en) * 2012-01-04 2021-07-20 Chris Olexa Laser centering tool
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
RU2728836C2 (ru) 2016-10-28 2020-07-31 Ппг Индастриз Огайо, Инк. Покрытия для увеличения расстояния обнаружения до объекта, обнаруживаемого с помощью электромагнитного излучения ближнего инфракрасного диапазона
DE102017101945A1 (de) * 2017-02-01 2018-08-02 Osram Opto Semiconductors Gmbh Messanordnung mit einem optischen Sender und einem optischen Empfänger
JP7290571B2 (ja) 2017-03-31 2023-06-13 ベロダイン ライダー ユーエスエー，インコーポレイテッド 統合化されたｌｉｄａｒ照明出力制御
US10809380B2 (en) * 2017-05-15 2020-10-20 Ouster, Inc. Augmenting panoramic LIDAR results with color
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US10474161B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images
US10474160B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
US10523880B2 (en) * 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
US10785400B2 (en) 2017-10-09 2020-09-22 Stmicroelectronics (Research & Development) Limited Multiple fields of view time of flight sensor
US10481269B2 (en) * 2017-12-07 2019-11-19 Ouster, Inc. Rotating compact light ranging system
JP2020003256A (ja) * 2018-06-26 2020-01-09 株式会社デンソー 距離測定装置
US10732032B2 (en) 2018-08-09 2020-08-04 Ouster, Inc. Scanning sensor array with overlapping pass bands
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
DE102018214741A1 (de) * 2018-08-30 2020-03-05 Robert Bosch Gmbh Drehtellereinheit und Verfahren zur Herstellung
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
US10531075B1 (en) * 2018-09-27 2020-01-07 Honda Motor Co., Ltd. Synchronization controller unit for sensor node
JP7206855B2 (ja) * 2018-11-29 2023-01-18 株式会社リコー 三次元位置検出装置、三次元位置検出システム、及び三次元位置検出方法
EP3671261A1 (en) 2018-12-21 2020-06-24 Leica Geosystems AG 3d surveillance system comprising lidar and multispectral imaging for object classification
CN109752724A (zh) * 2018-12-26 2019-05-14 珠海市众创芯慧科技有限公司 一种图像激光一体式导航定位系统
CN109829421B (zh) * 2019-01-29 2020-09-08 西安邮电大学 车辆检测的方法、装置及计算机可读存储介质
US11227398B2 (en) * 2019-01-30 2022-01-18 Baidu Usa Llc RGB point clouds based map generation system for autonomous vehicles
CN112055805A (zh) 2019-01-30 2020-12-08 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的点云登记系统
KR102265574B1 (ko) * 2019-02-13 2021-06-16 주식회사 스프링클라우드 자율주행 차량용 통합 센서 장치
EP3702802A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Method of multi-sensor data fusion
GB2582266B (en) * 2019-03-05 2022-11-30 Geoslam Ltd Three-dimensional dataset and two-dimensional image localisation
CN110082739B (zh) * 2019-03-20 2022-04-12 深圳市速腾聚创科技有限公司 数据同步方法和设备
JP2022533119A (ja) 2019-05-13 2022-07-21 アウスター インコーポレイテッド 電子走査ｌｉｄａｒシステム用同期画像捕捉
US10732268B1 (en) * 2019-05-21 2020-08-04 Pony Ai Inc. Systems and methods for enclosure alignment
JP7356286B2 (ja) * 2019-06-26 2023-10-04 ダイキョーニシカワ株式会社 車両用距離センサの取付構造
US11222460B2 (en) * 2019-07-22 2022-01-11 Scale AI, Inc. Visualization techniques for data labeling
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
JP2022546591A (ja) * 2019-09-06 2022-11-04 アウスター インコーポレイテッド Ｌｉｄａｒ画像の処理
CN111080519A (zh) * 2019-11-28 2020-04-28 常州新途软件有限公司 汽车全景环视图像融合方法
JPWO2021111747A1 (ja) * 2019-12-03 2021-06-10
US20210185214A1 (en) * 2019-12-13 2021-06-17 Sony Corporation Trans-spectral feature detection for volumetric image alignment and colorization
EP3842835A1 (en) * 2019-12-24 2021-06-30 Yandex Self Driving Group Llc Methods and systems for online synchronization of sensors of self-driving vehicles (sdv)
CN113378867B (zh) * 2020-02-25 2023-08-22 北京轻舟智航智能技术有限公司 一种异步数据融合的方法、装置、存储介质及电子设备
KR20210122457A (ko) * 2020-04-01 2021-10-12 주식회사 제이캐스트 스마트 공장의 작업 안전을 위한 전방위 무회전 라이다 기반 안전 시스템
US11695911B2 (en) 2020-04-27 2023-07-04 Ouster, Inc. Stereoscopic image capturing systems
CN115516738A (zh) 2020-05-11 2022-12-23 株式会社来德罗 无触点供电及数据通信装置和利用其的旋转驱动激光雷达系统
US11743564B2 (en) * 2020-10-22 2023-08-29 Uatc, Llc Sensor platform for autonomous vehicles
US11430224B2 (en) 2020-10-23 2022-08-30 Argo AI, LLC Systems and methods for camera-LiDAR fused object detection with segment filtering
US20220126873A1 (en) * 2020-10-23 2022-04-28 Argo AI, LLC Systems and methods for camera-lidar fused object detection with segment merging
US11885886B2 (en) 2020-10-23 2024-01-30 Ford Global Technologies, Llc Systems and methods for camera-LiDAR fused object detection with LiDAR-to-image detection matching
EP4264536A1 (en) * 2020-12-21 2023-10-25 Seesafe Innovation Srl Method for forming panoramic images and related apparatus
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
CN112671499B (zh) * 2021-03-16 2022-04-01 深圳安途智行科技有限公司 多传感器同步方法及系统、以及主控制设备
KR102485816B1 (ko) * 2021-11-03 2023-01-09 아이티컨버젼스 주식회사 이미지 수집장치를 이용한 작물 생육 분석 시스템
DE102021006248A1 (de) 2021-12-17 2023-06-22 Automotive Research & Testing Center Objekterfassungsverfahren
WO2023174653A1 (en) * 2022-03-17 2023-09-21 Sony Semiconductor Solutions Corporation Hybrid image and event sensing with rolling shutter compensation
US20230402903A1 (en) * 2022-06-08 2023-12-14 Ferrari S.P.A. Electric actuator apparatus equipped with position detection system and related road vehicle
KR102540632B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2024096853A1 (en) * 2022-10-31 2024-05-10 Google Llc Image capture system including a lidar device and cameras having a rolling shutter sensor

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265396A (ja) 2003-02-13 2004-09-24 Vingo:Kk 映像生成システム及び映像生成方法
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
AU2004298635B2 (en) * 2003-12-18 2008-02-28 1626628 Ontario Limited System, apparatus and method for mapping
SE527257C2 (sv) * 2004-06-21 2006-01-31 Totalfoersvarets Forskningsins Anordning och metod för att presentera en omvärldsbild
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
US7701558B2 (en) 2006-09-22 2010-04-20 Leica Geosystems Ag LIDAR system
US20080112610A1 (en) * 2006-11-14 2008-05-15 S2, Inc. System and method for 3d model generation
JP5132164B2 (ja) * 2007-02-22 2013-01-30 富士通株式会社 背景画像作成装置
TWI358606B (en) 2007-12-28 2012-02-21 Ind Tech Res Inst Method for three-dimension (3d) measurement and an
US8774950B2 (en) * 2008-01-22 2014-07-08 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US8332134B2 (en) 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US9041915B2 (en) 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US20100157280A1 (en) 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
US8675181B2 (en) 2009-06-02 2014-03-18 Velodyne Acoustics, Inc. Color LiDAR scanner
CN102006402B (zh) 2009-08-28 2014-02-19 鸿富锦精密工业（深圳）有限公司 摄像装置及其身份识别方法
DE112009005382T5 (de) * 2009-11-18 2012-09-13 Industrial Technology Research Institute Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden
NL2004996C2 (nl) 2010-06-29 2011-12-30 Cyclomedia Technology B V Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto.
JP5770486B2 (ja) * 2011-02-21 2015-08-26 株式会社トプコン 全周画像計測装置
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9195914B2 (en) 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
GB201303076D0 (en) 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
NL2010463C2 (nl) * 2013-03-15 2014-09-16 Cyclomedia Technology B V Werkwijze voor het genereren van een panoramabeeld.
WO2014154270A1 (en) * 2013-03-27 2014-10-02 Irdeto B.V. Tamper resistant cryptographic algorithm implementation
TWI547142B (zh) * 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的３ｄ顯示器適配
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9563951B2 (en) * 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US20150002636A1 (en) 2013-06-28 2015-01-01 Cable Television Laboratories, Inc. Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras
US10126412B2 (en) 2013-08-19 2018-11-13 Quanergy Systems, Inc. Optical phased array lidar system and method of using same
GB2520338A (en) 2013-11-19 2015-05-20 Nokia Corp Automatic scene parsing
US9684673B2 (en) * 2013-12-04 2017-06-20 Urthecast Corp. Systems and methods for processing and distributing earth observation images
KR101582572B1 (ko) 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US9754192B2 (en) 2014-06-30 2017-09-05 Microsoft Technology Licensing, Llc Object detection utilizing geometric information fused with image data
US9772405B2 (en) 2014-10-06 2017-09-26 The Boeing Company Backfilling clouds of 3D coordinates
US9369689B1 (en) 2015-02-24 2016-06-14 HypeVR Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
CN104836960B (zh) * 2015-05-29 2017-12-08 京东方科技集团股份有限公司 一种图像采集系统和图像采集方法
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US9992477B2 (en) * 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US9989406B2 (en) 2016-01-29 2018-06-05 Ouster, Inc. Systems and methods for calibrating an optical distance sensor
US9940696B2 (en) * 2016-03-24 2018-04-10 GM Global Technology Operations LLC Dynamic image adjustment to enhance off- axis viewing in a display assembly
US20180136314A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10809380B2 (en) * 2017-05-15 2020-10-20 Ouster, Inc. Augmenting panoramic LIDAR results with color
CN107576960B (zh) 2017-09-04 2021-03-16 赵建辉 视觉雷达时空信息融合的目标检测方法及系统
US10523880B2 (en) 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
CN113378867B (zh) * 2020-02-25 2023-08-22 北京轻舟智航智能技术有限公司 一种异步数据融合的方法、装置、存储介质及电子设备
US11695911B2 (en) * 2020-04-27 2023-07-04 Ouster, Inc. Stereoscopic image capturing systems

Also Published As

Publication number Publication date
JP7189156B2 (ja) 2022-12-13
US20210041570A1 (en) 2021-02-11
KR20200004840A (ko) 2020-01-14
WO2018213338A1 (en) 2018-11-22
US20180329066A1 (en) 2018-11-15
CN110832349A (zh) 2020-02-21
JP2020521955A (ja) 2020-07-27
EP3615961A4 (en) 2021-01-20
US10809380B2 (en) 2020-10-20
EP3615961A1 (en) 2020-03-04
CN110832349B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
JP7189156B2 (ja) 色によるパノラマｌｉｄａｒ結果の増強
AU2021200905B2 (en) Synchronized spinning lidar and rolling shutter camera system
US20240146895A1 (en) Time-of-flight camera system
US20100134596A1 (en) Apparatus and method for capturing an area in 3d
CN112213730B (zh) 三维测距方法和装置
US10742881B1 (en) Combined temporal contrast sensing and line scanning
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240423