JP2020020793A - ライダー強度に基づく物体検出 - Google Patents

ライダー強度に基づく物体検出 Download PDF

Info

Publication number
JP2020020793A
JP2020020793A JP2019135337A JP2019135337A JP2020020793A JP 2020020793 A JP2020020793 A JP 2020020793A JP 2019135337 A JP2019135337 A JP 2019135337A JP 2019135337 A JP2019135337 A JP 2019135337A JP 2020020793 A JP2020020793 A JP 2020020793A
Authority
JP
Japan
Prior art keywords
reflectance
data points
value
values
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019135337A
Other languages
English (en)
Other versions
JP6676814B2 (ja
Inventor
ジャイン シャンタヌ
Jain Shantanu
ジャイン シャンタヌ
ヤン ゲファ
Gehua Yang
ヤン ゲファ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uber Technologies Inc
Original Assignee
Uber Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uber Technologies Inc filed Critical Uber Technologies Inc
Publication of JP2020020793A publication Critical patent/JP2020020793A/ja
Application granted granted Critical
Publication of JP6676814B2 publication Critical patent/JP6676814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4738Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】ライダー強度値に基づいて物体の反射率特性を決定するためのシステム、方法、および装置を提供する。【解決手段】システムは、機械の1つまたは複数のプロセッサと、命令を格納する機械記憶媒体とを含み、命令は、1つまたは複数のプロセッサによる実行時に、機械に、車両の動作中に、ライダーユニットによって出力された入力データ点にアクセスすることを含む処理を行わせる。処理はさらに、反射率推定モデルを使用して、入力データ点に基づいて物体の反射率値を推定することを含み得る。反射率推定モデルは、関連する距離値および未処理の強度値を使用して、以前に収集されたデータ点の座標系へのマッピングを含む。処理はさらに、推定反射率値に基づいて物体の1つまたは複数の特性を決定することを含み得る。【選択図】 図9A−9B

Description

(優先権主張)
この出願は、全体が本明細書に参照として組み込まれる2018年7月31日に出願された米国特許仮出願第62/712,479号の優先権の利益を主張する。
本明細書に開示される主題は、光検出および測距(ライダー(Lidar:light detection and ranging))システムに関する。特に、例示的な実施形態は、ライダーシステムによって出力された未処理の強度値に基づく物体検出のためのシステムおよび方法に関し得る。
ライダーは、レーザーを使用して周囲環境の三次元表現を作成するレーダーに類似したシステムである。ライダーユニットは、検出器と対になって1つのチャネルを形成する少なくとも1つのレーザーエミッタを含んでいるが、ライダーユニットの視野を拡大するためにチャネルのアレイが使用されてもよい。動作時には、各チャネルは、周囲環境から反射されて検出器に戻るレーザー信号を周囲に放射する。単一のチャネルは、単一点の測距情報を提供する。チャネルは、集合的に組み合わされて周囲環境の三次元表現に対応する点群を作成する。ライダーユニットはまた、飛行時間(time of flight)、即ち、レーザー信号を放射してから戻り信号を検出するまでの経過時間を測定するための回路を含む。飛行時間は、検出された物体までのライダーユニットの距離を決定するために使用される。
いくつかのライダーユニットは、戻り信号の強度をも測定する。戻り信号の強度は、信号を反射する表面の反射率についての情報を提供し、かつ物体検出のために使用することができる。戻り信号の強度は、検出された物体までのライダーユニットの距離、放射されたレーザー信号の入射角、周囲環境の温度、および検出された物体の実際の反射率など、多くの要因に依存する。エミッタと検出器との対の調整のような他の要因は、各チャネルによって出力される強度値の均一性にさらに影響を及ぼし得る信号ノイズを付加する。
増加的に、ライダーは、部分的または完全自律型自動車などの自律型車両(AV:autonomous vehicle)への用途が見出されている。多くの場合、各ライダーチャネルから戻される強度値は、これらの信号が検出された物体の反射率に関連する情報を提供するため、AVの自己位置推定(localization)、認識(perception)、予測(prediction)、および運行計画(motion planning)に使用される。しかしながら、上述の戻り信号の強度に影響を与える信号ノイズおよび他の要因によって引き起こされるライダー強度値の均一性の欠如があるとすると、ライダーユニットによって提供される未処理の強度値の使用は、自律型および半自律型車両の自己位置推定、認識、予測、および運行計画に関する不正確さおよび他の問題をもたらす。
添付の図面の様々なものは、本発明の主題の例示的な実施形態を単に例示するものであり、その範囲を限定するものと見なすことができるものではない。
いくつかの実施形態による、例示的な自律型車両(AV)システムを示すブロック図である。 いくつかの実施形態による、AVシステムの一部として含まれ得るライダーユニットを示すブロック図である。 いくつかの実施形態による、未処理のライダー強度値に基づいて推定された反射率値に基づいて物体の特性を決定するための方法の一部として実行される例示的な処理を示すフローチャートである。 いくつかの実施形態による、未処理のライダー強度値に基づいて推定された反射率値に基づいて物体の特性を決定するための方法の一部として実行される例示的な処理を示すフローチャートである。 いくつかの実施形態による、未処理のライダー強度値に基づいて推定された反射率値に基づいて物体の特性を決定するための方法の一部として実行される例示的な処理を示すフローチャートである。 いくつかの実施形態による、未処理のライダー強度値に基づいて推定された反射率値に基づいて物体の特性を決定するための方法の一部として実行される例示的な処理を示すフローチャートである。 いくつかの実施形態による、未処理のライダー強度値に基づいて推定された1つまたは複数の反射率値に基づいて自己位置推定を実行するための方法の一部として実行される例示的な処理を示すフローチャートである。 いくつかの実施形態による、未処理のライダー強度値に基づいて反射率値を推定するためのモデルを生成する際に使用するためのデータセットを収集するためのプロセスの一部として複数のターゲットが配置されている例示的な環境を示す概略図である。 いくつかの実施形態による、入力ライダーデータ点に基づいて反射率値を推定するための例示的なプロセスを示す概念図である。 いくつかの実施形態による、入力ライダーデータ点に基づいて反射率値を推定するための例示的なプロセスを示す概念図である。 本明細書で説明する方法のうちの任意の1つまたは複数を機械に実行させるための一組の命令を実行することができるコンピュータシステム内の例示的な形態の機械の概略図である。
本発明の主題を実施するための特定の例示的な実施形態について詳細に説明する。主題の完全な理解を提供するために、これらの特定の実施形態の例が添付の図面に示されており、特定の詳細が以下の説明に記載されている。これらの事例は、特許請求の範囲を図示の実施形態に限定することを意図するものではないことが理解されるであろう。それとは逆に、それら事例は、本開示の範囲内に含まれ得るような代替形態、修正形態、および均等物を網羅することを意図している。
本開示の態様は、ライダーユニットから取得された未処理の強度値に基づいて物体の反射率を決定するためのシステム、方法、および装置を含む。物体の反射率を決定するための方法は、較正段階と車両動作段階とに分けられ得る。較正段階の間、ライダー較正システムは、ライダーユニットによって出力された複数のデータ点を含むデータセットを収集し、収集したデータに基づいてライダーユニットに固有の反射率推定モデルを生成する。収集したデータセット内の各データ点は、未処理の強度値と距離値とを含み、かつ複数の既知の反射率値のうちの1つに対応する。反射率推定モデルは、ライダーユニットによって出力された入力データ点(incoming data points)に基づいて物体の反射率を推定するために、車両動作段階中に自律型車両(AV)コンピュータシステムによって使用され得る。反射率推定モデルの生成は、各データ点の未処理の強度値および距離値を使用して各データ点を座標系にマッピングすることを含む。データ点のマッピングは、ライダーユニットの各チャネルの各電力レベルに対して生成されてもよい。従って、反射率推定モデルの生成は、複数のマッピングを生成することを含み得る。
車両動作段階では、AVコンピュータシステムの反射率推定システムは、AVの動作中にライダーユニットによって出力される入力データ点に基づいて反射率推定モデルを使用して1つまたは複数の物体の反射率値を推定する。推定反射率値は、物体の反射率(例えば、物体に当たり物体から反射される光の割合の量)を示す。反射率推定システムは、推定反射率値に基づいて物体の1つまたは複数の特性を決定する。例えば、反射率推定システムは、推定反射率値に基づいて物体の反射率を決定し得る。別の例として、推定反射率値を、拡散反射率特性または鏡面反射率特性を決定するためのベースとして使用することができる。
車両動作段階中に、物体の推定反射率値はまた、下流における認識、予測、および運行計画において使用され得る。例えば、AVコンピューティングシステムの構成要素は、物体の推定反射率値に基づいてAVのための運行計画を決定し得る。運行計画は、AVの運行を制御する。さらに、AVコンピューティングシステムの構成要素は、物体の推定反射率値に基づいて物体を記述する状態データを生成し得る。
いくつかの実施形態では、推定反射率値も自己位置推定プロセスで使用され得る。例えば、推定反射率の表示を含むようにマップを生成し、1つまたは複数のAVの自己位置推定システムは、他のセンサデータと共にマップを使用して、AVの位置および向きを記述する車両の姿勢を生成することができる。
反射率推定モデルを生成するために使用されるデータセットの収集は、ライダーユニットから様々な距離において複数のターゲットを配置すること、ライダーユニットから各ターゲットに対応するデータ点を収集することを含み得る。各ターゲットは、既知の反射率を有し、各データ点は、関連する既知の反射率値を有する。各ターゲットについて収集したデータ点は、ライダーユニットの各電力レベルでライダーユニットの各チャネルによって出力されたデータ点を含む。いくつかの実施形態では、ライダーユニットはジンバルに取り付けられてもよく、ジンバルは、ライダーユニットを複数のターゲットに対して様々な角度で方向付けて、複数の角度の方向で各ターゲットに関するデータ点を取得するために使用され得る。
いくつかの実施形態では、反射率値の推定は、AVの動作中にライダーユニットによって出力された入力データ点にアクセスすること、および入力データ点を座標系にマッピングすることを含む。入力データ点は、データ点を出力するチャネルの電力レベルに対応する特定のマッピング内にマッピングされ得る。データ点が対応する物体の反射率値は、マッピングから識別された2個以上の最近傍のデータ点からの補間によって推定される。
他の実施形態では、反射率推定モデルの生成は、ライダーユニットの各チャネルの各電力レベルに対する距離値および未処理の強度値の複数の組み合わせに対する複数の反射率値を含むルックアップテーブルを生成することを含む。反射率値は、マッピングされたデータ点からの補間を通じて決定され得る。ルックアップテーブルは、AVのコンピューティングシステムに格納される前に圧縮されてもよく、それによって、このデータを格納するのに必要とされるメモリの量が低減される。これらの実施形態と一致して、AV動作中の反射率値の推定は、ルックアップテーブルにアクセスすること、距離値、未処理の強度値、電力レベル、およびデータ点に対応するチャネルに基づいてルックアップテーブルから反射率値を決定することを含む。車両動作中に反射率値を推定するのではなく較正段階中に反射率値を事前計算することによって、物体の反射率を推定する際のAVコンピュータシステムの処理時間が上述の実施形態と比較して短縮され、したがってAVシステムの反応時間(例えば、物体を回避することにおける)が改善され得る。
図1を参照すると、いくつかの実施形態による例示的な自律型車両(AV)システム100が示されている。不必要な詳細内容で本発明の主題を曖昧にすることを避けるために、本発明の主題の理解していることを伝えることに密接に関係しない様々な機能的構成要素は、図1から省略されている。しかしながら、当業者は、様々な追加の機能的構成要素がAVシステム100の一部として含まれて、本明細書で具体的に説明されていない追加の機能を可能にし得ることを容易に認識するであろう。
AVシステム100は、車両を制御する役割を果たす。AVシステム100は、周囲を感知し、人による入力なしにナビゲートすることができる。AVシステム100は、地上ベースの自律型車両(例えば、自動車、トラック、バスなど)、航空機ベースの自律型車両(例えば、飛行機、無人機、ヘリコプター、または他の航空機)、または他の種類の車両(例えば、船舶)を含むことができる。
AVシステム100は、車両コンピューティングシステム102、1つまたは複数のセンサ104、および1つまたは複数の車両制御116を含む。車両コンピューティングシステム102は、AVシステム100の制御を支援することができる。特に、車両コンピューティングシステム102は、1つまたは複数のセンサ104からセンサデータを受信し、センサ104によって収集されたデータに対して様々な処理技術を実行することによって周囲環境を把握することを試み、そのような周囲環境を通過する適切な運行経路を生成することができる。車両コンピューティングシステム102は、運行経路に従ってAVシステム100を動作させるように1つまたは複数の車両制御116を制御することができる。
図1に示すように、車両コンピューティングシステム102は、AVシステム100を制御するのを支援する1つまたは複数のコンピューティングデバイスを含むことができる。車両コンピューティングシステム102は、AVシステム100の動的な周囲環境を認識して、AVシステム100のために提案された運行経路を記述する軌跡を決定するために協働するローカライザ(localizer)システム106、認識システム108、予測システム110、運行計画システム112、および反射率推定システム120を含むことができる。車両コンピューティングシステム102は、軌跡を追従するようにAVシステム100の運行を実行するために1つまたは複数の車両制御116(例えば、ガスフロー(駆動力)、操舵、制動などを制御するアクチュエータ)を制御するように構成される車両コントローラ114をさらに含み得る。
特に、いくつかの実施形態では、ローカライザシステム106、認識システム108、予測システム110、運行計画システム112、または反射率推定システム120のうちの任意の1つは、AVシステム100に接続されるか、それ以外にAVシステム100内に含まれる1つまたは複数のセンサ104からセンサデータを受信することができる。事例として、1つまたは複数のセンサ104は、ライダーユニット118、電波探知測距(レーダー)(RADAR:Radio Detection and Ranging)システム、1つまたは複数のカメラ(例えば、可視スペクトルカメラ、赤外線カメラなど)、および/または他のセンサを含むことができる。センサデータは、AVシステム100の周囲環境内の物体の位置を記述する情報を含むことができる。
一つの事例として、ライダーユニット118の場合、センサデータは、放射されたレーザーを反射した物体に対応する多数の点の位置(例えば、ライダーユニット118に対する三次元空間内)を含む点データを含むことができる。例えば、ライダーユニット118は、短いレーザーパルスを用いてセンサ104(単数または複数)から物体へと進み、物体から戻る飛行時間(ToF:Time of Flight)を測定することによって距離を測定し、既知の光の速さから距離を計算することができる。点データは、各点についての強度値をさらに含み、強度値は、上述したように、放射されたレーザーを反射した物体の反射率についての情報を提供することができる。
別の事例として、レーダーシステムの場合、センサデータは、測距電波を反射した物体に対応する多数の点の位置(例えば、レーダーシステムに対する三次元空間内)を含むことができる。例えば、レーダーシステムによって送信された電波(例えば、パルス波または連続波)は、物体を反射して、レーダーシステムの受信機に戻って、物体の位置および速さについての情報を与えることができる。従って、レーダーシステムは、物体の現在の速さに関する有用な情報を提供することができる。
さらに別の事例として、カメラについては、様々な処理技術(例えば、動きからの構造化、構造化光、立体三角測量、および/または他の技術などの距離画像化技術)を実行して、カメラによって捕捉された画像内に描かれている物体に対応する多数の点の位置(カメラに対する三次元空間)を識別することができる。他のセンサシステムも同様に物体に対応する点の位置を識別することができる。
別の事例として、1つまたは複数のセンサ104は位置決めシステム124を含み得る。位置決めシステム124は、AVシステム100の現在の位置を決定することができる。位置決めシステム124は、AVシステム100の位置を分析するための任意のデバイスまたは回路であり得る。例えば、位置決めシステム124は、1つまたは複数の慣性センサ、ネットワークアクセスポイントまたは他のネットワークコンポーネント(例えば、セルラータワー、WiFiアクセスポイントなど)に対する三角測量および/または近接性を使用することによる、インターネットプロトコル(IP)アドレスに基づく衛星測位システム、および/または他の適切な技術を使用することによって位置を決定することができる。AVシステム100の位置は、車両コンピューティングシステム102の様々なシステムによって使用することができる。
従って、1つまたは複数のセンサ104を使用して、AVシステム100の周囲環境内の物体に対応する点の位置(例えば、AVシステム100に対する三次元空間内)を記述する情報を含むセンサデータを収集することができる。
センサデータに加えて、ローカライザシステム106、認識システム108、予測システム110、運行計画システム112、および/または反射率推定システム120は、AVシステム100の周囲環境に関する詳細な情報を提供する地図データ122を取得するか、またはそれ以外に入手することができる。地図データ122は、個別の走行路(例えば、道路、路地、道、および走行用に指定された他の経路)、道路区分、建物、または他の特徴もしくは物体(例えば、街灯、横断歩道、縁石、その他)の識別および位置に関する情報、個別の走行路(例えば、道路)、道路区分、建物、または他の特徴もしくは物体(例えば、街灯、横断歩道、縁石、その他)の既知の反射率(例えば、放射輝度)に関する情報、車線の位置および方向(例えば、駐車レーン、方向転換レーン、自転車専用レーン、または特定の道路または他の走行路内の他のレーンの位置および方向)に関する情報、交通管制データ(例えば、標識、信号機、または他の交通管制装置の位置および指示)に関する情報、および/または車両コンピューティングシステム102が周囲環境および車両コンピューティングシステム102との関係を把握し認識するのを支援する情報を提供する任意の他の地図データを提供することができる。
さらに、本開示の一態様によれば、地図データ122は、世界中のかなりの数の公称経路(nominal pathways)を記述する情報を含むことができる。一例として、いくつかの事例では、公称経路は、一般に、1つまたは複数のレーン(例えば、道路または他の走行路上のレーン)に沿った車両走行の共通パターンに対応することができる。例えば、レーンを通る公称経路は、一般に、そのようなレーンの中心線に対応することができる。
図示されるように、ライダーユニット118はライダー較正システム126と通信する。ライダー較正システム126は、オフラインプロセスにおいて(例えば、AVシステム100が動作していない間に)、反射率推定モデルを生成する役割を果たす。このオフラインプロセスは、チャネルが動作可能である各電力レベルでライダーユニット118の各チャネルによって出力される複数のデータ点を含むデータセットを収集することを含み、各データ点は、複数のターゲットの1つに対応し、各ターゲットは、既知の反射率を有する。収集したデータセットは、反射率推定モデルを生成するためのベースを提供する。
AVシステム100の動作中、反射率推定システム120は、ライダー較正システム126によって生成された反射率推定モデルを使用して、ライダーユニット118によって出力された入力データ点に基づいて物体の反射率値を推定する。反射率値は、対応する物体の反射率(例えば、物体に当たり物体から反射される光の割合の量)を示す。反射率推定システム120は、推定反射率値に基づいて物体の1つまたは複数の特性を決定し得る。例えば、反射率推定システム120は、推定反射率値に基づいて物体の反射率を決定し得る。反射率推定システム120は、推定反射率値を車両コンピューティングシステム102の他の構成要素に伝達し得る。
ローカライザシステム106は、地図データ122、センサ104からのセンサデータの一部または全部、および反射率推定システム120からの推定反射率値を受信し、この情報に基づいてAVシステム100に関する車両の姿勢を生成する。車両の姿勢は、車両の位置および向きを記述する。AVシステム100の位置は、三次元空間内の点である。いくつかの事例では、位置は一組のデカルト座標(Cartesian coordinates)の値によって記述されるが、他の任意の適切な座標系が使用されてもよい。いくつかの事例では、車両の向きは、垂直軸を中心としたヨー、第1の水平軸を中心としたピッチ、および第2の水平軸を中心としたロールによって記述される。いくつかの事例では、ローカライザシステム106は、周期的に(例えば、毎秒ごと、半秒ごとなど)車両の姿勢を生成する。ローカライザシステム106は、車両の姿勢にタイムスタンプを付加する。姿勢に対するタイムスタンプは、姿勢が記述された時点を示す。ローカライザシステム106は、センサデータ(例えば、リモートセンサデータ)をAVシステム100の周囲環境を記述する地図データ122と比較することによって車両の姿勢を生成する。
いくつかの事例では、ローカライザシステム106は、1つまたは複数のローカライザおよび姿勢フィルタを含む。ローカライザは、リモートセンサデータ(例えば、ライダー、レーダーなどのデータ)を地図データ122と比較することによって姿勢推定値を生成する。姿勢フィルタは、1つまたは複数のローカライザからの姿勢推定値のみならず、例えば、慣性計測装置(IMU:inertial measurement unit)、エンコーダ、走行距離計、および同様のものからの動きセンサデータなどの他のセンサデータを受信する。いくつかの事例では、姿勢フィルタは、カルマンフィルタまたは他の機械学習アルゴリズムを実行して、1つまたは複数のローカライザからの姿勢推定値を動きセンサデータと合成して、車両の姿勢を生成する。
認識システム108は、1つまたは複数のセンサ104から受信したセンサデータ、反射率推定システム120によって提供された推定反射率値、および/または地図データ122に基づいて、AVシステム100に近接する1つまたは複数の物体を識別することができる。特に、いくつかの実施形態では、認識システム108は、各物体に関して、物体の現在の状態を記述する状態データを決定することができる。例として、各物体に関する状態データは、物体の現在の場所(位置としても参照される)、現在の速さ(速度としても参照される)、現在の加速度、現在の方位、現在の向き、サイズ/フットプリント(例えば、バウンディングポリゴン(bounding polygon)または多面体などのバウンディング形状(bounding shape)によって表される)、クラス(例えば、車両、歩行者、自転車、またはその他)、ヨーレート、反射率特性、鏡面反射率特性または拡散反射率特性、および/または他の状態情報の推定値を記述することができる。
いくつかの実施形態では、認識システム108は、多数の反復により各物体の状態データを決定することができる。具体的には、認識システム108は、各反復で各物体の状態データを更新することができる。従って、認識システム108は、AVシステム100に近接している物体(例えば、車両)を経時的に検出および追跡することができる。いくつかの事例では、認識システム108は、反射率推定システム120によって計算された物体の鏡面反射率値に基づいて物体の状態データを更新する。
予測システム110は、認識システム108から状態データを受信し、そのような状態データに基づいて各物体に関する1つまたは複数の将来の位置を予測することができる。例えば、予測システム110は、各物体が次の5秒、10秒、20秒等々の間にどこに位置するかを予測することができる。一つの事例として、物体は、現在の速さに従って現在の軌跡に忠実であると予測することができる。別の事例として、他のより洗練された予測技術またはモデリングを使用することができる。
運行計画システム112は、予測システム110によって提供された物体に関する予測された1つまたは複数の将来の位置および/または認識システム108によって提供された物体に関する状態データに少なくとも部分的に基づいてAVシステム100の運行計画を決定することができる。言い換えれば、物体の現在の位置および/または近接する物体の予測される将来の位置に関する情報が与えられると、運行計画システム112は、そのような位置における物体に対してAVシステム100を最良のナビゲートするAVシステム100に対する運行計画を決定することができる。
運行計画は、運行計画システム112によって車両コントローラ114に提供することができる。いくつかの実施形態では、車両コントローラ114は、他のコンピューティングシステムの構成要素(例えば、認識システム108、予測システム110、運行計画システム112など)で利用可能なものと同じレベルの、所望の移動経路周辺の環境および障害についての情報を有していない線形コントローラとすることができる。それにもかかわらず、車両コントローラ114は、AVシステム100を運行計画に適度に近い状態に維持するように機能することができる。
より具体的には、車両コントローラ114は、運行計画に従うようにAVシステム100の運行を制御するように構成することができる。車両コントローラ114は、運行計画に従うようにAVシステム100の駆動力および制動のうちの1つまたは複数を制御することができる。車両コントローラ114は、運行計画に従うようにAVシステム100の操舵を制御することもできる。いくつかの実施形態では、車両コントローラ114は、1つまたは複数の車両アクチュエータコマンド(単数または複数)を生成し、さらに車両アクチュエータコマンド(単数または複数)に従って車両制御116内に設けられた1つまたは複数の車両アクチュエータを制御するように構成することができる。車両制御116内の車両アクチュエータは、例えば、操舵アクチュエータ、制動アクチュエータ、および/または駆動力アクチュエータを含むことができる。
ローカライザシステム106、認識システム108、予測システム110、運行計画システム112、反射率推定システム120、および車両コントローラ114の各々は、所望の機能を提供するために利用されるコンピュータロジックを含むことができる。いくつかの実施形態では、ローカライザシステム106、認識システム108、予測システム110、運行計画システム112、反射率推定システム120、および車両コントローラ114の各々は、汎用プロセッサを制御するハードウェア、ファームウェア、および/またはソフトウェアで実施することができる。例えば、いくつかの実施形態では、ローカライザシステム106、認識システム108、予測システム110、運行計画システム112、反射率推定システム120、および車両コントローラ114の各々は、ストレージデバイスに格納され、メモリにロードされ、かつ1つまたは複数のプロセッサによって実行されるプログラムファイルを含む。他の実施形態では、ローカライザシステム106、認識システム108、予測システム110、運行計画システム112、反射率推定システム120、および車両コントローラ114の各々は、ランダムアクセスメモリ(RAM)、ハードディスク、または光学もしくは磁気媒体などの有形のコンピュータ可読記憶媒体に格納された1組または複数組のコンピュータ実行可能命令を含む。
図2は、いくつかの実施形態による、AVシステム100の一部として含まれ得るライダーユニット118を示すブロック図である。不必要な詳細内容で本発明の主題を曖昧にすることを避けるために、本発明の主題の理解していることを伝えることに密接に関係しない様々な機能的構成要素は、図2から省略されている。しかしながら、当業者は、様々な追加の機能的構成要素がライダーユニット118の一部として含まれて、本明細書で具体的に説明されていない追加の機能を可能にし得ることを容易に認識するであろう。
図示されるように、ライダーユニット118は、チャネル200−0〜200−Nを含む。従って、ライダーユニット118は、チャネル0〜Nを備える。チャネル200−0〜200−Nの各々は、単一点の距離情報を提供する点データを出力する。チャネル200−0〜200−Nの各々によって出力される点データ(即ち、点データ0〜N)は、周囲環境の三次元表現に対応する点群を作成するために集合的に合成される。
チャネル200−0〜200−Nの各々は、検出器204と対になったエミッタ202を備える。エミッタ202は、周囲環境から反射して検出器204内のセンサ206(例えば、光検出器)に戻るレーザー信号を周囲に放射する。各エミッタ202は、放出されたレーザー信号の強度を制御する調整可能な電力レベルを有し得る。調整可能な電力レベルは、エミッタ202が複数の個別の電力レベル(例えば、強度)のうちの1つでレーザー信号を放射することができることを可能にする。
センサ206は、戻り信号を読み出し回路208に供給し、読み出し回路208は、戻り信号に基づいて点データを出力する。点データは、ToFを測定することによって読み出し回路208によって決定される、検出面(例えば、道路)からのライダーユニット118の距離を含み、距離は、エミッタ202がレーザー信号を放射し、検出器204が戻り信号を検出するまでの間の経過時間である。
点データは、各戻り信号に対応する強度値をさらに含む。強度値は、読み出し回路208によって決定された戻り信号の強度の大きさを示す。上述したように、戻り信号の強度は、信号を反射する表面に関する情報を提供し、かつ自己位置推定、認識、予測、および運行計画のためにローカライザシステム106、認識システム108、予測システム110、および運行計画システム112のうちの任意の1つによって使用することができる。戻り信号の強度は、ライダーユニット118から検出面までの距離、エミッタ202がレーザー信号を放射する入射角、周囲環境の温度、エミッタ202および検出器204のアライメント、および検出面の反射率などの多数の要因に依存する。
図示されるように、ライダーユニット118のチャネル200−0〜200−Nによって出力される点データ(即ち、点データ0〜N)は、反射率推定システム120に提供される。以下でさらに詳細に説明するように、反射率推定システム120は、ライダー較正システム126によって生成された反射率推定モデルを使用して、点データから物体の反射率値を推定し、反射率推定システム120は、推定反射率値を使用して物体の1つまたは複数の特性を決定する。
図3〜図6は、いくつかの実施形態による、未処理のライダー強度値に基づいて推定された反射率値に基づいて物体特性を決定するための方法300の一部として実行される例示的な処理を示すフローチャートである。方法300の処理の少なくとも一部は、これらの処理がAVシステム100の1つまたは複数の構成要素によって実行され得るように、ハードウェアコンポーネント(例えば、プロセッサ)による実行のためのコンピュータ可読命令で具現化され得る。従って、方法300は、一例として、方法300を参照して以下に説明される。しかしながら、方法300は、他の様々なハードウェア構成に展開することができ、かつAVシステム100上の展開に対して限定されることを意図していないことを理解されたい。方法300は、2つの段階:1)較正段階および2)車両動作段階に概念的に分けられ得る。処理305および310は、オフライン較正段階を形成し、処理315、320、325、および330は車両動作段階を形成する。
処理305において、ライダー較正システム126は、ライダーユニット118によって出力された複数のデータ点を含むデータセットを収集する。各データ点は、未処理の強度値および距離値を含む。未処理の強度値は、戻り信号の強度の大きさを含み、距離値は、ライダーユニット118から放射光信号を反射した表面または物体までの距離の大きさを含む。各データ点は、複数のターゲットの1つに対応する。各ターゲットは、既知の反射率値を有し、従って各データ点は、既知の反射率値に関連付けられている。
データセットを収集することは、複数のターゲットのうちの各ターゲットに対応するデータ点を収集することを含み得る。各ターゲットに関するデータ点の収集は、ライダーユニット118のチャネル200−0〜200−Nの各々によって出力されたデータ点の収集を含み得る。チャネル200−0〜200−Nの各々によって出力されたデータ点の収集は、チャネル200−0〜200−Nの各々の各電力レベルで出力されたデータ点を収集することを含み得る。さらに、各チャネル200−0〜200−Nの各々の各電力レベルで出力されるデータ点の収集は、ライダーユニット118が複数のターゲットに対して様々な角度で配置されている間に、ライダーユニット118によって出力されたデータ点を収集することを含み得る。言い換えれば、一組のデータを収集することは、ライダーユニット118が複数のターゲットに対して様々な角度で配置されている間に、ライダーユニット118のチャネル200−0〜200−Nの各々の各電力レベルで出力されるデータ点を収集することを含み得る。従って、収集したデータセットは、複数組のデータ点を含み得、複数組のデータ点は、ライダーユニット118のチャネル200−0〜200−Nの各々の各電力レベルに対応する一組のデータ点を含む。チャネル200−0〜200−Nのうちの特定の1つの特定の電力レベルに対応する一組のデータ点は、各ターゲットに対応する複数のデータ点を含み、複数のデータ点は、ライダーユニット118が各ターゲットに対して複数の角度で配置されている間にライダーユニット118によって出力されたデータ点を含む。
処理310において、ライダー較正システム126は、収集したデータセットに基づいてライダーユニット118に関する反射率推定モデルを生成し訓練する。反射率推定モデルは、各データ点の距離値および未処理の強度値を座標として使用する、複数のデータ点の座標系への少なくとも1つのマッピングを含む。マッピング内で、データ点の既知の反射率値(例えば、複数のターゲットに対応する)は、各データ点の距離値および未処理の強度値に基づく座標と関連付けられる。反射率モデルの生成に関するさらなる詳細は、図5、6、および9A〜9Dを参照して以下に説明される。
車両動作段階では、反射率推定システム120は、反射率推定モデルを使用して、車両の動作中にライダーユニット118によって出力された入力データ点から物体の反射率値を推定する(処理315)。入力データ点は、物体が放射された光信号を反射してライダーユニット118に戻すことに応答して、ライダーユニット118によって出力される。入力データ点は、距離値および未処理の強度値を含む。反射率値は、物体の反射率の量(例えば、物体に当たり物体から反射される光の割合の量)を示す。反射率値は、反射率推定モデルに含まれるデータ点のマッピング(例えば、入力データ点を出力するチャネル200の電力レベルに対応するデータ点のマッピング)に対して実行される局所補間に基づいて推定され得る。より具体的には、反射率値は、マッピングに含まれる少なくとも2個のデータ点から補間され得る。反射率推定モデルを用いた反射率値の推定に関するさらなる詳細は、図5、6、および9A〜9Dを参照して以下に説明される。
処理320で、車両コンピューティングシステム102の1つまたは複数の構成要素は、推定反射率値に基づいて物体の1つまたは複数の特性を決定する。例えば、反射率推定システム120は、推定反射率値に基づいて物体の反射率を決定し得る。別の事例として、反射率推定システム120は、推定反射率値を物体の拡散反射率特性または鏡面反射率特性を決定するためのベースとして使用し得る。推定反射率値は、物体の現在位置、現在の速さ、現在の加速度、現在の方位、現在の向き、サイズ/フットプリント、クラス、およびヨーレートのうちの1つまたは複数の推定値を決定するために認識システム108によって使用され得る。予測システム110は、推定反射率値を使用して、物体に関する1つまたは複数の将来の位置を予測し得る。
処理325において、認識システム108は、物体を記述するために推定反射率値に基づいて物体に関連する状態データを生成する。従って、物体に関する状態データは、ライダーユニット118から物体までの距離と、物体に関する推定反射率値とを含む。状態データは、推定反射率値に基づいて決定された物体の1つまたは複数の特性をさらに含み得る。
処理330において、運行計画システム112は、物体の推定反射率値に基づいて車両の運行計画を決定する。上述したように、車両コントローラ114は、運行計画を使用して車両の運行を制御する。
図4に示すように、方法300は、いくつかの実施形態では、処理405、410、および415を含み得る。これらの実施形態と一致して、処理405、410、および415は、処理305の前またはその一部として実行されてもよく、その場合、ライダー較正システム126はデータセットを収集する。
処理405において、1人または複数人のオペレータが複数のターゲットを配置する。各ターゲットは既知の反射率値を有する。複数のターゲットは、ライダーユニット118から様々な距離に配置され得る。複数のターゲットの例示的な配置は、図8を参照して以下に説明される。
処理410において、1人または複数人のオペレータがライダーユニット118をジンバルに取り付ける。ジンバルは、人間のオペレータが複数のターゲットに対して様々な角度でライダーユニット118を向けることを可能にする。
処理415において、ライダー較正システム126は、複数のターゲットに対して複数の角度でライダーユニット118を位置決めし、ライダーユニット118はデータ点を出力する。より具体的には、ライダー較正システム126は、ライダーユニット118がデータ点を生成する間に、複数のターゲットに対するライダーユニット118の角度を調整するようにジンバルに電子コマンドを提供する。例えば、ライダー較正システム126は、ライダーユニット118がさらなるデータ点を生成する第2の角度にライダーユニット118を配置するようにジンバルに命令する前に、ライダーユニット118が第1の角度で複数のターゲットに対応するデータ点を生成することを可能にし得る。ライダー較正システム126は、ある範囲内の角度を少しずつ(in small increments)(例えば、0.25度)掃引するようにジンバルに命令し得る。上記したように、各角度に関して、ライダー較正システム126は、各チャネルの各電力レベルに対応するデータ点を収集し得る。
図5に示すように、方法300は、いくつかの実施形態では、処理505、510、515、520、および525を含み得る。これらの実施形態と一致して、処理505は、処理310の一部として実行されてもよく、ライダー較正システム120は、反射率推定モデルを生成する。処理505において、ライダー較正システム126は、各データ点の個々の距離および未処理の強度値を使用して、複数のデータ点の座標系へのマッピングを生成する。マッピングを生成する際に、ライダー較正システム126は、各データ点の距離および未処理の強度値を使用して各データ点を座標系にマッピングする。データ点を座標系にマッピングする際に、ライダー較正システム126は、データ点の距離および未処理の強度値に基づいてデータ点を一組の座標に関連付け、それによって既知の反射率値を距離値および未処理の強度値に関連付ける。
いくつかの実施形態と一致して、反射率推定モデルは、複数のデータ点の座標系への複数のマッピングを含む。これらの実施形態では、各マッピングは、チャネル200−0〜200−Nのうちの特定の1つの特定の電力レベルに対応し、従って、特定のマッピングは、特定の電力レベルで特定のチャネルによって出力されるデータ点のみを含む。このため、処理310で実行される反射率推定モデルの生成は、各チャネルの各電力レベルに対するデータ点のマッピングを生成することを含み得る。即ち、処理505は、各チャネルの各電力レベルに対して繰り返され得る。
処理510、515、520、および525は、処理315の一部として実行されてもよく、反射率推定システム120は、物体の反射率値を推定する。処理510において、反射率推定システム120は、車両の動作中にライダーユニット118によって出力された入力データ点にアクセスする。上述したように、入力データ点は、検出された物体に対応し、かつ未処理の強度値および距離値を含む。
処理515において、反射率推定システム120は、未処理の強度値および距離値を使用して入力データ点を座標系にマッピングする。即ち、反射率推定システム120は、未処理の強度値および距離値に基づいて入力データ点を一組の座標と関連付ける。
処理520で、反射率推定システム120は、複数のデータ点の座標系へのマッピングに基づいて座標系内のK個の最近傍の入力データ点を識別する。処理520において、Kは2以上である。反射率推定システム120は、K個の最近傍の入力データ点を識別するための複数の既知の技術(例えば、線形探索(linear search)、空間分割(space partitioning)、局所性鋭敏型ハッシュ(locality−sensitive hashing)、K近傍法(k−nearest neighbor)、(1+ε)−近似最近傍探索((1+ε)−approximate nearest neighbor search)、その他)のうちの1つを使用し得る。
反射率推定モデルが複数のマッピングを含む実施形態では、物体に対する反射率値の推定は、入力データ点およびチャネルの電力レベルを出力するライダーユニット118のチャネルに基づいて複数のマッピングから最近傍を識別するために使用されるマッピングを選択することを含む。換言すれば、反射率推定システム120は、最近傍の入力データ点を識別するのに使用するために、入力データ点に対応するチャネルおよび電力レベルに特有のマッピングを選択する。
処理525において、反射率推定システム120は、K個の最近傍から入力データ点の反射率値を補間する。反射率推定システム120は、K個の最近傍から反射率値を補間するために多くの既知の補間技術のうちの任意の1つを使用し得る。
図6に示すように、方法300は、いくつかの実施形態では、処理605、610、615、620、625、630、および635を含み得る。これらの実施形態と一致して、処理605、610、615、および620は処理310の一部として実行されてもよく、ライダー較正システム126は反射率推定モデルを訓練し生成する。
処理605において、ライダー較正システム126は、各データ点の個々の距離および未処理の強度値を使用して、複数のデータ点の座標系へのマッピングを生成する。マッピングを生成する際に、反射率推定システム120は、各データ点の距離および未処理の強度値を使用して各データ点を座標系にマッピングする。データ点を座標系にマッピングする際に、反射率推定システム120は、データ点の距離および未処理の強度値に基づいてデータ点を一組の座標に関連付け、それによって既知の反射率値を距離値および未処理の強度値に関連付ける。
処理610において、ライダー較正システム126は、マッピングを用いて複数の反射率値を含むルックアップテーブルを生成する。ルックアップテーブル内で、各反射率値は、距離値、未処理の強度値、チャネル、および電力レベルの組み合わせに関連付けられている。ルックアップテーブルに含まれる反射率値は、(例えば、マッピングによって)距離値と未処理の強度値との組み合わせに予め関連付けられている(例えば、複数のターゲットの)既知の反射率値のみならず、複数のデータ点のマッピングから補間された反射率値をも含み得る。従って、ルックアップテーブルの生成は、複数のデータ点のマッピングから複数の反射率値を補間することを含み得る。
処理615において、ライダー較正システム126は、ルックアップテーブルを圧縮する。ルックアップテーブルを圧縮する際に、反射率推定システム120は、いくつかの既知の圧縮技術またはアルゴリズムのうちの任意の1つを利用し得る。処理620において、反射率推定システム120は、車両コンピューティングシステム102のメモリデバイスに圧縮されたルックアップテーブルを格納する。
これらの実施形態と一致して、処理625、630、および635は、処理315の一部として実行されてもよく、反射率推定システム120は、反射率推定モデルを使用して入力データ点から物体の反射率値を推定する。
処理625において、反射率推定システム120は、車両の動作中にライダーユニット118によって出力された入力データ点にアクセスする。上述したように、入力データ点は、検出された物体に対応し、かつ未処理の強度値および距離値を含む。処理630において、反射率推定システム120は、車両コンピューティングシステム102のメモリデバイスの圧縮されたルックアップテーブルにアクセスする。
処理635において、反射率推定システム120は、ルックアップテーブルを使用して入力データ点の反射率値を決定する。より具体的には、反射率推定システム120は、入力データ点を出力する多数のチャネルおよびチャネルの電力レベルに加えて入力データ点の未処理の強度値および距離値を用いてルックアップテーブルから反射率値を識別する。
図7は、いくつかの実施形態による、未処理のライダー強度値に基づいて推定された1つまたは複数の反射率値に基づいて自己位置推定を実行するための方法700の一部として実行される例示的な処理を示すフローチャートである。方法700は、方法700の処理がAVシステム100の1つまたは複数の構成要素によって実行され得るように、ハードウェアコンポーネント(例えば、プロセッサ)による実行のためのコンピュータ可読命令で具現化され得る。従って、方法700は、一例として、方法700を参照して以下に説明される。しかしながら、方法700は、他の様々なハードウェア構成に展開することができ、かつAVシステム100上の展開に対して限定されることを意図していないことを理解されたい。
処理705において、反射率推定システム120は、反射率推定モデルを用いて入力データ点から物体の反射率値を推定する。入力データ点は、車両の動作中にライダーユニット118によって出力される。反射率推定システム120は、本明細書に記載の技術に従って反射率値を推定し得る。
処理710において、ローカライザシステム106は、反射率推定システム120によって推定された物体の推定反射率値を含む反射率マップを生成する。特に、反射率マップ内では、推定反射率値は、推定反射率値が対応する物体の地理的位置に関連付けられている。反射率マップを生成する際に、ローカライザシステム106は、推定反射率値が対応する物体の位置における反射率値の表示を含むように地図データ122を拡張し得る。反射率マップは、車両コンピューティングシステムによって生成された推定反射率値も含み得る。
処理715において、ローカライザシステム106は反射率マップに基づいて自己位置推定を実行する。即ち、ローカライザシステム106は、反射率マップを使用して、車両の位置および向きを記述するAVシステム100に対する車両の姿勢を生成し得る。
図8は、いくつかの実施形態による、ライダーユニット118に関する反射率推定モデルを生成する際に使用するためのデータセットを収集するためのプロセスの一部として複数のターゲットが配置される例示的な環境800を示す概略図である。図示されるように、複数のターゲットが、ライダーユニット118から様々な距離で環境800内に配置されている。例えば、ターゲット802は、ライダーユニット118から7メートルに配置され、ターゲット804は、ライダーユニット118から14メートルに配置され、ターゲット806は、ライダーユニット118から26メートルに配置される。各ターゲットは、既知の反射率(例えば、物体に当たり物体から反射される光の割合の量)を有する。上述したように、ライダーユニット118に関する反射率推定モデルを生成するために使用されるデータセットを収集する際に、各ターゲットに対応するデータ点が収集される。即ち、ライダーユニット118は、各ターゲットに向けられた光信号を放射し、放射された光信号の各ターゲットからの反射に対応する戻り信号を受信し、距離値および未処理の強度値を含む各戻り信号に対応する点データを出力する。各ターゲットに関して収集したデータ点は、各電力レベルでチャネル200−0〜200−N(図2)の各々によって出力されたデータ点を含む。
図9A〜図9Dは、いくつかの実施形態による、ライダーユニット118から受信した入力データ点に基づいて反射率値を推定するための例示的なプロセスを示す概念図である。図9Aを参照すると、反射率推定モデル900の視覚的表現が示されている。反射率推定モデル900は、マッピング902−1〜902−440を含む。上述したように、ライダー較正システム126は、上述の方法で収集した一組のデータに基づいてオフライン前処理段階で反射率推定モデル900を生成し得る。図9Aに示すように、マッピング902−1〜902−440は、距離および未処理の強度によって定義される座標系内の複数のプロットとして視覚化されている。
マッピング902−1〜902−440の各々内で、各データ点に関連する距離値および未処理の強度値に基づいてデータ点が座標系にマッピングされる。即ち、各データ点は距離値および未処理の強度値を含み、マッピング内のデータ点は、データ点に関連する未処理の強度値および距離値を使用して一組の座標に関連付けられる。各データ点は、収集したデータセットに含まれる。さらに、各データ点は、データ点が対応するターゲット(例えば、図8のターゲット802、804、または806)の既知の反射率値(例えば、物体に当たり物体から反射される光の割合の量)に関連付けられている。
マッピング902−0〜902−440の各々は、特定の電力レベルおよびチャネルの組み合わせに関連付けられている。図9A〜図9Dにおいて、マッピングに関連するチャネルを示すために「L」が使用され、チャネルの電力レベルを示すために「P」が使用される。例えば、マッピング902−0は、電力レベル0でチャネル0に関連付けられており、従って、マッピング902−0は、「L0P0」とラベル付けされている。別の事例として、マッピング902−440は、電力レベル7でチャネル63に関連付けられており、従って、マッピング902−440は「L63P7」とラベル付けされている。
マッピング902−0は、データ点903〜908を含む。データ点903〜908の各々は、電力レベル0でライダーユニット118のチャネル0によって出力された。図示されるように、データ点903〜908の各々は、データ点が対応するターゲットの既知の反射率に関連付けられている。例えば、データ点903は50%の反射率値を含み、データ点904は12%の反射率値を含み、データ点905は6.5%の反射率値を含み、データ点906は36%の反射率値を含み、データ点907は64%の反射率値を含み、データ点908は82%の反射率値を含む。
図9Bを参照すると、車両動作中に、ライダーユニット118の電力レベル0でチャネル0によって出力された入力データ点910を受信すると、反射率推定システム120は、マッピング902−0にアクセスして、マッピング902−0内の座標系に入力データ点をマッピングする。以前に収集されたデータ点と同様に、入力データ点は未処理の強度値および距離値を含む。反射率推定システム120は、入力データ点の未処理の強度値および距離値を使用して、入力データ点をマッピング902−1の座標系内の1組の座標に関連付ける。図示されるように、入力データ点910に関連する反射率値は、当初は未知である。
図9Cを参照すると、反射率推定システム120は、マッピング902−0内の入力データ点910の2個の最近傍を識別し、2個の最近傍は、この事例では、データ点903および907と対応する。最近傍を識別する際に、反射率推定システム120は、最近傍を識別するためのいくつかの既知の技法またはアルゴリズムのうちの1つ(例えば、K近傍法アルゴリズム)を使用することができる。さらに、図9Cの状況では、2個の最近傍のみが識別されているが、1個を超える任意の数の最近傍を利用することができることを理解されたい。
図9Dを参照すると、反射率推定システム120は、最近傍(データ点903および907)から入力データ点910に関連する反射率値を補間する。反射率推定システム120は、データ点903および907から反射率値を補間するために、いくつかの既知の補間技術またはアルゴリズムのうちの1つを使用し得る。この事例では、反射率推定システム120は、57%の反射率値が入力データ点910に関連付けられていることを決定する。この決定に基づいて、反射率推定システム120は、入力データ点910に対応する物体は57%の反射率値を有すると推定する。
図10は、例示的な実施形態による、本明細書で説明された方法のうちの任意の1つまたは複数を機械1000に実行させるための一組の命令が実行され得るコンピュータシステムの形態の機械1000の図表示を示す。具体的には、図10は、コンピュータシステムの例示的な形態の機械1000の図表示を示しており、機械1000内で、機械1000に本明細書で説明された方法のうちの任意の1つまたは複数を実行するための命令1016(例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、または他の実行可能コード)が実行される。例えば、命令1016は、機械1000に方法300および700を実行させ得る。このようにして、命令1016は、一般的なプログラムされていない機械を、記載され図示された機能を本明細書に記載された方法で実行するように構成されたライダー較正システム126または車両コンピューティングシステム102などの特定の機械1000に変換する。代替の実施形態では、機械1000は、独立型装置として動作するか、または他の機械に結合(例えばネットワーク化)され得る。ネットワーク配備では、機器1000は、サーバ−クライアントネットワーク環境ではサーバ機器またはクライアント機器として、またはピアツーピア(または分散)ネットワーク環境ではピア機器として動作し得る。機械1000は、機械1000によって行われるべき動作を指定する命令1016を順次または他の方法で実行することができるサーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ(PC)、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、スマートフォン、モバイルデバイス、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、または任意の機械を含むが、これらに限定されない。さらに、単一の機械1000のみが図示されているが、「機械」という用語は、本明細書で説明する方法のうちの任意の1つまたは複数を実行するために個別にまたは共同で命令1016を実行する機械1000の集合も含むものとみなされる。
機械1000は、バス1002を介するなどして互いに通信するように構成され得るプロセッサ1010、メモリ1030、および入出力(I/O)コンポーネント1050を含み得る。例示的な実施形態では、プロセッサ1010(例えば、中央処理装置(CPU)、縮小命令セットコンピューティング(RISC)プロセッサ、複合命令セットコンピューティング(CISC)プロセッサ、グラフィック処理装置(GPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、高周波集積回路(RFIC)、別のプロセッサ、またはそれらの任意の適切な組み合わせ)は、例えば、プロセッサ1012および命令1016を実行し得るプロセッサ1014を含み得る。用語「プロセッサ」は、同時に命令を実行し得る2つ以上の独立したプロセッサ(「コア」と参照されることもある)を備え得るマルチコアプロセッサ1010を含むことを意図している。図10はマルチプロセッサ1010を示しているが、機械1000は、シングルコアを有するシングルプロセッサ、マルチコアを有するシングルプロセッサ(例えば、マルチコアプロセッサ)、シングルコアを有するマルチプロセッサ、マルチコアを有するマルチプロセッサ、またはそれらの任意の組み合わせを含み得る。
メモリ1030は、メインメモリ1032、スタティックメモリ1034、および機械記憶媒体1037を含むストレージユニット1036を含み得、各々は、バス1002を介するなどしてプロセッサ1010にアクセス可能である。メインメモリ1032、スタティックメモリ1034、およびストレージユニット1036は、本明細書に記載された方法または機能のうちの任意の1つまたは複数を具体化する命令1016を格納する。命令1016はまた、機械1000による命令1016の実行中に、メインメモリ1032内、スタティックメモリ1034内、ストレージユニット1036内、少なくとも1つのプロセッサ1010内(例えば、プロセッサのキャッシュメモリ内)、またはそれらの任意の適切な組み合わせ内に完全にまたは部分的に存在し得る。
I/Oコンポーネント1050は、入力を受信し、出力を提供し、出力を生成し、情報を送信し、情報を交換し、測定値を捕捉するなどのためのコンポーネントを含み得る。特定の機械1000に含まれる特定のI/Oコンポーネント1050は、機械の種類に依存する。例えば、携帯電話などの携帯機器は、タッチ入力デバイスまたは他のそのような入力機構を含む可能性があり、ヘッドレスサーバ機器は、そのようなタッチ入力デバイスを含まない可能性がある。I/Oコンポーネント1050が、図10には示されていない他の多くのコンポーネントを含み得ることは理解されよう。I/Oコンポーネント1050は、単に以下の説明を簡略化するために機能に従ってグループ化されており、このグループ化は決して限定的なものではない。様々な例示的な実施形態では、I/Oコンポーネント1050は、出力コンポーネント1052および入力コンポーネント1054を含み得る。出力コンポーネント1052は、視覚コンポーネント(例えば、プラズマディスプレイパネル(PDP)、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクタ、または陰極線管(CRT)などのディスプレイ)、音響部品(例えば、スピーカー)、その他の信号発生器、およびその他を含み得る。入力コンポーネント1054は、英数字入力コンポーネント(例えば、キーボード、英数字入力を受信するように構成されたタッチスクリーン、フォトオプティカルキーボード、または他の英数字入力コンポーネント)、ポイントベースの入力コンポーネント(例えば、マウス、タッチパッド、トラックボール、ジョイスティック、動きセンサ、または他のポインティング機器)、触覚入力コンポーネント(例えば、物理的ボタン、タッチまたはタッチジェスチャの位置および/または力を提供するタッチスクリーン、または他の触覚入力コンポーネント)、音声入力コンポーネント(例えば、マイクロフォン)、およびその他を含み得る。
通信は、多種多様な技術を使用して実施し得る。I/Oコンポーネント1050は、カップリング1082およびカップリング1072を介して機械1000をネットワーク1080またはデバイス1070に各々接続するように動作可能な通信コンポーネント1064を含み得る。例えば、通信コンポーネント1064は、ネットワーク1080とインターフェースするためのネットワークインターフェースコンポーネントまたは別の適切なデバイスを含み得る。さらなる事例では、通信コンポーネント1064は、有線通信コンポーネント、無線通信コンポーネント、セルラー通信コンポーネント、および他のモダリティ(例えば、ブルートゥース(登録商標)、WiFi(登録商標)、およびNFC)を介して通信を提供するための他の通信コンポーネントを含み得る。デバイス1070は、他の機械であり得るか、または多種多様な周辺デバイス(例えば、ユニバーサルシリアルバス(USB)を介して接続された周辺デバイス)のうちの任意のものであり得る。
実行可能命令および機械記憶媒体
様々なメモリ(例えば、1030、1032、1034、および/またはプロセッサ1010(単数または複数)のメモリ)および/またはストレージユニット1036は、本明細書に記載の方法または機能のうちの任意の1つまたは複数によって具体化されるか、または利用される1組または複数の組の命令1016およびデータ構造(例えば、ソフトウェア)を格納し得る。これらの命令は、プロセッサ1010(単数または複数)による実行時に、開示された実施形態を実施するための様々な処理を行わせる。
本明細書で使用される場合、用語「機械記憶媒体」、「デバイス記憶媒体」、および「コンピュータ記憶媒体」は同じものを意味し、交換可能に使用され得る。この用語は、実行可能命令および/またはデータを格納する単一または複数のストレージデバイスおよび/または媒体(例えば、集中型または分散型データベース、および/または関連のキャッシュおよびサーバ)を指し示す。従って、これらの用語は、ソリッドステートメモリ、およびプロセッサの内部または外部のメモリを含む光磁気媒体を含むが、これらに限定されないものとみなされる。機械記憶媒体、コンピュータ記憶媒体、および/またはデバイス記憶媒体の具体例は、事例として、半導体メモリデバイス(例えば、消去可能プログラマブルリードオンリーメモリ(EPROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、フィールドプログラマブルゲートアレイ(FPGA)、およびフラッシュメモリデバイス)を含む不揮発性メモリ、内蔵ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびCD−ROMおよびDVD−ROMディスクを含む。「機械記憶媒体」、「コンピュータ記憶媒体」、および「デバイス記憶媒体」という用語は、搬送波、変調データ信号、および他のそのような媒体を特に除外し、それらの少なくともいくつかは、以下に説明する「伝送媒体」という用語の下に含まれる。
伝送媒体
様々な例示的な実施形態では、ネットワーク1080の1つまたは複数の一部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク(VPN)、ローカルエリアネットワーク(LAN)、無線LAN(WLAN)、ワイドエリアネットワーク(WAN)、ワイヤレスWAN(WWAN)、メトロポリタンエリアネットワーク(MAN)、インターネット、インターネットの一部、公衆交換電話網(PSTN)の一部、普通の電話サービス(POTS)ネットワーク、セルラー電話ネットワーク、無線ネットワーク、WiFi(登録商標)ネットワーク、他の種類のネットワーク、または2つ以上のそのようなネットワークの組み合わせであり得る。例えば、ネットワーク1080またはネットワーク1080の一部は、無線ネットワークまたはセルラーネットワークを含み得、カップリング1082は、符号分割多重アクセス(CDMA)接続、移動体通信用グローバルシステム(GSM(登録商標))接続、または別の種類のセルラーまたはワイヤレスカップリングであり得る。この事例では、カップリング1082は、シングルキャリア無線伝送技術(1xRTT)、エボルーションデータオプティマイズド(EVDO)技術、汎用パケット無線サービス(GPRS)技術、GSMエボルーション用高速データレート(EDGE)技術、3Gを含む第3世代パートナーシッププロジェクト(3GPP)、第4世代ワイヤレス(4G)ネットワーク、ユニバーサルモバイルテレコミュニケーションシステム(UMTS)、高速パケットアクセス(HSPA)、マイクロ波アクセス用ワールドワイドインターオペラビリティ(WiMAX)、ロングタームエボリューション(LTE)規格、いくつかの標準化団体によって定義された他の規格、他の長距離プロトコル、または他のデータ転送技術などの様々な種類のデータ転送技術のいずれかを実施し得る。
命令1016は、伝送媒体を使用してネットワークインターフェースデバイス(例えば、通信コンポーネント1064に含まれるネットワークインターフェースコンポーネント)介して、かつ任意の1つの周知の転送プロトコル(例えば、ハイパーテキスト転送プロトコル(HTTP))を使用してネットワーク1080を介して送信または受信され得る。同様に、命令1016は、伝送媒体を使用してデバイス1070に対するカップリング1072(例えば、ピアツーピアカップリング)を介して送信または受信され得る。「伝送媒体」および「信号媒体」という用語は、同じものを意味し、かつ本開示では交換可能に使用され得る。「伝送媒体」および「信号媒体」という用語は、機械1000による実行のために命令1016を格納、符号化、または搬送することができる任意の無形媒体を含み、かつ、そのようなソフトウェアの通信を可能にするためのデジタル通信信号またはアナログ通信信号または他の無形媒体を含むものとみなされる。従って、「伝送媒体」および「信号媒体」という用語は、任意の形態の変調データ信号、搬送波、およびその他を含むものとみなされる。「変調データ信号」という用語は、信号内に情報を符号化するような方法で設定または変更された1つまたは複数の特性を有する信号を意味する。
コンピュータ可読媒体
「機械可読媒体」、「コンピュータ可読媒体」、および「デバイス可読媒体」という用語は同じものを意味し、本開示では交換可能に使用され得る。これらの用語は、機械記憶媒体と伝送媒体の両方を含むものと定義される。したがって、この用語は、ストレージデバイス/媒体と搬送波/変調データ信号の両方を含む。
本明細書で記載される例示的な方法の様々な処理は、関連する処理を実行するように一時的に構成され(例えば、ソフトウェアによって)、または恒久的に構成される1つまたは複数のプロセッサによって少なくとも部分的に実行され得る。同様に、本明細書に記載の方法は、プロセッサで少なくとも部分的に実施され得る。例えば、方法の処理のうちの少なくともいくつかは、1つまたは複数のプロセッサによって実行され得る。特定の処理の動作は、単一の機械内に存在するだけでなく、多数の機械にわたって配備されている1つまたは複数のプロセッサ間で分散され得る。いくつかの例示的な実施形態では、1つのプロセッサまたは複数のプロセッサは単一の場所(例えば、家庭環境、オフィス環境、またはサーバファーム内)に配置され得、他の実施形態では、プロセッサは、いくつかの場所に亘って分散され得る。
本開示の実施形態は特定の例示的な実施形態を参照して記載したが、本発明の主題のより広い範囲から逸脱することなく、これらの実施形態に対して様々な修正および変更を加え得ることは明らかであろう。従って、本明細書および図面は、限定的な意味ではなく例示的な意味で考慮されるべきである。本明細書の一部を形成する添付の図面は、限定ではなく例示として、主題が実施され得る特定の実施形態を示す。本明細書の示された実施形態は、当業者が本明細書に開示された教示を実施することを可能にするために十分に詳細に記載されている。本開示の範囲から逸脱することなく、構造的および論理的な置換および変更を行うことができるように、他の実施形態が使用され、かつそこから導出されることが可能である。従って、詳細な説明は限定的な意味で解釈されるべきではなく、様々な実施形態の範囲は添付の特許請求の範囲とそのような特許請求の範囲が権利を与える等価物の全範囲によってのみ定義される。
本発明の主題のそのような実施形態は、単に便宜上、個々におよび/または集合的に「発明」という用語によって本明細書において言及され得るが、これは、本出願の範囲を、任意の単一の発明または発明概念(もし実際に複数が開示されているならば)に自発的に限定することを意図するものではない。従って、本明細書では特定の実施形態を例示し説明したが、同じ目的を達成するために算定された任意の構成を、示された特定の実施形態の代替となり得ることを理解されたい。本開示は、様々な実施形態の任意および全ての適応または変形を網羅することを意図している。上記の実施形態と、本明細書に具体的に記載されていない他の実施形態との組み合わせは、上記の説明を検討すれば、当業者には明らかであろう。
本明細書では、特許明細書で一般的であるように、用語「a」または「an」は、「少なくとも1つ」または「1つまたは複数」の他の事例または使用法とは無関係に、1つまたは複数を含むように使用される。本明細書では、「または」という用語は、排他的な「または」を参照するために使用され、「AまたはB」は、特に明記しない限り、「AではあるがBではなく」、「BではあるがAではなく」、および「AおよびB」を含む。添付の特許請求の範囲において、用語「含む(including)」および「そこで(in which)」は、個々の用語「備える(comprising)」および「ここで(wherein)」の平易な英語の等価物として使用される。また、添付の特許請求の範囲において、用語「含む(including)」および「備える(comprising)」は、オープンエンドである。即ち、請求項においてそのような用語の後に列挙されているものの他に要素を含むシステム、装置、物品、またはプロセスは、依然として特許請求の範囲内にあると見なされる。

Claims (20)

  1. 自律型車両(AV)システムであって、
    機械の1つまたは複数のプロセッサと、
    命令を格納する機械記憶媒体であって、前記命令は、前記1つまたは複数のプロセッサによる実行時に、前記機械に、
    AVシステムの動作中に、光検出および測距(ライダー)ユニットによって出力された入力データ点にアクセスすること、
    反射率推定モデルを使用して、入力データ点に基づいて物体の反射率値を推定すること、前記反射率推定モデルは、以前に収集されたデータ点の距離値および未処理の強度値を座標として使用する一組の以前に収集されたデータ点の座標系へのマッピングを含み、前記反射率値は、前記座標系にマッピングされた前記一組の以前に収集されたデータ点のうちの少なくとも2個の以前に収集されたデータ点から補間され、前記2個の以前に収集されたデータ点の各々は、複数の既知の反射率値の1つに対応しており、
    推定反射率値に基づいて物体の1つまたは複数の特性を決定することを含む処理を実行させる、前記機械記憶媒体とを備えるAVシステム。
  2. 物体の前記反射率値を推定することは、
    前記入力データ点を前記座標系にマッピングすること、
    前記座標系にマッピングされた前記入力データ点の2個以上の最近傍を識別すること、前記2個以上の最近傍は、少なくとも2個の以前に収集されたデータ点を含み、
    前記2個以上の最近傍からの前記反射率値を補間することを含む、請求項1に記載のAVシステム。
  3. 前記反射率推定モデルは、前記座標系にマッピングされた前記一組の以前に収集されたデータ点から補間された複数の反射率値を含むルックアップテーブルを含み、各反射率値は、距離値および未処理の強度値の特定の組み合わせに対応しており、
    物体の前記反射率値の推定は、
    前記ルックアップテーブルにアクセスすること、
    前記入力データ点の未処理の強度値および距離値に基づいて前記ルックアップテーブルから前記反射率値を決定することを含む、請求項1に記載のAVシステム。
  4. ライダーユニットは複数のチャネルを含み、各チャネルは複数の電力レベルで動作することが可能であり、
    前記反射率推定モデルは、以前に収集されたデータ点の前記座標系への複数のマッピングを含み、前記複数のマッピングの各々は、前記ライダーユニットの特定のチャネルの特定の電力レベルに対応しており、
    物体の前記反射率値の推定は、前記入力データ点を出力する前記ライダーユニットのチャネルおよび該チャネルの電力レベルに基づいて、複数のマッピングから前記一組の以前に収集されたデータ点のマッピングを選択することを含む、請求項1に記載のAVシステム。
  5. 前記処理は、物体を記述する状態データを生成することをさらに含み、前記状態データは、少なくとも前記推定反射率値を含む、請求項1に記載のAVシステム。
  6. 前記処理は、
    物体の推定反射率値の表示を含む反射率マップを生成すること、
    前記反射率マップに基づいて自己位置推定を実行することをさらに含む、請求項1に記載のAVシステム。
  7. 前記処理は、
    ライダーユニットによって出力された複数のデータ点を含むデータセットを収集すること、前記複数のデータ点の各々は、複数のターゲットのうちの1つに対応し、各ターゲットは、複数の既知の反射率値のうちの1つを有し、前記データセットは、前記一組の以前に収集されたデータ点に対応しており、
    前記データセットに基づいて前記ライダーユニットに関する反射率推定モデルを生成することを含み、前記反射率推定モデルの生成は、前記一組の以前に収集されたデータ点を前記座標系にマッピングすることを含む、請求項1に記載のAVシステム。
  8. 光検出および測距(ライダー)較正システムであって、
    機械の1つまたは複数のプロセッサと、
    命令を格納する機械記憶媒体であって、前記命令は、前記1つまたは複数のプロセッサによる実行時に、前記機械に、
    ライダーユニットによって出力された複数のデータ点を含むデータセットを収集すること、前記複数のデータ点の各々は、複数のターゲットのうちの1つに対応し、各ターゲットは、既知の反射率値を有しており、
    前記データセットに基づいて前記ライダーユニットに関する反射率推定モデルを生成することを含む処理を実行させる、前記機械記憶媒体とを備え、前記反射率推定モデルの生成は、各データ点の距離値および未処理の強度値を座標として用いて前記複数のデータ点を座標系にマッピングすることを含み、前記反射率推定モデルは、前記ライダーユニットによって出力された入力データ点から反射率値を推定するように機能する、ライダー較正システム。
  9. 前記反射率推定モデルの生成は、前記座標系にマッピングされた複数のデータ点から補間された複数の反射率値を含むルックアップテーブルを生成することをさらに含み、
    各反射率値は、距離値および未処理の強度値の特定の組み合わせに対応している、請求項8に記載のライダー較正システム。
  10. 前記処理が
    前記ルックアップテーブルを圧縮して、圧縮されたルックアップテーブルを生成すること、
    前記圧縮されたルックアップテーブルを車両コンピューティングシステムのメモリデバイスに格納することをさらに含む、請求項9に記載のライダー較正システム。
  11. 前記データセットの収集は、前記ライダーユニットの各チャネルによって出力された複数のデータ点を収集することを含み、
    前記反射率推定モデルの生成は、各チャネルに関して、複数のデータ点の前記座標系へのマッピングを生成することを含む、請求項9に記載のライダー較正システム。
  12. 前記ライダーユニットの各チャネルは、複数の電力レベルで動作することが可能であり、
    前記ライダーユニットの各チャネルによって出力された複数のデータ点を収集することは、各電力レベルで各チャネルによって出力された複数のデータ点を収集することを含み、
    前記反射率推定モデルの生成は、複数のデータ点の前記座標系への複数のマッピングを生成することを含み、各マッピングは、特定のチャネルの特定の電力レベルに対応する、請求項11に記載のライダー較正システム。
  13. 方法であって、
    自律型車両の光検出および測距(ライダー)ユニットによって出力された複数のデータ点を含むデータセットを収集するステップと、複数のデータ点の各々は、複数のターゲットのうちの1つに対応し、各ターゲットは、既知の反射率値を有しており、
    前記データセットに基づいてライダーユニットに関する反射率推定モデルを生成するステップと、前記反射率推定モデルの生成は、各データ点の距離値および未処理の強度値を座標として使用して前記複数のデータ点を座標系にマッピングすることを含み、
    前記自律型車両の車両コンピューティングシステムによって、前記自律型車両の動作中に、前記ライダーユニットによって出力された入力データ点にアクセスするステップと、
    前記反射率推定モデルを使用して、前記入力データ点に基づいて物体の反射率値を推定するステップと、前記反射率値は、前記座標系にマッピングされた少なくとも2個のデータ点から補間され、
    前記車両コンピューティングシステムによって、推定反射率値に基づいて、前記自律型車両の運行計画を決定するステップとを含み、前記自律型車両の運行計画は、前記自律型車両の運行を制御するために使用される、方法。
  14. 物体の前記反射率値を推定することは、
    前記入力データ点を前記座標系にマッピングすること、
    前記座標系にマッピングされた前記入力データ点の2個以上の最近傍を識別すること、前記2個以上の最近傍は、少なくとも2個のデータ点を含んでおり、
    前記2個以上の最近傍からの前記反射率値を補間することを含む、請求項13に記載の方法。
  15. 前記反射率推定モデルの生成は、
    前記座標系にマッピングされた複数のデータ点から補間された複数の反射率値を含むルックアップテーブルを生成すること、各反射率値は、距離値および未処理の強度値の特定の組み合わせに対応しており、
    物体の前記反射率値の推定は、
    前記車両コンピューティングシステムによって、前記車両コンピューティングシステムのメモリデバイスから前記ルックアップテーブルにアクセスすること、
    前記車両コンピューティングシステムによって、前記入力データ点の距離値および未処理の強度値に基づいて前記ルックアップテーブルから前記反射率値を決定することを含む、請求項13に記載の方法。
  16. 前記データセットの収集は、前記ライダーユニットの各チャネルによって出力された複数のデータ点を収集することを含み、
    前記反射率推定モデルの生成は、各チャネルに関して、複数のデータ点の前記座標系へのマッピングを生成することを含む、請求項13に記載の方法。
  17. 前記ライダーユニットの各チャネルは、複数の電力レベルで動作することが可能であり、
    前記ライダーユニットの各チャネルによって出力された複数のデータ点を収集することは、各電力レベルで各チャネルによって出力された複数のデータ点を収集することを含み、
    前記反射率推定モデルの生成は、複数のデータ点の前記座標系への複数のマッピングを生成することを含み、各マッピングは、特定のチャネルの特定の電力レベルに対応する、請求項16に記載の方法。
  18. 物体の前記反射率値の推定は、前記入力データ点を出力する前記ライダーユニットのチャネルおよび該チャネルの電力レベルに基づいて、前記複数のマッピングから1つのマッピングを選択することを含む、請求項17記載の方法。
  19. 前記データセットを収集することは、
    複数のターゲットを配置すること、各ターゲットは既知の反射率を有しており、
    各ターゲットに対応する少なくとも1つのデータ点を収集することを含む、請求項13に記載の方法。
  20. 前記処理は、
    前記ライダーユニットをジンバルに取り付けること、
    前記ジンバルを使用して前記ライダーユニットを複数の角度に配置することをさらに含み、
    各ターゲットに対応する少なくとも1つのデータ点を収集することは、複数の角度の各角度で各ターゲットに対応する少なくとも1つのデータ点を収集することを含む、請求項19に記載の方法。
JP2019135337A 2018-07-31 2019-07-23 ライダー強度に基づく物体検出 Active JP6676814B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862712479P 2018-07-31 2018-07-31
US62/712,479 2018-07-31
US16/166,950 2018-10-22
US16/166,950 US10598791B2 (en) 2018-07-31 2018-10-22 Object detection based on Lidar intensity

Publications (2)

Publication Number Publication Date
JP2020020793A true JP2020020793A (ja) 2020-02-06
JP6676814B2 JP6676814B2 (ja) 2020-04-08

Family

ID=67514419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019135337A Active JP6676814B2 (ja) 2018-07-31 2019-07-23 ライダー強度に基づく物体検出

Country Status (7)

Country Link
US (1) US10598791B2 (ja)
EP (1) EP3605137A1 (ja)
JP (1) JP6676814B2 (ja)
CN (1) CN110888146B (ja)
AU (1) AU2019210587B2 (ja)
CA (1) CA3050586A1 (ja)
SG (1) SG10201907051SA (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
WO2021195831A1 (zh) * 2020-03-30 2021-10-07 深圳市大疆创新科技有限公司 反射率的实时测量方法、装置、可移动平台和计算机可读存储介质
US20210325520A1 (en) * 2020-04-17 2021-10-21 Velodyne Lidar, Inc. Systems and Methods for Calibrating a LIDAR Device
CN112558047A (zh) * 2020-12-22 2021-03-26 中国第一汽车股份有限公司 一种反射率标定系统、数据处理方法、设备和存储介质
CN112666566A (zh) * 2021-01-14 2021-04-16 深圳市杉川机器人有限公司 激光雷达测距方法、装置、电子设备及存储介质
CN113189980B (zh) * 2021-04-07 2024-04-16 惠州拓邦电气技术有限公司 充电桩反光强度过滤方法、装置及充电机器人
KR102616439B1 (ko) * 2022-10-27 2023-12-21 주식회사 모빌테크 이웃점을 통한 노이즈 필터링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN116660873B (zh) * 2023-08-01 2023-11-03 佛山市兴颂机器人科技有限公司 一种激光传感器的精度补偿方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011099742A (ja) * 2009-11-05 2011-05-19 Mitsubishi Heavy Ind Ltd 対象物検出装置および対象物検出方法
JP2015125621A (ja) * 2013-12-26 2015-07-06 キヤノン株式会社 情報処理装置および情報処理方法
JP2015212942A (ja) * 2014-04-25 2015-11-26 グーグル インコーポレイテッド レーザー点クラウドを用いる物体検出のための方法及びシステム
WO2017122529A1 (en) * 2016-01-12 2017-07-20 Mitsubishi Electric Corporation System and method for fusing outputs of sensors having different resolutions
JP2018517889A (ja) * 2015-03-25 2018-07-05 ウェイモ エルエルシー 複数の光検出及び測距装置(lidar)付きの車両
US20180196127A1 (en) * 2017-01-11 2018-07-12 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a lidar using information from a secondary vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US7944548B2 (en) * 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
EP2291677B1 (en) * 2008-04-18 2014-01-01 BAE Systems PLC Improvements in lidars
US20130253753A1 (en) * 2012-03-23 2013-09-26 Google Inc. Detecting lane markings
US9046600B2 (en) * 2012-12-05 2015-06-02 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for intensity calibration of multi-beam lidar sensors
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US9080866B1 (en) * 2013-06-26 2015-07-14 Google Inc. Methods and systems for detection of reflective markers at long range
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011099742A (ja) * 2009-11-05 2011-05-19 Mitsubishi Heavy Ind Ltd 対象物検出装置および対象物検出方法
JP2015125621A (ja) * 2013-12-26 2015-07-06 キヤノン株式会社 情報処理装置および情報処理方法
JP2015212942A (ja) * 2014-04-25 2015-11-26 グーグル インコーポレイテッド レーザー点クラウドを用いる物体検出のための方法及びシステム
JP2018517889A (ja) * 2015-03-25 2018-07-05 ウェイモ エルエルシー 複数の光検出及び測距装置(lidar)付きの車両
WO2017122529A1 (en) * 2016-01-12 2017-07-20 Mitsubishi Electric Corporation System and method for fusing outputs of sensors having different resolutions
US20180196127A1 (en) * 2017-01-11 2018-07-12 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a lidar using information from a secondary vehicle

Also Published As

Publication number Publication date
AU2019210587A1 (en) 2020-02-20
JP6676814B2 (ja) 2020-04-08
CA3050586A1 (en) 2019-10-02
US10598791B2 (en) 2020-03-24
US20200041652A1 (en) 2020-02-06
AU2019210587B2 (en) 2020-04-23
CN110888146A (zh) 2020-03-17
SG10201907051SA (en) 2020-02-27
CN110888146B (zh) 2022-05-31
EP3605137A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
JP6676814B2 (ja) ライダー強度に基づく物体検出
US11960028B2 (en) Determining specular reflectivity characteristics using LiDAR
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
US11726191B2 (en) Lidar intensity calibration
US11543535B2 (en) Lidar fault detection system
JP2019500693A (ja) 自律視覚ナビゲーション
US20230213631A1 (en) LIDAR System Design to Mitigate LIDAR Cross-Talk
JP2017015585A (ja) 航法信号処理装置、航法信号処理方法および航法信号処理用プログラム
US11256013B2 (en) Dynamic matrix filter for vehicle image sensor
JP7032062B2 (ja) 点群データ処理装置、移動ロボット、移動ロボットシステム、および点群データ処理方法
US11807271B2 (en) Method, system, and computer program product for resolving level ambiguity for radar systems of autonomous vehicles
US20220404500A1 (en) Online lidar intensity normalization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190730

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190730

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200312

R150 Certificate of patent or registration of utility model

Ref document number: 6676814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350