JP2022522832A - リアルタイムlidar距離校正のためのシステムおよび方法 - Google Patents

リアルタイムlidar距離校正のためのシステムおよび方法 Download PDF

Info

Publication number
JP2022522832A
JP2022522832A JP2021552131A JP2021552131A JP2022522832A JP 2022522832 A JP2022522832 A JP 2022522832A JP 2021552131 A JP2021552131 A JP 2021552131A JP 2021552131 A JP2021552131 A JP 2021552131A JP 2022522832 A JP2022522832 A JP 2022522832A
Authority
JP
Japan
Prior art keywords
optical
time
lidar device
pulse
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021552131A
Other languages
English (en)
Inventor
オスボルン,スティーブン
ガッサン,ブレイズ
ドロズ,ピエール-イヴ
ワハター,ルーク
ヨルダケ,ヨヌツ
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2022522832A publication Critical patent/JP2022522832A/ja
Priority to JP2024010763A priority Critical patent/JP2024056743A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4818Constructional features, e.g. arrangements of optical elements using optical fibres
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本開示は、光検出および測距(LIDAR)デバイスおよびそれらの使用に関連する方法に関する。例示的なLIDARデバイスは、送信光路を介してLIDARデバイスの環境に1つ以上の光パルスを送信するように構成された送信機を含む。LIDARデバイスはまた、1つ以上の送信された光パルスの第1の部分および1つ以上の送信された光パルスの第2の部分を検出するように構成された検出器を含み、検出器は、LIDARデバイス内の内部光路を介して1つ以上の送信された光パルスの第1の部分を第1の時間に受信し、LIDARデバイスの環境内の1つ以上の物体による反射を介して1つ以上の送信された光パルスの第2の部分を第2の時間に受信するようになっている。第2の時間は、第1の時間の後に生じる。【選択図】図6

Description

関連出願の相互参照
本出願は、2019年3月5日に出願された「Systems and Methods for Real-Time LIDAR Range Calibration」と題する米国特許出願第62/813,860号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
従来の光検出および測距(LIDAR)システムは、発光送信機(例えば、レーザダイオード)を利用して、環境に光パルスを放射することができる。環境内の物体と相互作用する(例えば、物体から反射する)放射された光パルスは、LIDARシステムの受信機(例えば、光検出器)によって受信することができる。環境内の物体に関する距離情報は、光パルスが放射された最初の時間と反射された光パルスが受信された後続の時間との間の時間差に基づいて決定することができる。
本開示は、概して、光学システム(例えば、LIDARシステム)ならびにそれらの送信機および受信機サブシステムの特定の態様に関する。
第1の態様では、光検出および測距(LIDAR)デバイスが提供される。本LIDARデバイスは、送信光路を介してLIDARデバイスの環境に光パルスを送信するように構成された送信機を含む。本LIDARデバイスはまた、送信された光パルスの第1の部分および送信された光パルスの第2の部分を検出するように構成された検出器を含み、検出器は、LIDARデバイス内の内部光路を介して第1の時間に送信された光パルスの第1の部分を受信し、LIDARデバイスの環境内の物体による反射を介して第2の時間に送信された光パルスの第2の部分を受信するようになっている。第2の時間は、第1の時間の後に生じる。本LIDARデバイスはまた、第2の時間と第1の時間との差に基づいて物体までの距離を決定するように構成された制御装置を含む。
第2の態様では、方法が提供される。本方法は、LIDARデバイスの送信機に、送信光路を介してLIDARデバイスの環境に第1の光パルスを送信させることを含む。本方法はまた、LIDARデバイスの検出器によって、LIDARデバイス内の内部光路を介して第1の時間に第1の光パルスの第1の部分を受信し、LIDARデバイスの環境内の物体による反射を介して第2の時間に第1の光パルスの第2の部分を受信することを含む。さらに、本方法は、第2の時間と第1の時間との差に基づいて物体までの距離を決定することも含む。
第3の態様では、方法が提供される。本方法は、LIDARデバイスの送信機に対してミラーを位置決めすることを含む。送信機は、少なくとも1つの光パルスを送信するように構成されている。本方法はまた、ミラーと相互作用するように、送信機に第1の光パルスを送信させることを含む。ミラーを位置決めすることは、第1の光パルスがLIDARデバイス内の内部光路に向けられるように実行される。本方法はまた、LIDARデバイスの検出器によって、内部光路を介して第1の時間に第1の光パルスを受信することを含む。本方法はまた、第1の時間に基づいてゼロポイント時間を決定することを含む。
他の態様、実施形態、および実施態様は、添付図面を適宜参照して、以下の詳細な説明を読み取ることによって、当業者には明らかになるであろう。
例示的な実施形態による、光学システムを示す。 例示的な実施形態による、送受信機を示す。 例示的な実施形態による、送受信機を示す。 例示的な実施形態による、送受信機を示す。 例示的な実施形態による、光学システムの側面図を示す。 例示的な実施形態による、光学システムの側面図を示す。 例示的な実施形態による、光学システムを示す。 例示的な実施形態による、車両を示す。 例示的な実施形態による、車両を示す。 例示的な実施形態による、車両を示す。 例示的な実施形態による、車両を示す。 例示的な実施形態による、車両を示す。 例示的な実施形態による、方法を示す。 例示的な実施形態による、方法を示す。
例示的な方法、デバイス、およびシステムが、本明細書に記載されている。「例」および「例示的」という語は、本明細書においては、「例、事例、または例示としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書において「例」または「例示的」であるとして説明されるいずれの実施形態または特徴も、他の実施形態または特徴よりも好ましい、または有利であると必ずしも解釈されるべきではない。本明細書に提示の主題の範囲から逸脱しない限り、他の実施形態を利用することができ、他の変更を行うことができる。
したがって、本明細書に記載される例示的な実施形態は、限定的であることを意味するものではない。本開示の態様は、本明細書に概して記載され、図に示されているように、多種多様な異なる構成で配列、置き換え、組み合わせ、分離、および設計することができ、それらのすべてが、本明細書で想定される。
さらに、文脈上特段の示唆がある場合を除き、各図において示された特徴は、互いに組み合わせて使用することができる。したがって、図は、概して、1つ以上の実施形態全体のうちの構成要素の態様として見なされ、示された特徴のすべてが、必ずしも各実施形態に必要であるとは限らないことを理解されたい。
I.概要
LIDARシステムは、第1の時間(例えば、光パルスが放射される時間)と第2の時間(例えば、光パルスが環境と相互作用した後に受信される時間)との間の往復時間を測定することによって、環境に関する空間距離情報を取得し得る。ただし、第1の時間(例えば、光パルスがLIDARから放射される時間)に絶対時間基準を確立することは、電子構成要素および/またはデータ処理構成要素の時変遅延(例えば、有限RC応答時間)の制御が困難であるか、または制御不良であり得るため、困難な場合がある。例えば、制御装置がレーザダイオードに発射するように指示する時間と、光パルスが実際にレーザダイオードから放射される時間との間に遅延が生じることがある。したがって、LIDARシステムにおける正確で反復可能な距離の決定を確実にするために、望ましくは、光パルスが放射される「最もよく知られた」第1の時間(例えば、時間ゼロ)を成立させる。
いくつかの実施形態では、内部システム反射などの光フィードバックを有益に利用して、光パルスの実際の発射時間を決定することができる。すなわち、光パルスを発射するときに、光の一部が反射されるか、経路決めされるか、またはその他の方法でLIDAR受信機によって受信され得る。光のこの部分は、レーザダイオードから放射された後、ほぼ瞬時に受信される。したがって、「時間ゼロ」は、受信機からの初期信号に基づいて決定することができる。その後、光パルスの光の残りの部分が環境と相互作用した後、第2の時間は、受信機からの後続の信号によって定義され得、光が環境に向かって移動して、LIDARシステムに戻るのに必要な往復時間を示す。かかるシナリオでは、第1の時間(例えば、時間ゼロ)を第2の時間から減算して、真の(または、少なくともより正確な)往復時間を表す、放射から信号受信までの時間遅延を取得し得る。
いくつかの実施形態では、LIDARシステムは、光パルスからの少量の光(例えば、光パルスの光子の0.001%~5%)を「吸い上げ」て、それらを受信機に向かって経路決め(例えば、進路変更)するように構成された光パイプを含み得る。光パイプの長さは、環境内の所与の物体までの距離(例えば、1~100m)に対して、比較的短く(例えば、0.1~10cm)なり得る。したがって、光パイプからの光は、理想に近い時間ゼロ基準を表し得る。
他の実施形態では、LIDARシステムは、ドームまたは窓構造を含み得る。かかるシナリオでは、光パルスの少なくとも一部分が、ドームまたは窓の内面から(直接的または間接的に)反射され得る。これらの反射を利用して、時間ゼロの基準を見つけることができる。
他の配置および/または構成要素を有するLIDARシステムが可能であり、企図されることが理解されよう。例えば、LIDARシステムは、1つ以上の光学素子を介してLIDARシステムの環境に向けて光を放射するように構成された1つ以上の発光体デバイスを含み得る。いくつかの実施形態では、光学素子は、速軸コリメーション(FAC)レンズおよび/または共有レンズを含み得る。いくつかの実施形態では、共有レンズは、光を環境に向けるとともに、入射光をLIDARシステムの1つ以上の光検出器上に集束させるように構成され得る。いくつかの実施形態では、光学素子は、平面導波路構造および/または光ガイドマニホールドを追加的または代替的に含み得る。
代替的な実施例では、回転ミラー(例えば、3面または4面の反射プリズム)を有するLIDARは、走査方式で光パルスを環境に向け得る。かかるシナリオでは、光パルスからの光の少なくとも一部分が、回転ミラーから反射されて受信機に向けて戻り得る。例えば、光パルスが回転ミラーの表面と相互作用するとき、光子の一部分は、直接的にまたは迷光反射によってのいずれかで反射されて、受信機に向かって戻り得る。追加的または代替的に、回転ミラーの反射面がレーザダイオードの放射軸に対して垂直である場合、光子の少なくとも一部分は、受信機に向けて戻るように向けられ得る。かかるシナリオでは、時間ゼロ基準は、受信機によって受信された光子の一部分に基づいて取得され得る。
いくつかの実施形態では、LIDARは、光ガイドマニホールド内の複数の光導波路チャネルに光パルスを放射するように構成された複数の発光体を含み得る。光ガイドマニホールド内の導波路チャネルは、全内部反射によって複数の出力ミラーに向けて光パルスを経路決めするように構成され得る。出力ミラーは、それぞれの光パルスを、光ガイドマニホールドの平面から外へ(および光導波路から外へ)、LIDARの環境に向けるように構成されている。かかるシナリオでは、光パルスからの光の一部分が光ガイドマニホールド内に「こぼれる」ことがある。かかる光は、受信経路内の1つ以上の検出器によって受信され得る。例えば、1つ以上の検出器は、光ガイドマニホールドに光学的に結合され得る。かかる実施例では、光パルスからの光の一部分を使用して、時間ゼロ基準を決定し得る。
さらに、いくつかの実施形態では、様々な発射スケジュールに基づいて、そのようなLIDARシステムは、複数の発光体から同時にまたは非常に迅速に連続して光パルスを放射する(例えば、互いに数ナノ秒以内に発射する)ことができる。所与の時間ゼロ基準に使用する光の部分の曖昧さをなくすことを支援するために、いくつかの発射スケジュールでは、個々のチャネルが他のチャネルと別の時間に発射され得る。すなわち、レーザダイオードは時間的に別個の時間に発射されて、異なる送信チャネルから受信された光を区別し得、特定の送信機から特定の受信機へのゼロ時間基準が確立されることを可能にする。例えば、個々の送信機チャネルに対応する個別の発光体は、数回の通常の発射サイクルごとに1回、所定の時間、または要求に応じて、別個の時間に発射され得る。
II.例示的な光学システム
図1は、例示的な実施形態による光学システム100を示している。光学システム100は、光検出および測距(LIDAR)システムを含み得る。光学システム100は、送信光路114を介してLIDARデバイスの環境に光パルスを送信するように構成された送信機110を含む。光パルスは、発光体デバイス120によって放射され得る。発光体デバイス120は、放射光(例えば、赤外光パルス)を放射するように構成され得る。いくつかの実施形態では、発光体デバイス120は、レーザダイオード(複数のレーザダイオードバーから構成され得る)を含み得る。
光学システム100はまた、受信機160を含む。様々な実施形態では、光学システム100は、それぞれ、送信光路114および受信光路166に沿って配置された送信レンズ112および受信レンズ164を含み得る。受信機160は、送信された光パルスの第1の部分および送信された光パルスの第2の部分を検出するように構成された検出器162を含み、検出器162は、光学システム100内の内部光路130を介して送信された光パルスの第1の部分を第1の時間に受信し、光学システム100の環境内の物体による反射を介して送信された光パルスの第2の部分を第2の時間に受信するようになっている。第2の時間は、第1の時間の後に生じる。例えば、第2の時間は、第1の時間から33ns後であり得る。かかるシナリオでは、光の速度に基づいて、送信された光パルスの第2の部分は、送信された光パルスの第1の部分よりも10m遠くまで移動したと決定することができる。したがって、物体は、送信された光パルスの送信光路114に沿って光学システムから約5m離れていると決定され得る。
いくつかの実施形態では、光検出器162は、シリコン光電子増倍管(SiPM)デバイス、単一光子アバランシェフォトダイオード(SPAD)、アバランシェフォトダイオード(APD)、またはマルチピクセルフォトンカウンタ(MPPC)のうちの少なくとも1つを含み得る。他のタイプの光検出器デバイスも可能であり、企図されることが理解されよう。
光学システム100はまた、制御装置150を含む。制御装置150は、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)のうちの少なくとも1つを含む。追加的または代替的に、制御装置150は、1つ以上のプロセッサ152およびメモリ154を含み得る。1つ以上のプロセッサ152は、汎用プロセッサまたは特殊用途プロセッサ(例えば、デジタル信号プロセッサなど)を含み得る。1つ以上のプロセッサ152は、メモリ154に格納されているコンピュータ可読プログラム命令を実行するように構成され得る。したがって、1つ以上のプロセッサ152は、プログラム命令を実行して、本明細書に記載の機能および動作の少なくともいくつかを提供することができる。
メモリ154は、1つ以上のプロセッサ152によって読み取りまたはアクセス可能な1つ以上のコンピュータ可読記憶媒体を含んでもよく、またはその形態をとってもよい。1つ以上のコンピュータ可読記憶媒体は、1つ以上のプロセッサ152のうちの少なくとも1つと、全体的または部分的に統合され得る光学、磁気、有機、もしくは他のタイプのメモリ、またはディスクストレージなどの揮発性および/または不揮発性ストレージ構成要素を含むことができる。いくつかの実施形態では、メモリ154は、単一の物理デバイス(例えば、1つの光学、磁気、有機、もしくは他のメモリ、またはディスクストレージユニット)を使用して実装され得るが、他の実施形態では、メモリ154は、2つ以上の物理デバイスを使用して実装することができる。
上記のように、メモリ154は、光学システム100の動作に関連するコンピュータ可読プログラム命令を含み得る。したがって、メモリ154は、本明細書に記載の機能の一部またはすべてを実行または促進するためのプログラム命令を含み得る。制御装置150は、動作を実行するように構成されている。いくつかの実施形態では、制御装置150は、メモリ154に格納された命令を実行するプロセッサ152を介して、動作を実行し得る。
動作は、光学システム100の様々な素子を動作させて、光学システム100の環境に関する距離情報を取得することを含み得る。例えば、制御装置150は、第2の時間と第1の時間との差に基づいて、光学システム100の環境内の物体までの距離を決定するように構成され得る。制御装置150は、図6および図7に関連して図示および説明される方法600および700に関連する動作などの、他の動作も実行するように構成され得る。例えば、制御装置150は、一定のオフセット時間を加算または減算するように構成され得る。一定のオフセット時間は、第2の時間と第1の時間との差を、物体へのおよび物体からの総通過時間から減算することによって計算されるオフセット距離に対応し得る。いくつかの実施形態では、オフセット距離は、光が内部光路130の距離に沿って移動する時間に対応し得る。他の一定のオフセット時間が可能であり、企図される。
いくつかの実施形態では、光学システム100は、光学システム100内に光パイプ140を含み得る。かかるシナリオでは、内部光路130は、光パイプ140を通って延在する光路を含み得る。光パイプ140は、例えば、光学システム100の送信機110の部分と受信機160の部分との間に開口部を含み得る。かかる開口部は、送信された光パルスの一部分が検出器162によって受信されてから、反射光パルスからの光が受信されるように、送信された光パルスの一部分が開口部を通って「近道する」ことを可能にし得る。
いくつかの実施形態では、光パイプ140は、送信された光パルス内の所定の割合の光子を受信するように構成されている。例えば、光パイプ140は、送信された光パルス内の0.00001%、0.1%、1%、10%、または別の所定の割合の光子を受信するように位置決めされてもよいか、サイズ設定されてもよいか、またはその他の方法で選択されてもよい。追加的または代替的に、所定の割合は、送信された光パルスの光子の1%未満または10%未満であり得る。送信された光パルスの他の所定の割合が可能であり、本開示の文脈内で企図される。
様々な例示的な実施形態において、内部光路130は、光学システム100の1つ以上の構成要素による送信された光パルスの一部分の反射を含み得る。
追加的または代替的に、光学システム100は、透過構造体180を含み得る。例えば、透過構造体180は、車両(例えば、図5A~図5Eに関連して図示および説明される車両500)に取り付けられるように構成された光学窓182および/またはドーム184を含み得る。かかるシナリオでは、送信光路114は、透過構造体180を通過し、内部光路130は、透過構造体180による送信された光パルスの少なくとも一部分の反射を含む。
いくつかの実施形態では、光学システム100は、ミラー170を含み得る。かかるシナリオでは、送信光路114は、ミラー170による反射を含む。さらに、かかる場合は、内部光路130は、ミラー170による、送信された光パルスの少なくとも一部分の反射を含む。
いくつかの実施例では、光学システム100は、入力端から出力端への全内部反射によって光を誘導するように構成された光ガイド142を含み得る。かかるシナリオでは、送信光路114は、光ガイド142の入力端から光ガイド142の出力端まで延在する第1の光路を含む。内部光路130は、第1の光路を含み、また、光ガイド142の入力端から光ガイド142の出力端へ、さらに検出器162へ延在する第2の光路を含む。
光ガイド142を含む実施形態では、光ガイド142の出力端は、ミラー170を含み得る。
図2A、図2B、および図2Cは、例示的な実施形態による送受信機200、220,および230を示している。送受信機200,220,および/または230は、図1に関連して図示および説明される光学システム100と同様の要素を含み得る。送受信機200,220,および/または230は、LIDARシステムの送信機の部分および/または受信機の部分を含み得る。
図2Aを参照すると、送受信機200はハウジング210を含み得る。送受信機200はまた、ハウジング210に結合された送信機110および対応する発光体デバイス120を含み得る。いくつかの実施形態では、送信機110は、発光体デバイス120に光学的に結合され得る速軸コリメーション(FAC)レンズ122を含み得る。送信機は、送信光路114に沿って光パルスを放射するように構成され得る。かかる光パルスは、送信レンズ112を介して送受信機200の環境内に送信され得る。
いくつかの実施形態では、FACレンズ122は、円柱レンズを含み得る。ただし、本開示の文脈内で、他の光学素子(例えば、光学レンズ)が企図され、可能である。
送受信機200はまた、受信機160を含む。受信機160は、受信レンズ164に光学的に結合された検出器162を含む。本明細書の他の箇所で説明されるように、検出器162は、SiPMまたは別のタイプの光検出器もしくは光検出器アレイであり得る。受信機160は、受信光路166に沿ってシステムの環境から光を受信するように構成され得る。
いくつかの実施形態では、ハウジング210は、受信機160と送信機110との間に配備された開口部202を含み得る。開口部202は、発光体デバイス120によって放射された光の一部分を内部光路130に沿って受信機160および検出器162に向かって送信するように位置、形状、サイズ設定、および/または他の方法で構成され得る。
図2Bは、例示的な実施形態による送受信機220を示している。送受信機220は、図2Aを参照して図示および説明される送受信機220といくつかの点で同様であり得る。ただし、送受信機220は、追加的または代替的に、内部光路130の少なくとも一部分に沿って光パイプ140を含み得る。光パイプ140は、光ファイバ、光ガイド、光導波路、または第1の位置(例えば、送信光路114)から第2の位置(例えば、受信光路166)に光を経路決めするように構成された別の構造体を含み得る。
図2Bは、光パイプ140を、送信機110から受信光路166への実質的に直線の経路を提供するものとして示しているが、光パイプ140は湾曲していてもよく、および/または1つ以上の分岐を含んでもよいことが理解されよう。
いくつかの実施形態では、光パイプ140は、光の一部分を明示的に捕捉するために、漏出経路を越えて延在し得る。他の実施形態では、光パイプ140は、送信光路114から光を収集し、および/または受信機160に光を提供するように構成された1つ以上のファセットを含み得る。他の光学構成も可能であり、企図されることが理解されよう。いくつかの実施形態では、光パイプ140は、システムの送信機の部分と受信機の部分との間の開口部202全体を満たさないことがある。かかるシナリオでは、光パイプ140は、全内部反射を利用するように構成され得る。
図2Cは、例示的な実施形態による送受信機230を示している。送受信機230は、図2Aおよび図2Bに関連して図示および説明される送受信機200および220と同様であり得る。いくつかの実施形態では、送受信機230は、送信光路114に沿って放射された光の少なくとも一部分を受信光路166に向かって誘導し得る光パイプ140を含み得る。例えば、光ファイバが、送信レンズ112と受信レンズ164との間に光学的に結合され得る。他の実施形態では、送信レンズ112および受信レンズ164は、物理的に接合され、場合によっては同一の材料から成形され得る。送信レンズ112と受信レンズ164とを光学的に結合する他の方法が可能であり、企図される。
かかるシナリオでは、送信光路114に沿って発光体デバイス120から放射された光パルスは、送信レンズ112と相互作用し得、受信レンズ164に向かって光パイプ140を介して部分的に誘導され得る。受信レンズ164に結合された光の一部分は、検出器162に進路変更され得る。光のかかる部分は、例えば、100万分の1(0.000001)~1兆分の1(0.000000000001)の範囲内であり得る。例えば、所与の光パルスの光子の0.00001%~5%が、光パイプ140を介して検出器162に進路変更され得る。光の他の部分も可能であり、本開示の文脈内で企図される。
図3Aおよび図3Bは、例示的な実施形態による、光学システム300の側面図を示している。光学システム300は、図1を参照して図示および説明される光学システム100と同様であり得る。例えば、光学システム300は、送信機110および受信機160を含み得、これらは回転可能なステージ310に取り付けられ得る。回転可能なステージ310は、回転軸302を中心に回転するように構成され得る。いくつかの実施形態では、回転可能なステージ310は、回転可能なステージ310を機械的に回転させるように構成されたステッピングモータまたは別のデバイスによって作動され得る。
いくつかの実施形態では、光学システム300は、回転可能なミラー170を含み得る。回転可能なミラー170は、三角形または矩形のプリズムのような形状であってもよく、回転軸304を中心に回転するように構成され得る。回転可能なミラー170は、複数の反射面172a、172b、および172cを含み得る。
追加的にまたは代替的に、光学システム300は、光学窓180aおよび180bを含み得る。反射面172a~172cは、光学システム100によって放射された光パルスを送信光路114に沿って反射するように構成され得る。例えば、光パルスは、光学窓180aおよび180bを経由して光学システム300の環境に向けて反射され得る。さらに、環境から反射された光パルスは、反射面172a~172cから受信経路166に沿って反射され得る。
このようにして、光学システム400は、環境の360度領域に(例えば、z軸を中心に)光パルスを放射し、そこから反射された光パルスを受信するように構成され得る。したがって、光学システム400は、それぞれの反射光パルスの飛行時間に基づいて距離情報を決定するように構成され得る。
図3Aを参照すると、回転可能なミラー170は、一次仰角307に対応する一次反射経路306に沿って光を反射するような角度で回転され得る。いくつかの実施形態では、一次反射経路306に沿って放射された光の少なくとも一部分は、光学窓180aによって反射され、二次反射経路308に沿って光の一部分を反射し得る。二次反射経路308に沿った光の部分の少なくとも一部分は、受信機160によって(例えば、検出器162によって)受信され得る。図3Aは、回転可能なミラー170の1つの可能な構成のみを示し、検出器162に戻る光の他の多重経路反射が可能であり、企図される。
図3Bを参照すると、いくつかの実施形態では、回転可能なミラー170は回転されて、光を直接反射して受信機160に戻し得る。より具体的には、回転可能なミラー170は、反射面(例えば、反射面172b)が光の少なくとも一部分を受信機160および検出器162に向けて反射するように位置決めされ得る。すなわち、反射面172bは、送信光路114に対して実質的に直交(例えば、垂直)であるように位置決めされ得る。いくつかの実施形態では、回転可能なミラー170は回転され、光パイプ140に向かって光を反射し得る。(反射面172bからの直接反射によって、および/または光パイプ140を介して)受信機160に向かって反射して戻る光の部分は、検出器162によって検出され得る。対応する信号は、第1の時間tとして使用され得る。送受信機200と同様に、第1の時間を利用して、後続のパルス時間に基づいて通過経路長を決定し得る。
図4は、例示的な実施形態による、光学システム400の断面図を示している。図4は、図1を参照して例示および説明された光学システム100のものと類似または同一の素子を含み得る。
例えば、いくつかの実施形態では、光学システム100は、発光体デバイス120、検出器162a~162d、および光学窓182を含み得る。光学システム400は、第1の表面422および第2の表面424を有するスペーサ構造体420を含み得る。スペーサ構造体420はまた、スペーサ構造体420を通って延在する空隙426a~426dを含み得る。
1つ以上の発光体デバイス120は、スペーサ構造体420の第2の表面424に結合され得る。発光体デバイス120はそれぞれ、1つ以上の発光領域を含み得る。図4に示されるように、第2の表面424は、上側部分424aおよび下側部分424bを含み得る。例えば、上側部分424aは第1の平面を画定し得、下側部分424bは第2の平面を画定し得る。したがって、いくつかの実施形態では、第2の表面424は、下側部分424bに「ステップダウン」する上側部分424aを含み得る。
いくつかの実施形態では、検出器162a~162dは、空隙426a~426d内に配備され得る。例えば、示されるように、各空隙は、1つの検出器デバイスを含み得る。代替的に、複数の検出器デバイスおよび/または検出器アレイが、単一の空隙内に配備され得る。検出器162a~162dは、外部環境との相互作用の後に1つ以上の発光体デバイス120によって放射された光を検出するように構成され得る。
図4に追加的に示されるように、中間蓋450が、スペーサ構造体420の第2の表面424(例えば、下表面424b)に結合され得る。実施形態では、中間蓋450は、複数のアパーチャ452a~452dを含み得、複数のアパーチャ452a~452dはそれぞれ空隙426a~426dと位置合わせされ得る。いくつかの実施形態では、アパーチャ452a~452dは、150ミクロンの直径を有し得る。しかしながら、他のアパーチャ直径が可能であり、企図される。
いくつかの実施形態において、複数のアパーチャ452a~452dは、発光体デバイス120によって放射された光に対して実質的に不透過である材料を通じてドリル加工、またはリソグラフエッチングされた穴部を含み得る。他の実施形態では、複数のアパーチャ452a~452dは、発光体デバイス120によって放射される光に対して実質的に透過な光学窓を含み得る。
図4は、中間蓋450を複数のアパーチャ452a~452dを含むものとして示しているが、いくつかの実施形態では、複数のアパーチャ452a~452dがスペーサ構造体420に形成され得ることが理解されよう。例えば、スペーサ構造420は、複数のアパーチャ452a~452dを形成する1つ以上の穴部を含み得る。例示的な一実施形態では、複数のアパーチャ452a~452dが、スペーサ構造体420の上側部分424aと下側部分424bとの間に形成され得る。
図4はまた、取付面462を含む光学窓182を示している。いくつかの実施形態では、光学窓182は、発光体デバイス120によって放射される光に対して実質的に透過であり得る。少なくとも1つのFACレンズ122が、光学窓182の取付面462に結合され得る。さらに、少なくとも1つの光ガイド142が、光学窓182の取付面462に結合されている。実施形態では、少なくとも1つの光ガイド142は、反射面467a~467d(例えば、鏡面ファセット)を含み得る。
いくつかの実施例では、シム470が、スペーサ構造体420の上側部分424aと光学窓182の取付面462との間に配備され得る。シム470は、発光体デバイス120が少なくとも1つのFACレンズ122および/または少なくとも1つの光ガイド142に対して所定のまたは所望の位置に配備されるように選択され得る。例えば、シム470は、発光体デバイス120から放射された光が少なくとも1つのFACレンズ122によって効率的に収集され、少なくとも1つの光ガイド142に効率的に結合されるように選択され得る。
図2は、シム470が光学システム400の側面付近に位置しているものとして示しているが、シム470は他の場所に位置し得ることが理解されよう。例えば、シム470は、中間蓋450と光学窓182の取付面462との間に配備され得る。追加的または代替的に、シム470は、例えば、バッフルを提供するために(例えば、迷光の伝播を防止するために)、光学システム100の他の領域に存在し得る。
光学システム400は、制御崩壊半田ボール480を介して第1の基板410に物理的に結合され得る回路基板490を追加的に含み得る。これらに限定されないが、従来の半田ボール、ボールグリッドアレイ(BGA)、ランドグリッドアレイ(LGA)、導電性ペースト、ならびに他のタイプの物理ソケットおよび電気ソケットなどの、第1の基板410を回路基板490に物理的におよび/または電気的に接続する他の方法が可能であり、企図される。
いくつかの実施形態では、反射面467a~467dは、主に+z方向の光を光学システム400の環境に向けるように構成され得る。追加的または代替的に、反射面467a~467dの少なくとも一部分は、放射光の少なくとも一部分を-z方向に(例えば、それぞれの検出器162a~162dに向かって)向けるように構成され得る。すなわち、各光パルスの第1の部分は検出器162a~162dに直接供給され得、各光パルスの第2の部分は光学システム400の環境に向けられ得る。かかるシナリオでは、第1の時間tは、検出器162a~162dにおける光の第1の部分の到着時間に基づいて決定され得る。さらに、第2の時間tは、検出器162a~162dにおける光の第2の部分の反射部分の到達時間に基づいて決定され得る。いくつかの実施形態では、迷光(例えば、光学システム400内の直接反射または拡散反射による)を利用して、第1の時間tを決定し得ることが理解されよう。
本開示の文脈内で、ゼロポイント時間を決定するおよび/または時間基準信号を受信する他の方法が企図される。例えば、ゼロポイント時間tまたは別の時間基準信号は、反射面467a~467d、光ガイド142、光学窓182、および/または光学システム400の他の部分からの光パルスの直接反射および/または多重経路反射に基づいて決定され得る。
III.例示的車両
図5A、図5B、図5C、図5D、および図5Eは、例示的な実施形態による、車両500を示している。車両500は、半自律型車両または完全自律型車両であり得る。図5A~図5Eは、車両500を自動車(例えば、乗客用バン)であるものとして示しているが、車両500は、センサおよびその環境に関する他の情報を使用してその環境内で操縦することができる別のタイプの自律型車両、ロボット、またはドローンを含み得ることが理解されよう。
車両500は、1つ以上のセンサシステム502、504、506、508、および510を含み得る。例示的な実施形態では、センサシステム502、504、506、508、および510のうちの1つ以上は、図1に関連して図示および説明される光学システム100を含み得る。例えば、かかるシナリオでは、センサシステム502、504、506、508、および510は、所与の平面(例えば、x-y平面)に対してある角度範囲にわたって配置された複数の発光体デバイスを有するLIDARセンサを含み得る。
センサシステム502、504、506、508、および510のうちの1つ以上は、所与の平面に垂直な軸(例えば、z軸)を中心に回転するように構成され、車両500の周囲の環境を光パルスによって照明し得る。反射光パルスの様々な態様(例えば、経過飛行時間、偏光、強度など)を検出することに基づいて、環境に関する情報が決定され得る。
例示的な実施形態では、センサシステム502、504、506、508、および510は、車両500の環境内の物理的物体に関連し得るそれぞれの点群情報を提供するように構成され得る。車両500ならびにセンサシステム502、504、506、508、および510は、特定の特徴を含むものとして示されているが、他のタイプのセンサシステムも本開示の範囲内で企図されることが理解されよう。
例示的な実施形態は、複数の発光体デバイスを有するシステムを含むことができる。システムは、LIDARデバイスの送信ブロックを含むことができる。例えば、システムは、車両(例えば、自動車、トラック、オートバイ、ゴルフカート、航空機、ボートなど)のLIDARデバイスとすることができ、またはその一部とすることができる。複数の発光体デバイスの各発光体デバイスは、それぞれのビーム仰角に沿って光パルスを放射するように構成される。本明細書の他の箇所に記載されるように、それぞれのビーム仰角は、基準角度または基準面に基づくことができる。いくつかの実施形態では、基準面は、車両500の運動軸に基づき得る。
本明細書では複数の発光体デバイスを有するLIDARシステムを記載および図示しているが、より少数の発光体デバイス(例えば、単一の発光体デバイス)を有するLIDARシステムも企図される。例えば、レーザダイオードによって放射された光パルスは、システムの環境の周りに制御可能に向けられてもよい。光パルスの放射の角度は、例えば、機械的走査ミラーおよび/または回転モータなどの走査デバイスによって調整することができる。例えば、走査デバイスは、所与の軸の周りを往復運動で回転する、および/または垂直軸の周りを回転することができる。別の実施形態では、発光体デバイスは、各光パルスと相互作用するときのプリズムミラー角度の角度に基づいて光パルスを環境に放射させることができる、回転するプリズムミラーに向けて光パルスを放射することができる。追加的にまたは代替的に、走査光学系および/または他のタイプの電気光学機械デバイスは、環境の周りの光パルスを走査することが可能である。
いくつかの実施形態では、本明細書に記載されるように、単一の発光体デバイスは、可変ショットスケジュールに従って、および/またはショット当たりの可変電力で光パルスを放射することができる。すなわち、各レーザパルスまたはショットの放射電力および/またはタイミングは、ショットのそれぞれの仰角に基づくことができる。さらにまた、可変ショットスケジュールは、LIDARシステムから、またはLIDARシステムを支持する所与の車両の表面(例えば、フロントバンパー)からの所与の距離で所望の垂直間隔を提供することに基づくことができる。実施例として、発光体デバイスからの光パルスが下向きに向けられるとき、目標までの予想される最大距離がより短いことに起因して、ショット当たりの電力が低下する可能性がある。逆に、基準面の上の仰角で発光体デバイスによって放射された光パルスは、より長い距離を移動するパルスを適切に検出するのに十分な信号対雑音を提供するように、ショット当たりの電力が比較的より高い場合がある。
いくつかの実施形態では、ショット当たりの電力/エネルギーは、動的な様式でショットごとに制御することができる。他の実施形態では、ショット当たりの電力/エネルギーは、いくつかのパルスの連続セット(例えば、10個の光パルス)について制御することができる。すなわち、光パルス列の特性は、パルス当たり基準および/または数パルス当たり基準に変更することができる。
図5は、車両500に取り付けられた様々なLIDARセンサを示しているが、車両500は、本明細書に説明されるように、複数の光学システムなどの他のタイプのセンサを組み込み得ることが理解されよう。追加的または代替的に、いくつかの実施形態では、校正光パルスの1つの可能な光源は、LIDARシステムから既知の距離で表面から反射される光を含み得ることが認識されるであろう。実施例として、車両500のサイドミラーまたは別の表面で反射された光パルスを利用して、tまたは別の時間基準を決定し、車両500の環境内の他の場所からLIDARシステムに反射して戻される光パルスの距離をより正確に計算し得る。
IV.例示的な方法
図6は、例示的な実施形態による方法600を示している。方法600は、本明細書に明示的に図示されているかまたは他の方法で開示されているものよりも少ないまたは多いステップまたはブロックを含み得ることが理解されよう。さらに、方法600のそれぞれのステップまたはブロックは、任意の順序で実行されてもよく、各ステップまたはブロックは、1回以上実行されてもよい。いくつかの実施形態では、方法600のブロックまたはステップの一部分または全部は、図1に関連して図示および説明されるように、制御装置150および/または光学システム100の他の要素によって行われてもよい。追加的または代替的に、方法600は、図2A、図2B、および図2Cを参照して図示および説明される送受信機200、220、および/または230を用いて実行され得る。
ブロック602は、LIDARデバイスの送信機(例えば、送信機110)に、送信光路を介してLIDARデバイスの環境に第1の光パルスを送信させることを含む。第1の光パルスは、例えば、初期トリガ時間tにおいてレーザダイオードから放射される赤外光パルスであり得る。他の波長を有する光パルスも可能であり、企図される。
ブロック604は、LIDARデバイスの検出器(例えば、検出器162)によって、LIDARデバイスの内部光路(例えば、内部光路130)を介して第1の時間tにおける第1の光パルスの第1の部分と、LIDARデバイスの環境内の物体による反射を介して第2の時間tにおける第1の光パルスの第2の部分とを受信することを含む。すなわち、第1の光パルスの一部分は、内部光路に沿って反射、経路決め、または他の方法で方向転換され、第1の光パルスの残りの部分よりも早い時間に検出器に到達し得る。いくつかの実施形態では、内部光路の短い通過経路長(例えば、10cm、1cm、またはそれ未満)に起因して、第1の光パルスの第1の部分は、送信機からのその初期放射から0.5ナノ秒未満(例えば、0.33ns)または50ピコ秒未満(例えば、33ps)で検出器に到達し得る。
ブロック606は、第2の時間と第1の時間との差に基づいて物体までの距離を決定することを含む。第2の時間から第1の時間を減算することによって、環境内の物体へのおよび物体からの通過時間が、近似および/または決定され得る。例えば、第1の時間t=50psおよび第2の時間t=33.38nsの場合、tdiff=tー1=33.33nsである。光の速度(例えば、3x10m/s)に基づいて、総通過距離は約10メートルになり得る。したがって、通過距離の出射部分および入射部分を考慮すると、物体距離は、総通過距離の約半分である5mであると決定され得る。
いくつかの実施形態では、方法600はまた、第1の時間に基づいてゼロポイント時間(例えば、t)を決定することを含み得る。実施例として、ゼロポイント時間は1つ以上の光パルス到着時間が比較される時間基準点を表し、距離情報を決定しようとし得る。ゼロポイント時間は、例えば、追加の一定のオフセット時間によって変更され得る(例えば、それによって加算または減算され得る)時間基準点を表し得ることが理解されよう。一定のオフセット時間は、目標距離からゼロ距離を減算することによって計算されたオフセット距離に対応し得る。例えば、オフセット距離時間は、光が内部経路長距離または別のタイプの調整距離に沿って移動する時間に対応し得る。
いくつかの実施形態では、方法600は、送信機に、送信光路を介して後続の複数の光パルスを送信させることをさらに含み得る。各後続のパルスは、所定の光パルススケジュールに従って発射される。
かかるシナリオでは、方法600は、検出器によって、LIDARデバイスの環境内の物体による反射を介して後続の時間に後続の反射光パルスを受信することをさらに含み得る。さらに、方法600は、それぞれの後続の時間、所定の光パルススケジュール、および第1の時間に基づいて、物体までの距離を決定することを含み得る。例えば、tは、その後に受信されるパルスから減算される時間オフセットとして使用され得る。このようにして、tは、一度だけ、周期的に、または散発的に測定されるだけでよい。さらに、所定の光パルススケジュールは、それぞれがt後のそれぞれのtdelayに従って放射される複数の光パルスを放射するためのスケジュールを含み得る。すなわち、tの後のある時間tdelayで放射された後続の光パルスについて、反射光パルスが時間tで受信される場合、総通過時間は、ttransmit=t-tdelay-tによって計算され得る。
図7は、例示的な実施形態による方法700を示している。方法700は、本明細書に明示的に図示されているかまたは他の方法で開示されているものよりも少ないまたは多いステップまたはブロックを含み得ることが理解されよう。さらに、方法700のそれぞれのステップまたはブロックは、任意の順序で実行されてもよく、各ステップまたはブロックは、1回以上実行されてもよい。いくつかの実施形態では、方法700のブロックまたはステップの一部分または全部は、図1に関連して図示および説明されるように、制御装置150および/または光学システム100の他の要素によって行われてもよい。追加的または代替的に、方法700は、図3A、図3B、および図4を参照して図示および説明される光学システム300および/または400を用いて実行され得る。
ブロック702は、LIDARデバイスの送信機(例えば、送信機110)に対してミラー(例えば、ミラー170)を位置決めすることを含む。かかるシナリオでは、送信機は少なくとも1つの光パルスを送信するように構成され得る。図3Aおよび図3Bを参照すると、ミラーを位置決めすることは、ミラー170を回転軸304を中心に所望の位置まで回転させることを含み得る。
ブロック704は、ミラーと相互作用するように、送信機に第1の光パルスを送信させることを含む。ミラーを位置決めすることは、第1の光パルスがLIDARデバイス内の内部光路(例えば、内部光路130)に向けられるように実行される。本明細書の他の箇所で説明するように、内部光路は、例えば、光パイプ140、光ガイド142、ミラー170、光学窓182、および/またはドーム184を含み得る。
ブロック706は、LIDARデバイスの検出器(例えば、検出器162)によって、内部光路を介して第1の時間tに第1の光パルスを受信することを含む。光学システム300および400に関連して説明されるように、第1の光パルスは、ミラーに向かって、かつ内部光路に沿って放射され、時間的「基準パルス」を提供し得、その後のパルス時間は、校正、調節、および/またはオフセットされ得る。いくつかの実施形態では、ブロック706を実行すること(例えば、内部光路を介して光パルスを取得すること)は、いくつかの面で利益を提供し得る。第1に、所与の光パルスからの実質的にすべての光が環境に進路変更され得るため、回転可能なミラーのいくつかの角度は基準パルスを生成しないことになる。第2に、LIDARデバイスの外部から反射されて戻る光パルスの一部を利用することは、デバイスに非常に近い場内の物体にフィードバックパルスと「混合された」戻りを生じさせ、ゼロ距離を決定することを困難または不可能にし得る。
ブロック708は、第1の時間に基づいてゼロポイント時間(例えば、t)を決定することを含む。実施例として、ゼロポイント時間は1つ以上の光パルス到着時間が比較される時間基準点を表し、距離情報を決定しようとし得る。
いくつかの実施形態では、方法700は、ミラーを再位置決めして、送信光路を介して後続の光パルスをLIDARデバイスの環境に向けることをさらに含み得る。かかるシナリオでは、方法700は、送信機に、送信光路を介して後続の複数の光パルスを送信させることを含み得る。
方法700はまた、検出器によって、LIDARデバイスの環境内の物体による反射を介して、後続の時間に後続の反射光パルスを受信することを含み得る。
さらに、方法700は、それぞれの後続時間とゼロポイント時間との差に基づいて物体までの距離を決定することを含み得る。いくつかの実施形態では、後続の光パルスは、所定の光パルススケジュールにしたがって発射され得る。かかるシナリオでは、物体までの距離を決定することは、所定の光パルススケジュールにさらに基づき得る。
例示的な実施形態では、ミラーは回転可能なミラーであり得る。例えば、回転可能なミラーは三角形プリズムの形状を有し得る。かかるシナリオでは、回転可能なミラーは、三角形プリズムの3つのファセットのそれぞれに対応する3つの反射面を有し得る。いくつかの実施形態では、回転可能なミラーは、矩形プリズム形状を有し得る。かかるシナリオでは、回転可能なミラーは、矩形プリズムの4つの主要なファセットのそれぞれに対応する4つの反射面を含み得る。
加えて、ミラーを位置決めおよび再位置決めすることは、モータに、回転軸を中心に回転可能なミラーを回転させ、3つまたは4つの反射面のそれぞれの角度を調整させることを含み得る。
図に示されている特定の配置は、限定と見なされるべきではない。他の実施形態が、所与の図に示される各要素をより多く、またはより少なく含んでもよいことを理解されたい。さらに、図示される要素のうちのいくつかは、組み合わされ、または省略されてもよい。さらにまた、図示の実施形態は、図示されていない要素を含んでもよい。
情報の処理を表すステップまたはブロックは、本明細書に記載の方法または技術の特定の論理機能を実行するように構成することができる回路に対応することができる。代替的または追加的に、情報の処理を表すステップまたはブロックは、モジュール、セグメント、またはプログラムコード(関連データを含む)の一部に対応することができる。プログラムコードは、特定の論理機能または論理動作を方法または技術において実装するための、プロセッサにより実行可能な1つ以上の命令を含むことができる。プログラムコードおよび/または関連データは、ディスク、ハードドライブ、または他の記憶媒体を含む、記憶デバイスなどの任意のタイプのコンピュータ可読媒体に記憶させることができる。
コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ(RAM)のような、データを短期間記憶するコンピュータ可読媒体などの非一時的コンピュータ可読媒体も含むことができる。コンピュータ可読媒体はまた、プログラムコードおよび/またはデータを長期間にわたって記憶する非一時的コンピュータ可読媒体も含むことができる。このように、コンピュータ可読媒体は、例えば、読み取り専用メモリ(ROM)、光ディスクまたは磁気ディスク、コンパクトディスク読み取り専用メモリ(CD-ROM)のような二次的なまたは長期永続的な記憶装置を含むことができる。コンピュータ可読媒体はまた、任意の他の揮発性または不揮発性の記憶システムとすることもできる。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、または有形の記憶デバイスと考えることができる。
様々な実施例および実施形態が開示されてきたが、他の実施例および実施形態が当業者にとって明らかであろう。様々な開示された実施例および実施形態は、例示の目的のためであり、限定することを意図するものではなく、その真の範囲は、以下の特許請求の範囲により示される。
本明細書は、条項1~20の形式で表される次の主題を含む。光検出および測距(LIDAR)デバイスであって、送信光路を介してLIDARデバイスの環境に1つ以上の光パルスを送信するように構成された送信機と、その1つ以上の送信された光パルスの第1の部分および1つ以上の送信された光パルスの第2の部分を検出するように構成された検出器であって、その検出器がLIDARデバイス内の内部光路を介して1つ以上の送信された光パルスの第1の部分を第1の時間に受信し、LIDARデバイスの環境内の1つ以上の物体による反射を介して1つ以上の送信された光パルスの第2の部分を第2の時間に受信するようになっており、第2の時間は第1の時間の後に生じる、検出器と、制御装置であって、その制御装置が、第2の時間と第1の時間との差に部分的に基づいて、物体のうちの少なくとも1つまでの距離を決定するように構成されている、制御装置と、を備えるLIDARデバイス。2.LIDARデバイス内に光パイプをさらに備え、内部光路が、光パイプを通って延在する光路を含む、条項1に記載のLIDARデバイス。3.光パイプが、1つ以上の送信された光パルス内の所定の割合の光子を受信するように構成されている、条項2に記載のLIDARデバイス。4.所定の割合が、10%未満である、条項3に記載のLIDARデバイス。5.内部光路が、LIDARデバイスの1つ以上の構成要素による反射を含む、条項1~4のいずれか一項に記載のLIDARデバイス。6.透過構造体であって、送信光路がその透過構造体を通過し、内部光路が透過構造体による反射を含む、透過構造体をさらに備える、条項1~5のいずれか一項に記載のLIDARデバイス。7.透過構造体が、車両に取り付けられるように構成されたドームである、条項6に記載のLIDARデバイス。8.透過構造体が、光学窓を備える、条項6または7に記載のLIDARデバイス。9.LIDARデバイス内のミラーであって、送信光路が、ミラーによる反射を含み、内部光路が、ミラーによる反射を含む、ミラーをさらに備える、条項1~8のいずれか一項に記載のLIDARデバイス。10.入力端から出力端まで全内部反射または反射コーティングによって光を誘導するように構成された光ガイドであって、送信光路が光ガイドの入力端から光ガイドの出力端まで延在する第1の光路を含み、内部光路が第1の光路を含み、光ガイドの出力端から検出器まで延在する第2の光路をさらに含む、条項1~9のいずれか一項に記載のLIDARデバイス。11.光ガイドの出力端が、ミラーを備える、条項10のLIDARデバイス。12.LIDARデバイスの送信機に、送信光路を介してLIDARデバイスの環境に第1の光パルスを送信させることと、LIDARデバイスの検出器によって、LIDARデバイス内の内部光路を介して第1の時間に第1の光パルスの第1の部分を受信し、LIDARデバイスの環境内の1つ以上の物体による反射を介して第2の時間に第1の光パルスの第2の部分を受信することと、第2の時間と第1の時間の間との差に部分的に基づいて、物体のうちの少なくとも1つまでの距離を決定することと、を含む方法。13.第1の時間に基づいてゼロポイント時間を決定することをさらに含む、条項12に記載の方法。14.送信機に、送信光路を介して後続の複数の光パルスを送信させることであって、各後続のパルスが、所定の光パルススケジュールに従って発射される、送信させることと、検出器によって、LIDARデバイスの環境内の1つ以上の物体による反射を介して後続の時間に後続の反射光パルスを受信することと、それぞれの後続の時間、所定の光パルススケジュール、および第1の時間に基づいて、それぞれの物体までの距離を決定することと、をさらに含む、条項12または13に記載の方法。15.LIDARデバイスの送信機に対してミラーを位置決めすることであって、送信機が、少なくとも1つの光パルスを送信するように構成される、位置決めすることと、ミラーと相互作用するように、送信機に第1の光パルスを送信させることであって、ミラーを位置決めすることが、第1の光パルスがLIDARデバイス内の内部光路に向けられるように実行される、送信させることと、LIDARデバイスの検出器によって、内部光路を介して第1の時間に第1の光パルスを受信することと、第1の時間に部分的に基づいてゼロポイント時間を決定することと、を含む方法。16.ミラーを再位置決めし、送信光路を介して後続の光パルスをLIDARデバイスの環境に向けることと、送信機に、送信光路を介して後続の複数の光パルスを送信させることと、検出器によって、LIDARデバイスの環境内の1つ以上の物体による反射を介して後続の時間に後続の反射光パルスを受信することと、それぞれの後続の時間とゼロポイント時間との差に基づいて、物体のうちの少なくとも1つまでの距離を決定することと、をさらに含む、条項15に記載の方法。17.後続の光パルスが、所定の光パルススケジュールに従って発射され、物体までの距離を決定することが、所定の光パルススケジュールにさらに基づいている、条項16に記載の方法。18.ミラーが、回転可能なミラーを備える、条項15~17のいずれか一項に記載の方法。19.回転可能なミラーが、三角形または矩形のプリズム形状を含み、回転可能なミラーが、3つまたは4つの反射面を備える、条項18に記載の方法。20.ミラーを位置決めおよび再位置決めすることが、モータに、回転可能なミラーを回転軸を中心に回転させて、3つまたは4つの反射面のそれぞれの角度を調整させることを含む、条項19に記載の方法。

Claims (20)

  1. 光検出および測距(LIDAR)デバイスであって、
    送信光路を介して前記LIDARデバイスの環境に1つ以上の光パルスを送信するように構成された送信機と、
    前記1つ以上の送信された光パルスの第1の部分および前記1つ以上の送信された光パルスの第2の部分を検出するように構成された検出器であって、前記検出器が、前記LIDARデバイス内の内部光路を介して前記1つ以上の送信された光パルスの前記第1の部分を第1の時間に受信し、前記LIDARデバイスの前記環境内の1つ以上の物体による反射を介して前記1つ以上の送信された光パルスの前記第2の部分を第2の時間に受信するようになっており、前記第2の時間が前記第1の時間の後に生じる、検出器と、
    制御装置であって、前記制御装置が、前記第2の時間と前記第1の時間の間との差に部分的に基づいて、前記物体のうちの少なくとも1つまでの距離を決定するように構成されている、制御装置と、を備える、LIDARデバイス。
  2. 前記LIDARデバイス内に光パイプをさらに備え、前記内部光路が、前記光パイプを通って延在する光路を含む、請求項1に記載のLIDARデバイス。
  3. 前記光パイプが、前記1つ以上の送信された光パルス内の所定の割合の光子を受信するように構成されている、請求項2に記載のLIDARデバイス。
  4. 前記所定の割合が、10%未満である、請求項3に記載のLIDARデバイス。
  5. 前記内部光路が、前記LIDARデバイスの1つ以上の構成要素による反射を含む、請求項1に記載のLIDARデバイス。
  6. 透過構造体であって、前記送信光路が前記透過構造体を通過し、前記内部光路が前記透過構造体による反射を含む、透過構造体をさらに備える、請求項1に記載のLIDARデバイス。
  7. 前記透過構造体が、車両に取り付けられるように構成されたドームである、請求項6に記載のLIDARデバイス。
  8. 前記透過構造体が、光学窓を備える、請求項6に記載のLIDARデバイス。
  9. 前記LIDARデバイス内のミラーであって、前記送信光路が、前記ミラーによる反射を含み、前記内部光路が、前記ミラーによる反射を含む、ミラーをさらに備える、請求項1に記載のLIDARデバイス。
  10. 入力端から出力端まで全内部反射または反射コーティングによって光を誘導するように構成された光ガイドであって、前記送信光路が、前記光ガイドの前記入力端から前記光ガイドの前記出力端まで延在する第1の光路を含み、前記内部光路が、前記第1の光路を含み、前記光ガイドの前記出力端から前記検出器まで延在する第2の光路をさらに含む、光ガイドをさらに備える、請求項1に記載のLIDARデバイス。
  11. 前記光ガイドの前記出力端が、ミラーを備える、請求項10に記載のLIDARデバイス。
  12. LIDARデバイスの送信機に、送信光路を介して前記LIDARデバイスの環境に第1の光パルスを送信させることと、
    前記LIDARデバイスの検出器によって、前記LIDARデバイス内の内部光路を介して第1の時間に前記第1の光パルスの第1の部分を受信し、前記LIDARデバイスの前記環境内の1つ以上の物体による反射を介して第2の時間に前記第1の光パルスの第2の部分を受信することと、
    前記第2の時間と前記第1の時間との差に部分的に基づいて、前記物体のうちの少なくとも1つまでの距離を決定することと、を含む、方法。
  13. 前記第1の時間に基づいて、ゼロポイント時間を決定することをさらに含む、請求項12に記載の方法。
  14. 前記送信機に、前記送信光路を介して後続の複数の光パルスを送信させることであって、各後続のパルスが、所定の光パルススケジュールに従って発射される、送信させることと、
    前記検出器によって、前記LIDARデバイスの前記環境内の1つ以上の物体による反射を介して後続の時間に後続の反射光パルスを受信することと、
    前記それぞれの後続の時間、前記所定の光パルススケジュール、および前記第1の時間に基づいて、前記それぞれの物体までの距離を決定することと、をさらに含む、請求項12に記載の方法。
  15. LIDARデバイスの送信機に対してミラーを位置決めすることであって、前記送信機が、少なくとも1つの光パルスを送信するように構成されている、位置決めすることと、
    前記ミラーと相互作用するように、前記送信機に第1の光パルスを送信させることであって、前記ミラーを位置決めすることが、前記第1の光パルスが前記LIDARデバイス内の内部光路に向けられるように実行される、送信させることと、
    前記LIDARデバイスの検出器によって、前記内部光路を介して第1の時間に前記第1の光パルスを受信することと、
    前記第1の時間に部分的に基づいてゼロポイント時間を決定することと、を含む、方法。
  16. 前記ミラーを再位置決めし、送信光路を介して後続の光パルスを前記LIDARデバイスの環境に向けることと、
    前記送信機に、前記送信光路を介して後続の複数の光パルスを送信させることと、
    前記検出器によって、前記LIDARデバイスの前記環境内の1つ以上の物体による反射を介して後続の時間に後続の反射光パルスを受信することと、
    前記それぞれの後続の時間と前記ゼロポイント時間との差に基づいて、前記物体のうちの少なくとも1つまでの距離を決定することと、をさらに含む、請求項15に記載の方法。
  17. 前記後続の光パルスが、所定の光パルススケジュールに従って発射され、前記物体までの前記距離を決定することが、前記所定の光パルススケジュールにさらに基づく、請求項16に記載の方法。
  18. 前記ミラーが、回転可能なミラーを含む、請求項15に記載の方法。
  19. 前記回転可能なミラーが、三角形または矩形のプリズム形状を含み、前記回転可能なミラーが、3つまたは4つの反射面を備える、請求項18に記載の方法。
  20. 前記ミラーを位置決めおよび再位置決めすることが、モータに、前記回転可能なミラーを回転軸を中心に回転させて、前記3つまたは4つの反射面のそれぞれの角度を調整させることを含む、請求項19に記載の方法。
JP2021552131A 2019-03-05 2020-03-04 リアルタイムlidar距離校正のためのシステムおよび方法 Pending JP2022522832A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024010763A JP2024056743A (ja) 2019-03-05 2024-01-29 リアルタイムlidar距離校正のためのシステムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962813860P 2019-03-05 2019-03-05
US62/813,860 2019-03-05
PCT/US2020/020936 WO2020180954A1 (en) 2019-03-05 2020-03-04 Systems and methods for real-time lidar range calibration

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024010763A Division JP2024056743A (ja) 2019-03-05 2024-01-29 リアルタイムlidar距離校正のためのシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2022522832A true JP2022522832A (ja) 2022-04-20

Family

ID=72337308

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021552131A Pending JP2022522832A (ja) 2019-03-05 2020-03-04 リアルタイムlidar距離校正のためのシステムおよび方法
JP2024010763A Pending JP2024056743A (ja) 2019-03-05 2024-01-29 リアルタイムlidar距離校正のためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024010763A Pending JP2024056743A (ja) 2019-03-05 2024-01-29 リアルタイムlidar距離校正のためのシステムおよび方法

Country Status (6)

Country Link
US (1) US20220155456A1 (ja)
EP (1) EP3918369A4 (ja)
JP (2) JP2022522832A (ja)
CN (1) CN113646661A (ja)
IL (1) IL286005A (ja)
WO (1) WO2020180954A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023107099A1 (en) * 2021-12-07 2023-06-15 Waymo Llc Light detection and ranging (lidar) device having a light-guide manifold

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007051877A (ja) * 2005-08-15 2007-03-01 Topcon Corp 測量装置
JP2008111855A (ja) * 2008-01-31 2008-05-15 Hokuyo Automatic Co 走査式測距装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5249157A (en) * 1990-08-22 1993-09-28 Kollmorgen Corporation Collision avoidance system
US7944548B2 (en) * 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses
US8692980B2 (en) * 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
US9784835B1 (en) * 2013-09-27 2017-10-10 Waymo Llc Laser diode timing feedback using trace loop
WO2015077614A1 (en) * 2013-11-22 2015-05-28 Schwarz Brent S Lidar scanner calibration
US10048374B2 (en) * 2016-03-21 2018-08-14 Velodyne Lidar, Inc. LIDAR based 3-D imaging with varying pulse repetition
EP3566070A4 (en) * 2017-01-05 2020-08-12 Innovusion Ireland Limited METHOD AND SYSTEM FOR ENCODING AND DECODING A LIDAR
US10168423B2 (en) * 2017-01-27 2019-01-01 Waymo Llc LIDAR sensor window configuration for improved data integrity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007051877A (ja) * 2005-08-15 2007-03-01 Topcon Corp 測量装置
JP2008111855A (ja) * 2008-01-31 2008-05-15 Hokuyo Automatic Co 走査式測距装置

Also Published As

Publication number Publication date
EP3918369A1 (en) 2021-12-08
WO2020180954A1 (en) 2020-09-10
US20220155456A1 (en) 2022-05-19
IL286005A (en) 2021-10-31
JP2024056743A (ja) 2024-04-23
CN113646661A (zh) 2021-11-12
EP3918369A4 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
JP7008139B2 (ja) Lidarを使用した適応的範囲カバレッジのためのシステムおよび方法
CA3017735C (en) Integrated illumination and detection for lidar based 3-d imaging
JP6935007B2 (ja) Lidar送光器および受光器の共有導波路
JP7242849B2 (ja) 再帰反射体のマッピングのための方法およびシステム
JP7411027B2 (ja) 乗物センサの可変ビーム間隔、タイミング、およびパワー
KR102506579B1 (ko) 잡음 적응형 솔리드-스테이트 lidar 시스템
CN110187357B (zh) 三维图像重构的激光主动成像系统
CN115575928A (zh) Lidar数据获取与控制
CN110691983A (zh) 具有结构光及集成照明和检测的基于lidar的3-d成像
US20220146680A1 (en) LiDAR System with Transmit Optical Power Monitor
JP2024056743A (ja) リアルタイムlidar距離校正のためのシステムおよび方法
CN108710118A (zh) 一种激光雷达
WO2020142941A1 (zh) 一种光发射方法、装置及扫描系统
KR102057199B1 (ko) 넓은 시야각 구조를 갖는 고효율 무회전 스캐닝 라이다 시스템
US20220120899A1 (en) Ranging device and mobile platform
US11635374B2 (en) Optical testing apparatus
CN114641702B (zh) 多层光学器件和系统
WO2022126429A1 (zh) 测距装置、测距方法和可移动平台
CN115327551A (zh) 激光雷达
WO2020142921A1 (zh) 一种光探测模组及测距装置
CN114503007B (zh) 激光扫描装置和激光扫描系统
KR102105310B1 (ko) 고효율 무회전 스캐닝 라이다 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230929