JP2022530363A - 多次元材料感知システム及び方法 - Google Patents

多次元材料感知システム及び方法 Download PDF

Info

Publication number
JP2022530363A
JP2022530363A JP2021561860A JP2021561860A JP2022530363A JP 2022530363 A JP2022530363 A JP 2022530363A JP 2021561860 A JP2021561860 A JP 2021561860A JP 2021561860 A JP2021561860 A JP 2021561860A JP 2022530363 A JP2022530363 A JP 2022530363A
Authority
JP
Japan
Prior art keywords
additional
polarization
information
processor
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021561860A
Other languages
English (en)
Inventor
エイ. コトフ、ニコラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Michigan
Original Assignee
University of Michigan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Michigan filed Critical University of Michigan
Publication of JP2022530363A publication Critical patent/JP2022530363A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04Sorting according to size
    • B07C5/10Sorting according to size measured by light-responsive means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Abstract

多次元光撮像、検出、及び測距(ライダー)システム及び方法は、物体に向けて放出される複数の光パルスを生成するように構成されたレーザ・デバイスと、物体から戻る複数の光パルスの一部分を受信するように構成された検出器と、検出器によって受信された複数の光パルスに基づいて、物体を表すポイント・クラウドを生成するように構成されたプロセッサとを随意に含み、ポイント・クラウドは複数のポイントを有し、各ポイントは、物体上のポイントのロケーションを表す3次元位置座標を有し、物体上のポイントのロケーションにおける物体の材料を示す材料情報、又は物体上のポイントのロケーションからの物体の表面から戻る複数の光パルスの少なくとも1つの光学特性を示す光学情報のうちの少なくとも1つを表す少なくとも1つの追加の値を有する。

Description

本出願は、2019年4月17日に出願した米国仮出願第62/835、256号の利益を主張するものである。上記出願の開示全体が参照により本明細書に組み込まれている。
本開示は、材料感知システム及び方法に関し、より詳細には、材料感知システム及び方法を作製し、使用するための多次元材料感知システム及び方法に関する。
本セクションは、必ずしも従来技術であるとは限らない、本開示に関係する背景情報を与える。
ライダー(LIDAR)は、パルス・レーザ光を用いて物体を照明することと、センサを用いて、反射されたパルスを測定することとによって、物体までの距離を測定する測量方法である。次いで、検出された物体のデジタル3D表現を作成するために、レーザ戻り時間と波長とにおける差が使用され得る。ライダーは、測地学、地理情報学(geomatics)、考古学、地理学、地質学、地形学(geomorphology)、地震学、林学(forestry)、大気物理学、レーザ・ガイダンス、航空機レーザ帯状マッピング(ALSM:airborne laser swath mapping)、及びレーザ高度計における適用例とともに、高解像度マップを生成するために使用され得る。ライダー技術はまた、自律車の制御及びナビゲーションのために使用され得る。
従来のライダー・デバイスは以下のように動作し得る。レーザ光源が特定の波長における偏光光又は非偏光光のパルスを生成する。光が最初に放出されたとき、飛行時間(time-of-flight)センサが初期時間を記録する。飛行時間は、光が進行する速度を使用することによって、光が光源から検出器まで進行する合計距離を決定するために使用される。
放出された光は、次いで、所与の角度で「ステアリング」される。この「ステアリング」は、光パルスを、様々な角度に向けられた複数のパルス成分にスプリットすることをも含むことができる。ステアリング角は、環境の包括的なマッピングのための特定の視野を得るために、時間とともに変化する。光が向けられた後に、光は、放出の前及び後に直線偏光光学系を通り得る。これらのタイプのライダーは、偏光ライダーとして知られており、位置合わせステップにおいて偏光光学系を使用し得る。
従来のライダー・デバイスは、一般に、大型で高価な光学レンズを採用する。その上、従来のライダー・デバイス中で利用される光学レンズは、水分に対して敏感であるので、徹底的な保護パッケージングを必要とし、それにより、それらの光学レンズがその中で採用されるライダー・デバイスの重量、サイズ、及び複雑さが増加する。自律車両及びロボット中の回転光学系(たとえばVelodyne-HDL64(商標)モデル)をもつライダー・システムの実装の1つのよく知られている問題は、それらのライダー・システムの大きいサイズ及び高いコストである。レーザ・ビームをステアリングするためのデバイス全体の回転により、信頼性が低下し、小型化が制限され、エネルギー消費量が増加する。ソリッドステート・ビーム・ステアリングに基づくライダー・システムはこの問題に対処するが、それらの実装は、正確さ及びレンジが十分でないことによって妨げられる。別の問題は、悪天候におけるライダー及びすべての他のセンサの性能である。約900~940nmの波長をもつ現在利用されているレーザ・ビームは、雨、霧、及び雪によって強く散乱させられ得、したがって、それらのレーザ・ビームの読出し値(read-out)は、そのような条件の下では極めて不確かになり得る。
さらに、従来のライダー・デバイス及びそれらの付属分析システムは、物体認識を正確に実行するそれらの能力が限られていることが明らかになっている。たとえば、ライダー・ポイント・クラウドは、レーザ光源から物体までの距離読出し値のみに基づくことが知られている。人間界のこの表現では、ベンチで休んでいる人と、ベンチで休んでいる人の像とは同等である。その問題は、眠っている赤ん坊と、その赤ん坊の隣に寝かせてある同様のサイズのプラスチック人形とについても、或いは、遠方の黒い車を舗道と区別しようとするときにも当てはまる。これらの物体を区別し、周囲を解釈することの負担は、これらの3Dマップの計算処理が負っている。
物体の形状に基づく物体の適切な分類は、ささいな問題ではなく、特に、様々な環境の極めて動的な性質を考慮する、複雑なアルゴリズムと大きい計算能力とを必要とする。さらに、現在のビーム・ステアリング方法は、ライダー・クラウド中のポイントのクラスタリングとバンディングとを引き起こし、その結果、3D画像とそれらの個々のポイントとのあいまいな解釈を生じるので、一般的なライダー・ハードウェアは適切な物体認識及び分類をより一層困難にする。したがって、周囲の形状ベースの知覚は、高い計算コストと、大きいエネルギー消費量と、長い処理時間とを要求する。
したがって、改善されたライダー・システム及び方法、特に、物体がそれから形成される材料を識別する能力を提供するライダー・システム及び方法が望まれる。
米国特許出願第16/518、230号 米国特許出願第15/092、885号(米国公報第2016/0299270号)
XUら、「Kirigami Nanocomposites as Wide-Angle Diffraction Gratings」、ACS Nano、10(6)、 6156~6162頁(2016) Lizhi XUら、「Origami and Kirigami Nanocomposites」、ACS Nano、11(8)7587~7599頁(2017) Jing Lyuら、「Stretchable conductors by kirigami patterning of aramid-silver nanocomposites with zero conductance gradient」、Appl.Phys.Lett、111、161901(2017) W. J. Choiら、「Chiroptical Kirigami Modulators for Terahertz Circular Dichroism Spectroscopy Biomaterials」、Nature Materials、18、820~826頁(2019) Kotov、N.A.ら、「Ultrathin graphite oxide-polyelectrolyte composites prepared by self-assembly:Transition between conductive and non-conductive states」、Adv.Mater.8、637~641頁(1996) Kotov、N.A.ら、「Layer-by-Layer Self-assembly of Polyelectrolyte-Semiconductor Nanoparticle Composite FilMs」、J.Phys.CheM.、99、13065~13069頁(1995)
本セクションは、本開示の一般的な概要を与えるものであり、本開示の完全な範囲又は本開示の特徴のすべての包括的な開示ではない。
いくつかの態様では、本開示は、物体に向けて放出された複数の光パルスを生成するように構成されたレーザ・デバイスと、物体から戻る複数の光パルスの一部分を受信するように構成された検出器と、検出器によって受信された複数の光パルスに基づいて物体を表すポイント・クラウドを生成するように構成されたプロセッサとを備え、ポイント・クラウドは複数のポイントを有し、各ポイントは、物体上のポイントのロケーションを表す3次元位置座標を有し、物体上のポイントのロケーションにおける物体の材料を示す材料情報、又は物体上のポイントのロケーションからの物体の表面から戻る複数の光パルスの少なくとも1つの光学特性を示す光学情報のうちの少なくとも1つを表す少なくとも1つの追加の値を有する、システムを提供する。
一態様では、光学情報は、偏光情報と、ラマン散乱情報と、円偏光二色性(circular dichroism)情報とのうちの少なくとも1つを含む。
一態様では、少なくとも1つの追加の値は、ポイントのロケーションにおける物体の表面上の材料を示す材料情報を表し、プロセッサは、ポイントのロケーションにおける物体の表面から戻る複数の反射のうちの反射の少なくとも1つの光学特性を示す光学情報に基づいて材料情報を生成するように構成される。
さらなる態様では、プロセッサは、ポイントのロケーションにおける物体の表面から戻る反射の、偏光情報と、ラマン散乱情報と、円偏光二色性情報とのうちの少なくとも1つに基づいて材料情報を生成するように構成される。
一態様では、物体は複数の物体のうちの1つであり、本システムは、レーザ・デバイスを越えて複数の物体を輸送するように構成されたコンベヤ・ベルトと、複数の物体を複数の容器にソートするソータとをさらに備え、少なくとも1つの追加の値は、ポイントのロケーションにおける物体の表面の材料を示す材料情報を表し、プロセッサは、材料情報に基づいて物体を複数の容器のうちの1つにソートするようにソータを制御するように構成される。
一態様では、本システムは、物体に向けて放出される複数の追加の光パルスを生成するように構成された少なくとも1つの追加のレーザ・デバイスであって、レーザ・デバイスとは異なるロケーションに位置する、少なくとも1つの追加のレーザ・デバイスと、物体から戻る複数の追加の光パルスの一部分を受信するように構成された少なくとも1つの追加の検出器であって、検出器とは異なるロケーションに位置する、少なくとも1つの追加の検出器とをさらに備え、プロセッサは、少なくとも1つの追加の検出器によって受信された複数の追加の光パルスにさらに基づいて、物体を表すポイント・クラウドを生成するように構成される。
他の変形形態では、本開示は、少なくとも1つのプロセッサを用いて、光/物質相互作用の物理法則に基づいてニューラル・ネットワークのパラメータを初期化することと、レーザ・デバイスを用いて、所定の材料組成を有する物体に向けて複数の光パルスを放出することと、検出器を用いて、物体から戻る複数の光パルスの複数の反射を受信することと、プロセッサを用いて、複数の反射の光学特性をニューラル・ネットワークに入力することと、プロセッサを用いて、入力された光学特性に基づくニューラル・ネットワークからの物体の予想された材料組成を受信することと、プロセッサを用いて、予想された材料組成を所定の材料組成と比較することと、プロセッサを用いて、比較に基づいてニューラル・ネットワークのパラメータを調整することとを含む方法を提供する。
一態様では、パラメータを調整することは、機械学習アルゴリズムを使用して実行される。
一態様では、本方法は、追加の物体のための追加の予想された材料組成のうちの1つと、追加の物体の追加の既知の材料組成のうちの対応する1つとの間の差が所定の誤差限界よりも小さくなるまで、予想された材料組成と追加の既知の材料組成との比較に基づいてニューラル・ネットワークのパラメータを繰り返し調整することをさらに含み、追加の予想された材料組成は、レーザ・デバイスによって追加の物体から反射された複数の追加の光パルスの複数の追加の反射についての光学特性を入力することによって生成される。
他の変形形態では、本開示は、物体の表面から反射された周囲光を受信し、物体に関連する画像データ、及び物体の表面から反射された周囲光に関連する偏光データを生成するように構成された偏光カメラを備える、別のシステムを提供する。本システムは、画像データと偏光データとに基づいて、物体を表すポイント・クラウドを生成するように構成されたプロセッサをさらに備え、ポイント・クラウドは複数のポイントを有し、各ポイントは、物体上のポイントのロケーションを表す3次元位置座標と、物体上のポイントのロケーションにおける物体の材料を示す材料情報とを有する。プロセッサは、物体上のポイントのロケーションからの物体から反射された周囲光の偏光に基づいて材料情報を決定するようにさらに構成される。
一態様では、プロセッサは、周囲光偏光と物体材料との間の相関情報を記憶する材料データベースにアクセスすることと、材料データベースに基づいて、及び物体上の各ポイントのロケーションからの物体から反射された周囲光の偏光に基づいて、物体上の各ポイントのロケーションにおける物体の材料を示す材料情報を決定することとを行うようにさらに構成される。
一態様では、プロセッサは、物体上の各ポイントのロケーションにおける物体の材料を示す材料情報に基づいて、物体を構成する複数の材料を決定することと、物体を構成する複数の材料に基づいて物体を分類すること又は識別することのうちの少なくとも1つを実行することとを行うようにさらに構成される。
さらなる一態様では、プロセッサは、複数の物体と、複数の物体の各物体を構成する材料との間の相関情報を記憶する物体データベースにアクセスすることと、物体データベースに記憶された相関情報と、物体を構成する複数の材料とに基づいて、物体を分類すること又は識別することのうちの少なくとも1つを実行することとを行うようにさらに構成される。
一態様では、プロセッサは、物体の表面から反射された周囲光に関連する偏光データと、偏光カメラによって検出された追加の物体の表面から反射された周囲光に関連する追加の偏光データとの間の差に基づいて、物体と追加の物体との間の、画像データ内の縁部を決定するようにさらに構成される。
一態様では、追加の光源は、偏光カメラを用いて物体を撮像するために利用され得る。この光源は、同じ知覚システム中で利用されているライダーのレーザであり得る。
一態様では、材料の偏光シグネチャは、物体からの光の反射角及び散乱角とともに変わるので、偏光カメラによって取得された画像からの材料識別は、画像の時間進行及び距離進行を使用することによって達成され得る。偏光画像の時間依存性及び距離依存性のAI/ML分析の結果として、材料及び物体識別の正確さが向上する。
一態様では、物体は複数の物体のうちの1つであり、本システムは、偏光カメラを越えて複数の物体を輸送するように構成されたコンベヤ・ベルトと、複数の物体を複数の容器にソートするソータとをさらに備える。プロセッサは、材料情報に基づいて物体を複数の容器のうちの1つにソートするようにソータを制御するように構成される。
一態様では、本システムは、偏光カメラとは異なるロケーションに位置し、物体に関連する追加の画像データと追加の偏光データとを生成するように構成された、少なくとも1つの追加の偏光カメラをさらに備え、プロセッサは、少なくとも1つの追加の偏光カメラによって生成された追加の画像データと追加の偏光データとにさらに基づいて、物体を表すポイント・クラウドを生成するように構成される。
他の変形形態では、本開示は、少なくとも1つのプロセッサを用いて、光/物質相互作用の物理法則に基づいてニューラル・ネットワークのパラメータを初期化することと、偏光カメラを用いて、物体から反射された周囲光の複数の反射を受信することとを含む、別の方法を提供する。本方法は、プロセッサを用いて、物体から反射された周囲光の複数の反射についての偏光情報を決定することと、プロセッサを用いて、複数の反射についての偏光情報をニューラル・ネットワークに入力することと、プロセッサを用いて、入力された偏光情報に基づくニューラル・ネットワークからの物体の予想された材料組成を受信することとをさらに含む。本方法は、プロセッサを用いて、予想された材料組成を所定の材料組成と比較することと、プロセッサを用いて、比較に基づいてニューラル・ネットワークのパラメータを調整することとをさらに含む。
一態様では、パラメータを調整することは、機械学習アルゴリズム及び/又は人工知能アルゴリズムを使用して実行される。
一態様では、本方法は、追加の物体のための追加の予想された材料組成のうちの1つと、追加の物体の追加の既知の材料組成のうちの対応する1つとの間の差が所定の誤差限界よりも小さくなるまで、予想された材料組成と追加の既知の材料組成との比較に基づいてニューラル・ネットワークのパラメータを繰り返し調整することをさらに含み、追加の予想された材料組成は、追加の物体から反射され、偏光カメラによって受信された周囲光の複数の追加の反射についての追加の偏光情報を入力することによって生成される。
適用可能性のさらなる分野は、本明細書で与えられる説明から明らかになろう。この概要における説明及び具体例は、単に例示の目的のみのためのものであり、本開示の範囲を限定するものではない。
本明細書で説明する図面は、すべての可能な実装形態とは限らない、選択された実施例の説明の目的のみのためのものであり、本開示の範囲を限定するものではない。
本開示のいくつかの態様による、Mライダー・システムを示す機能図である。 本開示のいくつかの態様による、Mライダー・システムにおいて使用するために構成されたナノ切り紙ナノ複合物シートの走査型電子顕微鏡(SEM:scanning electron microscope)画像である。 本開示のいくつかの態様による、Mライダー・システムにおいて使用するために構成されたナノ切り紙ナノ複合物シートの走査型電子顕微鏡(SEM)画像である。 本開示のいくつかの態様による、0%のひずみレベルのためのナノ切り紙ベースのグラフェン複合物からのレーザ回折パターンを示す画像である。 本開示のいくつかの態様による、50%のひずみレベルのためのナノ切り紙ベースのグラフェン複合物からのレーザ回折パターンを示す画像である。 本開示のいくつかの態様による、100%のひずみレベルのためのナノ切り紙ベースのグラフェン複合物からのレーザ回折パターンを示す画像である。 本開示のいくつかの態様による、ナノ切り紙ベース光学要素を製造するための代表的な簡略化されたプロセスを示す図である。 本開示のいくつかの態様による、ナノ切り紙ベース光学要素を製造するための代表的な簡略化されたプロセスを示す図である。 本開示のいくつかの態様による、ナノ切り紙ベース光学要素を製造するための代表的な簡略化されたプロセスを示す図である。 本開示のいくつかの態様による、ナノ切り紙ベース光学要素を製造するための代表的な簡略化されたプロセスを示す図である。 本開示のいくつかの態様による、ウエハ上に作製されたナノ切り紙ナノ複合物光学要素の写真を示す図である。 本開示のいくつかの態様による、ウエハ上に作製された0%未満のひずみの図5aのナノ切り紙ナノ複合物光学要素のSEM画像を示す図である。 本開示のいくつかの態様による、ウエハ上に作製された100%未満のひずみの図5aのナノ切り紙ナノ複合物光学要素のSEM画像を示す図である。 本開示のいくつかの態様による、人工知能アルゴリズムと偏光情報とを使用した材料及び表面テクスチャ(MST:materials and surface texture)についての混同行列を示す図である。 本開示のいくつかの態様による、他の材料と比較したシミュレートされたブラック・アイスの検出のための混同行列を示す図である。 本開示のいくつかの態様による、Mライダー・システムを組み込んだブラック・アイス検出ユニットの一例を示す図である。 本開示のいくつかの態様による、Mライダー・システムを使用して物体分類を実行する方法を示すフローチャートである。 線状模様としてその中に形成された代表的な複数の切り紙カットを有する平坦な複合材料の概略図である。 本開示のいくつかの態様による、車両に取り付けるためのMライダー・システムを示すダイヤグラムである。 本開示のいくつかの態様による、物体の多次元ポイント・クラウドを示す図である。 本開示のいくつかの態様による、ライダー・システムによって生成された入力された光学特性に基づいて、物体の予想された材料情報を出力するニューラル・ネットワークを較正する方法を示すフローチャートである。 本開示のいくつかの態様による、例示的なリサイクリング・システムのダイヤグラムである。 本開示のいくつかの態様による、物体の多次元ポイント・クラウドを示す図である。 本開示のいくつかの態様による、患者の皮膚の多次元ポイント・クラウドを示す図である。 偏光カメラの画像を示す図である。 偏光カメラの画像を示す図である。 偏光カメラの画像を示す図である。 非偏光カメラと偏光カメラとを使用した物体のグループの画像を示す図である。 本開示のいくつかの態様による、人工知能アルゴリズムと偏光情報とを使用したMSTについての混同行列を示す図である。
図面のいくつかのビュー全体にわたって、対応する参照番号は対応する部分を示す。
本開示が徹底的であり、範囲を当業者に完全に伝達するように、例示的な実施例が与えられる。本開示の実施例の完全な理解を与えるために、特定の組成、構成要素、デバイス、及び方法の実例など、多数の具体的な詳細が記載されている。具体的な詳細が採用される必要はないこと、例示的な実施例は多くの異なる形態で実施され得ること、及びいずれも本開示の範囲を限定するように解釈されるべきではないことが当業者に明らかになろう。いくつかの例示的な実施例では、よく知られているプロセス、よく知られているデバイス構造、及びよく知られている技術については詳細に説明しない。
本明細書で使用される用語は、特定の例示的な実施例のみについて説明する目的のためであり、限定的なものではない。本明細書で使用される際、単数形「a」、「an」、及び「the」は、文脈が別段明示しない限り、複数形をも含むものであり得る。「を備える(comprises)」、「備える(comprising)」、「含む(including)」、及び「有する(having)」という用語は包含的であり、したがって、述べられた特徴、要素、組成、ステップ、整数、動作、及び/又は構成要素の存在を明示するが、1つ又は複数の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を排除しない。「備える(comprising)」というオープンエンドの用語は、いくつかの態様において、本明細書に記載された様々な実施例を説明し、クレームするために使用される非制限的な用語として理解されるべきであるが、その用語は、代わりに、「からなる(consisting of)」又は「本質的にからなる(consisting essentially of)」など、より限定的で制限的な用語になることが代替的に理解され得る。したがって、組成、材料、構成要素、要素、特徴、整数、動作、及び/又はプロセス・ステップを具陳する任意の所与の実施例について、本開示はまた、特に、そのような具陳された組成、材料、構成要素、要素、特徴、整数、動作、及び/又はプロセス・ステップからなるか、又は本質的にそれらからなる実施例を含む。「からなる」の場合、代替実施例は、追加の組成、材料、構成要素、要素、特徴、整数、動作、及び/又はプロセス・ステップを除外するが、「本質的にからなる」の場合、基本的な特性及び新規の特性に重大な影響を及ぼす追加の組成、材料、構成要素、要素、特徴、整数、動作、及び/又はプロセス・ステップはそのような実施例から除外されるが、基本的な特性及び新規の特性に重大な影響を及ぼさない組成、材料、構成要素、要素、特徴、整数、動作、及び/又はプロセス・ステップは実施例中に含まれ得る。
本明細書で説明するいかなる方法ステップ、プロセス、及び動作も、実行の順序として特に特定されない限り、説明された又は示された特定の順序でのそれらの実行を必ず要求するものとして解釈されるべきではない。また、別段に示されていない限り、追加又は代替のステップが採用され得ることを理解されたい。
構成要素、要素、又は層が、別の要素又は層「の上にある」、「に係合させられた」、「に接続された」、又は「に結合された」として言及されるとき、それは、直接、他の構成要素、要素、又は層の上にあるか、それらに係合、接続又は結合され得るか、或いは、介在する要素又は層が存在し得る。対照的に、要素が別の要素又は層「直接の上にある」、「直接に係合させられた」、「直接に接続された」、又は「直接に結合された」として言及されるとき、介在する要素又は層は存在し得ない。要素間の関係について説明するために使用される他の単語は、同様の様式で(たとえば、「~の間の」対「直接~の間の」、「隣接する」対「直接隣接する」など)解釈されるべきである。本明細書で使用される際、「及び/又は」という用語は、関連する記載された項目のうちの1つ又は複数の任意の及びすべての組合せを含む。
第1の、第2の、第3のなどの用語は、様々なステップ、要素、構成要素、領域、層及び/又はセクションについて説明するために本明細書で使用され得るが、これらのステップ、要素、構成要素、領域、層及び/又はセクションは、別段に示されていない限り、これらの用語によって限定されるべきでない。これらの用語は、1つのステップ、要素、構成要素、領域、層又はセクションを別のステップ、要素、構成要素、領域、層又はセクションと区別するためにのみ使用され得る。「第1の」、「第2の」などの用語、及び他の数詞は、本明細書で使用されるとき、文脈によって明示されない限り、シーケンス又は順序を暗示しない。したがって、以下で説明する第1のステップ、要素、構成要素、領域、層又はセクションは、例示的な実施例の教示から逸脱することなく、第2のステップ、要素、構成要素、領域、層又はセクションと呼ばれ得る。
「前(before)」、「後(after)」、「内側(inner)」、「外側(outer)」、「下方(beneath)」、「下(below)」、「下側(lower)」、「上(above)」、「上側(upper)」など、空間的又は時間的に相対的な用語は、図に示されているように、1つの要素又は特徴と別の要素又は特徴との関係について説明するために説明の容易さのために本明細書で使用され得る。空間的又は時間的に相対的な用語は、図に示されている方位に加えて、使用又は動作におけるデバイス又はシステムの異なる方位を包含するものであり得る。
本開示全体にわたって、数値は、所与の値からの小さい偏差、並びに、述べられた値をほぼ有する実施例とともに、述べられた値を正確に有する実施例を包含するように、近似的な測度又は範囲の限界を表す。発明を実施するための形態の最後に与えられる実施例(working example)における以外に、添付の特許請求の範囲を含む、本明細書における(たとえば、量又は条件の)パラメータのすべての数値は、数値の前に「約」が実際に現れるか否かにかかわらず、すべての場合において「約」という用語によって修正されているとして理解されるべきである。「約(about)」は、(その値における厳密さへのいくらかの接近、その値にほぼ又はかなり近い、ほぼ(nearly)とともに)述べられた数値がいくらかのわずかな不正確さを許容することを示す。「約」によって与えられた不正確さが、この通常の意味を用いて当技術分野において別段に理解されない場合、「約」は、本明細書で使用される際、少なくとも、そのようなパラメータを測定し、使用する通常の方法から生じ得る変動を示す。たとえば、「約」は、5%以下、随意に4%以下、随意に3%以下、随意に2%以下、随意に1%以下、随意に0.5%以下の変動、及びいくつかの態様では、随意に0.1%以下の変動を含み得る。
さらに、範囲の開示は、すべての値と、範囲について与えられる終点及びサブレンジを含む、範囲全体内でさらに分割された範囲との開示を含む。
次に、添付の図面を参照しながら、例示的な実施例についてより完全に説明する。
いくつかの態様では、本開示は、物体の距離だけでなく、物体の材料組成をも検出するように構成されたライダー・システム及び方法を提供する。いくつかの実例によれば、材料組成分類は、機械学習アルゴリズムを使用して処理される偏光分析によって達成され得る。
本明細書で説明するシステムの光学的要素は、偏光のシフトが後で正確に測定され得るように、光源(たとえばレーザ)から放出された光のすべてを既知の偏光状態に至らせるように構成され得る。この光は、次いで、この光が物体界面(物体は1つ又は複数の材料から構成される)に到達するまで進行し、そのポイントにおいて光の一部分が拡散反射されて戻る。
本開示では、とりわけ、ライダー・クラウドの各ポイントにおける材料及び表面テクスチャ(MST)分類を追加して3D空間のセマンティック・マップを作成することによる、周囲の知覚の新しい方法について説明する。戻る光子の偏光シグネチャから推論されるMST分類により、3Dポイント・クラウドのあいまいさが低減され、様々な物体(金属ポイント、ガラス・ポイント、粗い誘電体ポイントなど)の認識が容易になり得る。偏光分類は、表面接平面推定(surface tangent plane estimation)に先行し得、したがって、同様の偏光シグネチャをもつポイントをグループ化することによって物体を事前識別し得る。MST分類を備えたライダーを本明細書ではMライダーと呼ぶ。
本開示の一実例によれば、Mライダー技術は、近赤外光学系など、従来の大型の光学系ではなく、切り紙光学系の使用によって、軽量で快適になるように構成され得る。たとえば、ライダー・システムは、「Kirigami Chiroptical Modulators for Circular Dichroism Measurements in Terahertz and Other Parts of Electromagnetic Spectrum」という名称の2019年7月22日に出願されたKotovらの米国特許出願第16/518、230号に記載されているものなど、変調器として切り紙複合物を採用することができる。そのようなシステムは、XUら、「Kirigami Nanocomposites as Wide-Angle Diffraction Gratings」、ACS Nano、10(6)、6156~6162頁(2016)、及びLizhi XUら、「Origami and Kirigami Nanocomposites」、ACS Nano、11(8)7587~7599頁(2017)に記載されている、切り紙ベースのシステムなど、光を回析することが可能な超強力材料の周期的に修正される薄いシートの利用を含み得る。本開示において参照又は引用されるすべての特許、特許出願、論文、及び文献の関連部分は、参照により本明細書に組み込まれる。切り紙シート構成要素上に加えられたひずみを変動させることにより、レーザ・ビームの回折角が変化する。変調は、圧電デバイスによっても、又は導電性切り紙複合物に電界を印加することによっても実現され得る(Jing Lyuら、「Stretchable conductors by kirigami patterning of aramid-silver nanocomposites with zero conductance gradient」、Appl.Phys.Lett、111、161901(2017))。そのような切り紙複合物変調器を組み込むことにより、広角、軽量で低コストのライダーが得られる。その上、切り紙変調器は、光周波数からテラヘルツ以上にまでの広範囲のレーザ周波数を変調するように適応され得る(W.J.Choiら、「Chiroptical Kirigami Modulators for Terahertz Circular Dichroism Spectroscopy Biomaterials」、Nature Materials、18、820~826頁(2019))。
一実例によれば、本明細書で説明するMライダー・システム及び方法は、自動化の程度が異なる車両のためのブラック・アイスの検出において使用され得る。
次に図1を参照すると、代表的な簡略化されたMライダー・システムが与えられている。Mライダー・システム100は、レーザ102と、ビーム・ステアラ106と、第1の偏光子114と、第2の偏光子116と、第1の偏光検出器122と、第2の偏光検出器124と、プロセッサ126とを含み得る。図1は、第1の偏光子114及び第2の偏光子116と、第1の偏光検出器122及び第2の偏光検出器124とを示しているが、いくつかの実装形態によれば、単一の偏光子(たとえば第1の偏光子114)及び単一の偏光検出器(たとえば第1の偏光検出器122)のみが、本開示の教示から逸脱することなくシステム100の一部として含まれ得る。さらに、いくつかの実例によれば、3つ以上の偏光子及び/又は3つ以上の偏光検出器が、本明細書の教示から逸脱することなくシステム100の一部として含まれ得る。
簡単及び例示の目的で、本開示の残り全体にわたって、第1の偏光子114はs偏光直線偏光子114として扱われる。同様に、簡単及び例示の目的で、第2の偏光子116はp偏光直線偏光子116として扱われる。さらに、第1の偏光検出器122はp偏光検出器122として扱われ、第2の偏光検出器はs偏光検出器124として扱われる。
しかしながら、当業者によって諒解されるように、偏光子114、116は、本明細書の教示から逸脱することなく、様々な異なるタイプの偏光のために構成され得る。たとえば、所与の偏光子は、直線偏光(たとえば、sタイプ又はpタイプの直線偏光)、右円偏光、左円偏光、楕円偏光、又は当技術分野で知られている任意の他の好適なタイプの偏光を実行するように構成され得る。同様に、所与の検出器は、直線偏光光(たとえば、sタイプ又はpタイプの直線偏光光)、右円偏光光、左円偏光光、楕円偏光光、又は当技術分野で知られている任意の他のタイプの偏光光を検出するように構成され得る。いくつかの実例によれば、光ビーム(すなわち、2つ以上の光パルスの組合せ)の偏光は、検討中の1つ又は複数の物体についての追加の情報を取得するためにパルスごとに変調され得る。
以下でさらに詳細に説明するように、システム100は、物体110を構成する1つ又は複数の材料を検出し、検出された材料に少なくとも部分的に基づいて、物体110を分類するように構成され得る。いくつかの実例によれば、物体分類は、限定はしないが、ニューラル・ネットワークベースの人工知能を含む、1つ又は複数の人工知能アルゴリズムを使用して実行され得る。
動作において、システム100は以下のように機能し得る。レーザ102は、1つ又は複数の偏光又は非偏光光パルスを生成する(すなわち、放出する)ように構成され得、1つ又は複数の偏光或いは非偏光光パルスは偏光/非偏光光ビーム104を集合的に形成する。図1に示された実例によれば、各パルスは、(図1に、ビーム104に沿ったドットによって表された)s偏光成分と、(図1に、ビーム104を通って垂直方向に進む両方向矢印によって表された)横p偏光成分とを含む。代替的に(及び異なるタイプの偏光光に関する前述の説明とともに)、パルスは、たとえば、左及び右円偏光シーケンス、楕円偏光シーケンス、上記の任意の組合せ、又は任意の他の好適な偏光光シーケンスを含み得る。
いくつかの実例によれば、レーザ102は、毎秒1つから100万個超までのいずれかのパルスを生成するように構成され得る。さらに、いくつかの実装形態によれば、レーザ102は、可視光、紫外光、赤外光などの範囲内の波長を有する光を生成し得る。可視光は、約390nmから約750nmまでにわたる波長と、(約0.75μmから約1.4μmまでにわたる近赤外(NIR)と、約15μmから1mmまでにわたる遠赤外(FIR)とを含む)赤外放射(IR)とを有する。テラヘルツ(THz)・ダイアペーソン(diapason)としても知られる電磁スペクトルの遠赤外(FIR)部は、約100μmから約1mmまでの光子波長と、約0.001eVから約0.01eVまでのエネルギーとを有する。いくつかの変形形態では、レーザ102は、本開示の教示から逸脱することなく、550ナノメートル(nm)、808nm、905nm、又は1550nmのパルス・レーザ-、又はレーザの任意の他の好適な波長を生成し得る。たとえば、ホーム・ロボティクス、自律車両、及びマシン・ビジョンのための実装形態は、800nmを上回る、目に安全な周波数を有するレーザを採用し得る。屋外適用例の場合、たとえば、約900nm~1550nmの、水透明度ウィンドウ(water transparencies windows)中の光ビームが好適に採用され得る。いくつかの実装形態によれば、レーザ102によって所与のパルスが生成されると、実行可能命令を実行するプロセッサ126は、パルスが生成された初期時間を記録し得る。この「飛行時間」情報は、その後、光速を使用することによって物体110までの距離を計算するために利用され得る。
ビーム104は、レーザ102によってビーム・ステアラ106中に導かれ得る。ビーム・ステアラ106は、偏光調整された光パルスを生成するように構成され得る。いくつかの態様では、偏光/非偏光光ビーム104の各偏光/非偏光パルスの偏光はビーム・ステアラ106によって調整される。本明細書で使用する際、偏光を調整することは、偏光を与えること又は偏光を変化させることを含み得る。したがって、ビーム・ステアラ106は、1つ又は複数の直線偏光光パルス(直線偏光光ビームaを集合的に形成する直線偏光光パルス)を生成するために、偏光/非偏光光ビーム104の各偏光/非偏光パルスの偏光を調整し得る。上記の実例は直線偏光を企図しているが、ビーム・ステアラ106は、いくつかの実例によれば、ビーム104を円偏光(たとえば、左又は右)又は楕円偏光させ得る。別の一実例によれば、ビーム・ステアラ106は、ビームに偏光をまったく適用しないことがある。たとえば、ビーム104がビーム・ステアラ106に入った際にビーム104がすでに偏光させられている場合、ビーム・ステアラ106は、生成された偏光調整された光パルスの特性をさらに修正(たとえば、パルスをスプリット又は変調)し得るが、前に偏光された光パルスの極性を調整する必要がないことがある。さらにまた、いくつかの実例によれば、ビーム・ステアラ106は、第1のタイプの偏光に従ってビームの第1のパルスを偏光させ、第2の異なるタイプの偏光に従って同じビームの第2のパルスを偏光させ得る。ビーム104の偏光を実行することに加えて、又はその代替として、ビーム・ステアラ106はまた、ビーム・ステアラ106から放出される任意のビーム(たとえばビーム108)の方向を制御し得る。さらにまた、ビーム・ステアラ106は、ビーム(たとえばビーム104)をいくつかの異なるビームにスプリットし得、それにより、一度に複数のビームをステアリングするために、ビームのうちの1つ又は複数が、定義された角度で放出される。この概念は、ビーム・ステアラ106から出ている多くの枝分かれした矢印に関して図1中に示されている。
さらに、又は代替的に、いくつかの実例では、ビーム・ステアラ106は、直線偏光光ビーム108を変調するように構成され得る。一実例では、ビーム・ステアラ106は切り紙ナノ複合物ビーム・ステアラなどを含み得る。この実例によれば、以下でさらに詳細に説明するように、ビーム・ステアラ106は、切り紙ナノ複合物ビーム・ステアラに加えられるひずみの量を増加又は減少させることによって、直線偏光光ビーム108を直線偏光させる及び/又は変調するように構成され得る。
さらに、一実例によれば、ビーム・ステアラ106は、p偏光のための非偏光光ビーム104の各非偏光パルスを直線偏光させることによって、非偏光光ビーム104の各非偏光パルスを直線偏光させるように構成され得る。この実例は図1に示されており、図1では、ビーム104は、ビーム・ステアラ106を通った後には、もはやs偏光成分を含まない(すなわち、ビーム104に示されていた「ドット」成分が直線偏光光ビーム108中にない)ことがわかる。代替態様では、直線偏光光ビーム108は、代わりにp偏光され得る。さらに、いくつかの態様では、ビーム・ステアラ106は、本明細書でさらに説明するように、物体110に向けて放出された直線偏光光ビーム108を修正、制御、及びステアリングし得る。ビーム・ステアラ106により、電磁波の動的な波長依存ビーム・ステアリング及び振幅変調が可能になり得る。
図1を続けると、直線偏光光ビーム108は物体110から拡散反射され得る。光の1つ又は複数のパルスは、直線偏光光ビーム108の反射バージョンを構成するビーム112を集合的に形成する。いくつかの実例によれば、反射された直線偏光光ビーム112は、直線偏光光ビーム108(すなわち、物体110からの反射前のビーム)とは異なる偏光を有し得る。状態のこの差は、(それぞれ、ビーム112の経路に沿ったドットと両方向矢印とによって反映されている)p偏光成分とs偏光成分の両方を含むビーム112によって示されているのに対して、ビーム108は、p偏光成分のみを含むように示されている。さらに、物体110は、その検出が望まれる1つ又は複数の異なる材料からなる任意の好適な物体(又は目標)を含み得る。上記及び以下のセクションでは反射された「直線」偏光光ビーム112であるとして説明されているが、いくつかの実例によれば、反射されたビーム112は、本明細書の教示から逸脱することなく、円偏光又は楕円偏光を含む様々な異なる方法で偏光させられ得る。
物体112から拡散反射された又は散乱させられた又は物体112によって別様に放出された、反射された直線偏光光ビーム112は、システム100のs偏光直線偏光子114及び/又はp偏光直線偏光子116を通り得る。いくつかの態様では、反射された又は散乱させられた又は別様に放出された直線偏光光ビーム112のそれぞれの部分がシステム100のs偏光直線偏光子114及び/又はp偏光直線偏光子116の両方を通る。s偏光直線偏光子114は、1つ又は複数の反射されたs偏光光パルス(反射されたs偏光光ビーム118を集合的に形成する1つ又は複数の反射されたs偏光光パルス)を生成するために、s偏光のためのビーム112を構成する1つ又は複数の光パルスを直線偏光させるように構成される。同様に、p偏光直線偏光子116は、1つ又は複数の反射されたp偏光光パルス(反射されたp偏光光ビーム120を集合的に形成する1つ又は複数の反射されたp偏光光パルス)を生成するために、p偏光のためのビーム112を構成する1つ又は複数の光パルスを直線偏光させるように構成される。いくつかの実例によれば、s偏光直線偏光子114及び/又はp偏光直線偏光子116は、ビーム・ステアラ106に関して上記で説明したタイプ、及び/又は図4a~図4d及び図5a~図5cに関して以下で説明するタイプの切り紙ナノ複合物など、切り紙ナノ複合物などを含み得る。しかしながら、いくつかの実例によれば、本明細書の教示から逸脱することなく、非切り紙ナノ複合物又は他の光デバイスがシステム100の一部として採用され得ることを当業者は認識しよう。
いくつかの実例によれば、物体110から反射された又は散乱させられた又は別様に放出された左及び右円偏光光又は楕円偏光光の偏光のために、偏光子114、116の同様の構成が利用され得る。
s偏光検出器122は、反射されたs偏光光ビーム118を形成する1つ又は複数の反射されたs偏光光パルスの各々の強度を検出するように構成され得る。さらに、いくつかの実装形態によれば、s偏光検出器122は、反射されたs偏光光ビーム118に関連する入射角を検出するように構成され得る。反射されたs偏光光ビーム118を形成する1つ又は複数の反射されたs偏光光パルスの検出された強度、及び/又は反射されたs偏光光ビーム118に関連する検出された入射角は、以下でさらに詳細に説明するように、(たとえば、MST分類を使用する)材料タイプ検出を実行するためにプロセッサ126によって利用され得る。
同様に、p偏光検出器124は、反射されたp偏光光ビーム120を形成する1つ又は複数の反射されたp偏光光パルスの各々の強度を検出するように構成され得る。さらに、いくつかの実装形態によれば、p偏光検出器124は、反射されたp偏光光ビーム120に関連する入射角を検出するように構成され得る。反射されたp偏光光ビーム120を形成する1つ又は複数の反射されたp偏光光パルスの検出された強度、及び/又は反射されたp偏光光ビーム120に関連する検出された入射角も、以下でさらに詳細に説明するように、材料タイプ検出を実行するためにプロセッサ126によって利用され得る。
プロセッサ126は、(i)ビーム118及び/又は120を形成する1つ又は複数の光パルスの検出された強度、及び/又は(ii)反射されたs偏光光ビーム118及び/又は反射されたp偏光光ビーム120に関連する検出された入射角に基づいて、物体110の少なくとも1つの材料を検出するように構成される。より詳細には、いくつかの実例によれば、プロセッサ126は、物体110を構成する1つ又は複数の材料を検出するために機械学習アルゴリズムを適用するように構成される。本明細書で使用する際、「機械学習学習アルゴリズムを適用すること」は、限定はしないが、メモリに記憶され、プロセッサによってアクセス可能な実行可能命令を実行することを含み得る。さらに、一実例によれば、材料検出のために使用される特定の機械学習アルゴリズムは人工ニューラル・ネットワークを含み得る。しかしながら、当技術分野で知られている他の機械学習アルゴリズムが、本開示の教示から逸脱することなく好適に採用され得る。
さらに、いくつかの実例によれば、プロセッサ126は、機械学習アルゴリズムを適用することによって、物体110の検出された材料に基づいて物体110を分類するように構成され得る。この場合も、物体分類のために使用される機械学習アルゴリズムは人工ニューラル・ネットワークを含み得る。しかしながら、当技術分野で知られている他の機械学習アルゴリズムが、本開示の教示から逸脱することなく好適に採用され得る。
図2に進む前に、図1に示されたシステム100など、Mライダー・システムを利用する、物体の材料を検出するためのプロセスの概観を以下に示す。
上記のように、本開示の1つの目的は、物体材料の検出を可能にすること、及びポイント・クラウド中の各ポイントにおいてより多くのデータを取得することによって、現代のライダー・デバイスのために必要なデータ処理を低減することである。この追加の偏光データは、機械学習アルゴリズムと組み合わせられたとき、限定はしないが、自律車両、マシン・ビジョン、医療適用例(たとえば、視覚障がい者を支援するためのデバイス)、及び高度なロボット工学を含む、様々な適用例のための物体認識を簡略化する、材料検出を可能にする。
本開示の例示的な実装形態によるMライダー・システムは以下のように動作し得る。垂直に配向した直線偏光子(たとえば、偏光子114、116)をもつ検出器のペア(たとえば、検出器122、124)は、戻り光(たとえば、直線偏光光ビーム112の反射バージョンを構成する光の1つ又は複数のパルス)を測定するために使用され得る。拡散後方散乱光(たとえば反射光112)の一部は、検出器(たとえば、検出器122、124)に向けられ、各検出器ペア(たとえば検出器ペア122/124)の前に配置された狭帯域干渉フィルタ(たとえば直線偏光子114、116)を通り得る。狭帯域干渉フィルタは、波長の小さい範囲(たとえば1~2nm)が通ることのみを可能にし得、それにより、周囲照明又は外部光源からの不要なノイズを低減し得る。
上記のシステムの他の実例によれば、本システムは、物体によって反射された又は散乱させられた又は別様に放出された円及び/又は楕円偏光光を検出し、その光に対して機械学習処理を実行するように構成され得る。
この選択性により、本開示によるMライダー・システム(たとえばシステム100)は、完全に独立して複数の波長を同時に測定するように構成され得る。次いで、たとえば、共偏光子(co-polarizer)及び/又は交差偏光子(cross-polarizer)を使用して、コヒーレント光が偏光させられ得る。物体(たとえば物体110)から反射したときの偏光のシフトに応じて、光が偏光子中を進行する際に、光の強度はいくらかの量だけ減少し得る。ビーム集束光学系(たとえば偏光子114、116)がコヒーレントな偏光光(たとえばビーム118、120)を検出表面(たとえば、検出器122、124の表面)のほうに向け、光が検出スクリーンに当たったロケーションに基づいて、戻る光がそれから進行した角度(すなわち入射角)が検出され得る。
検出器が光を識別すると、飛行時間センサ(たとえば、プロセッサ126中に実装された飛行時間センサ)は、その光パルスの進行時間を記録し得る。各光パルスは、共偏光検出器と交差偏光検出器の両方について各光パルスの強度が測定され得、これらの2つの値を組み合わせることにより、反射中に引き起こされた偏光効果を定量化することが可能になる。
このプロセスの後に、以下のパラメータ、すなわち、(i)ビームがステアリングされた際の初期角、(ii)後方散乱光がそれから戻った角度、(iii)放出から検出までの飛行時間、及び(iv)各検出器における強度が検出され得る。
検出器が異なるロケーションにあることにより、光の単一のパルスは、各検出器に到達するのに、わずかに異なる量の時間を要し得ることに留意されたい。システム形状、並びに強度と距離との間の関係を理解することによって、この差は補償され、1つの検出器における強度が正確に調整され得る。飛行時間データは、光源(たとえばレーザ102)と物体(たとえば物体110)との間の距離を決定するために使用され得、初期角及び戻り角とともに、Mライダー・システムに対する、空間中のそのポイントの特定のロケーションが決定され得る。これらの補償された強度値は、光パルスがそれから反射された材料を示す情報を含み得る。これらの値を利用すると、機械学習アルゴリズムは、ロバストで包括的な材料認識能力を与え得る。
光のパルスを放出し、光が物体から拡散反射し、反射された光が検出器によって測定され、光源に対する物体のロケーションが決定される、上記で説明したプロセスは、毎秒1回から数百万回のオーダーで繰り返され得る。毎回ポイントが生成され、これらのポイントは、ポイント・クラウドを作成するために同じ座標系上にマッピングされる。
ポイント・クラウドが生成されると、ポイントをクラスタ化して物体にするために、及び(たとえば、複数の物体が検出された場合)最終的に各物体のそれぞれの材料を特徴づけるために、1つ又は複数の機械学習アルゴリズムが使用され得る。ポイントは、たとえば、測定された強度の1つ又は複数の値に基づいて、また、いくつかの実例では、同様のポイントの近接度に基づいてクラスタ化され得る。
強度値を使用してクラスタが決定されると、ポイントのそのクラスタの材料を分類するために、測定された値を既知の材料のデータベースに相関させるために、機械学習又は人工知能アルゴリズムが使用され得る。このプロセスはシステム中のすべてのクラスタについて繰り返され得る。周囲の材料を理解することにより、(たとえば、自動車、ロボット、ドローンなどの中に実装される)システムは、物体自体が何であり得るかについて、より速く、より根拠のある決定を行うことが可能になる。そこから、伴う危険などの要因が評価され得、(たとえば、車両の前方のブラック・アイスを検出するシステムの場合)その後に決定が行われ得る。プロセスが時間とともに継続するにつれて、知覚された変化と、発生した周囲状況のさらに良い理解とから、より多くの情報が抽出され得る。
MST分類技術はまた、たとえば、ライダーによる高速MST分類に適応された特定の光応答をもつ反射ビームを生成するためのマクロスケール、マイクロスケール、ナノスケール、又は分子パターンを用いて塗装又はテクスチャ加工された、検出を向上させるために修正された表面をもつ、物体の検出に適用可能である。そのような表面処理の実例は、特定の直線偏光又は円偏光又は楕円偏光をもつ、反射された又は散乱させられた又は別様に放出された光を生成する添加剤を含んでいる塗料を含む。一事例では、金属ナノ/マイクロ/マクロ・ワイヤ又はアキシャル炭素ナノ材料(axial carbon nanomaterial)がベース塗料に添加される。配列パターンは、ランダム、直線、らせん、ヘリンボン(herring-bone)、又は特定の物体の高速識別を可能にする特定の偏光シグネチャを生成する任意の他のパターンであり得る。非限定的な例として、これは、道路上のマーカ、道路標識、バリア、パイロン、ガード・レール、車両、自転車、衣料、及び他の物体を作成するために使用され得る。
MST分類を容易にする表面処理の別の一実装形態は、道路マーカ、車両、自転車、衣料など、上記で説明したそのような物体をコーティングするために使用されるベース塗料へのキラル無機ナノ粒子の添加を含み得る。キラル・ナノ粒子は、ライダーによって使用されるビームへの特定の極めて強い円偏光応答を表示し得る。キラル・ナノ粒子は、特定の物体のための偏光シグネチャ(たとえば「バーコード」)を生成するために、特定の比率で塗料中に混合され得る。
物体の偏光タグ付けの別の一実例は、特定の偏光応答を生成する表面テクスチャ加工を使用することを含み得る。そのようなテクスチャ加工の一実例は、ライダー中のレーザへの規定された偏光応答を生じる特定の形状特性をもつ金属、半導体、絶縁又はセラミック・ナノ粒子のナノスケール・パターンを作成することを含み得る。そのようなパターンの2つの実例は、(a)物体からの反射された、散乱させられた、又は放出された光の直線偏光を生じる線形ナノスケール又はマイクロスケール表面特徴と、(b)特定のキラリティ(chirality)、したがって、物体からの反射された、散乱させられた、又は放出された光の円偏光を生じる、金属表面上の面外突出キラル・パターンとを含む。
いくつかの実例によれば、上記のシステム及び方法は、自律車両、機械学習、医療適用例、及び高度なロボット工学において使用するための材料を正確に認識するために採用され得る。
既存の従来のライダー・システムは、主に、一般に飛行時間データ又は位相シフトのいずれかを使用する、物体とレーザ光源との間の距離の測定を介して働く。そのような場合、物体は、クラウド中のポイントの配置における形状及びパターンに基づいて分類される。いくつかのより高度のライダー・ポイント・クラウド分類方法は、追加のパラメータ、すなわち全体強度(overall intensity)を利用する。
戻り光パルスの信号がどのくらい強いかに基づいて、システムは色の差を効果的に検出することができる。この追加のデータピースにより、ポイント・クラウド内の物体境界を認識することがより容易になり、すべてのポイントを分類するために必要とされる処理の量が減少する。しかしながら、自律車両のような適用例は、全体強度が達成することができない、より高い信頼度を必要とし得る。さらに、長距離における物体の検出は、従来のライダー・システムにおいて採用されるタイプの多点検出及び処理ではなく、MST分類を利用する単一点検出を用いて達成され得る。
したがって、本明細書で説明する方法は、マシン・ビジョンが物体認識に対して現在取っている手法を変更する。物体の識別情報を決定するために形状と動きと色とのみに依拠する代わりに、本明細書で説明するシステムは、また別のパラメータ、すなわち偏光を考慮に入れる。材料界面から反射すると、光は偏光のいくらかの変化を受ける。この偏光の変化は、共偏光フィルタと交差偏光フィルタの両方を通った後の光の強度を測定することによって定量化される。この追加のデータは、クラスタ化、ひいては、物体認識能力を著しく改善するために機械学習手法とペアにされ得る。旧来の物体認識方法は計算コストがかなり高い。本明細書で説明する手法は、現在の形状ベースの手法ではなく、材料ベースの手法を使用することによって、ライダーによって必要とされる処理能力を著しく低減し得る。
旧来の距離測定に加えて、本システムによって収集された偏光データにより、機械学習アルゴリズムは、物体がそれから構成されている材料を決定することが可能になる。現在のライダー・システムは周囲環境中の材料についてのアウェアネス又は情報を欠いている。得られたとき、そのような情報は、より優れた状況理解と、より賢明な決定とのためのコンテキストを与える。自律車両の場合、潜在的な危険の正確な適時の検出により意思決定能力が改善されるので、環境の理解のこの向上は乗員の安全の改善につながり得る。
次に図2a~図2bを見ると、Mライダー・システムに組み込まれるナノ切り紙ナノ複合物光学的構成要素を形成するために使用され得る、ナノ切り紙シートの走査型電子顕微鏡(SEM)画像が示されている。図2a~図2bに示されたものなど、光学活性な切り紙シートは、本開示のいくつかの実例によれば、長さ0.5~5μmのカット・パターンをもつ超強力ナノスケール複合物から製造され得る。いくつかの態様では、(高導電性複合材料を含む)複合材料は、「切り紙」として知られている日本古来の紙切り技術からの概念を使用することによって改変され得る。Lizhi Xuら、「Kirigami Nanocomposites as Wide-Angle Diffraction Gratings」、ACS Nano、10(6)、6156~6162頁(2016)、Lizhi Xuら、「Origami and Kirigami Nanocomposites」、ACS Nano、11(8) 7587~7599頁(2017)を参照されたい。切り紙手法は、複合材料又はナノ複合物材料など、平坦なポリマー材料上に網を生成する複数のカット又はノッチを使用することによって、弾性を設計するために使用され得る。(たとえば、ポリマー又は複合材料において、材料の一方の側から他方の側に延びる)そのようなカットは、ポリマー又はナノ複合物材料内で応力を均一に分散させ、制御されない高応力特異点を抑制するために、フォトリソグラフィなど、トップダウン・パターニング技法によって行われ得る。この手法は、予測不可能な局部破壊を防ぎ、非限定的な例として、剛性シートの終局ひずみ(ultimate strain)を4%から370%まで高めることができる。
マイクロスケール切り紙パターニングを使用することによって、硬いナノ複合物シートは高い伸長性を得ることができる。その上、切り紙カットパターン加工された複合シートは、たいていの伸張性の導電性材料とは著しく対照的に、ひずみレジーム全体にわたってそれらの複合シートの電気伝導度を維持する。切り紙構造はナノ複合物などの複合物を含み得る。いくつかの態様では、切り紙構造は、少なくとも1つの層がポリマー材料である、少なくとも2つの層を有する多層構造であり得る。ポリマー材料は複合材料又はナノ複合物材料であり得る。複合材料は、ポリマー、高分子電解質、又は他のマトリックス(たとえばセルロース紙)などのマトリックス材料と、その中に分散された少なくとも1つの強化材料とを含む。いくつかの態様では、ナノ複合物材料は、ナノ粒子など、強化ナノ材料を含む複合材料である、切り紙構造において使用するために特に好適である。複合物は、いくつかの変形形態では、シート又はフィルムの形態を取り得る。
「ナノ粒子」は、様々な形状又は形態を有することができる固体又は半固体材料であるが、それらの形状又は形態は、一般に、粒子が約10μm(10,000nm)以下である少なくとも1つの空間次元を有することを意味することが当業者によって理解される。いくつかの態様では、ナノ粒子は、約100以下、随意に約50以下、随意に約25以下、随意に約20以下、随意に約15以下、随意に約10以下、随意に約5以下の比較的低いアスペクト比(AR:aspect ratio)(構成要素の最も長い軸の長さ÷直径として定義される)を有し、いくつかの変形形態では、約1に等しいアスペクト比を有する。他の態様では、ナノ粒子は、約100以上、随意に約1000以上、及びいくつかの変形形態では、随意に約10000以上の比較的高いアスペクト比(AR)を有する、チューブ又はファイバー形状を有する。
いくつかの変形形態では、ナノ粒子の最長寸法は約100nm以下である。いくつかの実施例では、ナノ複合物中に含めるために選択されるナノ粒子は、導電性ナノ複合物材料を生成する導電性ナノ粒子である。ナノ粒子は、上記で定義されたように低いアスペクト比を有し、球形、回転楕円体、半球状、円盤、球状、環状、トロイダル、円柱、円盤状、ドーム状、卵形、楕円、オーブ形、長円形などを含む、形態又は形状を有する、実質的に円形のナノ粒子であり得る。いくつかの好ましい変形形態では、ナノ粒子の形態は球形状を有する。代替的に、ナノ粒子は、フィラメント、ファイバー、ロッド、ナノチューブ、ナノスター、又はナノシェルなど、代替形状を有し得る。ナノ複合物は、任意のそのようなナノ粒子の組合せをも含み得る。
さらに、いくつかの態様では、本教示に従って使用するために特に好適なナノ粒子は、約10nm以上~約100nm以下の粒子サイズ(存在する複数のナノ粒子の平均直径)を有する。導電性ナノ粒子は、複数の形状を有する金属、半導体、セラミック、及び/又はポリマーのナノスケール微粒子を含む、様々な導電性材料から形成され得る。ナノ粒子は、磁性又は常磁性の特性を有し得る。ナノ粒子は、炭素、グラフェン/グラファイト、グラフェン酸化物、金、銀、銅、アルミニウム、ニッケル、鉄、白金、ケイ素、カドミウム、水銀、鉛、モリブデン、鉄、及びそれらの合金又は化合物など、導電性材料を含み得る。したがって、好適なナノ粒子は、限定はしないが、グラフェン酸化物、グラフェン、金、銀、銅、ニッケル、鉄、炭素、白金、ケイ素、シードリング金属、CdTe、CdSe、CdS、HgTe、HgSe、HgS、PbTe、PbSe、PbS、MoS、FeS、FeS、FeSe、WO3-x、及び当業者に知られている他の同様の材料のナノ粒子によって例示され得る。グラフェン酸化物は、複合物中で強化材として使用するために特に好適な導電性材料である。いくつかの変形形態では、ナノ粒子は、単層ナノチューブ(SWNT:single walled nanotube)又は多層ナノチューブ(MWNT:multi-walled nanotube)など、カーボン・ナノチューブを含むことができ、たとえば、SWNTは、グラファイト又はグラフェンの単一のシートから形成されるが、MWNTは、同心様式で配置された複数の円筒を含む。SWNTの一般的な直径は約0.8nmから約2nmまでにわたり得るが、MWNTは、100nmを超える直径を有し得る。
いくつかの変形形態では、ナノ複合物は、ナノ複合物中のナノ粒子の総量の約1重量%以上~約97重量%以下、随意に約3重量%以上~約95重量%以下、随意に約5重量%以上~約75重量%以下、随意に約7重量%以上~約60重量%以下、随意に約10重量%以上~約50重量%以下の複数のナノ粒子の総量を有し得る。もちろん、複合材料中のナノ粒子の適切な量は、材料特性、パーコレーションしきい値、及び特定のマトリックス材料中の特定のタイプのナノ粒子のための他のパラメータに依存する。
いくつかの変形形態では、ナノ複合物は、ナノ複合物中のマトリックス材料の総量の約1重量%以上~約97重量%以下、随意に約10重量%以上~約95重量%以下、随意に約15重量%以上~約90重量%以下、随意に約25重量%以上~約85重量%以下、随意に約35重量%以上~約75重量%以下、随意に約40重量%以上~約70重量%以下のポリマー・マトリックス材料の総量を有し得る。
いくつかの変形形態では、ナノ複合物材料は、複数の導電性ナノ粒子を含み、約1.5×10S/cm以上の導電率を有する。いくつかの他の態様では、ナノ複合物材料は、強化ナノ材料として複数の導電性ナノ粒子を含み得、したがって、約1×10-4オームm以下の電気抵抗率を有し得る。いくつかの他の変形形態では、複数のナノ粒子を含む導電性ナノ複合物のインピーダンス(Z)は、(たとえば、1kHzの周波数において測定されたインピーダンス値を用いて、振幅25mVのAC正弦波信号を使用して測定される)約1×10オーム以下であり得る。
ポリマー又はナノ複合物材料は、(切断される前の)初期状態において、シートなど、平坦な形態であり得るが、折り畳まれるか又は3次元構造に成形され、したがって、切断プロセスの後に構造構成要素として使用され得る。例として、テッセレーションされたカット・パターンをもつ表面を有する例示的なナノ複合物材料シート230の一部分を含む、構造220が図10に示されている。シート230は、第1の不連続カット242間に第1のアンカット領域252を画定する、パターン中の(開口を生成するためにシート230中に延びる)第1の不連続カット242の第1の列232を含む。不連続カットは、シート全体を、別個のより小さいシート又は部分に分割するのではなく、シートの元の寸法でそのままに保つ、シート中に形成された部分的な又は個別のカットである。複数の不連続カット242が存在する場合、少なくとも1つのアンカット領域が不連続シート間のブリッジとしてシート上に残るように、複数の不連続カット242のうちの少なくともいくつかは、非連続であり、互いと接続されない。多くのカット・パターンが可能であるが、本明細書では、図10に示されているようなセンタリングされた矩形構成における直線の簡単な切り紙パターンが、例示的なパターンとして使用される。第1のアンカット領域252は長さ「x」を有する。各不連続カット242は長さ「L」を有する。
いくつかの態様では、各不連続カット(たとえば不連続カット242)の長さは、マイクロスケール、メソスケール、ナノスケール、及び/又はマクロスケールであり得る。マクロスケールは、一般に、約500μm(0.5mm)以上の寸法を有すると考えられるが、メソスケールは約1μm(1000nm)以上~約500μm(0.5mm)以下である。マイクロスケールは、一般に、約100μm(0.5mm)以下であると考えられるが、ナノスケールは、一般に、約1μm(1000nm)以下である。したがって、従来のメソスケール、マイクロスケール、及びナノスケールの寸法は重複すると考えられ得る。いくつかの態様では、各不連続カットの長さは、マイクロスケール、たとえば、約100μm(すなわち100000nm)未満、随意に約50μm(すなわち50000nm)未満、随意に約10μm(すなわち10000nm)未満、随意に約5μm(すなわち5000nm)以下、及びいくつかの態様では、約1μm(すなわち、1000nm)以下である長さであり得る。いくつかの態様では、不連続カット42は、約50μm(すなわち50000nm)未満、随意に約10μm(すなわち10000nm)未満、及び随意に約1μm未満(すなわち約1000nm未満)である長さを有し得る。
いくつかの他の変形形態では、これらの寸法は、ナノスケール、たとえば、約1μm(1000nm)以下、随意に約500nm以下、及びいくつかの変形形態では、随意に約100nm以下の長さを有するカットまで、少なくとも100倍縮小され得る。
「x」及び「L」は、形成されるパターンに応じて列内で変動し得るが、好ましい態様では、これらの寸法は一定のままであることに留意されたい。
第2の不連続カット244の第2の列234もシート230上にパターニングされる。第2の不連続カット244は、それらの間に第2のアンカット領域254を画定する。第3の不連続カット246の第3の列236もシート230上にパターニングされる。第3の不連続カット246は、それらの間に第3のアンカット領域256を画定する。第1の列232、第2の列234、及び第3の列236は、例示的な及び指名の目的のために使用されているが、見られ得るように、シート230の表面上のテッセレーションされたパターンは、3つを超える別個の列を有することに留意されたい。第1の列232は、記号表示「y」によって示されているように、第2の列234から離間される。第2の列234は、同様に、第3の列236から離間される。「y」は列間で変動し得るが、いくつかの態様では、「y」は列間で一定のままであることに留意されたい。列間のそのような間隔は、同様に、上記で説明したように、マイクロスケール、メソスケール、ナノスケール、及び/又はマクロスケールであり得る。
特に、第1の列232中の第1の不連続カット242は、第2の列234中の第2の不連続カット244から(「x」として示されている寸法/軸に沿って)横方向においてオフセットされ、したがって、テッセレーションされたパターンを形成する。同様に、第2の列234中の第2の不連続カット244は、第3の列236中の第3の不連続カット246から横方向においてオフセットされる。したがって、各それぞれの列における第1のアンカット領域252、第2のアンカット領域254、及び第3のアンカット領域256は、協働して、第1の列232から第2の列234を横断して第3の列236まで延びる構造ブリッジ260を形成する。
この点について、複数の不連続カット(たとえば、242、244、及び246)をもつパターニングされたテッセレーションされた表面を有するシート230は、(たとえば、「y」又は「x」として示されている寸法/軸に沿って)少なくとも1つの方向において伸張され得る。ナノ複合物から形成されたシート230は、したがって、向上したひずみを含む、いくつかの有利な特性を呈する。
様々な態様では、切り紙プロセスによって形成された伸張性多層ポリマー又は複合材料を組み込んだ光学デバイスが企図される。「伸張性」とは、材料、構造、構成要素、及びデバイスが、破砕又は他の機械的故障なしにひずみに耐えることが可能であることを意味する。伸張性材料は伸縮可能であり、したがって、損傷、機械的故障、又は性能の大きい劣化なしに、少なくともある程度まで、伸張及び/又は圧縮が可能である。
「ヤング率」は、所与の材料についてのひずみに対する応力の比を指す機械的特性である。ヤング率は、式
Figure 2022530363000002

によって与えられ得、ここで、工学的応力はσであり、引っ張りひずみはεであり、Eはヤング率であり、Lは平衡長であり、ΔLは、加えられた応力の下での長さの変化であり、Fは加えられた力であり、Aは、力がそれにわたって加えられた面積である。
いくつかの態様では、伸張性の複合材料、構造、構成要素、及びデバイスは、破砕なしに少なくとも約50%、随意に、破砕なしに約75%以上、随意に、破砕なしに約100%以上、随意に、破砕なしに約150%以上、随意に、破砕なしに約200%以上、随意に、破砕なしに約250%以上、随意に、破砕なしに約300%以上、随意に、破砕なしに約350%以上、及びいくつかの実施例では、破砕なしに約370%以上の最大引っ張りひずみを受け得る。
伸張性材料はまた、伸張可能であることに加えて、フレキシブルであり得、したがって、1つ又は複数の軸に沿った大きい伸び、屈曲、曲げ、又は他の変形が可能である。「フレキシブルな」という用語は、材料、構造、又は構成要素の破壊点を示すひずみなど、大きいひずみをもたらす永久的な変形を受けることなしに、(たとえば、湾曲形状に)変形される材料、構造、又は構成要素の能力を指し得る。
したがって、本開示は、いくつかの態様では、伸張性ポリマー材料を提供する。さらなる態様では、本開示は、ポリマーと複数のナノ粒子又は他の強化材料とを含む、伸張性複合材料を提供する。ポリマーはエラストマー又は熱可塑性ポリマーであり得る。1つの好適なポリマーは、非限定的な例として、ポリビニルアルコール(PVA:polyvinyl alcohol)を含む。
たとえば、いくつかの材料の場合、本開示のいくつかの態様による、パターニングされた切り紙カットを有する表面を作成することは、当初は剛性であったシートの終局ひずみを、任意の切断の前の初期終局ひずみから、約100%以上、随意に約500%以上、随意に約1000%以上、及びいくつかの変形形態では、随意に約9000%以上まで増加させることができる。
特に、広範囲の最大達成可能ひずみ又は拡張レベルが、使用されるカット・パターンの形状に基づいて達成され得る。終局ひずみは、したがって、形状によって決定される。終局ひずみ(%ひずみ)は、元の又は初期の長さ(L)に対する、構造が壊れる前のポイントまで伸張されている間の、最終的な達成可能な長さの比、すなわち
Figure 2022530363000003

であり、ここで、Lはカットの長さであり、xは不連続カット間の間隔であり、yは不連続カットの個別の列間の距離である。したがって、いくつかの変形形態では、本開示のいくつかの態様による、パターニングされたカットをもつ表面を有するナノ複合物など、ポリマー材料は、終局ひずみを、約100%以上、随意に約150%以上、随意に約200%以上、随意に約250%以上、随意に約300%以上、随意に約350%以上、いくつかの変形形態では、随意に約370%以上まで増加させることができる。切り紙複合材料及びそれらを作製する方法に関する追加の説明は、「Kirigami Patterned Polymeric Materials and Tunable Optic Devices Made Therefrom」という名称のKotovらの2016年4月7日に出願された米国特許出願第15/092、885号として出願された米国公報第2016/0299270号に記載されており、その関連部分は参照により本明細書に組み込まれている。
いくつかの態様では、切り紙ナノ複合物は、100%の伸張の下でさえ巨視的な長さスケールにわたって安定した周期を維持することができる、同調可能な光格子構造を形成することができる。回折パターンにおける横方向間隔は、伸張の量との負の相関を示し、それは、回折パターンにおける寸法と、対応する格子の間隔との間の逆数関係と一致する。回折パターンにおける縦方向間隔は、縦方向周期の変化が横方向伸張に対して比較的小さいので、伸張の量に対するより小さい依存性を呈する。回折パターンはまた、入射レーザの波長に対する大きい依存を示す。ポリマー伸張性の同調可能な光格子構造は、循環的機械的作動の下で伸張が除去されるので、伸張に対する弾性的挙動を示し、弛緩した(すなわち伸張されていない)形状に自発的に復帰する。回折ビームは、ポリマー伸張性の同調可能な光格子構造の変形に従って変化する明らかなパターンを形成する。この挙動は動的な波長依存ビーム・ステアリングのための優れた能力を示す。
3次元(3D)切り紙ナノ複合物は、したがって、図2a~図2bに示されているように、面外表面特徴により旧来の反射及び屈折光学系に新たな次元を与える。たとえば、図2a~図2bに示されたナノ切り紙シート中に示されたカットによって形成された再構成可能なフィン及びスリットにより、切り紙カット・シートの可逆的な拡張(又はひずみレベル)による光の効率的な変調が可能になる。したがって、図2a~図2bに示されたナノ切り紙シートなど、ナノ切り紙シートは、本明細書で説明するMライダー・システムの1つ又は複数の光学構成要素中に組み込まれ得る。より詳細には、これらの軽量で、薄く、安価な光学構成要素は、たとえば、ビーム・ステアリング及び/又は偏光変調を達成するために、光スペクトルの赤色及び赤外部分のために使用され得る。いくつかの実装形態によれば、図2a~図2bに示されたタイプの切り紙ナノ複合物は、図1に示されたシステムのビーム・ステア106、s偏光直線偏光子114、及び/又はp偏光直線偏光子116を形成するために利用され得る。
いくつかの変形形態では、切り紙ナノ複合物は、超強力レイヤバイレイヤ(LbL:layer-by-layer)アセンブル・ナノ複合物から製造される切り紙光学モジュールを形成することができる(Kotov、N.A.ら、「Ultrathin graphite oxide-polyelectrolyte composites prepared by self-assembly:Transition between conductive and non-conductive states」、Adv.Mater.、8、637~641頁(1996)、及びKotov、N.A.ら、「Layer-by-Layer Self-assembly of Polyelectrolyte- Semiconductor Nanoparticle Composite Films」、J.Phys.Chem.、99、13065~13069頁(1995))。これらのナノ複合物材料は、たとえば、約650MPaの高い強度と、約350GPaの弾性係数(E)とを有し、たとえば、動作の広い温度範囲(たとえば、-40℃から+40℃まで)、及び証明されたスケーラビリティとともに、並外れた機械的性質、環境ロバスト性を与える。LbL複合物の高い弾性により、それらは再構成可能になり、LbL複合物の高温弾力性により、異なるタイプのアクチュエータとの統合、及びCMOS適合性が可能になる。いくつかの態様では、ナノ複合物材料は、光子、たとえば、レーザ光源が1550nmの波長を有する、1550nm光子の目標波長との相互作用を向上させるために、窒化チタン、金などのプラズモン・フィルムを用いてコーティングされ得る。
いくつかの他の変形形態では、切り紙ナノ複合物シートは、それらの中に分散された又はそれらの上にコーティングされた磁性材料を含むことができる。たとえば、ニッケルの層が超強力複合物の上に堆積され得る。ニッケルの層は磁性及び反射層として働くことができ、したがってマジェントアクティブ(magentoactive)切り紙要素を与える。切り紙ユニットは、したがって、ライダー構成要素と直接統合され、(たとえば、1次及び2次回折ビームを使用して)ビーム・ステアラとして、又は(たとえば、1次回折ビームを使用して)偏光子として働き得る。
次に図3a~図3cを参照すると、ナノ切り紙ベースのグラフェン複合物からのレーザ回折パターンを示す画像が示されている。参考のために、図3a~図3cの右上隅に示されたスケール・バーは25mmを表す。図3aは、0%ひずみ(弛緩状態)の場合のナノ切り紙ベースのグラフェン複合物についてのレーザ回折パターンを示す。図3bは、50%ひずみの場合のナノ切り紙ベースのグラフェン複合物についてのレーザ回折パターンを示す。最後に、図3cは、100%ひずみの場合のナノ切り紙ベースのグラフェン複合物についてのレーザ回折パターンを示す。
ライダー・ビームの偏光変調、及び戻る光子の偏光分析により、たとえば、カー・セーフティ及びロボット・ビジョン・デバイスにおいて現在欠けている、物体材料についての情報の収集が可能になる。機械学習(ML:Machine Learning)アルゴリズムは、異なる材料を認識するようにトレーニングされ得、それらの異なる材料の固有の偏光シグネチャに基づくMST分類が達成され得る。材料による物体のMST分類により、利点の中でも、物体認識が加速され、周囲の機械知覚の正確さが改善され得る。
図4a~図4dの詳細を見る前に、図1のシステム100、及び材料検出と物体分類との対応する方法は、本開示のいくつかの実例によれば、非ナノ切り紙光学要素を利用して実行され得ることに留意していることを記載しておく。実際、そのような非ナノ切り紙光学要素ベースのMライダー・システムは(たとえば、サイズ及び重量が主要な問題ではない)いくつかの適用例にとって好まれ得る。したがって、ナノ切り紙光学要素がそこにおいて利用されない現在開示しているMライダー・システムの実装形態において、(i)赤外(IR:infrared)偏光子、(ii)ビーム・スプリッタ、(iii)CdS、ZnS、ケイ素から製造されたレンズ、及び/又は(iv)同様に好適な光学要素など、他の旧来の光学構成要素が、本明細書の教示から逸脱することなく等しく採用され得る。しかしながら、ナノ切り紙光学要素は、一般に、軽量で小さいことから恩恵を受けるMライダー・システムのために選好される。
それを背景として、図4a~図4dは、ビーム・スプリッタ又は直線偏光子など、ナノ切り紙ベース光学要素を製造するための段階的リソグラフィタイプ・プロセスを示す。一実例によれば、図4a~図4dに記載されているナノ切り紙ベース光学要素を製造するためのプロセスは、ナノ複合物材料が、リソグラフィ・パターニングのために好適な硬い(たとえば、プラスチックの)基板上に層として堆積され得る、真空支援ろ過(VAF:vacuum assisted filtration)を使用することを含み得る。上記のように、米国公報第2016/0299270号は、真空支援ろ過(VAF)及びレイヤバイレイヤ(LBL)堆積プロセス技法などによって、そのようなナノ複合物材料を作製する方法を記載している。このプロセスによって製造されたナノ複合物は高い靭性と強い光吸収とを呈することが知られている。
図4aは、ナノ複合物層404aが、VAF、レイヤバイレイヤ堆積(LBL)、又は当技術分野で知られている任意の他の好適な堆積方法によって基板402上に堆積される、プロセス400の第1のステップの簡略図である。図4bは、基板402の上に、たとえば、フォトリソグラフィ切断プロセスによって、ナノ複合物層404aの選択領域を通して、パターニングされた切り紙ナノ複合物404bを生成するために、図4のナノ複合物404aがパターニングされた後の、プロセス400における第2のステップを示す。図4cは、切断又はパターニングされた切り紙ナノ複合物404bが基板402から解放される(たとえば、持ち上げられる)、プロセス400における第3のステップを示す。最後に、図4dは、パターニングされた切り紙ナノ複合物408の少なくとも一部分が、とりわけ、ビーム・ステアリング及び/又は変調のために構成されたサブアセンブリに組み込まれている、プロセス400の最終ステップを示す。
図4dに示されたサブアセンブリは、パターニングされた切り紙ナノ複合物部分408と、微細加工されたシリコン層406ハウジングと、1つ又は複数の湾曲ビーム・アクチュエータ410とを含む。両面矢印412はアクチュエータ410の動きの可能性のある方向を示す。以下でさらに詳細に説明するように、湾曲ビーム・アクチュエータ410は、たとえば、切り紙ナノ複合物部分408のパターンを構成する様々なスリット及び/又はフィンのサイズ及び/又は方位を調整するために、切り紙ナノ複合物部分408上に可逆ひずみを加えるように構成され得る。したがって、切り紙ナノ複合物部分408は、したがって、0%から100%にわたるひずみレベルにおいて可逆的に伸ばされ得る。
図4a~図4dに示されたプロセス400のパターニング態様のより詳細な説明を続ける。切り紙透過光モジュールの製造は、図4a~図4dに示された段階的ダイヤグラムに従い得る。可視域と赤外(IR)域とにおけるライダー・レーザ・ビームの変調は、たとえば、0.1-1cm超の幅にわたって作成された、3μmでのフィーチャ・サイズを必要とし得る。そのようなパターンの実現可能性はすでに証明されている。パターンの2D形状は、伸ばされた又はひずんだときのそれらの2D-3D再構成のコンピュータ・シミュレーションに基づいて選択され得る。3D形状は、光学的性質、たとえば、望ましい波長域における偏光変調のためにモデル化され得る。フォトリソグラフィは、上記で説明したVAF複合物の化学的性質によって可能にされる、主要なパターニング・ツールであり得る。パターニング・プロトコルは、現在、大規模微細加工のために使用されているものと実質的に同様であり得る。たとえば、ガラス基板上のVAF複合物が、商用の従来のマスク・アライナを使用したフォト・パターニングの後に標準のSU8フォトレジストによってコーティングされ得る。以下でより詳細に説明する、作成された切り紙パターンの実例が図5a~図5cに示されている。
切り紙光学要素は、たとえば、図4dに示されているように、切り紙ナノ複合物シートを商用マイクロ電気機械アクチュエータと一体化することによって製造され得る。マイクロ電気機械システム(MEMS:microelectromechanical system)切り紙ユニットは、ライダー構成要素と直接一体化され、(たとえば、1次回析ビーム及び2次回折ビームを使用して)ビーム・ステアラとして、及び/又は(たとえば、1次回折ビームを使用して)偏光子として働き得る。ほとんど無限の数の切り紙パターンと多種多様な2D-3D再構成とを考慮して、ビーム・ステアリングと偏光機能の両方、並びに他の光学機能をもつ、切り紙光学要素が、本明細書の教示内で企図される。
図5a~図5cを簡単に参照すると、例示的な切り紙光学要素の様々な画像が示されている。たとえば、図5aは、図4a~図4dに関して上記で説明したプロセス400に従ってウエハ上に作製される、本明細書で説明する切り紙光学要素など、切り紙光学要素の画像である。図5bは、0%未満のひずみの図5aの切り紙光学要素の走査顕微鏡(SEM)画像である。最後に、図5cは、100%未満のひずみの図5aの切り紙光学要素のSEM画像である。図5b~図5cの右上角に示されているスケール・バーは50μmである。
切り紙透過又は反射光学モジュール/要素を製造するためにフォトリソグラフィ技法が使用され得る。例として、約1550nmの波長を有するライダー・レーザ・ビームの変調は、図5a~図5cにおける現在のパターンによって例示された、約0.1cm以上の幅から、約1cm以下の幅までの範囲にわたる幅にわたって作成された、約1μm以上のフィーチャ・サイズから、約2μm以下のフィーチャ・サイズまでのフィーチャ・サイズを有し得る。パターンの2次元(2D)形状は、伸ばされたときのそれらの2Dから3次元(3D)への再構成のコンピュータ・シミュレーションに基づいて選択され得る。3D形状は、光学的性質、たとえば、望ましい波長範囲における偏光変調についてモデル化され得る。
フォトリソグラフィは、切り紙光学要素を形成するためにLbL複合物と組み合わせて使用され得る主要なパターニング技法である。一実例では、パターニング・プロトコルは、商用マスク・アライナ(UM Lurie Nanofabrication Facility、LNF)を使用したフォト・パターニングの後に標準SU-8フォトレジストによってコーティングされたガラス基板上にLbL複合物を与えることを含むことができる。そのようなプロセスは、図5a~図5cに示されたもののような切り紙要素を形成することができる。
自律車両など、車両において使用するための別の代表的な簡略化されたコンパクトなMライダー・システム300が図11に与えられている。Mライダー・システム300中の構成要素が図1のMライダー・システム100中の構成要素と同様である限り、簡潔のために、それらの機能は本明細書では繰り返さない。Mライダー・システム300は、レーザ310と、ビーム・ステアラ312と、(図示されていないが、図1のコンテキストにおいて説明されている第1の偏光子114及び第2の偏光子116と同様の)1つ又は複数の偏光子と、(図示されていないが、図1に示されたプロセッサ126と同様の)プロセッサとを含み得る。Mライダー・システム300において、パルス生成器312は、レーザ310に接続され、偏光された又は偏光されていない第1の光パルス314と、偏光された又は偏光されていない第2の光パルス316とを生成する。パルス生成器312はオシロスコープ324に接続される。レーザ310によって生成された第1の光パルス314及び第2の光パルス316は、いくつかの態様では、前に上記で説明したもののような切り紙ベースのビーム・ステアラであり得る、ビーム・ステアラ318に向けられる。ビーム・ステアラ318は、サーボモーター/Arduino352に接続され、サーボモーター/Arduino352によって制御される。サーボモーター/Arduino352は、非限定的な例としてMATLAB(登録商標)制御であり得るコントローラ350に接続される。前に上記で記載したように、ビーム・ステアラ318は、前に上記で説明したように、非限定的な例として、第1の光パルス314と第2の光パルス316との一方又は両方を偏光、修正、スプリット、及び/又は変調し得る。第1の光パルス314及び第2の光パルス316は、次いで、検出されるべき物体340に向けられる。
第1の光パルス314及び第2の光パルス316は物体110から拡散的に反射され得る。光の1つ又は複数のパルスは、第1の光パルス314と第2の光パルス316との反射されたバージョンを構成する第1の反射されたビーム342と第2の反射されたビーム344とをまとめて形成する。いくつかの実例によれば、第1の反射されたビーム342及び第2の反射されたビーム344は、第1の光パルス314と第2の光パルス316(すなわち、物体340からの反射の前)とは異なる偏光を有し得る。物体340から反射した後に、第1の反射されたビーム342及び第2の反射されたビーム344は、第1の反射されたビーム342と第2の反射されたビーム344とをビーム・スプリッタ360のほうにリダイレクトするオフアクシス・パラボラ反射器/ミラー330に向けられ得る。
第1の反射されたビーム342は、このようにしてスプリットされ、第1の検出器362と第2の検出器364の両方に向けられる。第1の検出器362及び第2の検出器364はオシロスコープ324に接続され得る。第1の検出器362は、第1の反射された光ビーム342を形成する1つ又は複数の反射されたs偏光光パルスの強度を検出するように構成されたs偏光検出器であり得る。同様に、第2の検出器364は、第1の反射された光ビーム342を形成する1つ又は複数の反射されたp偏光光パルスの強度を検出するように構成されたp偏光検出器であり得る。ビーム・スプリッタ360を通った後に、第2の反射された光ビーム344は第1の検出器362と第2の検出器364の両方に向けられ、そこでs偏光光パルス及び/又はp偏光光パルスの強度が第2の反射された光ビーム344から検出され得る。第1の検出器362及び第2の検出器364は、前に上記で説明したように、そこから受信された情報をさらに分析するプロセッサ(図示せず)に接続され得る。Mライダー・システム300はコンパクトであり、非限定的な例として、約17.8cm×30.5cm(約7インチ×12インチ)の寸法を有するので、それを車両中に取り付けるのに特に好適になり得る。
MST分類は、上記で紹介したように、本開示の実例によれば、ポイント・クラウドに追加された光偏光分類子を用いた光源ベースのMST分類の使用によって実現され得る。一実例では、ポイント・クラウドの各3D領域測定について、戻る光子の直線/円偏光が収集され得る。さらに、表面性質と偏光状態との間の関係は、いくつかの事例では、表面粗さにより雑音が多いことがあるが、局所曲率及び局所散乱条件は、戻る光子の偏光状態に直接基づいて作られ得る。
次に図6を参照すると、図6の混同行列(confusion matrix)を生成するために、ニューラル・ネットワーク・アルゴリズムをもつAIデータ処理を使用して反射されたレーザ光のMST偏光分析を実行した。より詳細には、(図1に示されたs偏光光ビーム118及びp偏光光ビーム120など)s偏光ビーム及びp偏光ビームの分析に基づいて混同行列を生成した。x軸に沿って、本明細書で説明するMライダー・システムと処理方法との対象であるテスト物体についての材料の予測されるタイプが識別される。y軸に沿って、テスト物体についての材料の真のタイプが識別される。様々な材料タイプについてのAIアルゴリズムの様々な予測の正確さは、予測される材料タイプと真の材料タイプとの交点において反映させる。図示のように、Mライダー・システムの材料検出機能は、これらの偏光光ビームを使用して(いくつかの事例では、99%又は99超を含む)高度の正確さをもって達成され得る。
次に図7を参照すると、他の材料と比較したシミュレートされたブラック・アイスの検出のための混同行列が示されている。この場合も、Mライダー・システムの材料検出機能は(いくつかの事例では100%を含む)高度の正確さをもって達成され得る。
図8は、たとえば、(たとえば、車両などに設置されるときの)ブラック・アイス検出において使用するためのMライダー・デバイス800の1つの実例を示す。本実例はブラック・アイス検出適用例に焦点を当てるが、通常の当業者は、デバイス800は、ブラック・アイス検出に限定されず、自律車両上を含む、広範囲の材料検出及び物体分類適用例のために好適に採用され得ることを認識するであろう。デバイス800は、ハウジング802と、エミッタ804(すなわち、レーザ光ビームを構成する光パルスを放出するためのエミッタ)と、第1の検出806aと、第2の検出器806bとを含む。一実例によれば、検出器806a、806bのうちの1つ又は複数は直交偏光分析器を含む。さらに、一実例によれば、エミッタ804、検出器806a、及び/又は検出器806bのうちの1つ又は複数は、切り紙光学要素を用いて作製され得る。本デバイスの主要な実例は自動車内での使用であるが、本デバイスは、たとえば、ドローンなど、航空機内でも使用され得る。
次に図9を参照すると、Mライダー・システムを使用して物体分類を実行する方法900を示すフローチャートが与えられている。方法900は902において開始し、偏光されていないパルスが生成される。904において、偏光されていないパルスは、直線偏光光パルスを生成するために直線偏光される。直線偏光されたパルスは、反射された直線偏光光パルスを生成するために、物体に向けて放出され、物体から反射され得る。906において、反射された直線偏光光パルスは、反射されたs偏光光パルスを生成するために、s偏光のために直線偏光され得る。
908において、反射された直線偏光光パルスは、反射されたp偏光光パルスを生成するために、p偏光のために直線偏光され得る。910において、反射されたs偏光光パルスの強度が検出され得る。912において、反射されたp偏光光パルスの強度が検出され得る。914において、反射されたs偏光光パルスの強度と反射されたp偏光光パルスの強度とに基づいて物体の少なくとも1つの材料が検出され得る。最後に、916において、物体は、検出された少なくとも1つの材料に基づいて分類され得る。916の後に、方法900は終わる。
最後に、いくつかの実例によれば、物体の偏光ベース検出のためのMSTタグとして切り紙パターンが使用され得る。また、道路標識、衣料、マーカ、車両、家庭用品、又は任意の他の好適な物体において特定の偏光応答を与えるために、大量生産された切り紙構成要素が塗料に追加され得る。
いくつかの変形形態では、本開示のライダー・システムは、送信されたビーム及び反射されたビームの変調を与えることができる。ビーム・ステアラとして働くためにライダーのエミッタ側に切り紙ベース光学要素が追加され得、それは、したがって、従来の大きい回転ビーム・ステアラ又は液晶フェーズ・アレイ・ビーム・ステアラと交換することができる。磁気作動モジュールが1550nmレーザ源と一体化され得る。ビーム・ステアラの大きさを低減するために、光ファイバーがモジュールと直接結合され得る。
いくつかの変形形態では、本開示によって与えられるライダー・システムは、降水及び/又は湿度の高い大気条件における検出の向上を与え得る。たとえば、本開示によって企図されるライダー・システムは、非限定的な例として、霧、雨、及び雪に伴う視認性の低い状況を含む、悪天候状況中に検出及び性能の向上を与える、約1550nmの波長をもつレーザを採用することによって、特に、視認性の低い状況において使用するために好適であり得る。そのようなライダー・システムは、ハイウェイ走行状態のために特に有用である、たとえば、最高200メートルの遠距離警告を可能にすることができる。従来のライダーは、シリコンベース検出器のために便利である、約900nmの波長をもつレーザを使用する。しかしながら、これらの従来のレーザ・ビームは、湿度の高い大気条件において比較的強い散乱を受ける。1550nmで動作するライダーは、湿度の高い空気の高い透過性を利用することができ、そのことは、近接警告から支援運転及び完全自律乗車モダリティまでのすべての異なるレベルの自律性のために有利である。しかしながら、そのようなライダーは、近赤外線光学系の高い重量及びコストにより、大きくなり、費用がかかり得る。本開示のいくつかの態様によれば、切り紙ベース光学要素は、パターニングされた切り紙シートについての可能な空間電荷及びサブ波長効果を利用することによってこの問題を解決することができ、たとえば、図2a~図2bを参照されたい。図3a~図3bに示されているように、そのような切り紙シートは、切り紙シートの再構成可能な面外パターンを使用して、近赤外光レーザを効果的に変調し、ビーム・ステアリングすることができる。そのような切り紙ベース光学要素を組み込んだ1550nmビーム・ステアリング・デバイスは、薄型、軽量、及び安価な固体ライダーとして使用され得る。さらに、切り紙技術の多用性は、特定の適用例、たとえば、ライダー・システムを特定の車両にカスタマイズすることのためにパターンを潜在的に適応させ、及び/又はそれを自動車部品の異なる曲率の表面に適応させることを可能にする。
いくつかの態様では、本開示は、レイテンシのために正確さを犠牲にすることなしに、2段階の物体提案及び検出方法を使用することによって、比較的高速な検出をライダー・システムに提供することができる。たとえば、分類モデルについてのモデル正確さ及び一般化可能性(generalizability)の改善は、データに材料寸法を追加することによって静止物体分類子を向上させることを含むことができる。プラスチックと木材とれんがとを含んでいる材料フィンガープリントをもつ物体は、移動する可能性が極めて低いが、金属又は織物のフィンガープリントをもつ物体は、歩行者及び車両である可能性がより高い。その上、材料寸法は、シナリオ変動に対してよりロバストであるので、これらのモデルは、建設現場、及び複雑な祝祭装飾をもつ街路など、まれで複雑なケースに対してより良く一般化しやすい。したがって、材料フィンガープリントは、追跡と自律車両マップとへの影響をもつ、ポイント・クラウド関連付けモデルについてのモデル正確さを大いに高める。たとえば、自転車とともに歩く歩行者は、歩行者からのいくつかの織物又は皮膚の特徴とともに下側に金属材料をもつ、ポイント・クラウドとしてピック・アップされ得るので、ポイント・クラウドの材料寸法は検出及び分類をはるかに信頼できるものにすることができる。その場合、自動運転システムがそれを純粋な歩行者から識別することがはるかに容易になる。また、物体の材料フィンガープリントは、システムがポイント・クラウドを正しい物体分類と関連付けることをより容易にし、正しく一貫した複合物体分類を維持するのを助ける。
本開示は、したがって、材料タイプを区別し、ミリ秒以内に物体を識別する能力を含む、早期検出及び警告システムと、他の利益の中でも、視認性の低い状況における高い効果とを与える能力を含む、向上した物体認識をもつ安価でコンパクトなライダー・システムを提供する。
いくつかの変形形態では、本開示は、光パルスを生成するように構成されたレーザと、物体に向けて放出された偏光調整された光パルスを生成するように構成されたビーム・ステアラと、物体から戻る、反射された、散乱させられた、又は放出された光を偏光させるように構成された少なくとも1つの偏光子と、物体からの反射された又は放出された偏光光の強度と偏光とに基づいて物体の少なくとも1つの材料を検出するように構成されたプロセッサとを備えるシステムを提供する。一態様では、ビーム・ステアラは切り紙ナノ複合物を備える。一態様では、少なくとも1つの偏光子は切り紙ナノ複合物を備える。一態様では、プロセッサは、さらに、物体の検出された少なくとも1つの材料に基づいて物体を分類するように構成される。
さらなる態様では、プロセッサは、機械学習アルゴリズムを適用することによって、物体の検出された少なくとも1つの材料に基づいて物体を分類するように構成される。さらなる態様では、機械学習アルゴリズムは人工ニューラル・ネットワーク・アルゴリズムを含む。
一態様では、ビーム・ステアラは、偏光調整された光パルスを生成するために光パルスの偏光を調整するように構成される。一態様では、ビーム・ステアラは、偏光されていない光パルスに偏光を与えることと、偏光された光パルスの偏光を変更することとのうちの少なくとも1つによって、光パルスの偏光を調整するように構成される。別の態様では、ビーム・ステアラは、直線偏光と、円偏光と、楕円偏光との偏光のタイプのうちの少なくとも1つを適用することによって、光パルスの偏光を調整するように構成される。さらなる態様では、直線偏光を適用することは、s型直線偏光とp型直線偏光とのうちの少なくとも1つを適用することを含む。
一態様では、少なくとも1つの偏光子は、直線偏光と、円偏光と、楕円偏光との偏光のタイプのうちの少なくとも1つを適用することによって、物体から戻る、反射された、散乱させられた、又は放出された光を偏光させるように構成される。さらなる態様では、適用することは、s型直線偏光とp型直線偏光とのうちの少なくとも1つを適用することを含む直線偏光を適用することである。一態様では、少なくとも1つの偏光子は複数の偏光子を含む。
一態様では、本システムは、少なくとも1つの偏光子に接続された少なくとも1つの偏光検出器と、プロセッサとをさらに備え、少なくとも1つの偏光検出器は、物体からの反射された又は放出された偏光光の強度を検出するように構成される。さらなる態様では、少なくとも1つの偏光検出器は複数の偏光検出器を含む。さらなる態様では、少なくとも1つの偏光検出器は、物体からの反射された、散乱させられた又は放出された偏光光に関連する入射角を検出するように構成される。
さらなる態様では、プロセッサは、さらに、物体からの反射された、散乱させられた又は放出された偏光光に関連する入射角に基づいて物体の少なくとも1つの材料を検出するように構成される。
また他の変形形態では、本開示は、光パルスを生成することと、物体に向けて放出される偏光調整された光パルスを生成するために光パルスの偏光を調整することと、物体から戻る、反射された、散乱させられた又は放出された光を偏光させることと、物体からの反射された又は放出された偏光光の強度と偏光とに基づいて物体の少なくとも1つの材料を検出することとを含む方法を提供する。
一態様では、光パルスの偏光を調整することは、切り紙ナノ複合物を含むビーム・ステアラによって実行される。一態様では、切り紙ナノ複合物は真空支援ろ過(VAF)プロセスによって製造される。一態様では、切り紙ナノ複合物はレイヤバイレイヤ(LBL)堆積プロセスによって製造される。一態様では、本方法は、物体の検出された少なくとも1つの材料に基づいて物体を分類することをさらに含む。
一態様では、物体を分類することは、機械学習アルゴリズムを適用することによって物体を分類することを含む。一態様では、機械学習アルゴリズムは人工ニューラル・ネットワーク・アルゴリズムを含む。
他の態様では、本開示は、物体の材料組成など、物体についての追加の情報、及び/又は、反射されたビームについての光学特性など、レーザ・パルスの戻るビームについての追加の情報とともに、物体の相対距離又はロケーションと形状とを検出するように構成されたライダー・システム及び方法を提供する。物体から戻るビームについての追加の情報は、たとえば、偏光情報、ラマン散乱情報、円偏光二色性情報などを含むことができる。このようにして、物体についての及び/又は戻る/反射されたビームについての追加の情報は、記憶され、物体についての距離又はロケーションと形状とに関連する、情報の追加の次元を追加する。言い換えれば、本システム及び方法は、物体の相対距離又はロケーションと形状とを表す3次元情報に加えて、情報を検出するように構成されるという意味で、本開示のライダー・システム及び方法は多次元である。たとえば、物体の材料組成は、物体に関連する情報に第4の次元を追加することができる。追加又は代替として、物体から戻るビームについての追加の情報は、物体に関連する情報に1つ又は複数の追加の次元を追加することができる、偏光情報、ラマン散乱情報、円偏光二色性情報などを含み得る。
たとえば、本開示のライダー・システム及び方法によって検出された物体は3次元XYZ座標系におけるポイント・クラウドによって表され得る。ポイント・クラウドは複数のポイントを含むことができ、各ポイントは、物体の表面上のロケーションを表し、関連するXYZ座標を有する。上記でさらに詳細に説明したように、ポイント・クラウドを生成することは、光のパルスを繰り返し放出することと、パルスが物体から拡散反射することと、反射された光が検出器によって測定されることと、光の光源に対する物体の表面上のポイントのロケーションを決定することとからなるプロセスを含むことができる。このプロセスは、その場合、毎秒数百万回のオーダーなどで毎秒複数回繰り返され得、ポイントは毎回生成される。様々なポイントは、次いで、ポイント・クラウドを作成するために同じXYZ座標系上にマッピングされる。
物体を表すポイント・クラウド中の各ポイントについて、本開示のライダー・システム及び方法はまた、物体の表面上のその特定のポイントに位置する材料の組成を表す第4の次元を決定することができる。追加又は代替として、物体を表すポイント・クラウド中の各ポイントについて、本開示のライダー・システム及び方法はまた、反射されたビームについての光学特性など、物体の表面上のその特定のポイントに関連するレーザ・パルスの戻る(たとえば反射された)ビームについての追加の情報に対応する追加の次元を決定することができる。上記のように、追加の情報は、たとえば、物体の表面上のその特定のポイントに関連する戻る(たとえば反射された)ビームについての偏光情報、ラマン散乱情報、円偏光二色性情報などを含むことができる。このようにして、本開示のライダー・システム及び方法はまた、物体の表面を表すポイントについてのXYZ座標を含む、検出された物体を表す多次元ポイント・クラウドを決定することができ、各ポイントは、XYZ座標に加えて、その特定のポイントにおける物体の表面の材料組成を表す情報など、追加の関連する情報、及び/又は、偏光情報、ラマン散乱情報、円偏光二色性情報など、その特定のポイントからの反射されたビームについての追加の情報を有する。上記で説明したように、本開示の材料分類方法は、偏光情報、ラマン散乱情報、円偏光二色性情報など、反射されたビームについての光学情報から材料組成情報を決定することができる。このようにして、本開示のライダー・システム及び方法は、材料組成情報、及び/又は検出された物体を表すポイント・クラウド中の各ポイントに関連する追加の光学情報の任意の組合せを生成し、記憶することができる。
図12を参照すると、例示的な検出された物体として自転車上の人を使用して、本開示のライダー・システム及び方法によって生成された4次元ポイント・クラウド1000が示されている。図12にはXYZ座標系のX軸及びY軸のみが示されているが、ポイント・クラウド1000は、説明しやすいようにZ軸が省略された、3次元であることを理解されたい。ポイント・クラウド1000は複数のポイントを含み、各ポイントは、検出された物体上のロケーション、たとえば、この場合は自転車上の人である検出された物体の表面上のロケーションを表す。図12にさらに示されているように、ポイント・クラウド1000中の各XYZポイントは、関連する材料組成情報をも含む。凡例(key)1002によって示されているように、人の頭部に対応するポイント・クラウド1000のポイント1004は、皮膚に対応する材料組成情報を有するとして示されている。人の胴と腕と脚とに対応するポイント・クラウド1000のポイント1006は、コットンに対応する材料組成情報を有するとして示されている。自転車のフレームに対応するポイント・クラウド1000のポイント1008は、アルミニウムに対応する材料組成情報を有するとして示されている。自転車のタイヤに対応するポイント・クラウド1000のポイント1010は、ゴムに対応する材料組成情報を有するとして示されている。図12に示されているポイント・クラウド1000は、たとえば、自律車両システムによって使用され得る。たとえば、自律車両システムは、検出された物体が自転車に乗っている人であることを決定するために、図12に示されたポイント・クラウド1000を使用し得る。自律車両システムはまた、物体を自転車に乗っている実際の人として、たとえば、自転車に乗っている人の像と区別するためにポイント・クラウド1000を使用し得る。
例示的なポイント・クラウド1000は、上記のように、ポイント・クラウドの各ポイントに関連する第4の次元としての材料組成情報を含むが、反射されたビームについての他の追加の情報は、材料組成情報に加えて又はその代わりに各ポイントに記憶され得る。追加の情報は、たとえば、偏光情報、ラマン散乱情報、円偏光二色性情報などを含み得る。
本開示のライダー・システム及び方法は、偏光情報、ラマン散乱情報、円偏光二色性情報など、対応する光学情報とともに材料組成情報を記憶する材料データベースを生成し、利用することができる。このようにして、本開示のライダー・システム及び方法は、物体についての対応する材料組成を調べ、決定するために、物体からの反射されたビームに関連する光学情報を、記憶された光学情報と比較することができる。本開示のライダー・システム及び方法は、材料データベースを生成し、構築するために、及び、物体からの反射されたビームに関連する光学情報に基づいて物体の材料組成を決定する際に使用される関連するパラメータを較正するために、ニューラル・ネットワークと機械学習技法とを使用することができる。
たとえば、ニューラル・ネットワークは、光/物質相互作用の物理法則に基づくパラメータ値を含むニューラル・ネットワーク層を使用して初期化され得る。言い換えれば、ニューラル・ネットワーク層は、光/物質相互作用の物理法則に基づく、物体からの反射されたビームに関連する入力された光学情報を使用して、物体についての予想された材料組成を与えるために初期化され得る。本システムは、その場合、それぞれ既知の組成を有する、(数千、数百万、又は何十億個もの物体など)多数の物体を使用してトレーニングされ得る。たとえば、ライダー・システムは、各物体を走査し、決定された材料組成を物体の既知の組成と比較し、機械学習技法を使用した比較に基づいてニューラル・ネットワークのパラメータ値を調整することができる。このプロセスは多数のうちの各物体について複数回繰り返され得、システムがニューラル・ネットワークのパラメータ値を経時的に較正し、調整するので、各繰り返しにより、決定された材料組成について正確さが高くなる。反射されたビームに関連する光学情報は物体の配向と位置と形状とに依存し得るので、システムの正確さを高めるために、物体は、異なる配向と位置とを使用して複数回再走査され得る。さらに、以下でさらに詳細に説明するように、本システムは、物体に対して異なる配向で配置された複数のライダー・レーザ及び検出器を含むことができ、複数のライダー・レーザ及び検出の各々からの情報は、物体の材料組成を決定し、システムの正確さを高めるために並行して使用され得る。
図13を参照すると、本開示による、物体の表面上の個々のポイントを含む、物体の材料組成を識別するために使用されるニューラル・ネットワークをトレーニングすることの方法1100を示すフローチャートが与えられている。方法1100は1102において開始する。1104において、ニューラル・ネットワークは光/物質相互作用の物理法則に基づいて初期化される。たとえば、ニューラル・ネットワークの初期化されるパラメータは、光/物質相互作用の物理法則に基づいて初期化され、設定される。1106において、所定の又は既知の材料組成を有する物体が、ライダー・システムを使用して検出され、物体を表すポイント・クラウドの各ポイントについての材料組成が、戻る(たとえば、反射された)ビームの光学情報に基づいて、及びニューラル・ネットワークに基づいて決定される。
1108において、システムによって決定された材料組成は、物体の既知の材料組成と比較される。1110において、ニューラル・ネットワークのパラメータは、必要とされる場合、機械学習技法を使用した比較に基づいて調整される。
1112において、システムの正確さがもう許容できるかどうかに関する決定が行われる。1112において、システムの正確さがまだ許容できないとき、方法は1106にループバックし、別の物体を検出することと、パラメータに対してさらなる調整を行うこととによってプロセスを繰り返す。プロセスは、1112においてシステムの正確さが許容できると決定されるまで繰り返す。システムの正確さが許容できると決定されたとき、プロセスは1114において終了する。システムの正確さは、たとえば、システムが所定の許容できる誤差限界内で所定の数の物体の材料組成を正確に決定したとき、許容できると決定され得る。
このようにして、(数千、数百万、又は何十億個もの物体など)多数の物体を走査することによって、本開示のシステム及び方法は、本開示のライダー・システムを用いて検出された物体の材料組成を正確に決定するために使用され得る、材料と関連するニューラル・ネットワークとの大規模なデータベースを構築することができる。
本開示の多次元ライダー・システム及び方法は、リサイクルされるべき物体の材料組成を識別し、決定された材料組成に基づいて物体を適切にソートするために、リサイクリング・システムにおいて使用され得る。図14を参照すると、例示的なリサイクリング・システム1200が示されており、コンベヤ・ベルト1202を含む。コンベヤ・ベルト1202は、ソートされ、リサイクルされるべき物体を保持するリサイクル用物体置き場(bin)1204からソータ1206に物体を移動させる。図14の実例では、金属缶1220が、リサイクル用物体置き場1204からソータに向かって移動しているように、コンベヤ・ベルト1202上に示されている。図14に示されているように、物体1220がソータ1206に向かってコンベヤ・ベルト上で搬送される際に、物体1220は本開示による1つ又は複数のライダー・システム1214a、1214b、1214cによって走査される。図14には3つのライダー・システム1214a、1214b、1214cが示されているが、任意の数のライダー・システムが使用され得る。たとえば、ただ1つのライダー・システムが使用され得る。上記で説明したように、しかしながら、複数の異なる角度と観点とから物体1220を走査することができる追加のライダー・システムの使用は、材料分類決定の正確さを高めることができる。
リサイクリング・システム1200は、ライダー・システム1214a、1214b、1214cと通信している制御モジュール1218と、ソータ1206と、材料データベース1216とを含む。物体1220がライダー・システム1214a、1214b、1214cを通る際に、物体1220はライダー・システム1214a、1214b、1214cによって走査され、ライダー・システム1214a、1214b、1214cは、次いで、物体1220からの反射されたビームについての得られた情報を制御モジュール1218に通信する。上記の分類技法によれば、制御モジュール1218は、材料データベース1216にアクセスし、ライダー・システム1214a、1214b、1214cの各々によって受信された反射されたビームの光学情報に基づいて、物体1220についての多次元ポイント・クラウドを決定するように構成される。多次元ポイント・クラウドは、たとえば、物体1220を表すポイント・クラウドの各ポイントについての材料分類情報を含むことができる。材料分類情報に基づいて、制御モジュール1218は、次いで、物体1220をリサイクルのための適切な分類置き場にソートするようにソータ1206を制御することができる。
たとえば、図14に示されているように、リサイクリング・システム1200は、ガラス物体を受け取るためのガラス置き場1208と、金属物体を受け取るための金属置き場1210と、プラスチック物体を受け取るためのプラスチック置き場1212とを含む。ソータ1206は、たとえば、シュート(chute)1209、1211、及び1213を通して、物体1220を適切な置き場に導くように可動で、構成可能であるバッフル、ドア、スロット、及び/又はレバーを含むことができる。たとえば、シュート1209はガラス置き場1208につながり、シュート1211は金属置き場1210につながり、シュート1213はプラスチック置き場1212につながる。ソータ1206と、リサイクル用置き場1208、1210、1212と、シュート1209、1211、1213とが実例として示されているが、本開示のシステム及び方法に基づいて決定される、物体の材料組成に基づいて、物体をコンベヤ・ベルト1202から適用可能なリサイクル用置き場にソートするために、任意の他のソーティング機構が使用され、制御モジュール1218によって制御され得る。
このようにして、本開示のライダー・システム及び方法は、リサイクルされるべき物体の材料組成を正確に決定することができ、リサイクルされるべき物体をリサイクル用材料グループに適切に、自動的にソートするために、ソーティング・システムとともに使用され得る。
図15を参照すると、物体をリサイクルするための、本開示のライダー・システム及び方法によって生成された4次元ポイント・クラウド1300、1302、1304が示されている。図15にはXYZ座標系のX軸及びY軸のみが示されているが、ポイント・クラウド1300、1302、1304は、説明しやすいようにZ軸が省略された3次元であることを理解されたい。各ポイント・クラウド1300、1302、1304は複数のポイントを含み、各ポイントは、検出された物体の表面上のロケーションを表す。図15にさらに示されているように、ポイント・クラウド1300、1302、1304中の各XYZポイントは関連する材料組成情報をも含んでいる。凡例1306によって示されているように、ポイント・クラウド1300のポイントは、プラスチックに対応する材料組成情報を有するとして示されている。ポイント・クラウド1302のポイントは、アルミニウムに対応する材料組成情報を有するとして示されている。ポイント・クラウド1304のポイントは、紙に対応する材料組成情報を有するとして示されている。ポイント・クラウド1300、1302、1304は、たとえば、図14に示されたリサイクリング・システムの制御モジュール1218によって生成され得る。
本開示のライダー・システム及び他の方法は、動物のような生命体など、生物の健康状態の検出のためにも利用され得る。動物は、いくつかの態様では、人間であり得る。
本開示のライダー・システム及び他の方法は、たとえば、ある状態を呈する皮膚の領域を識別するために、及び、皮膚表面をマッピングし、走査された患者の皮膚表面に対応するポイントからの偏光測定(polarimetry)データを分析することによる皮膚病の診断のために、医療/美容適用例においても使用され得る。
図16を参照すると、患者の皮膚表面の走査について、本開示のライダー・システム及び方法によって生成された4次元ポイント・クラウド1400、1402、1404、1406が示されている。図16にはXYZ座標系のX軸及びY軸のみが示されているが、ポイント・クラウド1400、1402、1404、1406は、説明しやすいようにZ軸が省略された3次元であることを理解されたい。ポイント・クラウド1400、1402、1404、1406は、それぞれ複数のポイントを含み、各ポイントは患者の皮膚表面上のロケーションを表す。図16にさらに示されているように、ポイント・クラウド1400、1402、1404、1406中の各XYZポイントは関連する材料組成情報をも含んでいる。凡例1408によって示されているように、ポイント・クラウド1400のポイントは、正常な皮膚に対応する材料組成を有するとして示されている。ポイント・クラウド1402のポイントは、ニキビに対応する材料組成情報を有するとして示されている。ポイント・クラウド1404のポイントは、腫瘍に対応する材料組成情報を有するとして示されている。ポイント・クラウド1406のポイントは、乾燥肌に対応する材料組成情報を有するとして示されている。ポイント・クラウド1300、1302、1304は、たとえば、異なる皮膚状態と病気との材料組成に対応する情報を記憶する材料データベースを利用するライダー・システムによって生成され得る。一般に、4次元ポイント・クラウドは、生物材料、細胞、組織など、たとえば、良性細胞に対する悪性細胞の位置、又は選択生物材料の識別情報を区別するために使用され得る。このようにして、本開示のライダー・システム及び他の方法は、動物のような生命体など、生物の健康状態の検出のために利用され得る。動物は、いくつかの態様では、人間であり得る。
同様に、本開示のライダー・システム及び方法は顔認識のためにも利用され得る。
さらに、本開示のライダー・システム及び方法は、パーソナル・コンピュータ、ラップトップ、ポータブル・デバイス、スマートフォン、タブレット・デバイスなど、他のデバイスにも組み込まれ得る。たとえば、レーザ・パルスのために使用されるレーザは、パーソナル・コンピュータ、ポータブル・デバイス、スマートフォン、タブレット・デバイスなど、他のデバイスに含まれ得るダイオード・レーザを使用して実装され得る。たとえば、スマートフォン、ラップトップ、又はタブレット・デバイスに組み込まれるとき、本開示のライダー・システム及び方法は、たとえば、スマートフォン、ラップトップ、又はタブレット・デバイスへのアクセスを可能にするために、顔認識のために使用され得る。
さらに、本開示のライダー・システムは、他のライダー・システムと通信するために使用され得る。たとえば、本ライダー・システムは、データを通信するために、送信されたレーザ・パルスの偏光を使用することができる。実例として、本ライダー・システムは車両に組み込まれ得、車両が左折しているとき、本ライダー・システムは、左偏光光パルスを周囲の車両のライダー・システムに送信することができる。同様に、車両が右折しているとき、本ライダー・システムは、右偏光光パルスを周囲の車両のライダー・システムに送信することができる。さらに、2つのライダー・システムは、互いの識別情報を確認し、検証し、ライダー・システムが第三者によるなりすまし又はハッキングを受けることを防ぐための検証情報など、情報を通信するために、偏光の特定のシーケンスを有するパルスを送信することができる。たとえば、第1のライダー・システムは、第2のライダー・システムが、2つのライダー・システムに知られている偏光の特定のシーケンスによって検証情報を送ることを要求することができる。
本開示のライダー・システム及び方法は、反射され、散乱させられたライダー・ビームの偏光の分析を介して感知、収集される、走査される材料についての情報を生成するために使用され得る。本開示の材料感知ライダー・システム及び方法は、走査される物体アイテムに入射した変調されたレーザ・ビームからのs偏光とp偏光との間の偏光比の計算分析を実行する。付随して、偏光処理を補足するラマン散乱及び他の情報が収集され得る。
入射ライダー・ビームの偏光は円偏光され得る。反射され、散乱させられたライダー・ビームの偏光は円偏光に関して分析され得る。材料のキラリティ又はその構成要素又はその形状は、検出されるアイテムの偏光シグネチャに影響を及ぼす本質的な材料特性になる。ライダーによって取得された各XYZデータ・ポイントは、材料検出特性、すなわち、偏光比、又は異なる材料を含んでいるデータベースと対応して計算的に処理された偏光比の比較から取得されたデータなど、別の特性によって補完される。各XYZポイントは、ポイントが4次元ポイント以上になるように、追加のデータを与えられる。材料属性が含まれるとき、ポイントは4次元ポイントになる。異なるラマン散乱又は他の属性情報がデータ・ポイントに同時に与えられた場合、ポイントは、5次元以上を有する多次元になる。
上記で説明したように、各ポイントの材料情報は、材料データベースに基づいてディープ・ラーニング・ニューラル・ネットワーク・アルゴリズムによって割り当てられ得る。材料データベースは偏光測定ライダーセットアップによって収集され得る。ライダーのビームは直線偏光又は円偏光として変調される。偏光測定ライダーは、反射された/散乱させられた光のs偏光比とp偏光比とを分析することによって反射/散乱時の偏光差を測定する。反射率の角度依存及び各材料の散乱物理特性は測定結果と電界計算の両方に基づいてデータベース中に含められる。各材料の色彩効果は、CIE色ベクトル空間による測定と電界計算の両方に基づいてデータベース中に含められる。偏光測定ラマン散乱及びフーリエ変換赤外(FTIR:Fourier-transform infrared)情報は、収集され、材料データベース中に含められ得る。直線二色性特性と円偏光二色性特性とを含む材料の光学活性は材料データベース中に含められる。材料データベース・パッケージは、テクスチャと入射角とコーティング色とにかかわらず材料の十分な理解を与える。
多次元材料認識ライダーは、反射され、散乱させられた光についての強度プロファイルを処理することによっても実現され得る。この場合、信号は、ニューラル・ネットワーク層のうちの1つとして、反射の物理特性と、予想される材料パラメータに基づく反射光プロファイルの評価とを含む、機械学習アルゴリズムによって処理される。そのようなネットワークのトレーニングのためのパラメータとして、強度最大値だけでなく、強度の減衰及び雑音周波数も含まれる。
いくつかの変形形態では、本開示は、それが検出する光の偏光を感知するように構成された、偏光カメラとも呼ばれる、偏光対応カメラを備えるシステムを提供する。これらの変形形態では、偏光カメラを利用するシステムは、物体から反射された周囲光の偏光を検出するので、本システムは、上記のシステム及び方法において説明したレーザとビーム・ステアラとを必要としない。代わりに、これらの変形形態では、本システムは、偏光されていない周囲光を利用し、物体から反射された周囲光の偏光を検出することができる。周囲電磁放射は、可視光、紫外光、赤外光などを含み得る。特に、好適な可視及び赤外電磁放射は、約390nmから約750nmまでにわたる波長を有する可視光と、(約0.75μmから約1.4μmまでにわたる近赤外(NIR)と、約15μmから1mmまでにわたる遠赤外(FIR)とを含む)赤外放射(IR)とを含む。テラヘルツ(THz)ダイアペーソンとしても知られる、電磁スペクトルの遠赤外(FIR)部は、約100μmから約1mmまでの光子波長と、約0.001eVから約0.01eVまでのエネルギーとを有する。天文学及び固体物理学から電気通信までのTHz研究の多くの領域にとって有益であるほかに、THz円偏光二色性(TCD:THz circular dichroism)は、非限定的な例として、天文学、固体物理学、電気通信、バイオマテリアル、生体分子、及び薬学の理解と検出とにおいて使用され得る。
図1を参照すると、たとえば、これらの変形形態による偏光カメラを利用するシステムは、レーザ102とビーム・ステアラ106とを必要とせず、ビーム104又はビーム108の生成を必要としない。言い換えれば、偏光カメラを利用するシステムでは、レーザ102によって生成されるビーム104及びビーム108の代わりに周囲光が利用される。
一態様では、上記のシステム及び方法と同様に、検出された物体から反射された周囲光についての感知された偏光情報は、検出された物体の少なくとも1つの材料を決定し、感知するために、プロセッサによって使用される。
他の態様では、本開示のシステム及び方法は同じ知覚システム中にライダーと偏光カメラの両方を含み得る。さらなる態様では、偏光カメラは、検出された物体から反射された周囲光についての偏光情報、並びに、検出された物体から戻る、ライダーからのレーザについての偏光情報を感知するように構成される。
他の態様では、プロセッサは、機械学習アルゴリズムを適用することによって、検出された物体の少なくとも1つの材料に基づいて物体を分類するように構成される。さらなる態様では、機械学習アルゴリズムは人工ニューラル・ネットワーク・アルゴリズムを含む。
他の態様では、本開示は、物体から反射され、偏光カメラ・システムによって検出された周囲光についての偏光情報など、物体についての追加の情報とともに、物体の相対距離又はロケーション及び形状を検出するように構成された偏光カメラ・システム及び方法を提供する。偏光情報は、レーザとビーム・ステアラと少なくとも1つの偏光子とを使用して偏光情報を感知するシステム及び方法に関して上記で説明したように、物体の材料組成を決定するために使用され得る。このようにして、物体についての及び/又は戻る/反射されたビームについての追加の情報は、記憶され、物体についての距離又はロケーション及び形状情報に関連する、情報の追加の次元を追加する。言い換えれば、本システム及び方法は、物体の相対距離又はロケーション及び形状を表す3次元情報に加えて、情報を検出するように構成されるという意味で、本開示の偏光カメラ・システム及び方法は多次元である。たとえば、物体の材料組成は、物体に関連する情報に第4の次元を追加することができる。追加又は代替として、物体から戻るビームについての追加の情報は、物体に関連する情報に1つ又は複数の追加の次元を追加することができる、偏光情報及び材料組成情報などを含み得る。
たとえば、本開示の偏光カメラ・システム及び方法によって検出された物体は3次元XYZ座標系におけるポイント・クラウドによって表され得る。ポイント・クラウドは複数のポイントを含むことができ、各ポイントは、物体の表面上のロケーションを表し、関連するXYZ座標を有する。上記で説明したライダー・システムと同様に、偏光カメラ・システム及び方法を用いてポイント・クラウドを生成することは、物体から反射する周囲光を繰り返し検出することと、反射された光が偏光カメラによって測定されることと、物体の表面上のポイントのロケーションを決定することとからなるプロセスを含むことができる。このプロセスは、その場合、毎秒何百万回のオーダーなどで毎秒複数回繰り返され得、ポイントは毎回生成される。様々なポイントは、次いで、ポイント・クラウドを作成するために同じXYZ座標系上にマッピングされる。
物体を表すポイント・クラウド中の各ポイントについて、本開示の偏光カメラ・システム及び方法はまた、物体の表面上のその特定のポイントに位置する材料の組成を表す第4の次元を決定することができる。追加又は代替として、物体を表すポイント・クラウド中の各ポイントについて、本開示の偏光カメラ・システム及び方法はまた、反射された光についての光学特性など、物体の表面上のその特定のポイントに関連する戻る(たとえば、反射された)周囲光についての追加の情報に対応する追加の次元を決定することができる。上記のように、追加の情報は、たとえば、物体の表面上のその特定のポイントに関連する偏光情報を含むことができる。このようにして、本開示の偏光カメラ・システム及び方法はまた、物体の表面を表すポイントについてのXYZ座標を含む、検出された物体を表す多次元ポイント・クラウドを決定することができ、各ポイントは、XYZ座標に加えて、その特定のポイントにおける物体の表面の材料組成を表す情報など、追加の関連する情報、及び/又は、偏光情報など、その特定のポイントからの反射された光についての追加の情報を有する。上記で説明したように、本開示の材料分類方法は、反射された光についての光学情報、たとえば偏光情報から材料組成情報を決定することができる。このようにして、本開示の偏光カメラ・システム及び方法は、材料組成情報、及び/又は追加の光学情報、たとえば、検出された物体を表すポイント・クラウド中の各ポイントに関連する偏光情報の任意の組合せを生成し、記憶することができる。
図17A~図17Cを参照すると、偏光カメラ2000が示されている。特に、図17Aは偏光カメラ2000の斜視図を示す。図17Bは偏光カメラ2000の正面図を示し、図17Cは偏光カメラの背面図を示す。偏光カメラ2000は、たとえば、ソニーのPolarsens技術を利用する、Lucid Vision Labsから入手できるTriton Polarization Model偏光カメラであり得る。偏光カメラ2000は、たとえば、24フレーム毎秒(FPS:frames per second)及び5.0メガピクセル(MP:megapixel)解像度においてRGB偏光ビデオを記録することができる。本開示は、Triton Polarization Model偏光カメラを利用するシステム及び方法について説明するが、物体からの反射された光の偏光情報をキャプチャする任意の他の偏光カメラが本開示によって使用され得る。
標準的な写真カメラによってキャプチャされた画像は、画像中の各ピクセルについてのRGB色データを含んでいるが、それ以上のものは含んでいない。偏光カメラ2000を用いると、各ピクセルは、検出された光の偏光についてのデータをも記憶する。光が物体の表面から反射するとき、偏光カメラ2000のレンズに送られる前に、光は、その表面の材料の特性に基づいて、偏光がシフトする。これらの固有の偏光シグネチャにより、2つの物体が異なる材料から構成されている場合、各物体からの反射された光の偏光は異なり、2つの物体は、反射された光の異なる偏光に基づいて区別可能である。偏光情報がない、標準的なカメラ及び画像認識アルゴリズムは、2つの物体間を区別することが困難であろう。たとえば、ブラック・アイスの層をもつ道路は、ブラック・アイスをもたない道路とは劇的に異なる偏光画像を有する。標準的なカメラは、しかしながら、同等でないとしても、極めて同様に見えるであろう、2つの道路のRGB画像を生成するであろう。同様に、黒いゴム・タイヤは、構成材料の異なるテクスチャ及び他の特性により、黒い袋とはまったく異なる偏光プロファイルを有する。したがって、本開示の偏光カメラ・システム及び方法は、有利には、黒いゴム・タイヤを黒いビニール袋と区別し、ブラック・アイスに覆われた道路をブラック・アイスを有しない道路と区別することが可能である。
偏光カメラ2000は、検出された物体から反射された周囲光の偏光を感知するように構成される。偏光は、周辺環境中の物体を感知又は検出するためにカメラが測定する光を含む、すべての電磁放射の特性である。すべての光は、最初に完全に偏光していない場合でも、物体の表面から反射すると、新たな偏光状態に入る。偏光のこの変化は、光がそれから反射されている物体の材料の特定の組成、並びに、光が物体の材料から反射する際の角度に依存し、対応する。光線が反射表面に直角に近ければ近いほど、この光の偏光値が受ける変化はより大きくなる。したがって、物体が遠ければ遠いほど、光に対する物体の表面の材料ベースの影響はより強くなり得る。距離が長くなると、解像度の低下により、物体検出がより困難になることがあるが、遠くにある物体についての光と表面との相互作用の相対的強化は、この困難についてのある程度の軽減を与える。偏光情報は、本開示のシステム及び方法の知覚層に供給され得、感知された物体がより遠くにあり、物体の得られた画像が、より近い物体よりも低い解像度を有するときでも、感知された物体の材料組成を決定するために使用される。たとえば、本開示のシステム及び方法は、物体から反射された周囲光及び/又は物体上のポイントの偏光に基づいて、物体の材料、及び/又は物体上のポイントを決定するために、図14に示された材料データベース1216など、材料データベースにアクセスすることができる。
特定の偏光状態は0度と360度との間の任意の角度であり得る。同様の様式において、色相(色の特性)は、しばしば、円形の様式で表され、各色相は回転度に対応する。このことを利用すると、偏光カメラ2000によって生成された偏光データによって与えられる視覚コントラストのようなものを表す疑似カラー写真が作成され得る。たとえば、図18は、偏光データを利用せずに示された物体のグループの画像2050を示す。画像2050は非偏光カメラを用いて生成された。図18はまた、偏光カメラ2000によって生成され、偏光カメラ1000によってキャプチャされた偏光データを使用して利用可能な追加のコントラストと特徴可視性を示すために疑似カラー偏光を使用して示された、物体の同じグループの画像2052を示す。本開示に従って、この偏光情報を色と同じコンテキストにおいて考慮に入れるように機械学習システムをトレーニングすることによって、標準的なカメラ視覚システムが達成することが可能であるどんなものよりも強く一般的である、完全に新しい相関が形成され得る。
図19を参照すると、上記で説明した図6と同様に、図19の混同行列を生成するためにニューラル・ネットワーク・アルゴリズムを用いたAIデータ処理を使用して反射光のMST偏光分析が実行された。x軸に沿って、本明細書で説明する処理方法の対象であるテスト物体についての材料の予測されるタイプが識別される。y軸に沿って、テスト物体についての材料の真のタイプが識別される。様々な材料タイプについてのAIアルゴリズムの様々な予測の正確さは、予測される材料タイプと真の材料タイプとの交点において示されている。図示のように、本開示のシステム及び方法の材料検出機能は、(1つの事例では96%又は96%超を含む)高い正確さで達成され得る。
さらに、物体がその色により本質的にカムフラージュされ得るが、物体の偏光情報を使用する、本開示の偏光カメラ・システム及び方法にとっては完全に可視である、多くの可能なエッジケース(edge-case)状況がある。たとえば、黄色のスクール・バスの前に立っている黄色のレイン・コートを着た子供の画像では、旧来のシステムは、子供とスクール・バスとの間の差異を識別することが可能でないことがある。本開示による偏光情報を使用するシステムは、しかしながら、黄色のレイン・コートの材料から反射された光の偏光を、黄色のスクール・バスの材料から反射された光の偏光と区別可能であることを認識することができる。したがって、本開示による偏光カメラ2000を使用するシステムは、2つの物体の間を区別し、異なる材料と物体とを分類し、2つの物体間の境界と縁部とを認識することができる。結果として、遠くにある又は視覚的にあいまいな物体を検出するために、本開示のシステム及び方法は、材料と物体とを識別する成功率の大きい向上を与えながらも、分類、識別などのために必要とされる時間の量を削減する。
物体検出及びコンピュータ・ビジョン・システムは、画像を、その中に表されている数ダース又は数百の物体に分割することができる。物体検出データは、次いで、各識別された物体の識別情報を記述する、物体分類アルゴリズムに供給され得る。本開示による、物体検出及びコンピュータ・ビジョン・システムの知覚層に偏光情報を追加することは、そのような偏光情報を利用しないシステムと比較して低減された処理時間で、物体の間を区別し、そのような物体を分類するそのようなシステムの能力を改善する。
本開示によれば、偏光カメラ2000は、上記のシステム及び方法において説明したライダーと、ビーム・ステアラと、少なくとも1つの偏光子との代わりに使用され得る。
たとえば、偏光カメラ2000は、図12、図15及び図16に示された4次元ポイント・クラウドを生成するために使用され得る。さらに、偏光カメラ2000は、偏光カメラ2000を有し、たとえば、図13の参照番号1106に関して上記で説明した反射された光学情報として検出された偏光情報を使用する偏光カメラ・システムをライダー・システムの代わりに使用することによって、図13を参照しながら上記で説明した、物体の材料組成を識別するために使用されるニューラル・ネットワークをトレーニングする方法1100とともに使用され得る。
さらに、図14を参照しながら上記で説明した例示的なリサイクリング・システム1200とともに1つ又は複数の偏光カメラ2000が使用され得る。各場合において、それらのシステム及び方法の各々に関して上記で説明した、説明したライダー、ビーム・ステアラ、及び少なくとも1つの偏光子は、物体から反射された周囲光の偏光情報をキャプチャするように構成された偏光カメラ2000によって交換され得る。図1を参照すると、レーザ102、ビーム・ステアラ106、s偏光直線偏光子114、p偏光直線偏光子116、s偏光検出器122、及びp偏光検出器124は、物体110から反射された周囲光の偏光を検出する偏光カメラ2000と交換され得る。
図14を参照すると、たとえば、ライダー・システム1214a、1214b、1214cのうちの1つ又は複数は、1つ又は複数の偏光カメラ2000と交換され得る。そのような場合、制御モジュール1218は、材料データベース1216にアクセスし、物体1220から反射され、1つ又は複数の偏光カメラ2000によって感知された周囲光の偏光情報に基づいて、上記で説明した分類技法に従って、物体1220についての多次元ポイント・クラウドを決定するように構成される。多次元ポイント・クラウドは、たとえば、物体1220を表すポイント・クラウドの各ポイントについての材料分類情報を含むことができる。上記で説明したように、材料分類情報に基づいて、制御モジュール1218は、次いで、物体1220をリサイクルのための適切な分類置き場にソートするようにソータ1206を制御することができる。このようにして、本開示の偏光カメラ・システム及び方法は、リサイクルされるべき物体の材料組成を正確に決定することができ、リサイクルされるべき物体をリサイクル用材料グループに適切に、自動的にソートするために、ソーティング・システムとともに使用され得る。
さらに、本開示の偏光カメラ・システム及び方法は、自律車両の近傍にある物体を感知するために、及び、物体を感知し、分類し、認識するために物体についての4次元ポイント・クラウドを生成するために、自律運転システムにおいて使用され得る。たとえば、本開示の偏光カメラ・システム及び方法は、図12に示されているように、自転車に乗っている人の4次元ポイント・クラウドを生成するために使用され得る。
さらに、本開示の偏光カメラ・システム及び方法は、たとえば、ある状態を呈する皮膚の領域を識別するために、及び、皮膚表面をマッピングし、走査された患者の皮膚表面に対応するポイントからの偏光情報を分析することによる皮膚病の診断のために、医療/美容適用例において使用され得る。たとえば、本開示の偏光カメラ・システム及び方法は、図16に示された4次元ポイント・クラウド1400、1402、1404、1406を生成するために使用され得る。上記で説明したように、異なる皮膚状態と病気との材料組成に対応する情報を記憶する材料データベースは、4次元ポイント・クラウドを生成するために使用され得、4次元ポイント・クラウドは、生物材料、細胞、組織などを区別するために使用され得る。たとえば、良性細胞に対する悪性細胞の位置、又は選択生物材料の識別情報が決定され得る。
同様に、本開示の偏光カメラ・システム及び方法は、生命体など、生物の健康状態又は生物学的指標(biological indicator)の検出のために利用され得る。生命体は、人間など、動物であり得る。
以下の表(表1)は、(i)測定された光の固有の波長と、(ii)材料関連の追加のデータが与えられるかどうかと、(iii)偏光角の数と、(iv)現在の推定価格範囲と、(v)サイクル毎秒と、(vi)相対的データ処理要件とに関して、標準的なカメラ、ハイパースペクトル(hyperspectral)カメラ、偏光カメラ、ライダー・システム、及びレーダ・システムなど、異なるカメラ/センサ・タイプ間の比較を与える。(ライダーとレーダ・システムとについての相対的データ処理要件は示されていない)。
Figure 2022530363000004
他の態様では、本開示のシステム及び方法は、物体を構成する異なるタイプの材料に基づいて、物体を分類及び/又は識別するために使用され得る。たとえば、特定の物体のリスティングを、各物体を構成する特定の材料と相関させる相関情報を含む物体データベースを構築するために、機械学習技法及びアルゴリズムが使用され得る。図12に示された4次元ポイント・クラウドを参照すると、たとえば、物体データベースは、自転車運転者物体が皮膚と、コットンと、アルミニウムと、ゴムとから構成されることを示す、自転車運転者についてのデータベース・エントリを含み得る。このようにして、本開示のシステム及び方法が、皮膚と、コットンと、アルミニウムと、ゴムとから構成された物体を感知すると、物体データベースは、感知された材料に基づいて照会され得る。照会に基づいて、本開示のシステム及び方法は、物体の材料組成に基づいて、物体が自転車運転者である可能性があることを決定することができる。さらに、物体データベースは、材料の各タイプが特定の物体中に見つけられ得るおおよその割合又は割合の範囲を示す、材料の各タイプについての割合、又は材料の各タイプについての割合の範囲を含むことができる。このようにして、本開示のシステム及び方法は、物体をより正確に分類し、識別するために材料情報を利用することができる。物体の識別及び分類は、物体のサイズ、形状、及び/又は他の特性に基づいて物体を識別し、分類するコンピュータ・ビジョン・システムとともに使用され得る。
本出願では、以下の定義を含めて、「モジュール」という用語又は「コントローラ」という用語は「回路」という用語と交換され得る。「モジュール」という用語は、特定用途向け集積回路(ASIC:Application Specific Integrated CIrcuit)、デジタル、アナログ、又はアナログ/デジタル混合ディスクリート回路、デジタル集積回路、アナログ集積回路、又はアナログ/デジタル混合集積回路、組合せ論理回路、フィールド・プログラマブル・ゲート・アレイ(FPGA:field programmable gate array)、コードを実行する(共有、専用、又はグループ)プロセッサ回路、プロセッサ回路によって実行されるコードを記憶する(共有、専用、又はグループ)メモリ回路、説明した機能を与える他の好適なハードウェア構成要素、或いは、システムオンチップ中など、上記の一部又は全部の組合せを指すか、その一部であるか、又はそれを含み得る。
モジュールは1つ又は複数のインターフェース回路を含み得る。いくつかの実例では、インターフェース回路は、ローカル・エリア・ネットワーク(LAN:local area network)、インターネット、ワイド・エリア・ネットワーク(WAN:wide area network)、又はその組合せに接続された、ワイヤード又はワイヤレス・インターフェースを含み得る。本開示の任意の与えられたモジュールの機能は、インターフェース回路を介して接続される複数のモジュールの間で分配され得る。たとえば、複数のモジュールが負荷分散を可能にし得る。さらなる実例では、(リモート、又はクラウドとしても知られる)サーバ・モジュールは、クライアント・モジュールに代わって何らかの機能を達成し得る。
上記で使用した、コードという用語は、ソフトウェア、ファームウェア、及び/又はマイクロコードを含み得、プログラム、ルーチン、関数、クラス、データ構造、及び/又はオブジェクトを指し得る。共有プロセッサ回路という用語は、複数のモジュールからのいくつかの又はすべてのコードを実行するシングル・プロセッサ回路を包含する。グループ・プロセッサ回路という用語は、追加のプロセッサ回路と組み合わせて、1つ又は複数のモジュールからのいくつかの又はすべてのコードを実行するプロセッサ回路を包含する。複数のプロセッサ回路への言及は、ディスクリート・ダイ上の複数のプロセッサ回路、単一のダイ上の複数のプロセッサ回路、シングル・プロセッサ回路の複数のコア、シングル・プロセッサ回路の複数のスレッド、又は上記の組合せを包含する。共有メモリ回路という用語は、複数のモジュールからのいくつかの又はすべてのコードを記憶する単一のメモリ回路を包含する。グループ・メモリ回路という用語は、追加のメモリと組み合わせて、1つ又は複数のモジュールからのいくつかの又はすべてのコードを記憶するメモリ回路を包含する。
メモリ回路という用語は、コンピュータ可読媒体という用語のサブセットである。本明細書で使用するコンピュータ可読媒体という用語は、(搬送波上など)媒体中を伝搬する一時的電気信号又は電磁信号を包含せず、コンピュータ可読媒体という用語は、したがって、有形及び非一時的であると考えられ得る。非一時的、有形コンピュータ可読媒体の非限定的な実例は、(フラッシュ・メモリ回路、消去可能プログラマブル読取り専用メモリ回路、又はマスク読取り専用メモリ回路など)不揮発性メモリ回路、(スタティック・ランダム・アクセス・メモリ回路又はダイナミック・ランダム・アクセス・メモリ回路など)揮発性メモリ回路、(アナログ又はデジタル磁気テープ、又はハード・ディスク・ドライブなど)磁気記憶媒体、及び(CD(CD:compact disc)、DVD(DVD:digital versatile disc)、又はブルーレイ・ディスクなど)光記憶媒体である。
本出願において説明した装置及び方法は、コンピュータ・プログラムにおいて実施される1つ又は複数の特定の機能を実行するように汎用コンピュータを構成することによって作成された専用コンピュータによって部分的に又は完全に実装され得る。上記で説明した機能ブロック、フローチャート構成要素、及び他の要素は、熟練の技術者又はプログラマーのルーチン作業によってコンピュータ・プログラムに変換され得る、ソフトウェア仕様として働く。
コンピュータ・プログラムは、少なくとも1つの非一時的、有形コンピュータ可読媒体上に記憶されるプロセッサ実行可能命令を含む。コンピュータ・プログラムはまた、記憶されたデータを含み得るか、又は記憶されたデータに依拠する。コンピュータ・プログラムは、専用コンピュータのハードウェアと対話する基本入出力システム(BIOS:basic input/output system)、専用コンピュータの特定のデバイスと対話するデバイス・ドライバ、1つ又は複数のオペレーティング・システム、ユーザ・アプリケーション、バックグラウンド・サービス、バックグラウンド・アプリケーションなどを包含し得る。
コンピュータ・プログラムは、(i)ハイパーテキスト・マークアップ言語(HTML:hypertext markup language)、拡張可能マークアップ言語(XML:extensible markup language)、又はJava(登録商標)スクリプト・オブジェクト表記法(JSON:Java(登録商標)Script Object Notation)など、パースされるべき説明文、(ii)アセンブリ・コード、(iii)コンパイラによってソース・コードから生成されるオブジェクト・コード、(iv)インタープリタによる実行のためのソース・コード、(v)ジャストインタイム・コンパイラによるコンパイルと実行とのためのソース・コードなどを含み得る。単に例として、ソース・コードは、C言語、C++言語、C#、Objective C、Swift、Haskell、Go、SQL、R、Lisp、Java(登録商標)、Fortran、Perl、Pascal、Curl、Ocaml、Java(登録商標)script(登録商標)、HTML5(ハイパーテキスト・マークアップ言語 第5改訂)、Ada、アクティブ・サーバ・ページ(ASP:Active Server Pages)、ハイパーテキスト・プリプロセッサ(PHP:Hypertext Preprocessor)、Scala、Eiffel、Smalltalk、Erlang、Ruby、Flash(登録商標)、Visual Basic(登録商標)、Lua、MATLAB(登録商標)、SIMULINK(登録商標)、及びPython(登録商標)を含む言語からのシンタックスを使用して書かれ得る。
要素が、「のための手段」というフレーズを使用して明確に具陳されていない限り、又は「のための動作」又は「のためのステップ」というフレーズを使用する方法クレームの場合、特許請求の範囲に記載されたいずれの要素も35U.S.C.§112(f)の意味内のミーンズプラスファンクション要素ではないものとする。
実施例の上記説明は例示及び説明の目的で与えられている。それは網羅的であるか又は本開示を限定するものではない。特定の実施例の個々の要素又は特徴は一般にその特定の実施例に限定されないが、適用可能な場合、交換可能であり、特に図示又は説明されていない場合でも、選択された実施例において使用され得る。それらはまた、多くの方法で変形され得る。そのような変形形態は、本開示からの逸脱としてみなされるべきではなく、すべてのそのような改変は本開示の範囲内に含まれるものとする。

Claims (23)

  1. 物体に向けて放出される複数の光パルスを生成するように構成されたレーザ・デバイスと、
    前記物体から戻る前記複数の光パルスの一部分を受信するように構成された検出器と、
    前記検出器によって受信された前記複数の光パルスに基づいて、前記物体を表すポイント・クラウドを生成するように構成されたプロセッサと
    を備えるシステムであって、前記ポイント・クラウドが複数のポイントを有し、各ポイントが、前記物体上の前記ポイントのロケーションを表す3次元位置座標を有し、前記物体上の前記ポイントの前記ロケーションにおける前記物体の材料を示す材料情報、又は前記物体上の前記ポイントの前記ロケーションからの前記物体の前記表面から戻る前記複数の光パルスの少なくとも1つの光学特性を示す光学情報のうちの少なくとも1つを表す少なくとも1つの追加の値を有する、システム。
  2. 前記光学情報が、偏光情報と、ラマン散乱情報と、円偏光二色性情報とのうちの少なくとも1つを含む、請求項1に記載のシステム。
  3. 前記少なくとも1つの追加の値が、前記ポイントの前記ロケーションにおける前記物体の表面上の前記材料を示す前記材料情報を表し、前記プロセッサが、前記ポイントの前記ロケーションにおける前記物体の前記表面から戻る複数の反射のうちの反射の少なくとも1つの光学特性を示す前記光学情報に基づいて前記材料情報を生成するように構成された、請求項1に記載のシステム。
  4. 前記プロセッサが、前記ポイントの前記ロケーションにおける前記物体の前記表面から戻る前記反射の、偏光情報と、ラマン散乱情報と、円偏光二色性情報とのうちの少なくとも1つに基づいて前記材料情報を生成するように構成された、請求項3に記載のシステム。
  5. 前記物体が複数の物体のうちの1つであり、
    前記レーザ・デバイスを越えて前記複数の物体を輸送するように構成されたコンベヤ・ベルトと、
    前記複数の物体を複数の容器にソートするソータと
    をさらに備え、
    前記少なくとも1つの追加の値が、前記ポイントの前記ロケーションにおける前記物体の表面の前記材料を示す前記材料情報を表し、前記プロセッサが、前記材料情報に基づいて前記物体を前記複数の容器のうちの1つにソートするように前記ソータを制御するように構成された、請求項1に記載のシステム。
  6. 前記物体に向けて放出される複数の追加の光パルスを生成するように構成された少なくとも1つの追加のレーザ・デバイスであって、前記レーザ・デバイスとは異なるロケーションに位置する、少なくとも1つの追加のレーザ・デバイスと、
    前記物体から戻る前記複数の追加の光パルスの一部分を受信するように構成された少なくとも1つの追加の検出器であって、前記検出器とは異なるロケーションに位置する、少なくとも1つの追加の検出器と
    をさらに備え、
    前記プロセッサが、前記少なくとも1つの追加の検出器によって受信された前記複数の追加の光パルスにさらに基づいて、前記物体を表す前記ポイント・クラウドを生成するように構成された、請求項1に記載のシステム。
  7. 前記レーザ・デバイスが、電磁スペクトルの遠赤外部中で前記複数の光パルスを生成する、請求項1に記載のシステム。
  8. 少なくとも1つのプロセッサを用いて、光/物質相互作用の物理法則に基づいてニューラル・ネットワークのパラメータを初期化することと、
    レーザ・デバイスを用いて、所定の材料組成を有する物体に向けて複数の光パルスを放出することと、
    検出器を用いて、前記物体から戻る前記複数の光パルスの複数の反射を受信することと、
    前記プロセッサを用いて、前記複数の反射の光学特性を前記ニューラル・ネットワークに入力することと、
    前記プロセッサを用いて、前記入力された光学特性に基づく前記ニューラル・ネットワークからの前記物体の予想された材料組成を受信することと、
    前記プロセッサを用いて、前記予想された材料組成を前記所定の材料組成と比較することと、
    前記プロセッサを用いて、前記比較に基づいて前記ニューラル・ネットワークの前記パラメータを調整することと
    を含む方法。
  9. 前記パラメータを前記調整することが、機械学習アルゴリズムを使用して実行される、請求項8に記載の方法。
  10. 追加の物体のための追加の予想された材料組成のうちの1つと、前記追加の物体の追加の既知の材料組成のうちの対応する1つとの間の差が所定の誤差限界よりも小さくなるまで、前記追加の予想された材料組成と前記追加の既知の材料組成との比較に基づいて前記ニューラル・ネットワークの前記パラメータを繰り返し調整することをさらに含み、前記追加の予想された材料組成が、前記レーザ・デバイスによって前記追加の物体から反射された複数の追加の光パルスの複数の追加の反射についての光学特性を入力することによって生成される、請求項8に記載の方法。
  11. 物体の表面から反射された周囲光を受信し、前記物体に関連する画像データ、及び前記物体の前記表面から反射された前記周囲光に関連する偏光データを生成するように構成された偏光カメラと、
    前記画像データと前記偏光データとに基づいて、前記物体を表すポイント・クラウドを生成するように構成されたプロセッサとを備えるシステムであって、
    前記ポイント・クラウドが複数のポイントを有し、各ポイントが、前記物体上の前記ポイントのロケーションを表す3次元位置座標と、前記物体上の前記ポイントの前記ロケーションにおける前記物体の材料を示す材料情報とを有し、前記プロセッサが、前記物体上の前記ポイントの前記ロケーションからの前記物体から反射された前記周囲光の偏光に基づいて前記材料情報を決定するようにさらに構成された、システム。
  12. 前記プロセッサが、周囲光偏光と物体材料との間の相関情報を記憶する材料データベースにアクセスすることと、前記材料データベースに基づいて、及び前記物体上の各ポイントの前記ロケーションからの前記物体から反射された前記周囲光の前記偏光に基づいて、前記物体上の各ポイントの前記ロケーションにおける前記物体の前記材料を示す前記材料情報を決定することとを行うようにさらに構成された、請求項11に記載のシステム。
  13. 前記プロセッサが、前記物体上の各ポイントの前記ロケーションにおける前記物体の前記材料を示す前記材料情報に基づいて、前記物体を構成する複数の材料を決定することと、前記物体を構成する前記複数の材料に基づいて前記物体を分類すること又は識別することのうちの少なくとも1つを実行することとを行うようにさらに構成された、請求項11に記載のシステム。
  14. 前記プロセッサが、複数の物体と、前記複数の物体の各物体を構成する材料との間の相関情報を記憶する物体データベースにアクセスすることと、前記物体データベースに記憶された前記相関情報と、前記物体を構成する前記複数の材料とに基づいて、前記物体を分類すること又は識別することのうちの前記少なくとも1つを実行することとを行うようにさらに構成された、請求項13に記載のシステム。
  15. 前記プロセッサが、前記物体の前記表面から反射された前記周囲光に関連する前記偏光データと、前記偏光カメラによって検出された追加の物体の表面から反射された前記周囲光に関連する追加の偏光データとの間の差に基づいて、前記物体と前記追加の物体との間の、前記画像データ内の縁部を決定するようにさらに構成された、請求項11に記載のシステム。
  16. 前記物体が複数の物体のうちの1つであり、前記システムは、
    前記偏光カメラを越えて前記複数の物体を輸送するように構成されたコンベヤ・ベルトと、
    前記複数の物体を複数の容器にソートするソータと
    をさらに備え、
    前記プロセッサが、前記材料情報に基づいて前記物体を前記複数の容器のうちの1つにソートするように前記ソータを制御するように構成された、請求項11に記載のシステム。
  17. 前記偏光カメラとは異なるロケーションに位置し、前記物体に関連する追加の画像データと追加の偏光データとを生成するように構成された、少なくとも1つの追加の偏光カメラをさらに備え、
    前記プロセッサが、前記少なくとも1つの追加の偏光カメラによって生成された前記追加の画像データと追加の偏光データとにさらに基づいて、前記物体を表す前記ポイント・クラウドを生成するように構成された、請求項11に記載のシステム。
  18. 前記物体が生物であり、前記プロセッサが、前記ポイント・クラウドの前記複数のポイントの前記材料情報に基づいて前記生物の健康状態を決定するようにさらに構成された、請求項11に記載のシステム。
  19. 前記偏光カメラが、レーザ・デバイスによって生成され、前記物体の前記表面から反射されたレーザ光を受信することと、前記物体の前記表面から反射された前記レーザ光に関連する追加の偏光データを生成することと、前記物体上の前記ポイントの前記ロケーションから前記物体から反射された前記レーザ光の偏光にさらに基づいて前記材料情報を決定することとを行うようにさらに構成された、請求項11に記載のシステム。
  20. 前記レーザ・デバイスが、電磁スペクトルの遠赤外部中でレーザ光を生成する、請求項19に記載のシステム。
  21. 少なくとも1つのプロセッサを用いて、光/物質相互作用の物理法則に基づいてニューラル・ネットワークのパラメータを初期化することと、
    偏光カメラを用いて、物体から反射された周囲光の複数の反射を受信することと、
    前記プロセッサを用いて、前記物体から反射された周囲光の前記複数の反射についての偏光情報を決定することと、
    前記プロセッサを用いて、前記複数の反射についての前記偏光情報を前記ニューラル・ネットワークに入力することと、
    前記プロセッサを用いて、前記入力された偏光情報に基づく前記ニューラル・ネットワークからの前記物体の予想された材料組成を受信することと、
    前記プロセッサを用いて、前記予想された材料組成を所定の材料組成と比較することと、
    前記プロセッサを用いて、前記比較に基づいて前記ニューラル・ネットワークの前記パラメータを調整することと
    を含む方法。
  22. 前記パラメータを前記調整することが、機械学習アルゴリズム又は人工知能アルゴリズムを使用して実行される、請求項21に記載の方法。
  23. 追加の物体のための追加の予想された材料組成のうちの1つと、前記追加の物体の追加の既知の材料組成のうちの対応する1つとの間の差が所定の誤差限界よりも小さくなるまで、前記予想された材料組成と前記追加の既知の材料組成との比較に基づいて前記ニューラル・ネットワークの前記パラメータを繰り返し調整することをさらに含み、前記追加の予想された材料組成が、前記追加の物体から反射され、前記偏光カメラによって受信された周囲光の複数の追加の反射についての追加の偏光情報を入力することによって生成される、請求項21に記載の方法。
JP2021561860A 2019-04-17 2020-04-17 多次元材料感知システム及び方法 Pending JP2022530363A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962835256P 2019-04-17 2019-04-17
US62/835,256 2019-04-17
PCT/US2020/028775 WO2020214959A1 (en) 2019-04-17 2020-04-17 Multidimensional materials sensing systems and methods

Publications (1)

Publication Number Publication Date
JP2022530363A true JP2022530363A (ja) 2022-06-29

Family

ID=72837652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021561860A Pending JP2022530363A (ja) 2019-04-17 2020-04-17 多次元材料感知システム及び方法

Country Status (6)

Country Link
US (1) US20220206154A1 (ja)
EP (1) EP3956686A4 (ja)
JP (1) JP2022530363A (ja)
KR (1) KR20210152499A (ja)
CN (1) CN114026458A (ja)
WO (1) WO2020214959A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11278937B2 (en) * 2015-07-16 2022-03-22 Sortera Alloys, Inc. Multiple stage sorting
CN114556132A (zh) * 2019-10-16 2022-05-27 伟摩有限责任公司 用于红外感测的系统和方法
DE102020131014A1 (de) 2020-11-24 2022-05-25 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum identifizieren einer substanz an einer oberfläche
CN112650414B (zh) * 2020-12-30 2024-03-22 安徽鸿程光电有限公司 触控装置、触控点定位方法、模块、设备及介质
GB2604596A (en) * 2021-03-05 2022-09-14 Vigilant Scanning Ltd Detection and identification of objects in a waste load
WO2023002237A1 (en) * 2021-07-21 2023-01-26 Bosch Car Multimedia Portugal, S.A. Polarimetric multifunctional lidar sensor for target recognition
WO2023171203A1 (ja) * 2022-03-08 2023-09-14 パナソニックIpマネジメント株式会社 撮像装置
CN116243270A (zh) * 2022-09-09 2023-06-09 深圳市速腾聚创科技有限公司 目标对象的检测方法及装置、介质及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545240B2 (en) * 1996-02-16 2003-04-08 Huron Valley Steel Corporation Metal scrap sorting system
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5866430A (en) * 1996-06-13 1999-02-02 Grow; Ann E. Raman optrode processes and devices for detection of chemicals and microorganisms
EP2223083B1 (en) * 2007-11-01 2018-01-03 Lockheed Martin Coherent Technologies, Inc. Sensing using polarization diversity and wavelength dependent backscatter
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8283589B2 (en) * 2010-12-01 2012-10-09 Key Technology, Inc. Sorting apparatus
US9266148B2 (en) * 2014-06-27 2016-02-23 Key Technology, Inc. Method and apparatus for sorting
CN105107760B (zh) * 2015-08-24 2018-02-16 爱丁堡(南京)光电设备有限公司 一种主动激发式光致多光谱成像的分选设备
US9830506B2 (en) * 2015-11-09 2017-11-28 The United States Of America As Represented By The Secretary Of The Army Method of apparatus for cross-modal face matching using polarimetric image data
EP3566078A1 (en) * 2017-01-03 2019-11-13 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
US10691979B2 (en) * 2017-01-04 2020-06-23 Aquifi, Inc. Systems and methods for shape-based object retrieval
US10763290B2 (en) * 2017-02-22 2020-09-01 Elwha Llc Lidar scanning system
DE102017205619A1 (de) * 2017-04-03 2018-10-04 Robert Bosch Gmbh LiDAR-System und Verfahren zum Betreiben eines LiDAR-Systems
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle

Also Published As

Publication number Publication date
EP3956686A1 (en) 2022-02-23
WO2020214959A1 (en) 2020-10-22
EP3956686A4 (en) 2022-12-28
KR20210152499A (ko) 2021-12-15
CN114026458A (zh) 2022-02-08
US20220206154A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
JP2022530363A (ja) 多次元材料感知システム及び方法
CN111448477B (zh) 材料感测式光成像、检测和测距系统
Šabanovič et al. Identification of road-surface type using deep neural networks for friction coefficient estimation
Ahmed et al. Pedestrian and cyclist detection and intent estimation for autonomous vehicles: A survey
CN110018487B (zh) 用于光学地检测至少一个对象的检测器
US9854227B2 (en) Depth sensor
KR20210019515A (ko) 비접촉식 생체 인식 시스템
Leykin et al. Thermal-visible video fusion for moving target tracking and pedestrian classification
CN105809205B (zh) 一种高光谱图像的分类方法及其系统
Hogan et al. Seeing through your skin: Recognizing objects with a novel visuotactile sensor
Wang et al. Fake modern Chinese painting identification based on spectral–spatial feature fusion on hyperspectral image
Restrepo et al. Characterization of 3-d volumetric probabilistic scenes for object recognition
Mahmoud Utilizing radiation for smart robotic applications using visible, thermal, and polarization images.
Zhou et al. A pedestrian extraction algorithm based on single infrared image
Bulbul et al. Enhancing the performance of 3D auto-correlation gradient features in depth action classification
Hasler Motion capture
Nandhakumar et al. Physics-based integration of multiple sensing modalities for scene interpretation
Yang et al. Perception framework of water hazards beyond traversability for real-world navigation assistance systems
Kim et al. Explainable deep driving by visualizing causal attention
Bole et al. Driver head pose tracking with thermal camera
Venugopala Comparative study of 3D object detection frameworks based on LiDAR data and sensor fusion techniques
Eklundh Mobile observers
Boyarski et al. Multidimensional scaling
Poggio et al. Machine Recognition of Objects
Gallup Multi-baseline Stereo

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240221