JP2020507137A - 車両周辺の物体を識別して測位するためのシステムおよび方法 - Google Patents

車両周辺の物体を識別して測位するためのシステムおよび方法 Download PDF

Info

Publication number
JP2020507137A
JP2020507137A JP2018569058A JP2018569058A JP2020507137A JP 2020507137 A JP2020507137 A JP 2020507137A JP 2018569058 A JP2018569058 A JP 2018569058A JP 2018569058 A JP2018569058 A JP 2018569058A JP 2020507137 A JP2020507137 A JP 2020507137A
Authority
JP
Japan
Prior art keywords
image
point cloud
shape
objects
lidar point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018569058A
Other languages
English (en)
Inventor
ジエン・リ
ジェンジェ・イン
Original Assignee
ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド
ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド, ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド filed Critical ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド
Publication of JP2020507137A publication Critical patent/JP2020507137A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本発明は、車両周辺の１つ以上の物体を識別して測位するためのシステムおよび方法を提供する。方法は、検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することを含んでよい。方法は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、第１のＬｉＤＡＲ点群画像内の１つ以上の物体の１つ以上の位置を決定することとをさらに含んでよい。方法は、１つ以上の物体の各々に対して３Ｄ形状を生成することと、１つ以上の物体の位置および３Ｄ形状に基づいて、第１のＬｉＤＡＲ点群画像内の１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することとをさらに含んでよい。

Description

本開示は、概して物体の識別に関し、特に、自動運転中に車両周辺の物体を識別して測位するための方法およびシステムに関する。
近年、自動運転技術が急速に発展している。自動運転技術を用いる車両は、その環境を検知して自動的にナビゲートすることができる。一部の自動運転車は、依然として人間の入力および操作を運転支援として必要とする。一部の自動運転車は、完全にそれ自体で運転を行う。しかしながら、車両周辺の物体を正確に識別して測位する能力は、あらゆるタイプの自動運転車にとって重要である。従来の方法は、車両にカメラを取り付けることと、カメラによって撮像された画像内の物体を分析することとを含むことができる。しかしながら、カメラ画像は通常２次元（２Ｄ）であるため、物体の奥行き情報を容易に取得することができない。無線検出および測距（Ｒａｄｉｏ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ，Ｒａｄａｒ）と光検出および測距（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ，ＬｉＤＡＲ）デバイスを用いて車両周辺の３次元（３Ｄ）画像を取得することができるが、その中の物体は、一般的にノイズが混入しており、識別して測位されることが難しい。また、ＲａｄａｒおよびＬｉＤＡＲデバイスによって生成された画像は、人間にとって理解しにくい。
本開示の一態様は、運転支援システムを提供する。前記システムは、車両周辺の１つ以上の物体を識別して測位するための一組の命令を含む１つ以上の記憶媒体と、前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップとを含む制御ユニットを含んでよい。前記システムの動作中に、前記１つ以上のマイクロチップは、前記一組の命令を実行して、検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得してよく、前記１つ以上のマイクロチップは、さらに、前記一組の命令を実行して、前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別し、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定してよい。前記１つ以上のマイクロチップは、さらに、前記一組の命令を実行して、前記１つ以上の物体の各々に対して３Ｄ形状を生成し、前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成してよい。
いくつかの実施態様では、前記システムは、前記制御ユニットと通信して前記ＬｉＤＡＲ点群画像を前記制御ユニットに送信する少なくとも１つのＬｉＤＡＲデバイスと、前記制御ユニットと通信してカメラ画像を前記制御ユニットに送信する少なくとも１つのカメラと、前記制御ユニットと通信してＲａｄａｒ画像を前記制御ユニットに送信する少なくとも１つのＲａｄａｒデバイスとをさらに含んでよい。
いくつかの実施態様では、前記基地局は、車両であってよく、前記システムは、前記車両のハンドル、カウルまたは反射鏡に取り付けられた少なくとも１つのＬｉＤＡＲデバイスをさらに含んでよく、前記少なくとも１つのＬｉＤＡＲデバイスの前記取り付けは、接着結合、ボルトおよびナット接続、バヨネット装着、または真空固定のうちの少なくとも１つを含んでよい。
いくつかの実施態様では、前記１つ以上のマイクロチップは、さらに、前記１つ以上の物体のうちの少なくとも１つを含む第１のカメラ画像を取得し、前記第１のカメラ画像内の前記１つ以上の物体のうちの少なくとも１つの目標物体と、前記第１のカメラ画像内の前記少なくとも１つの目標物体の少なくとも１つの目標位置とを識別し、前記第１のカメラ画像内の前記少なくとも１つの目標位置と前記ＬｉＤＡＲ点群画像内の前記少なくとも１つの目標物体の前記３Ｄ形状とに基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成してよい。
いくつかの実施態様では、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングする際に、前記１つ以上のマイクロチップは、さらに、前記第１のカメラ画像内の前記少なくとも１つの目標物体の２Ｄ形状を取得し、前記ＬｉＤＡＲ点群画像を前記第１のカメラ画像と関連付け、前記少なくとも１つの目標物体の前記２Ｄ形状と、前記ＬｉＤＡＲ点群画像と前記第１のカメラ画像との間の相関関係とに基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体の３Ｄ形状を生成し、前記第１のカメラ画像内の前記識別された位置と前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記３Ｄ形状とに基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成してよい。
いくつかの実施態様では、前記第１のカメラ画像内の前記少なくとも１つの目標物体と、前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置とを識別するために、前記１つ以上のマイクロチップは、ＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）ネットワークまたはＴｉｎｙ−ＹＯＬＯネットワークを操作して、前記第１のカメラ画像内の前記少なくとも１つの目標物体と、前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置とを識別してよい。
いくつかの実施態様では、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体を識別するために、前記１つ以上のマイクロチップは、さらに、無関心な点および残りの点を含む、前記第１のＬｉＤＡＲ点群画像内の複数の点の座標を取得し、前記座標に従って前記複数の点から前記無関心な点を除去し、点群クラスタリングアルゴリズムに基づいて前記残りの点を１つ以上のクラスタにクラスタリングし、前記１つ以上のクラスタのうちの少なくとも１つをターゲットクラスタとして選択してよく、前記ターゲットクラスタの各々が１つの物体に対応する。
いくつかの実施態様では、前記１つ以上の物体の各々に対して３Ｄ形状を生成するために、前記１つ以上のマイクロチップは、さらに、前記物体の予備的な３Ｄ形状を決定し、前記予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向のうちの少なくとも１つを調整して３Ｄ形状提案を生成し、前記３Ｄ形状提案のスコアを計算し、前記３Ｄ形状提案の前記スコアが所定の条件を満たすか否かを決定してよい。前記３Ｄ形状提案の前記スコアが前記所定の条件を満たさないという決定に応じて、前記１つ以上のマイクロチップは、さらに、前記３Ｄ形状提案を調整してよい。前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案の前記スコアが前記所定の条件を満たすという決定に応じて、前記１つ以上のマイクロチップは、さらに、前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案を前記物体の前記３Ｄ形状として決定してよい。
いくつかの実施態様では、前記３Ｄ形状提案の前記スコアは、前記３Ｄ形状提案内の前記第１のＬｉＤＡＲ点群画像の点の数、前記３Ｄ形状提案外の前記第１のＬｉＤＡＲ点群画像の点の数、または点と前記３Ｄ形状との間の距離のうちの少なくとも１つに基づいて計算される。
いくつかの実施態様では、前記１つ以上のマイクロチップは、さらに、前記検出基地局周辺の第１の無線検出および測距（Ｒａｄａｒ）画像を取得し、前記第１のＲａｄａｒ画像内の前記１つ以上の物体を識別し、前記第１のＲａｄａｒ画像内の前記１つ以上の物体の１つ以上の位置を決定し、前記第１のＲａｄａｒ画像内の前記１つ以上の物体の各々に対して３Ｄ形状を生成し、前記第１のＲａｄａｒ画像内の前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＲａｄａｒ画像内の前記１つ以上の物体をマーキングすることによって、第２のＲａｄａｒ画像を生成し、前記第２のＲａｄａｒ画像と前記第２のＬｉＤＡＲ点群画像とを融合させて補償画像を生成してよい。
いくつかの実施態様では、前記１つ以上のマイクロチップは、さらに、２つの異なる時間枠で前記基地局周辺の２つの第１のＬｉＤＡＲ点群画像を取得し、前記２つの第１のＬｉＤＡＲ点群画像に基づいて、前記２つの異なる時間枠で２つの第２のＬｉＤＡＲ点群画像を生成し、補間法により、前記２つの第２のＬｉＤＡＲ点群画像に基づいて、第３の時間枠で第３のＬｉＤＡＲ点群画像を生成してよい。
いくつかの実施態様では、前記１つ以上のマイクロチップは、さらに、複数の異なる時間枠で前記基地局周辺の複数のＬｉＤＡＲ点群画像を取得し、前記複数の第１のＬｉＤＡＲ点群画像に基づいて、前記複数の異なる時間枠で複数の第２のＬｉＤＡＲ点群画像を生成し、前記複数の第２のＬｉＤＡＲ点群画像に基づいてビデオを生成してよい。
本開示の別の態様は、方法を提供する。前記方法は、コンピューティングデバイスで実施されてよく、前記コンピューティングデバイスは、車両周辺の１つ以上の物体を識別して測位するための命令を記憶する１つ以上の記憶媒体と、前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップとを有する。前記方法は、検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することを含んでよい。前記方法は、前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定することとをさらに含んでよい。前記方法は、前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することとをさらに含んでよい。
本開示の別の態様は、非一時的なコンピュータ可読媒体を提供する。前記非一時的なコンピュータ可読媒体は、車両周辺の１つ以上の物体を識別して測位するための少なくとも一組の命令を含んでよい。電子端末のマイクロチップによって実行されるとき、前記少なくとも一組の命令は、検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得する動作を実行するように前記マイクロチップに指示してよい。前記少なくとも一組の命令は、前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別する動作と、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定する動作とを実行するように前記マイクロチップにさらに指示してよい。前記少なくとも一組の命令は、前記１つ以上の物体の各々に対して３Ｄ形状を生成する動作と、前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成する動作とを実行するように前記マイクロチップにさらに指示してよい。
さらなる特徴は、以下の説明に部分的に記載され、当業者であれば、以下の図面および添付の図面を検討することにより部分的に明らかになるか、または実施例の製造または動作によって学習してよい。本開示の特徴は、以下に説明する詳細な実施例に記載される方法論、手段および組み合わせの様々な態様を実施するかまたは用いることによって実現されて達成されてよい。
例示的な実施形態により、本開示をさらに説明する。これらの例示的な実施形態は、図面を参照して詳細に説明される。図面は、縮尺通りではない。これらの実施形態は、図面のいくつかの図を通して同様の参照符号が類似の構造を表す、非限定的な例示的実施形態である。
本開示のいくつかの実施形態による自動運転車のための例示的なシナリオを示す概略図である。 本開示のいくつかの実施形態による自動運転能力を有する例示的な車両のブロック図である。 コンピューティングデバイス３００の例示的なハードウェア構成要素を示す概略図である。 本開示のいくつかの実施形態による例示的な検知モジュールを示すブロック図である。 本開示のいくつかの実施形態による、物体の３Ｄ形状がマーキングされたＬｉＤＡＲ点群画像を生成する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成してマーキングする概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成してマーキングする概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成してマーキングする概略図である。 本開示のいくつかの実施形態による、マーキングされたカメラ画像を生成する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、カメラ画像内の１つ以上の物体の３Ｄ形状の２Ｄ表現を生成する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による自動車の同じ２Ｄカメラ画像の概略図である。 本開示のいくつかの実施形態による自動車の同じ２Ｄカメラ画像の概略図である。 本開示のいくつかの実施形態によるＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）ネットワークの概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する概略図である。 本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する概略図である。 本開示のいくつかの実施形態による、補償画像を生成する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、カメラとＬｉＤＡＲデバイスおよび／またはＲａｄａｒデバイスを同期させる概略図である。 本開示のいくつかの実施形態による、既存のＬｉＤＡＲ点群画像に基づいてＬｉＤＡＲ点群画像またはビデオを生成する例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、画像のフレームを検証して補間する概略図である。
以下の説明は、当業者が本開示を作成し、用いることができるように提示され、かつ特定の用途およびその要件の文脈において提供される。開示された実施形態に対する様々な変更は、当業者であれば直ちに把握することが可能であり、本明細書で定義された一般的な原理は、本開示の精神および範囲から逸脱しない限り、他の実施形態および用途に適用されてもよい。したがって、本開示は、示された実施形態に限定されるものではなく、特許請求の範囲と一致する最も広い範囲まで許容されるものとする。
本明細書において用いられる用語は、特定の例示的な実施形態を記述することのみを目的とするものであり、限定することを意図しない。本明細書において用いられる場合には、「ａ」、「ａｎ」の単数形および「ｔｈｅ」は、文脈上明確に別途示されない限り、同様に複数形も包含することを意図するものとする。「ｃｏｍｐｒｉｓｅ（備える）」、「ｃｏｍｐｒｉｓｅｓ」、および／または「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｅ（含む）」、「ｉｎｃｌｕｄｅｓ」、および／または「ｉｎｃｌｕｄｉｎｇ」などの用語は、本明細書において用いられる場合、記述される特徴、整数、ステップ、動作、要素、および／または構成要素の存在を明示しているが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらの群の存在または追加を排除するものではないことがさらに理解されるであろう。
本開示では、「自動運転車」という用語は、その環境を検知し、人間（例えば、運転手、操縦士など）の入力なしにナビゲートすることができる車両を指す。「自動運転車」という用語を「車両」と交互に用いてよい。「自動運転」という用語は、人間（例えば、運転手、操縦士など）の入力なしにナビゲートする能力を指す。
本開示の上記および上記以外の特徴および性質、ならびに関連する構成要素および各部分の組み合わせの動作方法と機能、および製造の経済性については、以下の詳細な説明を添付の図面を参照して検討することにより、さらに明らかになり、これらはいずれも本開示の一部を構成する。しかしながら、図面は、例示および説明のみを目的とするものであり、本開示の範囲を限定するものではないことは、明確に理解されるであろう。図面は縮尺通りではないことを理解すべきである。
本開示において用いられるフローチャートは、本開示のいくつかの実施形態に従って、システムが実施する動作を示す。フローチャートの動作は、順序通りに実施されなくてよいことは、明確に理解されるであろう。逆に、動作は、逆の順序で、または同時に実施されてよい。さらに、１つ以上の他の動作は、フローチャートに追加されてよい。１つ以上の動作は、フローチャートから削除されてよい。
本開示において用いられる測位技術は、全地球測位システム（ＧＰＳ）、全地球航法衛星システム（ＧＬＯＮＡＳＳ）、コンパス測位システム（ＣＯＭＰＡＳＳ）、ガリレオ測位システム、準天頂衛星システム（ＱＺＳＳ）、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）測位技術など、またはそれらの任意の組み合わせに基づいてよい。上記測位システムのうちの１つ以上は、本開示において交互に用いられてよい。
さらに、本開示で開示されたシステムおよび方法は、主に車両周辺の物体を識別して測位する運転支援に関して説明されるが、それらが１つの例示的な実施形態に過ぎないことを理解すべきである。本開示のシステムまたは方法は、他の種類のナビゲーションシステムにも適用することができる。例えば、本開示のシステムまたは方法は、陸上、海洋、航空宇宙など、またはそれらの任意の組み合わせを含む様々な環境の輸送システムに適用することができる。輸送システムの自動運転車は、タクシー、自家用車、ヒッチ、バス、列車、超特急列車、高速鉄道、地下鉄、船舶、航空機、宇宙船、熱気球、自動運転車など、またはそれらの任意の組み合わせを含んでよい。いくつかの実施形態では、システムまたは方法は、例えば物流倉庫、軍事などに用途を見出すことができる。
本開示の一態様は、自動運転中に車両周辺の物体を識別して測位する運転支援に関する。例えば、カメラ、ＬｉＤＡＲデバイス、Ｒａｄａｒデバイスは、自動運転車の屋根に取り付けられてよい。カメラ、ＬｉＤＡＲデバイス、Ｒａｄａｒデバイスは、自動車周辺のカメラ画像、ＬｉＤＡＲ点群画像、およびＲａｄａｒ画像をそれぞれ取得してよい。ＬｉＤＡＲ点群画像は複数の点を含んでよい。制御ユニットは、複数の点を複数のクラスタにクラスタリングしてよく、各クラスタが１つの物体に対応してよい。制御ユニットは、各物体に対して３Ｄ形状を決定し、かつその３Ｄ形状をＬｉＤＡＲ点群画像にマーキングしてよい。制御ユニットは、さらに、ＬｉＤＡＲ点群画像をカメラ画像と関連付けてカメラ画像上の物体の３Ｄ形状の２Ｄ表現を生成してマーキングしてよい。マーキングされたＬｉＤＡＲ点群画像とカメラ画像により、物体の位置と移動をより上手く理解することができる。制御ユニットは、さらに、マーキングされたカメラ画像に基づいて物体の移動のビデオを生成してよい。車両またはその中にいる運転者は、生成されたビデオまたは画像に基づいて車両の速度および移動方向を調整して物体の衝突を回避することができる。
図１は、本開示のいくつかの実施形態による自動運転車のための例示的なシナリオを示す概略図である。図１に示すように、自動運転車１３０は、自動運転車１３０によって自動的に決定された経路に沿って、人間の入力なしに道路１２１に沿って走行することができる。道路１２１は、車両が走行するために用意された空間であってよい。例えば、道路１２１は、車輪付きの車両（例えば、自動車、列車、自転車、三輪車など）または車輪のない車両（例えば、ホバークラフト）のための道路であってよく、飛行機または他の航空機のための航空路であってよく、船または潜水艦のための水路であってよく、衛星のための軌道であってよい。自動運転車１３０の走行は、法律または法規で規制されている道路１２１の道路交通法を違反しない。例えば、自動運転車１３０の速度は、道路１２１の制限速度を超えない。
自動運転車１３０は、自動運転車１３０によって決定された経路１２０に沿って走行することによって障害物１１０に衝突しない。障害物１１０は、静的障害物または動的障害物であってよい。静的障害物は、建物、木、バリケードなど、またはそれらの任意の組み合わせを含んでよい。動的障害物は、移動車両、歩行者、および／または動物など、またはそれらの任意の組み合わせを含んでよい。
自動運転車１３０は、エンジン、四輪、ハンドルなどのような非自動運転車の従来の構造を含んでよい。自動運転車１３０は、複数のセンサ（例えば、センサ１４２、センサ１４４、センサ１４６）を含む検知システム１４０と、制御ユニット１５０とをさらに含んでよい。複数のセンサは、車両を制御するために用いられる情報を提供するように構成されてよい。いくつかの実施形態では、センサは、車両の状態を検知してよい。車両の状態は、車両の動的状況、車両周辺の環境情報など、またはそれらの任意の組み合わせを含んでよい。
いくつかの実施形態では、複数のセンサは、自動運転車１３０の動的状況を検知するように構成されてよい。複数のセンサは、距離センサ、速度センサ、加速度センサ、操舵角センサ、牽引力関連センサ、カメラ、および／または任意のセンサを含んでよい。
例えば、距離センサ（例えば、Ｒａｄａｒ、ＬｉＤＡＲ、赤外線センサ）は、車両（例えば、自動運転車１３０）と他の物体（例えば、障害物１１０）との間の距離を決定してよい。距離センサは、さらに、車両（例えば、自動運転車１３０）と１つ以上の障害物（例えば、静的障害物、動的障害物）との間の距離を決定してよい。速度センサ（例えば、ホールセンサ）は、車両（例えば、自動運転車１３０）の速度（例えば、瞬間速度、平均速度）を決定してよい。加速度センサ（例えば、加速度計）は、車両（例えば、自動運転車１３０）の加速度（例えば、瞬間加速度、平均加速度）を決定してよい。操舵角センサ（例えば、傾斜センサ）は、車両（例えば、自動運転車１３０）の操舵角を決定してよい。牽引力関連センサ（例えば、力センサ）は、車両（例えば、自動運転車１３０）の牽引力を決定してよい。
いくつかの実施形態では、複数のセンサは、自動運転車１３０周辺の環境を検知してよい。例えば、１つ以上のセンサは、道路形状および障害物（例えば、静的障害物、動的障害物）を検出してよい。道路形状は、道路幅、道路長、道路タイプ（例えば、環状道路、直線道路、一方通行道路、双方向道路）を含んでよい。静的障害物は、建物、木、バリケードなど、またはそれらの任意の組み合わせを含んでよい。動的障害物は、移動車両、歩行者、および／または動物など、またはそれらの任意の組み合わせを含んでよい。複数のセンサは、１つ以上のビデオカメラ、レーザー検知システム、赤外線検知システム、音響検知システム、温感システムなど、またはそれらの任意の組み合わせを含んでよい。
制御ユニット１５０は、自動運転車１３０を制御するように構成されてよい。制御ユニット１５０は、自動運転車１３０を経路１２０に沿って運転するように制御してよい。制御ユニット１５０は、複数のセンサからの状態情報に基づいて経路１２０を計算してよい。いくつかの実施形態では、経路１２０は、車両と１つ以上の障害物（例えば、障害物１１０）との間の衝突を回避するように構成されてよい。
いくつかの実施形態では、経路１２０は、１つ以上の経路サンプルを含んでよい。１つ以上の経路サンプルの各々は、複数の経路サンプル特徴を含んでよい。複数の経路サンプル特徴は、経路速度、経路加速度、経路位置など、またはそれらの組み合わせを含んでよい。
自動運転車１３０を経路１２０に沿って運転して障害物との衝突を回避してよい。いくつかの実施形態では、自動運転車１３０は、各経路位置について対応する経路速度および対応する経路加速度で各経路位置を通過してよい。
いくつかの実施形態では、自動運転車１３０は、自動運転車１３０の位置を取得および／または決定する測位システムをさらに含んでよい。いくつかの実施形態では、測位システムは、基地局、他の車両、または他の人間などのような他のパーティーに接続されてパーティーの位置を取得してよい。例えば、測位システムは、他の車両の測位システムと通信を確立することができ、かつ他の車両の位置を受信して２つの車両の間の相対位置を決定してよい。
図２は、本開示のいくつかの実施形態による自動運転能力を有する例示的な車両のブロック図である。例えば、自動運転能力を有する車両は、制御システムを含んでよく、該制御システムは、制御ユニット１５０、複数のセンサ１４２、１４４、１４６、記憶装置２２０、ネットワーク２３０、ゲートウェイモジュール２４０、コントローラエリアネットワーク（ＣＡＮ）２５０、エンジン管理システム（ＥＭＳ）２６０、横滑り防止装置（ＥＳＣ）２７０、電力システム（ＥＰＳ）２８０、ステアリングコラムモジュール（ＳＣＭ）２９０、スロットルシステム２６５、ブレーキシステム２７５およびステアリングシステム２９５を含むが、これらに限定されない。
制御ユニット１５０は、車両運転（例えば、自動運転）に関する情報および／またはデータを処理して本開示に記載された１つ以上の機能を実行してよい。いくつかの実施形態では、制御ユニット１５０は、車両を自動的に運転するように構成されてよい。例えば、制御ユニット１５０は、複数の制御信号を出力してよい。複数の制御信号は、車両の運転を制御するために複数の横滑り防止装置（ＥＣＵ）によって受信されるように構成されてよい。いくつかの実施形態では、制御ユニット１５０は、車両の環境情報に基づいて基準経路および１つ以上の候補経路を決定してよい。いくつかの実施形態では、制御ユニット１５０は、１つ以上の処理エンジン（例えば、シングルコア処理エンジン（複数の場合もある）またはマルチコアプロセッサ（複数の場合もある））を含んでよい。単なる例として、制御ユニット１５０は、中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、グラフィック処理ユニット（ＧＰＵ）、物理処理ユニット（ＰＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、コントローラ、マイクロコントローラユニット、縮小命令セットコンピュータ（ＲＩＳＣ）、マイクロプロセッサなど、またはそれらの任意の組み合わせを含んでよい。
記憶装置２２０は、データおよび／または命令を記憶してよい。いくつかの実施形態では、記憶装置２２０は、自動運転車１３０から取得されたデータを記憶してよい。いくつかの実施形態では、記憶装置２２０は、制御ユニット１５０が実行するかまたは用いるデータおよび／または命令を記憶して本開示に記載された例示的な方法を実行してよい。いくつかの実施形態では、記憶装置２２０は、大容量記憶装置、取り外し可能記憶装置、揮発性読み書きメモリ、リードオンリーメモリー（ＲＯＭ）など、またはそれらの任意の組み合わせを含んでよい。例示的な大容量記憶装置は、磁気ディスク、光ディスク、ソリッドステートドライブなどを含んでよい。例示的な取り外し可能記憶装置は、フラッシュドライブ、フロッピーディスク、光ディスク、メモリーカード、ジップディスク、磁気テープなどを含んでよい。例示的な揮発性読み書きメモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでよい。例示的なＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブルデータレート同期ダイナミックＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、サイリスタＲＡＭ（Ｔ−ＲＡＭ）、およびゼロキャパシタＲＡＭ（Ｚ−ＲＡＭ）などを含んでよい。例示的なＲＯＭは、マスクＲＯＭ（ＭＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、およびデジタルバーサタイルディスクＲＯＭなどを含んでよい。いくつかの実施形態では、記憶装置は、クラウドプラットフォームで実施されてよい。単なる例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組み合わせを含んでよい。
いくつかの実施形態では、記憶装置２２０は、ネットワーク２３０に接続されて自動運転車１３０の１つ以上の構成要素（例えば、制御ユニット１５０、センサ１４２）と通信してよい。自動運転車１３０内の１つ以上の構成要素は、ネットワーク２３０を介して記憶装置２２０に記憶されたデータまたは命令にアクセスしてよい。いくつかの実施形態では、記憶装置２２０は、自動運転車１３０内の１つ以上の構成要素（例えば、制御ユニット１５０、センサ１４２）に直接接続されるかまたはそれらと通信してよい。いくつかの実施形態では、記憶装置２２０は、自動運転車１３０の一部であってよい。
ネットワーク２３０は、情報および／またはデータの変換を容易にすることができる。いくつかの実施形態では、自動運転車１３０内の１つ以上の構成要素（例えば、制御ユニット１５０、センサ１４２）は、ネットワーク２３０を介して自動運転車１３０内の他の構成要素（複数の場合もある）に情報および／またはデータを送信してよい。例えば、制御ユニット１５０は、ネットワーク２３０を介して、車両の動的状況および／または車両周辺の環境情報を取得／入手してよい。いくつかの実施形態では、ネットワーク２３０は、あらゆるタイプの有線または無線ネットワーク、またはそれらの組み合わせであってよい。単なる例として、ネットワーク２３０は、ケーブルネットワーク、有線ネットワーク、光ファイバーネットワーク、テレコミュニケーションネットワーク、イントラネット、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆電話交換網（ＰＳＴＮ）、ブルートゥース（登録商標）ネットワーク、ＺｉｇＢｅｅネットワーク、近距離無線通信（ＮＦＣ）ネットワークなど、またはそれらの任意の組み合わせを含んでよい。いくつかの実施形態では、ネットワーク２３０は、１つ以上のネットワークアクセスポイントを含んでよい。例えば、ネットワーク２３０は、基地局および／またはインターネット相互接続点２３０ー１などのような有線または無線のネットワークアクセスポイントを含んでよく、インターネット相互接続点２３０ー１などを介して自動運転車１３０の１つ以上の構成要素をネットワーク２３０に接続してデータおよび／または情報を交換してよい。
ゲートウェイモジュール２４０は、車両の現在の運転状態に基づいて、複数のＥＣＵ（例えば、ＥＭＳ２６０、ＥＰＳ２８０、ＥＳＣ２７０、ＳＣＭ２９０）に対してコマンドソースを決定してよい。コマンドソースは、人間の運転者、制御ユニット１５０など、またはそれらの任意の組み合わせからのものであってよい。
ゲートウェイモジュール２４０は、車両の現在の運転状態を決定してよい。車両の運転状態は、手動運転状態、半自動運転状態、自動運転状態、エラー状態など、またはそれらの任意の組み合わせを含んでよい。例えば、ゲートウェイモジュール２４０は、人間の運転者からの入力に基づいて、車両の現在の運転状態を手動運転状態に決定してよい。別の例では、ゲートウェイモジュール２４０は、現在の道路状況が複雑であるときに、車両の現在の運転状態を半自動運転状態に決定してよい。さらなる別の例として、ゲートウェイモジュール２４０は、異常（例えば、信号中断、プロセッサクラッシュ）が発生するときに、車両の現在の運転状態をエラー状態に決定してよい。
いくつかの実施形態では、ゲートウェイモジュール２４０は、車両の現在の運転状態が手動運転状態である決定に応じて、人間の運転者の操作を複数のＥＣＵに送信してよい。例えば、ゲートウェイモジュール２４０は、車両の現在の運転状態が手動運転状態である決定に応じて、人間の運転者によるアクセルの踏み込みをＥＭＳ２６０に送信してよい。ゲートウェイモジュール２４０は、車両の現在の運転状態が自動運転状態である決定に応じて、制御ユニット１５０の制御信号を複数のＥＣＵに送信してよい。例えば、ゲートウェイモジュール２４０は、車両の現在の運転状態が自動運転状態である決定に応じて、操舵に関連した制御信号をＳＣＭ２９０に送信してよい。ゲートウェイモジュール２４０は、車両の現在の運転状態が半自動運転状態である決定に応じて、人間の運転者の操作および制御ユニット１５０の制御信号を複数のＥＣＵに送信してよい。ゲートウェイモジュール２４０は、車両の現在の運転状態がエラー状態である決定に応じて、エラー信号を複数のＥＣＵに送信してよい。
コントローラエリアネットワーク（ＣＡＮバス）は、堅牢な車両バス規格（例えば、メッセージベースのプロトコル）であり、それにより、マイクロコントローラ（例えば、制御ユニット１５０）および装置（例えば、ＥＭＳ２６０、ＥＰＳ２８０、ＥＳＣ２７０、および／またはＳＣＭ２９０など）がホストコンピュータなしでアプリケーションにおいて互いに通信することを可能にする。ＣＡＮ２５０は、制御ユニット１５０を複数のＥＣＵ（例えば、ＥＭＳ２６０、ＥＰＳ２８０、ＥＳＣ２７０、ＳＣＭ２９０）と接続するように構成されてよい。
ＥＭＳ２６０は、自動運転車１３０のエンジン性能を決定するように構成されてよい。いくつかの実施形態では、ＥＭＳ２６０は、制御ユニット１５０からの制御信号に基づいて自動運転車１３０のエンジン性能を決定してよい。例えば、ＥＭＳ２６０は、現在の運転状態が自動運転状態であるときに、制御ユニット１５０からの加速度に関連した制御信号に基づいて、自動運転車１３０のエンジン性能を決定してよい。いくつかの実施形態では、ＥＭＳ２６０は、人間の運転者の操作に基づいて自動運転車１３０のエンジン性能を決定してよい。例えば、ＥＭＳ２６０は、現在の運転状態が手動運転状態であるときに、人間の運転者によるアクセルの踏み込みに基づいて自動運転車１３０のエンジン性能を決定してよい。
ＥＭＳ２６０は、複数のセンサおよび１つのマイクロプロセッサを含んでよい。複数のセンサは、１つ以上の物理信号を検出し、かつ処理のためにその１つ以上の物理信号を電気信号に変換するように構成されてよい。いくつかの実施形態では、複数のセンサは、様々な温度センサ、空気流量センサ、スロットル開度センサ、ポンプ圧力センサ、速度センサ、酸素センサ、荷重センサ、ノックセンサなど、またはそれらの任意の組み合わせを含んでよい。１つ以上の物理信号は、エンジン温度、エンジン吸入空気量、冷却水温度、エンジン速度など、またはそれらの任意の組み合わせを含んでよい。マイクロプロセッサは、複数のエンジン制御パラメータに基づいてエンジン性能を決定してよい。マイクロプロセッサは、複数の電気信号に基づいて複数のエンジン制御パラメータを決定してよい。複数のエンジン制御パラメータを決定してエンジン性能を最適化してよい。複数のエンジン制御パラメータは、点火時期、燃料供給量、アイドルエアフローなど、またはそれらの任意の組み合わせを含んでよい。
スロットルシステム２６５は、自動運転車１３０の動きを変えるように構成されてよい。例えば、スロットルシステム２６５は、エンジン出力に基づいて自動運転車１３０の速度を決定してよい。別の例では、スロットルシステム２６５は、エンジン出力に基づいて自動運転車１３０を加速させてよい。スロットルシステム２６５は、燃料噴射器、燃料圧力調整器、補助空気弁、温度スイッチ、スロットル、アイドル速度モータ、故障表示器、点火コイル、リレーなど、またはそれらの任意の組み合わせを含んでよい。
いくつかの実施形態では、スロットルシステム２６５は、ＥＭＳ２６０の外部実行者であってよい。スロットルシステム２６５は、ＥＭＳ２６０によって決定された複数のエンジン制御パラメータに基づいてエンジン出力を制御するように構成されてよい。
ＥＳＣ２７０は、車両の安定性を向上させるように構成されてよい。ＥＳＣ２７０は、牽引力の欠如を検出して減少させることによって車両の安定性を向上させてよい。いくつかの実施形態では、ＥＳＣ２７０は、操舵制御の欠如がＥＳＣ２７０によって検出された決定に応じて、ブレーキシステム２７５の動作を制御して車両の操舵を助けてよい。例えば、ＥＳＣ２７０は、車両が制動により上り坂で発進するときに、車両の安定性を向上させてよい。いくつかの実施形態では、ＥＳＣ２７０は、さらに、エンジン性能を制御して車両の安定性を向上させてよい。例えば、ＥＳＣ２７０は、操舵制御の欠如が発生する可能性があるときに、エンジン出力を低減してよい。緊急回避のために急に向きを変える際に車両が横滑りするときに、滑りやすい路面などに不適切にハンドルを回す際に車両がアンダーステアするかまたはオーバーステアするときに、操舵制御の欠如が発生する可能性がある。
ブレーキシステム２７５は、自動運転車１３０の動き状態を制御するように構成されてよい。例えば、ブレーキシステム２７５は、自動運転車１３０を減速させてよい。別の例では、ブレーキシステム２７５は、１つ以上の道路状況（例えば、下り坂）で自動運転車１３０を停止させてよい。さらなる別の例では、ブレーキシステム２７５は、下り坂で運転するときに、自動運転車１３０を等速度に維持してよい。
ブレーキシステム２７５は、機械的制御構成要素、油圧ユニット、動力ユニット（例えば、真空ポンプ）、実行ユニットなど、またはそれらの任意の組み合わせを含んでよい。機械的制御構成要素は、ペダル、ハンドブレーキなどを含んでよい。油圧ユニットは、油圧油、油圧ホース、ブレーキポンプなどを含んでよい。実行ユニットは、ブレーキキャリパ、ブレーキパッド、ブレーキディスクなどを含んでよい。
ＥＰＳ２８０は、自動運転車１３０の給電を制御するように構成されてよい。ＥＰＳ２８０は、自動運転車１３０に電力を供給、転送、および／または蓄積してよい。いくつかの実施形態では、ＥＰＳ２８０は、ステアリングシステム２９５への給電を制御してよい。例えば、ＥＰＳ２８０は、ハンドルを限界（例えば、左折限界、右折限界）に回した決定に応じて、大きな電力をステアリングシステム２９５に供給して自動運転車１３０に対して大きな操舵トルクを発生させてよい。
ＳＣＭ２９０は、車両のハンドルを制御するように構成されてよい。ＳＣＭ２９０は、車両のハンドルをロック／ロック解除してよい。ＳＣＭ２９０は、車両の現在の運転状態に基づいて車両のハンドルをロック／ロック解除してよい。例えば、ＳＣＭ２９０は、現在の運転状態が自動運転状態である決定に応じて、車両のハンドルをロックしてよい。ＳＣＭ２９０は、さらに、現在の運転状態が自動運転状態である決定に応じてステアリングコラムシャフトを後退させてよい。別の例では、ＳＣＭ２９０は、現在の運転状態が半自動運転状態、手動運転状態、および／またはエラー状態である決定に応じて、車両のハンドルをロック解除してよい。
ＳＣＭ２９０は、制御ユニット１５０の制御信号に基づいて自動運転車１３０の操舵を制御してよい。制御信号は、旋回方向、旋回位置、旋回角度など、またはそれらの任意の組み合わせに関する情報を含んでよい。
ステアリングシステム２９５は、自動運転車１３０を操舵するように構成されてよい。いくつかの実施形態では、ステアリングシステム２９５は、ＳＣＭ２９０から送信された信号に基づいて自動運転車１３０を操舵してよい。例えば、ステアリングシステム２９５は、現在の運転状態が自動運転状態である決定に応じて、ＳＣＭ２９０から送信された制御ユニット１５０の制御信号に基づいて、自動運転車１３０を操舵してよい。いくつかの実施形態では、ステアリングシステム２９５は、人間の運転者の操作に基づいて自動運転車１３０を操舵してよい。例えば、ステアリングシステム２９５は、現在の運転状態が手動運転状態である決定に応じて、人間の運転者がハンドルを左方向に回すと、自動運転車１３０を左方向に回してよい。
図３は、コンピューティングデバイス３００の例示的なハードウェア構成要素を示す概略図である。
コンピューティングデバイス３００は、１つ以上のマイクロチップを備えるシングルボードコンピューティングデバイスなどのような自動運転専用コンピューティングデバイスであってよい。さらに、制御ユニット１５０は、１つ以上のコンピューティングデバイス３００を含んでよい。コンピューティングデバイス３００は、本開示に記載された方法および／またはシステムをそのハードウェア、ソフトウェアプログラム、ファームウェア、またはそれらの組み合わせを介して実施するために使用されてよい。
コンピューティングデバイス３００は、例えば、データ通信を促進するためにそれ自体に接続されたネットワークに接続されたＣＯＭポート３５０およびネットワークから接続されたＣＯＭポート３５０を含んでよい。コンピューティングデバイス３００は、さらに、コンピュータ命令を実行するための、１つ以上のプロセッサの形態のプロセッサ３２０を含んでよい。コンピュータ命令は、例えば、本明細書に記載された特定の機能を実行するルーチン、プログラム、物体、構成要素、データ構造、手順、モジュール、および機能を含んでよい。例えば、動作中に、プロセッサ３２０は、自動運転車１３０を動作させる命令にアクセスし、かつその命令を実行して自動運転車の運転経路を決定してよい。
いくつかの実施形態では、プロセッサ３２０は、１つ以上のマイクロチップに組み込まれた１つ以上のハードウェアプロセッサ、例えば、マイクロコントローラ、マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向けプロセッサ（ＡＳＩＰ）、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、物理処理ユニット（ＰＰＵ）、マイクロコントローラユニット、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、アドバンストＲＩＳＣマシン（ＡＲＭ）、プログラマブルロジックデバイス（ＰＬＤ）、１つ以上の機能を実行することができる任意の回路またはプロセッサなど、またはそれらの任意の組み合わせを含んでよい。
例示的なコンピュータデバイス３００は、様々なデータファイルをコンピュータで処理および／または送信するために、内部通信バス３１０と、ディスク２７０、リードオンリーメモリー（ＲＯＭ）３３０またはランダムアクセスメモリ（ＲＡＭ）３４０のような様々な形態のプログラム記憶装置とデータ記憶装置とを含んでよい。例示的なコンピューティングデバイス３００は、ＲＯＭ３３０、ＲＡＭ３４０、および／またはプロセッサ３２０によって実行される他のタイプの非一時的な記憶媒体に記憶されたプログラム命令をさらに含んでよい。本開示の方法および／またはプロセスは、プログラム命令として実施されてよい。コンピューティングデバイス３００は、コンピュータと他の構成要素（例えば、ユーザインターフェース要素）との間の入力および／または出力をサポートするＩ／Ｏ構成要素２６０をさらに含んでよい。コンピューティングデバイス３００は、ネットワーク通信を介してプログラミングおよびデータを受信してよい。
単なる例示を目的とし、１つのプロセッサのみをコンピューティングデバイス３００内に記載する。しかしながら、本開示におけるコンピューティングデバイス３００は、複数のプロセッサをさらに含んでよいため、本開示に記載されるように、１つのプロセッサによって実行される動作および／または方法ステップは、さらに、複数のプロセッサによって共同で、または別々に実行されてよいという点に注意すべきである。例えば、本開示において、コンピューティングデバイス３００のプロセッサ３２０がステップＡおよびステップＢの両方を実行する場合、ステップＡおよびステップＢは、さらに、コンピューティングデバイス３００において２つの異なるプロセッサによって共同で、または別々に実行されてよい（例えば、第１のプロセッサがステップＡを実行し、第２のプロセッサがステップＢを実行するか、あるいは第１のプロセッサと第２のプロセッサがステップＡおよびステップＢを共同で実行する）ことは理解されるべきである。
また、当業者であれば、図２の制御システム内の要素が作動する場合、要素は、電気信号および／または電磁信号を介して作動してよいことを理解するであろう。例えば、センサ１４２、１４４、または１４６がデジタル写真またはＬｉＤＡＲ点群画像などのような検出された情報を送信するときに、その情報は、電子信号の形態で受信機に送信されてよい。制御ユニット１５０は、検出された情報の電子信号を受信してよく、かつそのプロセッサ内の論理回路を動作させてそのような情報を処理してよい。制御ユニット１５０はＣＡＮ２５０および／またはゲートウェイモジュール２４０にコマンドを送信してＥＭＳ２６０、ＥＳＣ２７０、ＥＰＳ２８０などを制御するときに、制御ユニット１５９のプロセッサは、コマンドを符号化する電気信号を生成し、次いでその電気信号を出力ポートに送信してよい。さらに、プロセッサが記憶媒体からデータを検索するときに、記憶媒体内の構造化されたデータを読み取ることができる記憶媒体の読み取り装置に電気信号を送信してよい。構造化されたデータは、制御ユニット１５０のバスを介して、電気信号の形態でプロセッサに送信されてよい。電気信号は、１つの電気信号、一連の電気信号、および／または複数の離散電気信号を指してよい。
図４は、本開示のいくつかの実施形態による例示的な検知システムを示すブロック図である。検知システム１４０は、制御ユニット１５０と通信して未処理の検知データ（例えば、画像）または前処理された検知データを制御ユニット１５０に送信してよい。いくつかの実施形態では、検知システム１４０は、少なくとも１つのカメラ４１０、少なくとも１つのＬｉＤＡＲ検出器４２０、少なくとも１つのＲａｄａｒ検出器４３０、および処理ユニット４４０を含んでよい。いくつかの実施形態では、カメラ４１０、ＬｉＤＡＲ検出器４２０、およびＲａｄａｒ検出器４３０は、それぞれセンサ１４２、１４４、および１４６に対応してよい。
カメラ４１０は、車両周辺の環境データのカメラ画像（複数の場合もある）を撮像するように構成されてよい。カメラ４１０は、不変レンズカメラ、コンパクトカメラ、３Ｄカメラ、パノラマカメラ、オーディオカメラ、赤外線カメラ、デジタルカメラなど、またはそれらの任意の組み合わせを含んでよい。いくつかの実施形態では、同じまたは異なるタイプの複数のカメラは車両に取り付けられてよい。例えば、特に車両が夜間に後退しているときに、赤外線カメラを車両の後部ボンネットに取り付けて車両の後方の物体の赤外線画像を撮像してよい。別の例として、オーディオカメラを車両の反射鏡に取り付けて車両の一側面にある物体の画像を撮像してよい。オーディオカメラは、取得された画像上の異なる部分または物体の音量レベルをマーキングしてよい。いくつかの実施形態では、車両に取り付けられた複数のカメラ４１０によって撮像された画像は、車両周辺の領域全体をまとめてカバーしてよい。
単なる例として、複数のカメラ４１０を、窓、車体、バックミラー、ハンドル、ライト、サンルーフ、およびナンバープレートを含むがこれらに限定されない、車両の異なる部分に取り付けてよい。窓は、前面窓、後面窓、側面窓などを含んでよい。車体は、フロントフード、バックフード、ルーフ、シャーシ、サイドなどを含んでよい。いくつかの実施形態では、複数のカメラ４１０は、車両のコンパートメント内の付属品（例えば、ハンドル、カウル、反射鏡）に付着されてよいかまたは取り付けられてよい。取り付け方法は、接着結合、ボルトおよびナット接続、バヨネット装着、真空固定など、またはそれらの任意の組み合わせを含んでよい。
ＬｉＤＡＲデバイス４２０は、車両から特定の範囲で高解像度画像を取得するように構成されてよい。例えば、ＬｉＤＡＲデバイス４２０は、車両の３５メートル以内の物体を検出するように構成されてよい。
ＬｉＤＡＲデバイス４２０は、ＬｉＤＡＲデバイス４２０が取り付けられている車両周辺環境のＬｉＤＡＲ点群画像を生成するように構成されてよい。ＬｉＤＡＲデバイス４２０は、レーザー発生器およびセンサを含んでよい。レーザービームは、紫外線、可視光線、近赤外線などを含んでよい。レーザー発生器は、固定された所定の周波数または所定の変化する周波数でパルスレーザービームを用いて物体を照らしてよい。レーザービームは、物体の表面に接触した後に反射して戻ってよく、かつセンサは、反射されたレーザービームを受け取ってよい。反射されたレーザービームを通して、ＬｉＤＡＲデバイス４２０は、物体の表面とＬｉＤＡＲデバイス４２０との間の距離を測定してよい。動作中に、ＬｉＤＡＲデバイス４２０は、レーザービームを回転させて用いて車両周辺環境を走査し、それによって反射されたレーザービームに従ってＬｉＤＡＲ点群画像を生成してよい。ＬｉＤＡＲデバイス４２０が車両周辺環境の限定された高さに沿って回転して走査するので、ＬｉＤＡＲ点群画像は、車両の所定の高さの間で車両を取り囲む３６０°の環境を測定する。ＬｉＤＡＲ点群画像は、静的画像または動的画像であってよい。さらに、ＬｉＤＡＲ点群画像内の各点は、レーザービームが反射される物体の表面とＬｉＤＡＲデバイスとの間の距離を測定するので、ＬｉＤＡＲ点群画像は３Ｄ画像である。いくつかの実施形態では、ＬｉＤＡＲ点群画像は、レーザービームのリアルタイム伝播を示すリアルタイム画像であってよい。
単なる例として、ＬｉＤＡＲデバイス４２０は、車両のルーフまたは前面窓に取り付けられてよく、しかしながら、ＬｉＤＡＲデバイス４２０は、窓、車体、バックミラー、ハンドル、ライト、サンルーフ、およびナンバープレートを含むがこれらに限定されない、車両の他の部分に取り付けられてよいという点に注意すべきである。
Ｒａｄａｒデバイス４３０は、電波を介して車両周辺の物体までの距離を測定することによってＲａｄａｒ画像を生成するように構成されてよい。ＬｉＤＡＲデバイス４２０と比較して、Ｒａｄａｒデバイス４３０は精度が低い（解像度が低い）が、検出範囲がより広い。したがって、Ｒａｄａｒデバイス４３０は、ＬｉＤＡＲデバイス４２０の検出範囲よりも遠くにある物体を測定するために用いられてよい。例えば、Ｒａｄａｒデバイス４３０は、車両との距離が３５メートル〜１００メートルの物体を測定するように構成されてよい。
Ｒａｄａｒデバイス４３０は、電波またはマイクロ波領域に電磁波を生成する送信機と、電波を送信するかまたは放送する送信アンテナと、電波を受信する受信アンテナとＲａｄａｒ画像を生成するプロセッサとを含んでよい。単なる例として、Ｒａｄａｒデバイス４３０は、車両のルーフまたは前面窓に取り付けられてよく、しかしながら、Ｒａｄａｒデバイス４３０は、窓、車体、バックミラー、ハンドル、ライト、サンルーフ、およびナンバープレートを含むがこれらに限定されない、車両の他の部分に取り付けられてよいという点に注意すべきである。
いくつかの実施形態では、ＬｉＤＡＲ画像とＲａｄａｒ画像とを融合させて補償画像を生成してよい。ＬｉＤＡＲ画像とＲａｄａｒ画像との融合に関する詳細な方法は、本開示の他の箇所に見出すことができる（例えば、図１５およびその説明を参照する）。いくつかの実施形態では、カメラ４１０、ＬｉＤＡＲデバイス４２０、およびＲａｄａｒデバイス４３０は、共にまたは個別に動作してよい。それらが異なる時間枠レートで個別に動作している場合、同期方法を用いてよい。カメラ４１０、ＬｉＤＡＲ４２０および／またはＲａｄａｒデバイス４３０のフレームの同期に関する詳細な方法は、本開示の他の箇所に見出すことができる（例えば、図１６およびその説明を参照する）。
検知システム１４０は、生成された画像（例えば、カメラ画像、ＬＩＤＡＲ画像、およびＲａｄａｒ画像）を前処理するように構成された処理ユニット４４０をさらに含んでよい。いくつかの実施形態では、画像の前処理は、平滑化、フィルタリング、ノイズ除去、再構成など、またはそれらの任意の組み合わせを含んでよい。
図５は、本開示のいくつかの実施形態による、物体の３Ｄ形状がマーキングされたＬｉＤＡＲ点群画像を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス５００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス５００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
５１０では、制御ユニット１５０は、基地局周辺のＬｉＤＡＲ点群画像（第１のＬｉＤＡＲ点群画像とも呼ばれる）を取得してよい。
基地局は、ＬｉＤＡＲデバイス、Ｒａｄａｒ、およびカメラを取り付けている任意の装置であってよい。例えば、基地局は、車両（例えば、自動車、航空機、船など）などのような移動可能なプラットフォームであってよい。基地局は、さらに、検出局または空港管制塔などのような固定プラットフォームであってよい。単なる説明目的のために、本開示は、車両または車両に取り付けられた装置（例えば、ラック）を基地局の例として取り上げる。
第１のＬｉＤＡＲ点群画像は、ＬｉＤＡＲデバイス４２０によって生成されてよい。第１のＬｉＤＡＲ点群画像は、基地局周辺の１つ以上の物体に対応するボクセルを含む３Ｄ点群画像であってよい。いくつかの実施形態では、第１のＬｉＤＡＲ点群画像は、第１の時間枠（第１の時点とも呼ばれる）に対応してよい。
５２０では、制御ユニット１５０は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別してよい。
１つ以上の物体は、歩行者、車両、障害物、建物、標識、交通信号灯、動物など、またはそれらの任意の組み合わせを含んでよい。いくつかの実施形態では、５２０では、制御ユニット１５０は、１つ以上の物体の領域およびタイプを識別してよい。いくつかの実施形態では、制御ユニット１５０は、領域のみを識別してよい。例えば、制御ユニット１５０は、ＬｉＤＡＲ点群画像の第１の領域を第１の物体として識別し、ＬｉＤＡＲ点群画像の第２の領域を第２の物体として識別し、残りの領域を地面（または空気）として識別してよい。他の例として、制御ユニット１５０は、第１の領域を歩行者として識別し、第２の領域を車両として識別してよい。
いくつかの実施形態では、現在の方法を車載装置によって運転支援の手段として用いる場合、制御ユニット１５０は、まず、車載基地局周辺の点（またはボクセル）の高さ（例えば、車載装置がある車両の高さ＋車載装置の高さ）を決定してよい。低すぎる（地面）かまたは高すぎる（例えば、運転中に回避するかまたは考慮する物体になりそうもない高さで）点は、１つ以上の物体を識別する前に制御ユニット１５０によって除去されてよい。残りの点は、複数のクラスタにクラスタリングされてよい。いくつかの実施形態では、残りの点は、３Ｄ点群画像内のそれらの３Ｄ座標（例えば、デカルト座標）に基づいてクラスタリングされてよい（例えば、閾値未満の点の間の距離が同じクラスタにクラスタリングされる）。いくつかの実施形態では、残りの点は、複数のクラスタにクラスタリングされる前にスイングスキャンされてよい。スイングスキャンは、３Ｄ点群画像内の残りの点を３Ｄデカルト座標系から極座標系に変換することを含んでよい。極座標系は原点または基準点を含んでよい。残りの点の各々の極座標は、原点からの直線距離、および原点からその点までの角度として表されてよい。グラフは、残りの点の極座標（例えば、ｘ軸または水平軸としての原点からの角度およびｙ軸または垂直軸としての原点からの距離）に基づいて生成されてよい。グラフ内の点を接続して、大きな曲率を有する部分と小さな曲率を有する部分とを含む曲線を生成してよい。小さな曲率を有する部分上の点は、同じ物体上の点である可能性があり、かつ同じクラスタにクラスタリングされてよい。大きな曲率を有する部分上の点は、異なる物体上の点である可能性があり、かつ異なるクラスタにクラスタリングされてよい。各クラスタは１つの物体に対応してよい。１つ以上の物体を識別する方法は、図１１に見出すことができる。いくつかの実施形態では、制御ユニット１５０は、第１のＬｉＤＡＲ点群画像と同じ（または実質的に同じまたは類似の）時間および角度で撮影されたカメラ画像を取得してよい。制御ユニット１５０は、カメラ画像内の１つ以上の物体を識別し、かつそれらをＬｉＤＡＲ点群画像内の１つ以上の物体として直接扱ってよい。
５３０では、制御ユニット１５０は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体の１つ以上の位置を決定してよい。制御ユニット１５０は、各識別された物体を別々に考慮し、かつ１つ以上の物体の各々に対して個々に動作５３０を実行してよい。いくつかの実施形態では、１つ以上の物体の位置は、１つ以上の物体のクラスタリングされた領域の幾何中心または重点であってよい。いくつかの実施形態では、１つ以上の物体の位置は、５４０では１つ以上の物体に対して３Ｄ形状を生成した後に調整されるかまたは再決定される予備的な位置であってよい。動作５２０および５３０は任意の順序で実行されてよく、あるいは１つの動作として組み合わされてよいという点に注意すべきである。例えば、制御ユニット１５０は、１つ以上の未知の物体に対応する点の位置を決定し、その点を複数のクラスタにクラスタリングし、次いでそのクラスタを物体として識別してよい。
いくつかの実施形態では、制御ユニット１５０は、カメラ画像を取得してよい。カメラ画像は、ＬｉＤＡＲ点群画像と同じ（または実質的に同じまたは類似の）時間および角度でカメラによって撮影されてよい。制御ユニット１５０は、ニューラルネットワーク（例えば、図１０に記載されたような小型ＹＯＬＯネットワーク）に基づいてカメラ画像内の物体の位置を決定してよい。制御ユニット１５０は、カメラ画像内の位置をＬｉＤＡＲ点群画像にマッピングすることによって、ＬｉＤＡＲ点群画像内の１つ以上の物体の位置を決定してよい。２Ｄカメラ画像から３ＤＬｉＤＡＲ点群画像への位置のマッピングは、円錐投影などを含んでよい。
いくつかの実施形態では、物体を識別して物体の位置を決定する動作５２０および５３０は、粗検出と呼ばれてよい。
５４０では、制御ユニット１５０は、１つ以上の物体の各々に対して３Ｄ形状（例えば、３Ｄボックス）を生成してよい。１つ以上の物体の各々に対する３Ｄ形状の生成に関する詳細な方法は、本開示の他の箇所に見出すことができる（例えば、図１３およびその説明を参照する）。いくつかの実施形態では、物体に対して３Ｄ形状を生成する動作５４０は、精密検出と呼ばれてよい。
５５０では、制御ユニット１５０は、１つ以上の物体の位置および３Ｄ形状に基づいて第２のＬｉＤＡＲ点群画像を生成してよい。例えば、制御ユニット１５０は、それらの対応する位置にある１つ以上の物体の３Ｄ形状によって第１のＬｉＤＡＲ点群画像をマーキングして第２のＬｉＤＡＲ点群画像を生成してよい。
図６Ａ〜６Ｃは、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成してマーキングする一連の概略図である。図６Ａに示すように、基地局（例えば、ＬｉＤＡＲポイントのラックまたは車両自体）は、車両６１０に取り付けられて車両６１０周辺のＬｉＤＡＲ点群画像を受信してよい。レーザーが物体６２０で遮断されていることが分かる。制御ユニット１５０は、プロセス５００に開示された方法で物体６２０を識別して測位してよい。例えば、制御ユニット１５０は、図６Ｂに示すように物体６２０を識別して測位した後にそれをマーキングしてよい。制御ユニット１５０は、さらに、物体６２０の３Ｄ形状を決定し、かつ物体６２０を図６Ｃに示すような３Ｄ形状でマーキングしてよい。
図７は、本開示のいくつかの実施形態による、マーキングされたカメラ画像を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス７００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス７００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
７１０では、制御ユニット１５０は、第１のカメラ画像を取得してよい。カメラ画像は、カメラ４１０によって取得されてよい。単なる例として、カメラ画像は、車両周辺の１つ以上の物体を含む２Ｄ画像であってよい。
７２０では、制御ユニット１５０は、１つ以上の物体および１つ以上の物体の位置を識別してよい。識別は、ニューラルネットワークに基づいて実行されてよい。ニューラルネットワークは、人工ニューラルネットワーク、畳み込みニューラルネットワーク、ＹＯＬＯネットワーク、小型ＹＯＬＯネットワークなど、またはそれらの任意の組み合わせを含んでよい。ニューラルネットワークは、物体が手動でまたは人工的に識別される複数のカメラ画像サンプルによってトレーニングされてよい。いくつかの実施形態では、制御ユニット１５０は、トレーニングされたニューラルネットワークに第１のカメラ画像を入力してよく、トレーニングされたニューラルネットワークは、１つ以上の物体の識別結果および測位結果を出力してよい。
７３０では、制御ユニット１５０は、カメラ画像内の１つ以上の物体の３Ｄ形状の２Ｄ表現を生成してマーキングしてよい。いくつかの実施形態では、１つ以上の物体の３Ｄ形状の２Ｄ表現は、ＬｉＤＡＲ点群画像内の１つ以上の物体の３Ｄ形状を１つ以上の物体の対応する位置でカメラ画像にマッピングすることによって生成されてよい。カメラ画像内の１つ以上の物体の３Ｄ形状の２Ｄ表現の生成に関する詳細な方法は、図８に見出すことができる。
図８は、本開示のいくつかの実施形態による、カメラ画像内の１つ以上の物体の３Ｄ形状の２Ｄ表現を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス８００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス８００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
ステップ８１０では、制御ユニット１５０は、第１のカメラ画像内の１つ以上の目標物体の２Ｄ形状を取得してよい。
カメラが限定された視野内の物体のみを撮像するが、ＬｉＤＡＲが基地局周辺を３６０°で走査するので、第１のカメラ画像は、第１のＬｉＤＡＲ点群画像内のすべての物体の一部のみを含んでよいという点に注意すべきである。簡潔にするために、本出願では、第１のカメラ画像と第１のＬｉＤＡＲ点群画像の両方に現れる物体は、目標物体と呼ばれてよい。本開示に記載された２Ｄ形状は、三角形、長方形（２Ｄボックスとも呼ばれる）、正方形、円形、楕円形、および多角形を含むが、これらに限定されないという点に注意すべきである。同様に、本開示に記載された３Ｄ形状は、直方体（３Ｄボックスとも呼ばれる）、立方体、球形、多面体、および円錐を含むが、これらに限定されない。３Ｄ形状の２Ｄ表現は、３Ｄ形状のように見える２Ｄ形状であってよい。
１つ以上の目標物体の２Ｄ形状は、ニューラルネットワークを実行することによって生成されてよい。ニューラルネットワークは、人工ニューラルネットワーク、畳み込みニューラルネットワーク、ＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）ネットワーク、小型ＹＯＬＯネットワークなど、またはそれらの任意の組み合わせを含んでよい。ニューラルネットワークは、物体の２Ｄ形状、位置、およびタイプが手動でまたは人工的に識別される複数のカメラ画像サンプルによってトレーニングされてよい。いくつかの実施形態では、制御ユニット１５０は、トレーニングされたニューラルネットワークに第１のカメラ画像を入力してよく、トレーニングされたニューラルネットワークは、１つ以上の目標物体のタイプ、位置、および２Ｄ形状を出力してよい。いくつかの実施形態では、ニューラルネットワークは、第１のカメラ画像に基づいて１つ以上の物体を２Ｄ形状（例えば、２Ｄボックス）でマーキングするカメラ画像を生成してよい。
ステップ８２０では、制御ユニット１５０は、第１のカメラ画像を第１のＬｉＤＡＲ点群画像と関連付けてよい。
例えば、第１のカメラ画像および第１のＬｉＤＡＲ点群画像における、１つ以上の目標物体の各々と基地局（例えば、車両またはＬｉＤＡＲデバイスのラックおよび車両上のカメラ）との間の距離は、測定されて関連付けられてよい。例えば、制御ユニット１５０は、第１のカメラ画像内の目標物体と基地局との間の距離を第１のＬｉＤＡＲ点群画像内の目標物体と基地局との間の距離と関連付けてよい。
したがって、制御ユニット１５０は、第１のカメラ画像内の目標物体の２Ｄまたは３Ｄ形状のサイズを第１のＬｉＤＡＲ点群画像内の目標物体の２Ｄまたは３Ｄ形状のサイズに関連付けてよい。例えば、第１のカメラ画像内の目標物体のサイズおよび目標物体と基地局との間の距離は、第１のＬｉＤＡＲ点群画像内の目標物体のサイズおよび目標物体と基地局との間の距離に比例してよい。第１のカメラ画像と第１のＬｉＤＡＲ点群画像との間の関連付けは、マッピング関係またはそれらの間の座標変換を含んでよい。例えば、関連付けは、３Ｄデカルト座標から基地局を中心とする３Ｄ球面座標の２Ｄ平面への変換を含んでよい。
ステップ８３０では、制御ユニット１５０は、目標物体の２Ｄ形状と、ＬｉＤＡＲ点群画像と第１のカメラ画像との間の相関関係とに基づいて、目標物体の３Ｄ形状の２Ｄ表現を生成してよい。
例えば、制御ユニット１５０は、まず、カメラ画像内の目標物体の２Ｄ形状とＬｉＤＡＲ点群画像内の目標物体の３Ｄ形状との間の位置合わせを実行してよい。その後、制御ユニット１５０は、ＬｉＤＡＲ点群画像内の目標物体の３Ｄ形状と相関関係とに基づいて、目標物体の３Ｄ形状の２Ｄ表現を生成してよい。例えば、制御ユニット１５０は、基地局の中心から擬似円錐投影を実行し、かつＬｉＤＡＲ点群画像と第１のカメラ画像との間の相関関係に基づいて２Ｄカメラ画像の平面における目標物体の３Ｄ形状の２Ｄ表現を生成してよい。
ステップ８４０では、制御ユニット１５０は、目標物体の３Ｄ形状の２Ｄ表現および第１のカメラ画像内の識別された位置に基づいて、第１のカメラ画像内の１つ以上の目標物体をマーキングすることによって、第２のカメラ画像を生成してよい。
図９Ａおよび図９Ｂは、本開示のいくつかの実施形態による自動車の同じ２Ｄカメラ画像の概略図である。図９Ａに示すように、車両９１０は識別して測位され、かつ２Ｄボックスはその上にマーキングされる。いくつかの実施形態では、制御ユニット１５０は、本出願に開示された方法（例えば、プロセス８００）を実行して自動車の３Ｄボックスの２Ｄ表現を生成してよい。自動車の３Ｄボックスの２Ｄ表現は、図９Ｂに示すように自動車にマーキングされる。図９Ａと比較して、図９Ｂは、自動車のサイズだけでなく、カメラ画像の平面に垂直な軸における自動車の深さも示し、したがって、自動車の位置をより上手く理解することができる。
図１０は、本開示のいくつかの実施形態によるＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）ネットワークの概略図である。ＹＯＬＯネットワークは、カメラ画像を複数の領域に分割し、かつ各領域に対する境界ボックスおよび確率を予測するニューラルネットワークであってよい。ＹＯＬＯネットワークは、多層ニューラルネットワーク（例えば、複数の層を含む）であってよい。複数の層は、少なくとも１つの畳み込み層（ＣＯＮＶ）、少なくとも１つのプーリング層（ＰＯＯＬ）、および少なくとも１つの全結合層（ＦＣ）を含んでよい。ＹＯＬＯネットワークの複数の層は、幅、高さ、中心座標、信頼度、および分類を含むがこれらに限定されない、多次元に配列されたニューロンに対応してよい。
ＣＯＮＶ層は、ニューロンを局所領域に接続し、入力内の局所領域に接続されているニューロンの出力を計算してよく、それらの重みとそれらが接続されている領域との間の点乗積をそれぞれ計算する。ＰＯＯＬ層は、空間次元（幅、高さ）に沿ってダウンサンプリング動作を実行することにより、ボリュームを低減してよい。ＰＯＯＬ層の機能は、表現の空間的サイズを次第に減少させてネットワーク内のパラメータおよび計算の数を減らし、それにより過剰適合も制御することを含んでよい。ＰＯＯＬ層は、入力のすべての深度スライスに対して独立して動作し、ＭＡＸ動作を用いて空間的にサイズを変更する。いくつかの実施形態では、ＦＣ層内の各ニューロンは、前のボリューム内のすべての値に接続されてよく、ＦＣ層は分類スコアを計算してよい。
図１０に示すように、１０１０は、例えば［４４８＊４４８＊３］のボリューム内の初期画像であってよく、「４４８」は解像度（またはピクセルの数）に関連し、「３」はチャネル（ＲＧＢ３チャネル）に関連する。画像１０２０〜１０７０は、複数のＣＯＮＶ層およびＰＯＯＬ層によって生成された中間画像であってよい。画像１０１０から１０７０へ、画像のサイズが減少するが、次元が増加するということに注意するべきである。画像１０７０のボリュームは［７＊７＊１０２４］であってよく、画像１０７０のサイズは、追加のＣＯＮＶ層によってこれ以上減少しなくてよい。２つの全結合層を１０７０の後に配置して画像１０８０および１０９０を生成してよい。画像１０９０は、元の画像を４９個の領域に分割してよく、各領域は、３０次元を含み、かつ境界ボックスを予測することを担当する。いくつかの実施形態では、３０次元は、ｘ、ｙ、境界ボックスの長方形の幅、高さ、信頼度、および２０クラスにわたる確率分布を含んでよい。１つの領域が多数の境界ボックスを予測することを担当すると、次元は、対応する数を掛けてよい。例えば、１つの領域が５個の境界ボックスを予測することを担当すると、１０９０の次元は１５０であってよい。
小型ＹＯＬＯネットワークは、ＹＯＬＯネットワークと類似する構造を有するが、ＹＯＬＯネットワークよりも層が少なく、例えば、畳み込み層が少なく、プーリング層が少ないネットワークであってよい。小型ＹＯＬＯネットワークは、ダークネット基準ネットワークに基づいてよく、かつ通常のＹＯＬＯネットワークよりもはるかに高速であるが、正確性が低い。
図１１は、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス１１００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス１１００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
１１１０では、制御ユニット１５０は、ＬｉＤＡＲ点群画像（例えば、第１のＬｉＤＡＲ点群画像）内の複数の点（またはボクセル）の座標を取得してよい。複数の点の各々の座標は、原点（例えば、基地局またはレーザービームの光源）に対応する相対座標であってよい。
１１２０では、制御ユニット１５０は、複数の点から無関心な点をそれらの座標に従って除去してよい。本出願を運転支援として用いるシナリオでは、無関心な点は、ＬｉＤＡＲ点群画像内の位置が低すぎる（例えば、地面）かまたは高すぎる（例えば、運転中に回避するかまたは考慮する物体になりそうもない高さで）点てあってよい。
１１３０では、制御ユニット１５０は、点群クラスタリングアルゴリズムに基づいて、ＬｉＤＡＲ点群画像内の複数の点のうちの残りの点を１つ以上のクラスタにクラスタリングしてよい。いくつかの実施形態では、３Ｄデカルト座標系における残りの点のうちの任意の２点間の空間距離（またはユークリッド距離）は測定され、閾値と比較されてよい。２点間の空間距離が閾値以下である場合、２点は、同じ物体からのものと考慮され、かつ同じクラスタにクラスタリングされる。閾値は、残りの点の間の距離に基づいて動的に変化してよい。いくつかの実施形態では、残りの点は、複数のクラスタにクラスタリングされる前にスイングスキャンされてよい。スイングスキャンは、３Ｄ点群画像内の残りの点を３Ｄデカルト座標系から極座標系に変換することを含んでよい。極座標系は原点または基準点を含んでよい。残りの点の各々の極座標は、原点からの直線距離、および原点からその点までの角度として表されてよい。グラフは、残りの点の極座標（例えば、ｘ軸または水平軸としての原点からの角度およびｙ軸または垂直軸としての原点からの距離）に基づいて生成されてよい。グラフ内の点を接続して、大きな曲率を有する部分と小さな曲率を有する部分とを含む曲線を生成してよい。小さな曲率を有する曲線の部分上の点は、同じ物体上の点である可能性があり、かつ同じクラスタにクラスタリングされてよい。大きな曲率を有する曲線の部分上の点は、異なる物体上の点である可能性があり、かつ異なるクラスタにクラスタリングされてよい。別の例として、点群クラスタリングアルゴリズムは、予めトレーニングされたクラスタリングモデルを用いることを含んでよい。前記クラスタリングモデルは、予めトレーニングされたパラメータを有する複数の分類器を含んでよい。残りの点をクラスタリングするときに、クラスタリングモデルをさらに更新してよい。
１１４０では、制御ユニット１５０は、１つ以上のクラスタのうちの少なくとも１つをターゲットクラスタとして選択してよい。例えば、１つ以上のクラスタのうちのいくつかは、葉、ビニール袋、または水筒のサイズなどの、任意の意味のある物体のサイズではなく、かつ削除されてよい。いくつかの実施形態では、物体の所定のサイズを満たすクラスタのみは、ターゲットクラスタとして選択されてよい。
図１２Ａ〜１２Ｅは、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する一連の概略図である。図１２Ａは、車両１２１０周辺の概略的なＬｉＤＡＲ点群画像である。制御ユニット１５０は、図１２Ａ内の点の座標を取得してよく、かつ低すぎるかまたは高すぎる点を除去して図１２Ｂを生成してよい。その後に、制御ユニット１５０は、図１２Ｂ内の点をスイングスキャンし、かつ図１２Ｃに示すように、基準点または原点からの図１２Ｂ内の各点の距離および角度を測定してよい。制御ユニット１５０は、さらに、図１２Ｄに示すような距離および角度に基づいて点を１つ以上のクラスタにクラスタリングしてよい。制御ユニット１５０は、図１２Ｅに示すように、１つ以上のクラスタのうちのクラスタを個別に抽出し、かつ抽出されたクラスタ内の物体の３Ｄ形状を生成してよい。抽出されたクラスタ内の物体の３Ｄ形状の生成に関する詳細な方法は、本開示の他の箇所に見出すことができる（例えば、図１３およびその説明を参照する）。
図１３は、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス１３００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス１３００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
１３１０で、制御ユニット１５０は、物体の予備的な３Ｄ形状を決定してよい。
予備的な３Ｄ形状は、ボクセル、直方体（３Ｄボックスとも呼ばれる）、立方体などであってよい。いくつかの実施形態では、制御ユニット１５０は、物体の中心点を決定してよい。物体の中心点は、物体内の点の座標に基づいて決定されてよい。例えば、制御ユニット１５０は、中心点を物体内の点の座標の平均値として決定してよい。その後に、制御ユニット１５０は、予備的な３Ｄ形状を物体の中心化された点（例えば、物体のクラスタリングされて抽出されたＬｉＤＡＲ点群画像）に配置してよい。例えば、予め設定されたサイズの直方体は、制御ユニット１５０によって物体の中心点に配置されてよい。
ＬｉＤＡＲ点群画像がレーザービームを反射する物体の表面の点のみを含むので、点は物体の表面形状のみを反映する。点の誤差および変化を考慮しない理想的な状況では、物体の点の分布は、物体の形状の輪郭に沿ってきつくてよい。輪郭の内側に点はなく、輪郭の外側に点はない。しかしながら、実際には、測定誤差のために、点は輪郭周辺に点在している。したがって、自動運転の目的のために、物体の大まかな形状を識別するために形状提案が必要となる場合がある。この目標を達成するために、制御ユニット１５０は、３Ｄ形状を調整して理想的なサイズ、形状、方向、および位置を取得し、かつ３Ｄ形状を用いて形状提案として役立ってよい。
１３２０では、制御ユニット１５０は、予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向を含むパラメータのうちの少なくとも１つを調整して３Ｄ形状提案を生成してよい。いくつかの実施形態では、動作１３２０（および動作１３３０および１３４０）は、繰り返して実行されてよい。各繰り返しでは、１つ以上のパラメータは調整されてよい。例えば、３Ｄ形状の高さは第１の繰り返しで調整され、３Ｄ形状の長さは第２の繰り返しで調整される。別の例として、３Ｄ形状の高さと長さの両方は第１の繰り返しで調整され、３Ｄ形状の高さと幅は第２の繰り返しで調整される。パラメータの調整は、増加または減少であってよい。また、各繰り返しにおけるパラメータの調整は、同じでも異なってよい。いくつかの実施形態では、高さ、幅、長さ、および偏揺れ角の調整は、グリッド検索法に基づいて使用されてよい。
理想的な形状提案は、自動運転車がその運転経路を計画するために、信頼できる基準形状として役立つべきである。例えば、自動運転車は物体の記述として形状提案を用いて物体を越えると決定する場合、運転経路は、車両がその運転経路を正確に計画して物体周辺で安全に運転することができるが、同時に左または右への最小回転角度を操作して運転をできるだけ円滑にするように確保することを保証するべきである。例示的な結果として、形状提案は、物体の形状を正確に記述する必要がない場合があるが、自動運転車が形状提案に確実に依拠して物体に衝突および／またはぶつかることなく運転経路を決定することができるように、物体を覆うのに十分な大きさを有する必要がある。しかしながら、形状提案は、物体周辺を通過する際の運転経路の効率に影響を与えるほど大きい必要もない。
したがって、制御ユニット１５０は、損失関数を評価してよく、損失関数は、自動運転経路計画の目的のために物体を記述することにおいて形状提案がどれほど良好であるかの基準として役立つ。損失関数のスコアまたは値が小さければ小さいほど、形状提案は物体をより上手く記述する。
１３３０では、制御ユニット１５０は、３Ｄ形状提案の損失関数のスコア（または値）を計算してよい。単なる例として、損失関数は３つの部分、すなわちＬｉｎｂｏｘ、ＬｓｕｆおよびＬｏｔｈｅｒを含んでよい。例えば、３Ｄ形状提案の損失関数を以下のように表すことができる。
Figure 2020507137
Ｌは、３Ｄ形状提案の総合スコアを示してよく、Ｌｉｎｂｏｘは、３Ｄ形状提案内の物体の点の数に関する３Ｄ形状提案のスコアを示してよい。Ｌｓｕｆは、形状提案の表面までの点の距離によって測定された、３Ｄ形状提案が物体の実際の形状にどれだけ近いかを表すスコアを示してよい。したがって、Ｌｓｕｆのスコアが小さければ小さいほど、３Ｄ形状提案は物体の表面形状または輪郭に近くなることを意味する。さらに、Ｌｓｕｆ（ｃａｒ）は、自動車の点と３Ｄ形状提案の表面との間の距離に関する３Ｄ形状提案のスコアを示してよく、Ｌｓｕｆ（ｐｅｄ）は、歩行者の点と３Ｄ形状提案の表面との間の距離に関する３Ｄ形状提案のスコアを示してよく、Ｌｏｔｈｅｒは、他のボーナスまたは罰金による３Ｄ形状提案のスコアを示してよい。
さらに、Ｎは点の数を示してよく、Ｐ＿ａｌｌは物体のすべての点を示してよく、Ｐ＿ｏｕｔは３Ｄ形状提案の外側の点を示してよく、Ｐ＿ｉｎは３Ｄ形状提案内の点を示してよく、Ｐ＿ｂｅｈｉｎｄは３Ｄ形状提案の後ろにある点（例えば、３Ｄ形状提案の後部の点）を示してよく、ｄｉｓは物体の点から３Ｄ形状提案の表面までの距離を示してよい。いくつかの実施形態では、ｍ、ｎ、ａ、ｂおよびｃは定数である。例えば、ｍは２．０であってよく、ｎは１．５であってよく、ａは２．０であってよく、ｂは０．６であってよく、ｃは１．２であってよい。
Ｌｉｎｂｏｘは、３Ｄ形状提案内の点の数を最小化するように構成されてよい。したがって、内部の点の数が少なければ少ないほど、Ｌｉｎｂｏｘのスコアは小さくなる。Ｌｓｕｒｆは、３Ｄ形状提案の表面に近い点ができるだけ多くなるように、３Ｄ形状提案の特定の形状および方向を促進するように構成されてよい。したがって、３Ｄ形状提案の表面までの点の累積距離が小さければ小さいほど、Ｌｓｕｒｆのスコアは小さくなる。Ｌｏｔｈｅｒは、美しく密集した点のクラスタを促進するように構成され、すなわち、点クラスタの数が多ければ多いほど、３Ｄ形状提案のボリュームは小さくなる。したがって、ｆ（Ｎ）は、３Ｄ形状提案内の点の総数に関する関数として定義され、すなわち、３Ｄ形状提案内の点が多ければ多いほど、損失関数がよくなり、それによってｆ（Ｎ）のスコアが小さくなる。Ｌｍｉｎ（Ｖ）は、３Ｄ形状提案のボリュームを抑制するものとして定義され、それは、３Ｄ形状提案のボリュームを最小化するように試み、すなわち、３Ｄ形状提案のボリュームが小さければ小さいほど、Ｌｍｉｎ（Ｖ）のスコアは小さくなる。
したがって、式（１）の損失関数Ｌは、不必要に大きくならずに３Ｄ形状提案を物体の輪郭に近づけることを促進する様々な要因のバランスのとれた考慮を組み込む。
１３４０では、制御ユニット１５０は、３Ｄ形状提案のスコアが予め設定された条件を満たすか否かを決定してよい。予め設定された条件は、スコアが閾値以下であり、スコアが何度も繰り返しても変わらず、所定の回数の繰り返しが実行されるなどを含んでよい。３Ｄ形状提案のスコアが予め設定された条件を満たさない決定に応じて、プロセス１３００は１３２０に戻ってよい。そうでなければ、プロセス１３００は１３６０に進んでよい。
１３２０では、制御ユニット１５０は、さらに、３Ｄ形状提案を調整してよい。いくつかの実施形態では、後続の繰り返しにおいて調整されるパラメータは、現在の繰り返しとは異なってよい。例えば、制御ユニット１５０は、第１の５回の繰り返しでは３Ｄ形状提案の高さに対して第１の調整セットを実行してよい。高さを調整するだけによって、３Ｄ形状提案のスコアを閾値よりも低いように減少させることができないことがわかった後、制御ユニット１５０は、次の１０回の繰り返しでは３Ｄ形状提案の幅、長さ、偏揺れ角に対して第２の調整セットを実行してよい。３Ｄ形状提案のスコアが、依然として第２の調整後の閾値よりも高いと、制御ユニット１５０は、３Ｄ形状提案の方向（例えば、位置または中心点）に対して第３の調整セットを実行してよい。パラメータの調整は任意の順序で実行されてよく、各調整におけるパラメータの数およびタイプは同じでも異なってよいという点に注意すべきである。
１３６０では、制御ユニット１５０は、３Ｄ形状提案を物体の３Ｄ形状（または物体の公称３Ｄ形状）として決定してよい。
図１４Ａ〜１４Ｄは、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する一連の概略図である。図１４Ａは、物体のクラスタリングされて抽出されたＬｉＤＡＲ点群画像である。制御ユニット１５０は、予備的な３Ｄ形状を生成してよく、予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角を調整して図１４Ｂに示すような３Ｄ形状提案を生成してよい。高さ、幅、長さ、偏揺れ角を調整した後、制御ユニット１５０は、さらに、図１４Ｃに示すような３Ｄ形状提案の方向を調整してよい。最後に、プロセス１３００の記述で説明したように予め設定された条件を満たす３Ｄ形状提案は、物体の３Ｄ形状として決定されてよく、かつ図１４Ｄに示すように物体上にマーキングされてよい。
図１５は、本開示のいくつかの実施形態による、補償画像を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス１５００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス１５００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
１５１０では、制御ユニット１５０は、基地局周辺の第１のＲａｄａｒ画像を取得してよい。第１のＲａｄａｒ画像は、Ｒａｄａｒデバイス４３０によって生成されてよい。ＬｉＤＡＲデバイス４２０と比較して、Ｒａｄａｒデバイス４３０は精度が低い（解像度が低い）が、検出範囲がより広い。例えば、ＬｉＤＡＲデバイス４２０は、３５メートル以内の物体から妥当な品質で反射されたレーザービームのみを受信してよい。しかしながら、Ｒａｄａｒデバイス４３０は、数百メートル離れた物体から反射された電波を受信してよい。
１５２０では、制御ユニット１５０は、第１のＲａｄａｒ画像内の１つ以上の物体を識別してよい。第１のＲａｄａｒ画像内の１つ以上の物体を識別する方法は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別する方法と類似するので、ここでは繰り返さない。
１５３０では、制御ユニット１５０は、第１のＲａｄａｒ点画像内の１つ以上の物体の１つ以上の位置を決定してよい。第１のＲａｄａｒ点画像内の１つ以上の物体の１つ以上の位置を決定する方法は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体の１つ以上の位置を決定する方法と類似するので、ここでは繰り返さない。
１５４０では、制御ユニット１５０は、第１のＲａｄａｒ画像内の１つ以上の物体の各々に対して３Ｄ形状を生成してよい。いくつかの実施形態では、第１のＲａｄａｒ画像内の１つ以上の物体の各々に対して３Ｄ形状を生成する方法は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体の各々に対して３Ｄ形状を生成する方法と類似してよい。いくつかの他の実施形態では、制御ユニット１５０は、１つ以上の物体の各々の前面の次元および中心点を取得してよい。物体の３Ｄ形状は、単に物体の本体の方向に前面を広げることによって生成されてよい。
１５５０では、制御ユニット１５０は、第１のＲａｄａｒ画像内の１つ以上の物体の位置および３Ｄ形状に基づいて、第１のＲａｄａｒ画像内の１つ以上の物体をマーキングして第２のＲａｄａｒ画像を生成してよい。
１５６０では、制御ユニット１５０は、第２のＲａｄａｒ画像と第２のＬｉＤＡＲ点群画像とを融合して補償画像を生成してよい。いくつかの実施形態では、ＬｉＤＡＲ点群画像は、基地局の付近ではＲａｄａｒ画像よりも高い解像度および信頼性を有してよく、かつＲａｄａｒ画像は、基地局から離れる場合にＬｉＤＡＲ点群画像よりも高い解像度および信頼性を有してよい。例えば、制御ユニット１５０は、第２のＲａｄａｒ画像と第２のＬｉＤＡＲ点群画像を、基地局との距離が０〜３０メートル、３０〜５０メートル、５０メートル以上という３つの部分に分割してよい。第２のＲａｄａｒ画像と第２のＬｉＤＡＲ点群画像は、ＬｉＤＡＲ点群画像のみが０〜３０メートルの部分で保持され、Ｒａｄａｒ画像のみが５０メートル以上の部分で保持されるように融合されてよい。いくつかの実施形態では、第２のＲａｄａｒ画像および第２のＬｉＤＡＲ点群画像の３０〜５０メートルの部分のボクセルのグレースケール値は平均化されてよい。
図１６は、本開示のいくつかの実施形態による、カメラとＬｉＤＡＲデバイスおよび／またはＲａｄａｒデバイスを同期させる概略図である。図１６に示すように、カメラ（例えば、カメラ４１０）、ＬｉＤＡＲデバイス（例えば、ＬｉＤＡＲデバイス４２０）、およびＲａｄａｒデバイス（例えば、Ｒａｄａｒデバイス４３０）のフレームレートは異なる。カメラ、ＬｉＤＡＲデバイスおよびＲａｄａｒデバイスが第１の時間枠Ｔ１で同時に動作し始めると仮定すると、カメラ画像、ＬｉＤＡＲ点群画像、およびＲａｄａｒ画像は、ほぼ同時に生成されてよい（例えば、同期される）。しかしながら、フレームレートが異なるため、後続の画像は同期されない。いくつかの実施形態では、カメラ、ＬｉＤＡＲデバイスおよびＲａｄａｒデバイスのうちの最も遅いフレームレートを有するデバイスは決定されてよい（図１６の例では、それがカメラである）。制御ユニット１５０は、カメラが撮像したカメラ画像の各時間枠を記録してよく、かつカメラ画像の各時間枠の時間に近い他のＬｉＤＡＲ画像およびＲａｄａｒ画像を検索してよい。カメラ画像の各時間枠に対して、対応するＬｉＤＡＲ画像および対応するＲａｄａｒ画像は取得されてよい。例えば、Ｔ２ではカメラ画像１６１０を取得し、制御ユニット１５０は、Ｔ２に最も近いＬｉＤＡＲ画像およびＲａｄａｒ画像（例えば、ＬｉＤＡＲ画像１６２０およびＲａｄａｒ画像１６３０）を検索してよい。カメラ画像と対応するＬｉＤＡＲ画像およびＲａｄａｒ画像はセットとして抽出される。セット内の３つの画像は、同時に取得されて同期されると仮定される。
図１７は、本開示のいくつかの実施形態による、既存のＬｉＤＡＲ点群画像に基づいてＬｉＤＡＲ点群画像またはビデオを生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス１７００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス１７００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
１７１０では、制御ユニット１５０は、２つの異なる時間枠で基地局周辺の２つの第１のＬｉＤＡＲ点群画像を取得してよい。２つの異なる時間枠は、同じＬｉＤＡＲデバイスによって連続的に取られてよい。
１７２０では、制御ユニット１５０は、２つの第１のＬｉＤＡＲ点群画像に基づいて２つの第２のＬｉＤＡＲ点群画像を生成してよい。２つの第１のＬｉＤＡＲ点群画像に基づいて２つの第２のＬｉＤＡＲ点群画像を生成する方法は、プロセス５００に見出すことができる。
１７３０では、制御ユニット１５０は、補間法により、２つの第２のＬｉＤＡＲ点群画像に基づいて、第３の時間枠で第３のＬｉＤＡＲ点群画像を生成してよい。
図１８は、本開示のいくつかの実施形態による、画像のフレームを検証して補間する概略図である。図１８に示すように、Ｒａｄａｒ画像、カメラ画像、およびＬｉＤＡＲ画像は（例えば、図１６に開示される方法によって）同期される。補間法により、既存のカメラ画像の間に追加のカメラ画像が生成される。制御ユニット１５０は、カメラ画像に基づいてビデオを生成してよい。いくつかの実施形態では、制御ユニット１５０は、履歴情報に基づいてカメラ画像、ＬｉＤＡＲ画像および／またはＲａｄａｒ画像の各フレームを検証して修正してよい。履歴情報は、上記のフレームまたは前のフレームにおける同じまたは異なるタイプの画像を含んでよい。例えば、自動車は、カメラ画像の特定のフレーム内に適切に識別して測位されない。しかしながら、前の５つのフレームは、すべて自動車を正確に識別して測位した。制御ユニット１５０は、前のフレームでのカメラ画像と、不正確なフレームおよび前のフレームでのＬｉＤＡＲ画像および／またはＲａｄａｒ画像とに基づいて、不正確なフレームでのカメラ画像を修正してよい。
以上のように基本概念を説明してきたが、当業者には、この詳細な開示を読んだ後、上記の詳細な開示は、単なる例として提示されているに過ぎず、限定的ではないことは明らかである。本明細書には明示的に述べられていないが、様々な変更、改良、および修正が想起され、それらは当業者に意図される。これらの変更、改良および修正は、本開示によって示唆されることが意図されており、かつ本開示の例示的な実施形態の精神および範囲内にある。
さらに、所定の用語は、本開示の実施形態を説明するために用いられている。例えば、「一実施形態」、「実施形態」および／または「いくつかの実施形態」という用語は、この実施形態に関連して説明される特定の特徴、構造または特性が本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の様々な部分における「実施形態」または「一実施形態」または「代替実施形態」の２つ以上の言及は、必ずしもすべてが同じ実施形態を指しているわけではないことを強調し、それを理解するものとする。さらに、特定の特徴、構造、または特性は、本開示の１つ以上の実施形態において適切に組み合わせられてよい。
さらに、当業者には理解されるように、本開示の態様は、本明細書において、任意の新規かつ有用なプロセス、機械、製造、または組成物、またはそれらの任意の新規かつ有用な改善を含む、多くの特許性のある種類または文脈のいずれかで例示して説明されてよい。したがって、本開示の態様は、完全にハードウェア、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアとの組み合わせによる実施により実施されてよく、実施は、全体として、本明細書では「ユニット」、「モジュール」または「システム」と総称されてよい。さらに、本開示の態様は、具現化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態を用いてよい。
非一時的なコンピュータ可読信号媒体は、例えば、ベースバンドに、または搬送波の一部として具現化されたコンピュータ可読プログラムコードを有する伝搬データ信号を含んでよい。このような伝搬信号は、電磁気、光学など、またはそれらの任意の適切な組み合わせを含む様々な形態のいずれかを用いてよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではないが、命令実行システム、機器または装置によって使用されるかまたは組み合わせて使用されるためのプログラムを通信、伝搬または伝送できる任意のコンピュータ可読媒体であってよい。コンピュータ可読信号媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、またはこれらの任意の適切な組み合わせを含む任意の適切な媒体を用いて送信されてよい。
本開示の態様の動作を実行するコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｃａｌａ、Ｓｍａｌｌｔａｌｋ、Ｅｉｆｆｅｌ、ＪＡＤＥ、Ｅｍｅｒａｌｄ、Ｃ＋＋、Ｃ＃、ＶＢ．ＮＥＴ、Ｐｙｔｈｏｎなどのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｆｏｒｔｒａｎ ２００３、Ｐｅｒｌ、ＣＯＢＯＬ ２００２、ＰＨＰ、ＡＢＡＰなどの従来の手続き型プログラミング言語、Ｐｙｔｈｏｎ、Ｒｕｂｙ、Ｇｒｏｏｖｙなどの動的プログラミング言語、または他のプログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書き込まれてよい。プログラムコードは、完全にユーザのコンピュータ上で、部分的にはユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行されてよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてよく、あるいは接続は、外部コンピュータ（例えば、インターネットサービスプロバイダを用いてインターネットを介して）もしくはクラウドコンピューティング環境で行われるか、またはサービスとしてのソフトウェア（ＳａａＳ）などのようなサービスとして提供されてよい。
さらに、処理要素もしくはシーケンス、またはそれに対する数、文字、もしくは他の名称の使用の、列挙された順序は、特許請求の範囲に特定され得るものを除き、請求された処理および方法を任意の順序に限定することを意図するものではない。上記の開示は、本開示の様々な有用な実施形態であると現在考えられる様々な実施例を通して論じているが、そのような詳細事項は説明を目的としてなされているにすぎず、添付の特許請求の範囲は、開示される実施形態に限定されず、むしろ、開示される実施形態の精神および範囲内にある変形例および均等な構成を包含するように意図されることが理解されるべきである。例えば、上述した様々な構成要素の実施は、ハードウェア装置で具体化され得るが、ソフトウェアのみの解決策として、例えば、既存のサーバまたはモバイルデバイス上のインストールとして実施されてよい。
同様に、本開示の実施形態の前述の説明では、様々な本発明の実施形態の１つ以上の理解を助ける開示を合理化する目的で、様々な特徴が単一の実施形態、図、またはその説明にまとめられることが理解されるべきである。しかしながら、本開示の方法は、請求された主題が各請求項に明確に記載されたものよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、本発明の実施形態は、前述の単一の開示された実施形態のすべての特徴よりも少ないものである。
いくつかの実施形態では、本出願の特定の実施形態を記載して主張するために用いられる量、特性などを表す数は、いくつかの実例では用語「約」、「おおよそ」または「実質的」によって修正されると理解されるべきである。例えば、別途に規定されない限り、「約」、「おおよそ」または「実質的」は、それらが記載する値の±２０％変化量を表すことができる。したがって、いくつかの実施形態では、明細書または添付した特許請求の範囲に記載される数値パラメータは、特定の実施形態によって取得されると求められる所望の特性に応じて変化し得る近似値である。いくつかの実施形態では、数値パラメータは、報告された有効数字の数に照らして、通常の丸め技術を適用することによって解釈されるべきである。
本出願のいくつか実施形態の広範囲を記載している数値の範囲またはパラメータが近似値であるにもかかわらず、特定の実施例に記載される数値は、実行可能な限り正確に報告されるべきである。
特許、特許出願、特許出願の出版物、および本明細書で参照された記事、本、明細書、出版物、文書、物などの他の資料の各々は、これらに関連した任意の起訴ファイル履歴、現在の文書と矛盾するかまたは競合する任意のファイル、または本文書に関連した現在またはその後の請求項の最も広い範囲に関して限定的な影響を及ぼすことができる任意のファイルを除いて、すべての目的のためにその全体が参照として本明細書に組み込まれる。一例として、本明細書に組み込まれる任意の材料に関連した用語の説明、定義および／または使用と本文書に関連した用語の説明、定義および／または使用との間に矛盾または競合が存在する場合、本文書における用語の説明、定義および／または使用が優先すべきである。
最後に、本明細書に開示された本出願の実施形態は、本出願の実施形態の原理を例示するものであると理解されるべきである。使用される他の修正は、本出願の範囲内であるべきである。したがって、一例として、本出願の実施形態の代替的な構成は、本明細書の内容に応じて利用されてよい。これにより、本出願の実施形態は、示されて説明されたものに厳密に限定されない。
１１０ 障害物
１２０ 経路
１２１ 道路
１３０ 自動運転車
１４０ 検知システム
１４２，１４４，１４６ センサ
１５０ 制御ユニット
２２０ 記憶装置
２３０ ネットワーク
２４０ ゲートウェイモジュール
２５０ コントローラエリアネットワーク（ＣＡＮ）
２６０ エンジン管理システム（ＥＭＳ）
２６５ スロットルシステム
２７０ 横滑り防止装置（ＥＳＣ）
２７５ ブレーキシステム
２８０ 電力システム（ＥＰＳ）
２９０ ステアリングコラムモジュール（ＳＣＭ）
２９５ ステアリングシステム
３２０ プロセッサ
３５０ ＣＯＭポート
３７０ ディスク
４１０ カメラ
４２０ ＬｉＤＡＲ検出器
４３０ Ｒａｄａｒ検出器
４４０ 処理ユニット

Claims (23)

  1. 運転支援システムであって、
    車両周辺の１つ以上の物体を識別して測位するための一組の命令を含む１つ以上の記憶媒体と、
    前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップと
    を含む制御ユニットを含み、
    前記システムの動作中に、前記１つ以上のマイクロチップは、前記一組の命令を実行して、
    検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することと、
    前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、
    前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
    前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
    前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することと
    を行う、システム。
  2. 前記制御ユニットと通信して前記第１のＬｉＤＡＲ点群画像を前記制御ユニットに送信する少なくとも１つのＬｉＤＡＲデバイスと、
    前記制御ユニットと通信してカメラ画像を前記制御ユニットに送信する少なくとも１つのカメラと、
    前記制御ユニットと通信してＲａｄａｒ画像を前記制御ユニットに送信する少なくとも１つのＲａｄａｒデバイスと
    をさらに含む、請求項１に記載のシステム。
  3. 前記基地局は車両であり、
    前記システムは、前記車両のハンドル、カウルまたは反射鏡に取り付けられた少なくとも１つのＬｉＤＡＲデバイスをさらに含み、
    前記少なくとも１つのＬｉＤＡＲデバイスの前記取り付けは、接着結合、ボルトおよびナット接続、バヨネット装着、または真空固定のうちの少なくとも１つを含む、請求項１に記載のシステム。
  4. 前記１つ以上のマイクロチップは、
    前記１つ以上の物体のうちの少なくとも１つを含む第１のカメラ画像を取得することと、
    前記第１のカメラ画像内の前記１つ以上の物体のうちの少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の少なくとも１つの目標位置を識別することと、
    前記第１のカメラ画像内の前記少なくとも１つの目標位置、および前記第２のＬｉＤＡＲ点群画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
    をさらに行う、請求項１に記載のシステム。
  5. 前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングする際に、前記１つ以上のマイクロチップは、
    前記第１のカメラ画像内の前記少なくとも１つの目標物体の２Ｄ形状を取得することと、
    前記第２のＬｉＤＡＲ点群画像を前記第１のカメラ画像と関連付けることと、
    前記少なくとも１つの目標物体の前記２Ｄ形状、および前記第２のＬｉＤＡＲ点群画像と前記第１のカメラ画像との間の相関関係に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体の３Ｄ形状を生成することと、
    前記第１のカメラ画像内の前記識別された位置、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
    をさらに行う、請求項４に記載のシステム。
  6. 前記第１のカメラ画像内の前記少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置を識別するために、前記１つ以上のマイクロチップは、ＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）ネットワークまたはＴｉｎｙ−ＹＯＬＯネットワークを操作して、前記第１のカメラ画像内の前記少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置を識別する、請求項４に記載のシステム。
  7. 前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体を識別するために、前記１つ以上のマイクロチップは、
    前記第１のＬｉＤＡＲ点群画像内の複数の点の座標を取得することであって、前記複数の点が無関心な点および残りの点を含む、ことと、
    前記座標に従って前記複数の点から前記無関心な点を除去することと、
    点群クラスタリングアルゴリズムに基づいて前記残りの点を１つ以上のクラスタにクラスタリングすることと、
    前記１つ以上のクラスタのうちの少なくとも１つをターゲットクラスタとして選択することであって、前記ターゲットクラスタの各々が１つの物体に対応する、ことと
    をさらに行う、請求項１に記載のシステム。
  8. 前記１つ以上の物体の各々に対して３Ｄ形状を生成するために、前記１つ以上のマイクロチップは、
    前記物体の予備的な３Ｄ形状を決定することと、
    前記予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向のうちの少なくとも１つを調整して３Ｄ形状提案を生成することと、
    前記３Ｄ形状提案のスコアを計算することと、
    前記３Ｄ形状提案の前記スコアが所定の条件を満たすか否かを決定することと、
    前記３Ｄ形状提案の前記スコアが前記所定の条件を満たさないという決定に応じて、前記３Ｄ形状提案をさらに調整することと、
    前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案の前記スコアが前記所定の条件を満たすという決定に応じて、前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案を前記物体の前記３Ｄ形状として決定することと
    をさらに行う、請求項１に記載のシステム。
  9. 前記３Ｄ形状提案の前記スコアは、前記３Ｄ形状提案内の前記第１のＬｉＤＡＲ点群画像の点の数、前記３Ｄ形状提案外の前記第１のＬｉＤＡＲ点群画像の点の数、または点と前記３Ｄ形状との間の距離のうちの少なくとも１つに基づいて計算される、請求項８に記載のシステム。
  10. 前記１つ以上のマイクロチップは、
    前記検出基地局周辺の第１の無線検出および測距（Ｒａｄａｒ）画像を取得することと、
    前記第１のＲａｄａｒ画像内の前記１つ以上の物体を識別することと、
    前記第１のＲａｄａｒ画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
    前記第１のＲａｄａｒ画像内の前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
    前記第１のＲａｄａｒ画像内の前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＲａｄａｒ画像内の前記１つ以上の物体をマーキングすることによって、第２のＲａｄａｒ画像を生成することと、
    前記第２のＲａｄａｒ画像と前記第２のＬｉＤＡＲ点群画像とを融合させて補償画像を生成することと
    をさらに行う、請求項１に記載のシステム。
  11. 前記１つ以上のマイクロチップは、
    ２つの異なる時間枠で前記基地局周辺の２つの第１のＬｉＤＡＲ点群画像を取得することと、
    前記２つの第１のＬｉＤＡＲ点群画像に基づいて、前記２つの異なる時間枠で２つの第２のＬｉＤＡＲ点群画像を生成することと、
    補間法により、前記２つの第２のＬｉＤＡＲ点群画像に基づいて、第３の時間枠で第３のＬｉＤＡＲ点群画像を生成することと
    をさらに行う、請求項１に記載のシステム。
  12. 前記１つ以上のマイクロチップは、
    複数の異なる時間枠で前記基地局周辺の複数の第１のＬｉＤＡＲ点群画像を取得することと、
    前記複数の第１のＬｉＤＡＲ点群画像に基づいて、前記複数の異なる時間枠で複数の第２のＬｉＤＡＲ点群画像を生成することと、
    前記複数の第２のＬｉＤＡＲ点群画像に基づいてビデオを生成することと
    をさらに行う、請求項１に記載のシステム。
  13. 車両周辺の１つ以上の物体を識別して測位するための命令を記憶する１つ以上の記憶媒体と、前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップとを有するコンピューティングデバイスで実施される方法であって、
    検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することと、
    前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、
    前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
    前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
    前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することと
    を含む方法。
  14. 前記１つ以上の物体のうちの少なくとも１つを含む第１のカメラ画像を取得することと、
    前記第１のカメラ画像内の前記１つ以上の物体のうちの少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の少なくとも１つの目標位置を識別することと、
    前記第１のカメラ画像内の前記少なくとも１つの目標位置、および前記第２のＬｉＤＡＲ点群画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
    をさらに含む、請求項１３に記載の方法。
  15. 前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることは、
    前記第１のカメラ画像内の前記少なくとも１つの目標物体の２Ｄ形状を取得することと、
    前記第２のＬｉＤＡＲ点群画像を前記第１のカメラ画像と関連付けることと、
    前記少なくとも１つの目標物体の前記２Ｄ形状、および前記第２のＬｉＤＡＲ点群画像と前記第１のカメラ画像との間の相関関係に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体の３Ｄ形状を生成することと、
    前記第１のカメラ画像内の識別された前記位置、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
    をさらに含む、請求項１４に記載の方法。
  16. 前記第１のカメラ画像内の前記少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置を識別することは、
    ＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）ネットワークまたはＴｉｎｙ−ＹＯＬＯネットワークを操作して、前記第１のカメラ画像内の前記少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置を識別すること
    をさらに含む、請求項１４に記載の方法。
  17. 前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体を識別することは、
    前記第１のＬｉＤＡＲ点群画像内の複数の点の座標を取得することであって、前記複数の点が無関心な点および残りの点を含む、ことと、
    前記座標に従って前記複数の点から前記無関心な点を除去することと、
    点群クラスタリングアルゴリズムに基づいて前記残りの点を１つ以上のクラスタにクラスタリングすることと、
    前記１つ以上のクラスタのうちの少なくとも１つをターゲットクラスタとして選択することであって、前記ターゲットクラスタの各々が１つの物体に対応する、ことと
    をさらに含む、請求項１３に記載の方法。
  18. 前記１つ以上の物体の各々に対して３Ｄ形状を生成することは、
    前記物体の予備的な３Ｄ形状を決定することと、
    前記予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向のうちの少なくとも１つを調整して３Ｄ形状提案を生成することと、
    前記３Ｄ形状提案のスコアを計算することと、
    前記３Ｄ形状提案の前記スコアが所定の条件を満たすか否かを決定することと、
    前記３Ｄ形状提案の前記スコアが前記所定の条件を満たさないという決定に応じて、前記３Ｄ形状提案をさらに調整することと、
    前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案の前記スコアが前記所定の条件を満たすという決定に応じて、前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案を前記物体の前記３Ｄ形状として決定することと
    をさらに含む、請求項１３に記載の方法。
  19. 前記３Ｄ形状提案の前記スコアは、前記３Ｄ形状提案内の前記第１のＬｉＤＡＲ点群画像の点の数、前記３Ｄ形状提案外の前記第１のＬｉＤＡＲ点群画像の点の数、または点と前記３Ｄ形状との間の距離のうちの少なくとも１つに基づいて計算される、請求項１８に記載の方法。
  20. 前記検出基地局周辺の第１の無線検出および測距（Ｒａｄａｒ）画像を取得することと、
    前記第１のＲａｄａｒ画像内の前記１つ以上の物体を識別することと、
    前記第１のＲａｄａｒ画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
    前記第１のＲａｄａｒ画像内の前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
    前記第１のＲａｄａｒ画像内の前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＲａｄａｒ画像内の前記１つ以上の物体をマーキングすることによって、第２のＲａｄａｒ画像を生成することと、
    前記第２のＲａｄａｒ画像と前記第２のＬｉＤＡＲ点群画像とを融合させて補償画像を生成することと
    をさらに含む、請求項１３に記載の方法。
  21. ２つの異なる時間枠で前記基地局周辺の２つの第１のＬｉＤＡＲ点群画像を取得することと、
    前記２つの第１のＬｉＤＡＲ点群画像に基づいて、前記２つの異なる時間枠で２つの第２のＬｉＤＡＲ点群画像を生成することと、
    補間法により、前記２つの第２のＬｉＤＡＲ点群画像に基づいて、第３の時間枠で第３のＬｉＤＡＲ点群画像を生成することと
    をさらに含む、請求項１３に記載の方法。
  22. 複数の異なる時間枠で前記基地局周辺の複数の第１のＬｉＤＡＲ点群画像を取得することと、
    前記複数の第１のＬｉＤＡＲ点群画像に基づいて、前記複数の異なる時間枠で複数の第２のＬｉＤＡＲ点群画像を生成することと、
    前記複数の第２のＬｉＤＡＲ点群画像に基づいてビデオを生成することと
    をさらに含む、請求項１３に記載の方法。
  23. 車両周辺の１つ以上の物体を識別して測位するための少なくとも一組の命令を含む非一時的なコンピュータ可読媒体であって、
    電子端末のマイクロチップによって実行されるとき、前記少なくとも一組の命令は、
    検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得する動作と、
    前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別する動作と、
    前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定する動作と、
    前記１つ以上の物体の各々に対して３Ｄ形状を生成する動作と、
    前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成する動作と
    を実行するように前記マイクロチップに指示する、非一時的なコンピュータ可読媒体。
JP2018569058A 2017-12-11 2017-12-11 車両周辺の物体を識別して測位するためのシステムおよび方法 Pending JP2020507137A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/115491 WO2019113749A1 (en) 2017-12-11 2017-12-11 Systems and methods for identifying and positioning objects around a vehicle

Publications (1)

Publication Number Publication Date
JP2020507137A true JP2020507137A (ja) 2020-03-05

Family

ID=66697075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018569058A Pending JP2020507137A (ja) 2017-12-11 2017-12-11 車両周辺の物体を識別して測位するためのシステムおよび方法

Country Status (7)

Country Link
US (1) US20190180467A1 (ja)
EP (1) EP3523753A4 (ja)
JP (1) JP2020507137A (ja)
CN (1) CN110168559A (ja)
CA (1) CA3028659C (ja)
TW (1) TW201937399A (ja)
WO (1) WO2019113749A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022003508A (ja) * 2020-06-30 2022-01-11 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10733338B2 (en) * 2017-06-29 2020-08-04 The Boeing Company Methods and apparatus to generate a synthetic point cloud of a spacecraft
US11307309B2 (en) * 2017-12-14 2022-04-19 COM-IoT Technologies Mobile LiDAR platforms for vehicle tracking
US20190204845A1 (en) * 2017-12-29 2019-07-04 Waymo Llc Sensor integration for large autonomous vehicles
US11017548B2 (en) * 2018-06-21 2021-05-25 Hand Held Products, Inc. Methods, systems, and apparatuses for computing dimensions of an object using range images
CN110757446B (zh) * 2018-07-25 2021-08-27 深圳市优必选科技有限公司 机器人回充登录的方法、装置及存储装置
US11726210B2 (en) 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
CN109271893B (zh) * 2018-08-30 2021-01-01 百度在线网络技术（北京）有限公司 一种仿真点云数据的生成方法、装置、设备及存储介质
CN109188457B (zh) * 2018-09-07 2021-06-11 百度在线网络技术（北京）有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
US10909424B2 (en) * 2018-10-13 2021-02-02 Applied Research, LLC Method and system for object tracking and recognition using low power compressive sensing camera in real-time applications
US10878282B2 (en) * 2018-10-15 2020-12-29 Tusimple, Inc. Segmentation processing of image data for LiDAR-based vehicle tracking system and method
US10878580B2 (en) 2018-10-15 2020-12-29 Tusimple, Inc. Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method
US10984540B2 (en) * 2018-10-15 2021-04-20 Tusimple, Inc. Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method
KR102635265B1 (ko) * 2018-12-20 2024-02-13 주식회사 에이치엘클레무브 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
CN111771206A (zh) * 2019-01-30 2020-10-13 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的地图分区系统
DE102019202025B4 (de) * 2019-02-15 2020-08-27 Zf Friedrichshafen Ag System und Verfahren zum sicheren Betreiben eines automatisierten Fahrzeugs
CN112543877B (zh) * 2019-04-03 2022-01-11 华为技术有限公司 定位方法和定位装置
CN110082775B (zh) * 2019-05-23 2021-11-30 北京主线科技有限公司 基于激光装置的车辆定位方法和系统
US11507789B2 (en) * 2019-05-31 2022-11-22 Lg Electronics Inc. Electronic device for vehicle and method of operating electronic device for vehicle
CN110287032B (zh) * 2019-07-02 2022-09-20 南京理工大学 一种YoloV3-Tiny在多核片上系统的功耗优化调度方法
CN110412564A (zh) * 2019-07-29 2019-11-05 哈尔滨工业大学 一种基于多传感器融合的列车车皮识别与测距方法
CN110550072B (zh) * 2019-08-29 2022-04-29 北京博途智控科技有限公司 一种铁路调车作业识别障碍物的方法、系统、介质及设备
CN110471085B (zh) * 2019-09-04 2023-07-04 深圳市镭神智能系统有限公司 一种轨道检测系统
US11526706B2 (en) * 2019-10-09 2022-12-13 Denso International America, Inc. System and method for classifying an object using a starburst algorithm
CN110706288A (zh) * 2019-10-10 2020-01-17 上海眼控科技股份有限公司 目标检测的方法、装置、设备及可读存储介质
CN110687549B (zh) * 2019-10-25 2022-02-25 阿波罗智能技术(北京)有限公司 障碍物检测方法和装置
US20210141078A1 (en) * 2019-11-11 2021-05-13 Veoneer Us, Inc. Detection system and method for characterizing targets
US11940804B2 (en) * 2019-12-17 2024-03-26 Motional Ad Llc Automated object annotation using fused camera/LiDAR data points
CN111127442B (zh) * 2019-12-26 2023-05-02 内蒙古科技大学 台车轮轴缺陷检测方法和装置
CN111353481A (zh) * 2019-12-31 2020-06-30 成都理工大学 基于激光点云与视频图像的道路障碍物识别方法
CN111160302B (zh) * 2019-12-31 2024-02-23 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN111260789B (zh) * 2020-01-07 2024-01-16 青岛小鸟看看科技有限公司 避障方法、虚拟现实头戴设备以及存储介质
EP3851870A1 (en) * 2020-01-14 2021-07-21 Aptiv Technologies Limited Method for determining position data and/or motion data of a vehicle
CN111341096B (zh) * 2020-02-06 2020-12-18 长安大学 一种基于gps数据的公交运行状态评估方法
US20210246636A1 (en) * 2020-02-07 2021-08-12 Caterpillar Inc. System and Method of Autonomously Clearing a Windrow
TWI726630B (zh) 2020-02-25 2021-05-01 宏碁股份有限公司 地圖建構系統以及地圖建構方法
CN111458718B (zh) * 2020-02-29 2023-04-18 阳光学院 一种基于图像处理与无线电技术相融合的空间定位装置
CN113433566B (zh) * 2020-03-04 2023-07-25 宏碁股份有限公司 地图建构系统以及地图建构方法
CN111402161B (zh) * 2020-03-13 2023-07-21 北京百度网讯科技有限公司 点云障碍物的去噪方法、装置、设备和存储介质
CN111414911A (zh) * 2020-03-23 2020-07-14 湖南信息学院 基于深度学习的卡号识别方法及系统
CN111308500B (zh) * 2020-04-07 2022-02-11 三一机器人科技有限公司 基于单线激光雷达的障碍物感知方法、装置和计算机终端
KR20210124789A (ko) * 2020-04-07 2021-10-15 현대자동차주식회사 라이다센서 기반의 객체 인식 장치 및 그 방법
US11180162B1 (en) 2020-05-07 2021-11-23 Argo AI, LLC Systems and methods for controlling vehicles using an amodal cuboid based algorithm
CN111553353B (zh) * 2020-05-11 2023-11-07 北京小马慧行科技有限公司 3d点云的处理方法、装置、存储介质与处理器
CN111666855B (zh) * 2020-05-29 2023-06-30 中国科学院地理科学与资源研究所 基于无人机的动物三维参数提取方法、系统及电子设备
CN111695486B (zh) * 2020-06-08 2022-07-01 武汉中海庭数据技术有限公司 一种基于点云的高精度方向标志牌目标提取方法
US11628856B2 (en) 2020-06-29 2023-04-18 Argo AI, LLC Systems and methods for estimating cuboids from LiDAR, map and image data
CN111832548B (zh) * 2020-06-29 2022-11-15 西南交通大学 一种列车定位方法
CN111914839B (zh) * 2020-07-28 2024-03-19 特微乐行(广州)技术有限公司 基于YOLOv3的同步端到端车牌定位与识别方法
CN111932477B (zh) * 2020-08-07 2023-02-07 武汉中海庭数据技术有限公司 一种基于单线激光雷达点云的噪声去除方法及装置
CN112068155B (zh) * 2020-08-13 2024-04-02 沃行科技(南京)有限公司 一种基于多个多线激光雷达分区障碍物检测方法
US20220067399A1 (en) * 2020-08-25 2022-03-03 Argo AI, LLC Autonomous vehicle system for performing object detections using a logistic cylinder pedestrian model
WO2022049842A1 (ja) * 2020-09-07 2022-03-10 パナソニックＩｐマネジメント株式会社 情報処理方法及び情報処理装置
CN112560671B (zh) * 2020-12-15 2022-04-12 哈尔滨工程大学 基于旋转卷积神经网络的船舶检测方法
CN112835037B (zh) * 2020-12-29 2021-12-07 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
CN112754658B (zh) * 2020-12-31 2023-03-14 华科精准（北京）医疗科技有限公司 一种手术导航系统
CN112935703B (zh) * 2021-03-19 2022-09-27 山东大学 识别动态托盘终端的移动机器人位姿校正方法及系统
US20220284707A1 (en) * 2021-03-08 2022-09-08 Beijing Roborock Technology Co., Ltd. Target detection and control method, system, apparatus and storage medium
CN112926476A (zh) * 2021-03-08 2021-06-08 京东鲲鹏(江苏)科技有限公司 车辆识别方法、装置及存储介质
US20220291681A1 (en) * 2021-03-12 2022-09-15 6 River Systems, Llc Systems and methods for edge and guard detection in autonomous vehicle operation
RU2767831C1 (ru) * 2021-03-26 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и электронные устройства для обнаружения объектов в окружении беспилотного автомобиля
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム
CN113096395B (zh) * 2021-03-31 2022-03-25 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价系统
CN113051304B (zh) * 2021-04-02 2022-06-24 中国有色金属长沙勘察设计研究院有限公司 一种雷达监测数据与三维点云融合的计算方法
CN113091737A (zh) * 2021-04-07 2021-07-09 阿波罗智联(北京)科技有限公司 一种车路协同定位方法、装置、自动驾驶车辆及路侧设备
CN113221648B (zh) * 2021-04-08 2022-06-03 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
US11557129B2 (en) 2021-04-27 2023-01-17 Argo AI, LLC Systems and methods for producing amodal cuboids
CN115248428B (zh) * 2021-04-28 2023-12-22 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
CN113536892B (zh) * 2021-05-13 2023-11-21 泰康保险集团股份有限公司 姿态识别方法、装置、可读存储介质及电子设备
CN113296119B (zh) * 2021-05-24 2023-11-28 江苏盛海智能科技有限公司 一种基于激光雷达和uwb阵列的无人避障驾驶方法与终端
CN113296118B (zh) * 2021-05-24 2023-11-24 江苏盛海智能科技有限公司 一种基于激光雷达与gps的无人驾驶绕障方法与终端
CN113192109B (zh) * 2021-06-01 2022-01-11 北京海天瑞声科技股份有限公司 在连续帧中识别物体运动状态的方法及装置
CN116647746A (zh) 2021-06-02 2023-08-25 北京石头世纪科技股份有限公司 自移动设备
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
US20230012257A1 (en) * 2021-07-09 2023-01-12 Argo AI, LLC Systems and methods for particle filter tracking
CN113625299B (zh) * 2021-07-26 2023-12-01 北京理工大学 基于三维激光雷达的装车物料高度与偏载检测方法及装置
WO2023055366A1 (en) * 2021-09-30 2023-04-06 Zimeno, Inc. Dba Monarch Tractor Obstruction avoidance
US11527085B1 (en) * 2021-12-16 2022-12-13 Motional Ad Llc Multi-modal segmentation network for enhanced semantic labeling in mapping
JP2023090610A (ja) * 2021-12-17 2023-06-29 南京郵電大学 ３重視覚照合とマルチ基地局回帰を融合した５ｇ屋内スマート測位方法
US20230219578A1 (en) * 2022-01-07 2023-07-13 Ford Global Technologies, Llc Vehicle occupant classification using radar point cloud
US20230219595A1 (en) * 2022-01-13 2023-07-13 Motional Ad Llc GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
CN114255359B (zh) * 2022-03-01 2022-06-24 深圳市北海轨道交通技术有限公司 一种基于运动图像识别的智能报站校验方法和系统
CN114419231B (zh) * 2022-03-14 2022-07-19 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN114494248B (zh) * 2022-04-01 2022-08-05 之江实验室 基于点云和不同视角下的图像的三维目标检测系统及方法
WO2024025850A1 (en) * 2022-07-26 2024-02-01 Becton, Dickinson And Company System and method for vascular access management
CN115035195B (zh) * 2022-08-12 2022-12-09 歌尔股份有限公司 点云坐标提取方法、装置、设备及存储介质
CN116913033B (zh) * 2023-05-29 2024-04-05 深圳市兴安消防工程有限公司 一种火灾大数据远程探测与预警系统
CN116385431B (zh) * 2023-05-29 2023-08-11 中科航迈数控软件(深圳)有限公司 基于红外热成像与点云结合的数控机床设备故障检测方法
CN117470249B (zh) * 2023-12-27 2024-04-02 湖南睿图智能科技有限公司 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097906A (ja) * 2012-09-05 2017-06-01 グーグル インコーポレイテッド 複数の情報源を用いる建設区域検出
JP2017102838A (ja) * 2015-12-04 2017-06-08 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US20170242442A1 (en) * 2017-03-20 2017-08-24 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10305861A1 (de) * 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
CN102538802B (zh) * 2010-12-30 2016-06-22 上海博泰悦臻电子设备制造有限公司 三维导航显示方法以及相关装置
US8630805B2 (en) * 2011-10-20 2014-01-14 Robert Bosch Gmbh Methods and systems for creating maps with radar-optical imaging fusion
CN103578133B (zh) * 2012-08-03 2016-05-04 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
US9904867B2 (en) * 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
CN106371105A (zh) * 2016-08-16 2017-02-01 长春理工大学 单线激光雷达车辆目标识别方法、装置和汽车

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097906A (ja) * 2012-09-05 2017-06-01 グーグル インコーポレイテッド 複数の情報源を用いる建設区域検出
JP2017102838A (ja) * 2015-12-04 2017-06-08 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US20170242442A1 (en) * 2017-03-20 2017-08-24 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022003508A (ja) * 2020-06-30 2022-01-11 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム
JP7245275B2 (ja) 2020-06-30 2023-03-23 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム
US11940803B2 (en) 2020-06-30 2024-03-26 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus and computer storage medium for training trajectory planning model

Also Published As

Publication number Publication date
TW201937399A (zh) 2019-09-16
CN110168559A (zh) 2019-08-23
EP3523753A1 (en) 2019-08-14
CA3028659A1 (en) 2019-06-11
AU2017421870A1 (en) 2019-06-27
US20190180467A1 (en) 2019-06-13
EP3523753A4 (en) 2019-10-23
WO2019113749A1 (en) 2019-06-20
CA3028659C (en) 2021-10-12

Similar Documents

Publication Publication Date Title
CA3028659C (en) Systems and methods for identifying and positioning objects around a vehicle
US10509127B2 (en) Controlling vehicle sensors based on road configuration
US11593950B2 (en) System and method for movement detection
CN108693876B (zh) 用于具有控制部件的车辆的目标跟踪系统及方法
CN108271408B (zh) 使用被动和主动测量生成场景的三维地图
RU2767955C1 (ru) Способы и системы для определения компьютером наличия динамических объектов
US9098754B1 (en) Methods and systems for object detection using laser point clouds
JP2023073257A (ja) 出力装置、制御方法、プログラム及び記憶媒体
US11945499B2 (en) Method and apparatus for trailer angle measurement and vehicle
US20200250854A1 (en) Information processing apparatus, information processing method, program, and moving body
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
CN114518113A (zh) 基于径向速度测量来过滤点云中的返回点
US20230131721A1 (en) Radar and doppler analysis and concealed object detection
CN115991207A (zh) 驾驶应用中真标志和图像标志检测的识别
WO2023004011A1 (en) Radar data analysis and concealed object detection
WO2023009180A1 (en) Lidar-based object tracking
AU2017421870B2 (en) Systems and methods for identifying and positioning objects around a vehicle
RU2775817C2 (ru) Способ и система для обучения алгоритма машинного обучения с целью обнаружения объектов на расстоянии
US20230215273A1 (en) Object recognition device, movable body collision prevention device, and object recognition method
WO2023223659A1 (ja) 認識システム、認識装置、認識方法、認識プログラム、認識データ生成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190227

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211101