JP2022520968A - 視覚画像データを用いたオブジェクト属性の推定 - Google Patents

視覚画像データを用いたオブジェクト属性の推定 Download PDF

Info

Publication number
JP2022520968A
JP2022520968A JP2021547712A JP2021547712A JP2022520968A JP 2022520968 A JP2022520968 A JP 2022520968A JP 2021547712 A JP2021547712 A JP 2021547712A JP 2021547712 A JP2021547712 A JP 2021547712A JP 2022520968 A JP2022520968 A JP 2022520968A
Authority
JP
Japan
Prior art keywords
data
vehicle
distance
sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021547712A
Other languages
English (en)
Other versions
JPWO2020171983A5 (ja
Inventor
アンソニー マスク，ジェームズ
クマール サハイ，スウプニル
クマール エルスワミー，アショック
Original Assignee
テスラ，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テスラ，インコーポレイテッド filed Critical テスラ，インコーポレイテッド
Publication of JP2022520968A publication Critical patent/JP2022520968A/ja
Publication of JPWO2020171983A5 publication Critical patent/JPWO2020171983A5/ja
Priority to JP2024043716A priority Critical patent/JP2024073621A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

あるシステムは、メモリに結合された１つ又は複数のプロセッサから構成されている。これら１つ又は複数のプロセッサは、車両のカメラを使用して捕捉される画像に基づいた画像データを受信し、かつこの画像データを、トレーニング済みの機械学習モデルへの入力データのベースとして利用して、車両からあるオブジェクトまでの距離を少なくとも部分的に特定するように構成されている。このトレーニング済みの機械学習モデルは、トレーニング画像及び照射による距離測定センサの相関出力を使用したトレーニングを受けている。【選択図】図２

Description

［関連出願の相互参照］
本出願は、２０１９年２月１９日に出願された「視覚画像データを用いたオブジェクト属性の推定」という名称の米国特許出願第１６／２７９，６５７号の継続出願であり、その優先権を主張するものであるが、この開示内容は、その全体を参照することによって本明細書に組み込まれる。
自動運転システムは、典型的には、視覚センサや照射による距離測定センサ（例えば、レーダセンサ、ｌｉｄａｒセンサ、超音波センサなど）の集合を含む多数のセンサを、車両に搭載することに依存している。その場合、各センサによって捕捉されるデータは、車両の周辺環境の把握を助け、かつ車両の制御方法を決定するために収集される。視覚センサを使用して、捕捉される画像データからオブジェクトが特定され得、また照射による距離測定センサを使用して、その検出されたオブジェクトまでの距離が測定され得る。操舵調整や速度調節は、障害物の検出や障害物のない走行可能経路に基づいて施され得る。一方で、センサの台数や種類が増加するにつれて、システムの複雑度やコストも増大する。例えば、ｌｉｄａｒなどの照射による距離測定センサは、量販車両に搭載するには費用がかかる場合が多い。また、それぞれのセンサを追加することによって、自動運転システムの入力帯域幅要件も増加する。このため、車両上のセンサの最適な構成を見出していく必要がある。この構成では、周辺環境について正確に記述し、かつ車両を安全に制御するために捕捉されるデータの量及び種類を制限することなく、センサの総数を制限する必要がある。
一実施形態は、あるシステムを含む。本システムは、車両のカメラを使用して捕捉される画像に基づいた画像データを受信し、かつこの画像データを、トレーニング（訓練）済みの機械学習モデルへの入力データのベースとして利用して、車両からあるオブジェクトまでの距離を少なくとも部分的に特定するように構成された、１つ又は複数のプロセッサであって、このトレーニング済みの機械学習モデルは、トレーニング画像及び照射による距離測定センサの相関出力を使用したトレーニングを受けている、１つ又は複数のプロセッサと、これら１つ又は複数のプロセッサに結合されたメモリと、を備える。
別の実施形態はコンピュータプログラム製品を含み、このコンピュータプログラム製品は、非一時的コンピュータ可読記憶媒体に具現化され、コンピュータ命令を備える。これらのコンピュータ命令は、車両のカメラを使用して捕捉される画像に基づく画像データを受信し、かつこの画像データを、トレーニング済みの機械学習モデルへの入力データのベースとして利用して、車両からあるオブジェクトまでの距離を少なくとも部分的に特定するために使用されるものであり、このトレーニング済みの機械学習モデルは、トレーニング画像及び照射による距離測定センサの相関出力を使用したトレーニングを受けている。
さらに別の実施形態は、ある方法を含む。本方法は、車両のカメラを使用して捕捉された画像に基づいて選択される画像を受信するステップと、車両の照射による距離測定センサに基づく距離データを受信するステップと、この選択画像を、トレーニング済みの機械学習モデルへの入力データとして使用して、あるオブジェクトを特定するステップと、この受信した距離データから、特定されたオブジェクトの距離推定値を抽出するステップと、この抽出された距離推定値で選択画像をアノテートすることによって、トレーニング画像を作成するステップと、このトレーニング画像を含むトレーニングデータセットを使用して、距離測定値を予測するように第２の機械学習モデルをトレーニングするステップと、このトレーニング済みの第２の機械学習モデルを、第２のカメラを装備した第２の車両に供給するステップと、を含む。
本発明の様々な実施形態を、以下の詳細な説明及び添付の図面において開示している。
自動運転に使用される深層学習システムの、一実施形態を示したブロック図である。
オブジェクト属性を予測するためのトレーニングデータを作成するプロセスの、一実施形態を示したフロー図である。
自動運転に使用される機械学習モデルをトレーニングし、かつこれを適用するプロセスの一実施形態を示したフロー図である。
自動運転に使用される機械学習モデルをトレーニングし、かつこれを適用するプロセスの一実施形態を示したフロー図である。
機械学習ネットワークをトレーニングするための、補助センサデータを捕捉する例を示した図である。
オブジェクト属性を予測する例を示した図である。
本発明は、装置、システム、合成物、コンピュータ可読記憶媒体上に具現化されたコンピュータプログラム製品、及び／又はプロセッサ、例えば、自身に結合されたメモリに記憶されている命令及び／又はこのメモリによって付与される命令を実行するように構成されたプロセッサなどをプロセスとして含む、数多くの手段で実装され得る。本明細書では、これらの実装形態、又は本発明が取り得る任意の他の形態を、技法と呼んでもよい。開示しているプロセスのステップの順序は、概ね本発明の範囲内で変更することができる。特に明記しない限り、タスクを実行するように構成されるものとして記載しているプロセッサ又はメモリなどのコンポーネントは、所与の時間にタスクを実行するように一時的に構成された汎用コンポーネント、又はタスクを実行するように製造された専用コンポーネントとして実装されてもよい。本明細書で使用する場合、「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された１つ又は複数のデバイス、回路、及び／又は処理コアを指す。
本発明の１つ又は複数の実施形態に関する詳細な説明を、本発明の原理を例示する添付の図面と共に以下に示す。そのような実施形態に関連して本発明を説明しているが、本発明はいかなる実施形態にも限定されない。本発明の範囲は特許請求の範囲によってのみ限定され、また、本発明は多数の代替形態、修正形態及び均等物を含む。本発明を十分に理解できるように、数多くの具体的な詳細事項を以下の説明に記載している。これらの詳細事項を例示の目的で提供しており、本発明は、これらの具体的な詳細事項の一部又はすべてがなくとも、特許請求の範囲に従って実施することができる。明確さを期すために、本発明に関連する技術分野で公知の技術的材料については、本発明が不必要に不明瞭にならないように、詳細には記載していない。
視覚データから高精度の機械学習結果を生成するための、機械学習トレーニングの技法を開示している。オブジェクト距離などのオブジェクト属性を正確に推定するために、レーダ結果やｌｉｄａｒ結果などの補助センサデータを使用して、視覚データから特定されるオブジェクトに補助データが関連付けられている。様々な実施形態では、補助データの収集、及びこれと視覚データとの関連付けは自動的に行われ、人間の介入はあったとしても、ほとんど必要とはしない。例えば、視覚技術を使用して特定されるオブジェクトには、手動でラベル付けする必要がないため、機械学習トレーニングの効率が大幅に向上する。その代わりに、トレーニングデータが自動的に生成され、このトレーニングデータを使用して、オブジェクト属性を高精度で予測するように、機械学習モデルがトレーニングされ得る。例えば、このデータは、視覚データ及びレーダデータなどの関連付けられた関連データのスナップショットを収集することにより、車両群から自動的に収集されてもよい。いくつかの実施形態では、視覚データとレーダデータとに関する関連付けターゲットのサブセットのみがサンプリングされている。これらの車両群から収集されるフュージョンデータは自動的に収集され、このフュージョンデータを使用して、捕捉されるデータを模倣するように、ニューラルネットがトレーニングされている。視覚データのみを使用して、距離、方向、及び速度などのオブジェクト属性を正確に予測するために、このトレーニング済みの機械学習モデルが車両にデプロイされ得る。例えば、専用の距離測定センサを必要とせずに、カメラの画像を使用してオブジェクト距離を測定できるように機械学習モデルがひとたびトレーニングされると、自動運転車両に専用の距離測定センサを搭載する必要が、もはやなくなる可能性がある。専用の距離測定センサと共に使用される場合、この機械学習モデルは、精度を向上させ、かつ／又はフォールトトレランスをもたらすための、冗長距離データソース又は二次距離データソースとして使用され得る。特定されたオブジェクト及び対応する属性を使用して、ある車両の自動運転、又は運転者支援動作などの自動運転機能が実行され得る。例えば、ある自動運転車両は、開示している技法を使用して特定された合流車両を回避するように制御され得る。
メモリに結合された１つ又は複数のプロセッサを備えるシステムは、車両のカメラを使用して捕捉された画像に基づいた画像データを受信するように構成されている。例えば、ある自動運転車両に搭載された人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサなどのプロセッサは、車両の前方対面カメラなどのカメラから画像データを受信する。側方対面カメラや後方対面カメラなどの別のカメラも、同様に使用され得る。画像データは、車両からあるオブジェクトまでの距離を少なくとも部分的に特定するために機械学習トレーニングされたモデルへの、入力データのベースとして利用されている。例えば、この捕捉画像は、ＡＩプロセッサ上で実行される深層学習ネットワークのモデルなどの機械学習モデルへの入力データとして使用されている。本モデルを使用して、画像データにおいて特定されたオブジェクトまでの距離が予測される。車両や歩行者などの周辺のオブジェクトは画像データから特定され得、また、その精度や方向は、深層学習システムを使用して推論される。様々な実施形態では、トレーニング済みの機械学習モデルは、トレーニング画像及び照射による距離測定センサの相関出力を使用したトレーニングを受けている。照射による距離測定センサは、センサからオブジェクトまでの距離を検出する際に、信号（例えば、電波信号、超音波信号、光信号など）を発信することができる。例えば、車両に搭載されたレーダセンサが、周辺の障害物までの距離や方向を特定するために、レーダを発信する。次いで、これらの距離は、車両のカメラから捕捉されたトレーニング画像内で、特定されたオブジェクトと相関付けられる。関連付けられたトレーニング画像には距離測定値がアノテートされ、この画像を使用して、機械学習モデルがトレーニングされる。いくつかの実施形態では、本モデルを使用して、オブジェクトの速度などの追加属性が予測される。例えば、レーダによって測定されたオブジェクトの速度は、オブジェクトの速度及び方向を予測するように機械学習モデルをトレーニングする際に、トレーニング画像内のオブジェクトと関連付けられる。
いくつかの実施形態では、ある車両は、車両の周辺環境及び車両動作パラメータを捕捉するためのセンサを備える。この捕捉データは、視覚データ（動画及び／又は静止画像など）と、レーダセンサデータ、ｌｉｄａｒセンサデータ、慣性センサデータ、音声センサデータ、オドメトリセンサデータ、位置センサデータ、及び／又は他の形態のセンサデータなどの追加の補助データと、を含む。例えば、このセンサデータは、車両、歩行者、車線境界線、車両交通量、障害物、交通標識、交通音などを捕捉したものであってもよい。オドメトリセンサ及び他の類似のセンサは、車両速度、操舵、方位、方向変化、位置変化、高度変化、速度変化などの車両動作パラメータを捕捉する。ここで捕捉された視覚データ及び補助データは、トレーニングデータセットを作成するために車両からトレーニングサーバに送信される。いくつかの実施形態では、送信されたこれらの視覚データ及び補助データは相関付けられ、これらのデータを使用して、トレーニングデータが自動的に生成される。このトレーニングデータを使用して、高精度な機械学習結果を生成するための、機械学習モデルがトレーニングされている。いくつかの実施形態では、このトレーニングデータを生成するために、時系列の捕捉データが使用されている。時系列要素のグループに基づいてグランドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）が指定され、このグランドトゥルースを使用して、グループからの単一の画像などの要素のうちの少なくとも１つがアノテートされる。例えば、３０秒などの時間間隔で、一連の画像及びレーダデータが捕捉される。この画像データから特定され、かつ時系列にわたって追跡された車両は、この時系列からの対応するレーダ距離及びレーダ方向と関連付けられる。レーダ距離データなどの関連付け対象の補助データは、時系列で捕捉された画像データ及び距離データを分析した後に、車両と関連付けられる。時系列にわたって画像データ及び補助データを分析することにより、似通った距離を有する複数のオブジェクトなどの曖昧性が高い精度で解消されて、グランドトゥルースが指定され得る。例えば、単一の捕捉画像のみを使用する場合において、１台の車両が別の車両を遮るときか、又は２台の車両が接近しているとき、２台の車両までの個々の距離を正確に推定するには、これに対応するレーダデータが不十分である可能性がある。しかしながら、時系列にわたって車両を追跡することにより、レーダによって特定される距離は、車両が互いから離れ、異なる方向に移動し、かつ／又は異なる速度で移動するなどしても、正しい車両と適切に関連付けられ得る。様々な実施形態では、補助データがあるオブジェクトに適切に関連付けられた時点で、時系列のうちの１つ又は複数の画像がトレーニング画像に変換され、距離、速度、及び／又は他の適切なオブジェクト属性などの対応するグランドトゥルースがこの画像にアノテートされる。
様々な実施形態では、補助センサデータを使用してトレーニングされた機械学習モデルは、物理的な補助センサを必要とせずに、補助センサの結果を正確に予測することができる。例えば、トレーニング車両には、トレーニングデータを収集するために、高価なかつ／又は操作が困難なセンサを含む、補助センサを装備することができる。次いで、このトレーニングデータを使用して、レーダセンサ、ｌｉｄａｒセンサ、又は別のセンサなどの補助センサの結果を予測するための、機械学習モデルがトレーニングされ得る。その後、このトレーニング済みのモデルは、視覚センサのみを必要とする量産車両などの車両にデプロイされる。補助センサは必須ではないが、二次データソースとしても使用され得る。とりわけセンサの再較正の困難さ、センサの保守、センサの追加によるコスト、及び／又は追加センサに対する追加の帯域幅及び計算要件などの点を含め、センサの台数を削減することには多くの利点がある。いくつかの実施形態では、トレーニング済みのモデルは、補助センサが故障した場合に使用されている。追加の補助センサに依存する代わりに、このトレーニング済みの機械学習モデルは、１つ又は複数の視覚センサからの入力データを使用して、補助センサの結果を予測する。ここで予測された結果を使用して、オブジェクト（例えば、歩行者、静止車両、移動車両、縁石、障害物、道路障壁など）、並びにそれらまでの距離及び方向の検出を必要とする、自動運転機能が実行され得る。ここで予測された結果を使用して、信号機、交通標識、道路標識などの交通規制のオブジェクトまでの距離及び方向が検出され得る。先の実施例では視覚センサとオブジェクト距離とが使用されているが、代替のセンサや予測される属性も同様に使用可能である。
図１は、自動運転に使用される深層学習システムの、一実施形態を示したブロック図である。この深層学習システムは、車両の自動運転及び／又は運転者支援動作を行うために、並びに機械学習モデルをトレーニングするためのデータを収集し、かつ処理するために、共に使用され得る種々のコンポーネントを含む。様々な実施形態では、この深層学習システムはある車両にインストールされ、また、車両から捕捉されるデータを使用して、車両又は他の類似の車両における深層学習システムがトレーニングされ、かつ改善され得る。この深層学習システムを使用して、オブジェクトを特定すること、及び視覚データを入力データとして使用して、距離や方向などのオブジェクト属性を予測することを含む、自動運転機能が実行されてもよい。
図示の実施例では、深層学習システム１００は、視覚センサ１０１、追加センサ１０３、画像プリプロセッサ１０５、深層学習ネットワーク１０７、人工知能（ＡＩ）プロセッサ１０９、車両制御モジュール１１１、及びネットワークインターフェース１１３を含む深層学習ネットワークである。様々な実施形態では、種々のコンポーネントが通信可能に結合されている。例えば、視覚センサ１０１から捕捉された画像データは、画像プリプロセッサ１０５に供給される。画像プリプロセッサ１０５において処理されたセンサデータは、ＡＩプロセッサ１０９上で実行中の深層学習ネットワーク１０７に供給される。いくつかの実施形態では、追加センサ１０３からのセンサデータは、深層学習ネットワーク１０７への入力データとして使用されている。ＡＩプロセッサ１０９上で実行中の深層学習ネットワーク１０７の出力データは、車両制御モジュール１１１に供給される。様々な実施形態では、車両制御モジュール１１１は、車両の速度、制動、及び／又は操舵などの車両の動作に接続されて、車両のこれらの動作を制御している。様々な実施形態では、センサデータ及び／又は機械学習結果は、ネットワークインターフェース１１３を介してリモートサーバ（図示せず）に送信され得る。例えば、視覚センサ１０１及び／又は追加センサ１０３から捕捉されるデータなどのセンサデータは、車両の性能、快適性、及び／又は安全性を高めるためのトレーニングデータを収集するために、ネットワークインターフェース１１３を介してリモートトレーニングサーバに送信され得る。様々な実施形態では、ネットワークインターフェース１１３を使用してリモートサーバと通信し、通話し、テキストメッセージを送信かつ／又は受信し、かつ車両の動作に基づいてセンサデータを送信するなどされている。いくつかの実施形態では、深層学習システム１００は、必要に応じて含むコンポーネントを追加してもよいし、又は削減してもよい。例えば、いくつかの実施形態では、画像プリプロセッサ１０５は任意選択のコンポーネントである。別の実施例として、いくつかの実施形態では、出力データが車両制御モジュール１１１に供給される前に、深層学習ネットワーク１０７の出力データに対してポストプロセッシングを実行するために、ポストプロセスコンポーネント（図示せず）が使用されている。
いくつかの実施形態では、視覚センサ１０１は、画像データを捕捉するための１つ又は複数のカメラセンサを含む。様々な実施形態では、視覚センサ１０１は、ある車両の様々な位置でこの車両に取り付けられてもよいし、かつ／又は１つ又は複数の異なる方向に方向付けられてもよい。例えば、視覚センサ１０１は、車両の前方、側方、後方、及び／又はルーフなどに、前方対面方向、後方対面方向、側方対面方向などの方向で取り付けられてもよい。いくつかの実施形態では、視覚センサ１０１は、ハイダイナミックレンジカメラ及び／又は様々な視野を有するカメラなどの画像センサであってもよい。例えば、いくつかの実施形態では、８台のサラウンドカメラが車両に取り付けられ、これらのカメラが、車両の周囲３６０度の視界を最大２５０メートルまでの範囲でもたらしている。いくつかの実施形態では、カメラセンサは、広角前方カメラ、狭角前方カメラ、後方視認カメラ、前方視サイドカメラ、及び／又は後方視サイドカメラを含む。
いくつかの実施形態では、視覚センサ１０１は、車両制御モジュール１１１を備える車両に取り付けられていない。例えば、視覚センサ１０１は周辺車両に取り付けられてもよく、かつ／又は道路若しくは周辺環境に取り付けられてもよく、さらには、センサデータを捕捉するための深層学習システムの一部として搭載されてもよい。様々な実施形態では、視覚センサ１０１は、車両が走行中の道路を含む、車両の周辺環境を捕捉する、１つ又は複数のカメラを含む。例えば、１つ又は複数の前方対面カメラ及び／又はピラーカメラは、車両、歩行者、交通規制のオブジェクト、道路、縁石、障害物などの、車両を取り囲む環境内のオブジェクトの画像を捕捉している。別の実施例として、カメラは、車両が走行中の車線に割り込もうとしている車両を含む、周辺車両の画像データを含む、時系列の画像データを捕捉している。視覚センサ１０１は、静止画像及び／又は動画を捕捉できる画像センサを含んでいてもよい。データは、一定期間にわたる一連の捕捉データのように、一定期間にわたって捕捉されてもよく、また、他のセンサデータを含む他の車両データと同期されてもよい。例えば、オブジェクトを特定するために使用される画像データは、１５秒の時間又は別の適切な時間にわたって、レーダデータ及びオドメトリ（ｏｄｏｍｅｔｒｙ）データと共に捕捉されてもよい。
いくつかの実施形態では、追加センサ１０３は、視覚センサ１０１に加えて、センサデータを捕捉するための追加センサを含む。様々な実施形態では、追加センサ１０３は、ある車両の様々な位置でこの車両に取り付けられてもよいし、かつ／又は１つ又は複数の異なる方向に方向付けられてもよい。例えば、追加センサ１０３は、車両の前方、側方、後方、及び／又はルーフなどに、前方対面方向、後方対面方向、側方対面方向などの方向で取り付けられてもよい。いくつかの実施形態では、追加センサ１０３は、レーダセンサ、超音波センサ、及び／又はｌｉｄａｒセンサなどの照射センサであってもよい。いくつかの実施形態では、追加センサ１０３は非視覚センサを含む。追加センサ１０３は、レーダセンサ、音声センサ、ｌｉｄａｒセンサ、慣性センサ、オドメトリセンサ、位置センサ、及び／又は超音波センサなどを含んでいてもよい。例えば、１２台の超音波センサを車両に取り付けることにより、硬質のオブジェクトと軟質のオブジェクトとの両方が検出されてもよい。いくつかの実施形態では、周辺環境のデータを捕捉するために、前方対面レーダが使用されている。様々な実施形態では、レーダセンサは、豪雨、霧、埃の発生、及び他の車両の近接にもかかわらず、周辺環境の詳細を捕捉することができる。
いくつかの実施形態では、追加センサ１０３は、車両制御モジュール１１１を備える車両に取り付けられていない。視覚センサ１０１と同様に、例えば、追加センサ１０３は周辺車両に取り付けられてもよく、かつ／又は道路若しくは周辺環境に取り付けられてもよく、さらには、センサデータを捕捉するための深層学習システムの一部として搭載されてもよい。いくつかの実施形態では、追加センサ１０３は、車両が走行中の道路を含む、車両の周辺環境を捕捉する、１つ又は複数のカメラを含む。例えば、前方対面レーダセンサが、車両の前方視野内にあるオブジェクトまでの距離データを捕捉する。追加センサは、車両の軌跡に関する情報を含むオドメトリ情報、位置情報、及び／又は車両制御情報を捕捉してもよい。センサデータは、一定期間にわたる一連の捕捉データのように、一定期間にわたって捕捉されてもよく、また、視覚センサ１０１から捕捉された画像データと関連付けられてもよい。いくつかの実施形態では、追加センサ１０３は、車両の位置及び／又は位置の変化を特定するための、全地球測位システム（ＧＰＳ）センサなどの位置センサを含む。様々な実施形態では、追加センサ１０３のうちの１つ又は複数のセンサは任意選択のものであり、トレーニングデータを捕捉するように設計された車両にのみ搭載されている。追加センサ１０３のうちの１つ又は複数のセンサを有しない車両は、トレーニング済みの機械学習モデル及び本明細書に開示している技法を用いて出力を予測することにより、追加センサ１０３による結果をシミュレートすることができる。例えば、前方対面レーダセンサ又は前方対面ｌｉｄａｒセンサのない車両は、深層学習ネットワーク１０７のモデルなど、トレーニング済みの機械学習モデルを適用することにより、画像データを使用して任意選択のセンサの結果を予測することができる。
いくつかの実施形態では、画像プリプロセッサ１０５を使用して、視覚センサ１０１のセンサデータが前処理されている。例えば、画像プリプロセッサ１０５を使用して、このセンサデータが前処理されてもよく、このセンサデータが１つ又は複数の成分へと分割されてもよく、かつ／又はこれら１つ又は複数の成分が後処理されてもよい。いくつかの実施形態では、画像プリプロセッサ１０５は、グラフィックス処理装置（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、画像信号プロセッサ、又は専用画像プロセッサである。様々な実施形態では、画像プリプロセッサ１０５は、ハイダイナミックレンジデータを処理するトーンマッパープロセッサである。いくつかの実施形態では、画像プリプロセッサ１０５は、人工知能（ＡＩ）プロセッサ１０９の一部として実装されている。例えば、画像プリプロセッサ１０５は、ＡＩプロセッサ１０９のコンポーネントであってもよい。いくつかの実施形態では、画像プリプロセッサ１０５を使用して、画像が正規化されるか、又は画像が変換されてもよい。例えば、魚眼レンズで捕捉された画像がワープされてもよく、また、このワーピングを除去するか、又は修正するために、画像プリプロセッサ１０５を使用して画像が変換されてもよい。いくつかの実施形態では、ノイズ、歪み、及び／又はぼやけは、プリプロセッシングステップ中に除去又は低減される。様々な実施形態では、画像は、機械学習分析の結果を改善するように調整又は正規化される。例えば、画像のホワイトバランスは、昼光条件、晴天条件、曇天条件、薄暗条件、日出条件、日没条件、及び夜間条件などの、異なる照明動作条件を考慮するように調整される。
いくつかの実施形態では、深層学習ネットワーク１０７は、運転環境を分析して、オブジェクト及びそれらの対応する属性、例えば距離、速度、又は別の適切なパラメータを特定することを含む、車両制御パラメータの特定のために使用される深層学習ネットワークである。例えば、深層学習ネットワーク１０７は、センサデータなどの入力データによってトレーニングされ、その出力データが車両制御モジュール１１１に供給されるようになっている、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などの人工ニューラルネットワークであってもよい。一実施例として、この出力データは、検出されたオブジェクトの距離推定値を少なくとも含んでいてもよい。別の実施例として、この出力データは、車両の車線に合流する可能性のある潜在的な車両、これらの車両間の距離、及びこれらの車両の速度を少なくとも含んでいてもよい。いくつかの実施形態では、深層学習ネットワーク１０７は、画像センサデータを入力データとして少なくとも受信し、この画像センサデータ内のオブジェクトを特定し、かつオブジェクトまでの距離を予測する。追加の入力データは、車両周辺の環境及び／又は車両の動作特性などの車両仕様を記述するシーンデータを含んでいてもよい。シーンデータは、降雨時の道路、湿った道路、降雪時の交通、ぬかるみ発生時の交通、高密度交通、幹線道路区域、市街地、通学路など、車両周辺の環境を記述するシーンタグを含んでいてもよい。いくつかの実施形態では、深層学習ネットワーク１０７の出力データは、特定されたオブジェクトなどのオブジェクトを表す直方体を含む、車両の周辺環境の三次元表現である。いくつかの実施形態では、深層学習ネットワーク１０７の出力データは、対象目的地に向かって車両をナビゲートすることを含む、自動運転に使用されている。
いくつかの実施形態では、人工知能（ＡＩ）プロセッサ１０９は、深層学習ネットワーク１０７を実行するためのハードウェアプロセッサである。いくつかの実施形態では、ＡＩプロセッサ１０９は、センサデータに対し、畳み込みニューラルネットワーク（ＣＮＮ）を使用して推論を行うための、専用ＡＩプロセッサである。ＡＩプロセッサ１０９は、センサデータのビット深度に最適化されてもよい。いくつかの実施形態では、ＡＩプロセッサ１０９は、とりわけ畳み込み演算、ドット積演算、ベクトル演算、及び／又は行列演算を含むニューラルネットワーク演算など、深層学習演算用に最適化されている。いくつかの実施形態では、ＡＩプロセッサ１０９は、グラフィックス処理装置（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を使用して実装されている。様々な実施形態では、ＡＩプロセッサ１０９は、実行されるとこのＡＩプロセッサに対して、受信した入力センサデータの深層学習分析を実行させ、かつ自動運転に使用される、オブジェクト距離などの機械学習結果を判定させる命令を、このＡＩプロセッサに付与するように構成されたメモリに結合されている。いくつかの実施形態では、データをトレーニングデータとして利用可能に生成するために、ＡＩプロセッサ１０９を使用してセンサデータが処理されている。
いくつかの実施形態では、車両制御モジュール１１１を使用して、人工知能（ＡＩ）プロセッサ１０９の出力データが処理され、かつこの出力データが車両制御演算へと変換される。いくつかの実施形態では、車両制御モジュール１１１を使用して、自動運転を行う車両を制御している。様々な実施形態では、車両制御モジュール１１１は、車両の速度、加速度、操舵、制動などを調整することができる。例えば、いくつかの実施形態では、車両制御モジュール１１１を使用して車両を制御することにより、例えばある車線内の車両の位置が維持され、車両が別の車線へと合流し、また、合流車両を考慮して、車両の速度や車線の位置決めが調整されている。
いくつかの実施形態では、車両制御モジュール１１１を使用して、ブレーキライト、ウィンカー、ヘッドライトなどの車両照明が制御されている。いくつかの実施形態では、車両制御モジュール１１１を使用して、車両の音響システム、音声警報の再生、マイクロフォンの有効化、ホーンの有効化などの車両の音響状態が制御されている。いくつかの実施形態では、車両制御モジュール１１１を使用して、潜在的な衝突可能性又は想定目的地への接近状況などの運転イベントを、運転者及び／又は乗客に通知するための警報システムを含む通知システムが制御されている。いくつかの実施形態では、車両制御モジュール１１１を使用して、ある車両の視覚センサ１０１及び追加センサ１０３などのセンサが調整されている。例えば、車両制御モジュール１１１を使用して、方位の変更、出力解像度及び／又はフォーマットタイプの変更、捕捉レートの上下変動、捕捉されるダイナミックレンジの調整、カメラの焦点調整、センサの有効化及び／又は無効化など、１つ又は複数のセンサのパラメータが変更されてもよい。いくつかの実施形態では、車両制御モジュール１１１を使用して、フィルタの周波数範囲の変更、フィーチャ検出パラメータ及び／又はエッジ検出パラメータの調整、チャネル及びビット深度の調整など、画像プリプロセッサ１０５のパラメータが変更されてもよい。様々な実施形態では、車両制御モジュール１１１を使用して、ある車両の自動運転及び／又は運転者支援制御が実行されている。いくつかの実施形態では、車両制御モジュール１１１は、メモリと結合されたプロセッサを使用して実装されている。いくつかの実施形態では、車両制御モジュール１１１は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、又は他の適切なプロセッシングハードウェアを使用して実装されている。
いくつかの実施形態では、ネットワークインターフェース１１３は、トレーニングデータを含むデータを送信かつ／又は受信するための、通信インターフェースである。様々な実施形態では、ネットワークインターフェース１１３は、リモートサーバとインターフェースするためのセルラーインターフェース又は無線インターフェースを含むことにより、センサデータを送信し、潜在的なトレーニングデータを送信し、更新された機械学習モデルを含む深層学習ネットワークに対する更新を受信し、接続して音声通話を行い、テキストメッセージを送信かつ／又は受信するなどしている。例えば、ネットワークインターフェース１１３を使用して、潜在的なトレーニングデータとして使用するために捕捉されたセンサデータが、機械学習モデルをトレーニングするためのリモートトレーニングサーバに送信されてもよい。別の実施例として、ネットワークインターフェース１１３を使用して、視覚センサ１０１、追加センサ１０３、画像プリプロセッサ１０５、深層学習ネットワーク１０７、ＡＩプロセッサ１０９、及び／又は車両制御モジュール１１１に対する命令及び／又は動作パラメータへの更新が受信されてもよい。深層学習ネットワーク１０７の機械学習モデルは、ネットワークインターフェース１１３を使用して更新されてもよい。別の実施例として、ネットワークインターフェース１１３を使用して、視覚センサ１０１及び追加センサ１０３のファームウェア、並びに／又は画像プロセッシングパラメータなどの画像プリプロセッサ１０５の動作パラメータが更新されてもよい。
図２は、オブジェクト属性を予測するためのトレーニングデータを作成するプロセスの、一実施形態を示したフロー図である。例えば、画像データは、トレーニングデータを自動的に作成するために、追加の補助センサからのセンサデータでアノテートされている。いくつかの実施形態では、センサデータ及び関連補助データで構成される時系列要素はある車両から収集され、この時系列要素を使用して、トレーニングデータが自動的に作成されている。様々な実施形態では、図２のプロセスを用いて、トレーニングデータが対応するグランドトゥルースで自動的にラベル付けされている。このグランドトゥルースと画像データとは、画像データから特定されるオブジェクト属性を予測するためのトレーニングデータとして、パッケージ化されている。様々な実施形態では、センサデータ及び関連補助データは、図１の深層学習システムを使用して捕捉されている。例えば、様々な実施形態では、このセンサデータは図１の視覚センサ１０１から捕捉され、また関連データは、図１の追加センサ１０３から捕捉される。いくつかの実施形態では、図２のプロセスは、既存の予測が不正確であるか、又は改善され得る場合に、データを自動的に収集するように実行される。例えば、視覚データから、距離や方向などの１つ又は複数のオブジェクト属性を特定する予測が、自動運転車両によって行われている。予測は、照射による距離測定センサから受信した距離データと比較される。予測が許容可能な精度閾値内にあるかどうかが判定され得る。いくつかの実施形態では、予測が改善され得るという判定が行われている。予測が十分に正確でない場合、図２のプロセスを予測シナリオに適用して、本機械学習モデルを改善するためのトレーニング例をキュレートしたもののセットが作成され得る。
２０１で、視覚データが受信される。この視覚データは、動画及び／又は静止画像などの画像データであってもよい。様々な実施形態では、この視覚データは車両で捕捉され、次いでトレーニングサーバに送信される。この視覚データは、時系列要素を作成するために、一定期間にわたって捕捉されてもよい。様々な実施形態では、これらの要素は、要素の順序を保持するためのタイムスタンプを含む。時系列要素を捕捉することにより、時系列内のオブジェクトが時系列にわたって追跡され、単一の入力画像及び対応する関連データなど、単一の入力サンプルから特定することが困難なオブジェクトがより一層判別しやすくなる。例えば、対向車のヘッドライトのペアの場合、最初は両方とも１台の車両に属しているように見える可能性があるが、これらのヘッドライトが互いから離れた場合、各ヘッドライトは別個のオートバイに属しているものと認識される。いくつかのシナリオでは、画像データ内のオブジェクトは、２０３で受信される関連補助データ内のオブジェクトよりも区別がつきやすい。例えば、距離データのみを使用して、バンが並んでいる壁からバンまでの推定距離を判別することは困難であり得る。しかしながら、対応する時系列の画像データにわたってこのバンを追跡することにより、特定されたバンに正しい距離データが関連付けられ得る。様々な実施形態では、時系列として捕捉されたセンサデータは、機械学習モデルがこれを入力データとして使用するフォーマットで捕捉される。例えば、このセンサデータは、生画像データ又は被処理画像データであってもよい。
様々な実施形態では、時系列データが受信された場合、これらの時系列は、これら時系列の各要素にタイムスタンプを関連付けることによって編成されてもよい。例えば、これらの時系列における少なくとも第１の要素に、１つのタイムスタンプが関連付けられる。このタイムスタンプを使用して、２０３で受信したデータなど、関連データを備える時系列要素が較正されてもよい。様々な実施形態では、これらの時系列の長さは、１０秒、３０秒、又は別の適切な長さなどの固定長の時間であってもよい。この時間の長さは設定可能であってもよい。様々な実施形態では、これらの時系列は、車両の平均速度などの車両速度に基づいていてもよい。例えば、より遅い速度では、時系列の時間長を増大させることにより、同じ速度に対してより短い時間長を使用する場合に可能となる移動距離よりも長い移動距離にわたって、データが捕捉されてもよい。いくつかの実施形態では、これらの時系列内の要素数は設定可能である。これらの要素の数は、移動距離に基づいていてもよい。例えば、一定時間の間、より速く移動する車両は、より遅く移動する車両よりも、含む時系列内の要素がより多くなる。これらの要素を追加すると、捕捉された周辺環境の再現性を高め、予測された機械学習結果の精度を向上させることができる。様々な実施形態では、これらの要素の数は、センサがデータを捕捉する１秒当たりのフレームを調整することによって、かつ／又は不要な中間フレームを破棄することによって調整されている。
２０３で、受信した視覚データに関連するデータが受信される。様々な実施形態では、この関連データは、２０１で受信した視覚データと共に、トレーニングサーバで受信される。いくつかの実施形態では、この関連データは、超音波センサ、レーダセンサ、ｌｉｄａｒセンサ、又は他の適切なセンサなど、車両の追加センサから受信したセンサデータである。この関連データは、距離、方向、速度、位置、方位、位置の変化、及び方位の変化に関するデータ、並びに／又は他の関連データなど、車両の追加センサによって捕捉されるものであってもよい。この関連データを使用して、２０１で受信した視覚データで特定されたフィーチャに対するグランドトゥルースが指定されてもよい。例えば、レーダセンサからの距離測定値及び方向測定値を使用して、視覚データにおいて特定されたオブジェクトのオブジェクト距離及びオブジェクト方向が求められる。いくつかの実施形態では、ここで受信される関連データは、２０１で受信した時系列の視覚データに対応する時系列データである。
いくつかの実施形態では、この視覚データに関連するデータはマップデータを含む。例えば、２０３で、道路レベル及び／又は衛星レベルのマップデータなどのオフラインデータが受信されてもよい。このマップデータを使用して、道路、車線、交差点、制限速度、学区などのフィーチャが特定されてもよい。例えば、このマップデータは、車線経路を記述することができる。車線内で特定された車両の推定位置を使用して、検出車両までの推定距離が求められたり、その裏付けが行われたりする可能性がある。別の実施例として、このマップデータは、マップの様々な道路と関連付けられた制限速度を記述することができる。いくつかの実施形態では、この速度制限データを使用して、特定された車両の速度ベクトルが検証されてもよい。
２０５で、視覚データ内のオブジェクトが特定される。いくつかの実施形態では、この視覚データを入力データとして使用して、車両の周辺環境内のオブジェクトが特定される。例えば、車両、歩行者、障害物などが視覚データから特定される。いくつかの実施形態では、これらのオブジェクトは、トレーニング済みの機械学習モデルを備える深層学習システムを使用して特定されている。様々な実施形態では、特定されたオブジェクトに対してバウンディングボックスが作成される。このバウンディングボックスは、特定されたオブジェクトの外側の輪郭を描画する、直方体などの二次元バウンディングボックス又は三次元バウンディングボックスであってもよい。いくつかの実施形態では、２０３で受信したデータなどの追加のデータを使用することで、オブジェクトを特定するのが補助される。こうした追加データを使用して、オブジェクト特定時の精度が高められてもよい。
２０７で、特定されたオブジェクトに対するグランドトゥルースが指定される。２０３で受信した関連データを使用して、２０１で受信した視覚データから、２０５で特定されたオブジェクトに対するグランドトゥルースが指定される。いくつかの実施形態では、この関連データは、特定されたオブジェクトの深度（及び／又は距離）データである。距離データをこの特定されたオブジェクトと関連付けることにより、機械学習モデルをトレーニングし、そしてこの関連距離データを検出オブジェクトのグランドトゥルースとして使用することにより、オブジェクト距離が推定され得る。いくつかの実施形態では、これらの距離は、障害物、障壁、移動車両、静止車両、交通信号機、歩行者などの検出オブジェクトまでの距離であり、トレーニング用のグランドトゥルースとして使用されている。距離に加えて、方向、速度、加速度などの他のオブジェクトパラメータに対するグランドトゥルースが指定されてもよい。例えば、特定されたオブジェクトに対するグランドトゥルースとして、正確な距離や方向が指定される。別の実施例として、車両及び歩行者などの特定されたオブジェクトに対するグランドトゥルースとして、正確な速度ベクトルが指定される。
様々な実施形態では、視覚データ及び関連データはタイムスタンプによって編成され、対応するタイムスタンプを使用して、２つのデータセットが同期される。いくつかの実施形態では、タイムスタンプを使用して、一連の画像及び対応する一連の関連データなどの時系列データが同期されている。このデータは、捕捉時に同期されてもよい。例えば、時系列の各要素が捕捉されると、対応する関連データのセットが捕捉されて、時系列要素と共に保存される。様々な実施形態では、この関連データの時間間隔は設定可能であり、かつ／又は時系列要素の時間間隔と一致している。いくつかの実施形態では、この関連データは、時系列要素と同じレートでサンプリングされている。
様々な実施形態では、時系列データを検証することによってのみ、グランドトゥルースが指定され得る。例えば、視覚データのサブセットのみを分析した場合、オブジェクト及び／又はそれらの属性が誤特定される可能性がある。時系列全体に分析対象を拡大することにより、曖昧性が除去される。例えば、時系列において前後して、遮蔽車両の存在が明らかにされてもよい。ひとたび特定されると、遮蔽されている場合であっても、時系列全体にわたってこの時折遮蔽される車両が追跡され得る。同様に、関連データから得られるオブジェクト属性を視覚データ内で特定されたオブジェクトと関連付けることにより、この時折遮蔽される車両のオブジェクト属性が、時系列全体にわたって追跡され得る。いくつかの実施形態では、このデータは逆方向（及び／又は順方向）再生されて、関連データを視覚データと関連付ける際のあらゆる曖昧点が特定される。時系列内の様々な時間にオブジェクトがある状態を使用して、時系列全体にわたるオブジェクトのオブジェクト属性を特定するのが補助されてもよい。
様々な実施形態では、閾値を使用して、あるオブジェクト属性を特定されたあるオブジェクトのグランドトゥルースとして関連付けるかどうかが判定される。例えば、確度の高い関連データは特定されたオブジェクトと関連付けられるが、確度が閾値を下回っている関連データは、特定されたオブジェクトと関連付けられることはない。いくつかの実施形態では、この関連データは、矛盾し合うセンサデータであってもよい。例えば、超音波データの出力結果とレーダデータの出力結果とは矛盾している可能性がある。別の実施例として、距離データはマップデータと矛盾している可能性がある。距離データでは、ある学区が３０メートル以内で始まると推定してもよい一方、マップデータからの情報では、その同じ学区が２０メートル以内で始まると記述してもよい。関連データの確度が低い場合、この関連データは破棄されてもよく、また、グランドトゥルースを指定するために使用されなくてもよい。
いくつかの実施形態では、このグランドトゥルースは、意味ラベルを予測するように指定される。例えば、予測された距離及び方向に基づいて、ある検出車両が左車線又は右車線にあるとラベル付けされ得る。いくつかの実施形態では、この検出車両は死角にある車両として、又は優先されるべき車両として、若しくは別の適切な意味ラベルでラベル付けされ得る。いくつかの実施形態では、指定されたグランドトゥルースに基づいて、マップ内の道路又は車線に車両が割り当てられる。別の実施例として、この指定されたグランドトゥルースを使用して、信号機、車線、走行可能空間、又は自動運転を支援する他の機構がラベル付けされ得る。
２０９で、トレーニングデータがパッケージ化される。例えば、２０１で受信した視覚データの要素が選択され、２０７で指定されたグランドトゥルースにこれが関連付けられる。いくつかの実施形態では、ここで選択される要素は時系列要素である。ここで選択される要素は、トレーニング画像などの機械学習モデルへのセンサデータ入力を表し、グランドトゥルースはその予測結果を表す。様々な実施形態では、ここで選択されるデータは、トレーニングデータとしてアノテートされ、かつ作成される。いくつかの実施形態では、このトレーニングデータは、トレーニング・検証・試験データへとパッケージ化される。このトレーニングデータは、１つ又は複数の関連補助センサに関連する結果を予測するように、機械学習モデルをトレーニングするために、指定されたグランドトゥルース及び選択されたトレーニング要素に基づいてパッケージ化される。例えば、ここでトレーニング済みのモデルを使用して、レーダセンサ又はｌｉｄａｒセンサなどのセンサを使用した測定と同様の結果を得ながら、オブジェクトまでの距離及び方向が正確に予測され得る。様々な実施形態では、この機械学習結果を使用して、自動運転に使用される機能が実装されている。パッケージ化されたトレーニングデータは、ここで機械学習モデルをトレーニングする際に利用可能となっている。
図３は、自動運転に使用される機械学習モデルをトレーニングし、かつこれを適用するプロセスの一実施形態を示したフロー図である。例えば、一次センサデータ及び二次センサデータを含む入力データが受信され、機械学習モデルをトレーニングするためのトレーニングデータを作成するように処理される。いくつかの実施形態では、一次センサデータは、自動運転システムによって捕捉される画像データに相当し、二次センサデータは、照射による距離測定センサから捕捉されるセンサデータに相当する。二次センサに基づいて出力を予測するように機械学習モデルをトレーニングするために、この二次センサデータを使用して、一次センサデータがアノテートされてもよい。いくつかの実施形態では、このセンサデータは、ユーザが手動で自動運転を解除する場合、又は視覚データからの距離推定値が二次センサからの距離推定値と大きく異なる場合など、特定のユースケースに基づいて捕捉されるセンサデータに相当する。いくつかの実施形態では、一次センサデータは図１の視覚センサ１０１のセンサデータであり、二次センサデータは、図１の追加センサ１０３における１つ又は複数のセンサのセンサデータである。いくつかの実施形態では、本プロセスを用いて、図１の深層学習システム１００に使用される機械学習モデルが作成かつデプロイされている。
３０１で、トレーニングデータが作成される。いくつかの実施形態では、画像データ及び補助データを含むセンサデータを受信して、トレーニングデータセットが作成される。この画像データは、１つ又は複数のカメラからの静止画像及び／又は動画を含んでいてもよい。レーダセンサ、ｌｉｄａｒセンサ、超音波センサなどの追加センサを使用して、関連補助センサデータが供給されてもよい。様々な実施形態では、この画像データは、センサデータ内で検出されたオブジェクトの属性を特定するのを補助するように、対応する補助データと対にされている。例えば、補助データから得られる距離データ及び／又は速度データを使用して、画像データ内で特定されたオブジェクトまでの距離及び／又は速度が正確に推定され得る。いくつかの実施形態では、このセンサデータは時系列要素であり、このデータを使用して、グランドトゥルースが指定される。次いで、グループのグランドトゥルースは、画像データのフレームなどの時系列のサブセットと関連付けられる。選択された時系列の要素とこのグランドトゥルースとを使用して、トレーニングデータが作成される。いくつかの実施形態では、このトレーニングデータは、車両、歩行者、障害物までの距離及び方向など、画像データ内で特定されたオブジェクト属性のみを推定するように、機械学習モデルをトレーニングするために作成されている。ここで作成されるトレーニングデータは、トレーニング、検証、及び試験に使用されるデータを含んでいてもよい。様々な実施形態では、このセンサデータは、異なるフォーマットのものであってもよい。例えば、このセンサデータは、静止画像データ、動画データ、レーダデータ、超音波データ、音声データ、位置データ、オドメトリデータなどであってもよい。このオドメトリデータは、印加される加速度、印加される制動、印加される操舵、車両位置、車両方位、車両位置の変化、車両方位の変化などの車両動作パラメータを含んでいてもよい。様々な実施形態では、トレーニングデータは、トレーニングデータセットを作成するためにキュレートかつアノテートされる。いくつかの実施形態では、トレーニングデータの作成作業の一部は、人間のキュレーターによって実行されてもよい。様々な実施形態では、このトレーニングデータの一部は、車両から捕捉されたデータから自動的に生成されるため、ロバストなトレーニングデータセットを構築するのに必要となる労力や時間が大幅に削減されている。いくつかの実施形態では、このデータのフォーマットは、デプロイした深層学習アプリケーションで使用される機械学習モデルと互換性がある。様々な実施形態では、このトレーニングデータは、トレーニング済みのモデルの精度を試験するための検証データを含む。いくつかの実施形態では、図２のプロセスは、図３の３０１で実行される。
３０３で、機械学習モデルがトレーニングされる。例えば、３０１で作成されたデータを使用して、機械学習モデルがトレーニングされる。いくつかの実施形態では、本モデルは、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークである。様々な実施形態では、本モデルは複数の中間層を含む。いくつかの実施形態では、このニューラルネットワークは、複数の畳み込み層及びプーリング層を含む複数の層を含んでいてもよい。いくつかの実施形態では、このトレーニングモデルは、受信したセンサデータから作成される検証データセットを使用して検証される。いくつかの実施形態では、この機械学習モデルは、距離照射測定センサなどのセンサの出力を、単一の入力画像から予測するようにトレーニングされている。例えば、あるオブジェクトの距離属性及び方向属性は、あるカメラから捕捉される１つの画像から推論され得る。別の実施例として、車両が合流を試みているか否かを含む、周辺車両の速度ベクトルが、あるカメラから捕捉される１つの画像から予測される。
３０５で、トレーニング済みの機械学習モデルがデプロイされる。例えば、このトレーニング済みの機械学習モデルは、図１の深層学習ネットワーク１０７などの深層学習ネットワークに対する更新として、車両にインストールされる。いくつかの実施形態では、無線更新を使用して、新たにトレーニングされた機械学習モデルがインストールされる。例えば、図１のネットワークインターフェース１１３などの車両のネットワークインターフェースを介して、無線更新が受信され得る。いくつかの実施形態では、この更新は、ＷｉＦｉネットワーク又はセルラーネットワークなどの無線ネットワークを使用して送信される、ファームウェア更新である。いくつかの実施形態では、この新しい機械学習モデルは、車両の整備時にインストールされてもよい。
３０７で、センサデータが受信される。例えば、センサデータは、車両の１つ又は複数のセンサから捕捉される。いくつかの実施形態では、このセンサは、図１の視覚センサ１０１である。このセンサは、フロントガラスの後方に取り付けられる魚眼カメラ、ピラーに取り付けられる前方対面カメラ又は側方対面カメラ、後方対面カメラなどの画像センサを含んでいてもよい。様々な実施形態では、センサデータは、３０３でトレーニングされた機械学習モデルが入力データとして利用するフォーマットであるか、又はそのフォーマットに変換されている。例えば、このセンサデータは、生画像データ又は被処理画像データであってもよい。いくつかの実施形態では、このセンサデータは、プリプロセッシングステップ中に、図１の画像プリプロセッサ１０５などの画像プリプロセッサを使用して前処理される。例えば、この画像は、歪み、ノイズなどを除去するために正規化されてもよい。いくつかの代替実施形態では、ここでの受信センサデータは、超音波センサ、レーダセンサ、ＬｉＤＡＲセンサ、マイクロフォン、又は他の適切な技術から捕捉されるデータであり、３０５でデプロイされたトレーニング済みの機械学習モデルに対する入力データ候補として、このデータが使用されている。
３０９で、トレーニング済みの機械学習モデルが適用される。例えば、３０３でトレーニングされた機械学習モデルは、３０７で受信されたセンサデータに適用される。いくつかの実施形態では、本モデルの適用は、図１の深層学習ネットワーク１０７などの深層学習ネットワークを使用して、図１のＡＩプロセッサ１０９などのＡＩプロセッサによって実行されている。様々な実施形態では、このトレーニング済みの機械学習モデルを適用することにより、オブジェクト距離、オブジェクト方向、及び／又はオブジェクト速度などの１つ又は複数のオブジェクト属性が、画像データから予測されている。例えば、画像データ内で異なるオブジェクトが特定されると、特定された各オブジェクトのオブジェクト距離及びオブジェクト方向が、トレーニング済みの機械学習モデルを使用して推論される。別の実施例として、画像データ内で特定されたある車両について、その車両の速度ベクトルが推論される。この速度ベクトルを使用して、周辺車両が現在の車線に割り込む可能性があるかどうか、及び／又は車両が安全性リスクとなる可能性があるかどうかが判定されてもよい。様々な実施形態では、車両、歩行者、障害物、車線、交通信号機、マップフィーチャ、制限速度、走行可能空間など及びそれらの関連属性は、本機械学習モデルを適用することによって特定されている。いくつかの実施形態では、これらのフィーチャは、三次元速度ベクトルなど、三次元で特定されている。
３１１で、自動運転車両が制御される。例えば、１つ又は複数の自動運転機能は、車両の様々な態様を制御することによって実行される。こうした例には、車両の操舵、速度、加速度、及び／又は制動を制御すること、車線内の車両の位置を維持すること、他の車両及び／又は障害物に対する車両の位置を維持すること、乗員に通知又は警告を付与することなどが含まれていてもよい。３０９で実行された分析に基づいて、ある車両を２つの車線境界線間で、他のオブジェクトから安全な距離を置いて安全に維持するように、この車両の操舵及び速度が制御されてもよい。例えば、周辺オブジェクトまでの距離及び方向が予測され、それに対応する走行可能空間及び走行経路が特定される。様々な実施形態では、図１の車両制御モジュール１１１などの車両制御モジュールが車両を制御している。
図４は、自動運転に使用される機械学習モデルをトレーニングし、かつこれを適用するプロセスの一実施形態を示したフロー図である。いくつかの実施形態では、図４のプロセスを用いて、自動運転に使用される機械学習モデルをトレーニングするためのセンサデータが収集かつ保持される。いくつかの実施形態では、図４のプロセスは、自動運転制御が有効になっている否かにかかわらず、自動運転が利用可能な車両で実行されている。例えば、センサデータは、ある車両が人間の運転者によって運転されているか、かつ／又は車両が自動運転されている間であっても、自動運転が解除された直後の時点で収集され得る。いくつかの実施形態では、図４によって説明している技法は、図１の深層学習システムを使用して実行されている。いくつかの実施形態では、図４のプロセスの一部は、自動運転に使用される機械学習モデルを適用するプロセスの一部として、図３の３０７、３０９、及び／又は３１１で実行される。
４０１で、センサデータが受信される。例えば、センサを備える車両がセンサデータを捕捉し、車両上で実行中のニューラルネットワークにこのセンサデータを供給している。いくつかの実施形態では、このセンサデータは、視覚データ、超音波データ、レーダデータ、ＬｉＤＡＲデータ、又は他の適切なセンサデータであってもよい。例えば、ハイダイナミックレンジの前方対面カメラから画像が捕捉される。別の実施例として、側方対面超音波センサから超音波データが捕捉される。いくつかの実施形態では、データを捕捉する複数のセンサが車両に取り付けられている。例えば、いくつかの実施形態では、８台のサラウンドカメラが車両に取り付けられ、これらのカメラが、車両の周囲３６０度の視界を最大２５０メートルまでの範囲でもたらしている。いくつかの実施形態では、カメラセンサは、広角前方カメラ、狭角前方カメラ、後方視認カメラ、前方視サイドカメラ、及び／又は後方視サイドカメラを含む。いくつかの実施形態では、超音波センサ及び／又はレーダセンサを使用して、周辺環境の詳細が捕捉されている。例えば、１２台の超音波センサを車両に取り付けることにより、硬質のオブジェクトと軟質のオブジェクトとの両方が検出されてもよい。
様々な実施形態では、異なるセンサから捕捉されるデータは、捕捉されたメタデータと関連付けられることにより、異なるセンサから捕捉されるデータが共に関連付けられるようにしている。例えば、方向、視野、フレームレート、解像度、タイムスタンプ、及び／又は他の捕捉メタデータがセンサデータと共に受信される。車両の周辺環境がより一層捕捉しやすくなるように、このメタデータを使用して、異なるフォーマットのセンサデータが互いに関連付けられ得る。いくつかの実施形態では、このセンサデータには、車両の位置、方位、位置の変化、及び／又は方位の変化などを含む、オドメトリデータが含まれる。例えば、位置データが捕捉され、次いで、同じ時間フレーム中に捕捉された他のセンサデータと関連付けられる。一実施例として、画像データの捕捉時に捕捉された位置データを使用して、位置情報と画像データとが関連付けられる。様々な実施形態では、受信センサデータは深層学習分析を目的として供給されている。
４０３で、センサデータが前処理される。いくつかの実施形態では、このセンサデータに対して１つ又は複数の前処理パスが実行されてもよい。例えば、このデータは、ノイズを除去して、アライメントの問題及び／又はぼやけなどを補正するために前処理されてもよい。いくつかの実施形態では、１つ又は複数の異なるフィルタリングパスがこのデータに対して実行される。例えば、センサデータの個々の成分を分離するために、そのデータに対してハイパスフィルタが実行されてもよいし、またそのデータに対してローパスフィルタが実行されてもよい。様々な実施形態では、４０３で実行されるプリプロセッシングステップは任意選択のものであり、かつ／又はニューラルネットワークに組み込まれていてもよい。
４０５で、センサデータの深層学習分析が開始される。いくつかの実施形態では、この深層学習分析は、４０１で受信され、４０３で必要に応じて前処理されたセンサデータに対して実行される。様々な実施形態では、この深層学習分析は、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークを使用して実行される。様々な実施形態では、本機械学習モデルは、図３のプロセスを用いてオフラインでトレーニングされ、センサデータに対する推論を実行するために車両にデプロイされる。例えば、本モデルは、距離、方向、及び／又は速度などのオブジェクト属性を予測するようにトレーニングされてもよい。いくつかの実施形態では、本モデルは、歩行者、移動車両、駐車車両、障害物、車線境界線、走行可能空間などを必要に応じて特定するようにトレーニングされている。いくつかの実施形態では、画像データ内で特定されたオブジェクトごとにバウンディングボックスが指定され、特定されたオブジェクトごとに距離及び方向が予測される。いくつかの実施形態では、これらのバウンディングボックスは、直方体などの三次元バウンディングボックスである。このバウンディングボックスは、特定されたオブジェクトの外面の輪郭を描画しており、そのオブジェクトのサイズに基づいて調整されてもよい。例えば、サイズの異なる車両は、サイズの異なるバウンディングボックス（又は直方体）を使用して表されている。いくつかの実施形態では、深層学習分析によって推定されるオブジェクト属性は、センサによって測定されて、センサデータとして受信された属性と比較される。様々な実施形態では、ニューラルネットワークは１つ又は複数の中間層を含む複数の層を含み、かつ／又は１つ又は複数の異なるニューラルネットワークを使用して、センサデータが分析される。様々な実施形態では、センサデータ及び／又は深層学習分析の結果は保持されて、トレーニングデータの自動生成が行われるように４１１で送信される。
様々な実施形態では、この深層学習分析を使用して、追加のフィーチャが予測される。ここで予測されたフィーチャを使用して、自動運転が支援されてもよい。例えば、車線又は道路に対して、検出車両が割り当てられ得る。別の実施例として、検出車両は死角にある車両として、又は優先されるべき車両として、若しくは左隣車線にある車両として、あるいは右隣車線にある車両として、又は別の適切な属性を有する車両として判定され得る。同様に、深層学習分析では、信号機、走行可能空間、歩行者、障害物、又は運転に関する他の適切なフィーチャを特定することができる。
４０７で、深層学習分析の結果が車両制御に対して付与される。例えば、これらの結果は、自動運転を行う車両を制御するため、かつ／又は自動運転機能を実行するために、車両制御モジュールに付与される。いくつかの実施形態では、４０５での深層学習分析の結果は、１つ又は複数の異なる機械学習モデルを使用して、１つ又は複数の追加の深層学習パスに通される。例えば、特定されたオブジェクト及びそれらの属性（例えば、距離、方向など）を使用して、走行可能空間が指定されてもよい。次いで、この走行可能空間を使用して、車両の走行可能経路が指定される。同様に、いくつかの実施形態では、車両の予測速度ベクトルが検出される。この予測速度ベクトルに少なくとも部分的に基づいて指定される車両の経路を使用して、割込みが予測され、かつ潜在的な衝突が回避される。いくつかの実施形態では、深層学習による様々な出力結果を使用して、自動運転を行う車両の三次元表現が構築され、この三次元表現には、制限速度、回避すべき障害物、道路状況を含む特定されたオブジェクト、この特定されたオブジェクトまでの距離及び方向、車両の予測経路、特定された交通信号機などが含まれる。いくつかの実施形態では、車両制御モジュールはこれらの判明結果を使用して、指定された経路に沿って車両を制御している。いくつかの実施形態では、この車両制御モジュールは、図１の車両制御モジュール１１１である。
４０９で、車両が制御される。いくつかの実施形態では、自動運転が有効になった車両は、図１の車両制御モジュール１１１などの車両制御モジュールを使用して制御されている。この車両制御により、例えば、ある車両が他の車両から安全な距離を置き、かつ車両の周辺環境を考慮した適切な速度で一車線内に維持されるように、車両の速度及び／又は操舵が調整され得る。いくつかの実施形態では、これらの結果を使用して、周辺車両が同じ車線に合流すると見越した調整が車両になされる。様々な実施形態では、車両制御モジュールが、深層学習分析の結果を使用して、例えば適切な速度で指定された経路に沿って車両を運転させるような適切な方法を決定する。様々な実施形態では、速度の変化、制動の印加、操舵の調整などの車両制御による結果が保持され、かつトレーニングデータの自動生成に使用される。様々な実施形態では、これらの車両制御パラメータは保持されて、トレーニングデータが自動生成されるように、４１１で送信されてもよい。
４１１で、センサデータ及び関連データが送信される。例えば、４０１で受信したセンサデータは、トレーニングデータが自動生成されるように、４０５での深層学習分析の結果及び／又は４０９で使用される車両制御パラメータと共に、コンピュータサーバへと送信される。いくつかの実施形態では、このデータは時系列データであり、これらの様々に収集されたデータは、リモート・トレーニング・コンピュータ・サーバによって共に関連付けられる。例えば、距離データ、方向データ、及び／又は速度データなどの補助センサデータに画像データを関連付けることにより、グランドトゥルースが生成される。様々な実施形態では、これらの収集データは、例えばＷｉＦｉ接続又はセルラー接続を介して、車両からトレーニングデータセンターへと無線で送信される。いくつかの実施形態では、センサデータと共にメタデータが送信される。例えば、メタデータは、時刻、タイムスタンプ、位置、車両の種類、速度、加速度、制動、自動運転が有効になっていたかどうか、操舵角、オドメトリデータなどの車両制御及び／又は動作パラメータを含んでいてもよい。追加のメタデータは、直近のセンサデータが送信されてからの時間、車両の種類、気象状況、道路状況などを含む。いくつかの実施形態では、この送信データは、例えば車両の一意識別子を削除することによって匿名化されている。別の実施例として、類似の車両モデルから得たデータは、個々のユーザ及びユーザによる車両の使用が特定されないようにマージされている。
いくつかの実施形態では、このデータは、トリガへの応答時にのみ送信される。例えば、いくつかの実施形態では、不正確な予測が行われると、深層学習ネットワークの予測を改善する例をキュレートしたセットを作成するために、データを自動的に収集するように画像センサデータ及び補助センサデータの送信がトリガされる。例えば、車両までの距離及び方向を推定するために、画像データのみを使用して４０５で実行される予測は、この予測を照射による距離測定センサからの距離データと比較することにより、不正確であると判定される。この予測と実際のセンサデータとがある閾値を超えて異なる場合、画像センサデータ及び関連補助データが送信され、トレーニングデータを自動的に生成するために使用される。いくつかの実施形態では、このトリガを使用して、急カーブ、道路の分岐点、車線合流点、急停止、交差点、又は、追加のトレーニングデータが有用であり、収集するのが困難となり得る別の適切なシナリオなど、個々のシナリオが特定されてもよい。例えば、あるトリガは、自動運転機能の突然の停止又は解除に基づき得る。別の実施例として、速度の変化又は加速度の変化などの車両動作特性が、トリガのベースを形成している可能性がある。いくつかの実施形態では、特定の閾値未満の精度で予測されると、センサデータ及び関連補助データの送信がトリガされる。例えば、特定のシナリオでは、ある予測はブール値の真偽の結果を有しないため、代わりにその予測の精度値を求めることによって評価されている。
様々な実施形態では、これらのセンサデータ及び関連補助データは一定期間にわたって捕捉され、時系列データ全体がまとめて送信される。この時間間隔は、車両の速度、移動した距離、速度の変化などの１つ又は複数の要因に基づいて設定されていてもよく、かつ／又は基づいていてもよい。いくつかの実施形態では、捕捉されるセンサデータ及び／又は関連補助データのサンプリングレートは設定可能である。例えば、このサンプリングレートは急ブレーキ時、急加速時、急操舵時、又はさらなる再現性が必要となる別の適切なシナリオにおいて高くより高速になる。
図５は、機械学習ネットワークをトレーニングするための、補助センサデータを捕捉する例を示した図である。図示の例では、自動運転車両５０１はセンサ５０３及び５５３を少なくとも備え、また、周辺車両５１１、５２１、及び５６１のオブジェクト属性を測定するために使用されるセンサデータを捕捉している。いくつかの実施形態では、ここで捕捉されるセンサデータは、自動運転車両５０１にインストールされた、図１の深層学習システム１００などの深層学習システムを使用して、捕捉かつ処理されている。いくつかの実施形態では、センサ５０３及び５５３は、図１の追加センサ１０３である。いくつかの実施形態では、ここで捕捉されるデータは、図２の２０３で受信した視覚データ及び／又は図４の４０１で受信したセンサデータの一部に関連するデータである。
いくつかの実施形態では、自動運転車両５０１のセンサ５０３及び５５３は、レーダセンサ、超音波センサ、及び／又はｌｉｄａｒセンサなどの照射による距離測定センサである。センサ５０３は前方対面センサであり、センサ５５３は右側方対面センサである。後方対面センサ及び左側方対面センサ（図示せず）などの追加センサが、自動運転車両５０１に取り付けられてもよい。長い点線矢印で示している軸線５０５及び５０７は、自動運転車両５０１の基準軸線であり、センサ５０３及び／又はセンサ５５３を使用して捕捉されるデータの基準軸線として使用されてもよい。図示の実施例では、軸線５０５及び５０７は、センサ５０３及び自動運転車両５０１の前方の中心にある。いくつかの実施形態では、属性を三次元で追跡するために、追加の高さ軸線（図示せず）が使用されている。様々な実施形態では、別の軸線が使用されてもよい。例えば、この基準軸線は、自動運転車両５０１の中心であってもよい。いくつかの実施形態では、センサ５０３及び５５３の各センサは、それ自体の基準軸線及び座標系を使用していてもよい。センサ５０３及び５５３のそれぞれのローカル座標系を使用して捕捉かつ分析されるデータは、異なるセンサから捕捉されるデータが、同じ基準フレームを使用して共有され得るように、自動運転車両５０１のローカル（又はワールド）座標系に変換されてもよい。
図示の実施例では、センサ５０３及び５５３の視野５０９並びに５５９をそれぞれ、点線矢印の間にある点線円弧によって示している。図示している視野５０９及び５５９は、センサ５０３及び５５３によってそれぞれ測定される領域の俯瞰視野を示している。視野５０９内のオブジェクトの属性は、センサ５０３によって捕捉されてもよく、視野５５９内のオブジェクトの属性は、センサ５５３によって捕捉されてもよい。例えば、いくつかの実施形態では、視野５０９内のオブジェクトまでの距離測定値、方向測定値、及び／又は速度測定値は、センサ５０３によって捕捉されている。図示の実施例では、センサ５０３は、周辺車両５１１及び５２１までの距離及び方向を捕捉している。センサ５０３は周辺車両５６１を測定しておらず、これはなぜなら、この周辺車両５６１が、視野領域５０９の外側にあるためである。代わりに、周辺車両５６１までの距離及び方向は、センサ５５３によって捕捉されている。様々な実施形態では、１つのセンサによって捕捉されていないオブジェクトは、車両内の別のセンサによって捕捉されてもよい。センサ５０３及び５５３のみを有する状態で図５に示しているが、自動運転車両５０１には、車両の周囲３６０度の視界をもたらす複数のサラウンドセンサ（図示せず）が装備されていてもよい。
いくつかの実施形態では、センサ５０３及び５５３は、距離測定値及び方向測定値を捕捉している。距離ベクトル５１３は、周辺車両５１１までの距離及び方向を示しており、距離ベクトル５２３は、周辺車両５２１までの距離及び方向を示しており、また距離ベクトル５６３は、周辺車両５６１までの距離及び方向を示している。様々な実施形態では、捕捉される実際の距離値及び方向値は、センサ５０３及び５５３によって検出される外面に対応する値のセットである。図示の実施例では、各周辺車両について測定される距離及び方向のセットは、距離ベクトル５１３、５２３、及び５６３により近似されるものとなる。いくつかの実施形態では、センサ５０３及び５５３は、それぞれの視野５０９及び５５９内にあるオブジェクトの速度ベクトル（図示せず）を検出している。いくつかの実施形態では、これらの距離ベクトル及び速度ベクトルは、三次元ベクトルである。例えば、これらのベクトルは、高さ（又は標高）成分（図示せず）を含む。
いくつかの実施形態では、検出された周辺車両５１１、５２１、及び５６１を含む検出オブジェクトを、バウンディングボックスで近似している。これらのバウンディングボックスで、検出オブジェクトの外側を近似している。いくつかの実施形態では、これらのバウンディングボックスは、直方体などの三次元バウンディングボックス、又は検出オブジェクトの別の立体表現である。図５の実施例では、これらのバウンディングボックスを、周辺車両５１１、５２１、及び５６１の周囲の長方形として示している。様々な実施形態では、自動運転車両５０１からの距離及び方向は、バウンディングボックスの縁部（又は表面）上の各点に対して測定され得る。
様々な実施形態では、距離ベクトル５１３、５２３、及び５６３は、同じ時点で捕捉される視覚データに関連するデータである。距離ベクトル５１３、５２３、及び５６３を使用して、対応する視覚データで特定された周辺車両５１１、５２１、及び５６１までの距離及び方向がアノテートされている。例えば、距離ベクトル５１３、５２３、及び５６３は、周辺車両５１１、５２１、及び５６１を含むトレーニング画像をアノテートするためのグランドトゥルースとして使用されてもよい。いくつかの実施形態では、図５の捕捉されたセンサデータに対応するトレーニング画像は、視野が重複しているセンサから捕捉され、かつマッチング時間に捕捉されたデータを利用している。例えば、トレーニング画像が、周辺車両５１１及び５２１のみを捕捉しているが、周辺車両５６１は捕捉していない前方対面カメラから捕捉される画像データである場合、周辺車両５１１及び５２１のみがトレーニング画像において特定され、それらまでの対応する距離及び方向がアノテートされる。同様に、周辺車両５６１を捕捉する右側方画像には、周辺車両５６１のみまでの距離及び方向に対するアノテーションが含まれている。様々な実施形態では、アノテートされたオブジェクト属性を予測するように機械学習モデルをトレーニングするために、アノテートされたトレーニング画像がトレーニングサーバへと送信される。いくつかの実施形態では、図５の捕捉されたセンサデータ及び対応する視覚データはトレーニングプラットフォームに送信され、ここでこれらのデータが分析され、トレーニング画像が選択され、かつアノテートされる。例えば、ここで捕捉されるデータは時系列データであってもよく、この時系列が分析されて、視覚データ内で特定されたオブジェクトに関連データが関連付けられる。
図６は、オブジェクト属性を予測する例を示した図である。図示の例では、分析された視覚データ６０１は、ある自動運転車両の前方対面カメラなどの視覚センサから捕捉される画像データの視野を表す。いくつかの実施形態では、視覚センサは、図１の視覚センサ１０１のうちの１つである。いくつかの実施形態では、車両の前方環境は、図１の深層学習システム１００などの深層学習システムを使用して、捕捉かつ処理されている。様々な実施形態では、図６に示すプロセスは、図３の３０７、３０９、及び／又は３１１、並びに／又は図４の４０１、４０３、４０５、４０７、及び／又は４０９で実行されている。
図示の実施例では、分析された視覚データ６０１は、ある自動運転車両の前方対面環境を捕捉したものである。分析された視覚データ６０１は、検出車両の車線境界線６０３、６０５、６０７、及び６０９を含む。いくつかの実施形態では、これらの車線境界線は、運転機能を特定するようにトレーニングされた、図１の深層学習システム１００などの深層学習システムを使用して特定されている。分析された視覚データ６０１は、検出オブジェクトに対応するバウンディングボックス６１１、６１３、６１５、６１７、及び６１９を含む。様々な実施形態では、バウンディングボックス６１１、６１３、６１５、６１７、及び６１９によって表される検出オブジェクトは、捕捉された視覚データを分析することによって特定されている。捕捉された視覚データをトレーニング済みの機械学習モデルへの入力データとして使用して、検出オブジェクトまでの距離及び方向などのオブジェクト属性が予測される。いくつかの実施形態では、速度ベクトルが予測される。図示の実施例では、バウンディングボックス６１１、６１３、６１５、６１７、及び６１９における検出オブジェクトは、周辺車両に対応している。バウンディングボックス６１１、６１３、及び６１７は、車線境界線６０３及び６０５によって画定された車線内の車両に対応している。バウンディングボックス６１５及び６１９は、車線境界線６０７及び６０９によって画定された合流車線内の車両に対応している。いくつかの実施形態では、バウンディングボックスを使用して、検出オブジェクトが三次元バウンディングボックス（図示せず）であることが表されている。
様々な実施形態では、バウンディングボックス６１１、６１３、６１５、６１７、及び６１９について予測されるオブジェクト属性は、図２～図４のプロセスを用いてトレーニングされた機械学習モデルを適用することによって予測される。ここで予測されるオブジェクト属性は、図５の図に示すように、補助センサを使用して捕捉されてもよい。図５及び図６は異なる運転シナリオを示しているが、図５は図６と比較して、検出されたオブジェクトの数が異なっており、かつこれらが異なる位置にあることを示しており、また、トレーニング済みの機械学習モデルは、十分なトレーニングデータでトレーニングされている場合に、図６のシナリオで検出されるオブジェクトのオブジェクト属性を正確に予測することができる。いくつかの実施形態では、距離及び方向が予測される。いくつかの実施形態では、速度が予測される。ここで予測される属性は、二次元又は三次元で予測されてもよい。図１～図６に関して説明したプロセスを用いてトレーニングデータの生成を自動化することにより、正確な予測を行うためのトレーニングデータが、効率的かつ適切な方法で生成される。いくつかの実施形態では、特定されたオブジェクト及び対応する属性を使用して、ある車両の自動運転又は運転者支援動作などの自動運転機能が実行され得る。例えば、ある車両を２つの車線境界線間で、他のオブジェクトから安全な距離を置いて安全に維持するように、この車両の操舵及び速度が制御されてもよい。
前述の実施形態について、明確に理解できるようにするために、ある程度詳細に説明してきたが、本発明は示している詳細事項に限定されない。本発明を実施する多くの代替方法が存在する。開示している実施形態は例示的なものであり、限定的なものではない。

Claims (20)

  1. １つ又は複数のプロセッサであって、
    前記１つ又は複数のプロセッサは、車両のカメラを使用して捕捉される画像に基づいた画像データを受信し、かつ
    該画像データを、トレーニング済みの機械学習モデルへの入力データのベースとして利用して、前記車両からあるオブジェクトまでの距離を少なくとも部分的に特定するように構成され、
    前記トレーニング済みの機械学習モデルが、トレーニング画像及び照射による距離測定センサの相関出力を使用したトレーニングを受けている、１つ又は複数のプロセッサと、
    前記１つ又は複数のプロセッサに結合されたメモリと、
    を備えるシステム。
  2. 前記１つ又は複数のプロセッサが、前記車両に対する前記オブジェクトの方向を特定するようにさらに構成されている、請求項１に記載のシステム。
  3. 前記１つ又は複数のプロセッサが、前記車両に対する前記オブジェクトの速度ベクトルを特定するようにさらに構成されている、請求項１又は２に記載のシステム。
  4. 前記照射による距離測定センサがレーダセンサを含む、請求項１から３のいずれか一項に記載のシステム。
  5. 前記照射による距離測定センサが超音波センサを含む、請求項１から３のいずれか一項に記載のシステム。
  6. 前記照射による距離測定センサがｌｉｄａｒセンサを含む、請求項１から３のいずれか一項に記載のシステム。
  7. 前記オブジェクトが、歩行者、車両、障害物、障壁、又は交通規制のオブジェクトのうちの１つである、請求項１から６のいずれか一項に記載のシステム。
  8. 前記トレーニング画像及び前記照射による距離測定センサの前記相関出力が、あるトレーニング車両で捕捉されたものである、請求項１から７のいずれか一項に記載のシステム。
  9. 前記照射による距離測定センサの前記出力が、前記トレーニング車両から第２のオブジェクトまでの推定距離と、前記トレーニング車両に対する前記第２のオブジェクトの推定方向とを含み、前記第２のオブジェクトが、前記トレーニング画像内で特定されている、請求項８に記載のシステム。
  10. 前記トレーニング画像が、前記トレーニング車両の画像センサを使用して捕捉された時系列画像のうちの１つである、請求項９に記載のシステム。
  11. 前記第２のオブジェクトが、前記時系列画像に含まれる複数の画像を分析することにより、少なくとも部分的に特定されている、請求項１０に記載のシステム。
  12. 前記時系列画像を使用することにより、前記照射による距離測定センサによって検出された複数のオブジェクトのうちで、前記第２のオブジェクトに対応する前記照射センサの出力部分が判別されている、請求項１０に記載のシステム。
  13. 前記特定された前記車両から前記オブジェクトまでの距離を使用して、前記オブジェクトに関連付けられた意味ラベルが予測されている、請求項１から１２のいずれか一項に記載のシステム。
  14. 前記トレーニング済みの機械学習モデルが、入力画像に基づいて、前記照射による距離測定センサの距離出力を予測するようにトレーニングされている、請求項１から１３のいずれか一項に記載のシステム。
  15. 前記トレーニング済みの機械学習モデルを使用して特定された前記オブジェクトまでの距離を、前記車両に含まれる、設置された照射による距離測定センサの出力と組み合わせて使用することにより、前記車両に対する前記オブジェクトの相対位置が求められている、請求項１から１４のいずれか一項に記載のシステム。
  16. 非一時的コンピュータ可読記憶媒体に具現化され、コンピュータ命令を備えるコンピュータプログラム製品であって、前記命令が、
    車両のカメラを使用して捕捉される画像に基づいた画像データを受信し、かつ
    該画像データを、トレーニング済みの機械学習モデルへの入力データのベースとして利用して、前記車両からあるオブジェクトまでの距離を少なくとも部分的に特定するために使用されるものであり、前記トレーニング済みの機械学習モデルが、トレーニング画像及び照射による距離測定センサの相関出力を使用したトレーニングを受けている、コンピュータプログラム製品。
  17. ある車両のカメラを使用して捕捉された画像に基づいて選択される画像を受信するステップと、
    前記車両の照射による距離測定センサに基づく距離データを受信するステップと、
    前記選択画像を、トレーニング済みの機械学習モデルへの入力データとして使用して、あるオブジェクトを特定するステップと、
    前記受信した距離データから、前記特定されたオブジェクトの距離推定値を抽出するステップと、前記抽出された距離推定値で前記選択画像をアノテートすることによって、トレーニング画像を作成するステップと、
    前記トレーニング画像を含むトレーニングデータセットを使用して、距離測定値を予測するように第２の機械学習モデルをトレーニングするステップと、
    前記トレーニング済みの第２の機械学習モデルを、第２のカメラを装備した第２の車両に供給するステップと、
    を含む方法。
  18. 前記捕捉された画像が、時系列の捕捉画像の一部であり、前記距離データが、時系列の捕捉距離データの一部である、請求項１７に記載の方法。
  19. 前記時系列の捕捉画像にわたって前記特定されたオブジェクトを追跡するステップをさらに含み、前記抽出された距離推定値が、前記追跡予定の特定されたオブジェクトを前記受信された距離データと相関させることに基づいている、請求項１７から１８のいずれか一項に記載の方法。
  20. 前記特定されたオブジェクトが、検出車両又は歩行者である、請求項１７から１９のいずれか一項に記載の方法。
JP2021547712A 2019-02-19 2020-02-07 視覚画像データを用いたオブジェクト属性の推定 Pending JP2022520968A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024043716A JP2024073621A (ja) 2019-02-19 2024-03-19 視覚画像データを用いたオブジェクト属性の推定

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/279,657 2019-02-19
US16/279,657 US10956755B2 (en) 2019-02-19 2019-02-19 Estimating object properties using visual image data
PCT/US2020/017290 WO2020171983A1 (en) 2019-02-19 2020-02-07 Estimating object properties using visual image data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024043716A Division JP2024073621A (ja) 2019-02-19 2024-03-19 視覚画像データを用いたオブジェクト属性の推定

Publications (2)

Publication Number Publication Date
JP2022520968A true JP2022520968A (ja) 2022-04-04
JPWO2020171983A5 JPWO2020171983A5 (ja) 2023-01-30

Family

ID=69784535

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021547712A Pending JP2022520968A (ja) 2019-02-19 2020-02-07 視覚画像データを用いたオブジェクト属性の推定
JP2024043716A Pending JP2024073621A (ja) 2019-02-19 2024-03-19 視覚画像データを用いたオブジェクト属性の推定

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024043716A Pending JP2024073621A (ja) 2019-02-19 2024-03-19 視覚画像データを用いたオブジェクト属性の推定

Country Status (9)

Country Link
US (4) US10956755B2 (ja)
EP (1) EP3928249A1 (ja)
JP (2) JP2022520968A (ja)
KR (2) KR20240005151A (ja)
CN (1) CN113692587A (ja)
AU (1) AU2020224581A1 (ja)
CA (1) CA3130097A1 (ja)
IL (2) IL309617A (ja)
WO (1) WO2020171983A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
EP3864573A1 (en) 2018-10-11 2021-08-18 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JP7186120B2 (ja) * 2019-03-27 2022-12-08 オリンパス株式会社 画像ファイル生成装置
DE102019206581A1 (de) * 2019-05-08 2020-11-12 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
KR20200144862A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 레이더의 해상도 향상 방법 및 장치
US12012118B2 (en) * 2019-11-02 2024-06-18 Perceptive Automata, Inc. Generating training datasets for training machine learning based models for predicting behavior of traffic entities for navigating autonomous vehicles
US11853881B2 (en) * 2020-01-21 2023-12-26 Vanadata Inc. Image analysis-based classification and visualization of events
US11385642B2 (en) * 2020-02-27 2022-07-12 Zoox, Inc. Perpendicular cut-in training
US20220017095A1 (en) * 2020-07-14 2022-01-20 Ford Global Technologies, Llc Vehicle-based data acquisition
JPWO2022019117A1 (ja) * 2020-07-21 2022-01-27
KR20220032708A (ko) * 2020-09-08 2022-03-15 현대자동차주식회사 차량 및 그 제어방법
CN112034826B (zh) * 2020-09-11 2021-09-24 江苏科技大学 基于最小二乘法的水下推进器故障程度辨识方法
EP3967565B1 (en) * 2020-09-14 2022-09-28 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for estimating an environmental condition
US11597404B2 (en) * 2020-09-23 2023-03-07 Robert D. Fish Traffic signal alarm device
US11840175B2 (en) * 2020-09-23 2023-12-12 Robert D. Fish Traffic signal alarm device having no navigational control
EP3985561A1 (en) * 2020-10-19 2022-04-20 SITA Information Networking Computing Canada Inc Image labelling system and method therefor
JP2022068055A (ja) 2020-10-21 2022-05-09 株式会社日立製作所 生体認証装置および生体認証方法
US11893808B2 (en) * 2020-11-30 2024-02-06 Mangolytics, Inc. Learning-based 3D property extraction
US20220198921A1 (en) * 2020-12-23 2022-06-23 Sensible 4 Oy Data collection and modeling systems and methods for autonomous vehicles
CN112529104B (zh) * 2020-12-23 2024-06-18 东软睿驰汽车技术（沈阳）有限公司 一种车辆故障预测模型生成方法、故障预测方法及装置
US20220203973A1 (en) * 2020-12-29 2022-06-30 Here Global B.V. Methods and systems for generating navigation information in a region
US20220297726A1 (en) * 2021-03-17 2022-09-22 Pony Ai Inc. Computerized detection of unsafe driving scenarios
US11823465B2 (en) 2021-04-13 2023-11-21 Ford Global Technologies, Llc Neural network object identification
US20220390964A1 (en) * 2021-06-04 2022-12-08 Thomas Andrew Youmans Cloud & hybrid-cloud flight vehicle & robotic control system ai & ml enabled cloud-based software & data system method for the optimization and distribution of flight control & robotic system solutions and capabilities
JP7447874B2 (ja) 2021-07-02 2024-03-12 Ｊｆｅスチール株式会社 鋼板の蛇行量推定モデルの生成方法、鋼板の蛇行量推定方法、鋼板の蛇行制御方法、及び鋼板の製造方法
US11592565B2 (en) * 2021-07-08 2023-02-28 Cyngn, Inc. Flexible multi-channel fusion perception
US20230033243A1 (en) * 2021-07-29 2023-02-02 Rivian Ip Holdings, Llc Systems and methods for object proximity monitoring around a vehicle
JP7468481B2 (ja) 2021-08-24 2024-04-16 Ｊｆｅスチール株式会社 鋼板の蛇行量推定モデルの生成方法、蛇行量推定方法、及び製造方法
KR102485099B1 (ko) * 2021-12-21 2023-01-05 주식회사 인피닉 메타 데이터를 이용한 데이터 정제 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US11488377B1 (en) * 2022-03-23 2022-11-01 Motional Ad Llc Adding tags to sensor data via a plurality of models and querying the sensor data
KR20240010905A (ko) * 2022-07-18 2024-01-25 네이버랩스 주식회사 센서 보강 및 인지 성능 향상을 위한 방법 및 장치
WO2024030384A1 (en) * 2022-08-02 2024-02-08 Motional Ad Llc Object orientation determination from map and group parameters

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010083312A (ja) * 2008-09-30 2010-04-15 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2017207874A (ja) * 2016-05-17 2017-11-24 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2018072105A (ja) * 2016-10-27 2018-05-10 株式会社Ｓｏｋｅｎ 物体検知装置
JP2018097648A (ja) * 2016-12-14 2018-06-21 株式会社デンソー 車両における衝突回避装置および衝突回避方法
JP2019008460A (ja) * 2017-06-22 2019-01-17 株式会社東芝 物体検出装置、物体検出方法およびプログラム

Family Cites Families (829)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2578262Y2 (ja) 1991-07-31 1998-08-06 エルナー株式会社 座付き偏平形電解コンデンサ及びこれに用いる座板材
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP3941252B2 (ja) 1998-08-07 2007-07-04 マツダ株式会社 車両の位置検出装置
KR100326702B1 (ko) 1999-03-16 2002-03-12 이계안 차선이탈 경보장치의 실 도로폭 산출방법
US6654507B2 (en) 2000-12-14 2003-11-25 Eastman Kodak Company Automatically producing an image of a portion of a photographic image
GB2370438A (en) 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
KR100440953B1 (ko) 2001-08-18 2004-07-21 삼성전자주식회사 영상 압축 비트 스트림의 트랜스코딩 방법
US6882755B2 (en) 2001-10-19 2005-04-19 Hewlett-Packard Development Company, L.P. Image transmission for low bandwidth with region of interest
JP3822515B2 (ja) 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
ATE411199T1 (de) 2003-02-21 2008-10-15 Gentex Corp Automatische fahrzeugaussenlicht- überwachungssystem-konstruktionen
SE526424C2 (sv) 2003-06-02 2005-09-13 Lear Corp Aktivt mörkerseendesystem för ett inre passagerarutrymme hos ett fordon samt metod för att styra nämnda system
WO2005015355A2 (en) 2003-08-07 2005-02-17 Matsushita Electric Industrial Co., Ltd. Automatic image cropping system and method for use with portable devices equipped with digital cameras
JP4300098B2 (ja) 2003-11-13 2009-07-22 日本電信電話株式会社 オブジェクト識別方法とその装置、プログラム及び記録媒体
US20050162445A1 (en) 2004-01-22 2005-07-28 Lumapix Method and system for interactive cropping of a graphical object within a containing region
US20060072847A1 (en) 2004-10-01 2006-04-06 Microsoft Corporation System for automatic image cropping based on image saliency
JP4282583B2 (ja) 2004-10-29 2009-06-24 シャープ株式会社 動画編集装置及び方法
US8913830B2 (en) 2005-01-18 2014-12-16 Siemens Aktiengesellschaft Multilevel image segmentation
TW200630819A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method of using intelligent theory to design heat dissipation module and device thereof
TW200630833A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method and device using intelligent theory to design heat dissipation opening of computer housing
TW200630834A (en) 2005-02-23 2006-09-01 Northern Taiwan Inst Of Science And Technology Method and device using intelligent theory to evaluate permeability of heat pipe
WO2006099429A2 (en) 2005-03-14 2006-09-21 Thaler Stephen L Neural network development and data analysis tool
US8106956B2 (en) 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
US7747070B2 (en) 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
JP4388939B2 (ja) 2006-09-25 2009-12-24 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
US11625761B2 (en) 2007-09-06 2023-04-11 Mohammad A. Mazed System and method for machine learning and augmented reality based user application
US20090016571A1 (en) 2007-03-30 2009-01-15 Louis Tijerina Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images
US7904867B2 (en) 2007-04-04 2011-03-08 Synopsys, Inc. Integrating a boolean SAT solver into a router
US8165380B2 (en) 2008-09-11 2012-04-24 PACSPLUS Co., Ltd. Method, apparatus and program for processing mammographic image
JP2010114731A (ja) 2008-11-07 2010-05-20 Toshiba Corp カメラモジュールの製造方法
CN101742324A (zh) 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR101082878B1 (ko) 2009-01-29 2011-11-11 연세대학교 산학협력단 홍채 영상 복원 방법
CN101477692B (zh) 2009-02-13 2012-08-22 阿里巴巴集团控股有限公司 图像特征提取方法及装置
US8284997B2 (en) 2009-03-11 2012-10-09 Honeywell International Inc. Vision-based vehicle navigation system and method
WO2010124376A1 (en) 2009-04-27 2010-11-04 Vincent Charles Cheung Method, system and computer product for distribution of data objects
US8406515B2 (en) 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
RU2012108572A (ru) 2009-08-11 2013-09-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для обеспечения изображения для отображения
US8509526B2 (en) 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
JP5503419B2 (ja) 2010-06-03 2014-05-28 株式会社日立製作所 無人搬送車および走行制御方法
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5656563B2 (ja) 2010-11-02 2015-01-21 キヤノン株式会社 文書管理システム、文書管理システムの制御方法、プログラム
JP5170226B2 (ja) 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
EP2723069B1 (en) 2011-06-16 2017-10-18 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
JP5911165B2 (ja) 2011-08-05 2016-04-27 株式会社メガチップス 画像認識装置
EP2748765B1 (en) 2011-08-25 2022-12-14 Cornell University Retinal encoder for machine vision
US8773498B2 (en) 2011-09-30 2014-07-08 Polycom, Inc. Background compression and resolution enhancement technique for video telephony and video conferencing
US8588470B2 (en) 2011-11-18 2013-11-19 Xerox Corporation Methods and systems for improved license plate signature matching by similarity learning on synthetic images
DE112012006147B8 (de) 2012-03-29 2018-09-06 Toyota Jidosha Kabushiki Kaisha Straßenoberflächen-Zustands-Bestimmungsvorrichtung
JP5863536B2 (ja) 2012-03-29 2016-02-16 富士重工業株式会社 車外監視装置
US9738223B2 (en) 2012-05-31 2017-08-22 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping
US8976269B2 (en) 2012-06-22 2015-03-10 California Institute Of Technology Compressive sensing based bio-inspired shape feature detection CMOS imager
US9008422B2 (en) 2012-06-28 2015-04-14 Lexmark International, Inc. Methods of content-driven image cropping
JP6044134B2 (ja) 2012-06-29 2016-12-14 カシオ計算機株式会社 最適画像サイズによる画像領域分割装置、方法、およびプログラム
CN102737236B (zh) 2012-07-06 2015-06-24 北京大学 一种基于多模态传感器数据自动获取车辆训练样本方法
JP6011104B2 (ja) 2012-07-24 2016-10-19 株式会社デンソー 車両用視界支援装置
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
US9754154B2 (en) 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
EP2962101A4 (en) 2013-02-28 2016-10-19 Progyny Inc APPARATUS, METHOD AND SYSTEM FOR CLASSIFYING HUMAN EMBRYONIC CELLS FROM IMAGES
US9165203B2 (en) 2013-03-15 2015-10-20 Arris Technology, Inc. Legibility enhancement for a logo, text or other region of interest in video
CN103236037B (zh) 2013-04-03 2016-05-11 北京航空航天大学 基于分层退化模型的无人机实时图像模拟方法
US9523772B2 (en) * 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
JP2015004922A (ja) 2013-06-24 2015-01-08 株式会社ニコン 焦点調節装置及び撮像装置
CN103366339B (zh) 2013-06-25 2017-11-28 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
GB2518589B (en) 2013-07-30 2019-12-11 Holition Ltd Image processing
US9317775B2 (en) 2013-08-14 2016-04-19 Ricoh Co., Ltd. Recognition procedure for identifying multiple items in images
CN103500322B (zh) 2013-09-10 2016-08-17 北京航空航天大学 基于低空航拍图像的车道线自动识别方法
US20150104102A1 (en) 2013-10-11 2015-04-16 Universidade De Coimbra Semantic segmentation method with second-order pooling
US10832057B2 (en) 2014-02-28 2020-11-10 Second Spectrum, Inc. Methods, systems, and user interface navigation of video content based spatiotemporal pattern recognition
US10769446B2 (en) 2014-02-28 2020-09-08 Second Spectrum, Inc. Methods and systems of combining video content with one or more augmentations
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9275289B2 (en) 2014-03-27 2016-03-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video
US9384402B1 (en) 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
US10373344B2 (en) * 2014-04-23 2019-08-06 Sony Corporation Image processing apparatus and method for adjusting intensity of a reflective property of an object in a displayed image
JP2016013793A (ja) 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
SG10201405182WA (en) 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
WO2016048108A1 (en) 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
US20160132786A1 (en) 2014-11-12 2016-05-12 Alexandru Balan Partitioning data for training machine-learning classifiers
CN105809655B (zh) 2014-12-30 2021-06-29 清华大学 车辆检查方法和系统
US9916540B2 (en) 2015-01-22 2018-03-13 Microsoft Technology Licensing, Llc Scalable-effort classifiers for energy-efficient machine learning
JP2018510373A (ja) 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP6525707B2 (ja) 2015-04-23 2019-06-05 キヤノン株式会社 画像処理装置、その制御方法及びプログラム、並びに撮像装置
CN104835114A (zh) 2015-05-06 2015-08-12 山东大学 一种图像自适应显示方法
US9542751B2 (en) 2015-05-08 2017-01-10 Qualcomm Incorporated Systems and methods for reducing a plurality of bounding regions
GB201508074D0 (en) 2015-05-12 2015-06-24 Apical Ltd People detection
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10410096B2 (en) 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
WO2017022908A1 (ko) 2015-08-04 2017-02-09 재단법인 아산사회복지재단 심층신경망을 이용한 골 연령 산출방법 및 프로그램
US9767565B2 (en) 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
KR101738422B1 (ko) 2015-09-14 2017-05-23 한국과학기술원 다종 센서 기반 시각 신경 회로 장치 및 이를 이용한 객체 탐색 시스템, 방법
US9442496B1 (en) 2015-09-18 2016-09-13 Amazon Technologies, Inc. Active airborne noise abatement
US10282623B1 (en) 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US9704045B2 (en) 2015-10-06 2017-07-11 Yahoo! Inc. User classification based upon images
WO2017074966A1 (en) 2015-10-26 2017-05-04 Netradyne Inc. Joint processing for embedded data inference
CN105318888B (zh) 2015-12-07 2018-08-14 北京航空航天大学 基于无人机感知的无人驾驶车辆路径规划方法
CN105550701B (zh) 2015-12-09 2018-11-06 福州华鹰重工机械有限公司 实时图像提取识别方法及装置
US10318848B2 (en) 2015-12-15 2019-06-11 Qualcomm Incorporated Methods for object localization and image classification
WO2017108221A1 (en) 2015-12-21 2017-06-29 Robert Bosch Gmbh Dynamic image blending for multiple-camera vehicle systems
US10769518B1 (en) 2015-12-29 2020-09-08 State Farm Mutual Automobile Insurance Company Method of controlling for undesired factors in machine learning models
US10373019B2 (en) 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US20170206434A1 (en) 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
CN109069072B (zh) 2016-02-08 2021-11-30 纽洛斯公司 欺骗检测系统和方法
CN108701118B (zh) 2016-02-11 2022-06-24 电子湾有限公司 语义类别分类
GB2601067B (en) 2016-03-02 2022-08-31 Holition Ltd Locating and augmenting object features in images
WO2017158622A2 (en) 2016-03-16 2017-09-21 INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) Method for managing image data at electronic device
EP3229172A1 (en) 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
US10789544B2 (en) 2016-04-05 2020-09-29 Google Llc Batching inputs to a machine learning model
US10866584B2 (en) 2016-05-09 2020-12-15 Strong Force Iot Portfolio 2016, Llc Methods and systems for data processing in an industrial internet of things data collection environment with large data sets
US10366290B2 (en) 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
CN114584660A (zh) 2016-06-13 2022-06-03 谷歌有限责任公司 向人类操作员的升级
US10019009B2 (en) 2016-06-15 2018-07-10 Allstate Insurance Company Vehicle control systems
CN109643125B (zh) 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
US10474162B2 (en) 2016-07-01 2019-11-12 Uatc, Llc Autonomous vehicle localization using passive image data
US11298072B2 (en) 2016-07-01 2022-04-12 Bostel Technologies, Llc Dermoscopy diagnosis of cancerous lesions utilizing dual deep learning algorithms via visual and audio (sonification) outputs
US20180012411A1 (en) 2016-07-11 2018-01-11 Gravity Jack, Inc. Augmented Reality Methods and Devices
CN109716346A (zh) 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习系统、装置和方法
CN106295678B (zh) 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
CN106156754B (zh) 2016-07-29 2019-05-31 浙江工业大学 一种基于最大外切矩阵感兴趣区域提取和双边滤波的手指多模态预处理方法
US20180039853A1 (en) 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
US10664750B2 (en) 2016-08-10 2020-05-26 Google Llc Deep machine learning to predict and prevent adverse conditions at structural assets
KR102462502B1 (ko) 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
KR102208347B1 (ko) 2016-08-24 2021-01-27 구글 엘엘씨 변화 검출 기반의 이미지 획득 시스템
US10019655B2 (en) 2016-08-31 2018-07-10 Adobe Systems Incorporated Deep-learning network architecture for object detection
US10317901B2 (en) 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
US20180068459A1 (en) 2016-09-08 2018-03-08 Ford Global Technologies, Llc Object Distance Estimation Using Data From A Single Camera
US10394237B2 (en) 2016-09-08 2019-08-27 Ford Global Technologies, Llc Perceiving roadway conditions from fused sensor data
US10467459B2 (en) 2016-09-09 2019-11-05 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction
CN106419893A (zh) 2016-09-18 2017-02-22 广州视源电子科技股份有限公司 睡眠状态检测方法和装置
US10133273B2 (en) 2016-09-20 2018-11-20 2236008 Ontario Inc. Location specific assistance for autonomous vehicle control system
GB201616097D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
CN115343947A (zh) 2016-09-23 2022-11-15 苹果公司 自主车辆的运动控制决策
US11544539B2 (en) 2016-09-29 2023-01-03 Tsinghua University Hardware neural network conversion method, computing device, compiling method and neural network software and hardware collaboration system
US10514711B2 (en) 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
KR101851155B1 (ko) 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
CN106504253A (zh) 2016-10-14 2017-03-15 国政通科技股份有限公司 一种医疗影像照片的处理方法及系统
CN107031600A (zh) 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统
US10346723B2 (en) 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
CN108605097B (zh) 2016-11-03 2020-09-08 华为技术有限公司 光学成像方法及其装置
US10289934B2 (en) 2016-11-08 2019-05-14 Nec Corporation Landmark localization on objects in images using convolutional neural networks
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN110198680B (zh) 2016-11-16 2022-09-13 纳维斯国际有限公司 消融有效性估计器
CN106598226B (zh) 2016-11-16 2019-05-21 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
US10650071B2 (en) 2016-11-28 2020-05-12 Google Llc Search and retrieval of keyed data maintained using a keyed database
CN108122234B (zh) 2016-11-29 2021-05-04 北京市商汤科技开发有限公司 卷积神经网络训练及视频处理方法、装置和电子设备
CN106558058B (zh) 2016-11-29 2020-10-09 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
US10529088B2 (en) 2016-12-02 2020-01-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US10699119B2 (en) 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
US10380741B2 (en) 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection
KR20180068511A (ko) 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10748062B2 (en) 2016-12-15 2020-08-18 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization
EP3563265B1 (en) 2016-12-30 2021-06-02 DeepMap Inc. High definition map updates
WO2018125848A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Route generation using high definition maps for autonomous vehicles
US10262218B2 (en) 2017-01-03 2019-04-16 Qualcomm Incorporated Simultaneous object detection and rigid transform estimation using neural network
US10228693B2 (en) 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10192016B2 (en) 2017-01-17 2019-01-29 Xilinx, Inc. Neural network based physical synthesis for circuit designs
US20180211403A1 (en) 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US10740563B2 (en) 2017-02-03 2020-08-11 Benedict R. Dugan System and methods for text classification
CN106779060B (zh) 2017-02-09 2019-03-08 武汉魅瞳科技有限公司 一种适于硬件设计实现的深度卷积神经网络的计算方法
JP2018136803A (ja) 2017-02-23 2018-08-30 株式会社日立製作所 画像認識システム
US11132599B2 (en) 2017-02-28 2021-09-28 Microsoft Technology Licensing, Llc Multi-function unit for programmable hardware nodes for neural network processing
US10359783B2 (en) 2017-02-28 2019-07-23 Warfarer, Inc. Transportation system
US10146225B2 (en) 2017-03-02 2018-12-04 GM Global Technology Operations LLC Systems and methods for vehicle dimension prediction
US10733482B1 (en) 2017-03-08 2020-08-04 Zoox, Inc. Object height estimation from monocular images
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
JP6665819B2 (ja) 2017-03-17 2020-03-13 トヨタ自動車株式会社 車載表示装置
WO2018175441A1 (en) 2017-03-20 2018-09-27 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
US10692000B2 (en) 2017-03-20 2020-06-23 Sap Se Training machine learning models
CN107103113B (zh) 2017-03-23 2019-01-11 中国科学院计算技术研究所 面向神经网络处理器的自动化设计方法、装置及优化方法
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
JP6658643B2 (ja) 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
US9965865B1 (en) 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
US10248121B2 (en) 2017-03-31 2019-04-02 Uber Technologies, Inc. Machine-learning based autonomous vehicle management system
US10296828B2 (en) 2017-04-05 2019-05-21 Here Global B.V. Learning a similarity measure for vision-based localization on a high definition (HD) map
CN110651310B (zh) 2017-04-05 2023-09-08 卡内基梅隆大学 估计对象密度和/或流量的深度学习方法及相关方法和软件
US10303961B1 (en) 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
DE202017102235U1 (de) 2017-04-13 2017-05-12 Robert Bosch Gmbh Trainingssystem
DE202017102238U1 (de) 2017-04-13 2017-05-12 Robert Bosch Gmbh Aktorsteuerungssystem
US10614111B2 (en) 2017-04-17 2020-04-07 Mammoth Medical, Llc System and method for machine-learning input-based data autogeneration
WO2018194960A1 (en) 2017-04-18 2018-10-25 D5Ai Llc Multi-stage machine learning and recognition
CN107169560B (zh) 2017-04-19 2020-10-16 清华大学 一种自适应可重构的深度卷积神经网络计算方法和装置
DE102018200724A1 (de) 2017-04-19 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
CN107169421B (zh) 2017-04-20 2020-04-28 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
DE202017102381U1 (de) 2017-04-21 2017-05-11 Robert Bosch Gmbh Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
WO2018200541A1 (en) 2017-04-24 2018-11-01 Carnegie Mellon University Virtual sensor system
US10460053B2 (en) 2017-04-24 2019-10-29 Toyota Research Institute, Inc. Systems and methods for surface property identification using waveform classification
US10108867B1 (en) 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
CN107133943B (zh) 2017-04-26 2018-07-06 贵州电网有限责任公司输电运行检修分公司 一种防震锤缺陷检测的视觉检测方法
US10318794B2 (en) 2017-04-28 2019-06-11 Microsoft Technology Licensing, Llc Intelligent auto cropping of digital images
US10838936B2 (en) 2017-05-12 2020-11-17 Harris Lee Cohen Computer-implemented methods, computer readable medium and systems for generating an orchard data model for a precision agriculture platform
US10372130B1 (en) 2017-05-19 2019-08-06 Zoox, Inc. Communicating reasons for vehicle actions
WO2018218149A1 (en) 2017-05-26 2018-11-29 Google Llc Data fusion system
US20180374105A1 (en) 2017-05-26 2018-12-27 Get Attached, Inc. Leveraging an intermediate machine learning analysis
US10310087B2 (en) 2017-05-31 2019-06-04 Uber Technologies, Inc. Range-view LIDAR-based object detection
US11273553B2 (en) 2017-06-05 2022-03-15 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US11983641B2 (en) 2017-06-05 2024-05-14 Umajin Inc. Asset tracking system and methods
US11361243B2 (en) 2017-06-07 2022-06-14 Accenture Global Solutions Limited Recommending machine learning techniques, features, and feature relevance scores
US10853739B2 (en) 2017-06-09 2020-12-01 Sap Se Machine learning models for evaluating entities in a high-volume computer network
CN108229526B (zh) 2017-06-16 2020-09-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
CN109116374B (zh) * 2017-06-23 2021-08-17 百度在线网络技术（北京）有限公司 确定障碍物距离的方法、装置、设备及存储介质
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
JP7050006B2 (ja) 2017-06-28 2022-04-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 移動体制御装置、移動体制御方法、及び学習方法
US10567674B2 (en) 2017-06-30 2020-02-18 Harman International Industries, Incorporated Systems and methods for detecting objects in imaging systems
US10671082B2 (en) 2017-07-03 2020-06-02 Baidu Usa Llc High resolution 3D point clouds generation based on CNN and CRF models
CN109215067B (zh) 2017-07-03 2023-03-10 百度（美国）有限责任公司 基于cnn和crf模型生成高分辨率3-d点云
US10474161B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images
US10474160B2 (en) 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
US10402687B2 (en) 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US10606990B2 (en) 2017-07-06 2020-03-31 Ebay Inc. Machine learning system for computing asset access
EP3652935B1 (en) 2017-07-12 2023-10-18 Gentex Corporation Systems and methods for acquiring information from an environment
US10592785B2 (en) 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
DE102017116017A1 (de) 2017-07-17 2019-01-17 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung
US10733755B2 (en) 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
DE102017116411B4 (de) 2017-07-20 2022-02-03 Infineon Technologies Ag Elektronischen Steuerungseinheit, Gatewayschaltung für eine elektronische Airbag-Steuerungseinheit, Sicherheitssystem für ein Fahrzeug und Umgebungssensorelement
US10579063B2 (en) 2017-07-21 2020-03-03 Uatc, Llc Machine learning for predicting locations of objects perceived by autonomous vehicles
US10650278B1 (en) 2017-07-21 2020-05-12 Apple Inc. Semantic labeling of point clouds using images
US10395144B2 (en) 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
US10542930B1 (en) 2017-07-25 2020-01-28 BlueOwl, LLC Audio assessment for analyzing sleep trends using machine learning techniques
CN107451659B (zh) 2017-07-27 2020-04-10 清华大学 用于位宽分区的神经网络加速器及其实现方法
CN107368926B (zh) 2017-07-28 2018-07-10 中南大学 一种智能环境运载机器人识别楼层的多自然传感参数融合处理方法
JP7002729B2 (ja) 2017-07-31 2022-01-20 株式会社アイシン 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
BR112020001729A8 (pt) 2017-08-01 2023-04-11 Huawei Tech Co Ltd Método, aparelho e dispositivo de reconhecimento de gestos
CN109389552B (zh) 2017-08-02 2023-03-28 中山大学 一种基于上下文相关多任务深度学习的图像超分辨算法
US11170288B2 (en) 2017-08-03 2021-11-09 Facebook, Inc. Systems and methods for predicting qualitative ratings for advertisements based on machine learning
KR102541559B1 (ko) 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
EP3438872A1 (en) 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
KR102601604B1 (ko) 2017-08-04 2023-11-13 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
US10656657B2 (en) 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
US10423934B1 (en) 2017-08-10 2019-09-24 Zoox, Inc. Automated vehicle diagnostics and maintenance
CN108229647A (zh) 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
US10167800B1 (en) 2017-08-18 2019-01-01 Microsoft Technology Licensing, Llc Hardware node having a matrix vector unit with block-floating point processing
US10860924B2 (en) 2017-08-18 2020-12-08 Microsoft Technology Licensing, Llc Hardware node having a mixed-signal matrix vector unit
US20190228037A1 (en) 2017-08-19 2019-07-25 Wave Computing, Inc. Checkpointing data flow graph computation for machine learning
US10216189B1 (en) 2017-08-23 2019-02-26 Uber Technologies, Inc. Systems and methods for prioritizing object prediction for autonomous vehicles
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US11455565B2 (en) 2017-08-31 2022-09-27 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
US10629080B2 (en) 2017-08-31 2020-04-21 Uatc Llc Autonomous vehicles featuring vehicle intention system
US20190072978A1 (en) 2017-09-01 2019-03-07 GM Global Technology Operations LLC Methods and systems for generating realtime map information
US11430331B2 (en) 2017-09-08 2022-08-30 Uatc, Llc Power and thermal management systems and methods for autonomous vehicles
US20190079526A1 (en) 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
US10402646B2 (en) 2017-09-21 2019-09-03 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
CN107507134B (zh) 2017-09-21 2020-09-11 大连理工大学 基于卷积神经网络的超分辨率方法
CN111226257B (zh) 2017-09-22 2024-03-01 豪夫迈·罗氏有限公司 组织图像中的伪像移除
US10891715B2 (en) 2017-09-22 2021-01-12 Continental Automotive Systems, Inc. Deep neural network for image enhancement
US10551297B2 (en) 2017-09-22 2020-02-04 Saudi Arabian Oil Company Thermography image processing with neural networks to identify corrosion under insulation (CUI)
US20190095946A1 (en) 2017-09-25 2019-03-28 Get Attached, Inc. Automatically analyzing media using a machine learning model trained on user engagement information
US10546197B2 (en) 2017-09-26 2020-01-28 Ambient AI, Inc. Systems and methods for intelligent and interpretive analysis of video image data using machine learning
CN110809784B (zh) 2017-09-27 2021-04-20 谷歌有限责任公司 高分辨率图像分割的端到端网络模型
US10679129B2 (en) 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
US10872531B2 (en) 2017-09-29 2020-12-22 Uber Technologies, Inc. Image processing for vehicle collision avoidance system
CA3076912C (en) 2017-09-29 2023-05-02 United Parcel Service Of America, Inc. Predictive parcel damage identification, analysis, and mitigation
CN107742311B (zh) 2017-09-29 2020-02-18 北京易达图灵科技有限公司 一种视觉定位的方法及装置
WO2019067695A1 (en) 2017-10-01 2019-04-04 Airspace Systems, Inc. FLIGHT CONTROL USING VISION BY COMPUTER
US10579897B2 (en) 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
US20190101914A1 (en) 2017-10-02 2019-04-04 Allstate Insurance Company Data Processing System with Machine Learning Engine for Providing Driving Data Analysis and Vehicle Control Functions
US10678997B2 (en) 2017-10-05 2020-06-09 Microsoft Technology Licensing, Llc Machine learned models for contextual editing of social networking profiles
US10733262B2 (en) 2017-10-05 2020-08-04 Adobe Inc. Attribute control for updating digital content in a digital medium environment
US11748653B2 (en) 2017-10-05 2023-09-05 DataRobot, Inc. Machine learning abstraction
US20200258057A1 (en) 2017-10-06 2020-08-13 Hitachi, Ltd. Repair management and execution
DE102017123452A1 (de) 2017-10-10 2019-04-11 Connaught Electronics Ltd. Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug
US10652565B1 (en) 2017-10-12 2020-05-12 Amazon Technologies, Inc. Image compression and decompression using embeddings
CN107622258B (zh) 2017-10-16 2020-10-30 中南大学 一种结合静态底层特征和运动信息的快速行人检测方法
US10796221B2 (en) 2017-10-19 2020-10-06 General Electric Company Deep learning architecture for automated image feature extraction
US20190122111A1 (en) 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN110809772B (zh) 2017-10-27 2024-04-02 谷歌有限责任公司 用于改进机器学习模型的优化的系统和方法
US10467501B2 (en) 2017-10-30 2019-11-05 Sap Se Computer vision architecture with machine learned image recognition models
CN107729998B (zh) 2017-10-31 2020-06-05 中国科学院计算技术研究所 一种用于神经网络处理器的方法
US10346721B2 (en) 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
WO2019089339A1 (en) 2017-11-02 2019-05-09 The Trustees Of Princeton University Method and system for neural network synthesis
KR102589303B1 (ko) 2017-11-02 2023-10-24 삼성전자주식회사 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치
US20190138880A1 (en) 2017-11-03 2019-05-09 Drishti Technologies, Inc. Workspace actor selection systems and methods
EP3625697A1 (en) 2017-11-07 2020-03-25 Google LLC Semantic state based sensor tracking and updating
US10591914B2 (en) 2017-11-08 2020-03-17 GM Global Technology Operations LLC Systems and methods for autonomous vehicle behavior control
US20190147112A1 (en) 2017-11-13 2019-05-16 Facebook, Inc. Systems and methods for ranking ephemeral content item collections associated with a social networking system
JP2021509187A (ja) 2017-11-13 2021-03-18 バイオス ヘルス リミテッド 神経インターフェース
US10678839B2 (en) 2017-11-13 2020-06-09 Facebook, Inc. Systems and methods for ranking ephemeral content item collections associated with a social networking system
US10824862B2 (en) 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
KR102095335B1 (ko) 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법
US10803328B1 (en) 2017-11-15 2020-10-13 Uatc, Llc Semantic and instance segmentation
US11556777B2 (en) 2017-11-15 2023-01-17 Uatc, Llc Continuous convolution and fusion in neural networks
US11080537B2 (en) 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US11061402B2 (en) 2017-11-15 2021-07-13 Uatc, Llc Sparse convolutional neural networks
US10803325B2 (en) 2017-11-15 2020-10-13 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US20190145765A1 (en) 2017-11-15 2019-05-16 Uber Technologies, Inc. Three Dimensional Object Detection
EP3710980A1 (en) 2017-11-15 2020-09-23 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US10970553B2 (en) 2017-11-15 2021-04-06 Uatc, Llc Semantic segmentation of three-dimensional data
US20190147255A1 (en) 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Generating Sparse Geographic Data for Autonomous Vehicles
US11475351B2 (en) 2017-11-15 2022-10-18 Uatc, Llc Systems and methods for object detection, tracking, and motion prediction
US10828790B2 (en) 2017-11-16 2020-11-10 Google Llc Component feature detector for robotic systems
KR102073351B1 (ko) 2017-11-17 2020-02-05 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법
EP3486674A1 (en) 2017-11-17 2019-05-22 Koninklijke Philips N.V. Artificial intelligence-enabled localization of anatomical landmarks
US10698868B2 (en) 2017-11-17 2020-06-30 Accenture Global Solutions Limited Identification of domain information for use in machine learning models
US10409898B2 (en) 2017-11-17 2019-09-10 Adobe Inc. Generating a targeted summary of textual content tuned to a target audience vocabulary
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US20180074506A1 (en) 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for mapping roadway-interfering objects in autonomous vehicles
CN107885214A (zh) 2017-11-22 2018-04-06 济南浪潮高新科技投资发展有限公司 一种基于fpga的加速自动驾驶视觉感知的方法及装置
US11989861B2 (en) 2017-11-28 2024-05-21 Intel Corporation Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
JP2019101535A (ja) 2017-11-29 2019-06-24 コニカミノルタ株式会社 教師データ作成装置および該方法ならびに画像セグメンテーション装置および該方法
CN111656367A (zh) 2017-12-04 2020-09-11 优创半导体科技有限公司 神经网络加速器的系统和体系结构
US10762396B2 (en) 2017-12-05 2020-09-01 Utac, Llc Multiple stage image based object detection and recognition
US10693740B2 (en) 2017-12-07 2020-06-23 Accenture Global Solutions Limited Data transformation of performance statistics and ticket information for network devices for use in machine learning models
US10528824B2 (en) 2017-12-11 2020-01-07 GM Global Technology Operations LLC Artificial neural network for lane feature classification and localization
US10768628B2 (en) 2017-12-12 2020-09-08 Uatc, Llc Systems and methods for object detection at various ranges using multiple range imagery
RU2691214C1 (ru) 2017-12-13 2019-06-11 Общество с ограниченной ответственностью "Аби Продакшн" Распознавание текста с использованием искусственного интеллекта
US10599958B2 (en) 2017-12-14 2020-03-24 Avigilon Corporation Method and system for classifying an object-of-interest using an artificial neural network
KR101969864B1 (ko) 2017-12-15 2019-04-18 동국대학교 산학협력단 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법
US20190185010A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for self capability aware route planning in autonomous driving vehicles
CN111433101A (zh) 2017-12-18 2020-07-17 智加科技公司 用于自动驾驶车辆中的个性化运动规划的方法和系统
US11183274B2 (en) 2017-12-18 2021-11-23 International Business Machines Corporation Analysis of answers to questions
WO2019125191A1 (en) 2017-12-18 2019-06-27 Motorola Solutions, Inc Method and device for generating an augmented image
US10713502B2 (en) 2017-12-19 2020-07-14 Micron Technology, Inc. Providing autonomous vehicle assistance
DE102017130566B4 (de) 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
US10402986B2 (en) 2017-12-20 2019-09-03 Facebook, Inc. Unsupervised video segmentation
US10275689B1 (en) 2017-12-21 2019-04-30 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
WO2019126755A1 (en) 2017-12-21 2019-06-27 Fugro N.V. Generating and classifying training data for machine learning functions
US10872254B2 (en) 2017-12-22 2020-12-22 Texas Instruments Incorporated Digital mirror systems for vehicles and methods of operating the same
US10748247B2 (en) 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10657418B2 (en) 2017-12-27 2020-05-19 International Business Machines Corporation Object detection on local devices using remotely generated machine learning models
US10755115B2 (en) 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
WO2019127363A1 (zh) 2017-12-29 2019-07-04 清华大学 神经网络权重编码方法、计算装置及硬件系统
CN108111873B (zh) 2017-12-29 2020-04-14 国网山东省电力公司泰安供电公司 一种基于机器学习的gis图像数据传输方法
US20190204842A1 (en) 2018-01-02 2019-07-04 GM Global Technology Operations LLC Trajectory planner with dynamic cost learning for autonomous driving
US11170006B2 (en) 2018-01-03 2021-11-09 Facebook, Inc. Machine-learning model for ranking diverse content
US10657391B2 (en) 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
US11760280B2 (en) 2018-01-12 2023-09-19 Uatc, Llc Systems and methods for streaming processing for autonomous vehicles
US10896763B2 (en) 2018-01-12 2021-01-19 Koninklijke Philips N.V. System and method for providing model-based treatment recommendation via individual-specific machine learning models
EP3514494A1 (en) 2018-01-19 2019-07-24 Zenuity AB Constructing and updating a behavioral layer of a multi layered road network high definition digital map
US10909368B2 (en) 2018-01-23 2021-02-02 X Development Llc Crop type classification in images
US20180150081A1 (en) 2018-01-24 2018-05-31 GM Global Technology Operations LLC Systems and methods for path planning in autonomous vehicles
CN108399362B (zh) 2018-01-24 2022-01-07 中山大学 一种快速行人检测方法及装置
US10872204B2 (en) 2018-01-26 2020-12-22 Ge Inspection Technologies, Lp Generating natural language recommendations based on an industrial language model
KR102098713B1 (ko) 2018-01-29 2020-04-08 주식회사 유엑스팩토리 Cnn과 rnn이 하나의 고성능 저전력 칩으로 집적된 이기종 프로세서 구조
CN111602149B (zh) 2018-01-30 2024-04-02 D5Ai有限责任公司 自组织偏序网络
US10733668B2 (en) 2018-01-30 2020-08-04 PointPredictive Inc. Multi-layer machine learning classifier
US10962973B2 (en) 2018-01-30 2021-03-30 Uatc, Llc Autonomous vehicle safe stop
CN110096937A (zh) 2018-01-31 2019-08-06 北京四维图新科技股份有限公司 一种用于辅助车辆自动驾驶的图像识别的方法及装置
US11079764B2 (en) 2018-02-02 2021-08-03 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicles
US20190244138A1 (en) 2018-02-08 2019-08-08 Apple Inc. Privatized machine learning using generative adversarial networks
US10996683B2 (en) 2018-02-09 2021-05-04 Skydio, Inc. Aerial vehicle touchdown detection
CN111133448A (zh) 2018-02-09 2020-05-08 辉达公司 使用安全到达时间控制自动驾驶车辆
US10489126B2 (en) 2018-02-12 2019-11-26 Oracle International Corporation Automated code generation
CN110147698A (zh) 2018-02-13 2019-08-20 Kpit技术有限责任公司 用于车道检测的系统和方法
US10839578B2 (en) 2018-02-14 2020-11-17 Smarter Reality, LLC Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
KR101996167B1 (ko) 2018-02-14 2019-07-03 동국대학교 산학협력단 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법
US10805629B2 (en) 2018-02-17 2020-10-13 Google Llc Video compression through motion warping using learning-based motion segmentation
WO2019161300A1 (en) 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
US10628432B2 (en) 2018-02-19 2020-04-21 Microsoft Technology Licensing, Llc Personalized deep models for smart suggestions ranking
US20190266610A1 (en) 2018-02-21 2019-08-29 Accenture Global Solutions Limited Transaction management using machine learning and similarity analysis
KR102644214B1 (ko) 2018-02-23 2024-03-07 에이에스엠엘 네델란즈 비.브이. 컴퓨테이션 리소그래피를 위한 머신 러닝 모델을 트레이닝시키기 위한 방법
CN110197270B (zh) 2018-02-27 2020-10-30 上海寒武纪信息科技有限公司 集成电路芯片装置及相关产品
US10997433B2 (en) 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
KR102022388B1 (ko) 2018-02-27 2019-09-18 (주)캠시스 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
US11501105B2 (en) 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps
KR101967339B1 (ko) 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
US10990832B2 (en) 2018-03-06 2021-04-27 Phantom AI, Inc. Lane line reconstruction using future scenes and trajectory
US10223611B1 (en) 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
US10621513B2 (en) 2018-03-08 2020-04-14 Capital One Services, Llc System and method for deploying and versioning machine learning models
US10157331B1 (en) 2018-03-08 2018-12-18 Capital One Services, Llc Systems and methods for image preprocessing to improve accuracy of object recognition
US10572757B2 (en) 2018-03-09 2020-02-25 Ricoh Co., Ltd. User interface for object detection and labeling
US10628686B2 (en) 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
US10798368B2 (en) 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
US10755112B2 (en) 2018-03-13 2020-08-25 Toyota Research Institute, Inc. Systems and methods for reducing data storage in machine learning
CN111837144A (zh) 2018-03-13 2020-10-27 奇跃公司 使用机器学习的增强图像深度感测
US20190286973A1 (en) 2018-03-14 2019-09-19 Microsoft Technology Licensing, Llc Hardware accelerated neural network subgraphs
US11500099B2 (en) 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US20190287028A1 (en) 2018-03-15 2019-09-19 Arm Ltd. Systems, devices, and/or processes for behavioral content processing
KR102329590B1 (ko) 2018-03-19 2021-11-19 에스알아이 인터내셔널 딥 신경망들의 동적 적응
US11429862B2 (en) 2018-03-20 2022-08-30 Sri International Dynamic adaptation of deep neural networks
US11657087B2 (en) 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
US10901508B2 (en) 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
US11144065B2 (en) 2018-03-20 2021-10-12 Phantom AI, Inc. Data augmentation using computer simulated objects for autonomous control systems
WO2019182782A1 (en) 2018-03-21 2019-09-26 Zoox, Inc. Generating maps without shadows
US10699477B2 (en) 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
US20190294975A1 (en) 2018-03-21 2019-09-26 Swim.IT Inc Predicting using digital twins
US10836379B2 (en) 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US10627818B2 (en) 2018-03-28 2020-04-21 Zoox, Inc. Temporal prediction model for semantic intent understanding
WO2019191578A1 (en) 2018-03-30 2019-10-03 Wave Computing, Inc. Data flow graph computation for machine learning
US10140544B1 (en) 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN108491889A (zh) 2018-04-02 2018-09-04 深圳市易成自动驾驶技术有限公司 图像语义分割方法、装置及计算机可读存储介质
US10776939B2 (en) 2018-04-03 2020-09-15 Altumview Systems Inc. Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles
US10887433B2 (en) 2018-04-03 2021-01-05 Pony Ai Inc. System and method for incremental data processing
US10468062B1 (en) 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US20190311290A1 (en) 2018-04-06 2019-10-10 Mentor Graphics Corporation Deep Learning Based Test Compression Analyzer
US10725475B2 (en) 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
US10769494B2 (en) 2018-04-10 2020-09-08 Pony Ai Inc. Enhanced training information generation
US10740914B2 (en) 2018-04-10 2020-08-11 Pony Ai Inc. Enhanced three-dimensional training data generation
US11132444B2 (en) 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
CN108520247B (zh) 2018-04-16 2020-04-28 腾讯科技（深圳）有限公司 对图像中的对象节点的识别方法、装置、终端及可读介质
US10816992B2 (en) 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
US20200151692A1 (en) 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
EP3673233A4 (en) 2018-04-18 2021-05-19 Mobileye Vision Technologies Ltd. VEHICLE ENVIRONMENT MODELING WITH A CAMERA
US10321728B1 (en) 2018-04-20 2019-06-18 Bodygram, Inc. Systems and methods for full body measurements extraction
US11030486B2 (en) 2018-04-20 2021-06-08 XNOR.ai, Inc. Image classification through label progression
DE102018206208A1 (de) 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
US10950021B2 (en) 2018-04-23 2021-03-16 Accenture Global Solutions Limited AI-driven design platform
US10565475B2 (en) 2018-04-24 2020-02-18 Accenture Global Solutions Limited Generating a machine learning model for objects based on augmenting the objects with physical properties
US20190329790A1 (en) 2018-04-25 2019-10-31 Uber Technologies, Inc. Systems and Methods for Using Machine Learning to Determine Passenger Ride Experience
CN108549934B (zh) 2018-04-25 2020-06-19 福州瑞芯微电子股份有限公司 一种基于自动集群神经网络芯片组的运算方法和装置
CN108647591A (zh) 2018-04-25 2018-10-12 长沙学院 一种基于视觉-语义特征的视频中行为识别方法和系统
US11138745B2 (en) 2018-04-30 2021-10-05 Uatc, Llc Object association for autonomous vehicles
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
US11244195B2 (en) 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
US11494200B2 (en) 2018-05-02 2022-11-08 Microsoft Technology Licensing, Llc. Configuring an electronic device using artificial intelligence
US10803743B2 (en) 2018-05-02 2020-10-13 Lyft, Inc. Monitoring ambient light for object detection
US11645493B2 (en) 2018-05-04 2023-05-09 Microsoft Technology Licensing, Llc Flow for quantized neural networks
US10699140B2 (en) 2018-05-04 2020-06-30 Qualcomm Incorporated System and method for capture and distribution of information collected from signs
US20190340499A1 (en) 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Quantization for dnn accelerators
EP3791236A4 (en) 2018-05-07 2022-06-08 Strong Force Iot Portfolio 2016, LLC METHODS AND SYSTEMS FOR DATA COLLECTION, LEARNING AND STREAMING MACHINE SIGNALS FOR ANALYSIS AND MAINTENANCE USING THE INDUSTRIAL INTERNET OF THINGS
US20220091837A1 (en) 2018-05-07 2022-03-24 Google Llc Application Development Platform and Software Development Kits that Provide Comprehensive Machine Learning Services
JP6799197B2 (ja) 2018-05-10 2020-12-09 ヌヴォトンテクノロジージャパン株式会社 ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム
US20190349571A1 (en) 2018-05-11 2019-11-14 Ford Global Technologies, Llc Distortion correction for vehicle surround view camera projections
US10748021B2 (en) 2018-05-11 2020-08-18 Samsung Electronics Co., Ltd. Method of analyzing objects in images recorded by a camera of a head mounted device
US10776626B1 (en) 2018-05-14 2020-09-15 Amazon Technologies, Inc. Machine learning based identification of visually complementary item collections
US20210221404A1 (en) 2018-05-14 2021-07-22 BrainVu Ltd. Driver predictive mental response profile and application to automated vehicle brain interface control
US11164016B2 (en) 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US20190354850A1 (en) 2018-05-17 2019-11-21 International Business Machines Corporation Identifying transfer models for machine learning tasks
US11138471B2 (en) 2018-05-18 2021-10-05 Google Llc Augmentation of audiographic images for improved machine learning
US11301733B2 (en) 2018-05-18 2022-04-12 Google Llc Learning data augmentation strategies for object detection
CN108710865B (zh) 2018-05-28 2022-04-22 电子科技大学 一种基于神经网络的司机异常行为检测方法
US20190373322A1 (en) 2018-05-29 2019-12-05 Sony Interactive Entertainment LLC Interactive Video Content Delivery
US11491350B2 (en) 2018-05-30 2022-11-08 Siemens Healthcare Gmbh Decision support system for individualizing radiotherapy dose
US20190370575A1 (en) 2018-05-31 2019-12-05 Uber Technologies, Inc. Systems and Methods for Implementing Trip Checks for Vehicles
TWI681366B (zh) 2018-05-31 2020-01-01 廣達電腦股份有限公司 非線性延展裁切影像之方法及系統
US20190370398A1 (en) 2018-06-01 2019-12-05 SayMosaic Inc. Method and apparatus for searching historical data
CN108764185B (zh) 2018-06-01 2022-07-19 京东方科技集团股份有限公司 一种图像处理方法及装置
US11334960B2 (en) 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware
US20190042944A1 (en) 2018-06-08 2019-02-07 Intel Corporation Artificial neural network training using flexible floating point tensors
US20190378051A1 (en) 2018-06-12 2019-12-12 Bank Of America Corporation Machine learning system coupled to a graph structure detecting outlier patterns using graph scanning
US11740630B2 (en) 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle
US20190378049A1 (en) 2018-06-12 2019-12-12 Bank Of America Corporation Ensemble of machine learning engines coupled to a graph structure that spreads heat
US11675359B2 (en) 2018-06-13 2023-06-13 Nvidia Corporation Path detection for autonomous machines using deep neural networks
CA3027055C (en) 2018-06-14 2021-10-26 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-resolution map based on binocular images
US11370423B2 (en) 2018-06-15 2022-06-28 Uatc, Llc Multi-task machine-learned models for object intention determination in autonomous driving
US11341356B2 (en) 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
US10642275B2 (en) 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
CN112313663B (zh) 2018-06-18 2024-05-31 祖克斯有限公司 遮挡感知规划
US11048265B2 (en) 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US11501140B2 (en) 2018-06-19 2022-11-15 International Business Machines Corporation Runtime reconfigurable neural network processor core
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US10726264B2 (en) 2018-06-25 2020-07-28 Microsoft Technology Licensing, Llc Object-based localization
CN108898177A (zh) 2018-06-26 2018-11-27 广东电网有限责任公司 一种输电线路走廊地表分类方法、系统、介质及设备
CN113056390A (zh) 2018-06-26 2021-06-29 伊泰·卡茨 情境驾驶员监控系统
CN108845574B (zh) 2018-06-26 2021-01-12 北京旷视机器人技术有限公司 目标识别与追踪方法、装置、设备及介质
US10685159B2 (en) 2018-06-27 2020-06-16 Intel Corporation Analog functional safety with anomaly detection
US11454975B2 (en) 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles
US10921817B1 (en) 2018-06-29 2021-02-16 Zoox, Inc. Point cloud filtering with semantic segmentation
US10810445B1 (en) 2018-06-29 2020-10-20 Zoox, Inc. Pipeline with point cloud filtering
US11500477B2 (en) 2018-07-02 2022-11-15 Google Llc Systems and methods for interacting and interfacing with an artificial intelligence system
CN109086867B (zh) 2018-07-02 2021-06-08 武汉魅瞳科技有限公司 一种基于fpga的卷积神经网络加速系统
KR20200004700A (ko) 2018-07-04 2020-01-14 삼성전자주식회사 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치
US10685188B1 (en) 2018-07-06 2020-06-16 Facebook, Inc. Systems and methods for training machine learning models for language clusters
US11537906B2 (en) 2018-07-12 2022-12-27 The Regents Of The University Of California Machine learning based target localization for autonomous unmanned vehicles
JP7140580B2 (ja) 2018-07-13 2022-09-21 マクセル株式会社 ステレオ撮像装置
EP3820753B1 (en) 2018-07-14 2023-08-02 Moove.AI Vehicle-data analytics
EP3824473A1 (en) 2018-07-18 2021-05-26 NVIDIA Corporation Virtualized computing platform for inferencing, advanced processing, and machine learning applications
US10901416B2 (en) 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof
US11042157B2 (en) 2018-07-23 2021-06-22 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
US10768629B2 (en) 2018-07-24 2020-09-08 Pony Ai Inc. Generative adversarial network enriched driving simulation
US20200033865A1 (en) 2018-07-24 2020-01-30 Qualcomm Incorporated Managing Cleaning Robot Behavior
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11284051B2 (en) 2018-07-30 2022-03-22 Pony Ai Inc. Systems and methods for autonomous vehicle interactive content presentation
US11353871B2 (en) 2018-07-30 2022-06-07 Pony Ai Inc. Systems and methods for vehicle smart seats
US20200034665A1 (en) 2018-07-30 2020-01-30 DataRobot, Inc. Determining validity of machine learning algorithms for datasets
US20220012874A1 (en) 2018-07-31 2022-01-13 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging using multispectral information
US11584379B2 (en) 2018-08-06 2023-02-21 Honda Motor Co., Ltd. System and method for learning naturalistic driving behavior based on vehicle dynamic data
US10706308B2 (en) 2018-08-07 2020-07-07 Accenture Global Solutions Limited Image processing for automated object identification
US10609434B2 (en) 2018-08-07 2020-03-31 Adobe Inc. Machine-learning based multi-step engagement strategy generation and visualization
US10733638B1 (en) 2018-08-08 2020-08-04 Facebook, Inc. Analyzing tracking requests generated by client devices based on attributes describing items
US11068627B2 (en) 2018-08-09 2021-07-20 Zoox, Inc. Procedural world generation
WO2020034663A1 (en) 2018-08-13 2020-02-20 The Hong Kong Polytechnic University Grid-based image cropping
US11861458B2 (en) 2018-08-21 2024-01-02 Lyft, Inc. Systems and methods for detecting and recording anomalous vehicle events
US20200065879A1 (en) 2018-08-22 2020-02-27 Midea Group Co., Ltd. Methods and systems for home device recommendation
US10755575B2 (en) 2018-08-30 2020-08-25 Cisco Technology, Inc. Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety
US10871444B2 (en) 2018-08-30 2020-12-22 Saudi Arabian Oil Company Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system
US11521009B2 (en) 2018-09-04 2022-12-06 Luminar, Llc Automatically generating training data for a lidar using simulated vehicles in virtual space
US11307584B2 (en) 2018-09-04 2022-04-19 Skydio, Inc. Applications and skills for an autonomous unmanned aerial vehicle
US20200158822A1 (en) 2018-09-06 2020-05-21 Airspace Systems, Inc. Unmanned aerial vehicle radar detection
US10839230B2 (en) 2018-09-06 2020-11-17 Ford Global Technologies, Llc Multi-tier network for task-oriented deep neural network
US20220067850A1 (en) 2018-09-12 2022-03-03 Electra Vehicles, Inc. Systems and methods for managing energy storage systems
US11427223B2 (en) 2018-09-14 2022-08-30 Uatc, Llc Driving surface friction estimations for autonomous vehicles
US11195030B2 (en) 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US11465630B2 (en) 2018-09-14 2022-10-11 Uatc, Llc Driving surface friction estimations using vehicle steering
EP3627399A1 (en) 2018-09-19 2020-03-25 Tata Consultancy Services Limited Systems and methods for real time configurable recommendation using user data
GB2577485B (en) 2018-09-20 2022-06-15 Jaguar Land Rover Ltd Control system for a vehicle
US11449771B2 (en) 2018-09-21 2022-09-20 Woven Planet North America, Inc. Systems and methods for processing vehicle data
DE102018216413A1 (de) 2018-09-26 2020-03-26 Robert Bosch Gmbh Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen
US10846888B2 (en) 2018-09-26 2020-11-24 Facebook Technologies, Llc Systems and methods for generating and transmitting image sequences based on sampled color information
CN109359731B (zh) 2018-09-27 2022-01-28 中科物栖（北京）科技有限责任公司 一种基于芯片设计缺陷的神经网络处理方法及装置
US11710035B2 (en) 2018-09-28 2023-07-25 Apple Inc. Distributed labeling for supervised learning
US10943101B2 (en) 2018-09-28 2021-03-09 Accenture Global Solutions Limited Target recognition and verification using image processing techniques and/or artifical intelligence
KR102354615B1 (ko) 2018-09-28 2022-01-24 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템
US11526713B2 (en) 2018-09-28 2022-12-13 Intel Corporation Embedding human labeler influences in machine learning interfaces in computing environments
US11169531B2 (en) 2018-10-04 2021-11-09 Zoox, Inc. Trajectory prediction on top-down scenes
US11403509B2 (en) 2018-10-08 2022-08-02 Google Llc Systems and methods for providing feedback for artificial intelligence-based image capture devices
CN109389207A (zh) 2018-10-09 2019-02-26 四川理工学院 一种自适应神经网络学习方法及神经网络系统
KR102545105B1 (ko) 2018-10-10 2023-06-19 현대자동차주식회사 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
US11403565B2 (en) 2018-10-10 2022-08-02 Wipro Limited Method and system for generating a learning path using machine learning
US11068724B2 (en) 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
US11704568B2 (en) 2018-10-16 2023-07-18 Carnegie Mellon University Method and system for hand activity sensing
US11676244B2 (en) 2018-10-19 2023-06-13 Mineral Earth Sciences Llc Crop yield prediction at field-level and pixel-level
US11430025B2 (en) 2018-10-19 2022-08-30 Airbnb, Inc. Synthetic data generation modeling system
US11256916B2 (en) 2018-10-19 2022-02-22 The Climate Corporation Machine learning techniques for identifying clouds and cloud shadows in satellite imagery
US11163998B2 (en) 2018-10-22 2021-11-02 Woven Planet North America, Inc. Systems and methods for automated image labeling for images captured from vehicles
US11568260B2 (en) 2018-10-29 2023-01-31 Google Llc Exponential modeling with deep learning features
US11055866B2 (en) 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
KR20200052444A (ko) 2018-10-30 2020-05-15 삼성전자주식회사 신경망을 이용하여 예측 결과를 출력하는 방법, 신경망을 생성하는 방법 및 그 장치들
CN109579856A (zh) 2018-10-31 2019-04-05 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置、设备及计算机可读存储介质
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11604992B2 (en) 2018-11-02 2023-03-14 Microsoft Technology Licensing, Llc Probabilistic neural network architecture generation
US20200143279A1 (en) 2018-11-06 2020-05-07 DeepSig Inc. Radio frequency band segmentation, signal detection and labelling using machine learning
CN111158355A (zh) 2018-11-07 2020-05-15 富华科精密工业（深圳）有限公司 自动导航云服务器及自动导航控制方法
WO2020097221A1 (en) 2018-11-08 2020-05-14 Evangelos Simoudis Systems and methods for managing vehicle data
US11481665B2 (en) 2018-11-09 2022-10-25 Hewlett Packard Enterprise Development Lp Systems and methods for determining machine learning training approaches based on identified impacts of one or more types of concept drift
US11124185B2 (en) 2018-11-13 2021-09-21 Zoox, Inc. Perception collision avoidance
EP3830792A4 (en) 2018-11-13 2021-12-01 Samsung Electronics Co., Ltd. SEGMENTATION AND JOINT RETOUCHING OF OBJECTS WITHOUT SUPERVISION
DE112019005750T5 (de) 2018-11-16 2021-08-05 Nvidia Corporation Erlernen des Erzeugens synthetischer Datensätze zum Trainieren neuronalerNetze
US20200162489A1 (en) 2018-11-16 2020-05-21 Airspace Systems, Inc. Security event detection and threat assessment
US11755018B2 (en) 2018-11-16 2023-09-12 Uatc, Llc End-to-end interpretable motion planner for autonomous vehicles
US11217012B2 (en) 2018-11-16 2022-01-04 Uatc, Llc System and method for identifying travel way features for autonomous vehicle motion control
US11494937B2 (en) 2018-11-16 2022-11-08 Uatc, Llc Multi-task multi-sensor fusion for three-dimensional object detection
US11449713B2 (en) 2018-11-16 2022-09-20 Uatc, Llc Attention based feature compression and localization for autonomous devices
US11461963B2 (en) 2018-11-16 2022-10-04 Uatc, Llc Systems and methods for generating synthetic light detection and ranging data via machine learning
US11715012B2 (en) 2018-11-16 2023-08-01 Uatc, Llc Feature compression and localization for autonomous devices
US11354820B2 (en) 2018-11-17 2022-06-07 Uatc, Llc Image based localization system
US10904072B2 (en) 2018-11-19 2021-01-26 Accenture Global Solutions Limited System and method for recommending automation solutions for technology infrastructure issues
US11346950B2 (en) 2018-11-19 2022-05-31 Huawei Technologies Co., Ltd. System, device and method of generating a high resolution and high accuracy point cloud
US10853670B2 (en) 2018-11-21 2020-12-01 Ford Global Technologies, Llc Road surface characterization using pose observations of adjacent vehicles
KR20200063329A (ko) 2018-11-21 2020-06-05 삼성전자주식회사 영상 처리 장치 및 그 제어방법
US11636681B2 (en) 2018-11-21 2023-04-25 Meta Platforms, Inc. Anticipating future video based on present video
US11423196B2 (en) 2018-11-28 2022-08-23 Toyota Research Institute, Inc. Systems and methods for predicting responses of a particle to a stimulus
US10867444B2 (en) 2018-11-29 2020-12-15 Adobe Inc. Synthetic data generation for training a machine learning model for dynamic object compositing in scenes
US11215997B2 (en) 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
CN109615073B (zh) 2018-12-03 2021-06-04 郑州云海信息技术有限公司 一种神经网络模型的构建方法、设备以及存储介质
US20200175354A1 (en) 2018-12-03 2020-06-04 Deep Learn, Inc. Time and accuracy estimate-based selection of machine-learning predictive models
DE102018130821A1 (de) 2018-12-04 2020-06-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Beurteilen einer Umgebung eines Kraftfahrzeugs durch ein künstliches neuronales Netz mit einer Aggregationseinheit; Steuereinheit, Fahrerassistenzsystem sowie Computerprogrammprodukt
US20200175371A1 (en) 2018-12-04 2020-06-04 Bank Of America Corporation System and method for self constructing deep neural network design through adversarial learning
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11093783B2 (en) 2018-12-05 2021-08-17 Subaru Corporation Vehicle detection apparatus
US11048318B2 (en) 2018-12-06 2021-06-29 Intel Corporation Reducing microprocessor power with minimal performance impact by dynamically adapting runtime operating configurations using machine learning
KR20200070831A (ko) 2018-12-10 2020-06-18 삼성전자주식회사 인공 신경망을 압축하기 위한 장치 및 방법
JP7369921B2 (ja) 2018-12-10 2023-10-27 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
CN110084086A (zh) 2018-12-11 2019-08-02 安徽江淮汽车集团股份有限公司 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法
CN111326023B (zh) 2018-12-13 2022-03-29 丰翼科技(深圳)有限公司 一种无人机航线预警方法、装置、设备及存储介质
DE112019006209T5 (de) 2018-12-14 2021-09-02 Apple Inc. Maschinenlernunterstützte Bildvorhersage
US11092966B2 (en) 2018-12-14 2021-08-17 The Boeing Company Building an artificial-intelligence system for an autonomous vehicle
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
US20220028052A1 (en) 2018-12-14 2022-01-27 Asml Netherlands B.V. Apparatus and method for grouping image patterns to determine wafer behavior in a patterning process
US20200193313A1 (en) 2018-12-14 2020-06-18 Parallel Machines, Inc. Interpretability-based machine learning adjustment during production
EP3776262A1 (en) 2018-12-18 2021-02-17 Google LLC Systems and methods for geolocation prediction
US10846831B2 (en) 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images
US10937186B2 (en) 2018-12-19 2021-03-02 Fca Us Llc Techniques for precisely locating landmarks in monocular camera images with deep learning
JP7293644B2 (ja) 2018-12-20 2023-06-20 カシオ計算機株式会社 画像識別装置、識別器学習方法、画像識別方法及びプログラム
US10817732B2 (en) 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision
WO2020132693A1 (en) 2018-12-21 2020-06-25 Waymo Llc Searching an autonomous vehicle sensor data repository
US11443515B2 (en) 2018-12-21 2022-09-13 Ambient AI, Inc. Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management
CN109978132A (zh) 2018-12-24 2019-07-05 中国科学院深圳先进技术研究院 一种精细化车辆识别的神经网络方法及系统
WO2020139357A1 (en) 2018-12-27 2020-07-02 Didi Research America, Llc Using image pre-processing to generate a machine learning model
CN109934163B (zh) 2018-12-27 2022-07-08 北京航空航天大学 一种基于场景先验和特征再融合的航空图像车辆检测方法
US11023745B2 (en) 2018-12-27 2021-06-01 Beijing Didi Infinity Technology And Development Co., Ltd. System for automated lane marking
WO2020139355A1 (en) 2018-12-27 2020-07-02 Didi Research America, Llc System for automated lane marking
US11087173B2 (en) 2018-12-27 2021-08-10 Beijing Didi Infinity Technology And Development Co., Ltd. Using image pre-processing to generate a machine learning model
WO2020139181A1 (en) 2018-12-28 2020-07-02 Telefonaktiebolaget Lm Ericsson (Publ) A wireless device, a network node and methods therein for updating a first instance of a machine learning model
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
US20200210840A1 (en) 2018-12-31 2020-07-02 Microsoft Technology Licensing, Llc Adjusting precision and topology parameters for neural network training based on a performance metric
US20200209857A1 (en) 2018-12-31 2020-07-02 Uber Technologies, Inc. Multimodal control system for self driving vehicle
US20200209874A1 (en) 2018-12-31 2020-07-02 Chongqing Jinkang New Energy Vehicle, Ltd. Combined virtual and real environment for autonomous vehicle planning and control testing
KR102097120B1 (ko) 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
US20200331476A1 (en) 2018-12-31 2020-10-22 Chongqing Jinkang New Energy Vehicle, Ltd. Automatic lane change with minimum gap distance
US20200218722A1 (en) 2019-01-04 2020-07-09 SayMosaic Inc. System and method for natural language processing (nlp) based searching and question answering
KR20200085490A (ko) 2019-01-07 2020-07-15 에스케이플래닛 주식회사 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체
US20200216064A1 (en) 2019-01-08 2020-07-09 Aptiv Technologies Limited Classifying perceived objects based on activity
US11294472B2 (en) 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
CN109886997B (zh) 2019-01-23 2023-07-11 平安科技（深圳）有限公司 基于目标检测的识别框确定方法、装置及终端设备
US10692002B1 (en) 2019-01-28 2020-06-23 StradVision, Inc. Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
CN111488770A (zh) 2019-01-28 2020-08-04 初速度（苏州）科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
CN109948428B (zh) 2019-01-28 2022-12-09 上海理工大学 面向传感信息处理的gpu集群深度学习边缘计算系统
US10373026B1 (en) 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
US11087175B2 (en) 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
US10628688B1 (en) 2019-01-30 2020-04-21 Stadvision, Inc. Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
US20200242511A1 (en) 2019-01-30 2020-07-30 Oracle International Corporation Dynamic Data Selection for a Machine Learning Model
WO2020157761A1 (en) 2019-01-31 2020-08-06 Amnon Buxboim Automated evaluation of embryo implantation potential
US10726279B1 (en) 2019-01-31 2020-07-28 StradVision, Inc. Method and device for attention-driven resource allocation by using AVM and reinforcement learning to thereby achieve safety of autonomous driving
US10943355B2 (en) 2019-01-31 2021-03-09 Uatc, Llc Systems and methods for detecting an object velocity
US10776673B2 (en) 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
US10540572B1 (en) 2019-01-31 2020-01-21 StradVision, Inc. Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same
US10824947B2 (en) 2019-01-31 2020-11-03 StradVision, Inc. Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same
WO2020160288A1 (en) 2019-02-01 2020-08-06 Starkey Laboratories, Inc. Efficient wellness measurement in ear-wearable devices
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
WO2020163455A1 (en) 2019-02-05 2020-08-13 Urugus S.A. Automatic optimization of machine learning algorithms in the presence of target datasets
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
WO2020167667A1 (en) 2019-02-11 2020-08-20 Flagship Pioneering Innovations Vi, Llc Machine learning guided polypeptide analysis
US11635767B2 (en) 2019-02-13 2023-04-25 Semyon Nisenzon System and method of using multi-resolution camera clusters input data for controlling autonomous vehicles
US10568570B1 (en) 2019-02-14 2020-02-25 Trungram Gyaltrul Sherpa Methods and systems for providing a preferred fitness state of a user
US10726374B1 (en) 2019-02-19 2020-07-28 Icertis, Inc. Risk prediction based on automated analysis of documents
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US10970911B2 (en) 2019-02-21 2021-04-06 Facebook Technologies, Llc Graphics processing chip with machine-learning based shader
US11977388B2 (en) 2019-02-21 2024-05-07 Nvidia Corporation Quantizing autoencoders in a neural network
CN109902732B (zh) 2019-02-22 2021-08-27 哈尔滨工业大学（深圳） 车辆自动分类方法及相关装置
US11635764B2 (en) 2019-02-22 2023-04-25 Uatc, Llc. Motion prediction for autonomous devices
US11562176B2 (en) 2019-02-22 2023-01-24 Cisco Technology, Inc. IoT fog as distributed machine learning structure search platform
WO2020176442A1 (en) 2019-02-25 2020-09-03 Walmart Apollo, Llc Systems and methods of product recognition through multi-model image processing
US11710034B2 (en) 2019-02-27 2023-07-25 Intel Corporation Misuse index for explainable artificial intelligence in computing environments
WO2020174262A1 (en) 2019-02-27 2020-09-03 Telefonaktiebolaget Lm Ericsson (Publ) Transfer learning for radio resource management
WO2020176304A1 (en) 2019-02-28 2020-09-03 Skidmore Owings & Merrill Llp Machine learning tool for structures
CN110223301B (zh) 2019-03-01 2021-08-03 华为技术有限公司 一种图像裁剪方法和电子设备
CN109949257B (zh) 2019-03-06 2021-09-10 西安电子科技大学 基于深度学习的感兴趣区域压缩感知图像重构方法
CN109978161B (zh) 2019-03-08 2022-03-04 吉林大学 一种通用的卷积-池化同步处理卷积核系统
US10949997B2 (en) 2019-03-08 2021-03-16 Ford Global Technologies, Llc Vehicle localization systems and methods
US10930065B2 (en) 2019-03-08 2021-02-23 X Development Llc Three-dimensional modeling with two dimensional data
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
CN109902186B (zh) 2019-03-12 2021-05-11 北京百度网讯科技有限公司 用于生成神经网络的方法和装置
AU2019201716A1 (en) 2019-03-13 2020-10-01 Canon Kabushiki Kaisha System and method of generating a neural network architecture
US20200294162A1 (en) 2019-03-13 2020-09-17 Opendoor Labs Inc. Value prediction error generation system
EP3924845A4 (en) 2019-03-14 2022-12-07 Hewlett-Packard Development Company, L.P. RESPONDING TO MACHINE LEARNING REQUESTS FROM MULTIPLE CUSTOMERS
US11483370B2 (en) 2019-03-14 2022-10-25 Hewlett-Packard Development Company, L.P. Preprocessing sensor data for machine learning
CN109871828B (zh) 2019-03-15 2022-12-02 京东方科技集团股份有限公司 视频识别方法和识别装置、存储介质
CN109975308B (zh) 2019-03-15 2023-03-24 维库（厦门）信息技术有限公司 一种基于深度学习的表面检测方法
US20200293828A1 (en) 2019-03-15 2020-09-17 Nvidia Corporation Techniques to train a neural network using transformations
CN113632095A (zh) 2019-03-16 2021-11-09 辉达公司 使用适合停车位检测的倾斜多边形进行对象检测
WO2020190781A1 (en) 2019-03-16 2020-09-24 Nvidia Corporation Leveraging multidimensional sensor data for computationally efficient object detection
US11580386B2 (en) 2019-03-18 2023-02-14 Electronics And Telecommunications Research Institute Convolutional layer acceleration unit, embedded system having the same, and method for operating the embedded system
US10402641B1 (en) 2019-03-19 2019-09-03 Capital One Services, Llc Platform for document classification
US20200304441A1 (en) 2019-03-19 2020-09-24 Liveperson, Inc. Dynamic communications routing to disparate endpoints
US20200302276A1 (en) 2019-03-20 2020-09-24 Gyrfalcon Technology Inc. Artificial intelligence semiconductor chip having weights of variable compression ratio
JP7240916B2 (ja) 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US11559221B2 (en) 2019-03-22 2023-01-24 Siemens Healthcare Gmbh Multi-task progressive networks for patient modeling for medical scans
US20200302662A1 (en) 2019-03-23 2020-09-24 Uatc, Llc System and Methods for Generating High Definition Maps Using Machine-Learned Models to Analyze Topology Data Gathered From Sensors
US11548533B2 (en) 2019-03-23 2023-01-10 Uatc, Llc Perception and motion prediction for autonomous devices
EP3948794B1 (en) 2019-03-23 2023-01-25 Uatc, Llc Systems and methods for generating synthetic sensor data via machine learning
CA3134771A1 (en) 2019-03-23 2020-10-01 Uatc, Llc Depth estimation for autonomous devices
WO2020198189A1 (en) 2019-03-25 2020-10-01 Zoox, Inc. Pedestrian prediction based on attributes
US11351991B2 (en) 2019-03-25 2022-06-07 Zoox, Inc. Prediction based on attributes
US11021148B2 (en) 2019-03-25 2021-06-01 Zoox, Inc. Pedestrian prediction based on attributes
US10790919B1 (en) 2019-03-26 2020-09-29 Electronic Arts Inc. Personalized real-time audio generation based on user physiological response
CN109951710B (zh) 2019-03-26 2021-07-02 中国民航大学 基于深度学习的机坪监控视频压缩方法及系统
US11199415B2 (en) 2019-03-26 2021-12-14 Lyft, Inc. Systems and methods for estimating vehicle position based on contextual sensor information
US10657934B1 (en) 2019-03-27 2020-05-19 Electronic Arts Inc. Enhancements for musical composition applications
US11740335B2 (en) 2019-03-27 2023-08-29 Zoox, Inc. Identifying and/or removing false positive detections from LIDAR sensor output
US10953334B2 (en) 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
DE112020001642T5 (de) 2019-03-29 2022-03-10 Intel Corporation Autonomes Fahrzeugsystem
US10661902B1 (en) 2019-03-29 2020-05-26 QuantumID Technologies Inc Artificial intelligence system for estimating excess non-sapient payload capacity on mixed-payload aeronautic excursions
US20200311601A1 (en) 2019-03-29 2020-10-01 Optum, Inc. Hybrid rule-based and machine learning predictions
US11709495B2 (en) 2019-03-29 2023-07-25 SafeAI, Inc. Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control
WO2020201353A1 (en) 2019-04-02 2020-10-08 Medicrea International Systems, methods, and devices for developing patient-specific spinal implants, treatments, operations, and/or procedures
US10559386B1 (en) 2019-04-02 2020-02-11 Kpn Innovations, Llc Methods and systems for an artificial intelligence support network for vibrant constituional guidance
AU2020251045A1 (en) 2019-04-04 2021-11-11 Presagen Pty Ltd Method and system for selecting embryos
US11250062B2 (en) 2019-04-04 2022-02-15 Kpn Innovations Llc Artificial intelligence methods and systems for generation and implementation of alimentary instruction sets
US11636380B2 (en) 2019-04-09 2023-04-25 Nxp B.V. Method for protecting a machine learning model against extraction using an ensemble of a plurality of machine learning models
CN111797657A (zh) 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 车辆周边障碍检测方法、装置、存储介质及电子设备
US10943132B2 (en) 2019-04-10 2021-03-09 Black Sesame International Holding Limited Distant on-road object detection
EP3722992B1 (en) 2019-04-10 2023-03-01 Teraki GmbH System and method for pre-processing images captured by a vehicle
WO2020210734A1 (en) 2019-04-11 2020-10-15 Agilent Technologies, Inc. User interface configured to facilitate user annotation for instance segmentation within biological sample
US10928508B2 (en) 2019-04-12 2021-02-23 Ford Global Technologies, Llc Camera and radar fusion
US11373044B2 (en) 2019-04-12 2022-06-28 Asapp, Inc. Maintaining machine language model state across communications channels
CN109961491B (zh) 2019-04-12 2023-05-26 上海联影医疗科技股份有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
US20200327449A1 (en) 2019-04-15 2020-10-15 Accenture Global Solutions Limited User retention platform
EP3725354B1 (en) 2019-04-15 2023-04-12 Nxp B.V. Audio controller
JP2020173744A (ja) 2019-04-15 2020-10-22 株式会社日立製作所 機械学習を用いた画像処理方式，およびそれを用いた電子制御装置
CN109901595A (zh) 2019-04-16 2019-06-18 山东大学 一种基于单目摄像头和树莓派的自动驾驶系统及方法
US11790171B2 (en) 2019-04-16 2023-10-17 Covera Health Computer-implemented natural language understanding of medical reports
JP7188255B2 (ja) 2019-04-16 2022-12-13 富士通株式会社 学習方法、学習プログラムおよび学習装置
US11809993B2 (en) 2019-04-18 2023-11-07 Google Llc Systems and methods for determining graph similarity
US11126890B2 (en) 2019-04-18 2021-09-21 Adobe Inc. Robust training of large-scale object detectors with a noisy dataset
US10893070B2 (en) 2019-04-18 2021-01-12 Facebook, Inc. Detecting a page for a real-world entity, an imposter of a real-world entity, or a non-real-world entity that complies with or violates a policy of an online system
CN110060202B (zh) 2019-04-19 2021-06-08 湖北亿咖通科技有限公司 一种单目slam算法的初始化方法及系统
KR20230019263A (ko) 2019-04-23 2023-02-07 딥시그 인크. 머신-러닝 네트워크를 이용한 통신 신호들의 프로세싱
US20200342968A1 (en) 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US11257272B2 (en) 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
DE112020002126T5 (de) 2019-04-26 2022-02-24 Nvidia Corporation Erkennung von kreuzungsposen in autonomen maschinenanwendungen
CN110111340B (zh) 2019-04-28 2021-05-14 南开大学 基于多路割的弱监督实例分割方法
CN110175671B (zh) 2019-04-28 2022-12-27 华为技术有限公司 神经网络的构建方法、图像处理方法及装置
US11176493B2 (en) 2019-04-29 2021-11-16 Google Llc Virtualizing external memory as local to a machine learning accelerator
GB2583509B (en) 2019-05-01 2023-02-22 Advanced Risc Mach Ltd System and method for fault detection and correction
US10789402B1 (en) 2019-05-01 2020-09-29 Xilinx, Inc. Compiler and hardware abstraction layer architecture for a neural network accelerator
US10475208B1 (en) 2019-05-02 2019-11-12 Capital One Services, Llc Vehicle analysis platform
US10924661B2 (en) 2019-05-02 2021-02-16 International Business Machines Corporation Generating image capture configurations and compositions
US11557392B2 (en) 2019-05-03 2023-01-17 Gyrus Acmi, Inc. Context and state aware treatment room efficiency
US11556615B2 (en) 2019-05-03 2023-01-17 Tesla, Inc. Data path for scalable matrix node engine with mixed data formats
CN110135485A (zh) 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统
US11556861B2 (en) 2019-05-06 2023-01-17 Google Llc Debugging correctness issues in training machine learning models
US11461664B2 (en) 2019-05-07 2022-10-04 Kpn Innovations, Llc. Methods and systems for an artificial intelligence alimentary professional support network for vibrant constitutional guidance
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
US10832418B1 (en) 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images
CN110334801A (zh) 2019-05-09 2019-10-15 苏州浪潮智能科技有限公司 一种卷积神经网络的硬件加速方法、装置、设备及系统
US20200356107A1 (en) 2019-05-10 2020-11-12 Uber Technologies, Inc. Walkway Detection for Autonomous Light Electric Vehicle
US20200364508A1 (en) 2019-05-14 2020-11-19 Nvidia Corporation Using decay parameters for inferencing with neural networks
EP3739486A1 (en) 2019-05-14 2020-11-18 CrowdStrike, Inc. Applications of machine learning models to a binary search engine based on an inverted index of byte sequences
US11263467B2 (en) 2019-05-15 2022-03-01 Apical Limited Image processing
US11701771B2 (en) 2019-05-15 2023-07-18 Nvidia Corporation Grasp generation using a variational autoencoder
CN110069071B (zh) 2019-05-15 2022-06-14 深圳铂石空间科技有限公司 无人机导航方法与装置、存储介质、电子设备
US11475277B2 (en) 2019-05-16 2022-10-18 Google Llc Accurate and interpretable classification with hard attention
US11869037B2 (en) 2019-05-17 2024-01-09 gStore LLC Integrating content-delivery platforms into programmatic environments generated by executed applications
KR102071179B1 (ko) 2019-05-20 2020-01-29 주식회사 루닛 데이터 셋의 연속적인 학습 방법 및 장치
KR102043143B1 (ko) 2019-05-20 2019-11-11 호서대학교 산학협력단 인공신경망을 이용한 agv 주행제어 방법 및 장치
US20200372402A1 (en) 2019-05-24 2020-11-26 Bank Of America Corporation Population diversity based learning in adversarial and rapid changing environments
US11610142B2 (en) 2019-05-28 2023-03-21 Ati Technologies Ulc Safety monitor for image misclassification
JP7383870B2 (ja) 2019-05-30 2023-11-21 モービルアイ ビジョン テクノロジーズ リミテッド デバイス、方法、システムおよびコンピュータプログラム
CN110225341B (zh) 2019-06-03 2020-08-28 中国科学技术大学 一种任务驱动的码流结构化图像编码方法
KR20200142266A (ko) 2019-06-12 2020-12-22 (주)리터너블 객체 인식 시스템 및 이를 사용한 객체 인식 방법
US11928557B2 (en) 2019-06-13 2024-03-12 Lyft, Inc. Systems and methods for routing vehicles to capture and evaluate targeted scenarios
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
US11113568B2 (en) 2019-06-14 2021-09-07 Canon Kabushiki Kaisha Devices, systems, and methods for device-error analysis using computer vision and machine learning
US11494930B2 (en) 2019-06-17 2022-11-08 SafeAI, Inc. Techniques for volumetric estimation
CN112101562B (zh) 2019-06-18 2024-01-30 第四范式（北京）技术有限公司 机器学习建模过程的实现方法和系统
KR20220024718A (ko) 2019-06-18 2022-03-03 몰로코, 인크. 머신 러닝 서비스를 제공하기 위한 방법 및 시스템
US20200402155A1 (en) 2019-06-20 2020-12-24 Bank Of America Corporation Systems for providing real-time resource distribution to a resource event having standard delayed resource availability
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
US11087463B2 (en) 2019-06-21 2021-08-10 StraxCorp Pty. Ltd. Image analysis method and system for assessing bone fragility
US11192558B2 (en) 2019-06-24 2021-12-07 Here Global B.V. Method, apparatus, and system for providing road curvature data
CN110310264B (zh) 2019-06-25 2021-07-20 北京邮电大学 一种基于dcnn的大尺度目标检测方法、装置
US11436837B2 (en) 2019-06-25 2022-09-06 Nvidia Corporation Intersection region detection and classification for autonomous machine applications
US20200410288A1 (en) 2019-06-26 2020-12-31 Here Global B.V. Managed edge learning in heterogeneous environments
US11158056B2 (en) 2019-06-26 2021-10-26 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection
US11170567B2 (en) 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data
US11163990B2 (en) 2019-06-28 2021-11-02 Zoox, Inc. Vehicle control system and method for pedestrian detection based on head detection in sensor data
DE102019209565A1 (de) 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
WO2020264010A1 (en) 2019-06-28 2020-12-30 Zoox, Inc. Low variance region detection for improved detection
US11657094B2 (en) 2019-06-28 2023-05-23 Meta Platforms Technologies, Llc Memory grounded conversational reasoning and question answering for assistant systems
US20210006835A1 (en) 2019-07-01 2021-01-07 Microsoft Technology Licensing, Llc Blurring to improve visual quality in an area of interest in a frame
CN110414362A (zh) 2019-07-02 2019-11-05 安徽继远软件有限公司 基于生成式对抗网络的电力图像数据增广方法
US11467588B2 (en) 2019-07-03 2022-10-11 Denso International America, Inc. Systems and methods for controlling an autonomous vehicle using target orientated artificial intelligence
US11113689B2 (en) 2019-07-03 2021-09-07 Sap Se Transaction policy audit
KR20210004306A (ko) 2019-07-04 2021-01-13 삼성전자주식회사 뉴럴 네트워크 장치 및 뉴럴 네트워크의 파라미터 양자화 방법
US11023749B2 (en) 2019-07-05 2021-06-01 Zoox, Inc. Prediction on top-down scenes based on action data
US11475675B2 (en) 2019-07-08 2022-10-18 Uatc, Llc Systems and methods for identifying unknown instances
US11681925B2 (en) 2019-07-08 2023-06-20 Vianai Systems, Inc. Techniques for creating, analyzing, and modifying neural networks
CN110321965B (zh) 2019-07-10 2021-06-18 腾讯科技（深圳）有限公司 物体重识别模型的训练方法、物体重识别的方法及装置
US20210011908A1 (en) 2019-07-11 2021-01-14 Ghost Locomotion Inc. Model-based structured data filtering in an autonomous vehicle
US11829896B2 (en) 2019-07-11 2023-11-28 Ghost Autonomy Inc. Uncertainty-based data filtering in a vehicle
US20210012239A1 (en) 2019-07-12 2021-01-14 Microsoft Technology Licensing, Llc Automated generation of machine learning models for network evaluation
US11379287B2 (en) 2019-07-17 2022-07-05 Factualvr, Inc. System and method for error detection and correction in virtual reality and augmented reality environments
US11191342B2 (en) 2019-07-18 2021-12-07 L'oreal Techniques for identifying skin color in images having uncontrolled lighting conditions
CN110473173A (zh) 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法
US11941976B2 (en) 2019-07-25 2024-03-26 Pony Ai Inc. System and method for sharing data collected from the street sensors
CN110599537A (zh) 2019-07-25 2019-12-20 中国地质大学（武汉） 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
US10893107B1 (en) 2019-07-25 2021-01-12 Amazon Technologies, Inc. Techniques for managing processing resources
US20210030276A1 (en) 2019-07-29 2021-02-04 DawnLight Technologies Inc. Remote Health Monitoring Systems and Method
CN112308095A (zh) 2019-07-30 2021-02-02 顺丰科技有限公司 图片预处理及模型训练方法、装置、服务器及存储介质
CN110399875A (zh) 2019-07-31 2019-11-01 山东浪潮人工智能研究院有限公司 一种基于深度学习与像素投影的通用表格信息提取方法
US11200456B2 (en) 2019-07-31 2021-12-14 GE Precision Healthcare LLC Systems and methods for generating augmented training data for machine learning models
CN110426051B (zh) 2019-08-05 2021-05-18 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
US11182903B2 (en) 2019-08-05 2021-11-23 Sony Corporation Image mask generation using a deep neural network
US11449709B2 (en) 2019-08-08 2022-09-20 Nvidia Corporation Domain restriction of neural networks through synthetic data pre-training
US11531883B2 (en) 2019-08-12 2022-12-20 Bank Of America Corporation System and methods for iterative synthetic data generation and refinement of machine learning models
US11537880B2 (en) 2019-08-12 2022-12-27 Bank Of America Corporation System and methods for generation of synthetic data cluster vectors and refinement of machine learning models
US11348339B2 (en) 2019-08-13 2022-05-31 Uatc, Llc Association and tracking for autonomous devices
US11593753B2 (en) 2019-08-13 2023-02-28 United Parcel Service Of America, Inc. Multi-phase consolidation optimization tool
CA3090128A1 (en) 2019-08-14 2021-02-14 Royal Bank Of Canada System and method for machine learning architecture for enterprise capitalization
US11634162B2 (en) 2019-08-16 2023-04-25 Uatc, Llc. Full uncertainty for motion planning in autonomous vehicles
CN110543837B (zh) 2019-08-16 2022-03-15 北京航空航天大学 一种基于潜在目标点的可见光机场飞机检测方法
US11302009B2 (en) 2019-08-19 2022-04-12 Fotonation Limited Method of image processing using a neural network
US11144754B2 (en) 2019-08-19 2021-10-12 Nvidia Corporation Gaze detection using one or more neural networks
US11594036B2 (en) 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
CN110516665A (zh) 2019-08-23 2019-11-29 上海眼控科技股份有限公司 识别图像叠加文字区域的神经网络模型构建方法与系统
US11232110B2 (en) 2019-08-23 2022-01-25 Capital One Services, Llc Natural language keyword tag extraction
CN110619282B (zh) 2019-08-26 2023-01-10 海南撰云空间信息技术有限公司 一种无人机正射影像建筑物自动提取方法
CN110619283B (zh) 2019-08-26 2023-01-10 海南撰云空间信息技术有限公司 一种无人机正射影像道路自动提取方法
CN110569899B (zh) 2019-09-03 2022-06-10 嘉陵江亭子口水利水电开发有限公司 坝面缺陷分类模型训练方法及装置
CN110619330A (zh) 2019-09-18 2019-12-27 上海眼控科技股份有限公司 识别模型的训练方法、装置、计算机设备及识别方法
CN110751280A (zh) 2019-09-19 2020-02-04 华中科技大学 一种应用于卷积神经网络的可配置卷积加速器
CN110659628A (zh) 2019-10-09 2020-01-07 山东浪潮人工智能研究院有限公司 一种基于深度学习的煤矿监控视频解压缩方法及系统
CN110599864A (zh) 2019-10-28 2019-12-20 苏州智行众维智能科技有限公司 一种基于室内交通场景模拟传感器建模和验证装置及方法
CN110826566B (zh) 2019-11-01 2022-03-01 北京环境特性研究所 一种基于深度学习的目标切片提取方法
US10819923B1 (en) 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars
CN110966991B (zh) 2019-11-21 2021-07-02 中国人民解放军国防科技大学 一种无控制点下的单幅无人机影像定位方法
CN110956185B (zh) 2019-11-21 2023-04-18 大连理工大学人工智能大连研究院 一种图像显著目标的检测方法
CN110631593B (zh) 2019-11-25 2020-02-21 奥特酷智能科技(南京)有限公司 一种用于自动驾驶场景的多传感器融合定位方法
DE102019008316A1 (de) 2019-11-29 2020-08-13 Daimler Ag Verfahren zur Objekterkennung und Abstandsbestimmung
CN111126453B (zh) 2019-12-05 2022-05-03 重庆邮电大学 基于注意力机制和切割填充的细粒度图像分类方法及系统
CN110688992B (zh) 2019-12-09 2020-08-04 中智行科技有限公司 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
CN111027549A (zh) 2019-12-10 2020-04-17 北京服装学院 一种针对女上装关键点识别方法
CN111027575B (zh) 2019-12-13 2022-06-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
US10902551B1 (en) 2019-12-17 2021-01-26 X Development Llc True positive transplant
US10796355B1 (en) 2019-12-27 2020-10-06 Capital One Services, Llc Personalized car recommendations based on customer web traffic
US11536574B2 (en) 2019-12-27 2022-12-27 Intel Corporation System and method for acceleration-based vector field maps
CN111062973B (zh) 2019-12-31 2021-01-01 西安电子科技大学 基于目标特征敏感性和深度学习的车辆跟踪方法
US10732261B1 (en) 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning
CN111047225B (zh) 2020-01-10 2021-03-23 惠州光弘科技股份有限公司 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法
US11341170B2 (en) 2020-01-10 2022-05-24 Hearst Magazine Media, Inc. Automated extraction, inference and normalization of structured attributes for product data
CN111275618B (zh) 2020-01-12 2023-09-29 杭州电子科技大学 一种基于双支感知的深度图超分辨率重建网络构建方法
CN111275080B (zh) 2020-01-14 2021-01-08 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
US10845943B1 (en) 2020-02-14 2020-11-24 Carmax Business Services, Llc Systems and methods for generating a 360-degree viewing experience
CN111275129A (zh) 2020-02-17 2020-06-12 平安科技（深圳）有限公司 一种图像数据的增广策略选取方法及系统
CN111461110B (zh) 2020-03-02 2023-04-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法
CN111598095B (zh) 2020-03-09 2023-04-07 浙江工业大学 一种基于深度学习的城市道路场景语义分割方法
CN111444821B (zh) 2020-03-24 2022-03-25 西北工业大学 一种城市道路标志自动识别方法
US11455793B2 (en) 2020-03-25 2022-09-27 Intel Corporation Robust object detection and classification using static-based cameras and events-based cameras
US11568655B2 (en) 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
US11586854B2 (en) 2020-03-26 2023-02-21 Intel Corporation Devices and methods for accurately identifying objects in a vehicle's environment
US11597393B2 (en) 2020-03-26 2023-03-07 Intel Corporation Systems, methods, and devices for driving control
US11886968B2 (en) 2020-03-27 2024-01-30 Intel Corporation Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems
CN111445420B (zh) 2020-04-09 2023-06-06 北京爱芯科技有限公司 卷积神经网络的图像运算方法、装置和电子设备
CN111461053B (zh) 2020-04-13 2023-05-23 安徽大学 基于迁移学习的多个生育期小麦倒伏区域识别系统
CN111461052B (zh) 2020-04-13 2023-05-23 安徽大学 基于迁移学习的多个生育期小麦倒伏区域识别方法
CN111539514B (zh) 2020-04-16 2023-06-06 北京百度网讯科技有限公司 用于生成神经网络的结构的方法和装置
CN111428943B (zh) 2020-04-23 2021-08-03 福瑞泰克智能系统有限公司 障碍物车辆轨迹预测的方法、设备和计算机设备
KR102189262B1 (ko) 2020-04-29 2020-12-11 주식회사 글로벌브릿지 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
CN111565318A (zh) 2020-05-06 2020-08-21 中国科学院重庆绿色智能技术研究院 一种基于稀疏样本的视频压缩方法
CN111582216B (zh) 2020-05-15 2023-08-04 安徽师范大学 一种无人驾驶车载交通信号灯识别系统及方法
CN111693972B (zh) 2020-05-29 2022-11-15 东南大学 一种基于双目序列图像的车辆位置与速度估计方法
CN111783545A (zh) 2020-06-02 2020-10-16 山西潞安环保能源开发股份有限公司五阳煤矿 一种基于生成对抗网络的煤矿无人机图像增强方法
CN111767801B (zh) 2020-06-03 2023-06-16 中国地质大学（武汉） 一种基于深度学习的遥感影像水域自动提取方法及系统
CN111814623A (zh) 2020-06-29 2020-10-23 浙江工业大学 一种基于深度神经网络的车辆车道偏离视觉检测方法
CN111860499B (zh) 2020-07-01 2022-07-12 电子科技大学 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法
CN111783971B (zh) 2020-07-02 2024-04-09 上海赛昉科技有限公司 一种用于深度神经网络的可高度灵活配置的数据后处理器
CN111882579A (zh) 2020-07-03 2020-11-03 湖南爱米家智能科技有限公司 基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备
CN111899227A (zh) 2020-07-06 2020-11-06 北京交通大学 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN111768002B (zh) 2020-07-10 2021-06-22 南开大学 一种基于弹性有效位的深度神经网络量化方法
CN111814902A (zh) 2020-07-21 2020-10-23 南方电网数字电网研究院有限公司 目标检测模型训练方法、目标识别方法、装置和介质
CN111898507B (zh) 2020-07-22 2022-06-03 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN111897639B (zh) 2020-07-29 2022-12-27 平安科技（深圳）有限公司 图像增广方法、装置、计算机设备及存储介质
CN111898523A (zh) 2020-07-29 2020-11-06 电子科技大学 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN111899245B (zh) 2020-07-30 2021-03-09 推想医疗科技股份有限公司 图像分割、模型的训练方法及装置，电子设备及存储介质
CN111881856B (zh) 2020-07-31 2023-01-31 蚂蚁胜信(上海)信息技术有限公司 基于图像的车辆定损方法和装置
CN112101175B (zh) 2020-09-09 2024-05-10 沈阳帝信人工智能产业研究院有限公司 基于局部图像的高速公路车辆检测及多属性特征提取方法
CN112115953B (zh) 2020-09-18 2023-07-11 南京工业大学 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法
CN112232497A (zh) 2020-10-12 2021-01-15 苏州浪潮智能科技有限公司 一种编译ai芯片的方法、系统、设备及介质
CN112329552B (zh) 2020-10-16 2023-07-14 爱驰汽车（上海）有限公司 基于汽车的障碍物检测方法及装置
CN112348783B (zh) 2020-10-27 2022-08-05 基建通(三亚)国际科技有限公司 基于图像的人物识别方法、装置及计算机可读存储介质
CN112183739B (zh) 2020-11-02 2022-10-04 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构
CN112308799A (zh) 2020-11-05 2021-02-02 山东交通学院 基于多传感器海上道路复杂环境能见度优化屏幕显示方法
CN112288658B (zh) 2020-11-23 2023-11-28 杭州师范大学 一种基于多残差联合学习的水下图像增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010083312A (ja) * 2008-09-30 2010-04-15 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2017207874A (ja) * 2016-05-17 2017-11-24 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2018072105A (ja) * 2016-10-27 2018-05-10 株式会社Ｓｏｋｅｎ 物体検知装置
JP2018097648A (ja) * 2016-12-14 2018-06-21 株式会社デンソー 車両における衝突回避装置および衝突回避方法
JP2019008460A (ja) * 2017-06-22 2019-01-17 株式会社東芝 物体検出装置、物体検出方法およびプログラム

Also Published As

Publication number Publication date
US20210326610A1 (en) 2021-10-21
EP3928249A1 (en) 2021-12-29
IL285623B2 (en) 2024-05-01
US10956755B2 (en) 2021-03-23
US20240127599A1 (en) 2024-04-18
IL309617A (en) 2024-02-01
KR102618700B1 (ko) 2023-12-29
CA3130097A1 (en) 2020-08-27
IL285623A (en) 2021-09-30
AU2020224581A1 (en) 2021-09-02
US11790664B2 (en) 2023-10-17
KR20210126072A (ko) 2021-10-19
IL285623B1 (en) 2024-01-01
CN113692587A (zh) 2021-11-23
WO2020171983A1 (en) 2020-08-27
KR20240005151A (ko) 2024-01-11
JP2024073621A (ja) 2024-05-29
US11288524B2 (en) 2022-03-29
US20200265247A1 (en) 2020-08-20
US20220284712A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
KR102618700B1 (ko) 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정
JP7374199B2 (ja) 自動運転のための３次元特徴の予測のためのシステム、コンピュータプログラム製品および方法
JP7467485B2 (ja) 時系列要素からの機械学習のためのグラウンドトゥルースの生成
US20240126268A1 (en) Track refinement networks
WO2024081226A1 (en) Track refinement networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230119

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231121