JP2019109245A - 視覚強化ナビゲーション - Google Patents
視覚強化ナビゲーション Download PDFInfo
- Publication number
- JP2019109245A JP2019109245A JP2019026075A JP2019026075A JP2019109245A JP 2019109245 A JP2019109245 A JP 2019109245A JP 2019026075 A JP2019026075 A JP 2019026075A JP 2019026075 A JP2019026075 A JP 2019026075A JP 2019109245 A JP2019109245 A JP 2019109245A
- Authority
- JP
- Japan
- Prior art keywords
- navigation system
- user
- vehicle
- camera
- instructions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
Abstract
Description
本出願は、2013年6月13日出願の米国仮出願第61/834,488号の優先権を米国特許法第119条の下で主張し、その米国仮出願は、その全体において参照により本明細書に援用される。
本開示は、一般に、ナビゲーションシステムに関し、特に、1つ又は複数の画像取得装置から取得された画像情報に基づいて決定された視覚情報を用いて、ナビゲーション指示を強化するための装置及び技術に関する。
車両用途で用いられるものを含むGPSベースのナビゲーションシステムは、有用であり一般的である。これらのタイプのナビゲーションシステムに対するユーザインターフェースは、引き続き改善され、今や、ソーシャルネットワークからの情報及び交通管制システムからのリアルタイム情報を受信することができる。しかしながら、他の改善が、これらのシステムの機能を更に向上させ、且つそれらをよりユーザフレンドリにさえすることが可能である。例えば、現在のシステムにおいて、可聴ナビゲーション指示が、地図データから導き出された情報に基づいて提供されるが、しかしこれら指示は、ナビゲーションシステムのユーザが実際に見ることができるものを考慮しない。従って、これらの種類のシステムは、限られた情報だけをユーザに提供することができる。
車両、ユーザ等に関連する環境に関係する画像データから導き出された視覚情報に関連する視覚キューを含むために、標準ナビゲーション指示を強化するか、補足するか、置き換えるか又はそうでなければ修正するためのシステム及び方法を含む実施形態が本明細書で開示される。
以下の詳細な説明は、添付の図面を参照する。図面及び以下の説明において、可能な限り、同じ参照番号が、同じ又は類似の部分を指すために用いられる。幾つかの実例的な実施形態が、本明細書で説明されるが、修正、適応及び他の実装形態が可能である。例えば、置き換え、追加又は修正が、図面に示されているコンポーネントに対してなされても良く、本明細書で説明される実例的な方法は、開示される方法に対してステップを置き換え、再整理し、削除し又は追加することによって、修正されても良い。従って、以下の詳細な説明は、開示される実施形態を限定するものではない。代わりに、適切な範囲は、添付の請求項によって定義される。
Claims (29)
- 少なくとも1つの処理装置であって、
ナビゲーションシステムに関連する1つ又は複数の位置センサの出力に基づいて、前記ナビゲーションシステムに関連する少なくとも1つのコンポーネントの現在位置を決定すること、
前記現在位置と異なる目的地を決定すること、
1つ又は複数の画像取得装置から、前記ナビゲーションシステムのユーザの環境を表す複数の画像を取得すること、
前記複数の画像から、前記環境における少なくとも1つの対象物に関連する視覚情報を導き出すこと、
前記現在位置から前記目的地へナビゲートするための1つ又は複数の指示を決定し、前記1つ又は複数の指示が、前記複数の画像から導き出された前記視覚情報への少なくとも1つの言及を含むこと、且つ
前記1つ又は複数の指示を前記ユーザに送ること、
を行うように構成された少なくとも1つの処理装置を含むナビゲーションシステム。 - 前記目的地の決定が、ユーザ入力に基づく、請求項1に記載のナビゲーションシステム。
- 前記ユーザ入力が、前記目的地に対応する住所の入力を含む、請求項2に記載のナビゲーションシステム。
- 前記1つ又は複数の画像取得装置が、第1のカメラ及び第2のカメラを含み、前記第1のカメラが、前記第2のカメラの焦点距離と異なる焦点距離を有する、請求項1に記載のナビゲーションシステム。
- 前記1つ又は複数の画像取得装置が、前記第1のカメラの前記焦点距離及び前記第2のカメラの前記焦点距離と異なる焦点距離を有する第3のカメラを含む、請求項4に記載のナビゲーションシステム。
- 前記1つ又は複数の画像取得装置が、少なくとも5メガ画素の分解能を有するカメラを含む、請求項1に記載のナビゲーションシステム。
- 前記視覚情報が、前記環境における前記少なくとも1つの対象物の少なくとも1つの特徴に関する、請求項1に記載のナビゲーションシステム。
- 前記少なくとも1つの対象物が、車両、建物、看板、交通信号、道路の特徴、構造物、又は人間の少なくとも1つを含む、請求項7に記載のナビゲーションシステム。
- 前記少なくとも1つの処理装置が、
少なくとも1つのマップされたエンティティを識別するために地図データを用いること、
前記少なくとも1つのマップされたエンティティが前記ユーザに見えるかどうかを、前記複数の画像に基づいて決定すること、且つ
前記マップされたエンティティが前記ユーザに見えると決定された場合に、前記マップされたエンティティへの少なくとも1つの言及を前記1つ又は複数の指示に含めること、
を行うように構成される、請求項1に記載のナビゲーションシステム。 - 前記少なくとも1つの処理装置が、
少なくとも1つのマップされたエンティティを識別するために地図データを用いること、
前記少なくとも1つのマップされたエンティティが前記ユーザに見えるかどうかを、前記複数の画像に基づいて決定すること、且つ
前記マップされたエンティティが前記ユーザに見えないと決定された場合に、前記マップされたエンティティへの少なくとも1つの言及及び前記マップされたエンティティを前記ユーザの視界から隠す対象物への少なくとも1つの言及を、前記決定された1つ又は複数の指示に含めること、
を行うように構成される、請求項1に記載のナビゲーションシステム。 - 前記少なくとも1つの処理装置が、
少なくとも1つのマップされたエンティティを識別するために地図データを用いること、
前記少なくとも1つのマップされたエンティティが前記ユーザに見えるかどうかを、前記複数の画像に基づいて決定すること、且つ
前記マップされたエンティティが前記ユーザに見えないと決定された場合に、前記マップされたエンティティへのどんな言及も、前記決定された1つ又は複数の指示から省略すること、
を行うように構成される、請求項1に記載のナビゲーションシステム。 - 前記視覚情報が、前記環境における前記少なくとも1つの対象物に関連する色を含む、請求項1に記載のナビゲーションシステム。
- 前記視覚情報が、前記環境における前記少なくとも1つの対象物に関連する対象物タイプを含む、請求項1に記載のナビゲーションシステム。
- 前記1つ又は複数の指示が、聞き取れるように前記ユーザに送られる、請求項1に記載のナビゲーションシステム。
- 前記1つ又は複数の指示が、モバイル装置に関連するディスプレイ又はスピーカの少なくとも1つに送られる、請求項1に記載のナビゲーションシステム。
- 前記1つ又は複数の指示が、車両に関連するディスプレイ又はスピーカの少なくとも1つに送られる、請求項1に記載のナビゲーションシステム。
- 前記1つ又は複数の指示が、ウェアラブル装置に関連するディスプレイ又はスピーカの少なくとも1つに送られる、請求項1に記載のナビゲーションシステム。
- 前記1つ又は複数の画像取得装置が、先進運転支援システム(Advanced Driver Assistance System)によるカメラを含む、請求項1に記載のナビゲーションシステム。
- 車両の位置を表す出力を提供するように構成されたGPSセンサと、
前記車両の外部の環境の複数の画像を取得するように構成された1つ又は複数の画像取得装置と、
少なくとも1つの処理装置であって、
ナビゲーションシステムに関連する1つ又は複数の位置センサの出力に基づいて、前記ナビゲーションシステムに関連する少なくとも1つのコンポーネントの現在位置を決定すること、
前記現在位置と異なる目的地を決定すること、
1つ又は複数の画像取得装置から、前記ナビゲーションシステムのユーザの環境を表す複数の画像を取得すること、
前記複数の画像から、前記環境における少なくとも1つの対象物に関連する視覚情報を導き出すこと、
前記現在位置から前記目的地へナビゲートするための1つ又は複数の指示を決定し、前記1つ又は複数の指示が、前記複数の画像から導き出された前記視覚情報への少なくとも1つの言及を含むこと、且つ
前記1つ又は複数の指示を前記ユーザに送ること、を行うように構成された少なくとも1つの処理装置と、
を含む車両。 - 前記目的地の決定が、前記目的地に対応する住所を含むユーザ入力に基づく、請求項19に記載の車両。
- 前記1つ又は複数の画像取得装置が、第1のカメラ及び第2のカメラを含み、前記第1のカメラが、前記第2のカメラの焦点距離と異なる焦点距離を有する、請求項19に記載の車両。
- 前記1つ又は複数の画像取得装置が、少なくとも5メガ画素の分解能を有するカメラを含む、請求項19に記載の車両。
- 前記視覚情報が、前記環境における前記少なくとも1つの対象物の少なくとも1つの特徴に関する、請求項19に記載の車両。
- 前記少なくとも1つの対象物が、車両、建物、看板、交通信号、道路の特徴、構造物、又は人間の少なくとも1つを含む、請求項19に記載の車両。
- 前記少なくとも1つの処理装置が、
少なくとも1つのマップされたエンティティを識別するために地図データを用いること、
前記少なくとも1つのマップされたエンティティが前記ユーザに見えるかどうかを、前記複数の画像に基づいて決定すること、
前記マップされたエンティティが前記ユーザに見えると決定された場合に、前記マップされたエンティティへの少なくとも1つの言及を前記決定された1つ又は複数の指示に含めること、
を行うように構成される、請求項19に記載の車両。 - 前記少なくとも1つの処理装置が、
前記マップされたエンティティが前記ユーザに見えないと決定された場合に、前記マップされたエンティティへの少なくとも1つの言及及び前記マップされたエンティティを前記ユーザの視界から隠す対象物への少なくとも1つの言及を、前記決定された1つ又は複数の指示に含めること、を行うように構成される、請求項25に記載の車両。 - 前記視覚情報が、前記環境における前記少なくとも1つの対象物に関連する色又はタイプの少なくとも1つを含む、請求項19に記載の車両。
- 前記1つ又は複数の指示が、聞き取れるように前記ユーザに送られる、請求項19に記載の車両。
- ナビゲーション情報を生成し送るための方法であって、
1つ又は複数の位置センサの出力に基づいて現在位置を決定するために、1つ又は複数の処理装置を用いることと、
前記現在位置と異なる目的地を決定することと、
1つ又は複数の画像取得装置から、個人を取り囲む環境を表す複数の画像を取得することと、
前記環境における少なくとも1つの対象物に関連する視覚情報を前記複数の画像から導き出すために、前記1つ又は複数の処理装置を用いることと、
前記現在位置から前記目的地へナビゲートするための1つ又は複数の指示を決定することであって、前記1つ又は複数の指示が、前記複数の画像から導き出された前記視覚情報への少なくとも1つの言及を含むことと、
前記1つ又は複数の指示を前記個人に送ることと、
を含む方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361834488P | 2013-06-13 | 2013-06-13 | |
US61/834,488 | 2013-06-13 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016519670A Division JP6484228B2 (ja) | 2013-06-13 | 2014-06-13 | 視覚強化ナビゲーション |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019225622A Division JP2020064068A (ja) | 2013-06-13 | 2019-12-13 | 視覚強化ナビゲーション |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019109245A true JP2019109245A (ja) | 2019-07-04 |
JP6763448B2 JP6763448B2 (ja) | 2020-09-30 |
Family
ID=52019931
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016519670A Active JP6484228B2 (ja) | 2013-06-13 | 2014-06-13 | 視覚強化ナビゲーション |
JP2019026075A Active JP6763448B2 (ja) | 2013-06-13 | 2019-02-15 | 視覚強化ナビゲーション |
JP2019225622A Pending JP2020064068A (ja) | 2013-06-13 | 2019-12-13 | 視覚強化ナビゲーション |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016519670A Active JP6484228B2 (ja) | 2013-06-13 | 2014-06-13 | 視覚強化ナビゲーション |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019225622A Pending JP2020064068A (ja) | 2013-06-13 | 2019-12-13 | 視覚強化ナビゲーション |
Country Status (5)
Country | Link |
---|---|
US (3) | US9671243B2 (ja) |
EP (2) | EP3650814B1 (ja) |
JP (3) | JP6484228B2 (ja) |
CN (3) | CN110906949B (ja) |
WO (1) | WO2014201324A1 (ja) |
Families Citing this family (101)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102133365B1 (ko) * | 2013-05-09 | 2020-07-13 | 삼성전자 주식회사 | 정보를 사용자에게 제공하기 위한 전자 장치 |
JP6484228B2 (ja) | 2013-06-13 | 2019-03-13 | モービルアイ ビジョン テクノロジーズ リミテッド | 視覚強化ナビゲーション |
WO2015189847A1 (en) | 2014-06-10 | 2015-12-17 | Mobileye Vision Technologies Ltd. | Top-down refinement in lane marking navigation |
KR20160001178A (ko) * | 2014-06-26 | 2016-01-06 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
EP3183688B1 (en) | 2014-08-18 | 2023-08-23 | Mobileye Vision Technologies Ltd. | Recognition and prediction of lane constraints |
KR102622571B1 (ko) * | 2015-02-10 | 2024-01-09 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
US9566986B1 (en) | 2015-09-25 | 2017-02-14 | International Business Machines Corporation | Controlling driving modes of self-driving vehicles |
EP4246094A3 (en) | 2015-09-25 | 2023-12-27 | Apple Inc. | Augmented reality display system |
US10875403B2 (en) * | 2015-10-27 | 2020-12-29 | Magna Electronics Inc. | Vehicle vision system with enhanced night vision |
EP3491494B1 (en) * | 2016-09-23 | 2021-12-15 | Apple Inc. | Immersive virtual display |
US10643391B2 (en) | 2016-09-23 | 2020-05-05 | Apple Inc. | Immersive virtual display |
FR3057500B1 (fr) * | 2016-10-17 | 2018-11-16 | Saint-Gobain Glass France | Pare-brise et dispositif pour aide a la conduite |
KR20180070198A (ko) * | 2016-12-16 | 2018-06-26 | 현대자동차주식회사 | 차량 및 차량의 제어방법 |
US9953236B1 (en) | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
EP3372465B1 (en) * | 2017-03-10 | 2022-08-24 | The Hi-Tech Robotic Systemz Ltd | Method and system for vehicle status based advanced driver assistance |
US10147193B2 (en) | 2017-03-10 | 2018-12-04 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (HDC) |
US10671873B2 (en) | 2017-03-10 | 2020-06-02 | Tusimple, Inc. | System and method for vehicle wheel detection |
US11587304B2 (en) | 2017-03-10 | 2023-02-21 | Tusimple, Inc. | System and method for occluding contour detection |
US10311312B2 (en) | 2017-08-31 | 2019-06-04 | TuSimple | System and method for vehicle occlusion detection |
US10067509B1 (en) | 2017-03-10 | 2018-09-04 | TuSimple | System and method for occluding contour detection |
US9952594B1 (en) | 2017-04-07 | 2018-04-24 | TuSimple | System and method for traffic data collection using unmanned aerial vehicles (UAVs) |
US10471963B2 (en) | 2017-04-07 | 2019-11-12 | TuSimple | System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle |
US10710592B2 (en) | 2017-04-07 | 2020-07-14 | Tusimple, Inc. | System and method for path planning of autonomous vehicles based on gradient |
US10552691B2 (en) | 2017-04-25 | 2020-02-04 | TuSimple | System and method for vehicle position and velocity estimation based on camera and lidar data |
US10481044B2 (en) | 2017-05-18 | 2019-11-19 | TuSimple | Perception simulation for improved autonomous vehicle control |
US10558864B2 (en) | 2017-05-18 | 2020-02-11 | TuSimple | System and method for image localization based on semantic segmentation |
US10474790B2 (en) | 2017-06-02 | 2019-11-12 | TuSimple | Large scale distributed simulation for realistic multiple-agent interactive environments |
US10762635B2 (en) | 2017-06-14 | 2020-09-01 | Tusimple, Inc. | System and method for actively selecting and labeling images for semantic segmentation |
JPWO2019003269A1 (ja) * | 2017-06-26 | 2019-11-07 | 三菱電機株式会社 | ナビゲーション装置およびナビゲーション方法 |
US10737695B2 (en) | 2017-07-01 | 2020-08-11 | Tusimple, Inc. | System and method for adaptive cruise control for low speed following |
US10303522B2 (en) | 2017-07-01 | 2019-05-28 | TuSimple | System and method for distributed graphics processing unit (GPU) computation |
US10493988B2 (en) | 2017-07-01 | 2019-12-03 | TuSimple | System and method for adaptive cruise control for defensive driving |
US10752246B2 (en) | 2017-07-01 | 2020-08-25 | Tusimple, Inc. | System and method for adaptive cruise control with proximate vehicle detection |
US10308242B2 (en) | 2017-07-01 | 2019-06-04 | TuSimple | System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles |
US11029693B2 (en) | 2017-08-08 | 2021-06-08 | Tusimple, Inc. | Neural network based vehicle dynamics model |
US10360257B2 (en) | 2017-08-08 | 2019-07-23 | TuSimple | System and method for image annotation |
DE102017007705A1 (de) * | 2017-08-14 | 2019-02-14 | Preh Car Connect Gmbh | Ausgeben einer Manöveranweisung mittels einer Navigationseinrichtung |
US10527443B2 (en) * | 2017-08-16 | 2020-01-07 | International Business Machines Corporation | Generating navigation instructions |
US10816354B2 (en) | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
US10762673B2 (en) | 2017-08-23 | 2020-09-01 | Tusimple, Inc. | 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
US10303956B2 (en) | 2017-08-23 | 2019-05-28 | TuSimple | System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection |
US10565457B2 (en) | 2017-08-23 | 2020-02-18 | Tusimple, Inc. | Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
US10678234B2 (en) | 2017-08-24 | 2020-06-09 | Tusimple, Inc. | System and method for autonomous vehicle control to minimize energy cost |
US10783381B2 (en) | 2017-08-31 | 2020-09-22 | Tusimple, Inc. | System and method for vehicle occlusion detection |
US10508925B2 (en) | 2017-08-31 | 2019-12-17 | Uber Technologies, Inc. | Pickup location selection and augmented reality navigation |
US10782694B2 (en) | 2017-09-07 | 2020-09-22 | Tusimple, Inc. | Prediction-based system and method for trajectory planning of autonomous vehicles |
US10656644B2 (en) | 2017-09-07 | 2020-05-19 | Tusimple, Inc. | System and method for using human driving patterns to manage speed control for autonomous vehicles |
US10782693B2 (en) | 2017-09-07 | 2020-09-22 | Tusimple, Inc. | Prediction-based system and method for trajectory planning of autonomous vehicles |
US10649458B2 (en) | 2017-09-07 | 2020-05-12 | Tusimple, Inc. | Data-driven prediction-based system and method for trajectory planning of autonomous vehicles |
US10953881B2 (en) | 2017-09-07 | 2021-03-23 | Tusimple, Inc. | System and method for automated lane change control for autonomous vehicles |
US10953880B2 (en) | 2017-09-07 | 2021-03-23 | Tusimple, Inc. | System and method for automated lane change control for autonomous vehicles |
US10552979B2 (en) | 2017-09-13 | 2020-02-04 | TuSimple | Output of a neural network method for deep odometry assisted by static scene optical flow |
US10671083B2 (en) | 2017-09-13 | 2020-06-02 | Tusimple, Inc. | Neural network architecture system for deep odometry assisted by static scene optical flow |
US10387736B2 (en) | 2017-09-20 | 2019-08-20 | TuSimple | System and method for detecting taillight signals of a vehicle |
US10733465B2 (en) | 2017-09-20 | 2020-08-04 | Tusimple, Inc. | System and method for vehicle taillight state recognition |
US10768626B2 (en) | 2017-09-30 | 2020-09-08 | Tusimple, Inc. | System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles |
US10962979B2 (en) | 2017-09-30 | 2021-03-30 | Tusimple, Inc. | System and method for multitask processing for autonomous vehicle computation and control |
US10970564B2 (en) | 2017-09-30 | 2021-04-06 | Tusimple, Inc. | System and method for instance-level lane detection for autonomous vehicle control |
US10410055B2 (en) | 2017-10-05 | 2019-09-10 | TuSimple | System and method for aerial video traffic analysis |
US10812589B2 (en) | 2017-10-28 | 2020-10-20 | Tusimple, Inc. | Storage architecture for heterogeneous multimedia data |
US10666730B2 (en) | 2017-10-28 | 2020-05-26 | Tusimple, Inc. | Storage architecture for heterogeneous multimedia data |
US10739775B2 (en) | 2017-10-28 | 2020-08-11 | Tusimple, Inc. | System and method for real world autonomous vehicle trajectory simulation |
US11023985B1 (en) | 2017-11-16 | 2021-06-01 | State Farm Mutual Automobile Insurance Company | Systems and methods for executing a customized home search |
US11151669B1 (en) * | 2017-11-16 | 2021-10-19 | State Farm Mutual Automobile Insurance Company | Systems and methods for identifying hidden home maintenance costs |
US10528851B2 (en) | 2017-11-27 | 2020-01-07 | TuSimple | System and method for drivable road surface representation generation using multimodal sensor data |
US10528823B2 (en) | 2017-11-27 | 2020-01-07 | TuSimple | System and method for large-scale lane marking detection using multimodal sensor data |
US10657390B2 (en) | 2017-11-27 | 2020-05-19 | Tusimple, Inc. | System and method for large-scale lane marking detection using multimodal sensor data |
US10877476B2 (en) | 2017-11-30 | 2020-12-29 | Tusimple, Inc. | Autonomous vehicle simulation system for analyzing motion planners |
US10860018B2 (en) | 2017-11-30 | 2020-12-08 | Tusimple, Inc. | System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners |
KR101974871B1 (ko) * | 2017-12-08 | 2019-05-03 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 |
EP3737595B1 (en) | 2018-01-09 | 2023-12-27 | TuSimple, Inc. | Real-time remote control of vehicles with high redundancy |
CN115834617A (zh) | 2018-01-11 | 2023-03-21 | 图森有限公司 | 用于自主车辆操作的监视系统 |
US11009356B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
US10685244B2 (en) | 2018-02-27 | 2020-06-16 | Tusimple, Inc. | System and method for online real-time multi-object tracking |
US10685239B2 (en) | 2018-03-18 | 2020-06-16 | Tusimple, Inc. | System and method for lateral vehicle detection |
CN110378185A (zh) | 2018-04-12 | 2019-10-25 | 北京图森未来科技有限公司 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
CN110458854B (zh) | 2018-05-02 | 2022-11-15 | 北京图森未来科技有限公司 | 一种道路边缘检测方法和装置 |
US10872604B2 (en) * | 2018-05-17 | 2020-12-22 | Qualcomm Incorporated | User experience evaluation |
US11104334B2 (en) | 2018-05-31 | 2021-08-31 | Tusimple, Inc. | System and method for proximate vehicle intention prediction for autonomous vehicles |
CA3027787A1 (en) * | 2018-06-22 | 2019-12-22 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating highly automated driving maps |
CN109271892A (zh) * | 2018-08-30 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 一种物体识别方法、装置、设备、车辆和介质 |
US10839234B2 (en) | 2018-09-12 | 2020-11-17 | Tusimple, Inc. | System and method for three-dimensional (3D) object detection |
US11292480B2 (en) | 2018-09-13 | 2022-04-05 | Tusimple, Inc. | Remote safe driving methods and systems |
US11656090B2 (en) * | 2018-10-08 | 2023-05-23 | Here Global B.V. | Method and system for generating navigation data for a geographical location |
US10796402B2 (en) | 2018-10-19 | 2020-10-06 | Tusimple, Inc. | System and method for fisheye image processing |
US10942271B2 (en) | 2018-10-30 | 2021-03-09 | Tusimple, Inc. | Determining an angle between a tow vehicle and a trailer |
US10740615B2 (en) | 2018-11-20 | 2020-08-11 | Uber Technologies, Inc. | Mutual augmented reality experience for users in a network system |
WO2020106309A1 (en) * | 2018-11-20 | 2020-05-28 | Google Llc | Enhanced navigation instructions with landmarks under difficult driving conditions |
JP2020112507A (ja) * | 2019-01-16 | 2020-07-27 | 日本電信電話株式会社 | 案内文生成装置、案内システム、案内文生成方法及びプログラム |
CN109994014A (zh) * | 2019-03-22 | 2019-07-09 | 多伦科技股份有限公司 | 一种驾驶模拟器 |
US11333520B2 (en) * | 2019-06-12 | 2022-05-17 | International Business Machines Corporation | Visually guiding a vehicle |
US11823460B2 (en) | 2019-06-14 | 2023-11-21 | Tusimple, Inc. | Image fusion for autonomous vehicle operation |
US11514594B2 (en) | 2019-10-30 | 2022-11-29 | Vergence Automation, Inc. | Composite imaging systems using a focal plane array with in-pixel analog storage elements |
US11892836B2 (en) * | 2020-01-27 | 2024-02-06 | Liebherr Mining Equipment Newport News Co. | System for controlling a plurality of autonomous vehicles on a mine site |
EP3893150A1 (en) | 2020-04-09 | 2021-10-13 | Tusimple, Inc. | Camera pose estimation techniques |
JP2021192202A (ja) | 2020-06-05 | 2021-12-16 | トヨタ自動車株式会社 | 体験システム、体験提供方法およびプログラム |
AU2021203567A1 (en) | 2020-06-18 | 2022-01-20 | Tusimple, Inc. | Angle and orientation measurements for vehicles with multiple drivable sections |
US11644330B2 (en) * | 2020-07-08 | 2023-05-09 | Rivian Ip Holdings, Llc | Setting destinations in vehicle navigation systems based on image metadata from portable electronic devices and from captured images using zero click navigation |
JP2022059958A (ja) * | 2020-10-02 | 2022-04-14 | フォルシアクラリオン・エレクトロニクス株式会社 | ナビゲーション装置 |
CN113483774B (zh) * | 2021-06-29 | 2023-11-03 | 阿波罗智联(北京)科技有限公司 | 导航方法、装置、电子设备及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016522415A (ja) * | 2013-06-13 | 2016-07-28 | モービルアイ ビジョン テクノロジーズ リミテッド | 視覚強化ナビゲーション |
JP2018504650A (ja) * | 2014-12-26 | 2018-02-15 | ヘーレ グローバル ベスローテン フェンノートシャップ | 装置の位置特定のための幾何学的指紋法 |
Family Cites Families (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7233357B1 (en) * | 1998-12-22 | 2007-06-19 | Canon Kabushiki Kaisha | Image pickup apparatus with image evaluation |
US6919866B2 (en) * | 2001-02-06 | 2005-07-19 | International Business Machines Corporation | Vehicular navigation system |
EP1378724B1 (en) * | 2002-07-01 | 2006-03-29 | Mazda Motor Corporation | Route guidance system based on visual activity of the driver |
DE10245335A1 (de) * | 2002-09-27 | 2004-04-08 | Robert Bosch Gmbh | Navigationsvorrichtung |
JP2004157032A (ja) * | 2002-11-07 | 2004-06-03 | Nissan Motor Co Ltd | 経路誘導装置 |
JP2005037181A (ja) * | 2003-07-17 | 2005-02-10 | Pioneer Electronic Corp | ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法 |
CA2559726C (en) * | 2004-03-24 | 2015-10-20 | A9.Com, Inc. | System and method for displaying images in an online directory |
JP4696248B2 (ja) * | 2004-09-28 | 2011-06-08 | 国立大学法人 熊本大学 | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 |
US7765055B2 (en) * | 2005-04-18 | 2010-07-27 | Traffic.Com, Inc. | Data-driven traffic views with the view based on a user-selected object of interest |
US7451041B2 (en) * | 2005-05-06 | 2008-11-11 | Facet Technology Corporation | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
US20070150188A1 (en) * | 2005-05-27 | 2007-06-28 | Outland Research, Llc | First-person video-based travel planning system |
US8423292B2 (en) * | 2008-08-19 | 2013-04-16 | Tomtom International B.V. | Navigation device with camera-info |
NZ564319A (en) * | 2005-06-06 | 2009-05-31 | Tomtom Int Bv | Navigation device with camera-info |
US7728869B2 (en) * | 2005-06-14 | 2010-06-01 | Lg Electronics Inc. | Matching camera-photographed image with map data in portable terminal and travel route guidance method |
US7509215B2 (en) * | 2005-12-12 | 2009-03-24 | Microsoft Corporation | Augmented navigation system |
JP4986571B2 (ja) * | 2006-01-12 | 2012-07-25 | シャープ株式会社 | 携帯型ナビゲーション装置 |
JP4862036B2 (ja) * | 2006-03-06 | 2012-01-25 | 日立オートモティブシステムズ株式会社 | 自動車の制御装置及び制御方法 |
DE102006010481A1 (de) * | 2006-03-07 | 2007-09-13 | Robert Bosch Gmbh | Verfahren und Anordnung zur Anzeige von Navigationshinweisen |
JP4935145B2 (ja) * | 2006-03-29 | 2012-05-23 | 株式会社デンソー | カーナビゲーション装置 |
JP2007292713A (ja) * | 2006-03-30 | 2007-11-08 | Denso Corp | ナビゲーション装置 |
CN101473262A (zh) * | 2006-06-16 | 2009-07-01 | 皇家飞利浦电子股份有限公司 | 多视图显示设备 |
JP4974217B2 (ja) * | 2006-11-27 | 2012-07-11 | アルパイン株式会社 | ナビゲーション装置 |
EP2383713B1 (en) * | 2006-12-06 | 2013-05-29 | Mobileye Technologies Limited | Detecting and recognizing traffic signs |
DE102007019531A1 (de) | 2007-04-25 | 2008-11-13 | Continental Automotive Gmbh | Fahrspurdetektion mit Kameras unterschiedlicher Brennweite |
US7957596B2 (en) * | 2007-05-02 | 2011-06-07 | Microsoft Corporation | Flexible matching with combinational similarity |
US20090112452A1 (en) * | 2007-10-25 | 2009-04-30 | Gm Global Technology Operations, Inc. | Vehicle navigation system with real time traffic image display |
WO2009084135A1 (ja) * | 2007-12-28 | 2009-07-09 | Mitsubishi Electric Corporation | ナビゲーション装置 |
JP4731627B2 (ja) * | 2007-12-28 | 2011-07-27 | 三菱電機株式会社 | ナビゲーション装置 |
DE112008003424B4 (de) * | 2007-12-28 | 2013-09-05 | Mitsubishi Electric Corp. | Navigationsgerät, das Videobilder einer Kamera verwendet |
US20100253775A1 (en) * | 2008-01-31 | 2010-10-07 | Yoshihisa Yamaguchi | Navigation device |
CN101281022A (zh) * | 2008-04-08 | 2008-10-08 | 上海世科嘉车辆技术研发有限公司 | 基于单目机器视觉的车辆距离测量方法 |
US8032296B2 (en) * | 2008-04-30 | 2011-10-04 | Verizon Patent And Licensing Inc. | Method and system for providing video mapping and travel planning services |
US8032297B2 (en) * | 2008-05-08 | 2011-10-04 | Gabriel Jakobson | Method and system for displaying navigation information on an electronic map |
US20090289937A1 (en) * | 2008-05-22 | 2009-11-26 | Microsoft Corporation | Multi-scale navigational visualtization |
DE102008028373A1 (de) | 2008-06-13 | 2009-12-24 | Audi Ag | Verfahren zur kombinierten Ausgabe eines Bildes und einer Fahrinformation, sowie Kraftfahrzeug hierfür |
US8457881B2 (en) * | 2008-09-03 | 2013-06-04 | Mitsubishi Electric Corporation | Image capturing system for vehicle |
KR20100055254A (ko) * | 2008-11-17 | 2010-05-26 | 엘지전자 주식회사 | 이동 단말기의 poi 정보 제공 방법 및 그 장치 |
WO2010057506A1 (en) * | 2008-11-20 | 2010-05-27 | Tele Atlas B.V. | Method of forming navigation instructions, navigation system and a digital map database |
JP5233655B2 (ja) * | 2008-12-22 | 2013-07-10 | 日本電気株式会社 | 追従対象車検索システム、追従対象車検索方法および追従対象車検索用プログラム |
US9683853B2 (en) * | 2009-01-23 | 2017-06-20 | Fuji Xerox Co., Ltd. | Image matching in support of mobile navigation |
US8060302B2 (en) * | 2009-03-31 | 2011-11-15 | Microsoft Corporation | Visual assessment of landmarks |
US20100253595A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Virtual controls and displays by laser projection |
US8977489B2 (en) * | 2009-05-18 | 2015-03-10 | GM Global Technology Operations LLC | Turn by turn graphical navigation on full windshield head-up display |
JP5453048B2 (ja) * | 2009-10-22 | 2014-03-26 | 富士重工業株式会社 | 車両の運転支援制御装置 |
US9766089B2 (en) * | 2009-12-14 | 2017-09-19 | Nokia Technologies Oy | Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image |
US20110153198A1 (en) * | 2009-12-21 | 2011-06-23 | Navisus LLC | Method for the display of navigation instructions using an augmented-reality concept |
US8489326B1 (en) * | 2010-02-09 | 2013-07-16 | Google Inc. | Placemarked based navigation and ad auction based on placemarks |
US9488488B2 (en) * | 2010-02-12 | 2016-11-08 | Apple Inc. | Augmented reality maps |
JP2011174723A (ja) * | 2010-02-23 | 2011-09-08 | Pioneer Electronic Corp | 案内誘導装置及び案内誘導方法 |
US8964298B2 (en) | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
JP5368369B2 (ja) * | 2010-04-28 | 2013-12-18 | 株式会社デンソー | 車載用撮像装置及び車載用画像処理装置 |
US9582166B2 (en) * | 2010-05-16 | 2017-02-28 | Nokia Technologies Oy | Method and apparatus for rendering user interface for location-based service having main view portion and preview portion |
JP2011240816A (ja) * | 2010-05-18 | 2011-12-01 | Denso Corp | 自律走行制御装置 |
US9118816B2 (en) * | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
US9280711B2 (en) * | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US8723888B2 (en) * | 2010-10-29 | 2014-05-13 | Core Wireless Licensing, S.a.r.l. | Method and apparatus for determining location offset information |
JP5625987B2 (ja) * | 2011-02-16 | 2014-11-19 | アイシン・エィ・ダブリュ株式会社 | 案内装置、案内方法、および、案内プログラム |
US8686873B2 (en) | 2011-02-28 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Two-way video and 3D transmission between vehicles and system placed on roadside |
US20130024113A1 (en) * | 2011-07-22 | 2013-01-24 | Robert Bosch Gmbh | Selecting and Controlling the Density of Objects Rendered in Two-Dimensional and Three-Dimensional Navigation Maps |
KR20130063605A (ko) | 2011-12-07 | 2013-06-17 | 현대자동차주식회사 | 지리정보와 연계된 촬영 이미지를 이용한 도로 안내 표시 방법 및 그 장치 |
US8688377B1 (en) * | 2012-02-17 | 2014-04-01 | Google Inc. | System and method of using automatically-identified prominent establishments in driving directions |
JP6197291B2 (ja) * | 2012-03-21 | 2017-09-20 | 株式会社リコー | 複眼カメラ装置、及びそれを備えた車両 |
JP5863536B2 (ja) * | 2012-03-29 | 2016-02-16 | 富士重工業株式会社 | 車外監視装置 |
NZ739228A (en) | 2015-08-03 | 2019-11-29 | Glenmark Pharmaceuticals Sa | Novel compounds as ror gamma modulators |
-
2014
- 2014-06-13 JP JP2016519670A patent/JP6484228B2/ja active Active
- 2014-06-13 WO PCT/US2014/042261 patent/WO2014201324A1/en active Application Filing
- 2014-06-13 US US14/303,830 patent/US9671243B2/en active Active
- 2014-06-13 CN CN201911265316.2A patent/CN110906949B/zh active Active
- 2014-06-13 EP EP19216985.2A patent/EP3650814B1/en active Active
- 2014-06-13 CN CN201480044985.6A patent/CN105659304B/zh active Active
- 2014-06-13 EP EP14811681.7A patent/EP3008708B1/en active Active
- 2014-06-13 CN CN201911258021.2A patent/CN111024099B/zh active Active
-
2017
- 2017-05-16 US US15/596,790 patent/US10533869B2/en active Active
-
2019
- 2019-02-15 JP JP2019026075A patent/JP6763448B2/ja active Active
- 2019-12-13 JP JP2019225622A patent/JP2020064068A/ja active Pending
- 2019-12-16 US US16/715,568 patent/US11604076B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016522415A (ja) * | 2013-06-13 | 2016-07-28 | モービルアイ ビジョン テクノロジーズ リミテッド | 視覚強化ナビゲーション |
JP2018504650A (ja) * | 2014-12-26 | 2018-02-15 | ヘーレ グローバル ベスローテン フェンノートシャップ | 装置の位置特定のための幾何学的指紋法 |
Also Published As
Publication number | Publication date |
---|---|
US10533869B2 (en) | 2020-01-14 |
EP3008708A1 (en) | 2016-04-20 |
CN110906949A (zh) | 2020-03-24 |
CN105659304B (zh) | 2020-01-03 |
EP3650814A1 (en) | 2020-05-13 |
US20200173803A1 (en) | 2020-06-04 |
JP6484228B2 (ja) | 2019-03-13 |
EP3650814B1 (en) | 2023-04-19 |
JP2020064068A (ja) | 2020-04-23 |
CN111024099B (zh) | 2023-10-27 |
EP3008708B1 (en) | 2019-12-18 |
JP6763448B2 (ja) | 2020-09-30 |
CN110906949B (zh) | 2024-01-09 |
US20140372020A1 (en) | 2014-12-18 |
JP2016522415A (ja) | 2016-07-28 |
US20170322043A1 (en) | 2017-11-09 |
EP3008708A4 (en) | 2017-02-22 |
US11604076B2 (en) | 2023-03-14 |
WO2014201324A1 (en) | 2014-12-18 |
US9671243B2 (en) | 2017-06-06 |
CN105659304A (zh) | 2016-06-08 |
CN111024099A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6763448B2 (ja) | 視覚強化ナビゲーション | |
US11692842B2 (en) | Augmented reality maps | |
CN104848863B (zh) | 产生所关注位置的扩增视图 | |
WO2019037489A1 (zh) | 地图显示方法、装置、存储介质及终端 | |
US11656090B2 (en) | Method and system for generating navigation data for a geographical location | |
JP2005268847A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
Murali et al. | Smartphone-based crosswalk detection and localization for visually impaired pedestrians | |
JP6165422B2 (ja) | 情報処理システム、情報処理装置、サーバ、端末装置、情報処理方法、及びプログラム | |
CN112789480B (zh) | 用于将两个或更多个用户导航到会面位置的方法和设备 | |
JP2007071539A (ja) | 車載ナビゲーション装置 | |
WO2019119358A1 (en) | Method, device and system for displaying augmented reality poi information | |
JP5333861B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
EP3637056B1 (en) | Method and system for generating navigation data for a geographical location | |
CN114715175A (zh) | 目标对象的确定方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190225 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191008 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6763448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |