JP2022050427A - 車両をナビゲートするためのシステム、方法およびコンピュータプログラム - Google Patents
車両をナビゲートするためのシステム、方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2022050427A JP2022050427A JP2021204491A JP2021204491A JP2022050427A JP 2022050427 A JP2022050427 A JP 2022050427A JP 2021204491 A JP2021204491 A JP 2021204491A JP 2021204491 A JP2021204491 A JP 2021204491A JP 2022050427 A JP2022050427 A JP 2022050427A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- processing unit
- image capture
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 157
- 238000004590 computer program Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 404
- 238000004458 analytical method Methods 0.000 claims abstract description 118
- 230000008859 change Effects 0.000 claims abstract description 100
- 230000004044 response Effects 0.000 description 103
- 230000015654 memory Effects 0.000 description 69
- 238000010191 image analysis Methods 0.000 description 60
- 230000033001 locomotion Effects 0.000 description 59
- 230000008569 process Effects 0.000 description 44
- 230000001133 acceleration Effects 0.000 description 33
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 23
- 238000013528 artificial neural network Methods 0.000 description 22
- 230000004438 eyesight Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 21
- 238000012544 monitoring process Methods 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 241000237858 Gastropoda Species 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000005096 rolling process Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000004313 glare Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005206 flow analysis Methods 0.000 description 4
- 230000035484 reaction time Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000000383 hazardous chemical Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/228—Command input arrangements located on-board unmanned vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
- G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Abstract
Description
本願は、2016年6月27日に出願された米国仮特許出願第62/354,946号、及び2017年1月12日に出願された米国仮特許出願第62/445,500号の優先権の利益を主張する。上記の出願は、参照によりその全体が本明細書に援用される。
技術分野
本開示は、概して、自律車両ナビゲーションに関する。加えて、本開示は、ドアの開きを検出することに基づいてホスト車両をナビゲートするためのシステム及び方法、標的車両がホスト車両のレーンに入ることを検出することに基づいてホスト車両をナビゲートするためのシステム及び方法、ホスト車両が走行する道路が一方通行道路であるかどうかを検出することに基づいてホスト車両をナビゲートするためのシステム及び方法、及び駐車車両の予測状態を求めるためのシステム及び方法に関する。
技術が進化し続けるにつれ、路上でナビゲート可能な完全自律車両という目標が現実味を帯びてきている。自律車両は、様々な要因を考慮する必要があり得、それらの要因に基づいて意図される目的地に安全且つ正確に到達するのに適切な判断を下し得る。例えば、自律車両は、視覚的情報(例えば、カメラから捕捉される情報)、レーダ、又はライダからの情報を処理して解釈する必要があり得ると共に、他のソースから(例えば、GPSデバイス、速度センサ、加速度計、サスペンションセンサ等から)得られる情報を使用することもある。同時に、目的地にナビゲートするために、自律車両は、特定の道路内の自らの位置(例えば、複数レーン道路内の特定のレーン)を識別し、他の車両と並んでナビゲートし、障害物及び歩行者を回避し、交通信号及び標識を観測し、適切な交差点又はインターチェンジにおいて道路から別の道路に進み、車両の動作中に生じるか又は起こる他の任意の状況に応答する必要もあり得る。
本開示による実施形態は、自律車両ナビゲーションのためのシステム及び方法を提供する。開示される実施形態は、カメラを使用して自律車両ナビゲーションの特徴を提供し得る。例えば、開示される実施形態によれば、開示されるシステムは、車両の環境を監視する1つ、2つ、又は3つ以上のカメラを含み得る。開示されるシステムは、例えば、カメラの1つ又は複数によって捕捉される画像の分析に基づいてナビゲーション応答を提供し得る。幾つかの実施形態は、環境を監視する1つ、2つ、又は3つ以上の赤外カメラを更に含み得る。従って、幾つかの実施形態は、例えば、可視光画像(visual image)、赤外画像、又はその任意の組合せの分析に基づいてナビゲーション応答を提供し得る。
本開示に組み込まれ、本明細書の一部をなす添付図面は、開示される様々な実施形態を示す。
以下の詳細な説明は、添付図面を参照する。可能な場合には常に、図面及び以下の説明において、同じ又は同様の部分を指すのに同じ参照番号が使用される。幾つかの例示的な実施形態は本明細書で説明されるが、変更形態、適応形態、及び他の実装形態が可能である。例えば、図面に示される構成要素に対する置換形態、追加形態、又は変更形態がなされ得、本明細書に記載される例示的な方法は、開示される方法のステップの置換、順序替え、削除、又は追加により変更することができる。従って、以下の詳細な説明は、開示される実施形態及び例に限定されない。その代わり、適切な範囲は、添付の特許請求の範囲により規定される。
本開示を通して使用される場合、「自律車両」という用語は、ドライバーの入力なしで少なくとも1つのナビゲーション変更を実施することが可能な車両を指す。「ナビゲーション変更」は、車両の操舵、ブレーキ、又は加速/減速の1つ又は複数の変更を指す。自律的であるために、車両は完全に自動である(例えば、ドライバーなし又はドライバー入力なしで完全に動作可能である)必要はない。むしろ、自律車両は、特定の時間期間中にはドライバーの制御下で動作し、他の時間期間中にはドライバーの制御なしで動作することができる車両を含む。自律車両は、(例えば、車両レーン制約間に車両コースを維持するための)操舵又は(全ての状況下ではないが)特定の状況下での一部の操舵操作等の車両ナビゲーションの幾つかの側面のみを制御するが、他の側面(例えば、ブレーキ又は特定の状況下でのブレーキ)をドライバーに任せ得る車両を含むこともできる。幾つかの場合、自律車両は、車両のブレーキ、速度制御、及び/又は操舵の幾つかの又は全ての側面を扱い得る。
図1は、開示される例示的な実施形態によるシステム100のブロック図の表現である。システム100は、特定の実装形態の要件に応じて様々な構成要素を含み得る。幾つかの実施形態では、システム100は、処理ユニット110、画像取得ユニット120、位置センサ130、1つ又は複数のメモリユニット140、150、地図データベース160、ユーザインタフェース170、及び無線送受信機172を含み得る。処理ユニット110は、1つ又は複数の処理デバイスを含み得る。幾つかの実施形態では、処理ユニット110は、アプリケーションプロセッサ180、画像プロセッサ190、又は他の任意の適切な処理デバイスを含み得る。同様に、画像取得ユニット120は、特定の応用の要件に応じて任意の数の画像取得デバイス及び構成要素を含み得る。幾つかの実施形態では、画像取得ユニット120は、画像捕捉デバイス122、画像捕捉デバイス124、画像捕捉デバイス126等の1つ又は複数の画像捕捉デバイス(例えば、カメラ、CCD、又は他の任意のタイプの画像センサ)を含み得る。幾つかの実施形態では、画像取得ユニット120は、1つ又は複数の赤外捕捉デバイス(例えば、赤外カメラ、遠赤外(FIR)検出器、又は他の任意のタイプの赤外センサ)を更に含むことができ、例えば、画像捕捉デバイス122、画像捕捉デバイス124、及び画像捕捉デバイス126の1つ又は複数は、赤外画像捕捉デバイスを含み得る。
例えば、車両を識別すること、及びその後に続く識別した車両の車輪構成要素を識別することは、ドアが開く事象を標的とした監視を可能にし得る。監視の標的を定めることにより、システムは、従来の動き検出よりも短い反応時間でドアが開く事象を識別し、それに反応することができる。以下で説明する本開示の実施形態は、標的を定めた監視を使用して、ドアが開く事象を検出するためのシステム及び方法に関する。
道路のホモグラフィを識別し、車両の車輪構成要素を識別するシステム及び方法は、車両の動きを標的とした監視を可能にし得る。監視の標的を定めることにより、システムは、別のレーンからの又は駐車位置からのホスト車両のレーン内への動きを、少なくとも一定の状況下で従来の動き検出よりも短い反応時間で識別し、それに反応することができる。以下に記載の本開示の実施形態は、標的を定めた監視を使用して、ホスト車両のレーンに入る車両を検出するためのシステム及び方法に関する。
車両を識別し且つ識別した車両の前部及び/又は後部を識別するシステム及び方法は、一方通行道路の検出を可能にし得る。車両の識別された前部及び/又は後部を使用することにより、標識を解釈する必要なしに又は道路上で車両が走っていないときでさえ一方通行道路を検出することができる。以下に記載する本開示の実施形態は、駐車車両の方向に基づいて一方通行道路を検出するためのシステム及び方法に関する。
熱プロファイルに基づいて駐車車両の状態を予測するシステム及び方法は、駐車車両が動き始める前に車両の動きを予測することを可能にし得る。このようにして、従来の動き検出のように実際に動きを検出するまで待つのではなく、システムは、予測される動きを識別し、それに合わせて先制して調節を行うことができる。以下に記載の本開示の実施形態は、熱プロファイルに基づいて駐車車両の状態を予測するためのシステム及び方法に関する。
車両及び車両間の間隔を識別するシステム及び方法は、検出した間隔に基づいてナビゲートすることを可能にし得る。このようにナビゲートすることは、検出した間隔内の動きを先制して監視すること及びかかる動きに従来の動き検出よりも短い反応時間で反応することを可能にし得る。以下に記載の本開示の実施形態は、検出した車両間の間隔に基づいてナビゲートするためのシステム及び方法に関する。
本明細書によれば、以下の各項目に記載の事項もまた開示される。
[項目1]
ホスト車両の環境内でドアが開く事象を検出することに基づいて前記車両をナビゲートするためのシステムであって、
前記ホスト車両の前記環境に関連する少なくとも1つの画像を画像捕捉デバイスから受信することと、
前記少なくとも1つの画像を分析して駐車車両の側部を識別することと、
前記駐車車両の前記側部の前方領域内の前記駐車車両の第1の構造上の特徴と、前記駐車車両の前記側部の後方領域内の前記駐車車両の第2の構造上の特徴とを前記少なくとも1つの画像内で識別することと、
前記第1の構造上の特徴及び前記第2の構造上の特徴の近傍の前記駐車車両のドア縁部を前記少なくとも1つの画像内で識別することと、
前記画像捕捉デバイスから受信される1つ又は複数のその後の画像の分析に基づいて前記駐車車両の前記ドア縁部の画像特性の変化を求めることと、
前記駐車車両の前記ドア縁部の前記画像特性の前記変化に少なくとも部分的に基づいて前記ホスト車両のナビゲーション経路を変えることと
を行うようにプログラムされる少なくとも1つの処理デバイスを含むシステム。
[項目2]
前記駐車車両の前記側部を識別することは、前記駐車車両の前記側部の形状に少なくとも1つのバウンディングボックスを関連付けることを含む、項目1に記載のシステム。
[項目3]
前記第1の構造上の特徴は、前記駐車車両の前輪構成要素を含み、及び前記第2の構造上の特徴は、前記駐車車両の後輪構成要素を含む、項目1に記載のシステム。
[項目4]
前記第1の構造上の特徴及び前記第2の構造上の特徴の前記近傍は、前記駐車車両の前輪構成要素と前記駐車車両の後輪構成要素との間の領域を含む、項目1に記載のシステム。
[項目5]
前記第1の車輪構成要素及び前記第2の車輪構成要素の近傍は、前記駐車車両の後輪構成要素の上部の領域を更に含む、項目4に記載のシステム。
[項目6]
前記ドア縁部の前記画像特性の前記変化は、前記ドア縁部が広がることを含む、項目1に記載のシステム。
[項目7]
前記ドア縁部の前記画像特性の前記変化は、前記ドア縁部が前記車両の車体から離れることを含む、項目1に記載のシステム。
[項目8]
前記ドア縁部の前記画像特性の前記変化を求めることは、前記第1の車輪構成要素及び前記第2の車輪構成要素の前記近傍における垂直ストライプの出現について、前記画像捕捉デバイスから受信される少なくとも2つの画像を監視することを含む、項目1に記載のシステム。
[項目9]
前記ドア縁部の前記画像特性の前記変化を求めることは、前記垂直ストライプの広がりを監視することを更に含む、項目8に記載のシステム。
[項目10]
前記垂直ストライプの第1の縁部は、前記監視画像内の前記駐車車両の車体に沿って固定されており、前記垂直ストライプの第2の縁部は、前記監視画像内の前記駐車車両の前方領域の方に移動する、項目9に記載のシステム。
[項目11]
前記少なくとも1つの処理デバイスは、前記垂直ストライプの幅を求めるように更に構成される、項目10に記載のシステム。
[項目12]
前記少なくとも1つの処理デバイスは、前記求められた幅に基づいて前記ドア縁部が前記駐車車両から離れて広がる距離を求めるように更に構成される、項目11に記載のシステム。
[項目13]
前記少なくとも1つの処理デバイスは、前記ドア縁部が前記駐車車両から離れて広がる前記求められた距離に基づいて、前記ホスト車両のための横方向の安全距離を求めるように更に構成される、項目12に記載のシステム。
[項目14]
前記ホスト車両の前記ナビゲーション経路を変更することは、前記求められた横方向の安全距離に基づく、項目13に記載のシステム。
[項目15]
ホスト車両の環境内でドアが開く事象を検出することに基づいて前記車両をナビゲートするための方法であって、
前記ホスト車両の前記環境に関連する少なくとも1つの画像を画像捕捉デバイスから受信することと、
前記少なくとも1つの画像を分析して駐車車両の側部を識別することと、
前記駐車車両の前記側部の前方領域内の前記駐車車両の第1の構造上の特徴と、前記駐車車両の前記側部の後方領域内の前記駐車車両の第2の構造上の特徴とを前記少なくとも1つの画像内で識別することと、
前記第1の構造上の特徴及び前記第2の構造上の特徴の近傍の前記駐車車両のドア縁部を前記少なくとも1つの画像内で識別することと、
前記画像捕捉デバイスから受信される1つ又は複数のその後の画像の分析に基づいて前記駐車車両の前記ドア縁部の画像特性の変化を求めることと、
前記駐車車両の前記ドア縁部の前記画像特性の前記変化に少なくとも部分的に基づいて前記ホスト車両のナビゲーション経路を変えることと
を含む方法。
[項目16]
前記ドア縁部の前記画像特性の前記変化を求めることは、前記第1の構造上の特徴及び前記第2の構造上の特徴の前記近傍における垂直ストライプの出現について、前記画像捕捉デバイスから受信される少なくとも2つの画像を監視することを含む、項目15に記載の方法。
[項目17]
前記ドア縁部の前記画像特性の前記変化を求めることは、前記垂直ストライプの広がりを監視することを更に含む、項目16に記載の方法。
[項目18]
前記垂直ストライプの幅を求めることと、
前記求められた幅に基づいて、前記ドア縁部が前記駐車車両から離れて広がる距離を求めることと
を更に含む、項目17に記載の方法。
[項目19]
前記ドア縁部が前記駐車車両から離れて広がる前記求められた距離に基づいて、前記ホスト車両のための横方向の安全距離を求めることを更に含み、前記ホスト車両の前記ナビゲーション経路を変えることは、前記求められた横方向の安全距離に基づく、項目18に記載の方法。
[項目20]
少なくとも1つの処理デバイスによって実行されるとき、
ホスト車両の環境に関連する少なくとも1つの画像を画像捕捉デバイスから受信することと、
前記少なくとも1つの画像を分析して駐車車両の側部を識別することと、
前記駐車車両の前記側部の前方領域内の前記駐車車両の第1の構造上の特徴と、前記駐車車両の前記側部の後方領域内の前記駐車車両の第2の構造上の特徴とを前記少なくとも1つの画像内で識別することと、
前記第1の構造上の特徴及び前記第2の構造上の特徴の近傍の前記駐車車両のドア縁部を前記少なくとも1つの画像内で識別することと、
前記画像捕捉デバイスから受信される1つ又は複数のその後の画像の分析に基づいて前記駐車車両の前記ドア縁部の画像特性の変化を求めることと、
前記駐車車両の前記ドア縁部の前記画像特性の前記変化に少なくとも部分的に基づいて前記ホスト車両のナビゲーション経路を変えることと
を含む方法を実行する命令を記憶する非一時的コンピュータ可読媒体。
[項目21]
ホスト車両が走行しているレーンの方への標的車両の移動に基づいて前記ホスト車両をナビゲートするためのシステムであって、
前記ホスト車両の環境に関連する複数の画像を画像捕捉デバイスから受信することと、
前記複数の画像の少なくとも1つを分析して前記標的車両及び前記標的車両の側部の少なくとも1つの車輪構成要素を識別することと、
前記標的車両の前記少なくとも1つの車輪構成要素を含む領域を前記複数の画像の少なくとも2つにおいて分析して、前記標的車両の前記少なくとも1つの車輪構成要素に関連する動きを識別することと、
前記標的車両の前記少なくとも1つの車輪構成要素に関連する前記識別された動きに基づいて前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を行うようにプログラムされる少なくとも1つの処理デバイスを含むシステム。
[項目22]
前記少なくとも1つのナビゲーション変更は、前記ホスト車両の進行方向の変更を含む、項目21に記載のシステム。
[項目23]
前記少なくとも1つのナビゲーション変更は、前記ホスト車両のブレーキをかけることを含む、項目21に記載のシステム。
[項目24]
前記標的車両を識別することは、前記標的車両の形状に少なくとも1つのバウンディングボックスを関連付けることを含む、項目21に記載のシステム。
[項目25]
前記標的車両の前記少なくとも1つの車輪構成要素を含む前記領域は、路面に隣接する領域を含む、項目21に記載のシステム。
[項目26]
前記少なくとも1つの車輪構成要素に関連する動きを識別することは、前記少なくとも1つの車輪構成要素の回転の兆候について前記複数の画像の少なくとも2つを監視することを含む、項目21に記載のシステム。
[項目27]
前記少なくとも1つのタイヤ車輪構成要素に関連する動きを識別することは、前記少なくとも1つの車輪構成要素に関連する少なくとも1つの特徴を識別することと、前記少なくとも1つの特徴の位置変化のインジケータを識別することとを含む、項目21に記載のシステム。
[項目28]
前記少なくとも1つの処理デバイスは、前記少なくとも1つの車輪構成要素に関連する前記少なくとも1つの特徴の前記位置変化に基づいて、前記標的車両が移動する速度を求めるように更に構成される、項目27に記載のシステム。
[項目29]
前記少なくとも1つの処理デバイスは、前記標的車両の前記速度に基づいて、前記車両のための横方向の安全距離を求めるように更に構成される、項目28に記載のシステム。
[項目30]
前記標的車両の前記少なくとも1つのナビゲーション変更は、前記求められた横方向の安全距離に基づく、項目29に記載のシステム。
[項目31]
前記少なくとも1つの車輪構成要素は、タイヤ、ハブキャップ、又は車輪構造の少なくとも1つを含む、項目21に記載のシステム。
[項目32]
ホスト車両が走行しているレーンの方への標的車両の移動に基づいて前記ホスト車両をナビゲートするための方法であって、
前記ホスト車両の環境に関連する複数の画像を画像捕捉デバイスから受信することと、
前記複数の画像の少なくとも1つを分析して前記標的車両及び前記標的車両の側部の少なくとも1つの車輪構成要素を識別することと、
前記標的車両の前記少なくとも1つの車輪構成要素を含む領域を前記複数の画像の少なくとも2つにおいて分析して、前記標的車両の前記少なくとも1つの車輪構成要素に関連する動きを識別することと、
前記標的車両の前記少なくとも1つの車輪構成要素に関連する前記識別された動きに基づいて前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を含む方法。
[項目33]
前記標的車両を識別することは、前記標的車両の形状に少なくとも1つのバウンディングボックスを関連付けることを含む、項目32に記載の方法。
[項目34]
前記少なくとも1つの車輪構成要素に関連する動きを識別することは、前記少なくとも1つの車輪構成要素の回転の兆候について前記複数の画像の少なくとも2つを監視することを含む、項目32に記載の方法。
[項目35]
前記少なくとも1つのタイヤ車輪構成要素に関連する動きを識別することは、前記少なくとも1つの車輪構成要素に関連する少なくとも1つの特徴を識別することと、前記少なくとも1つの特徴の位置変化のインジケータを識別することとを含む、項目32に記載の方法。
[項目36]
前記少なくとも1つの車輪構成要素に関連する前記少なくとも1つの特徴の前記位置変化に基づいて、前記標的車両が移動する速度を求めることと、
前記標的車両の前記速度に基づいて、前記車両のための横方向の安全距離を求めることと
を更に含む、項目35に記載の方法。
[項目37]
少なくとも1つの処理デバイスによって実行されるとき、
ホスト車両の環境に関連する複数の画像を画像捕捉デバイスから受信することと、
前記複数の画像の少なくとも1つを分析して標的車両及び前記標的車両の側部の少なくとも1つの車輪構成要素を識別することと、
前記標的車両の前記少なくとも1つの車輪構成要素を含む領域を前記複数の画像の少なくとも2つにおいて分析して、前記標的車両の前記少なくとも1つの車輪構成要素に関連する動きを識別することと、
前記標的車両の前記少なくとも1つの車輪構成要素に関連する前記識別された動きに基づいて前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を含む方法を実行する命令を記憶する非一時的コンピュータ可読媒体。
[項目38]
前記標的車両を識別することは、前記標的車両の形状に少なくとも1つのバウンディングボックスを関連付けることを含む、項目37に記載の非一時的コンピュータ可読媒体。
[項目39]
前記少なくとも1つのタイヤ車輪構成要素に関連する動きを識別することは、前記少なくとも1つの車輪構成要素に関連する少なくとも1つの特徴を識別することと、前記少なくとも1つの特徴の位置変化のインジケータを識別することとを含む、項目37に記載の非一時的コンピュータ可読媒体。
[項目40]
前記少なくとも1つの車輪構成要素に関連する前記少なくとも1つの特徴の前記位置変化に基づいて、前記標的車両が移動する速度を求めることと、
前記標的車両の前記速度に基づいて、前記車両のための横方向の安全距離を求めることと
を行うための命令を更に記憶している、項目38に記載の非一時的コンピュータ可読媒体。
[項目41]
ホスト車両が走行する道路が一方通行道路であるかどうかを検出するためのシステムであって、
前記ホスト車両の環境に関連する少なくとも1つの画像を画像捕捉デバイスから受信することと、
前記少なくとも1つの画像の分析に基づいて、前記ホスト車両が走行する前記道路の第1の側方の第1の複数の車両を識別することと、
前記少なくとも1つの画像の分析に基づいて、前記ホスト車両が走行する前記道路の第2の側方の第2の複数の車両を識別することと、
前記第1の複数の車両に関連する第1の前向き方向を求めることと、
前記第2の複数の車両に関連する第2の前向き方向を求めることと、
前記第1の前向き方向及び前記第2の前向き方向の両方が前記ホスト車両の進行方向と逆である場合に前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を行うようにプログラムされる少なくとも1つの処理デバイスを含むシステム。
[項目42]
前記少なくとも1つの処理デバイスは、前記少なくとも1つの画像の分析に基づいて、前記第1の複数の車両の少なくとも1つ又は前記第2の複数の車両の少なくとも1つの側部を識別するように更にプログラムされる、項目41に記載のシステム。
[項目43]
前記識別される側部は、右側の側部である、項目42に記載のシステム。
[項目44]
前記識別される側部は、左側の側部である、項目42に記載のシステム。
[項目45]
前記少なくとも1つの処理デバイスは、前記第1の複数の車両の少なくとも1つ又は前記第2の複数の車両の少なくとも1つに関連する少なくとも2つの特徴に基づいて前記側部を識別するように更にプログラムされる、項目42に記載のシステム。
[項目46]
前記少なくとも1つのナビゲーション変更は、前記ホスト車両のブレーキをかけることを含む、項目41に記載のシステム。
[項目47]
ホスト車両が走行する道路が一方通行道路であるかどうかを検出するための方法であって、
前記ホスト車両の環境に関連する少なくとも1つの画像を画像捕捉デバイスから受信することと、
前記少なくとも1つの画像の分析に基づいて、前記ホスト車両が走行する前記道路の第1の側方の第1の複数の車両を識別することと、
前記少なくとも1つの画像の分析に基づいて、前記ホスト車両が走行する前記道路の第2の側方の第2の複数の車両を識別することと、
前記第1の複数の車両に関連する第1の前向き方向を求めることと、
前記第2の複数の車両に関連する第2の前向き方向を求めることと、
前記第1の前向き方向及び前記第2の前向き方向の両方が前記ホスト車両の進行方向と逆である場合に前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を含む方法。
[項目48]
前記複数の画像の少なくとも1つの分析に基づいて、前記第1の複数の車両の少なくとも1つ又は前記第2の複数の車両の少なくとも1つの側部を識別することを更に含む、項目47に記載の方法。
[項目49]
前記識別される側部は、右側の側部である、項目48に記載の方法。
[項目50]
前記識別される側部は、左側の側部である、項目48に記載の方法。
[項目51]
前記第1の複数の車両の少なくとも1つ又は前記第2の複数の車両の少なくとも1つに関連する少なくとも2つの特徴に基づいて前記側部を識別することを更に含む、項目48に記載の方法。
[項目52]
前記少なくとも1つのナビゲーション変更は、前記ホスト車両のブレーキをかけることを含む、項目47に記載の方法。
[項目53]
少なくとも1つの処理デバイスによって実行されるとき、
ホスト車両の環境に関連する少なくとも1つの画像を画像捕捉デバイスから受信することと、
前記少なくとも1つの画像の分析に基づいて、前記ホスト車両が走行する道路の第1の側方の第1の複数の車両を識別することと、
前記少なくとも1つの画像の分析に基づいて、前記ホスト車両が走行する前記道路の第2の側方の第2の複数の車両を識別することと、
前記第1の複数の車両に関連する第1の前向き方向を求めることと、
前記第2の複数の車両に関連する第2の前向き方向を求めることと、
前記第1の前向き方向及び前記第2の前向き方向の両方が前記ホスト車両の進行方向と逆である場合に前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を含む方法を実行する命令を記憶する非一時的コンピュータ可読媒体。
[項目54]
前記複数の画像の少なくとも1つの分析に基づいて、前記第1の複数の車両の少なくとも1つ又は前記第2の複数の車両の少なくとも1つの側部を識別するための命令を更に記憶している、項目53に記載の非一時的コンピュータ可読媒体。
[項目55]
ホスト車両をナビゲートするためのシステムであって、
前記ホスト車両が走行している第1の道路から第2の道路に前記ホスト車両をナビゲートするためのナビゲーション命令を受信することと、
前記第2の道路の環境に関連する少なくとも1つの画像を画像捕捉デバイスから受信することと、
前記少なくとも1つの画像の分析に基づいて前記第2の道路の第1の側方の第1の複数の車両を識別することと、
前記少なくとも1つの画像の分析に基づいて前記第2の道路の第2の側方の第2の複数の車両を識別することと、
前記第1の複数の車両に関連する第1の前向き方向を求めることと、
前記第2の複数の車両に関連する第2の前向き方向を求めることと、
前記ホスト車両が前記第2の道路上に入る場合に前記ホスト車両が走行することになる進行方向に対して前記第1の前向き方向及び前記第2の前向き方向の両方が逆であると判定することと、
前記ホスト車両が前記第2の道路上にナビゲートされる場合に前記ホスト車両が走行することになる前記進行方向に対して前記第1の前向き方向及び前記第2の前向き方向の両方が逆であるという前記判定に応答して、前記ナビゲーション命令を中断することと
を行うようにプログラムされる少なくとも1つの処理デバイスを含むシステム。
[項目56]
前記少なくとも1つの処理デバイスは、前記中断されたナビゲーション命令を回復するためのオーバライド命令を受信するように更にプログラムされる、項目55に記載のシステム。
[項目57]
前記オーバライド命令は、前記ホスト車両内の人から受信される手動確認に基づいて始動される、項目56に記載のシステム。
[項目58]
前記オーバライド命令は、地図データにアクセスすることに基づいて始動される、項目56に記載のシステム。
[項目59]
前記オーバライド命令は、前記第2の道路の走行方向に関係するクラウドソースデータに基づいて始動される、項目56に記載のシステム。
[項目60]
ホスト車両の環境内の駐車車両の予測状態を求めるためのシステムであって、
画像捕捉デバイスと、
赤外画像捕捉デバイスと、
少なくとも1つの処理デバイスであって、
前記ホスト車両の前記環境に関連する複数の画像を前記画像捕捉デバイスから受信することと、
前記複数の画像の少なくとも1つを分析して前記駐車車両を識別することと、
前記複数の画像の少なくとも2つを分析して、前記駐車車両に関連する少なくとも1つのライトの照明状態の変化を識別することと、
前記駐車車両の少なくとも1つの熱画像を前記赤外画像捕捉デバイスから受信することと、
前記照明状態の前記変化及び前記少なくとも1つの熱画像の分析に基づいて前記駐車車両の前記予測状態を求めることと、
前記駐車車両の前記予測状態に基づいて、前記ホスト車両による少なくとも1つのナビゲーション応答を生じさせることと
を行うようにプログラムされる少なくとも1つの処理デバイスと
を含むシステム。
[項目61]
前記駐車車両に関連する前記少なくとも1つのライトの前記照明状態の前記変化は、非点灯状態から点灯状態への変化を含む、項目60に記載のシステム。
[項目62]
前記駐車車両の前記予測状態は、前記駐車車両のエンジンが始動されたという兆候を含む、項目61に記載のシステム。
[項目63]
前記駐車車両に関連する前記少なくとも1つのライトの前記照明状態の前記変化は、点灯状態から非点灯状態への変化を含む、項目60に記載のシステム。
[項目64]
前記駐車車両の前記予測状態は、前記駐車車両のエンジンが切られたという兆候を含む、項目63に記載のシステム。
[項目65]
前記少なくとも1つの熱画像の前記分析は、前記駐車車両のエンジン領域の温度値を求めることを含む、項目60に記載のシステム。
[項目66]
前記駐車車両の前記予測状態は、前記温度値と閾値との比較に少なくとも部分的に基づいて求められる、項目65に記載のシステム。
[項目67]
温度値が閾値を下回る場合、前記駐車車両の前記予測状態は、前記駐車車両が所定の期間内に動かないと予期されるという兆候を含む、項目66に記載のシステム。
[項目68]
前記少なくとも1つの熱画像の前記分析は、前記駐車車両のエンジン領域の第1の温度値及び前記駐車車両の少なくとも1つの車輪構成要素の第2の温度値を求めることを含む、項目60に記載のシステム。
[項目69]
前記駐車車両の前記予測状態は、前記第1の温度値と第1の閾値との比較及び前記第2の温度値と第2の閾値との比較に基づいて求められる、項目68に記載のシステム。
[項目70]
前記第1の温度値が第1の閾値を上回り、且つ前記第2の温度値が第2の閾値を下回る場合、前記駐車車両の前記予測状態は、前記駐車車両が所定の期間内に動くと予期されるという兆候を含む、項目68に記載のシステム。
[項目71]
前記第1の温度値が第1の閾値を上回り、且つ前記第2の温度値が第2の閾値を上回る場合、前記駐車車両の前記予測状態は、前記駐車車両のドアが所定の期間内に開くと予期されるという兆候を含む、項目68に記載のシステム。
[項目72]
前記駐車車両の前記予測状態は、前記駐車車両が所定の期間内に動かないと予期されるという兆候、前記駐車車両が所定の期間内に動くと予期されるという兆候、又は前記駐車車両のドアが所定の期間内に開くと予期されるという兆候の少なくとも1つを含む、項目60に記載のシステム。
[項目73]
前記少なくとも1つの処理デバイスは、
前記複数の画像の少なくとも1つを前記少なくとも1つの熱画像と位置合わせすることと、
前記位置合わせした少なくとも1つの熱画像内で前記駐車車両のエンジン領域又は少なくとも1つの車輪構成要素領域の少なくとも1つを識別することと
を行うように更にプログラムされる、項目60に記載のシステム。
[項目74]
ホスト車両の環境内の駐車車両の予測状態を求めるための方法であって、
前記ホスト車両の前記環境に関連する複数の画像を画像捕捉デバイスから受信することと、
前記複数の画像の少なくとも1つを分析して前記駐車車両を識別することと、
前記複数の画像の少なくとも2つを分析して、前記駐車車両に関連する少なくとも1つのライトの照明状態の変化を識別することと、
前記駐車車両の少なくとも1つの熱画像を赤外画像捕捉デバイスから受信することと、
前記照明状態の前記変化及び前記少なくとも1つの熱画像の分析に基づいて前記駐車車両の前記予測状態を求めることと、
前記駐車車両の前記予測状態に基づいて、前記ホスト車両による少なくとも1つのナビゲーション応答を生じさせることと
を含む方法。
[項目75]
前記少なくとも1つの熱画像の前記分析は、前記駐車車両のエンジン領域の温度値を求めることを含み、及び
前記温度値が閾値を下回る場合、前記駐車車両の前記予測状態は、前記駐車車両が所定の期間内に動かないと予期されるという兆候を含む、項目74に記載の方法。
[項目76]
前記少なくとも1つの熱画像の前記分析は、前記駐車車両のエンジン領域の第1の温度値及び前記駐車車両の少なくとも1つの車輪構成要素の第2の温度値を求めることを含み、及び
前記第1の温度値が第1の閾値を上回り、且つ前記第2の温度値が第2の閾値を下回る場合、前記駐車車両の前記予測状態は、前記駐車車両が所定の期間内に動くと予期されるという兆候を含む、項目74に記載の方法。
[項目77]
前記少なくとも1つの熱画像の前記分析は、前記駐車車両のエンジン領域の第1の温度値及び前記駐車車両の少なくとも1つの車輪構成要素の第2の温度値を求めることを含み、及び
前記第1の温度値が第1の閾値を上回り、且つ前記第2の温度値が第2の閾値を上回る場合、前記駐車車両の前記予測状態は、前記駐車車両のドアが所定の期間内に開くと予期されるという兆候を含む、項目74に記載の方法。
[項目78]
前記複数の画像の少なくとも1つを前記少なくとも1つの熱画像と位置合わせすることと、
前記位置合わせした少なくとも1つの熱画像内で前記駐車車両のエンジン領域又は少なくとも1つの車輪構成要素領域の少なくとも1つを識別することと
を更に含む、項目74に記載の方法。
[項目79]
少なくとも1つの処理デバイスによって実行されるとき、
ホスト車両の環境に関連する複数の画像を画像捕捉デバイスから受信することと、
前記複数の画像の少なくとも1つを分析して駐車車両を識別することと、
前記複数の画像の少なくとも2つを分析して、前記駐車車両に関連する少なくとも1つのライトの照明状態の変化を識別することと、
前記駐車車両の少なくとも1つの熱画像を赤外画像捕捉デバイスから受信することと、
前記照明状態の前記変化及び前記少なくとも1つの熱画像の分析に基づいて前記駐車車両の予測状態を求めることと、
前記駐車車両の前記予測状態に基づいて、前記ホスト車両による少なくとも1つのナビゲーション応答を生じさせることと
を含む方法を実行する命令を記憶する非一時的コンピュータ可読媒体。
[項目80]
ホスト車両の環境内の駐車車両の予測状態を求めるためのシステムであって、
画像捕捉デバイスと、
少なくとも1つの処理デバイスであって、
前記ホスト車両の前記環境に関連する複数の画像を前記画像捕捉デバイスから受信することと、
前記複数の画像の少なくとも1つを分析して前記駐車車両を識別することと、
前記複数の画像の少なくとも2つを分析して、前記駐車車両に関連する少なくとも1つのライトの照明状態の変化を識別することと、
前記照明状態の前記変化に基づいて前記駐車車両の前記予測状態を求めることと、
前記駐車車両の前記予測状態に基づいて、前記ホスト車両による少なくとも1つのナビゲーション応答を生じさせることと
を行うようにプログラムされる少なくとも1つの処理デバイスと
を含むシステム。
[項目81]
前記駐車車両に関連する前記少なくとも1つのライトの前記照明状態の前記変化は、非点灯状態から点灯状態への変化を含む、項目80に記載のシステム。
[項目82]
前記駐車車両の前記予測状態は、前記駐車車両のエンジンが始動されたという兆候を含む、項目81に記載のシステム。
[項目83]
前記駐車車両に関連する前記少なくとも1つのライトの前記照明状態の前記変化は、点灯状態から非点灯状態への変化を含む、項目80に記載のシステム。
[項目84]
前記駐車車両の前記予測状態は、前記駐車車両のエンジンが切られたという兆候を含む、項目83に記載のシステム。
[項目85]
ホスト車両のためのナビゲーションシステムであって、
前記ホスト車両の環境を表す複数の画像をカメラから受信することと、
前記複数の画像の少なくとも1つを分析して少なくとも2つの停止車両を識別することと、
前記複数の画像の前記少なくとも1つの分析に基づいて前記2つの停止車両間の間隔を求めることと、
前記2つの停止車両間で求められた前記間隔の広さに基づいて前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を行うようにプログラムされる少なくとも1つの処理デバイスを含むシステム。
[項目86]
前記少なくとも1つのナビゲーション変更は、前記ホスト車両を減速させることを含む、項目85に記載のシステム。
[項目87]
前記少なくとも1つのナビゲーション変更は、前記ホスト車両を走行レーン内で移動させることを含む、項目85に記載のシステム。
[項目88]
前記少なくとも1つのナビゲーション変更は、前記ホスト車両の走行レーンを変更することを含む、項目85に記載のシステム。
[項目89]
前記少なくとも1つのナビゲーション変更を生じさせることは、前記ホスト車両の操舵機構、ブレーキ、又はアクセルの少なくとも1つを作動させることによって行われる、項目85に記載のシステム。
[項目90]
前記ホスト車両の前記少なくとも1つのナビゲーション変更は、歩行者が横断するのに前記2つの停止車両間の前記間隔が十分であると判定される場合に生じる、項目85に記載のシステム。
[項目91]
前記ホスト車両の前記少なくとも1つのナビゲーション変更は、標的車両が横断するのに前記2つの停止車両間の前記間隔が十分であると判定される場合に生じる、項目85に記載のシステム。
[項目92]
前記間隔は、前記停止車両の隣接する側部間の距離に対応する、項目85に記載のシステム。
[項目93]
前記間隔は、前記停止車両の1つの前部と、他の停止車両の後部との間の距離に対応する、項目85に記載のシステム。
[項目94]
前記少なくとも1つの処理デバイスは、前記複数の画像の分析に基づいて、前記2つの停止車両間の前記間隔内の歩行者を検出するように更にプログラムされる、項目85に記載のシステム。
[項目95]
前記2つの停止車両間の前記間隔の少なくとも一部は、前記カメラの視野から隠される、項目85に記載のシステム。
[項目96]
ホスト車両をナビゲートするための方法であって、
前記ホスト車両の環境を表す複数の画像をカメラから受信することと、
前記複数の画像の少なくとも1つを分析して少なくとも2つの停止車両を識別することと、
前記複数の画像の前記少なくとも1つの分析に基づいて前記2つの停止車両間の間隔を求めることと、
前記2つの停止車両間で求められた前記間隔の広さに基づいて前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を含む方法。
[項目97]
前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることは、前記ホスト車両を減速させることを含む、項目96に記載の方法。
[項目98]
前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることは、前記ホスト車両を走行レーン内で移動させることを含む、項目96に記載の方法。
[項目99]
前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることは、前記ホスト車両の走行レーンを変更することを含む、項目96に記載の方法。
[項目100]
前記少なくとも1つのナビゲーション変更を生じさせることは、前記ホスト車両の操舵機構、ブレーキ、又はアクセルの少なくとも1つを作動させることを含む、項目96に記載の方法。
[項目101]
前記ホスト車両の前記少なくとも1つのナビゲーション変更は、歩行者が横断するのに前記2つの停止車両間の前記間隔が十分であると判定される場合に生じる、項目96に記載の方法。
[項目102]
前記ホスト車両の前記少なくとも1つのナビゲーション変更は、標的車両が横断するのに前記2つの停止車両間の前記間隔が十分であると判定される場合に生じる、項目96に記載の方法。
[項目103]
少なくとも1つの処理デバイスによって実行されるとき、
ホスト車両の環境を表す複数の画像をカメラから受信することと、
前記複数の画像の少なくとも1つを分析して少なくとも2つの停止車両を識別することと、
前記複数の画像の前記少なくとも1つの分析に基づいて前記2つの停止車両間の間隔を求めることと、
前記2つの停止車両間で求められた前記間隔の広さに基づいて前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることと
を含む方法を実行する命令を記憶する非一時的コンピュータ可読媒体。
[項目104]
前記ホスト車両の少なくとも1つのナビゲーション変更を生じさせることは、前記ホスト車両を減速させること、前記ホスト車両を走行レーン内で移動させること、又は前記ホスト車両の走行レーンを変更することの少なくとも1つを含む、項目103に記載の非一時的コンピュータ可読媒体。
Claims (1)
- ホスト車両の環境内でドアが開く事象を検出することに基づいて前記ホスト車両をナビゲートするためのシステムであって、
前記ホスト車両の前記環境に関連する少なくとも1つの画像を画像捕捉デバイスから受信することと、
前記少なくとも1つの画像を分析して駐車車両の側部を識別することと、
前記駐車車両のドア縁部を前記少なくとも1つの画像内で識別することと、
前記画像捕捉デバイスから受信される1つ又は複数のその後の画像の分析に基づいて前記駐車車両の前記ドア縁部の画像特性の変化を求めることと、
前記駐車車両の前記ドア縁部の前記画像特性の前記変化に少なくとも部分的に基づいて前記ホスト車両のナビゲーション経路を変えることとを行うようにプログラムされる少なくとも1つの処理デバイスを含むシステム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662354946P | 2016-06-27 | 2016-06-27 | |
US62/354,946 | 2016-06-27 | ||
US201762445500P | 2017-01-12 | 2017-01-12 | |
US62/445,500 | 2017-01-12 | ||
PCT/US2017/039427 WO2018005441A2 (en) | 2016-06-27 | 2017-06-27 | Controlling host vehicle based on detected parked vehicle characteristics |
JP2018560452A JP6997106B2 (ja) | 2016-06-27 | 2017-06-27 | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560452A Division JP6997106B2 (ja) | 2016-06-27 | 2017-06-27 | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022050427A true JP2022050427A (ja) | 2022-03-30 |
Family
ID=59315715
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560452A Active JP6997106B2 (ja) | 2016-06-27 | 2017-06-27 | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム |
JP2021204491A Pending JP2022050427A (ja) | 2016-06-27 | 2021-12-16 | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560452A Active JP6997106B2 (ja) | 2016-06-27 | 2017-06-27 | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (7) | US10262217B2 (ja) |
EP (6) | EP3614106B1 (ja) |
JP (2) | JP6997106B2 (ja) |
KR (3) | KR102359806B1 (ja) |
CN (5) | CN110345962B (ja) |
WO (1) | WO2018005441A2 (ja) |
Families Citing this family (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11609336B1 (en) * | 2018-08-21 | 2023-03-21 | Innovusion, Inc. | Refraction compensation for use in LiDAR systems |
US9898671B2 (en) | 2015-05-11 | 2018-02-20 | Magna Electronics Inc. | Vehicle vision system with structure and motion estimation |
JP6915542B2 (ja) * | 2015-09-30 | 2021-08-04 | 日本電気株式会社 | 情報処理装置、通知システム、情報送信方法及びプログラム |
DE102016102510A1 (de) * | 2016-02-12 | 2017-08-17 | Kiekert Aktiengesellschaft | Verfahren und Vorrichtung zur Beaufschlagung einer Kraftfahrzeugtür im Sinne eines Abbremsens insbesondere zur Kollisionsvermeidung |
JP6997106B2 (ja) | 2016-06-27 | 2022-01-17 | モービルアイ ビジョン テクノロジーズ リミテッド | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム |
US9984567B2 (en) | 2016-09-09 | 2018-05-29 | Ford Global Technologies, Llc | Detection of oncoming vehicles with IR light |
US10629079B2 (en) * | 2016-12-05 | 2020-04-21 | Ford Global Technologies, Llc | Vehicle collision avoidance |
CN106650806B (zh) * | 2016-12-16 | 2019-07-26 | 北京大学深圳研究生院 | 一种用于行人检测的协同式深度网络模型方法 |
CN110657820A (zh) * | 2017-01-12 | 2020-01-07 | 御眼视觉技术有限公司 | 基于车辆活动的导航 |
US9988048B1 (en) * | 2017-03-03 | 2018-06-05 | GM Global Technology Operations LLC | Lane detection systems and methods |
US10160459B2 (en) * | 2017-03-22 | 2018-12-25 | Ford Global Technologies, Llc | Vehicle lane direction detection |
US10089872B1 (en) * | 2017-05-11 | 2018-10-02 | Here Global B.V. | Vehicle communication system for vehicle boarding area |
JP2019016188A (ja) * | 2017-07-07 | 2019-01-31 | 株式会社日立製作所 | 移動体遠隔操作システムおよび移動体遠隔操作方法 |
US11112796B2 (en) * | 2017-08-08 | 2021-09-07 | Uatc, Llc | Object motion prediction and autonomous vehicle control |
US10656657B2 (en) * | 2017-08-08 | 2020-05-19 | Uatc, Llc | Object motion prediction and autonomous vehicle control |
JP6540917B1 (ja) * | 2017-09-08 | 2019-07-10 | 日本精工株式会社 | 自走装置、自走装置の走行制御方法及び走行制御プログラム |
US20190094858A1 (en) * | 2017-09-25 | 2019-03-28 | Uber Technologies, Inc. | Parking Location Prediction |
CN110998596B (zh) * | 2017-09-28 | 2023-11-07 | 苹果公司 | 夜间感测 |
US10997491B2 (en) * | 2017-10-04 | 2021-05-04 | Huawei Technologies Co., Ltd. | Method of prediction of a state of an object in the environment using an action model of a neural network |
US10627606B2 (en) * | 2017-11-10 | 2020-04-21 | Denso Corporation | Camera module |
US10232800B1 (en) * | 2017-11-10 | 2019-03-19 | Denson Corporation | Camera module |
US10406995B2 (en) | 2017-11-10 | 2019-09-10 | Denso Corporation | Camera module |
US11181816B2 (en) | 2017-11-10 | 2021-11-23 | Denso Corporation | Windshield-mounted camera module |
US10534253B2 (en) | 2017-11-10 | 2020-01-14 | Denso Corporation | Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle |
US10661725B2 (en) * | 2017-11-10 | 2020-05-26 | Denso Corporation | Camera module |
DE102018218986B4 (de) | 2017-11-10 | 2023-02-16 | Denso Corporation | Kameramodul |
KR20190063750A (ko) * | 2017-11-30 | 2019-06-10 | 주식회사 만도 | 3차원 차량 인식 기반의 차량 제어 장치 및 방법 |
US10699571B2 (en) * | 2017-12-04 | 2020-06-30 | Ford Global Technologies, Llc | High definition 3D mapping |
JP6922706B2 (ja) * | 2017-12-06 | 2021-08-18 | トヨタ自動車株式会社 | センサー搭載構造 |
WO2019136375A1 (en) | 2018-01-07 | 2019-07-11 | Nvidia Corporation | Guiding vehicles through vehicle maneuvers using machine learning models |
US10596958B2 (en) * | 2018-01-30 | 2020-03-24 | Toyota Research Institute, Inc. | Methods and systems for providing alerts of opening doors |
DE112019000065T5 (de) | 2018-02-02 | 2020-03-05 | Nvidia Corporation | Sicherheitsprozeduranalyse zur hindernisvermeidung in einem autonomen fahrzeug |
US11417107B2 (en) * | 2018-02-19 | 2022-08-16 | Magna Electronics Inc. | Stationary vision system at vehicle roadway |
WO2019168869A1 (en) | 2018-02-27 | 2019-09-06 | Nvidia Corporation | Real-time detection of lanes and boundaries by autonomous vehicles |
CN108482367B (zh) * | 2018-03-13 | 2020-08-18 | 京东方科技集团股份有限公司 | 一种基于智能后视镜辅助驾驶的方法、装置及系统 |
US11537139B2 (en) | 2018-03-15 | 2022-12-27 | Nvidia Corporation | Determining drivable free-space for autonomous vehicles |
US10685239B2 (en) * | 2018-03-18 | 2020-06-16 | Tusimple, Inc. | System and method for lateral vehicle detection |
WO2019182974A2 (en) | 2018-03-21 | 2019-09-26 | Nvidia Corporation | Stereo depth estimation using deep neural networks |
DE112019001605T5 (de) | 2018-03-27 | 2020-12-17 | Nvidia Corporation | Trainieren, testen und verifizieren von autonomen maschinen unter verwendung simulierter umgebungen |
JP7125214B2 (ja) | 2018-04-03 | 2022-08-24 | モービルアイ ビジョン テクノロジーズ リミテッド | プログラムおよびコンピューティングデバイス |
CN115393536A (zh) * | 2018-04-18 | 2022-11-25 | 移动眼视力科技有限公司 | 利用相机进行车辆环境建模 |
CN108647638B (zh) * | 2018-05-09 | 2021-10-12 | 东软睿驰汽车技术(上海)有限公司 | 一种车辆位置检测方法及装置 |
US10706563B2 (en) * | 2018-05-15 | 2020-07-07 | Qualcomm Incorporated | State and position prediction of observed vehicles using optical tracking of wheel rotation |
US11966838B2 (en) | 2018-06-19 | 2024-04-23 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
WO2020014683A1 (en) * | 2018-07-13 | 2020-01-16 | Kache.AI | Systems and methods for autonomous object detection and vehicle following |
JP2020021188A (ja) * | 2018-07-31 | 2020-02-06 | 田中 成典 | 自動車の姿勢推定装置 |
US10663963B2 (en) * | 2018-08-03 | 2020-05-26 | Here Global B.V. | Method and apparatus for visualizing future events for passengers of autonomous vehicles |
CN109345512A (zh) * | 2018-09-12 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 汽车图像的处理方法、装置及可读存储介质 |
US11495028B2 (en) * | 2018-09-28 | 2022-11-08 | Intel Corporation | Obstacle analyzer, vehicle control system, and methods thereof |
US11040714B2 (en) * | 2018-09-28 | 2021-06-22 | Intel Corporation | Vehicle controller and method for controlling a vehicle |
US11300965B2 (en) * | 2018-10-01 | 2022-04-12 | EmergeX, LLC | Methods and systems for navigating autonomous and semi-autonomous vehicles |
CN111159833A (zh) * | 2018-10-22 | 2020-05-15 | 百度在线网络技术(北京)有限公司 | 无人驾驶车辆算法的评估的方法和装置 |
US11132586B2 (en) * | 2018-10-29 | 2021-09-28 | Nec Corporation | Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos |
US10698415B2 (en) * | 2018-10-31 | 2020-06-30 | Trw Automotive U.S. Llc | Vehicle assist system |
US20200143546A1 (en) * | 2018-11-05 | 2020-05-07 | GM Global Technology Operations LLC | Apparatus and method for detecting slow vehicle motion |
DE112019005750T5 (de) | 2018-11-16 | 2021-08-05 | Nvidia Corporation | Erlernen des Erzeugens synthetischer Datensätze zum Trainieren neuronalerNetze |
US11105927B2 (en) * | 2018-11-29 | 2021-08-31 | Waymo Llc | Localization initialization for autonomous vehicles |
CN111292351A (zh) | 2018-12-07 | 2020-06-16 | 星克跃尔株式会社 | 车辆检测方法及执行其的电子设备 |
JP7122589B2 (ja) * | 2018-12-26 | 2022-08-22 | パナソニックIpマネジメント株式会社 | 駐車支援装置、駐車支援方法、及び、コンピュータプログラム |
DE112019006484T5 (de) | 2018-12-28 | 2021-10-21 | Nvidia Corporation | Detektion von abständen zu hindernissen in autonomen maschinenanwendungen |
US11182916B2 (en) | 2018-12-28 | 2021-11-23 | Nvidia Corporation | Distance to obstacle detection in autonomous machine applications |
US11170299B2 (en) | 2018-12-28 | 2021-11-09 | Nvidia Corporation | Distance estimation to objects and free-space boundaries in autonomous machine applications |
US11361557B2 (en) | 2019-01-18 | 2022-06-14 | Toyota Research Institute, Inc. | Attention-based recurrent convolutional network for vehicle taillight recognition |
US10796206B2 (en) * | 2019-01-31 | 2020-10-06 | StradVision, Inc. | Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same |
WO2020163390A1 (en) | 2019-02-05 | 2020-08-13 | Nvidia Corporation | Driving lane perception diversity and redundancy in autonomous driving applications |
DE102019202107B3 (de) * | 2019-02-18 | 2020-04-23 | Zf Friedrichshafen Ag | Kollisionsvermeidung einer autonomen Landmaschine |
US11648945B2 (en) | 2019-03-11 | 2023-05-16 | Nvidia Corporation | Intersection detection and classification in autonomous machine applications |
DE102019203334A1 (de) * | 2019-03-12 | 2020-09-17 | Robert Bosch Gmbh | Verfahren zum Durchführen einer Reaktion auf Personen an Fahrzeugen |
JP2020166479A (ja) * | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | 運転支援装置 |
US11077846B2 (en) | 2019-03-31 | 2021-08-03 | Gm Cruise Holdings Llc | Controlling an autonomous vehicle based upon a predicted imminent lane change |
DE102019204656A1 (de) * | 2019-04-02 | 2020-10-08 | Conti Temic Microelectronic Gmbh | Parkassistenzsystem |
CN110084230B (zh) * | 2019-04-11 | 2021-05-28 | 北京百度网讯科技有限公司 | 基于图像的车身方向检测方法和装置 |
US11618439B2 (en) * | 2019-04-11 | 2023-04-04 | Phantom Auto Inc. | Automatic imposition of vehicle speed restrictions depending on road situation analysis |
JP7156152B2 (ja) * | 2019-04-17 | 2022-10-19 | 日本電信電話株式会社 | 危険予知方法及び危険予知装置 |
CN113825979A (zh) * | 2019-05-24 | 2021-12-21 | 御眼视觉技术有限公司 | 用于基于图像分析的车辆导航的系统和方法 |
JP7309480B2 (ja) * | 2019-06-27 | 2023-07-18 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載装置、及び車載装置の制御方法 |
US11636307B2 (en) * | 2019-07-08 | 2023-04-25 | Uatc, Llc | Systems and methods for generating motion forecast data for actors with respect to an autonomous vehicle and training a machine learned model for the same |
CN110262511B (zh) * | 2019-07-12 | 2022-08-09 | 同济人工智能研究院(苏州)有限公司 | 基于深度强化学习的双足机器人自适应性行走控制方法 |
US10956776B2 (en) | 2019-08-06 | 2021-03-23 | Alibaba Group Holding Limited | 2D convolutional accelerator that generates 3D results |
US10922826B1 (en) | 2019-08-07 | 2021-02-16 | Ford Global Technologies, Llc | Digital twin monitoring systems and methods |
US11586194B2 (en) | 2019-08-12 | 2023-02-21 | Micron Technology, Inc. | Storage and access of neural network models of automotive predictive maintenance |
US11748626B2 (en) | 2019-08-12 | 2023-09-05 | Micron Technology, Inc. | Storage devices with neural network accelerators for automotive predictive maintenance |
US11775816B2 (en) | 2019-08-12 | 2023-10-03 | Micron Technology, Inc. | Storage and access of neural network outputs in automotive predictive maintenance |
US11853863B2 (en) | 2019-08-12 | 2023-12-26 | Micron Technology, Inc. | Predictive maintenance of automotive tires |
US11635893B2 (en) | 2019-08-12 | 2023-04-25 | Micron Technology, Inc. | Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks |
US11586943B2 (en) | 2019-08-12 | 2023-02-21 | Micron Technology, Inc. | Storage and access of neural network inputs in automotive predictive maintenance |
US10993647B2 (en) | 2019-08-21 | 2021-05-04 | Micron Technology, Inc. | Drowsiness detection for vehicle control |
US11042350B2 (en) | 2019-08-21 | 2021-06-22 | Micron Technology, Inc. | Intelligent audio control in vehicles |
US11498388B2 (en) | 2019-08-21 | 2022-11-15 | Micron Technology, Inc. | Intelligent climate control in vehicles |
US11702086B2 (en) | 2019-08-21 | 2023-07-18 | Micron Technology, Inc. | Intelligent recording of errant vehicle behaviors |
US11361552B2 (en) * | 2019-08-21 | 2022-06-14 | Micron Technology, Inc. | Security operations of parked vehicles |
WO2021042051A1 (en) | 2019-08-31 | 2021-03-04 | Nvidia Corporation | Map creation and localization for autonomous driving applications |
US11435946B2 (en) | 2019-09-05 | 2022-09-06 | Micron Technology, Inc. | Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles |
US11436076B2 (en) | 2019-09-05 | 2022-09-06 | Micron Technology, Inc. | Predictive management of failing portions in a data storage device |
US11693562B2 (en) | 2019-09-05 | 2023-07-04 | Micron Technology, Inc. | Bandwidth optimization for different types of operations scheduled in a data storage device |
US11409654B2 (en) | 2019-09-05 | 2022-08-09 | Micron Technology, Inc. | Intelligent optimization of caching operations in a data storage device |
US11650746B2 (en) | 2019-09-05 | 2023-05-16 | Micron Technology, Inc. | Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles |
CN112572424B (zh) * | 2019-09-11 | 2022-05-17 | 北京百度网讯科技有限公司 | 基于障碍物识别的车辆控制方法、装置、设备和介质 |
US10824882B1 (en) | 2019-09-13 | 2020-11-03 | Ford Global Technologies, Llc | Systems and methods for improving vehicle parking skills |
US20230005364A1 (en) | 2019-09-17 | 2023-01-05 | Mobileye Vision Technologies Ltd. | Systems and methods for monitoring traffic lane congestion |
DE102019125245A1 (de) | 2019-09-19 | 2021-03-25 | Ford Global Technologies, Llc | System und Verfahren zum bedarfsorientierten Anpassen eines Durchlasses zwischen zwei Fahrzeugen |
US11891057B2 (en) * | 2019-09-24 | 2024-02-06 | Seek Thermal, Inc. | Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications |
US11386670B2 (en) * | 2019-10-03 | 2022-07-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for tracking non-connected vehicles |
DE102019128253A1 (de) * | 2019-10-18 | 2021-04-22 | StreetScooter GmbH | Verfahren zum Navigieren eines Flurförderzeugs |
EP4057058A4 (en) * | 2019-11-07 | 2022-12-21 | Sony Semiconductor Solutions Corporation | IMAGING DEVICE |
KR102155054B1 (ko) * | 2019-11-28 | 2020-09-11 | 국민대학교산학협력단 | 인공지능을 활용한 주변차량 컷인 의도 예측 방법 |
US11180080B2 (en) | 2019-12-13 | 2021-11-23 | Continental Automotive Systems, Inc. | Door opening aid systems and methods |
US11250648B2 (en) | 2019-12-18 | 2022-02-15 | Micron Technology, Inc. | Predictive maintenance of automotive transmission |
US11531339B2 (en) | 2020-02-14 | 2022-12-20 | Micron Technology, Inc. | Monitoring of drive by wire sensors in vehicles |
US11709625B2 (en) | 2020-02-14 | 2023-07-25 | Micron Technology, Inc. | Optimization of power usage of data storage devices |
US11195033B2 (en) * | 2020-02-27 | 2021-12-07 | Gm Cruise Holdings Llc | Multi-modal, multi-technique vehicle signal detection |
WO2022019747A1 (en) * | 2020-07-24 | 2022-01-27 | Mimos Berhad | System and method for identification of text region in video |
US20220024495A1 (en) * | 2020-07-24 | 2022-01-27 | Autobrains Technologies Ltd | Open door predictor |
JP7466396B2 (ja) * | 2020-07-28 | 2024-04-12 | 株式会社Soken | 車両制御装置 |
KR102176188B1 (ko) * | 2020-08-07 | 2020-11-09 | 정만식 | 인공지능 기반의 도로 노후화 등급 판단을 위한 전자 장치 및 그 동작 방법 |
US11210533B1 (en) | 2020-08-09 | 2021-12-28 | Phantom AI, Inc. | Method of predicting trajectory of vehicle |
GB2599442A (en) * | 2020-10-04 | 2022-04-06 | Gerard Bailey Samuel | Measuring vehicle speed in video capture |
US11978266B2 (en) | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
CN112277939B (zh) * | 2020-10-30 | 2022-09-06 | 重庆长安汽车股份有限公司 | 一种对于避让前方压线车辆的偏移控制系统及方法 |
JP7452402B2 (ja) * | 2020-12-18 | 2024-03-19 | トヨタ自動車株式会社 | 車両ドア寄り掛かり検出システム |
CN112644479B (zh) * | 2021-01-07 | 2022-05-13 | 广州小鹏自动驾驶科技有限公司 | 一种泊车控制方法和装置 |
US11724641B2 (en) * | 2021-01-26 | 2023-08-15 | Ford Global Technologies, Llc | Hazard condition warning for package delivery operation |
CN113012441B (zh) * | 2021-03-25 | 2023-01-13 | 北京百度网讯科技有限公司 | 车辆停车检测方法、系统、电子设备以及存储介质 |
US11794737B2 (en) | 2021-04-07 | 2023-10-24 | Ford Global Technologies, Llc | Vehicle operation |
US11919526B1 (en) * | 2021-04-28 | 2024-03-05 | Zoox, Inc. | Model-based vehicle drive system monitors |
CN113246968B (zh) * | 2021-06-15 | 2021-10-22 | 成都信息工程大学 | 一种自动驾驶汽车精准停车控制方法及装置 |
DE102021209783A1 (de) | 2021-09-06 | 2023-03-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Bereitstellen von Daten zum Erstellen einer digitalen Karte |
EP4148703A1 (en) * | 2021-09-08 | 2023-03-15 | Toyota Jidosha Kabushiki Kaisha | Vehicle behavior prediction device |
US11879610B2 (en) | 2021-09-20 | 2024-01-23 | Apple Inc. | Multi-mode lights |
US20230236313A1 (en) * | 2022-01-26 | 2023-07-27 | Motional Ad Llc | Thermal sensor data vehicle perception |
US20230311863A1 (en) | 2022-04-04 | 2023-10-05 | Mobileye Vision Technologies Ltd. | Detecting an open door using a sparse representation |
US20230007914A1 (en) * | 2022-09-20 | 2023-01-12 | Intel Corporation | Safety device and method for avoidance of dooring injuries |
KR102593769B1 (ko) * | 2023-05-04 | 2023-10-25 | 박찬배 | 인공지능에 의한 무선형 객체 인식 시스템 및 이를 이용한 객체 인식 방법 |
CN116580066B (zh) * | 2023-07-04 | 2023-10-03 | 广州英码信息科技有限公司 | 一种低帧率场景下的行人目标跟踪方法及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004168085A (ja) * | 2002-11-18 | 2004-06-17 | Nissan Motor Co Ltd | 駐車支援装置 |
JP2006113836A (ja) * | 2004-10-15 | 2006-04-27 | Fuji Heavy Ind Ltd | 道路情報提供システム |
JP2011210102A (ja) * | 2010-03-30 | 2011-10-20 | Mazda Motor Corp | 車両用運転支援装置 |
JP2016024602A (ja) * | 2014-07-18 | 2016-02-08 | 日立オートモティブシステムズ株式会社 | 物体検知装置及びそれを用いた車両制御システム |
Family Cites Families (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5170352A (en) | 1990-05-07 | 1992-12-08 | Fmc Corporation | Multi-purpose autonomous vehicle with path plotting |
JPH08177263A (ja) * | 1994-12-21 | 1996-07-09 | Mitsubishi Heavy Ind Ltd | 車ドアの開閉検知方法 |
EP0913751B1 (de) * | 1997-11-03 | 2003-09-03 | Volkswagen Aktiengesellschaft | Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges |
JP2004122844A (ja) * | 2002-09-30 | 2004-04-22 | Clarion Co Ltd | 駐車支援システム |
JP2006268081A (ja) * | 2005-03-22 | 2006-10-05 | Denso Corp | 前方車両ドア開き報知制御装置および前方車両ドア開き報知制御プログラム |
US8381982B2 (en) * | 2005-12-03 | 2013-02-26 | Sky-Trax, Inc. | Method and apparatus for managing and controlling manned and automated utility vehicles |
US7786898B2 (en) | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
CN100572169C (zh) * | 2007-02-09 | 2009-12-23 | 财团法人车辆研究测试中心 | 虚拟道路边界的辅助驾驶装置 |
US9103671B1 (en) * | 2007-11-29 | 2015-08-11 | American Vehicular Sciences, LLC | Mapping techniques using probe vehicles |
DE102008003662A1 (de) * | 2008-01-09 | 2009-07-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs |
DE102008004632A1 (de) * | 2008-01-16 | 2009-07-23 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur Vermessung einer Parklücke |
EP2107503A1 (en) * | 2008-03-31 | 2009-10-07 | Harman Becker Automotive Systems GmbH | Method and device for generating a real time environment model for vehicles |
JP5225820B2 (ja) * | 2008-11-25 | 2013-07-03 | アイシン精機株式会社 | 入力装置、車両周辺監視装置、アイコンスイッチ選択方法及びプログラム |
KR101048369B1 (ko) * | 2008-12-22 | 2011-07-11 | 한국전자통신연구원 | 차량의 자동 주차 방법 및 그 장치 |
CN101823435B (zh) * | 2009-03-03 | 2012-12-12 | 珠海市智汽电子科技有限公司 | 便于外置安装、便于手动/自动切换的车辆自动驾驶系统 |
FR2947223B1 (fr) * | 2009-06-29 | 2015-05-01 | Valeo Vision | Procede de commande de faisceau d'eclairage pour vehicules |
AT509438A1 (de) * | 2010-01-18 | 2011-08-15 | Zeno Track Gmbh | Verfahren und system zum erfassen der position eines fahrzeuges in einem definierten bereich |
IT1399988B1 (it) * | 2010-05-05 | 2013-05-09 | Space S R L Con Unico Socio | Sistema, e relativo metodo, di determinazione dell'allineamento delle ruote di un veicolo |
CN101957176B (zh) * | 2010-09-19 | 2012-05-02 | 天津大学 | 基于机器人结合相机定标的高精度汽车车门的检测方法 |
US9118816B2 (en) | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
US8514099B2 (en) * | 2010-10-13 | 2013-08-20 | GM Global Technology Operations LLC | Vehicle threat identification on full windshield head-up display |
CN102175172B (zh) * | 2010-12-30 | 2012-07-04 | 南京理工大学 | 一种基于图像识别的机动车辆外形尺寸检测系统 |
JP5482670B2 (ja) * | 2011-01-12 | 2014-05-07 | 株式会社デンソー | 物体検出装置 |
DE102011003881A1 (de) * | 2011-02-09 | 2012-08-09 | Robert Bosch Gmbh | Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs |
CN102692224B (zh) * | 2011-03-24 | 2015-08-05 | 昆达电脑科技(昆山)有限公司 | 附于载具的导航系统及其导航方法 |
US9466000B2 (en) * | 2011-05-19 | 2016-10-11 | The Regents Of The University Of California | Dynamic Bayesian Networks for vehicle classification in video |
CN202230205U (zh) * | 2011-08-06 | 2012-05-23 | 李良杰 | 车辆定位导航、防撞提醒及收费站免停自动收费系统 |
JP5616301B2 (ja) * | 2011-08-10 | 2014-10-29 | 株式会社日本自動車部品総合研究所 | 車両検出装置 |
DE102011081382A1 (de) | 2011-08-23 | 2013-02-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ändern einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs |
JP5810843B2 (ja) * | 2011-11-02 | 2015-11-11 | アイシン・エィ・ダブリュ株式会社 | レーン案内表示システム、方法およびプログラム |
CN202582559U (zh) * | 2011-12-07 | 2012-12-05 | 北京北方胜达机电科技发展有限公司 | 物流车北斗卫星导航定位监控系统 |
US9187117B2 (en) * | 2012-01-17 | 2015-11-17 | Ford Global Technologies, Llc | Autonomous lane control system |
US8855847B2 (en) * | 2012-01-20 | 2014-10-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Intelligent navigation system |
US9429943B2 (en) * | 2012-03-05 | 2016-08-30 | Florida A&M University | Artificial intelligence valet systems and methods |
US8504233B1 (en) * | 2012-04-27 | 2013-08-06 | Google Inc. | Safely navigating on roads through maintaining safe distance from other vehicles |
US8849515B2 (en) | 2012-07-24 | 2014-09-30 | GM Global Technology Operations LLC | Steering assist in driver initiated collision avoidance maneuver |
DE102012215093A1 (de) * | 2012-08-24 | 2014-02-27 | Robert Bosch Gmbh | Fahrerassistenzsystem und Verfahren zum Betreiben des Fahrerassistenzsystems |
JP6119956B2 (ja) * | 2012-10-10 | 2017-04-26 | 三菱自動車工業株式会社 | 車両の危険回避支援装置 |
US9076034B2 (en) * | 2012-12-07 | 2015-07-07 | Analog Devices, Inc. | Object localization using vertical symmetry |
CN102991504B (zh) * | 2012-12-07 | 2015-06-03 | 长安大学 | 一种对驾驶员换道安全性进行判断并预警的方法 |
CN203047045U (zh) * | 2013-01-09 | 2013-07-10 | 谢健良 | 车辆门把的光警示系统 |
JP6036371B2 (ja) * | 2013-02-14 | 2016-11-30 | 株式会社デンソー | 車両用運転支援システム及び運転支援方法 |
CN103204123B (zh) * | 2013-03-25 | 2015-07-08 | 中国电子科技集团公司第三十八研究所 | 一种车辆行人检测跟踪预警装置及其预警方法 |
DE102013208763A1 (de) * | 2013-05-13 | 2014-11-13 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen einer Anfahrabsicht eines haltenden Fahrzeugs |
CN103465828A (zh) * | 2013-05-21 | 2013-12-25 | 麦特汽车服务股份有限公司 | 一种汽车转向预警方法及其车载智能终端装置 |
US9110163B2 (en) * | 2013-06-14 | 2015-08-18 | Microsoft Technology Licensing, Llc | Lidar-based classification of object movement |
US9024787B2 (en) * | 2013-09-18 | 2015-05-05 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Controlling vehicular traffic on a one-way roadway |
EP3812962A1 (en) * | 2013-12-04 | 2021-04-28 | Mobileye Vision Technologies Ltd. | Navigating a vehicle to pass another vehicle |
JP6237214B2 (ja) * | 2013-12-24 | 2017-11-29 | 株式会社デンソー | 逆走検出装置 |
US9248832B2 (en) * | 2014-01-30 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting traffic signal details |
US9547989B2 (en) * | 2014-03-04 | 2017-01-17 | Google Inc. | Reporting road event data and sharing with other vehicles |
CN103984950B (zh) * | 2014-04-22 | 2017-07-14 | 北京联合大学 | 一种适应白天检测的运动车辆刹车灯状态识别方法 |
JP6190758B2 (ja) * | 2014-05-21 | 2017-08-30 | 本田技研工業株式会社 | 物体認識装置及び車両 |
US9734583B2 (en) * | 2014-06-30 | 2017-08-15 | Collin Walker | Systems and methods for controlling vehicle position and orientation |
US9575184B2 (en) * | 2014-07-03 | 2017-02-21 | Continental Advanced Lidar Solutions Us, Inc. | LADAR sensor for a dense environment |
DE102014011630A1 (de) * | 2014-08-01 | 2015-03-26 | Daimler Ag | Verfahren zur Reaktion eines Fahrzeuges auf einen haltenden Bus sowie ein Fahrzeug |
JP6296162B2 (ja) * | 2014-08-11 | 2018-03-20 | 日産自動車株式会社 | 車両の走行制御装置及び方法 |
CN104156737B (zh) * | 2014-08-19 | 2017-07-11 | 哈尔滨工程大学 | 一种公交车乘客安全下车自动检测方法 |
CN104260723B (zh) * | 2014-09-29 | 2018-03-06 | 长安大学 | 一种后方车辆运动状态追踪预测装置及预测方法 |
JP6025268B2 (ja) * | 2014-10-31 | 2016-11-16 | 富士重工業株式会社 | 車両の走行制御装置 |
US9672433B2 (en) * | 2014-11-14 | 2017-06-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Multi-directional vehicle maneuvering assistance |
JP6126573B2 (ja) * | 2014-12-25 | 2017-05-10 | 本田技研工業株式会社 | 衝突回避支援装置 |
US9475429B2 (en) * | 2015-03-03 | 2016-10-25 | Chengdu Haicun Ip Technology Llc | Night detection of parked vehicles |
US9557736B1 (en) * | 2015-04-08 | 2017-01-31 | Google Inc. | Detecting street parked vehicles |
US20160357262A1 (en) * | 2015-06-05 | 2016-12-08 | Arafat M.A. ANSARI | Smart vehicle |
KR101843773B1 (ko) * | 2015-06-30 | 2018-05-14 | 엘지전자 주식회사 | 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량 |
CN105059190B (zh) * | 2015-08-17 | 2018-05-29 | 上海交通大学 | 基于视觉的汽车开门碰撞预警装置及方法 |
US9740944B2 (en) * | 2015-12-18 | 2017-08-22 | Ford Global Technologies, Llc | Virtual sensor data generation for wheel stop detection |
US20170329332A1 (en) * | 2016-05-10 | 2017-11-16 | Uber Technologies, Inc. | Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object |
JP6997106B2 (ja) * | 2016-06-27 | 2022-01-17 | モービルアイ ビジョン テクノロジーズ リミテッド | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム |
US10160459B2 (en) * | 2017-03-22 | 2018-12-25 | Ford Global Technologies, Llc | Vehicle lane direction detection |
-
2017
- 2017-06-27 JP JP2018560452A patent/JP6997106B2/ja active Active
- 2017-06-27 US US15/634,310 patent/US10262217B2/en active Active
- 2017-06-27 CN CN201910634773.8A patent/CN110345962B/zh active Active
- 2017-06-27 KR KR1020187037446A patent/KR102359806B1/ko active IP Right Grant
- 2017-06-27 CN CN201910634768.7A patent/CN110345961B/zh active Active
- 2017-06-27 US US15/634,482 patent/US10303959B2/en active Active
- 2017-06-27 EP EP19191540.4A patent/EP3614106B1/en active Active
- 2017-06-27 KR KR1020227003640A patent/KR102493878B1/ko active IP Right Grant
- 2017-06-27 US US15/634,614 patent/US10055653B2/en active Active
- 2017-06-27 US US15/634,400 patent/US10354157B2/en active Active
- 2017-06-27 EP EP23203098.1A patent/EP4283563A3/en active Pending
- 2017-06-27 CN CN201910634913.1A patent/CN110345963A/zh active Pending
- 2017-06-27 EP EP19191343.3A patent/EP3598074B1/en active Active
- 2017-06-27 KR KR1020237002352A patent/KR20230017365A/ko active Application Filing
- 2017-06-27 EP EP19191532.1A patent/EP3614105B1/en active Active
- 2017-06-27 EP EP17737957.5A patent/EP3475659B1/en active Active
- 2017-06-27 WO PCT/US2017/039427 patent/WO2018005441A2/en unknown
- 2017-06-27 US US15/634,450 patent/US10127465B2/en active Active
- 2017-06-27 EP EP19191524.8A patent/EP3611472B1/en active Active
- 2017-06-27 CN CN201780039759.2A patent/CN109416257B/zh active Active
- 2017-06-27 CN CN201910634770.4A patent/CN110264500A/zh active Pending
-
2019
- 2019-06-11 US US16/437,504 patent/US10832066B2/en active Active
-
2020
- 2020-11-02 US US17/087,170 patent/US11915491B2/en active Active
-
2021
- 2021-12-16 JP JP2021204491A patent/JP2022050427A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004168085A (ja) * | 2002-11-18 | 2004-06-17 | Nissan Motor Co Ltd | 駐車支援装置 |
JP2006113836A (ja) * | 2004-10-15 | 2006-04-27 | Fuji Heavy Ind Ltd | 道路情報提供システム |
JP2011210102A (ja) * | 2010-03-30 | 2011-10-20 | Mazda Motor Corp | 車両用運転支援装置 |
JP2016024602A (ja) * | 2014-07-18 | 2016-02-08 | 日立オートモティブシステムズ株式会社 | 物体検知装置及びそれを用いた車両制御システム |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6997106B2 (ja) | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム | |
US11392135B2 (en) | Systems and methods for navigating lane merges and lane splits | |
JP7081875B2 (ja) | 検出された障壁に基づく車両のナビゲーション | |
EP3657130B1 (en) | Navigation based on vehicle activity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230501 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230807 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240313 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240321 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20240426 |