JP2022534556A - カメラを使用した車両環境モデル化 - Google Patents
カメラを使用した車両環境モデル化 Download PDFInfo
- Publication number
- JP2022534556A JP2022534556A JP2021567061A JP2021567061A JP2022534556A JP 2022534556 A JP2022534556 A JP 2022534556A JP 2021567061 A JP2021567061 A JP 2021567061A JP 2021567061 A JP2021567061 A JP 2021567061A JP 2022534556 A JP2022534556 A JP 2022534556A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- sensor
- epipole
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims description 122
- 238000012549 training Methods 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 44
- 238000005096 rolling process Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 54
- 230000015654 memory Effects 0.000 description 35
- 238000001514 detection method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 14
- 239000000725 suspension Substances 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000013519 translation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 239000011295 pitch Substances 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
Description
a.現在の画像フレーム。
b.現在の画像フレームのピクセルごとの3D情報出力。
c.現在の画像フレームに表示されているシーンの一部を共有する第2の画像フレーム。
d.世界の2つのフレーム間の位置の差を表す回転および並進(RT)。
e.両方のフレームから見た道路領域を表す合理的な道路平面。
一実施例では、複数のカメラ2112を車両に取り付け得る。例えば、システムは、異なる方向を指す複数のカメラ2112を有し得る。システムはまた、車両に対して同じまたは同様の方向を指しているが、異なる場所に取り付けられた複数のカメラ2112を有し得る。一実施例では、システムは、(例えば、図22および図23に関して以下に説明されるように)部分的または完全に重なり合う視野を有する複数のカメラを有し得る。一実施例では、2つの並んだカメラがステレオで動作し得る。本明細書では、単一のカメラシステムについて説明するが、関連する画像およびフレームの一部または全部を異なるカメラで撮像し得るか、または複数のカメラで撮像した画像の合成から作成し得る、複数のカメラシステムも使用し得る。本文脈において、リアルタイム動作は、視野が走査または撮像される速度と一致する速度で視野全体で物体が検出されるように、感知できないまたはわずかな処理遅延で動作する。
他の注意事項および例
Claims (28)
- シーンをモデル化するためのデバイスであって、前記デバイスが、
シーンを表す画像の時間順シーケンスを取得するためのハードウェアインタフェースであって、前記時間順シーケンスが複数の画像を含み、前記画像のシーケンスの1つが現在の画像であり、前記シーンが単眼撮像システムによって撮像される、ハードウェアインタフェースと、
前記シーンの3次元構造を生成するために人工ニューラルネットワーク(ANN)にデータセットを提供することであって、前記データセットが、
前記画像のシーケンスの一部であって、前記現在の画像を含む前記画像のシーケンスの一部と、
前記画像のシーケンスを撮像したセンサの動きとを含む、提供することと、
前記シーンの前記3次元構造を使用して前記シーンをモデル化することであって、前記3次元構造が、前記シーン内の移動物体および固定物体の両方に対して決定される、モデル化することとを行う処理回路と
を備える、デバイス。 - エピポールが、前記画像のシーケンスを撮像する前記センサの前記動きから導出され、前記エピポールが、前記現在の画像と同じ次元の勾配画像として提供され、前記勾配画像のピクセルの値が、前記現在の画像のピクセルの前記エピポールからの距離を表す、請求項1に記載のデバイス。
- 前記勾配画像が、前記エピポールからの水平距離のみを表し、第2の勾配画像が、前記エピポールからの垂直距離を表すために、前記ANNに提供される、請求項2に記載のデバイス。
- エピポールが、前記画像のシーケンスを撮像する前記センサの前記動きから導出され、前記エピポールが、前記ANNの層への勾配画像として提供され、前記エピポールの次元が、前記ANNの前記層と一致する、請求項1から3のいずれか一項に記載のデバイス。
- 前記センサの前記動きが、前記現在の画像と同じ次元の一定値の画像として提供される、請求項1から4のいずれか一項に記載のデバイス。
- 前記一定値が、平面からの前記センサの高さに対する前記センサの前方の動きの比である、請求項5に記載のデバイス。
- 前記センサの前記動きが、前記ANNの層に一定値の画像として提供され、前記一定値の画像の次元が、前記ANNの前記層と一致する、請求項1から6のいずれか一項に記載のデバイス。
- 前記処理回路が、前記3次元構造を使用して第2のANNを呼び出して、物体が前記シーン内で移動しているか移動していないかを判定するように構成される、請求項1から7のいずれか一項に記載のデバイス。
- 現在の画像のモデルと前記現在の画像との間の差を測定することによって誤差が決定される教師なしトレーニング技術で前記ANNがトレーニングされ、前記現在の画像の前記モデルが、前記現在の画像と同時に撮像される画像のガンマワーピングによって生成される、請求項1から8のいずれか一項に記載のデバイス。
- 前記現在の画像の前記モデルが、立体撮像システムによって撮像される複数の画像に基づいており、前記立体撮像システムが前記単眼撮像システムから独立している、請求項9に記載のデバイス。
- 前記立体撮像システムが、第1の画像センサおよび第2の画像センサを含み、前記第1の画像センサおよび前記第2の画像センサが、互いに重なり合う視野を有する、請求項10に記載のデバイス。
- 前記第1の画像センサおよび前記第2の画像センサが、ローリングシャッタを実装する、請求項11に記載のデバイス。
- 前記単眼撮像システムがローリングシャッタカメラを使用する、請求項1から12のいずれか一項に記載のデバイス。
- シーンをモデル化するための方法であって、前記方法が、
シーンを表す画像の時間順シーケンスを取得する段階であって、前記時間順シーケンスが複数の画像を含み、前記画像のシーケンスの1つが現在の画像であり、前記シーンが単眼撮像システムによって撮像される、取得する段階と、
前記シーンの3次元構造を生成するために人工ニューラルネットワーク(ANN)にデータセットを提供する段階であって、前記データセットが、
前記画像のシーケンスの一部であって、前記現在の画像を含む前記画像のシーケンスの一部と、
前記画像のシーケンスを撮像したセンサの動きとを含む、提供する段階と、
前記シーンの前記3次元構造を使用して前記シーンをモデル化する段階であって、前記3次元構造が、前記シーン内の移動物体および固定物体の両方に対して決定される、モデル化する段階と
を備える、方法。 - エピポールが、前記画像のシーケンスを撮像する前記センサの前記動きから導出され、前記エピポールが、前記現在の画像と同じ次元の勾配画像として提供され、前記勾配画像のピクセルの値が、前記現在の画像のピクセルの前記エピポールからの距離を表す、請求項14に記載の方法。
- 前記勾配画像が、前記エピポールからの水平距離のみを表し、第2の勾配画像が、前記エピポールからの垂直距離を表すために、前記ANNに提供される、請求項15に記載の方法。
- エピポールが、前記画像のシーケンスを撮像する前記センサの前記動きから導出され、前記エピポールが、前記ANNの層への勾配画像として提供され、前記エピポールの次元が、前記ANNの前記層と一致する、請求項14から16のいずれか一項に記載の方法。
- 前記センサの前記動きが、前記現在の画像と同じ次元の一定値の画像として提供される、請求項14から17のいずれか一項に記載の方法。
- 前記一定値が、平面からの前記センサの高さに対する前記センサの前方の動きの比である、請求項18に記載の方法。
- 前記センサの前記動きが、前記ANNの層に一定値の画像として提供され、前記一定値の画像の次元が、前記ANNの前記層と一致する、請求項14から19のいずれか一項に記載の方法。
- 前記3次元構造を使用して第2のANNを呼び出して、物体が前記シーン内で移動しているか移動していないかを判定する段階を備える、請求項14から20のいずれか一項に記載の方法。
- 現在の画像のモデルと前記現在の画像との間の差を測定することによって誤差が決定される教師なしトレーニング技術で前記ANNがトレーニングされ、前記現在の画像の前記モデルが、前記現在の画像と同時に撮像される画像のガンマワーピングによって生成される、請求項14から21のいずれか一項に記載の方法。
- 前記現在の画像の前記モデルが、立体撮像システムによって撮像される複数の画像に基づいており、前記立体撮像システムが前記単眼撮像システムから独立している、請求項22に記載の方法。
- 前記立体撮像システムが、第1の画像センサおよび第2の画像センサを含み、前記第1の画像センサおよび前記第2の画像センサが、互いに重なり合う視野を有する、請求項23に記載の方法。
- 前記第1の画像センサおよび前記第2の画像センサが、ローリングシャッタを実装する、請求項24に記載の方法。
- 前記単眼撮像システムがローリングシャッタカメラを使用する、請求項14から25のいずれか一項に記載の方法。
- マシンに請求項14から26のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
- 請求項14~26のいずれかの方法を実行するための手段を備えるシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962854818P | 2019-05-30 | 2019-05-30 | |
US62/854,818 | 2019-05-30 | ||
PCT/IB2020/000553 WO2020240284A2 (en) | 2019-05-30 | 2020-05-29 | Vehicle environment modeling with cameras |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022534556A true JP2022534556A (ja) | 2022-08-02 |
JP7383870B2 JP7383870B2 (ja) | 2023-11-21 |
Family
ID=72046939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021567061A Active JP7383870B2 (ja) | 2019-05-30 | 2020-05-29 | デバイス、方法、システムおよびコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11803981B2 (ja) |
JP (1) | JP7383870B2 (ja) |
CN (1) | CN114144809A (ja) |
DE (1) | DE112020002697T5 (ja) |
WO (1) | WO2020240284A2 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10300760B1 (en) | 2015-03-18 | 2019-05-28 | Apple Inc. | Fully-actuated suspension system |
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
IL282172B2 (en) | 2018-10-11 | 2024-02-01 | Tesla Inc | Systems and methods for training machine models with enhanced data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
DE112020002697T5 (de) | 2019-05-30 | 2022-03-17 | Mobileye Vision Technologies Ltd. | Modellerstellung einer fahrzeugumgebung mit kameras |
CN111959495B (zh) * | 2020-06-29 | 2021-11-12 | 阿波罗智能技术(北京)有限公司 | 车辆的控制方法、装置及车辆 |
US11885638B2 (en) * | 2020-12-28 | 2024-01-30 | Bear Robotics, Inc. | Method, system, and non-transitory computer-readable recording medium for generating a map for a robot |
CN117677972A (zh) * | 2020-12-30 | 2024-03-08 | 御眼视觉技术有限公司 | 用于路段绘制的系统和方法 |
US20220292289A1 (en) * | 2021-03-11 | 2022-09-15 | GM Global Technology Operations LLC | Systems and methods for depth estimation in a vehicle |
US11688090B2 (en) * | 2021-03-16 | 2023-06-27 | Toyota Research Institute, Inc. | Shared median-scaling metric for multi-camera self-supervised depth evaluation |
CN113096151B (zh) * | 2021-04-07 | 2022-08-09 | 地平线征程(杭州)人工智能科技有限公司 | 对目标的运动信息进行检测的方法和装置、设备和介质 |
CN114842105A (zh) * | 2022-06-02 | 2022-08-02 | 北京大学 | 一种一体化的条件图像重绘方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012014430A1 (ja) * | 2010-07-27 | 2012-02-02 | パナソニック株式会社 | 移動体検出装置および移動体検出方法 |
JP2019508677A (ja) * | 2016-01-08 | 2019-03-28 | インテリジェント テクノロジーズ インターナショナル、インコーポレイテッド | 地図を使用した車両構成部品の制御 |
US20190147621A1 (en) * | 2017-11-16 | 2019-05-16 | Nec Europe Ltd. | System and method for real-time large image homography processing |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104969238B (zh) | 2013-01-15 | 2019-06-18 | 移动眼视力科技有限公司 | 车辆和用于车辆的成像系统 |
EP3219564B1 (en) * | 2016-03-14 | 2018-12-05 | IMRA Europe S.A.S. | Driving prediction with a deep neural network |
PL3262944T3 (pl) | 2016-06-30 | 2020-05-18 | Nordischer Maschinenbau Rud. Baader Gmbh + Co. Kg | Urządzenie do usuwania ości szpilkowych z filetów rybnych |
US10427645B2 (en) | 2016-10-06 | 2019-10-01 | Ford Global Technologies, Llc | Multi-sensor precipitation-classification apparatus and method |
US10296010B2 (en) | 2016-10-11 | 2019-05-21 | Mobileye Vision Technologies Ltd. | Navigating a vehicle based on a detected barrier |
EP3688718A1 (en) * | 2017-11-15 | 2020-08-05 | Google LLC | Unsupervised learning of image depth and ego-motion prediction neural networks |
CN115393536A (zh) | 2018-04-18 | 2022-11-25 | 移动眼视力科技有限公司 | 利用相机进行车辆环境建模 |
EP3953903A1 (en) * | 2019-04-30 | 2022-02-16 | Huawei Technologies Co., Ltd. | Scale-aware monocular localization and mapping |
DE112020002697T5 (de) | 2019-05-30 | 2022-03-17 | Mobileye Vision Technologies Ltd. | Modellerstellung einer fahrzeugumgebung mit kameras |
-
2020
- 2020-05-29 DE DE112020002697.3T patent/DE112020002697T5/de active Pending
- 2020-05-29 WO PCT/IB2020/000553 patent/WO2020240284A2/en active Application Filing
- 2020-05-29 JP JP2021567061A patent/JP7383870B2/ja active Active
- 2020-05-29 US US17/613,617 patent/US11803981B2/en active Active
- 2020-05-29 CN CN202080054994.9A patent/CN114144809A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012014430A1 (ja) * | 2010-07-27 | 2012-02-02 | パナソニック株式会社 | 移動体検出装置および移動体検出方法 |
JP2019508677A (ja) * | 2016-01-08 | 2019-03-28 | インテリジェント テクノロジーズ インターナショナル、インコーポレイテッド | 地図を使用した車両構成部品の制御 |
US20190147621A1 (en) * | 2017-11-16 | 2019-05-16 | Nec Europe Ltd. | System and method for real-time large image homography processing |
Also Published As
Publication number | Publication date |
---|---|
US11803981B2 (en) | 2023-10-31 |
WO2020240284A2 (en) | 2020-12-03 |
DE112020002697T5 (de) | 2022-03-17 |
JP7383870B2 (ja) | 2023-11-21 |
US20220237866A1 (en) | 2022-07-28 |
WO2020240284A3 (en) | 2021-01-07 |
CN114144809A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7383870B2 (ja) | デバイス、方法、システムおよびコンピュータプログラム | |
JP7039727B2 (ja) | カメラを用いた車両環境モデリング | |
US11948462B2 (en) | Image generating apparatus, image generating method, and recording medium | |
US11482014B2 (en) | 3D auto-labeling with structural and physical constraints | |
US11244500B2 (en) | Map feature extraction using overhead view images | |
US11275673B1 (en) | Simulated LiDAR data | |
US10891795B2 (en) | Localization method and apparatus based on 3D color map | |
US20210201050A1 (en) | Generating training data from overhead view images | |
JP2023530762A (ja) | 3dバウンディングボックスからの単眼深度管理 | |
KR20210112672A (ko) | 객체를 검출하기 위한 프로세서 및 객체 검출 방법 | |
US11869253B2 (en) | Vehicle environment modeling with a camera | |
US20240177417A1 (en) | Vehicle environment modeling with a camera | |
US20230162386A1 (en) | Heterogeneous multi-threaded visual odometry in autonomous driving | |
WO2024112458A1 (en) | Scaling for depth estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230515 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7383870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |