JP2022026858A - 外界認識システム、および、外界認識方法 - Google Patents
外界認識システム、および、外界認識方法 Download PDFInfo
- Publication number
- JP2022026858A JP2022026858A JP2020130521A JP2020130521A JP2022026858A JP 2022026858 A JP2022026858 A JP 2022026858A JP 2020130521 A JP2020130521 A JP 2020130521A JP 2020130521 A JP2020130521 A JP 2020130521A JP 2022026858 A JP2022026858 A JP 2022026858A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- camera
- unit
- external
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 19
- 239000002131 composite material Substances 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
路上カメラ2は、交差点付近に設置された外部カメラであり、撮影部20、画像配信部21、路上通信部22を備えている。撮影部20は、路上を撮影するための単眼カメラやステレオカメラである。画像配信部21は、外界認識システム1の要求に従って、撮影部20の撮影画像と撮影時のカメラパラメータを可逆形式で圧縮処理して配信データを生成するコンピュータである。カメラパラメータには、画角、画素数、焦点距離などの内部パラメータと、カメラの位置、路上からの高さ、視点方向などの外部パラメータを含む。路上通信部22は、外界認識システム1に配信データを配信するための通信装置である。
外界認識システム1は、自動運転車両V0の外部環境を認識するための車載システムであり、障害物の検知と、自動運転車両V0の進路決定に利用する詳細地図の生成を行う。上記したように、自動運転の実現には、路上の通過可能な領域を常に判断する必要があるため、その前提として、外界認識システム1は、車載カメラ10の撮影画像に基づいて、路面の形状を常に認識している。そこで、本実施例の外界認識システム1は、先行する車両V1などの移動障害物により死角が発生した場合には、その死角部分を補完するために、路上カメラ2の撮影画像の一部を切り出して、車載カメラ10の撮影画像と合成する。そして、合成後の画像に基づいて、路上の通過可能な領域を常に判断し、詳細地図を作成する。
次に、図2から図5を用いて、具体的な状況下での外界認識システム1の処理内容を説明する。
次に、図6のフローチャートを用いて、外界認識システム1の処理を順次説明する。
10 車載カメラ
11 前方移動体検知部
12 車載通信部
13 死角領域抽出部
14 画像変換部
15 画像合成部
16 簡易地図
17 詳細地図生成部
18a 移動体認識部
18b 移動体削除部
18c 画像保存部
18d 路上カメラ画像合成部
2、2A、2B 路上カメラ
20 撮影部
21 画像配信部
22 路上通信部
23 画像切り出し部
AB 死角領域
V0 自動運転車両
V1 車両
V2 駐車車両
20 撮影部
21 画像配信部
22 路上通信部
23 画像切り出し部
Claims (6)
- 車載カメラの撮影画像と外部カメラの撮影画像を合成して、自車両の外部環境を認識する外界認識システムであって、
自車両の前方を撮影する車載カメラと、
前記外部カメラと通信する車載通信部と、
前記車載カメラの撮影画像に基づいて、前方の移動体を検知する前方移動体検知部と、
前記移動体による死角領域を抽出する死角領域抽出部と、
受信した前記外部カメラの撮影画像を前記車載カメラの視点に変換する画像変換部と、
前記車載カメラの撮影画像の前記死角領域に、前記画像変換部による視点変換画像を合成する画像合成部と、
該画像合成部の合成画像に基づいて自車両の進行方向の詳細地図を生成する詳細地図生成部と、を具備することを特徴とする外界認識システム。 - 車載カメラの撮影画像と外部カメラの撮影画像を合成して、自車両の外部環境を認識する外界認識システムであって、
自車両の前方を撮影する車載カメラと、
前記外部カメラと通信する車載通信部と、
前記車載カメラの撮影画像に基づいて、前方の移動体を検知する前方移動体検知部と、
前記移動体による死角領域に相当する撮影画像だけを送信するよう前記外部カメラに要求するとともに、受信した前記外部カメラの撮影画像を前記車載カメラの視点に変換する画像変換部と、
前記車載カメラの撮影画像の前記死角領域に、前記画像変換部による視点変換画像を合成する画像合成部と、
該画像合成部の合成画像に基づいて自車両の進行方向の詳細地図を生成する詳細地図生成部と、を具備することを特徴とする外界認識システム。 - 請求項1に記載の外界認識システムにおいて、
前記車載通信部は、前記外部カメラから撮影時間の異なる複数の撮影画像を受信するものであり、
受信した複数の撮影画像内の移動体を認識する移動体認識部と、
受信した複数の撮影画像から前記移動体を削除する移動体削除部と、
前記移動体を削除した撮影画像を合成し、移動体の写っていない画像を合成する外部カメラ画像合成部と、をさらに具備することを特徴とする外界認識システム。 - 請求項1または請求項2に記載の外界認識システムにおいて、
利用可能な外部カメラが複数存在する場合は、前記画像変換部は、前記車載カメラの視点により近い外部カメラの撮影画像を処理対象とすることを特徴とする外界認識システム。 - 請求項3に記載の外界認識システムにおいて、
利用可能な外部カメラが複数存在する場合は、前記移動体認識部は、前記車載カメラの視点により近い外部カメラの撮影画像を処理対象とすることを特徴とする外界認識システム。 - 車載カメラの撮影画像と外部カメラの撮影画像を合成して、自車両の外部環境を認識する外界認識方法であって、
前記車載カメラの撮影画像に基づいて、前方の移動体を検知するステップと、
前記移動体による死角領域を抽出するステップと、
前記外部カメラの撮影画像を前記車載カメラの視点に変換するステップと、
前記車載カメラの撮影画像の前記死角領域に、視点変換画像を合成するステップと、
合成画像に基づいて自車両の進行方向の詳細地図を生成するステップと、を具備することを特徴とする外界認識方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020130521A JP7440367B2 (ja) | 2020-07-31 | 2020-07-31 | 外界認識システム、および、外界認識方法 |
US18/017,262 US20230282003A1 (en) | 2020-07-31 | 2021-04-19 | Environment Recognition System and Environment Recognition Method |
PCT/JP2021/015793 WO2022024471A1 (ja) | 2020-07-31 | 2021-04-19 | 外界認識システム、および、外界認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020130521A JP7440367B2 (ja) | 2020-07-31 | 2020-07-31 | 外界認識システム、および、外界認識方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022026858A true JP2022026858A (ja) | 2022-02-10 |
JP2022026858A5 JP2022026858A5 (ja) | 2023-02-10 |
JP7440367B2 JP7440367B2 (ja) | 2024-02-28 |
Family
ID=80037972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020130521A Active JP7440367B2 (ja) | 2020-07-31 | 2020-07-31 | 外界認識システム、および、外界認識方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230282003A1 (ja) |
JP (1) | JP7440367B2 (ja) |
WO (1) | WO2022024471A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10320535A (ja) * | 1997-05-22 | 1998-12-04 | Mitsubishi Heavy Ind Ltd | 背景画像自動生成装置 |
JP2008217813A (ja) * | 2008-04-08 | 2008-09-18 | Sumitomo Electric Ind Ltd | 衝突情報提供装置及び方法 |
JP2011089977A (ja) * | 2009-09-24 | 2011-05-06 | Denso Corp | 交差点案内システム |
JP2012208111A (ja) * | 2011-12-05 | 2012-10-25 | Pioneer Electronic Corp | 画像表示装置及び制御方法 |
JP2018074315A (ja) * | 2016-10-27 | 2018-05-10 | 学校法人立命館 | 画像表示システム、画像表示方法及びコンピュータプログラム |
JP2018147055A (ja) * | 2017-03-01 | 2018-09-20 | ソフトバンク株式会社 | 情報報知装置、移動体及び情報報知システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3520326B2 (ja) * | 2000-09-22 | 2004-04-19 | 国土交通省国土技術政策総合研究所長 | ミリ波レーダによる走行車両検出方法 |
-
2020
- 2020-07-31 JP JP2020130521A patent/JP7440367B2/ja active Active
-
2021
- 2021-04-19 WO PCT/JP2021/015793 patent/WO2022024471A1/ja active Application Filing
- 2021-04-19 US US18/017,262 patent/US20230282003A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10320535A (ja) * | 1997-05-22 | 1998-12-04 | Mitsubishi Heavy Ind Ltd | 背景画像自動生成装置 |
JP2008217813A (ja) * | 2008-04-08 | 2008-09-18 | Sumitomo Electric Ind Ltd | 衝突情報提供装置及び方法 |
JP2011089977A (ja) * | 2009-09-24 | 2011-05-06 | Denso Corp | 交差点案内システム |
JP2012208111A (ja) * | 2011-12-05 | 2012-10-25 | Pioneer Electronic Corp | 画像表示装置及び制御方法 |
JP2018074315A (ja) * | 2016-10-27 | 2018-05-10 | 学校法人立命館 | 画像表示システム、画像表示方法及びコンピュータプログラム |
JP2018147055A (ja) * | 2017-03-01 | 2018-09-20 | ソフトバンク株式会社 | 情報報知装置、移動体及び情報報知システム |
Also Published As
Publication number | Publication date |
---|---|
WO2022024471A1 (ja) | 2022-02-03 |
US20230282003A1 (en) | 2023-09-07 |
JP7440367B2 (ja) | 2024-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11748620B2 (en) | Generating ground truth for machine learning from time series elements | |
KR102618700B1 (ko) | 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정 | |
US11150664B2 (en) | Predicting three-dimensional features for autonomous driving | |
CN109634282B (zh) | 自动驾驶车辆、方法和装置 | |
JP6692899B2 (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
JP6627127B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
EP3530521B1 (en) | Driver assistance method and apparatus | |
US11577748B1 (en) | Real-time perception system for small objects at long range for autonomous vehicles | |
US11634139B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
WO2022024471A1 (ja) | 外界認識システム、および、外界認識方法 | |
WO2020036043A1 (ja) | 情報処理装置と情報処理方法とプログラム | |
JP6839642B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP2023111162A (ja) | 移動体制御装置、移動体制御方法、およびプログラム | |
US20220065649A1 (en) | Head-up display system | |
US12014553B2 (en) | Predicting three-dimensional features for autonomous driving | |
KR102660433B1 (ko) | 운전자 보조 장치 및 운전자 보조 방법 | |
US20230303066A1 (en) | Driver assistance system and computer-readable recording medium | |
KR20220170344A (ko) | 능동형 카메라를 이용한 신호등 인식 장치 및 이를 이용한 방법 | |
KR20210058350A (ko) | 차량 간 거리 산출 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7440367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |