JP2020046706A - 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム - Google Patents
物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム Download PDFInfo
- Publication number
- JP2020046706A JP2020046706A JP2018172207A JP2018172207A JP2020046706A JP 2020046706 A JP2020046706 A JP 2020046706A JP 2018172207 A JP2018172207 A JP 2018172207A JP 2018172207 A JP2018172207 A JP 2018172207A JP 2020046706 A JP2020046706 A JP 2020046706A
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- small
- neural network
- unit
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 115
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
図1は、本実施形態に係る車両制御システムの構成を概略的に示す図である。車両制御システム1は、車両10に搭載され、車両10を制御する。本実施形態では、車両制御システム1は車両の自動運転を実行する。
物体検出装置30はニューラルネットワークを用いることによって画像内の物体を検出する。ニューラルネットワークでは、ニューラルネットワークの各層における所定のパラメータ(重み等)が学習によって予め調整される。学習では、既知の物体の名称を含む正解ラベルが付与された画像が教師データとして用いられる。多数の教師データを用いてニューラルネットワークの学習を行うことによって物体の検出精度を高めることができる。
以下、図7のフローチャートを参照して、物体検出処理を含む車両制御処理について詳細に説明する。図7は、本実施形態における車両制御処理の制御ルーチンを示すフローチャートである。本制御ルーチンはECU3によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、カメラ2からECU3に画像が送信される間隔である。
3 電子制御ユニット(ECU)
10 車両
30 物体検出装置
31 位置領域検出部
32 大属性識別部
33 小属性識別部
34 物体判定部
35 走行計画部
36 車両制御部
Claims (8)
- 第1ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部と、
第2ニューラルネットワークを用いて前記物体の大属性を識別する大属性識別部と、
第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別する小属性識別部と、
前記物体の検出結果を判定する物体判定部と
を備え、
前記物体判定部は、前記小属性識別部による前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性識別部による前記大属性の識別結果に基づいて前記検出結果を判定する、物体検出装置。 - 前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果と前記小属性の信頼度分布とに基づいて前記検出結果を判定する、請求項1に記載の物体検出装置。
- 前記物体は標識である、請求項1又は2に記載の物体検出装置。
- 前記物体判定部は、前記信頼度が閾値未満であり且つ前記大属性識別部による前記大属性の識別結果が最高速度標識である場合には、前記小属性の候補のうち最も遅い速度の最高速度標識が前記検出結果であると判定する、請求項3に記載の物体検出装置。
- 前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果が前記検出結果であると判定する、請求項1から4のいずれか1項に記載の物体検出装置。
- 請求項1から5のいずれか1項に記載の物体検出装置と、
前記物体の検出結果に基づいて車両の走行計画を作成する走行計画部と、
前記走行計画部によって作成された走行計画に従って前記車両が走行するように該車両を制御する車両制御部と
を備えた、車両制御システム。 - 第1ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、
第2ニューラルネットワークを用いて前記物体の大属性を識別することと、
第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、
前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記物体の検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することと
を含む、物体検出方法。 - 第1ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、
第2ニューラルネットワークを用いて前記物体の大属性を識別することと、
第3ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、
前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記物体の検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することと
をコンピュータに実行させる物体検出用コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018172207A JP7040374B2 (ja) | 2018-09-14 | 2018-09-14 | 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム |
US16/555,057 US11023782B2 (en) | 2018-09-14 | 2019-08-29 | Object detection device, vehicle control system, object detection method, and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018172207A JP7040374B2 (ja) | 2018-09-14 | 2018-09-14 | 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020046706A true JP2020046706A (ja) | 2020-03-26 |
JP7040374B2 JP7040374B2 (ja) | 2022-03-23 |
Family
ID=69772212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018172207A Active JP7040374B2 (ja) | 2018-09-14 | 2018-09-14 | 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11023782B2 (ja) |
JP (1) | JP7040374B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507958A (zh) * | 2020-04-15 | 2020-08-07 | 全球能源互联网研究院有限公司 | 目标检测方法、检测模型的训练方法及电子设备 |
JP2021120864A (ja) * | 2020-05-20 | 2021-08-19 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム |
JP2021157699A (ja) * | 2020-03-30 | 2021-10-07 | 株式会社ユピテル | システム、プログラム、機械学習方法、及び機械学習モデル等 |
CN114248755A (zh) * | 2020-09-24 | 2022-03-29 | 丰田自动车株式会社 | 自身位置推定系统及自身位置推定方法 |
JP2022123754A (ja) * | 2021-02-12 | 2022-08-24 | 株式会社豊田自動織機 | 車両判別装置 |
CN115063428A (zh) * | 2022-08-18 | 2022-09-16 | 中国科学院国家空间科学中心 | 一种基于深度强化学习的空间暗弱小目标检测方法 |
WO2023007859A1 (ja) * | 2021-07-27 | 2023-02-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2023051757A (ja) * | 2021-09-30 | 2023-04-11 | ウーブン・アルファ株式会社 | 車両データ収集システム及びその使用方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200231B (zh) * | 2020-09-29 | 2024-04-30 | 深圳市信义科技有限公司 | 一种危险品车辆识别方法、系统、装置及介质 |
CN112308154A (zh) * | 2020-11-03 | 2021-02-02 | 湖南师范大学 | 一种基于yolov3-tiny的航拍车辆检测方法 |
US12080054B2 (en) * | 2021-03-10 | 2024-09-03 | Acronis International Gmbh | Systems and methods for detecting small objects in an image using a neural network |
CN115147348B (zh) * | 2022-05-05 | 2023-06-06 | 合肥工业大学 | 基于改进的YOLOv3的轮胎缺陷检测方法及系统 |
CN117037004B (zh) * | 2023-08-28 | 2024-09-24 | 淮阴工学院 | 基于多尺度特征融合和上下文增强的无人机影像检测方法 |
CN117274953A (zh) * | 2023-09-28 | 2023-12-22 | 深圳市厚朴科技开发有限公司 | 一种车辆和行人属性识别方法系统、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002530759A (ja) * | 1998-11-14 | 2002-09-17 | ダイムラークライスラー アクチエンゲゼルシャフト | 交通標識識別装置および識別方法 |
JP2013205410A (ja) * | 2012-03-30 | 2013-10-07 | Clarion Co Ltd | 車両用外界認識装置およびそれを用いた車両システム |
JP2016018538A (ja) * | 2014-07-11 | 2016-02-01 | キヤノン株式会社 | 画像認識装置、方法及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
US10621725B2 (en) * | 2017-04-12 | 2020-04-14 | Here Global B.V. | Small object detection from a large image |
JP6826010B2 (ja) * | 2017-08-09 | 2021-02-03 | 株式会社東芝 | カメラ運動推定装置、カメラ運動推定方法及びプログラム |
US10713510B2 (en) * | 2017-12-29 | 2020-07-14 | Waymo Llc | Autonomous vehicle system configured to respond to temporary speed limit signs |
US20190361454A1 (en) * | 2018-05-24 | 2019-11-28 | GM Global Technology Operations LLC | Control systems, control methods and controllers for an autonomous vehicle |
US10832093B1 (en) * | 2018-08-09 | 2020-11-10 | Zoox, Inc. | Tuning simulated data for optimized neural network activation |
-
2018
- 2018-09-14 JP JP2018172207A patent/JP7040374B2/ja active Active
-
2019
- 2019-08-29 US US16/555,057 patent/US11023782B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002530759A (ja) * | 1998-11-14 | 2002-09-17 | ダイムラークライスラー アクチエンゲゼルシャフト | 交通標識識別装置および識別方法 |
JP2013205410A (ja) * | 2012-03-30 | 2013-10-07 | Clarion Co Ltd | 車両用外界認識装置およびそれを用いた車両システム |
JP2016018538A (ja) * | 2014-07-11 | 2016-02-01 | キヤノン株式会社 | 画像認識装置、方法及びプログラム |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021157699A (ja) * | 2020-03-30 | 2021-10-07 | 株式会社ユピテル | システム、プログラム、機械学習方法、及び機械学習モデル等 |
JP7470967B2 (ja) | 2020-03-30 | 2024-04-19 | 株式会社ユピテル | システム、プログラム、機械学習方法、及び機械学習モデル等 |
CN111507958B (zh) * | 2020-04-15 | 2023-05-26 | 全球能源互联网研究院有限公司 | 目标检测方法、检测模型的训练方法及电子设备 |
CN111507958A (zh) * | 2020-04-15 | 2020-08-07 | 全球能源互联网研究院有限公司 | 目标检测方法、检测模型的训练方法及电子设备 |
JP2021120864A (ja) * | 2020-05-20 | 2021-08-19 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム |
US11688099B2 (en) | 2020-05-20 | 2023-06-27 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Method and apparatus for detecting obstacle |
CN114248755A (zh) * | 2020-09-24 | 2022-03-29 | 丰田自动车株式会社 | 自身位置推定系统及自身位置推定方法 |
US11772631B2 (en) | 2020-09-24 | 2023-10-03 | Toyota Jidosha Kabushiki Kaisha | Home position estimation system and home position estimation method |
JP2022053086A (ja) * | 2020-09-24 | 2022-04-05 | トヨタ自動車株式会社 | 自己位置推定システム及び自己位置推定方法 |
CN114248755B (zh) * | 2020-09-24 | 2024-07-05 | 丰田自动车株式会社 | 自身位置推定系统及自身位置推定方法 |
JP2022123754A (ja) * | 2021-02-12 | 2022-08-24 | 株式会社豊田自動織機 | 車両判別装置 |
WO2023007859A1 (ja) * | 2021-07-27 | 2023-02-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2023051757A (ja) * | 2021-09-30 | 2023-04-11 | ウーブン・アルファ株式会社 | 車両データ収集システム及びその使用方法 |
JP7382465B2 (ja) | 2021-09-30 | 2023-11-16 | ウーブン・バイ・トヨタ株式会社 | 車両データ収集システム及びその使用方法 |
CN115063428A (zh) * | 2022-08-18 | 2022-09-16 | 中国科学院国家空间科学中心 | 一种基于深度强化学习的空间暗弱小目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
US11023782B2 (en) | 2021-06-01 |
JP7040374B2 (ja) | 2022-03-23 |
US20200090004A1 (en) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7040374B2 (ja) | 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム | |
US11308717B2 (en) | Object detection device and object detection method | |
CN110796007B (zh) | 场景识别的方法与计算设备 | |
CN113228040A (zh) | 多级对象行进方向估计 | |
US20210042542A1 (en) | Using captured video data to identify active turn signals on a vehicle | |
JP2021099793A (ja) | インテリジェント交通管制システム及びその制御方法 | |
JP2020086545A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US20220274592A1 (en) | Vehicle parking navigation | |
US11776277B2 (en) | Apparatus, method, and computer program for identifying state of object, and controller | |
US11900690B2 (en) | Apparatus, method, and computer program for identifying state of signal light, and controller | |
JP2020052539A (ja) | 学習画像選別装置 | |
WO2023080111A1 (en) | Method and Systems for Detection Accuracy Ranking and Vehicle Instruction | |
CN116703966A (zh) | 多对象跟踪 | |
US11507093B2 (en) | Behavior control device and behavior control method for autonomous vehicles | |
JP2021128705A (ja) | 物体状態識別装置 | |
CN115959135A (zh) | 增强的车辆操作 | |
CN114333339B (zh) | 深度神经网络功能模块去重复的方法 | |
US11708075B2 (en) | Enhanced adaptive cruise control | |
EP4145420A1 (en) | Hierarchical processing of traffic signal face states | |
US20210004016A1 (en) | U-turn control system for autonomous vehicle and method therefor | |
US20230177844A1 (en) | Apparatus, method, and computer program for identifying state of lighting | |
CN112829757A (zh) | 自动驾驶控制系统、服务器装置以及存储程序的存储介质 | |
US12043289B2 (en) | Persisting predicted objects for robustness to perception issues in autonomous driving | |
US20230024799A1 (en) | Method, system and computer program product for the automated locating of a vehicle | |
US20240067233A1 (en) | Controller, method, and computer program for vehicle control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7040374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |