JP2020046706A - 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム - Google Patents

物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム Download PDF

Info

Publication number
JP2020046706A
JP2020046706A JP2018172207A JP2018172207A JP2020046706A JP 2020046706 A JP2020046706 A JP 2020046706A JP 2018172207 A JP2018172207 A JP 2018172207A JP 2018172207 A JP2018172207 A JP 2018172207A JP 2020046706 A JP2020046706 A JP 2020046706A
Authority
JP
Japan
Prior art keywords
attribute
small
neural network
unit
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018172207A
Other languages
English (en)
Other versions
JP7040374B2 (ja
Inventor
聡 武安
Satoshi Takeyasu
聡 武安
大輔 橋本
Daisuke Hashimoto
大輔 橋本
公太 平野
Kota Hirano
公太 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018172207A priority Critical patent/JP7040374B2/ja
Priority to US16/555,057 priority patent/US11023782B2/en
Publication of JP2020046706A publication Critical patent/JP2020046706A/ja
Application granted granted Critical
Publication of JP7040374B2 publication Critical patent/JP7040374B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】物体の検出が困難な状況において物体が未検出となることを抑制する。【解決手段】物体検出装置３０は、第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部３１と、第２ニューラルネットワークを用いて物体の大属性を識別する大属性識別部３２と、第３ニューラルネットワークを用いて、大属性の下位概念である物体の小属性を識別する小属性識別部３３と、物体の検出結果を判定する物体判定部３４とを備える。物体判定部は、小属性識別部による小属性の識別結果の信頼度が閾値以上である場合には、小属性の識別結果が物体の検出結果であると判定し、小属性の識別結果の信頼度が閾値未満である場合には、大属性識別部による大属性の識別結果に基づいて物体の検出結果を判定する。【選択図】図７

Description

本発明は、物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラムに関する。
従来、カメラ等によって生成された画像から物体を検出する技術が知られている。例えば、非特許文献１、２には、ニューラルネットワークを用いることで、物体の検出精度を向上させることができることが記載されている。
斯かるニューラルネットワークでは、ニューラルネットワークの各層における所定のパラメータ（重み等）が学習によって予め調整される。学習では、既知の物体の名称を含む正解ラベルが付与された画像が教師データとして用いられる。多数の教師データを用いてニューラルネットワークの学習を行うことによって物体の検出精度を高めることができる。
Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年 Shaoqing Ren他、「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、NIPS、2015年
しかしながら、稀有な物体については、多数の教師データを用意することが困難であり、物体の検出精度が低下する。また、逆光、モーションブラー等によって画像内の物体が不鮮明である場合にも、物体の検出精度が低下する。
そこで、本発明の目的は、物体の検出が困難な状況において物体が未検出となることを抑制することにある。
本開示の要旨は以下のとおりである。
（１）第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部と、第２ニューラルネットワークを用いて前記物体の大属性を識別する大属性識別部と、第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別する小属性識別部と、前記物体の検出結果を判定する物体判定部とを備え、前記物体判定部は、前記小属性識別部による前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性識別部による前記大属性の識別結果に基づいて前記検出結果を判定する、物体検出装置。
（２）前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果と前記小属性の信頼度分布とに基づいて前記検出結果を判定する、上記（１）に記載の物体検出装置。
（３）前記物体は標識である、上記（１）又は（２）に記載の物体検出装置。
（４）前記物体判定部は、前記信頼度が閾値未満であり且つ前記大属性識別部による前記大属性の識別結果が最高速度標識である場合には、前記小属性の候補のうち最も遅い速度の最高速度標識が前記検出結果であると判定する、上記（３）に記載の物体検出装置。
（５）前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果が前記検出結果であると判定する、上記（１）から（４）のいずれか１つに記載の物体検出装置。
（６）上記（１）から（５）のいずれか１つに記載の物体検出装置と、前記物体の検出結果に基づいて車両の走行計画を作成する走行計画部と、前記走行計画部によって作成された走行計画に従って前記車両が走行するように該車両を制御する車両制御部とを備えた、車両制御システム。
（７）第１ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、第２ニューラルネットワークを用いて前記物体の大属性を識別することと、第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することとを含む、物体検出方法。
（８）第１ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、第２ニューラルネットワークを用いて前記物体の大属性を識別することと、第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することとをコンピュータに実行させる物体検出用コンピュータプログラム。
本発明によれば、物体の検出が困難な状況において物体が未検出となることを抑制することができる。
図１は、本実施形態に係る車両制御システムの構成を概略的に示す図である。 図２は、ＥＣＵのハードウェア構成図である。 図３は、車両制御処理に関するＥＣＵの機能ブロック図である。 図４は、識別器として利用されるニューラルネットワークの構成の一例を示す図である。 図５は、検出対象の物体が車両であるときの教師データの一例である。 図６は、検出対象の物体が標識であるときの教師データの一例である。 図７は、本実施形態における車両制御処理の制御ルーチンを示すフローチャートである。 図８は、識別器として利用されるニューラルネットワークの構成の別の一例を示す図である。
以下、図面を参照して、本発明の実施形態に係る物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラムについて説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
＜車両制御システム＞
図１は、本実施形態に係る車両制御システムの構成を概略的に示す図である。車両制御システム１は、車両１０に搭載され、車両１０を制御する。本実施形態では、車両制御システム１は車両の自動運転を実行する。
車両制御システム１はカメラ２及び電子制御ユニット（ＥＣＵ）３を備える。カメラ２とＥＣＵ３とは、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワーク４を介して互いに通信可能に接続される。
カメラ２は所定範囲を撮影して所定範囲の画像を生成する。カメラ２は、レンズ及び撮像素子を含み、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。
本実施形態では、カメラ２は、車両１０に設けられ、車両１０の周囲を撮影する。具体的には、カメラ２は、車両１０の内部に設けられ、車両１０の前方領域を撮影する。例えば、カメラ２は車両１０のルームミラーの背面に設けられる。カメラ２は、車両１０のイグニッションスイッチがオンである間、所定の撮影間隔（例えば１／３０秒〜１／１０秒）で車両１０の前方領域を撮影し、前方領域の画像を生成する。カメラ２によって生成された画像は車内ネットワーク４を介してカメラ２からＥＣＵ３に送信される。カメラ２によって生成される画像はカラー画像又はグレー画像である。
図２は、ＥＣＵ３のハードウェア構成図である。ＥＣＵ３は、通信インターフェース２１、メモリ２２及びプロセッサ２３を含み、車両１０の各種制御を実行する。通信インターフェース２１及びメモリ２２は信号線を介してプロセッサ２３に接続されている。
通信インターフェース２１は、ＥＣＵ３を車内ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は車内ネットワーク４を介してカメラ２に接続される。通信インターフェース２１は、カメラ２から画像を受信し、受信した画像をプロセッサ２３に伝達する。
メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３によって各種処理が実行されるときに使用される各種データ等を記憶する。例えば、メモリ２２は、カメラ２によって生成された画像、地図情報等を記憶する。
プロセッサ２３は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、カメラ２から画像を受信する度に、物体検出処理を含む車両制御処理を実行する。なお、プロセッサ２３は、論理演算ユニット又は数値演算ユニットのような演算回路を更に有していてもよい。
図３は、車両制御処理に関するＥＣＵ３の機能ブロック図である。車両制御システム１は、カメラ２、物体検出装置３０、走行計画部３５及び車両制御部３６を備える。物体検出装置３０は、カメラ２から画像を受信し、カメラ２によって生成された画像内の物体を検出する。走行計画部３５は、物体検出装置３０による物体の検出結果に基づいて車両１０の走行計画を作成する。車両制御部３６は、走行計画部３５によって作成された走行計画に従って車両１０が走行するように車両１０を制御する。
＜物体検出処理＞
物体検出装置３０はニューラルネットワークを用いることによって画像内の物体を検出する。ニューラルネットワークでは、ニューラルネットワークの各層における所定のパラメータ（重み等）が学習によって予め調整される。学習では、既知の物体の名称を含む正解ラベルが付与された画像が教師データとして用いられる。多数の教師データを用いてニューラルネットワークの学習を行うことによって物体の検出精度を高めることができる。
しかしながら、稀有な物体については、多数の教師データを用意することが困難であり、物体の検出精度が低下する。また、逆光、モーションブラー等によって画像内の物体が不鮮明である場合にも、物体の検出精度が低下する。物体の未検出によって車両１０の周囲環境を把握できない場合、車両制御システム１によって車両１０の自動運転を継続させることが困難となる。
一方、物体の詳細を検出できなくても、物体の概要を検出できる場合がある。例えば、画像内の車両の種類（乗用車、トラック、バス等）を検出できなくても、物体が車両であることを検出できる場合がある。この場合、物体の概要から物体を予測することで、物体が未検出となることを抑制することができる。このため、本実施形態では、物体検出装置３０は、物体の小属性及び大属性を別個に識別することによって物体の最終的な検出結果を判定する。
物体の小属性は物体の大属性の下位概念である。例えば、物体の大属性が車両である場合、物体の小属性は、乗用車、トラック、バス等である。また、物体の大属性が、許容される上限速度を規定する最高速度標識である場合、物体の小属性は、３０ｋｍ／ｈ、６０ｋｍ／ｈ、８０ｋｍ／ｈ等の最高速度標識である。また、物体の大属性が警戒標識（日本における黄色の菱形の標識）である場合、物体の小属性は、踏切の存在、信号機の存在、落石の危険性、車線数の減少等を予告する標識である。また、物体の大属性が落下物である場合、物体の小属性は、木材、段ボール、タイヤ、雑誌、布団等である。
図３に示されるように、物体検出装置３０は、位置領域検出部３１、大属性識別部３２、小属性識別部３３及び物体判定部３４を備える。位置領域検出部３１は画像内の物体の位置領域を検出する。大属性識別部３２は画像内の物体の大属性を識別する。小属性識別部３３は画像内の物体の小属性を識別する。物体判定部３４は物体の大属性及び小属性の識別結果に基づいて物体の検出結果を判定する。
例えば、物体検出装置３０の検出対象である物体は標識である。タイヤ、バンパー、窓、灯火類等の多くの特徴部分を有する車両と異なり、標識は多くの特徴部分を有しない。このため、ニューラルネットワークを用いない検出方法では、数字又は絵の特徴部分が不明瞭である場合には、標識が未検出となる。一方、ニューラルネットワークを用いる物体検出装置３０では、数字又は絵の特徴部分が不明瞭であっても、他の微細な特徴部分に基づいて物体が標識であることを検出することが多い。このため、大属性識別部３２によって物体の大属性を識別することによって、標識のような特徴部分が少ない物体であっても、物体が未検出となることを抑制することができる。
本実施形態では、ＥＣＵ３が、位置領域検出部３１、大属性識別部３２、小属性識別部３３、物体判定部３４、走行計画部３５及び車両制御部３６を有する。これら機能ブロックは、例えば、ＥＣＵ３のプロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、これら機能ブロックは、プロセッサ２３に設けられた専用の演算回路であってもよい。
物体検出装置３０の位置領域検出部３１、大属性識別部３２及び小属性識別部３３は、ニューラルネットワークによって物体を検出する識別器を構成する。図４は、識別器として利用されるニューラルネットワークの構成の一例を示す図である。識別器４０は、入力層と出力層との間に複数の中間層を有するディープニューラルネットワークである。
識別器４０は、主幹ニューラルネットワーク（以下、「主幹ＮＮ」という）４１、位置領域検出ニューラルネットワーク（以下、「位置領域検出ＮＮ」という）４２、大属性識別ニューラルネットワーク（以下、「大属性識別ＮＮ」という）４３及び小属性識別ニューラルネットワーク（以下、「小属性識別ＮＮ」という）４４を有する。
位置領域検出ＮＮ４２は、主幹ＮＮ４１に直列に接続され、主幹ＮＮ４１よりも下流側（出力側）に配置される。大属性識別ＮＮ４３は、主幹ＮＮ４１に直列に接続され、主幹ＮＮ４１よりも下流側に配置される。小属性識別ＮＮ４４は、大属性識別ＮＮ４３に直列に接続され、主幹ＮＮ４１及び大属性識別ＮＮ４３よりも下流側に配置される。大属性識別ＮＮ４３は主幹ＮＮ４１と小属性識別ＮＮ４４との間に配置される。
主幹ＮＮ４１は、画像が入力される入力層を有するベースネットワークである。例えば、主幹ＮＮ４１は、複数の畳み込み層を有するコンボリューションニューラルネットワーク（ＣＮＮ）として構成される。主幹ＮＮ４１は、１又は複数の畳み込み層ごとに設けられるプーリング層を含んでいてもよい。また、主幹ＮＮ４１は、１以上の全結合層を含んでいてもよい。例えば、主幹ＮＮ４１は、非特許文献１に記載されたSingle Shot MultiBox Detector（ＳＳＤ）のベースネットワークであるＶＧＧ１６と同様の構成を有することができる。また、主幹ＮＮ４１は、ＲｅｓＮｅｔ（Residual Networks）、ＡｌｅｘＮｅｔ等の他のＣＮＮアーキテクチャと同様の構成を有していてもよい。
主幹ＮＮ４１の出力は位置領域検出ＮＮ４２に入力される。位置領域検出ＮＮ４２は、画像内の物体の位置領域を出力する出力層を有する。位置領域検出ＮＮ４２の出力層は、物体の位置領域を示すバウンディングボックス（bounding box）、具体的には、バウンディングボックスの中心座標（ｘ、ｙ）、幅ｗ及び高さｈを出力する。バウンディングボックスは、画像内の物体を囲む外接矩形として表される。
また、主幹ＮＮ４１の出力は大属性識別ＮＮ４３に入力される。大属性識別ＮＮ４３は、画像内の物体の大属性を出力する出力層を有する。大属性識別ＮＮ４３の出力層は、大属性の識別結果（すなわち、大属性の種類）と共に、識別結果の信頼度（confidence）を出力する。出力層の活性化関数は例えばソフトマックス関数である。
大属性識別ＮＮ４３の出力は小属性識別ＮＮ４４に入力される。小属性識別ＮＮ４４は、画像内の物体の小属性を出力する出力層を有する。小属性識別ＮＮ４４の出力層は、小属性の識別結果（すなわち、小属性の種類）と共に、識別結果の信頼度を出力する。出力層の活性化関数は例えばソフトマックス関数である。
例えば、位置領域検出ＮＮ４２、大属性識別ＮＮ４３及び小属性識別ＮＮ４４は、それぞれ、複数の畳み込み層を有するコンボリューションニューラルネットワーク（ＣＮＮ）として構成される。例えば、位置領域検出ＮＮ４２、大属性識別ＮＮ４３及び小属性識別ＮＮ４４は、それぞれ、複数の特徴マップ（feature map）を生成するように構成される。なお、位置領域検出ＮＮ４２、大属性識別ＮＮ４３及び小属性識別ＮＮ４４は、それぞれ、１又は複数の畳み込み層ごとに設けられるプーリング層を含んでいてもよい。また、位置領域検出ＮＮ４２、大属性識別ＮＮ４３及び小属性識別ＮＮ４４は、それぞれ、１以上の全結合層を含んでいてもよい。
位置領域検出部３１は、第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する。図４の例では、第１ニューラルネットワークは、ディープニューラルネットワークであり、主幹ＮＮ４１及び位置領域検出ＮＮ４２からなる。大属性識別部３２は、第２ニューラルネットワークを用いて画像内の物体の大属性を識別する。図４の例では、第２ニューラルネットワークは、ディープニューラルネットワークであり、主幹ＮＮ４１及び大属性識別ＮＮ４３からなる。小属性識別部３３は、第３ニューラルネットワークを用いて画像内の物体の小属性を識別する。図４の例では、第３ニューラルネットワークは、ディープニューラルネットワークであり、主幹ＮＮ４１、大属性識別ＮＮ４３及び小属性識別ＮＮ４４からなる。
例えば、第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークは、それぞれ、物体の検出精度が高く且つ物体の検出速度が速くなるように、Single Shot MultiBox Detector（ＳＳＤ）、Faster R-CNN、You Only Look Once（ＹＯＬＯ）等と同様の構成を有することができる。
第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークでは、それぞれ、学習によって検出精度が高められる。学習では、正解ラベルが付与された画像が教師データとして用いられる。正解ラベルには、画像内の物体の位置領域、大属性及び小属性が含まれる。
図５は、検出対象の物体が車両であるときの教師データの一例である。この例では、教師データ（教師画像）５００は、正解ラベルとして、物体５０１の位置領域を示すバウンディングボックス５０２の中心座標（ｘ、ｙ）、幅ｗ及び高さｈと、物体５０１の大属性（この例では車両）と、物体５０１の小属性（この例では乗用車）とを含む。
図６は、検出対象の物体が標識であるときの教師データの一例である。この例では、教師データ（教師画像）６００は、正解ラベルとして、物体６０１の位置領域を示すバウンディングボックス６０２の中心座標（ｘ、ｙ）、幅ｗ及び高さｈと、物体６０１の大属性（この例では最高速度標識）と、物体６０１の小属性（この例では８０ｋｍ／ｈの最高速度標識）とを含む。
第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークの学習は、それぞれ、図５及び図６に示されるような多数の教師データを用いて、誤差逆伝播法のような学習手法によって行われる。誤差逆伝播法では、各ニューラルネットワークの出力が正解ラベルに近付くように、すなわち損失関数の値が小さくなるように各ニューラルネットワークの各層における重みが更新される。第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークの学習では、同一の教師データを用いることができる。このため、これらニューラルネットワークの学習を効率的に行うことができる。
図３に示されるように、位置領域検出部３１、大属性識別部３２及び小属性識別部３３の出力は物体判定部３４に入力される。物体判定部３４は、大属性識別部３２による大属性の識別結果と、小属性識別部３３による小属性の識別結果とに基づいて、位置領域検出部３１によって検出された位置領域における物体の検出結果を判定する。
具体的には、物体判定部３４は、小属性識別部３３による小属性の識別結果の信頼度が閾値以上である場合には、小属性の識別結果が物体の検出結果であると判定する。一方、物体判定部３４は、小属性識別部３３による小属性の識別結果の信頼度が閾値未満である場合には、大属性識別部３２による大属性の識別結果に基づいて検出結果を判定する。このことによって、物体の検出が困難な状況において小属性の識別結果の信頼度が低くなったとしても、物体が未検出となることを抑制することができる。
＜車両制御処理＞
以下、図７のフローチャートを参照して、物体検出処理を含む車両制御処理について詳細に説明する。図７は、本実施形態における車両制御処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、カメラ２からＥＣＵ３に画像が送信される間隔である。
ステップＳ１０１〜Ｓ１０７では、物体検出処理が実行される。最初に、ステップＳ１０１において、位置領域検出部３１、大属性識別部３２及び小属性識別部３３はカメラ２から画像を受信する。
次いで、ステップＳ１０２において、位置領域検出部３１は、第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する。具体的には、位置領域検出部３１は、画像データを第１ニューラルネットワークに入力し、第１ニューラルネットワークに物体の位置領域を出力させる。
次いで、ステップＳ１０３において、大属性識別部３２は、第２ニューラルネットワークを用いて画像内の物体の大属性を識別する。具体的には、大属性識別部３２は、画像データを第２ニューラルネットワークに入力し、第２ニューラルネットワークに物体の大属性を出力させる。
第２ニューラルネットワークは、予め定められた大属性の種類（車両、最高速度標識、警戒標識、落下物、動物等）のそれぞれに対応する信頼度（０〜１）を出力する。信頼度は、画像内の物体の大属性が、その信頼度が付与された種類の大属性である可能性を表し、信頼度の値が高いほど、画像内の物体の大属性が正確に識別されていることを示す。また、全ての種類の信頼度の合計は１となる。なお、位置領域検出部３１によって複数の位置領域が検出された場合には、大属性識別部３２は、複数の位置領域のそれぞれについて、物体の大属性を識別する。
次いで、ステップＳ１０４において、小属性識別部３３は、第３ニューラルネットワークを用いて画像内の物体の小属性を識別する。具体的には、小属性識別部３３は、画像データを第３ニューラルネットワークに入力し、第３ニューラルネットワークに物体の小属性を出力させる。
第３ニューラルネットワークは、予め定められた小属性の種類（大属性が車両である場合、乗用車、バス、トラック等）のそれぞれに対応する信頼度（０〜１）を出力する。信頼度は、画像内の物体の小属性が、その信頼度が出力された種類の小属性である可能性を表し、信頼度の値が高いほど、画像内の物体の小属性が正確に識別されていることを示す。また、全ての種類の信頼度の合計は１となる。なお、位置領域検出部３１によって複数の位置領域が検出された場合には、小属性識別部３３は、複数の位置領域のそれぞれについて、物体の小属性を識別する。
次いで、ステップＳ１０５において、物体判定部３４は、小属性識別部３３による小属性の識別結果の信頼度が閾値以上であるか否かを判定する。閾値は、予め定められ、例えば、０．６〜０．９の値に設定される。なお、小属性の識別結果とは、第３ニューラルネットワークによって最大の信頼度が出力された小属性の種類である。
ステップＳ１０５において小属性の識別結果の信頼度が閾値以上であると判定された場合、本制御ルーチンはステップＳ１０６に進む。ステップＳ１０６では、物体判定部３４は、物体の検出結果として、小属性の識別結果を採用する。すなわち、物体判定部３４は、小属性の識別結果が物体の検出結果であると判定する。
一方、ステップＳ１０５において小属性の識別結果の信頼度が閾値未満であると判定された場合、本制御ルーチンはステップＳ１０７に進む。ステップＳ１０７では、物体判定部３４は大属性識別部３２による大属性の識別結果に基づいて物体の検出結果を判定する。なお、大属性の識別結果とは、第２ニューラルネットワークによって最大の信頼度が出力された大属性の種類である。
例えば、物体判定部３４は、大属性の識別結果が物体の検出結果であると判定する。このことによって、物体の概要が把握され、物体が未検出となることを抑制することができる。
また、物体判定部３４は、大属性の識別結果と小属性の信頼度分布とに基づいて物体の検出結果を判定してもよい。このことによっても、物体が未検出となることを抑制することができる。
例えば、物体判定部３４は、大属性の識別結果が最高速度標識である場合には、小属性識別部３３によって識別された小属性の平均値を小属性の信頼度分布に基づいて算出し、算出した小属性の平均値が物体の検出結果であると判定してもよい。例えば、３０ｋｍ／ｈ、６０ｋｍ／ｈ及び８０ｋｍ／ｈの最高速度標識の信頼度が、それぞれ、０．１、０．５及び０．４であった場合、小属性の平均値は６２．３ｋｍ／ｈの最高速度標識となる（３０×０．１＋６０×０．５＋８０×０．４＝６２．３）。なお、小属性の平均値の整数１桁目又は小数点１桁目が四捨五入されてもよい。
また、物体判定部３４は、大属性の識別結果が車両である場合には、小属性識別部３３によって識別された小属性（例えば、乗用車、トラック及びバス）の大きさの平均値を小属性の信頼度分布に基づいて算出し、算出した平均値の大きさを有する車両が物体の検出結果であると判定してもよい。この場合、各小属性の大きさはＥＣＵ３のメモリ２２に予め記憶される。
また、物体判定部３４は、大属性の識別結果が最高速度標識である場合には、小属性の候補のうち最も遅い速度の最高速度標識が物体の検出結果であると判定してもよい。例えば、小属性の候補が、３０ｋｍ／ｈ、６０ｋｍ／ｈ及び８０ｋｍ／ｈの最高速度標識である場合、物体判定部３４は、３０ｋｍ／ｈの最高速度標識が物体の検出結果であると判定する。このことによって、物体が未検出となることを抑制しつつ、車両制御システム１による車両１０の自動運転の安全性を高めることができる。
小属性の候補は、例えば、小属性識別部３３の第３ニューラルネットワークにおいて予め定められた小属性の種類である。また、小属性の候補は、車両１０の現在位置及び地図情報から決定されてもよい。例えば、車両１０が走行している道路が所定の高速道路である場合、その高速道路に存在しうる全ての最高速度が小属性の候補にされる。車両１０の現在位置は、車両１０に設けられたＧＰＳ受信機によって検出され、地図情報はメモリ２２に予め記憶される。
また、小属性の候補は、車両１０の周囲の他車両の速度から決定されてもよい。例えば、速度が検出された全ての他車両の速度が小属性の候補にされる。他車両の速度は、車両１０に設けられた車速センサ、車両１０と他車両との相対速度を検出可能なカメラ２、ミリ波レーダ又はレーザレーダ等を用いて検出される。
ステップＳ１０６又はステップＳ１０７の後、ステップＳ１０８において、走行計画部３５は物体の検出結果に基づいて車両１０の走行計画を作成する。例えば、物体の検出結果が８０ｋｍ／ｈの最高速度標識である場合、走行計画部３５は、車両１０の速度が８０ｋｍ／ｈを超えないように車両１０の目標速度を設定する。また、物体の検出結果が車両、落下物等の障害物である場合、走行計画部３５は、車両１０が障害物に接触しないように車両１０の走行軌道、目標速度等を設定する。
次いで、ステップＳ１０９において、車両制御部３６は、走行計画部３５によって作成された走行計画に従って車両１０が走行するように車両１０を制御する。具体的には、車両制御部３６は車両１０の各種アクチュエータ（スロットル弁、モータ、ステアリングシステム、ブレーキアクチュエータ等）を操作して車両１０の加速、操舵及び制動を制御する。ステップＳ１０９の後、本制御ルーチンは終了する。
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。例えば、車両制御部３６は、車両１０の加速、制動及び操舵の一部のみを制御してもよい。
また、図８に示されるように、小属性識別ＮＮ４４が主幹ＮＮ４１に直列に接続され、大属性識別ＮＮ４３と小属性識別ＮＮ４４とが並列に構成されてもよい。この場合、小属性識別部３３の第３ニューラルネットワークは、主幹ＮＮ４１及び小属性識別ＮＮ４４からなる。
また、物体検出装置３０の各機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体又は光記録媒体のような、コンピュータ読取可能な可搬性の記録媒体に記録された形態で提供されてもよい。
また、物体検出装置３０は車両以外に実装されてもよい。例えば、物体検出装置３０は、サーバ等に実装され、屋内又は屋外に設置された監視カメラ又はドローンに搭載されたカメラによって生成された画像から物体を検出してもよい。また、ＥＣＵ３の代わりに、ＧＰＵ（Graphics Processing Unit）が、位置領域検出部３１、大属性識別部３２、小属性識別部３３及び物体判定部３４を有していてもよい。
１ 車両制御システム
３ 電子制御ユニット（ＥＣＵ）
１０ 車両
３０ 物体検出装置
３１ 位置領域検出部
３２ 大属性識別部
３３ 小属性識別部
３４ 物体判定部
３５ 走行計画部
３６ 車両制御部

Claims (8)

  1. 第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部と、
    第２ニューラルネットワークを用いて前記物体の大属性を識別する大属性識別部と、
    第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別する小属性識別部と、
    前記物体の検出結果を判定する物体判定部と
    を備え、
    前記物体判定部は、前記小属性識別部による前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性識別部による前記大属性の識別結果に基づいて前記検出結果を判定する、物体検出装置。
  2. 前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果と前記小属性の信頼度分布とに基づいて前記検出結果を判定する、請求項１に記載の物体検出装置。
  3. 前記物体は標識である、請求項１又は２に記載の物体検出装置。
  4. 前記物体判定部は、前記信頼度が閾値未満であり且つ前記大属性識別部による前記大属性の識別結果が最高速度標識である場合には、前記小属性の候補のうち最も遅い速度の最高速度標識が前記検出結果であると判定する、請求項３に記載の物体検出装置。
  5. 前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果が前記検出結果であると判定する、請求項１から４のいずれか１項に記載の物体検出装置。
  6. 請求項１から５のいずれか１項に記載の物体検出装置と、
    前記物体の検出結果に基づいて車両の走行計画を作成する走行計画部と、
    前記走行計画部によって作成された走行計画に従って前記車両が走行するように該車両を制御する車両制御部と
    を備えた、車両制御システム。
  7. 第１ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、
    第２ニューラルネットワークを用いて前記物体の大属性を識別することと、
    第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、
    前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記物体の検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することと
    を含む、物体検出方法。
  8. 第１ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、
    第２ニューラルネットワークを用いて前記物体の大属性を識別することと、
    第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、
    前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記物体の検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することと
    をコンピュータに実行させる物体検出用コンピュータプログラム。
JP2018172207A 2018-09-14 2018-09-14 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム Active JP7040374B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018172207A JP7040374B2 (ja) 2018-09-14 2018-09-14 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
US16/555,057 US11023782B2 (en) 2018-09-14 2019-08-29 Object detection device, vehicle control system, object detection method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018172207A JP7040374B2 (ja) 2018-09-14 2018-09-14 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2020046706A true JP2020046706A (ja) 2020-03-26
JP7040374B2 JP7040374B2 (ja) 2022-03-23

Family

ID=69772212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018172207A Active JP7040374B2 (ja) 2018-09-14 2018-09-14 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム

Country Status (2)

Country Link
US (1) US11023782B2 (ja)
JP (1) JP7040374B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507958A (zh) * 2020-04-15 2020-08-07 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
JP2021120864A (ja) * 2020-05-20 2021-08-19 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
JP2021157699A (ja) * 2020-03-30 2021-10-07 株式会社ユピテル システム、プログラム、機械学習方法、及び機械学習モデル等
CN114248755A (zh) * 2020-09-24 2022-03-29 丰田自动车株式会社 自身位置推定系统及自身位置推定方法
JP2022123754A (ja) * 2021-02-12 2022-08-24 株式会社豊田自動織機 車両判別装置
CN115063428A (zh) * 2022-08-18 2022-09-16 中国科学院国家空间科学中心 一种基于深度强化学习的空间暗弱小目标检测方法
WO2023007859A1 (ja) * 2021-07-27 2023-02-02 ソニーグループ株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2023051757A (ja) * 2021-09-30 2023-04-11 ウーブン・アルファ株式会社 車両データ収集システム及びその使用方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200231B (zh) * 2020-09-29 2024-04-30 深圳市信义科技有限公司 一种危险品车辆识别方法、系统、装置及介质
CN112308154A (zh) * 2020-11-03 2021-02-02 湖南师范大学 一种基于yolov3-tiny的航拍车辆检测方法
US12080054B2 (en) * 2021-03-10 2024-09-03 Acronis International Gmbh Systems and methods for detecting small objects in an image using a neural network
CN115147348B (zh) * 2022-05-05 2023-06-06 合肥工业大学 基于改进的YOLOv3的轮胎缺陷检测方法及系统
CN117037004B (zh) * 2023-08-28 2024-09-24 淮阴工学院 基于多尺度特征融合和上下文增强的无人机影像检测方法
CN117274953A (zh) * 2023-09-28 2023-12-22 深圳市厚朴科技开发有限公司 一种车辆和行人属性识别方法系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002530759A (ja) * 1998-11-14 2002-09-17 ダイムラークライスラー アクチエンゲゼルシャフト 交通標識識別装置および識別方法
JP2013205410A (ja) * 2012-03-30 2013-10-07 Clarion Co Ltd 車両用外界認識装置およびそれを用いた車両システム
JP2016018538A (ja) * 2014-07-11 2016-02-01 キヤノン株式会社 画像認識装置、方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
US10621725B2 (en) * 2017-04-12 2020-04-14 Here Global B.V. Small object detection from a large image
JP6826010B2 (ja) * 2017-08-09 2021-02-03 株式会社東芝 カメラ運動推定装置、カメラ運動推定方法及びプログラム
US10713510B2 (en) * 2017-12-29 2020-07-14 Waymo Llc Autonomous vehicle system configured to respond to temporary speed limit signs
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10832093B1 (en) * 2018-08-09 2020-11-10 Zoox, Inc. Tuning simulated data for optimized neural network activation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002530759A (ja) * 1998-11-14 2002-09-17 ダイムラークライスラー アクチエンゲゼルシャフト 交通標識識別装置および識別方法
JP2013205410A (ja) * 2012-03-30 2013-10-07 Clarion Co Ltd 車両用外界認識装置およびそれを用いた車両システム
JP2016018538A (ja) * 2014-07-11 2016-02-01 キヤノン株式会社 画像認識装置、方法及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021157699A (ja) * 2020-03-30 2021-10-07 株式会社ユピテル システム、プログラム、機械学習方法、及び機械学習モデル等
JP7470967B2 (ja) 2020-03-30 2024-04-19 株式会社ユピテル システム、プログラム、機械学習方法、及び機械学習モデル等
CN111507958B (zh) * 2020-04-15 2023-05-26 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
CN111507958A (zh) * 2020-04-15 2020-08-07 全球能源互联网研究院有限公司 目标检测方法、检测模型的训练方法及电子设备
JP2021120864A (ja) * 2020-05-20 2021-08-19 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
US11688099B2 (en) 2020-05-20 2023-06-27 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for detecting obstacle
CN114248755A (zh) * 2020-09-24 2022-03-29 丰田自动车株式会社 自身位置推定系统及自身位置推定方法
US11772631B2 (en) 2020-09-24 2023-10-03 Toyota Jidosha Kabushiki Kaisha Home position estimation system and home position estimation method
JP2022053086A (ja) * 2020-09-24 2022-04-05 トヨタ自動車株式会社 自己位置推定システム及び自己位置推定方法
CN114248755B (zh) * 2020-09-24 2024-07-05 丰田自动车株式会社 自身位置推定系统及自身位置推定方法
JP2022123754A (ja) * 2021-02-12 2022-08-24 株式会社豊田自動織機 車両判別装置
WO2023007859A1 (ja) * 2021-07-27 2023-02-02 ソニーグループ株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2023051757A (ja) * 2021-09-30 2023-04-11 ウーブン・アルファ株式会社 車両データ収集システム及びその使用方法
JP7382465B2 (ja) 2021-09-30 2023-11-16 ウーブン・バイ・トヨタ株式会社 車両データ収集システム及びその使用方法
CN115063428A (zh) * 2022-08-18 2022-09-16 中国科学院国家空间科学中心 一种基于深度强化学习的空间暗弱小目标检测方法

Also Published As

Publication number Publication date
US11023782B2 (en) 2021-06-01
JP7040374B2 (ja) 2022-03-23
US20200090004A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
JP7040374B2 (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
US11308717B2 (en) Object detection device and object detection method
CN110796007B (zh) 场景识别的方法与计算设备
CN113228040A (zh) 多级对象行进方向估计
US20210042542A1 (en) Using captured video data to identify active turn signals on a vehicle
JP2021099793A (ja) インテリジェント交通管制システム及びその制御方法
JP2020086545A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US20220274592A1 (en) Vehicle parking navigation
US11776277B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
US11900690B2 (en) Apparatus, method, and computer program for identifying state of signal light, and controller
JP2020052539A (ja) 学習画像選別装置
WO2023080111A1 (en) Method and Systems for Detection Accuracy Ranking and Vehicle Instruction
CN116703966A (zh) 多对象跟踪
US11507093B2 (en) Behavior control device and behavior control method for autonomous vehicles
JP2021128705A (ja) 物体状態識別装置
CN115959135A (zh) 增强的车辆操作
CN114333339B (zh) 深度神经网络功能模块去重复的方法
US11708075B2 (en) Enhanced adaptive cruise control
EP4145420A1 (en) Hierarchical processing of traffic signal face states
US20210004016A1 (en) U-turn control system for autonomous vehicle and method therefor
US20230177844A1 (en) Apparatus, method, and computer program for identifying state of lighting
CN112829757A (zh) 自动驾驶控制系统、服务器装置以及存储程序的存储介质
US12043289B2 (en) Persisting predicted objects for robustness to perception issues in autonomous driving
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle
US20240067233A1 (en) Controller, method, and computer program for vehicle control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R151 Written notification of patent or utility model registration

Ref document number: 7040374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151