JP2020052695A - 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム - Google Patents

Abstract

【課題】物体の検出精度を向上できる物体検出装置を提供する。【解決手段】物体検出装置においてプロセッサは、センサにより得られた時系列の複数のセンサ信号のうちの最新のセンサ信号に表されたセンサの検知範囲内の複数の領域のそれぞれについて、その領域に検出対象となる物体が表された確信度を算出する確信度算出部３１と、最新のセンサ信号よりも前の何れかのセンサ信号において検出された第１の物体を追跡して、最新のセンサ信号において第１の物体が通過した通過領域を検出する領域検出部３２と、最新のセンサ信号における複数の領域のそれぞれについて、その領域が通過領域に含まれるか否かに応じて、その領域に表された第２の物体についての確信度に対して適用される確信度閾値を制御し、かつ、複数の領域のうちの第２の物体についての確信度が確信度閾値以上となる領域において第２の物体を検出する物体検出部３３とを有する。【選択図】図３

Description

本発明は、物体を検出する物体検出装置、物体検出方法及び物体検出用コンピュータプログラムに関する。

車両が走行中の道路に障害物が存在すると、事故が発生する危険がある。そこで、先行する車両が後続の車両へ走行軌跡の情報を送信し、後続の車両は、先行する車両から受信した走行軌跡に基づいて、その走行軌跡が障害物を回避したものであると判定すると、障害物の警告をドライバーに行う技術が提案されている（例えば、特許文献１を参照）。

しかしながら、上記の技術では、障害物そのものは検知されない。一方、画像に表された物体を検出する技術が研究されている。近年では、物体を検出するために、いわゆるディープニューラルネットワーク（以下、単にＤＮＮと呼ぶ）を用いることで、検出精度を向上する技術が提案されている（例えば、非特許文献１〜３を参照）。

特開２００５−２４２５５２号公報

Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年 Shaoqing Ren他、「Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks」、NIPS、2015年 Alex Kendall他、「Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics」、CVPR2018、2018年

このような技術では、既知の物体が表された多数の画像を教師データとして用いてＤＮＮを学習することで、ＤＮＮが入力された画像上に表されたその既知の物体を高精度に検出できるようになる。しかし、教師データとして利用可能な画像の数が少ない物体が検出対象となることがある。このような物体が表された画像に対しては、ＤＮＮによる検出精度は低下する。また、既知の物体が教師データに含まれる画像における写り方とは異なる写り方をした画像に対しても、ＤＮＮによる検出精度は低下することがある。検出精度の低下を抑制するために、検出対象となる全ての物体のそれぞれについて、その物体が表された画像を教師データとして利用できることが好ましい。しかし、実際には、ＤＮＮを学習する時点において、検出対象となる全ての物体について教師データとして利用可能な画像を用意できるとは限らない。そのため、教師データとして利用可能な画像の数が少ない物体、あるいは、検出対象となる物体が教師データに含まれる画像における写り方とは異なる写り方をした画像に対しても、検出精度を向上できることが求められている。

そこで、本発明は、物体の検出精度を向上できる物体検出装置を提供することを目的とする。

一つの実施形態によれば、物体検出装置が提供される。この物体検出装置は、所定の検知範囲内に存在する物体を検出するためのセンサにより得られた時系列の複数のセンサ信号のうちの最新のセンサ信号に表された所定の検知範囲内の複数の領域のそれぞれについて、その領域に検出対象となる物体が表された確からしさを表す確信度を算出する確信度算出部と、時系列の複数のセンサ信号のうちの最新のセンサ信号よりも前の何れかのセンサ信号において検出された、検出対象となる物体のうちの第１の物体を追跡して、最新のセンサ信号において第１の物体が通過した通過領域を検出する領域検出部と、最新のセンサ信号における複数の領域のそれぞれについて、その領域が通過領域に含まれるか否かに応じて、検出対象となる物体のうちのその領域に表された第２の物体についての確信度に対して適用される確信度閾値を制御し、かつ、複数の領域のうちの第２の物体についての確信度が確信度閾値以上となる領域において第２の物体を検出する物体検出部とを有する。

この物体検出装置において、第２の物体は静止物体または低速移動物体であることが好ましい。

またこの物体検出装置において、領域検出部は、第１の物体を追跡して、最新のセンサ信号に表された所定の検知範囲において第１の物体が回避した回避領域を検出し、物体検出部は、複数の領域のうち、回避領域に含まれる領域に適用される確信度閾値を、複数の領域のうち、回避領域以外の第１の物体が通過していない未通過領域に含まれる領域に適用される確信度閾値よりも低くすることが好ましい。

あるいは、物体検出部は、複数の領域のうち、通過領域に含まれる領域に適用される確信度閾値を、複数の領域のうち、未通過領域に含まれる領域に適用される確信度閾値よりも高くすることが好ましい。

さらに、この物体検出装置において、センサは所定の検知範囲を撮影する撮像部であり、かつ、センサ信号は撮像部により生成される、所定の検知範囲が表された画像であることが好ましい。

本発明の他の実施形態によれば、物体検出方法が適用される。この物体検出方法は、所定の検知範囲内に存在する物体を検出するためのセンサにより得られた時系列の複数のセンサ信号のうちの最新のセンサ信号に表された所定の検知範囲内の複数の領域のそれぞれについて、その領域に検出対象となる物体が表された確からしさを表す確信度を算出し、時系列の複数のセンサ信号のうちの最新のセンサ信号よりも前の何れかのセンサ信号において検出された、検出対象となる物体のうちの第１の物体を追跡して、最新のセンサ信号において第１の物体が通過した通過領域を検出し、最新のセンサ信号における複数の領域のそれぞれについて、その領域が通過領域に含まれるか否かに応じて、検出対象となる物体のうちのその領域に表された第２の物体についての確信度に対して適用される確信度閾値を制御し、最新のセンサ信号において、複数の領域のうちの第２の物体についての確信度が確信度閾値以上となる領域において前記第２の物体を検出することを含む。

本発明のさらに他の実施形態によれば、物体検出用コンピュータプログラムが適用される。この物体検出用コンピュータプログラムは、所定の検知範囲内に存在する物体を検出するためのセンサにより得られた時系列の複数のセンサ信号のうちの最新のセンサ信号に表された所定の検知範囲内の複数の領域のそれぞれについて、その領域に検出対象となる物体が表された確からしさを表す確信度を算出し、時系列の複数のセンサ信号のうちの最新のセンサ信号よりも前の何れかのセンサ信号において検出された、検出対象となる物体のうちの第１の物体を追跡して、最新のセンサ信号において第１の物体が通過した通過領域を検出し、最新のセンサ信号における複数の領域のそれぞれについて、その領域が通過領域に含まれるか否かに応じて、検出対象となる物体のうちのその領域に表された第２の物体についての確信度に対して適用される確信度閾値を制御し、最新のセンサ信号において、複数の領域のうちの第２の物体についての確信度が確信度閾値以上となる領域において前記第２の物体を検出する、ことをコンピュータに実行させるための命令を含む。

本発明に係る物体検出装置は、物体の検出精度を向上できるという効果を奏する。

物体検出装置が実装される車両制御システムの概略構成図である。 物体検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。 物体検出処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 識別器として利用されるＤＮＮの構成の一例を示す図である。 適用される確信度閾値と未通過領域、通過領域及び回避領域の関係の一例を示す図である。 物体検出処理を含む車両制御処理の動作フローチャートである。

以下、図を参照しつつ、物体検出装置について説明する。発明者は、時間経過とともに移動する物体（以下、単に移動物体と呼ぶ）が通過した領域には、その移動物体よりも移動速度が遅い他の物体、例えば静止物体または低速移動物体が存在する可能性は低く、一方、移動物体が回避した領域には、他の物体が存在する可能性が高いことに着目した。そこで、この物体検出装置は、時系列の複数の画像から検出された物体を追跡してその物体が通過した実空間での領域（以下、単に通過領域と呼ぶ）を検出し、通過領域に対応する最新の画像上の領域について、その領域内に検出対象となる物体が表されている確からしさを表す確信度と比較される確信度閾値を高くすることで、通過領域において検出対象でない物体が検出対象となる物体として誤検出されることを抑制する。さらに、この物体検出装置は、検出された物体を追跡してその物体が回避した実空間での領域（以下、単に回避領域と呼ぶ）を検出し、回避領域に対応する画像上の領域について確信度閾値を低くすることで、回避領域に存在する物体が、検出対象であるにもかかわらず、物体検出用の識別器を十分に学習できない物体（以下、説明の便宜上、レア物体と呼ぶ）であっても検出できるようにする。これにより、この物体検出装置は、検出精度を向上できる。なお、レア物体には、検出対象とすべき物体であっても、教師データにその物体が表された画像が含まれない物体、すなわち、未知の物体が含まれてもよい。

以下では、物体検出装置を、車両制御システムに適用した例について説明する。この例では、物体検出装置は、車両に搭載されたカメラにより得られた画像に対して物体検出処理を実行することで、車両の周囲に存在する各種の物体、例えば、他の車両、人、道路標識または道路標示などを検出する。この例では、レア物体には、例えば、特異な形状を有する車両、特異な積載物を積載する車両、特異な服装をした人、人以外の動物または道路上に落下している各種の落下物が含まれる。

図１は、物体検出装置が実装される車両制御システムの概略構成図である。また図２は、物体検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、物体検出装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク４を介して通信可能に接続される。

カメラ２は、所定の検知範囲内に存在する物体を検出するためのセンサである撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒〜1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、カメラ２により生成された画像は、センサ信号の一例である。

カメラ２は、画像を生成する度に、その生成した画像を車内ネットワーク４を介してＥＣＵ３へ出力する。

ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ３を車内ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク４を介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される物体検出処理において使用される各種のデータ、例えば、カメラ２から受信した画像、物体検出処理で利用される識別器を特定するための各種パラメータ、及び、物体検出処理で利用される各種閾値などを記憶する。さらに、メモリ２２は、地図情報などを記憶してもよい。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して物体検出処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、物体検出処理を含む車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、確信度算出部３１と、領域検出部３２と、物体検出部３３と、運転計画部３４と、車両制御部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、確信度算出部３１、領域検出部３２及び物体検出部３３が、物体検出処理を実行する。

確信度算出部３１は、カメラ２から画像を受信する度に、受信した最新の画像を識別器に入力することで、その画像上の複数の領域のそれぞれについて、その領域に検出対象となる物体が写っている確からしさを表す確信度を求める。

本実施形態では、確信度算出部３１は、識別器として、画像上の複数の領域のそれぞれについて、検出対象となる物体の種類ごとに確信度を求めるように予め学習されたＤＮＮを利用する。確信度算出部３１が利用するＤＮＮは、例えば、非特許文献１に記載されたSingle Shot MultiBox Detector（ＳＳＤ）、または、非特許文献２に記載されたFaster R-CNNと同様の構造を有していてもよい。

図４は、識別器として利用されるＤＮＮの構成の一例を示す図である。ＤＮＮ４００は、画像が入力される入力側に設けられる主幹部４０１と、主幹部４０１よりも出力側に設けられる位置検出部４０２及び種類推定部４０３とを有する。位置検出部４０２は、主幹部４０１からの出力に基づいて、画像上で検出対象となる物体が表された領域の外接矩形を出力する。種類推定部４０３は、主幹部４０１からの出力に基づいて、位置検出部４０２で検出された領域に表された物体の種類ごとの確信度を算出する。なお、位置検出部４０２及び種類推定部４０３は一体的に形成されてもよい。

主幹部４０１は、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するコンボリューションニューラルネットワーク（ＣＮＮ）とすることができる。その複数の層には２以上の畳み込み層が含まれる。さらに、主幹部４０１が有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。さらにまた、主幹部４０１が有する複数の層には、１以上の全結合層が含まれてもよい。例えば、主幹部４０１は、ＳＳＤのベースレイヤーと同様の構成とすることができる。この場合、主幹部４０１は、VGG-16と同様に、入力側から順に、2層の畳み込み層→MaxPoolingを行う（すなわち、n×n個の入力のうちの最大値を出力する）プーリング層（以下、単にプーリング層と呼ぶ）→2層の畳み込み層→プーリング層→3層の畳み込み層→プーリング層→3層の畳み込み層→プーリング層→3層の畳み込み層→プーリング層→3層の全結合層で構成されてもよい。あるいは、主幹部４０１は、VGG-19、AlexNetあるいはNetwork-In-Networkといった他のＣＮＮアーキテクチャに従って構成されてもよい。

主幹部４０１は、画像が入力されると、その画像に対して各層での演算を実行することで、その画像から算出したfeature mapを出力する。

位置検出部４０２及び種類推定部４０３には、それぞれ、主幹部４０１から出力されたfeature mapが入力される。そして位置検出部４０２及び種類推定部４０３は、それぞれ、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するＣＮＮとすることができる。位置検出部４０２及び種類推定部４０３のそれぞれについて、ＣＮＮが有する複数の層には２以上の畳み込み層が含まれる。また、位置検出部４０２及び種類推定部４０３のそれぞれについて、ＣＮＮが有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。なお、ＣＮＮが有する畳み込み層及びプーリング層は、位置検出部４０２及び種類推定部４０３について共通化されてもよい。さらに、位置検出部４０２及び種類推定部４０３のそれぞれについて、複数の層には、１以上の全結合層が含まれてもよい。この場合、全結合層は、各畳み込み層よりも出力側に設けられることが好ましい。また全結合層には、各畳み込み層からの出力が直接入力されてもよい。また、種類推定部４０３の出力層は、ソフトマックス関数に従って検出対象となる物体の種類のそれぞれの確信度を算出するソフトマックス層としてもよいし、シグモイド関数に従って検出対象となる物体の種類のそれぞれの確信度を算出するシグモイド層としてもよい。
あるいは、ＤＮＮ４００は、例えばセマンテックセグメンテーションのように、入力画像の画素ごとに物体の種類の確信度を算出する構成を有していてもよい。

位置検出部４０２及び種類推定部４０３は、例えば、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、検出対象となる物体の種類のそれぞれの確信度を出力するように学習される。したがって、識別器４００は、画像が入力されることで、画像上の様々な位置、様々なイサイズ及び様々なアスペクト比の領域ごとに、検出対象となる物体の種類のそれぞれの確信度を出力する。

識別器４００の学習に利用される教師データに含まれる画像（教師画像）には、例えば、検出対象となる物体の種類（例えば、車、人、動物、道路標識、道路標示、落下物、道路上のその他の物体など）と、検出対象となる物体が表された領域を表す、その物体の外接矩形とがタグ付けされる。

識別器４００は、上記のような多数の教師画像を用いて、例えば、誤差逆伝搬法といった学習手法に従って学習される。プロセッサ２３は、このように学習された識別器４００を利用することで、画像から検出対象となる物体、特に、多数の教師画像を用意できる物体を精度良く検出できる。

確信度算出部３１は、各領域の画像上での位置及び範囲と、その領域について算出された物体の種類ごとの確信度とを、検出対象となる物体の候補のリストである検出物体候補リストに登録する。そして確信度算出部３１は、検出物体候補リストを物体検出部３３へ出力する。

領域検出部３２は、最新の画像の一つ前の画像に対する物体検出部３３の出力のフィードバックをうけ、物体検出部３３により既に検出されている物体を追跡して、追跡した物体が通過した通過領域を検出する。さらに、領域検出部３２は、追跡した物体が回避した回避領域を検出する。

そのために、領域検出部３２は、最新の画像の一つ前の画像に対してカメラ２について、物体検出部３３が検出した物体の存在する画素領域（ビットマップ画像）を生成し、さらに、カメラ２の車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、追跡対象の物体のビットマップを鳥瞰画像に変換する（俯瞰的視点変換）。その際、領域検出部３２は、画像上での検出された物体のサイズに基づいて車両１０からその物体までの距離を推定し、推定した距離に基づいて鳥瞰画像上での検出された物体上の各点の位置を特定してもよい。例えば、検出対象となる物体の種類ごとに、メモリ２２に、車両１０からその物体までの距離が所定の基準距離である場合の画像上のその物体の基準サイズが予め記憶される。そして領域検出部３２は、画像上での検出された物体のサイズに対する、その検出された物体に対応する基準サイズの比を、基準距離に乗じて得られる距離を、検出された物体までの推定距離とすることができる。そして領域検出部３２は、最新の画像の一つ前の画像及びそれ以前の画像から得られた一連の鳥瞰画像に対して例えばKalman FilterあるいはParticle filterなどを用いたトラッキング処理を実行することで、各画像から検出されている物体を追跡することでその物体の軌跡を求める。領域検出部３２は、その軌跡に基づいて、一連の鳥瞰画像に対応する各画像取得時における、車両１０に対する追跡中の物体上の各点の相対的な位置及び相対速度をもとめる。この相対的な位置は、例えば、カメラ２を基準とするカメラ座標系で表される。

領域検出部３２は、さらに、一連の鳥瞰画像に対応する各画像取得時における、車両１０の位置及び姿勢に基づいて、カメラ座標系を実空間上の固定された基準点を原点とする世界座標系へ変換するための変換式を求める。そして領域検出部３２は、各画像取得時における、その変換式に従って、その各画像取得時における、車両１０に対する追跡中の物体上の各点の相対的な位置を、世界座標系での位置へ変換する。なお、領域検出部３２は、車両１０の位置・速度及び姿勢を、例えば、車両１０に搭載されたＧＰＳ受信機（図示せず）から得た車両１０の現在位置を表す現在位置情報に基づいて推定できる。あるいは、カメラ２により得られた画像に対して確信度算出部３１および物体検出部３３が認識した結果を用い、ローカライズ処理部（図示せず）が地図情報とのマッチングを行うことで実施するローカライズ処理によって車両１０の位置・速度及び姿勢が推定されてもよい。あるいはまた、カメラ２により得られた画像に対して確信度算出部３１および物体検出部３３が認識した結果を用い、ローカライズ処理部（図示せず）がSimultaneous Localization and Mapping (SLAM)処理を行うことで、車両１０の位置・速度及び姿勢が推定されてもよい。そして領域検出部３２は、各画像取得時における世界座標系での追跡中の物体上の各点の位置を連結してできる領域を通過領域とする。

さらに、領域検出部３２は、各画像取得時における世界座標系での追跡中の物体の位置・速度（例えば、物体上の各点の集合の重心の位置）の変化から、各画像取得時における、その物体の進行方向と直交する方向のその物体の加速度を算出する。そして領域検出部３２は、加速度が所定の閾値以上となった場合、その物体は回避行動を行ったと判定する。領域検出部３２は、回避行動を行ったと判定したときから所定の期間における、その物体の通過領域に対してその物体について加速度が生じた方向と逆側に位置し、かつ通過領域から所定距離（例えば、0〜2m）だけ離れた所定の幅を持つ領域を回避領域とする。なお、所定の幅は、例えば、追跡中の物体についての進行方向と直交する方向の幅に所定のオフセット（例えば、1〜3m）を加えた幅とすることができる。
他の実施形態としては、領域検出部３２は、各画像取得時における世界座標系での追跡中の物体の位置・速度から、各画像取得時における、その物体の進行しているレーン進行方向と直交する方向（または白線などの区画線と直交する方向）のその物体の速度を算出する。そして領域検出部３２は、加速度が所定の閾値以上となった場合、その物体は回避行動を行ったと判定する。領域検出部３２は、回避行動を行ったと判定したときから所定の期間における、その物体の通過領域に対してその物体について加速度が生じた方向と逆側に位置し、かつ通過領域から所定距離（例えば、0〜2m）だけ離れた所定の幅を持つ領域を回避領域とする。なお、所定の幅は、例えば、追跡中の物体についての進行方向と直交する方向の幅に所定のオフセット（例えば、1〜3m）を加えた幅とすることができる。

領域検出部３２は、最新の画像取得時の車両１０の位置及び姿勢に基づいて、世界座標系からカメラ座標系への逆変換式を算出する。そして領域検出部３２は、その逆変換式に従って、世界座標系で表された通過領域及び回避領域を、それぞれ、カメラ座標系での領域に変換する。さらに、領域検出部３２は、カメラ２についての車両１０への取り付け位置などの情報を用いて、カメラ座標系で表された通過領域及び回避領域を、それぞれ、最新の画像上へ投影する。これにより、領域検出部３２は、通過領域及び回避領域に対応する最新の画像上での領域を特定できる。なお、通過領域及び回避領域に対応する最新の画像上での領域は、例えば、ビットマップで表される。

領域検出部３２は、最新の画像上に投影された通過領域及び回避領域を物体検出部３３へ通知する。

物体検出部３３は、カメラ２から得られた最新の画像において確信度が算出された複数の領域のそれぞれについて、その領域が通過領域または回避領域に含まれるか否かに応じて確信度と比較される確信度閾値を制御する。本実施形態では、物体検出部３３は、通過領域及び回避領域以外の領域（以下、説明の便宜上、未通過領域と呼ぶ）に適用される確信度閾値を、第１の確信度閾値（例えば、0.7〜0.9）に設定する。さらに、物体検出部３３は、通過領域に対して適用される確信度閾値を、第１の確信度閾値よりも高い第２の確信度閾値（例えば、第１の確信度閾値+0.05〜0.1）に設定する。これは、通過領域には、その通過領域を通過した、追跡中の物体以外の他の物体が存在する可能性が低いためである。

一方、物体検出部３３は、回避領域に対して適用される確信度閾値を、第１の確信度閾値よりも低い第３の確信度閾値（例えば、第１の確信度閾値-0.1〜0.2）に設定する。これは、回避領域には、追跡中の物体が回避行動を取る原因となった何らかの物体が存在する可能性が高いためである。さらに、回避領域に存在する可能性のある物体は、他の車といった、識別器を十分に学習できる物体に限られず、何らかの落下物あるいは人以外の動物といった、レア物体である可能性がある。そこで、回避領域に適用される確信度閾値を、未通過領域に適用される確信度閾値よりも低くすることで、回避領域にレア物体が存在する場合でも、プロセッサ２３は、回避領域に存在する物体の検出に失敗することを抑制できる。
なお、確信度算出部３１は、物体の種類（車、人、落下物など）ごとに確信度を算出するため、物体検出部３３は、通過領域または回避領域に対して適用される確信度閾値の制御を物体の種類ごとに行ってもよい。例えば、物体の種類が車の場合、絶対速度（地面に対する相対速度）が大きく回避領域と未通過領域の間の移動が激しい可能性があるため、確信度算出部３１は、確信度閾値の制御を行わないようにしてもよい。

さらに、物体検出部３３は、カメラ２から得られた最新の画像における複数の領域のうち、何れかの物体の種類についての確信度が、その領域について適用される確信度閾値以上となる領域を、その種類の物体が表された物体領域として検出する。その際、物体検出部３３は、着目する領域が、通過領域、回避領域及び未通過領域の何れに対応する画像上の領域に含まれるか否か判定する。着目する領域が、未通過領域に対応する画像上の領域に含まれる場合には、物体検出部３３は、確信度を第１の確信度閾値と比較する。また、着目する領域が、通過領域に対応する画像上の領域に含まれる場合には、物体検出部３３は、確信度を第２の確信度閾値と比較する。そして着目する領域が、回避領域に対応する画像上の領域に含まれる場合には、物体検出部３３は、確信度を第３の確信度閾値と比較する。なお、着目する領域が、通過領域、未通過領域及び回避領域のそれぞれの画像上の対応領域のうちの二つ以上と重なる場合、物体検出部３３は、それら対応領域のうちの着目する領域と重なる面積が最も多い対応領域に着目する領域が含まれるとしてもよい。あるいは、物体検出部３３は、着目する領域の重心が含まれる対応領域に、着目する領域が含まれるとしてもよい。あるいはまた、通過領域、未通過領域及び回避領域のそれぞれは、路面上に設定されるものであることから、物体検出部３３は、それら対応領域のうち、着目する領域の下端を最も多く含む対応領域に、着目する領域が含まれるとしてもよい。
なお、物体検出部３３は、一つの画像上で同一種類の物体が表された物体領域が複数検出され、かつ、その物体領域同士が少なくとも部分的に重複する場合、それら複数の物体領域のうち、確信度が最大となる領域のみを出力するようにしてもよい。

物体検出部３３は、各物体領域の画像上での位置及び範囲と、その領域について算出された物体の種類とを、検出された物体のリストである検出物体リストに登録する。そして物体検出部３３は、検出物体リストをメモリ２２に記憶する。

図５は、適用される確信度閾値と未通過領域、通過領域及び回避領域の関係の一例を示す図である。画像５００において、車両５０１及び車両５０２が追跡されている。この場合、車両５０１が通過した通過領域に対応する画像５００上の領域５１１及び車両５０２が通過した通過領域に対応する画像５００上の領域５１２では、第１の確信度閾値よりも高い第２の確信度閾値が適用される。そのため、領域５１１及び領域５１２からは、物体は検出され難い。

一方、車両５０１は回避行動を取っているため、車両５０１の経路は、車両５０１の進行方向に対して直交する方向にシフトしている。そのため、回避領域が設定されており、その回避領域は、画像５００上で領域５１１に隣接する領域５１３として表される。領域５１３では、第１の確信度閾値よりも低い第３の確信度閾値が適用される。そのため、領域５１３からは、物体は検出され易くなる。また、画像上の領域５１１〜５１３以外の領域は、未通過領域に対応するので、第１の確信度閾値が適用される。

運転計画部３４は、各画像について求められた検出物体リストを参照して、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路（トラジェクトリ）を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３４は、領域検出部３２と同様に、物体検出部３３から物体検出リストを受信する度に、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、物体検出リストにおける物体の画像内座標を鳥瞰画像上の座標（鳥瞰座標）に変換する。そして運転計画部３４は、一連の鳥瞰座標に対してKalman FilterまたはParticle filterなどを用いたトラッキング処理を実行することで、検出物体リストに登録されている物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。運転計画部３４は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。その際、運転計画部３４は、例えば、車両１０に搭載されたＧＰＳ受信機（図示せず）から得た、車両１０の現在位置情報と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３４は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部３４は、複数の走行予定経路を生成してもよい。この場合、運転計画部３４は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。

運転計画部３４は、生成した走行予定経路を車両制御部３５へ通知する。

車両制御部３５は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３５は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３５は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３５は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３５は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図６は、プロセッサ２３により実行される、物体検出処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像が受信する度に、図６に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１〜Ｓ１１２の処理が物体検出処理に対応する。

プロセッサ２３の確信度算出部３１は、カメラ２から得られた最新の画像を識別器に入力して、画像上の様々な領域について、その領域に表された検出対象となる物体の種類ごとの確信度を求める（ステップＳ１０１）。

また、プロセッサ２３の領域検出部３２は、過去の画像から既に検出されている物体を追跡して、追跡した物体が通過した通過領域、追跡した物体が回避した回避領域及び未通過領域を検出する（ステップＳ１０２）。そしてプロセッサ２３の物体検出部３３は、通過領域に適用される確信度閾値を、未通過領域に適用される第１の確信度閾値Th1よりも高い第２の確信度閾値Th2に設定する（ステップＳ１０３）。一方、物体検出部３３は、回避領域に適用される確信度閾値を、未通過領域に適用される第１の確信度閾値Th1よりも低い第３の確信度閾値Th3に設定する（ステップＳ１０４）。

その後、物体検出部３３は、カメラ２から得られた最新の画像における、確信度が算出された複数の領域のうちの何れかを着目する領域に設定する（ステップＳ１０５）。そして物体検出部３３は、着目する領域が通過領域に含まれるか否か判定する（ステップＳ１０６）。着目する領域が通過領域に含まれる場合（ステップＳ１０６−Ｙｅｓ）、物体検出部３３は、着目する領域について算出された確信度の最大値が第２の確信度閾値Th2以上となるか否か判定する（ステップＳ１０７）。確信度の最大値が第２の確信度閾値Th2以上である場合（ステップＳ１０７−Ｙｅｓ）、物体検出部３３は、着目する領域に、その確信度の最大値に対応する種類の物体が表されていると判定し、着目する領域を物体領域として、その領域に表されている物体を検出物体リストに登録する（ステップＳ１０８）。

一方、ステップＳ１０６において、着目する領域が通過領域に含まれない場合（ステップＳ１０６−Ｎｏ）、物体検出部３３は、着目する領域が回避領域に含まれるか否か判定する（ステップＳ１０９）。着目する領域が回避領域に含まれる場合（ステップＳ１０９−Ｙｅｓ）、物体検出部３３は、着目する領域について算出された確信度の最大値が第３の確信度閾値Th3以上となるか否か判定する（ステップＳ１１０）。確信度の最大値が第３の確信度閾値Th3以上である場合（ステップＳ１１０−Ｙｅｓ）、物体検出部３３は、着目する領域に、その確信度の最大値に対応する種類の物体が表されていると判定し、着目する領域を物体領域として、その領域に表されている物体を検出物体リストに登録する（ステップＳ１０８）。

一方、ステップＳ１０９において、着目する領域が回避領域に含まれない場合（ステップＳ１０９−Ｎｏ）、すなわち、着目する領域が未通過領域に含まれる場合、物体検出部３３は、着目する領域について算出された確信度の最大値が第１の確信度閾値Th1以上となるか否か判定する（ステップＳ１１１）。確信度の最大値が第１の確信度閾値Th1以上である場合（ステップＳ１１１−Ｙｅｓ）、物体検出部３３は、着目する領域に、その確信度の最大値に対応する種類の物体が表されていると判定し、着目する領域を物体領域として、その領域に表されている物体を検出物体リストに登録する（ステップＳ１０８）。

ステップＳ１０８の後、あるいは、ステップＳ１０７、Ｓ１１０またはＳ１１１にて確信度の最大値が着目する領域に適用される確信度閾値未満である場合（ステップＳ１０７、Ｓ１１０またはＳ１１１−Ｎｏ）、プロセッサ２３は、未着目の領域があるか否か判定する（ステップＳ１１２）。未着目の領域があれば（ステップＳ１１２−Ｙｅｓ）、プロセッサ２３は、未着目の領域の何れかを着目領域として、ステップＳ１０５以降の処理を繰り返す。

一方、未着目の領域が無ければ（ステップＳ１１２−Ｎｏ）、プロセッサ２３の運転計画部３４は、検出物体リストを参照して、検出物体リストに登録されている物体を追跡し、その追跡結果に基づいて推定されるその物体の予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１１３）。そしてプロセッサ２３の車両制御部３５は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１１４）。そしてプロセッサ２３は、車両制御処理を終了する。

なお、プロセッサ２３は、ステップＳ１０１の処理とステップＳ１０２〜Ｓ１０４の処理の順序を入れ替えてもよく、あるいは、並列に実行してもよい。

以上に説明してきたように、この物体検出装置は、既に検出された物体を追跡して、その物体が通過した通過領域及びその物体が回避した回避領域を特定する。そしてこの物体検出装置は、通過領域に対応する画像上の領域に適用される確信度閾値を、未通過領域に対応する画像上の領域に適用される確信度閾値よりも高くする。これにより、この物体検出装置は、通過領域において物体を誤検出することを抑制できる。またこの物体検出装置は、回避領域に対応する画像上の領域に適用される確信度閾値を、未通過領域に対応する画像上の領域に適用される確信度閾値よりも低くする。これにより、この物体検出装置は、回避領域に存在する物体がレア物体であっても、検出に失敗することを抑制できる。そのため、この物体検出装置は、検出精度を向上できる。さらに、この物体検出装置は、比較的演算量が多い識別器による処理を1回実行するだけで、画像上の各領域について検出対象となる物体が表されているか否かを判定できるので、演算量を抑制できる。

変形例によれば、確信度算出部３１は、ＤＮＮ以外の識別器を利用して、画像上の各領域について確信度を算出してもよい。例えば、確信度算出部３１は、識別器として、画像上に設定されるウィンドウから算出される特徴量（例えば、Histograms of Oriented Gradients, ＨＯＧ）を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン（ＳＶＭ）を用いてもよい。確信度算出部は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をＳＶＭへ入力することで、そのウィンドウについて確信度を求める。なお、ＳＶＭは、検出対象となる物体の種類ごとに用意されてもよい。この場合には、確信度算出部３１は、各ウィンドウについて、そのウィンドウから算出された特徴量をそれぞれのＳＶＭへ入力することで、物体の種類ごとに確信度を算出すればよい。

他の変形例によれば、確信度算出部３１は、画像上の各領域について、車両１０が走行可能なフリースペースである確信度をさらに算出してもよい。この場合、確信度算出部３１が用いる識別器は、検出対象の物体の一つをフリースペースとして、そのフリースペースについて確信度を算出するように予め学習されてもよい。

この場合、物体検出部３３は、確信度が算出された複数の領域のうちの着目する領域について、確信度の最大値がフリースペースに対応し、かつ、着目する領域が回避領域に対応する画像上の領域に含まれる場合、適用される確信度閾値を、未通過領域に適用される第１の確信度閾値よりも高い第２の確信度閾値に設定してもよい。これにより、回避領域がフリースペースと判定され難くなるので、プロセッサ２３は、回避領域に何等かの物体が存在する場合にその物体と車両１０とが接触する危険性を低減できる。

あるいは、確信度算出部３１が用いる識別器は、図４に示される識別器４００に対して、識別器４００の主幹部４０１から出力されるfeature mapを入力とし、画素ごとにフリースペースである確信度を出力するように学習されたセグメンテーション部が追加された構成を有してもよい。この場合、セグメンテーション部は、例えば、セグメンテーション用の何れかのＣＮＮアーキテクチャと同様の構成を有していればよい。

この場合も、物体検出部３３は、回避領域に対応する画像上の領域に含まれる各画素について適用される、フリースペースか否かを判定するための確信度閾値を、未通過領域に適用される確信度閾値よりも高くすればよい。

また他の変形例によれば、追跡中の物体が通過した通過領域を、他の移動物体が通行することもある。そこで、物体検出部３３は、通過領域に適用される確信度閾値を、物体の種類ごとに設定してもよい。この場合、物体検出部３３は、例えば、着目する領域が通過領域に対応する画像上の領域に含まれ、かつ、着目する領域について算出された確信度の最大値に対応する物体の種類が移動物体に相当する場合、着目する領域に適用される確信度閾値を、未通過領域と同様に第１の確信度閾値としてもよい。また、物体検出部３３は、着目する領域が通過領域に対応する画像上の領域に含まれ、かつ、着目する領域について算出された確信度の最大値に対応する物体の種類が静止物体または低速移動物体に相当する場合、着目する領域に適用される確信度閾値を、上記の実施形態と同様に、第１の確信度閾値よりも高い第２の確信度閾値としてもよい。これにより、通過領域に存在しないはずの物体についてのみ、検出条件が厳しくなるので、プロセッサ２３は、通過領域に存在しないはずの物体の誤検出を防ぎつつ、通過領域に存在する物体の検出に失敗することを抑制できる。

また、物体検出部３３は、回避領域に適用される確信度閾値についても、物体の種類ごとに設定してもよい。例えば、物体検出部３３は、着目する領域が回避領域に対応する画像上の領域に含まれ、かつ、着目する領域について算出された確信度の最大値に対応する物体の種類が移動物体に相当する場合、着目する領域に適用される確信度閾値を、未通過領域と同様に第１の確信度閾値としてもよい。また、物体検出部３３は、着目する領域が回避領域に対応する画像上の領域に含まれ、かつ、着目する領域について算出された確信度の最大値に対応する物体の種類が静止物体または低速移動物体に相当する場合、着目する領域に適用される確信度閾値を、上記の実施形態と同様に、第１の確信度閾値よりも低い第３の確信度閾値としてもよい。これにより、回避領域に存在する可能性が高い物体についてのみ、検出条件が緩和されるので、プロセッサ２３は、回避領域に存在する可能性が高い物体の検出に失敗することを抑制しつつ、回避領域に存在しない物体を誤検出することを抑制できる。

なお、移動物体は、例えば、自走能力を有する物体（例えば、車、バイク、人あるいは自転車）とすることができる。また、静止物体は、例えば、自走能力が無い物体（例えば、路上設置物、落下物、道路標識あるいは信号機）とすることができる。さらに、低速移動物体は、例えば、人または人以外の動物のように、車両１０に対して絶対速度（地面に対する相対速度）が大幅に小さい（例えば、1/2〜1/10以下）物体とすることができる。

上記の実施形態または変形例による物体検出装置は、カメラ２以外の車両１０の周囲に存在する物体を検知するためのセンサにより取得されたセンサ信号に対して適用されてもよい。そのような、所定の検知範囲内に存在する物体を検出するためのセンサとして、例えば、車両１０に搭載されたLIDARセンサあるいはレーザセンサが用いられてもよい。この場合、確信度算出部３１が用いる識別器は、車両１０に搭載されたセンサにより取得されたセンサ信号から、そのセンサの検知範囲内に設定される複数の領域ごとに、検出対象となる物体についての確信度を出力するように予め学習されればよい。この場合も、識別器は、上記の実施形態または変形例と同様に、ＤＮＮまたはＳＶＭとすることができる。またこの場合、各領域は、実空間について求められ、かつ、センサを基準とするセンサ座標系で表されるので、領域検出部３２では、上記の実施形態における視点変換処理及び画像への投影処理は省略されてもよい。すなわち、センサ座標系で表される通過領域、回避領域及び未通過領域がそのまま利用されればよい。

さらに他の変形例によれば、上記の実施形態または変形例による物体検出装置は、車載機器以外に実装されてもよい。例えば、上記の実施形態または変形例による物体検出装置は、屋外または屋内の所定の領域を所定周期ごとに撮影するように設置された監視カメラにより生成された画像から物体を検出するように構成されてもよい。そして物体検出装置は、一定期間にわたって物体が検出された場合、物体検出装置と接続されるディスプレイに物体が検出されたことを表すメッセージを表示させるか、物体検出装置と接続されるスピーカに物体が検出されたことを表す音声を出力させてもよい。

また、上記の実施形態または変形例による、物体検出装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 電子制御装置（物体検出装置）
４ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 確信度算出部
３２ 領域検出部
３３ 物体検出部
３４ 運転計画部
３５ 車両制御部

Claims (7)

1. 所定の検知範囲内に存在する物体を検出するためのセンサにより得られた時系列の複数のセンサ信号のうちの最新のセンサ信号に表された前記検知範囲内の複数の領域のそれぞれについて、当該領域に検出対象となる物体が表された確からしさを表す確信度を算出する確信度算出部と、
   前記複数のセンサ信号のうちの前記最新のセンサ信号よりも前の何れかのセンサ信号において検出された、前記検出対象となる物体のうちの第１の物体を追跡して、前記最新のセンサ信号において前記第１の物体が通過した通過領域を検出する領域検出部と、
   前記最新のセンサ信号における前記複数の領域のそれぞれについて、当該領域が前記通過領域に含まれるか否かに応じて、前記検出対象となる物体のうちの当該領域に表された第２の物体についての前記確信度に対して適用される確信度閾値を制御し、かつ、前記複数の領域のうちの前記第２の物体についての前記確信度が前記確信度閾値以上となる領域において前記第２の物体を検出する物体検出部と、
   を有する物体検出装置。
2. 前記第２の物体は静止物体または低速移動物体である、請求項１に記載の物体検出装置。
3. 前記領域検出部は、前記第１の物体を追跡して、前記最新のセンサ信号に表された前記検知範囲において前記第１の物体が回避した回避領域を検出し、
   前記物体検出部は、前記複数の領域のうち、前記回避領域に含まれる領域に適用される前記確信度閾値を、前記複数の領域のうち、前記回避領域以外の前記第１の物体が通過していない未通過領域に含まれる領域に適用される前記確信度閾値よりも低くする、請求項１または２に記載の物体検出装置。
4. 前記物体検出部は、前記複数の領域のうち、前記通過領域に含まれる領域に適用される前記確信度閾値を、前記複数の領域のうち、前記回避領域以外の前記第１の物体が通過していない未通過領域に含まれる領域に適用される前記確信度閾値よりも高くする、請求項１または２に記載の物体検出装置。
5. 前記センサは前記所定の検知範囲を撮影する撮像部であり、かつ、前記センサ信号は前記撮像部により生成される、前記所定の検知範囲が表された画像である、請求項１〜４の何れか一項に記載の物体検出装置。
6. 所定の検知範囲内に存在する物体を検出するためのセンサにより得られた時系列の複数のセンサ信号のうちの最新のセンサ信号に表された前記検知範囲内の複数の領域のそれぞれについて、当該領域に検出対象となる物体が表された確からしさを表す確信度を算出し、
   前記複数のセンサ信号のうちの前記最新のセンサ信号よりも前の何れかのセンサ信号において検出された、前記検出対象となる物体のうちの第１の物体を追跡して、前記最新のセンサ信号において前記第１の物体が通過した通過領域を検出し、
   前記最新のセンサ信号における前記複数の領域のそれぞれについて、当該領域が前記通過領域に含まれるか否かに応じて、前記検出対象となる物体のうちの当該領域に表された第２の物体についての前記確信度に対して適用される確信度閾値を制御し、
   前記最新のセンサ信号において、前記複数の領域のうちの前記第２の物体についての前記確信度が前記確信度閾値以上となる領域において前記第２の物体を検出する、
   ことを含む物体検出方法。
7. 所定の検知範囲内に存在する物体を検出するためのセンサにより得られた時系列の複数のセンサ信号のうちの最新のセンサ信号に表された前記検知範囲内の複数の領域のそれぞれについて、当該領域に検出対象となる物体が表された確からしさを表す確信度を算出し、
   前記複数のセンサ信号のうちの前記最新のセンサ信号よりも前の何れかのセンサ信号において検出された、前記検出対象となる物体のうちの第１の物体を追跡して、前記最新のセンサ信号において前記第１の物体が通過した通過領域を検出し、
   前記最新のセンサ信号における前記複数の領域のそれぞれについて、当該領域が前記通過領域に含まれるか否かに応じて、前記検出対象となる物体のうちの当該領域に表された第２の物体についての前記確信度に対して適用される確信度閾値を制御し、
   前記最新のセンサ信号において、前記複数の領域のうちの前記第２の物体についての前記確信度が前記確信度閾値以上となる領域において前記第２の物体を検出する、
   ことをコンピュータに実行させる物体検出用コンピュータプログラム。

Images