JP2021081985A - 物体検出装置 - Google Patents

Abstract

【課題】物体検出処理による物体の検出精度の低下を抑制しつつ、物体検出処理に必要なハードウェアリソースを低減できる物体検出装置を提供する。【解決手段】物体検出装置は、撮像部２により生成された画像の少なくとも一部をニューラルネットワークに入力することで、画像に表された所定の物体を検出する物体検出部３１と、画像に対するニューラルネットワークの演算のうち、物体の検出結果に対する影響が無い一部の演算を特定し、特定した演算を省略するようニューラルネットワークの演算を制御する演算制御部３２とを有する。【選択図】図３

Description

本発明は、画像に表された物体を検出する物体検出装置に関する。

画像に表された物体を検出する技術が研究されている。近年では、物体を検出するために、いわゆるディープニューラルネットワーク（以下、単にＤＮＮと呼ぶ）を用いることで、検出精度を向上する技術が提案されている。例えば、２段のニューラルネットワークを有し、１段目のセマンティックセグメンテーション用のニューラルネットワークに画像を入力することで得られたセグメンテーションマスクを画像とともに２段目のニューラルネットワークの入力として利用する技術が提案されている（例えば、特許文献1を参照）。

国際公開第２０１９／０６６７９４号

ＤＮＮが物体検出用の識別器として利用される場合、検出精度を維持するためには、例えば、演算量及び演算途中の結果を記憶するメモリ容量が膨大となり、必要なハードウェアリソースが非常に大きくなることがある。しかし、ＤＮＮを用いた物体検出処理が車両の電子制御ユニットに実装される場合のように、ＤＮＮの演算に利用可能なハードウェアリソースが制限されることがある。そこで、検出精度を低下させずに、必要なハードウェアリソースを低減することが求められる。

そこで、本発明は、物体の検出精度の低下を抑制しつつ、物体検出処理に必要なハードウェアリソースを低減できる物体検出装置を提供することを目的とする。

一つの実施形態によれば、物体検出装置が提供される。この物体検出装置は、撮像部により生成された画像の少なくとも一部をニューラルネットワークに入力することで、画像に表された所定の物体を検出する物体検出部と、画像に対するニューラルネットワークの演算のうち、物体の検出結果に対する影響が無い一部の演算を特定し、特定した演算を省略するようニューラルネットワークの演算を制御する演算制御部と、を有する。

本発明に係る物体検出装置は、物体の検出精度の低下を抑制しつつ、物体検出処理に必要なハードウェアリソースを低減できるという効果を奏する。

物体検出装置が実装される車両制御システムの概略構成図である。 物体検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。 物体検出処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 識別器として利用されるＤＮＮの構造の一例を示す図である。 演算制御部により実行される演算制御処理の動作フローチャートである。 物体検出処理を含む車両制御処理の動作フローチャートである。

以下、図を参照しつつ、物体検出装置について説明する。この物体検出装置は、画像をＤＮＮに入力することで、画像に表された、検出対象となる所定の物体を検出する。その際、この物体検出装置は、画像に対するＤＮＮの演算のうち、物体の検出結果に対する影響が無い一部の演算を特定し、特定した演算を省略するようＤＮＮの演算を制御する。これにより、この物体検出装置は、物体検出処理による物体の検出精度の低下を抑制しつつ、物体検出処理に必要なハードウェアリソースを低減する。

以下では、物体検出装置を、車両制御システムに適用した例について説明する。この例では、物体検出装置は、車両に搭載されたカメラにより得られた画像に対して物体検出処理を実行することで、車両の周囲に存在する各種の物体、例えば、他の車両、人、道路標識または道路標示などを検出し、その検出結果に基づいて車両を自動運転制御する。

図１は、物体検出装置が実装される車両制御システムの概略構成図である。図２は、物体検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、測距センサ３と、物体検出装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２と、測距センサ３と、ＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図を記憶するストレージ装置をさらに有していてもよい。さらに、車両制御システム１は、GPS受信機といった、衛星測位システムに準拠して車両１０の自己位置を測位するための受信機、他の機器と無線通信するための無線端末、及び、車両１０の走行予定ルートを探索するためのナビゲーション装置などを有していてもよい。

カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒〜1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両制御システム１は、撮影方向または画角が異なる複数のカメラ２を有していてもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ４へ出力する。

測距センサ３は、例えば、LiDERセンサあるいはレーダであり、所定の周期ごとに、各方位について、その方位における、車両１０の周囲に存在する他の物体までの距離を測定する。そして測距センサ３は、所定の周期ごとに、方位ごとの他の物体までの距離を表すセンサ信号を、車内ネットワークを介してＥＣＵ４へ出力する。

ＥＣＵ４は、車両１０を制御する。本実施形態では、ＥＣＵ４は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ４を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ２及び測距センサ３と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。また通信インターフェース２１は、測距センサ３から受信したセンサ信号をプロセッサ２３へわたす。あるいはまた、通信インターフェース２１は、車内ネットワークを介して受信した、ストレージ装置から読み込んだ地図、GPS受信機からの測位情報などを、プロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される各種処理を実現するためのコンピュータプログラム、物体検出処理において使用される各種のデータ、例えば、カメラ２から受信した画像、測距センサ３から受け取ったセンサ信号、物体検出処理で利用される識別器を特定するための各種パラメータなどを記憶する。さらに、メモリ２２は、物体検出処理の途中における演算結果を記憶する。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して物体検出処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、物体検出処理を含む車両制御処理に関する、ＥＣＵ４のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、演算制御部３２と、運転計画部３３と、車両制御部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、物体検出部３1及び演算制御部３２が、物体検出処理を実行する。

物体検出部３１は、カメラ２から画像が得られる度に、その画像を識別器として利用されるＤＮＮに入力することで、その画像に表された、車両１０の周囲に存在する検出対象となる物体を検出する。なお、検出対象となる物体には、例えば、車または人といった移動物体が含まれる。また、検出対象となる物体には、車線区画線といった道路標示または道路標識、及び信号機といった静止物体がさらに含まれてもよい。

さらに、物体検出部３１は、測距センサ３からのセンサ信号といった、カメラ２以外の車両１０の周囲の物体を検知するために利用可能な他のセンサにより得られたセンサ信号に基づいて、車両１０の周囲の物体を検出してもよい。

この場合、物体検出部３１は、他のセンサの種類に応じた物体検出手法に従って車両１０の周囲の物体を検出すればよい。あるいは、物体検出部３１は、ＤＮＮに対して、画像だけでなく、他のセンサにより得られた、画像に表された領域と同じ領域のセンサ信号を入力してもよい。この場合、ＤＮＮにおいて、画像が入力される層と、センサ信号が入力される層とは並列に設けられてもよく、あるいは、画像とセンサ信号とが互いに異なるチャネルとしてＤＮＮに入力されてもよい。なお、画像とセンサ信号とが互いに異なるチャネルとしてＤＮＮに入力される場合には、実空間の同じ位置を表す画像上の画素とセンサ信号の成分とが同じフィルタに入力されるように、画像とセンサ信号とが位置合わせされることが好ましい。物体検出部３１は、例えば、カメラ２の取り付け位置、撮影方向及び画角と、他のセンサの取り付け位置などに基づいて、画像とセンサ信号とを位置合わせすればよい。

また、本実施形態では、識別器として利用されるＤＮＮは、例えば、Single Shot MultiBox Detector(SSD)、Faster R-CNN、Feature Pyramid Net(FPN)またはRetinaNetといった、コンボリューショナルニューラルネットワーク（ＣＮＮ）型のアーキテクチャを持つＤＮＮとすることができる。あるいは、識別器として利用されるＤＮＮは、Fully Convolutional Network(FCN)あるいはUnetといった、入力された画像から、その画像の各画素について、その画素に表される可能性の有る物体を識別するセマンティックセグメンテーション用のＣＮＮ型のアーキテクチャを持つＤＮＮであってもよい。

すなわち、本実施形態で識別器として利用されるＤＮＮは、画像が入力される入力層と、物体検出の結果を出力する出力層と、入力層と出力層との間に接続される複数の隠れ層とを有する。そして複数の隠れ層には、畳み込み層が含まれる。さらに、複数の隠れ層には、プーリング層、アップサンプリング層あるいは全結合層が含まれてもよい。

図４は、ＤＮＮの構造の一例を示す図である。図４に示されるように、ＤＮＮ４００は、いわゆるエンコーダ／デコーダ形式のＣＮＮであり、エンコーダ部４１０とデコーダ部４２０とを有する。エンコーダ部４１０及びデコーダ部４２０には、それぞれ、１以上のブロックが含まれる。また、エンコーダ部４１０に含まれるブロック数とデコーダ部４２０に含まれるブロック数とは等しい。この例では、エンコーダ部４１０は、入力側から順に４個のブロック４１１〜４１４を有し、デコーダ部４２０は、入力側から順に４個のブロック４２１〜４２４を有する。各ブロックは、それぞれ、畳み込み層、プーリング層またはアップリング層といった演算を実行する層を一つ以上、好ましくは複数有する。さらに、エンコーダ部４１０の最も入力側のブロック４１１に入力層が含まれ、デコーダ部４２０の最も出力側のブロック４２４に出力層が含まれる。

エンコーダ部４１０では、入力側に近いブロックほど、解像度が高いデータに対する演算を実行する。逆に、デコーダ部４２０では、出力側に近いブロックほど、解像度が高いデータに対する演算を実行する。そしてエンコーダ部４１０に含まれる各ブロックは、そのブロックの入力側からの順序とデコーダ部４２０における出力側からの順序とが等しいデコーダ部４２０のブロックとペアになる。ペアになるブロック同士は、同じ解像度のデータに対する演算を実行する。この例では、入力側に最も近いブロック４１１と出力側に最も近いブロック４２４とがペアとなる。同様に、ブロック４１２とブロック４２３とがペアとなり、ブロック４１３とブロック４２２とがペアとなり、ブロック４１４とブロック４２１とがペアとなる。

すなわち、最も入力側に位置するブロック４１１は、例えば、入力される画像そのものに対する演算を実行してfeature mapを算出し、そのfeature mapに基づいて、物体検出またはセグメンテーションなどの処理を実行する。例えば、ブロック４１１は、画素ごとに、かつ、物体の種類ごとに、その物体が表されている確からしさを表す信頼度を算出する。一方、ブロック４２４は、ブロック４１１から出力される、画素ごとの各種類の物体の信頼度と、直前のブロック４２３から出力された演算結果をアップサンプリングすることで入力される画像の解像度と同じ解像度としたものとに基づいて、画素ごとに、その画素に表されている物体を検出する。

また、ブロック４１１の直後のブロック４１２は、ブロック４１１により算出されるfeature mapをダウンサンプリングしたものを入力として、ブロック４１１と同様の処理を実行することで、画素グループ（例えば、２×２画素のグループ）ごとのfeature map及び各種類の物体の信頼度を算出する。すなわち、ブロック４１２は、ブロック４１１が扱うデータよりも解像度が低いデータに対する演算を実行する。さらに、ブロック４１２とペアになるブロック４２３は、ブロック４１２から出力される、画素グループごとの各種類の物体の信頼度と、直前のブロック４２２から出力された演算結果をアップサンプリングすることでブロック４１２に入力されるfeature mapの解像度と同じ解像度としたものとに基づいて、画素グループごとに、その画素グループに表されている物体を検出する処理を実行する。

同様に、ブロック４１２の直後のブロック４１３は、ブロック４１２により算出されるfeature mapをダウンサンプリングしたものを入力として、ブロック４１２と同様の処理を実行することで、より大きな画素グループ（例えば、４×４画素のグループ）ごとのfeature map及び各種類の物体の信頼度を算出する。すなわち、ブロック４１３は、ブロック４１２が扱うデータよりも解像度が低いデータに対する演算を実行する。さらに、ブロック４１３とペアになるブロック４２２は、ブロック４１３から出力される、より大きな画素グループごとの各種類の物体の信頼度と、直前のブロック４２１から出力された演算結果をアップサンプリングすることで、ブロック４１３に入力されるfeature mapの解像度と同じ解像度としたものとに基づいて、より大きな画素グループごとに、その画素グループに表されている物体を検出する処理を実行する。さらにまた、ブロック４１３の直後のブロック４１４は、ブロック４１３により算出されるfeature mapをダウンサンプリングしたものを入力として、ブロック４１３と同様の処理を実行する．そしてブロック４１４とペアになるブロック４２１は、ブロック４１４から出力された演算結果に対して、ブロック４２２と同様の処理を実行する。

本実施形態では、物体検出部３１は、画像に対するＤＮＮの演算のうち、演算制御部３２により、物体の検出結果に対する影響が無いと判定された一部の演算処理を省略することで、ＥＣＵ４が有するハードウェアリソースのうち、物体検出処理に利用されるハードウェアリソースの量を低減する。そのため、物体検出部３１は、例えば、演算制御部３２により省略対象として指定されたＤＮＮの何れかのブロックまたはレイヤによる演算を省略し、あるいは、演算制御部３２により省略対象として指定された画像の一部のＤＮＮへの入力、または、画像全体のＤＮＮへの入力を停止する。その上で、物体検出部３１は、省略されていない演算処理を実行することで、画像に表された物体を検出する。なお、物体検出部３１は、ＤＮＮに入力される画像よりも所定フレーム（例えば、1〜3）数だけ前にカメラ２により生成された画像（以下、過去画像と呼ぶことがある）との比較により、ＤＮＮへの入力が省略された画像上の領域については、その領域と対応する過去画像上の領域に表された物体と同じ物体が表されているとすればよい。同様に、物体検出部３１は、測距センサ３といったカメラ２以外の他のセンサからのセンサ信号により物体が検知されている領域については、その検知された物体が表されているとすればよい。さらに、物体検出部３１は、画像全体のＤＮＮへの入力が省略された場合には、直前の画像に対する物体検出の結果と同じ検出結果、あるいは、他のセンサからのセンサ信号に基づく検出結果のみを出力してもよい。

物体検出部３１は、演算制御部３２により指示された、演算が省略される領域のデータ（例えば、ＤＮＮへの入力が省略される画像上の領域、または、ＤＮＮによりその領域に対する演算の途中で生成されるfeature map等）をメモリ２２に保存しないようにしてもよい。これにより、物体検出処理で使用されるメモリ容量が削減される。

また、ＤＮＮによる演算が省略される領域の演算をスキップするようにプロセッサ２３のハードウェアを構成できない場合には、物体検出部３１は、ＤＮＮによるその領域の演算を行う際の各層が有する各ノードの重み係数を０に設定してもよい。この場合でも、演算が省略される領域に関して、各ノードからの出力が全て０になる。そのため、演算処理に必要なメモリの容量が削減され、かつ、プロセッサ２３のキャッシュ参照による行列演算を省略することが可能となるので、ハードウェアリソースは少なくて済む。

なお、物体検出部３１は、何れかの層またはブロックについて演算が省略されると演算制御部３２により指示された領域のうち、その層またはブロック以降の層またはブロックにおける演算にて、その領域の近傍領域の演算に関して参照される部分については、演算の省略対象から外してもよい。

物体検出部３１は、検出された物体の種類及び画像上での位置を表す情報を運転計画部３３へ出力する。また、物体検出部３１は、ＤＮＮによる演算の途中で生成されるfeature map等の演算結果を演算制御部３２へ出力する。

演算制御部３２は、物体検出部３１により実行される、画像に対するＤＮＮの演算のうち、物体の検出結果に対する影響が無い一部の演算を特定し、特定した演算を省略するようＤＮＮの演算を制御する。本実施形態では、演算制御部３２は、ＤＮＮに入力される最新の画像（以下、着目画像と呼ぶこともある）、過去画像、測距センサ３といった、カメラ２と異なる他のセンサにより得られたセンサ信号、及び、画像をＤＮＮに入力したときのＤＮＮの途中演算結果のうちの少なくとも一つに基づいて、物体の検出結果に対する影響が無い一部の演算を特定する。

演算制御部３２は、例えば、ＤＮＮへの着目画像の一部領域または着目画像全体の入力を省略することで演算を省略する。この場合、例えば、着目画像において、検出対象となる物体が表されていないと想定される領域をＤＮＮへの入力を省略する領域（すなわち、除外領域）として特定する。具体的に、演算制御部３２は、画素の輝度値の平均値あるいは中央値が所定の下限閾値（例えば、取り得る輝度値の最小値に、取り得る輝度値の範囲の0.01〜0.05倍に相当するオフセット値を加算して得られる値）以下となる暗黒領域を、ＤＮＮへの入力を省略する領域として特定する。また、演算制御部３２は、画素の輝度値の平均値あるいは中央値が所定の上限閾値（例えば、取り得る輝度値の最大値から、取り得る輝度値の範囲の0.01〜0.05倍に相当するオフセット値を減算して得られる値）以上となる白飛び領域を、ＤＮＮへの入力を省略する領域として特定してもよい。あるいはまた、演算制御部３２は、近傍画素間のエッジ強度の平均値または輝度値の分散値が所定値以下となる領域を、ＤＮＮへの入力を省略する領域として特定してもよい。

また、演算制御部３２は、ＤＮＮへの入力対象となる着目画像と、過去画像との比較に基づいて、ＤＮＮへの入力を省略する領域を特定してもよい。例えば、着目画像上の着目領域が過去画像上のある領域と類似している場合、着目画像上のその着目領域には、過去画像のその領域（以下、類似領域と呼ぶ）に表された物体と同じ物体が表されている可能性が高い。そのため、演算制御部３２は、着目領域には、過去画像上の類似領域に表されている物体と同じ物体が表されているとみなして、着目領域を、ＤＮＮへの入力を省略する領域とすることができる。また、着目領域と類似する過去画像上の類似領域に検出対象となる物体が表されていない場合に、着目領域にも検出対象となる物体が表されていないと想定される。そこで、この場合も、演算制御部３２は、着目領域を、ＤＮＮへの入力を省略する領域とすることができる。

そこで、演算制御部３２は、例えば、着目画像と過去画像の対応画素間の輝度値の差の絶対値を算出する。そして演算制御部３２は、輝度値の差の絶対値の和が所定値以下となる領域を、ＤＮＮへの入力を省略する領域として特定する。その際、演算制御部３２は、着目画像を複数のブロックに分割し、ブロックごとに、輝度値の差の絶対値和を算出して、ＤＮＮへの入力を省略する領域となるか否かを判定してもよい。

あるいは、演算制御部３２は、着目画像を分割した複数のブロックのそれぞれについて、過去画像との間でブロックマッチングを行って、そのブロックと最も一致した過去画像上の類似領域を特定してもよい。その際、演算制御部３２は、過去画像の何れの領域についても対応画素間の輝度値の差の絶対値の和が所定値より大きくなる、着目画像上のブロックについては、類似領域が無いと判定してもよい。そして演算制御部３２は、着目画像上の複数のブロックのそれぞれについて、そのブロックと対応する過去画像上の類似領域間の動きベクトルの大きさが所定値以下である場合に、そのブロックを、ＤＮＮへの入力を省略する領域としてもよい。

また、測距センサ３といった他のセンサからのセンサ信号に基づいて物体が検知されており、かつ、着目画像の生成タイミングとそのセンサ信号の生成タイミングとの差が所定時間内となる場合には、演算制御部３２は、その検知された物体が表されていると推定される着目画像上の領域を、ＤＮＮへの入力を省略する領域としてもよい。この場合も、上記の例と同様に、既に物体が検出されている領域については、ＤＮＮを用いて物体を検出する必要が無いためである。なお、演算制御部３２は、カメラ２の取り付け位置、撮影方向及び画角と、他のセンサの取り付け位置及びセンサから検知された物体への方位及び距離に基づいて、検知された物体が表されていると推定される着目画像上の領域を特定すればよい。

逆に、演算制御部３２は、着目画像に対する生成タイミングの差が所定時間内となる、他のセンサからのセンサ信号において何の物体も検知されていない空間を表す着目画像上の領域を、ＤＮＮへの入力を省略する領域としてもよい。何の物体も検知されていない空間を表す領域には、検出対象となる物体が存在しないと想定されるためである。この場合も、演算制御部３２は、カメラ２の取り付け位置、撮影方向及び画角と、他のセンサの取り付け位置及びセンサからその空間への方位に基づいて、何の物体も検知されていない空間を表す着目画像上の領域を特定すればよい。

また、演算制御部３２は、ＤＮＮによる演算過程の一部を省略してもよい。例えば、ＤＮＮによる途中までの演算結果から、それ以降の演算を実行しても検出対象となる物体が検出されないことが想定される場合、あるいは、それ以降の演算を継続しても物体の検出結果が変わらないことが想定される場合に、演算制御部３２は、それ以降の演算の一部または全てを省略する。

例えば、演算制御部３２は、ある領域について、ＤＮＮの途中の層またはブロックから出力されるfeature mapから推定される、その領域に表された物体が検出対象となる物体でない場合、その領域について、その層またはブロック以降の演算を省略するよう、物体検出部３１へ指示する。例えば、演算制御部３２は、図４に示されるＤＮＮ４００に関して、エンコーダ部４１０の何れかのブロックにおいて、領域内の各画素または各画素グループについて算出された、物体の種類ごとの信頼度のうち、検出対象でない物体の信頼度が最も高い場合、あるいは、検出対象となる何れの種類の物体の信頼度も所定の閾値以下である場合、その領域に表された物体は検出対象となる物体でないと判定すればよい。なお、所定の閾値は、物体の種類ごとに、車両１０の運転制御における重要度に応じて設定されてもよい。例えば、他の車両あるいは人のように、車両１０の運転制御において重要であり、高精度で検出されることが好ましい物体が写っている可能性が有る領域に対しては、ＤＮＮによる演算もできるだけ実行されることが好ましい。逆に、車両１０の運転制御においてそれほど重要でない物体が写っている可能性が有る領域に対しては、ＤＮＮによる演算が省略されることで何らかの不具合が生じる可能性は低い。そこで、車両１０の運転制御において重要な物体の種類ほど、上記の所定の閾値は、相対的に低く設定されることが好ましい。そして演算制御部３２は、そのブロックよりも出力側の各ブロックの演算を省略するよう、物体検出部３１へ指示する。

また、演算制御部３２は、処理対象となるデータの解像度が異なる層またはブロックから出力されたfeature map同士の差が所定以下となるか、それらのfeature mapから推定される物体の種類が変化しない領域について、その層またはブロックよりも低解像度のデータを処理対象とするブロック及び層の演算を省略するよう、物体検出部３１へ指示してもよい。この場合、演算制御部３２は、異なる解像度を持つfeature map同士を比較するために、例えば、解像度が高い方のfeature mapをmax poolingによりダウンサンプリングするか、逆に、解像度が低い方のfeature mapをアップサンプリングする。そして演算制御部３２は、比較される二つのfeature mapにおける、対応するfeature同士の差の絶対値の和を、その二つのfeature map間の差として算出すればよい。また、演算制御部３２は、例えば、図４に示されるＤＮＮ４００のエンコーダ部４１０に含まれる各ブロックのうちの何れか二つについて、同じ種類の物体について最も高い信頼度を算出する場合、推定される物体の種類が変化しないと判断すればよい。例えば、ブロック４１１が最も高い信頼度を算出した物体の種類と、ブロック４１２が最も高い信頼度を算出した物体の種類とが同じとなる領域について、演算制御部３２は、ブロック４１３及びブロック４１４の演算を省略するよう、物体検出部３１へ指示する。

さらに、物体検出部３１が識別器として使用するＤＮＮが、図４に示されるＤＮＮ４００のように、エンコード／デコード形式のＤＮＮである場合、演算制御部３２は、エンコード部とデコード部とで、同じ解像度のデータを処理対象とするブロックまたは層の演算を省略してもよい。例えば、上記のように、エンコーダ部４１０のブロック４１３及びブロック４１４の演算が省略される場合、ブロック４１３と同じ解像度のデータを処理対象とする、デコーダ部４２０のブロック４２２の演算、及び、ブロック４１４と同じ解像度のデータを処理対象とする、デコーダ部４２０のブロック４２１の演算も省略されてよい。

さらに、演算制御部３２は、ＤＮＮに入力される画像の領域ごとに、ＤＮＮによる演算を省略するか否かの判定に用いられる、上記の何れかの値の一つ以上を算出し、その算出した値を、識別関数あるいは予め学習された判別器に入力することで、ＤＮＮによるその領域に関する演算を省略するか否かを判定してもよい。この場合、識別関数は、例えば、多項式またはsoftmax関数とすることができ、演算制御部３２は、その識別関数による出力値が所定の閾値以下となった場合に演算を省略すると判定してもよい。また、演算制御部３２は、判別器として、サポートベクトルマシンあるいは多層パーセプトロン型のニューラルネットワークを用いることができる。

なお、演算が省略される領域のサイズの単位、または、隣接する領域間のシフト量の単位、すなわち、スキップ単位は、画素単位、演算が省略される層またはブロックにおけるカーネル（フィルタ）のサイズ単位、あるいは、より大きなブロック単位の何れでもよい。

図５は、プロセッサ２３の演算制御部３２により実行される演算制御処理の動作フローチャートである。演算制御部３２は、物体検出部３１が画像に対するＤＮＮの演算処理を実行する度に、図５に示される動作フローチャートに従って、演算制御処理を実行すればよい。

演算制御部３２は、ＤＮＮへの入力対象となる着目画像における各画素の値、着目画像と過去画像との比較、または、測距センサ３といったカメラ２以外の他のセンサによる物体の検知結果に基づいて、着目画像のうちのＤＮＮへの入力を省略する、物体の検出結果に影響の無い領域を特定する（ステップ１０１）。そして演算制御部３２は、着目画像のうちの特定した領域以外の領域をＤＮＮへ入力するよう、物体検出部３１へ指示する（ステップ１０２）。

さらに、演算制御部３２は、ＤＮＮによる、入力された着目画像上の領域に対する演算の途中結果に基づいて、以降の演算のうち、物体検出の結果に影響の無い演算を特定する（ステップ１０３）。そして演算制御部３２は、以降の演算のうち、特定した演算以外の演算を継続して実行するよう物体検出部３１へ指示する（ステップ１０４）。
ステップＳ１０４の後、演算制御部３２は、演算制御処理を終了する。

運転計画部３３は、各画像から検出された物体に基づいて、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３３は、カメラ２から画像を受信する度に、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、受信した画像を鳥瞰画像に変換する。そして運転計画部３３は、一連の鳥瞰画像に対してKalman Filterなどを用いたトラッキング処理を実行することで、各画像についての検出されている物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。運転計画部３３は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。その際、運転計画部３３は、例えば、車両１０に搭載されたＧＰＳ受信機（図示せず）から得た測位情報に表される車両１０の現在位置と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３３は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。その際、運転計画部３３は、画像から検出された車線区画線の位置を参照して、車両１０が走行中の車線、あるいは変更先の車線と車両１０との位置関係を判定してもよい。さらに、運転計画部３３は、画像から検出された信号機が一時停止を示している場合には、車両１０をその信号機に対応する停止線にて停止させるように走行予定経路を設定してもよい。
なお、運転計画部３３は、複数の走行予定経路を生成してもよい。この場合、運転計画部３３は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。

運転計画部３３は、生成した走行予定経路を車両制御部３４へ通知する。

車両制御部３４は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３４は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３４は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３４は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３４は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図６は、プロセッサ２３により実行される、物体検出処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図６に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ２０１〜Ｓ２０２の処理が物体検出処理に対応する。

プロセッサ２３の演算制御部３２は、図５に示されるフローチャートに従って、物体検出部３１において使用されるＤＮＮによる、画像に対する演算のうち、物体検出結果に影響の無い演算を特定する（ステップＳ２０１）。そしてプロセッサ２３の物体検出部３１は、カメラ２から得られた画像をＤＮＮに入力して、特定された演算以外のＤＮＮによる演算処理を実行することで、画像に表された車両１０の周囲の物体を検出する（ステップＳ２０２）。

プロセッサ２３の運転計画部３３は、検出されている物体を追跡し、その追跡結果に基づいて推定されるその物体の予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ２０３）。そしてプロセッサ２３の車両制御部３４は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ２０４）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この物体検出装置は、画像をＤＮＮに入力することで、画像に表された、検出対象となる所定の物体を検出する。その際、この物体検出装置は、画像に対するＤＮＮの演算のうち、物体の検出結果に対する影響が無い一部の演算を特定し、特定した演算を省略するようＤＮＮの演算を制御する。これにより、この物体検出装置は、物体検出処理による物体の検出精度の低下を抑制しつつ、物体検出処理に必要なハードウェアリソースを低減することができる。

上記の実施形態または変形例による物体検出装置は、車両制御システム以外に適用されてもよい。例えば、上記の実施形態または変形例による物体検出装置は、屋外または屋内の所定の領域を監視するために設置される監視装置に適用されてもよい。

また、上記の実施形態または変形例による、物体検出装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 測距センサ
４ 電子制御装置（物体検出装置）
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 演算制御部
３３ 運転計画部
３４ 車両制御部

Claims (1)

1. 撮像部により生成された画像の少なくとも一部をニューラルネットワークに入力することで、前記画像に表された所定の物体を検出する物体検出部と、
   前記画像に対する前記ニューラルネットワークの演算のうち、前記物体の検出結果に対する影響が無い一部の演算を特定し、特定した演算を省略するよう前記ニューラルネットワークの演算を制御する演算制御部と、
   を有する物体検出装置。

Images