JP2022082904A - 物体検出装置 - Google Patents

Abstract

【課題】物体の検出において、カメラとミリ波センサのそれぞれの装置の特性に基づく信頼度のみを考慮して検出結果を選択的に用いる技術しか存在しなかった。
【解決手段】対象物との距離および対象物の速度の情報を有する画像情報を、対象物を撮像した画像上に重畳した重畳画像に基づいて、前記対象物の種別を、ニューラルネットワークを使用して推測することにより、物体検出の精度を向上させることができる。
【選択図】図１

Description

本願は、物体検出装置に関するものである。

従来、カメラ画像を入力とした物体検出の技術としては、カメラ画像に対して、対象物に応じて適正化された個別のアルゴリズムで画像処理を施すことにより物体検出する手法が主であった。

カメラ画像を用いた物体検出の場合、耐環境性の問題がある。具体的には、照明がない、もしくは、不十分である夜間、屋外における雨または雪の天候の影響により、カメラ画像上、物体が認識しづらい状況が発生しうる。このため、耐環境性をあげるために、カメラ画像以外のセンサを併用する例としてミリ波レーダの併用がある（例えば、特許文献１参照）。ミリ波は、高い周波数帯（３０ＧＨｚ～３００ＧＨｚ）の電磁波であり、直線性が強く、レーザのように扱うことができるため、耐環境性にすぐれ、雨または雪などの天候、また、夜間の照明などの影響をあまり受けない。ミリ波レーダは、対象物の位置（方向と距離）を検出できるとともに、ドップラー効果の結果として対象物の速度も検出できる。

国際公開第２０１７／０５７０５８号

しかし、特許文献１の技術は、ミリ波レーダとステレオカメラの両者の信頼度を比較し、信頼度の高い方の出力を優先させる。具体的には、画面を４つの領域に分離できるとした場合、第１の領域と第４の領域はミリ波レーダの検出結果を、第２の領域と第３の領域はステレオカメラの検出結果を優先させる処理である。従って、第１の領域の物体検出において、両装置の情報を用いることができる技術ではない。また、ミリ波レーダもステレオカメラも、距離の測定に基づく検出装置であり、両装置の特性に基づく信頼度のみを考慮して検出結果を選択的に用いる技術にすぎず、それぞれの装置の検出精度以上の精度を得ることはできない。

本願は、上述のような問題を解決するためになされたもので、物体検出の精度を向上させることができる物体検出装置を提供することを目的とする。

本願に開示される物体検出装置は、
対象物との距離および対象物の速度の情報を有する第１の画像情報を、対象物を撮像した第１の画像上に重畳する重畳処理手段、重畳処理手段により処理された重畳画像に基づいて、対象物の種別を推測するニューラルネットワーク手段を備えたものである。

本願に開示される物体検出装置によれば、第１の画像情報を第１の画像上に重畳した重畳画像を用いて対象物の種別を推測することにより、物体検出の精度を向上させることができる。

実施の形態１に係る物体検出装置の機能構成図である。 実施の形態１に係る重畳処理部の機能構成図である。 実施の形態に係る物体検出装置のハードウエア構成の一例を示す図である。 実施の形態１に係る物体検出装置の動作を説明するフローチャートである。 実施の形態１に係る重畳画像を説明する図である。 実施の形態１に係る学習データと教師ラベルを説明する図である。 実施の形態２に係る重畳画像を説明する図である。 実施の形態３に係る重畳画像を説明する図である。 実施の形態４に係る学習データと教師ラベルを説明する図である。 実施の形態５に係る重畳画像を説明する図である。 実施の形態６に係る物体検出装置のデータの保存を説明する図である。 実施の形態６に係る重畳処理部の機能構成図である。

以下、本願に係る物体検出装置の好適な実施の形態について、図面を参照して説明する。なお、同一内容および相当部については同一符号を配し、その詳しい説明は省略する。以降の実施形態も同様に、同一符号を付した構成について重複した説明は省略する。

実施の形態１．
以下、実施の形態１に係る物体検出装置１を図１の機能構成図に基づいて説明する。
本実施の形態の物体検出装置１は、機械学習の一手法である深層学習（以下ディープラーニングと称す）を用いる。ディープラーニングは、入力部と出力部の間に、畳込み層、全結合層などのいくつもの処理のための層がネットワーク状に構成されたニューラルネットワーク部４に、学習データを入力して学習させる。この学習の過程で、各層に個別に設けられたノード間の伝搬処理にかける重み（以下学習パラメータと称す）を調整するものである。これにより、学習により得られた学習パラメータを用いて、新たに入力されるデータに対しても正しい出力を推論することができるようにするものである。

従って、ディープラーニングを用いた物体検出装置１は、新たに入力されるデータに対し、物体およびその種別を推論して検出する処理を行う推論処理実行装置２と、この推論を行うための学習パラメータＰを決定する学習処理実行装置３から構成される。学習した学習パラメータＰを有するニューラルネットワーク部４を使用して推論処理実行装置２により物体を検出するため、推論処理実行装置２と学習処理実行装置３に使用するニューラルネットワーク部４は同じ機能を有するが、推論処理実行装置２のニューラルネットワーク部４は演算量を抑制する必要があるため、構成を簡略化してもよい。

学習処理実行装置３は、学習データ作成部１２、物体検出学習処理部１３により構成される。予め作成された学習データＡを入力したときの出力と予め作成された正解ラベル（以下教師ラベルと称す）Ｂとを比較し、その差が小さくなるように、ニューラルネットワーク部４内の学習パラメータＰを調整する。これにより、入力に対する出力の誤差を小さくするように学習パラメータＰは調整されるため、学習により得られた調整後の学習パラメータＰを用いて、新たな入力に対して推論処理実行装置２において精度の高い推論を行うことが可能となる。

学習データ作成部１２では、重畳画像の学習データＡと教師ラベルＢを作成する。重畳画像データについては後述する。教師ラベルＢは、画像内に存在する物体を囲む矩形領域の座標データと、その物体が何であるかの種別を示すラベルの情報データを対にしたデータである。物体検出学習処理部１３は、ニューラルネットワーク部４、検出エラー評価部１４を有し、学習パラメータＰを学習により更新する。学習データＡと教師ラベルＢは対になっている。画像データ内に複数の物体がある場合は、この対の情報が複数組存在することになる。

推論処理実行装置２は、ミリ波センサ５からのミリ波データを入力として一次加工することで対象物を検出するミリ波物体検出処理部６、カメラ７からの画像データＣと、ミリ波物体検出処理部６からの出力データＤを入力し、重畳画像データＥに処理する重畳処理部８、重畳処理部８で処理された重畳画像データＥを保存するために処理する重畳画像データ保存処理部９、重畳画像データＥを保存するための記憶部１０、重畳処理部８で処理された重畳画像データＥから、検出する物体を推論する物体検出推論処理部１１からなる。

重畳処理部８は、図２に示すように、画像データとミリ波物体検出処理部６からの出力データＤとの同期をとる時刻同期処理部８１、出力データＤの画角を調整する画角調整処理部８２、画像データＣと重畳するために、出力データＤをマーカ画像として画像化するミリ波検出結果画像化処理部８３、画像データＣとマーカ画像の出力データＤとを重畳する画像重畳処理部８４からなる。学習用データの重畳画像も同様に作成する。

重畳画像データ保存処理部９は、重畳処理部８で作成され、物体検出推論処理部１１に入力される重畳画像データＥを記憶部１０に保存する。保存された重畳画像データＥは、システム運用時の検出結果の評価および分析に有用である。特に本実施の形態の場合、未検出および過検出などの検出誤りが発生した場合の原因分析を行うのに必要となる。重畳画像データＥは、一般の動画ファイルとして記憶部１０に保存されるため、特別な仕組みを必要とせずに再生できる。仮に重畳されていない、元の画像データと、ミリ波の検出結果を別々に保存した場合、一般的な動画ファイル以外の形式で保存した場合には、それを再生する手段の準備が必要となる。また、別々に保存した場合には、各々のデータの再生時の同期など、運用時と同様の物体検出推論処理部に入力される重畳画像データを生成することが容易でない場合が多い。これらの重畳画像データＥは学習用データとしても使用できる。

ニューラルネットワーク部４は、前述した通り、多層のネットワークであり、畳み込み層、および全結合層などから構成される。畳み込み層は、注目画素に対して、例えば、その周囲１画素、計３×３画素の情報を用いて値を抽出するなどの処理を行う層であり、通常、ニューラルネットワーク部４に入力された画像は、最初にこの畳み込み層で処理を行う。全結合層とは、通常、畳み込み層の後段に配される層であり、前層と後層のニューロンが全て接続されている層のことであり、この層を経て、最後に、検出結果が出力される。ディープラーニングにおける学習パラメータ数は、一般に、数百万を超える場合も多くあり、非常に大量なものである。

図３は、物体検出装置１のハードウエア構成の一例を示す図である。プロセッサ３０１と記憶装置３０２から構成され、図示していないが、記憶装置はランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ３０１は、記憶装置３０２から入力されたプログラムを実行することにより、推論処理実行装置２、または学習処理実行装置３の動作を行う。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ３０１にプログラムが入力される。また、プロセッサ３０１は、演算結果等のデータを記憶装置３０２の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

次に本実施の形態の物体検出装置１の動作について、推論処理実行装置２が車両の検出を行うまでの動作を図４のフローチャートを用いてまず説明する。
カメラ７からの画像データＣは、図５（ａ）で示される（図４中、ステップＳ１）。図５（ｃ）は、画像データＣのうち、物体として検出されているものを枠５０２～５０４で示している。枠５０２または枠５０３は正しく物体の種別を車両と検出しているが、枠５０４は、路面の汚れ、あるいは他の通過車両により路面上にできた影などであり、これらを車両として誤って検出している。

図５（ｄ）は、ミリ波センサ５からの検知信号（ステップＳ２）をミリ波物体検出処理部６で加工した出力データＤを示す。出力データＤには、検出した対象物の位置（方向および距離、座標情報としてデータを格納）、およびミリ波センサ５のドップラー効果により検出された対象物の速度情報が含まれる。これにより、図５（ｄ）には、順行（＋の表示）および逆行（黒点の表示）がマーカ画像５０１として表示されている。ただし、継続的に静止している物は除外されている。すなわち、路面自体、あるいは、路側に常駐された構造物からもミリ波の反射した結果は検知するが、ミリ波物体検出処理部６により除外される。

画像データＣと出力データＤを重畳処理部８において重畳する。この際、時刻同期処理部８１にて、画像データＣと出力データＤの同期をとり、出力データＤの画角を画角調整処理部８２で調整した後、画像データＣと重畳するために、ミリ波検出結果画像化処理部８３により、出力データＤを、検出位置、あるいは順行および逆行を視覚化できるようなマーカ画像として画像化する（ステップＳ３）。画像データＣと画像化した出力データＤとを重畳する画像重畳処理部８４にて重畳した重畳画像データＥが、図５（ｂ）に示される（ステップＳ４）。ニューラルネットワーク部４は、後述する学習処理実行装置３における学習により、学習パラメータＰが調整されており、画像データＣに出力データＤが重畳された重畳画像データＥから、車両を検出結果Ｆとして正しく検出する（ステップＳ５）。検出結果Ｆは、表示装置１５に表示してもよい。

このような物体検出装置１は、道路の路側に配置して、車の交通量および車の速度から車の挙動を検出することができ、道路監視に用いることができる。また、物体検出装置１を車載すれば、対向車、順行車、あるいは人を検出することができ、自動運転を含む運転支援に活用できる。以下の実施の形態についても同様である。

次に、ニューラルネットワーク部４内の学習パラメータＰを調整するための学習処理実行装置３の動作につき説明する。図１に示す通り、学習処理実行装置３は、学習データ作成部１２、物体検出学習処理部１３により構成される。予め作成された学習データＡをニューラルネットワーク部４に入力し、検出結果Ｆと、予め作成された、学習データＡと対になる教師ラベルＢとを検出エラー評価部１４で比較し、その差が小さくなるように、ニューラルネットワーク部４内の学習パラメータＰを調整する。これにより、入力に対する出力の誤差を小さくするように学習パラメータＰは調整される

図６は、画像及び画像以外の入力を用いた物体検出装置において、検出対象を「車両」とした場合の学習データＡと教師ラベルＢの例である。ここでの学習データＡは、ミリ波の検出結果によるマーカ画像を重畳した画像と、マーカ画像が重畳されていない画像の両者を車両の教師ラベルＢとして用いている。マーカ画像は、物体までの距離および物体の速度の情報を有していてもよいし、距離または速度のいずれかの情報のみでもよい。

図６では、学習データＡと教師ラベルＢとの組合せの少数の例のみを示しているが、実際に学習に用いるデータは、比較的多数のデータである。１，０００組程度以上の学習データを用いることが多い。大量のデータを用いて学習パラメータＰが学習することにより、学習に用いた画像以外の、未知の画像に対しても、物体を正しく検出できるようになる。なお、学習は、大量のデータを、ただ一度学習するのではなく、何度も、繰り返し学習することにより、学習パラメータＰの正しい調整が実現される。

図６において、マーカ画像が重畳された（ａ）及び（ｅ）などに示された画像は、これらのマーカ画像が、実写の画像でないため、規則正しい形状をしており、ニューラルネットワーク部４で、車両として容易に学習しうる。また、ミリ波による検出が不調の場合のために、マーカ画像が重畳されていない（ｂ）及び（ｃ）の画像も車両として学習させる。

尚、学習データＡは、カメラおよびミリ波センサによる実際の車両を撮影、検出したデータだけではなく、画像加工により作成したデータでもよい。更に、利用者が見て自然にみえるような画像でなくても良い。また、データ増大（データオーグメンテーション）という技術、すなわち、単一の画像を、少し加工し、別の入力として用いる技術を使用してもよい。具体的には、学習データＡの画像位置を少しずらしたり、左右反転させたり、少し回転させたり、色を少し変更したりして学習データを増大し、学習パラメータに入力する。なお、データ増大の効果および弊害の有無は、学習データ以外のデータで検証することにより確認できるので、検証結果を確認しながら、実施する。

ここでのオーグメンテーションとは、学習データを本質的に増やすわけではなく、ニューラルネットワークが特定の処理で画像をとらえるため、そのとらえ方が偏らないように、入力側に変化をもたせる技術である。ニューラルネットワーク側での過学習対策のひとつともいえ、ニューラルネットワーク側自体に組み込まれるドロップアウトほかの技術などと合わせて用いる。

以上、述べたように、本実施の形態１において、学習データとして、ミリ波センサからの検出データをマーカ画像に加工した出力データを、カメラで撮像した画像データと重畳した重畳画像を用いることにより、ニューラルネットワーク部での学習が容易になる。さらに、車両を検出する画像としても重畳画像を用いることにより、画像単体またはミリ波データ単体からの物体検出よりも推論処理実行装置での推論が容易となる。

本実施の形態では、検出した物体の種別を車両として説明したが、車両に限るものではなく、センサに対して位置が相対的に移動する物体であれば、どのような物体にも適用可能である。

実施の形態２．
図７を用いて実施の形態２のカメラ７からの画像とミリ波センサ５の出力の別の重畳画像を説明する。
（ａ）は、実施の形態１で説明した重畳画像でありミリ波センサからの出力データを、マーカ画像としてカメラ画像に重畳的に表示している。これに対し、（ｂ）は、カメラ画像に対して、マーカ画像を重畳させるのではなく、ミリ波センサの検出結果を反映した重畳画像を作成する。すなわち、ミリ波センサ５の検出出力が得られていない領域７０１の画像を抑制し、該当領域をグレーダウンさせる処理を施している。なお、グレーダウンしている領域７０１の画像を、完全に削除しても良いことはいうまでもない。
このように、本実施の形態では、ミリ波センサ５の検出出力が得られていない領域７０１の画像を抑制することにより、ミリ波センサの検出のない領域で誤って、車両を検出する恐れが大幅に抑制される。

実施の形態３．
図８を用いて実施の形態３のカメラ７からの画像とミリ波センサ５の出力の別の重畳画像を説明する。
（ａ）は、実施の形態１で説明した重畳画像でありミリ波センサからの出力データを、マーカ画像としてカメラ画像に重畳的に表示している。ただし、順行および逆行の表示は記載していない。（ｂ）が、本実施の形態のカメラ画像に対して、ミリ波センサからの出力データを重畳させた表示である。実施の形態１と実施の形態３の違いは、ミリ波の検出結果を示すマーカ画像８０１が、カメラ画像に対して、上書きされているのではなく、カメラ画像を残したまま、マーカ画像８０２が重畳（ブレンド）されている。これにより、カメラ画像の情報は残された状態になっている。ディープラーニングにおいては、それぞれの画像に情報の欠落がないため、このような重畳画像は、推論処理で有効に作用する。

実施の形態４．
図９を用いて実施の形態４の学習データＡと教師ラベルＢを説明する。図６で説明した実施の形態１と同様の部分は、説明を省略する。
図９において、ミリ波の検出結果によるマーカ画像が重畳された（ａ）及び（ｅ）は、
教師ラベルＢは単なる「車両」ではなく、「車両_ミリ波逆行」、「車両_ミリ波順行」としている。一方、マーカ画像が重畳されていない（ｂ）及び(ｃ)の画像は、「車両_ミリ波なし」としている。このようにラベルを分けることにより、別の種別の物体として学習され、各々の種別の学習内容が、より純化され、高い精度が学習できることになる。また、検出結果をラベルで区別した情報としているため、カメラ画像では車両として検出されているが、ミリ波センサでは検出できていない、もしくは、その逆で、カメラ画像により車両として検出され、かつ、ミリ波センサでも検出されているなど、図６の教師ラベルに比較して詳細な情報を得ることができる。

実施の形態５．
図１０を用いて実施の形態５のカメラ７からの画像とミリ波センサ５の出力の別の重畳画像を説明する。（ａ）に示すように、カメラ画像がＹＺ平面に撮像されるのに比して、ミリ波センサは、（ｄ）に示すように、ＸＹ平面１０２内で、位置または速度を検出している。すなわち、２次元のカメラ画像に対してミリ波センサ５の出力は、このカメラ画像の平面上で１次元の情報として表され、画面内の高さ方向は、ミリ波センサは検出しない。ミリ波センサの検出結果を図示すると、１０１のようにＸＹ平面１０２内の点の移動として表現される。なお、ミリ波センサ５でどの方向の検出が可能となるかは、ミリ波センサの送受信部の構成、または信号処理方法などによる。

図１０（ｃ）は、カメラ画像による物体検出結果を示しており、ここでは、検出対象の物体の種別は、「人」としている。検出結果は、枠１０３で表示されている。（ｂ）は、カメラ画像に対して、ミリ波センサ５の検出結果を重畳させた例である。ミリ波センサ５は高さ方向の情報を持たないため、画像に重畳させるために、例えば、Ｚ方向の線１０４としてカメラ画像の人１１４に重畳する。このような重畳画像を用いて、実施の形態１と同様に学習パラメータＰの処理を実施することで、「人」に対しても高精度な検出が実現できる。

図１１を用いて、実施の形態５に係る物体検出装置のデータ保存を説明する。特にミリ波センサ５の出力データの保存に関する。
上述した通り、２次元のカメラ画像に対して、ミリ波センサ５の検出結果は、１次元であり、全体の画面に影響のない、画面の一部、例えば画面の上端などに情報を保存しておくことが可能である。このデータは、図１１に示すように、カメラ画像と干渉することなく、画面の一部を使って情報を保存しておくことができる。すなわち、画像の上部１１２０の領域のみを使って、ミリ波センサ５で「人」が検出されたことを、領域１１１１、１１１２、１１１３のように記録することができる。これは、カメラ画像における、「人」の画像の領域１１０１、１１０２、および１１０３の検出結果に相当する。

このように保存された映像情報を用いて物体の検出処理を行う場合には、図１０（ｂ）に示したＺ方向の線１０４の表示に変換して、推論処理を実施してもよい。なお、このような画面の一部に情報を保存しておくためのデータは、図１２に示すように、画像重畳処理部８４内の保存用重畳データ作成処理部８１１にて生成する。

尚、この保存形式の場合には、その保存された情報をもとに、物体検出推論処理部１１に入力する際は、画像を加工する必要がある。ただし、このような加工は比較的容易に実現できる。このように画面の上端等のみに、情報を保存する利点は、ほぼ画像の全域がカメラ画像そのものとなり、特別なマーカ等がない通常の画像としての利用が可能となることである。

このように、ミリ波センサの画像を１次元上に重畳して保存することにより、他の重畳画像と同様の効果を得ることができるとともに、表示領域のほぼ全域がカメラ画像となり、実施の形態１で説明したマーカ画像のない通常の画像として利用することが可能となる。これにより、システムの運用時の検出結果の評価、分析に有用である。また、学習データとしても活用できる。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１：物体検出装置、２：推論処理実行装置、３：学習処理実行装置、４：ニューラルネットワーク部、５：ミリ波センサ、６：ミリ波物体検出処理部、７：カメラ、８：重畳処理部、９：重畳画像データ保存処理部、１０：記憶部、１１：物体検出推論処理部、１２：学習データ作成部、１３：物体検出学習処理部、３０１：プロセッサ、３０２：記憶装置。

Claims (6)

1. 対象物との距離および前記対象物の速度の情報を有する第１の画像情報を、前記対象物を撮像した第１の画像上に重畳する重畳処理手段、前記重畳処理手段により処理された重畳画像に基づいて、前記対象物の種別を推測するニューラルネットワーク手段を備えた物体検出装置。
2. 前記ニューラルネットワーク手段は、前記対象物と同じ種別の物体の画像に、前記物体との距離および／または前記物体の速度の情報を有する画像情報を重畳した重畳画像を用いて機械学習した学習パラメータを有し、前記学習パラメータを使用して前記対象物の種別を推測することを特徴とする請求項１に記載の物体検出装置。
3. 前記第１の画像情報を、前記第１の画像上にマーカ画像として上書きして重畳することを特徴とする請求項１または２に記載の物体検出装置。
4. 前記第１の画像情報を、前記第１の画像に上書きすることなく、前記第１の画像を残したまま重畳したことを特徴とする請求項１または２に記載の物体検出装置。
5. 前記第１の画像情報を取得できない領域の画像を前記第１の画像上から削除することを特徴とする請求項１から４のいずれか一項に記載の物体検出装置。
6. 前記第１の画像情報は、前記第１の画像が撮像された撮像領域の端部にデータとして保存することを特徴とする請求項１または２に記載の物体検出装置。

Images