JP2018180945A - 物体検出装置及びプログラム - Google Patents

Abstract

【課題】画像上の検出対象物体の大きさに関わらず、精度良く検出対象物体を検出することができる物体検出装置及びプログラムを提供する。【解決手段】物体検出装置１０は、対象物検出部２２によって、入力画像から、ＣＮＮを用いて、各位置に設定された検出処理枠ごとに、検出処理枠に含まれる検出対象物体を表す検出枠の位置及び大きさを出力し、調整部３０によって、出力された検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整し、統合部２４によって、検出処理枠ごとに出力された検出枠の位置及び大きさに基づいて、他の検出枠と重複する重複度合いが閾値以上となる検出枠を統合して、最終的な物体検出枠として出力する。【選択図】図１

Description

本発明は、物体検出装置及びプログラムに係り、特に、画像から検出対象物体を検出する物体検出装置及びプログラムに関する。

従来より、畳み込みニューラルネットワークを用いて、画像中に含まれる検出対象物体よりも大きい検出処理枠を平行移動しながら同一物体に対する検出枠と確度を複数出力し、重なりの大きさが一定以上の検出枠のペアについて確度を加算し検出枠の座標を平均した1つの検出枠に置き換える処理を繰り返すことで高精度な物体検出を行う技術が知られている（非特許文献１）。

また、畳み込みニューラルネットワークと再帰型ニューラルネットワークを用いて、画像中に含まれる検出対象物体よりも大きい検出処理枠を平行移動しながら同一物体に対する検出枠と確度を複数出力し、検出枠の位置関係と確度の大小関係などに基づいて検出枠を統合することで高精度な物体検出を行う技術が知られている（非特許文献２）。

上記の非特許文献１、２の技術において、検出処理枠を平行移動しながら行う多数の検出処理は、畳み込みニューラルネットワークの特性によって検出処理枠の重なっている部分の処理結果が共有される上に、処理の並列化が容易なため、効率的に処理できる。また、検出対象物体よりも大きい検出処理枠を用いることで、検出対象物体周辺の画像も考慮した検出処理ができることや、検出対象物体と同じ大きさの検出処理枠を用いる手法で必要となる、さまざまな形状の検出処理枠をスキャンすることによる多数の検出処理が不要になるという特長を持つ。

P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus, and Y. LeCun: Overfeat: Integrated Recognition, Localization and Detection, ICLR 2014 R. Stewart and M. Andriluka: End-to-end people detection in crowded scenes, arXiv, 2015

しかしながら、上記非特許文献１に記載の技術では、検出処理枠を平行移動するときの移動量は畳み込みニューラルネットワークの構成によって固定されており、検出対象物体のサイズが大きい場合は多数の検出枠の確度が加算される一方、検出対象物体のサイズが小さい場合には少数の検出枠の確度しか加算されないため、一定の確度の閾値を用いると検出対象物体のサイズが大きい場合は誤検出が、検出対象物体のサイズが小さい場合は未検出が発生しやすくなる。

また、上記非特許文献１に記載の技術では、この問題に対して入力画像を拡大した上で再度検出処理を行うことで検出対象物体のサイズが小さい場合でも多数の検出枠の確度を加算できるようにしているが、拡大した入力画像に対する処理が必要となるため処理速度が低下する。

また、上記非特許文献２に記載の技術においては、検出枠統合において確度の加算は行わないが、サイズの大きい検出枠が誤検出によって出力されるとその検出枠に重なりを持つ他物体の検出枠が誤って削除されることで未検出が増加し、性能低下が起きやすい。

本発明は、上記の問題点を解決するためになされたもので、画像上の検出対象物体の大きさに関わらず、精度良く検出対象物体を検出することができる物体検出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る物体検出装置は、 入力画像から、検出モデルを用いて、各位置に設定された検出処理枠ごとに、前記検出処理枠に含まれる検出対象物体を表す検出枠の位置及び大きさを出力する検出部と、前記検出処理枠ごとに出力された検出枠の位置及び大きさに基づいて、他の検出枠と重複する重複度合いが閾値以上となる検出枠を統合して、最終的な物体検出枠として出力する統合部と、を含み、前記検出部によって出力された検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整する調整部を更に含んで構成されている。

また、本発明に係るプログラムは、コンピュータを、入力画像から、検出モデルを用いて、各位置に設定された検出処理枠ごとに、前記検出処理枠に含まれる検出対象物体を表す検出枠の位置及び大きさを出力する検出部、前記検出部によって出力された検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整する調整部、及び前記検出処理枠ごとに出力された検出枠の位置及び大きさに基づいて、他の検出枠と重複する重複度合いが閾値以上となる検出枠を統合して、最終的な物体検出枠として出力する統合部として機能させるためのプログラムである。

本発明によれば、検出部によって、入力画像から、検出モデルを用いて、各位置に設定された検出処理枠ごとに、前記検出処理枠に含まれる検出対象物体を表す検出枠の位置及び大きさを出力する。調整部によって、前記検出部によって出力された検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整する。そして、統合部によって、前記検出処理枠ごとに出力された検出枠の位置及び大きさに基づいて、他の検出枠と重複する重複度合いが閾値以上となる検出枠を統合して、最終的な物体検出枠として出力する。

このように、検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整することにより、画像上の検出対象物体の大きさに関わらず、精度良く検出対象物体を検出することができる。

以上説明したように、本発明の物体検出装置及びプログラムによれば、検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整することにより、画像上の検出対象物体の大きさに関わらず、精度良く検出対象物体を検出することができる、という効果が得られる。

本発明の第１の実施の形態に係る物体検出装置を示すブロック図である。 検出処理枠を説明するためのイメージ図である。 複数の検出枠を統合する方法を説明するための図である。 本発明の第１の実施の形態に係る物体検出装置における検出処理ルーチンの内容を示すフローチャートである。 従来技術での検出結果を示すイメージ図である。 実験結果を示すグラフである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、検出対象物体としての車両を検出する物体検出装置に本発明を適用した場合を例に説明する。

＜第１の実施の形態＞
図１に示すように、第１の実施の形態に係る物体検出装置１０は、検出対象領域を撮像し、撮像画像を生成する撮像装置１２と、撮像装置１２から出力される撮像画像から、検出対象物体としての車両を検出し、車両が検出されたか否かを判定する検出処理ルーチンを実現するためのプログラムを格納したコンピュータ１４と、コンピュータ１４での処理結果を表示するための表示装置１６とを備えている。

撮像装置１２は、検出対象領域を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１４は、ＣＰＵ、後述する検出処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から出力される濃淡画像である撮像画像を入力する画像入力部２０と、画像入力部２０によって入力された撮像画像から、検出処理枠毎に、当該検出処理枠内の、車両を表す処理枠を各々出力する対象物検出部２２と、対象物検出部２２によって出力された処理枠の性質に応じて、処理枠の統合方法を調整する調整部２４と、対象物検出部２２によって出力された処理枠に基づいて、処理枠を統合して、車両を表す車両領域として出力する統合部２６と、を備えている。

対象物検出部２２は、各位置に設定された検出処理枠毎に、撮像画像から当該検出処理枠で切出した画像を、予め学習されたＣＮＮ（Convolutional Neural Network、畳み込みニューラルネットワーク）に入力し、当該検出処理枠に含まれる検出対象物体を表す検出枠の位置、大きさ、及び検出対象物体らしさを示す確度を出力する。

ここで、図２に示すように、検出処理枠のサイズが、想定される検出対象物体の画像上のサイズよりも大きく設定されており、予め定められた平行移動単位で、各位置に検出処理枠が設定される。

具体的には、ＣＮＮによって、画像中に含まれる検出対象物体よりも大きい検出処理枠を平行移動しながら1枚の画像に対して上記図２のように20×15=300個のグリッドを中心とする300回の検出処理を行う。

ＣＮＮは、画像を入力とし、画像に含まれる検出対象物体を表す検出枠の位置、大きさ（幅、高さ）、確度を出力するように予め学習される。具体的には、検出対象物体を囲む検出枠が、検出処理枠の中央に定められた検出対象領域（図２参照）と重なりを持つときに検出枠を出力するようにＣＮＮが予め学習される。

調整部２４は、対象物検出部２２によって出力された検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整する。本実施の形態では、対象物検出部２２によって出力された検出枠の大きさに応じて、重複度合いに関する閾値を調整する。具体的には、検出枠の大きさが大きいほど、重複度合いに関する閾値が大きくなるように調整する。

統合部２６は、検出処理枠ごとに出力された検出枠の位置、大きさ、及び確度に基づいて、他の検出枠と重複する重複度合いが、調整された閾値以上となる検出枠が、個数に関する閾値以上ある場合に、これらの検出枠を、確度が最も高い１つの検出枠に統合した上で、最終的な物体検出枠として出力する。

具体的には、図３に示すように、最終的な物体検出枠が出力される。この例では、最終的な物体検出枠である検出枠を出力した検出処理枠の中心と、重なる各検出枠の中心とを結んで示しており、5×8=40個のほぼ重なる検出枠が出力されている。これらの検出枠のサイズは90×160ピクセル程度であり、重複した検出枠個数の閾値である（検出枠の幅÷32）×（検出枠の高さ÷32）は約15個であるため、これらの検出枠は1つの検出枠に統合した上で最終的な検出結果として採用される。従来技術では、検出枠の統合処理結果を最終的な検出結果として採用するか否かを判断する上で、重複した検出枠個数は考慮してない。

なお、本実施の形態では、重複度合いとして、２つの検出枠を合わせた面積に対する、重複する領域の面積の割合を用いる。

次に、第１の実施の形態に係る物体検出装置１０の作用について説明する。

まず、撮像装置１２が、検出対象領域に向けられ、撮像装置１２によって検出対象領域を表わす画像が撮像されると、コンピュータ１４において、図４に示す検出処理ルーチンが実行される。

まず、ステップＳ１００において、撮像装置１２から、撮像された撮像画像を取得し、ステップＳ１０２において、

各位置に設定された検出処理枠毎に、撮像画像から当該検出処理枠で切出した画像を、予め学習されたＣＮＮに入力し、当該検出処理枠に含まれる検出対象物体を表す検出枠の位置、大きさ、及び確度を出力する。

ステップＳ１０４では、上記ステップＳ１０２で出力された検出枠のうちの、重複した検出枠の性質に応じて、統合方法を調整する。例えば、重複する検出枠の大きさに応じて、重複度合いに関する閾値を調整する。

ステップＳ１０６では、上記ステップＳ１０２で出力された検出枠のうちの、上記ステップＳ１０４で調整された閾値以上の重複部分で重複した検出枠を、確度が最も高い１つの検出枠に統合した上で、最終的な物体検出枠として出力する。

ステップＳ１０８では、別の重複した検出枠があるか否かを判定する。別の重複した検出枠がある場合には、上記ステップＳ１０４へ戻り、当該別の重複した検出枠の性質に応じて閾値を調整し、ステップＳ１０６で、当該別の重複した検出枠を統合する。

上記ステップＳ１０８で、別の重複した検出枠がないと判定された場合、ステップＳ１１０へ移行し、上記ステップＳ１０６で出力された最終的な物体検出枠の各々を、検出対象物体の検出結果として表示装置１６に表示して、検出処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る物体検出装置によれば、検出枠の大きさに応じて、検出枠を統合する際に用いる、重複度合いに関する閾値を調整することにより、画像上の検出対象物体の大きさに関わらず、精度良く検出対象物体を検出することができる。

また、検出枠のサイズや形状といった性質によって統合するときの処理方法を調整することにより、画像を様々な解像度にリサイズして検出処理を行わなくても物体検出枠が小さい時の未検出や物体検出枠が大きい時の誤検出を抑制することができる。すわなち、検出枠を高速かつ高精度に統合することが可能となる。

また、拡大のない元の入力画像に対する複数の検出枠と確度に基づいて検出枠を統合する際に用いる閾値を、検出枠の性質に応じて調整することによって、拡大した入力画像に対する処理を行わなくても様々な検出対象物体のサイズに対して高精度な検出が可能となる。

また、サイズの大きい検出枠は重なりの大きい検出枠が一定数出力されていなければ削除するという形で統合処理を検出枠の性質によって調整することにより、サイズの大きい物体の誤検出による性能低下を抑制することができる。

また、上記非特許文献２の手法における、サイズの大きい検出枠が誤検出によって出力されるとその検出枠に重なりを持つ他物体の検出枠が誤って削除されることで未検出が増加するという問題に対して、以下の2点の改良を加えている。第１の改良として、未検出抑制のため、他の検出枠と重複していても削除されにくくしている。第２の改良として、誤検出抑制のため、一定数の重複した検出枠がなければ統合処理結果から削除している。

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る物体検出装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第２の実施の形態では、検出枠の大きさに応じて、個数に関する閾値を調整する点が第１の実施の形態と異なっている。

第２の実施の形態に係る物体検出装置の調整部２４は、対象物検出部２２によって出力された検出枠の大きさに応じて、検出枠を統合する際の個数に関する閾値を調整する。

具体的には、検出枠の大きさが大きいほど、個数に関する閾値が大きくなるように調整する。例えば、個数に関する閾値を、（検出枠の幅÷32）×（検出枠の高さ÷32）と設定することで検出枠のサイズによる調整を行う。なお、32はここで用いた畳み込みニューラルネットワークに入力する画像を切り出すための検出処理枠が平行移動するピクセル数である。

統合部２６は、検出処理枠ごとに出力された検出枠の位置及び大きさに基づいて、他の検出枠と重複する重複度合いが閾値以上となる検出枠が、調整された、個数に関する閾値以上ある場合に、これらの検出枠を、確度が最も高い１つの検出枠に統合した上で、最終的な物体検出枠として出力する。

なお、第２の実施の形態に係る物体検出装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第２の実施の形態に係る物体検出装置によれば、検出枠の大きさに応じて、検出枠を統合する際に用いる、個数に関する閾値を調整することにより、画像上の検出対象物体の大きさに関わらず、精度良く検出対象物体を検出することができる。

なお、上記の実施の形態では、検出対象物体として車両を検出する場合を例に説明したが、これに限定されるものではなく、歩行者など他の物体を検出対象物体としてもよい。

＜第３の実施の形態＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る物体検出装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第３の実施の形態では、ＣＮＮは、検出処理枠に含まれる検出対象物体の種類を更に出力し、統合部は、他の検出枠と重複する重複度合いが閾値以上となる検出枠を統合し、調整部は、検出処理枠に含まれる検出対象物体の種類に応じて、重複度合いに関する閾値を調整する点が第１の実施の形態と異なっている。

第３の実施の形態に係る物体検出装置の対象物検出部２２において、ＣＮＮは、検出処理枠に含まれる検出対象物体を表す検出枠の位置、大きさ、検出対象物体らしさを示す確度、検出対象物体の種類を出力する。検出対象物体の種類としては、例えば、車両、歩行者などがある。

調整部２４は、対象物検出部２２によって出力された検出枠の検出対象物体の種類に応じて、重複度合いに関する閾値を調整する。

具体的には、検出枠の検出対象物体の種類が、歩行者である場合には、重複度合いに関する閾値が小さくなるように調整する。

統合部２６は、検出処理枠ごとに出力された検出枠の位置、大きさ、確度、種類に基づいて、種類が同一の他の検出枠と重複する重複度合いが、調整された閾値以上となる検出枠が、個数に関する閾値以上ある場合に、これらの検出枠を、確度が最も高い１つの検出枠に統合した上で、最終的な物体検出枠として出力する。

なお、第３の実施の形態に係る物体検出装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第３の実施の形態に係る物体検出装置によれば、検出枠の検出対象物体の種類に応じて、検出枠を統合する際に用いる、重複度合いに関する閾値を調整することにより、検出対象物体の種類に関わらず、精度良く検出対象物体を検出することができる。

＜第４の実施の形態＞
次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。

第４の実施の形態では、検出枠の大きさに応じて、確度に関する閾値を調整する点が第１の実施の形態と異なっている。

第４の実施の形態に係る物体検出装置の調整部２４は、対象物検出部２２によって出力された検出枠の大きさに応じて、確度に関する閾値を調整する。

具体的には、検出枠の大きさが大きいほど、確度に関する閾値が大きくなるように調整する。

統合部２６は、検出処理枠ごとに出力された検出枠の位置、大きさ、及び確度に基づいて、調整された、確度に関する閾値以上となる確度を有し、かつ、重複する検出枠において、他の検出枠と重複する重複度合いが閾値以上となる検出枠が、個数に関する閾値以上ある場合に、これらの検出枠を、確度が最も高い１つの検出枠に統合した上で、最終的な物体検出枠として出力する。

以上説明したように、第４の実施の形態に係る物体検出装置によれば、検出枠の大きさに応じて、検出枠を統合する際に用いる、確度に関する閾値を調整することにより、画像上の検出対象物体の大きさに関わらず、精度良く検出対象物体を検出することができる。

＜実験結果＞
図５に示す画像に対して従来技術を適用すると、一つの検出処理枠に対する処理で発生した誤検出（車両との一致度が基準以下の検出枠）によって、誤検出である検出枠と重なりを持つ他の車両の検出枠が削除され車両2台が未検出となった。

また、上述した第２の実施の形態で説明した手法を用いた場合には、個数に関する閾値を調整したことにより、従来技術で誤検出となった検出枠は重複した検出枠個数の閾値を超えないため削除され、従来技術で未検出となった車両は検出されるようになった。

車両検出性能の評価に標準的に用いられるデータセットである、KITTI Object Detection Evaluation 2012の訓練データセットの一部をテストデータとして改良前後の車両検出性能を比較したところ、図６に示すように、KITTIの性能指標であるAverage PrecisionがEasy・Moderate・Hardの各難易度に対してそれぞれ10.4・5.9・7.5ポイント改善し、全ての難易度に対して改善することが分かった。

なお、上記の実施の形態では、検出枠を出力する検出モデルとして、ＣＮＮを用いる場合を例に説明したが、これに限定されるものではない。検出処理枠に含まれる検出枠の位置、大きさ、確度を出力するものであれば、ＣＮＮ以外のモデルを用いてもよい。

また、検出枠の重複度合いとして、２つの検出枠を合わせた面積に対する、重複する領域の面積の割合を用いる場合を例に説明したが、これに限定されるものではなく、２つの検出枠における重複領域の大きさを、重複度合いとして用いてもよい。

１０ 物体検出装置
１２ 撮像装置
１４ コンピュータ
１６ 表示装置
２０ 画像入力部
２２ 対象物検出部
２４ 調整部
２６ 統合部

Claims (8)

1. 入力画像から、検出モデルを用いて、各位置に設定された検出処理枠ごとに、前記検出処理枠に含まれる検出対象物体を表す検出枠の位置及び大きさを出力する検出部と、
   前記検出処理枠ごとに出力された検出枠の位置及び大きさに基づいて、他の検出枠と重複する重複度合いが閾値以上となる検出枠を統合して、最終的な物体検出枠として出力する統合部と、
   を含み、
   前記検出部によって出力された検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整する調整部を更に含む
   物体検出装置。
2. 前記調整部は、前記検出部によって出力された検出枠の大きさに応じて、前記重複度合いに関する閾値を調整する請求項１記載の物体検出装置。
3. 前記統合部は、統合する検出枠の個数が、個数に関する閾値以上となる場合に、前記検出枠を統合し、
   前記調整部は、前記検出部によって出力された検出枠の大きさに応じて、前記個数に関する閾値を調整する請求項１記載の物体検出装置。
4. 前記検出部は、前記検出処理枠に含まれる検出対象物体の種類を更に出力し、
   前記調整部は、前記検出部によって出力された検出対象物体の種類に応じて、前記重複度合いに関する閾値を調整する請求項１記載の物体検出装置。
5. 前記検出部は、前記検出枠が表す検出対象物体の確度を更に出力し、
   前記統合部は、他の検出枠と重複する重複度合いが閾値以上となる検出枠であって、かつ、前記確度が確度に関する閾値以上となる検出枠を統合し、
   前記調整部は、前記検出部によって出力された検出枠の大きさに応じて、前記確度に関する閾値を調整する請求項１記載の物体検出装置。
6. 前記検出モデルを、ＣＮＮ（Convolutional Neural Network）とし、
   前記検出部は、検出処理枠毎に、前記入力画像から前記検出処理枠で切出した画像をＣＮＮに入力し、前記検出処理枠に含まれる検出対象物体を表す検出枠の位置及び大きさを出力する請求項１〜請求項５の何れか１項記載の物体検出装置。
7. 前記検出処理枠が、想定される検出対象物体の画像上のサイズよりも大きい請求項１〜請求項６の何れか１項記載の物体検出装置。
8. コンピュータを、
   入力画像から、検出モデルを用いて、各位置に設定された検出処理枠ごとに、前記検出処理枠に含まれる検出対象物体を表す検出枠の位置及び大きさを出力する検出部、
   前記検出部によって出力された検出枠の性質に応じて、検出枠を統合する際に用いる閾値を調整する調整部、及び
   前記検出処理枠ごとに出力された検出枠の位置及び大きさに基づいて、他の検出枠と重複する重複度合いが閾値以上となる検出枠を統合して、最終的な物体検出枠として出力する統合部
   として機能させるためのプログラム。