JP2021105821A - 物体検出装置および物体検出方法 - Google Patents

Abstract

【課題】物体検出や位置推定の精度の向上を図る。【解決手段】物体検出装置は、同一地域を仰俯角の異なる複数のカメラで撮影した画像のそれぞれから対象物体を検出し、複数のカメラごとの複数の位置座標群を求める検出部１２Ａ，１２Ｂと、複数の位置座標群を統合し、同一物体の位置座標を判定するマッチング部２０と、統合した位置座標群の位置座標を補正する位置補正部３０を備える。【選択図】図１

Description

本発明は、物体検出装置および物体検出方法に関する。

公共インフラは産業や生活の基盤である。公共インフラの一例として電柱などの構造物が挙げられる。電柱が倒壊すると、停電が発生したり、通信が遮断されたりするため、公共インフラの点検・保守は重要である。公共インフラを効率的に点検・保守するためには、点検対象の構造物の正確な位置を把握しておく必要がある。

近年、機械学習を用いて画像中から物体を自動検出する技術に注目が集まりつつある。深層学習等の技術を用いることで、画像から道路や建物などを高精度で検出することができる。

特開２０１８−９７５８８号公報

航空写真や衛星写真などの上空から撮影した画像を用いると、広範囲の情報を一度に取得できる。しかしながら、対象物体の大きさや撮影時期などの要因により、上空から撮影した画像だけを用いて構造物を検出できないことがある。

車載カメラで撮影した画像を用いると、詳細な解析を行いやすいという利点があるものの、撮影のためのコストがかかり、航空・衛星写真よりも対象エリアが狭くなりがちである。建物の高層階に設置してあるカメラで撮影した画像を用いると、俯瞰方向からの広範囲な画像が得られるが、撮影方向が決まっており、検出できない構造物がある。

垂直方向、水平方向、または俯瞰方向のいずれの画像を用いるとしても、より精度よく、画像から物体を検出することが求められる。

本発明は、上記に鑑みてなされたものであり、物体検出や位置推定の精度の向上を図ることを目的とする。

本発明の一態様の物体検出装置は、同一地域を仰俯角の異なる複数のカメラで撮影した画像のそれぞれから対象物体を検出し、前記複数のカメラごとの複数の位置座標群を求める検出部と、前記複数の位置座標群を統合し、同一物体の位置座標を判定するマッチング部と、統合した位置座標群の位置座標を補正する位置補正部を備えることを特徴とする。

本発明によれば、物体検出や位置推定の精度の向上を図ることができる。

本実施形態の物体検出装置の構成例を示す図である。 物体検出装置に入力する垂直方向から撮影した画像の一例を示す図である。 物体検出装置に入力する水平方向から撮影した画像の一例を示す図である。 物体検出装置に入力する地域情報の一例を示す図である。 物体検出装置が検出する電柱と電柱の付属物の一例を示す図である。 電柱と影をまとめて検出した一例を示す図である。 仰俯角の異なる複数のカメラで撮影した画像のそれぞれから検出した対象物体の位置を示した図である。 同一物体の判定処理を説明するための図である。 対象物体の位置座標を補正する様子を示す図である。 物体検出装置の処理の流れを示すフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。

図１を参照し、本実施形態の物体検出装置の構成例について説明する。本実施形態の物体検出装置は、同一地域を仰俯角の異なる複数のカメラで撮影した画像のそれぞれから求めた位置座標を統合し、検出物体の位置情報を出力する装置である。具体的には、物体検出装置は、上空から撮影した航空写真または衛星写真から対象物体を検出して位置座標を求めるとともに、車載カメラで撮影した画像から対象物体を検出して位置座標を求めて、各画像から求めた位置座標を統合する。このとき、同一物体を判定して、同一物体の位置座標をまとめる。なお、以下では航空写真と車載カメラで撮影した画像とを用いた例で説明するが、これに限るものではない。建造物の高層階から撮影した俯瞰方向の画像を用いてもよい。仰俯角の異なる複数のカメラで撮影した画像のそれぞれから位置座標を求めて統合できればよい。

図１の物体検出装置は、位置検出部１０Ａ，１０Ｂ、マッチング部２０、および位置補正部３０を備える。物体検出装置が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは物体検出装置が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

位置検出部１０Ａ，１０Ｂは、画像および地域情報を入力する入力部１１Ａ，１１Ｂと画像から対象物体を検出して対象物体の位置を求める検出部１２Ａ，１２Ｂを備える。

入力部１１Ａ，１１Ｂのそれぞれは、画像蓄積部５１Ａ，５１Ｂのそれぞれから、仰俯角の異なる複数のカメラで撮影した画像を入力する。例えば、入力部１１Ａは、画像蓄積部５１Ａから、図２に示す航空写真または衛星写真のような、垂直方向から撮影した画像を入力し、入力部１１Ｂは、画像蓄積部５１Ｂから、図３に示す車載カメラで撮影した写真のような、水平方向から撮影した画像を入力する。画像は、動画像からフレームごとに切り出した静止画を用いてもよい。入力部１１Ａ，１１Ｂは、画像の撮影場所、撮影方向、および撮影時間などの撮影情報も画像とともに入力する。入力部１１Ａ，１１Ｂは、フィルタ処理などの前処理を行ってもよい。

また、入力部１１Ａ，１１Ｂは、地域情報蓄積部５２から、画像が撮影された地域の地域情報を入力し、対象物体の探索対象領域または探索対象外領域を設定する。地域情報とは、点・線・多角形により図形を表す幾何情報および土地利用や地質などの質的または標高などの量的な属性情報である。

図４を参照し、地域情報から探索対象領域を設定する概要を説明する。図４の例では、道路地図、地形図、および植生分布図を入力して、探索対象領域を設定した。道路地図は、道路を線分で示した地図である。地形図は、数値標高モデル（ＤＥＭ）であり、地表面を正方形に区切って標高値を持たせたデータである。植生分布図は、自然林であるか否かの植生分布を示した図である。例えば、対象物体を信号とすると、信号は道路沿いのみに存在するので、道路の近傍を探索対象領域とし、起伏が少ない地域を探索対象領域とし、さらに、自然林でない地域を探索対象領域とする。図４の例では、道路地図、地形図、および植生分布図のそれぞれにおいて探索対象領域をグレーで示した。これらの地域情報から特定される探索対象領域を重ね合わせて対象物体を探索する探索対象領域を設定する。地域情報はこれに限るものではなく、例えば、河川や池などの属性情報を入力し、河川や川を探索対象外領域としてもよい。

入力部１１Ａ，１１Ｂは、入力した画像の探索対象外領域をマスク処理してもよいし、探索対象領域または探索対象外領域を検出部１２Ａ，１２Ｂへ通知し、検出部１２Ａ，１２Ｂが画像内で探索対象外領域に相当する部分を除いて処理してもよい。

検出部１２Ａ，１２Ｂのそれぞれは、画像から対象物体を自動検出して対象物体の位置座標群（１つ以上の位置座標を含む）を求める。検出部１２Ａ，１２Ｂは、機械学習により、対象物体の画像を学習して生成した判定モデルを用いて、入力した画像から対象物体を検出し、画像の撮影情報から検出した対象物体の地図上での位置座標を求める。検出部１２Ａは、上空から広範囲を撮影した画像から対象物体の位置座標群を求め、検出部１２Ｂは、上空から撮影した画像に対応する地域内を車載カメラで撮影した画像群から対象物体の位置座標群を求める。つまり、入力部１１Ａ，１１Ｂが入力した画像群ごと（カメラごと）の複数の位置座標群が求められる。

検出部１２Ａ，１２Ｂは、対象物体そのものだけでなく、関連する物体を含めて検出する。つまり、検出部１２Ａ，１２Ｂは、対象物体に関連する物体を含めて学習し、検出時は対象物体に関連する物体を含めて対象物体を検出する。例えば、対象物体が電柱の場合、図５に示すように、電柱１００の影１１０や保持する架線１２０も含めて検出する。これにより、電柱のみでは検出精度が低くなる場合であっても、関連のある物体をまとめて検出することで精度の向上が期待できる。

検出部１２Ａ，１２Ｂは、関連する物体を含めて検出した領域内から対象物体を再度検出することで、精度よく対象物体の位置座標を求めることができる。例えば、図５に示す例では、対象物体である電柱１００は含まれているが、精度よく電柱１００の位置座標を求めるためには電柱１００そのものの画像内での位置を特定できるとよい。検出部１２Ａ，１２Ｂは、領域内で検出した電柱１００の根本部分の位置に基づいて電柱１００の位置座標を求める。

図６（ａ），（ｂ）に示すように、検出部１２Ａ，１２Ｂは、電柱１００と影１１０をまとめて検出し、電柱１００と影１１０の位置に基づいて電柱１００の根元部分２００Ａを位置座標としてもよい。もしくは、電柱１００と影１１０をまとめて検出した検出枠の、影が伸びていない側の角２００Ｂを電柱１００の位置座標としてもよい。図６（ａ）は、電柱１００の右側に影１１０が伸びているので、検出枠の左下の角を電柱１００の位置座標とする。図６（ｂ）は、電柱１００の左側に影１１０が伸びているので、検出枠の右下の角を電柱１００の位置座標とする。これにより、十分な精度を保ちながら、処理を高速化できる。検出部１２Ａ，１２Ｂは、電柱１００と影１１０の位置関係に応じて、検出枠の辺上の点を電柱１００の位置座標としてもよいし、検出枠内の中心を電柱１００の位置座標としてもよい。

検出部１２Ａ，１２Ｂは、対象物体と関連する物体を含めて、関連する物体の付き方に応じたクラスに分けて学習してもよい。具体的には、電柱から伸びる影の方向に応じたクラス分けを行う。画像内において電柱から影の伸びる方向は、画像の撮影場所、撮影方向、および撮影時刻によって特定できる。例えば、春や秋の午前１０時ごろに北を向いて撮影した画像では、対象物体の影は画像上で左上方向に伸びる。対象物体を検出する画像の撮影場所、撮影方向、および撮影時刻は既知であるので、画像から対象物体を検出する際、画像の条件に合ったクラスの対象物体と関連する物体を含めて検出する。春や秋の午前１０時ごろに北を向いて撮影した画像からは、対象物体が左上方向に伸びる影を有するクラスに分類される対象物体を検出する。

検出部１２Ａ，１２Ｂは、学習時、不足している学習データを補うため、対象物体に関連する物体を合成したデータを生成してもよい。例えば、電柱の画像に様々な方向に伸びる影を合成したデータを生成して学習に用いる。架線やクロージャなどの電柱に取り付けられた物体を追加したデータを生成してもよい。

検出部１２Ａ，１２Ｂは、画像から検出した対象物体のそれぞれについて、地図上にマッピングするための位置座標を求める。垂直方向および水平方向の画像から検出した対象物体の位置座標は、カメラの位置座標、カメラの仰俯角、画像に付随する位置座標（例えば、四隅の位置座標）、および対象物体の画像内での検出座標から推定できる。例えば、水平方向の画像からは、同一の対象物体に対する２枚の画像から三角測量を行って位置座標を推定できる。あるいは、水平方向の動画像から深度マップ（ｄｅｐｔｈｍａｐ）を作成して位置座標を推定してもよい。位置座標の推定に必要な情報は、入力部１１Ａ，１１Ｂが画像を入力するときに画像とともに入力しておく。なお、位置座標を推定する方法はこれに限るものではない。検出部１２Ａ，１２Ｂのそれぞれから対象物体の位置座標群が出力される。これらの位置座標群には、同一物体を示す位置座標が含まれるので、後段のマッチング部２０が同一物体を判定する。

なお、図１では、２つの検出部１２Ａ，１２Ｂを図示しているが、これに限るものではない。１つの検出部が複数のカメラで撮影した画像のそれぞれを処理して、それぞれの画像について位置座標群を求めてもよい。さらに検出部を追加して３つ以上の異なるカメラ（例えば垂直方向、水平方向、および俯瞰方向のカメラ）で撮影した画像を処理してもよい。この場合、仰俯角の異なる画像群（例えば垂直方向、水平方向、および俯瞰方向の画像群）ごとに位置座標群が求められる。

マッチング部２０は、検出部１２Ａの求めた位置座標群と検出部１２Ｂの求めた位置座標群をマッチングして同一物体を判定し、位置座標群を統合する。

図７に、検出部１２Ａ，１２Ｂのそれぞれが検出した対象物体の位置を示す。図７では、検出部１２Ａが検出した対象物体の位置を〇で示し、検出部１２Ｂが検出した対象物体の位置を△で示している。仰俯角の異なる複数のカメラで撮影した画像のそれぞれから対象物体を検出し、検出結果を統合することで、対象物体の検出率を向上できる。

マッチング部２０は、位置座標群を統合する際、検出部１２Ａ，１２Ｂのそれぞれが出力した同一物体の位置座標を判定する。

例えば、第１の手法として、マッチング部２０は、以下の式で示すように、検出部１２Ａ，１２Ｂそれぞれの検出した対象物体の位置座標のずれが一定距離以下の場合、同一物体の位置座標であると判定する。

ここで、ｘ_i1,j1，ｘ_i2,j2はｊ１番目、ｊ２番目のカメラで撮影した画像から求めた位置座標である。ｄ（ｘ_i1,j1，ｘ_i2,j2）は、位置座標ｘ_i1,j1，ｘ_i2,j2間の誤差である。εは同一物体であるか否かを判定するためのパラメータである。

第２の手法として、マッチング部２０は、以下の式で示すように、検出部１２Ａ，１２Ｂそれぞれの検出した位置座標とカメラごと（検出部１２Ａ，１２Ｂごとでもよい）に設定されたパラメータとによって定義される領域を算出し、共通する領域が存在する場合、同一物体の位置座標であると判定する。

ここで、ｘ_ｉは推定対象（条件を満たすものが存在するか否かを探索）であり、ε_j1，ε_j2はカメラごとに設定されたパラメータである。

図８に示すように、位置座標ｘ_i1,j1を中心とした半径ε_j1の領域と位置座標ｘ_i2,j2を中心としたε_j2の領域で共通する領域３００が存在する場合、位置座標ｘ_i1,j1，ｘ_i2,j2は同一物体の位置座標であると判定する。

共通する領域３００が存在しても、その領域３００が川の中などの対象物体の存在し得ない場所である場合、マッチング部２０は、同一物体として判定しない。具体的には、マッチング部２０は、領域３００が入力部１１Ａ，１１Ｂが地域情報から設定した探索対象領域を含まない場合、もしくは領域３００が探索対象外領域に含まれる場合、同一物体として判定しない。これにより、位置座標間の距離だけで判定するときよりも、同一物体を精度よく判定できる。

第３の手法として、マッチング部２０は、検出部１２Ａ，１２Ｂそれぞれの検出した位置座標とカメラごと（検出部１２Ａ，１２Ｂごとでもよい）に設定された誤差関数を用いてペナルティ値を算出し、算出したペナルティ値に基づいて同一物体であるか否かを判定する。具体的には、次式に示すように、カメラごとに設定した誤差関数ｃ_j1，ｃ_j2を用いて、検出部１２Ａ，１２Ｂの検出した位置座標ｘ_i1,j1，ｘ_i2,j2から推定対象ｘ_iまでの距離に応じたペナルティ値Ｐ_j1，Ｐ_j2を求める。ペナルティ値Ｐ_j1，Ｐ_j2を合計して２（＝カメラの数）で割った値がパラメータε以下となるような推定対象ｘ_iが存在する場合、位置座標ｘ_i1,j1，ｘ_i2,j2は同一物体の位置座標であると判定する。

誤差関数ｃ_j1，ｃ_j2は、例えば、検出部１２Ａ，１２Ｂの検出した位置座標ｘ_i1,j1，ｘ_i2,j2から離れるに従って値が大きくなるような関数である。例えば、検出誤差の小さい検出部１２Ａ，１２Ｂについては、検出した位置座標からの距離に応じて急激に値が大きくなるような誤差関数を設定し、検出誤差の大きい検出部１２Ａ，１２Ｂについては、検出した位置座標からの距離に応じてなだらかに値が大きくなるような誤差関数を設定する。

検出部が３つ以上存在する場合も、上記の式を拡張することで対応可能である。

第３の手法においても同一物体の判定に地域情報を用いてもよい。

位置補正部３０は、検出部１２Ａ，１２Ｂのそれぞれで検出された同一物体と判定された位置座標を１つにまとめるとともに、同一物体と判定された位置座標に基づいて位置座標を補正する。

例えば、位置座標がより正確に求められる垂直方向の画像から検出した位置座標を正とし、水平方向の画像から検出した同一物体の位置座標の補正量を求める。そして、水平方向の画像のみから検出できた位置座標を求めた補正量で補正する。図９では、垂直方向の画像から検出した位置座標を〇で示し、水平方向の画像から検出した位置座標を△で示した。位置補正部３０は、位置座標（△）を位置座標（〇）に合わせるための補正量を求める。位置補正部３０は、水平方向の画像のみから検出される位置座標を求めた補正量で補正する。

測量などにより正確な位置座標が判明している対象物体がある場合、垂直方向および水平方向のそれぞれについて、位置座標を正確な位置座標に合わせる補正量を求め、求めた補正量のそれぞれに基づいて垂直方向から求めた位置座標と水平方向から求めた位置座標を補正してもよい。具体的には、位置補正部３０は、正確な位置座標が判明している対象物体について、垂直方向から求めた位置座標を正確な位置座標に合わせる補正量を求めて、垂直方向から求めた他の対象物体の位置座標を求めた補正量で補正する。水平方向についても同様に、位置補正部３０は、正確な位置座標が判明している対象物体について、水平方向から求めた位置座標を正確な位置座標に合わせる補正量を求めて、水平方向から求めた他の対象物体の位置座標を求めた補正量で補正する。

別の方法として、位置補正部３０は、カメラの誤差を考慮した次式で表される目的関数Ｌを最小化する位置座標の組み合わせを探索することで、位置座標を補正してもよい。

ここで、ｘ_iは、最適化対象であって、ｉ番目の対象物体の位置座標である。ｘ_i,jは、ｊ番目のカメラの画像から求めたｉ番目の対象物体の位置座標である。ｊ番目のカメラの画像からｉ番目の対象物体を検出していない場合はｘ_i＝ｘ_i,jとみなす。ｃ_jはカメラごとに設定した誤差関数である。マッチング部２０の第３の手法で利用する誤差関数と同じでよい。Ｎは対象物体の合計数である。同一物体の位置座標はまとめて１つと数える。Ｋはカメラの合計数である。Ｋ_iはｘ_iを検出したカメラの合計数である。

図１０のフローチャートを参照し、本実施形態の物体検出装置の動作について説明する。

ステップＳ１１にて、位置検出部１０Ａは、垂直方向から撮影した画像を入力し、対象物体の位置座標を検出し、ステップＳ１２にて、位置検出部１０Ｂは、水平方向から撮影した画像を入力し、対象物体の位置座標を検出する。ステップＳ１１，Ｓ１２は、並列に行ってもよいし、順番に行ってもよい。

ステップＳ１３にて、マッチング部２０は、垂直方向の画像から検出した位置座標と水平方向の画像から検出した位置座標を統合し、同一物体の位置座標を判定する。

ステップＳ１４にて、位置補正部３０は、同一物体の位置座標を１つにまとめるとともに、位置座標を補正する位置補正部を備える。

以上の処理により、物体検出装置は、対象物体の位置座標群を出力する。例えば、物体検出装置は、地図上に、対象物体を検出した位置座標を示して表示する。

以上説明したように、本実施形態の物体検出装置は、同一地域を仰俯角の異なる複数のカメラで撮影した画像のそれぞれから対象物体を検出し、複数のカメラごとの複数の位置座標群を求める検出部１２Ａ，１２Ｂと、複数の位置座標群を統合し、同一物体の位置座標を判定するマッチング部２０を備える。これにより、対象物体の検出率を向上できる。

本実施形態のマッチング部２０は、位置座標群に含まれる位置座標のそれぞれについて、カメラごとに設定されたパラメータε_j1，ε_j2に基づく領域を求め、複数の位置座標群の間で、共通する領域３００を持つ位置座標を同一物体の位置座標と判定する。あるいは、本実施形態のマッチング部２０は、位置座標群に含まれる位置座標のそれぞれについて、カメラごとに設定された誤差関数ｃ_j1，ｃ_j2を用いて、位置座標ｘ_i1,j1，ｘ_i2,j2からの距離に応じたペナルティ値Ｐ_j1，Ｐ_j2を求め、複数の位置座標群の間で、ペナルティ値Ｐ_j1，Ｐ_j2の合計がパラメータε以下となる位置座標ｘ_iが存在する位置座標を同一物体の位置座標と判定する。これにより、カメラや検出部１２Ａ，１２Ｂの特性を考慮した同一物体の位置座標の判定が可能となる。

本実施形態の物体検出装置は、同一物体の位置座標として判定された位置座標のそれぞれについてカメラごとに設定された誤差関数ｃ_jに基づいて位置座標からの距離に応じたペナルティ値Ｐ_j1，Ｐ_j2を求め、ペナルティ値Ｐ_j1，Ｐ_j2の合計が最小となるように位置座標を補正する位置補正部３０を備える。これにより、対象物体の位置座標の精度の向上を図ることができる。

１０Ａ，１０Ｂ…位置検出部
１１Ａ，１１Ｂ…入力部
１２Ａ，１２Ｂ…検出部
２０…マッチング部
３０…位置補正部

Claims (6)

1. 同一地域を仰俯角の異なる複数のカメラで撮影した画像のそれぞれから対象物体を検出し、前記複数のカメラごとの複数の位置座標群を求める検出部と、
   前記複数の位置座標群を統合し、同一物体の位置座標を判定するマッチング部と、
   統合した位置座標群の位置座標を補正する位置補正部を備える
   ことを特徴とする物体検出装置。
2. 前記マッチング部は、前記位置座標群に含まれる位置座標のそれぞれについて、前記カメラごとに設定されたパラメータに基づく領域を求め、前記複数の位置座標群の間で、共通する領域を持つ位置座標を同一物体の位置座標と判定する
   ことを特徴とする請求項１に記載の物体検出装置。
3. 前記マッチング部は、前記位置座標群に含まれる位置座標のそれぞれについて、前記カメラごとに設定された誤差関数に基づいて前記位置座標からの距離に応じたペナルティ値を求め、前記複数の位置座標群の間で、前記ペナルティ値の合計が閾値以下となる位置座標が存在する位置座標を同一物体の位置座標と判定する
   ことを特徴とする請求項１に記載の物体検出装置。
4. 前記マッチング部は、同一物体の位置座標の判定に、前記対象物体を検出する地域の幾何情報や属性情報を利用する
   ことを特徴とする請求項１ないし３のいずれかに記載の物体検出装置。
5. 前記位置補正部は、同一物体の位置座標として判定された位置座標のそれぞれについて前記カメラごとに設定された誤差関数に基づいて前記位置座標からの距離に応じたペナルティ値を求め、前記ペナルティ値の合計が最小となるように前記同一物体の位置座標を補正する
   ことを特徴とする請求項１ないし４のいずれかに記載の物体検出装置。
6. コンピュータが実行する物体検出方法であって、
   同一地域を仰俯角の異なる複数のカメラで撮影した画像のそれぞれから対象物体を検出し、前記複数のカメラごとの複数の位置座標群を求めるステップと、
   前記複数の位置座標群を統合し、同一物体の位置座標を判定するステップと、
   統合した位置座標群の位置座標を補正するステップを有する
   ことを特徴とする物体検出方法。

Images