JP2003187220A - 物体検出装置及びその方法 - Google Patents
物体検出装置及びその方法Info
- Publication number
- JP2003187220A JP2003187220A JP2001382291A JP2001382291A JP2003187220A JP 2003187220 A JP2003187220 A JP 2003187220A JP 2001382291 A JP2001382291 A JP 2001382291A JP 2001382291 A JP2001382291 A JP 2001382291A JP 2003187220 A JP2003187220 A JP 2003187220A
- Authority
- JP
- Japan
- Prior art keywords
- template
- edge
- image
- input
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 人工衛星や航空機が上空から撮影した画像か
ら影を含む物体を検出する一般化ハフ変換を高速に実行
することができる物体検出装置を提供する。 【解決手段】 影テンプレート作成部１、エッジテンプ
レート作成部２、画像エッジ作成部３、内積演算部４、
位置検出部５とより構成され、回転した物体に影を重ね
たテンプレートを作成し、画像とテンプレートのそれぞ
れから水平エッジと垂直エッジを抽出し、エッジ方向ベ
クトルの内積を使ってハフ変換の投票値を決定する。
ら影を含む物体を検出する一般化ハフ変換を高速に実行
することができる物体検出装置を提供する。 【解決手段】 影テンプレート作成部１、エッジテンプ
レート作成部２、画像エッジ作成部３、内積演算部４、
位置検出部５とより構成され、回転した物体に影を重ね
たテンプレートを作成し、画像とテンプレートのそれぞ
れから水平エッジと垂直エッジを抽出し、エッジ方向ベ
クトルの内積を使ってハフ変換の投票値を決定する。
Description
【０００１】
【発明の属する技術分野】本発明は、人工衛星や航空機
が上空から撮影した画像から、車両や航空機など既知形
状の物体の位置や種別を識別する物体検出装置及び方法
に関するものである。
が上空から撮影した画像から、車両や航空機など既知形
状の物体の位置や種別を識別する物体検出装置及び方法
に関するものである。
【０００２】
【従来の技術】車両や航空機など既知の形状を持つ物体
の検出は、３次元モデルなど物体の形状情報を利用して
なされる。これに関して、画像から検出したエッジセグ
メントなど画像特徴と、３次元モデルなど形状情報を照
合することにより物体を検出する方法が提案されてい
る。
の検出は、３次元モデルなど物体の形状情報を利用して
なされる。これに関して、画像から検出したエッジセグ
メントなど画像特徴と、３次元モデルなど形状情報を照
合することにより物体を検出する方法が提案されてい
る。
【０００３】しかし、人工衛星から撮影した衛星画像で
は、画像中に写った物体の大きさが小さく、エッジセグ
メントなど形状情報と照合するに足りるほど十分な情報
を持った画像特徴を画像から抽出することは困難であ
る。
は、画像中に写った物体の大きさが小さく、エッジセグ
メントなど形状情報と照合するに足りるほど十分な情報
を持った画像特徴を画像から抽出することは困難であ
る。
【０００４】また、エッジの方向情報を利用して投票に
よって物体の位置を検出する一般化ハフ変換と呼ばれる
方法が提案されている。この方法は、予め物体形状の輪
郭線上の座標について、その座標から物体中心までの距
離と輪郭線方向と物体中心方向の相対角を記録してお
き、物体を検出する際には入力した画像から抽出したエ
ッジの方向から物体中心の可能性がある座標を求め、そ
の座標の画素に投票値を加算する。
よって物体の位置を検出する一般化ハフ変換と呼ばれる
方法が提案されている。この方法は、予め物体形状の輪
郭線上の座標について、その座標から物体中心までの距
離と輪郭線方向と物体中心方向の相対角を記録してお
き、物体を検出する際には入力した画像から抽出したエ
ッジの方向から物体中心の可能性がある座標を求め、そ
の座標の画素に投票値を加算する。
【０００５】この方法では、最も多くの投票値を得た画
素が物体位置と判定され、エッジセグメントなどを抽出
しなくても物体を検出することができるが、画像から抽
出した全てのエッジについて、方向と座標から複数の物
体中心候補を計算して、投票を行うので、大きな計算量
が必要となる。
素が物体位置と判定され、エッジセグメントなどを抽出
しなくても物体を検出することができるが、画像から抽
出した全てのエッジについて、方向と座標から複数の物
体中心候補を計算して、投票を行うので、大きな計算量
が必要となる。
【０００６】ところで、屋外にある物体を上空から撮影
した画像では、画像中に物体の影が写りこむ。物体表面
の明度と路面の明度が類似している場合、物体の輪郭エ
ッジが弱く、路面に投影された影が物体を検出するため
に重要な情報となる。一般化ハフ変換で物体の輪郭だけ
でなく影の輪郭も併用する場合、物体が回転しても太陽
光の方向は一定であるので、物体の向きによって物体と
影を合わせた輪郭形状は変化する。一般化ハフ変換にお
いても、物体の向きによって投票先の座標が異なるの
で、２次元の座標に物体の向きを加えた３次元座標に投
票を行う必要があるので計算量が増加する。
した画像では、画像中に物体の影が写りこむ。物体表面
の明度と路面の明度が類似している場合、物体の輪郭エ
ッジが弱く、路面に投影された影が物体を検出するため
に重要な情報となる。一般化ハフ変換で物体の輪郭だけ
でなく影の輪郭も併用する場合、物体が回転しても太陽
光の方向は一定であるので、物体の向きによって物体と
影を合わせた輪郭形状は変化する。一般化ハフ変換にお
いても、物体の向きによって投票先の座標が異なるの
で、２次元の座標に物体の向きを加えた３次元座標に投
票を行う必要があるので計算量が増加する。
【０００７】
【発明が解決しようとする課題】以上述べたように、従
来方法では、衛星画像では写った物体の大きさが小さい
ために、エッジセグメントなどの画像特徴と３次元形状
情報を照合することは困難である。
来方法では、衛星画像では写った物体の大きさが小さい
ために、エッジセグメントなどの画像特徴と３次元形状
情報を照合することは困難である。
【０００８】また、一般化ハフ変換方法では、投票値を
計算するまでの計算量が多いという問題点がある。
計算するまでの計算量が多いという問題点がある。
【０００９】さらに、物体の影を検出に利用する場合
は、一般化ハフ変換では計算量がより増加するという問
題点がある。
は、一般化ハフ変換では計算量がより増加するという問
題点がある。
【００１０】そこで、本発明は、人工衛星や航空機が上
空から撮影した画像から影を含む物体を検出する一般化
ハフ変換を高速に実行することができる物体検出装置及
びその方法を提供する。
空から撮影した画像から影を含む物体を検出する一般化
ハフ変換を高速に実行することができる物体検出装置及
びその方法を提供する。
【００１１】
【課題を解決するための手段】請求項１の発明は、人工
衛星や航空機が上空から撮影した画像から物体を位置を
検出する物体検出装置において、前記画像の入力水平エ
ッジと入力垂直エッジを計算するエッジ抽出手段と、前
記物体に関するテンプレートから水平エッジテンプレー
トと垂直エッジテンプレートを抽出するエッジテンプレ
ート計算手段と、前記入力画像の各画素に、前記テンプ
レートの中心を所定の角度でずらせつつ置いて、前記各
画素毎の投票値を、前記入力水平エッジと前記入力垂直
エッジとに基づくベクトル及び前記水平エッジテンプレ
ートと前記垂直エッジテンプレートとに基づくベクトル
の内積を用いて計算し、前記各投票値を集計して、前記
各画素における、かつ、前記テンプレートの所定角度毎
の評価値を演算して、その評価値の中から最大の評価値
の集合である最大評価値画像を作成する内積演算手段
と、前記作成された最大の評価値画像の画素の中から局
所的最大値をとる座標を前記物体の位置として出力する
位置検出手段と、を有することを特徴とする物体検出装
置である。
衛星や航空機が上空から撮影した画像から物体を位置を
検出する物体検出装置において、前記画像の入力水平エ
ッジと入力垂直エッジを計算するエッジ抽出手段と、前
記物体に関するテンプレートから水平エッジテンプレー
トと垂直エッジテンプレートを抽出するエッジテンプレ
ート計算手段と、前記入力画像の各画素に、前記テンプ
レートの中心を所定の角度でずらせつつ置いて、前記各
画素毎の投票値を、前記入力水平エッジと前記入力垂直
エッジとに基づくベクトル及び前記水平エッジテンプレ
ートと前記垂直エッジテンプレートとに基づくベクトル
の内積を用いて計算し、前記各投票値を集計して、前記
各画素における、かつ、前記テンプレートの所定角度毎
の評価値を演算して、その評価値の中から最大の評価値
の集合である最大評価値画像を作成する内積演算手段
と、前記作成された最大の評価値画像の画素の中から局
所的最大値をとる座標を前記物体の位置として出力する
位置検出手段と、を有することを特徴とする物体検出装
置である。
【００１２】請求項２の発明は、前記エッジテンプレー
ト計算手段は、前記物体の地上高さ、撮影時刻、撮影場
所から計算した前記物体の影テンプレートを作成する影
テンプレート作成手段を有し、また、エッジテンプレー
ト計算手段で用いる前記物体に関するテンプレートが、
前記物体の物体テンプレートと、前記作成した影テンプ
レートとを重ね合わせた合成テンプレートであることを
特徴とする請求項１記載の物体検出装置である。
ト計算手段は、前記物体の地上高さ、撮影時刻、撮影場
所から計算した前記物体の影テンプレートを作成する影
テンプレート作成手段を有し、また、エッジテンプレー
ト計算手段で用いる前記物体に関するテンプレートが、
前記物体の物体テンプレートと、前記作成した影テンプ
レートとを重ね合わせた合成テンプレートであることを
特徴とする請求項１記載の物体検出装置である。
【００１３】請求項３の発明は、前記内積演算手段の演
算をＳＩＭＤプロセッサによって行うことを特徴とする
請求項１記載の物体検出装置である。
算をＳＩＭＤプロセッサによって行うことを特徴とする
請求項１記載の物体検出装置である。
【００１４】請求項４の発明は、人工衛星や航空機が上
空から撮影した画像から物体を位置を検出する物体検出
方法において、前記画像の入力水平エッジと入力垂直エ
ッジを計算するエッジ抽出ステップと、前記物体に関す
るテンプレートから水平エッジテンプレートと垂直エッ
ジテンプレートを抽出するエッジテンプレート計算ステ
ップと、前記入力画像の各画素に、前記テンプレートの
中心を所定の角度でずらせつつ置いて、前記各画素毎の
投票値を、前記入力水平エッジと前記入力垂直エッジと
に基づくベクトル及び前記水平エッジテンプレートと前
記垂直エッジテンプレートとに基づくベクトルの内積を
用いて計算し、前記各投票値を集計して、前記各画素に
おける、かつ、前記テンプレートの所定角度毎の評価値
を演算して、その評価値の中から最大の評価値の集合で
ある最大評価値画像を作成する内積演算ステップと、前
記作成された最大の評価値画像の画素の中から局所的最
大値をとる座標を前記物体の位置として出力する位置検
出ステップと、を有することを特徴とする物体検出方法
である。
空から撮影した画像から物体を位置を検出する物体検出
方法において、前記画像の入力水平エッジと入力垂直エ
ッジを計算するエッジ抽出ステップと、前記物体に関す
るテンプレートから水平エッジテンプレートと垂直エッ
ジテンプレートを抽出するエッジテンプレート計算ステ
ップと、前記入力画像の各画素に、前記テンプレートの
中心を所定の角度でずらせつつ置いて、前記各画素毎の
投票値を、前記入力水平エッジと前記入力垂直エッジと
に基づくベクトル及び前記水平エッジテンプレートと前
記垂直エッジテンプレートとに基づくベクトルの内積を
用いて計算し、前記各投票値を集計して、前記各画素に
おける、かつ、前記テンプレートの所定角度毎の評価値
を演算して、その評価値の中から最大の評価値の集合で
ある最大評価値画像を作成する内積演算ステップと、前
記作成された最大の評価値画像の画素の中から局所的最
大値をとる座標を前記物体の位置として出力する位置検
出ステップと、を有することを特徴とする物体検出方法
である。
【００１５】請求項５の発明は、人工衛星や航空機が上
空から撮影した画像から物体を位置を検出する物体検出
方法をコンピュータによって実現するプログラムにおい
て、前記画像の入力水平エッジと入力垂直エッジを計算
するエッジ抽出機能と、前記物体に関するテンプレート
から水平エッジテンプレートと垂直エッジテンプレート
を抽出するエッジテンプレート計算機能と、前記入力画
像の各画素に、前記テンプレートの中心を所定の角度で
ずらせつつ置いて、前記各画素毎の投票値を、前記入力
水平エッジと前記入力垂直エッジとに基づくベクトル及
び前記水平エッジテンプレートと前記垂直エッジテンプ
レートとに基づくベクトルの内積を用いて計算し、前記
各投票値を集計して、前記各画素における、かつ、前記
テンプレートの所定角度毎の評価値を演算して、その評
価値の中から最大の評価値の集合である最大評価値画像
を作成する内積演算機能と、前記作成された最大の評価
値画像の画素の中から局所的最大値をとる座標を前記物
体の位置として出力する位置検出機能とを実現すること
を特徴とする物体検出方法のプログラムである。
空から撮影した画像から物体を位置を検出する物体検出
方法をコンピュータによって実現するプログラムにおい
て、前記画像の入力水平エッジと入力垂直エッジを計算
するエッジ抽出機能と、前記物体に関するテンプレート
から水平エッジテンプレートと垂直エッジテンプレート
を抽出するエッジテンプレート計算機能と、前記入力画
像の各画素に、前記テンプレートの中心を所定の角度で
ずらせつつ置いて、前記各画素毎の投票値を、前記入力
水平エッジと前記入力垂直エッジとに基づくベクトル及
び前記水平エッジテンプレートと前記垂直エッジテンプ
レートとに基づくベクトルの内積を用いて計算し、前記
各投票値を集計して、前記各画素における、かつ、前記
テンプレートの所定角度毎の評価値を演算して、その評
価値の中から最大の評価値の集合である最大評価値画像
を作成する内積演算機能と、前記作成された最大の評価
値画像の画素の中から局所的最大値をとる座標を前記物
体の位置として出力する位置検出機能とを実現すること
を特徴とする物体検出方法のプログラムである。
【００１６】本発明は、一般化ハフ変換において、投票
先の座標を先に固定し、投票値をエッジ方向ベクトルの
内積を用いて演算する。物体の方向を離散的に変更しな
がら演算するので投票空間は２次元に収まり、内積演算
はプロセッサの持つＳＩＭＤ命令に適した演算であるか
ら実行時間が短くなる。
先の座標を先に固定し、投票値をエッジ方向ベクトルの
内積を用いて演算する。物体の方向を離散的に変更しな
がら演算するので投票空間は２次元に収まり、内積演算
はプロセッサの持つＳＩＭＤ命令に適した演算であるか
ら実行時間が短くなる。
【００１７】
【実施例】以下、本発明の一実施例の物体検出装置を図
面に基づいて説明する。
面に基づいて説明する。
【００１８】図１は、人工衛星や航空機が上空から撮影
した画像から、航空機である検出対象物体の位置や種別
を識別する物体検出装置のブロック図であり、図２は、
その処理の流れを示すフローチャートである。
した画像から、航空機である検出対象物体の位置や種別
を識別する物体検出装置のブロック図であり、図２は、
その処理の流れを示すフローチャートである。
【００１９】図１に示すように、物体検出装置は、影テ
ンプレート作成部１、エッジテンプレート作成部２、画
像エッジ作成部３、内積演算部４、位置検出部５とより
構成され、これら各部の機能は、ＳＩＭＤプロセッサを
有するコンピュータに記憶されたプログラムによって実
現される。ここで、ＳＩＭＤとは、Single Instruction
／Multiple Dataの略であり、１つの命令で、複数のデ
ータを同時に処理すること、もしくはそのための命令の
ことであり、例えば、米国のインテル社ののプロセッサ
のＭＭＸ（商標）、ＳＳＥ（商標）におけるマルチメデ
ィア対応命令セットがこのＳＩＭＤ命令に該当する。
ンプレート作成部１、エッジテンプレート作成部２、画
像エッジ作成部３、内積演算部４、位置検出部５とより
構成され、これら各部の機能は、ＳＩＭＤプロセッサを
有するコンピュータに記憶されたプログラムによって実
現される。ここで、ＳＩＭＤとは、Single Instruction
／Multiple Dataの略であり、１つの命令で、複数のデ
ータを同時に処理すること、もしくはそのための命令の
ことであり、例えば、米国のインテル社ののプロセッサ
のＭＭＸ（商標）、ＳＳＥ（商標）におけるマルチメデ
ィア対応命令セットがこのＳＩＭＤ命令に該当する。
【００２０】以下、図２に基づいて物体検出装置の処理
を説明する。
を説明する。
【００２１】（ステップ１）影テンプレート作成部１で
は、図３に示す検出対象物体を上から見た物体テンプレ
ートを入力し、検出対象物体の影テンプレートを作成す
る。
は、図３に示す検出対象物体を上から見た物体テンプレ
ートを入力し、検出対象物体の影テンプレートを作成す
る。
【００２２】その作成方法を説明する。
【００２３】まず、検出対象物体の撮影地点の緯度、経
度、標高など位置情報と撮影時刻に関する情報から、撮
影時の太陽の３次元方向を計算する。
度、標高など位置情報と撮影時刻に関する情報から、撮
影時の太陽の３次元方向を計算する。
【００２４】次に、図４に示すように、物体中心の高さ
に、物体テンプレートがあると仮定し、物体中心の地面
からの高さと、前記計算した太陽の３次元方向から、物
体テンプレートの中心を通る太陽光が地面に投影された
先の座標を計算する。
に、物体テンプレートがあると仮定し、物体中心の地面
からの高さと、前記計算した太陽の３次元方向から、物
体テンプレートの中心を通る太陽光が地面に投影された
先の座標を計算する。
【００２５】この投影先座標が物体テンプレートの影の
中心座標であり、物体テンプレートを投影先座標に平行
移動したものが影テンプレートとなる。
中心座標であり、物体テンプレートを投影先座標に平行
移動したものが影テンプレートとなる。
【００２６】（ステップ２）エッジテンプレート作成部
２では、図５に示すように、影テンプレートの上から物
体テンプレートを重ね書きした合成テンプレートを作成
する。
２では、図５に示すように、影テンプレートの上から物
体テンプレートを重ね書きした合成テンプレートを作成
する。
【００２７】次に、この合成テンプレートにエッジ抽出
フィルタを適用して、水平エッジテンプレート、垂直エ
ッジテンプレートを作成する。
フィルタを適用して、水平エッジテンプレート、垂直エ
ッジテンプレートを作成する。
【００２８】エッジ抽出フィルタには、例えば、図６の
ソーベルフィルタを用いて、水平方向エッジ、垂直方向
エッジのそれぞれを計算して水平エッジテンプレート、
垂直エッジテンプレートを作成する。なお、図６の左側
が水平方向のソーベルフィルタであり、図６の右側が垂
直方向のソーベルフィルタであるので、これらを用いて
それぞれのエッジ強度を計算する。
ソーベルフィルタを用いて、水平方向エッジ、垂直方向
エッジのそれぞれを計算して水平エッジテンプレート、
垂直エッジテンプレートを作成する。なお、図６の左側
が水平方向のソーベルフィルタであり、図６の右側が垂
直方向のソーベルフィルタであるので、これらを用いて
それぞれのエッジ強度を計算する。
【００２９】次に、座標（ｘ，ｙ）の水平エッジ強度を
ｈ（ｘ，ｙ）、垂直エッジ強度をｖ（ｘ，ｙ）としたと
き、それぞれのエッジ強度を以下の式１で正規化した
ｈ’（ｘ，ｙ），ｖ’（ｘ，ｙ）で置き換える。
ｈ（ｘ，ｙ）、垂直エッジ強度をｖ（ｘ，ｙ）としたと
き、それぞれのエッジ強度を以下の式１で正規化した
ｈ’（ｘ，ｙ），ｖ’（ｘ，ｙ）で置き換える。
【００３０】
【数１】
（ステップ３）画像エッジ作成部３は、人工衛星や航空
機が上空から撮影した入力画像に、図６のエッジ抽出フ
ィルタを適用して、入力水平エッジ画像、入力垂直エッ
ジ画像を作成する。
機が上空から撮影した入力画像に、図６のエッジ抽出フ
ィルタを適用して、入力水平エッジ画像、入力垂直エッ
ジ画像を作成する。
【００３１】その際、エッジ強度（ｈ（ｘ，ｙ）２ ＋
ｖ（ｘ，ｙ）２ ）１／２ が閾値以下の画素ではエッ
ジ画像の画素値を０とし、それ以外の画素では式１を用
いてエッジ強度を正規化する。
ｖ（ｘ，ｙ）２ ）１／２ が閾値以下の画素ではエッ
ジ画像の画素値を０とし、それ以外の画素では式１を用
いてエッジ強度を正規化する。
【００３２】（ステップ４）内積演算部４では、入力水
平エッジ画像、入力垂直エッジ画像に、水平エッジテン
プレート、垂直エッジテンプレートを用いて、一般化ハ
フ変換に類似した演算を行う。
平エッジ画像、入力垂直エッジ画像に、水平エッジテン
プレート、垂直エッジテンプレートを用いて、一般化ハ
フ変換に類似した演算を行う。
【００３３】一般化ハフ変換では、画像からエッジを抽
出し、エッジの座標と方向から物体中心である可能性の
ある座標を算出する。その座標の画素値に一定の投票値
を加算することによって投票を行う。この処理を繰り返
し、最終的に投票値を集計した評価値が最も高い画素が
物体中心のある座標と判定されることになる。
出し、エッジの座標と方向から物体中心である可能性の
ある座標を算出する。その座標の画素値に一定の投票値
を加算することによって投票を行う。この処理を繰り返
し、最終的に投票値を集計した評価値が最も高い画素が
物体中心のある座標と判定されることになる。
【００３４】本実施例では、物体の中心座標を固定し
て、その座標に物体中心があると仮定した場合の評価値
を、ＳＩＭＤプロセッサによる高速化に適した畳み込み
演算によって演算する。
て、その座標に物体中心があると仮定した場合の評価値
を、ＳＩＭＤプロセッサによる高速化に適した畳み込み
演算によって演算する。
【００３５】以下、詳しく説明する。
【００３６】水平エッジテンプレートをＴｈ 、垂直エ
ッジテンプレートをＴｖ とする。入力水平エッジ画像
をＥｈ 、入力垂直エッジ画像をＥｖ とする。合成テ
ンプレートの水平方向の長さ（幅）を２ｎ＋１、垂直方
向の長さ（高さ）を２ｍ＋１とする。すなわち、合成テ
ンプレートの画素数が、｛（２ｎ＋１）×（２ｍ＋
１）｝個である。
ッジテンプレートをＴｖ とする。入力水平エッジ画像
をＥｈ 、入力垂直エッジ画像をＥｖ とする。合成テ
ンプレートの水平方向の長さ（幅）を２ｎ＋１、垂直方
向の長さ（高さ）を２ｍ＋１とする。すなわち、合成テ
ンプレートの画素数が、｛（２ｎ＋１）×（２ｍ＋
１）｝個である。
【００３７】テンプレートのエッジ方向は、水平エッジ
テンプレートの画素値を水平成分、垂直エッジテンプレ
ートの画素値を垂直成分としたベクトルで表すことがで
き、画像のエッジ方向ベクトルも同様に水平エッジと垂
直エッジから求められる（図７参照）。ここでは、両方
のエッジ方向が一致して相対角が小さければ高くなる投
票値を計算で求める。
テンプレートの画素値を水平成分、垂直エッジテンプレ
ートの画素値を垂直成分としたベクトルで表すことがで
き、画像のエッジ方向ベクトルも同様に水平エッジと垂
直エッジから求められる（図７参照）。ここでは、両方
のエッジ方向が一致して相対角が小さければ高くなる投
票値を計算で求める。
【００３８】そして、入力画像における任意の画素の座
標のＳ（ｘ，ｙ）における評価値Ｖを計算する。
標のＳ（ｘ，ｙ）における評価値Ｖを計算する。
【００３９】まず、入力画像のＳ（ｘ，ｙ）に物体テン
プレートの中心を所定の角度θで置く。
プレートの中心を所定の角度θで置く。
【００４０】次に、Ｓ（ｘ，ｙ）以外の点であるＱｉｊ
（ｘ＋ｉ，ｙ＋ｊ）における投票値ｈ（ｘ＋ｉ，ｙ＋
ｊ）を、下記の式２のベクトルの内積を用いて計算す
る。この場合に、ｉは−ｎからｎまでの範囲で、かつ、
ｊは−ｍからｍまでの範囲で、各画素毎に投票値をそれ
ぞれ計算する。
（ｘ＋ｉ，ｙ＋ｊ）における投票値ｈ（ｘ＋ｉ，ｙ＋
ｊ）を、下記の式２のベクトルの内積を用いて計算す
る。この場合に、ｉは−ｎからｎまでの範囲で、かつ、
ｊは−ｍからｍまでの範囲で、各画素毎に投票値をそれ
ぞれ計算する。
【００４１】Ｑｉｊ（ｘ＋ｉ，ｙ＋ｊ）における投票値
の求め方は、エッジテンプレートのエッジ方向ベクトル
（Ｔｈ （ｎ＋ｉ，ｍ＋ｊ），Ｔｖ （ｎ＋ｉ，ｍ＋
ｊ））と、入力エッジ画像のエッジ方向ベクトル（Ｅ
ｈ （ｘ＋ｉ，ｙ＋ｊ），Ｅｖ（ｘ＋ｉ，ｙ＋ｊ））を
比較し、式２を用いて投票値ｈ（ｘ＋ｉ，ｙ＋ｊ）を計
算する。式２の値である投票値ｈは、図８に示すように
入力画像と合成テンプレートのエッジ方向が一致すれば
１になり、直交すれば−１になる。
の求め方は、エッジテンプレートのエッジ方向ベクトル
（Ｔｈ （ｎ＋ｉ，ｍ＋ｊ），Ｔｖ （ｎ＋ｉ，ｍ＋
ｊ））と、入力エッジ画像のエッジ方向ベクトル（Ｅ
ｈ （ｘ＋ｉ，ｙ＋ｊ），Ｅｖ（ｘ＋ｉ，ｙ＋ｊ））を
比較し、式２を用いて投票値ｈ（ｘ＋ｉ，ｙ＋ｊ）を計
算する。式２の値である投票値ｈは、図８に示すように
入力画像と合成テンプレートのエッジ方向が一致すれば
１になり、直交すれば−１になる。
【００４２】
【数２】
Ｓ（ｘ，ｙ）の評価値Ｖ（ｘ，ｙ）は、投票値ｈ（ｘ＋
ｉ，ｙ＋ｊ）の集計によって、以下の式３で求められ
る。
ｉ，ｙ＋ｊ）の集計によって、以下の式３で求められ
る。
【００４３】
【数３】
このような処理をＳ点以外の全ての点で繰り返す。すな
わち、入力画像中の全ての画素で、物体テンプレートの
中心を所定の角度θで置いたときの評価値Ｖ（ｘ，ｙ）
を計算する。このときに、式２、式３の演算は各画素で
独立した演算で並列に処理可能であるので、ＳＩＭＤ演
算機能を持つプロセッサを用いれば、高速に演算するこ
とができる。
わち、入力画像中の全ての画素で、物体テンプレートの
中心を所定の角度θで置いたときの評価値Ｖ（ｘ，ｙ）
を計算する。このときに、式２、式３の演算は各画素で
独立した演算で並列に処理可能であるので、ＳＩＭＤ演
算機能を持つプロセッサを用いれば、高速に演算するこ
とができる。
【００４４】（ステップ５）上記では、物体テンプレー
トの中心を所定の角度θで置いたときの評価値Ｖ（ｘ，
ｙ）を計算したので、物体テンプレートを一定角度ずつ
θより回転させながらステップ１，２，４で説明した影
テンプレート作成部１、エッジテンプレート作成部２、
内積演算部４の処理を繰り返して、全ての画素における
評価値Ｖ（ｘ，ｙ）を計算する。このような各画素にお
ける評価値Ｖ（ｘ，ｙ）の集合の画像が評価値画像とな
る。
トの中心を所定の角度θで置いたときの評価値Ｖ（ｘ，
ｙ）を計算したので、物体テンプレートを一定角度ずつ
θより回転させながらステップ１，２，４で説明した影
テンプレート作成部１、エッジテンプレート作成部２、
内積演算部４の処理を繰り返して、全ての画素における
評価値Ｖ（ｘ，ｙ）を計算する。このような各画素にお
ける評価値Ｖ（ｘ，ｙ）の集合の画像が評価値画像とな
る。
【００４５】（ステップ６）物体テンプレートを一定角
度ずつ回転させる処理を繰り返す回数をｄとし、ｉ番目
の繰り返しで得られた評価値画像をＶｉ とし、評価値
画像における座標（ｘ，ｙ）の画素値をＶｉ （ｘ，
ｙ）としたとき、繰り返しでの各評価値画像Ｖ ｉ の中
から最大の評価値を有する画素をＶｍａｘ （ｘ，ｙ）
とする。そして、このＶｍａｘ （ｘ，ｙ）の画素の集
合から最大の評価値画像Ｖｍａｘ を作成する。
度ずつ回転させる処理を繰り返す回数をｄとし、ｉ番目
の繰り返しで得られた評価値画像をＶｉ とし、評価値
画像における座標（ｘ，ｙ）の画素値をＶｉ （ｘ，
ｙ）としたとき、繰り返しでの各評価値画像Ｖ ｉ の中
から最大の評価値を有する画素をＶｍａｘ （ｘ，ｙ）
とする。そして、このＶｍａｘ （ｘ，ｙ）の画素の集
合から最大の評価値画像Ｖｍａｘ を作成する。
【００４６】
【数４】
（ステップ７）位置検出部５では、上記処理によって得
られた評価値画像Ｖｍａｘの中から、検出対象物体の位
置を検出する。画像中には数が不明の複数の検出対象物
体が写っている場合があり、物体中心のある座標で最も
評価値が高い評価値が高いと考えられるので、周辺の画
素と比較した局所ピークを検出することによって物体の
位置を検出する。
られた評価値画像Ｖｍａｘの中から、検出対象物体の位
置を検出する。画像中には数が不明の複数の検出対象物
体が写っている場合があり、物体中心のある座標で最も
評価値が高い評価値が高いと考えられるので、周辺の画
素と比較した局所ピークを検出することによって物体の
位置を検出する。
【００４７】図９は、Ｖｍａｘの座標と評価値の関係を
プロットしたグラフであるが、正しい物体の位置を表す
最も高いピークの周辺に複数のピークが存在する。周辺
のピークは物体の中心から少しずれた位置や方向のテン
プレートを照合することで発生するので、テンプレート
大きさの範囲で局所的ピークとなる座標を検出すること
によって周辺のピークを除いて最も高いピークを検出す
る。評価値画像Ｖｍａ ｘ の局所的ピークは、以下の式
５で、Ｐ（ｘ，ｙ）＝１となる座標である
プロットしたグラフであるが、正しい物体の位置を表す
最も高いピークの周辺に複数のピークが存在する。周辺
のピークは物体の中心から少しずれた位置や方向のテン
プレートを照合することで発生するので、テンプレート
大きさの範囲で局所的ピークとなる座標を検出すること
によって周辺のピークを除いて最も高いピークを検出す
る。評価値画像Ｖｍａ ｘ の局所的ピークは、以下の式
５で、Ｐ（ｘ，ｙ）＝１となる座標である
【数５】
局所的ピークの座標での評価値Ｖｍａｘ （ｘ，ｙ）が
予め定めた閾値以上であれば、その座標を検出した物体
の位置として出力する。
予め定めた閾値以上であれば、その座標を検出した物体
の位置として出力する。
【００４８】
【発明の効果】以上、説明したように、本発明による物
体検出装置及び方法では、物体の向きを逐次的に変更し
ながら影の位置を計算し、一般化ハフ変換での投票演算
をＳＩＭＤ命令に適した内積演算に置き換えて処理する
ので、物体の位置を短い処理時間で検出することができ
る。
体検出装置及び方法では、物体の向きを逐次的に変更し
ながら影の位置を計算し、一般化ハフ変換での投票演算
をＳＩＭＤ命令に適した内積演算に置き換えて処理する
ので、物体の位置を短い処理時間で検出することができ
る。
【図１】本発明の一実施例を示す物体検出装置のブロッ
ク図である。
ク図である。
【図２】物体検出装置のフローチャートである。
【図３】物体テンプレートの図である。
【図４】影テンプレートの作成の説明図である。
【図５】合成テンプレートの図である。
【図６】ソーベルフィルタの図である。
【図７】エッジ方向と相対角の関係を示す図である。
【図８】相対角と投票値の関係を示すグラフである。
【図９】Ｖｍａｘの座標と評価値の関係をプロットした
グラフである。
グラフである。
１ 影テンプレート作成部
２ エッジテンプレート作成部
３ 画像エッジ作成部
４ 内積演算部
５ 位置検出部
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 野尻 浩次
神奈川県川崎市幸区小向東芝町１番地 株
式会社東芝研究開発センター内
Ｆターム(参考） 2F065 AA04 DD06 FF42 FF67 GG10
JJ03 QQ00 QQ27 QQ29 QQ33
QQ38 QQ42
5B057 AA14 DA06 DB02 DC13 DC16
DC33
5L096 BA08 DA02 FA06 FA24 FA67
FA69 GA02 JA03 JA09 LA13
Claims (5)
- 【請求項１】人工衛星や航空機が上空から撮影した画像
から物体を位置を検出する物体検出装置において、 前記画像の入力水平エッジと入力垂直エッジを計算する
エッジ抽出手段と、 前記物体に関するテンプレートから水平エッジテンプレ
ートと垂直エッジテンプレートを抽出するエッジテンプ
レート計算手段と、 前記入力画像の各画素に、前記テンプレートの中心を所
定の角度でずらせつつ置いて、前記各画素毎の投票値
を、前記入力水平エッジと前記入力垂直エッジとに基づ
くベクトル及び前記水平エッジテンプレートと前記垂直
エッジテンプレートとに基づくベクトルの内積を用いて
計算し、前記各投票値を集計して、前記各画素におけ
る、かつ、前記テンプレートの所定角度毎の評価値を演
算して、その評価値の中から最大の評価値の集合である
最大評価値画像を作成する内積演算手段と、 前記作成された最大の評価値画像の画素の中から局所的
最大値をとる座標を前記物体の位置として出力する位置
検出手段と、を有することを特徴とする物体検出装置。 - 【請求項２】前記エッジテンプレート計算手段は、 前記物体の地上高さ、撮影時刻、撮影場所から計算した
前記物体の影テンプレートを作成する影テンプレート作
成手段を有し、 また、エッジテンプレート計算手段で用いる前記物体に
関するテンプレートが、前記物体の物体テンプレート
と、前記作成した影テンプレートとを重ね合わせた合成
テンプレートであることを特徴とする請求項１記載の物
体検出装置。 - 【請求項３】前記内積演算手段の演算をＳＩＭＤプロセ
ッサによって行うことを特徴とする請求項１記載の物体
検出装置。 - 【請求項４】人工衛星や航空機が上空から撮影した画像
から物体を位置を検出する物体検出方法において、 前記画像の入力水平エッジと入力垂直エッジを計算する
エッジ抽出ステップと、 前記物体に関するテンプレートから水平エッジテンプレ
ートと垂直エッジテンプレートを抽出するエッジテンプ
レート計算ステップと、 前記入力画像の各画素に、前記テンプレートの中心を所
定の角度でずらせつつ置いて、前記各画素毎の投票値
を、前記入力水平エッジと前記入力垂直エッジとに基づ
くベクトル及び前記水平エッジテンプレートと前記垂直
エッジテンプレートとに基づくベクトルの内積を用いて
計算し、前記各投票値を集計して、前記各画素におけ
る、かつ、前記テンプレートの所定角度毎の評価値を演
算して、その評価値の中から最大の評価値の集合である
最大評価値画像を作成する内積演算ステップと、 前記作成された最大の評価値画像の画素の中から局所的
最大値をとる座標を前記物体の位置として出力する位置
検出ステップと、 を有することを特徴とする物体検出方法。 - 【請求項５】人工衛星や航空機が上空から撮影した画像
から物体を位置を検出する物体検出方法をコンピュータ
によって実現するプログラムにおいて、 前記画像の入力水平エッジと入力垂直エッジを計算する
エッジ抽出機能と、 前記物体に関するテンプレートから水平エッジテンプレ
ートと垂直エッジテンプレートを抽出するエッジテンプ
レート計算機能と、 前記入力画像の各画素に、前記テンプレートの中心を所
定の角度でずらせつつ置いて、前記各画素毎の投票値
を、前記入力水平エッジと前記入力垂直エッジとに基づ
くベクトル及び前記水平エッジテンプレートと前記垂直
エッジテンプレートとに基づくベクトルの内積を用いて
計算し、前記各投票値を集計して、前記各画素におけ
る、かつ、前記テンプレートの所定角度毎の評価値を演
算して、その評価値の中から最大の評価値の集合である
最大評価値画像を作成する内積演算機能と、 前記作成された最大の評価値画像の画素の中から局所的
最大値をとる座標を前記物体の位置として出力する位置
検出機能と、 を実現することを特徴とする物体検出方法のプログラ
ム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001382291A JP3863014B2 (ja) | 2001-12-14 | 2001-12-14 | 物体検出装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001382291A JP3863014B2 (ja) | 2001-12-14 | 2001-12-14 | 物体検出装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003187220A true JP2003187220A (ja) | 2003-07-04 |
| JP3863014B2 JP3863014B2 (ja) | 2006-12-27 |
Family
ID=27592706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001382291A Expired - Fee Related JP3863014B2 (ja) | 2001-12-14 | 2001-12-14 | 物体検出装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3863014B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005156199A (ja) * | 2003-11-21 | 2005-06-16 | Hitachi Ltd | 車両検知方法及び車両検知装置 |
| JP2006154964A (ja) * | 2004-11-25 | 2006-06-15 | Matsushita Electric Works Ltd | インターホンシステム |
| KR100734828B1 (ko) | 2004-12-14 | 2007-07-03 | 한국전자통신연구원 | 저전송률 비디오 데이터의 부호화를 위한 오브젝트 에지검출 회로 및 방법 |
| JP2007249256A (ja) * | 2006-03-13 | 2007-09-27 | Kyushu Institute Of Technology | 物体検出方法 |
| JP2007293558A (ja) * | 2006-04-25 | 2007-11-08 | Hitachi Ltd | 目標物認識プログラム及び目標物認識装置 |
| JP2008020225A (ja) * | 2006-07-11 | 2008-01-31 | Fujitsu Ltd | 自己位置推定プログラム、自己位置推定方法および自己位置推定装置 |
| JP2008232805A (ja) * | 2007-03-20 | 2008-10-02 | Kyushu Institute Of Technology | 物体検出方法 |
| WO2009063949A1 (ja) * | 2007-11-16 | 2009-05-22 | Nec Corporation | 対象領域判定装置 |
| JP2021105820A (ja) * | 2019-12-26 | 2021-07-26 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置および物体検出方法 |
| US11699283B2 (en) | 2015-11-02 | 2023-07-11 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
| US11854173B2 (en) | 2015-11-02 | 2023-12-26 | Cognex Corporation | System and method for finding lines in an image with a vision system |
-
2001
- 2001-12-14 JP JP2001382291A patent/JP3863014B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005156199A (ja) * | 2003-11-21 | 2005-06-16 | Hitachi Ltd | 車両検知方法及び車両検知装置 |
| JP2006154964A (ja) * | 2004-11-25 | 2006-06-15 | Matsushita Electric Works Ltd | インターホンシステム |
| KR100734828B1 (ko) | 2004-12-14 | 2007-07-03 | 한국전자통신연구원 | 저전송률 비디오 데이터의 부호화를 위한 오브젝트 에지검출 회로 및 방법 |
| JP2007249256A (ja) * | 2006-03-13 | 2007-09-27 | Kyushu Institute Of Technology | 物体検出方法 |
| JP2007293558A (ja) * | 2006-04-25 | 2007-11-08 | Hitachi Ltd | 目標物認識プログラム及び目標物認識装置 |
| JP2008020225A (ja) * | 2006-07-11 | 2008-01-31 | Fujitsu Ltd | 自己位置推定プログラム、自己位置推定方法および自己位置推定装置 |
| JP2008232805A (ja) * | 2007-03-20 | 2008-10-02 | Kyushu Institute Of Technology | 物体検出方法 |
| WO2009063949A1 (ja) * | 2007-11-16 | 2009-05-22 | Nec Corporation | 対象領域判定装置 |
| US11699283B2 (en) | 2015-11-02 | 2023-07-11 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
| US11854173B2 (en) | 2015-11-02 | 2023-12-26 | Cognex Corporation | System and method for finding lines in an image with a vision system |
| JP2021105820A (ja) * | 2019-12-26 | 2021-07-26 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置および物体検出方法 |
| JP7236377B2 (ja) | 2019-12-26 | 2023-03-09 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置および物体検出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3863014B2 (ja) | 2006-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110966991B (zh) | 一种无控制点下的单幅无人机影像定位方法 | |
| JP6976270B2 (ja) | 地理的領域におけるコンテナ内に格納された量の遠隔決定 | |
| US10445616B2 (en) | Enhanced phase correlation for image registration | |
| US8483440B2 (en) | Methods and systems for verifying automatic license plate recognition results | |
| US9349189B2 (en) | Occlusion resistant image template matching using distance transform | |
| US20010038718A1 (en) | Method and apparatus for performing geo-spatial registration of imagery | |
| US20180189577A1 (en) | Systems and methods for lane-marker detection | |
| CN108961286B (zh) | 一种顾及建筑物三维及边缘形状特征的无人机影像分割方法 | |
| KR101941878B1 (ko) | 무인항공기 영상 자동 기하보정을 위한 처리시스템 | |
| CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| JP3863014B2 (ja) | 物体検出装置及びその方法 | |
| Takacs et al. | 3D mobile augmented reality in urban scenes | |
| Daraei et al. | Velocity and shape from tightly-coupled LiDAR and camera | |
| CN112163588A (zh) | 基于智能进化的异源图像目标检测方法、存储介质及设备 | |
| CN114926747A (zh) | 一种基于多特征聚合与交互的遥感图像定向目标检测方法 | |
| Aeschliman et al. | Tracking vehicles through shadows and occlusions in wide-area aerial video | |
| Müller et al. | Squeezeposenet: Image based pose regression with small convolutional neural networks for real time uas navigation | |
| Warren et al. | Unaided stereo vision based pose estimation | |
| Cai et al. | Improving CNN-based planar object detection with geometric prior knowledge | |
| CN113012084A (zh) | 无人机影像实时拼接方法、装置及终端设备 | |
| Božić-Štulić et al. | Complete model for automatic object detection and localisation on aerial images using convolutional neural networks | |
| CN115937839A (zh) | 一种大角度车牌图像识别方法、计算设备及存储介质 | |
| CN104091315A (zh) | 一种车牌图像去模糊的方法及系统 | |
| CN112868049B (zh) | 使用基于贴片的投影相关性进行高效自运动估计 | |
| Hou et al. | Navigation landmark recognition and matching algorithm based on the improved SURF |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060927 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131006 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |