JP2001118182A - 移動体検出装置および移動体検出方法 - Google Patents

Abstract

(57)【要約】 【課題】 迅速かつ正確に移動体を検出する。 【解決手段】 変化領域抽出部３は入力画像と背景画像
との輝度値の差に基づいて輝度値変化領域を抽出する。
投票部１２はハフ変換に基づいて輝度変化領域の画素毎
にその画素に対応してパラメータ空間へ投票パターン
（移動体モデルを合成したもの）の各点の重みを投票す
る。投票後、極大点検出部１３はパラメータ空間におい
て投票度数の極大点を移動体候補点として検出し、モデ
ルマッチング部１５は各移動体候補点の周辺の輝度値変
化領域と各移動体モデルとの一致度を算出して移動体の
有無を判断し、移動体追跡部５は発見した各移動体を経
時的に追跡する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、所定の場所の画
像を所定の周期で撮像し、その画像に基づいて人や車両
などの移動体を発見、追跡し、特に建造物等への侵入者
検知や道路の交通流計測などに使用される移動体検出装
置および移動体検出方法に関するものである。

【０００２】

【従来の技術】ある対象を画像において検出する方法と
して例えば「Ｈｏｕｇｈ変換に基づく図形検出法の新展
開」（和田、松山著、情報処理学会誌、１９９５年３
月、第２５３頁〜第２６３頁）に記載のハフ変換があ
る。図１８はハフ変換に基づく従来の移動体検出方法を
説明するフローチャートであり、図１９はハフ変換での
投票およびピーク検出を説明する図であり、図２０は複
数の検出対象を使用した場合のハフ変換での投票および
ピーク検出を説明する図である。

【０００３】ハフ変換に基づいて画像において移動体な
どの対象を検出する場合、まず画像を用意し（ステップ
ＳＴ１０１）、画像中の各特徴点に対応して、その点を
含むそれぞれ位置／姿勢／形状が異なる検出対象の存在
を仮定して、検出対象の位置／姿勢／形状を表現するパ
ラメータ空間中の点に「投票」を行う（ステップＳＴ１
０２）。そして、パラメータ空間中の各点が何個の特徴
点に対応して投票を受けたかを調べ（例えば投票数の極
大点を検出し）、画像中に検出対象が存在するか否かを
決定する（ステップＳＴ１０３）。

【０００４】例えば図１９（ａ）に示す特定形状、特定
姿勢の四角形である検出対象を二値画像において検出す
る場合について具体的に説明する。なお図１９（ａ）に
示す検出対象の横幅をＷとし、高さをＨとし、パラメー
タ空間の各点（ｘ，ｙ）は、四角形の右下角の位置を表
現するものとする。また、二値画像およびパラメータ空
間は、左上を原点とする座標軸を有するものとする。

【０００５】そして図１９（ｂ）に示すように二値画像
内の各特徴点（Ｘｉ，Ｙｉ）に対応して、パラメータ空
間中の以下の範囲の各点（ｘ，ｙ）に１票ずつを投じる
（ステップＳＴ１０２）。 Ｘｉ＜ｘ＜Ｘｉ＋Ｗ Ｙｉ＜ｙ＜Ｙｉ＋Ｈ

【０００６】すべての特徴点に対応するパラメータ空間
への投票を実行した後、パラメータ空間において、多く
の特徴点からの投票を受けた点であり、かつ周辺の投票
数に比べ突出した値を有する点（すなわち極大点）を抽
出する（ステップＳＴ１０３）。そのような点が抽出さ
れた場合、その点の座標値を（Ｘｐ，Ｙｐ）とすると、
画像中の（Ｘｐ，Ｙｐ）の位置を右下角とする四角形が
存在すると判断する。一方、そのような点がパラメータ
空間において抽出されない場合には、検出対象である四
角形が存在しないと判断する。

【０００７】このようにしてハフ変換に基づいて対象が
画像において検出される。なお、上述したものは対象が
１つである場合であるが、ハフ変換に基づいて複数種類
の対象を画像において同等に検出することも可能であ
る。

【０００８】例えば図２０（ａ）に示すように複数種類
の対象を検出する場合には、図２０（ｂ）に示すように
検出対象毎にパラメータ空間を用意し、画像内の各特徴
点に対応して、検出対象毎に、パラメータ空間における
検出対象に応じた範囲の各点へそれぞれ投票し、すべて
の特徴点に対応するパラメータ空間への投票を実行した
後、各パラメータ空間における投票数の極大点を探索し
て検出対象を検出する。

【０００９】以上のようにして、ハフ変換に基づいて移
動体などの対象が検出される。ハフ変換は「投票による
証拠情報の統合」と「多数決原理」に基づく対象検出法
であり、個々の証拠情報に誤りや欠落があっても全体と
しては安定な処理を行うことができる。

【００１０】次に、ある対象を画像において発見、追跡
する方法としてテンプレートマッチングがある。図２１
は、例えば特開平６−３０４１７号公報に記載のテンプ
レートマッチングに基づく従来の移動体検出方法を説明
するフローチャートであり、図２２はテンプレートマッ
チングを説明する中間調画像を示す図面代用写真であ
る。

【００１１】この従来の移動体検出方法では、まず画像
を入力し（ステップＳＴ１１１）、前時刻における車両
の位置に基づき、図２２に示すように入力画像上に探索
範囲（検出対象を探索する範囲）を設定する（ステップ
ＳＴ１１２）。次に、予め登録されている車両テンプレ
ートまたは前時刻に入力画像から切り出された車両テン
プレートと、探索範囲内の各部分画像との間で類似度を
計算する（ステップＳＴ１１３）。なお、各部分画像
は、車両テンプレートと同一のサイズでその位置を順次
変えながら入力画像より切り出される。

【００１２】このときの類似度としては式（１）に示す
ような正規化相互相関Ｍｃｏｒｒや式（２）に示すよう
な輝度値の残差（誤差の総和）などが使用される。

【数１】

【数２】 ただし、Ｉ（ｘ，ｙ）は入力画像Ｉの位置（ｘ，ｙ）の
輝度値であり、Ｔ（ｘ，ｙ）はテンプレートＴの位置
（ｘ，ｙ）での輝度値であり、ｍ，ｎはテンプレートＴ
のｘ，ｙ軸方向のサイズ（画素数）であり、＜Ｉ（ｘ，
ｙ）＞は画像Ｉのうちの座標（ｘ，ｙ），（ｘ＋ｍ，
ｙ），（ｘ，ｙ＋ｎ），（ｘ＋ｍ，ｙ＋ｎ）を頂点とす
る部分画像における輝度値の平均値であり、＜Ｔ＞はテ
ンプレートＴの輝度値の平均値である。

【００１３】探索範囲内のすべての部分画像との類似度
を計算した後、類似度が所定の閾値以上であり、かつ周
辺の類似度に比べ突出した値を有する位置を検索し、そ
のような位置を検出した場合、その画像の撮影時点にお
いて車両がその位置に存在すると判断する（ステップＳ
Ｔ１１４）。

【００１４】以上のようにして、テンプレートマッチン
グに基づき移動体が検出される。なお、所定の周期で入
力される画像に対してステップＳＴ１１１〜ステップＳ
Ｔ１１４の処理を繰り返すことにより車両を追跡するこ
とができる。一般的に、テンプレートマッチングは検出
対象の部分画像をテンプレートとして使用して検出する
ため、検出対象に多少の隠蔽が生じても認識が可能であ
る。

【００１５】また、対象の画像が含まれる入力画像系列
に基づいて背景のみの画像（背景画像）を更新し、その
背景画像を使用して確実に移動体を検出する例えば特開
平８−３１７３７３号公報に記載の従来の移動体検出方
法がある。

【００１６】この方法では、所定時間内に入力された複
数の画像Ｉｉについて、式（３）に示すように、画素毎
に輝度値のメディアン値を計算し、そのメディアン値で
構成される画像ｒで背景画像を更新する。なお、メディ
アン値とは、複数の値を昇順または降順に整列した場合
に中央に位置する値のことである。

【数３】 ここでｒ（ｘ，ｙ）は、更新する背景画像ｒの位置
（ｘ，ｙ）での輝度値であり、Ｉｉ（ｘ，ｙ）は、第ｉ
番目の入力画像Ｉの位置（ｘ，ｙ）での輝度値である。

【００１７】

【発明が解決しようとする課題】従来の移動体検出方法
は以上のように構成されているので、ハフ変換に基づく
従来の移動体検出方法では検出対象を表現するパラメー
タ（位置、姿勢、形状）や検出対象の数が増えると、計
算時間や記憶容量がパラメータ空間の次元数のべき乗に
比例して増加し、迅速に移動体を検出することが困難で
あるなどの課題があった。

【００１８】また、テンプレートマッチングに基づく従
来の移動体検出方法では、一般に探索に要する演算量が
多く、多くの計算時間を要するとともに、テンプレート
に対象以外の背景が含まれる場合（例えば車両テンプレ
ートに道路が含まれる場合）テンプレートと背景との類
似度が高くなり（すなわち道路に適合しやすくなり）移
動体の位置を誤検出してしまい、また、検出対象の移動
に伴って画像上での対象の見かけの大きさや形状が変化
するため、それに応じてテンプレートを逐次更新する場
合に位置誤差が累積し、本来の移動体の位置から検出位
置が次第にずれていき、正確に移動体を検出することが
困難であるという課題があった。

【００１９】さらに、従来の移動体検出方法において背
景画像を更新する場合、所定の時間に撮影される複数の
画像の各画素の輝度値のメディアン値に基づいて背景画
像を生成しているが、移動体が低速で移動したり移動体
の数が多い場合にはその所定の時間において画像内での
移動体の存在時間が長くなり背景画像に移動体の一部が
混入し、背景画像に基づいて正確に移動体を検出するこ
とが困難になる可能性があるという課題があった。

【００２０】さらに、一般的に検出対象である移動体が
混雑して多くの移動体が画像内に存在すると、ハフ変換
やテンプレートマッチングを利用しても混雑度が高くな
るにつれ、移動体を発見することも、発見した移動体を
追跡することも困難になるという課題があった。

【００２１】すなわち、以上のように従来の移動体検出
方法では、迅速かつ正確に移動体を検出することが困難
であるなどの課題があった。

【００２２】この発明は上記のような課題を解決するた
めになされたもので、検出対象である複数の移動体にそ
れぞれ対応する複数の移動体モデルを合成した移動体モ
デル合成パターンと移動体候補を検出した後、画像のう
ちの移動体候補の周辺と移動体モデルとを比較して移動
体を発見するようにして、ハフ変換による頑健性を損な
わないで移動体発見に要する計算時間や記憶容量を低減
し、迅速かつ正確に移動体を検出することができる移動
体検出装置および移動体検出方法を得ることを目的とす
る。

【００２３】また、この発明は、発見された移動体の部
分画像を入力画像からテンプレートとして切りだし、次
回以降に撮像される画像のうちの輝度値変化領域に対応
した部分とテンプレートとをテンプレートマッチング
し、移動体を順次検出して追跡するようにして、マッチ
ングする領域を低減して計算時間を低減し、迅速かつ正
確に移動体を検出することができる移動体検出装置およ
び移動体検出方法を得ることを目的とする。

【００２４】さらに、この発明は、検出した移動体に対
応する部分の輝度値変化領域の重心位置に基づいて補正
した移動体の位置に基づいて画像から移動体の部分の画
像をテンプレートとして抽出してテンプレートを更新す
るようにして、テンプレートの更新に起因する位置誤差
の累積を抑制することができ、迅速かつ正確に移動体を
検出することができる移動体検出装置および移動体検出
方法を得ることを目的とする。

【００２５】さらに、この発明は、時間の経過とともに
撮像された複数の画像について画素毎または複数個の画
素からなる局所ブロック単位で輝度値の変化量のばらつ
きに応じて画像に基づいて背景画像を更新するようにし
て、更新する背景画像への移動体の画像などの混入を抑
制し、迅速かつ正確に移動体を検出することができる移
動体検出装置および移動体検出方法を得ることを目的と
する。

【００２６】さらに、この発明は輝度値変化領域が画像
または画像のうちの所定の特定区域の所定の割合以上を
占めている場合において、輝度値変化領域の大きさに応
じて設定される所定の数以上の移動体が発見されない
時、または移動体が検出されず追跡が困難な時には、輝
度値変化領域の大きさおよび移動体モデルの面積に基づ
く移動体の概数や輝度値変化領域での輝度値の時間的変
化に基づく移動体の平均移動速度を計算して、移動体が
混雑している場合には移動体の概数や移動体の平均移動
速度に基づいて移動体の挙動を知ることができる移動体
検出装置および移動体検出方法を得ることを目的とす
る。

【００２７】

【課題を解決するための手段】この発明に係る移動体検
出装置は、所定の周期で画像を撮像する画像撮像手段
と、画像撮像手段により撮像された画像のうち、輝度値
が変化した領域（輝度値変化領域）を抽出する変化領域
抽出手段と、検出対象である複数の移動体にそれぞれ対
応する複数の移動体モデルを合成した移動体モデル合成
パターンと輝度値変化領域に基づいて移動体候補を検出
した後、画像のうちの移動体候補の周辺と移動体モデル
とを比較して移動体を発見する移動体発見手段と、移動
体発見手段により発見された移動体を画像撮像手段によ
り順次撮像される画像に基づいて追跡する移動体追跡手
段とを備えるものである。

【００２８】この発明に係る移動体検出装置は、各移動
体モデルの大きさに応じた重みを付けて合成された移動
体モデル合成パターンを使用するようにしたものであ
る。

【００２９】この発明に係る移動体検出方法は、所定の
周期で画像を撮像するステップと、撮像した画像のうち
の輝度値変化領域を抽出するステップと、検出対象であ
る複数の移動体にそれぞれ対応する複数の移動体モデル
を合成した移動体モデル合成パターンと輝度値変化領域
に基づいて移動体候補を検出するステップと、画像のう
ちの移動体候補の周辺と移動体モデルとを比較して移動
体を発見するステップと、発見した移動体を順次撮像さ
れる画像に基づいて追跡するステップとを備えるもので
ある。

【００３０】この発明に係る移動体検出装置は、所定の
周期で画像を撮像する画像撮像手段と、画像撮像手段に
より撮像された画像のうちの輝度値変化領域を抽出する
変化領域抽出手段と、検出対象である移動体に対応する
移動体モデルを使用して、輝度値変化領域に基づいて移
動体を発見する移動体発見手段と、移動体発見手段によ
り発見された移動体の部分の画像をテンプレートとして
画像から抽出し、次回以降に撮像される画像のうちの輝
度値変化領域に対応した部分とテンプレートとをテンプ
レートマッチングし、移動体を順次検出して追跡する移
動体追跡手段とを備えるものである。

【００３１】この発明に係る移動体検出装置は、移動体
追跡手段において、次回以降に撮像される画像のうちの
輝度値変化領域に対応した部分とテンプレートとをテン
プレートマッチングして移動体の位置を検出し、検出し
た移動体に対応する部分の輝度値変化領域の重心位置に
基づいてその移動体の位置を補正するようにしたもので
ある。

【００３２】この発明に係る移動体検出装置は、移動体
追跡手段において、移動体の位置が変化した場合、補正
後の移動体の位置に基づいて画像から移動体の部分の画
像をテンプレートとして抽出してテンプレートを更新す
るようにしたものである。

【００３３】この発明に係る移動体検出方法は、所定の
周期で画像を撮像するステップと、撮像した画像のうち
の輝度値変化領域を抽出するステップと、検出対象であ
る移動体に対応する移動体モデルを使用して、輝度値変
化領域に基づいて移動体を発見するステップと、発見し
た移動体の部分の画像をテンプレートとして画像から抽
出し、次回以降に撮像される画像のうちの輝度値変化領
域に対応した部分とテンプレートとをテンプレートマッ
チングし、移動体を順次検出して追跡するステップとを
備えるものである。

【００３４】この発明に係る移動体検出装置は、所定の
周期で画像を撮像する画像撮像手段と、時間の経過とと
もに撮像された複数の画像について画素毎または複数個
の画素からなる局所ブロック単位で輝度値の変化量のば
らつきに応じて画像に基づいて背景画像を更新する背景
画像更新手段と、背景画像を使用して、画像撮像手段に
より撮像された画像のうち輝度値変化領域を抽出する変
化領域抽出手段と、検出対象である移動体に対応する移
動体モデルを使用して、輝度値変化領域に基づいて移動
体を発見する移動体発見手段と、移動体発見手段により
発見された移動体を画像撮像手段により順次撮像される
画像に基づいて追跡する移動体追跡手段とを備えるもの
である。

【００３５】この発明に係る移動体検出装置は、背景画
像更新手段により、撮像された複数の画像について画素
毎または複数個の画素からなる局所ブロック単位で輝度
値の変化量のばらつきを所定の期間の経過毎に計算し、
複数の所定の期間におけるばらつきの変化に応じて背景
画像を更新するようにしたものである。

【００３６】この発明に係る移動体検出方法は、所定の
周期で画像を撮像するステップと、時間の経過とともに
撮像された複数の画像について画素毎または複数個の画
素からなる局所ブロック単位で輝度値の変化量のばらつ
きに応じて画像に基づいて背景画像を更新するステップ
と、背景画像を使用して、撮像した画像のうち輝度値変
化領域を抽出するステップと、検出対象である移動体に
対応する移動体モデルを使用して、輝度値変化領域に基
づいて移動体を発見するステップと、発見した移動体を
順次撮像する画像に基づいて追跡するステップとを備え
るものである。

【００３７】この発明に係る移動体検出装置は、所定の
周期で画像を撮像する画像撮像手段と、画像撮像手段に
より撮像された画像のうちの輝度値変化領域を抽出する
変化領域抽出手段と、検出対象である移動体に対応する
移動体モデルを使用して、輝度値変化領域に基づいて移
動体の発見を試みる移動体発見手段と、画像撮像手段に
より順次撮像される画像において移動体発見手段により
発見された移動体を検出し、追跡を試みる移動体追跡手
段と、輝度値変化領域が画像または画像のうちの所定の
特定区域の所定の割合以上を占めている場合において、
移動体発見手段により輝度値変化領域の大きさに応じた
所定の数以上の移動体が発見されない時、または移動体
追跡手段により移動体が検出されない時には、輝度値変
化領域の大きさおよび移動体モデルの面積に基づく移動
体の概数、並びに輝度値変化領域での輝度値の時間的変
化に基づく移動体の平均移動速度のうちの少なくとも１
つを計算する計算手段とを備えるものである。

【００３８】この発明に係る移動体検出方法は、所定の
周期で画像を撮像するステップと、撮像した画像のうち
の輝度値変化領域を抽出するステップと、検出対象であ
る移動体に対応する移動体モデルを使用して、輝度値変
化領域に基づいて移動体の発見を試みるステップと、発
見した移動体を、順次撮像される画像において検出し、
追跡を試みるステップと、輝度値変化領域が画像または
その画像のうちの所定の特定区域の所定の割合以上を占
めている場合において、輝度値変化領域の大きさに応じ
た所定の数以上の移動体が発見されない時、または移動
体の追跡において移動体が検出されない時には、輝度値
変化領域の大きさおよび移動体モデルの面積に基づく移
動体の概数、並びに輝度値変化領域での輝度値の時間的
変化に基づく移動体の平均移動速度のうちの少なくとも
１つを計算するステップとを備えるものである。

【００３９】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による移
動体検出装置の構成を示すブロック図である。図１にお
いて、１はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄ
ｅｖｉｃｅ）などの撮像素子により所定の周期で画像を
撮像し、その画像をデジタルデータとして記憶する画像
入力部（画像撮像手段）であり、２は検出対象である移
動体の存在しない画像（背景画像）を予め記憶する背景
画像データベースであり、３は画像入力部１により撮像
された画像のうち、背景画像と比較して輝度値が変化し
た領域（輝度値変化領域）を抽出する変化領域抽出部
（変化領域抽出手段）である。

【００４０】４Ａは検出対象である複数の移動体にそれ
ぞれ対応する複数の移動体モデルを合成した移動体モデ
ル合成パターンを使用したハフ変換に従って輝度値変化
領域に基づいて移動体候補を検出した後、撮像された画
像のうちの移動体候補の周辺と移動体モデルとを比較し
て移動体を発見する移動体発見部（移動体発見手段）で
あり、５は移動体発見部４Ａにより発見された移動体を
画像入力部１により順次撮像される画像に基づいて追跡
する移動体追跡部（移動体追跡手段）である。

【００４１】移動体発見部４Ａにおいて、１１は移動体
モデル合成パターン（投票パターン）を予め記憶する投
票パターンデータベースであり、１２は投票パターンを
使用したハフ変換に従って輝度値変化領域の各画素に対
応してパラメータ空間への投票処理を実行する投票部で
あり、１３はパラメータ空間における投票度数の１つま
たは複数の極大点を移動体候補点として検出する極大点
検出部であり、１４は各種形状および各種姿勢の移動体
のモデルである移動体モデルの集合を予め記憶する移動
体モデルデータベースであり、１５は各移動体候補点に
おいて、移動体候補点の周辺の輝度値変化領域と各移動
体モデルとの一致度を計算し、移動体の有無および形状
や姿勢を決定するモデルマッチング部である。

【００４２】図２は移動体モデルの例を示す図であり、
図３は投票パターンの一例を示す図である。図２に示す
ように、移動体モデルはそれぞれ形状、姿勢（大きさを
含む）の異なるシルエットモデルとする。そして図３に
示すように、各移動モデルの領域内の各点に対して移動
体モデルの面積に応じた重みを設定する。例えば移動体
モデルの面積の逆数に比例する重みを設定する。そし
て、すべての移動体モデルの左上の点を基準として移動
体モデルを重ね合わせ、その領域の各点で重みを合成し
たものを投票パターンとする。

【００４３】次に動作について説明する。図４は実施の
形態１による移動体検出装置の動作について説明するフ
ローチャートである。図５は投票処理について説明する
図であり、図６は極大点検出処理について説明する図で
あり、図７はモデルマッチングについて説明する図であ
る。

【００４４】装置が起動されるとステップＳＴ１におい
て所定の周期毎に画像入力部１は画像を撮像し、記憶す
る。そして変化領域抽出部３は、ステップＳＴ２におい
て、画像入力部１から最新の画像を、背景画像データベ
ース２から背景画像をそれぞれ読み出し、その画像と背
景画像との輝度値の差（背景差分）を画素毎に計算し、
その背景差分を所定の閾値で二値化処理し、差分値の大
きい画素集合（輝度値変化領域）を抽出する。すなわち
画像に移動体が出現した場合、撮像された画像と背景画
像とを比較すると、移動体に対応した画素集合またはそ
の一部分に大きな差が現れ、その部分が輝度値変化領域
として抽出される。したがって輝度値変化領域は移動体
の存在を示す証拠情報になる。

【００４５】次にステップＳＴ３において、移動体発見
部４Ａの投票部１２は、図５に示すようにハフ変換に基
づいて、輝度値変化領域の各画素の座標値（Ｘｉ，Ｙ
ｉ）に対応するパラメータ空間の各点（Ｘｉ，Ｙｉ）に
投票パターンの左上を合わせて、それぞれパラメータ空
間へ投票パターンの各点の重みを投票する（すなわち、
投票パターンの各点の重みを順次蓄積していく）。な
お、パラメータ空間は、左上を原点とした入力画像と同
じ座標軸（ｘ，ｙ）を有し、パラメータ空間の各点
（ｘ，ｙ）は移動体モデルの右下の位置を表現するもの
とする。

【００４６】輝度値変化領域のすべての画素に対して投
票を実行した後、ステップＳＴ４において移動体発見部
４Ａの極大点検出部１３は図６に示すようにパラメータ
空間において投票度数の１つ、または複数の極大点を検
出し、検出した点を移動体候補点（Ｘｐ，Ｙｐ）とす
る。したがってその移動体候補点を右下とする移動体が
存在する可能性がある。

【００４７】そしてステップＳＴ５において、移動体発
見部４Ａのモデルマッチング部１５は、図７に示すよう
に、各移動体候補点に対して、移動体候補点の周辺の輝
度値変化領域（すなわち移動体候補の部分）と移動体モ
デルデータベース１４に記憶された各移動体モデルとの
一致度を算出する。

【００４８】このように、複数の移動体モデルを合成し
た投票パターンを使用したハフ変換では、移動体の候補
位置しか分からない（移動体の形状等は分からない）た
めハフ変換後にモデルマッチングを行うが、探索を行う
わけではなく、移動体候補点を基準として各移動体モデ
ルに対応する輝度値変化領域の部分と移動体モデルとの
マッチングだけであるので、ほとんど計算時間を要さな
い。

【００４９】モデルマッチング部１５はステップＳＴ６
において各移動体候補点に対して一致度が所定の値より
高い移動体モデルが存在するか否かを判断し、一致度が
所定の値より高い移動体モデルが存在する場合、その移
動体候補点を基準位置として、その移動体モデルの形状
および姿勢に類似した移動体が存在すると判断し、一致
度が所定の値より高い移動体モデルが存在しない場合、
移動体が存在しないと判断する。

【００５０】そしてステップＳＴ７において移動体追跡
部５は、画像入力部１により順次撮像される画像におい
てそれまでに発見された移動体を検出して各移動体を経
時的に追跡する。

【００５１】以上のステップＳＴ１〜ステップＳＴ７の
処理が所定の時間間隔で繰り返し実行される。

【００５２】以上のように、この実施の形態１によれ
ば、検出対象である複数の移動体にそれぞれ対応する複
数の移動体モデルを合成した移動体モデル合成パターン
を使用したハフ変換に従って移動体候補を検出した後、
画像のうちの移動体候補の部分と移動体モデルとを比較
して移動体を発見するようにしたので、ハフ変換による
頑健性を損なわないで、移動体発見に要する記憶容量を
低減することができるとともに迅速かつ正確に移動体の
検出をすることができるいう効果が得られる。特に検出
対象である移動体の種類が多い場合、この効果は顕著で
ある。

【００５３】また、複数種類の移動体モデルを合成した
投票パターンを使用してもハフ変換の特長である「投票
による証拠情報の統合」と「多数決原理」に基づく処理
の頑健性については失われないため、背景差分に誤りや
欠落があっても全体としては安定して移動体（の候補位
置）を発見することができるという効果が得られる。

【００５４】さらに、この実施の形態１によれば、移動
体モデルの面積に応じた重みを重畳して投票パターンに
設定するようにしたので、投票後にパラメータ空間に現
れる極大点が明確になり（鋭くなり）、移動体候補の発
見率を高くすることができるとともに移動体候補点の誤
検出を減少することができるという効果が得られる。

【００５５】なお、この実施の形態１では、複数の移動
体モデルを合成した合成パターンを使用したハフ変換に
従って移動体候補を検出したが、ハフ変換のかわりに、
合成パターンと変化領域の畳み込み（ｃｏｎｖｏｌｕｔ
ｉｏｎ）演算を行って、演算結果の極大点を探索して、
移動体候補を検出してもよい。

【００５６】また、この実施の形態１では、背景画像の
生成方法は特に限定されず、また、画像が入力されるた
びに背景画像を更新するようにしてもよい。

【００５７】さらに、この実施の形態１では、変化領域
抽出部３は背景画像と入力画像との輝度値の差を計算し
て輝度値変化領域を抽出するようにしたが、特に限定さ
れるものではなく、時間的に異なる入力画像同士の輝度
値の差を計算して輝度値変化領域を抽出してもよい。そ
の場合には背景画像データベース２は特に必要ない。ま
た、輝度値の差を計算する場合、画素単位で計算しても
よいし、複数個の画素からなる局所ブロック単位で空間
的な輝度分布形状の差として計算してもよい。

【００５８】さらに、この実施の形態１では、各移動体
モデルの面積に対応する重みを重畳して投票パターンに
設定するようにしたが、重みの設定はこれに限定される
ものではなく、移動体モデルの形状や姿勢に応じた重み
を投票パターンに設定するようにしてもよい。

【００５９】さらに、この実施の形態１では、移動体モ
デルを合成する際の基準点を移動体モデルの左上の点と
したが、特にこれに限定されるものではない。同様に、
パラメータ空間の各点（ｘ，ｙ）が移動体モデルの右下
の位置を表現するようにしたが、特にこれに限定される
ものではない。ただし、投票パターンの合成基準点とパ
ラメータ空間の各点は相互に関連があるようにする。

【００６０】さらに、画像とパラメータ空間の座標軸の
取り方についても上述のように限定されるものではな
い。

【００６１】さらに、この実施の形態１では、モデルマ
ッチングにおける一致度を特に例示していないが、例え
ば移動体モデルとオーバラップする輝度値変化領域の割
合などを一致度として使用すればよい。

【００６２】さらに、この実施の形態１では、移動体追
跡部５における移動体の追跡方法については特に限定さ
れるものではなく、例えば各時刻に発見された移動体の
位置およびそのときに適合した移動体モデルの種類に基
づいて姿勢などを推定して、移動体を経時的に対応づけ
て追跡すればよい。

【００６３】実施の形態２．図８はこの発明の実施の形
態２による移動体検出装置の構成を示すブロック図であ
る。図８において、４は検出対象である移動体に対応す
る移動体モデルを使用して、変化領域抽出部３により抽
出された輝度値変化領域より移動体を発見する移動体発
見部（移動体発見手段）であり、５Ａは移動体発見部４
により発見された移動体の部分の画像をテンプレートと
して画像入力部１による画像（入力画像）から抽出し、
次回以降に撮像される画像のうちの輝度値変化領域に対
応した部分とテンプレートとをテンプレートマッチング
し、移動体を順次検出して追跡する移動体追跡部（移動
体追跡手段）である。

【００６４】移動体追跡部５Ａにおいて、２１は移動体
発見部４により発見された移動体の部分画像を入力画像
からテンプレートとして切り出すテンプレート切出部で
あり、２２は切り出されたテンプレートを記憶するテン
プレートデータベースであり、２３はテンプレートデー
タベース２２に記憶されているテンプレートと入力画像
の輝度値変化領域に対応した部分との間でテンプレート
マッチングを実行して移動体の現在の位置を検出するテ
ンプレートマッチング部である。

【００６５】なお、図８におけるその他の構成要素につ
いては実施の形態１によるもの（図１）と同様であるの
でその説明を省略する。

【００６６】次に動作について説明する。図９は実施の
形態２による移動体検出装置の動作について説明するフ
ローチャートである。図１０は入力画像の一例とそれに
対応する輝度値変化領域の中間調画像を示す図面代用写
真である。図１１は実施の形態２におけるテンプレート
マッチングを説明する中間調画像を示す図面代用写真で
ある。

【００６７】装置が起動されるとステップＳＴ１１にお
いて所定の周期毎に画像入力部１は画像を撮像し、記憶
する。そして変化領域抽出部３は、実施の形態１と同様
に、ステップＳＴ１２において、画像入力部１から最新
の画像を、背景画像データベース２から背景画像をそれ
ぞれ読み出し、その画像と背景画像との輝度値の差（背
景差分）を画素毎に計算し、その背景差分を所定の閾値
で二値化処理し、差分値の大きい画素集合（輝度値変化
領域）を抽出する。

【００６８】次にステップＳＴ１３において、移動体発
見部４は、内蔵の図示せぬ移動体モデルデータベースに
記憶されている複数種類の移動体モデルと変化領域抽出
部３により抽出された輝度値変化領域との一致度に基づ
いて新規に出現した移動体を発見する。

【００６９】そしてステップＳＴ１４において、移動体
追跡部５Ａのテンプレート切出部２１は入力画像からそ
の新規移動体の部分画像をテンプレートとして切り出
し、テンプレートデータベース２２に記憶させる。

【００７０】そしてステップＳＴ１５において、テンプ
レートマッチング部２３は、テンプレートデータベース
２２において記憶されている各テンプレートと最新の入
力画像の輝度値変化領域に対応した部分との間でテンプ
レートマッチングを実行して移動体の現在の位置を検出
する。

【００７１】このとき従来のテンプレートマッチングと
は異なり、図１０に示すような入力画像のうちの輝度値
変化領域に対応した部分のみを使用して、図１１に示す
ようにその部分の画像とテンプレートとの類似度（例え
ば式（１）や式（２）によるもの）が計算される。すな
わち、類似度計算前に、入力画像のうちの輝度値変化領
域の部分を抽出することにより、テンプレートマッチン
グされる入力画像から背景と考えられる部分が予め除去
される。

【００７２】そして、テンプレートマッチング部２３
は、各テンプレートと探索範囲内のすべての部分画像と
の類似度をした後、類似度が所定の閾値以上であり、か
つ周辺の類似度に比べ突出した値を有する位置を移動体
の現在位置として検出する。このように、一旦発見した
移動体を経時的に撮像される画像において検出すること
により、移動体を追跡する。

【００７３】なお、ステップＳＴ１１〜ステップＳＴ１
５の処理は所定の時間間隔で繰り返し実行される。

【００７４】以上のように、この実施の形態２によれ
ば、発見された移動体の部分の画像をテンプレートとし
て画像から抽出し、次回以降に撮像される画像のうちの
輝度値変化領域とテンプレートとをテンプレートマッチ
ングし、移動体を順次検出して追跡するようにしたの
で、テンプレートマッチングに要する計算時間が低減す
ることができ、移動体の検出を迅速かつ正確に実行する
ことができるという効果が得られる。

【００７５】また、この実施の形態２によれば、移動体
の存在を示す証拠情報である輝度値変化領域の部分画像
のみを利用したテンプレートマッチングでは、テンプレ
ートに検出対象である移動体以外の一様な背景が含まれ
ている場合でも、テンプレートが背景に適合することな
く正確なマッチングをすることができ、正確に移動体を
追跡することができるという効果が得られる。

【００７６】なお、この実施の形態２では、背景画像の
生成方法は特に限定されず、また、画像が入力されるた
びに背景画像を更新するようにしてもよい。

【００７７】また、この実施の形態２では、変化領域抽
出部３は背景画像と入力画像との輝度値の差を計算して
輝度値変化領域を抽出するようにしたが、特に限定され
るものではなく、時間的に異なる入力画像同士の輝度値
の差を計算して輝度値変化領域を抽出してもよい。その
場合には、背景画像データベース２は特に必要ない。ま
た、輝度値の差を計算する場合、画素単位で計算しても
よいし、複数個の画素からなる局所ブロック単位で空間
的な輝度分布形状の差として計算してもよい。

【００７８】さらに、この実施の形態２では、移動体発
見部４における移動体の発見方法は特に限定されない。
実施の形態１における移動体発見部４Ａと同様にしても
勿論よい。

【００７９】さらに、この実施の形態２では、テンプレ
ートマッチングの際に、入力画像のうちの輝度値変化領
域の部分とテンプレートとをマッチングするようにして
背景部分との適合を回避しているが、その代わりに、輝
度値変化領域を使用してテンプレート内の背景部分を除
去したものをテンプレートとしてテンプレートデータベ
ースに予め記憶させるようにしてもよい。

【００８０】実施の形態３．図１２はこの発明の実施の
形態３による移動体検出装置の構成を示すブロック図で
ある。図１２において、２６は移動体の位置が変化した
場合、移動体の位置に基づいて画像から移動体の部分の
画像をテンプレートとして抽出してそのテンプレートを
更新するテンプレート更新部である。なお、図１２にお
けるその他の構成要素については実施の形態２によるも
の（図８）と同様であるのでその説明を省略する。

【００８１】次に動作について説明する。図１３は実施
の形態３による移動体検出装置の動作について説明する
フローチャートである。まずこの実施の形態３による移
動体検出装置はステップＳＴ２１〜ステップＳＴ２５に
おいて、実施の形態２におけるステップＳＴ１１〜ステ
ップＳＴ１５（図９）と同様に動作する。

【００８２】そしてテンプレートマッチング部２３は、
移動体の現在位置が検出された場合、ステップＳＴ２６
において検出した移動体に対応する部分の輝度値変化領
域の重心位置に基づいてその移動体の位置を補正する。
このとき例えば、移動体の位置を重心位置に変更した
り、移動体の位置を重心位置の方向へ所定の範囲内で近
づけるようにして移動体の位置を補正する。

【００８３】その後テンプレートマッチング部２３は補
正後の移動体の位置をテンプレート更新部２６に供給す
る。そしてステップＳＴ２７において、テンプレート更
新部２６は、供給された補正後の移動体の位置に基づい
て、最新の入力画像から移動体に対応する部分を再度切
り出し、テンプレートデータベース２２のテンプレート
を更新する。

【００８４】以上のように、この実施の形態３によれ
ば、移動体追跡部５Ａにおいて、次回以降に撮像される
画像のうちの輝度値変化領域とテンプレートとをテンプ
レートマッチングして移動体の位置を検出し、検出した
移動体に対応する部分の輝度値変化領域の重心位置に基
づいてその移動体の位置を補正するようにしたので、そ
の時点での移動体の位置が迅速かつ正確に検出され、移
動体を正確に追跡することができるという効果が得られ
る。

【００８５】また、この実施の形態３によれば、輝度値
変化領域の重心位置に基づいて補正した移動体の位置に
基づいて画像から移動体の部分の画像をテンプレートと
して抽出してテンプレートを更新するようにしたので、
テンプレートの更新に伴う移動体の位置誤差の累積が抑
制され、迅速かつ正確に移動体を追跡することができる
という効果が得られる。

【００８６】なお、この実施の形態３では移動体の追跡
位置を補正するとともに補正後の位置に基づいてテンプ
レートを更新するようにしているが、移動体の追跡位置
の補正をせずに、単に輝度値変化領域の重心位置に基づ
いてテンプレートの切出位置を補正するだけでもテンプ
レートの更新に伴う移動体の位置誤差の累積が抑制さ
れ、移動体を正確に追跡することができる。ただし、実
施の形態３のように移動体の追跡位置を補正するように
したほうが、上述のようにより移動体を正確に追跡する
ことができる。

【００８７】また、この実施の形態３では、背景画像の
生成方法は特に限定されず、また、画像が入力されるた
びに背景画像を更新するようにしてもよい。

【００８８】さらに、この実施の形態３では、変化領域
抽出部３は、背景画像と入力画像との輝度値の差を計算
して輝度値変化領域を抽出するようにしたが、特に限定
されるものではなく、時間的に異なる入力画像同士の輝
度値の差を計算して輝度値変化領域を抽出してもよい。
その場合には背景画像データベース２は特に必要ない。
また、輝度値の差を計算する場合、画素単位で計算して
もよいし、複数個の画素からなる局所ブロック単位で空
間的な輝度分布形状の差として計算してもよい。

【００８９】さらに、この実施の形態３では、移動体発
見部４における移動体の発見方法は特に限定されない。
実施の形態１における移動体発見部４Ａと同様にしても
勿論よい。

【００９０】さらに、この実施の形態３では、テンプレ
ートマッチングの際に、入力画像のうちの輝度値変化領
域の部分とテンプレートとをマッチングするようにして
背景部分との適合を回避しているが、その代わりに、輝
度値変化領域を使用してテンプレート内の背景部分を除
去したものをテンプレートとしてテンプレートデータベ
ースに予め記憶させるようにしてもよい。

【００９１】実施の形態４．図１４はこの発明の実施の
形態４による移動体検出装置の構成を示すブロック図で
ある。図１４において、６は時間の経過とともに撮像さ
れた複数の入力画像について画素毎に輝度値の変化量の
ばらつきに応じて入力画像に基づいて背景画像を更新す
る背景生成部（背景画像更新手段）である。

【００９２】背景生成部６において、３１は順次撮像さ
れる複数の入力画像に対応する背景差分に基づいて画素
毎に輝度値の変化量のばらつきを計算し、そのばらつき
に基づいて移動体の有無を画素毎に判定し、その判定結
果に基づいて移動体マスク画像を生成する移動体マスク
生成部であり、３２は各時間帯の移動体マスク画像およ
びその時間帯に撮像されたいずれかの入力画像から背景
画像を生成し、背景画像データベース２の背景画像を更
新する背景画像更新部である。なお、図１４におけるそ
の他の構成要素については実施の形態１または実施の形
態２によるもの（図１、図８）と同様であるので、その
説明を省略する。

【００９３】次に動作について説明する。図１５は実施
の形態４による移動体検出装置の動作について説明する
フローチャートである。まずこの実施の形態４による移
動体検出装置はステップＳＴ３１〜ステップＳＴ３３に
おいて実施の形態２におけるステップＳＴ１１〜ステッ
プＳＴ１３（図９）と同様に動作し、ステップＳＴ３４
において実施の形態１におけるステップＳＴ７（図４）
と同様に動作する。

【００９４】そしてステップＳＴ３５において、背景生
成部６の移動体マスク生成部３１は所定の時間帯が経過
したか否かを判断し、所定の時間帯が経過した場合には
ステップＳＴ３６において、その時間帯に撮像された複
数の入力画像に対応する背景差分に基づいて画素毎に輝
度値の変化量のばらつきを計算し、そのばらつきに基づ
いてその時間帯における移動体の有無を画素毎に判定
し、その判定結果に基づいて移動体マスク画像を生成す
る。

【００９５】このとき、移動体マスク生成部３１は画素
毎に差分値の時間的なばらつきを観測し、ばらつきが所
定の閾値以下である場合、その画素は移動体に含まれな
いと判断する。ここで、ばらつきとしては分散などの統
計的指標を使用することができる。また、移動体マスク
画像は、その時間帯に移動体が存在したと判断された画
素を１とし、それ以外の画素を０とした画像である。

【００９６】次に背景画像更新部３２はステップＳＴ３
７においてその移動体マスク画像とその時間帯に撮像さ
れた入力画像に基づいて背景画像を更新する。このと
き、入力画像のうちの、移動体マスク画像の値が０であ
る画素の部分で、背景画像データベース２の背景画像の
対応する部分を更新する。

【００９７】一方、ステップＳＴ３５において所定の時
間帯が経過していないと判断した場合、背景生成部６は
背景画像の更新は実行せず、ステップＳＴ３１〜ステッ
プＳＴ３４の処理を繰り返し実行する。

【００９８】以上、ステップＳＴ３１〜ステップＳＴ３
７の処理が所定の時間間隔で繰り返し実行される。

【００９９】以上のように、この実施の形態４によれ
ば、入力画像の各画素値の変化の時間的なばらつきを観
測して移動体マスク画像を生成し、移動体マスク画像に
基づいて背景画像を更新するようにしたので、背景画像
への移動体の混入を抑制することができ、環境変動、構
造物の変動などがあっても移動体を迅速かつ正確に検出
することができるという効果が得られる。

【０１００】なお、入力画像の各画素値に変化のある時
間帯でのばらつきを観測し、さらに連続する複数の時間
帯で同様にばらつきを観測し、ばらつきの安定度合に基
づいて背景画像を更新するようにすれば、より効果的で
ある。

【０１０１】また、この実施の形態４では、画素毎に輝
度値の差分値の時間的なばらつきを観測して移動体の有
無を判定するようにしているが、複数個の画素からなる
局所ブロック単位で移動体の有無を判定するようにして
もよい。同様に、背景差分の計算や背景画像の更新も局
所ブロック単位で行うようにしてもよい。

【０１０２】さらに、この実施の形態４では、移動体マ
スク画像に基づいて背景画像の一部を、入力画像の対応
する部分で更新するようにしているが、例えば元の背景
画像の画素の輝度値と入力画像の画素の輝度値との平均
値を新しい背景画像の画素の輝度値とするようにしても
よい。

【０１０３】さらに、この実施の形態４では、初期の背
景画像の生成方法、移動体の発見方法や移動体の追跡方
法は特に限定されるものではなく、例えば実施の形態１
〜実施の形態３と同様にしても勿論よい。

【０１０４】さらに、この実施の形態４では、移動体マ
スク画像の生成において移動体の有無を時間的に解析す
るようにしているため、その結果に基づいて移動体の位
置を検出して移動体を追跡するようにしてもよい。

【０１０５】実施の形態５．図１６はこの発明の実施の
形態５による移動体検出装置の構成を示すブロック図で
ある。図１６において、７は輝度値変化領域が画像また
は画像のうちの所定の特定区域の所定の割合以上を占め
ている場合において、所定の数以上の移動体が発見され
ない時、または移動体の追跡において移動体が検出され
ない時には、移動体の概数および平均移動速度を計算す
る混雑度概算部（計算手段）である。なお、図１６にお
けるその他の構成要素については実施の形態１または実
施の形態２によるもの（図１，図８）と同様であるので
その説明を省略する。

【０１０６】次に動作について説明する。図１７は実施
の形態５による移動体検出装置の動作について説明する
フローチャートである。まずこの実施の形態５による移
動体検出装置はステップＳＴ４１〜ステップＳＴ４３に
おいて実施の形態２におけるステップＳＴ１１〜ステッ
プＳＴ１３（図９）と同様に動作し、ステップＳＴ４４
において実施の形態１におけるステップＳＴ７（図４）
と同様に動作する。

【０１０７】そしてステップＳＴ４５において、混雑度
概算部７は、輝度値変化領域が画像の全体または所定の
特定区域の所定の割合以上を占めており、かつ移動体発
見部４により移動体が輝度値変化領域の大きさに応じて
設定される所定の数以上発見されていないという第１の
条件、および輝度値変化領域が画像の全体または所定の
特定区域の所定の割合以上を占めており、かつ移動体追
跡部５により移動体が検出されていないという第２の条
件のいずれかが満足されるか否かを判断する。

【０１０８】第１および第２の条件のいずれかが満足さ
れる場合には、混雑度概算部７は、移動体が混雑しすぎ
て発見や追跡が困難になったと判断し、ステップＳＴ４
６において移動体混雑度として、画像全体または特定区
域における輝度値変化領域の大きさおよび移動体モデル
の面積に基づいて移動体の概数を計算し、さらに輝度値
変化領域での輝度値の時間的変化に基づいて移動体の平
均移動速度を計算する。なお、移動体の平均移動速度
は、例えば輝度値変化領域における適当な複数の場所に
おけるオプティカルフローに基づいて計算する。ここで
オプティカルフローとは画像上での見かけの速度分布で
ある。

【０１０９】一方、ステップＳＴ４５において第１およ
び第２の条件のいずれも満足されない場合には、正常に
移動体が発見、追跡されていると判断し、移動体混雑度
の計算は実行されない。

【０１１０】なお、ステップＳＴ４５において移動体が
混雑しすぎて発見や追跡が困難になったと判断した場合
には、装置の出力として、本来の発見追跡結果の代わり
に、概算した移動体数、平均移動速度が出力される。

【０１１１】以上のように、この実施の形態５によれ
ば、輝度値変化領域が画像または画像のうちの所定の特
定区域の所定の割合以上を占めている場合において、輝
度値変化領域の大きさに応じて設定される所定の数以上
の移動体が発見されない時、または移動体が検出されず
追跡が困難な時には、移動体の概数や平均移動速度を計
算するようにしたので、移動体が混雑している場合には
移動体の概数や移動体の平均移動速度に基づいて移動体
の挙動を知ることができるという効果が得られる。

【０１１２】なお、この実施の形態５では、オプティカ
ルフローを使って移動体の平均移動速度を計算するよう
にしているが、特に限定されるものではなく、例えば次
のようにして計算するようにしてもよい。すなわち、画
像の全体または特定区域に占める輝度値変化領域を、移
動体の想定される進行方向に対して垂直方向へ投影し、
この投影分布の時間的な変動から平均移動速度を計算す
るようにしてもよい。

【０１１３】また、この実施の形態５では、背景画像の
生成方法は特に限定されず、また、画像が入力されるた
びに背景画像を更新するようにしてもよい。

【０１１４】さらに、この実施の形態５では、変化領域
抽出部３は、背景画像と入力画像との輝度値の差を計算
して輝度値変化領域を抽出するようにしたが、特に限定
されるものではなく、時間的に異なる入力画像同士の輝
度値の差を計算して輝度値変化領域を抽出してもよい。
その場合には背景画像データベース２は特に必要ない。
また、輝度値の差を計算する場合、画素単位で計算して
もよいし、複数個の画素からなる局所ブロック単位で空
間的な輝度分布形状の差として計算してもよい。

【０１１５】さらに、この実施の形態５では、移動体発
見部４における移動体の発見方法や移動体追跡部５にお
ける移動体の追跡方法は特に限定されない。なお、実施
の形態１における移動体発見部４Ａや実施の形態２にお
ける移動体発見部５Ａと同様にしても勿論よい。

【０１１６】

【発明の効果】以上のように、この発明によれば、所定
の周期で画像を撮像し、撮像した画像のうちの輝度値変
化領域を抽出し、検出対象である複数の移動体にそれぞ
れ対応する複数の移動体モデルを合成した移動体モデル
合成パターンと輝度値変化領域に基づいて移動体候補を
検出し、画像のうちの移動体候補の周辺と移動体モデル
とを比較して移動体を発見し、発見した移動体を順次撮
像される画像に基づいて追跡するように構成したので、
ハフ変換による頑健性を損なわないで、移動体発見に要
する計算時間や記憶容量を低減することができ、迅速か
つ正確に移動体を検出することができるという効果があ
る。特に検出対象である移動体の種類が多い場合、この
効果は顕著である。

【０１１７】この発明によれば、各移動体モデルの大き
さに応じた重みを付けて合成された移動体モデル合成パ
ターンを使用するようにしたので、投票後にパラメータ
空間に現れる極大点が明確になり（鋭くなり）、移動体
候補の発見率を高くすることができるとともに移動体候
補点の誤検出を減少することができるという効果があ
る。

【０１１８】この発明によれば、所定の周期で画像を撮
像し、撮像した画像のうちの輝度値変化領域を抽出し、
検出対象である移動体に対応する移動体モデルを使用し
て、輝度値変化領域に基づいて移動体を発見し、発見し
た移動体の部分の画像をテンプレートとして画像から抽
出し、次回以降に撮像される画像のうちの輝度値変化領
域に対応した部分とそのテンプレートとをテンプレート
マッチングし、移動体を順次検出して追跡するように構
成したので、テンプレートマッチングに要する計算時間
が低減することができ、迅速かつ正確に移動体を検出す
ることができるという効果がある。

【０１１９】また、移動体の存在を示す証拠情報である
輝度値変化領域の部分画像のみを利用したテンプレート
マッチングでは、テンプレートに検出対象である移動体
以外の背景が含まれている場合でも、テンプレートが背
景に適合することなく正確なマッチングをすることがで
き、迅速かつ正確に移動体を検出することができるとい
う効果がある。

【０１２０】この発明によれば、移動体の追跡におい
て、次回以降に撮像される画像のうちの輝度値変化領域
に対応した部分とテンプレートとをテンプレートマッチ
ングして移動体の位置を検出し、検出した移動体に対応
する部分の輝度値変化領域の重心位置に基づいてその移
動体の位置を補正するように構成したので、その時点で
の移動体の位置が迅速かつ正確に検出され、移動体を正
確に追跡することができるという効果がある。

【０１２１】この発明によれば、移動体の追跡におい
て、補正後の移動体の位置に基づいて画像から移動体の
部分の画像をテンプレートとして抽出してテンプレート
を更新するように構成したので、テンプレートの更新に
伴う移動体の位置誤差の累積が抑制され、迅速かつ正確
に移動体を検出することができるという効果がある。

【０１２２】この発明によれば、所定の周期で画像を撮
像し、時間の経過とともに撮像された複数の画像につい
て画素毎または複数個の画素からなる局所ブロック単位
で輝度値の変化量のばらつきに応じて画像に基づいて背
景画像を更新し、背景画像を使用して、撮像した画像の
うち輝度値変化領域を抽出し、検出対象である移動体に
対応する移動体モデルを使用して、輝度値変化領域に基
づいて移動体を発見し、順次撮像される画像に基づい
て、発見した移動体を追跡するように構成したので、背
景画像への移動体の混入を抑制することができ、環境変
動、構造物の変動などがあっても迅速かつ正確に移動体
を検出することができるという効果がある。

【０１２３】この発明によれば、背景画像の更新におい
て、撮像された複数の画像について画素毎または複数個
の画素からなる局所ブロック単位で輝度値の変化量のば
らつきを所定の期間の経過毎に計算し、複数の所定の期
間におけるばらつきの変化に応じて背景画像を更新する
ように構成したので、より背景画像への移動体の混入を
抑制することができるという効果がある。

【０１２４】この発明によれば、所定の周期で画像を撮
像する画像撮像手段と、画像撮像手段により撮像された
画像のうちの輝度値変化領域を抽出する変化領域抽出手
段と、検出対象である移動体に対応する移動体モデルを
使用して、輝度値変化領域に基づいて移動体の発見を試
みる移動体発見手段と、画像撮像手段により順次撮像さ
れる画像において移動体発見手段により発見された移動
体を検出し追跡を試みる移動体追跡手段と、輝度値変化
領域が画像または画像のうちの所定の特定区域の所定の
割合以上を占めている場合において、移動体発見手段に
より所定の数以上の移動体が発見されない時、または移
動体追跡手段により移動体が検出されない時には、移動
体の概数および平均移動速度のうちの少なくとも１つを
計算する計算手段とを備えるようにしたので、移動体が
混雑している場合には移動体の概数や平均移動速度に基
づいて移動体の挙動を知ることができるという効果があ
る。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による移動体検出装
置の構成を示すブロック図である。

【図２】 移動体モデルの例を示す図である。

【図３】 投票パターンの一例を示す図である。

【図４】 実施の形態１による移動体検出装置の動作に
ついて説明するフローチャートである。

【図５】 投票処理について説明する図である。

【図６】 極大点検出処理について説明する図である。

【図７】 モデルマッチングについて説明する図であ
る。

【図８】 この発明の実施の形態２による移動体検出装
置の構成を示すブロック図である。

【図９】 実施の形態２による移動体検出装置の動作に
ついて説明するフローチャートである。

【図１０】 入力画像の一例とそれに対応する輝度値変
化領域の中間調画像を示す図面代用写真である。

【図１１】 実施の形態２におけるテンプレートマッチ
ングを説明する中間調画像を示す図面代用写真である。

【図１２】 この発明の実施の形態３による移動体検出
装置の構成を示すブロック図である。

【図１３】 実施の形態３による移動体検出装置の動作
について説明するフローチャートである。

【図１４】 この発明の実施の形態４による移動体検出
装置の構成を示すブロック図である。

【図１５】 実施の形態４による移動体検出装置の動作
について説明するフローチャートである。

【図１６】 この発明の実施の形態５による移動体検出
装置の構成を示すブロック図である。

【図１７】 実施の形態５による移動体検出装置の動作
について説明するフローチャートである。

【図１８】 ハフ変換に基づく従来の移動体検出方法を
説明するフローチャートである。

【図１９】 ハフ変換での投票およびピーク検出を説明
する図である。

【図２０】 複数の検出対象を使用した場合のハフ変換
での投票およびピーク検出を説明する図である。

【図２１】 テンプレートマッチングに基づく従来の移
動体検出方法を説明するフローチャートである。

【図２２】 テンプレートマッチングを説明する中間調
画像を示す図面代用写真である。

【符号の説明】

１ 画像入力部（画像撮像手段）、３ 変化領域抽出部
（変化領域抽出手段）、４，４Ａ 移動体発見部（移動
体発見手段）、５，５Ａ 移動体追跡部（移動体追跡手
段）、６ 背景生成部（背景画像更新手段）、７ 混雑
度概算部（計算手段）。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/04 Ｇ０６Ｆ 15/70 ４１０ // Ｇ０８Ｂ 13/196 ４５５Ａ (72)発明者 鷲見 和彦 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 2F065 AA01 BB15 CC11 CC16 DD06 DD07 FF04 FF26 FF28 FF61 JJ03 JJ26 QQ04 QQ13 QQ21 QQ24 QQ25 QQ29 QQ39 QQ42 5C084 AA02 AA04 AA07 BB23 BB31 CC16 DD11 GG65 GG78 5C087 AA02 AA03 AA08 AA19 DD03 DD05 DD14 DD20 EE01 EE08 EE15 GG02 GG07 5H180 AA01 AA21 CC04 DD02 DD03 DD04 5L096 BA02 BA04 CA04 EA39 FA19 FA24 HA03 JA09

Claims (12)

【特許請求の範囲】
1. 【請求項１】 所定の周期で画像を撮像する画像撮像手
   段と、 前記画像撮像手段により撮像された画像のうち、輝度値
   が変化した領域を抽出する変化領域抽出手段と、 検出対象である複数の移動体にそれぞれ対応する複数の
   移動体モデルを合成した移動体モデル合成パターンと前
   記領域に基づいて移動体候補を検出した後、前記画像の
   うちの移動体候補の周辺と前記移動体モデルとを比較し
   て移動体を発見する移動体発見手段と、 前記移動体発見手段により発見された移動体を前記画像
   撮像手段により順次撮像される画像に基づいて追跡する
   移動体追跡手段とを備えた移動体検出装置。
2. 【請求項２】 移動体モデル合成パターンは、各移動体
   モデルの大きさに応じた重みを付けて合成されたもので
   あることを特徴とする請求項１記載の移動体検出装置。
3. 【請求項３】 所定の周期で画像を撮像するステップ
   と、 撮像した前記画像のうち、輝度値の変化した領域を抽出
   するステップと、 検出対象である複数の移動体にそれぞれ対応する複数の
   移動体モデルを合成した移動体モデル合成パターンと前
   記領域に基づいて移動体候補を検出するステップと、 前記画像のうちの移動体候補の周辺と前記移動体モデル
   とを比較して移動体を発見するステップと、 発見した移動体を順次撮像される画像に基づいて追跡す
   るステップとを備えた移動体検出方法。
4. 【請求項４】 所定の周期で画像を撮像する画像撮像手
   段と、 前記画像撮像手段により撮像された画像のうち、輝度値
   が変化した領域を抽出する変化領域抽出手段と、 検出対象である移動体に対応する移動体モデルを使用し
   て、前記変化領域抽出手段により抽出された領域に基づ
   いて移動体を発見する移動体発見手段と、 前記移動体発見手段により発見された移動体の部分の画
   像をテンプレートとして前記画像から抽出し、次回以降
   に撮像される画像のうちの前記変化領域抽出手段により
   抽出された領域に対応した部分と前記テンプレートとを
   テンプレートマッチングし、前記移動体を順次検出して
   追跡する移動体追跡手段とを備えた移動体検出装置。
5. 【請求項５】 移動体追跡手段は、前記次回以降に撮像
   される画像のうちの変化領域抽出手段により抽出された
   領域に対応した部分と前記テンプレートとをテンプレー
   トマッチングして移動体の位置を検出し、検出した移動
   体に対応する部分の前記変化領域抽出手段により抽出さ
   れた領域の重心位置に基づいてその移動体の位置を補正
   することを特徴とする請求項４記載の移動体検出装置。
6. 【請求項６】 移動体追跡手段は、補正後の前記移動体
   の位置に基づいて画像から前記移動体の部分の画像をテ
   ンプレートとして抽出してテンプレートを更新すること
   を特徴とする請求項５記載の移動体検出装置。
7. 【請求項７】 所定の周期で画像を撮像するステップ
   と、 撮像した画像のうち、輝度値が変化した領域を抽出する
   ステップと、 検出対象である移動体に対応する移動体モデルを使用し
   て、抽出した前記領域に基づいて移動体を発見するステ
   ップと、 発見した前記移動体の部分の画像をテンプレートとして
   前記画像から抽出し、次回以降に撮像される画像のうち
   の前記輝度値が変化した領域と前記テンプレートとをテ
   ンプレートマッチングし、前記移動体を順次検出して追
   跡するステップとを備えた移動体検出方法。
8. 【請求項８】 所定の周期で画像を撮像する画像撮像手
   段と、 時間の経過とともに撮像された複数の画像について画素
   毎または複数個の画素からなる局所ブロック単位で輝度
   値の変化量のばらつきに応じて前記画像に基づいて背景
   画像を更新する背景画像更新手段と、 前記背景画像を使用して、前記画像撮像手段により撮像
   された画像のうち輝度値が変化した領域を抽出する変化
   領域抽出手段と、 検出対象である移動体に対応する移動体モデルを使用し
   て、前記変化領域抽出手段により抽出された領域に基づ
   いて移動体を発見する移動体発見手段と、 前記移動体発見手段により発見された移動体を前記画像
   撮像手段により順次撮像される画像に基づいて追跡する
   移動体追跡手段とを備えた移動体検出装置。
9. 【請求項９】 背景画像更新手段は、撮像された複数の
   画像について画素毎または複数個の画素からなる局所ブ
   ロック単位で輝度値の変化量のばらつきを所定の期間の
   経過毎に計算し、複数の前記所定の期間における前記ば
   らつきの変化に応じて背景画像を更新することを特徴と
   する請求項８記載の移動体検出装置。
10. 【請求項１０】 所定の周期で画像を撮像するステップ
    と、 時間の経過とともに撮像された複数の画像について画素
    毎または複数個の画素からなる局所ブロック単位で輝度
    値の変化量のばらつきに応じて前記画像に基づいて背景
    画像を更新するステップと、 前記背景画像を使用して、撮像した前記画像のうち輝度
    値が変化した領域を抽出するステップと、 検出対象である移動体に対応する移動体モデルを使用し
    て、抽出した前記領域に基づいて移動体を発見するステ
    ップと、 発見した前記移動体を順次撮像する画像に基づいて追跡
    するステップとを備えた移動体検出方法。
11. 【請求項１１】 所定の周期で画像を撮像する画像撮像
    手段と、 前記画像撮像手段により撮像された画像のうち、輝度値
    が変化した領域を抽出する変化領域抽出手段と、 検出対象である移動体に対応する移動体モデルを使用し
    て、前記変化領域抽出手段により抽出された領域に基づ
    いて移動体の発見を試みる移動体発見手段と、 前記画像撮像手段により順次撮像される画像において前
    記移動体発見手段により発見された移動体を検出し、追
    跡を試みる移動体追跡手段と、 前記変化領域抽出手段により抽出された領域が前記画像
    またはその画像のうちの所定の特定区域の所定の割合以
    上を占めている場合において、前記移動体発見手段によ
    り前記領域の大きさに応じた所定の数以上の前記移動体
    が発見されない時、または前記移動体追跡手段により前
    記移動体が検出されない時には、前記変化領域抽出手段
    により抽出された領域の大きさおよび前記移動体モデル
    の面積に基づく前記移動体の概数、並びに前記変化領域
    抽出手段により抽出された領域での輝度値の時間的変化
    に基づく前記移動体の平均移動速度のうちの少なくとも
    １つを計算する計算手段とを備えた移動体検出装置。
12. 【請求項１２】 所定の周期で画像を撮像するステップ
    と、 撮像した前記画像のうち、輝度値が変化した領域を抽出
    するステップと、 検出対象である移動体に対応する移動体モデルを使用し
    て、抽出した前記領域に基づいて移動体の発見を試みる
    ステップと、 発見した前記移動体を、順次撮像される前記画像におい
    て検出し、追跡を試みるステップと、 抽出した前記領域が前記画像またはその画像のうちの所
    定の特定区域の所定の割合以上を占めている場合におい
    て、前記領域の大きさに応じた所定の数以上の前記移動
    体が発見されない時、または前記移動体の追跡において
    前記移動体が検出されない時には、抽出した前記領域の
    大きさおよび前記移動体モデルの面積に基づく前記移動
    体の概数、並びに抽出した前記領域での輝度値の時間的
    変化に基づく前記移動体の平均移動速度のうちの少なく
    とも１つを計算するステップとを備えた移動体検出方
    法。