JP2002329207A - 動体追跡表示システム - Google Patents

Abstract

(57)【要約】 【課題】 撮像された画像データ中に入った動体が、
次に撮像される画像データ中にも存する場合には、両画
像データ中に存する同一動体を関連付ける動体追跡表示
システムを提供する。 【解決手段】時系列的に撮像された画像データを順次入
力する画像入力手段と、該画像入力手段によって順次入
力された該画像データ中それぞれに動体の画像が存する
か否か判断する動体検出手段と、該動体検出手段が現在
画像データ中に動体が存すると判断した場合には、該現
在画像データ中の動体が該現在画像データよりも前の前
コマ画像データ中に存するか否か判断する同一判断手段
と、該動体検出手段が該現在画像データ中に存すると判
断した動体が該同一判断手段によって該前コマ画像デー
タ中に存すると判断された場合には該前コマ画像データ
中に存する動体と該現在画像データ中に存する動体とを
関連付ける関連画像生成手段と、を備えてなる、動体追
跡表示システム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動体追跡表示シス
テムに関し、より詳細には、時系列的に撮像された複数
の画像データ中に存する同一の動体を示す画像を関連付
ける動体追跡表示システムに関する。

【０００２】

【従来の技術】監視カメラ等によって時系列的に撮像さ
れた画像データのように、ある定まった場所を撮像した
画像データ中に動体が存するか否かを判断し、動体が存
すると判断した場合、撮像された画像データを記憶した
り出力する装置が知られていた。例えば、前記ある定ま
った場所に動体が存しないときに撮像された画像データ
を背景画像として記憶しておき、その時々に撮像された
画像データと該背景画像との差分処理を行って両者間に
差が生じる領域が存すれば、その時々に撮像された画像
データに動体が存すると判断し、該撮像された画像デー
タを記憶したり出力するものが知られていた（即ち、動
体が存すると判断された画像データのみを記憶したり出
力する。）。

【０００３】

【発明が解決しようとする課題】しかしながら、上記し
た従来の装置では、画像データ中に動体が存すると判断
した場合、撮像された画像データ全体が記憶されたり出
力されるので、一度、撮像された画像データ中に入った
動体が、次に撮像される画像データ中でどのようになっ
ているか対応がつかないという問題があった。このこと
は、注目している動体が、次々撮像される画像データ中
においてどのような状態にあるかがうまく把握できない
という問題を引き起こしていた。また、この問題は、画
像データ中に複数の動体が存すると一段と顕著になる。

【０００４】そこで本発明では、撮像された画像データ
中に入った動体が、次に撮像される画像データ中にも存
する場合には、両画像データ中に存する同一動体を関連
付ける動体追跡表示システムを提供することを目的とす
る。

【０００５】

【課題を解決するための手段】本発明の動体追跡表示シ
ステム（以下、「本システム」という。）は、時系列的
に撮像された画像データを順次入力する画像入力手段
と、該画像入力手段によって順次入力された該画像デー
タ中それぞれに動体の画像が存するか否か判断する動体
検出手段と、該動体検出手段が現在画像データ中に動体
が存すると判断した場合には、該現在画像データ中の動
体が該現在画像データよりも前の前コマ画像データ中に
存するか否か判断する同一判断手段と、該動体検出手段
が該現在画像データ中に存すると判断した動体が該同一
判断手段によって該前コマ画像データ中に存すると判断
された場合には該前コマ画像データ中に存する動体と該
現在画像データ中に存する動体とを関連付ける関連画像
生成手段と、を備えてなる、動体追跡表示システムであ
る。

【０００６】本システムの画像入力手段は、時系列的に
撮像された画像データを順次入力する。ここに「時系列
的に撮像された画像データ」とは、時間の流れに沿って
撮像される画像データをいい、撮像される間隔は等間隔
であるか不等間隔であるかを問わない。そして、本シス
テムの動体検出手段は、画像入力手段によって順次入力
された該画像データ中それぞれに動体の画像が存するか
否か判断する。さらに、本システムの同一判断手段は、
該動体検出手段が現在画像データ中に動体が存すると判
断した場合には、該現在画像データ中の動体が該現在画
像データよりも前の前コマ画像データ中に存するか否か
判断する。ここに「現在画像データ」と「前コマ画像デ
ータ」とは、該画像入力手段によって順次入力された画
像データの連続した２コマのうち、後に入力された画像
データと前に入力された画像データとをそれぞれいう。
最後に、本システムの関連画像生成手段が、該動体検出
手段が該現在画像データ中に存すると判断した動体が該
同一判断手段によって該前コマ画像データ中に存すると
判断された場合には該前コマ画像データ中に存する動体
と該現在画像データ中に存する動体とを関連付ける。こ
のため本システムでは、時系列的に撮像され順次入力さ
れた画像データの連続した２コマである「現在画像デー
タ」と「前コマ画像データ」との両方に同一の動体が存
する場合には、該前コマ画像データ中に存する動体と該
現在画像データ中に存する動体とを関連付ける。従っ
て。本システムにおいては、撮像された画像データ中に
入った動体が、次に撮像される画像データ中にも存する
場合には、両画像データ中に存する同一動体を関連付け
ることができる。

【０００７】前記画像データが魚眼レンズによって撮像
され、該魚眼レンズによって撮像された画像データから
前記動体検出手段によって検出された動体を含むように
切り出された動体画像に含まれる該魚眼レンズにより生
じる歪みを除去する歪み除去手段を、さらに備えるもの
であってもよい。ここにいう「魚眼レンズ」とは、画角
が少なくとも１５０度以上、好ましくは１６０度以上、
より好ましくは１７０度以上のものをいう（特別に画角
の上限はないが、一般的には２００度以下、より一般的
には１９０度以下である。）。このような大きな画角の
魚眼レンズによって撮像することで極めて広範囲の画像
データを入力することができるので、撮影レンズの個数
を減少させたり、撮影レンズを様々な方向に駆動するこ
となく広範囲をモニターできる。また、かかる魚眼レン
ズを用いて撮像された画像データは、該魚眼レンズの特
性に応じた特有の歪みを有するので、該画像データ中に
含まれる動体の形状等を認識しやすくするため、該画像
データから前記動体検出手段によって検出された動体を
含むように切り出された動体画像に含まれる該魚眼レン
ズにより生じる歪みを除去する歪み除去手段を、さらに
備えるものであることが好ましい。魚眼レンズにより生
じる歪みを除去する歪み除去手段は、既に公知の技術で
あるので詳しい説明は省略するが、例えば、昭和６２年
特許出願公告第１６０７３号に記載の技術等を例示する
ことができる。

【０００８】前記現在画像データ中に複数の動体が存す
る場合、前記同一判断手段が該複数の動体それぞれにつ
いて前記前コマ画像データ中に存するか否か判断し、前
記同一判断手段が前記前コマ画像データ中に存すると判
断した動体それぞれについて前記関連画像生成手段が該
前コマ画像データ中に存する動体と該現在画像データ中
に存する動体とを関連付けるものであってもよい。こう
することで画像データ中に複数の動体が存在しても、該
複数の動体それぞれについて前コマ画像データ中に存す
る動体と現在画像データ中に存する動体とを関連付ける
ので、該複数の動体それぞれの状態を確実に把握するこ
とができる。

【０００９】前記同一判断手段が、前記前コマ画像デー
タ中に存する動体に対する前記現在画像データ中に存す
る動体の移動距離、移動方向及び色彩の差異のうち少な
くとも一を考慮して両動体が同一か否か判断するもので
あってもよい。同一判断手段は、前述した通り、該動体
検出手段が現在画像データ中に動体が存すると判断した
場合には、該現在画像データ中の動体が該現在画像デー
タよりも前の前コマ画像データ中に存するか否か判断す
るものであればいかなるものであってもよいが、現在画
像データ中の動体（以下、「現在動体」という。）と前
コマ画像データ中に存する動体（以下、「前コマ動体」
という。）とが同一であれば（即ち、現在動体が前コマ
画像データ中に存する場合）、前コマ動体に対する現在
動体の移動距離又は移動方向は一定の限界が存する場合
が多い。例えば、動体として人を考えたとき、前コマ画
像データと現在画像データとの撮像時刻の差（両画像デ
ータが撮像される間の時間）に応じて動体（人）が移動
できる距離には限界がある。このためかかる場合では、
該撮像時刻の差に応じて動体（人）が移動できる距離の
上限よりも大きな移動距離となるような前コマ動体と現
在動体とは異なるものと判断することができる。さら
に、前コマ動体と現在動体とが同一と判断するとあまり
にも急激な移動方向の変化となるような場合も前コマ動
体と現在動体とは異なるものと判断することができる。
さらに、現在動体と前コマ動体とが同一であれば（即
ち、現在動体が前コマ画像データ中に存する場合）、前
コマ動体に対する現在動体の色彩の差異もそれほど大き
くない場合が多い。従って、前コマ動体に対する現在動
体の色彩の差異があまりにも大きい場合には前コマ動体
と現在動体とは異なるものと判断することができる。加
えて、前コマ動体に対する現在動体の移動距離、移動方
向及び色彩の差異の３要素のうち、１要素のみを用いて
前コマ動体と現在動体との異同を判断するよりも２要素
を用いる方がより正確な判断ができ、３要素全てを用い
れば２要素を用いるよりもより正確な判断が可能とな
る。

【００１０】前記同一判断手段が、前記前コマ画像デー
タ中に存する動体に対する前記現在画像データ中に存す
る動体の移動距離、移動方向及び色彩の差異のうち少な
くとも一を考慮して両動体が同一か否か判断する場合、
前記移動距離又は前記移動方向が、前記前コマ画像デー
タ中に存する動体の重心位置に対する前記現在画像デー
タ中に存する動体の重心位置の変化によって決定される
ものであってもよい。前コマ動体に対する現在動体の移
動距離及び移動方向を決定する際、前コマ動体と現在動
体とは画像データ中においてある程度の広がりを有して
いることが通常であるから前コマ動体のいずれの部分と
現在動体のいずれの部分とを用いて移動距離や移動方向
を決定するかが問題になることがある（特に、前コマ動
体と現在動体との形状が画像データ中で変化している際
には特に問題になる。）。かかる問題を回避するには、
画像データ中における前コマ動体の重心位置に対する現
在動体の重心位置の変化によって移動距離及び移動方向
を決定するようにしてもよい。このように重心位置を基
準にとることで、動体の実際の移動状態を反映させて移
動距離及び移動方向を決定することができる。なお、同
様に、前記同一判断手段が、前記前コマ画像データ中に
存する動体に対する前記現在画像データ中に存する動体
の色彩の差異を考慮して両動体が同一か否か判断する場
合、前コマ動体の重心位置近傍の色彩と現在動体の重心
位置近傍の色彩とを比較するようにしてもよい。

【００１１】前記関連画像生成手段が、互いに関連付け
た前記前コマ画像データ中に存する動体と前記現在画像
データ中に存する動体との画像を動画として生成するも
のであってもよい。こうすることで現在動体が前コマ画
像データ中に存すると判断した場合、関連画像生成手段
が、動体の前コマ画像データの画像と現在画像データの
画像とを動画として生成するので、同一の動体の状態を
動画として観察や記録することができるので該状態の迅
速かつ的確な把握を可能ならしめる。

【００１２】前記関連画像生成手段が、前記現在画像デ
ータ中に存する動体の大きさに応じて該動体を表示する
拡大縮小率を設定し、該拡大縮小率に従って該物体の画
像を拡大縮小する拡大縮小手段を、さらに有してなるも
のであってもよい。こうすることで画像データ中に存し
うる様々な大きさの動体を、観察又は記憶するのに適し
た大きさに拡大又は縮小することができるので、画像デ
ータ中に様々な大きさの動体が存してもそれぞれの動体
の大きさに応じて適した大きさへと該物体の画像が拡大
又は縮小されるので動体を確実かつ的確に把握すること
ができる。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。しかしながら、これらによって本
発明は何ら制限されるものではない。

【００１４】図１は、一実施形態の本システムのハード
ウエア構成を示す概略ブロック図である。図１を参照し
て、一実施形態の本システムのハードウエア構成につい
て説明する。本実施形態では、本システムは、プログラ
ムを内蔵させたコンピュータとそれに接続されたキーボ
ード及びデジタルビデオカメラを含んでなる。なお、こ
こではデジタルビデオカメラを用いているが、撮像可能
なものであればいかなるものが用いられてよいことは言
うまでもなく、例えば、アナログビデオカメラを用いて
よいことは言うまでもない。本システムは、演算処理を
行うＣＰＵ１１０ａ、ＣＰＵ１１０ａの作業領域等とな
るＲＡＭ１１０ｂ、制御プログラム等を記録するＲＯＭ
１１０ｃ、魚眼レンズ１１５（画角：約１８０度）によ
って撮影された信号をＣＣＤによってデジタル信号に変
換して所定時間毎（ここでは具体的には１コマ／０．０
６７秒）に出力するデジタルビデオカメラ１１７と、情
報を入力するためのキーボード１１９と、画像等を表示
するためのモニタ６１３と、キーボード１１９やデジタ
ルビデオカメラ１１７やモニタ６１３と情報のやり取り
を行うためのインターフェイス１１０ｄを有する。な
お、ここでは魚眼レンズ１１５は、室内の天井部分にそ
の光軸が略鉛直下方向を向くように取付られると共に、
魚眼レンズ１１５の画角が約１８０度（光軸に対して約
９０度）であることから、１個の魚眼レンズ１１５によ
って該室内の状況のほとんど全てを撮影することができ
るようになっている。

【００１５】図２に、図１のハードウエアと主としてＲ
ＯＭ１１０ｃに記録されるプログラムにより実現される
本システム１０１の機能ブロック図を示す。本システム
１０１は、機能的には、キーボード１１９等から本シス
テム１０１の運転パラメータ等を受け付ける条件入力部
２０１と、デジタルビデオカメラ１１７から入力された
画像データ中に動体が存しないときの画像（以下、「背
景画像データ」という。）と現に入力された画像データ
との間の違いを検出する変化検出部３０１と、変化検出
部３０１にて背景画像データと異なるとして検出された
ものを特徴付ける特徴量を算出等する移動体分析部４０
１と、同一の動体の画像を同一フレームに動画としてモ
ニタ６１３に出力等する追跡部６０１と、魚眼レンズ１
１５の特性によって生じる画像中の歪みを除去すると共
に画像中に存する動体の大きさに応じて該物体の画像を
拡大縮小等する正像変換部８０１と、を有してなる。次
いで、これら条件入力部２０１、変化検出部３０１、移
動体分析部４０１、追跡部６０１及び正像変換部８０１
のそれぞれについて詳しく説明する。

【００１６】図３は、条件入力部２０１の詳細図であ
る。図３を参照して、条件入力部２０１を詳細に説明す
る。条件入力部２０１は、条件受付部２０３と条件記憶
部２０５とを有してなる。条件受付部２０３は、キーボ
ード１１９を経由して入力された条件を受け付け、それ
ら条件を条件記憶部２０５へ記憶させる。ここで条件受
付部２０３が受け付け条件記憶部２０５へ記憶される条
件としては、検出感度しきい値、検出精度、カメラ位置
（床からのカメラ高さ：単位ｍ）、レンズ種別（予め、
種々のレンズ特性を条件記憶部２０５に記憶させてお
き、そのいずれが選択されたかを入力するもの）の５種
類の条件である。これら検出感度しきい値、検出精度、
カメラ位置、レンズ種別の４種類の条件は、条件受付部
２０３によって受け付けられ、条件記憶部２０５に各々
記憶される。そして、後述するように、これらの条件
は、条件記憶部２０５にアクセスすることで読み出され
用いられる。

【００１７】図４は、変化検出部３０１の詳細図であ
る。図４を参照して、変化検出部３０１を詳細に説明す
る。変化検出部３０１は、画像受付部３０３と背景画像
記憶部３０５と現画像記憶部３０７と差分処理部３０９
と差分画像記憶部３１１と動的検知感度計算部３１３と
を有してなる。まず、デジタルビデオカメラ１１７は、
魚眼レンズ１１５（画角：約１８０度）によって撮影さ
れた信号をＣＣＤによってデジタル信号に変換して所定
時間毎（ここでは具体的には１コマ／０．０６７秒）に
画像受付部３０３に送信し、画像受付部３０３はこの画
像データを受け付ける。このとき画像受付部３０３は、
キーボード１１９から特別な信号（具体的には、ここで
は「０００」又は「９９９」）が入力されたか否か判断
し、該特別な信号のうち「０００」が入力された直後に
受け付けた１コマ分の画像データは背景画像記憶部３０
５へ送信する。また、画像受付部３０３が、キーボード
１１９から特別な信号たる「９９９」が入力されたと判
断した場合、背景画像記憶部３０５が記憶している画像
データＤ１を読み出すと共に、「９９９」が入力された
直後に受け付けた１コマ分の画像データＤ２とを用い
て、合成画像Ｄ３（ただしＤ３＝Ｄ１×ｐ＋Ｄ２×（１
−ｐ）によってＤ１とＤ２で互いに対応する画素のＲＧ
Ｂ値を計算してＤ３を構成する各画素のＲＧＢ値を算出
する。なお、ｐは０以上１以下の経験的に求められた係
数であり、ここでは０．８とした。）を形成し、合成画
像Ｄ３を背景画像記憶部３０５へ送信し背景画像記憶部
３０５に記憶させる。また、画像受付部３０３が、キー
ボード１１９から「０００」又は「９９９」が入力され
ていると判断しない場合には、受け付けた画像データは
全て現画像記憶部３０７へ送信する。なお、画像受付部
３０３は、キーボード１１９から特別な信号（具体的に
は、ここでは「０００」又は「９９９」）が入力される
と該特別な信号が入力されたことを記憶しており、その
後、該特別な信号に対する上記したような動作を完了す
ると該特別な信号が入力された記憶を失うようになって
いる。なお、このように特別な信号（具体的には、ここ
では「０００」又は「９９９」）が入力された後に、画
像受付部３０３から背景画像記憶部３０５へ送信され背
景画像記憶部３０５に記憶された画像データは、後述す
るように、画像データ中に動体が存しない画像データ
（即ち、背景画像）として用いられる。

【００１８】画像受付部３０３から画像データを受け取
った背景画像記憶部３０５及び現画像記憶部３０７は、
それぞれ受け取った画像データを記憶する。なお、背景
画像記憶部３０５は、画像受付部３０３から画像データ
を受け取ると該受け取った画像データをそれまで記憶し
ていた画像データの上に上書きして記憶する。現画像記
憶部３０７も画像受付部３０３から画像データを受け取
ると該受け取った画像データをそれまで記憶していた画
像データの上に上書きして記憶する。現画像記憶部３０
７は、画像受付部３０３から画像データを受け取ると、
該受け取った画像データを記憶すると共に、差分処理部
３０９へと送信する。なお、一例として、図５に背景画
像記憶部３０５に記憶された画像データと、図６に現画
像記憶部３０７に記憶されると共に差分処理部３０９へ
送信された画像データとを、模式的に示す。図５及び図
６のいずれも長方形のフレームＦの中に円形の円形画像
Ａが示されている。なお、長方形のフレームＦに含まれ
る部分で円形画像Ａを除いた部分Ｂは映像を含まない
（通常、黒色）。また、図５及び図６の円形画像Ａは事
務所内を撮影したものであり、ロッカーＣ、観葉植物
Ｄ、デスクＥが映し出されており、さらに図６の円形画
像Ａにはこれらに加えて人物Ｐ１、Ｐ２が映し出されて
いる。

【００１９】現画像記憶部３０７から画像データを受け
取った差分処理部３０９は、背景画像記憶部３０５にア
クセスし背景画像記憶部３０５が記憶している背景画像
を読み出す。そして差分処理部３０９は、現画像記憶部
３０７から受け取った画像データから、背景画像記憶部
３０５から読み出した背景画像データの差分をとる（こ
の両画像データの差分によって生じる画像データを「差
分画像データ」という。）。即ち、上述した図５及び図
６を用いて具体的に説明すれば、差分処理部３０９は、
図６に示した画像データ（現画像記憶部３０７から受け
取った画像データ）から図５に示した画像データ（背景
画像記憶部３０５から読み出した背景画像データ）の差
分を計算し、図７に示すような差分画像データを生成す
る。図７に示したように、図６に示した画像データから
図５に示した画像データの差分をとるので両画像データ
に共通して存する映像（ここではロッカーＣ、観葉植物
Ｄ及びデスクＥの映像）は消滅し、図６にのみ存する人
物Ｐ１、Ｐ２の映像のみが残留している。かかる差分処
理によって生成した図７に示す差分画像データは、差分
処理部３０９から差分画像記憶部３１１へ送信され、差
分画像記憶部３１１において記憶されると共に差分画像
記憶部３１１から後述する動的検知感度計算部３１３と
二値化処理部４０３へ並列的に出力される。

【００２０】差分画像記憶部３１１から差分画像データ
を受信した動的検知感度計算部３１３は、該受信した差
分画像データのうち長方形のフレームＦに含まれる部分
で円形画像Ａを除いた部分Ｂの輝度を用いて動的検知感
度を計算する。ここに動的検知感度とは、本システムの
輝度に関するゆらぎ（変化）を補正するためのものであ
り次のような考えかたによって与えられる。即ち、本シ
ステム自体が時間経過と伴に変化する輝度に関するゆら
ぎ（変化）を有さない場合には、現画像記憶部３０７か
ら受け取った画像データと背景画像記憶部３０５から読
み出した背景画像データとは同じ輝度であるはずであ
る。しかしながら、実際には、本システム自体が時間経
過と伴に変化する輝度に関するゆらぎ（変化）を有する
ためこれを補正する必要が生じる。ここにかかるゆらぎ
（変化）がなければ現画像記憶部３０７から受け取った
画像データの部分Ｂと背景画像記憶部３０５から読み出
した背景画像データの部分Ｂとは本来同じ輝度であるは
ずであるが、ゆらぎ（変化）によって両画像データの部
分Ｂの輝度は異なることがある。従って、両画像データ
の部分Ｂの輝度を等しくするように補正してやれば、両
画像データの円形画像Ａの輝度も等しく補正できるとの
考えによる。具体的には、動的検知感度計算部３１３
は、差分画像記憶部３１１から受信した差分画像データ
（具体的には、図７に示す差分画像データ）の長方形の
フレームＦに含まれる部分で円形画像Ａを除いた部分Ｂ
の輝度Ｋ（なお、部分Ｂの輝度Ｋは、部分Ｂの平均輝度
であり、具体的には、部分Ｂの所定の数点における輝度
の算術平均をとるようになっている。）を計算する。そ
の後、動的検知感度計算部３１３は、条件記憶部２０５
にアクセスし、条件記憶部２０５が記憶している検知感
度しきい値Ｔｂを読み出す。そして、動的検知感度計算
部３１３は、該計算された部分Ｂの輝度Ｋと該読み出さ
れた検知感度しきい値Ｔｂとを加えたものを動的検知感
度しきい値Ｔｔとして算出する。最後に、動的検知感度
計算部３１３は、該算出された動的検知感度しきい値Ｔ
ｔを動的検知感度記憶部４０９に送信し、動的検知感度
記憶部４０９は受信した動的検知感度しきい値Ｔｔを記
憶すると共に受信した動的検知感度しきい値Ｔｔを二値
化処理部４０３へ送信する。なお、動的検知感度記憶部
４０９は、動的検知感度計算部３１３から動的検知感度
しきい値Ｔｔを受信すると、既に動的検知感度しきい値
Ｔｔを記憶している場合には該記憶されている動的検知
感度しきい値Ｔｔの上に該受信した動的検知感度しきい
値Ｔｔを上書きするようにして記憶する。

【００２１】図８は、移動体分析部４０１の詳細図であ
る。図８を参照して、移動体分析部４０１を詳細に説明
する。移動体分析部４０１は、二値化処理部４０３と二
値化画像記憶部４０５と膨張・収縮処理部４０７と動的
検知感度記憶部４０９とノイズ除去処理部４１１とラベ
リング部４１３とラベリング記憶部４１５と特徴量計算
部４１７と特徴量記憶部４１９とを有してなる。

【００２２】二値化処理部４０３は、差分画像記憶部３
１１から差分画像データ（具体的には、図７に示す差分
画像データ）と動的検知感度記憶部４０９から動的検知
感度しきい値Ｔｔとの両者を受信すると、差分画像記憶
部３１１から受信した差分画像データ（具体的には、図
７に示す差分画像データ）中の全画素について画素値中
の輝度が動的検知感度しきい値Ｔｔ以上か否か判断し、
輝度が動的検知感度しきい値Ｔｔ以上の画素については
該画素の輝度を２５５（最大値）とし、輝度が動的検知
感度しきい値Ｔｔ未満の画素については該画素の輝度を
０（最小値）とする（かかる操作を「二値化処理」とい
う。）。二値化処理部４０３は、差分画像データ（具体
的には、図７に示す差分画像データ）中の全画素につい
てかかる二値化処理を完了すると、二値化処理された画
像データを二値化画像記憶部４０５へ送信し二値化画像
記憶部４０５に記憶させる。図７に示す差分画像データ
を受信した二値化処理部４０３が、図７に示す差分画像
データに含まれる人物Ｐ１、Ｐ２に含まれる全画素につ
いて画素値中の輝度が動的検知感度しきい値Ｔｔ以上と
判断した場合の二値化画像記憶部４０５が記憶するデー
タを図９に模式的に示した。

【００２３】二値化処理部４０３からデータを受け取っ
た二値化画像記憶部４０５は、前述した通りそれを記憶
するとともに、それを膨張・収縮処理部４０７へ送信す
る。膨張・収縮処理部４０７は、二値化画像記憶部４０
５からデータを受け取ると、該データについて次の膨張
処理を施す。即ち、ここで膨張処理とは、二値化画像記
憶部４０５から受け取ったデータに含まれる各画素につ
いて該画素の隣接範囲内（例えば、該画素から数えて所
定個数（例えば、１又は２）内）の画素の少なくとも一
に輝度２５５を有する場合には該画素の輝度を２５５
（最大値）としそうでなければ該画素の輝度を０（最小
値）とする処理を二値化画像記憶部４０５から受け取っ
たデータに含まれる全画素について行うことをいう。図
１０に、図９のデータを受け取った膨張・収縮処理部４
０７が膨張処理を行った後のデータを模式的に示す。な
お、図１０中には理解を容易にするために、膨張・収縮
処理部４０７が二値化画像記憶部４０５から受け取った
データ（即ち、図９に示したもの）を点線Ｐ１Ａ、Ｐ２
Ａによって示し、膨張・収縮処理部４０７が膨張処理を
行った後のデータを実線Ｐ１Ｂ、Ｐ２Ｂによって示し
た。膨張・収縮処理部４０７は、上記した膨張処理が完
了すると、該膨張処理がされたデータに次の収縮処理を
施す。即ち、ここで収縮処理とは、膨張処理を施したデ
ータに含まれる各画素について該画素の隣接範囲内（例
えば、該画素から数えて所定個数（例えば、１又は２）
内）の画素の少なくとも一に輝度０を有する場合には該
画素の輝度を０（最小値）としそうでなければ該画素の
輝度を２５５（最大値）とするする処理を、膨張処理を
施したデータに含まれる全画素について行うことをい
う。図１１に、膨張・収縮処理部４０７が、膨張処理が
されたデータに次の収縮処理を行った後のデータを模式
的に示す。なお、図１１中には理解を容易にするため
に、膨張処理がされたデータ（即ち、図１０に示したも
の）を点線Ｐ１Ｂ、Ｐ２Ｂによって示し、膨張・収縮処
理部４０７が収縮処理を行った後のデータを実線Ｐ１
Ｃ、Ｐ２Ｃによって示した。かかる膨張処理と収縮処理
とを行うことで、膨張・収縮処理部４０７が二値化画像
記憶部４０５から受け取ったデータ中に本来分割される
べきものではないものが分割されている場合、まず膨張
処理によって該分割されたものが連結され、さらに収縮
処理をされることで不要部分を削除することができる。
このように膨張・収縮処理部４０７によって膨張処理及
び収縮処理を施されたデータは、膨張・収縮処理部４０
７によって二値化画像記憶部４０５へ送信され、それを
受信した二値化画像記憶部４０５は該受信したデータに
対応する記憶を該受信したデータによって書き換え記憶
する。

【００２４】上述したように、膨張・収縮処理部４０７
によって記憶が書き換えられた二値化画像記憶部４０５
は、膨張・収縮処理部４０７から受信し書き換えたデー
タ（即ち、膨張処理及び収縮処理が完了したデータ）を
ラベリング部４１３へ送信する。該データを受信したラ
ベリング部４１３は、該データ中に含まれるひとかたま
りの画像部分ごとにラベルを付す。このラベルは、ひと
かたまりの画像部分に標識付けを行うものであり、ここ
では具体的には、ひとかたまりの画像部分ごとに所定の
規則に従って連番の数字を付すものである。図１２は、
図１１に示した膨張処理及び収縮処理が完了したデータ
にラベリング部４１３がどのようにラベルを付すかを概
念的に説明した図である。ここではラベリング部４１３
は、画面Ｆ中の最も左方向（図１２中、矢印Ｌ方向）に
位置するひとかたまりの画像部分にラベル「１」を付
し、それから右方向（図１２中、矢印Ｒ方向）に位置す
るものほど大きな番号になるように連番の数字たるラベ
ルを付していく。なお、ひとかたまりの画像部分に含ま
れる画素のうち最も左方向に位置する画素（図１２中で
ラベル「１」が付されたものであれば画素Ｘ１であり、
ラベル「２」が付されたものであれば画素Ｘ２であ
る。）の左右によってラベルの数字の大小を決するよう
になっている。ここでは画素Ｘ１の方が画素Ｘ２よりも
左方向に存するので画素Ｘ１を含むひとかたまりの画像
部分にラベル「１」が付され、画素Ｘ２を含むひとかた
まりの画像部分にラベル「２」が付されている。また、
ひとかたまりの画像部分に含まれる画素のうち最も左方
向に位置する画素が左右方向に関して同位置である際に
は、ひとかたまりの画像部分に含まれる画素のうち最も
右方向に位置する画素がより左方向に位置するものほど
小さな番号になるようにラベルの数字の大小を決する。
このようにしてラベリング部４１３によってひとかたま
りの画像部分ごとにラベル「１」「２」「３」・・・・
が付されたデータは、ラベリング部４１３からラベリン
グ記憶部４１５へ送信され、ラベリング記憶部４１５に
おいて記憶される（即ち、概念的には、図１２に示すよ
うな情報がラベリング記憶部４１５に記憶される。）。
なお、ラベリング部４１３が、二値化画像記憶部４０５
から受信した前記データ中にひとかたまりの画像部分が
存しないと判断した場合には、後述する特徴量データが
ないことを示す信号を特徴量記憶部４１９へ発信し、該
信号をラベリング部４１３から受信した特徴量記憶部４
１９は、自らが記憶している特徴量を削除する。

【００２５】ラベリング部４１３からデータを受信した
ラベリング記憶部４１５は、上述したようにそれを自ら
記憶すると共に、自らが記憶したデータを特徴量計算部
４１７へ送信する。ラベリング記憶部４１５からデータ
を受け取った特徴量計算部４１７は、次のような特徴量
を各ラベル（ラベリング部４１３においてひとかたまり
の画像部分ごとに付されたラベル「１」「２」「３」・
・・）ごとに計算する。ここにいう特徴量とは、特徴量
を計算するラベルによって特定されるひとかたまりの画
像部分の面積（具体的には、該ひとかたまりの画像部分
に含まれる画素数）、該ひとかたまりの画像部分の重心
位置（具体的には、該ひとかたまりの画像部分に含まれ
る全画素の位置の数平均たる平均位置）、該ひとかたま
りの画像部分に外接する外接長方形の始点座標・長辺
（長辺を示す方程式）・短辺（短辺を示す方程式）、該
ひとかたまりの画像部分に含まれる画素のうち該重心位
置から距離が小さいものから順番に１０個の画素を選択
し該選択された１０個の画素のＲＧＢ値の平均値をい
う。

【００２６】前記した特徴量のうち、前記外接長方形の
始点座標・長辺（長辺を示す方程式）・短辺（短辺を示
す方程式）について簡単に説明しておく。図１３は、外
接長方形の始点座標・長辺（長辺を示す方程式）・短辺
（短辺を示す方程式）について説明するための図であ
る。図１３では、説明を簡単にするために長方形のフレ
ームＦにひとかたまりの画像部分９０１が１個のみ存す
る場合（勿論、該１個のひとかたまりの画像部分にはラ
ベル「１」が付されている。また、ひとかたまりの画像
部分９０１を認識しやすくするために画像部分９０１に
は斜線を付している。）を図示している。まず、フレー
ムＦに所定の方向に沿ってｘｙ直交座標を定め（ここで
はフレームＦが形成する長方形の長辺と平行になるよう
にｘ軸をとり、該長方形の短辺と平行になるようにｙ軸
をとり、そして原点（ｘ，ｙ）＝（０，０）が該長方形
の対角線の交点に存するようにされる。）、次いで、ひ
とかたまりの画像部分９０１の重心位置９０３を求め
る。そして、原点（ｘ，ｙ）＝（０，０）と重心位置９
０３とを通過する直線Ｇを引く。次いで、直線Ｇに平行
な一対の直線であってひとかたまりの画像部分９０１に
属する画素の全てが該一対の直線の間に存するか又は該
一対の直線に属するような該一対の直線のうち該一対の
直線の間の距離が最少となる該一対の直線ｇ１、ｇ２を
引く。さらに、直線Ｇに垂直な一対の直線であってひと
かたまりの画像部分９０１に属する画素の全てが該一対
の直線の間に存するか又は該一対の直線に属するような
該一対の直線のうち該一対の直線の間の距離が最少とな
る該一対の直線ｇ３、ｇ４を引く。これらの直線ｇ１、
ｇ２、ｇ３、ｇ４によって囲まれて形成される長方形
が、ここにいう前記外接長方形である。また、直線ｇ
３、ｇ４のうち原点（ｘ，ｙ）＝（０，０）に近い方の
直線ｇ３と直線ｇ１、ｇ２との交点ｈ１、ｈ３のうちそ
れらと原点（ｘ，ｙ）＝（０，０）とを結んだ線分とが
形成する回転角θ（図１３中に示すようにｘ軸（ｘ＞
０）と該線分とが原点（ｘ，ｙ）＝（０，０）において
形成する角度であって、ｘ軸（ｘ＞０）から反時計回り
に該角度を測定したものをいう。）が大きい交点ｈ１
（即ち、図１３から明らかなようにθ１＞θ３）が、こ
こにいう前記外接長方形の始点であり、この交点ｈ１の
座標が始点座標である。加えて、直線ｇ１、ｇ２、ｇ
３、ｇ４によって囲まれて形成される長方形が有する４
辺のうち直線ｇ１及び直線ｇ２の一部となる２辺を長辺
といい、該４辺のうち直線ｇ３及び直線ｇ４の一部とな
る２辺を短辺という。前記した特徴量を構成する長辺
（長辺を示す方程式）及び短辺（短辺を示す方程式）
は、具体的にはこれら長辺及び短辺となる線分を示す式
を含む。

【００２７】以上のようにして特徴量計算部４１７が計
算して求めた特徴量の一例を表１に示す。 （表１） 特徴量の一例 ラベル １ ２ ３ 面積 110 48 128 重心位置 （-7，94） (-85,57) (51,63) 外接長方形 始点座標 （-10，100） （-83，48） (45,60) 長辺方程式 y=-13.43x-44 y=-0.67x-8 y=1.24x+5 y=-13.43x+50 y=-0.67x+4 y=1.24x-9 短辺方程式 y=0.074x+100 y=1.49x+172 y=-0.81x+96 y=0.074x+108 y=1.49x+180 y=-0.81x+116 RGB値の平均値 Ｒ：１２４ Ｒ： ５２ Ｒ： １２ Ｇ： ８１ Ｇ： ９３ Ｇ： ３０ Ｂ：２２６ Ｂ：１８８ Ｂ：２０９

【００２８】このようにして特徴量計算部４１７が計算
して求めた特徴量は、特徴量計算部４１７から特徴量記
憶部４１９へ送信される。特徴量計算部４１７から特徴
量を受信した特徴量記憶部４１９は、該受信した特徴量
を自ら記憶すると共に（なお、特徴量記憶部４１９は、
特徴量計算部４１７から特徴量記憶部４１９へ送信され
た特徴量のうち、外接長方形に関するデータ（具体的に
は、始点座標、長辺方程式、短辺方程式）を除いたもの
を記憶する。後述の表２及び（表３−１）を参照された
い。）、特徴量を受信し記憶した旨をノイズ除去処理部
４１１へ通報する。また、ラベリング部４１３から前記
特徴量データがないことを示す信号を受信した特徴量記
憶部４１９は、自らが記憶している特徴量を削除すると
共に、削除処理を行ったことを示す信号をノイズ除去処
理部４１１へ通報する。特徴量記憶部４１９からの通報
（特徴量を受信し記憶した旨の通報か、削除処理を行っ
たことを示す通報か、のいずれか）を受けたノイズ除去
処理部４１１は、条件記憶部２０５へアクセスし条件記
憶部２０５が記憶している検出精度を読み出す。そし
て、ノイズ除去処理部４１１は、特徴量記憶部４１９へ
アクセスし特徴量記憶部４１９が記憶している特徴量た
る各ラベルの面積が該条件記憶部２０５から読み出した
検出精度よりも小さいか否か判断し、該面積が検出精度
よりも小さいラベル（番号）を取得する。例えば、条件
記憶部２０５から読み出した検出精度が５０であり、表
１に示した特徴量が特徴量記憶部４１９に記憶されてい
るとすると、ラベル「１」の面積は１１０（５０よりも
小さくない）であり、ラベル「２」の面積は４８（５０
よりも小さい）であり、ラベル「３」の面積は１２８
（５０よりも小さくない）であるので、ノイズ除去処理
部４１１はラベル「２」を取得する。なお、ノイズ除去
処理部４１１が、該面積が検出精度よりも小さいラベル
（番号）が特徴量記憶部４１９に全く記憶されていない
と判断すると、ノイズ除去処理部４１１は、後述する動
体対応付け部６０３に開始信号を発する。その後、ノイ
ズ除去処理部４１１は、二値化画像記憶部４０５とラベ
リング記憶部４１５と特徴量記憶部４１９とにアクセス
し、面積が検出精度よりも小さいと判断して取得したラ
ベル（上記した例ではラベル「２」）に該当する各記憶
を削除する（即ち、二値化画像記憶部４０５に記憶され
たものと、ラベリング記憶部４１５に記憶されたもの
と、特徴量記憶部４１９に記憶されたものとの３種の記
憶のうち、該取得したラベルに該当するもののみを削除
する。）。

【００２９】かかる削除が行われた後、二値化画像記憶
部４０５は自らの記憶内容（削除されなかった部分の記
憶）をラベリング部４１３へ送信する。ラベリング部４
１３では、上述したと同様、受信したデータ中に含まれ
るひとかたまりの画像部分ごとにラベルを付し、該ラベ
ルを付されたデータはラベリング記憶部４１５へ送信さ
れる。そして、ラベリング記憶部４１５へ送信されたデ
ータは、ラベリング記憶部４１５においてラベリング記
憶部４１５が記憶しているデータに上書きされて記憶さ
れる。次いで、ラベリング記憶部４１５は、上書きによ
って記憶したデータを特徴量計算部４１７へ送信する。
そして、ラベリング記憶部４１５からデータを受け取っ
た特徴量計算部４１７は、上記したような特徴量を各ラ
ベルごとに計算する。さらに、特徴量計算部４１７が計
算して求めた特徴量は、特徴量計算部４１７から特徴量
記憶部４１９へ送信され、特徴量記憶部４１９において
特徴量記憶部４１９が記憶している特徴量に上書きされ
て記憶される（なお、特徴量記憶部４１９は、特徴量計
算部４１７から特徴量記憶部４１９へ送信された特徴量
のうち、外接長方形に関するデータ（具体的には、始点
座標、長辺方程式、短辺方程式）を除いたものを記憶す
る。後述の表２及び（表３−１）を参照されたい。）。

【００３０】このようにしてノイズ除去処理部４１１に
よって、面積が検出精度よりも小さいと判断されたラベ
ルに該当するデータ（上記した例ではラベル「２」）が
削除され、最終的に特徴量記憶部４１９に記憶された特
徴量の一例を表２に示す。 （表２） 削除後の特徴量の一例 ラベル １ ３ 面積 110 128 重心位置 （-7，94） (51,63) RGB値の平均値 Ｒ：１２４ Ｒ： １２ Ｇ： ８１ Ｇ： ３０ Ｂ：２２６ Ｂ：２０９ そして、前述したと同様、特徴量記憶部４１９は、特徴
量を受信し記憶した旨をノイズ除去処理部４１１へ通報
する。そして、ノイズ除去処理部４１１が、特徴量記憶
部４１９へアクセスし特徴量記憶部４１９が記憶してい
る特徴量たる各ラベルの面積が条件記憶部２０５から読
み出した検出精度よりも小さいか否か判断するが、今回
は、該面積が検出精度よりも小さいラベル（番号）は存
しないのでノイズ除去処理部４１１は動体対応付け部６
０３に開始信号を発する。

【００３１】図１４は、追跡部６０１の詳細図である。
図１４を参照して、追跡部６０１を詳細に説明する。追
跡部６０１は、動体対応付け部６０３と動体履歴記憶部
６０５と履歴削除部６０７と出力部６０９と情報量記憶
部６１１とを有してなる。まず、前述したように、ノイ
ズ除去処理部４１１が、特徴量記憶部４１９に記憶され
た特徴量の中に面積が検出精度よりも小さいラベル（番
号）が全く存しないと判断した際、ノイズ除去処理部４
１１から動体対応付け部６０３に発せられた前記開始信
号を受信した動体対応付け部６０３は次のような動作を
行う。即ち、動体対応付け部６０３は、特徴量記憶部４
１９にアクセスして特徴量記憶部４１９に記憶されてい
る特徴量を読み出し取得する。次いで、動体対応付け部
６０３は、後述する動体履歴記憶部６０５にアクセスし
て動体履歴記憶部６０５が既に履歴情報（後述する「前
コマ」の特徴量）を記憶しているか否か判断し、動体履
歴記憶部６０５が既に履歴情報を記憶していない場合に
は特徴量記憶部４１９から読み出し取得した特徴量を動
体履歴記憶部６０５に送信し、それを動体履歴記憶部６
０５に記憶するように命令し（動体履歴記憶部６０５は
これを記憶する。）、動体履歴記憶部６０５が既に履歴
情報を記憶している場合には特徴量記憶部４１９から読
み出し取得した特徴量を動体履歴記憶部６０５に送信し
ない（動体履歴記憶部６０５は既に記憶していた情報を
そのまま記憶する。）。

【００３２】次いで、動体対応付け部６０３は、特徴量
記憶部４１９に記憶された特徴量と、動体履歴記憶部６
０５に記憶された履歴情報（後述するように、この中に
は、通常、特徴量記憶部４１９に記憶されたコマ（以
下、「現在コマ」という。）よりも１コマ前（以下、
「前コマ」という。）の特徴量と、前コマの１コマ前の
コマ（以下、「前々コマ」という。）の特徴量と、が記
憶されている。）と、を用いて、次に示す式によって計
算される類似度を計算する。

【００３３】 （類似度）＝１／（（１−Ａ１／Ａ０）^２＋（１−Ｂ１／Ｂ０）^２＋Ｃ）（式１ ）

【００３４】ただし、式１中、Ａ１及びＡ０は重心が移
動した方向を示す角度である。具体的には、Ａ１は前コ
マから現在コマに移る際の重心移動方向を示すものであ
り、Ａ０は前々コマから前コマに移る際の重心移動方向
を示すものである。ここでＡ１及びＡ０の表し方は、こ
れら重心位置の移動を図１３に示したようなｘｙ直交座
標上におけるベクトルとして示し、該ベクトルの起点が
原点（ｘ，ｙ）＝（０，０）になるように該ベクトルを
平行移動させ、そのとき該平行移動されたベクトルがｘ
軸（ｘ＞０）との間に形成する回転角θ（ｘ軸（ｘ＞
０）と該平行移動されたベクトルとが原点（ｘ，ｙ）＝
（０，０）において形成する角度であって、ｘ軸（ｘ＞
０）から反時計回りに該角度を測定したものをいう。）
によって示す。なお、これらＡ１を決定するための前コ
マにおける重心位置（ベクトルの起点）と現在コマにお
ける重心位置（ベクトルの終点）と、Ａ０を決定するた
めの前々コマにおける重心位置（ベクトルの起点）と前
コマにおける重心位置（ベクトルの終点）と、の３の重
心位置データ（前コマは重複している。）のうち現在コ
マにおける重心位置のみは動体対応付け部６０３が特徴
量記憶部４１９にアクセスして読み出すことによって取
得するが、他の２の重心位置データは動体対応付け部６
０３が動体履歴記憶部６０５にアクセスして読み出すこ
とによって取得する（なお、動体履歴記憶部６０５は、
前コマと前々コマとの２コマ分の特徴量を記憶するよう
になっている。）。

【００３５】そして、式１中、Ｂ１及びＢ０は重心が移
動した距離を示している。具体的には、Ｂ１は前コマか
ら現在コマに移る際の重心移動距離を示すものであり、
Ｂ０は前々コマから前コマに移る際の重心移動距離を示
すものである。ここでＢ１及びＢ０の表し方は、これら
重心位置の移動を図１３に示したようなｘｙ直交座標上
に示し、Ｂ１は前コマから現在コマに移る際の重心移動
距離を該ｘｙ直交座標上での距離として示し、Ｂ０は前
々コマから前コマに移る際の重心移動距離を該ｘｙ直交
座標上での距離として示したものである。なお、これら
Ｂ１及びＢ０を決定するための前コマ、現在コマ及び前
々コマにおける３の重心位置データは、上記したＡ１及
びＡ０と同様に動体対応付け部６０３が取得する。

【００３６】さらに、式１中、Ｃは、前コマにおけるＲ
ＧＢ値の平均値と現在コマにおけるＲＧＢ値の平均値と
の変化度合いを示す指数（ＲＧＢ変化指数）であり、次
の式２によって計算される。 Ｃ＝（（ｒ１−ｒ０）^２＋（ｇ１−ｇ０）^２＋（ｂ１−ｂ０）^２）^０．５ （ 式２） ただし、式２中、ｒ１、ｇ１、ｂ１それぞれは現在コマ
におけるＲＧＢ値の平均値（Ｒ値、Ｇ値、Ｂ値）であ
り、ｒ０、ｇ０、ｂ０それぞれは前コマにおけるＲＧＢ
値の平均値（Ｒ値、Ｇ値、Ｂ値）である。なお、現在コ
マにおけるＲＧＢ値の平均値は動体対応付け部６０３が
特徴量記憶部４１９にアクセスして読み出すことによっ
て取得し、前コマにおけるＲＧＢ値の平均値は動体対応
付け部６０３が動体履歴記憶部６０５にアクセスして読
み出すことによって取得する。

【００３７】このような類似度を動体対応付け部６０３
は次のような組み合わせについて計算する。即ち、動体
対応付け部６０３は、動体対応付け部６０３にアクセス
して前コマにおける各ラベルを行にとり、特徴量記憶部
４１９にアクセスして現在コマにおける各ラベルを列に
とり、これら行と列によって形成される表（以下、「対
応表」という。）を作成する。この対応表の一例を表３
に示す。

【００３８】 （表３） 対応表の一例 （前コマのラベル→） １ ４ ５ ９ １０ （現在コマのラベル↓） ２ 0.000 0.050 0.004 0.000 0.003 ３ 0.053 0.001 0.005 0.002 0.005 ８ 0.000 0.001 0.004 0.097 0.004 １２ 0.000 0.002 0.005 0.000 0.004

【００３９】表３に示すような対応表を作成するのに必
要な類似度の具体的な計算の一例を簡単に説明してお
く。まず、特徴量記憶部４１９に記憶されている特徴量
（現在コマのもの）の一例を表３−１に示す。 （表３−１）特徴量記憶部４１９に記憶されている特徴量 ラベル ２ ３ ８ １２ 面積 150 605 201 250 重心位置 （84.6，28.0）（-32.4，-23.0）（-80.1,31.9）（90.0,90.0） RGB値の平均値 Ｒ：１８４ １５２ １６７ ０ Ｇ：１９１ １４８ １６５ ０ Ｂ：１９８ １３６ １６５ １５０

【００４０】次いで、動体履歴記憶部６０５に記憶され
ている履歴情報（前コマ及び前々コマのもの）の一例を
表３−２に示す。 （表３−２）動体履歴記憶部６０５に記憶されている履歴情報 （ａ）前コマのもの ラベル １ ４ ５ 面積 608 169 315 重心位置 (-32.4,-23.2) (82.6,31.7) (40.0,40.0) RGB値の平均値 Ｒ：160 172 0 Ｇ：161 181 150 Ｂ：146 186 0 ラベル ９ １０ 面積 209 200 重心位置 (-79.1,36.8) (10.0,-10.0) RGB値の平均値 Ｒ：157 150 Ｇ：162 0 Ｂ：165 0 （ｂ）前々コマのもの ラベル １ ４ ９ １０ 面積 618 186 160 200 重心位置 （-31.5，-21.9） (81.1,35.5) (-79.0,39.9) (10.0,-10.0) RGB値の平均値 Ｒ：153 159 152 150 Ｇ：153 170 152 0 Ｂ：142 175 156 0

【００４１】表３の対応表の中で前コマのラベル「１」
と現在コマのラベル「２」とに関する類似度の計算につ
いて例示する。まず、上記した式１中、Ａ１は前コマか
ら現在コマに移る際の重心移動方向を示すものであるの
で、前コマのラベル「１」の重心位置 (-32.4,-23.2)か
ら現在コマのラベル「２」の重心位置（84.6，28.0）へ
向かうｘｙ直交座標上のベクトルを考え、該ベクトルの
起点を原点（ｘ，ｙ）＝（０，０）になるように該ベク
トルを平行移動させ、そのとき該平行移動されたベクト
ルがｘ軸（ｘ＞０）との間に形成する回転角θ（ｘ軸
（ｘ＞０）と該平行移動されたベクトルとが原点（ｘ，
ｙ）＝（０，０）において形成する角度であって、ｘ軸
（ｘ＞０）から反時計回りに該角度を測定したものをい
う。）を求めるとここでは具体的にはθ＝０．４１１９
ラジアン（Ａ１）である。同様に、Ａ０は前々コマから
前コマに移る際の重心移動方向を示すものであるので、
前コマのラベル「１」の前々コマの重心位置（-31.5，-
21.9）から前コマのラベル「１」の前コマの重心位置(-
32.4,-23.2)へ向かうｘｙ直交座標上のベクトルを考
え、回転角θを求めるとここでは具体的にはθ＝０．９
６１６ラジアン（Ａ０）である。なお、Ａ０を求める際
に前々コマの重心位置のデータが存しない場合には、前
々コマの重心位置を原点（ｘ，ｙ）＝（０，０）として
計算する。次いで、上記した式１中、Ｂ１は前コマから
現在コマに移る際の重心移動距離を示すものであるの
で、前コマのラベル「１」の重心位置(-32.4,-23.2)か
ら現在コマのラベル「２」の重心位置（84.6，28.0）へ
向かうｘｙ直交座標上の距離を求めるとここでは具体的
には１２７．６４（Ｂ１）である。同様に、Ｂ０は前々
コマから前コマに移る際の重心移動距離を示すものであ
るので前コマのラベル「１」の前々コマの重心位置（-3
1.5，-21.9）から前コマのラベル「１」の前コマの重心
位置(-32.4,-23.2)へ向かうｘｙ直交座標上の距離を求
めるとここでは具体的には１．４８１（Ｂ０）である。
なお、Ｂ０を求める際に前々コマの重心位置のデータが
存しない場合にはＢ０＝２０とする（ここでＢ０＝２０
の「２０」は、ここでの１コマの時間経過の間に人間
（ここで対象とする動体）が移動する画像上の平均的な
移動距離である。）。さらに、上記した式１中、Ｃは、
上記した式２によって計算され、ｒ１、ｇ１、ｂ１それ
ぞれは現在コマにおけるＲＧＢ値の平均値（184、191、
198）であり、ｒ０、ｇ０、ｂ０それぞれは前コマにお
けるＲＧＢ値の平均値（160、161、146）である。従っ
て、これらの数値を式２に代入して計算すると、Ｃ＝６
５．１８となる。最後に、以上の数値及び上記した式１
を用いて類似度を計算すると、（類似度）＝１／（（１
−Ａ１／Ａ０）^２＋（１−Ｂ１／Ｂ０）^２＋Ｃ）＝１／
（（１−０．４１１９／０．９６１６）^２＋（１−１２
７．６４／１．４８１）^２＋６５．１８）＝０．０００
１となる（小数点第４位を四捨五入して、表３にて前述
したように「０．０００」となる。）。なお、後述する
ように、動体履歴記憶部６０５には、同じ動体として関
係付けられた前コマのラベルと前々コマのラベルとは同
じラベルが付されているので、その関係を用いてＡ０及
びＢ０を上記のように計算することができる。以下、同
様にして他のラベルの組み合わせについても類似度を計
算し、最終的に表３に示す現在コマ「２」「３」「８」
「１２」の４つの場合それぞれについて前コマ「１」
「４」「５」「９」「１０」の５つの場合が計算され、
合計２０の類似度が計算される。

【００４２】このように計算された類似度によって満た
された表３に示すような対応表を動体対応付け部６０３
が完成すると、次いで、動体対応付け部６０３は、この
対応表に存する前コマのラベル（表３では具体的には
「１」「４」「５」「９」「１０」の５種類）それぞれ
について現在コマのラベル（表３では具体的には「２」
「３」「８」「１２」の４種類）それぞれに対して計算
された類似度のうち、所定値（具体的には、ここでは
０．０４）を超えるものであって最大のものを選択しこ
の選択されたものを与える現在コマのラベルと前コマの
ラベルとを関係付ける（なお、現在コマのラベルそれぞ
れに対して計算された類似度のうち、所定値を超えるも
のがない場合には選択せず、現在コマのラベルと前コマ
のラベルとの関係付けは行わない。）。この具体例を示
せば、まず、動体対応付け部６０３は、前コマのラベル
のうち「１」について現在コマのラベル「２」「３」
「８」「１２」それぞれに対して計算された類似度0.00
0、0.053、0.000、0.000の４つに注目し、所定値たる
０．０４を超えるもの即ち０．０５３を選択し（なお、
所定値たる０．０４を超えるものが複数あれば、それら
のもののうち最大のものを選択する。）、この選択され
たもの０．０５３を与える現在コマのラベル「３」と前
コマのラベル「１」とを関係付ける。次いで、動体対応
付け部６０３は、前コマのラベルのうち「４」について
現在コマのラベル「２」「３」「８」「１２」それぞれ
に対して計算された類似度0.050、0.001、0.001、0.002
の４つに注目し、所定値たる０．０４を超えるもの即ち
０．０５０を選択し（なお、所定値たる０．０４を超え
るものが複数あれば、それらのもののうち最大のものを
選択する。）、この選択されたもの０．０５０を与える
現在コマのラベル「２」と前コマのラベル「４」とを関
係付ける。そして、動体対応付け部６０３は、前コマの
ラベルのうち「５」について現在コマのラベル「２」
「３」「８」「１２」それぞれに対して計算された類似
度0.004、0.005、0.004、0.005の４つに注目し、所定値
たる０．０４を超えるものを探すがここでは存しないの
で、現在コマのラベルと前コマのラベル「５」とを関係
付けない。以下同様にして、動体対応付け部６０３は、
前コマのラベルのうち「９」「１０」についても現在コ
マのラベル「２」「３」「８」「１２」それぞれに対し
て計算された類似度に注目し、現在コマのラベルと前コ
マのラベルとの関係付けを試みる（なお、ここでは現在
コマのラベル「８」と前コマのラベル「９」との関係付
けに成功しているが、前コマのラベル「１０」は現在コ
マのラベルのいずれとも関係付けができていない。）。

【００４３】以上のように、現在コマのラベルと前コマ
のラベルとの関係付けを試みた動体対応付け部６０３
は、現在コマのラベルと前コマのラベルとの関係付けが
できた該現在コマのラベル（上記した例では、表３の
「２」「３」「８」）に該当する特徴量データを特徴量
記憶部４１９にアクセスして読み出し取得し、該現在コ
マのラベルとそれに関係付けられた前コマのラベルとの
関係を付記して該読み出し取得した特徴量データを動体
履歴記憶部６０５へ送信する。動体履歴記憶部６０５
は、動体対応付け部６０３からかかる特徴量データを受
信すると、まず、前コマの特徴量として記憶しているデ
ータを前々コマの特徴量データに上書きして記憶させる
（即ち、ここで前コマの特徴量が前々コマの特徴量とし
て記憶され、該特徴量データを受信する前に前々コマの
特徴量として記憶されていたデータは消去される。な
お、この段階では、該特徴量データを受信する前に前コ
マの特徴量として記憶されていたデータはまだ前コマの
特徴量として記憶された状態である。）。表３−２に示
した情報を記憶していた動体履歴記憶部６０５が、動体
対応付け部６０３からかかる特徴量データを受信して前
コマの特徴量として記憶しているデータを前々コマの特
徴量データに上書きして記憶した記憶内容を表４に示
す。 （表４）前コマの特徴量として記憶しているデータを前々コマの特徴量データに 上書きして記憶した記憶内容 （ａ）前コマのもの ラベル １ ４ ５ 面積 608 169 315 重心位置 (-32.4,-23.2) (82.6,31.7) (40.0,40.0) RGB値の平均値 Ｒ：160 172 0 Ｇ：161 181 150 Ｂ：146 186 0 ラベル ９ １０ 面積 209 200 重心位置 (-79.1,36.8) (10.0,-10.0) RGB値の平均値 Ｒ：157 150 Ｇ：162 0 Ｂ：165 0 （ｂ）前々コマのもの ラベル １ ４ ５ 面積 608 169 315 重心位置 (-32.4,-23.2) (82.6,31.7) (40.0,40.0) RGB値の平均値 Ｒ：160 172 0 Ｇ：161 181 150 Ｂ：146 186 0 ラベル ９ １０ 面積 209 200 重心位置 (-79.1,36.8) (10.0,-10.0) RGB値の平均値 Ｒ：157 150 Ｇ：162 0 Ｂ：165 0

【００４４】次いで、動体履歴記憶部６０５は、動体対
応付け部６０３から前記受信したデータに含まれる前記
現在コマのラベルとそれに関係付けられた前コマのラベ
ルとの関係を用い、動体履歴記憶部６０５が記憶してい
る前コマのラベルをそれと対応する現在コマのラベルに
書き換え（具体的には、前述した例を用いれば、前コマ
のラベル「１」をそれと関係付けられ対応する現在コマ
のラベル「３」に書き換える。また、動体履歴記憶部６
０５は、ここで書き換えられたラベルはいずれかを記憶
している。）、動体履歴記憶部６０５が記憶している特
徴量を該現在コマのラベルに該当する特徴量に書き換え
る。そして、前々コマの特徴量データ（動体対応付け部
６０３から特徴量データを受信する前は前コマの特徴量
として記憶されていたデータ）に存するラベルをそれと
対応する現在コマのラベルに書き換える（動体履歴記憶
部６０５が、動体対応付け部６０３から前記受信したデ
ータに含まれる現在コマのラベルとそれに関係付けられ
た前コマのラベルとの関係を用いて行う。具体的には、
前述した例を用いれば、前コマのラベル「１」をそれと
関係付けられ対応する現在コマのラベル「３」に書き換
える。また、動体履歴記憶部６０５は、ここで書き換え
られたラベルはいずれかを記憶している。）。以上のよ
うにして、前コマのラベルと前々コマのラベルを書き換
えられた後の動体履歴記憶部６０５の記憶内容を表５に
示す。なお、表５中、ラベルの番号の後に（ ）内に示
された数字は、書き換えられる前のラベルの番号であ
り、ラベルの数字にかかる（ ）が付記されているか否
かで書き換えられたラベルであるかどうかを認識するこ
とができる。

【００４５】 （表５）前コマのラベルと前々コマのラベルを書き換えられた後の記憶内容 （ａ）前コマのもの ラベル ３（１） ２（４） ５ 面積 605 150 315 重心位置 (-32.4,-23.0) (84.6,28.0) (40.0,40.0) RGB値の平均値 Ｒ：152 184 0 Ｇ：148 191 150 Ｂ：136 198 0 ラベル ８（９） １０ 面積 201 200 重心位置 (-80.1,31.9) (10.0,-10.0) RGB値の平均値 Ｒ：167 150 Ｇ：165 0 Ｂ：165 0 （ｂ）前々コマのもの ラベル ３（１） ２（４） ５ 面積 608 169 315 重心位置 (-32.4,-23.2)(82.6,31.7)(40.0,40.0) RGB値の平均値 Ｒ：160 172 0 Ｇ：161 181 150 Ｂ：146 186 0 ラベル ８（９） １０ 面積 209 200 重心位置 (-79.1,36.8) (10.0,-10.0) RGB値の平均値 Ｒ：157 150 Ｇ：162 0 Ｂ：165 0

【００４６】さらに、前述のように、現在コマのラベル
と前コマのラベルとの関係付けを試みた動体対応付け部
６０３は、現在コマのラベルと前コマのラベルとの関係
付けができなかった該現在コマのラベル（上記した例で
は、表３の「１２」）に該当する特徴量データを特徴量
記憶部４１９にアクセスして読み出し取得し、該読み出
し取得した特徴量データを動体履歴記憶部６０５へ送信
する。そして、動体履歴記憶部６０５は、動体対応付け
部６０３からかかる特徴量データを受信すると、動体履
歴記憶部６０５の前コマの記憶データ（既に、動体対応
付け部６０３が現在コマのラベルと前コマのラベルとの
関係付けができた該現在コマのラベル（上記した例で
は、表３の「２」「３」「８」）に該当する特徴量デー
タを記憶している。）に該受信した該関係付けができな
かった該現在コマのラベル（上記した例では、表３の
「１２」）に該当する特徴量データを追加して記憶す
る。従って、以上の動作により、動体対応付け部６０３
によって前コマのラベルと関係付けを試みられた現在コ
マのラベルすべては、現在コマのラベルと前コマのラベ
ルとの関係付けができたもの（上記した例では、表３の
「２」「３」「８」）と、現在コマのラベルと前コマの
ラベルとの関係付けができなかったもの（上記した例で
は、表３の「１２」）と、のいずれに関係する特徴量も
動体履歴記憶部６０５において記憶される。この状態の
動体履歴記憶部６０５の記憶内容を表６に示す。

【００４７】 （表６）関係付けができなかった現在コマのラベルに該当するデータ追加後の記 憶内容 （ａ）前コマのもの ラベル ３（１） ２（４） ５ ８（９） 面積 605 150 315 201 重心位置 (-32.4,-23.0) (84.6,28.0) (40.0,40.0) (-80.1,31.9) RGB値の平均値 Ｒ：152 184 0 167 Ｇ：148 191 150 165 Ｂ：136 198 0 165 ラベル １０ １２（−） 面積 200 250 重心位置 (10.0,-10.0) (90.0,90.0) RGB値の平均値 Ｒ：150 0 Ｇ： 0 0 Ｂ： 0 150 （ｂ）前々コマのもの ラベル ３（１） ２（４） ５ 面積 608 169 315 重心位置 (-32.4,-23.2) (82.6,31.7) (40.0,40.0) RGB値の平均値 Ｒ：160 172 0 Ｇ：161 181 150 Ｂ：146 186 0 ラベル ８（９） １０ 面積 209 200 重心位置 (-79.1,36.8) (10.0,-10.0) RGB値の平均値 Ｒ：157 150 Ｇ：162 0 Ｂ：165 0

【００４８】加えて、前述したように動体対応付け部６
０３が現在コマのラベルと前コマのラベルとの関係付け
を試みて現在コマのラベルと前コマのラベルとの関係付
けができなかった該前コマのラベル（上記した例では、
表３の「５」と「１０」）については、動体対応付け部
６０３は履歴削除部６０７に命じて動体履歴記憶部６０
５が記憶している前コマの特徴量と前々コマの特徴量と
から消去する。該関係付けができなかった該前コマのラ
ベルに関するデータを消去した後の動体履歴記憶部６０
５の記憶内容を表７に示す。 （表７）関係付けができなかった該前コマのラベルに関するデータを消去した後 の記憶内容 （ａ）前コマのもの ラベル ３（１） ２（４） ８（９） １２（−） 面積 605 150 201 250 重心位置 (-32.4,-23.0) (84.6,28.0) (-80.1,31.9) (90.0,90.0) RGB値の平均値 Ｒ：152 184 167 0 Ｇ：148 191 165 0 Ｂ：136 198 165 150 （ｂ）前々コマのもの ラベル ３（１） ２（４） ８（９） 面積 608 169 209 重心位置 (-32.4,-23.2) (82.6,31.7) (-79.1,36.8) RGB値の平均値 Ｒ：160 172 157 Ｇ：161 181 162 Ｂ：146 186 165

【００４９】そして履歴削除部６０７は、動体履歴記憶
部６０５のかかる記憶消去が完了すると、その旨を動体
対応付け部６０３に連絡する（動体対応付け部６０３は
かかる記憶消去作業が完了したことを知る。）。動体対
応付け部６０３は、以上の作業（類似度の計算、対応表
の作成、動体履歴記憶部６０５の記憶内容の書き換え
等）が完了すると、完了した旨の信号を出力部６０９へ
発する。

【００５０】動体対応付け部６０３から該完了した旨の
信号を受信した出力部６０９は、動体履歴記憶部６０５
にアクセスして動体履歴記憶部６０５が記憶している前
コマのラベルのうち上位５個のラベルを選択し（各ラベ
ルに該当する面積が大きいものから５個選択する。な
お、動体履歴記憶部６０５が記憶している前コマのラベ
ルの個数が５個よりも小さいときには該記憶している前
コマのラベル全てを選択する。）、該選択された上位５
個のラベルそれぞれに該当する特徴量を読み出し取得
し、該読み出し取得された特徴量を正像変換処理部８０
５へ送信する（該読み出し取得された特徴量を受信した
正像変換処理部８０５は、後述するように該選択された
上位５個のラベルそれぞれに該当する画像を正像化（魚
眼レンズによって画像に生じた歪みを除去する。）す
る。）。なお、ここでは動体履歴記憶部６０５が記憶し
ている前コマのラベルの個数が５個よりも小さいので、
表７（ａ）に示した全てのラベルそれぞれに該当する特
徴量を読み出し取得し、該読み出し取得された特徴量を
正像変換処理部８０５へ送信する。その後、出力部６０
９は、動体履歴記憶部６０５にアクセスして動体履歴記
憶部６０５が記憶している前コマのラベルの個数と、前
記上位５個のラベルそれぞれの面積と、を読み出し、こ
れらを情報量記憶部６１１に送信し情報量記憶部６１１
に記憶させる。この後の出力部６０９等に関する動作
は、正像変換部８０１を説明した後に説明する。

【００５１】図１５は、正像変換部８０１の詳細図であ
る。図１５を参照して、正像変換部８０１を詳細に説明
する。正像変換部８０１は、視点パラメータ等計算部８
０３と正像変換処理部８０５と実空間位置計算部８０７
と正像画像記憶部８０９とを有してなる。出力部６０９
から前記読み出し取得された特徴量を受信した正像変換
処理部８０５は、その受信した特徴量を視点パラメータ
等計算部８０３へ送信する。この特徴量を正像変換処理
部８０５から受信した視点パラメータ等計算部８０３
は、まず条件記憶部２０５にアクセスして条件記憶部２
０５が記憶しているカメラ位置（床からのカメラ高さ：
単位ｍ）とレンズ種別（予め、種々のレンズ特性を条件
記憶部２０５は記憶しており、そのいずれのレンズ特性
が選択されたかが条件記憶部２０５に入力されるので、
選択されたレンズ特性を視点パラメータ等計算部８０３
は読み出し取得することができる。）とを読み出し取得
する。そして、視点パラメータ等計算部８０３は、正像
変換処理部８０５から受信した特徴量と、条件記憶部２
０５から読み出し取得したカメラ位置、レンズ種別及び
検出精度と、を用いて次に示すような方位角（ａｚ）と
天頂角（ｚｅ）とによって構成される視点パラメータと
拡大率（ｍａ）とを計算する。

【００５２】図１６は、方位角（ａｚ）の計算方法を説
明する図である。図１６を参照して、方位角（ａｚ）の
計算方法について説明する。図１６（ａ）（ｂ）（ｃ）
（ｄ）は、いずれも図１３に示したのと同様にｘｙ直交
座標（魚眼レンズによって撮影された円形画像ｒｉが形
成する円形の中心に原点（ｘ，ｙ）＝（０，０）を一致
させている。）をとったところを示したものである。ま
た、図１６中において、「Λ」は「かつ」を意味してい
る。図１６（ａ）（ｂ）（ｃ）（ｄ）に示すように、ま
ず、視点パラメータ等計算部８０３は、各ラベルごと
に、正像変換処理部８０５から受信した特徴量に含まれ
る重心位置（ｘ，ｙ）から重心と原点（ｘ，ｙ）＝
（０，０）とを結ぶ線分を考える。そして視点パラメー
タ等計算部８０３は、該線分とｘ軸（ｘ＞０）とがなす
角がｘ軸（ｘ＞０）から反時計回りに何度になるか算出
し、該算出された角度を方位角（ａｚ）とする。図１６
（ａ）（ｂ）（ｃ）（ｄ）には、ｘとｙとの正、負に応
じて方位角（ａｚ）の現れ方を示した。なお、図１６に
は、ｘとｙとの正、０、負に応じて方位角（ａｚ）を算
出する式を示した。

【００５３】図１７は、天頂角（ｚｅ）の計算方法を説
明する図である。図１７を参照して、天頂角（ｚｅ）の
計算方法について説明する。図１７においては、魚眼レ
ンズによって撮像された円形画像ｒｉを含む平面に図１
３に示したのと同様にｘｙ直交座標（円形画像ｒｉが形
成する円形の中心に原点（ｘ，ｙ）＝（０，０）を一致
させている。）をとっている。そして、ｘｙ直交座標面
に垂直方向であって円形画像ｒｉを撮像する方向（魚眼
レンズの光軸方向）に向かって原点（ｘ，ｙ）＝（０，
０）を通過するようにｚ軸をとったものである。さら
に、半球面Ｏは、魚眼レンズにより撮影される全周面を
仮想的に想定したものである。ここで天頂角（ｚｅ）
は、ｘｙ直交座標面に存する円形画像に存する重心位置
（ｘ，ｙ）が現実に存していた位置Ｐと原点（ｘ，ｙ，
ｚ）＝（０，０，０）とを結ぶ線分を考え、該線分とｚ
軸（ｚ＞０）とがなす角（０以上π未満）を天頂角（ｚ
ｅ）とする。例えば、視点パラメータ等計算部８０３
が、条件記憶部２０５から読み出し取得したレンズ種別
が、レンズ特性ｈ＝ｆ・ｚｅ（ただし、ｈはｘｙ直交座
標面に存する円形画像における像高（原点（ｘ，ｙ）＝
（０，０）から重心位置（ｘ，ｙ）までの距離）、ｆは
焦点距離）である場合を例にとって具体的に説明すれば
次のごときである。まず、天頂角（ｚｅ）が最大である
ときはｘｙ直交座標面の円形画像における像高ｈは該円
形画像の半径Ｒと一致する。従って、焦点距離ｆは、
式：ｆ＝２・Ｒ／πによって与えられる。また、像高ｈ
は、式：ｈ＝（ｘ^２＋ｙ^２）^０．５によって与えられ
る。これらの関係をレンズ特性式ｈ＝ｆ・ｚｅに代入し
て整理すれば、天頂角（ｚｅ）＝π・（ｘ^２＋ｙ^２）
^０．５／（２・Ｒ）と求められる。

【００５４】そして、拡大率（ｍａ）は、式：拡大率
（ｍａ）＝ｍ１−（ｍ１−ｍ２）（ａｒ−ＡＡ）／（ｂ
−ＡＡ））によって計算される。ただし、ＡＡは、視点
パラメータ等計算部８０３が条件記憶部２０５から読み
出し取得した検出精度であり、ｍ１は面積がＡＡのもの
を拡大し人間が判別可能な大きさにするための最小の拡
大率であり、ｂは画面上で見た対象物が最も大きく表示
された際の面積であり、ｍ２は面積ｂの対象物を適当な
大きさで表示するための拡大（縮小）率である。また、
ａｒは視点パラメータ等計算部８０３が正像変換処理部
８０５から受信した特徴量に含まれる面積（ラベルご
と）である。なお、上記の式によって計算した拡大率
（ｍａ）がｍ２未満となった場合には、拡大率（ｍａ）
をｍ２とする。

【００５５】このようにして視点パラメータ等計算部８
０３が各ラベルごとに計算した方位角（ａｚ）、天頂角
（ｚｅ）及び拡大率（ｍａ）は、視点パラメータ等計算
部８０３から正像変換処理部８０５と実空間位置計算部
８０７とへ並列的に送信される。表８に、視点パラメー
タ等計算部８０３から正像変換処理部８０５と実空間位
置計算部８０７とへ並列的に送信されるデータの一例を
示す。 （表８）視点パラメータ等計算部８０３から送信されるデータ例 ラベル ３（１） ２（４） ８（９） １２（−） 面積 605 150 201 250 重心位置 (-32.4,-23.0) (84.6,28.0) (-80.1,31.9) (90.0,90.0) RGB値の平均値 Ｒ：152 184 167 0 Ｇ：148 191 165 0 Ｂ：136 198 165 150 方位角（ａｚ） 215度 18度 159度 45度 天頂角（ｚｅ） 29度 66度 64度 95度 拡大率（ｍａ） 0.58 1.09 1.03 0.98

【００５６】視点パラメータ等計算部８０３から各ラベ
ルごとの方位角（ａｚ）、天頂角（ｚｅ）及び拡大率
（ｍａ）を受信した正像変換処理部８０５は、現画像記
憶部３０７にアクセスし現画像記憶部３０７が記憶して
いる画像データを読み出して取得する。そして、正像変
換処理部８０５は、該読み出し取得した画像データか
ら、既に出力部６０９から通知されている前記選択され
た上位５個のラベルそれぞれに該当する画像を切り出し
正像化（魚眼レンズによって画像に生じた歪みを除去す
る。）する。なお、正像変換処理部８０５が現画像記憶
部３０７から該読み出し取得した画像データから前記選
択された上位５個のラベルそれぞれに該当する画像を切
り出す方法は、視点パラメータ等計算部８０３から正像
変換処理部８０５が受信した各ラベルごとの方位角（ａ
ｚ）、天頂角（ｚｅ）及び拡大率（ｍａ）に従って切り
出す。即ち、方位角（ａｚ）及び天頂角（ｚｅ）から画
像を切り出す中心位置が確定され、加えて、拡大率（ｍ
ａ）によって切り出す大きさが確定されるため、正像変
換処理部８０５は、現画像記憶部３０７から該読み出し
取得した画像データから前記選択された上位５個のラベ
ルそれぞれに該当する画像を切り出すことができる。こ
こに、魚眼レンズのように規則的な歪みが画像に生じる
レンズを用いて撮像された歪みを含む画像から、該規則
的な歪みを座標変換によって除去する技術は公知であ
り、ここでは詳しい説明は省略するが、一例を挙げると
すると、昭和６２年特許出願公告第１６０７３号を例示
することができる。さらに、かかる正像化処理がなされ
た正像データ（歪みが除去されたもの）において前記歪
みを含む画像からのデータが存しない画素については、
正像変換処理部８０５が補間処理（共一次補間処理）を
行う。具体的には、前記歪みを含む画像からのデータが
存しない画素のＲＧＢ値については、その周囲に存する
画素のＲＧＢ値から推算（例えば、平均値）したものを
用いる。この補間処理によって、正像データの画質を向
上させることができる（画素を密にする）。このように
して正像変換処理部８０５により、出力部６０９から通
知された前記選択された上位５個のラベルそれぞれに該
当し切り出され正像化等された正像データ（歪みが除去
されたものであり、それぞれの正像データには該当する
ラベルの番号が付記されている。）は、正像変換処理部
８０５から正像画像記憶部８０９へ送信され、正像画像
記憶部８０９において記憶される。なお、この正像デー
タを正像画像記憶部８０９に記憶させると、正像変換処
理部８０５が記憶が完了した旨の信号を出力部６０９に
発する。

【００５７】一方、視点パラメータ等計算部８０３から
各ラベルごとの方位角（ａｚ）、天頂角（ｚｅ）及び拡
大率（ｍａ）を受信した実空間位置計算部８０７は、条
件記憶部２０５にアクセスして条件記憶部２０５が記憶
しているカメラ位置とレンズ種別とを読み出し取得し
て、カメラ位置、レンズ種別、各ラベルごとの方位角
（ａｚ）及び天頂角（ｚｅ）を用いて各ラベルごとの重
心位置が実空間においていずれの位置に存するかを算出
する。該算出された各ラベルごとの実空間における重心
位置は、実空間位置計算部８０７から情報量記憶部６１
１へ送信され、情報量記憶部６１１において次のように
記憶される。即ち、情報量記憶部６１１では、前述した
ように、動体履歴記憶部６０５が記憶している前コマの
ラベルの個数と、前記上位５個のラベルそれぞれの面積
と、が記憶されているので、ラベルそれぞれの実空間に
おける重心位置を同じラベルの面積と関連付けて記憶さ
れる。このようにして情報量記憶部６１１に記憶された
内容の一例を表９に示す。 （表９）情報量記憶部６１１の記憶内容 （ａ）前コマのラベルの個数：４個 （ｂ）各ラベル情報 ラベル ３（１） ２（４） ８（９） １２（−） 面積 605 150 201 250 重心位置 (-32.4,-23.0) (84.6,28.0) (-80.1,31.9) (90.0,90.0) RGB値の平均値 Ｒ：152 184 167 0 Ｇ：148 191 165 0 Ｂ：136 198 165 150 方位角（ａｚ） 215度 18度 159度 45度 天頂角（ｚｅ） 29度 66度 64度 95度 拡大率（ｍａ） 0.58 1.09 1.03 0.98 実空間重心位置(0.19,0.98) (3.52,-2.06) (-2.32,2.94) (-1.00,-18.81)

【００５８】再び、出力部６０９等の追跡部６０１の動
作について説明する。再び、図１４を参照して、出力部
６０９等の追跡部６０１の動作を説明する。正像変換処
理部８０５からの前記記憶が完了した旨の信号を受信し
た出力部６０９は、まず、現画像記憶部３０７にアクセ
スして現画像記憶部３０７が記憶している円形画像（魚
眼レンズの撮像によって生じた歪みを有する。）を読み
出してモニタ６１３に円形画像６１５として表示させ
る。次いで、出力部６０９は、正像画像記憶部８０９に
アクセスし正像画像記憶部８０９が記憶している正像デ
ータ（歪みが除去されたもの）をそれぞれ読み出し、こ
れら読み出された正像データそれぞれを別々のフレーム
６１７に配置してモニタ６１３に表示する。このとき各
正像データに付記されたラベル（ここでは具体的には
「３（１）」「２（４）」「８（９）」「１２
（−）」）を出力部６０９は読みとり、（ ）内に数字
が記憶されている場合には、（ ）内に記載された数字
のラベルに該当する動体を前回表示したフレーム６１７
にその正像を表示させる。具体的には、例えば、出力部
６０９はラベル「３（１）」を読みとると、（ ）内の
数字「１」を読みとり、前回ラベル「１」に該当する動
体を表示したフレーム６１７にラベル「３（１）」が付
された正像データを表示させる。これによって、現在コ
マのラベルと前コマのラベルとの関係付けができた動体
についてはコマが経過しても同一のフレーム６１７に表
示される。そして、出力部６０９はラベルの（ ）内に
数字が記憶されていない場合（ここでは具体的には「１
２（−）」）には、モニタ６１３に新しくフレームを作
成し該新しく作成されたフレームに、ラベルの（ ）内
に数字が記憶されていない正像データを表示する。最後
に、出力部６０９は、情報量記憶部６１１にアクセスし
情報量記憶部６１１が記憶している前コマのラベルの個
数（即ち、検出されている動体の個数）、前記上位５個
のラベルそれぞれの面積及び前記上位５個の各ラベルご
との実空間における重心位置に関する各データを読み出
し、これらのデータを数値データ６１９としてモニタ６
１３に表示する。なお、現画像記憶部３０７が画像受付
部３０３から第１の画像データを受け取ってから次の第
２の画像データを受け取る迄の時間（具体的には、ここ
では約０．０６７秒）は、現画像記憶部３０７が画像受
付部３０３から該第１の画像データを受け取ってから出
力部６０９が現画像記憶部３０７にアクセスして該第１
の画像データを読み出してモニタ６１３に円形画像６１
５として表示させるまでの時間よりもはるかに長い。

【００５９】最後に、本システム１０１の動作について
説明する。図１８は、条件入力部２０１の動作を示すフ
ローチャートである。図１８を参照して、条件入力部２
０１の動作について説明する。まず、条件受付部２０３
は、キーボード１１９を経由して条件を受け付けたか否
か判断し（ｓ１２０１）、条件を受け付けたと判断した
場合（ＹＥＳ）にはそれら条件を条件記憶部２０５へ記
憶させ（ｓ１２０２）、条件を受け付けたと判断しない
場合（ＮＯ）にはｓ１２０３へ行く。そしてｓ１２０２
の後、作業終了か否か判断し（ｓ１２０３）、作業終了
と判断した場合には作業を終了し（ＥＮＤ）、作業終了
と判断しない場合には再びｓ１２０１へ戻る。

【００６０】図１９は、変化検出部３０１の動作を示す
フローチャートである。図１９を参照して、変化検出部
３０１の動作について説明する。まず、画像受付部３０
３はデジタルビデオカメラ１１７から画像データを受け
付けたか否か判断し（ｓ１３０１）、画像データを受け
付けたと判断した場合（ＹＥＳ）には特別な信号が入力
されたか否か判断し（ｓ１３０２）、特別な信号が入力
されたと判断した場合（ＹＥＳ）にはｓ１３０４へ行
き、特別な信号が入力されたと判断しない場合（ＮＯ）
には受け付けた画像データを現画像記憶部３０７へ送信
する（ｓ１３０３）。なお、ｓ１３０３の後、後述のｓ
１３２１へ行く。ｓ１３０１において画像データを受け
付けたと判断しない場合（ＮＯ）には、後述のｓ１３０
９へ行く。ｓ１３０４においては、特別な信号が「００
０」であるか否か判断し（ｓ１３０４）、特別な信号が
「０００」であると判断した場合（ＹＥＳ）には受け付
けた１コマ分の画像データは背景画像記憶部３０５へ送
信し（ｓ１３０５）、特別な信号が「０００」であると
判断しない場合（ＮＯ）には特別な信号が「９９９」で
あるか否か判断し（ｓ１３０６）、特別な信号が「９９
９」であると判断した場合（ＹＥＳ）には画像受付部３
０３が背景画像記憶部３０５が記憶している画像データ
Ｄ１を読み出し（ｓ１３０７）、合成画像Ｄ３を合成し
合成画像Ｄ３を背景画像記憶部３０５へ送信し背景画像
記憶部３０５に記憶させる（ｓ１３０８）。なお、ｓ１
３０５の後、後述のｓ１３０９へ行く。ｓ１３０６にお
いて特別な信号が「９９９」であると判断しない場合
（ＮＯ）にはｓ１３０９へ行く。ｓ１３０９では、作業
終了か否か判断し、作業終了と判断した場合（ＹＥＳ）
には作業を終了し（ＥＮＤ）、作業終了と判断しない場
合には再びｓ１３０１へ戻る。なお、画像受付部３０３
から画像データを受け取った背景画像記憶部３０５及び
現画像記憶部３０７は、それぞれ受け取った画像データ
を記憶する。

【００６１】ｓ１３０３において画像データを現画像記
憶部３０７へ送信した後のフローチャートを図２０に示
す。現画像記憶部３０７は、画像受付部３０３から画像
データを受け取ると、該受け取った画像データを記憶す
ると共に、差分処理部３０９へと送信する（ｓ１３２
１）。現画像記憶部３０７から画像データを受け取った
差分処理部３０９は、背景画像記憶部３０５にアクセス
し背景画像記憶部３０５が記憶している背景画像を読み
出す（ｓ１３２２）。そして差分処理部３０９は、現画
像記憶部３０７から受け取った画像データから、背景画
像記憶部３０５から読み出した背景画像データの差分を
とり（ｓ１３２３）、かかる差分処理によって生成した
差分画像データを差分処理部３０９は差分画像記憶部３
１１へ送信する（ｓ１３２４）。さらに、差分画像記憶
部３１１は、該差分画像データを記憶すると共に、該差
分画像データを動的検知感度計算部３１３と二値化処理
部４０３とへ並列的に出力する（ｓ１３２５）。

【００６２】差分画像記憶部３１１から差分画像データ
を受信した動的検知感度計算部３１３は、該受信した差
分画像データのうち長方形のフレームＦに含まれる部分
で円形画像Ａを除いた部分Ｂの輝度を用いて動的検知感
度しきい値Ｔｔを計算する（ｓ１３２６）。そして、動
的検知感度計算部３１３は、該算出された動的検知感度
しきい値Ｔｔを動的検知感度記憶部４０９に送信し、動
的検知感度記憶部４０９は受信した動的検知感度しきい
値Ｔｔを記憶すると共に受信した動的検知感度しきい値
Ｔｔを二値化処理部４０３へ送信する（ｓ１３２７）。
その後、ｓ１４０１へ行く。

【００６３】図２１は、移動体分析部４０１の動作を示
すフローチャートである。図２１を参照して、移動体分
析部４０１の動作について説明する。まず、二値化処理
部４０３は、差分画像記憶部３１１から差分画像データ
と動的検知感度記憶部４０９から動的検知感度しきい値
Ｔｔとの両者を受信したか否か判断し（ｓ１４０１）、
両者を受信したと判断した場合（ＹＥＳ）には二値化処
理を行い（ｓ１４０２）、両者を受信したと判断しない
場合（ＮＯ）にはｓ１４０１へ戻る。ｓ１４０２にて二
値化処理を完了した二値化処理部４０３は、二値化処理
された画像データを二値化画像記憶部４０５へ送信す
る。二値化処理部４０３からデータを受け取った二値化
画像記憶部４０５は、前述した通りそれを記憶するとと
もに、それを膨張・収縮処理部４０７へ送信する（ｓ１
４０３）。膨張・収縮処理部４０７は、二値化画像記憶
部４０５からデータを受け取ると、該データについて膨
張処理と収縮処理を施す（ｓ１４０４）。そして、膨張
・収縮処理部４０７は、膨張処理及び収縮処理を施され
たデータを二値化画像記憶部４０５へ送信し、それを受
信した二値化画像記憶部４０５は該受信したデータに対
応する記憶を該受信したデータによって書き換え記憶す
る（ｓ１４０５）。

【００６４】さらに、膨張・収縮処理部４０７によって
記憶が書き換えられた二値化画像記憶部４０５は、膨張
・収縮処理部４０７から受信し書き換えたデータ（即
ち、膨張処理及び収縮処理が完了したデータ）をラベリ
ング部４１３へ送信する。該データを受信したラベリン
グ部４１３は、該受信したデータにひとかたまりの画像
部分が存するか否か判断し（ｓ１４０６）、該受信した
データにひとかたまりの画像部分が存すると判断した場
合（ＹＥＳ）にはラベルを付し（ｓ１４０７）、該受信
したデータにひとかたまりの画像部分が存すると判断し
ない場合（ＮＯ）には、後述する特徴量データがないこ
とを示す信号を特徴量記憶部４１９へ発信し（ｓ１４２
２）、該信号をラベリング部４１３から受信した特徴量
記憶部４１９は、自らが記憶している特徴量を削除しノ
イズ除去処理部４１１へ通報し、その後、ｓ１４１１へ
行く。ラベリング部４１３によってひとかたまりの画像
部分ごとにラベル「１」「２」「３」・・・・が付され
たデータは、ラベリング部４１３からラベリング記憶部
４１５へ送信される。ラベリング部４１３からデータを
受信したラベリング記憶部４１５は、それを自ら記憶す
ると共に、自らが記憶したデータを特徴量計算部４１７
へ送信する（ｓ１４０８）。

【００６５】ラベリング記憶部４１５からデータを受け
取った特徴量計算部４１７は、特徴量を各ラベル（ラベ
リング部４１３においてひとかたまりの画像部分ごとに
付されたラベル「１」「２」「３」・・・）ごとに計算
する（ｓ１４０９）。特徴量計算部４１７が計算して求
めた特徴量は、特徴量計算部４１７が特徴量記憶部４１
９へ送信する。特徴量計算部４１７から特徴量を受信し
た特徴量記憶部４１９は、該受信した特徴量を自ら記憶
すると共に（なお、特徴量記憶部４１９は、特徴量計算
部４１７から特徴量記憶部４１９へ送信された特徴量の
うち、外接長方形に関するデータ（具体的には、始点座
標、長辺方程式、短辺方程式）を除いたものを記憶す
る。）、特徴量を受信し記憶した旨をノイズ除去処理部
４１１へ通報する（ｓ１４１０）。図２２は、ｓ１４１
０の後のｓ１４１１以降の動作を示すフローチャートで
ある。特徴量記憶部４１９からの通報（ｓ１４２２又は
ｓ１４１０のいずれかにおいて発信された通報）を受け
たノイズ除去処理部４１１は、条件記憶部２０５へアク
セスし条件記憶部２０５が記憶している検出精度を読み
出す（ｓ１４１１）。そして、ノイズ除去処理部４１１
は、特徴量記憶部４１９へアクセスし特徴量記憶部４１
９が記憶している特徴量たる各ラベルの面積が該条件記
憶部２０５から読み出した検出精度よりも小さいか否か
判断し、該面積が検出精度よりも小さいラベル（番号）
が存するか否か判断し（ｓ１４１２）、面積が検出精度
よりも小さいラベル（番号）が存すると判断した場合
（ＹＥＳ）には面積が検出精度よりも小さいラベルを取
得し（ｓ１４１３）、面積が検出精度よりも小さいラベ
ル（番号）が存すると判断しない場合（ＮＯ）にはノイ
ズ除去処理部４１１は動体対応付け部６０３に開始信号
を発する（ｓ１４１４）。なお、ｓ１４１４の後、ｓ１
６０１へ行く。ｓ１４１３の後、ノイズ除去処理部４１
１は、二値化画像記憶部４０５とラベリング記憶部４１
５と特徴量記憶部４１９とにアクセスし、面積が検出精
度よりも小さいと判断して取得したラベルに該当する各
記憶を削除する（ｓ１４１５）。

【００６６】ｓ１４１５にてかかる削除が行われた後、
二値化画像記憶部４０５は自らの記憶内容（削除されな
かった部分の記憶）をラベリング部４１３へ送信する
（ｓ１４１６）。ラベリング部４１３では、上述したと
同様、受信したデータ中に含まれるひとかたまりの画像
部分ごとにラベルを付し（ｓ１４１７）、該ラベルを付
されたデータはラベリング記憶部４１５へ送信される。
そして、ラベリング記憶部４１５へ送信されたデータ
は、ラベリング記憶部４１５においてラベリング記憶部
４１５が記憶しているデータに上書きされて記憶され、
次いで、ラベリング記憶部４１５は、上書きによって記
憶したデータを特徴量計算部４１７へ送信する（ｓ１４
１８）。そして、ラベリング記憶部４１５からデータを
受け取った特徴量計算部４１７は、特徴量を各ラベルご
とに計算する（ｓ１４１９）。さらに、特徴量計算部４
１７が計算して求めた特徴量は、特徴量計算部４１７か
ら特徴量記憶部４１９へ送信される。特徴量記憶部４１
９は、特徴量計算部４１７から受信した特徴量を、特徴
量記憶部４１９が記憶している特徴量に上書きして記憶
し、特徴量を受信し記憶した旨をノイズ除去処理部４１
１へ通報する（ｓ１４２０）。ｓ１４２０の後、再びｓ
１４１１へ行く。

【００６７】図２３は、追跡部６０１の動作を示すフロ
ーチャートである。図２３を参照して、追跡部６０１の
動作について説明する。ｓ１４１４にてノイズ除去処理
部４１１から発せられた開始信号を受信した動体対応付
け部６０３は、特徴量記憶部４１９にアクセスして特徴
量記憶部４１９に記憶されている特徴量を読み出し（ｓ
１６０１）、その後、動体対応付け部６０３は動体履歴
記憶部６０５にアクセスして動体履歴記憶部６０５が既
に履歴情報を記憶しているか否か判断し（ｓ１６０
２）、動体履歴記憶部６０５が既に履歴情報を記憶して
いない場合（ＮＯ）には特徴量記憶部４１９から読み出
し取得した特徴量を動体履歴記憶部６０５に送信し、そ
れを動体履歴記憶部６０５に記憶するように命令し（ｓ
１６０３）その後、ｓ１３０１へ戻る。ｓ１６０２にお
いて動体履歴記憶部６０５が既に履歴情報を記憶してい
る場合（ＹＥＳ）には、特徴量記憶部４１９から読み出
し取得した特徴量を動体履歴記憶部６０５に送信しない
（動体履歴記憶部６０５は既に記憶していた情報をその
まま記憶する。）。

【００６８】次いで、動体対応付け部６０３は、特徴量
記憶部４１９に記憶された特徴量と、動体履歴記憶部６
０５に記憶された履歴情報と、を用いて類似度を計算し
て対応表を作成する（ｓ１６０４）。得られた対応表か
ら、動体対応付け部６０３は、この対応表に存する前コ
マのラベルそれぞれについて現在コマのラベルそれぞれ
に対して計算された類似度から前コマのラベルと現在コ
マのラベルとの関係付けを行う（ｓ１６０５）。なお、
かかる関係付けは、前コマのラベルそれぞれについて現
在コマのラベルそれぞれに対して計算された類似度が、
所定値を超えるものであって最大のものを選択しこの選
択されたものを与える現在コマのラベルと前コマのラベ
ルとを関係付けることによって行われる。そして、動体
対応付け部６０３は、現在コマのラベルと前コマのラベ
ルとの関係付けができた該現在コマのラベルに該当する
特徴量データを特徴量記憶部４１９にアクセスして読み
出し、該現在コマのラベルとそれに関係付けられた前コ
マのラベルとの関係を付記して該読み出し取得した特徴
量データを動体履歴記憶部６０５へ送信する（ｓ１６０
６）。動体履歴記憶部６０５は、動体対応付け部６０３
からかかる特徴量データを受信すると、まず、前コマの
特徴量として記憶しているデータを前々コマの特徴量デ
ータに上書きして記憶させる（ｓ１６０７）。

【００６９】次いで、動体履歴記憶部６０５は、動体対
応付け部６０３から前記受信したデータに含まれる前記
現在コマのラベルとそれに関係付けられた前コマのラベ
ルとの関係を用い、動体履歴記憶部６０５が記憶してい
る前コマのラベルをそれと対応する現在コマのラベルに
書き換え動体履歴記憶部６０５が記憶している特徴量を
該現在コマのラベルに該当する特徴量に書き換えると共
に、前々コマの特徴量データ（動体対応付け部６０３か
ら特徴量データを受信する前は前コマの特徴量として記
憶されていたデータ）に存するラベルをそれと対応する
現在コマのラベルに書き換える（ｓ１６０８）。さら
に、動体対応付け部６０３は、現在コマのラベルと前コ
マのラベルとの関係付けができなかった該現在コマのラ
ベルに該当する特徴量データを特徴量記憶部４１９にア
クセスして読み出し、動体履歴記憶部６０５へ送信する
（ｓ１６０９）。そして、動体履歴記憶部６０５は、動
体対応付け部６０３からかかる特徴量データを受信する
と、動体履歴記憶部６０５の前コマの記憶データに該受
信した該関係付けができなかった該現在コマのラベルに
該当する特徴量データを追加して記憶する（ｓ１６１
０）。加えて、動体対応付け部６０３が現在コマのラベ
ルと前コマのラベルとの関係付けを試みて現在コマのラ
ベルと前コマのラベルとの関係付けができなかった該前
コマのラベルについては、動体対応付け部６０３は履歴
削除部６０７に命じて動体履歴記憶部６０５が記憶して
いる前コマの特徴量と前々コマの特徴量とから消去する
（ｓ１６１１）。動体対応付け部６０３は、以上の作業
（類似度の計算、対応表の作成、動体履歴記憶部６０５
の記憶内容の書き換え等）が完了すると、完了した旨の
信号を出力部６０９へ発する（ｓ１６１２）。

【００７０】動体対応付け部６０３から該完了した旨の
信号を受信した出力部６０９は、動体履歴記憶部６０５
にアクセスして動体履歴記憶部６０５が記憶している前
コマのラベルのうち上位５個のラベルを選択し（各ラベ
ルに該当する面積が大きいものから５個選択する。な
お、動体履歴記憶部６０５が記憶している前コマのラベ
ルの個数が５個よりも小さいときには該記憶している前
コマのラベル全てを選択する。）、該選択された上位５
個のラベルそれぞれに該当する特徴量を読み出し取得
し、該読み出し取得された特徴量を正像変換処理部８０
５へ送信する（ｓ１６１３）。その後、出力部６０９
は、動体履歴記憶部６０５にアクセスして動体履歴記憶
部６０５が記憶している前コマのラベルの個数と、前記
上位５個のラベルそれぞれの面積と、を読み出し、これ
らを情報量記憶部６１１に送信し情報量記憶部６１１に
記憶させる（ｓ１６１４）。ｓ１６１４の後、ｓ１８０
１へ行く。

【００７１】図２４は、正像変換部８０１の動作を示す
フローチャートである。図２４を参照して、正像変換部
８０１の動作について説明する。まず、ｓ１６１３にお
いて出力部６０９から送信された前記読み出し取得され
た特徴量を受信した正像変換処理部８０５は、その受信
した特徴量を視点パラメータ等計算部８０３へ送信する
（ｓ１８０１）。この特徴量を正像変換処理部８０５か
ら受信した視点パラメータ等計算部８０３は、まず条件
記憶部２０５にアクセスして条件記憶部２０５が記憶し
ているカメラ位置とレンズ種別（レンズ特性）とを読み
出し取得する（ｓ１８０２）。そして、視点パラメータ
等計算部８０３は、方位角（ａｚ）と天頂角（ｚｅ）と
によって構成される視点パラメータと拡大率（ｍａ）と
を計算し、正像変換処理部８０５と実空間位置計算部８
０７とへ並列的に送信される（ｓ１８０３）。

【００７２】視点パラメータ等計算部８０３から各ラベ
ルごとの方位角（ａｚ）、天頂角（ｚｅ）及び拡大率
（ｍａ）を受信した正像変換処理部８０５は、現画像記
憶部３０７にアクセスし現画像記憶部３０７が記憶して
いる画像データを読み出して取得する（ｓ１８０４）。
そして、正像変換処理部８０５は、該読み出し取得した
画像データから、既に出力部６０９から通知されている
前記選択された上位５個のラベルそれぞれに該当する画
像を切り出し正像化（魚眼レンズによって画像に生じた
歪みを除去する。）する（ｓ１８０５）。その後、正像
化処理がなされた正像データ（歪みが除去されたもの）
において前記歪みを含む画像からのデータが存しない画
素については、正像変換処理部８０５が補間処理（共一
次補間処理）を行う（ｓ１８０６）。このようにして正
像変換処理部８０５により、出力部６０９から通知され
た前記選択された上位５個のラベルそれぞれに該当し切
り出され正像化等された正像データ（歪みが除去された
ものであり、それぞれの正像データには該当するラベル
の番号が付記されている。）は、正像変換処理部８０５
から正像画像記憶部８０９へ送信され、正像画像記憶部
８０９において記憶される（ｓ１８０８）。そして、こ
の正像データを正像画像記憶部８０９に記憶させると、
正像変換処理部８０５が記憶が完了した旨の信号を出力
部６０９に発する（ｓ１８０９）。

【００７３】一方、視点パラメータ等計算部８０３から
各ラベルごとの方位角（ａｚ）、天頂角（ｚｅ）及び拡
大率（ｍａ）を受信した実空間位置計算部８０７は、条
件記憶部２０５にアクセスして条件記憶部２０５が記憶
しているカメラ位置とレンズ種別とを読み出し（ｓ１８
１０）、カメラ位置、レンズ種別、各ラベルごとの方位
角（ａｚ）及び天頂角（ｚｅ）を用いて各ラベルごとの
重心位置が実空間においていずれの位置（極座標値）に
存するかを算出する（ｓ１８１１）。該算出された各ラ
ベルごとの実空間における重心位置は、実空間位置計算
部８０７から情報量記憶部６１１へ送信され、情報量記
憶部６１１において記憶される（ｓ１８１２）。ｓ１８
１２の後、ｓ１６３１へ行く。

【００７４】再び、出力部６０９等の追跡部６０１の動
作について説明する。図２５は、出力部６０９等の追跡
部６０１の動作のうちｓ１８１２に続くｓ１６３１以降
のフローチャートである。ｓ１８０９において正像変換
処理部８０５が発した前記記憶が完了した旨の信号を受
信した出力部６０９は、現画像記憶部３０７にアクセス
して現画像記憶部３０７が記憶している円形画像（魚眼
レンズの撮像によって生じた歪みを有する。）を読み出
してモニタ６１３に円形画像６１５として表示させる
（ｓ１６３１）。次いで、出力部６０９は、正像画像記
憶部８０９にアクセスし正像画像記憶部８０９が記憶し
ている正像データ（歪みが除去されたもの）をそれぞれ
読み出し、これら読み出された正像データそれぞれを別
々のフレーム６１７に配置してモニタ６１３に表示する
（ｓ１６３２）。最後に、出力部６０９は、情報量記憶
部６１１にアクセスし情報量記憶部６１１が記憶してい
る前コマのラベルの個数（即ち、検出されている動体の
個数）、前記上位５個のラベルそれぞれの面積及び前記
上位５個の各ラベルごとの実空間における重心位置に関
する各データを読み出し、これらのデータを数値データ
６１９としてモニタ６１３に表示する（ｓ１６３３）。
そしてｓ１６３３の後、作業終了か否か判断し（ｓ１６
３４）、作業終了と判断した場合には作業を終了し（Ｅ
ＮＤ）、作業終了と判断しない場合には再びｓ１３０１
へ戻る。

【００７５】以上説明したように、本システム１０１は
次のように本発明のシステムを構成している。即ち、画
像受付部３０３と現画像記憶部３０７とによって、時系
列的に撮像された画像データを順次入力する画像入力手
段が構成されている。そして、差分処理部３０９によっ
て、画像入力手段によって順次入力された該画像データ
中それぞれに動体の画像が存するか否か判断する動体検
出手段が構成されている。さらに、動体対応付け部６０
３が、動体検出手段が現在画像データ中に動体が存する
と判断した場合には、該現在画像データ中の動体が該現
在画像データよりも前の前コマ画像データ中に存するか
否か判断する同一判断手段を構成している。そして、出
力部６０９と視点パラメータ等計算部８０３と正像変換
処理部８０５と正像画像記憶部８０９とが、動体検出手
段が該現在画像データ中に存すると判断した動体が同一
判断手段によって該前コマ画像データ中に存すると判断
された場合には該前コマ画像データ中に存する動体と該
現在画像データ中に存する動体とを関連付ける関連画像
生成手段を構成している。

【００７６】また、本システムにおいては、画像データ
が魚眼レンズ１１５によって撮像される。そして、本シ
ステムの正像変換処理部８０５が、魚眼レンズ１１５に
よって撮像された画像データから前記動体検出手段によ
って検出された動体を含むように切り出された動体画像
に含まれる魚眼レンズ１１５により生じる歪みを除去す
る歪み除去手段を構成している。さらに、本システムで
は、現在画像データ中に複数の動体が存する場合、前記
同一判断手段（動体対応付け部６０３）が該複数の動体
それぞれについて前記前コマ画像データ中に存するか否
か判断し、前記同一判断手段が前記前コマ画像データ中
に存すると判断した動体それぞれについて前記関連画像
生成手段が該前コマ画像データ中に存する動体と該現在
画像データ中に存する動体とを関連付けるようになって
いる（ここでは両動体を同じフレームに表示する）。

【００７７】本システムでは、前記同一判断手段たる動
体対応付け部６０３が、前記前コマ画像データ中に存す
る動体に対する前記現在画像データ中に存する動体の移
動距離、移動方向及び色彩の差異の３要素の全ての要素
を考慮して両動体が同一か否か判断する（即ち、動体対
応付け部６０３が形成する対応表に記載される類似度は
これら３要素全てを用いて計算される。）。そして、前
記移動距離又は前記移動方向が、前記前コマ画像データ
中に存する動体の重心位置に対する前記現在画像データ
中に存する動体の重心位置の変化によって決定される。
また、前記色彩の差異についても、前記前コマ画像デー
タ中に存する動体の重心位置の近傍の色彩に対する前記
現在画像データ中に存する動体の重心位置の近傍の色彩
の変化によって決定される。

【００７８】本システムにおいては、前記同一判断手段
たる動体対応付け部６０３が、前記現在画像データ中の
動体それぞれが前記前コマ画像データ中に存するか否か
判断し、前記同一判断手段たる動体対応付け部６０３
が、前記現在画像データ中の動体が前記前コマ画像デー
タ中に存すると判断した場合、前記関連画像生成手段た
る出力部６０９と視点パラメータ等計算部８０３と正像
変換処理部８０５と正像画像記憶部８０９とが、該動体
の前記前コマ画像データの画像と前記現在画像データの
画像とを動画として生成する（ここでは該動体の前記前
コマ画像データの画像と前記現在画像データの画像とを
同じフレームに表示することで、動画を生成する。）。
即ち、本システムにおいては、前記関連画像生成手段た
る出力部６０９と視点パラメータ等計算部８０３と正像
変換処理部８０５と正像画像記憶部８０９とが、互いに
関連付けた前記前コマ画像データ中に存する動体と前記
現在画像データ中に存する動体との画像を動画として生
成する。そして、本システムの前記関連画像生成手段た
る出力部６０９と視点パラメータ等計算部８０３と正像
変換処理部８０５と正像画像記憶部８０９とが、前記現
在画像データ中に存する動体の大きさに応じて該動体を
表示する拡大縮小率を設定し、該拡大縮小率に従って該
物体の画像を拡大縮小する拡大縮小手段（主として、視
点パラメータ等計算部８０３と正像変換処理部８０５と
によって構成される。）を有する。

【００７９】なお、ここでは類似度は、前述の式１に従
って計算したが、動体の同一性の判断に資するものであ
ればいかなるものであってもよく、式１に限定されるも
のではない。例えば、次に示す式３によって類似度を計
算してもよい。 （類似度）＝１／（Ｃ^２＋（１−ｃｏｓ（Ｑ））^２／４＋（Ｂ１／Ｗ）^２）（式 ３） ただし、式３中のそれぞれの数値について説明すれば次
のごときである。即ち、Ｃは上記した式２によって計算
される数値である。そして、Ｑは、上記したＡ１（前コ
マから現在コマに移る際の重心移動方向の回転角θ）及
びＡ０（前々コマから前コマに移る際の重心移動方向の
回転角θ）を用いて、（Ａ１−Ａ０）の絶対値をとった
ものである。さらに、Ｂ１は、上述したように、前コマ
から現在コマに移る際の重心移動距離を示す。最後に、
Ｗは、本システムが対象とする動体が移動する際の平均
的な重心移動距離に相当する数値を示しており、例え
ば、Ｗ＝２０としてもよい。このような式３を用いて類
似度を算出することで、式２よりも動体の同一性を的確
かつ正確に判断することができる場合がある。

【図面の簡単な説明】

【図１】一実施形態の本システムのハードウエア構成を
示す概略ブロック図である。

【図２】図１に示した本システムの機能ブロック図であ
る。

【図３】条件入力部の詳細図である。

【図４】変化検出部の詳細図である。

【図５】背景画像記憶部に記憶された画像データの一例
を模式的に示した図である。

【図６】現画像記憶部に記憶されると共に差分処理部へ
送信された画像データの一例を模式的に示した図であ
る。

【図７】差分画像データの一例を模式的に示した図であ
る。

【図８】移動体分析部の詳細図である。

【図９】二値化画像記憶部が記憶するデータの一例を模
式的に示した図である。

【図１０】膨張・収縮処理部が膨張処理を行った後のデ
ータの一例を模式的に示した図である。

【図１１】膨張・収縮処理部が、膨張処理がされたデー
タに収縮処理を行った後のデータを模式的に示した図で
ある。

【図１２】膨張処理及び収縮処理が完了したデータにラ
ベリング部がどのようにラベルを付すかを概念的に説明
した図である。

【図１３】特徴量に含まれる外接長方形の始点座標・長
辺（長辺を示す方程式）・短辺（短辺を示す方程式）に
ついて説明するための図である。

【図１４】追跡部の詳細図である。

【図１５】正像変換部の詳細図である。

【図１６】方位角（ａｚ）の計算方法を説明する図であ
る。

【図１７】天頂角（ｚｅ）の計算方法を説明する図であ
る。

【図１８】条件入力部の動作を示すフローチャートであ
る。

【図１９】変化検出部の動作を示すフローチャートであ
る。

【図２０】ｓ１３０３において画像データを現画像記憶
部へ送信した後のフローチャートである。

【図２１】移動体分析部の動作を示すフローチャートで
ある。

【図２２】ｓ１４１０の後のｓ１４１１以降の動作を示
すフローチャートである。

【図２３】追跡部の動作を示すフローチャートである。

【図２４】正像変換部の動作を示すフローチャートであ
る。

【図２５】出力部等の追跡部の動作のうちｓ１８１２に
続くｓ１６３１以降のフローチャートである。

【符号の説明】

１０１ 本システム １１０ａ ＣＰＵ １１０ｂ ＲＡＭ １１０ｃ ＲＯＭ １１０ｄ インターフェイス １１５ 魚眼レンズ １１７ デジタルビデオカメラ １１９ キーボード ２０１ 条件入力部 ２０３ 条件受付部 ２０５ 条件記憶部 ３０１ 変化検出部 ３０３ 画像受付部 ３０５ 背景画像記憶部 ３０７ 現画像記憶部 ３０９ 差分処理部 ３１１ 差分画像記憶部 ３１３ 動的検知感度計算部 ４０１ 移動体分析部 ４０３ 二値化処理部 ４０５ 二値化画像記憶部 ４０７ 膨張・収縮処理部 ４０９ 動的検知感度記憶部 ４１１ ノイズ除去処理部 ４１３ ラベリング部 ４１５ ラベリング記憶部 ４１７ 特徴量計算部 ４１９ 特徴量記憶部 ６０１ 追跡部 ６０３ 動体対応付け部 ６０５ 動体履歴記憶部 ６０７ 履歴削除部 ６０９ 出力部 ６１１ 情報量記憶部 ６１３ モニタ ６１５ 円形画像 ６１７ フレーム ６１９ 数値データ ８０１ 正像変換部 ８０３ 視点パラメータ等計算部 ８０５ 正像変換処理部 ８０７ 実空間位置計算部 ８０９ 正像画像記憶部 ９０１ ひとかたまりの画像部分 ９０３ 重心位置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 李 森 岡山県岡山市豊成２丁目７番16号 株式会 社リオスコーポレーション内 (72)発明者 近藤 正浩 岡山県岡山市豊成２丁目７番16号 株式会 社リオスコーポレーション内 (72)発明者 大森 優一 岡山県岡山市豊成２丁目７番16号 株式会 社リオスコーポレーション内 Ｆターム(参考） 5C022 AA01 AC42 AC54 5C054 AA01 AA05 CA04 CC03 CC05 CE02 CE16 CH01 EA05 FB03 FC05 FC12 HA19 HA31 5C084 AA02 AA07 AA13 BB31 CC17 DD11 GG43 GG52 GG78 HH10 HH12 HH13 5L096 AA06 BA02 CA04 DA01 EA02 EA03 EA05 EA43 FA18 FA60 GA08 GA34 HA05 JA11

Claims (9)

【特許請求の範囲】
1. 【請求項１】時系列的に撮像された画像データを順次入
   力する画像入力手段と、 該画像入力手段によって順次入力された該画像データ中
   それぞれに動体の画像が存するか否か判断する動体検出
   手段と、 該動体検出手段が現在画像データ中に動体が存すると判
   断した場合には、該現在画像データ中の動体が該現在画
   像データよりも前の前コマ画像データ中に存するか否か
   判断する同一判断手段と、 該動体検出手段が該現在画像データ中に存すると判断し
   た動体が該同一判断手段によって該前コマ画像データ中
   に存すると判断された場合には該前コマ画像データ中に
   存する動体と該現在画像データ中に存する動体とを関連
   付ける関連画像生成手段と、を備えてなる、動体追跡表
   示システム。
2. 【請求項２】前記画像データが魚眼レンズによって撮像
   され、 該魚眼レンズによって撮像された画像データから前記動
   体検出手段によって検出された動体を含むように切り出
   された動体画像に含まれる該魚眼レンズにより生じる歪
   みを除去する歪み除去手段を、さらに備えるものであ
   る、請求項１に記載の動体追跡表示システム。
3. 【請求項３】前記現在画像データ中に複数の動体が存す
   る場合、前記同一判断手段が該複数の動体それぞれにつ
   いて前記前コマ画像データ中に存するか否か判断し、 前記同一判断手段が前記前コマ画像データ中に存すると
   判断した動体それぞれについて前記関連画像生成手段が
   該前コマ画像データ中に存する動体と該現在画像データ
   中に存する動体とを関連付けるものである、請求項２に
   記載の動体追跡表示システム。
4. 【請求項４】前記同一判断手段が、前記前コマ画像デー
   タ中に存する動体に対する前記現在画像データ中に存す
   る動体の移動距離、移動方向及び色彩の差異のうち少な
   くとも一を考慮して両動体が同一か否か判断するもので
   ある、請求項１乃至３のいずれかに記載の動体追跡表示
   システム。
5. 【請求項５】前記移動距離又は前記移動方向が、前記前
   コマ画像データ中に存する動体の重心位置に対する前記
   現在画像データ中に存する動体の重心位置の変化によっ
   て決定されるものである、請求項４に記載の動体追跡表
   示システム。
6. 【請求項６】前記関連画像生成手段が、互いに関連付け
   た前記前コマ画像データ中に存する動体と前記現在画像
   データ中に存する動体との画像を動画として生成するも
   のである、請求項１乃至５のいずれかに記載の動体追跡
   表示システム。
7. 【請求項７】前記関連画像生成手段が、前記現在画像デ
   ータ中に存する動体の大きさに応じて該動体を表示する
   拡大縮小率を設定し、該拡大縮小率に従って該物体の画
   像を拡大縮小する拡大縮小手段を、さらに有してなる、
   請求項１乃至６のいずれかに記載の動体追跡表示システ
   ム。
8. 【請求項８】請求項１乃至７のいずれかに記載の動体追
   跡表示システムをコンピュータに実現させるためのプロ
   グラム。
9. 【請求項９】請求項１乃至７のいずれかに記載の動体追
   跡表示システムをコンピュータに実現させるためのプロ
   グラムを記録したコンピュータ読み取り可能な記憶媒
   体。