JP2003284059A - カメラ画像による移動物体追跡装置およびカメラパラメータのキャリブレーション方法並びに装置 - Google Patents

Abstract

(57)【要約】 【課題】 所要の監視領域において複数のカメラを使用
して、監視対象としての移動物体の検出およびその追跡
処理を簡便にかつ高精度に達成することができるカメラ
画像による移動物体追跡装置およびカメラパラメータの
キャリブレーション方法並びに装置を提供する。 【解決手段】 監視対象領域を撮影する少なくとも２台
以上のカメラ１０Ａ、１０Ｂと；前記各カメラにより撮
影されたカメラ画像信号を入力し、これらの入力画像に
対し、背景画像との比較により差分処理し、２値化処理
し、ラベリングして３次元復元処理を行う移動物体の検
出処理手段と、前記３次元復元処理された入力画像に基
づき、復元ライン設定を行ってこれら復元ラインの交点
から監視対象の移動物体を検出しその位置情報を算出す
る移動物体の移動位置情報処理手段と、前記復元ライン
の交点に基づき移動物体の追跡を行う追跡処理手段とを
備えた入力画像演算処理手段２０と；前記入力画像演算
処理手段により得られるカメラ画像と共に移動物体の移
動位置情報の全部または一部を選択的に表示する表示手
段４０とから構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】 本発明は、複数のカメラに
よる監視対象における移動物体（人物、その他の物体）
の追跡を、カメラ画像によって３次元位置を簡便にかつ
精度良く演算処理することができるカメラ画像による移
動物体追跡装置およびカメラパラメータのキャリブレー
ション方法並びに装置に関するものである。

【０００２】

【従来の技術】 従来において、金融機関、商業施設お
よび駐車場等において、侵入者の発見や利用者による利
用状況等を把握するため、監視カメラ装置が用いられて
いる。この種の監視カメラ装置は、監視者がカメラ撮影
されたカメラ画像を見ながら、監視領域における人物や
その他の物体からなる移動物体を監視するものである。
このため、監視領域を複数の監視カメラを用いて撮影
し、画像選択手段を介して個々の監視カメラによるカメ
ラ画像を、それぞれ切り換えて表示したり記録したりす
るように構成されている。

【０００３】また、店舗等において、来店客である人物
の動線すなわち移動軌跡は、商品の売上を左右する因子
の１つとして重要である。そこで、店舗等における商品
の売上を伸張させるために、それぞれ来店客の動線を調
査して、店舗のレイアウトを改良することが行われる。
しかし、従来の動線調査に際しては、例えば調査員が来
店客を尾行追跡して、その行動を適宜の調査用紙にその
都度所要のデータを手書きにより記入する方法が行われ
ている。

【０００４】このように、従来の動線調査においては、
非常に時間や労力および費用が掛かるという難点があ
る。しかも、このような動線調査結果は、例えば店長等
の非専門家が見ただけでは解り難いものであり、店舗側
の理解を得難いという難点もある。さらに、理想的な動
線や、過去に良好な結果を得た（例えば高い売上を得
た）時の動線と比較しながら現在の動線を見ることによ
り、現状把握が容易となるが、従来の監視カメラ装置に
おいては、このような要求を満足することはきない。

【０００５】このような観点から、本出願人は、先に、
所要の監視領域を撮影する１台もしくは複数台のビデオ
カメラと、カメラの撮影に基づく監視画像から監視対象
の移動物体を検出し、追跡する移動物体検出・追跡手段
と、移動物体の移動情報を演算する移動情報演算手段
と、前記監視画像、前記移動物体検出・追跡結果、前記
移動情報、後記移動物体動線予測の結果等の監視情報を
記憶する監視情報記憶手段と、移動物体動線予測を行う
移動物体動線予測手段、監視情報の一部または全部を選
択的に表示する表示手段とを、備えた監視カメラシステ
ムを開発した。

【０００６】すなわち、前記開発された監視カメラシス
テムにおいては、カメラの撮影に基づく監視画像の中の
移動物体を自動的に検出するに際し、動画像における複
数画像フレーム間の差分処理により静止物体と移動物体
との識別を行い、さらに移動物体が監視対象の人物であ
るか否かを判別する。そして、監視対象の移動物体とそ
の他の移動物体とを識別するには、監視対象の移動物体
の特徴量を予め記憶させておき、その特徴量を読み出し
て、検出データ中の特徴データとを比較することにより
行う。また、監視対象の移動物体を検出した時には、さ
らに当該移動物体の向きやどのような動作をしているか
を、動作の変化から判定して、移動物体の動作情報を得
ることができきる。

【０００７】さらに、前記のように検出された監視対象
の移動物体がどのように移動したか、すなわち移動物体
の追跡に際しては、例えば移動物体の重心等の位置情報
を求め、時系列に得られた監視画像から当該位置情報の
移動を比較することにより行うことができる。

【０００８】従って、従来の監視カメラシステムにおけ
る移動物体の追跡手段としては、図１３に示すように、
所要の監視領域においてカメラにより撮影されるカメラ
画像を入力し（ＳＴＥＰ−１）、この入力画像に基づい
て背景画像を作成する（ＳＴＥＰ−２）。次いで、入力
画像と背景画像の差分を演算すなわち差分処理する（Ｓ
ＴＥＰ−３）ことにより、変化のあった位置を検出す
る。そして、画像の２値化処理を行う（ＳＴＥＰ−４）
ことによってノイズを除去し、大きな変化の移動があっ
た部分（移動領域）だけを検出する。この場合、画像の
２値化処理によって得られた部分が隣接する場合、同一
物体として認識し、番号（ラベル）を割り当てるラベリ
ング処理を行う（ＳＴＥＰ−５）。

【０００９】さらに、検出される所定のラベルの画像上
の位置（画像座標）から、３次元空間（ワールド座標）
の算出すなわち３次元復元を行う（ＳＴＥＰ−６）。こ
の３次元復元に際しては、ラベルの外接長方形の下辺中
央座標（Ｕ1 ，Ｖ1 ）を移動物体としての人物の足元
（Ｚ1 ＝０）と仮定して、カメラパラメータを用いてワ
ールド座標を算出する。そして、このようにして得られ
た３次元復元された移動物体について、今回（Ｎ）の検
出結果と、前回（Ｎ-1）の検出結果との相互関係から、
同一物体であるかの判定を行って移動物体の追跡処理を
行う（ＳＴＥＰ−７）。以上の制御動作を、ＳＴＥＰ−
１からＳＴＥＰ−７まで、順次繰り返し行うことによっ
て移動物体の追跡結果を得ることができる。

【００１０】

【発明が解決しようとする課題】 しかるに、前述した
ような構成からなる監視カメラシステムにおける、移動
物体の検出および追跡手段においては、例えば人物の移
動を検出する際に、移動人物の状態の変化ににより体全
体を検出できなかった場合や、什器類等の存在によって
体の一部が欠落して検出された場合、適正な位置に３次
元復元することができず、カメラに対して奥行き方向の
誤差を生じる難点がある。

【００１１】また、カメラを用いた移動物体等の画像デ
ータとしては、一般に３次元の位置情報としてのワール
ド座標が用いられている。この場合、ワールド座標の算
出に際しては、移動物体等に対するカメラの位置、姿
勢、焦点距離からなるカメラパラメータの設定が適正に
行われていることが重要である。このため、従来よりこ
の種の監視カメラシステムにおいては、カメラパラメー
タのキャリブレーションが必須とされ、種々のカメラパ
ラメータのキャリブレーション方法が提案され実施され
ている。

【００１２】しかるに、従来のカメラパラメータのキャ
リブレーション方法は、例えば形状や位置が既知である
多角形を撮影する方法（特開２００１−３３２４６号公
報）、マーカーを設置する方法（特開平８−２４０４２
１号公報）であり、画像上の座標と実空間上の座標との
対応点の関係からカメラパラメータのキャリブレーショ
ンを行っている。なお、カメラパラメータとは、カメラ
の位置（ワールド座標系）、姿勢（ワールド座標系）、
焦点距離に関し、実空間上の座標（ｘ，ｙ，ｚ，ｌ）か
ら画像上の座標（ｕ，ｖ）を算出する場合の座標変換行
列（Ｃ11〜Ｃ34）であり、次式で示される。

【００１３】

【数１】

【００１４】しかしながら、前記従来のキャリブレーシ
ョン方法においては、対象空間の環境によっては、カメ
ラパラメータのキャリブレーションが困難な場合があ
る。特に、実際の監視ないし計測対象である催事場や店
舗等では非常に困難となる。すなわち、前記既知の多角
形を撮影する方法では、撮影条件によっては非常に大き
い多角形が必要となる難点がある。また、前記マーカー
等を設置する方法では、設置場所が適切でないとキャリ
ブレーションの精度が悪くなる難点がある。そして、画
像上の座標および実空間上の座標を入力する作業も非常
に面倒となる難点がある。

【００１５】そこで、本発明者等は、種々検討並びに試
作を行った結果、複数のカメラをそれぞれ異なる位置に
設置し、それぞれ監視対象の移動物体を撮影すると共
に、各カメラにおける入力画像に基づいて、移動物体に
対する背景画像の作成、差分処理、２値化処理、ラベリ
ングおよび３次元復元までの処理は、従来の監視カメラ
システムと同様に設定する。次いで、各カメラの前記３
次元復元結果のカメラ画像上の座標（Ｘpi，Ｙpi）と、
各カメラの設置位置の画像上の座標（Ｘci，Ｙci）と
を、結ぶ直線（復元ライン）をそれぞれ算出し、これら
各カメラによる復元ラインの交点を求めることにより、
監視対象の移動物体に対する３次元復元の画像上の正確
な位置を決定することができることを突き止めた。

【００１６】また、前記カメラ画像上において、移動物
体に対する３次元復元の画像上の正確な位置を決定する
に際しては、カメラ画像上の座標と、実空間（平面図）
上の座標とを対応させる必要があり、このためカメラパ
ラメータのキャリブレーションが必要となる。

【００１７】そこで、本発明においては、カメラ画像と
縮尺の正確な平面図画像を使用し、カメラ画像に基づい
て撮影範囲およびその中心（Ｘp 軸，Ｚp 軸）を設定
し、平面図画像に基づいてカメラの設置位置および撮影
方向からなるカメラ姿勢の設定の設定を行うことによ
り、カメラによる視点および注視点の設定および視点−
注視点間距離（Ｌvt）の設定を行い、平面図画像に対し
て撮影方向を指示すると同時に撮影方向に垂直な画面横
軸（Ｘp ）を指示し、さらに前記軸（Ｘp ）上における
カメラ画像上の長さ（Ｌp ）と平面図画像上の長さ
（Ｌ）との対応と前記視点−注視点間距離（Ｌvt）とか
ら仮想焦点距離（ｆp ＝Ｌp ／Ｌ×Ｌvt）を算出するこ
とにより、カメラパラメータを簡便に算出することがで
きることを突き止めた。

【００１８】また、この場合において、前記カメラ姿勢
の設定において、注視点の正確な設定は困難である。こ
のため、前記のようにして得られたカメラパラメータを
一次カメラパラメータとし、所要のカメラ姿勢を補正す
る手段を介してカメラ姿勢を補正することが必要であ
る。

【００１９】そこで、本発明においては、カメラによる
撮影範囲内に少なくとも１つの正確な実空間上の座標が
既知であるマーカーを撮影し、このマーカーが実際に写
っている画像座標（Ｕr ，Ｖr ）と、前記一次カメラパ
ラメータによって得られた画像座標（Ｕs ，Ｖs ）との
差から、パン角およびチルト角の誤差Δθp ，Δθtを
算出する。これにより、正確なカメラ姿勢θp´（＝θp
＋Δθp ）、θt´（＝θt ＋Δθt ）が得られると共
に、補正された二次カメラパラメータを簡便に算出する
ことができることを突き止めた。

【００２０】従って、本発明の主たる目的は、所要の監
視領域において複数のカメラを使用して、監視対象とし
ての移動物体の検出およびその追跡処理を簡便にかつ高
精度に達成することができるカメラ画像による移動物体
追跡装置およびカメラパラメータのキャリブレーション
方法並びに装置を提供することにある。

【００２１】また、本発明の別の目的は、煩雑な基準設
定や目標設定を行うことなく、カメラの入力画像から簡
便にカメラパラメータの設定および補正を行うことがで
きるカメラパラメータのキャリブレーション方法および
装置を提供することにある。

【００２２】

【課題を解決するための手段】 前記目的を達成するた
め、本発明に係るカメラ画像による移動物体追跡装置
は、監視対象領域を撮影する少なくとも２台以上のカメ
ラと、前記各カメラにより撮影されたカメラ画像信号を
入力し、これらの入力画像に対し、背景画像との比較に
より差分処理し、２値化処理し、ラベリングして３次元
復元処理を行う移動物体の検出処理手段と、前記３次元
復元処理された入力画像に基づき、復元ライン設定を行
ってこれら復元ラインの交点から監視対象の移動物体を
検出しその位置情報を算出する移動物体の移動位置情報
処理手段と、前記復元ラインの交点に基づき移動物体の
追跡を行う追跡処理手段とを備えた入力画像演算処理手
段と、前記入力画像演算処理手段により得られるカメラ
画像と共に、移動物体の移動位置情報の全部または一部
を選択的に表示する表示手段と、を設けたことを特徴と
する。

【００２３】この場合、前記カメラ画像による移動物体
追跡装置は、前記入力画像演算処理手段に対し、入力画
像における移動物体を追跡するに際し、移動物体の画像
処理およびその移動位置情報を算出するためのカメラパ
ラメータのキャリブレーションを行うキャリブレーショ
ン手段を、さらに設けたことを特徴とする。

【００２４】また、本発明に係るカメラ画像による移動
物体追跡装置におけるカメラパラメータのキャリブケー
ション方法および方法は、カメラ画像と縮尺の正確な平
面図画像を使用し、カメラ画像に基づいて撮影範囲およ
びその中心（Ｘp 軸，Ｚp 軸）を設定し、平面図画像に
基づいてカメラの設置位置および撮影方向からなるカメ
ラ姿勢の設定の設定を行うことにより、カメラによる視
点および注視点の設定および視点−注視点間距離（Ｌv
t）の設定を行い、平面図画像に対して撮影方向を指示
すると同時に撮影方向に垂直な画面横軸（Ｘp ）を指示
し、さらに前記軸（Ｘp ）上におけるカメラ画像上の長
さ（Ｌp ）と平面図画像上の長さ（Ｌ）との対応と前記
視点−注視点間距離（Ｌvt）とから仮想焦点距離（ｆp
＝Ｌp ／Ｌ×Ｌvt）を算出することにより、カメラパラ
メータを算出することを特徴とする。

【００２５】この場合、前記カメラパラメータのキャリ
ブケーション方法を実施するための装置は、カメラ画像
入力部と、縮尺の正確な平面図画像を入力する平面図画
像入力部と、カメラ画像に基づいて撮影範囲およびその
中心（Ｘp 軸，Ｚp 軸）を設定する撮影範囲設定部と、
平面図画像に基づいてカメラの設置位置および撮影方向
からなるカメラ姿勢の設定の設定を行うことにより、カ
メラによる視点および注視点の設定および視点−注視点
間距離（Ｌvt）の設定を行い、平面図画像に対して撮影
方向を指示すると同時に撮影方向に垂直な画面横軸（Ｘ
p ）を指示するカメラ姿勢設定部と、前記軸（Ｘp ）上
におけるカメラ画像上の長さ（Ｌp ）と平面図画像上の
長さ（Ｌ）との対応と視点−注視点間距離（Ｌvt）とか
ら仮想焦点距離（ｆp ＝Ｌp／Ｌ×Ｌvt）を算出する仮
想焦点距離設定部と、カメラパラメータ出力部とを備え
たことを特徴とする。

【００２６】さらに、本発明に係るカメラ画像による移
動物体追跡装置におけるカメラパラメータのキャリブケ
ーション方法は、カメラ画像と縮尺の正確な平面図画像
を使用し、カメラ画像に基づいて撮影範囲およびその中
心（Ｘp 軸，Ｚp 軸）を設定し、平面図画像に基づいて
カメラの設置位置および撮影方向からなるカメラ姿勢の
設定の設定を行うことにより、カメラによる視点および
注視点の設定および視点−注視点間距離（Ｌvt）の設定
を行い、平面図画像に対して撮影方向を指示すると同時
に撮影方向に垂直な画面横軸（Ｘp ）を指示し、さらに
前記軸（Ｘp ）上におけるカメラ画像上の長さ（Ｌp ）
と平面図画像上の長さ（Ｌ）との対応と前記視点−注視
点間距離（Ｌvt）とから仮想焦点距離（ｆp ＝Ｌp ／Ｌ
×Ｌvt）を算出することにより一次カメラパラメータを
算出し、次いで、カメラによる撮影範囲内に少なくとも
１つの正確な実空間上の座標が既知であるマーカーを撮
影し、このマーカーが実際に写っている画像座標（Ｕ
r，Ｖr ）と、前記一次カメラパラメータによって得ら
れた画像座標（Ｕs ，Ｖs）との差から、パン角（θp
）およびチルト角（θt ）の誤差（Δθp ，Δθt）を
算出することにより、正確なカメラ姿勢〔θp´（＝θp
＋Δθp ）、θt´（＝θt ＋Δθt ）〕を算出して、
前記一次カメラパラメータを補正した二次カメラパラメ
ータを算出することを特徴とする。

【００２７】この場合、前記カメラパラメータのキャリ
ブケーション方法を実施するための装置は、カメラ画像
入力部と、縮尺の正確な平面図画像を入力する平面図画
像入力部と、カメラ画像に基づいて撮影範囲およびその
中心（Ｘp 軸，Ｚp 軸）を設定する撮影範囲設定部と、
平面図画像に基づいてカメラの設置位置および撮影方向
からなるカメラ姿勢の設定の設定を行うことにより、カ
メラによる視点および注視点の設定および視点−注視点
間距離（Ｌvt）の設定を行い、平面図画像に対して撮影
方向を指示すると同時に撮影方向に垂直な画面横軸（Ｘ
p ）を指示するカメラ姿勢設定部と、前記軸（Ｘp ）上
におけるカメラ画像上の長さ（Ｌp ）と平面図画像上の
長さ（Ｌ）との対応と視点−注視点間距離（Ｌvt）とか
ら仮想焦点距離（ｆp ＝Ｌp／Ｌ×Ｌvt）を算出する仮
想焦点距離設定部と、一次カメラパラメータ出力部と、
カメラによる撮影範囲内に少なくとも１つの正確な実空
間上の座標が既知であるマーカーを撮影し、このマーカ
ーが実際に写っている画像座標（Ｕr ，Ｖr ）と、前記
一次カメラパラメータによって得られた画像座標（Ｕs
，Ｖs ）との差から、パン角（θp ）およびチルト角
（θt ）の誤差（Δθp ，Δθt ）を算出することによ
り、正確なカメラ姿勢〔θp´（＝θp ＋Δθp ）、θt
´（＝θt＋Δθt ）〕を算出して、前記一次カメラパ
ラメータを補正するカメラ姿勢補正手段と、二次カメラ
パラメータ出力部とを備えたことを特徴とする。

【００２８】

【発明の実施の形態】 次に、本発明に係るカメラ画像
による移動物体追跡装置およびカメラパラメータのキャ
リブレーション方法並びに装置の実施例につき、添付図
面を参照しながら、以下詳細に説明する。

【００２９】図１は、本発明に係るカメラ画像による移
動物体追跡装置の一実施例を示すものであって、複数の
監視カメラを使用した移動体追跡装置のシステム構成図
である。図１において、参照符号１０Ａ，１０Ｂはそれ
ぞれ複数の監視カメラ、参照符号２０は入力画像演算処
理手段、参照符号３０はカメラパラメータのキャリブレ
ーション手段、そして参照符号４０は表示手段をそれぞ
れ示す。

【００３０】前記入力画像演算処理手段２０において
は、前記各監視カメラ１０Ａ，１０Ｂにそれぞれ対応し
て、カメラ画像入力部１２Ａ，１２Ｂ、背景画像作成部
１３Ａ，１３Ｂ、差分処理部１４Ａ，１４Ｂ、２値化処
理部１６Ａ，１６Ｂ、ラベリング部１８Ａ，１８Ｂおよ
び３次元復元処理部２２Ａ、２２Ｂからなる移動物体の
検出処理手段が設けられる。また、前記入力画像演算処
理手段２０には、復元ライン設定部２４Ａ，２４Ｂおよ
び復元ライン交点算出処理部２６からなる移動物体の移
動位置情報処理手段が設けられる。さらに、前記入力画
像演算処理手段２０には、移動物体の追跡処理手段とし
ての追跡処理部２８が設けられる。

【００３１】また、カメラパラメータのキャリブレーシ
ョン手段３０は、前記入力画像演算処理手段２０に対し
て、入力画像における移動物体を追跡する際に、移動物
体の画像処理およびその移動位置情報を算出、すなわち
前記３次元復元処理部２２Ａ，２２Ｂにおける入力画像
に対する３次元復元処理や、前記復元ライン設定部２４
Ａ，２４Ｂにおける復元ラインの設定等に必要とする、
カメラパラメータの適正な設定を行うために設けられ
る。そして、このカメラパラメータのキャリブレーショ
ン手段３０に対しては、後に詳述するように、カメラ画
像入力部３２を介してカメラ画像を入力すると共に、平
面図画像入力部３３を介して平面図画像を入力するよう
に構成され、カメラパラメータのキャリブレーションを
行うように設定される。

【００３２】次に、このように構成された本実施例にお
ける移動物体追跡装置における移動物体の追跡処理を行
う制御動作につき、図２に示す移動物体の追跡処理制御
プログラムのフローチャート図および図３ないし図５に
示すそれぞれ画像表示例を参照して説明する。

【００３３】まず、入力画像演算処理手段２０における
移動物体の検出処理手段において、所要の監視領域にお
いて第１のカメラ１０Ａおよび第２のカメラ１０Ｂによ
りそれぞれ撮影されるカメラ画像を画像入力部１２Ａ，
１２Ｂに入力する（ＳＴＥＰ−１１Ａ，ＳＴＥＰ−１１
Ｂ）〔図３の（ａ）および（ｂ）参照〕。この入力画像
に基づき、背景画像作成部１３Ａ，１３Ｂにおいて背景
画像を作成する（ＳＴＥＰ−１２Ａ，ＳＴＥＰ−１２
Ｂ）と共に、前記入力画像と前記背景画像の差分を差分
処理部１４Ａ，１４Ｂにおいて演算することにより（Ｓ
ＴＥＰ−１３Ａ，ＳＴＥＰ−１３Ｂ）、変化のあった位
置を検出する。そして、２値化処理部１６Ａ，１６Ｂに
おいて、画像の２値化処理を行ってノイズを除去し（Ｓ
ＴＥＰ−１４Ａ，ＳＴＥＰ−１４Ｂ）、大きな変化の移
動があった部分（移動領域）だけを検出する。この場
合、画像の２値化処理によって得られた部分が隣接する
場合、同一物体として認識し、ラベリング部１８Ａ，１
８Ｂにおいて番号（ラベル）を割り当てるラベリング処
理を行う（ＳＴＥＰ−１５Ａ，ＳＴＥＰ−１５Ｂ）〔図
４の（ａ）および（ｂ）参照〕。

【００３４】すなわち、検出される所定のラベルの画像
上の位置（画像座標）から、３次元空間（ワールド座
標）の算出すなわち３次元復元を行う（ＳＴＥＰ−１６
Ａ，ＳＴＥＰ−１６Ｂ）。この３次元復元に際しては、
ラベルの外接長方形の下辺中央座標（Ｕ1 ，Ｖ1 ）を移
動物体としての人物の足元（Ｚ1 ＝０）と仮定して、カ
メラパラメータを用いてワールド座標を算出する。以上
の移動物体に対する追跡処理制御は、従来のシステムと
同様である。

【００３５】そこで、本発明の実施例においては、復元
ライン設定部２４Ａ，２４Ｂを設けて、前記各カメラ１
０Ａ，１０Ｂの入力カメラ画像に基づく、３次元復元結
果における移動物体の各座標（Ｘp1，Ｙp1）および（Ｘ
p2，Ｙp2）と、各のカメラ１０Ａ，１０Ｂの設定位置の
各座標（Ｘc1，Ｙc1）および（Ｘc2，Ｙc2）とを結ぶ直
線を、それぞれ復元ライン（Ａ1x＋Ｂ1y＋Ｃ1 ＝０）お
よび（Ａ2x＋Ｂ2y＋Ｃ2 ＝０）として設定する（ＳＴＥ
Ｐ−１７Ａ，ＳＴＥＰ−１７Ｂ）。そして、前記復元ラ
イン設定部２４Ａ，２４Ｂで得られた復元ラインの交点
Ｐ（ｘ，ｙ）を、復元ライン交点算出処理部２６におい
て算出することにより（ＳＴＥＰ−１８）、移動物体の
正確な３次元復元位置の座標（ワールド座標）を算出す
ることができる〔図５参照〕。従って、本実施例におい
ては、前記復元ライン交点算出処理部２６において算出
された移動物体の正確な３次元復元位置に基づいて、追
跡処理部２８において移動物体の追跡処理を行うことが
できる（ＳＴＥＰ−１９）。以上の制御動作を、ＳＴＥ
Ｐ−１１Ａ，ＳＴＥＰ−１１ＢからＳＴＥＰ−１９ま
で、順次繰り返し行うことによって移動物体の追跡結果
を得ることができる。

【００３６】次に、図１に示すカメラパラメータのキャ
リブレーション手段３０によるカメラパラメータのキャ
リブレーション方法および装置につき、図６に示す一実
施例を参照しながら説明する。

【００３７】まず、カメラパラメータのキャリブレーシ
ョン手段３０においては、第１のカメラ１０Ａまたは第
２のカメラ１０Ｂのカメラ画像と、縮尺の正確な平面図
の画像とを、それぞれカメラ画像入力部３２および平面
図画像入力部３３に準備して、それぞれの画像を入力す
る（図１および図６参照）。

【００３８】そこで、前記キャリブレーション手段３０
においては、図６に示すように、撮影範囲設定部３４に
より撮影範囲を設定する。この場合、表示手段４０に表
示したカメラ画像に対しマウスにより撮影範囲を指定す
ることができる。例えば、マウスにより撮影範囲の左上
でマウスボタンを押し、撮影範囲の右下までドラッグ
し、マウスボタンを放すことにより、撮影範囲が設定さ
れると共に撮影範囲の中心線（Ｘp 軸，Ｚp 軸）を描く
ことができる（図７参照）。このようにして、画像中の
任意の位置に撮影範囲およびその中心を設定することが
できる。なお、監視カメラシステム等においては、１画
面に複数のカメラからの映像が写し出されるが、このよ
うな場合においても、前述した対応が可能である。

【００３９】次に、カメラ姿勢設定部３５により、カメ
ラの設置位置や撮影方向等を示すカメラ姿勢を設定す
る。この場合、平面図画像入力部３３より入力された平
面図画像に対し、マウスにより指定することができる。
例えば、平面図画像において、カメラ設置位置でマウス
ボタンを押し、注視点の位置までドラッグし、マウスボ
タンを放すことにより、カメラ姿勢が設定される。これ
により、視点、注視点が設定され、各軸の回転角（パン
角θp 、チルト角θt 等）および視点−注視点間距離
（Ｌvt）が自動的に設定される（図８参照）。そして、
平面図画像には、撮影方向が描かれると同時に、撮影方
向に垂直な画面横軸（Ｘp 軸）が描かれる（図８参
照）。なお、高さ情報については、さらに入力が必要で
ある。

【００４０】その後、仮想焦点距離設定部３６により、
仮想焦点距離（ｆp ）を設定する。この仮想焦点距離
は、焦点距離を画像座標の単位（画素：ピクセル）に変
換したものであり、画像上の距離（Ｌp ）と平面図画像
の距離（Ｌ）とを対応させると共に、視点−注視点間距
離（Ｌvt）より得ることができる（図８参照）。この場
合、すでにカメラ画像上には撮影範囲の中心線（Ｘp ，
Ｚp ）が描かれ（図７参照）、平面図画像上には画面横
軸（Ｘp ）が描かれ（図８参照）、これらの位置は対応
しており、この軸（Ｘp ）上でカメラ画像上での長さ
（Ｌp ）と、平面図画像上での長さ（Ｌ）との対応をと
ることによって（図７および図８参照）、仮想焦点距離
（ｆp ＝Ｌp ／Ｌ×Ｌvt）を算出することができる。

【００４１】これらの設定項目から、実空間上の座標
（ｘ，ｙ，ｚ，ｌ）から画像上の座標（ｕ，ｖ）を算出
するための座標変換行列からなるカメラパラメータを算
出し、カメラパラメータ出力部３８に出力することがで
きる。このようにして算出されたカメラパラメータは、
図１に示す移動物体追跡装置の入力画像演算処理手段２
０に入力されて、カメラ画像上における移動物体の円滑
かつ適正な追跡処理を行うことができる。

【００４２】図９は、図１に示すカメラパラメータのキ
ャリブレーション手段３０によるカメラパラメータのキ
ャリブレーション方法および装置の別の実施例を示すも
のである。

【００４３】本実施例においては、前述した図６に示す
カメラパラメータのキャリブレーション方法および装置
において得られるカメラパラメータは、カメラ姿勢の設
定において、正確な注視点の設定が困難であることか
ら、カメラ姿勢を補正する必要があり、このため図６に
示すカメラパラメータのキャリブレーション装置に対
し、カメラ姿勢補正手段３７を設けたことを特徴とする
ものである。なお、図９において、図６に示す実施例の
構成要素と同一の構成要素については、同一の参照符号
を付し、その詳細な説明は省略する。

【００４４】従って、図９において、カメラパラメータ
のキャリブレーション手段３０の機能は、前述した図６
に示す実施例と全く同じであり、このキャリブレーショ
ン手段３０により出力されるカメラパラメータは、本実
施例において一次カメラパラメータとして一次カメラパ
ラメータ出力部３８ａに出力される。そこで本実施例に
おいては、カメラ姿勢補正手段３７として、カメラの撮
影範囲内に少なくとも１つの正確な実空間座標が既知で
あるマーカーを撮影する。

【００４５】そこで、本実施例においては、図１０に一
次カメラパラメータの設定例を示す。そして、図１０に
おいて、前記マーカーとして、部屋の床面に３ｍ×３ｍ
の正方形の図形を設定した。まず、マウスでドラッグす
ることにより、カメラの撮影範囲（図１０の左上参照）
と、中心線（Ｘ軸，Ｚ軸）とを設定する。次いで、平面
図画像（図１０の右側参照）において、カメラの設置位
置を視点として、注視点までをマウスでドラッグするこ
とにより、カメラ姿勢を設定する。なお、注視点を設定
する際には、実際にカメラ画像がどこを向いているのか
を大体確認しながら設定することができる。この結果、
カメラの撮影方向と画面横軸（Ｘ軸）が得られると同時
に、視点から注視点までの距離（Ｌvt）が算出される。
そして、カメラ画像におけるのＸ軸上距離（Ｌp ）と、
平面図画像におけるＸ軸上の距離（Ｌ）とを対応させて
マウスで入力設定する。これらの距離（Ｌp ，Ｌ）と視
点−注視点間距離（Ｌvt）とから、仮想焦点距離（ｆp
＝Ｌp ／Ｌ×Ｌvt）が算出される。そして、これらの設
定項目から、一次カメラパラメータを算出することがで
きる。

【００４６】次に、カメラ姿勢の誤差を確認する。図１
１は、カメラ姿勢に誤差がある場合を示すものである。
しかるに、平面図画像の一部（ワールド座標：ｘ，ｙ，
ｚ，ｌ）をマウスで指定すると、一次カメラパラメータ
によって算出されたスクリーン座標（Ｕs ，Ｖs ）がカ
メラ画像に表示される。そこで、本実施例においては、
前記マーカーとしての床面に設定した正方形の中心は、
ワールド座標（ｘ，ｙ，ｚ，ｌ）としては（２，０，
２，０）、スクリーン座標（Ｕr ，Ｖr ）としては（ 1
66，128 ）が得られた。また、一次カメラパラメータに
ワールド座標（２，０，２，０）を入力して算出された
スクリーン座標（Ｕs ，Ｖs ）としては、（ 176，111
）が得られた。なお、前記一次カメラパラメータの算
出に際しては、仮想焦点距離ｆp と、カメラ姿勢として
のパン角θp およびチルト角θt は、それぞれｆp ＝16
8 、θp ＝311.11°、θt ＝24.76 °が得られた。

【００４７】従って、カメラ姿勢の誤差Δθp ，Δθt
が、次式により算出される。 Δθp ＝arc tan ［（176-166 ）／168 ］＝ 3.41 ° Δθt ＝arc tan ［（111-128 ）／168 ］＝-5.78 °

【００４８】仍って、正確なカメラ姿勢θp´，θt´
は、次式により算出される。 θp´＝311.11＋3.41＝314.52 θt´＝-24.76−5.78＝ 30.54

【００４９】このようにして得られた正確なカメラ姿勢
θp´，θt´に基づいて、前記一次カメラパラメータを
補正した二次カメラパラメータを算出することができる
（図１２参照）。すなわち、図１２に示すように、二次
カメラパラメータによって得られる前記スクリーン座標
（Ｕs ，Ｖs ）は、（ 166，124 ）となり、カメラ姿勢
を補正することができた。

【００５０】以上、本発明の好適な実施例について説明
したが、本発明は前記実施例に限定されることなく、例
えばカメラの使用台数を２以上の複数とすることも可能
であり、また監視対象として追跡する移動物体について
も種々の物体を対象とすることができ、その他本発明の
精神を逸脱しない範囲内において、種々の設計変更を行
うことができることは勿論である。

【００５１】

【発明の効果】 前述した実施例から明らかな通り、請
求項１および２に記載の本発明に係るカメラ画像による
移動物体追跡装置によれば、複数のカメラを使用して、
各カメラの復元ラインの交点を求めることにより、不完
全な人物等の移動物体に対して、正確な３次元復元を可
能とし、比較的簡単な構成により移動物体の追跡処理を
容易かつ簡便に達成することができる。

【００５２】また、請求項３および４に記載の本発明に
係るカメラ画像による移動物体追跡装置におけるカメラ
パラメータのキャリブレーション方法および装置によれ
ば、カメラ画像と平面図画像とを使用して、マウス操作
するだけで簡単にカメラパラメータを算出することがで
きるカメラパラメータのキャリブレーションが可能とな
る。さらに、請求項３および４に記載の本発明に係るカ
メラ画像による移動物体追跡装置におけるカメラパラメ
ータのキャリブレーション方法および装置によれば、マ
ウス操作するだけで簡単にカメラパラメータを算出する
ことができることに加えて、１つの座標が既知のマーカ
ーを使用して、カメラ姿勢の誤差を補正することができ
ると共に、正確なカメラパラメータのキャリブレーショ
ンが可能となる。

【図面の簡単な説明】

【図１】 本発明に係るカメラ画像による移動物体追跡
装置のシステム構成図である。

【図２】 本発明に係るカメラ画像による移動物体追跡
装置におけるの移動物体の追跡処理制御プログラムのフ
ローチャート図である。

【図３】 本発明に係るカメラ画像による移動物体追跡
装置における入力画像例であって、（ａ）は第１のカメ
ラによる入力画像を示す説明図、（ｂ）は第２のカメラ
による入力画像を示す説明図である。

【図４】 本発明に係るカメラ画像による移動物体追跡
装置における入力画像に基づくラベリング表示例であっ
て、（ａ）は第１のカメラによるラベリング表示を示す
説明図、（ｂ）は第２のカメラによるラベリング表示を
示す説明図である。

【図５】 本発明に係るカメラ画像による移動物体追跡
装置における第１のカメラと第２のカメラとの画像処理
に基づく復元ラインの交点による３次元復元結果を示す
説明図である。

【図６】 本発明に係るカメラ画像による移動物体追跡
装置におけるカメラパラメータのキャリブレーションの
制御系統の一実施例を示すブロック系統図である。

【図７】 図６に示すカメラパラメータのキャリブレー
ションを行う場合の監視対象に対するカメラ画像の説明
図である。

【図８】 図６に示すカメラパラメータのキャリブレー
ションを行う場合の装置の監視対象である売場の構成配
置を示す平面図画像の説明図である。

【図９】 本発明に係るカメラ画像による移動物体追跡
装置におけるカメラパラメータのキャリブレーションの
制御系統の別の実施例を示すブロック系統図である。

【図１０】 図９に示すカメラパラメータのキャリブレ
ーションを行う場合の実空間上の座標と画像上の座標と
の関係（一次カメラパラメータの設定）を示カメラ画像
と平面図画像の説明図である。

【図１１】 図９に示すカメラパラメータのキャリブレ
ーションを行う場合の一次カメラパラメータによる変換
結果におけるカメラ姿勢の誤差例を示すカメラ画像と平
面図画像の説明図である。

【図１２】 図９に示すカメラパラメータのキャリブレ
ーションを行う場合の一次カメラパラメータによる変換
結果におけるカメラ姿勢の誤差補正例を示すカメラ画像
と平面図画像の説明図である。

【図１３】 従来の監視カメラシステムにおける画像処
理を行う制御プログラムのフローチャート図である。

【符号の説明】

１０Ａ 第１のカメラ １０Ｂ 第２のカメラ １２Ａ、１２Ｂ カメラ画像入力部 １３Ａ、１３Ｂ 背景画像作成部 １４Ａ、１４Ｂ 差分処理部 １６Ａ、１６Ｂ ２値化処理部 １８Ａ、１８Ｂ ラベリング部 ２０ 入力画像演算処理手段 ２２Ａ、２２Ｂ ３次元復元処理部 ２４Ａ、２４Ｂ 復元ライン設定部 ２６ 復元ライン交点算出処理部 ２８ 追跡処理部 ３０ カメラパラメータのキャリブレーション手段 ３２ カメラ画像入力部 ３３ 平面図画像入力部 ３４ 撮影範囲設定部 ３５ カメラ姿勢設定部 ３６ 仮想焦点距離設定部 ３７ カメラ姿勢補正手段 ３８ カメラパラメータ出力部 ３８ａ 一次カメラパラメータ出力部 ３８ｂ 二次カメラパラメータ出力部 ４０ 表示手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 一条 隆 東京都品川区東品川四丁目３番１号 東芝 ライテック株式会社内 Ｆターム(参考） 5B057 AA19 BA13 CA13 CA16 CB12 CB16 CE12 DA06 DB03 DC02 DC14 DC16 DC32 5C054 AA01 FC01 FC12 FC13 HA14 HA18 HA21 5L096 AA09 CA04 CA05 EA43 FA66 GA08 GA34 HA03 HA05

Claims (6)

【特許請求の範囲】
1. 【請求項１】 監視対象領域を撮影する少なくとも２台
   以上のカメラと、 前記各カメラにより撮影されたカメラ画像信号を入力
   し、これらの入力画像に対し、背景画像との比較により
   差分処理し、２値化処理し、ラベリングして３次元復元
   処理を行う移動物体の検出処理手段と、前記３次元復元
   処理された入力画像に基づき、復元ライン設定を行って
   これら復元ラインの交点から監視対象の移動物体を検出
   しその位置情報を算出する移動物体の移動位置情報処理
   手段と、前記復元ラインの交点に基づき移動物体の追跡
   を行う追跡処理手段とを備えた入力画像演算処理手段
   と、 前記入力画像演算処理手段により得られるカメラ画像と
   共に、移動物体の移動位置情報の全部または一部を選択
   的に表示する表示手段と、を設けたことを特徴とするカ
   メラ画像による移動物体追跡装置。
2. 【請求項２】 前記入力画像演算処理手段に対し、入力
   画像における移動物体を追跡するに際し、移動物体の画
   像処理およびその移動位置情報を算出するためのカメラ
   パラメータのキャリブレーションを行うキャリブレーシ
   ョン手段を、さらに設けたことを特徴とする請求項１記
   載のカメラ画像による移動物体追跡装置。
3. 【請求項３】 カメラ画像と縮尺の正確な平面図画像を
   使用し、カメラ画像に基づいて撮影範囲およびその中心
   （Ｘp 軸，Ｚp 軸）を設定し、平面図画像に基づいてカ
   メラの設置位置および撮影方向からなるカメラ姿勢の設
   定の設定を行うことにより、カメラによる視点および注
   視点の設定および視点−注視点間距離（Ｌvt）の設定を
   行い、平面図画像に対して撮影方向を指示すると同時に
   撮影方向に垂直な画面横軸（Ｘp ）を指示し、さらに前
   記軸（Ｘp ）上におけるカメラ画像上の長さ（Ｌp ）と
   平面図画像上の長さ（Ｌ）との対応と前記視点−注視点
   間距離（Ｌvt）とから仮想焦点距離（ｆp ＝Ｌp ／Ｌ×
   Ｌvt）を算出することにより、カメラパラメータを算出
   することを特徴とするカメラ画像による移動物体追跡装
   置におけるカメラパラメータのキャリブレーション方
   法。
4. 【請求項４】 カメラ画像入力部と、 縮尺の正確な平面図画像を入力する平面図画像入力部
   と、 カメラ画像に基づいて撮影範囲およびその中心（Ｘp
   軸，Ｚp 軸）を設定する撮影範囲設定部と、 平面図画像に基づいてカメラの設置位置および撮影方向
   からなるカメラ姿勢の設定の設定を行うことにより、カ
   メラによる視点および注視点の設定および視点−注視点
   間距離（Ｌvt）の設定を行い、平面図画像に対して撮影
   方向を指示すると同時に撮影方向に垂直な画面横軸（Ｘ
   p ）を指示するカメラ姿勢設定部と、 前記軸（Ｘp ）上におけるカメラ画像上の長さ（Ｌp ）
   と平面図画像上の長さ（Ｌ）との対応と視点−注視点間
   距離（Ｌvt）とから仮想焦点距離（ｆp ＝Ｌp／Ｌ×Ｌv
   t）を算出する仮想焦点距離設定部と、 カメラパラメータ出力部とを備えたことを特徴とするカ
   メラ画像による移動物体追跡装置におけるカメラパラメ
   ータのキャリブレーション装置。
5. 【請求項５】 カメラ画像と縮尺の正確な平面図画像を
   使用し、カメラ画像に基づいて撮影範囲およびその中心
   （Ｘp 軸，Ｚp 軸）を設定し、平面図画像に基づいてカ
   メラの設置位置および撮影方向からなるカメラ姿勢の設
   定の設定を行うことにより、カメラによる視点および注
   視点の設定および視点−注視点間距離（Ｌvt）の設定を
   行い、平面図画像に対して撮影方向を指示すると同時に
   撮影方向に垂直な画面横軸（Ｘp ）を指示し、さらに前
   記軸（Ｘp ）上におけるカメラ画像上の長さ（Ｌp ）と
   平面図画像上の長さ（Ｌ）との対応と前記視点−注視点
   間距離（Ｌvt）とから仮想焦点距離（ｆp ＝Ｌp ／Ｌ×
   Ｌvt）を算出することにより一次カメラパラメータを算
   出し、 次いで、カメラによる撮影範囲内に少なくとも１つの正
   確な実空間上の座標が既知であるマーカーを撮影し、こ
   のマーカーが実際に写っている画像座標（Ｕr，Ｖr ）
   と、前記一次カメラパラメータによって得られた画像座
   標（Ｕs ，Ｖs）との差から、パン角（θp ）およびチ
   ルト角（θt ）の誤差（Δθp ，Δθt）を算出するこ
   とにより、正確なカメラ姿勢〔θp´（＝θp ＋Δθp
   ）、θt´（＝θt ＋Δθt ）〕を算出して、前記一次
   カメラパラメータを補正した二次カメラパラメータを算
   出することを特徴とするカメラ画像による移動物体追跡
   装置におけるカメラパラメータのキャリブレーション方
   法。
6. 【請求項６】 カメラ画像入力部と、 縮尺の正確な平面図画像を入力する平面図画像入力部
   と、 カメラ画像に基づいて撮影範囲およびその中心（Ｘp
   軸，Ｚp 軸）を設定する撮影範囲設定部と、 平面図画像に基づいてカメラの設置位置および撮影方向
   からなるカメラ姿勢の設定の設定を行うことにより、カ
   メラによる視点および注視点の設定および視点−注視点
   間距離（Ｌvt）の設定を行い、平面図画像に対して撮影
   方向を指示すると同時に撮影方向に垂直な画面横軸（Ｘ
   p ）を指示するカメラ姿勢設定部と、 前記軸（Ｘp ）上におけるカメラ画像上の長さ（Ｌp ）
   と平面図画像上の長さ（Ｌ）との対応と視点−注視点間
   距離（Ｌvt）とから仮想焦点距離（ｆp ＝Ｌp／Ｌ×Ｌv
   t）を算出する仮想焦点距離設定部と、 一次カメラパラメータ出力部と、 カメラによる撮影範囲内に少なくとも１つの正確な実空
   間上の座標が既知であるマーカーを撮影し、このマーカ
   ーが実際に写っている画像座標（Ｕr ，Ｖr ）と、前記
   一次カメラパラメータによって得られた画像座標（Ｕs
   ，Ｖs ）との差から、パン角（θp ）およびチルト角
   （θt ）の誤差（Δθp ，Δθt ）を算出することによ
   り、正確なカメラ姿勢〔θp´（＝θp ＋Δθp ）、θt
   ´（＝θt＋Δθt ）〕を算出して、前記一次カメラパ
   ラメータを補正するカメラ姿勢補正手段と、 二次カメラパラメータ出力部とを備えたことを特徴とす
   るカメラ画像による移動物体追跡装置におけるカメラパ
   ラメータのキャリブレーション装置。