JP2010165114A - 画像監視装置及びその設置条件補正方法 - Google Patents

Abstract

【課題】撮像部にズーム旋回カメラを用いた画像監視装置において、撮像部のレンズの焦点距離、上下方向及び垂直方向の角度のずれを高い精度で補正する。
【解決手段】撮像部１にて取得される映像中に３個以上の参照点を任意に設定し、その設定時の座標を参照点記憶部４に記憶する。次に、参照点取得部５により、撮像部１が取得した参照点を含む映像から、参照点の現在の映像中の座標を取得する。参照点比較部６は、参照点の現在の映像中の座標と設定時の座標とを比較し所定量以上の差があるかどうかを判断する。所定量以上の差があると判断した場合、カメラパラメータ補正部７は、少なくとも２個の参照点の現在の映像中の座標と、それらの設定時の座標から、現在の撮像部１のカメラパラメータを計算する。その計算結果を画像処理部２に送信して画像処理に反映させる。
【選択図】図１

Description

本発明は、撮像部にズーム旋回カメラを用いた画像監視装置とその設置条件補正方法に関する。

撮像部から取得した映像に対して画像処理を行い、映像中の異常を検出する画像監視装置においては、撮像部の設置条件が変化すると信頼性の高い監視結果が得られなくなる。そこで、撮像部の設置条件の変化（ずれ）を検出し、補正する必要がある。ここで、撮像部の設置条件とは、撮像部の光学系に係るレンズの焦点距離、撮像部の撮影方向を決定する上下方向及び左右方向の角度である。これらのカメラパラメータは、撮像部の保守作業や固定部の不良・強度不足、あるいは地震・強風等の自然現象のような原因によって変化することがある。

従来の画像監視装置では、撮像部の設置角度の変化を画像の見かけの変化量から算出し、この値を用いて撮像部の設置角度のずれを補正していた。このような例として、特許文献１に提示された画像計測装置では、主に固定的な背景画像の部分について、現在の画像と、予め記憶していた画像との間にずれが存在するかどうかを調べる画像比較部を備えている。この例では、ずれが存在した場合、設置角度再設定部で画像上の変化量から撮像装置の設置角度の変化量を求め、設置条件記憶部に記憶されている撮像装置の設置角度を設定し直すようにしている。

特開平４−３２７０３号公報

解決しようとする問題点は、撮像部が撮影対象に応じて焦点距離を変化させながら映像を取得するズーム旋回カメラの場合、監視方向によって焦点距離が異なりズーム量が一定にならないため、画像のずれから撮像部の設置角度の変化を検出するためには画像の拡大または縮小が必要であり、画像処理が煩雑になるという点である。

本発明は上記のような課題を解決するためになされたもので、撮像部にズーム旋回カメラを用いた画像監視装置において、撮像部のレンズの焦点距離、撮像部の上下方向の角度、及び左右方向の角度のずれを高い精度で補正できる信頼性の高い画像監視装置を得ることを目的とする。

また、撮像部のレンズの焦点距離、撮像部の上下方向の角度、及び左右方向の角度のずれを高い精度で補正できる画像監視装置の設置条件補正方法を提供することを目的とする。

本発明に係る画像監視装置は、所定方向に旋回可能に設置され、撮影対象に応じて焦点距離を変化させながら映像を取得する撮像部と、撮像部の設置条件を記憶しておき、撮像部が取得した映像に対し撮像部の設置条件を用いて画像処理を行い映像中の異常を検出する画像処理部と、撮像部が取得する映像中に任意に設定される３個以上の参照点の設定時の座標を記憶する参照点記憶部と、撮像部が取得した参照点を含む映像から参照点の現在の座標を取得する参照点取得部と、参照点取得部が取得した少なくとも２個の参照点の現在の座標と、参照点記憶部に記憶されている参照点の設定時の座標とから、現在の撮像部の設置条件を計算し、その計算結果を画像処理部に送信する設置条件補正部を備えたものである。

また、本発明に係る画像監視装置の設置条件補正方法は、所定方向に旋回可能に設置され、撮影対象に応じて焦点距離を変化させながら映像を取得する撮像部を備えた画像監視装置の設置条件補正方法であって、撮像部にて取得される映像中に３個以上の参照点を任意に設定し、その設定時の座標を記憶するステップと、撮像部が取得した参照点を含む映像から参照点の現在の座標を取得するステップと、少なくとも２個の参照点の現在の座標とそれらの設定時の座標から撮像部の設置条件を計算するステップを含むものである。

本発明に係る画像監視装置によれば、撮像部が取得する映像中に３個以上の参照点を任意に設定し、その参照点の現在の座標とそれらの設定時の座標から撮像部の設置条件を計算するようにしたので、撮像部の設置条件のずれを高い精度で補正することができる。

また、本発明に係る画像監視装置の設置条件補正方法によれば、画像の拡大または縮小が不要であるため画像処理が煩雑にならず、撮像部の設置条件のずれを高い精度で且つ容易に補正することができる。

図１は画像監視装置の構成を示すブロック図である。（実施例１) 図２は画像監視装置における参照点の設定例を示す図である。（実施例１) 図３は画像監視装置の参照点を示す図である。（実施例１) 図４は座標軸の取り方について説明する図である。（実施例１) 図５は画像監視装置の参照点取得部の構成を示すブロック図である。（実施例２) 図６は画像監視装置の新しい参照点の作り方を説明する図である。（実施例２) 図７は画像監視装置の構成を示すブロック図である。（実施例３) 図８は画像監視装置の参照点評価部による参照点の評価方法の一例を示す図である。（実施例３) 図９は画像監視装置の構成を示すブロック図である。（実施例４) 図１０は画像監視装置の構成を示すブロック図である。（実施例５) 図１１は画像監視装置の構成を示すブロック図である。（実施例６)

本発明に係る画像監視装置は、撮像部にズーム旋回カメラを用いて監視対象の映像を取得するものであり、例えば車の移動速度や距離を計測する交通流計測を含む道路監視や、特定の管理区域への不審者の侵入を防止する不審者監視等の目的で設置される。ただし、本発明に係る画像監視装置の用途については特に限定するものではない。以下、本発明の実施例１〜６について図面に基づいて説明する。

図１は、本発明の実施例１における画像監視装置の構成を示すブロック図である。撮像部１は、所定方向に旋回可能に設置され、撮影対象に応じて焦点距離を変化させながら映像を取得するズーム旋回カメラである。撮像部１は、焦点距離を変化させることが可能な撮像手段であるズームカメラ本体と、この撮像手段を旋回させる駆動手段である旋回台を備えている。旋回台の旋回軸は２軸あり、第１軸は、カメラ本体を支柱や構築物に固定しているところの軸で、視線を左右に振る軸である。第２軸は、視線を上下に振る軸である。なお、回転軸及び回転角については後に詳細に説明する。

画像処理部２は、撮像部１の設置条件を記憶しておき、撮像部１が取得した映像に対し撮像部１の設置条件を用いて画像処理を行い映像中の異常を検出するものである。なお、撮像部１の設置条件とは、撮像部１の光学系の係るレンズの焦点距離、撮像部１の撮影方向を決定する上下方向の角度、及び左右方向の角度を含むカメラパラメータである。この画像処理部２により、監視対象は継続的に監視されている。

異常通報部３は、画像処理部２が映像中に何らかの異常を検出した場合に、画像処理部２から異常信号を受信し、これを画像監視装置のユーザ（管理者）に通報する。異常通報部３がユーザに異常を通報する方法としては、アラーム音（不審者侵入の場合は退去を警告する音声等も含まれる）、ランプ点滅等の方法や、管理センター等のサーバに異常信号を送信する方法があり、画像監視装置の設置目的に応じた方法が選ばれる。

参照点記憶部４は、撮像部１が取得する映像中に任意に設定される３個以上の参照点の設定時の座標を記憶するものである。参照点記憶部４には、予備の参照点（実施例５参照）も含め、実際に必要な数よりも多い参照点が記憶される。なお、参照点の設定例については後に図２を用いて説明する。

参照点取得部５は、撮像部１が取得した参照点を含む映像から、参照点の現在の映像中の座標を取得するものである。また、参照点比較部６は、参照点取得部５で取得した参照点について、その現在の座標と、参照点記憶部４に記憶されている設定時の座標とを比較し、所定量以上の差があるかどうかを判断するものである。

また、設置条件補正部であるカメラパラメータ補正部７は、参照点取得部５が取得した少なくとも２個の参照点の現在の座標と、参照点記憶部４に記憶されているそれらの設定時の座標とから、現在のカメラパラメータを計算し、その計算結果を画像処理部２に送信して画像処理に反映させるものである。本実施例１では、参照点比較部６が所定量以上の差があると判断した場合に、カメラパラメータ補正部７がカメラパラメータを計算する。なお、カメラパラメータ補正部７における計算方法については後述する。

次に、本実施例１に係る画像監視装置の設置条件補正方法について説明する。まず、第１のステップとして、撮像部１にて取得される映像中に３個以上の参照点を任意に設定し、その設定時の座標を参照点記憶部４に記憶する。参照点の設定例を図２に示す。図２において、Ｒ₁、Ｒ₂、Ｒ₃、Ｒ₄は、撮像部１が取得する映像１ａ中に設定された参照点である。このように、参照点を設定する際には、映像中の構造物の特徴的な部位や道路の角部のように、位置が明確であり、地震・強風等の自然現象によっても動き難く、人為的に移動または撤去される可能性の低いものが選ばれる。

なお、状況の変化により設定した参照点が使用不可となる場合があるため、予備の参照点を含めて、図３に示すように、多数の参照点Ｒ₁、Ｒ₂、・・Ｒ_n、Ｒ_n+1を予め設定しておくことが望ましい。このように、撮像部１の所定の焦点距離と旋回位置における映像１ｂにおいて、参照点Ｒ_nの設定時における画面上の座標（ｘ_n、ｙ_n）がそれぞれ決定され、カメラパラメータとともに参照点記憶部４に記憶される。また、地図データから求めた参照点のワールド座標系の座標も設置時の座標として記憶する。

参照点記憶部４に記憶する参照点の設置時の座標は、撮像部１の設置条件にずれが無く、ワールド座標系とスクリーン座標系（画像上での座標系。詳しくは後述する）の間で相互に変換可能なので、ワールド座標系での座標値３個とスクリーン座標系での座標値２個の合計５個のうち、任意の３個以上を撮像部１の設置条件とともに記憶しておけばよい。設置時のワールド座標系の座標値として、スクリーン座標系の座標値と撮像部１の設置条件とから計算して求めたものを記憶しておいてもよい。

次に、第２のステップとして、参照点取得部５により、撮像部１が取得した参照点を含む映像から参照点の現在の映像中の座標を取得する。参照点の現在の映像中の座標は、撮像部１のカメラパラメータが設定時から変化していなければ、参照点記憶部４に記憶されている設定時の座標と同じものである。なお、参照点取得部５が、ある参照点の取得に失敗した場合でも、本実施例１では３個以上の参照点を用意しているため、参照点取得部５は少なくとも２個の参照点を取得することができる。カメラパラメータが参照点の設置時から変化している場合は、後述する方法により、カメラパラメータが参照点の設置時における値の場合の画像上での座標を求め、これを現在の座標とする。

次に、第３のステップとして、参照点比較部６は、参照点取得部５が取得した参照点について、その現在の映像中の座標と、参照点記憶部４に記憶された設定時の座標とを比較し、所定量以上の差があるかどうかを判断する。すなわち、参照点の現在の座標と設定時の座標に所定量以上の差がある場合、撮像部１のレンズの焦点距離、上下方向の角度、及び左右方向の角度の少なくとも一つに変化（ずれ）が有ったと判断する。なお、この時、座標の完全一致のみを「ずれ無し」と判断するのではなく、カメラの解像度等による誤差を考慮した判断基準を予め設定しておき、その判断基準をもとに判断するようにしてもよい。

上記第３のステップで撮像部１のカメラパラメータの変化が有ると判断された場合、カメラパラメータ補正部７において少なくとも２個の参照点の現在の映像中の座標と、それらの設定時の座標から、撮像部１のカメラパラメータを計算する。その計算結果は画像処理部２に送信される。画像処理部２は、カメラパラメータ補正部７で求められた新しいカメラパラメータを用いて画像処理を実行し、監視動作を継続する。

次に、カメラパラメータ補正部７におけるカメラパラメータの計算方法について説明する。まず、座標軸の取り方について図４を用いて説明する。図４（ａ）に示すように、実際の点の座標を表し、Ｏ_w−Ｘ_wＹ_wＺ_wで示されるワールド座標系は右手系にとる。また、映像上の点の座標を表すスクリーン座標系は、ワールド座標系における撮像部１の設置位置である点（ｘ_f，ｙ_f，ｚ_f）を原点Ｏ_sとし、撮像部１が向く方向の直線をＺ_s軸とし、このＺ_s軸とワールド座標系でのＹ_w軸と同一平面上にあり、Ｙ_w軸において上方側に向かってＺ_s軸と直交する軸をＹ_s軸とする。Ｏ_s−Ｘ_sＹ_sＺ_s座標系は左手系にとる。

以下では、Ｏ_w−Ｘ_wＹ_wＺ_w座標系上の点の座標には添字「_w」をつけて表し、Ｏ_s−Ｘ_sＹ_sＺ_s座標系上の点の座標には添字「_s」をつけて表す。例えば、点Ｏ_sは（ｘ_f，ｙ_f，ｚ_f）_wまたは（０，０，０）_sと表される。また、図４（ｂ）に示すように、αは、Ｙ_w軸方向から見てＹ_sＺ_s平面のＹ_wＺ_w平面に対する角度であり、Ｘ_w軸をＺ_w軸に重なるように回転する向きを正とする。また、図４（ｃ）に示すように、βは、Ｘ_s軸方向から見てＸ_sＺ_s平面のＸ_wＺ_w平面に対する角度であり、Ｙ_s軸をＺ_s軸に重なるように回転する向きを正とする。点Ｏ_s（ｘ_f，ｙ_f，ｚ_f）_wは、撮像部１の実際の座標における位置になる。

参照点の実際の座標（ｘ_w，ｙ_w，ｚ_w）_wと、映像上の点の座標（ｘ_s，ｙ_s，ｚ_s）_sとの間には、以下の数式１の関係があることが知られている。数式１において、ｈは撮像部１の光学系の焦点距離、ｋは撮像素子の大きさである。αとβは撮像部１のＹ_w、Ｘ_sの各軸まわりの回転角となる。なお、映像は通常、二次元の座標で表現するが、数式１ではｚ_s＝０として考えればよい。

（数１）
（ｘ_w−ｘ_f）／Ｖ_x＝（ｙ_w−ｙ_f）／Ｖ_y＝（ｚ_w−ｚ_f）／Ｖ_z

ただし、数式１において、Ｖ_x、Ｖ_y、Ｖ_zは以下の通りである。
Ｖ_x＝ ｋ・ｘ_s・ｃｏｓα＋ｋ・ｙ_s・ｓｉｎα・ｓｉｎβ
＋ｈ・ｓｉｎα・ｃｏｓβ
Ｖ_y＝ ｋ・ｙ_s・ｃｏｓβ−ｈ・ｓｉｎβ
Ｖ_z＝ ｋ・ｘ_s・ｓｉｎα−ｋ・ｙ_s・ｃｏｓα・ｓｉｎβ
−ｈ・ｃｏｓα・ｃｏｓβ

ここで、撮像部１の位置（ｘ_f，ｙ_f，ｚ_f）_wと撮像素子の大きさｋは固定であり、変化することはない。変化する可能性があるカメラパラメータは、ズーム量によって変化するレンズの焦点距離ｈ、撮像部１の上下方向の角度、及び左右方向の角度βである。参照点が１個決定すると、その実際の座標（設定時の座標）と映像上の座標が決定し、数式１から独立した２つの数式が定められる。いま、パラメータは、ｈ、α、βの３個であるので、参照点が２個決定されれば、独立した数式を４つ定めることができ、ｈ、α、βを計算して求めることができる。

２個の参照点からｈ、α、βを求める計算方法について具体的に説明する。参照点Ｒ₁の実際の座標（設定時の座標）を（ｘ１_w，ｙ１_w，ｚ１_w）_wとし、その映像上の座標を（ｘ１_s，ｙ１_s，ｚ１_s）_sとする。また、参照点Ｒ₂の実際の座標（設定時の座標）を（ｘ２_w，ｙ２_w，ｚ２_w）_wとし、その映像上の座標を（ｘ２_s，ｙ２_s，ｚ２_s）_sとする。これらの参照点Ｒ₁、Ｒ₂の実際の座標と映像上の座標を上記数式１に代入すると、以下の数式２及び数式３が得られる。

（数２）
（ｘ１_w−ｘ_f）／Ｖ１_x＝（ｙ１_w−ｙ_f）／Ｖ１_y＝（ｚ１_w−ｚ_f）／Ｖ１_z

ただし、数式２において、Ｖ１_x、Ｖ１_y、Ｖ１_zは以下の通りである。
Ｖ１_x＝ ｋ・ｘ１_s・ｃｏｓα＋ｋ・ｙ１_s・ｓｉｎα・ｓｉｎβ
＋ｈ・ｓｉｎα・ｃｏｓβ
Ｖ１_y＝ ｋ・ｙ１_s・ｃｏｓβ−ｈ・ｓｉｎβ
Ｖ１_z＝ ｋ・ｘ１_s・ｓｉｎα−ｋ・ｙ１_s・ｃｏｓα・ｓｉｎβ
−ｈ・ｃｏｓα・ｃｏｓβ

（数３）
（ｘ２_w−ｘ_f）／Ｖ２_x＝（ｙ２_w−ｙ_f）／Ｖ２_y＝（ｚ２_w−ｚ_f）／Ｖ２_z

ただし、数式３において、Ｖ２_x、Ｖ２_y、Ｖ２_zは以下の通りである。
Ｖ２_x＝ ｋ・ｘ２_s・ｃｏｓα＋ｋ・ｙ２_s・ｓｉｎα・ｓｉｎβ
＋ｈ・ｓｉｎα・ｃｏｓβ
Ｖ２_y＝ ｋ・ｙ２_s・ｃｏｓβ−ｈ・ｓｉｎβ
Ｖ２_z＝ ｋ・ｘ２_s・ｓｉｎα−ｋ・ｙ２_s・ｃｏｓα・ｓｉｎβ
−ｈ・ｃｏｓα・ｃｏｓβ

数式２から、以下の３つの数式（数式４、数式５、数式６）が得られる。

（数４）
（ｘ１_w−ｘ_f）／Ｖ１_x＝（ｙ１_w−ｙ_f）／Ｖ１_y

（数５）
（ｘ１_w−ｘ_f）／Ｖ１_x＝（ｚ１_w−ｚ_f）／Ｖ１_z

（数６）
（ｙ１_w−ｙ_f）／Ｖ１_y＝（ｚ１_w−ｚ_f）／Ｖ１_z

また、数式３から、以下の３つの数式（数式７、数式８、数式９）が得られる。

（数７）
（ｘ２_w−ｘ_f）／Ｖ２_x＝（ｙ２_w−ｙ_f）／Ｖ２_y

（数８）
（ｘ２_w−ｘ_f）／Ｖ２_x＝（ｚ２_w−ｚ_f）／Ｖ２_z

（数９）
（ｙ２_w−ｙ_f）／Ｖ２_y＝（ｚ２_w−ｚ_f）／Ｖ２_z

次に、数式２から得られる３つの数式（数式４、数式５、数式６）の中から自由に２つの数式を選ぶ。同様に、数式３から得られる３つの数式（数式７、数式８、数式９）の中から自由に２つの数式を選び、合計４つの独立した数式を得る。それらの４つの数式を解くことにより、ｈ、α、βを求める。ここで求められた新しいカメラパラメータｈ、α、βと、カメラパラメータを計算するのに使用した画像の撮影時点での画像監視装置が認識しているカメラパラメータとの差が変化量である。このように、参照点が少なくとも２個決定すれば、参照点取得部４において現在の映像から２個の参照点の座標を取得し、これらの設定時の座標をもとにカメラパラメータｈ、α、βを計算で求めることができる。

さらに、本実施例１では、参照点を予め３個以上設定しておくことにより、カメラパラメータ補正部７における計算に必要な２個の参照点を確保するものである。参照点が必要数以上に多く設定されていれば、参照点取得部５が仮に１つの参照点の取得に失敗した場合でも、他の参照点を取得すればよいため、計算不能になることはない。また、３個以上の参照点を用いることにより、異なった計算過程から結果を導くことができるため、計算に冗長性が生じる効果も得られる。よって、カメラパラメータ補正部７における計算は安定して実行され、その結果は精度が高く信頼性の高いものとなる。

また、参照点比較部６を設置せずに、周期的に例えば１時間ごとにカメラパラメータを計算しなおすようにしてもよい。カメラパラメータを計算した際には、計算で求めた値と、カメラパラメータを計算するのに使用した画像の撮影時点での画像認識装置が認識しているカメラパラメータとの差も記憶しておく。そうすることにより、カメラパラメータのずれがどの時点で発生したか把握することができる。

以上のように、本実施例１によれば、撮像部１にズーム旋回カメラを用いた画像監視装置において、参照点を３個以上設定しておき、これらの参照点の座標のずれから、撮像部１のカメラパラメータのうち変動する可能性のある焦点距離ｈ、撮像部１の上下方向の角度、及び左右方向の角度βを計算で求めることができるので、これらのカメラパラメータのずれを高い精度で補正することができる信頼性の高い画像監視装置が得られる。

また、本実施例１に係る画像監視装置の設置条件補正方法によれば、参照点の現在の映像中の座標と、それらの設定時の座標から、撮像部１のカメラパラメータを計算するようにしたので、画像のずれから撮像部のカメラパラメータの変化を検出する従来方法に比べて、画像の拡大または縮小が不要であるため画像処理が煩雑にならず、撮像部１のカメラパラメータのずれを高い精度で且つ容易に補正することが可能である。

図５は、本発明の実施例２に係る画像監視装置の参照点取得部の構成を示すブロック図である。図５中、図１と同一または相当部分には同一符号を付している。本実施例２における画像監視装置の参照点取得部５は、取得した２個以上の参照点から新たな参照点を作成し、２個以上の参照点の現在の座標をもとに新たな参照点の現在の座標を求める参照点作成部５ａを有するものである。なお、本実施例２に係る画像監視装置のその他の構成については、上記実施例１（図１）と同様であるので説明を省略する。

上記実施例１では、カメラパラメータ補正部７は、参照点取得部５で取得した参照点の現在の映像中の座標を用いて計算を行うようにしていた。しかし、参照点の位置は、本来、無限桁の数で表現されるものを映像の解像度に丸められた座標値として取得されているものである。このため、映像の解像度の大小によって丸め誤差が生じ、どの参照点を用いるかによって計算結果が微妙に異なることがある。また、映像上の座標を解像度以上に詳細に取得することは、高度な画像処理を求められるため容易ではない。

そこで、本実施例２では、参照点の精度を向上させるために、参照点作成部５ａを設けたものである。この参照点作成部５ａでは、参照点取得部５が取得した既存の２個以上の参照点から新たな参照点を作成し、既存の２個以上の参照点の現在の座標をもとに、新たな参照点の現在の座標を求めるものである。これにより、複数の参照点の座標の丸め誤差が平均化され、丸め誤差の影響を小さくすることができる。なお、新たな参照点の設定時の座標は、新たな参照点を作成する際に用いた既存の参照点の設定時の座標から計算で求められる。

また、参照点比較部６は、参照点作成部５ａで作成された新たな参照点について、現在の座標と設定時の座標とを比較し、所定量以上の差があるかどうかを判断する。さらに、カメラパラメータ補正部７は、この新しい参照点を用いてカメラパラメータｈ、α、βを求める計算を行うものである。

参照点作成部５ａにおける新しい参照点の作成方法の一例を、図６を用いて説明する。図６において、Ｒ₁、Ｒ₂、・・Ｒ_n、Ｒ_n+1は、撮像部１の所定の旋回位置における映像１ｃにおいて予め設定された既存の参照点であり、Ｎ₁、Ｎ₃、Ｎ_nは参照点作成部５ａによって作成された新たな参照点である。この例では、既存の２個の参照点Ｒ_n、Ｒ_n+1の中点Ｎ_nを求め、この中点Ｎ_nを新たな参照点として用いるものである。

以下の手順により、この新たな参照点を用いて、カメラパラメータを計算する。
（Ａ）この新たな参照点は、現在の画像上（スクリーン座標系）では２個の参照点の中点であるが、ワールド座標系では必ずしも中点ではない。現在のカメラパラメータを用いて、前述の式（１）と、ワールド座標系においても２点を結ぶ線分上に新たな参照点が存在するという制約条件により、新たな参照点のワールド座標系での座標を計算する。
（Ｂ）計算したワールド座標系での座標と、新たな参照点の現在のスクリーン座標系での座標とから式（２）及び式（３）を求めて、前述と同様にカメラパラメータを計算する。なお、場合によっては（Ａ）と（Ｂ）を所定回数またはカメラパラメータが変化しなくなるまで、繰り返してもよい。

本実施例２によれば、上記実施例１と同様の効果に加え、参照点取得部５に参照点作成部５ａを備えることにより、例えば最初に設定された既存のｐ個の参照点をもとに、それらの座標を平均して新たな参照点を１個作成した場合、新たな参照点の丸め誤差はもとの丸め誤差に対して１／ｐになることが期待できる。よって、上記実施例１よりも参照点の精度が高くなり、カメラパラメータのずれをより高い精度で補正することができる。

図７は、本発明の実施例３に係る画像監視装置の構成を示すブロック図である。なお、図７中、図１と同一または相当部分には同一符号を付し説明を省略する。図７に示すように、本実施例３に係る画像監視装置は、上記実施例１に係る画像監視装置（図１）に参照点評価部８が追加された構成となっている。参照点評価部８は、参照点取得部５により取得された参照点の正確さを評価し、信頼性の高い参照点を選ぶものである。カメラパラメータ補正部７は、参照点評価部８により正確に取得されたと評価された参照点を用いてカメラパラメータを計算する。

上記実施例１のように予め設定された既存の参照点を用いる場合、または上記実施例２のように既存の２個以上の参照点から新たな参照点を作成する場合のいずれにおいても、映像から参照点を正確に取得できていなければ、カメラパラメータ補正部７による計算結果の精度は低いものとなる。参照点の正確さとは、言い換えると信頼性の高さであるが、その度合いは参照点を認識する画像処理の精度に影響されるものである。

参照点取得部５は、参照点を認識する画像処理において、照明の状況や撮像部１のレンズの汚れ等の環境条件により参照点の検出、認識に失敗することがある。本来、参照点ではない場所を参照点と誤認して検出し、これをカメラパラメータ補正部７での計算に用いると、得られる計算結果は誤ったものとなる。そこで、本実施例３では、参照点評価部８により、参照点取得部５が取得した参照点の正確さ（信頼性)を評価し、正確に取得できていない、使用不可の参照点を検出するようにした。

本実施例３に係る画像監視装置の参照点評価部８による参照点の評価方法の一例について、図８を用いて説明する。図８において、Ｒ₁、Ｒ₂、・・Ｒ_n、Ｒ_n+1は、撮像部１の所定の旋回位置における映像１ｄにおいて予め設定された参照点であり、Ｅ₃は、参照点取得部５が参照点Ｒ₃の座標を取得する際に何らかの理由によりずれが発生し、参照点Ｒ₃の座標として取得した場所を示している。また、映像１ｄの横方向をＸ方向、縦方向をＹ方向とする。

図８に示す例では、参照点評価部８は、参照点取得部５が取得する情報が映像情報であることを利用して、参照点のＸ方向、Ｙ方向の並び順から参照点の正確さを評価するものである。すなわち、撮像部１の位置は不変であるので、監視対象の映像１ｄ中の物体の見かけの大きさや方向が変わっても、それらの位置関係は変わらないことを利用する。

参照点記憶部４に記憶された参照点は、Ｘ方向にはＲ₁→Ｒ₂→Ｒ₄→Ｒ₃の順序で並んでおり、Ｙ方向にはＲ₂→Ｒ₃→Ｒ₁→Ｒ₄の順で並んでいる。ここで、参照点取得部５が、ある参照点の取得に失敗し、大きく座標がずれて上記のＸ方向、Ｙ方向いずれかの並び順が変わった場合、参照点評価部８は、並び順が変わった参照点を正確に取得されていないと判断し、使用不可とする。

例えば、参照点取得部５が何らかの理由で参照点Ｒ₃の取得に失敗し、Ｅ₃の場所を参照点と誤って取得してしまった場合、Ｘ方向の並び順は変わらないが、Ｙ方向の並び順がＲ₃（Ｅ₃）→Ｒ₂→Ｒ₁→Ｒ₄となり、Ｒ₂とＲ₃の順序が入れ替わる。これにより、参照点評価部８は、Ｒ₂とＲ₃のいずれかが正確に取得できていないと判断し、Ｒ₂とＲ₃を参照点比較部６及びカメラパラメータ補正部７において使用不可とすることができる。

本実施例３によれば、上記実施例１と同様の効果に加え、参照点評価部８を備えることにより、参照点取得部５が取得した参照点の正確さを、カメラパラメータ補正部７で計算に用いる前に評価できるので、計算に用いる参照点の精度がより高くなり、カメラパラメータのずれをより高い精度で補正することができる。

図９は、本発明の実施例４に係る画像監視装置の構成を示すブロック図である。なお、図９中、図１及び図７と同一または相当部分には同一符号を付し説明を省略する。図９に示すように、本実施例４に係る画像監視装置は、上記実施例３に係る画像監視装置（図７）に、参照点不具合通報部９が追加された構成となっている。

本実施例４では、参照点評価部８により正確に取得できていないと評価された参照点があった場合、これをユーザに通報する参照点不具合通報部７を備えたものである。これにより、参照点取得部５が参照点を正確に取得できない原因が、画像処理の不具合ではなく実際の状況の変化であった場合に、参照点記憶部４に記憶された参照点の情報を、実際の状況に即して更新することをユーザに要求することができる。これにより、ユーザは、参照点として設定していた構造物が撤去されている場合や、新たな構造物が建設されて参照点の取得が困難になった場合等に、参照点の設定を変更することができる。

本実施例４によれば、上記実施例１、３と同様の効果に加え、参照点不具合通報部９により参照点の不具合をユーザに通報するようにしたので、安定した監視が継続して行える信頼性の高い画像監視装置を得ることができる。

図１０は、本発明の実施例５に係る画像監視装置の構成を示すブロック図である。なお、図１０中、図１及び図７と同一または相当部分には同一符号を付し説明を省略する。図１０に示すように、本実施例５に係る画像監視装置は、上記実施例３に係る画像監視装置（図７）に、代替参照点取得部１０が追加された構成となっている。

本実施例５では、参照点評価部８により正確に取得できていないと評価された参照点があった場合、参照点記憶部４に記憶された予備の参照点の中から新たな参照点を取得する代替参照点取得部１０を備えたものである。参照点記憶部４には、最初に用いられる参照点の他に、予備の参照点が予め記憶されている。参照点評価部８により、ある参照点が使用不可と評価された場合、代替参照点取得部１０は、その参照点に替わる予備の参照点を参照点記憶部４から取得し、新たな参照点として補充する。なお、新たな参照点を選ぶ際には、使用不可と評価された参照点に近接する参照点を選ぶようにしてもよいし、予備の参照点の優先順位を予め設定しておき、その順位に従って補充するようにしてもよい。それ以降の処理は上記実施例１と同様である。

本実施例５によれば、上記実施例１、３と同様の効果に加え、参照点評価部８により使用不可と評価された参照点の代わりに新たな参照点を取得する代替参照点取得部１０を備えたので、長時間の動作によって使用可能な参照点が不足し、参照点比較部６及びカメラパラメータ補正部７が動作しなくなることを防止できる。また、カメラパラメータ補正部７における計算に使用可能な参照点を常に必要以上数確保できるため、安定した監視が継続して行える信頼性の高い画像監視装置を得ることができる。

図１１は、本発明の実施例６に係る画像監視装置の構成を示すブロック図である。なお、図１１中、図１及び図１０と同一または相当部分には同一符号を付し説明を省略する。図１１に示すように、本実施例６に係る画像監視装置は、上記実施例５に係る画像監視装置（図１０）に、動作不具合通報部１１が追加された構成となっている。

本実施例６では、代替参照点取得部１０が、参照点記憶部４に記憶された予備の参照点の中から新たな参照点を取得し、使用していない予備の参照点が存在しない場合、すなわち以後の補充ができない場合に、これをユーザに通報する動作不具合通報部１１を備えたものである。通報を受けたユーザは、直ちに新たな参照点を設定し、参照点記憶部４に記憶させる。

本実施例６によれば、上記実施例５と同様の効果に加え、参照点記憶部４に使用されていない予備の参照点が存在しない場合に、以後の補充ができないことをユーザに通報する動作不具合通報部１１を備えたので、環境の変化により使用できない参照点が増加したような場合に、新たな参照点の設定をユーザに要求することができる。これにより、参照点比較部６及びカメラパラメータ補正部７が動作しなくなることを防止でき、安定した監視が継続して行えるとともに、保守管理の容易な画像監視装置が得られる。

本発明に係る画像監視装置は、ズーム旋回カメラを用いて道路監視や不審者監視等を行う画像監視装置として利用することができる。

１ 撮像部、１ａ、１ｂ、１ｃ、１ｄ 映像、２ 画像処理部、３ 異常通報部、
４ 参照点記憶部、５ 参照点取得部、５ａ 参照点作成部、６ 参照点比較部、
７ カメラパラメータ補正部、８ 参照点評価部、９ 参照点不具合通報部、
１０ 代替参照点取得部、１１ 動作不具合通報部。

Claims (9)

1. 所定方向に旋回可能に設置され、撮影対象に応じて焦点距離を変化させながら映像を取得する撮像部、
   前記撮像部の設置条件を記憶しておき、前記撮像部が取得した映像に対し前記撮像部の設置条件を用いて画像処理を行い前記映像中の異常を検出する画像処理部、
   前記撮像部が取得する映像中に任意に設定される３個以上の参照点の設定時の座標を記憶する参照点記憶部、
   前記撮像部が取得した前記参照点を含む映像から前記参照点の現在の座標を取得する参照点取得部、
   前記参照点取得部が取得した少なくとも２個の前記参照点の現在の座標と、前記参照点記憶部に記憶されている前記参照点の設定時の座標とから、現在の前記撮像部の設置条件を計算し、その計算結果を前記画像処理部に送信する設置条件補正部を備えたことを特徴とする画像監視装置。
2. 請求項１に記載の画像監視装置であって、前記参照点の現在の座標と設定時の座標とを比較し所定量以上の差があるかどうかを判断する参照点比較部をさらに備え、前記参照点比較部が所定量以上の差があると有ると判断した場合に、前記設置条件補正部が前記撮像部の設置条件を計算することを特徴とする画像監視装置。
3. 請求項１に記載の画像監視装置であって、前記撮像部の設置条件とは、前記撮像部の光学系に係るレンズの焦点距離、前記撮像部の上下方向の角度、及び左右方向の角度を含むカメラパラメータであることを特徴とする画像監視装置。
4. 請求項１に記載の画像監視装置であって、前記参照点取得部は、取得した２個以上の参照点から新たな参照点を作成し、前記２個以上の参照点の現在の座標をもとに前記新たな参照点の現在の座標を求める参照点作成部を有することを特徴とする画像監視装置。
5. 請求項１に記載の画像監視装置であって、前記参照点取得部が取得した前記参照点の正確さを評価する参照点評価部をさらに備え、前記設置条件補正部は、前記参照点評価部により正確に取得されたと評価された参照点を用いて前記撮像部の設置条件を計算することを特徴とする画像監視装置。
6. 請求項５に記載の画像監視装置であって、前記参照点評価部により正確に取得されていないと評価された参照点があった場合に、これをユーザに通報する参照点不具合通報部をさらに備えたことを特徴とする画像監視装置。
7. 請求項５に記載の画像監視装置であって、前記参照点評価部により正確に取得されていないと評価された参照点があった場合に、前記参照点記憶部に記憶された予備の参照点の中から新たな参照点を取得する代替参照点取得部をさらに備えたことを特徴とする画像監視装置。
8. 請求項７に記載の画像監視装置であって、前記代替参照点取得部が前記参照点記憶部に記憶された予備の参照点の中から新たな参照点を取得し、使用していない前記予備の参照点が存在しない場合、これをユーザに通報する動作不具合通報部をさらに備えたことを特徴とする画像監視装置。
9. 所定方向に旋回可能に設置され、撮影対象に応じて焦点距離を変化させながら映像を取得する撮像部を備えた画像監視装置の設置条件補正方法であって、
   前記撮像部にて取得される映像中に３個以上の参照点を任意に設定し、その設定時の座標を記憶するステップ、
   前記撮像部が取得した前記参照点を含む映像から前記参照点の現在の座標を取得するステップ、
   少なくとも２個の前記参照点の現在の座標とそれらの設定時の座標から前記撮像部の設置条件を計算するステップを含むことを特徴とする画像監視装置の設置条件補正方法。

Images