JP2008263270A - カメラ装置 - Google Patents

Abstract

【課題】旋回型のカメラ装置であって、背景差分処理によって撮影画像の変化を検出するように構成され、メモリ容量を低減でき、静止物体も検出できるカメラ装置を提供する。
【解決手段】カメラ２１は旋回可能である。画像変換部３１は、カメラ２１の撮影画像を球面に投影して球面画像に変換する。球面背景合成部３５は、複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成する。異常発生領域検出部３９は前景部分検出部であり、判定対象の撮影画像から変換された球面画像を球面背景画像と比較することによって球面背景画像と異なる前景部分を検出する。
【選択図】 図１

Description

本発明は、撮影画像から異常等の変化を検出する機能を備えた旋回型のカメラ装置に関する。

従来、撮影画像に発生した変化を検出する機能を備えたカメラ装置が知られており、この種のカメラ装置の代表例としては監視カメラ装置が挙げられる。監視カメラ装置は、撮影画像に発生した変化を異常として検出する。この異常検出機能においては、過去の撮影画像が背景画像として保存される。そして、新しく得られた撮影画像が背景画像と比較されて、閾値などを用いた差分処理により、撮影画像と背景画像との相違部分が異常発生領域として検出される。

このような差分処理を用いた検出機能を背景差分技術と呼ぶ。背景差分技術は、静止物体を検出するのに有効である。動く物体は現在の画像だけからでも検出できるが、静止物体は、過去の画像と現在の画像との比較によって検出が可能になる。

ところで、監視カメラ装置としては、旋回機能を備えたものも知られている。そして、旋回型の監視カメラ装置に背景差分技術を適用することも提案されている。その場合、従来は、カメラ装置が、カメラを旋回させながら多数の旋回角度で得られた多数の背景画像を記憶する。そして、現在の撮影画像が、同一撮影方向の過去の撮影画像と比較される（例えば、特許文献１参照）。
特開平１１−２７５５５９号公報

しかしながら、従来のカメラ装置においては、背景差分による検出機能を備えようとすると、上述のように旋回角度毎の撮影画像を保持する必要があり、そのために画像メモリに多大な容量が必要になるという問題がある。

より詳細には、従来技術では、上述のように、検出対象の現在の画像が、同一撮影方向の過去の画像と比較される。そのため、少しずつ旋回角度を変えた多数の画像を保持しておく必要がある。したがって、重複した多数の画像を保持することになり、冗長な画像メモリが必要になり、このことがメモリ容量を増大させてしまう。特に、広範囲の検出を行ったり、遠望の物体などの小さく写る物体を検出しようとすると、膨大なメモリ容量が必要になってしまう。

そして、従来技術では上記の如く多大なメモリ容量が必要とされるために、旋回型のカメラ装置では、背景差分処理による異常検出が容易でなかった。背景差分技術は、既に説明したように、静止物体の検出に有用な技術である。静止物体を検出するためには、過去の画像を参考にする必要があるからである。したがって、従来の旋回型のカメラ装置では、背景差分技術の実用化が容易でないために、静止物体の検出も容易でなかった。

本発明は、従来の問題を解決するためになされたもので、その目的は、メモリ容量を低減でき、静止物体も検出することのできる旋回型のカメラ装置を提供することにある。

本発明のカメラ装置は、旋回可能なカメラと、前記カメラの撮影画像を球面に投影して球面画像に変換する画像変換部と、複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成する球面背景合成部と、判定対象の前記撮影画像から変換された前記球面画像を前記球面背景画像と比較することによって前記球面背景画像と異なる前景部分を検出する前景部分検出部とを備えている。

この構成により、背景差分を求めるための背景画像として、上記の球面背景画像が生成される。球面背景画像は、複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成することにより生成される画像である。球面画像への変換を行っているので、複数方向の画像を適切に合成できる。そして、合成された球面背景画像を保持すればよいので、冗長な画像メモリが不要になり、メモリ容量を削減できる。メモリ容量の削減により背景差分技術を実現できるので、静止物体の検出も可能になる。こうして、メモリ容量を低減でき、静止物体も検出することのできる旋回型のカメラ装置を提供できる。

また、本発明のカメラ装置において、前記画像変換部は、前記撮影画像が得られたときの撮影方向の情報に基づいて前記撮影画像を前記球面背景画像用の球面座標系のデータへ変換する。この構成により、撮影画像から球面画像への変換を好適に行うことができる。

また、本発明のカメラ装置において、前記画像変換部は、カメラ制御側でのパン平面上でのパン角を、前記球面座標系での球の中心を基準としたパン角へと変換するように、パン方向の補正を行う。この構成により、パン方向の補正を行うことにより、背景生成および差分処理に適した球面画像を生成できる。

また、本発明のカメラ装置において、前記画像変換部は、球面上のパン方向の軌跡が直線になるようにチルト方向の補正を行う。この構成により、チルト方向の補正を行うことにより、隣合う画像の合成が容易であり、背景生成および差分処理に適した球面画像を生成できる。

また、本発明のカメラ装置は、前記カメラの旋回を制御する旋回制御部を有し、前記画像変換部は、前記旋回制御部から前記撮影方向の情報を取得する。この構成により、撮影方向の情報として、旋回制御側でのカメラの旋回角の情報が入手される。旋回制御部を利用して、撮影方向の情報を簡単に入手できる。

また、本発明のカメラ装置において、前記球面背景合成部は、さらに、新たに撮影された前記撮影画像から変換された前記球面画像によって前記球面背景画像を更新する処理を行う。この構成により、カメラによる撮影画像を使って球面背景画像を更新することにより、背景の変化に適応でき、異常等の変化をより正確に検出できる。

また、本発明のカメラ装置は、前記画像変換部により変換された前記球面画像と既に生成された前記球面背景画像を比較して位置合せ処理を行う位置合せ処理部を有し、前記球面背景合成部は、位置合せ処理により前記球面画像と対応した部分の前記球面背景画像を更新する。この構成により、位置合せ処理の後に球面背景画像を更新するので、位置ずれによる背景画像の劣化を防ぎ、背景画像を良好に保ち、これにより検出精度を向上できる。

また、本発明のカメラ装置において、前記前景部分検出部は、前記前景部分を異常発生領域として検出する異常発生領域検出部である。この構成により、撮影領域に発生した異常を検出することができる。

また、本発明のカメラ装置は、前記異常発生領域検出部により異常発生領域が検出されたときに異常を報知する報知部を備えている。この構成により、異常発生を報知することができる。

また、本発明の別の態様は、旋回可能なカメラにより撮影された撮影画像を処理する画像処理装置であって、撮影画像を球面に投影して球面画像に変換する画像変換部と、複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成する球面背景合成部と、判定対象の前記撮影画像から変換された前記球面画像を前記球面背景画像と比較することによって前記球面背景画像と異なる前景部分を検出する前景部分検出部とを備えている。この構成によっても上述した本発明の利点が得られる。

また、本発明の別の態様は、カメラ画像処理方法であり、この方法は、旋回可能なカメラにより撮影された撮影画像を球面に投影して球面画像に変換し、複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成し、判定対象の前記撮影画像から変換された前記球面画像を前記球面背景画像と比較することによって前記球面背景画像と異なる前景部分を検出する。この方法によっても上述した本発明の利点が得られる。

また、本発明の別の態様は、旋回可能なカメラにより撮影された撮影画像をコンピュータに処理させるカメラ画像処理プログラムであって、前記撮影画像を球面に投影して球面画像に変換し、複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成し、判定対象の前記撮影画像から変換された前記球面画像を前記球面背景画像と比較することによって前記球面背景画像と異なる前景部分を検出する処理を前記コンピュータに実行させる。この構成によっても上述した本発明の利点が得られる。

本発明は、複数の撮影方向で得られた複数の撮影画像から生成した球面背景画像を用いて背景差分処理を行うことにより、メモリ容量を低減でき、静止物体も検出できるという効果を有する旋回型のカメラ装置を提供できる。

以下、本発明の実施の形態のカメラ装置について、図面を用いて説明する。

本発明の実施の形態に係るカメラ装置を図１に示す。本実施の形態の例では、カメラ装置１が監視カメラ装置であり、監視画像内で変化が生じた部分を異常発生領域として検出する。

図１において、カメラ装置１は、旋回カメラ部１１と画像処理部１３とを備えている。旋回カメラ部１１は旋回しながら複数の撮影方向にて画像を撮影する。画像処理部１３は、本発明のの画像処理装置に相当し、旋回カメラ部１１から入力される撮影画像を処理することにより異常発生領域を検出する。

旋回カメラ部１１は、カメラ２１、カメラ旋回部２３および旋回制御部２５を備えている。カメラ２１は、レンズおよび撮像素子を備えており、レンズにより結像された被写体像が撮像素子によって電気的な画像信号に変換される。

また、カメラ２１はパン方向およびチルト方向に旋回可能である。例えば、カメラ装置１がドーム型カメラであり、カメラ２１が天井に逆さに取り付けられたとする。この場合、一般にパン旋回軸は鉛直方向であり、チルト旋回軸は水平方向である。そしてパン旋回方向は水平方向であり、チルト旋回方向はパン方向に垂直な方向である。

カメラ旋回部２３は、カメラ２１をパン方向およびチルト方向に旋回させる。カメラ旋回部２３は、パン方向およびチルト方向にカメラ２１を旋回させるパンモータおよびチルトモータを備えている。また、パンモータおよびチルトモータの動力をカメラ２１に伝えるために回転伝達機構が備えられている。

旋回制御部２５は、カメラ旋回部２３を制御することによってカメラ２１を旋回させる。旋回制御部２５は、その制御処理において、カメラ２１の旋回角（パン角およびチルト角）の情報を検出している。この旋回角の情報は、カメラ２１の旋回動作における位置情報であり、撮影方向の情報でもある。そして、旋回角の情報は撮影方向の情報として画像処理部１３に出力される。より詳細には、旋回制御部２５は、パンモータおよびチルトモータの回転角を検出している。モータ回転角は旋回角と一対一で対応する。そこで、モータ回転角が旋回角の情報として処理されてよい。

次に、画像処理部１３の構成について説明する。画像処理部１３は、画像変換部３１、位置合せ処理部３３、球面背景合成部３５、画像データ記憶部３７および異常発生領域検出部３９を備えている。異常発生領域検出部３９は本発明の前景部分検出部の一形態である。概略的には、画像処理部１３には、カメラ２１が旋回しながら撮影した撮影画像が順次入力される。画像処理部１３では、それら複数の撮影画像を処理して球面背景画像が生成される。この処理では、順次得られる撮影画像が球面に投影されて球面画像に変換され、さらに合成されて、球面状の背景画像が得られる。そして、球面背景画像を用いた背景差分処理により、背景と異なる前景部分が異常発生領域として検出される。

画像変換部３１には、カメラ２１の撮影画像が入力される。画像変換部３１は、撮影画像を球面に投影して球面画像に変換する。この処理のために、球面座標系が予め設定される。球面座標系の中心（原点）はカメラ２１の位置、より詳細には撮像素子の結像面上に設定されている。撮影画像のデータが球面座標系のデータに変換され、これにより球面画像が得られる。

画像変換部３１は、旋回カメラ部１１の旋回制御部２５から入力される撮影方向の情報を用いて変換処理を行う。撮影方向の情報は上述したようにカメラ旋回角であり、具体的にはカメラ旋回制御におけるパン角およびチルト角の情報である。画像変換部３１は、撮影画像から球面画像への変換に際して、撮影方向の情報に基づいたパン方向およびチルト方向の画像補正処理を行う。これら補正処理については後述する。

位置合せ処理部３３は、画像変換部３１により変換された球面画像と既に生成された球面背景画像を比較して位置合せ処理を行う。既存の球面背景画像は画像データ記憶部３７から読み出される。位置合せ処理では、ＳＡＤなどの評価関数を使ったマッチングが行われ、最新の球面画像が既存の球面背景画像のどの部分に対応するかが精密に特定される。

球面背景合成部３５は、球面画像を合成して球面背景画像を生成する処理を行う。まず、球面背景画像がまだ生成されておらず、新たに球面背景画像を生成する場合を想定する。この場合、画像変換部３１の変換処理により複数の撮影方向の球面画像が順次得られると、それら複数の球面画像が合成されていく。このとき、撮影方向の情報に基づいて球面画像の貼付位置が決定される。合成された球面背景画像は、画像データ記憶部３７に格納される。

球面背景合成部３５は、上記のようにして球面背景画像を生成した後は、以下に説明するように球面背景画像の更新処理を行うように構成されている。この更新処理も合成処理の一種である。更新処理は、新たに撮影された撮影画像から変換された球面画像を用いる。位置合せ処理部３３では前述のように球面画像の位置合せが行われる。位置合せされた部分について、画像データ記憶部３７の球面背景画像が新しい球面画像を用いて更新される。更新処理においては平均化処理が行われる。例えば、現在および過去の３０枚程度の画像の平均化が行われる。これにより、新しい球面画像が既存の球面背景画像に適度に影響するように更新処理が行われる。更新後の球面背景画像は画像データ記憶部３７に再び格納される。

異常発生領域検出部３９は、判定対象の撮影画像から変換された球面画像を用いて、球面画像に異常発生領域があるか否かの判定を行う。判定対象の撮影画像は、新たに撮影されて入力された画像である。入力画像から変換された球面画像が、球面背景合成部３５で得られた球面背景画像と比較される。比較処理では、原画角に対応する部分の球面背景画像が用いられる。そして、閾値を用いた差分処理が行われて、球面背景画像と異なる前景部分が抽出されて、異常発生領域として検出される。前景部分は、両画像の差分が閾値以上の部分である。

このように、本実施の形態では、前景部分が異常発生領域として検出される。前景部分は、過去に撮影された画像から変化した部分であり、何らかの異常が発生した部分と考えられる。例えば、侵入者が撮影された場合、侵入者の画像が前景部分となり、異常発生領域として検出される。

図１に示すように、カメラ装置１はさらに表示部１５および報知部１７を備える。表示部１５は撮影画像などを表示する。報知部１７は、異常発生領域検出部３９から異常発生領域検出の情報を入力される。報知部１７は、異常発生領域が検出されたときに、異常発生を報知する。報知部１７は、異常発生を伝える音声をスピーカから出力してもよい。また、報知部１７は異常発生を表示部１５に表示してもよい。この場合、撮影画像中に異常発生領域が表示されてもよい。

上記の表示部１５および報知部１７は、旋回カメラ部１１から離れた場所に配置されてもよい。画像処理部１３も旋回カメラ部１１から離れた場所に配置されてもよい。

以上にカメラ装置１の各部の構成について説明した。次に、画像変換部３１において撮影画像を球面画像に変換する処理について詳細に説明する。ここでは、下記の３つの処理が行われる。
（１）パン方向の補正処理
（２）チルト方向の補正処理
（３）球面への投影処理
以下、（１）〜（３）の各処理について順次説明する。

（１）パン方向の補正処理
パン方向の補正は、以下に説明するように、カメラ制御側でのパン平面上でのパン角を、球面座標系での球の中心を基準としたパン角へと変換する処理である。本実施の形態では球の中心がカメラ２１なので、カメラ２１から見たパン角へと補正が行われる。

図２を参照して、パン方向の補正の原理を説明する。図２は、カメラ制御側でのパン角θｐと球面座標系におけるパン角θｓｐの関係を示している。

図の例では、カメラ２１は天井などに下向きに取り付けられている。カメラ２１は、鉛直方向に延びるパン軸を中心にパン方向に旋回する。また、カメラ２１はパン軸に垂直なチルト軸を中心にチルト方向に旋回する。チルト軸は水平である。

図２では、球面Ｓが球面座標系によって規定される。球面Ｓの中心Ｏは、カメラ２１の位置であり、より詳細には撮像素子の撮像面の中心である。また、球面Ｓの半径は、カメラ２１の焦点距離Ｆである。

ここで、図２において、θｐ、θｔは、カメラ制御側でのパン角およびチルト角である。より詳細には、球面Ｓ上には、同一高さで離れた２つの点Ａ、Ｂが示されている。θｐは点Ａおよび点Ｂの間隔に対応するパン角であり、θｔは、点Ａ、Ｂのチルト角である。このうち、θｐは、点Ａ、Ｂを通るパン平面上での角度である。パン平面はパン軸に垂直な面である（この例では水平面）。θｐ、θｔは、焦点距離Ｆと共に既知のパラメータである。

一方、θｓｐは、同じ点Ａおよび点Ｂに対応する、球面座標系でのパン角である。本実施の形態では球の中心Ｏがカメラ２１の位置なので、球面座標系のパン角とは、カメラ２１から見たパン角である。具体的には、パン角θｓｐは、線ＯＡと線ＯＢの角度である。

図２に示されるように、球面座標系での２点間のパン角θｓｐは、同じ２点間のカメラ制御側のパン角θｐとは異なっている。そこで、パン角補正では、θｐからθｓｐへの変換が行われる。

図３は、カメラ制御側のパン角θｐと球面座標系のパン角θｓｐとの関係を示している。図中で、Ｒは、点Ａ、Ｂからパン軸までの距離である。また、Ｌは、点Ａ、Ｂの距離である。図中に示されるように、球面座標系のパン角θｓｐは、カメラ制御側のパン角θｐ、チルト角θｔにより、下式（１）で表される。
θsp ＝ ２ × asin（ cosθt × sin（θp／２））・・・（１）

パン方向の補正では、上記の式（１）の関係に基づいて、カメラ制御側のパン角θｐから球面座標系のパン角θｓｐへの補正が行われる。

実際の補正処理は、撮影画像に対して行われる。撮影画像は、球面への変換前の画像であり、２次元平面座標系のデータである。この撮影画像において、パン角θｐに相当する距離が、パン角θｓｐに相当する距離へと変換されるように、パン方向の縮尺が変更される。要するにθｐ＝１度に相当する長さが、θｓｐ＝１度に相当する長さに変換される。

図４は、補正前後の撮影画像を概略的に示している。補正前の画像は点線で示され、補正後の画像は実線で示されている。補正前の画像は長方形である。式（１）を見ると、θｔ＝０でなければ、θｓｐは、θｐより小さくなる。また、θｔが大きくなるほど、θｓｐは小さくなる。したがって、補正後の座標では、横方向（パン方向）の長さが補正前より短くなっており、かつ、下方に行くほど短くなる。

（２）チルト方向の補正処理
次に、チルト方向の補正について説明する。図５は、チルト補正の原理を示している。図５において、パン軌跡Ｌａｂは、球面Ｓ上のパン方向の軌跡であり、より詳細には、同一高さを維持するように球面Ｓ上を点Ａから点Ｂまでパン方向に辿ったときの軌跡である。別の言い方では、パン軌跡Ｌａｂは、点Ａ、Ｂを通るパン平面で球面Ｓを切断したときの切口の円におけるＡ、Ｂ間の円弧である。また、画角Ｃは撮影画像の範囲であり、ここでは撮影画像は球面Ｓに接するように描かれている。画角Ｃの撮影方向としては、パン角、チルト角がそれぞれθｐ、θｔである。

図示のように、パン軌跡Ｌａｂは、撮影画像中では中央部が高く、両側に行くほど低くなるカーブに写る。チルト方向の補正では、このパン軌跡Ｌａｂが水平な直線になるように、撮影画像がチルト方向に補正される。

図６は、パン軌跡Ｌａｂ上の各点におけるチルト角を表している。図中でθｔは、画角中心におけるチルト角である。このチルト角θｔは、下式（２）で表される。
θt ＝ atan（Ｈ／Ｒ）・・・（２）
また、パン軌跡Ｌａｂ上の任意の位置におけるチルト角をθ’ｔとすると、θ’ｔは下式（３）で表される。
θ’t ＝ atan（Ｈ／（Ｒ・cosθp））・・・（３）
ここで、θｐは、画角中心からのパン角である。また、Ｒは、パン軌跡Ｌａｂからパン軸までの距離であり、要するにパン軌跡Ｌａｂの半径である。より詳細に述べると、Ｒは、図５のパン平面で球面Ｓを切断したときの円の半径である。また、Ｈは、球面Ｓの中心Ｏからのパン平面の高さである。

チルト方向の補正では、上記の式（２）、（３）の関係に基づいて、パン軌跡Ｌａｂが直線になるように補正が行われる。

パン方向の補正と同様、チルト方向の補正においても、実際の補正処理は撮影画像に対して行われる。撮影画像は、球面への変換前の画像であり、２次元平面座標系のデータである。この撮影画像において、θｔに相当する画素データが、θ’ｔに相当する画素データへと変換されるように、チルト方向に画像が変形される。

図７は、補正前後の撮影画像を概略的に示している。補正前の画像は点線で示され、補正後の画像は実線で示されている。補正前の画像は長方形である。式（２）、（３）から、θｐが大きくなるほど、θ’ｔが大きくなる。したがって、θｐが大きくなるほど（画像の端に行くほど）、θｔとθ’ｔの差が大きくなり、補正量が大きくなる。このような補正量は、図５からも理解できる。図５では、パン軌跡Ｌａｂが画像の端に行くほど低くなる。したがって、パン軌跡Ｌａｂを直線に変換しようとすると、画像の端ほど上方へ大きく補正する必要がある。そして、このような補正が行われる結果、図７に示されるように、補正後の画像は端の方に行くほど高く持ち上げられる。

以上にチルト方向の補正処理について説明した。上記の補正を行うと、パン軌跡Ｌａｂが直線になるので、隣合う画像同士の合成が容易になる。

（３）球面への投影処理
次に、球面への投影について説明する。図８は、投影処理の原理を示している。図８の例では、撮影画像１００が球面画像２００に変換される。撮影画像１００は平面座標系のデータであり、撮影画像１００上の位置は、ｘ座標およびｙ座標で表される。これに対して、球面画像２００は球面座標系のデータであり、球面画像２００上の位置は、球の中心を基準としたパン角θおよびチルト角φで表される。

図８においては、撮像画像１００上の点Ｐ０（ｘ，ｙ）と球面画像２００上の点Ｐ１（θ，φ）が対応しており、すなわち、点Ｐ０（ｘ，ｙ）が点Ｐ１（θ，φ）へと投影される。ｘ，ｙとθ，φの関係は下記の式（４）で表される。
ｘ ＝ Ｃｘ ＋ Ｆ・tanθ
ｙ ＝ Ｃｙ ＋ Ｆ・tanφ・・・（４）

ここで、Ｃｘ，Ｃｙは撮像画像１００の中心点の座標である。また、Ｆは既に述べた通り焦点距離である。上記の式を用いて投影処理が行われる。

実際の投影処理は以下のようにして行われる。最終的に必要な球面画像２００は、画角範囲の多数の点Ｐ１（θ，φ）における画素値のデータの集合である。そこで、θとφを少しずつ変えながら、点Ｐ１（θ，φ）に対応する点Ｐ０（ｘ，ｙ）が求められ、点Ｐ０（ｘ，ｙ）の画素値が求められる。この画素値が、点Ｐ１（θ，φ）に対応するデータとなる。

上記の点Ｐ１（θ，φ）は、画像中心からの相対的な角度である。さらに、画像中心の角度、すなわち撮影方向の情報を用いることにより、球面座標系上での球面画像２００のデータが得られる。

以上に、（１）パン方向の補正処理、（２）チルト方向の補正処理および（３）球面への投影処理について説明した。画像変換部３１では、まず、撮影画像に対して、パン方向およびチルト方向の補正処理が行われ、それから、球面への投影処理が行われてよい。

あるいは、３つの処理を同時に１回で行うことも可能である。より詳細には、入力された撮影画像上の各点と、上記３つの処理を経た球面画像上の各点は１対１で対応する。変換前後の対応関係は、撮影方向によって決まる。そこで、この対応関係を用いて、３つの処理の結果である球面画像が得られてよい。この処理のために、変換前後の対応関係が撮影方向と関連づけてマップ等のかたちで予め用意され、画像処理部１３に記憶されており、画像変換部３１により参照されてよい。

上記のようにして生成された球面画像は、位置合せ処理部３３および球面背景合成部３５にて球面背景画像の合成処理に使われる。また、球面画像は異常発生領域検出部３９での処理に使われることになる。

次に、図９〜図１１を参照して、本実施の形態におけるカメラ装置１の動作を説明する。図９は、最初に球面背景画像を生成するときの動作を示している。旋回カメラ部１１では、旋回制御部２５がカメラ２１を旋回させ、カメラ２１は旋回しながら順次撮影を行う。少しずつ撮影方向をずらして多数の画像が撮影されてよい。本実施の形態では、カメラ２１がチルト角を一定に保ちながらパン旋回を行うとする（以下同じ）。この場合、カメラ２１がパン軸回りにまわりながら、次々と撮影画像を生成する。こうして得られる複数の撮影画像が旋回カメラ部１１のカメラ２１から画像処理部１３へ入力される（Ｓ１）。また、各々の撮影画像が得られたときの撮影方向も旋回カメラ部１１の旋回制御部２５から画像処理部１３へ入力される（Ｓ３）。撮影方向は旋回動作におけるカメラ位置であり、具体的には旋回制御のパン角およびチルト角である。そして、画像変換部３１により、上述したようにして撮影画像が球面画像に変換される（Ｓ５）。球面画像は、既に得られた球面画像に合成される（Ｓ７）。このとき、球面画像の配置（貼付位置）は、撮影方向を用いて決定されてよい。球面画像の配置に位置合せ処理部３３の位置合せ結果が用いられてもよい。順次入力される撮影画像に対して上記の一連の処理が行われ、最終的に監視範囲の球面背景画像が生成される。生成された球面背景画像は画像データ記憶部３７に格納される。

次に、図１０は、既に生成された球面背景画像を更新する動作を示している。ここでも、旋回カメラ部１１では、旋回制御部２５がカメラ２１を旋回させ、カメラ２１は旋回しながら順次撮影を行う。カメラ２１の旋回により得られる複数の撮影画像が画像処理部１３へ入力され（Ｓ１１）、各々の撮影画像が得られたときの撮影方向も画像処理部１３へ入力される（Ｓ１３）。画像変換部３１により、上述したようにして撮影画像が球面画像に変換され（Ｓ１５）、位置合せ処理部３３により、球面画像が、画像データ記憶部３７に記憶された球面背景画像と位置合わせされる（Ｓ１７）。位置合せ結果に基づき、球面背景画像の対応部分が、新しい球面画像を用いた平均化処理により更新される（Ｓ１９）。新しい撮影画像が入力されるたびに上記の更新処理が行われる。

次に、図１１は、異常発生領域を検出する動作を示している。ここでも、旋回カメラ部１１では、旋回制御部２５がカメラ２１を旋回させ、カメラ２１は旋回しながら順次撮影を行う。カメラ２１の旋回により得られる複数の撮影画像が画像処理部１３へ入力される（Ｓ２１）。入力された撮影画像は異常検出の判定対象になる。各々の撮影画像が得られたときの撮影方向も画像処理部１３へ入力される（Ｓ２３）。画像変換部３１により、上述したようにして撮影画像が球面画像に変換される（Ｓ２５）。異常発生領域検出部３９は、球面画像と球面背景画像の対応領域を比較し、球面背景画像と異なる前景部分を異常発生領域として検出する（Ｓ２７）。ここでは、前述したように、両画像の差分が閾値以上の領域が検出される。異常発生領域が検出されたか否かが判定され（Ｓ２９）、異常発生領域が検出されない場合（Ｓ２９、Ｎｏ）、処理を終了して、次の撮影画像の処理が行われる。異常発生領域が検出された場合（Ｓ２９、Ｙｅｓ）、報知部１７が異常発生を報知する（Ｓ３１）。ここでは、異常発生音がスピーカから出力されてもよく、異常発生が表示部１５に表示されもよい。

以上にカメラ装置１の動作を説明した。上記の動作において、図１０の球面背景画像の更新処理と、図１１の異常検出処理は、実際には並行して行われてよい。すなわち、撮影画像から得られた球面画像が、更新処理と異常検出の両方に使われてよい。したがって、図１０のステップＳ１１と図１１のステップＳ２１は実際には一つの同じ処理でよく、図１０のＳ１３、Ｓ１５と図１１のステップＳ２３、Ｓ２５についても同様である。

次に、本実施の形態の変形例について説明する。上記の実施の形態では、カメラ２１の撮影方向の情報が旋回カメラ部１１の旋回制御部２５から入手された。しかし、撮影方向の情報は、その他の構成によって入手されてもよい。例えば、オプティカルフローを求める画像処理によって、画面の移動情報が算出され、原画角の方向が予測されてよい。このような処理は、旋回カメラ部１１から撮影方向の情報を取得できない場合に特に有効である。

また、上記の実施の形態では、１つのカメラ装置１が単独で球面背景を作成していた。変形例では、複数のカメラ装置が通信を行ってよい。そして、複数のカメラ装置が共通の球面背景画像を生成してよい。例えば、１つの代表カメラが球面座標系の中心に設定される。このような球面背景画像を用いることにより、カメラ間で連携した異常検出等を行うことができる。例えば、１つのカメラが侵入者を検出したときに、侵入者の位置が別のカメラに伝えられ、２台のカメラで侵入者が追跡される。

以上に本実施の形態に係るカメラ装置１について説明した。本実施の形態によれば、背景差分を求めるための背景画像として、上記のように球面背景画像が生成される。球面背景画像は、複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成することにより生成される画像である。球面画像への変換を行っているので、複数方向の画像を適切に合成できる。そして、合成された球面背景画像を保持すればよいので、冗長な画像メモリが不要になり、メモリ容量を削減できる。メモリ容量の削減により背景差分技術を実現できるので、静止物体の検出も可能になる。こうして、メモリ容量を低減でき、静止物体も検出することのできる旋回型のカメラ装置を提供できる。

また、本実施の形態では、上述したように、撮影画像が得られたときの撮影方向の情報に基づいて撮影画像が球面背景画像用の球面座標系のデータへ変換される。これにより、撮影画像から球面画像への変換を好適に行うことができる。

本実施の形態では、図２〜図４を用いて説明したように、カメラ制御側でのパン平面上でのパン角を、球面座標系での球の中心を基準としたパン角へと変換するように、パン方向の補正が行われる。このようなパン方向の補正を行うことにより、背景生成および差分処理に適した球面画像を生成できる。

また、本実施の形態では、図５〜図７を用いて説明したように、球面上のパン方向の軌跡が直線になるようにチルト方向の補正が行われる。このようなチルト方向の補正を行うことにより、隣合う画像の合成が容易であり、背景生成および差分処理に適した球面画像を生成できる。

ここで、本実施の形態により得られる効果について、従来技術との比較することで、より詳細に説明しておく。旋回型のカメラ装置においては、旋回制御は、カメラレンズの焦点を中心としては行われていない。図２の例でいえば、旋回制御は、カメラ２１から見た角度を制御はしていない。そのため、カメラ制御でのパン／チルト角と撮影画像の水平／垂直画角というのは１対１では対応しない。したがって、互いにずれた複数の画像（旋回角度を変えて撮像された部分的に重なる複数の画像）を比較するときに、同じ被写体が同一座標に存在しないことがあり、両者の対応をとるのが容易でない。上述の実施の形態の例では、図５を用いて説明したように、チルト角に応じてパン方向軌跡がカーブするので、旋回角が変わると、撮影画像上では、同じ被写体に相当するチルト角の値が異なってしまう。

上記の事情があるため、従来のように撮影画像を用いる場合、物体検出精度を高くするためには、同じ旋回角での現在と過去の撮影画像を比較する必要がある。任意の方向で検出を行おうとすると、旋回角度を少しずつ変えた多数の撮影画像を保持する必要がある。そのため、重複した多数の画像を保持することになり、冗長な画像メモリが必要とされる。

そこで、重複した画像の保持とそのための冗長メモリを不要にするため、本発明では、上述したように、撮影画像が、パン・チルト角を軸とする球面背景用の座標系に変換される。これにより画像同士を合成することができ、合成した大きな画像を背景として利用できる。上記の例のように平均化処理などを行い更新していくこともできる。こうして、重複する多数の画像の保持を不要としてメモリ容量を大幅に削減できる。また、球面座標系では旋回角度と画角の座標が１対１の関係になるため、背景差分処理によって前景部分を検出する際にも高い精度が得られる。

また、既に説明したように、背景差分技術は、過去に存在しない静止物体の検出に有効である。動く物体であれば現在の画像から検出できるが、静止物体を検出するには過去の画像を参考にすることが必要だからである。しかし、従来は、上記の多大なメモリ容量が必要なため、旋回型カメラでの背景差分による物体検出は実現が容易でなく、そのために静止物体の検出も容易でない。一方、本発明では、メモリ容量の削減により、背景差分技術の適用が容易になり、静止物体の検出も可能になる。

本実施の形態では、さらに以下のような効果も得られる。本実施の形態では、旋回制御部２５から撮影方向の情報が取得される。つまり、撮影方向の情報として、旋回制御側でのカメラの旋回角の情報が入手される。これにより、旋回制御部２５を利用することで、撮影方向の情報を簡単に入手できる。

また、本実施の形態では、新たに撮影された撮影画像から変換された球面画像によって球面背景画像が更新される。これにより、背景の変化に適応でき、異常等の変化をより正確に検出できる。

また、本実施の形態では、画像変換部により変換された球面画像と既に生成された前記球面背景画像を比較して位置合せ処理が行われる。そして、位置合せ処理により球面画像と対応した部分において球面背景画像が更新される。これにより、位置ずれによる背景画像の劣化を防ぎ、背景画像を良好に保ち、これにより検出精度を向上できる。

また、本実施の形態では、前景部分が異常発生領域として検出され、これにより、撮影領域に発生した異常を検出することができる。

また、本実施の形態では、異常発生領域検出部３９により異常発生領域が検出されたときに異常を報知する報知部１７が備えされている。この構成により、異常発生を報知することができる。

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかるカメラ装置は、球面背景画像を用いて背景差分処理を行うことにより、メモリ容量を低減でき、静止物体も検出できるという効果を有し、監視カメラ装置等として有用である。

本発明の実施の形態におけるカメラ装置のブロック図 球面画像を生成するためのパン方向の補正処理の原理を示す図 カメラ制御側のパン角と球面座標系のパン角との関係を示す図 パン方向の補正処理前後の撮影画像を概略的に示す図 球面画像を生成するためのチルト方向の補正処理の原理を示す図 パン軌跡上の各点におけるチルト角を表す図 チルト方向の補正処理前後の撮影画像を概略的に示す図 撮影画像から球面画像への投影処理の原理を示す図 カメラ装置の動作を説明する図であって、最初に球面背景画像を生成するときの動作を示す図 カメラ装置の動作を説明する図であって、既に生成された球面背景画像を更新する動作を示す図 カメラ装置の動作を説明する図であって、異常発生領域を検出する動作を示す図

符号の説明

１ カメラ装置
１１ 旋回カメラ部
１３ 画像処理部
１５ 表示部
１７ 報知部
２１ カメラ
２３ カメラ旋回部
２５ 旋回制御部
３１ 画像変換部
３３ 位置合せ処理部
３５ 球面背景合成部
３７ 画像データ記憶部
３９ 異常発生領域検出部

Claims (12)

1. 旋回可能なカメラと、
   前記カメラの撮影画像を球面に投影して球面画像に変換する画像変換部と、
   複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成する球面背景合成部と、
   判定対象の前記撮影画像から変換された前記球面画像を前記球面背景画像と比較することによって前記球面背景画像と異なる前景部分を検出する前景部分検出部と、
   を備えたことを特徴とするカメラ装置。
2. 前記画像変換部は、前記撮影画像が得られたときの撮影方向の情報に基づいて前記撮影画像を前記球面背景画像用の球面座標系のデータへ変換することを特徴とする請求項１に記載のカメラ装置。
3. 前記画像変換部は、カメラ制御側でのパン平面上でのパン角を、前記球面座標系での球の中心を基準としたパン角へと変換するように、パン方向の補正を行うことを特徴とする請求項２に記載のカメラ装置。
4. 前記画像変換部は、球面上のパン方向の軌跡が直線になるようにチルト方向の補正を行うことを特徴とする請求項２または３に記載のカメラ装置。
5. 前記カメラの旋回を制御する旋回制御部を有し、前記画像変換部は、前記旋回制御部から前記撮影方向の情報を取得することを特徴とする請求項２乃至４のいずれかに記載のカメラ装置。
6. 前記球面背景合成部は、さらに、新たに撮影された前記撮影画像から変換された前記球面画像によって前記球面背景画像を更新する処理を行うことを特徴とする請求項１乃至５のいずれかに記載のカメラ装置。
7. 前記画像変換部により変換された前記球面画像と既に生成された前記球面背景画像を比較して位置合せ処理を行う位置合せ処理部を有し、前記球面背景合成部は、位置合せ処理により前記球面画像と対応した部分の前記球面背景画像を更新することを特徴とする請求項６に記載のカメラ装置。
8. 前記前景部分検出部は、前記前景部分を異常発生領域として検出する異常発生領域検出部であることを特徴とする請求項１乃至７のいずれかに記載のカメラ装置。
9. 前記異常発生領域検出部により異常発生領域が検出されたときに異常を報知する報知部を備えたことを特徴とする請求項８に記載のカメラ装置。
10. 旋回可能なカメラにより撮影された撮影画像を処理する画像処理装置であって、
    撮影画像を球面に投影して球面画像に変換する画像変換部と、
    複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成する球面背景合成部と、
    判定対象の前記撮影画像から変換された前記球面画像を前記球面背景画像と比較することによって前記球面背景画像と異なる前景部分を検出する前景部分検出部と、
    を備えたことを特徴とする画像処理装置。
11. 旋回可能なカメラにより撮影された撮影画像を球面に投影して球面画像に変換し、
    複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成し、
    判定対象の前記撮影画像から変換された前記球面画像を前記球面背景画像と比較することによって前記球面背景画像と異なる前景部分を検出することを特徴とするカメラ画像処理方法。
12. 旋回可能なカメラにより撮影された撮影画像をコンピュータに処理させるカメラ画像処理プログラムであって、
    前記撮影画像を球面に投影して球面画像に変換し、
    複数の撮影方向で撮影された複数の撮影画像から変換された複数の球面画像を合成して球面背景画像を生成し、
    判定対象の前記撮影画像から変換された前記球面画像を前記球面背景画像と比較することによって前記球面背景画像と異なる前景部分を検出する処理を前記コンピュータに実行させることを特徴とするカメラ画像処理プログラム。

Images