JP2005033735A - 撮像装置及び方法、撮像システム、プログラム - Google Patents

Abstract

【課題】 撮影した被写体の動きに応じて撮影範囲内の状況変化を短い時間間隔で捉えた全体画像を順次生成する。
【解決手段】 撮影範囲全体を表す全体画像を構成する単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別し、動きがあるものと判別した単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、これを記録媒体へ記録する。
【選択図】 図２

Description

本発明は、広範な撮影範囲の状況を監視するために、撮影範囲全体を表す全体画像を構成する各単位画像を撮像する撮像装置及び方法、撮像システム、プログラムに関する。

従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。

このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。

特開平１０−１０８１６３号公報

特開２０００−２４３０６２号公報

上記従来の如き監視カメラにより、例えば図１１に示すような撮影範囲内を所定の撮影画角で撮像する場合には、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズを、上記所定の撮影画角により撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｓ×ｔ倍で表せるときには、少なくともｓ×ｔ通りの撮影方向を設定する必要がある。

実際には、監視カメラの撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行する。次に、この監視カメラの撮影方向を座標（２，１）、（３，１）、（４，１）・・（ｓ，１）と水平方向へ順次変更させて撮像を実行する。１列目の撮像を終了させた後、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｓ，ｔ）まで撮像を実行した後、このｓ×ｔ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。

しかしながら、従来の如き監視カメラは、一枚の全体画像を生成するために、これを構成する全てのｓ×ｔ個の単位画像を撮像する必要があり、特に撮影範囲内において短時間に生じた僅かな状況変化を漏れなく捉えることができないという問題点がある。

図１２は、時刻ｔ１〜ｔ４へ経過していくにつれ、移動速度の速い移動被写体（鳥）が建物から徐々に遠ざかる様子を示している。この図１２に示す時刻ｔ１において全体画像を構成するｓ×ｔ個の単位画像を撮像する際には、移動被写体の存在しない建物や雲等を構成する単位画像も含めて順次撮像する必要があるため、長時間を要することになる。

その結果、次のタイミングで全体画像の撮像する際には、既に時刻がｔ４に到達している場合もあり、時刻ｔ２,ｔ３における移動被写体の状況を画像データとして捉えることができず、ひいては監視カメラを介した監視の実効が図れなくなるという問題点があった。

そこで、本発明は上述した問題点に鑑みて案出されたものであり、その目的とするところは、広範な撮影範囲の状況を監視するために、撮影範囲全体を表す全体画像を構成する各単位画像を撮像する撮像装置及び方法、撮像システム、プログラムにおいて、撮影した被写体の動きに応じて撮影範囲内の状況変化を短い時間間隔で捉えた全体画像を順次生成する撮像装置及び方法、撮像システム、プログラムを提供することにある。

本発明を適用した撮像装置及び方法、撮像システム、プログラムでは、上述した問題点を解決するために、撮影範囲全体を表す全体画像を構成する単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別し、動きがあるものと判別した単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像する。

即ち、本発明を適用した撮像装置は、撮影範囲全体を表す全体画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像手段と、上記撮像された単位画像を記録媒体へ記録する記録手段と、上記撮像された単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別する動き判別手段と、少なくとも上記各手段を制御する制御手段とを備え、上記撮像手段は、上記動き判別手段により動きがあるものと判別された単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、上記記録手段は、上記撮像手段により上記撮影方向に合わせて撮像された単位画像を上記記録媒体へ順次記録する。

また、本発明を適用した撮像方法は、撮影範囲全体を表す全体画像を構成する各単位画像に撮影方向を順次合わせて撮像し、上記撮像した単位画像を記録媒体へ記録し、上記撮像した単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別し、動きがあるものと判別した単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、上記撮影方向に合わせて撮像された単位画像を上記記録媒体へ順次記録する。

また、本発明を適用した撮像システムは、撮影範囲全体を表す全体画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像装置と、上記撮像装置により撮像された単位画像を記録媒体へ記録し、また上記撮像された単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別する制御装置と、上記記録媒体へアクセス可能なユーザ端末とを備え、上記撮像装置は、上記制御装置により動きがあるものと判別された単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、上記制御装置は、上記撮像手装置より上記撮影方向に合わせて撮像された単位画像を上記記録媒体へ順次記録する。

また、本発明を適用したプログラムは、撮影範囲全体を表す全体画像を構成する各単位画像に撮影方向を順次合わせて撮像し、上記撮像した単位画像を記録媒体へ記録し、上記撮像した単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別し、動きがあるものと判別した単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、上記撮影方向に合わせて撮像された単位画像を上記記録媒体へ順次記録することをコンピュータに実行させる。

以上詳細に説明したように、本発明では、撮影範囲全体を表す全体画像を構成する単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別し、動きがあるものと判別した単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像する。

このため、撮影した被写体の動きに応じて撮影範囲内の状況変化を短い時間間隔で捉えた全体画像を順次生成することが可能となる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した撮像システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、接続されたカメラユニット２を制御する制御装置１５と、他のユーザが本撮像システム１より提供されるアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、制御装置１５と端末装置９との間で各種情報を送受信するためのネットワーク８とを備えている。

カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。

カメラ部４は、パンチルタ部３を構成する回転台上に配設され、制御装置１５に基づく制御の下、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、制御装置１５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。

制御装置１５は、パーソナルコンピュータ（ＰＣ）等により構成され、カメラユニット２から伝送される画像信号を記録メディアへ記録し、また記録メディアへ記録した画像信号に基づく各画像をユーザに表示する。またこの制御装置１５は、カメラユニット２から伝送される画像信号につき輝度成分を識別することにより動きの有無を判別し、当該判別結果に応じてカメラユニット２における撮像のモードを切り替えるように制御する。更に、この制御装置１５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。

ネットワーク８は、例えば制御装置１５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの撮像システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。

端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して制御装置１５から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの撮像システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、制御装置１５から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを制御装置１５に対して送信する。なお端末装置９のブロック構成については、後述する制御装置１５の構成を引用し、説明を省略する。

次に、本発明を適用した撮像システム１におけるカメラユニット２,制御装置１５の構成について詳細に説明する。

図２は、カメラユニット２,制御装置１５の構成図である。この図２では、カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するTilt部並びにPan部より構成される。このパンチルタ部３には、接続された方位センサ３１によりカメラ部４の位置と角度に関する情報が送信される。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４とを備えている。

制御装置１５は、撮像部２４との間で、例えばＩＥＥＥ１３９４インターフェースを介して接続されるＡ／Ｄ変換部５１,同期生成部５２と、このＡ／Ｄ変換部５１に接続されるエンコーダ５３,動き検出部５４と、動き検出部５４から送信される画像を一時的に記憶する第１のメモリ５５と、エンコーダ５３から出力される画像を蓄積する記録メディア５６と、記録メディア５６から読み出された画像を伸張するためのデコーダ５７と、Ａ／Ｄ変換部５１並びにデコーダ５７に接続され、ユーザに対して表示するための画像を作り出すモニタ用画像処理部５８と、接続されたモニタ用画像処理部５８から供給される画像を一時的に記憶する第２のメモリ５９とを備えている。

また制御装置１５は、動き検出部５４から供給される判別信号Ｒ１に基づいてカメラユニット２に対して駆動信号Ｌ１を送信し、或いはモニタ用画像処理部５８に対して所定の処理を実行する制御部６０と、接続された制御部６０による制御の下、ユーザに対して音声により注意を喚起するアラーム６２と、同期生成部５２に接続され、制御装置１５に必要な各種パルスを発生するジェネレータ６３と、接続されたモニタ用画像処理部５８から入力される信号をアナログ化するＤ／Ａ変換部６４と、Ｄ／Ａ変換部６４に接続された液晶表示面等から構成されるモニタ６５と、モニタ６５上に表示されている画像からユーザが所望の画像領域、画像位置を指定するための操作部６６とを備えている。

パンチルタ部３は、制御部６０からの駆動信号Ｌ１に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台自体を水平方向、或いは垂直方向へ旋回させることができるため、回転台上に載置されているカメラ部４の撮影方向を水平方向、或いは垂直方向へ変更することができる。

レンズ制御部２３は、制御部６０からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。

撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成する。この撮像部２４は、生成した画像信号をＡ／Ｄ変換部５１へ送信する。

Ａ／Ｄ変換部５１は、撮像部２４から送信される画像信号をデジタル化し、これをエンコーダ５３,動き検出部５４,モニタ用画像処理部５８へ送信する。また、同期生成部５２は、撮像部２４からの同期を抽出し、これに基づく基準信号Ｎ１を生成する。同期生成部５２は、生成した基準信号Ｎ１をジェネレータへ出力する。

エンコーダ５３は、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみにこのエンコーダ５３は、圧縮符号化する画像信号に対して、位置情報やメタデータを付加してもよい。エンコーダ５３は、圧縮符号化した画像信号を記録メディア５６へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５３における処理は省略される。

記録メディア５６は、例えばハードディスクや、着脱自在なディスク状記録媒体等として適用され、エンコーダ５３から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。記録メディア５６に記録された画像信号は、制御部６０による制御に基づき読み出され、デコーダ５７へ送信される。なお記録メディア５６に記録される画像信号を図示しないメモリカードへ記録するように制御することにより、メモリカードに記録されている画像信号を他のＰＣへ移し換えることも可能となる。また、この記録メディア５６に記録されている画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、記録メディア５６を図示しないネットワークサーバに代替することも可能となる。

デコーダ５７は、記録メディア５６から読み出されたＪＰＥＧ形式の画像信号を伸張し、これをモニタ用画像処理部５８へ送信する。

動き検出部５４は、Ａ／Ｄ変換部５１から新たに送信される画像信号の各輝度成分を、第１のメモリ５５に記憶されている画像信号の輝度成分と比較する。その結果、両者の間で比較した輝度成分の差分値が、所定の閾値を超えている場合には、上記供給される画像信号につき、動きがあるものと判別する。一方、両者の間で比較した輝度成分の差分値が、所定の閾値を下回る場合には、上記供給される画像信号につき、動きがないものと判別する。動き検出部５４は、かかる判別結果を示す判別信号Ｒ１を制御部６０へ送信するとともに、Ａ／Ｄ変換部５１から新たに送信された上記画像信号を順次第１のメモリ５５へ記憶させる。

第１のメモリ５５は、接続された動き検出部５４からの画像信号を所定のアドレスへ記憶する。この第１のメモリ５５に記憶される画像信号は、動き検出部５４による制御の下、順次読み出され、Ａ／Ｄ変換部５１から後に送信される画像信号との間で輝度成分が比較されることになる。

モニタ用画像処理部５８は、制御部６０による制御の下、Ａ／Ｄ変換部５１或いはデコーダ５７から送信される画像信号に基づき、モニタ６５への絵画処理を実行する。またモニタ用画像処理部５８は、制御部６０による制御に基づき、モニタ６５におけるコントラスト、輝度の制御を実行する。またモニタ用画像処理部５８は、動き検出部５４において動きがあるものと判別された場合に、モニタ６５上に表示する画像にマーカを挿入する等の処理を施す。また、このモニタ用画像処理部５８は、第２のメモリ５９と協働することにより、複数枚の画像をモニタ６５における液晶表示面上へ同時に表示するために画素を間引く処理を実行する。

モニタ６５は、例えば図示しない液晶表示素子やバックライト等から構成され、ユーザが撮像された画像を視認するためのインターフェースである。液晶表示素子の背面からは上述したバックライトにより照明光が照射され、モニタ６５全体の視認性を向上させることができる。

制御部６０は、ユーザにより操作部６６を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号Ｌ１や、制御装置１５内の各ユニットを制御するための制御信号を送信する。また、この制御部６０は、ネットワーク８を介した端末装置９からの所定の要求信号Ｒ２を受けて、記録メディア５６に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。更にこの制御部６０は、動き検出部５４から受信した判別信号Ｒ１に応じて、モニタ用画像処理部５８を制御し、或いはカメラユニット２に対して駆動信号Ｌ１を送信し、或いはモニタ用画像処理部５８に対して所定の制御処理を実行する。

操作部６６は、モニタ６５上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボードやマウス等により構成される。

ジェネレータ６３は、カメラブロック２において撮像された画像がモニタ６５上に表示される場合において、同期生成部５２から供給される基準信号Ｎ１に基づき、かかる表示処理のタイミングを制御する。またジェネレータ６３は、記録メディア５６に記録されている画像がモニタ６５上に表示される場合において、自身で生成した基準信号に基づき、かかる表示処理のタイミングを制御する。

次に本発明を適用した撮像システム１における撮像動作について説明をする。

図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。

ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、制御部６０は、パンチルタ部３に対して駆動信号Ｌ１を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、Ａ／Ｄ変換部５１によりＡ／Ｄ変換された後、動き検出部５４を介して第１のメモリ５５へ記憶され、またモニタ用画像処理部５８を介して第２のメモリ５９へ記憶される。また、この画像信号は、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化され、メタデータ等も同時に付加された上で、記録メディア５６へ順次記録される。

同様に制御部６０は、パンチルタ部３に対して駆動信号Ｌ１を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様に記録メディア５６へ記録される。制御部６０による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。

カメラ部４は、１列目の撮像を終了させた後、制御部６０による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、第１のメモリ５５,第２のメモリ５９,記録メディア５６には、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。ちなみに座標（ｉ，ｊ）まで撮像を終了後、制御部６０は、パンチルタ部３に対して駆動信号Ｌ１を送信することにより、カメラ部４の撮影方向を、再び左上に位置する座標（１，１）に合わせて、次のタイミングにおける撮像を実行させる。

ちなみに、単位画像の撮像の順は上述した例に限定されるものではなく、例えば、１列目の撮像を終了させた後、制御部６０による制御に基づき、撮影方向を２列目の座標（ｉ，２）に調整して撮像を実行し、その後、座標（１，２）へ向かって撮影方向をシフトさせるようにしてもよい。

第２のメモリ５９に記録されている各単位画像に基づく画像信号は、モニタ用画像処理部５８により順次読み出されて、モニタ６５における表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、Ｄ／Ａ変換部６４を経てモニタ６５に表示される。第２のメモリ５９に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚のパノラマ状の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。

また制御部６０により、記録メディア５６において以前より記録されている単位画像をモニタ６５上に表示する旨が指定された場合には、記録メディア５６からかかる単位画像に基づく画像信号が順次読み出され、デコーダ５７により伸張されてモニタ用画像処理部５８へ送られる。モニタ用画像処理部５８において、上述の如く表示画面のサイズに適合するように縮小され、パノラマ状の全体画像へ合成されて表示されることになる。

図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、モニタ６５の全体画像表示部７０に表示する例を示している。なお、この制御装置１５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また制御装置１５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。

ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。

また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。

またユーザは、全体画像表示部７０や拡大画像表示部７１に対して、操作部６６を介して、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、操作部６６におけるマウス等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。

本発明を適用した撮像システム１では、上述の如く撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成する通常撮像モードに加え、全体画像を短い時間間隔で生成してゆくことにより、図４における全体画像表示部７０に表示される鳥等のような移動被写体の動きを漏れなく画像信号として捉える追跡撮像モードへ自動的に切り替えることができる。図５は、通常撮像モードと追跡撮像モードについて時系列的に示している。通常撮像モードでは、全体画像を構成する全ての単位画像に対して撮影方向を順次合わせて撮像を実行するため、一枚の全体画像を合成するまでに長時間を要する結果、単位時間あたりに生成し得る全体画像の数（以下、リフレッシュレートという）が小さくなる。

これに対して、追跡撮像モードでは、移動被写体が存在する可能性のある複数の単位画像（以下、かかる複数の単位画像からなる画像領域を更新画像領域という。）のみに撮影方向を合わせて撮像を行う。即ち、この追跡撮像モードでは、更新画像領域を構成する新たに撮像された単位画像のみ更新し、残りの単位画像は先の全体画像を構成する単位画像をそのまま適用することにより一枚の全体画像を合成する。制御装置１５は、全体画像を合成する度に移動被写体の動きを検出することにより、更新画像領域を特定し直す。

即ち、この追跡撮像モードでは、移動被写体を捉えた更新画像領域を構成する単位画像のみに対して撮影方向を順次合わせて撮像を実行すれば足りるため、短時間で一枚の全体画像を合成することができ、リフレッシュレートを高めることが可能となる。

本発明を適用した撮像システム１では、被写体に対する撮像動作が開始された場合に、先ず通常撮像モードによる撮像が実行される。その際、動き検出部５４は、図５に示すように、撮像された単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別する。その結果、動き検出部５４により、動きがあるものと判別された単位画像が存在する場合には、通常撮像モードから追跡撮像モードへ切り替える。一方、動き検出部５４により、動きの存在が検出されなかった場合には、そのまま通常撮像モードでの撮像を続行する。

図６は、かかる動き検出部５４における動き検出の詳細な手順を説明するためのフローチャートである。先ずステップＳ１１において、カメラユニット２により新たに撮像された単位画像をＡ／Ｄ変換部５１から受信する。動き検出部５４は、この新たに撮像された単位画像につき、先の全体画像を構成する同一撮影方向上の単位画像（以下、参照単位画像という。）が第１のメモリ５５に記憶されているか確認する。その結果、第１のメモリ５５に参照単位画像が記憶されている場合には、ステップＳ１２へ移行する。一方、新たに撮像された単位画像が、初めて撮像する全体画像を構成するものである場合には、第１のメモリ５５には参照単位画像が存在しないため、次の単位画像の撮像へ移行することになる。

次にステップＳ１２へ移行し、動き検出部５４は、新たに撮像された単位画像と、参照単位画像の輝度成分を比較する。このとき動き検出部５４は、比較する互いの単位画像につき、対応する画素毎に輝度成分の差分絶対値を演算する。

次にステップＳ１３へ移行し、動き検出部５４は、ステップＳ１２において演算した差分絶対値と、所定の閾値とを比較する。その結果、演算した差分絶対値が所定の閾値を超えない場合には、ステップＳ１４へ移行し、動き検出部５４は、動きがある旨を示す判別信号Ｒ１を制御部６０へ送信する。一方、演算した差分絶対値和が所定の閾値を超える場合には、新たに撮像された単位画像において動きが存在しないことを示しており、ステップＳ１５へ移行する。何れのステップへ移行するにせよ、新たに撮像された単位画像は、第１のメモリ５５へ記憶される。そして次の全体画像を構成する同一撮影方向上の単位画像の撮像時に、参照単位画像として輝度成分が参照させることになる。

ステップＳ１５へ移行した場合には、カメラユニット２より撮影方向をシフトさせて新たな単位画像の撮像が実行され、再びステップＳ１１以下の処理が実行されることになる。

制御部６０は、動き検出部５４より、動きがある旨を示す判別信号Ｒ１を受けて、通常撮像モードから追跡撮像モードへの切り替えを実行すべくカメラユニット２、制御装置１５を制御する。図７は、かかる制御部６０に基づくモード切り替えの詳細な手順を示す説明するためのフローチャートである。

先ずステップＳ２１において、制御部６０は、動き検出部５４から受信した判別信号Ｒ１の詳細を識別する。

次にステップＳ２２へ移行し、制御部６０は、識別した判別信号Ｒ１の詳細に基づき、通常撮像モードを続行するか、或いは追跡撮像モードへ切り替えるか決定する。上述の如く、受信した判別信号につき動きがある旨を示す情報が含まれている場合には、追跡撮像モードへ切り替える旨を決定し、ステップＳ２３へ移行する。

ステップＳ２３において、制御部６０は、カメラユニット２に対して、撮影方向を順次シフトさせながら単位画像の撮像を続行させるための駆動信号Ｌ１を送信する。撮像された単位画像は、順次動き検出部５４へ供給され、参照単位画像との間で輝度成分が比較されることになる（ステップＳ２４）。動き検出部５４は、比較する互いの単位画像につき、対応する画素毎に輝度成分の差分絶対値を演算し、演算した差分絶対値和と閾値とを比較することにより、動きの有無を順次判別する。即ち、このステップＳ２４において更に動き検出を実行することにより、全体画像中において動きがあるものと判別される単位画像をより精度よく特定することが可能となる。

このステップＳ２４において、動きがあるものと判別された単位画像が存在する場合にはステップＳ２５へ移行し、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像する。一方、動きがあるものと判別された単位画像が存在しなかった場合には、ステップＳ２３へ再度移行する。

なお、上述したステップＳ２３,Ｓ２４における処理を割愛し、ステップＳ１３において動き検出された場合に即座にステップ２５に移行するようにしてもよい。

図８は、かかるステップＳ２３〜Ｓ２５において、動き検出する単位画像を示している。ステップＳ２３において撮像した単位画像Ａ１８,Ａ５につき参照単位画像との間で動きの有無を判別した結果、動きがあるものと判別されなかったが、単位画像Ａ６については、移動被写体が存在する結果、参照画像との間で動きがあるものと判別された場合に、ステップＳ２５へ移行する。

ステップＳ２５において、撮像システム１は、更新画像領域を構成する単位画像として、この単位画像Ａ６と、その周囲にある単位画像Ａ１,Ａ２,Ａ３,Ａ５,Ａ６,Ａ７,Ａ９,Ａ１０,Ａ１１のみに対して撮影方向を合わせて撮像を実行する。このとき撮像システム１は、単位画像Ａ６を囲むように、単位画像Ａ７,Ａ１１,Ａ１０,Ａ９,Ａ５,Ａ６,Ａ７,Ａ３,Ａ２,Ａ１,Ａ５,Ａ６・・の順に撮像を実行するが、かかる場合に限定されるものではなく、いかなる順で単位画像を撮像してもよい。

上述した更新画像領域を含む全体画像を合成する場合には、残りの単位画像につき、先の全体画像を構成する単位画像をそのまま適用することになる。合成された単位画像は、モニタ６５上の全体画像表示部７０へ表示され、或いは互いに関連付けられて記録メディア５６へ記録される。また更新画像領域を構成する上記撮像された単位画像は、順次動き検出部５４により参照単位画像との間で動きの有無につき判別されることになる。

また、次の瞬間において移動被写体が単位画像Ａ１１へ移った場合には、更に撮像された単位画像Ａ１１につき、参照画像との間で動きがあるものと判別されることになるため、次の全体画像における更新画像領域を構成する単位画像として、上記動き検出された単位画像Ａ６に加えて単位画像Ａ１１と、これらの周囲にある単位画像Ａ１〜Ａ１６を更新画像領域として撮像を実行する。このとき撮像システム１は、単位画像Ａ６,Ａ１１を囲むように、単位画像Ａ１０,Ａ９,Ａ１３,Ａ１４,Ａ１５,Ａ１６,Ａ１２,Ａ１１,Ａ１０,Ａ９,Ａ５,Ａ６,Ａ７,Ａ８,Ａ４,Ａ３,Ａ２,Ａ１,Ａ５,Ａ６・・の順に撮像を実行するが、かかる場合に限定されるものではなく、いかなる順で単位画像を撮像してもよい。なお、更新画像領域を構成する上記撮像された単位画像は、順次動き検出部５４により参照単位画像との間で動きの有無につき判別されることになる。

また、次の瞬間において移動被写体が完全に単位画像Ａ１１へ移り、単位画像Ａ６において何ら動きがみられない場合には、上記動き検出された単位画像Ａ１１と、その周囲にある単位画像Ａ６,Ａ７,Ａ８,Ａ１０,Ａ１１,Ａ１２,Ａ１４,Ａ１５,Ａ１６のみを更新画像領域として撮像を実行する。このとき撮像システム１は、単位画像Ａ１１のみを囲むように、単位画像Ａ７,Ａ８,Ａ１２,Ａ１１,Ａ１０,Ａ１４,Ａ１５,Ａ１６,Ａ１２,Ａ１１,Ａ１０,Ａ６,Ａ７,Ａ８,Ａ１２,Ａ１１・・の順に撮像を実行するが、かかる場合に限定されるものではなく、いかなる順で単位画像を撮像してもよい。

このように、動き検出された単位画像と、当該単位画像の周囲にある単位画像のみを更新画像領域として特定し、更新画像領域を構成する新たに撮像された単位画像につき、参照単位画像との間で動きの有無を判別することにより、上述の如く移動被写体がＡ６からＡ１１へ移る場合においても、かかる移動被写体を常時捉えた更新画像領域を特定することができる。また、かかる更新画像領域を構成する単位画像のみ撮像の対象とすることにより、一枚の全体画像を生成するのに必要な撮像回数を低減させることができる。

例えば、通常撮像モードにおいて全体画像を構成するｉ×ｊ個の単位画像を全て撮像するのに対して、この追跡撮像モードでは、９個の単位画像のみで足りるため、一枚の全体画像を生成するために要する時間は、９／（ｉ×ｊ）のオーダまで短縮化でき、次の全体画像の生成へすぐに移行できる結果、リフレッシュレートを大幅に高める事が可能となる。

また、このリフレッシュレートを高めることができれば、撮影範囲内を移動する移動被写体の挙動を短い時間間隔で捉えることができ、ひいては撮影範囲内において短時間に生じた僅かな状況変化を漏れなく捉えることが可能となる。

特に本発明を適用した撮像システム１では、生成した全体画像を構成する単位画像が図５に示すような時系列形式で順次記録メディア５６へ記録するため、制御装置１５を操作するユーザによる事後的な画像解析が可能となり、さらにネットワーク８を介して他の複数のユーザが記録メディアに同時にアクセスして、事後的な画像解析が可能となる。

なお、更新画像領域を特定する方法としては、上述した実施の形態に限定されるものではなく、例えば、動き検出された単位画像Ａ１１に加えて、単位画像Ａ６,Ａ８,Ａ１４,Ａ１６のみを更新画像領域として特定してもよいし、単位画像Ａ７,Ａ１０,Ａ１２,Ａ１５のみを更新画像領域として特定してもよい。即ち、動き検出された単位画像Ａ１１の周囲にある単位画像であればいかなるものであってもよい。

上述の如く撮像された単位画像のうち、モニタ用画像処理部５８へ送信された単位画像は、第２のメモリ５９へ一時的に記憶された後、モニタ６５における全体画像表示部７０のサイズに適合するように縮小される。

図９は、この単位画像を第２のメモリ５９へ記憶させる手順を示している。

先ずステップＳ３１において、Ａ／Ｄ変換部５１からモニタ用画像処理部５８へ単位画像が送信された場合において、当該単位画像を第２のメモリ５９へ記憶させる際のアドレスが制御部６６より指定される。

次にステップＳ３２へ移行し、ジェネレータ６３により制御されるタイミングに基づき、上記送信された単位画像を表す画像信号を制御部６６より指定された第２のメモリ５９のアドレスに記憶させる。

次に、ステップＳ３３へ移行し、１フレームの単位画像が第２のメモリ５９へ記憶されたか否か判別する。その結果、１フレームの単位画像の第２のメモリ５９への記憶が終了していない場合には、ステップＳ３４へ移行し、第２のメモリ５９へ記憶させる際のアドレスに１を加算した上で、再びステップＳ３２における処理を実行する。一方、当該単位画像が第２のメモリ５９へ全て記憶された場合には、ステップＳ３１へ戻り、次の単位画像の第２のメモリ５９への記憶を開始する。

図１０は、第２のメモリ５９へ記憶された単位画像をモニタ６５上へ表示する手順を示すフローチャートである。

先ずステップＳ４１において、単位画像のサイズをモニタ６５における全体画像表示部７０のサイズに適合させるべく、制御部６０は、第２のメモリ５９に記憶されている単位画像につき間引く画素の量を指定する。

次にステップＳ４２へ移行し、ジェネレータ６３により制御されるタイミングに基づき、第２のメモリ５９の指定されたアドレスに記憶されている単位画像の画像信号を読み出す。

次にステップＳ４３へ移行し、第２のメモリ５９から単位画像１フレーム分を読み出すことができたか否か判別する。その結果、第２のメモリ５９から単位画像１フレーム分の読み出しが終了していない場合には、ステップＳ４４へ移行し、第２のメモリ５９に記憶されている単位画像につき間引く画素の量をコントロールした上で、再度ステップＳ４２における読み出しを実行する。一方、第２のメモリ５９からの単位画像１フレームの読み出しを終了した場合には、ステップＳ４１へ戻り、次の単位画像の読み出しを開始する。

なお、本発明は上述した実施の形態に限定されるものではない。例えば、動き検出部５４が、動きの有無を判別する際に、輝度成分の差分絶対値との比較に用いる上記所定の閾値を、制御部６０により、或いは操作部６６を介したユーザの操作に基づき、自在に調整するようにしてよい。これにより、動き検出の度合いを自在に変更することができる結果、例えば移動被写体以外の僅かな輝度の変化についても動きがあるものと判別されることを防ぐことができる。動き検出に輝度成分としたが色成分でもよい。

また、制御部６０は、パンチルタ部３に対して、水平、垂直方向への撮影方向のシフト量を小さくするような駆動信号Ｌ１を送信することにより、カメラユニット２により撮像される各単位画像を互いに重複させるようにしてもよい。これにより、移動被写体を常に中心付近に捉えた単位画像を撮像することも可能となる。

また、本発明に係る撮像システム１では、端末装置９のユーザに対して、全体画像や拡大画像を送信し、また端末装置９から指定を受けた画像領域に応じて、当該端末装置９に拡大画像を返信することができる。即ち、本発明を適用した撮像システム１では、この制御装置１５を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。また、ネットワーク８に対して複数の端末装置９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。

なお、本発明は、上述した処理をコンピュータに実行させるためのプログラムに適用してもよいことは勿論である。

本発明を適用した撮像システムの構成を示す図である。 カメラユニット,制御装置のブロック構成図である。 カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。 モニタ上の表示画面の構成例を示す図である。 通常撮像モード並びに追跡撮像モードにつき時系列的に示した図である。 動き検出部における動き検出の詳細な手順を説明するためのフローチャートである。 制御部に基づくモード切り替えの詳細な手順を示す説明するためのフローチャートである。 ステップＳ２３〜Ｓ２５において、動き検出する単位画像を示す図である。 単位画像を第２のメモリへ記憶させる手順を示すフローチャートである。 第２のメモリへ記憶された単位画像をモニタ上へ表示する手順を示すフローチャートである。 パノラマ状の全体画像を構成する単位画像の例につき説明するための図である。 従来技術の問題点につき説明するための図である。

符号の説明

１ 撮像システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１５ 制御装置、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、Ａ／Ｄ変換部５１、５２ 同期生成部、５３ エンコーダ、５４ 動き検出部、５５ 第１のメモリ、５６ 記録メディア、５７ デコーダ、５８ モニタ用画像処理部、５９ 第２のメモリ、６０ 制御部、６２ アラーム、６３ ジェネレータ、６４ Ｄ／Ａ変換部、６５ モニタ、６６ 操作部

Claims (9)

1. 撮影範囲全体を表す全体画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像手段と、
   上記撮像された単位画像を記録媒体へ記録する記録手段と、
   上記撮像された単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別する動き判別手段と、
   少なくとも上記各手段を制御する制御手段とを備え、
   上記撮像手段は、上記動き判別手段により動きがあるものと判別された単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、
   上記記録手段は、上記撮像手段により上記撮影方向に合わせて撮像された単位画像を上記記録媒体へ順次記録すること
   を特徴とする撮像装置。
2. 上記撮像された単位画像より構成される全体画像を表示する表示手段を更に備え、
   上記表示手段は、上記動き判別手段により動きがあるものと判別された単位画像が存在する場合において、上記次の全体画像を表示する際に、上記撮像手段により新たに撮像された単位画像のみ更新して表示すること
   を特徴とする請求項１記載の撮像装置。
3. 上記表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段を更に備え、
   上記表示手段は、上記指定手段により指定された画像領域に応じて、上記記録媒体に記録されている単位画像を読み出し、これを拡大して表示すること
   を特徴とする請求項２記載の撮像装置。
4. 上記動き判別手段は、動きの有無を判別する単位画像間において輝度成分の差分値を演算し、演算した差分値が所定の閾値を超える場合に動きがあるものと判別すること
   を特徴とする請求項１記載の撮像装置。
5. 上記所定の閾値を調整するための調整手段をさらに備えること
   を特徴とする請求項４記載の撮像装置。
6. 上記撮像手段は、上記単位画像間で互いに重複画像領域が生じるように撮影方向を順次変化させて撮像すること
   を特徴とする請求項１記載の撮像装置。
7. 撮影範囲全体を表す全体画像を構成する各単位画像に撮影方向を順次合わせて撮像し、
   上記撮像した単位画像を記録媒体へ記録し、
   上記撮像した単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別し、
   動きがあるものと判別した単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、上記撮影方向に合わせて撮像された単位画像を上記記録媒体へ順次記録すること
   を特徴とする撮像方法。
8. 撮影範囲全体を表す全体画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像装置と、
   上記撮像装置により撮像された単位画像を記録媒体へ記録し、また上記撮像された単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別する制御装置と、
   上記記録媒体へアクセス可能なユーザ端末とを備え、
   上記撮像装置は、上記制御装置により動きがあるものと判別された単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、
   上記制御装置は、上記撮像手装置より上記撮影方向に合わせて撮像された単位画像を上記記録媒体へ順次記録すること
   を特徴とする撮像システム。
9. 撮影範囲全体を表す全体画像を構成する各単位画像に撮影方向を順次合わせて撮像し、
   上記撮像した単位画像を記録媒体へ記録し、
   上記撮像した単位画像と、先の全体画像を構成する同一撮影方向上の単位画像との間で動きの有無を判別し、
   動きがあるものと判別した単位画像が存在する場合において、次の全体画像を構成する際に当該単位画像とその周囲にある単位画像のみに撮影方向を合わせて撮像し、上記撮影方向に合わせて撮像された単位画像を上記記録媒体へ順次記録することをコンピュータに実行させるためのプログラム。
   

Images