JP2006013923A

JP2006013923A - 監視装置

Info

Publication number: JP2006013923A
Application number: JP2004188526A
Authority: JP
Inventors: Hiroyuki Hasegawa; 裕之長谷川; Masaaki Kurebayashi; 正昭紅林; Mikiko Mase; 水紀子間瀬
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-06-25
Filing date: 2004-06-25
Publication date: 2006-01-12
Also published as: US20050285953A1; US7732771B2; US7423272B2; US20080277585A1

Abstract

【課題】昼夜を問わず人等の特定の被写体を背景との関係において広範囲に亘って監視する。
【解決手段】設定された温度範囲内にある被写体像を熱画像として撮像するサーマルカメラ８２につき、撮影方向を撮影範囲内において順次シフトさせ、サーマルカメラ８２により撮像された複数の熱画像を互いに張り合わることにより、撮影範囲全体を構成するパノラマ状の熱画像を生成し、生成したパノラマ状の熱画像と、可視光用のカメラユニット２により撮像したパノラマ画像を合成してこれを表示する。
【選択図】図２

Description

本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法、プログラム、記録媒体並びに撮像システムに関する。

従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。

このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。

特開平１０−１０８１６３号公報特開２０００−２４３０６２号公報

ところで、立ち入り禁止区域にこのような監視カメラを設置する場合には、かかる区域への人の侵入のみを高効率かつピンポイントに捉えることが最も重要な課題となる。

しかしながら、上述の如くビデオテープ等の記録媒体に記録した監視映像を利用して、撮影範囲における何らかの変化を検出する場合に、監視員は、１スキャン毎に刻々と入力される監視画像の状況を隅々まで観察しなければならなかった。特に監視員は、細かい画像の変化や、微小な対象物の出現等につき常に識別しなければならず、過大な労力や時間を必要とし、さらには、かかる監視員の眼に依存するシステムであるが故に、かかる状況変化の見落としが生じる危険性もあった。

また、かかる領域につき夜間の監視を行う場合には、監視員は、カメラにより撮像された暗い画像の中から侵入者をくまなく識別しなければならず、特に監視する範囲が広範囲になるほどかかる識別は困難を極めていた。

さらに、カメラにより撮像された画像そのものが暗いため、かかる夜間の侵入者が、どの建物のどの場所から入り込んだのか、或いは進入した後にどの経路で移動したかにつき、より詳細に判別することができないという問題があり、監視する範囲が広範囲になるほど、かかる判別は困難を極めていた。

そこで、本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、昼夜を問わず人等の特定の被写体を背景との関係において広範囲に亘って監視することが可能な撮像装置及び方法、またこれをコンピュータに実行させるためのプログラム、かかるプログラムが記録された記録媒体並びに撮像システムを提供することにある。

本発明を適用した撮像装置は、上述した課題を解決するために、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像手段と、撮像手段により撮像された複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成手段と、パノラマ画像生成手段により生成されたパノラマ画像を保存管理するパノラマ画像保存管理手段とを備える撮像装置において、設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像手段と、サーモグラフィ撮像手段による撮影方向を撮影範囲内において順次シフトさせる方向制御手段と、サーモグラフィ撮像手段により撮像された複数の熱画像を互いに張り合わることにより、撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成手段と、パノラマ画像生成手段により生成されたパノラマ画像と、熱画像生成手段により生成されたパノラマ状の熱画像とを合成する画像合成手段と、画像合成手段により合成された画像を表示する画像表示手段とを備える。
本発明を適用した撮像方法は、上述した課題を解決するために、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、撮像ステップにおいて撮像した複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成ステップと、パノラマ画像生成ステップにおいて生成したパノラマ画像を保存管理するパノラマ画像保存管理ステップとを有する撮像方法において、設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像部につき、撮影方向を撮影範囲内において順次シフトさせるサーモグラフィ制御ステップと、サーモグラフィ撮像部により撮像された複数の熱画像を互いに張り合わることにより、撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成ステップと、パノラマ画像生成ステップにおいて生成したパノラマ画像と、熱画像生成ステップにより生成したパノラマ状の熱画像とを合成する画像合成ステップと、画像合成ステップにおいて合成した画像を表示する画像表示ステップとを有する。

本発明を適用したプログラムは、上述した課題を解決するために、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、撮像ステップにおいて撮像した複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成ステップと、パノラマ画像生成ステップにおいて生成したパノラマ画像を保存管理するパノラマ画像保存管理ステップとをコンピュータに実行させるためのプログラムにおいて、設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像部につき、撮影方向を撮影範囲内において順次シフトさせるサーマルカメラ制御ステップと、サーモグラフィ撮像部により撮像された複数の熱画像を互いに張り合わることにより、撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成ステップと、パノラマ画像生成ステップにおいて生成したパノラマ画像と、熱画像生成ステップにより生成したパノラマ状の熱画像とを合成する画像合成ステップと、画像合成ステップにおいて合成した画像を表示する画像表示ステップとをコンピュータに実行させる。

本発明を適用した記録媒体は、上述した課題を解決するために、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、撮像ステップにおいて撮像した複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成ステップと、パノラマ画像生成ステップにおいて生成したパノラマ画像を保存管理するパノラマ画像保存管理ステップとをコンピュータに実行させるためのプログラムが記録された記録媒体において、設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像部につき、撮影方向を撮影範囲内において順次シフトさせるサーマルカメラ制御ステップと、サーモグラフィ撮像部により撮像された複数の熱画像を互いに張り合わることにより、撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成ステップと、パノラマ画像生成ステップにおいて生成したパノラマ画像と、熱画像生成ステップにより生成したパノラマ状の熱画像とを合成する画像合成ステップと、画像合成ステップにおいて合成した画像を表示する画像表示ステップとをコンピュータに実行させるためのプログラムが記録されている。

本発明を適用した撮像システムは、上述した課題を解決するために、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像装置と、撮像装置により撮像された複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成手段、及びパノラマ画像生成部により生成されたパノラマ画像を保存管理するパノラマ画像保存管理手段とを有する制御装置と、通信網を介して制御装置にアクセス可能な１つ以上の端末装置とを備える撮像システムにおいて、制御装置は、さらに設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像手段と、サーモグラフィ撮像手段による撮影方向を撮影範囲内において順次シフトさせる方向制御手段と、サーモグラフィ撮像手段により撮像された複数の熱画像を互いに張り合わることにより撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成手段と、パノラマ画像生成手段により生成されたパノラマ画像と熱画像生成手段により生成されたパノラマ状の熱画像とを合成する画像合成手段とを有し、端末装置は、制御装置へアクセスすることにより画像合成部により合成された画像につき通信網を介して取得するとともにこれを表示することを特徴とする。

本発明は、設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像部につき、撮影方向を撮影範囲内において順次シフトさせ、サーモグラフィ撮像部により撮像された複数の熱画像を互いに張り合わることにより、撮影範囲全体を構成するパノラマ状の熱画像を生成し、生成したパノラマ状の熱画像と、可視光用のカメラにより撮像したパノラマ画像を合成してこれを表示する。

これにより、撮影範囲における人等の特定の被写体の動きや変化を検出する場合に、熱画像上に表示された輝度分布からこれを容易に識別することができるため、１スキャン毎に刻々と入力される監視画像の状況を隅々まで観察する必要がなくなり、労力をいきおい軽減させることができる。また、僅かな人の動きについても見落としを防ぐことができるため、より高精度な監視を実現することが可能となる。さらに、上記被写体につきその存在領域を夜間においても熱画像の輝度分布で表示することができ、合成画像からその背景との関係においても当該存在領域の相対的位置を明確に特定することが可能となる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像しての画像信号を生成する可視光用のカメラユニット２と、追跡撮像ユニット８１と、サーマルカメラ８２と、少なくとも上記カメラユニット２から画像信号が伝送される監視装置５と、監視装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、カメラユニット２並びに監視装置５,端末装置９間で双方向通信を実現するためのネットワーク８とを備えている。

この監視システム１におけるカメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。

カメラ部４は、パンチルタ部３を構成する回転台上に配設され、監視装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、監視装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して被写体を撮像する。このカメラ部４を一の監視装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることも可能となる。

監視装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カメラユニット２、追跡撮像ユニット８１から伝送される画像信号等を記録し、また記録した画像信号等につきディスプレイ６を介してユーザに表示する。またこの監視装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この監視装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて画像を送信する。なお監視装置５の構成の詳細については、後述する。

ネットワーク８は、例えば監視装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。また、このネットワーク８につきいわゆる光ファイバ通信網で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。

端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して監視装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、監視装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを監視装置５に対して送信する。なお端末装置９のブロック構成については、後述する監視装置５の構成を引用し、説明を省略する。

次に、本発明を適用した監視システム１における各構成要素の詳細につき図２を用いて説明をする。

この図２では、共通のコントローラバス２１に対して、カメラユニット２、追跡撮像ユニット８１、サーマルカメラ８２、並びに監視装置５の各構成要素が接続されている。

カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するTilt部３ａ、Pan部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ(Institute of Electrical and Electronics Engineers)１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ(Global Positioning System)受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。

監視装置５は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２と、サーバ５３と、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。

さらに、この監視装置５は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。

Tilt部３ａ並びにPan部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。

レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。

撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。

ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。

なお、追跡撮像ユニット８１並びにサーマルカメラ８２の構成についても、このカメラユニット２と同様であるため、説明を省略する。

ちなみに、サーマルカメラ８２は、例えば人の体表から放射される赤外線をカメラで捉えることにより、身体の温度分布を示す熱画像を取得するいわゆるサーモグラフィを利用したカメラである。サーマルカメラ８２では、人の身体から放射された赤外線を上記撮像部２４に相当する図示しない検出器により検出する。また図示しない検出器では検出した赤外線の強さに応じた電気信号に変換し、これを所定レベルに増幅することにより、いわゆる熱画像を構成することが可能となる。以下、かかる熱画像を構成する信号を熱画像信号という。

なお、このサーマルカメラ８２については、設定された温度範囲内にある被写体像を熱画像として撮像するように構成されている。この設定すべき温度範囲を例えば人の体温±３℃程度にしておくことにより、人の身体から放射される赤外線のみをピンポイントで検出することが可能となる。ちなみに、このサーマルカメラ８２における設定温度範囲は、後述するマウス６０等によりユーザ側で任意に設定することが可能となる。

バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号や熱画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号や熱画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号や熱画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号や熱画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号や熱画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。

サーバ５３は、エンコーダ５２から出力される画像信号や熱画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号や熱画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号や熱画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、サーバ５３を図示しないネットワークサーバに代替することも可能となる。

画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、サーバ５３に記録されている画像を読み出して、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。

グラフィックコントローラ５５は、サーバ５３から読み出した画像信号や熱画像信号、又は画像圧縮部５４から出力される画像信号や熱画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。

ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、監視装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。

次に本発明を適用した監視システム１における撮像動作について説明をする。

図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。

ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。

同様にＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。

カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。

ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚のパノラマ状の全体画像（パノラマ画像）が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となり、サーバ５３によりこれらを保存管理することも可能となる。

図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この監視装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。

ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。

ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。

また表示画面４５上においてマウス６０を介した入力動作をキー７２、７３、７５、７６を介して実行することにより、拡大画像表示部７１に表示されている単位画像につき撮影倍率を拡大又は縮小させ、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御、各種モードの設定を行うことができる。

なお、サーマルカメラ８２についてもこのカメラユニット２と同様の動作を実行することによりパノラマ状の熱画像を構成することができる。以下、このパノラマ状の熱画像をパノラマ熱画像という。

図５は、かかるパノラマ熱画像を全体画像表示部７０へ表示した例を示している。サーマルカメラ８２により検出すべき温度が人の体温±３℃程度の場合には、人が存在している領域のみ熱画像において輝度分布で表示されることになる。その結果、最終的にこれらの熱画像を張り合わせることで構成されるパノラマ熱画像においては、図５に示すように人が存在している領域のみ輝度表示され、残りの領域は何ら表示されない状態となる。

なお、得られる熱画像における個々の単位画像のサイズは、サーマルカメラ８２による撮影画角に支配されることになるが、カメラユニット２より撮像される単位画像と必ずしも同一サイズで構成される必要はない。

また、かかる人が存在している画像領域を指定することにより、拡大画像表示部７１においてこれを拡大表示することができる。拡大画像領域７１において表示される輝度分布から、人の体温分布をより詳細に識別することも可能となる。

なお、本発明を適用した監視システム１では、さらにこのパノラマ熱画像と、全体画像とを合成した合成画像を生成し、これを図６に示すように全体画像表示部７０へ表示してもよい。ユーザは、かかる全体画像表示部７０に表示される合成画像を視認することにより、実際に熱画像として検出された人の存在している画像領域を、全体画像との関係において容易に識別することが可能となる。

即ち、本発明によれば、撮影範囲における人の動きや変化を検出する場合に、熱画像上に表示された輝度分布からこれを容易に識別することができるため、監視員は、１スキャン毎に刻々と入力される監視画像の状況を隅々まで観察する必要がなくなり、労力をいきおい軽減させることができる。また、僅かな人の動きについても見落としを防ぐことができるため、より高精度な監視を実現することが可能となる。

さらに、この監視システム１により夜間の監視を行う場合には、カメラユニット２から得られる全体画像は暗い画像が表示されるのみであり、人の動きを識別することはできないが、サーマルカメラ８２により赤外線に基づいて撮像された熱画像では、昼夜を問わず人の存在領域を輝度分布で表示することができる。また、かかる輝度分布で表された人の存在領域が全体画像との関係においてどの位置にあるのかを相対的に判別する場合には、昼に撮像した全体画像をサーバ５３に記録させておき、夜間に撮像した熱画像からなるパノラマ熱画像をこれと合成して表示する。これにより、ユーザは、夜間に撮像した熱画像の輝度分布で示される人の存在位置につき、背景との関係において明確に特定することが可能となる。このため、立入禁止区域にこの監視システム１を設定しておくことにより、かかる立入禁止区域への侵入者の進入経路を夜間においても識別することが可能となる。

特に、この監視システム１では、カメラユニット２やサーマルカメラ８２の撮影方向を徐々にシフトさせながら単位画像を撮像し、更にこれらを張り合わせたパノラマ状の画像を作り出すことが可能であるため、例えば立入禁止区域を広範に亘って監視する場合において、特に有利となる。

また、人が壁等の被写体に手をついた結果、かかる被写体に熱が伝わり、これが熱画像における輝度分布として表れてしまう場合もある。かかる場合には、サーマルカメラ８２による検出温度範囲を人の体温に応じてより最適に設定することにより、人から間接的に熱が伝導した被写体の輝度分布をカットし、人の動きのみを輝度分布によりピンポイントで表した熱画像を生成することができる。

また、本発明を適用した撮像システム１においては、全体画像表示部７０に表示される合成画像から、熱画像の輝度分布として表れている領域をマウス６０によりクリックすることにより、かかる領域の詳細を追跡撮像ユニット８１を介して撮像するようにしてもよい。

また、かかる追跡撮像ユニット８１を動作させる場合には、かかる熱画像の輝度分布が表示されている領域につきパノラマ熱画像上の相対位置を識別し、かかる識別した相対位置に追跡撮像ユニット８１の撮影方向を自動的に合わせるようにしてもよい。

人等の特定の被写体の動きに追跡撮像ユニット８１による撮影方向を追従させる場合には、パノラマ熱画像を所定の時間間隔をおいて順次撮像していき、同一撮影方向上にあり、かつ撮影時の前後する熱画像間でそれぞれ輝度の差分値を求めることにより、現時点において人が存在している画像領域の相対位置を識別する。そして、画像領域の相対位置に追跡撮像ユニット８１の撮影方向を合わせる。これを繰り返し実行することにより、特定の被写体の動きに追従させた最新の画像を順次取得することが可能となる。

ちなみに、この追跡撮像ユニット８１をいわゆる暗視スコープ等のような暗視野像を撮影可能なカメラで構成してもよい。かかる場合において、夜間において熱画像を介して人等の特定の被写体の存在を識別できた場合に、この追跡撮像ユニット８１の撮影方向をかかる被写体の動きに追従させつつ撮像を実行する。これにより、夜間においても特定の被写体の動きに追従させた最新の画像を順次取得することが可能となる。

更に、この撮像システム１においては、これら合成画像をサーバ５３に格納しておくことにより、監視装置５にネットワーク８を介してアクセスした端末装置９のユーザはかかる合成画像につき端末ディスプレイ１０を介して視認することができる。この端末装置９がネットワーク８を介して複数接続されている場合には、複数のユーザがかかる合成画像を同時に視認することも可能となる。更に、この合成画像をサーバ５３内に順次蓄積しておくことにより、各端末装置９のユーザは、合成画像の詳細につき過去に遡って確認することも可能となる。

本発明を適用した監視システムの構成を示す図である。カメラユニット,監視装置のブロック構成図である。カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。ディスプレイ上の表示画面の構成例を示す図である。パノラマ熱画像をディスプレイを介して表示する例を示す図である。合成画像をディスプレイを介して表示する例を示す図である。

符号の説明

１監視システム、２カメラユニット、３パンチルタ部、４カメラ部、５監視装置、６ディスプレイ、８ネットワーク、９端末装置、１０端末ディスプレイ、２２レンズ部、２３レンズ制御部、２４撮像部、２５ＩＥＥＥ１３９４インターフェース、２８ＧＰＳ受信部、２９メタデータ生成部、５１バッファメモリ、５２エンコーダ、５３サーバ、５４画像圧縮部、５５グラフィックコントローラ、５６ＣＰＵ、５８Ｉ／Ｏポート、５９キーボード、６０マウス、８１追跡撮像ユニット、８２サーマルカメラ

Claims

撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像手段と、上記撮像手段により撮像された複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成手段と、上記パノラマ画像生成手段により生成されたパノラマ画像を保存管理するパノラマ画像保存管理手段とを備える撮像装置において、
設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像手段と、
上記サーモグラフィ撮像手段による撮影方向を上記撮影範囲内において順次シフトさせる方向制御手段と、
上記サーモグラフィ撮像手段により撮像された複数の熱画像を互いに張り合わることにより、上記撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成手段と、
上記パノラマ画像生成手段により生成されたパノラマ画像と、上記熱画像生成手段により生成されたパノラマ状の熱画像とを合成する画像合成手段と、
上記画像合成手段により合成された画像を表示する画像表示手段とを備えること
を特徴とする撮像装置。
上記温度範囲を設定するための温度範囲設定手段をさらに備えること
を特徴とする請求項１記載の撮像装置。
上記設定された温度範囲内にある被写体像が上記記サーモグラフィ撮像手段により撮像された場合には、当該被写体像に撮影方向を合わせて撮像を行う追跡撮像手段をさらに備えること
を特徴とする請求項１記載の撮像装置。
上記追跡撮像手段は、暗視野像を撮影可能なカメラであること
を特徴とする請求項１記載の撮像装置。
撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、上記撮像ステップにおいて撮像した複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成ステップと、上記パノラマ画像生成ステップにおいて生成したパノラマ画像を保存管理するパノラマ画像保存管理ステップとを有する撮像方法において、
設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像部につき、撮影方向を上記撮影範囲内において順次シフトさせるサーモグラフィ制御ステップと、
上記サーモグラフィ撮像部により撮像された複数の熱画像を互いに張り合わることにより、上記撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成ステップと、
上記パノラマ画像生成ステップにおいて生成したパノラマ画像と、上記熱画像生成ステップにより生成したパノラマ状の熱画像とを合成する画像合成ステップと、
上記画像合成ステップにおいて合成した画像を表示する画像表示ステップとを有すること
を特徴とする撮像方法。
上記温度範囲を設定するための温度範囲設定ステップをさらに有すること
を特徴とする請求項５記載の撮像方法。
上記設定された温度範囲内にある被写体像が上記サーモグラフィ撮像部により検出された場合には、当該被写体像の画像領域に撮影方向を合わせて撮像を行う追跡撮像ステップをさらに有すること
を特徴とする請求項５記載の撮像方法。
上記追跡撮像ステップでは、暗視野像を撮像すること
を特徴とする請求項５記載の撮像方法。
撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、上記撮像ステップにおいて撮像した複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成ステップと、上記パノラマ画像生成ステップにおいて生成したパノラマ画像を保存管理するパノラマ画像保存管理ステップとをコンピュータに実行させるためのプログラムにおいて、
設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像部につき、撮影方向を上記撮影範囲内において順次シフトさせるサーマルカメラ制御ステップと、
上記サーモグラフィ撮像部により撮像された複数の熱画像を互いに張り合わることにより、上記撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成ステップと、
上記パノラマ画像生成ステップにおいて生成したパノラマ画像と、上記熱画像生成ステップにより生成したパノラマ状の熱画像とを合成する画像合成ステップと、
上記画像合成ステップにおいて合成した画像を表示する画像表示ステップとをコンピュータに実行させるためのプログラム。
撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、上記撮像ステップにおいて撮像した複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成ステップと、上記パノラマ画像生成ステップにおいて生成したパノラマ画像を保存管理するパノラマ画像保存管理ステップとをコンピュータに実行させるためのプログラムが記録された記録媒体において、
設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像部につき、撮影方向を上記撮影範囲内において順次シフトさせるサーマルカメラ制御ステップと、
上記サーモグラフィ撮像部により撮像された複数の熱画像を互いに張り合わることにより、上記撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成ステップと、
上記パノラマ画像生成ステップにおいて生成したパノラマ画像と、上記熱画像生成ステップにより生成したパノラマ状の熱画像とを合成する画像合成ステップと、
上記画像合成ステップにおいて合成した画像を表示する画像表示ステップとをコンピュータに実行させるためのプログラムが記録された記録媒体。
撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像装置と、上記撮像装置により撮像された複数の単位画像を張り合わせてパノラマ画像を生成するパノラマ画像生成手段、及び上記パノラマ画像生成部により生成されたパノラマ画像を保存管理するパノラマ画像保存管理手段とを有する制御装置と、通信網を介して上記制御装置にアクセス可能な１つ以上の端末装置とを備える撮像システムにおいて、
上記制御装置は、さらに設定された温度範囲内にある被写体像を熱画像として撮像するサーモグラフィ撮像手段と、上記サーモグラフィ撮像手段による撮影方向を上記撮影範囲内において順次シフトさせる方向制御手段と、上記サーモグラフィ撮像手段により撮像された複数の熱画像を互いに張り合わることにより上記撮影範囲全体を構成するパノラマ状の熱画像を生成する熱画像生成手段と、上記パノラマ画像生成手段により生成されたパノラマ画像と上記熱画像生成手段により生成されたパノラマ状の熱画像とを合成する画像合成手段とを有し、
上記端末装置は、上記制御装置へアクセスすることにより上記画像合成部により合成された画像につき上記通信網を介して取得するとともにこれを表示すること
を特徴とする撮像システム。