JP2007158860A - 撮影システム、撮影装置、画像切替装置、およびデータ保持装置 - Google Patents

Abstract

【課題】複数の撮影装置から同時並行的に送信される撮影画像を受信して、どの撮影装置の撮影画像を利用するかを人手に頼ることなく選択して、モニタ画像の表示等を個別の用途に応じた柔軟な形式で行うことができる撮影システムを提供する。
【解決手段】複数の撮影装置１０は、自身の撮影画像から撮影対象を認識して撮影画像の評価値を求め、評価値を高める方向に撮影範囲を自立的に調整する。複数の撮影装置１０からそれぞれネットワーク通信路２０を通じて送信された撮影画像は、画像切替装置４０で選択して画像出力装置５０に表示させる。画像切替装置４０は、シナリオサーバ３０に記録された用途別の評価規則をダウンロードして保持し、この評価規則に基づいて、自動的に、画像出力装置５０の画面割りと拡大表示させる画像とを選択する。
【選択図】図１

Description

本発明は、自動撮影を行う複数の撮影装置からそれぞれネットワーク通信路に送信された撮影画像を自動選択して利用する撮影システムに関する。

複数台の撮影装置が個別に自動撮影を行って、有線または無線のネットワーク通信路を通じて、撮影画像を常時送信する撮影システムが実用化され、街頭カメラやオフィスビルのセキュリティシステムの用途に利用されている。このような撮影システムの撮影装置には、それぞれマイコン制御装置が組み込まれ、用途に応じた撮影プログラムに従って、カメラ操作や撮影画像の送信を自動的に行っている。そして、撮影装置内で撮影画像を画像処理して人物抽出を行い、ズーミングやパン／チルトと言った撮影範囲を変更する制御を行って抽出人物を自動追尾すると言った高度なカメラ制御を自動的に行うものも既に実用化されている。

特許文献１には、複数の撮影装置と１台のデータ保持装置（シナリオサーバ）とをネットワーク通信路に接続したテレビ収録システムが示される。データ保持装置には、用途ごとに定めた撮影装置の撮影シナリオ（撮影プログラムおよびデータ）が複数通りに格納されており、用途の選択指令を行うと、データ保持装置からネットワークを通じて、それぞれの撮影装置へ撮影シナリオが送信される。

特許文献２には、複数の撮影装置と中央の監視センタとをネットワーク通信路に接続したセキュリティシステムが示される。ここでは、同一の撮影規則に従って複数の撮影装置がそれぞれ画像を撮影し、ネットワーク通信路を通じて撮影画像を監視センタにそれぞれ送信している。また、撮影装置は、予め指定された撮影対象（侵入者）を自身の撮影画像から抽出して撮影対象の位置を判別する。そして、自身よりも適正な撮影位置に位置する他の撮影装置があれば、その撮影装置に撮影対象の位置情報を送信して主撮影装置としての撮影を開始させるが、自身よりも最適な撮影装置がなければ、自身を主撮影装置とする。このようにして定められた主撮影装置は、他の撮影装置よりも画像のデータサイズやビットレートを増した高品位の撮影画像を監視センタに送信する。

特許文献３には、撮影画像（画像データ）から移動体や人物を認識し、移動方向、顔の向き、顔の画像サイズと言った特徴情報を抽出する処理が示される。非特許文献１には、予め撮影した画像数枚から任意のパン・チルト・ズームの組み合わせで撮影される背景画像と、現画像との差分が存在する部分のオブジェクト（撮影対象）を抽出する背景差分法が示される。

特開２００２−１８５８３７号公報 特開２００４−２６６４０４号公報 特開２００４−１９９２００号公報 視点固定型パンチルトズームカメラとその応用、和田、電子情報通信学会論文誌、ｐｐ．１１８２−１１９３、１１９８

特許文献１の撮影システムでは、システム全体として最適な組み合わせの複数の撮影画像が得られるように、複数の撮影装置が自動的に協調撮影を行うが、それぞれの撮影装置から送信されて来る複数の撮影画像の選択は人手に委ねられている。従って、中継、番組製作、ビデオ記録、主モニタ画面への接続と言った撮影画像を利用するための選択処理は、熟練者が判断して手動で切り替えなければならない。

特許文献２のセキュリティシステムでは、複数の撮影装置が協調して主撮影装置を定め、主撮影装置が優先的にネットワーク通信路を占有して撮影画像を監視センタに送信する。これにより、監視センタでは、主撮影装置の撮影画像を選択することで、１つの撮影対象の撮影画像を最適に取得できる。しかし、撮影対象に近ければ直ちに撮影画像が優れているとは限らない。撮影装置がズーミング機能を有していれば、遠く離れた撮影装置でも顔を正面から見据えた利用価値の高い画像を撮影できるので、そのような撮影装置こそ主撮影装置とされるべきである。また、複数の撮影対象が複数の撮影装置によって同時に撮影された場合には、主撮影装置が定まらず、撮影画像の選択は監視者が行わなければならない。

本発明は、複数の撮影装置から同時並行的に送信される撮影画像を受信して、どの撮影装置の撮影画像を利用するかを人手に頼ることなく選択できる撮影システムを提供することを目的としている。そして、モニタ装置の画像表示、録画、データ処理等、撮影画像を選択して実施される撮影画像の利用を個別の用途に応じた柔軟な形式で行うことができる撮影システムを提供することを目的としている。

本発明の撮影システムは、個別に画像を撮影して、ネットワーク通信路を通じて撮影画像を送信する複数の撮影装置を備えた撮影システムである。そして、前記ネットワーク通信路を通じて前記撮影画像を受信し、前記撮影画像の評価処理を規定する評価規則に従って前記複数の撮影装置の前記撮影画像を比較する画像切替装置を備えたものである。

本発明の撮影システムでは、画像切替装置が、外からの直接の指令や操作に頼らず、撮影画像の評価処理を規定する評価規則に従って、自律的に複数の撮影装置の撮影画像を比較して、利用の優先順位を定めたり、利用する撮影画像の選択を行ったりする。

従って、撮影装置は、特許文献２に示されるような、撮影装置の選択処理を行う必要が無く、撮影画像の選択処理のための判断材料を提供するだけでよい。選択処理の判断が１箇所で行われるので、複数の判断結果が矛盾してシステムが機能しなくなる事態を回避できる。

また、評価規則を変更することによって、選択処理を柔軟に調整できるので、用途や状況に応じた最適な選択処理や撮影画像の利用が可能となる。

以下、本発明の撮影システムの一実施形態である撮影システム１００について、図面を参照して詳細に説明する。本発明の撮影システムは、以下に説明する撮影システム１００の限定的な構成には限定されず、撮影システム１００の構成の一部または全部を、その代替的な構成で置き換えた別の実施形態でも実施可能である。例えば、ネットワーク通信路は無線通信で構成してもよく、個々の撮影装置に数ギガバイトの記憶装置を設けて、複数の用途に対応する撮影規則、処理プログラム、データを予め選択可能に保持させてもよい。以下に説明するセキュリティシステム、テレビ会議システム以外の用途でも利用可能である。選択処理された撮影画像の利用方法は、モニタ画面への表示には限定されず、番組制作、中継送信、配信、ビデオ録画、画像処理、通報、通知、警報作成等もある。

特許文献１、特許文献２、特許文献３に示される撮影システムの一般的な構成、撮影機材、画像処理、データ通信、ネットワーク通信路等については、本発明の趣旨と隔たりがあるので、煩雑を避けるべく、一部図示を省略して詳細な説明も省略する。

＜撮影システム＞
図１は本実施形態の撮影システムにおける全体構成の説明図、図２はカメラ装置の空間配置の説明図、図３は画像出力装置における表示モードの説明図である。

図１に示すように、本実施形態の撮影システム１００では、複数台のカメラ装置１０が、有線のネットワーク通信路（光ケーブル）２０にそれぞれ接続され、ネットワーク通信路２０を通じて個々の撮影画像を送信し、撮影画像の評価値を相互に送受信する。

図２に示すように、複数台のカメラ装置１０は、パン／チルト／ズーミングによってそれぞれが自律的に撮影範囲を変更可能で、撮影対象１の移動範囲の空間に地理的に分散して配置されている。

図１に示すように、ネットワーク通信路２０には、画像切替装置４０とシナリオサーバ３０と操作部７０とが接続され、画像切替装置４０には、画像出力装置５０が接続されている。画像切替装置４０は、ネットワーク通信路２０を通じて複数のカメラ装置１０からの撮影画像を受信し、複数のカメラ装置１０の撮影画像から画像出力装置５０に表示させる撮影画像を選択する。操作部７０は、ネットワーク通信路２０を通じて撮影システム
１００に用途設定を行う操作端末であって、用途設定後は、撮影システム１００から取り外し可能である。

図３に示すように、画像出力装置５０は、画像切替装置４０が選択した撮影画像を、画像切替装置４０が指定した表示モードで画像表示する。図３の（ａ）は、すべての撮影画像と選択した撮影画像とを分割表示する分割モード、図３の（ｂ）は選択した撮影画像だけを表示する選択モード、図３の（ｃ）は選択した撮影画像を時分割表示する時分割モードである。

図１に示すように、シナリオサーバ３０は、カメラ装置１０に保持される撮影規則と、画像切替装置４０に保持される評価規則と、を用途別に関連付けて複数種類記録保持している。

操作部７０に付設された用途切替スイッチによって撮影システム１００の用途切り替えが行われる。後述する各種用途を選択肢とする用途切替スイッチを切り替えると、ネットワーク通信路２０を通じてカメラ装置１０へ用途切り替えの指令が送信される。指令に応答したカメラ装置１０は、切り替え後の用途に該当する撮影規則等の送信をシナリオサーバ３０に要求する。

これにより、シナリオサーバ３０は、必要な撮影シナリオ（撮影規則、処理プログラム、データ）をカメラ装置１０に送信する。カメラ装置１０は、シナリオサーバ３０から受信した新しい用途に該当する撮影規則を、古い撮影規則に上書きして保持する。

並行して、操作部７０は、切り替え後の用途に該当する撮影規則の送信をシナリオサーバ３０に要求する。これにより、シナリオサーバ３０は、必要な評価シナリオ（評価規則、処理プログラム、データ）を画像切替装置４０に送信する。画像切替装置４０は、シナリオサーバ３０から受信した新しい用途に該当する評価規則を、古い評価規則に上書きして保持する。

撮影規則は、カメラ装置１０における撮影制御、撮影画像の評価、他の撮影装置の撮影画像の評価に関する規則である。評価規則は、画像切替装置４０における複数の撮影装置１０の撮影画像の評価に関する規則である。本実施形態における撮影規則および評価規則は、後述するようなｉｆ−ｔｈｅｎルール形式でプログラム化されているが、通常の論理形式でプログラム化されていてもよい。撮影規則と評価規則の詳細については後述する。

本実施形態の撮影システム１０では、図２に示すように、複数のカメラ装置１０が、撮影対象１を同時並行的に撮影するが、それぞれのカメラ装置１０が自身の撮影画像を評価して評価値を求め、評価値を高める方向でそれぞれが撮影範囲を自立的に調整する。また、複数のカメラ装置１０が、こうして高めた評価値を相互に送受信して比較し合い、撮影画像の評価値が低いカメラ装置１０は、撮影画像の評価値が高いカメラ装置１０に従属した補助的な撮影へと自立的に移行する。これにより、撮影システム１００全体として、複数の撮影画像の最適な組み合わせが得られる。

図２では、撮影画像の評価値が最も高くなった撮影対象１の移動方向正面に位置するカメラ装置１０が表情のズームアップ撮影を行っている。また、撮影画像の評価値が相対的に低かった他のカメラ装置１０は、それぞれ従属的な撮影へ移行して、広角モードで撮影対象１の全身を撮影している。そして、画像出力装置５０は、図３の（ａ）に示すように、最も評価値の高いカメラ装置１０（ＩＤ４）によるズームアップ撮影画像を表示部５２の拡大枠に表示している。

＜カメラ装置＞
図４はカメラ装置の構成の説明図である。図４に示すように、カメラ装置１０は、撮影部１１がテレビ画像を撮影してフレーム画像データを形成し、特徴量抽出部１２が、入力されたフレーム画像データを処理して、撮影規則で指定された撮影対象１を認識して、撮影対象１の特徴情報を抽出する。

推論部１６は、記憶部１８に保持した撮影規則に従って、抽出された複数の特徴情報を評価して撮影画像の評価値を算出する。そして、推論部１６は、評価値を高める方向に撮影条件を変更するカメラ制御パラメータ、すなわち絞り調整量、ズーミング調整量、パン角度調整量、チルト角度調整量を決定する。

動作部１３は、推論部１６によって推論された撮影方向・画角を含むカメラ制御パラメータに基づいて、撮影部１１の動作制御を行う動作制御部１５と、動作制御部１５から出力される制御信号に基づいて、撮影部１１を駆動する動作駆動部１４とで構成される。

動作制御部１５は、推論部１６で求めたカメラ制御パラメータだけ動作駆動部１４の各モータを作動させて、撮影画像の評価値を高める方向に、撮影部１１の撮影範囲を変更する。動作駆動部１４は、撮影部１１の絞り機構、ズーミング機構、パン角度機構、チルト角度機構の各可動部を駆動して撮影部１１の撮影条件を実際に変化させる。

通信部１７は、他のカメラ装置１０との相互通信と、画像切替装置４０（図１）への撮影映像の送信を行う。通信部１７は、決められた手順で撮影画像データの圧縮、暗号化、誤り訂正符号化などを行い、通信部１７を介して画像切替装置４０に伝送する。通信部１７は、撮影部１１から出力されたフレーム画像から動画形式に圧縮した画像データを形成し、送信先指定、評価値等の付加情報を含む通信単位に分割して、ネットワーク通信路２０（図１）へ送出する。

記憶部１８は、撮影部１１の制御プログラム、特徴量抽出部１２の画像処理プログラム、推論部１６で使用される撮影規則、撮影画像の評価プログラム、他の撮影装置１０との協調動作の制御プログラム等を保持する。撮影規則と各種プログラム、データを含む撮影シナリオは、シナリオサーバ３０（図１）から送信され、通信部１７を通じて推論部１６に取り込まれて、記憶部１８の該当項目に上書き保持される。

カメラ装置１０は、撮影シナリオで指定された撮影対象１（移動体）を認識すると、推論部１６で、撮影シナリオに沿った撮影を行っているか判断し、撮影シナリオに沿った撮影を行うためのカメラ制御パラメータを算出する。そして、撮影対象１を認識した時に、通信部１７を利用して複数のカメラ１０間同士で情報の送受信を行う。それと同時に、撮影対象１を認識したカメラ１０は、ネットワーク通信路２０を利用して画像切替装置４０に撮影画像を伝送する。

特徴量抽出部１２は、撮影部１１から受け取ったフレーム画像をリアルタイムで演算処理する専用の画像データ処理回路である。撮影対象１の認識方法としては、例えば非特許文献１に示される背景差分法を用いる。この背景差分法は、予め撮影した画像数枚から任意のパン・チルト・ズームの組み合わせで撮影される背景画像と、現画像との差分が存在する部分のオブジェクトを抽出する。また、オプティカルフロー法などを用いることにより、移動体の移動方向、移動速度、向き、カメラからの奥行きと言った各種の特徴情報が算出される。その他にフレーム画像から移動体の抽出を行う処理方法としては、背景差分法やオプティカルフロー法に限らず、フレーム間差分法、テンプレートマッチング法、マーカー検出法等、これらのうちの一つ、もしくはそれらの組み合わせを用いる。

カメラ装置１０は、撮影対象１を認識すると、記憶部１８に記憶されている撮影規則に基づいて、最適なアングルになるように撮影を行う。その際に、カメラ装置１０は、周囲のカメラ装置１０に対して、自身のＩＤ番号、撮影対象１の特徴、向き・画角を含む撮影部１１の撮影範囲、撮影モードを送信する。

そして、複数のカメラ装置１０の撮影条件が同じにならないように、周囲のカメラ装置１０と状況に応じて撮影モードの調整を行う。例えば、同一撮影対象１を複数のカメラ装置１０が同時に撮影している場合、カメラ装置１０が対象を認識している認識率が一定値以上の場合はズームアップ撮影を行い、全てのカメラが広角撮影を行わないようにする。

＜撮影規則＞
図５はカメラ装置における処理のフローチャートである。撮影規則は、上述した撮影シナリオの一部として、シナリオサーバ３０（図１）から記憶部１８にダウンロードされている。撮影規則は、以下のようなｉｆ−ｔｈｅｎルールを含む。ルール１〜ルール５は撮影範囲の自律調整に関し、ルール６〜ルール１０は撮影画像の評価に関し、ルール１１〜ルール１３は協調撮影に関する。
ルール１：ｉｆ（顔を検知した）、ｔｈｅｎ（ズームアップをして撮影する）
ルール２：ｉｆ（顔を検知できなかった）、ｔｈｅｎ（広角に引いて全身を撮影する）
ルール３：ｉｆ（人の移動スピードが速い）、ｔｈｅｎ（前方の空間を大きく空けて撮影する）
ルール４：ｉｆ（３台以上のカメラ装置１０が全てズームアップ撮影している）、ｔｈｅｎ（広角に引いて撮影する）
ルール５：ｉｆ（他のカメラ装置１０が全て広角で撮影を行っている）、ｔｈｅｎ（ズームアップ撮影を行う）
ルール６：ｉｆ（顔が大きく、かつ正面の顔が抽出された）、ｔｈｅｎ（評価値はとても高い）
ルール７：ｉｆ（顔が大きく、かつ横顔が抽出された）、ｔｈｅｎ（評価値はあまり高くない）
ルール８：ｉｆ（顔の大きさは小さい、かつ正面の顔が抽出された）、ｔｈｅｎ（評価値は高い）
ルール９：ｉｆ（顔が撮影できない、かつ全身が抽出された）、ｔｈｅｎ（評価値はちょっと高い）
ルール１０：ｉｆ（顔が撮影できない、かつ全身も撮影できない）、ｔｈｅｎ（評価値は低い）
ルール１１：ｉｆ（撮影画像の評価値はこれ以上高められない）、ｔｈｅｎ（他のカメラ装置１０と評価値を比較）
ルール１２：ｉｆ（他のカメラ装置１０よりも評価値が高い）、ｔｈｅｎ（現在の撮影状態を維持）
ルール１３：ｉｆ（他のカメラ装置１０のほうが評価値が高い）、ｔｈｅｎ（評価値の高いカメラに従属した撮影へ移行）

図５に示すように、カメラ装置１０は、用途切替の指令を受信すると（Ｓ１００のＹＥＳ）、シナリオサーバ３０から撮影シナリオ（カメラ制御シナリオ５８：図１１）を通信部１７で受信して（Ｓ１０１）、記憶部１８に蓄える（Ｓ１０２）。

用途切替でなければ（Ｓ１００のＮＯ）、撮影部１１から画像を入力する（Ｓ１０４）。そして、特徴量抽出部１２により、特徴量の抽出を行う（Ｓ１０５）。

そして、推論部１６により、特徴量抽出部１２からの特徴量と、シナリオサーバ３０から送られたｉｆ−ｔｈｅｎルールとのマッチング度計算が行われ（Ｓ１０６）てカメラの制御量が決定される。この制御量は、動作制御部１５に送られて、動作駆動部１４によりカメラ制御を行う（Ｓ１０７）。ここまでの操作を繰り返すことで、撮影画像の評価値が次第に高められるが、評価値が頭打ちになると（Ｓ１０８のＮＯ）、他のカメラ装置１０の動作状態等を受信して、再びｉｆ−ｔｈｅｎルールとのマッチング度計算が行われる（Ｓ１１０）。そして、自身の動作状態等が最適であれば（Ｓ１１１のＹＥＳ）、現在の撮影状態を維持する（Ｓ１１２）が、他のカメラ装置１０のほうが最適であれば（Ｓ１１１のＮＯ）、最適なカメラ装置１０の撮影の補助となるような撮影条件へ移行する（Ｓ１１３）。

このフローチャートを用いてカメラ動作シナリオをカメラに入れた時の動作を詳細に説明する。セキュリティに関するシナリオが選ばれると（Ｓ１００のＹＥＳ）、記憶部１８にそのｉｆ−ｔｈｅｎルールが格納される（Ｓ１０２）。セキュリティのシナリオデータベースが使われているため、特徴量抽出部１２における特徴量の抽出は、顔の検出および顔の大きさの測定を行っている（Ｓ１０５）。顔検出の方法は、例えば特許文献３に示されるような方法を用いることができる。

現在をある時間ｔとすると、時間（ｔ−１）の各カメラ装置１０の状態がカメラのＩＤとどのように動作しているか情報を得る（Ｓ１０９）。次に、時間ｔの画像を入力して（Ｓ１０４）、特徴量を抽出する（Ｓ１０５）。ここでは顔の大きさを抽出する。推論部１６では、顔の大きさ、また、他のカメラ装置１０の動作状態から、自身の撮影部１１がどのようの動作すべきか、ｉｆ−ｔｈｅｎルールとのマッチング度を計算する（Ｓ１０６、Ｓ１１０）。そして、ｉｆ−ｔｈｅｎルールのマッチング度から撮影部１１の制御量を決定する（Ｓ１０６）。

＜画像切替装置＞
図６は画像切替装置の構成の説明図、図７は画像切替装置の判断部の構成の説明図、図８は画像切替装置における処理のフローチャートである。図６に示すように、画像切替装置４０は、通信部４１を通じて複数のカメラ装置１０（図１）の撮影画像を受信し、判断部４２で、複数のカメラ装置１０の撮影画像を比較する。そして、選択部４３が判断部４２の判断結果を用いて最適な撮影画像（通信データ）を選択して、画像出力装置５０へ送出する。

通信部４１で受信された撮影画像は、Ｎ台のカメラ装置１０によるＮ枚の撮影画像のＩＤ１からＩＤＮまでのＮ系統あり、判断部４２は、その全ての撮影画像（ＩＤ１〜ＩＤＮ）を表示に関する評価シナリオに従って表示画像としての評価を行う。そして、その評価結果に従い、やはり評価シナリオに従って、図３に例示するような種々の形式で画像表示を行う。

判断部４２は、図７に示すように、特徴量抽出部４４で、撮影画像（ＩＤ１〜ＩＤＮ）から撮影対象１を認識して、複数の特徴量を抽出する。記憶部４５は、シナリオサーバ３０（図１）からダウンロードされた評価シナリオを保持する。推論部４６は、特徴量抽出部４４で抽出された特徴量を、記憶部４５に保持させた評価シナリオに従って評価することにより、撮影画像（ＩＤ１〜ＩＤＮ）の評価値を求め、評価シナリオに従って撮影画像を選択する。

評価値を求めて撮影画像を選択する際の評価規則は、評価シナリオの一部として、記憶部４５に保持されている。ここでは、セキュリティのシナリオデータベースが選択されているので、記憶部４５には以下の「表示評価に関するｉｆ−ｔｈｅｎルール」が保持されている。ルール１〜５は撮影画像の評価処理に関しており、ルール６〜８は表示部５２の画面分割表示に関している。
ルール１：ｉｆ（顔が大きく、かつ正面の顔が抽出された）、ｔｈｅｎ（評価値はとても高い）
ルール２：ｉｆ（顔が大きく、かつ横顔が抽出された）、ｔｈｅｎ（評価値はあまり高くない）
ルール３：ｉｆ（顔の大きさは小さい、かつ全身の正面が抽出された）、ｔｈｅｎ（評価値は高い）
ルール４：ｉｆ（顔が抽出されない、かつ全身が抽出された）、ｔｈｅｎ（評価値はちょっと高い）
ルール５：ｉｆ（顔が抽出されない、かつ全身も抽出されない）、ｔｈｅｎ（評価値は低い）
ルール６：ｉｆ（全て撮影画像の評価値がとても高い）、ｔｈｅｎ（全ての撮影画像を均等に表示する）
ルール７：ｉｆ（撮影画像の評価値が低い）、ｔｈｅｎ（その撮影画像は表示しない）
ルール８：ｉｆ（撮影画像の評価値が一つだけ非常に高く、他の撮影画像の評価値はそれほど高くない）、ｔｈｅｎ（評価値の高い撮影画像を大きく、他の撮影画像は小さく表示する）

図８は、判断部４２の演算内容をフローチャートで示したものである。図８に示すように、判断部４２は、用途切替の指令を受信すると（Ｓ２００のＹＥＳ）、シナリオサーバ３０から評価シナリオ（表示評価シナリオ５９：図１１）を通信部１７で受信して（Ｓ２０１）、記憶部４５に蓄える（Ｓ２０２）。

用途切替でなければ（Ｓ２００のＮＯ）、判断部４２は、通信部４１から受信した撮影画像を入力する（Ｓ２０３）。そして、特徴量抽出部４４により、特徴量の抽出を行う（Ｓ２０４）。

そして、推論部４６は、特徴量抽出部４４からの特徴量と、記憶部４５に保持したルール１〜５とのマッチング度計算を行って（Ｓ２０５）、それぞれの撮影画像の評価値を求める。さらに、求めた撮影画像ごとの評価値とルール６〜８とのマッチング度計算を行って（Ｓ２０６）、画像表示の形式を決定する。そして、決定した画像表示の形式が画像出力装置５０に指定される。そして、通信部４１から読み出された選択した撮影画像のデータが、選択部４３によって画像信号に変換されてリアルタイムに画像出力装置５０へ送出される。

このフローチャートを用いて画像出力装置５０の画面表示に関する動作を詳細に説明する。まず、セキュリティに関するシナリオを選ぶと（Ｓ２００のＹＥＳ）、シナリオサーバ３０から評価シナリオが読み込まれて（Ｓ２０１）、表示に関するｉｆ−ｔｈｅｎルールの形で記憶部４５に格納される（Ｓ２０２）。次に、現在の時刻ｔにおけるＩＤ１からＩＤＮまでのＮ台のカメラ装置１０の撮影画像がＮ枚入力される（Ｓ２０３）。

特徴量抽出部４４は、Ｎ台のカメラ装置１０によるＮ枚の撮影画像に関して、特徴量の抽出を行う。ここでは、顔の大きさと顔の向きを抽出する（Ｓ２０４）。

推論部４６は、Ｎ枚の撮影画像からそれぞれ抽出された特徴量に対して、ルール１からルール５までのｉｆ−ｔｈｅｎルールを用いて画像の表示に関する評価値を求める（Ｓ２０５）。

Ｎ枚の撮影画像に対する評価値が求まったら、画面分割表示に関するルール６からルール８までのｉｆ−ｔｈｅｎルールとのマッチング度を求め（Ｓ２０６）、そのマッチング度により画面選択制御を行う（Ｓ２０７）。

図７に示すように、判断部４２の特徴量抽出部４４は、ある時刻ｔの時の、ＩＤ番号がそれぞれ異なるＮ台のカメラ装置１０（ＩＤ１〜ＩＤＮ）からのＮ枚の撮影画像を取り込み、各々の撮影画像について特徴量を抽出する。この場合、特徴量の抽出は、顔の大きさと顔の向きを抽出している。推論部４６は、記憶部４５に格納された表示に関するｉｆ−ｔｈｅｎルールを用いて、これらの特徴量を評価することにより評価値を計算する。

次に、撮影画像のＮ個の評価値に従って、画像出力装置５０における表示部５２の画面分割数、画面の大きさに関する決定を行う。画像出力装置５０は、大小のサイズを取り混ぜて分割画面設定が可能なマルチビューワであって、一例として、図３の（ａ）に示すような画像表示を行う。図３の（ａ）、（ｂ）、（ｃ）は、本実施形態の撮影システム１００の画像出力装置５０における画像表示例である。

図３の（ａ）は、表示部５２の一画面中に全てのカメラ装置１０（ＩＤ１〜ＩＤ５）からの映像を表示し、画像切替装置４０によって選択された撮影画像を、注目されるように注目画面に拡大表示している。顔を正面から撮影しているカメラ装置１０（ＩＤ４）からの撮影画像を注目画面に表示している。また、各画面の右上にカメラ装置１０のＩＤ番号を表示しているが、ＩＤ番号は、表示しても表示しなくてもどちらでも良い。

図３の（ｂ）は、表示部５２における画像表示例のその他のパターンを示したものであり、画像切替装置４０によって選択された映像のみ表示する場合や、表示部５２を４分割して表示している場合などを示している。撮影画像の表示パターンの切り替えは、画像切替装置４０によって、評価シナリオに応じて自動的に行われるか、撮影画像を視聴している人物が操作部７０を通じて、手動で優先的に表示パターンを指定することも可能にしてある。ここでは、映像表示のパターンを４種類示しているが、映像表示のパターンはここに図示したものに限るものではない。

図３の（ｃ）は、時間の経過とともに、画像切替装置４０が、評価シナリオに沿った映像を選択して表示している。時刻ｔ１では撮影対象１の全体像、時刻ｔ２では撮影対象１のバストアップ映像、時刻ｔ３では撮影対象１の顔を正面から撮影した映像を表示している。

＜変形例の撮影システム＞
本実施形態の撮影システム１００では、画像切替装置４０が、複数の撮影装置１０から同時並行的に送信されて来る撮影画像をそれぞれ画像処理して評価値を求めているが、評価値の演算までを撮影装置１０に分担させてもよい。撮影装置１０では、自身の撮影画像を最適化するために評価値を演算しているので、この評価値そのものや他の付加データ（主体か従属か等）を付加した選択処理用の評価値を演算して、撮影装置１０からネットワーク通信路２０経由で画像切替装置４０へ送信する。このとき、撮影画像データの通信単位のヘッダ部分に評価値を組み込んでもよい。

画像切替装置４０では、複数の撮影装置１０から受信したそれぞれの評価値を比較して、リアルタイムで撮影画像データを選択し、表示部５２における表示の優先順位の決定や、画面割りの設定を行う。画像切替装置４０と複数のカメラ装置１０とが用途に応じた目的と手法とを共有して、画像出力装置５０の画像表示を制御する。これにより、画像切替装置４０の判断部４２における処理負荷が軽減される。

＜シナリオサーバ＞
図９はシナリオサーバの構成の説明図、図１０はシナリオデータベースの構成の説明図、図１１はセキュリティ用シナリオデータベースの構成の説明図である。図９に示すように、シナリオサーバ３０は、シナリオデータベース５３および通信部５１から構成される。通信部５１は、ネットワーク通信路２０（図１）を通じて複数のカメラ装置１０および画像切替装置４０と通信する。番組制作、セキュリティシステム、街頭監視、生産管理等、用途に応じて最適な撮影画像、撮影画像の利用方法、撮影環境等がそれぞれ異なるため、シナリオデータベース５３には、複数の用途向けのデータベースが用意されている。

図１０に示すように、シナリオデータベース５３には、セキュリティ用シナリオデータベース５４、テレビ会議用シナリオデータベース５５、その他シナリオデータベース５６などから構成されている。以下では、セキュリティに関するシナリオを具体例として説明を行う。

図１１に示すように、セキュリティ用シナリオデータベース５４は、カメラ制御シナリオ５８、表示評価シナリオ５９の２つシナリオから成り立っている。

そして、カメラ制御シナリオ５８は、撮影規則としてのｉｆ−ｔｈｅｎルール群を含む。ルール１〜ルール５は撮影範囲の自律調整に関し、ルール６〜ルール１０は撮影画像の評価に関し、ルール１１〜ルール１３は協調撮影に関する。
ルール１：ｉｆ（顔を検知した）、ｔｈｅｎ（ズームアップをして撮影する）
ルール２：ｉｆ（顔を検知できなかった）、ｔｈｅｎ（広角に引いて全身を撮影する）
ルール３：ｉｆ（人の移動スピードが速い）、ｔｈｅｎ（前方の空間を大きく空けて撮影する）
ルール４：ｉｆ（３台以上のカメラ装置１０が全てズームアップ撮影している）、ｔｈｅｎ（広角に引いて撮影する）
ルール５：ｉｆ（他のカメラ装置１０が全て広角で撮影を行っている）、ｔｈｅｎ（ズームアップ撮影を行う）
ルール６：ｉｆ（顔が大きく、かつ正面の顔が抽出された）、ｔｈｅｎ（評価値はとても高い）
ルール７：ｉｆ（顔が大きく、かつ横顔が抽出された）、ｔｈｅｎ（評価値はあまり高くない）
ルール８：ｉｆ（顔の大きさは小さい、かつ正面の顔が抽出された）、ｔｈｅｎ（評価値は高い）
ルール９：ｉｆ（顔が撮影できない、かつ全身が抽出された）、ｔｈｅｎ（評価値はちょっと高い）
ルール１０：ｉｆ（顔が撮影できない、かつ全身も撮影できない）、ｔｈｅｎ（評価値は低い）
ルール１１：ｉｆ（撮影画像の評価値はこれ以上高められない）、ｔｈｅｎ（他のカメラ装置１０と評価値を比較）
ルール１２：ｉｆ（他のカメラ装置１０よりも評価値が高い）、ｔｈｅｎ（現在の撮影状態を維持）
ルール１３：ｉｆ（他のカメラ装置１０のほうが評価値が高い）、ｔｈｅｎ（評価値の高いカメラに従属した撮影へ移行）

また、表示評価シナリオ５９は、評価規則としてのｉｆ−ｔｈｅｎルール群を含む。ルール１〜５は撮影画像の評価処理に関しており、ルール６〜８は表示部５２の画面分割表示に関している。
ルール１：ｉｆ（顔が大きく、かつ正面の顔が抽出された）、ｔｈｅｎ（評価値はとても高い）
ルール２：ｉｆ（顔が大きく、かつ横顔が抽出された）、ｔｈｅｎ（評価値はあまり高くない）
ルール３：ｉｆ（顔の大きさは小さい、かつ全身の正面が抽出された）、ｔｈｅｎ（評価値は高い）
ルール４：ｉｆ（顔が抽出されない、かつ全身が抽出された）、ｔｈｅｎ（評価値はちょっと高い）
ルール５：ｉｆ（顔が抽出されない、かつ全身も抽出されない）、ｔｈｅｎ（評価値は低い）
ルール６：ｉｆ（全て撮影画像の評価値がとても高い）、ｔｈｅｎ（全ての撮影画像を均等に表示する）
ルール７：ｉｆ（撮影画像の評価値が低い）、ｔｈｅｎ（その撮影画像は表示しない）
ルール８：ｉｆ（撮影画像の評価値が一つだけ非常に高く、他の撮影画像の評価値はそれほど高くない）、ｔｈｅｎ（評価値の高い撮影画像を大きく、他の撮影画像は小さく表示する）

＜テレビ会議システム＞
図１２はテレビ会議用シナリオデータベースの構成の説明図である。以下では、図１〜図１０を参照して説明した撮影システム１００において他の用途であるテレビ会議システムを選択した場合について説明を行う。

図１２に示すように、テレビ会議シナリオデータベース５５は、セキュリティシナリオベース５４（図１１）と同じように、カメラ制御シナリオ６０と表示評価シナリオ６１とからなる。

カメラ制御シナリオ６０は、テレビ会議システムに最適化されたカメラ制御を規定する撮影規則として、以下のｉｆ−ｔｈｅｎルールを含む。ルール１〜ルール４はプレゼンテーション発表者の撮影に関し、ルール５〜ルール７はディスカッション時の撮影に関する。
ルール１：ｉｆ（発表者が発表資料を使って発表している、かつ発表者と発表資料の正面で発表者と発表資料がちょうど良い画角・大きさで撮れる）、ｔｈｅｎ（発表者と発表資料を同時に撮る）
ルール２：ｉｆ（発表者が発表資料を使って発表している、かつ発表資料はちょうど正面から撮ることができても発表者は撮りにくい）、ｔｈｅｎ（発表資料だけを撮る）
ルール３：ｉｆ（発表者が発表資料を使って発表している、かつ発表資料は正面でなく角度がついてしまうが、発表者をちょうどうまく撮ることができる）、ｔｈｅｎ（発表者だけを撮る）
ルール４：ｉｆ（発表者および発表資料が撮りにくい）、ｔｈｅｎ（会議参加者の全体を撮る）
ｉｆ−ｔｈｅｎルール群
ルール５：ｉｆ（発言者をうまく捕らえることが出来る）、ｔｈｅｎ（発言者を撮る）
ルール６：ｉｆ（意思決定者をうまく捕らえることが出来る）、ｔｈｅｎ（意思決定者を撮る）
ルール７：ｉｆ（全体をうまく捕らえることができる）、ｔｈｅｎ（会議全体を撮る）

このような撮影規則に従って複数のカメラ装置１０がそれぞれ議場を撮影することにより、議場でプレゼンテーションが行われている場合には、複数のカメラ装置１０が最適に役割分担して、プレゼンテーション発表者を重点的に撮影する。そして、議場全体でディスカッションが開始されると、複数のカメラ装置１０が最適に役割分担して、刻々の発言者や意思決定者（議長、最高責任者）を撮影する。いずれの場合でも、複数のカメラ装置１０が、同一の撮影規則に従って、それぞれの撮影範囲を最適化し、最適化した撮影画像の評価値をカメラ装置１０間で交換する。また、複数のカメラ装置１０が発言者の特徴量を抽出して、個別に状況判断を行い、状況に応じて最適化した撮影画像を画像切替装置４０に送信する。これにより、システム全体として、状況が変化しても、状況に柔軟に追従した最適な組み合わせで、複数の撮影画像が得られる。

また、表示評価シナリオ６１は、評価規則してのｉｆ−ｔｈｅｎルール群を含む。ルール１〜ルール４はプレゼンテーション発表者の撮影に関し、ルール５〜ルール７はディスカッション時の撮影に関する。
ルール１：ｉｆ（発表者と発表資料を同時に正面から撮れている）、ｔｈｅｎ（その映像を注目画面に拡大表示する）
ルール２：ｉｆ（発表資料が正面から大きく撮れている）、ｔｈｅｎ（その映像を注目画面に拡大表示する）
ルール３：ｉｆ（発表者が大きく撮れている）、ｔｈｅｎ（発表者をちょっと小さく表示する）
ルール４：ｉｆ（会議参加者の全体が撮れている）、ｔｈｅｎ（会議の全景をちょっと小さめに表示する）
ルール５：ｉｆ（発言者の正面から捕らえている）、ｔｈｅｎ（発言者を注目画面に拡大表示する）
ルール６：ｉｆ（質問者を正面から捕らえている）、ｔｈｅｎ（質問者を注目画面に拡大表示する）
ルール７：ｉｆ（全体をうまく捕らえている）、ｔｈｅｎ（会議全体を注目画面に拡大表示する）

このような評価規則に従って画像切替装置４０が撮影画像を選択することにより、議場から離れた遠隔地の参加者の画像表示装置５０には、図３の（ａ）に示すような分割表示された画面が表示される。そして、議場でプレゼンテーションが行われている間は、資料を含めたプレゼンテーションの内容と発表の様子が拡大表示され、ディスカッションに移行すると、ディスカッションにおける発言者の様子が最適なアングルと大きさで画像出力装置５０に表示される。

以上説明したように、本実施形態の撮影システム１００では、複数のカメラ装置１０は状況に応じて最適なアングルおよび大きさで対象を自動で撮影する。また、画像切替装置４０は、複数のカメラ装置１０から送られてくる撮影映像の中から、状況に応じた最適な映像を撮影しているカメラ装置１０を選択し、自動的に撮影画像を切り替えて表示画面に出力する。従って、効果的なカメラワーク及び画面表示を行う事が可能である。

＜比較例の撮影システム＞
従来、複数のカメラ装置を用いた撮影システムは、テレビ番組制作、スポーツ中継などを目的とした報道・放送分野や、オフィスビル・商店・街中などで防犯、防災などを目的としたセキュリティ分野で利用されている。

従来のカメラ装置による放送システムにおいて、カメラは一台につき一人のカメラマンが手動で操作している。しかし、カメラが増えるごとにカメラマンも手配しなければならないので、人手の確保やコストの増加といった問題があった。このような問題を解決するために、撮影を自動的に行うロボットカメラ装置が開発されている。

従来の自動撮影による監視システムは、監視する領域に複数のカメラを配置して、その複数のカメラ映像を人がリアルタイムでモニタリングするといった方法である。しかし、このような方法だとカメラの台数が増加するほど監視者に与える負担も増加するといった問題がある。また、監視者が監視するモニタ以上にカメラの台数が設置されている場合、カメラからの映像は一定のタイミングで順番に切り替わってモニタに表示されるため、不審者を見落としたりする原因にもなっていた。このような問題を解決するために、画像処理技術の向上により自動的に移動体を抽出し、この抽出された移動体を認識して撮影を行うことが出来るようになってきている。

例えば、報道・放送分野においては、特許文献１のロボットカメラ装置が提案されている。これは、１台以上のロボットカメラ、位置検出部、状態検出部、シナリオサーバが分散配置され、通信ネットワークを介して相互に通信を行い、複数台のロボットカメラが相互に撮影情報を交換すると共に協調動作して、状況に応じた撮影を自動で行う。シナリオサーバは、番組特有のショットを撮影する必要が生じた時に、動作させるロボットカメラを指定して、番組特有のショットを撮影する撮影手法に対応する制御コマンドをネットワーク通信路に送出する。

セキュリティ分野においては、特許文献２の追尾型協調監視システムが提案されている。ここでは、カメラの設置されている範囲であれば、ユーザが所望する範囲全てを監視可能とし、同時に複数の侵入者がある場合は、侵入者を検出しているカメラが撮影した映像情報を高品位で伝送する。つまり、限られたネットワークの伝送量を有効に使用する監視システムである。

しかし、特許文献１の撮影システムでは、ロボットカメラは自動で対象の撮影を行うが、複数のロボットカメラから同時に撮影映像が送信されてくる場合、最終的に表示したい映像を手動で切り替えて選択しなければならない。そのためには、映像切り替えのための人を確保しなければならない。また、ロボットカメラは、全体の状況を検知するセンサ端末からの指令に従属して、いわゆるマスタースレーブ方式により制御されるので、状況の検知に最も有利な位置のロボットカメラの撮影画像が状況検知に生かされない。つまり、会場全体を撮影して状況判断する広角カメラでは見逃してしまう、局所的なひそひそ話しを検知して撮影することができない。

これに対して、本実施形態の撮影システム１００では、複数のカメラ装置１０がそれぞれ撮影状態を最適化しつつ撮影規則に基づいて個別に状況判断を行い、状況判断に基づいてさらに最適化した撮影画像を画像切替装置４０に送信する。従って、それほど解像度の高くない撮影部１１と、演算負荷の軽い画像処理および推論との組み合わせでも、個別の撮影画像を状況判断に組み込んで、カメラ装置１０が配置された範囲の隅々まで漏れなく状況判断した撮影を実現できる。

一方、特許文献２の撮影システムでは、移動体を検出したカメラからの映像を表示すれば良いので、従来の監視システムと比較すれば画面の選択は容易である。しかし、複数のカメラが同時に複数の対象を撮影している場合には、どの画面に注目するかの判断は、監視者が行わなければならない。つまり、１台のカメラ装置が侵入者を発見した時点で、そのカメラ装置に他のカメラ装置が従属され、侵入者の移動によって主体となるカメラ装置が切り替えられる仕組みなので、撮影画像それ自体がシステムの目的に従って最適化されている訳ではない。

これに対して、本実施形態の撮影システム１００では、複数のカメラ装置１０がそれぞれ撮影状態を最適化しつつ撮影規則に基づいて個別に状況判断を行い、状況判断に基づいてさらに最適化した撮影画像を画像切替装置４０に送信する。従って、単に侵入経路をトレースするばかりでなく、侵入者の動作行為の詳細解明や人相体型の特定と言った証拠価値の高い撮影画像の撮影と表示とを実現できる。

本実施形態の撮影システムは、このような事情に鑑みて構成されたもので、複数台のカメラ装置１０が連携して撮影対象１の撮影を行う際に、カメラ装置１０が状況に応じて最適なアングルで対象を自動撮影する。そして、画像切替装置４０が、それら複数台のカメラ装置１０から送られてくる撮影映像の中から、状況に応じた撮影を行っているカメラ装置１０を選択し、画像出力装置５０に出力する映像を自動的に切り替える。そのような画像切替装置４０を含むマルチカメラシステムを提供している。

そして、撮影システム１００では、複数の撮影装置１０によって撮影対象１の撮影を行い、それらの撮影映像の中から状況に応じて最適な映像を表示する。撮影装置１０は、撮影対象１を認識して撮影するための撮影部１１を有する。また、認識した撮影対象１の特徴情報を抽出する特徴量抽出部１２と、撮影部１１の撮影範囲を変更するための動作部１３と、ネットワーク通信路２０を介して通信するための通信部１７と、撮影手法及び撮影対象１の情報を記憶するための記憶部１８とを有する。撮影はシナリオに沿って撮影しているか判断する推論部１６も有する。

そして、推論部１６は、記憶部１８に保持する撮影規則と撮影対象１の状態及び周囲の撮影装置１０の撮影状況から、撮影状態を評価し、状況に応じて撮影状態が向上するように撮影装置１０自体が撮影する向き・画角を含むカメラパラメータを制御する。

一方、シナリオサーバ３０は、状況に応じた撮影手法及び表示画面を選択するためのシナリオを記憶しているシナリオデータベース５３を有する。画像切替装置４０は、各撮影装置１０から伝送された撮影映像の中から、自動で撮影画像を選択して画像出力装置５０（モニタ画面）に表示する。画像切替装置４０は、複数の撮影装置１０から伝送された撮影映像の中から、シナリオサーバ３０に保持されているシナリオに基づいて最適と判断する推論部４６を用いて撮影画像を選択して画像出力装置５０に表示する。

＜発明との比較＞
本実施形態の撮影システム１００は、個別に画像を撮影して、ネットワーク通信路２０を通じて撮影画像を送信する複数のカメラ装置１０を備える。そして、ネットワーク通信路２０を通じて撮影画像を受信し、撮影画像の評価処理を規定する評価規則に従って複数のカメラ装置１０の撮影画像を比較する画像切替装置４０を備える。

撮影システム１００では、画像切替装置４０が、外からの直接の指令や操作に頼らず、撮影画像の評価処理を規定する表示評価シナリオ５９、６１に従って、自律的に複数の撮影装置１０の撮影画像を比較する。そして、利用の優先順位を定めたり、利用する撮影画像の選択を行ったりする。

従って、撮影装置１０は、特許文献２に示されるような、撮影装置１０の選択処理それ自体を行う必要が無く、撮影画像の選択処理のための判断材料を提供するだけでよい。選択処理の判断が１箇所で行われるので、複数の判断結果が矛盾してシステムが機能しなくなる事態を回避できる。

また、表示評価シナリオ５９、６１を変更することによって、選択処理を柔軟に調整できるので、用途や状況に応じた最適な選択処理や撮影画像の利用が可能となる。

撮影システム１００は、複数のカメラ装置１０は、ネットワーク通信路２０を通じて入れ替え可能に保持されて撮影制御を規定する同一の撮影規則に従ってそれぞれ画像を撮影する。画像切替装置４０は、撮影規則をネットワーク通信路２０を通じて入れ替え可能に保持している。そして、複数種類の撮影規則と、複数種類の評価規則とを用途別に関連付けて保持するシナリオサーバ３０を備えている。シナリオサーバ３０は、用途が変更されると、用途に該当する撮影規則を複数のカメラ装置１０に送信するとともに、用途に該当する評価規則を画像切替装置４０に送信する。

画像切替装置４０は、複数のカメラ装置１０について、受信した撮影画像からそれぞれ撮影対象１を抽出して撮影画像の評価値を定め、自ら定めた複数の評価値を比較して撮影画像を選択する。従って、撮影シナリオに拘束されない（微調整された）選択基準および表示方式で画像出力装置５０に画像表示を行うことができる。つまり、複数の撮影装置１０の撮影画像の記録は並列に残す一方で、選択した最重要の撮影画像だけを管理者に表示するような、複数の目的を持った撮影システム１００を柔軟に組み立てることができる。

しかし、カメラ装置１０は、変形例の撮影システムとして説明したように、撮影した撮影画像の評価値を個別に定めて画像切替装置４０に送信し、画像切替装置４０は、受信した評価値を比較して撮影画像を選択してもよい。カメラ装置１０は、自身の撮影画像を最適化するために画像処理と評価値の演算を行っている。従って、その評価値を画像切替装置４０でも利用して選択処理を行うことにより、画像切替装置４０は、撮影対象１の認識と、特徴量の抽出と、評価値の算出とから解放される。従って、数１０〜数１００と言った膨大な数のカメラ装置１０が接続された場合でも、小さな演算装置と、わずかなデータサイズの評価値とを用いて、画像切替装置４０がリアルタイムに撮影画像の選択処理を行うことができる。

撮影システム１００は、画像切替装置４０で選択された撮影画像を画像表示する画像出力装置５０を備え、画像切替装置４０は、評価値の比較結果に応じて画像出力装置５０における表示モード（画面分割、時分割等）を設定する。

撮影システム１００のカメラ装置１０は、撮影範囲を変更して画像を撮影可能な撮影部１１と、撮影部１１による撮影画像を処理して撮影画像の評価値を定めて、評価値を高める方向に撮影範囲を変化させる特徴量抽出部１２、動作部１３、推論部１６とを備える。また、ネットワーク通信路２０を通じて評価値を他のカメラ装置１０に送信する通信部１７を備える。上述したように、画像切替装置４０で評価値を用いて撮影画像の選択処理を行う場合、通信部１７は、ネットワーク通信路２０を通じて複数のカメラ装置１０から撮影画像を受信して選択処理する画像切替装置４０にも、自身の撮影画像の評価値を送信する。

カメラ装置１０の動作部１３、推論部１６は、自身の撮影画像による評価値が他のカメラ装置１０から受信した評価値よりも低い場合に、撮影部１１の撮影範囲を変化させて、評価値の高い他のカメラ装置１０の撮影に従属させる。

カメラ装置１０の特徴量抽出部１２、動作部１３、推論部１６は、予め指定された撮影対象１を撮影画像から認識して、撮影対象１の複数の特徴情報を抽出し、予め保持させた撮影規則の判別式により特徴情報を評価することにより評価値を定める。

撮影システム１００の画像切替装置４０は、ネットワーク通信路２０を通じて複数のカメラ装置１０から撮影画像を受信して選択処理する。そして、複数のカメラ装置１０からそれぞれ送信された評価値を比較して、選択処理における優先順位を定める判断部４２を備える。

撮影システム１００のシナリオサーバ３０は、それぞれのカメラ装置１０における撮影制御を既定する撮影規則と、画像切替装置４０における撮影画像の評価処理を既定する評価規則とを用途別に記録保持している。そして、用途が変更されると、カメラ制御シナリオ５８、６０は撮影装置１０へ、表示評価シナリオ５９、６１は画像切替装置４０へ、それぞれネットワーク通信路２０を通じて送信される。

撮影システム１００は、個別に画像を撮影する複数のカメラ装置１０からネットワーク通信路２０を通じてそれぞれ送信された動画像データを画像出力装置５０に表示させる。そして、ネットワーク通信路２０に接続されて、複数のカメラ装置１０による複数の動画像データの優先順位とともに、優先順位の評価結果に基づいて画像出力装置５０における表示形式（画面割り）を変化させる画像切替装置５０を備えている。

本実施形態の撮影システムにおける全体構成の説明図である。 カメラ装置の空間配置の説明図である。 画像出力装置における表示モードの説明図である。 カメラ装置の構成の説明図である。 カメラ装置における処理のフローチャートである。 画像切替装置の構成の説明図である。 画像切替装置の判断部の構成の説明図である。 画像切替装置における処理のフローチャートである。 シナリオサーバの構成の説明図である。 シナリオデータベースの構成の説明図である。 セキュリティ用シナリオデータベースの構成の説明図である。 テレビ会議用シナリオデータベースの構成の説明図である。

符号の説明

１ 撮影対象
１０ 撮影装置（カメラ装置）
１１ 撮影手段（撮影部）
１２、１３、１６ 制御手段（特徴抽出部、動作部、推論部）
１７ 送信手段（通信部）
１８ 記憶部
２０ ネットワーク通信路
３０ データ保持装置（シナリオサーバ）
４０ 画像切替装置
５０ 画像出力装置
５２ 表示部
５３ シナリオデータベース
５４ セキュリティ用シナリオデータベース
５５ テレビ会議用シナリオデータベース
５８、６０ 撮影規則（カメラ制御シナリオ）
５９、６１ 評価規則（表示評価シナリオ）
７０ 操作部
１００ 撮影システム

Claims (11)

1. 個別に画像を撮影して、ネットワーク通信路を通じて撮影画像を送信する複数の撮影装置を備えた撮影システムにおいて、
   前記ネットワーク通信路を通じて前記撮影画像を受信し、前記撮影画像の評価処理を規定する評価規則に従って前記複数の撮影装置の前記撮影画像を比較する画像切替装置を備えたことを特徴とする撮影システム。
2. 前記複数の撮影装置は、前記ネットワーク通信路を通じて入れ替え可能に保持されて撮影制御を規定する同一の撮影規則に従ってそれぞれ画像を撮影し、
   前記画像切替装置は、前記評価規則を、前記ネットワーク通信路を通じて入れ替え可能に保持し、
   複数種類の前記撮影規則と、複数種類の前記評価規則とを用途別に関連付けて保持するデータ保持装置を備え、
   前記データ保持装置は、前記用途が変更されると、前記用途に該当する前記撮影規則を前記複数の撮影装置に送信するとともに、前記用途に該当する前記評価規則を前記画像切替装置に送信することを特徴とする請求項１記載の撮影システム。
3. 前記画像切替装置は、前記複数の撮影装置について、受信した前記撮影画像からそれぞれ撮影対象を抽出して前記撮影画像の評価値を定め、前記評価値を比較して前記撮影画像を選択することを特徴とする請求項１または２記載の撮影システム。
4. 前記撮影装置は、撮影した前記撮影画像の評価値を個別に定めて前記画像切替装置に送信し、前記画像切替装置は、受信した前記評価値を比較して前記撮影画像を選択することを特徴とする請求項１または２記載の撮影システム。
5. 前記画像切替装置で選択された撮影画像を画像表示する画像出力装置を備え、
   前記画像切替装置は、前記評価値の比較結果に応じて前記画像出力装置における表示モードを設定することを特徴とする請求項１乃至４いずれか１項記載の撮影システム。
6. 撮影範囲を変更して画像を撮影可能な撮影手段と、
   前記撮影手段による撮影画像を処理して撮影画像の評価値を定めて、前記評価値を高める方向に前記撮影範囲を変化させる制御手段と、
   ネットワーク通信路を通じて、前記評価値を他の撮影装置に送信する送信手段と、を備え、
   前記送信手段は、前記ネットワーク通信路を通じて複数の撮影装置から前記撮影画像を受信して選択処理する画像切替装置にも、自身の撮影画像の前記評価値を送信することを特徴とする撮影装置。
7. 前記制御手段は、自身の撮影画像による前記評価値が他の撮影装置から受信した評価値よりも低い場合に、前記撮影範囲を変化させて、評価値の高い他の撮影装置の撮影に従属させることを特徴とする請求項６記載の撮影装置。
8. 前記制御手段は、予め指定された撮影対象を撮影画像から認識して、前記撮影対象の複数の特徴情報を抽出し、予め保持させた撮影規則の判別式により前記特徴情報を評価することにより前記評価値を定めることを特徴とする請求項６または７記載の撮影装置。
9. ネットワーク通信路を通じて複数の撮影装置から撮影画像を受信して選択処理する画像切替装置において、
   前記複数の撮影装置からそれぞれ送信された評価値を比較して、前記選択処理における優先順位を定める判断手段を備えたことを特徴とする画像切替装置。
10. ネットワーク通信路を通じて複数の撮影装置に送信されて、それぞれの前記撮影装置における撮影制御を既定する撮影規則と、
    前記ネットワーク通信路を通じて画像切替装置に送信されて、前記画像切替装置における撮影画像の評価処理を規定する評価規則と、を用途別に記録保持していることを特徴とするデータ保持装置。
11. 個別に画像を撮影する複数の撮影装置からネットワーク通信路を通じてそれぞれ送信された動画像データを画像出力装置に表示させる撮影システムにおいて、
    前記ネットワーク通信路に接続されて、複数の前記撮影装置による複数の前記動画像データの優先順位とともに、前記優先順位の評価結果に基づいて前記画像出力装置における表示形式を変化させる画像切替装置を備えたことを特徴とする撮影システム。
    

Images