JP2008035107A - 受信映像表示装置及び方法、並びにプログラム及び記憶媒体、撮影装置及び方法、並びにプログラム及び記憶媒体、映像撮影表示システム及び方法、並びにプログラム及び記憶媒体 - Google Patents

Abstract

【課題】表示側での表示が制約された状況においても、バランスよく複数の被写体を監視することができる受信映像表示装置、撮影装置、映像撮影表示システムを提供する。
【解決手段】ビューワ２０４は、複数の受信映像にどの被写体が写っているかを示す被写体情報を受信する被写体情報受信部２０５と、選択表示している映像に写っている被写体に対応する表示ポイントを計算・更新する表示ポイント計算部２０６とを備える。また、受信している全ての映像に写っている被写体のうち、表示ポイントの少ない被写体を探し、当該被写体の写っている映像を選択する選択制御部２０７と、選択制御部２０７の指示によって、複数の受信映像から一部を選択する映像選択部２０８とを備える。
【選択図】図２

Description

本発明は、受信映像表示装置、撮影装置、映像撮影表示システムに関する。

カメラで撮影された映像をネットワーク経由で配信するネットワークカメラシステムにおいて、映像受信者が特定の被写体の映像を見るための従来技術として、例えば、特許文献１のシステムがある。

このシステムは、第１の実施の形態に対応する図１に示されるように、複数の撮影手段、カメラ選択手段、カメラ指定手段、及び、撮影対象指定手段・撮影対象場所対応手段・撮影場所カメラ対応手段で構成される情報発信手段からなっている。このシステムでは、映像を見たい特定の被写体を撮影対象指定手段によって指定すると、その被写体の居場所が撮影対象場所対応手段で対応付けられ、更に、その居場所を撮影できるカメラが撮影場所カメラ対応手段によって対応付けられる。

そして、指定された被写体を撮影できるカメラがカメラ指定信号としてカメラ選択手段に伝えられる。複数の撮影手段で撮影された映像のうち、カメラ選択手段で選択されたカメラの映像が情報発信手段に送られ、更にネットワークに送出されていくため、映像受信者は、指定された特定の被写体に対応するカメラ映像を見ることが可能となる。

更に、特許文献１では、第２の実施の形態として、特定の被写体の場所を検出した後に、カメラの方向・ズーム・フォーカス等を制御することで、特定の被写体を撮影するシステムも開示されている。

特許文献１のシステムにおいて、撮影対象場所対応手段は、特許文献１の図６に示されるように、撮影対象位置検出手段を持っており、被写体に持たせた無線タグを受信機で検出することで被写体の位置を検出している。尚、これに関連して、非特許文献１の表１では、被写体の位置特定手段として、アクティブ型無線タグ、パッシブ型無線タグ、ＰＨＳ、ＧＰＳが列挙されており、それぞれの得失が述べられている。

上記従来技術は、特定の被写体を撮影あるいは監視するためのシステムであったが、ネットワークカメラシステムの使い方として、複数の被写体をバランスよく撮影することが要求される場合がある。

例えば、幼稚園や学校で移動する子供達の様子を満遍なく確認する、また、職場において移動しながら働く複数の従業員の様子を抜けなく監視する場合、単に特定の被写体を撮影や監視するだけでなく、複数の被写体をバランスよく撮影あるいは監視する必要がある。

複数の被写体をバランスよく撮影するネットワークカメラシステムの従来技術として、例えば、特許文献２の自動撮影装置があり、この装置では、複数の被写体の映像を均等な時間撮影することができる。

この自動撮影装置は、特許文献２の図１に示されたように、カメラ部、個人特定部、動画像蓄積部、画像選択部、カメラ制御部からなっている。この自動撮影装置では、個人特定部内の顔データ登録部に予め顔データを登録した被写体に関し、カメラ部で撮影された映像と顔データのテンプレート照合を行い、撮影中の映像に写っている被写体の検出を行う。

検出された被写体の情報は、動画像蓄積部に蓄積され、そこから被写体の識別情報が、画像選択部に送られる。画像選択部では、識別情報中の各被写体の録画フレーム数を使用し、録画フレーム数最小の被写体に対して、その被写体を中心に写すためのカメラ制御をカメラ制御部に指示したり、その被写体を探索するようにカメラ制御部に指示したりする。

このように、特許文献２では、被写体を検出した上で、録画フレーム数最小の被写体をより積極的に撮影するようカメラ制御を行うことで、複数の被写体が存在する状況で各被写体を均等な時間撮影することを実現している。
特許第３５６１４９０号 特開２００４−３６３７７５号公報（第１８頁、図１） ＮＴＴ技術ジャーナル２００３．８（第３４〜３６頁、表１）

複数の被写体をバランスよく撮影あるいは監視するネットワークカメラシステムとして、特許文献２の自動撮影装置では、複数の被写体を均等な時間撮影することを実現している。しかし、各被写体の撮影時間が単純に等しくなるように制御すると、次のような場合にバランスよく撮影することができないという問題が生じる。

例えば、カメラがある部屋を撮影している状況で、その部屋に被写体の出入りがある場合、つまりカメラの撮影範囲にいる被写体の数が増減した場合、各被写体の撮影時間が等しくなるように制御を行うと、以下の問題が生じる。

即ち、新たに撮影範囲に入ってきた被写体については、撮影時間が０であるため、その被写体の撮影時間が他の被写体の撮影時間と同程度になるまでしばらくの間、新たな被写体が集中的に撮影されてしまうことになる。これでは、被写体の撮影時間としては均等となるものの、ある時間範囲で見たときには、新たな被写体だけが集中的に撮影されていることになり、必ずしもバランスのよい撮影が行われているとは言えなくなってしまう。

また、複数の被写体を均等な時間撮影することに別の問題も生じる。即ち、被写体がどのようなサイズで撮影されているかが考慮されていないため、小さなサイズばかりで撮影された被写体と大きなサイズばかりで撮影された被写体が同時間撮影されたとしても、バランスよく撮影されたとは言えなくなってしまう。

更に、上記の課題が解決されて複数の被写体をバランスよく撮影できたとしても、次の課題が存在する。

複数台カメラの分担により、複数の被写体をバランスよく撮影している場合を想定すると、撮影画像を監視するビューワ側で全てのカメラの映像を同時に表示しておけば、複数の被写体をバランスよく監視することができる。ところが、携帯ビューワのように小さな画面のビューワを用いている場合、あるいは、大型のビューワにおいても各カメラの映像をできるだけ大きく表示したい場合には、全カメラの映像を同時には表示できない。その結果として、全ての被写体をバランスよく監視できなくなる。即ち、ビューワ側の表示画面数の制約により、被写体をバランスよく監視できないという課題がある。

本発明の目的は、表示側での表示が制約された状況においても、バランスよく複数の被写体を監視することができる受信映像表示装置、撮影装置、映像撮影表示システムを提供することにある。

上記目的を達成するために、請求項１記載の受信映像表示装置は、複数の受信映像にどの被写体が写っているかを示す被写体情報を受信する被写体情報受信手段と、選択表示している映像に写っている被写体に対応する表示ポイントを計算・更新する表示ポイント計算手段と、受信している全ての映像に写っている被写体のうち、表示ポイントの少ない被写体を探し、当該被写体の写っている映像を選択する選択制御手段と、前記選択制御手段の指示によって、複数の受信映像から一部を選択する映像選択手段とを備えることを特徴とする。

本発明によれば、表示側での表示が制約された状況においても、バランスよく複数の被写体を監視することができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

（第１の実施の形態）
撮影装置は、図１に示すように、撮影部１０１、撮影制御部１０２、均等選択制御部１０３、ポイント管理部１０６、ポイントＤＢ部１０７及び対象位置特定部１０８を備える。また、均等選択制御部１０３は、撮影対象選択部１０５及びポイント更新部１０４を含む。

撮影部１０１は、撮影調整機構を含み、撮影により静止画像もしくは動画像を生成する被写体を撮影する装置である。撮影制御部１０２は、撮影部１０１に対して制御信号を送り、撮影手段の撮影や撮影調整機構に対する動作を制御する装置である。

均等選択制御部１０３は、ポイント更新部１０４と撮影対象選択部１０５を含み、撮影制御部１０２に撮影対象の情報を送信する装置である。

ポイント更新部１０４は、ポイントを更新する対象となる被写体を選出し、撮影した被写体の映像内における撮影サイズ、１被写体に対する１回の撮影時間、カメラ制御システムの総撮影時間もしくは回数などを用いて選出した被写体のポイントを更新する装置である。また、ポイント更新部１０４は、各被写体の総撮影時間もしくは回数、被写体が撮影可能な場所に入ってからの経過時間、各被写体の過去のポイントなどを用いて選出した被写体のポイントを更新する装置である。

被写体のサイズの定義を説明するために、図１３に被写体のサイズの例を示す。図１３に示したように、映像内における被写体の高さを、被写体のサイズと呼ぶものとする。被写体のサイズは、撮影部のパン、チルト、ズームの量と被写体の位置情報、身長などから算出する。身長の扱いについては、本実施の形態では、平均的な身長を利用する方式を用いるが、各被写体の身長をデータベースに登録する方式を用いても構わない。

撮影対象選択部１０５は、ポイント管理部１０６で管理されている各被写体のポイントの大小関係や対象位置特定部１０８より得られた位置情報を判断基準として撮影対象を決定する装置である。ポイント管理部１０６は、各被写体のポイントをポイントＤＢ部１０７に対して読み書きをする装置である。

ポイントＤＢ部１０７は、各被写体のポイントを蓄積することが可能な装置である。対象位置特定部１０８は、ＲＦＩＤやＰＨＳ、ＧＰＳなどの位置特定手段を用いて、撮影部１０１の撮影可能な位置に存在する被写体を探索し、発見した被写体の座標を取得する装置である。

図３に本発明の第１の実施の形態の動作フローを示す。

ステップ３０１において、ポイント管理部１０６を起動し、ポイントＤＢ部１０７内のポイントデータを初期化する。図６、図２１は、ポイントＤＢ部１０７に蓄積するデータの一例を表形式で表したものである。

図６は、各被写体のポイント情報を蓄積するリストで、各被写体の識別子を表す列６０１、各被写体のポイントを表す列６０２、各被写体の総撮影回数を表す列６０３が示される。

図２１は、システム内の変数を表した表データで、システム内における現在までの総撮影回数２２０１、システム内における撮影可能な場所にいる人数２２０２が示される。尚、システム内における撮影可能な場所にいる人数２２０２は、該人数に応じて加算するポイントを調整する際に用いるパラメータで、本実施の形態では用いないものとする。

ポイント管理部１０６は、ポイントＤＢ部１０７に蓄積された図６や図２１の形式で記述されたデータベースの中から、要求のあった被写体の識別子に対応したポイントやポイントを算出する際に必要となる情報を取得する機能と設定する機能を有する。初期化時には、ポイントを０に設定する。

ステップ３０２において、対象位置特定部１０８を起動して、撮影可能な位置に存在する被写体を特定し、該被写体の座標を取得する。取得した被写体の識別子と位置を図５の形式にして均等選択制御部１０３に通知する。

図５は、対象位置特定部１０８から均等選択制御部１０３へ送信するデータの一例を表形式で表したものである。被写体の識別子を表す列５０１、被写体の座標を表す列５０２が示される。

ステップ３０３において、ポイント管理部１０６を起動して、ステップ３０２で取得した撮影可能な位置に存在する被写体リストを渡して該被写体のポイントリストを取得する。

ステップ３０４において、撮影可能な被写体を通知された均等選択制御部１０３が、撮影対象選択部１０５を起動する。起動された撮影対象選択部１０５は、ステップ３０３にて得られたポイントリストから、対象位置特定部１０８より得た撮影可能な範囲に存在する被写体の識別子に対応するポイントを取得する。起動された撮影対象選択部１０５は、取得したポイントの内、最小のポイントを持つ被写体を選択する。

ステップ３０５において、撮影制御部１０２を起動して、ステップ３０４で選択した被写体の座標に向けて撮影部１０１を制御して、一定時間撮影する。例えば、１０秒間撮影する。

ズーム量の制御方式については、被写体との距離に応じて選択した被写体のサイズを変えないように制御する方式、ズーム量を変えない方式、撮影時間に応じてズーム量を変更する方式、ユーザに指定させる方式などある。ここでは簡単のためズーム量を変えない方式を採用する。

図８に撮影制御部１０２に送信する制御用メッセージの例を示す。カメラをフォーカスさせる目標座標８０１、撮影する時間の長さ８０２が示される。

ステップ３０７において、まず、ポイント管理部１０６に対して、撮影対象選択部１０５が選択した被写体の識別情報を通知し、ポイント管理部１０６から、撮影対象選択部１０５が選択した被写体のポイントを取得する。次に、取得した特定被写体のポイントを図７に示すような予め規定した更新式を用いて更新する。

その次に、ポイント管理部１０６に対して、更新したポイントを通知して、ポイントＤＢ部１０７にポイントを書き込む。最後に、図１６に示すような更新式を用いて全被写体のポイントを更新するよう、ポイント管理部１０６に対して要求を出す。

図１８に、ポイント更新部１０４において選択された被写体に適用するポイント更新式の一般式を示す。更新式１８０１は、該被写体の現在のポイント、該被写体のサイズ、該被写体の総撮影回数、システムの総撮影回数を入力とする式である。これ以外の入力値を含んでも、これらの入力値の内いくつかが指定されていなくても、本発明は成立する。

図７に、ポイント更新式１８０１の具体例を示す。更新式１８０１の具体例の更新式７０１は、該被写体の現在のポイント、該被写体のサイズ、該被写体の総撮影回数、システムの総撮影回数、新規獲得ポイント、基準サイズを入力とする式である。尚、新規獲得ポイント、基準サイズはシステム内で予め規定された定数である。被写体がサイズと撮影時間に比例してポイント加算量を増やす項７０２が示される。

図１４に、図７の更新式における被写体のサイズとポイント加算量の相関を表すグラフを示す。横軸１４０２が被写体のサイズ、縦軸１４０１がポイント加算量である。被写体のサイズが倍になると、加算されるポイントも倍になるというように線形相関１４０３を持っている。この特性により、小さく写されるより、大きく写される方が、得点加算量が大きくなり、撮影される時間が短くなる。

図１５に、図７の更新式における各被写体の撮影回数とポイント加算量の相関を表すグラフを示す。横軸１５０２が撮影回数、縦軸１５０１がポイント加算量である。撮影回数が倍になると、更新式が撮影回数分だけ実行されるため、加算される総ポイントも倍になるというように線形相関１５０３を持っている。この特性により、撮影回数が多いほど、次に撮影されにくくなる。

図１９に、ポイント更新部１０４において全被写体に対して適用するポイント更新式の一般式を示す。ポイント更新式２００１は、更新前のポイントを入力とする式である。

図１６に、ポイント更新式２００１の具体例を示す。ポイント更新式１６０１、過去のポイントを減らす項１６０２が示される。項１６０２により、大半の被写体が撮影可能な範囲にいないといった理由で、過去に集中的に撮影されていた被写体でもその後全く撮影されていなければポイントが大きくならず、撮影されやすくなる。

ポイント更新式１６０１は、ポイント半減回数だけ撮影するとポイントが半分になる式となっており、定数であるポイント半減回数は、ポイントが半分になるのに要する撮影回数を表している。

図１７に、カメラ制御システム内の総撮影回数とポイントの相関を表すグラフを示す。縦軸１７０１が被写体のポイント、横軸１７０２が総撮影回数である。総撮影回数だけ更新式１６０１が実行されると、定数『０.５＾（１／ポイント半減回数）』が総撮影回数分だけ積算されるため、指数関数的（指数関数１７０３）にポイントが減少する。

任意の時間からの撮影回数が、ポイント半減回数に一致すると、ポイントは半分に、ポイント半減回数の２倍なら、ポイントは４分の１になる。前から部屋に居る被写体の方が新しく入室した被写体よりも元のポイントが多いため、前から部屋に居る被写体の方が減少されるポイントが多くなり、新たに入室した被写体のみを集中的に撮影してしまうような状況が生まれにくくなる。

室内に被写体Ａしかおらず、被写体Ａが部屋に入って３回撮影が終わった後に、被写体Ｂが部屋に入ってくるケースを例に挙げて説明する。ただし、一回の撮影で付与されるポイントを１０ポイントとする。

このケースでは、ポイントを減衰させる効果のある更新式１６０１が無いと被写体Ｂが連続して３回撮影されるが、１回の撮影毎にポイントを半分に減衰する更新式１６０１がある場合には、被写体Ｂ→被写体Ａ→被写体Ｂの順に撮影される。

このように、更新式１６０１の効果で新規被写体ばかりが撮影されることがなくなる。また、半減回数が短いほどポイントの減るペースが上がり、一部の被写体に撮影が集中するのを防止することを緩和する効果が増す。尚、ポイントの変動についての詳しいデータは図１２に掲載した。

図１２において、１回の撮影毎にポイントを半分にする更新式を用いた際のポイントの変化を表すデータ列１２０１、ポイントを減衰させる更新式を用いない場合のデータ列１２０２が示される。

ステップ３０８では、撮影を継続するかどうかの判定を行い、ユーザなどの要求により撮影を中止する必要が無ければ、ステップ３０２に戻る。中止の要求が来ていた場合には、処理を終了する。

本撮影装置のイメージを掴みやすくするため、図２０に本撮影装置で利用された各定数の値の例を示す。１回当りの撮影時間２１０１を６０秒であるとした。１回当りの新規獲得ポイント２１０２を１０ポイントとした。過去に獲得したポイントが半減する時間２１０３を６００秒とした。基準被写体サイズ２１０４を３００ピクセルとした。尚、図２０で示された値は一例であるとし、これらの単位、値に因らず、本発明は成立する。

第１の実施の形態では、被写体の在／不在や位置を特定することのできる空間で、その空間に出入りして、空間内を移動する被写体を撮影する。撮影の際には、１被写体を選択し、選択された被写体のみのポイントを更新しながら、バランスよく撮影する。好適な例として、幼稚園の教室を出入りする園児をバランスよく撮影するようなものが挙げられる。

本実施の形態では、室内の撮影部の視野角に入っている場所が撮影可能な場所であるとし、この撮影可能な場所に存在する被写体を選択して撮影する。また、撮影した被写体の映像内における撮影サイズ、１被写体に対する１回の撮影時間、カメラ制御システムの総撮影時間もしくは回数などを用いてポイントの算出をする。また、各被写体の総撮影時間もしくは回数、被写体が撮影可能な場所に入ってからの経過時間、各被写体の過去のポイントなどを用いてポイントの算出をする。

これにより、撮影可能な場所に長いこと居なかった撮影対象が、撮影可能な場所に入ってから集中的に撮られたり、一部の被写体のみが大きく撮影されたりするような撮影のムラを防止することが可能となる。

（第２の実施の形態）
本発明の第２の実施の形態は、複数台カメラの分担により、複数の被写体をバランスよく撮影している場合において、ビューワ側の表示画面数の制約により、被写体をバランスよく監視できない、という課題に対応するものである。

第２の実施の形態の説明では、被写体の表示に関するポイントとして表示ポイントという用語を用いるが、用語を明確にするため、第１の実施の形態において説明されていた被写体の撮影に関するポイントを、ここでは撮影ポイントと呼ぶ。

まず、第２の実施の形態の構成について、図２を用いて説明する。

図２において、撮影装置２０１は、複数（Ｎ台、Ｎ＞１）の撮影部１０１−１〜１０１−Ｎを持つ撮影装置であり、撮影した複数の映像を、ネットワーク２０３を介して送信する。

ネットワーク２０３は、撮影装置２０１で撮影された映像データ及び撮影部毎の被写体情報をビューワ（表示装置）２０４に伝送するものであり、例えばＬＡＮやインターネットが一般的に利用されている。

ビューワ（表示装置）２０４は、撮影装置２０１の送信した撮影映像をネットワーク２０３経由で受信し、表示する装置であり、単数あるいは複数（Ｍ画面、Ｍ≧１）の表示画面２０９−１〜２０９−Ｍを持っている。ここで表示画面数Ｍの値は、必ずしも一定とは限らず、例えば、ユーザの指示によって、表示画面数が変動する場合もありうる。

第２の実施の形態は、Ｎ＞Ｍ、即ち、撮影部の数よりも表示画面の数が少ない場合の課題を解決するものであるが、一時的であれば、表示画面数の変動により、Ｎ＞Ｍが成り立たなくなっても構わない。

尚、図２では、ビューワ２０４は、１つしか示されていないが、複数のビューワ２０４がネットワーク２０３を経由して撮影装置２０１に接続し、映像を表示することも可能である。この場合、各ビューワ２０４は独立して動作し、それぞれが第２の実施の形態の構成をとっていてもよい。

図２において、撮影装置２０１は、Ｎ台の撮影部１０１−１〜１０１−Ｎ、撮影制御部１０２、均等選択制御部１０３、撮影ポイント管理部（ポイント管理部）１０６、撮影ポイントＤＢ部１０７、対象位置特定部１０８、被写体情報送信部２０２からなる。

ここで、Ｎ台の撮影部１０１−１〜１０１−Ｎは、それぞれ第１の実施の形態の撮影部１０１と同じであり、例えば、撮影の向きやズームを制御可能なカメラである。また、撮影ポイント管理部１０６、撮影ポイントＤＢ部１０７も第１の実施の形態と同じである。

撮影制御部１０２、均等選択制御部１０３、対象位置特定部１０８に関しては、それぞれの基本的機能は第１の実施の形態の対応する部分と同じであるが、複数の撮影部に対応するため、次の機能を持つ。

第２の実施の形態における撮影制御部１０２は、Ｎ台の撮影部１０１−１〜１０１−Ｎに対してそれぞれ制御信号を送り、各撮影部１０１の撮影や撮影調整機構に対する動作を制御する。

第２の実施の形態における均等選択制御部１０３は、Ｎ台の撮影部１０１で撮影している被写体のポイントをそれぞれ第１の実施の形態と同様に更新する。そして、各被写体の撮影ポイント値の大小関係からＮ個の被写体を選択して、撮影制御部１０２に撮影対象の情報を送信する。より具体的には、被写体の撮影ポイント値の少ないものからＮ個の被写体を撮影対象として選択する。

第２の実施の形態における対象位置特定部１０８は、ＲＦＩＤのような無線タグを用いて、Ｎ台の撮影部１０１−１〜１０１−Ｎの撮影可能な位置に存在する被写体を探索し、発見した被写体の座標を取得する。尚、対象位置特定部１０８で、被写体位置を検出する方法としては、特許文献１・非特許文献１で述べられた無線タグのようなセンサを使う方法、あるいは、特許文献２で述べられた撮影画像に対する画像認識処理を使う方法のいずれでもよい。

被写体情報送信部２０２は、第１の実施の形態には存在しておらず、各撮影部１０１がどの被写体を撮影しているかを示す情報及び撮影画面における被写体のサイズに関する情報を、ネットワーク２０３経由でビューワ２０４に送出する。

被写体情報送信部２０２の被写体情報送信タイミングについては、特に制約は無く、例えば、周期的であっても、カメラ制御のタイミングであっても、あるいは、そのいずれであっても、逆にいずれでなくても構わない。

図２において、ビューワ２０４は、被写体情報受信部２０５、表示ポイント計算部２０６、選択制御部２０７、映像選択部２０８、Ｍ個の表示画面２０９−１〜２０９−Ｍからなる。

被写体情報受信部２０５は、撮影装置２０１の被写体情報送信部２０２の送信したＮ台の撮影部１０１毎の被写体情報をネットワーク２０３経由で受信し、その被写体情報を表示ポイント計算部２０６に渡す。

表示ポイント計算部２０６では、表示画面サイズと被写体情報から表示サイズを計算し、更に被写体の表示時間を用いて表示ポイントを計算するが、表示サイズ及び表示ポイントに関しては、後に図９、図１０を用いて説明する。

選択制御部２０７は、現在撮影されている被写体に関する表示ポイントを、表示ポイント計算部２０６から受け取り、表示ポイントの小さい方からＭ個の被写体を選択して、その被写体を撮影している撮影部に対応する映像の選択情報を出力する。

映像選択部２０８は、選択制御部２０７からＮ台分の映像からＭ個分の映像を選択するための選択情報を受け取り、Ｎ個の入力映像からＭ個の表示映像だけを選択して、表示画面２０９−１〜２０９−Ｍに出力する。

表示画面２０９−１〜２０９−Ｍは、映像選択部２０８で選択された映像だけを画面に表示する。尚、表示画面２０９−１〜２０９−Ｍのサイズは、必ずしも全て同じとは限らず、また、ユーザの操作により変化することもありうる。そのため、各表示画面の表示画面サイズの情報が、表示ポイント計算部２０６に渡される。

次に、被写体の表示サイズについて、図９を用いて説明する。図９において、左側の枠９０１は撮影画像を示しており、その中に被写体９０２が映されている。撮影画像サイズは、撮影時の画像サイズであり、その画像サイズに対して、図１３で説明したように被写体のサイズが算出されている。

一方、図９の右側の枠９０３は、表示装置（ビューワ）２０４の画面全体を示している。表示装置２０４の画面には１個あるいは複数個の映像が表示可能であるが、ここではそのうちの一表示画面９０４を示している。表示画面９０４の画面サイズが表示画面サイズである。表示画面９０４の中には被写体９０５が映されており、表示画面９０４中の被写体９０５のサイズを表示サイズとする。

ここで、撮影画像サイズ、及び被写体のサイズが一定で撮影が行われているとしても、表示装置２０４の都合や表示装置ユーザの指示で表示画面サイズか変化する場合があるため、被写体の表示サイズは一定とは限らない。

そこで、例えば、図９に式で示したように被写体の表示サイズを撮影画像における被写体のサイズと表示画面サイズを掛けて撮影画像サイズで割ったものとして定義すれば、表示装置２０４の画面上での被写体のサイズを表示サイズとして表現することができる。

更に、表示ポイント計算部２０６で実行する表示ポイントの計算について、図１０に基づいて説明する。表示ポイント計算部２０６においては、複数の被写体毎の表示ポイントが管理・保持されており、現在表示の行われている各被写体に対して、図１０の式に従って更新が実施される。

図１０において、表示時間は、前回の表示ポイント更新時から今回の表示ポイント更新時までにおける、対象となる各被写体の表示時間であり、表示サイズは、図９で説明した式に従って計算された、表示画面における被写体のサイズである。

表示時間と表示サイズをかけた値を、更新前の表示ポイントに加算していくため、各被写体について、表示時間が長ければ長いほど、また、表示サイズが大きければ大きいほど表示ポイントは大きくなっていく。

このようにして、表示ポイント計算部２０６で計算された表示ポイントを用い、選択制御部２０７は、表示ポイントの低い被写体を選択するため、結果として、表示時間が短い、あるいは表示サイズの小さい被写体が選択される可能性が高くなる。

尚、図１０の式で表示ポイントの更新を続けていくと、表示ポイントの値が非常に大きくなってしまうため、あるタイミングで表示ポイントを小さな値に初期化して対応するのがよい。あるいは、第１の実施の形態の図１６の式のように時間の経過と共に値を減らす減衰項を掛ける方法を使用あるいは併用してもよい。

以上で、第２の実施の形態の構成と各部の機能を説明したが、第２の実施の形態の撮影装置、表示装置の動作フローに着目して、更に図４を用いて説明する。

図４（ａ）は、第２の実施の形態の撮影動作フロー図である。撮影動作フローは、撮影ポイントＤＢ１０７を初期化するステップＳ４０１から始まり、撮影の継続を判断するステップＳ４０８で撮影の継続をやめる判断がなされるまでの間、ステップＳ４０２〜Ｓ４０７を繰り返し実行する。ステップＳ４０２〜Ｓ４０７では、次の動作を順次行う。

ステップＳ４０２は、各撮影部で撮影可能な全被写体の識別子を取得するステップであり、撮影部１０１−１〜１０１−Ｎの撮影制御情報から得られる撮影可能範囲と、対象位置特定部１０８で得られる被写体の座標から撮影可能な全被写体の識別子を算出する。

ステップＳ４０３は、撮影可能な被写体の撮影ポイントを取得するステップであり、ステップＳ４０２で得られた識別子を基に撮影ポイント管理部１０６を使用して撮影ポイントＤＢ部１０７を参照し、各被写体の撮影ポイントを取得する。

ステップＳ４０４は、撮影ポイントの低い被写体をカメラ台数分選択するステップであり、ステップＳ４０３で得られた撮影ポイントのうち低い方からＮ個分選択し、対応する被写体を求めて撮影するカメラに割り当てる。

ステップＳ４０５は、各カメラの撮影する被写体情報をネットワークに送信するステップであり、ステップＳ４０４でカメラに割り当てられた被写体に関する情報をネットワーク経由でビューワに送信する。

ステップＳ４０６は、複数台のカメラを制御して撮影するステップであり、ステップＳ４０４で各カメラに割り当てられた被写体を撮影するための撮影制御情報を基にＮ台のカメラを制御し、被写体の撮影を行う。

ステップＳ４０７は、撮影ポイントＤＢを更新するステップで、ステップＳ４０４で選択した各被写体に対して、第１の実施の形態と同様の計算により、撮影ポイントの更新を行う。

図４（ｂ）は、第２の実施の形態の表示動作フロー図である。表示動作フローは、表示ポイントを初期化するステップＳ４０９から始まり、表示の継続を判断するステップＳ４１５で表示の継続をやめる判断がなされるまでの間、ステップＳ４１０〜Ｓ４１４を繰り返し実行する。ステップＳ４１０〜Ｓ４１４では、次の動作を順次行う。

ステップＳ４１０は、各カメラの撮影する被写体情報を受信するステップであり、撮影動作フローのステップＳ４０５で送信された被写体情報を受信する。

ステップＳ４１１は、表示画面サイズと被写体情報から表示サイズを計算するステップであり、表示画面２０９−１〜２０９−Ｍの各表示画面サイズと、ステップＳ４１０で受信した被写体情報から映像中の被写体の表示サイズを図９に従って計算する。

ステップＳ４１２は、表示時間と表示サイズから表示ポイントを計算・更新するステップであり、図１０の式に従って、表示ポイントの計算と更新を行う。

ステップＳ４１３は、表示ポイントの低い被写体を表示画面数分選択するステップであり、ステップＳ４１２で計算された各被写体の表示ポイントの大小関係を比較し、低い方からＭ個分を選択する。

ステップＳ４１４は、表示画面に表示するカメラ映像を切り替えるステップであり、ステップＳ４１３で選択されたＭ個の被写体の写っているカメラ映像を選択するように表示画像の切り替えを行う。

次に、第２の実施の形態を適用すると、ビューワ２０４でどのように映像が表示されるか、図１１を用いて、具体的に説明する。

図１１では、カメラが４台、ビューワ２０４における表示画面が２つで、表示画面１は大きな画面、表示画面２は小さな画面で表示されているものとしている。また、被写体数は６で、Ａ〜Ｆまでの記号で区別する。

図１１において、左から右に向かって時刻が経過し、図中上部４段は、４台の各カメラの撮影画像に写っている被写体の遷移、図中下部２段は、ビューワにおける２つの表示画面で選択表示しているカメラ及び、そのカメラで写している被写体の遷移を示している。

図中、中央部の時刻の軸において、Ｔ０，Ｔ１，Ｔ２，Ｔ３は、ビューワ２０４において表示する撮影映像を選択・切り替えした時刻を示している。撮影画像に写っている被写体について、例えばＡ（サイズ：小）とあるのは、撮影画像中での被写体Ａのサイズが小さいことを示しており、Ｃ（サイズ：大）とあるのは、撮影画像中での被写体Ｃのサイズが大きいことを示している。

まず、図中上部の４台のカメラの撮影画像の被写体の遷移を見ると、時刻Ｔ０〜Ｔ１の間は被写体Ａ，Ｂ，Ｃ，Ｅ、時刻Ｔ１〜Ｔ２の間は被写体Ａ，Ｂ，Ｄ，Ｆと撮影する被写体が変化している。また、時刻Ｔ２〜Ｔ３の間は被写体Ａ，Ｂ，Ｄ，Ｅ、時刻Ｔ３以降は被写体Ａ，Ｂ，Ｃ，Ｅと撮影する被写体が変化している。

４台のカメラの映像全体で見ると、Ａ〜Ｆまで６つの被写体すべてがバランスよく撮影されている。ところが、表示画面２つのビューワ２０４で、固定的に撮影画像１、撮影画像２だけを監視すると、被写体Ａ，Ｂの２つだけを表示することになり、バランスよく被写体を監視することができなくなってしまう。

ここで、第２の実施の形態では、時刻に伴って次のような動作が行われる。最初に、時刻Ｔ０の時点では、まだどの被写体の表示もなされていないため、全ての被写体の表示ポイントは初期状態で差はない。従って、どの被写体を表示対象として選択するかは任意に決定可能であるが、ここでは、仮に撮影画像１、撮影画像２を表示対象として選択したものとする。

この結果、時刻Ｔ０から次の選択・切り替え時刻Ｔ１までの間は、表示画面１では被写体Ａを撮影中の撮影画像１、表示画面２では被写体Ｂを撮影中の撮影画像２を表示することになる。

次に、時刻Ｔ１の時点で撮影中の被写体はＡ，Ｂ，Ｄ，Ｆである。このうち、被写体Ａ，Ｂについては、時刻Ｔ０から時刻Ｔ１の間まで選択・表示された分表示ポイントが加算されているため、被写体Ｄ，Ｆよりも表示ポイントが大きくなる。

従って、時刻Ｔ１では表示ポイントの小さな被写体Ｄ，Ｆを撮影している撮影画像３、撮影画像４を選択し、それぞれ表示画面１、表示画面２に表示する。その次に、時刻Ｔ２の時点で撮影中の被写体はＡ，Ｂ，Ｄ，Ｅである。この中で、被写体Ｅはまだ一度も表示されたことが無いため表示ポイントが最も低い。

被写体Ｂは、時刻Ｔ０からＴ１において、被写体のサイズ小で表示画面サイズの小さな表示画面２に表示されたため、図９により計算される表示サイズは小さくなる。被写体Ｄは、時刻Ｔ１からＴ２において、被写体のサイズ大で表示画面サイズの大きな表示画面１に表示されたため、表示サイズは大きくなる。被写体Ａは、時刻Ｔ０からＴ１において、被写体のサイズ小で表示画面サイズの大きな表示画面１に表示されたため、表示サイズは被写体Ｄと被写体Ｂの間の値となる。

結局、被写体Ａ，Ｂ，Ｄを比較すると被写体Ｂの表示ポイントが最も小さくなるため、時刻Ｔ２では被写体ＥとＢが選択され、それぞれに対応する撮影画像４、撮影画像２が表示画面１、表示画面２に表示される。

更にその次に、時刻Ｔ３の時点で撮影中の被写体はＡ，Ｂ，Ｃ，Ｅである。この中で、被写体Ｃはまだ一度も表示されたことが無いため表示ポイントが最も低い。被写体Ａ，Ｂ，Ｅに関しては、表示時間と表示サイズから計算される表示ポイントの値によって、どの被写体が選択されるか変わるが、ここでは、仮に被写体Ａの表示ポイントが最小であったとすると、結局、時刻Ｔ３では被写体ＣとＡが選択される。そして、それぞれに対応する撮影画像３、撮影画像１が表示画面１、表示画面２に表示される。

以上の動作の結果、表示画面１、表示画面２に表示される被写体を改めて確認すると、４台のカメラの撮影画像のうち、２つ分しか表示していないにも関わらず、各被写体Ａ〜Ｆがバランスよく監視できていることがわかる。

尚、第２の実施の形態において、ビューワ２０４の表示する映像の選択制御は、被写体の表示ポイントに応じて自動的に制御されるが、ビューワ２０４のユーザが明示的に映像の選択を指示した場合には、その指示に従ってもよい。その場合も、ユーザの選択した映像で撮影されている被写体の表示ポイントを、上記説明と同様に計算・更新することで、被写体をバランスよく監視することが可能である。

以下、第３、第４の実施の形態について説明する。

まず、図面の説明をする。尚、第１、第２の実施の形態と重複する図は省略する。

図２２は、本発明の第３の実施の形態に係る映像撮影表示システム（その２）の構成を概略的に示す図である。図２３は、図２２の映像撮影表示システムによって実行される撮影処理の手順を示すフローチャートである。図２４は、図２２における表示ポイント計算部の表示ポイントの計算式を示す図である。

図２５は、撮影ポイントに表示ポイントを加味する計算式を示す図である。図２６は、本発明の第４の実施の形態に係る映像撮影表示システム（その３）の構成を概略的に示す図である。図２７は、図２６の映像撮影表示システムによって実行される撮影処理（ａ）と表示処理（ｂ）の手順を示すフローチャートである。図２８は、図２６における表示ポイント計算部の表示ポイントの計算式を示す図である。

（第３の実施の形態）
本発明の第３の実施の形態は、複数の被写体をバランスよく撮影している場合において、ビューワ側で表示がなされないことにより、被写体をバランスよく監視できない、という課題に対応するものである。

第３の実施の形態の説明では、被写体の表示に関するポイントとして表示ポイントという用語を用いるが、用語を明確にするため、第１の実施の形態において説明されていた被写体の撮影に関するポイントを、ここでは撮影ポイントと呼ぶ。

まず、第３の実施の形態の構成について、図２２を用いて説明する。

図２２において、撮影装置２０１は、１台以上（Ｎ台、Ｎ≧１）の撮影部１０１−１〜１０１−Ｎを持つ撮影装置であり、各撮影部１０１の撮影した映像を、ネットワーク２０３を介して送信する。

ネットワーク２０３は、撮影装置２０１で撮影された映像データをビューワ（表示装置）２０４−１〜２０４−Ｍに伝送するものであり、例えばＬＡＮやインターネットが一般的に利用されている。

ビューワ２０４−１〜２０４−Ｍ（Ｍ台、Ｍ≧０）は、撮影装置２０１の送信した撮影映像をネットワーク２０３経由で受信し、表示する装置であり、受信した映像を１つ、あるいは複数表示するための表示画面２０９−１〜２０９−Ｍをそれぞれ持っている。

図２２におけるビューワ２０４−１〜２０４−Ｍは、ネットワーク２０３経由で映像を受信し、画面に表示する一般的な装置であり、本発明のための特別な機能は必要としない。また、ここで、撮影装置２０１の送信する映像を受信・表示しているビューワ２０４の台数Ｍは、一定とは限らず、時間の経過とともに増減してもよい。

図２において、撮影装置２０１は、Ｎ台の撮影部１０１−１〜１０１−Ｎ、撮影制御部１０２、均等選択制御部１０３、撮影ポイント管理部（ポイント管理部）１０６、撮影ポイントＤＢ部１０７、対象位置特定部１０８、接続制御部２１０、表示ポイント計算部２１１からなる。

ここで、Ｎ台の撮影部１０１−１〜１０１−Ｎは、それぞれ第１の実施の形態の撮影部１０１と同じであり、例えば、撮影の方向やズームを制御可能なカメラである。また、撮影ポイント管理部１０６、撮影ポイントＤＢ部１０７も第１の実施の形態と同じである。

撮影制御部１０２、対象位置特定部１０８に関しては、Ｎ＝１の場合は第１の実施の形態と同じであるが、Ｎ＞１の場合は複数の撮影部１０１に対応するため、次の機能を持つ。

Ｎ＞１の場合の撮影制御部１０２は、Ｎ台の撮影部１０１−１〜１０１−Ｎに対してそれぞれ制御信号を送り、各撮影部１０１の撮影や撮影調整機構を制御する。Ｎ＞１の場合の対象位置特定部１０８は、ＲＦＩＤのような無線タグを用いて、Ｎ台の撮影部１０１−１〜１０１−Ｎの撮影可能な位置に存在する被写体を探索し、発見した被写体の座標を取得する。

尚、対象位置特定部１０８で、被写体位置を検出する方法としては、特許文献１・非特許文献１で述べられた無線タグのようなセンサを使う方法、あるいは、特許文献２で述べられた撮影画像に対する画像認識処理を使う方法のいずれでもよい。

接続制御部２１０は、撮影部１０１−１〜１０１−Ｎで撮影された映像をネットワーク２０３経由でビューワ２０４−１〜２０４−Ｍに送信するための接続を制御しており、表示ポイント計算部２１１に対して、接続に関する情報を出力する。

表示ポイント計算部２１１は、接続制御部２１０から接続に関する情報を、均等選択制御部１０３から撮影部１０１と被写体の対応関係を受け取って、各被写体に対する表示ポイントを計算するが、その具体的な計算方法は、後に図２４を用いて説明する。

均等選択制御部１０３は、Ｎ台の撮影部１０１で撮影している被写体の撮影ポイントをそれぞれ第１の実施の形態と同様に更新する。また、均等選択制御部１０３は、各被写体の撮影ポイント値に表示ポイント計算部２１１で計算した表示ポイント値を加味したポイント値を算出し、その大小関係からＮ個の被写体を選択して、撮影制御部１０２に撮影対象の情報を送信する。

撮影ポイント値に表示ポイント値を加味する計算方法は、後に図２５を用いて説明する。また、具体的な被写体の選択方法としては、例えば、算出したポイント値の少ないものからＮ個の被写体を撮影対象として選択する。

次に、第３の実施の形態における表示ポイントの計算について、図２４を用いて説明する。表示ポイント計算部２１１においては、複数の被写体毎の表示ポイントが管理・保持されており、現在撮影の行われている各被写体に対して、図２４の式に従って更新が実施される。

図２４において、ビューワ２０４との接続時間とは、当該被写体を撮影中の映像部の映像に対して、前回の表示ポイント更新時から現在までの間にいずれかのビューワ２０４が接続されていた時間を示している。

ここでは、ビューワ２０４が接続されている映像については、ビューワ２０４で表示されているという仮定の基に、ビューワ２０４との接続時間をビューワ２０４における表示時間とみなし、表示ポイントの計算が行われている。各被写体について、ビューワ２０４との接続時間が長ければ長いほど、上記仮定から表示時間も長いとみなすことができ、表示ポイントも大きくなる。

尚、図２４の式で表示ポイントの更新を続けていくと、表示ポイントの値が非常に大きくなってしまうため、あるタイミングで表示ポイントを小さな値に初期化して対応するのがよい。あるいは、第１の実施の形態の図１６の式のように、時間の経過とともに値を減らす減衰項を掛ける方法を使用あるいは併用してもよい。

また、図２４では、いずれかのビューワ２０４との接続時間を使用しているが、複数のビューワ２０４が接続されている場合には、その分、表示ポイント値を大きくするよう、ビューワ２０４との接続時間に係数をかけて使用することも可能である。

更に、第３の実施の形態における均等選択制御部１０３で、撮影ポイントに対して表示ポイントを加味する計算について、図２５を用いて説明する。

図２５に示すように、均等選択制御部１０３では、表示ポイント計算部２１１から受け取った表示ポイントに係数をかけて撮影ポイントに加算してから、その結果のポイント値を被写体の選択に使用する。係数値の大小によって、撮影ポイント、表示ポイントのいずれの影響が被写体の選択に大きく左右するかが異なってくるが、バランスよく監視することを重視するのであれば、表示ポイントの比率を高くするのがよい。

図２４の説明で述べたように、各被写体に対してビューワ２０４との接続時間が長いほど、ビューワ２０４における表示時間が長いとみなすことができ、表示ポイントも大きくなるため、図２５で計算されるポイント値も大きくなる。

従って、均等選択制御部１０３で、図２５のポイント値が小さな被写体を選択するように制御すると、結果としてビューワ２０４での表示時間が短かった被写体が選択される可能性が高くなる。

以上で、第３の実施の形態の構成と各部の機能を説明したが、第３の実施の形態の撮影装置の動作フローを、図２３を用いて説明する。

図２３の撮影処理フローは、撮影ポイント・表示ポイントを初期化するステップＳ５０１から始まり、撮影の継続を判断するステップＳ５０８で撮影の継続をやめる判断がなされるまで、間のステップＳ５０２〜Ｓ５０７を繰り返し実行する。ステップＳ５０２〜Ｓ５０７では、次の動作を順次行う。

ステップＳ５０２は、撮影可能な被写体の識別子を取得するステップであり、撮影部１０１−１〜１０１−Ｎの撮影制御情報と対象位置特定部１０８で得られた被写体の座標から撮影可能な被写体の識別子を算出する。

ステップＳ５０３は、撮影可能な被写体の撮影ポイントと表示ポイントを取得するステップである。撮影ポイントについては、ステップＳ５０２で得られた撮影可能な被写体の識別子を基に、撮影ポイント管理部１０６を使用して撮影ポイントＤＢ部１０７を参照し、各被写体の撮影ポイントを取得する。表示ポイントについては、撮影可能な被写体の識別子を基に、表示ポイント計算部２１１において管理・保持されている表示ポイントを参照し、各被写体の表示ポイントを取得する。

ステップＳ５０４は、撮影ポイントに表示ポイントを加味したポイントの低い被写体をカメラ台数分選択するステップであり、ステップＳ５０３で得られた撮影ポイントと表示ポイントに対して、図２５の式を適用したポイント値の低い方からＮ個分選択する。

ステップＳ５０５は、カメラを制御して撮影するステップであり、ステップＳ５０４で選択されたＮ個の被写体を撮影するための撮影制御情報を基にカメラを制御し、被写体の撮影を行う。

ステップＳ５０６は、接続情報から表示ポイントを更新するステップであり、接続制御部２１０から得られる接続に関する情報を用いて、図２４の式に従って、各被写体に対する表示ポイントの更新を行う。

ステップＳ５０７は、撮影ポイントを更新するステップであり、各被写体に対して、第１の実施の形態と同様の計算により、撮影ポイントの更新を行う。

以上の動作の結果、ビューワ２０４との接続時間が短い被写体ほど表示ポイントが小さくなり、その結果、撮影対象として選択される可能性が高くなる。従って、ビューワ２０４と接続されている映像はビューワ２０４で表示されている、という仮定をおけば、表示の有無を考慮して、複数被写体をよりバランスよく撮影することが可能となる。

（第４の実施の形態）
本発明の第４の実施の形態は、複数の被写体をバランスよく撮影している場合において、ビューワ側で表示がなされないことにより、被写体をバランスよく監視できない、という課題に対応するものである。

但し、第３の実施の形態のように、ビューワと接続されている映像はビューワで表示されている、という仮定を置かず、ビューワにおける実際の表示状況をビューワから撮影装置に送信し、その情報を基に表示ポイントを計算している。

第４の実施の形態の説明では、被写体の表示に関するポイントとして表示ポイントという用語を用いるが、用語を明確にするため、第１の実施の形態において説明されていた被写体の撮影に関するポイントを、ここでは撮影ポイントと呼ぶ。

まず、第４の実施の形態の構成について、図２６を用いて説明する。

図２６において、撮影装置２０１は、１台以上（Ｎ台、Ｎ≧１）の撮影部１０１−１〜１０１−Ｎをもつ撮影装置であり、各撮影部１０１の撮影した映像を、ネットワーク２０３を介して送信する。

ネットワーク２０３は、撮影装置２０１で撮影された映像データをビューワ（表示装置）２０４−１〜２０４−Ｍに伝送するものであり、例えばＬＡＮやインターネットが一般的に利用されている。

ビューワ（表示装置）２０４−１〜２０４−Ｍ（Ｍ台、Ｍ≧０）は、撮影装置２０１の送信した撮影映像をネットワーク２０３経由で受信し、表示する装置である。ここで、撮影装置２０１の送信する映像を受信・表示しているビューワ２０４の台数Ｍは、一定とは限らず、時間の経過とともに増減してもよい。

図２６において、撮影装置２０１は、Ｎ台の撮影部１０１−１〜１０１−Ｎ、撮影制御部１０２、均等選択制御部１０３、撮影ポイント管理部（ポイント管理部）１０６、撮影ポイントＤＢ部１０７、対象位置特定部１０８、接続制御部２１０、表示情報受信部２１３、表示ポイント計算部２１１からなる。

ここで、Ｎ台の撮影部１０１−１〜１０１−Ｎは、それぞれ第１の実施の形態の撮影部１０１と同じであり、例えば、撮影の方向やズームを制御可能なカメラである。また、撮影ポイント管理部１０６、撮影ポイントＤＢ部１０７も第１の実施の形態と同じである。

撮影制御部１０２、対象位置特定部１０８、均等選択制御部１０３に関しては、第３の実施の形態と同じである。

接続制御部２１０は、撮影部１０１−１〜１０１−Ｎで撮影された映像をネットワーク２０３経由でビューワ２０４−１〜２０４−Ｍに送信するための接続を制御している。

表示情報受信部２１３は、各ビューワ（表示装置）２０４−１〜２０４−Ｍから送られてくる映像の表示情報を受信し、受け取った表示情報を表示ポイント計算部２１１に出力する。

表示ポイント計算部２１１は、表示情報受信部２１３から受け取った表示情報を用いて、表示ポイントを計算するが、その具体的な計算方法は、後に図２８を用いて説明する。

図２６において、ビューワ（表示装置）２０４−１〜２０４−Ｍは、それぞれ表示画面２０９−１〜２０９−Ｍと、表示情報送信部２１４−１〜２１４−Ｍを持つ。表示画面２０９−１〜２０９−Ｍは、撮影装置２０１の撮影した撮影映像データを表示する画面であり、１つあるいは複数の画面からなっている。表示情報送信部２１４−１〜２１４−Ｍは、各ビューワ２０４が撮影映像をどのように表示しているかに関する情報を、表示情報として撮影装置２０１に送信する。

具体的な表示情報としては、各撮影映像がビューワ２０４の画面上でどのサイズで表示されているかを示す表示画面サイズを使用する。尚、撮影映像がビューワ２０４で表示されていないこともありうるが、この場合は表示画面サイズを０とすることで、表示されていないことを示すことができる。尚、図２６においては、全てのビューワ２０４が表示情報送信部２１４を持っているが、一部のビューワ２０４が表示情報送信部２１４を持たない構成であってもよい。

第４の実施の形態における表示ポイントの計算について、図２８を用いて説明する。

表示情報受信部２１３は、各ビューワ２０４の表示情報送信部２１４−１〜２１４−Ｍの送信した表示情報、即ち、表示画面サイズ（図２８第１式）を受信し、表示ポイント計算部２１１に出力する。

表示ポイント計算部２１１においては、複数の被写体毎の表示ポイントが管理・保持されており、現在撮影の行われている各被写体に対して、図２８の式に従って更新が実施される。

まず、表示情報受信部２１３の出力する表示画面サイズを用い、図２８の第２式のように、各被写体の各ビューワにおける表示サイズを計算する。次に、図２８の第３式のように、各被写体の各ビューワにおける表示サイズと表示時間を用いて、被写体毎の表示ポイントの更新を行う。即ち、まず各ビューワ２０４毎に、各被写体の表示サイズと表示時間を乗算し、その結果を全てのビューワに対して足し合わせることで、表示ポイントの更新加算値を計算する。

ここで、表示時間とは、前回の表示ポイント更新時から今回の表示ポイント更新時までにおける、対象となる各被写体の各ビューワ２０４における表示時間である。これは、表示情報の受信タイミングから知る、あるいは、表示情報にタイムスタンプ等の時間情報を含めることで知ることが可能である。

表示時間と表示サイズをかけて全ビューワ２０４について加算した値を、更新前の表示ポイントに加算していく。従って、各被写体について、表示時間が長ければ長いほど、また、表示サイズが大きければ大きいほど、あるいは表示しているビューワ数が多ければ多いほど、表示ポイントは大きくなっていく。

このようにして、表示ポイント計算部２１１で計算された表示ポイントを図２５の式に従って加味して、均等選択制御部１０３における被写体の選択が行われる。そのため、結果として、表示時間が短い、あるいは表示サイズの小さい、あるいは表示されているビューワ数の少ない被写体が選択される可能性が高くなる。

尚、図２８の第３式で表示ポイントの更新を続けていくと、表示ポイントの値が非常に大きくなってしまうため、あるタイミングで表示ポイントを小さな値に初期化して対応するのがよい。あるいは、第１の実施の形態の図１６の式のように、時間の経過と共に値を減らす減衰項を掛ける方法を使用あるいは併用してもよい。

以上で、第４の実施の形態の構成と各部の機能を説明したが、第４の実施の形態の撮影装置と表示装置の動作フローを更に図２７を用いて説明する。

図２７（ａ）は、第４の実施の形態の撮影処理フローである。撮影処理フローは、撮影ポイント・表示ポイントを初期化するステップＳ６０１から始まり、撮影の継続を判断するステップＳ６０９で撮影の継続をやめる判断がなされるまでの間、ステップＳ６０２〜Ｓ６０８を繰り返し実行する。ステップＳ６０２〜Ｓ６０８では、次の動作を順次行う。

ステップＳ６０２は、撮影可能な被写体の識別子を取得するステップであり、撮影部１０１−１〜１０１−Ｎの撮影制御情報と対象位置特定部１０８で得られた被写体の座標から撮影可能な被写体の識別子を算出する。

ステップＳ６０３は、撮影可能な被写体の撮影ポイントと表示ポイントを取得するステップである。撮影ポイントについては、ステップＳ６０２で得られた撮影可能な被写体の識別子を基に、撮影ポイント管理部１０６を使用して撮影ポイントＤＢ部１０７を参照し、各被写体の撮影ポイントを取得する。表示ポイントについては、撮影可能な被写体の識別子を基に、表示ポイント計算部２１１において管理・保持されている表示ポイントを参照し、各被写体の表示ポイントを取得する。

ステップＳ６０４は、撮影ポイントに表示ポイントを加味したポイントの低い被写体をカメラ台数分選択するステップであり、ステップＳ６０３で得られた撮影ポイントと表示ポイントに対して、図２５の式を適用したポイント値の低い方からＮ個分選択する。

ステップＳ６０５は、カメラを制御して撮影するステップであり、ステップＳ６０４で選択されたＮ個の被写体を撮影するための撮影制御情報を基にカメラを制御し、被写体の撮影を行う。

ステップＳ６０６は、表示情報を受信するステップであり、ビューワ２０４の送信した表示情報を受信する。ここで、表示情報がネットワーク２０３経由で撮影装置２０１に到着するタイミングは、撮影装置の動作とは同期していないため、到着した表示情報は順次キューイングし、ステップＳ６０６では、このキューを読み出すことで、表示情報の受信を行う。

ステップＳ６０７は、表示情報から表示ポイントを更新するステップであり、ステップＳ６０６で得られた表示情報を用いて、図２８の式に従って、各被写体に対する表示ポイントの更新を行う。

ステップＳ６０８は、撮影ポイントを更新するステップで、各被写体に対して、第１の実施の形態と同様の計算により、撮影ポイントの更新を行う。

図２７（ｂ）は、第４の実施の形態の表示処理フロー図である。表示処理フローは、表示画面を初期化するステップＳ６１０から始まり、表示の継続を判断するステップＳ６１５で表示の継続をやめる判断がなされるまでの間、ステップＳ６１１〜Ｓ６１４を繰り返し実行する。

ステップＳ６１１は、表示の変更を判断ステップであり、例えば、ユーザからの指示により、表示の変更が行われる場合には、ステップＳ６１２、ステップＳ６１３を順次実行してから撮影映像を表示するステップＳ６１５へ進む。

ステップＳ６１１で表示の変更が行われない場合には、ステップＳ６１２、ステップＳ６１３は飛ばされ、ステップＳ６１５において、撮影映像が表示画面２０９−１〜２１２−Ｍに表示される。

ステップＳ６１１で、表示の変更が行われると判断された場合、次のステップＳ６１２は、その判断に従って実際に表示を変更するステップである。更にその次のステップＳ６１３は、表示情報を送信するステップであり、変更後の表示情報、具体的には、各撮影映像に対する表示画面サイズを表示情報送信部２１４−１〜２１４−Ｍより撮影装置２０１に対して送信する。

以上の動作の結果、ビューワ２０４において、実際に表示されている時間が短い、あるいは表示されているサイズの小さい被写体ほど表示ポイントが小さくなり、その結果、撮影対象として選択される可能性が高くなる。従って、ビューワ２０４における実際の表示状況を考慮して、複数被写体をよりバランスよく撮影することが可能となる。

また、本発明の目的は、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

本発明の第１の実施の形態に係る撮影装置の構成を概略的に示す図である。 本発明の第２の実施の形態に係る映像撮影表示システム（その１）の構成を概略的に示す図である。 図１の撮影装置によって実行される撮影処理の手順を示すフローチャートである。 図２の映像撮影表示システムによって実行される撮影処理（ａ）と表示処理（ｂ）の手順を示すフローチャートである。 図１における対象位置特定部から均等選択制御部へ送信するデータの一例を示す図である。 図１におけるポイントＤＢ部に蓄積するデータの一例を示す図である。 図１におけるポイント更新部において選択された被写体に適用されるポイント更新式の一例を示す図である。 図１における撮影制御部に送信する制御用メッセージの一例を示す図である。 図２におけるビューワの表示サイズの説明図である。 図２における表示ポイント計算部の表示ポイントの計算式の一例を示す図である。 図２の映像撮影表示システムによって実行される動作例の説明図である。 図７の更新式を用いた際のポイントの変化を表す図である。 被写体のサイズの定義の説明図である。 被写体のサイズとポイント加算量の相関図である。 撮影回数とポイント加算量の相関図である。 図１におけるポイント更新部において全被写体に適用されるポイント更新式の一例を示す図である。 総撮影回数とポイントの相関図である。 撮影対象として選択した被写体に対する更新式の一般式を示す図である。 全被写体に対して定期的に実行する更新式の一般式を示す図である。 図１の撮影装置、図２の映像撮影表示システムの定数を示す図である。 図１の撮影装置、図２の映像撮影表示システムの変数を示す図である。 本発明の第３の実施の形態に係る映像撮影表示システム（その２）の構成を概略的に示す図である。 図２２の映像撮影表示システムによって実行される撮影処理の手順を示すフローチャートである。 図２２における表示ポイント計算部の表示ポイントの計算式を示す図である。 撮影ポイントに表示ポイントを加味する計算式を示す図である。 本発明の第４の実施の形態に係る映像撮影表示システム（その３）の構成を概略的に示す図である。 図２６の映像撮影表示システムによって実行される撮影処理（ａ）と表示処理（ｂ）の手順を示すフローチャートである。 図２６における表示ポイント計算部の表示ポイントの計算式を示す図である。

符号の説明

１０１ 撮影部（撮影手段）
１０２ 撮影制御部（撮影制御手段）
１０３ 均等選択制御部（均等選択制御手段）
１０４ ポイント更新部
１０５ 撮影対象選択部
１０６ ポイント管理部（ポイント管理手段）
１０７ ポイントＤＢ部（ポイント蓄積手段）
１０８ 対象位置特定部（対象位置特定手段）
１０１−１〜１０１−Ｎ 撮影部１〜撮影部Ｎ
２０１ 撮影装置
２０２ 被写体情報送信部（被写体情報送信手段）
２０３ ネットワーク
２０４ ビューワ（表示装置）
２０５ 被写体情報受信部（被写体情報受信手段）
２０６ 表示ポイント計算部（表示ポイント計算手段）
２０７ 選択制御部（選択制御手段）
２０８ 映像選択部（映像選択手段）
２０９−１〜２０９−Ｍ 表示画面１〜表示画面Ｍ
２１０ 接続制御部
２１１ 表示ポイント計算部
２１３ 表示情報受信部
２１４−１〜２１４−Ｍ 表示情報送信部１〜表示情報送信部Ｍ

Claims (22)

1. 受信映像にどの被写体が写っているかを示す被写体情報を受信する被写体情報受信手段と、
   選択表示している映像に写っている被写体に対応する表示ポイントを計算・更新する表示ポイント計算手段と、
   受信している映像に写っている被写体のうち、表示ポイントの少ない被写体を探し、当該被写体の写っている映像を選択する選択制御手段と、
   前記選択制御手段の指示によって、複数の受信映像から一部を選択する映像選択手段と、
   を備えることを特徴とする受信映像表示装置。
2. 前記表示ポイントは、被写体の表示時間と表示サイズから計算されることを特徴とする請求項１記載の受信映像表示装置。
3. 受信映像にどの被写体が写っているかを示す被写体情報を受信する被写体情報受信ステップと、
   選択表示している映像に写っている被写体に対応する表示ポイントを計算・更新する表示ポイント計算ステップと、
   受信している映像に写っている被写体のうち、表示ポイントの少ない被写体を探し、当該被写体の写っている映像を選択する選択制御ステップと、
   前記選択制御ステップの指示によって、複数の受信映像から一部を選択する映像選択ステップと、
   を備えることを特徴とする受信映像表示方法。
4. 前記表示ポイントは、被写体の表示時間と表示サイズから計算されることを特徴とする請求項３記載の受信映像表示方法。
5. 受信映像にどの被写体が写っているかを示す被写体情報を受信する被写体情報受信モジュールと、
   選択表示している映像に写っている被写体に対応する表示ポイントを計算・更新する表示ポイント計算モジュールと、
   受信している映像に写っている被写体のうち、表示ポイントの少ない被写体を探し、当該被写体の写っている映像を選択する選択制御モジュールと、
   前記選択制御モジュールの指示によって、複数の受信映像から一部を選択する映像選択モジュールと、
   をコンピュータに実行させることを特徴とする受信映像表示プログラム。
6. 請求項５記載の受信映像表示プログラムを格納するコンピュータ読み取り可能な記憶媒体。
7. 複数の撮影手段と、
   複数の被写体の位置情報を取得する対象位置特定手段と、
   各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、計算したポイントに応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御手段と、
   前記均等選択制御手段における計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積手段と、
   前記均等選択制御手段で生成した撮影制御情報によって各撮影手段を制御する撮影制御手段と、
   各撮影手段がどの被写体を撮影しているかの情報を送信する被写体情報送信手段と、
   を備える撮影装置と、
   前記被写体情報送信手段の送信した被写体情報を受信する被写体情報受信手段と、
   選択表示している映像に写っている被写体に対応する表示ポイントを計算・更新する表示ポイント計算手段と、
   受信している撮影映像に写っている被写体のうち、表示ポイントの少ない被写体を探し、当該被写体の写っている前記撮影手段を選択する選択制御手段と、
   前記選択制御手段の指示によって、複数の前記撮影手段に対応する複数の映像から一部を選択する映像選択手段と、
   を備える受信映像表示装置と、
   からなることを特徴とする映像撮影表示システム。
8. 複数の被写体の位置情報を取得する対象位置特定ステップと、
   複数の撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、計算したポイントに応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御ステップと、
   前記均等選択制御ステップにおける計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積ステップと、
   前記均等選択制御ステップで生成した撮影制御情報によって各撮影手段を制御する撮影制御ステップと、
   各撮影手段がどの被写体を撮影しているかの情報を送信する被写体情報送信ステップと、
   前記被写体情報送信ステップの送信した被写体情報を受信する被写体情報受信ステップと、
   選択表示している映像に写っている被写体に対応する表示ポイントを計算・更新する表示ポイント計算ステップと、
   受信している撮影映像に写っている被写体のうち、表示ポイントの少ない被写体を探し、当該被写体の写っている前記撮影手段を選択する選択制御ステップと、
   前記選択制御ステップの指示によって、複数の前記撮影手段に対応する複数の映像から一部を選択する映像選択ステップと、
   からなることを特徴とする映像撮影表示方法。
9. １つ以上の撮影手段と、
   複数の被写体の位置情報を取得する対象位置特定手段と、
   各撮影手段の映像をネットワークに送信する際のネットワーク接続を制御する接続制御手段と、
   各撮影手段の映像の接続情報と被写体の位置情報から各被写体に対する表示装置の接続状況を表示ポイントとして計算する表示ポイント計算手段と、
   各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、このポイントに前記表示ポイントを加味して計算した結果に応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御手段と、
   前記均等選択制御手段における計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積手段と、
   前記均等選択制御手段で生成した撮影制御情報によって各撮影手段を制御する撮影制御手段と、
   を備えることを特徴とする撮影装置。
10. 前記表示ポイントの計算に、各撮影手段と被写体の対応関係と前記表示装置の接続時間を使用することを特徴とする請求項９記載の撮影装置。
11. １つ以上の撮影手段と、
    複数の被写体の位置情報を取得する対象位置特定手段と、
    各撮影手段の映像の表示装置側での表示状況に関する情報を前記表示装置から受信する表示情報受信手段と、
    前記表示情報受信手段で受信した表示状況に関する情報と被写体の位置情報から各被写体に対する前記表示装置の表示状況を表示ポイントとして計算する表示ポイント計算手段と、
    各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、このポイントに前記表示ポイントを加味して計算した結果に応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御手段と、
    前記均等選択制御手段における計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積手段と、
    前記均等選択制御手段で生成した撮影制御情報によって各撮影手段を制御する撮影制御手段と、
    を備えることを特徴とする撮影装置。
12. 前記表示情報受信手段で受信する表示状況に関する情報として、各撮影手段で撮影した映像の各表示装置における表示画面サイズを使用することを特徴とする請求項１１記載の撮影装置。
13. 複数の被写体の位置情報を取得する対象位置特定ステップと、
    複数の撮影手段の映像をネットワークに送信する際のネットワーク接続を制御する接続制御ステップと、
    各撮影手段の映像の接続情報と被写体の位置情報から各被写体に対する表示装置の接続状況を表示ポイントとして計算する表示ポイント計算ステップと、
    各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、このポイントに前記表示ポイントを加味して計算した結果に応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御ステップと、
    前記均等選択制御ステップにおける計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積ステップと、
    前記均等選択制御ステップで生成した撮影制御情報によって各撮影手段を制御する撮影制御ステップと、
    を備えることを特徴とする撮影方法。
14. 前記表示ポイントの計算に、各撮影手段と被写体の対応関係と前記表示装置の接続時間を使用することを特徴とする請求項１３記載の撮影方法。
15. 複数の被写体の位置情報を取得する対象位置特定ステップと、
    複数の撮影手段の映像の表示装置側での表示状況に関する情報を前記表示装置から受信する表示情報受信ステップと、
    前記表示情報受信ステップで受信した表示状況に関する情報と被写体の位置情報から各被写体に対する前記表示装置の表示状況を表示ポイントとして計算する表示ポイント計算ステップと、
    各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、このポイントに前記表示ポイントを加味して計算した結果に応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御ステップと、
    前記均等選択制御ステップにおける計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積ステップと、
    前記均等選択制御ステップで生成した撮影制御情報によって各撮影手段を制御する撮影制御ステップと、
    を備えることを特徴とする撮影方法。
16. 前記表示情報受信ステップで受信する表示状況に関する情報として、各撮影手段で撮影した映像の各表示装置における表示画面サイズを使用することを特徴とする請求項１５記載の撮影方法。
17. 複数の被写体の位置情報を取得する対象位置特定モジュールと、
    複数の撮影手段の映像をネットワークに送信する際のネットワーク接続を制御する接続制御モジュールと、
    各撮影手段の映像の接続情報と被写体の位置情報から各被写体に対する表示装置の接続状況を表示ポイントとして計算する表示ポイント計算モジュールと、
    各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、このポイントに前記表示ポイントを加味して計算した結果に応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御モジュールと、
    前記均等選択制御モジュールにおける計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積モジュールと、
    前記均等選択制御モジュールで生成した撮影制御情報によって各撮影手段を制御する撮影制御モジュールと、
    をコンピュータに実行させることを特徴とする撮影プログラム。
18. 複数の被写体の位置情報を取得する対象位置特定モジュールと、
    複数の撮影手段の映像の表示装置側での表示状況に関する情報を前記表示装置から受信する表示情報受信モジュールと、
    前記表示情報受信モジュールで受信した表示状況に関する情報と被写体の位置情報から各被写体に対する前記表示装置の表示状況を表示ポイントとして計算する表示ポイント計算モジュールと、
    各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、このポイントに前記表示ポイントを加味して計算した結果に応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御モジュールと、
    前記均等選択制御モジュールにおける計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積モジュールと、
    前記均等選択制御モジュールで生成した撮影制御情報によって各撮影手段を制御する撮影制御モジュールと、
    をコンピュータに実行させることを特徴とする撮影プログラム。
19. 請求項１７記載の撮影プログラムを格納するコンピュータ読み取り可能な記憶媒体。
20. 請求項１８記載の撮影プログラムを格納するコンピュータ読み取り可能な記憶媒体。
21. １つ以上の撮影手段と、
    複数の被写体の位置情報を取得する対象位置特定手段と、
    各撮影手段の映像の表示状況に関する情報を受信する表示情報受信手段と、
    前記表示情報受信手段で受信した表示状況に関する情報と被写体の位置情報から各被写体に対する表示状況を表示ポイントとして計算する表示ポイント計算手段と、
    各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、このポイントに前記表示ポイントを加味して計算した結果に応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御手段と、
    前記均等選択制御手段における計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積手段と、
    前記均等選択制御手段で生成した撮影制御情報によって各撮影手段を制御する撮影制御手段と、
    を備える撮影装置と、
    各撮影手段の映像の表示状況に関する情報を前記撮影装置に送信する表示情報送信手段を備える表示装置と、
    からなることを特徴とする映像撮影表示システム。
22. 複数の被写体の位置情報を取得する対象位置特定ステップと、
    複数の撮影手段の映像の表示状況に関する情報を受信する表示情報受信ステップと、
    前記表示情報受信ステップで受信した表示状況に関する情報と被写体の位置情報から各被写体に対する表示状況を表示ポイントとして計算する表示ポイント計算ステップと、
    各撮影手段の撮影制御情報と被写体の位置情報から各被写体の撮影状況を示すポイントを計算し、このポイントに前記表示ポイントを加味して計算した結果に応じて、各被写体がバランスよく撮影される撮影制御情報を生成する均等選択制御ステップと、
    前記均等選択制御ステップにおける計算で使用するためにポイントを管理・蓄積するポイント管理・蓄積ステップと、
    前記均等選択制御ステップで生成した撮影制御情報によって各撮影手段を制御する撮影制御ステップと、
    各撮影手段の映像の表示状況に関する情報を前記表示情報受信ステップに送信する表示情報送信ステップと、
    からなることを特徴とする映像撮影表示方法。

Images