JP2007067510A - 映像撮影システム - Google Patents

Abstract

【課題】 各カメラシステム１（１Ａ〜１Ｅ）では、手動による操作なしで、継続的に撮影対象者の顔あるいは顔を中心とした映像を継続的に撮影することができる。
【解決手段】 各カメラシステム１（１Ａ〜１Ｅ）は、各カメラ１１（１１Ａ〜１１Ｅ）により撮影した映像から顔画像を検出し、その検出した顔画像と予め登録されている撮影対象者の顔画像とを顔照合し、その顔照合が成功した場合には当該映像から人物の位置を検出し、その検出した人物の位置に応じて各カメラ１１（１１Ａ〜１１Ｅ）の撮影位置を制御するようになっている。
【選択図】 図２

Description

本発明は、たとえば、動きのある人物などの被写体を追尾し、その被写体の映像をビデオカメラにより継続的に撮影する映像撮影システムに関する。

従来、特定の被写体を継続的に撮影する映像撮影システムとしては、１台のビデオカメラで人物を追尾して撮影をする自動追尾ビデオカメラシステムがある（例えば、特許文献１）。このような従来のビデオカメラシステムでは、被写体の動きを追尾して、１台のビデオカメラが被写体を継続的に撮影する。しかしながら、上記のような自動追尾ビデオカメラシステムでは、単に特定の被写体を１台のビデオカメラで追尾して撮影するため、特定のアングルでしか被写体を撮影できなかったり、被写体の映像が撮影できない死角が多かったりするという問題点がある。

また、従来は、さまざまなアングルから特定の人物等の１つの被写体を撮影する場合、複数の場所に設置した複数のビデオカメラを用いて１つの被写体を撮影し、人間が複数台のカメラで撮影した映像のなかから１つの映像を選ぶという方法が用いられている。しかしながら、複数台のビデオカメラが撮影している映像から１つの映像を選ぶ作業を手動で継続的に行うのは難しいという問題点がある。また、このような方法では、被写体の急激に動き等に応じて映像を切り換える作業を人手で行うには難しいという問題点もある。
特開２００４−１１２６１５号公報

この発明は、上記のような問題点を解決するものであり、特定の撮影対象者の映像として最適な映像を継続的に撮影することができる映像撮影システムを提供することを目的とする。

この発明の一形態としての映像撮影システムは、映像を撮影する撮影手段と、この撮影手段で撮影された映像から人物の生体情報を検出し、検出した人物の生体情報と予め設定されている撮影対象者の生体情報とを照合する照合手段と、この照合手段による生体情報の照合が成功した前記撮影手段により撮影された前記撮影対象者の位置を検出する位置検出手段と、この位置検出手段により検出した前記撮影対象者の位置に基づいて前記撮影手段による撮影位置を制御する制御手段とを有する。

この発明の一形態としての映像撮影システムは、映像を撮影する複数の撮影手段と、各撮影手段で撮影された映像からそれぞれ人物の顔画像を検出し、検出した人物の顔画像と予め設定されている撮影対象者の顔画像とを照合する顔照合手段と、この顔照合手段による各撮影手段で撮影した各映像に対するそれぞれの顔画像の照合結果に基づいて各撮影手段が撮影した各映像のうち前記撮影対象者の顔画像を含む１つの映像を選択する映像選択手段と、この映像選択手段により選択した１つの映像を出力する映像出力手段とを有する。

この発明の一形態としての映像撮影システムは、複数のカメラシステムと映像制御システムとを有するシステムであって、各カメラシステムは、映像を撮影する撮影手段と、この撮影手段で撮影された映像から人物の顔画像を検出し、検出した人物の顔画像と予め設定されている撮影対象者の顔画像とを照合する顔照合手段と、前記撮影手段で撮影した映像に対する顔画像の照合結果に基づいて前記撮影対象者の位置を検出する位置検出手段と、前記位置検出手段により検出した前記撮影対象者の位置に基づいて各撮影手段による撮影位置を制御する制御手段と、前記撮影手段により撮影された映像、および、前記顔照合手段による顔画像の照合結果を前記映像制御システムへ送信する送信手段と、を有し、前記映像制御システムは、各カメラシステムからの顔画像の照合結果に基づいて、各カメラシステムからの各映像のうち前記撮影対象者の顔画像を含む１つの映像を選択する映像選択手段と、この映像選択手段により選択した１つの映像を出力する映像出力手段とを有する。

この発明によれば、特定の撮影対象者の映像として最適な映像を継続的に撮影することができる映像撮影システムを提供することができる。

この発明を実施するための最良の形態について図面を参照して詳細に説明する。
図１は、この発明の実施の形態に係る映像撮影システムの構成例を概略的に示す図である。
図１に示すように、映像撮影システムは、複数のカメラシステム１（１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ）と映像制御システム２とから構成される。また、各カメラシステム１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅと映像制御システム２とは、通信回線３を介して接続されている。各カメラシステム１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅにより撮影された映像は、通信回線３を介して映像制御システム２へ送信される。

各カメラシステム１（１Ａ〜１Ｅ）は、それぞれカメラ１１（１１Ａ〜１１Ｅ）、撮影制御装置１２（１２Ａ〜１２Ｅ）、および、撮影位置変更装置１３（１３Ａ〜１３Ｅ）により構成されている。
上記カメラ１１（１１Ａ〜１１Ｅ）は、撮影の対象となる領域を種々の角度から撮影するような位置に設置される。例えば、図１に示すように、スポーツ会場のような広い会場で特定の人物（撮影対象者）を撮影する場合を想定する。この場合、各カメラ１１（１１Ａ〜１１Ｅ）は、撮影対象者が会場のどの位置にいても、何れかのカメラ１１Ａ〜１１Ｅが撮影対象者の顔を撮影できるような位置に設置される。

上記撮影制御装置１２（１２Ａ〜１２Ｅ）は、上記カメラ１１（１１Ａ〜１１Ｅ）により撮影した映像に基づいて種々の処理を行うものである。上記撮影制御装置１２（１２Ａ〜１２Ｅ）は、上記カメラ１１（１１Ａ〜１１Ｅ）が撮影した映像から人物を検知したり、上記カメラ１１から撮影対象者への方向を検出したり、上記カメラ１１から撮影対象者までの距離を算出したりするものである。また、上記撮影制御装置１２（１２Ａ〜１２Ｅ）は、上記撮影位置変更装置１３（１３Ａ〜１３Ｅ）によって上記カメラ１１（１１Ａ〜１１Ｅ）の撮影位置を制御する機能も有している。
上記撮影位置変更装置１３（１３Ａ〜１３Ｅ）は、上記撮影制御装置１２（１２Ａ〜１２Ｅ）による制御に基づいて上記カメラ１１（１１Ａ〜１１Ｅ）の撮影位置を変更するものである。

上記映像制御システム２は、各カメラシステム１（１Ａ〜１Ｅ）により撮影した複数の映像を制御するシステムである。上記映像制御システム２では、各カメラシステム１（１Ａ〜１Ｅ）により撮影した複数の映像から１つの映像を選択し、外部へ出力する。言い換えると、上記映像制御システム２では、適宜、最適な１つの映像を外部へ出力するものであり、各カメラシステム１（１Ａ〜１Ｅ）により撮影した複数の映像から外部へ出力する１つの映像を切り替えるシステムである。

次に、各カメラシステム１（１Ａ〜１Ｅ）の構成について詳細に説明する。
図２は、各カメラシステム１（１Ａ〜１Ｅ）の構成例を概略的に示す図である。
各カメラシステム１（１Ａ〜１Ｅ）は、上述しように、カメラ１１（１１Ａ〜１１Ｅ）、撮影制御装置１２（１２Ａ〜１２Ｅ）および撮影位置変更装置１３（１３Ａ〜１３Ｅ）から構成されている。また、上記撮影制御装置１２（１２Ａ〜１２Ｅ）は、図２に示すように、人物検出部（顔検出部）２１、人物認識部（顔照合部）２２、制御部２３、撮影位置検出部２４、および、通信インターフェース部２５などを有している。

上記人物検出部２１は、上記カメラ１１が撮影した映像から人物の生体情報（人物らしい画像）を検出するものである。上記人物認識部２２は、上記人物検出部２１により検出した人物を識別するものである。上記人物検出部２１および上記人物認識部２２は、人物の生体情報を検出して、検出した生体情報による生体照合を行なう照合手段として機能する。
なお、本実施の形態では、人物の生体情報として顔画像を用いるものとする。したがって、本実施の形態では、上記人物検出部２１は、上記カメラ１１が撮影した映像から人物の顔を検出する顔検出部であり、上記人物認識部２２は、上記人物検出部２１により検出した人物の顔（顔画像）が予め設定されている人物の顔（顔画像）と一致するか否かを判定する顔照合部であるものとする。

上記制御部２３は、上記撮影制御装置１２全体の制御を司るものである。上記制御部２３は、主に、撮影対象者の位置を判断する位置検出機能（位置検出手段）、上記カメラ１１の撮影位置を制御する撮影位置制御機能（撮影位置制御手段）などを有している。また、上記制御部２３では、撮影対象者の位置を検出する位置検出機能として、上記カメラ１１から撮影対象者の方向を検出する方向検出機能（方向検出手段）、上記カメラ１１と撮影対象者との距離を算出する距離算出機能（距離算出手段）、および、方向と距離とに基づいて撮影対象者の位置を判断する位置判断機能（位置判断手段）などを有している。

上記撮影位置検出部２４は、上記カメラ１１が撮影している撮影位置を検出するものである。上記撮影位置検出部２４は、上記カメラ１１からの情報に基づいて撮影している位置（方向、焦点距離、ズーム倍率など）を検出する。また、上記制御部２３では、上記撮影位置検出部２４により検出される上記カメラ１１の現在の撮影位置と、上記位置検出機能により検出される撮影対象者の位置とに基づいて上記カメラ１１の撮影位置を制御するようになっている。

上記通信インターフェース部２５は、上記通信回線３を介して上記映像制御システムあるいは他のカメラシステム１とのデータ通信を行うためのインターフェースである。上記通信インターフェース部２５では、上記カメラ１１にて撮影した映像を上記映像制御システム２へ転送する機能、他のカメラシステムあるいは上記映像制御システム２からの情報を共有（受信）する機能などを実現している。また、上記制御部２３では、上記通信インターフェース部２５により他のカメラシステム（あるいは映像制御システム）から取得する撮影対象者の位置を示す情報と上記撮影位置検出部２４により検出される上記カメラ１１の現在の撮影位置とに基づいて、上記カメラ１１の撮影位置を制御する機能も有している。

次に、上記映像制御システム２の構成について説明する。
図３は、上記映像制御システム２の構成例を概略的に示す図である。
上記映像制御システム２は、図３に示すように、映像制御装置３１、映像収集装置３２、映像表示装置３３、通信インターフェース装置３４、および、映像伝送装置３５などから構成されている。
上記映像制御装置３１は、映像制御システム２全体を制御するものである。上記映像制御装置３１では、複数の映像から１つの映像を選択する映像選択機能（映像選択手段）を有している。また、上記映像制御装置３１は、各カメラシステム１（１Ａ〜１Ｅ）が判断した人物の位置情報あるいは顔照合の結果などを総合的に判断して人物の位置を判定する機能なども有している。この実施の形態では、上記映像制御装置３１は、映像選択機能として、各カメラシステム１（１Ａ〜１Ｅ）からの情報（人物の位置情報あるいは顔照合の結果等）に基づいて１つの映像を自動的に選択するものとする。

なお、上記映像制御装置３１には、オペレータが特定の映像を選択するための操作部（図示しない）を具備するようにしても良い。この場合、上記映像制御装置３１は、オペレータからの指示に応じて、オペレータが手動で映像を選択するモードと映像制御装置３１が映像を自動的に判断するモードとを切り替えるようにしても良い。すなわち、上記映像制御装置３１は、手動で映像を選択するモードでは、オペレータが選択した映像を上記映像伝送装置３５により外部へ出力し、映像を自動的に選択するモードとでは、後述する選択機能によって自動的に選択した映像を上記映像伝送装置３５により外部へ出力するようにすれば良い。

上記映像収集装置３２は、複数の映像を収集する装置である。上記映像収集装置３２では、各カメラシステム１（１Ａ〜１Ｅ）で撮影した各映像を上記通信インターフェース装置３４を介して収集するようになっている。
上記映像表示装置３３は、複数の映像を表示する装置である。図２に示す例では、上記映像表示装置３３では、上記映像収集装置３２により収集した各カメラシステム１（１Ａ〜１Ｅ）で撮影した複数の映像、および、上記映像制御装置３１により選択された特定の映像を同時に表示するようになっている。

上記通信インターフェース装置３４は、各カメラシステムとのデータ通信を行うための装置である。上記通信インターフェース装置３４では、各カメラシステムから映像を受信する。また、上記通信インターフェース装置３４では、各カメラシステムで検出した撮影対象者の位置情報、顔検出及び顔照合の結果などを示す情報を受信する機能、あるいは、情報を各カメラシステムへ配信する機能も有している。
上記映像伝送装置３５は、映像を外部へ出力する装置（映像出力手段）である。上記映像伝送装置３５では、上記映像制御装置３１により選択された特定の映像を外部へ出力するようになっている。

上記映像制御装置３１では、各カメラシステムで撮影した各映像から１つの映像を選択し、選択した映像を上記映像伝送装置３５により外部へ出力する機能を有している。すなわち、各カメラシステム１Ａ〜１Ｅで撮影された各映像は、上記通信インターフェース装置３４により映像制御システム２に供給される。上記通信インターフェース装置３４により受信した各カメラシステム１Ａ〜１Ｅからの複数の映像は、上記映像収集装置３２により収集され、上記映像表示装置３３に表示される。また、上記映像制御装置３１は、上記映像収集装置３２により収集した複数の映像から１つの映像を選択する。この選択された映像は、選択中の映像として上記映像表示装置３３に表示されるとともに、上記映像伝送装置３５により外部へ出力される。

次に、上記のように構成される映像撮影システムの適用例について説明する。
以下の説明では、図１に示すような野球場のような広い会場において特定の選手（撮影対象者）を撮影して放映する場合を想定する。この場合、各カメラシステム１（１Ａ〜１Ｅ）は、会場の各所に設置される。各カメラシステム１（１Ａ〜１Ｅ）は、それぞれの設置位置から当該会場内の撮影対象者を撮影し、撮影した映像を種々の情報とともに上記映像制御システム２へ出力する。上記映像制御システム２では、各カメラシステム１（１Ａ〜１Ｅ）で撮影した映像のなかから１つの映像だけを選んで外部へ出力（放映）する。また、本実施の形態では、カメラシステム１Ａのカメラ１１Ａは、会場全体を撮影するものとし、他のカメラシステム１Ｂ〜１Ｅのカメラ１１Ｂ〜１１Ｅは、特定の人物（予め撮影対象として設定した人物の顔を含む映像）を撮影するものとする。

すなわち、このような構成の映像撮影システムでは、撮影したい人物の顔画像を予め登録した複数のカメラシステムを使って撮影対象者を撮影する。各カメラシステム１Ａ〜１Ｅの各カメラ１１Ａ〜１１Ｅは、それぞれ設置位置及び撮影する向きが違うため、特定の人物の顔を含む映像（撮影対象者のほぼ正面の映像）を同時に撮影することができない。しかしながら、会場を取り囲むように各所に設置した複数のカメラ１１Ｂ、カメラ１１Ｃ、カメラ１１Ｄ、カメラ１１Ｅが当該会場内における撮影対象者を中心とした映像を撮影するため、１台もしくは２台のいずれかのカメラが撮影対象者のほぼ正面の映像を撮影することが可能である。また、撮影対象者のほぼ正面の映像が撮影されているかは、各カメラシステムが撮影した映像と予め登録されている撮影対象者の顔画像との顔照合の結果などにより判断されるようになっている。

このような構成では、各カメラシステム１Ｂ〜１Ｅには、撮影対象とする人物の顔画像が予め登録される。各カメラシステム１Ｂ〜１Ｅでは、各カメラにより映像を継続的に撮影して上記映像制御システム２へ出力するとともに、撮影した映像から人物の顔画像の検出（顔検出処理）、および、検出した顔画像と予め登録されている顔画像との照合（顔照合処理）を行う。なお、各カメラシステムでの顔検出処理及び顔照合処理は、各カメラによる映像の撮影中において、映像の撮影と並行して繰り返し実行されるものである。つまり、各カメラシステムでの映像の撮影は連続的に行われるが、各カメラシステムでの顔検出処理及び顔照合処理は、たとえば、所定の間隔で行うようにしても良い。

上記のような顔照合が成功したカメラシステムでは、検出した顔画像および顔照合の結果に基づいて、当該映像を撮影したカメラから撮影対象者への方向を検出するとともに、当該映像を撮影したカメラから人物までの距離を算出する。カメラからの人物の方向と距離とが得られると、当該カメラシステムでは、カメラの現在位置（この場合はカメラを固定しているためカメラの設置位置）と、上記カメラからの人物までの方向と、上記カメラから人物までの距離等とに基づいて撮影対象者の位置を判断する。

撮影対象者の位置を判断すると、当該カメラシステムでは、撮影対象者の位置に基づいてカメラの撮影位置（撮影方向と撮影距離）を制御する。これにより、当該カメラシステムでは、予め設定されている人物を追尾して継続的に撮影することが可能となる。また、上記のような顔照合が成功したカメラシステムでは、判定した人物の位置を示す情報をネットワーク経由で他のカメラシステムあるいは映像制御システム２へ出力するようになっている。

また、上記のような顔照合が失敗したカメラシステム、つまり、撮影対象とする人物の顔画像が検出できなかったカメラシステムは、他のカメラシステムあるいは映像制御システム２から受信した人物の位置情報に基づいてカメラの撮影位置を制御する。すなわち、上記のように、顔照合が成功したカメラシステムでは、人物の位置を示す情報をネットワーク経由で出力している。すなわち、本映像撮影システム全体としては、各カメラシステムが他のカメラシステムで判断した人物の位置を示す情報を共有している。
これにより、上記顔照合が失敗したカメラシステムでは、他のカメラシステムにより判断した人物の位置情報に基づいてカメラの撮影位置を制御することができ、撮影対象者の顔を撮影できないカメラシステムも撮影対象者の位置を中心とした映像を撮影することができるようになっている。

なお、撮影対象者の位置を示す情報は、各カメラシステム１（１Ａ〜１Ｅ）が検出した撮影対象者の位置を示す情報を上記映像制御システム２が一旦取得して統合し、上記映像制御システム２から各カメラシステム１（１Ａ〜１Ｅ）へ配信するようにしても良い。

次に、各カメラシステム１Ｂ〜１Ｅの動作について詳細に説明する。
図４は、各カメラシステム１Ｂ〜１Ｅにおけるカメラ１１Ｂ〜１１Ｅの制御に係る動作例を説明するためのフローチャートである。
まず、各カメラシステム１（１Ｂ〜１Ｅ）には、撮影対象となる人物の顔画像が予め登録される（ステップＳ１１）。たとえば、撮影対象なる人物の顔画像は、上記映像制御システム２から各カメラシステム１Ｂ〜１Ｅに配信し、各カメラシステム１に登録するようにしても良い。この状態において、上記カメラ１１（１１Ｂ〜１１Ｅ）が撮影した映像は、上記通信インターフェース部２５により通信回線３を介して上記映像制御システム２に送信されるとともに、上記顔検出部２１に供給される。

また、上記撮影位置検出部２４では、当該映像を撮影した際のカメラ１１の状態を検出し、検出したカメラ１１の状態を示す情報を当該映像の撮影位置を示す情報として上記制御部２３へ通知している（ステップＳ１２）。たとえば、上記撮影位置検出部２４は、当該映像の撮影位置を示す情報として、当該映像を撮影した際のカメラ１１の向き、焦点距離、ズーム倍率などの情報を上記制御部２３へ通知している。

上記カメラ１１にて撮影した映像を取得した顔検出部２１では、上記カメラ１１が撮影した映像から人物の顔らしい画像（顔画像）を検出する顔検出処理を行う（ステップＳ１３）。上記顔検出部２１により撮影した映像から顔画像が検出されると（ステップＳ１４、ＹＥＳ）、上記顔照合部２２は、カメラ１１にて撮影した映像から検出した顔画像と予め登録されている顔画像とを照合する顔照合処理を行う（ステップＳ１５）。また、上記顔検出処理により顔画像が検出できなかった場合（ステップＳ１４、ＮＯ）、上記顔検出部２１は、上記顔照合部２２を介して撮影対象者の顔が検出できなかった旨を上記制御部２３へ通知する。

上記顔照合処理による顔照合が成功した場合、つまり、上記カメラ１１が撮影した映像から撮影対象者の顔が検出できた場合（ステップＳ１６、ＹＥＳ）、上記顔照合部２２は、上記制御部２３へ顔照合が成功した旨を通知する。この際、上記顔照合部２２は、撮影対象者の位置を判断するための情報として、顔画像の検出結果や顔照合の結果などを示す情報も上記制御部２３へ通知する。また、上記顔照合処理による顔照合が失敗した場合、つまり、上記カメラ１１が撮影した映像から検出した顔画像が予め登録されている撮影対象者の顔画像と一致ないと判定した場合（ステップＳ１６、ＮＯ）、上記顔照合部２２は、顔画像の照合が失敗した旨を上記制御部２３へ通知する。

上記顔照合部２２から顔画像の照合が成功した旨の通知を受けた制御部２３は、撮影対象者の位置を検出する位置検出処理を行う（ステップＳ１８）。この位置検出処理として、上記制御部２３は、方向検出処理（ステップＳ１９）、距離算出処理（ステップＳ２０）、および、位置判断処理（ステップＳ２１）を行う。上記方向検出処理は、カメラ１１から撮影対象者への方向を検出する処理であり、上記距離算出処理は、カメラ１１から撮影対象者までの距離を算出する距離算出処理である。また、上記位置判断処理は、上記方向検出処理により検出した方向と上記距離算出処理により算出した距離とに基づいて人物の位置を判断する処理である。

すなわち、上記顔照合部２２から顔照合が成功すると、上記制御部２３は、上記方向検出処理として、上記撮影位置検出部２４からの情報により得られるカメラ１１の撮影方向と、当該映像における上記顔検出処理により検出した顔画像の位置（たとえば、顔画像の中心位置）とに基づいて、当該カメラ１１から撮影対象者への方向を検出する（ステップＳ１９）。

さらに、上記制御部２３は、上記距離算出処理として、上記撮影位置検出部２４からの情報により得られるカメラ１１の撮影位置（焦点位置、ズーム倍率など）の情報、当該映像における上記顔検出処理により検出した顔画像の大きさ（あるいは、人物全体の大きさ）、および、予め設定されている人物の顔画像の大ききなどの情報に基づいて、当該カメラ１１から撮影対象者までの距離を推定（算出）する（ステップＳ２０）。

なお、他のカメラシステムでも撮影対象者の顔が検出されている場合、つまり、複数のカメラで撮影した映像から撮影対象者の顔が検出されている場合、それらのカメラの位置関係と各カメラから撮影対象者への方向とに基づいて各カメラから撮影対象者までの距離を判断するようにしても良い。ここでは、カメラの位置を固定していることを想定しているため、各カメラの位置および各カメラ間の距離は、予め決められる。従って、各カメラ間の距離と各カメラから撮影対象者への方向とに基づいて各カメラから人物までの距離が算出できる。

上記のような方向検出処理による撮影対象者の方向と距離算出処理による撮影対象者までの距離とが得られると、上記制御部２３は、位置判断処理として、当該カメラの設置位置、当該カメラから撮影対象者への方向、及び、当該カメラから撮影対象者までの距離に基づいて撮影対象者の位置を判断する（ステップＳ２１）。なお、他のカメラシステムでも撮影対象者の位置が検出されている場合、上記制御部２３では、それらの他のカメラシステムで得られた撮影対象者の位置情報を加味して撮影対象者の位置を判断するようにしても良い。

上記のような人物の位置検出処理により撮影対象となる人物の位置が検出されると、上記制御部２３は、当該カメラシステム１における顔照合処理の結果と人物の位置検出処理により検出した撮影対象者の位置情報とを上記通信インターフェース部２５および上記通信回線３を介して上記映像制御システム２および他のカメラシステム１へ出力する（ステップＳ２２）。
さらに、上記人物の位置検出処理により撮影対象となる人物の位置を検出すると、上記制御部２３は、検出した撮影対象者の位置情報に基づいて上記撮影位置変更装置１３により上記カメラ１１の撮影位置（向き、焦点距離、ズーム倍率など）を制御する（ステップＳ２３）。

また、上記顔検出処理により映像から人物の顔が検出できなかった場合（ステップＳ１４、ＮＯ）、あるいは、上記顔照合処理により顔検出処理で検出した顔画像と予め設定されている撮影対象者の顔画像との照合が失敗した場合（ステップＳ１６、ＮＯ）、上記制御部２３は、他のカメラシステム１で検出した撮影対象者の位置情報に基づいて上記撮影位置変更装置１３によりカメラ１１の撮影位置を制御する（ステップＳ２４）。

本映像撮影システムでは、特定のカメラシステムで検出した人物の位置情報は、上記通信回線３を介して各カメラシステムで共有するようになっている。従って、上記制御部２３は、撮影した映像から撮影対象者の顔が検出できなかった場合、ネットワーク経由で受信した他のカメラシステム１で検出された撮影対象者の位置情報に基づいて上記カメラ１１の撮影位置を制御する。

上記ステップＳ１２〜Ｓ２４の処理は、上記カメラ１１が映像を撮影している間に繰り返し実行される。これにより、各カメラシステム１のカメラ１１は、継続的に予め登録されている撮影対象者の位置に応じた撮影位置に制御され、継続的に撮影対象者を中心した映像を撮影することが可能となる。

上記のように、各カメラシステムは、カメラにより撮影した映像から顔画像を検出し、その検出した顔画像と予め登録されている撮影対象者の顔画像とを顔照合し、その顔照合が成功した場合には撮影対象者の位置を検出し、その検出した人物の位置に応じて上記カメラの撮影位置を制御するようになっている。これにより、各カメラシステムでは、手動による操作なしで、継続的に撮影対象者の顔あるいは顔を中心とした映像を継続的に撮影することができる。

さらに、各カメラシステムでは、上記顔照合が失敗した場合には他のカメラシステムにおいて検出された撮影対象者の位置に基づいて上記カメラの撮影位置を制御するようになっている。これにより、撮影対象者の顔が撮影できない状態のカメラシステムであっても、撮影対象者の人物の位置に応じてカメラの撮影位置を制御することができ、手動による操作なしで、継続的に撮影対象者の位置を中心とした映像を継続的に撮影することができる。さらに、各カメラが撮影対象者を中心とした映像を撮影しているため、撮影対象者の急激な動きをしても、様々な角度から撮影対象者を撮影することができる。

次に、上記映像制御システム２の動作について詳細に説明する。
上記映像制御システム２では、上述したように、各カメラシステム１Ａ〜１Ｅの各カメラ１１Ａ〜１１Ｅで撮影した各映像を収集するとともに、収集した複数の映像から１つの映像を選択し、選択した映像を映像表示装置３３により表示したり、映像伝送装置３５により外部へ出力したりする。

すなわち、上記映像制御システム２では、各カメラシステム１Ａ〜１Ｅが撮影したそれぞれの映像を上記通信回線３及び上記通信インターフェース装置３４を介して上記映像収集装置３２により収集している。これとともに、上記映像制御システム２では、各カメラシステム１Ａ〜１Ｅにおける顔照合の結果及び当該映像から検出した人物の位置情報などのデータを上記通信回線３及び上記通信インターフェース装置３４を介して上記映像制御装置３１により収集している。

上記映像収集装置３２が各カメラシステム１Ａ〜１Ｅから収集した各映像は、リアルタイムに映像表示装置３３により表示される。たとえば、図３に示す例では、上記映像表示装置３３は、上記映像収集装置３２により収集した各カメラシステム１Ａ〜１Ｅで撮影した各映像をそれぞれ同時に表示するようになっている。また、上記映像表示装置３３は、上記映像制御装置３１により選択された１つの映像（選択中の映像）を各カメラシステム１Ａ〜１Ｅから収集した各映像とともに表示するようになっている。つまり、上記映像制御装置３１は、各カメラシステム１Ａ〜１Ｅから収集した各映像から１つの映像を選択し、選択した映像を選択中の映像として映像表示装置３３に表示するようになっている。

また、上記映像制御装置３１が選択した映像は、上記映像伝送装置３５を介して外部へ出力されるようになっている。たとえば、上記映像制御システム２が指定（選択）した１つの映像を放映する場合、上記映像制御装置３１により選択された映像が放映されることとなる。

以下、上記のような映像制御システム２における映像の選択処理について説明する。

図５は、上記映像制御システム２における映像の選択処理の動作例を説明するためのフローチャートである。
まず、上記映像制御装置３１は、上記通信インターフェース装置３４により各カメラシステム１Ａ〜１Ｅから顔照合結果及び人物の位置情報を収集する（ステップＳ３１）。

各カメラシステムにおける顔照合結果及び人物の位置情報を取得すると、上記映像制御装置３１は、各カメラシステムにおける顔照合結果に基づいて撮影対象者（予め各カメラシステムに顔画像が設定されている人物）の顔画像の照合が成功したカメラシステムが存在するか否かを判断する（ステップＳ３２）。

この判断により撮影対象者の顔画像の照合が成功したカメラシステムが存在しないと判断した場合（ステップＳ３２、ＮＯ）、上記映像制御装置３１は、予め設定されている特定のカメラの映像を選択する（ステップＳ３３）。ここでは、人物が検出できない場合、特定のカメラの映像を選択するように設定しておいても良いし、現在選択中のカメラの映像をそのまま選択するように設定しておいても良い。

たとえば、上述した適用例のように、カメラ１１Ａが会場全体を撮影し、他のカメラ１１Ｂ〜１１Ｅが撮影対象者の位置に応じた撮影位置を撮影するように構成されているシステムでは、人物が検出できない場合には、会場全体を撮影しているカメラ１１Ａを選択するように設定しても良い。この場合、撮影対象者の位置が検出できくなっても、会場全体の映像を選択することが可能となる。これにより、たとえば、何れかのカメラシステム１Ｂ〜１Ｅの不具合により撮影対象者の位置が検出できくなった場合、撮影対象者が会場内から退場した場合、あるいは、撮影対象者の顔が全てのカメラシステム１Ｂ〜１Ｅの死角にはいった場合などであっても、会場全体の映像を選択することができ、不自然な映像を選択してしまうことを防止できる。

また、上記判断により撮影対象者の顔画像の照合が成功したカメラシステムが存在すると判断した場合（ステップＳ３２、ＹＥＳ）、上記映像制御装置３１は、撮影対象者の顔画像の照合が成功したカメラシステムが複数であるか否かを判断する（ステップＳ３４）。この判断により撮影対象者の顔画像の照合が成功したカメラシステムが複数でないと判断した場合、つまり、撮影対象者の顔画像の照合が成功したカメラシステムが１つだけであると判断した場合（ステップＳ３４、ＮＯ）、上記映像制御装置３１は、撮影対象者の顔画像の照合が成功したカメラシステムのカメラの映像を選択する（ステップＳ３５）。

また、上記判断により撮影対象者の顔画像の照合が成功したカメラシステムが複数であると判断した場合（ステップＳ３４、ＹＥＳ）、上記映像制御装置３１は、それらの撮影対象者の顔画像の照合が成功した各カメラシステムの各カメラの映像から１つの映像を選択する処理を行う（ステップＳ３６）。この選択処理では、各カメラの設置位置、人物の位置、照合結果、または、動作予測などに基づいて、撮影対象者の顔を検出した各カメラシステムの各カメラの映像から１つの映像を選択する。この選択処理については、以下のような方法が適用できる。

たとえば、上記ステップＳ３６の選択処理としては、撮影対象者の位置に最も近い位置のカメラの映像を選択するようにしても良い。この場合、上記映像制御装置３１では、最も撮影対象者に近い位置のカメラが撮影した映像を選択することができる。また、上記のような撮影対象者までの距離に基づく映像の選択は、各カメラシステムから各カメラから人物までの距離、人物の位置、あるいはカメラの位置などの情報を取得することにより実現できる。つまり、各カメラシステムから取得する情報に基づいて各カメラから撮影対象者までの距離を判定し、それらの距離のうち最も短い距離のカメラ（最も撮影対象者に近いカメラ）が撮影した映像を選択するようにすれば良い。

なお、各カメラから撮影対象者までの距離は、上記距離算出処理により算出した距離を示す情報を各カメラシステムから取得するようにしても良いし、各カメラの設置位置と撮影対象者の位置とに基づいて算出するようにしても良い。また、各カメラから撮影対象者までの距離を算出するには、各カメラの位置が固定である場合には各カメラの位置を予め設定しておき、各カメラシステムから取得する撮影対象者の位置とから算出し、カメラの位置が固定でない場合には、各カメラシステムからる撮影対象者の位置とともに各カメラの位置を示す情報を取得し、各カメラの位置と撮影対象者の位置とから算出することが可能である。

また、上記ステップＳ３６の選択処理としては、各カメラシステムにおける顔照合処理の過程で得られる照合度に基づいて映像を選択するようにしても良い。この場合、上記映像制御装置３１では、最も撮影対象者の顔が確実に映っている映像を選択することができる。また、上記のような照合度に基づく映像の選択は、各カメラシステムから顔照合の結果として映像から検出した顔画像と所定の顔画像との照合度を取得することにより実現できる。つまり、各カメラシステムから顔照合の結果として照合度を取得し、それらの照合度のうち最も高い照合度の各カメラシステムのカメラが撮影した映像を選択するようにすれば良い。

また、上記ステップＳ３６の選択処理としては、撮影対象者の位置の変化による撮影対象者の動作予測に基づいて最適な位置のカメラの映像を選択するようにしても良い。この場合、撮影対象者の動きに応じた最適な映像を選択することができる。また、上記のような動作予測に基づく映像の選択は、各カメラシステムから継続的に取得する撮影対象者の位置情報を蓄積しておき、蓄積している撮影対象者の位置情報から当該撮影対象者の動作を予測することより実現できる。つまり、上記映像制御装置３１は、撮影対象者の位置を継続的に監視し、撮影対象者の位置の計時変化に基づいて撮影対象者の動作予測を行い、その動作予測に基づいて最適なカメラの映像を選択するようにすれば良い。

さらには、上記ステップＳ３６の選択処理としては、選択中の映像に基づいて最適な映像を選択するようにしても良い。具体的には、たとえば、現在選択している映像を撮影しているカメラの映像を優先的に選択する。この場合、映像制御システム２が選択する映像の切替えを少なくすることができる。また、上記のような映像の選択は、選択中の映像を撮影しているカメラの映像を優先的に選択するように設定しておくことにより実現できる。つまり、上記映像制御装置３１は、選択中の映像を撮影しているカメラシステムを含む複数のカメラシステムで撮影対象者が検出された場合、選択中の映像を撮影しているカメラシステムからの映像を優先的に選択するようにすれば良い。

上記ステップＳ３３、ステップＳ３５、あるいはステップＳ３６により１つの映像を選択すると、上記映像制御装置３１は、選択したカメラシステムからの映像を上記映像表示装置３３により選択中の映像として表示させるとともに（ステップＳ３７）、上記映像伝送装置３５により外部へ出力する（ステップＳ３８）。

上記ステップＳ３１〜Ｓ３８の処理は、上記映像収集装置３２による各カメラシステムからの各映像の収集と並行して、上記映像制御装置３１により繰り返し実行される。これにより、上記映像制御システム２では、最適なアングルで撮影された撮影対象者の顔を中心とした映像を選択中の映像として、継続的に映像表示装置３３に表示したり、映像伝送装置３５により外部へ出力したりすることができる。すなわち、上記ような処理によれば、手動による操作なしで、予め登録している撮影対象者の顔が映っている映像に自動的に切替ることができる。

上記のように、本実施の形態の映像制御システムは、各カメラシステムから各カメラで撮影した映像と撮影対象者に対する顔照合の結果とを収集し、各カメラシステムのカメラで撮影した各映像のうち前記撮影対象者の顔の画像を含む１つの映像を選択するようにしたものである。これにより、映像制御システムでは、手動による操作なしで、各カメラが撮影した複数の映像から撮影対象者を撮影した映像として最適な映像を継続的に選択することができる。

さらに、上記映像制御システムでは、複数の箇所に設置したカメラがさまざまなアングルで撮影対象者を撮影している。このため、撮影対象者の急な動きを行っても、顔照合の結果に応じて選択中の映像を撮影対象者を撮影した映像として最適な映像に的確に切替えることができ、特定の撮影対象者の映像として最適な映像を継続的に選択することができる

本発明の実施の形態に係る映像撮影システムの構成例を概略的に示す図。 各カメラシステムの構成例を概略的に示す図。 映像制御システムの構成例を概略的に示す図。 各カメラシステムにおけるカメラの制御に係る動作例を説明するためのフローチャート。 映像制御システムにおける映像の切替処理の動作例を説明するためのフローチャート。

符号の説明

１（１Ａ〜１Ｅ）…カメラシステム、２…映像制御システム、３…通信回線、１１（１１Ａ〜１１Ｅ）…カメラ、１２（１２Ａ〜１２Ｅ）…撮影制御装置、１３（１３Ａ〜１３Ｅ）…撮影位置変更装置、２０…画像収集装置、２１…人物検出部（顔検出部）、２２…人物認識部（顔照合部）、２３…制御部、２４…撮影位置検出部、２５…通信インターフェース部、３１…映像制御装置、３２…映像収集装置、３３…映像表示装置、３４…通信インターフェース装置、３５…映像伝送装置

Claims (7)

1. 映像を撮影する撮影手段と、
   この撮影手段で撮影された映像から人物の生体情報を検出し、検出された人物の生体情報と予め設定されている撮影対象者の生体情報とを照合する照合手段と、
   この照合手段による生体情報の照合が成功した前記撮影手段により撮影された前記撮影対象者の位置を検出する位置検出手段と、
   この位置検出手段により検出した前記撮影対象者の位置に基づいて前記撮影手段による撮影位置を制御する制御手段と、
   を具備することを特徴とする映像撮影システム。
2. 前記照合手段は、前記撮影手段で撮影された映像から人物の顔画像を検出し、検出された人物の顔画像と予め設定されている撮影対象者の顔画像とを照合する顔照合手段であり、
   前記位置検出手段は、前記照合手段による顔画像の照合が成功した前記撮影手段により撮影された前記撮影対象者の位置を検出する、
   ことを特徴とする前記請求項１に記載の映像撮影システム。
3. 前記位置検出手段は、前記撮影手段により映像を撮影した方向を検出する方向検出手段と、前記撮影手段と前記顔照合手段による顔画像の照合が成功した前記撮影対象者との距離を算出する距離算出手段と、前記方向検出手段により検出した方向と前記距離算出手段により算出した距離とに基づいて前記撮影対象者の位置を判断する位置判断手段と、からなる、
   ことを特徴とする前記請求項２に記載の映像撮影システム。
4. 映像を撮影する複数の撮影手段と、
   各撮影手段で撮影された映像からそれぞれ人物の顔画像を検出し、検出した人物の顔画像と予め設定されている撮影対象者の顔画像とを照合する顔照合手段と、
   この顔照合手段による各撮影手段で撮影した各映像に対するそれぞれの顔画像の照合結果に基づいて前記撮影対象者の位置を検出する位置検出手段と、
   前記位置検出手段により検出した前記撮影対象者の位置に基づいて各撮影手段による撮影位置を制御する制御手段と、
   を具備することを特徴とする映像撮影システム。
5. 映像を撮影する複数の撮影手段と、
   各撮影手段で撮影された映像からそれぞれ人物の顔画像を検出し、検出した人物の顔画像と予め設定されている撮影対象者の顔画像とを照合する顔照合手段と、
   この顔照合手段による各撮影手段で撮影した各映像に対するそれぞれの顔画像の照合結果に基づいて各撮影手段が撮影した各映像のうち前記撮影対象者の顔画像を含む１つの映像を選択する映像選択手段と、
   この映像選択手段により選択した１つの映像を出力する映像出力手段と、
   を具備することを特徴とする映像撮影システム。
6. さらに、各撮影手段で撮影した各映像に対する顔画像の照合結果に基づいて前記撮影対象者の位置を検出する位置検出手段と、
   前記位置検出手段により検出した前記撮影対象者の位置を示す情報に基づいて各撮影手段による撮影位置を制御する制御手段と、を有する、
   ことを特徴とする前記請求項５に記載の映像撮影システム。
7. 複数のカメラシステムと映像制御システムとを有する映像撮影システムであって、
   各カメラシステムは、
   映像を撮影する撮影手段と、
   この撮影手段で撮影された映像から人物の顔画像を検出し、検出した人物の顔画像と予め設定されている撮影対象者の顔画像とを照合する顔照合手段と、
   前記撮影手段で撮影した映像に対する顔画像の照合結果に基づいて前記撮影対象者の位置を検出する位置検出手段と、
   前記位置検出手段により検出した前記撮影対象者の位置に基づいて各撮影手段による撮影位置を制御する制御手段と、
   前記撮影手段により撮影された映像、および、前記顔照合手段による照合結果を前記映像制御システムへ送信する送信手段と、を有し、
   前記映像制御システムは、
   各カメラシステムからの顔画像の照合結果に基づいて、各カメラシステムからの各映像のうち前記撮影対象者の顔画像を含む１つの映像を選択する映像選択手段と、
   この映像選択手段により選択した１つの映像を出力する映像出力手段と、を有する、
   ことを特徴とする映像撮影システム。

Images