JP2005252660A - 撮影システム及び撮影制御方法 - Google Patents

Abstract

【課題】 監視要員の負担を軽減させた撮影システム及び撮影制御方法を提供する。
【解決手段】 撮影システム１００は、撮影範囲が設定され、撮影範囲を撮影して映像信号を生成するカメラ１０６と、所定空間に生じる音響を複数箇所において検知してこれら複数箇所のそれぞれに対応する音響信号を生成するマイクアレイ１０１と、マイクアレイ１０１により生成される音響信号に基づいて、音源の方向を表す音源方向情報を生成する音源方向算出部１０３と、音源方向算出部１０３により生成される音源方向情報にて表される方向に撮影範囲が向くようにカメラ１０６の撮影方向を制御するカメラ・電動雲台制御部１０８とを有する。
【選択図】 図１

Description

本発明は、所定空間に侵入した対象物（例えば不審者等の侵入物体）を検知することが可能な撮影システム、及び、その撮影システムにおける撮影制御方法に関する。

従来の侵入物体監視装置は、監視領域を撮影する侵入物体・追跡用カメラと、侵入物体検出・追跡装置と、侵入物体・追跡用カメラとは別の監視カメラと、監視カメラとその監視カメラが搭載される電動雲台とを制御する監視カメラ・雲台制御装置と、異常音検出用マイクと、モニタ、スピーカ等により構成されている。この侵入物体監視装置では、侵入物体検出・追跡用カメラの撮影範囲内に侵入物体が存在すると、侵入物体検出・追跡装置がその侵入物体を検出し、監視カメラ・雲台制御装置が検出された侵入物体の位置座標情報に基づいて監視カメラと電動雲台とを制御する。これにより、監視カメラによって撮影された侵入物体の映像がモニタに表示される。また、異常音検出用マイクが異常音を検出した場合、その異常音がスピーカから出力され、監視要員に注意喚起がなされる（例えば特許文献１参照）。
特開平７−２８８８０２号公報

しかしながら、前述の従来の侵入物体監視装置では、侵入物体・追跡用カメラの撮影範囲外で生じた異常音がスピーカから出力された場合、監視要員は、画面外のどの方向から、その異常音が発せられているのかがわからないため、侵入物体を視認するために、監視カメラを操作して、その撮影方向を異常音が発生した方向に向ける必要があり、監視要員の負担は依然として大きい。

本発明は従来の問題を解決するためになされたもので、監視要員の負担を軽減させた撮影システム及び撮影制御方法を提供することを目的とする。

本発明の撮影システムは、撮影範囲が設定され、前記撮影範囲を撮影して映像信号を生成する撮影手段と、前記所定空間に生じる音響を複数箇所において検知して前記複数箇所のそれぞれに対応する音響信号を生成する音響検知手段と、前記音響検知手段により生成される音響信号に基づいて、音源の方向を表す音源方向情報を生成する音源方向情報生成手段と、前記音源方向情報生成手段により生成される前記音源方向情報にて表される方向に前記撮影範囲が向くように前記撮影手段の撮影方向を制御する撮影制御手段とを有する構成となる。

この構成により、音響が生じる場合、その音響の発生源（音源）の方向を表す音響方向情報が生成され、撮影手段は、撮影方向がその音響方向情報にて表される方向に制御される。従って、映像と音響とを有機的に結合し連動させることができ、映像の不可視領域で発生した突発的異常を音響情報として捉え、その結果を映像として捕捉することが可能となるため、監視要員の負担を軽減させることができる。

また、本発明の撮影システムは、前記音響検知手段により生成された音響信号に応じて所定の音を出力する音出力手段と、前記撮影手段により生成された映像信号に基づいた映像を表示する映像表示手段とを有する構成となる。

この構成により、音響と映像とを連動させて監視要員に異常を通知することが可能となる。

また、本発明の撮影システムは、前記撮影制御手段が、更に所定の条件に応じて前記撮影手段の撮影倍率を増大させる構成となる。

この構成により、音源となった対象物の拡大撮影が可能となり、監視要員による視認精度を向上させることができる。

また、本発明の撮影システムは、前記撮影制御手段が、更に前記映像信号から得られる動体部分の動きに応じて前記撮影手段の撮影方向を制御する構成となる。

この構成により、撮影手段は、動く対象物を追尾しつつ撮影を行うことが可能となる。

また、本発明の撮影システムは、前記映像信号に基づく映像情報と、前記撮影範囲において前記音源方向情報にて特定される位置を示すマーク情報とを合成する映像合成手段を有する構成となる。

この構成により、監視要員は、映像内における音源となった対象物の位置の認識を容易に行うことが可能となる。

また、本発明の撮影システムは、複数の前記撮影手段を有し、前記撮影制御手段は、前記複数の撮影手段の少なくともいずれかを制御する構成となる。

この構成により、１つの撮影手段による一方向からの２次元での監視と比較して、対象物を映像において多面的に捉えた適切な監視が可能となる。

また、本発明の撮影システムは、前記撮影制御手段が、前記音響検出手段により生成された前記複数箇所のそれぞれに対応する音響信号のレベルに基づいて、前記複数の撮影手段の制御に関する優先順位を決定する構成となる。

この構成により、複数の撮影手段を有する場合において、例えば最も高いレベルの音響を検知したマイクに近い撮影手段、換言すれば、音源となった対象物に最も近い撮影手段の撮影方向の制御を優先的に行う等、優先順位に基づく適切な制御が可能となる。

また、本発明の撮影システムは、２以上の所定数の前記撮影手段からの映像信号に基づいて、前記撮影範囲の立体映像を表す立体映像情報を生成する立体映像情報生成手段を有する構成となる。

この構成により、監視要員は、立体映像情報に基づいて、対象物を立体的に捉えることができ、対象物の視認をより正確に行うことが可能となる。

また、本発明の撮影制御方法は、撮影手段と音響検知手段とを有する撮影システムにおけるものであって、前記撮影手段が撮影範囲が設定され、前記撮影範囲を撮影して映像信号を生成する撮影ステップと、前記音響検知手段が前記所定空間に生じる音響を複数箇所において検知して前記複数箇所のそれぞれに対応する音響信号を生成する音響検知ステップと、前記音響検知ステップにより生成される音響信号に基づいて、音源の方向を表す音源方向情報を生成する音源方向情報生成ステップと、前記音源方向情報生成ステップにより生成される前記音源方向情報にて表される方向に前記撮影範囲が向くように前記撮影手段の撮影方向を制御する撮影制御ステップとを有する構成となる。

この構成により、音響が生じる場合、その音響の発生源（音源）の方向を表す音響方向情報が生成され、撮影手段は、撮影方向がその音響方向情報にて表される方向に制御される。従って、映像と音響とを有機的に結合し連動させることができ、映像の不可視領域で発生した突発的異常を音響情報として捉え、その結果を映像として捕捉することが可能となるため、監視要員の負担を軽減させることができる。

また、本発明の撮影制御方法は、前記音響検知ステップにより生成された音響信号に応じて所定の音を出力する音出力ステップと、前記撮影ステップにより生成された映像信号に基づいた映像を表示する映像表示ステップとを有する構成となる。

この構成により、音響と映像とを連動させて監視要員に異常を通知することが可能となる。

また、本発明の撮影制御方法は、前記撮影制御ステップが、更に所定の条件に応じて前記撮影手段の撮影倍率を増大させる構成となる。

この構成により、音源となった対象物の拡大撮影が可能となり、監視要員による視認精度を向上させることができる。

また、本発明の撮影制御方法は、前記撮影制御ステップが、更に前記映像信号から得られる動体部分の動きに応じて前記撮影手段の撮影方向を制御する構成となる。

この構成により、撮影手段は、動く対象物を追尾しつつ撮影を行うことが可能となる。

また、本発明の撮影制御方法は、前記映像信号に基づく映像情報と、前記撮影範囲において前記音源方向情報にて特定される位置を示すマーク情報とを合成する映像合成ステップを有する構成となる。

この構成により、監視要員は、映像内における音源となった対象物の位置の認識を容易に行うことが可能となる。

また、本発明の撮影制御方法は、前記撮影システムが複数の前記撮影手段を有する場合に、前記撮影制御ステップが、前記複数の撮影手段の少なくともいずれかを制御する構成となる。

この構成により、１つの撮影手段による一方向からの２次元での監視と比較して、対象物を映像において対象物を映像において多面的に捉えた適切な監視が可能となる。

また、本発明の撮影制御方法は、前記撮影制御ステップは、前記音響検出ステップにより生成された前記複数箇所のそれぞれに対応する音響信号のレベルに基づいて、前記複数の撮影手段の制御に関する優先順位を決定する構成となる。

この構成により、複数の撮影手段を有する場合において、例えば最も高いレベルの音響を検知したマイクに近い撮影手段、換言すれば、音源となった対象物に最も近い撮影手段の撮影方向の制御を優先的に行う等、優先順位に基づく適切な制御が可能となる。

また、本発明の撮影制御方法は、２以上の所定数の前記撮影手段からの映像信号に基づいて、前記撮影範囲の立体映像を表す立体映像情報を生成する立体映像情報生成ステップを有する構成となる。

この構成により、監視要員は、立体映像情報に基づいて、対象物を立体的に捉えることができ、対象物の視認をより正確に行うことが可能となる。

本発明では、音響が生じる場合、その音響の発生源（音源）の方向を表す音響方向情報が生成され、撮影手段は、撮影方向がその音響方向情報にて表される方向に制御されるため、映像と音響とを有機的に結合し連動させることができ、映像の不可視領域で発生した突発的異常を音響情報として捉え、その結果を映像として捕捉することが可能となり、監視要員の負担を軽減させることができる。

以下、本発明の実施形態の監視システムについて、図面を用いて説明する。

まず、本発明の第１の実施形態について説明する。本発明の第１の実施形態における撮影システムのブロック図を図１に示す。図１に示す撮影システム１００は、所定空間を監視領域とし、この監視領域に侵入する対象物（不審者等の異常物体）を撮影するものである。

この撮影システム１００は、予め定められた所定位置に配置された複数のマイク１２０−１乃至１２０−ｎ（以下、これらマイク１２０−１乃至１２０−ｎをまとめて適宜「マイク１２０」と称する）を有し、これら各マイク１２０が検知した音響に応じた音響信号を生成するマイクアレイ１０１と、マイクアレイ１０１内の各マイク１２０毎の音響信号のレベル差や到達時間差を検出する音響変動検出部１０２と、マイクアレイ１０１内の各マイク１２０により検知された音響の発生源（音源）の方向を算出する音源方向算出部１０３と、音響信号の出力制御を行う音響信号出力制御部１０４と、音響出力を行うスピーカ１０５と、予め定められた所定位置に配置され、監視領域を撮影して映像信号を生成するカメラ１０６と、カメラ１０６を搭載し、そのカメラ１０６の方位角（鉛直方向の角度及び水平方向の角度）を変化させる電動雲台１０７と、音源方向算出部１０３により算出された音源の方向に応じて電動雲台１０７を制御するとともに、音響信号のレベルに応じてカメラ１０６のズーム倍率を制御するカメラ・電動雲台制御部１０８と、映像信号の出力制御を行うモニタ制御部１０９と、映像表示を行うモニタ１１０と、カメラ１０６による対象物の追尾の制御を行う対象物検出・追尾制御部１１１と、カメラ１０６のズーム倍率や電動雲台１０７の動作を手動で制御するための手動入力部１１２とを有する。

これらのうち、マイクアレイ１０１、音響変動検出部１０２、音響方向算出部１０３、カメラ１０６、電動雲台１０７、カメラ・電動雲台制御部１０８及び対象物検出・追尾制御部１１１によりユニット１５０が構成される。ユニット１５０は、監視領域内に配置され、音響信号出力制御部１０４、スピーカ１０５、モニタ制御部１０９、モニタ１１０及び手動入力部１１２は、監視要員が存在する場所（例えば監視室）に配置される。なお、音響変動検出部１０２、音響方向算出部１０３、音響信号出力制御部１０４、カメラ・電動雲台制御部１０８、モニタ制御部１０９及び対象物検出・追尾制御部１１１は、監視領域内に配置されても良く、監視要員が存在する場所に配置されても良い。

また、マイクアレイ１０１とカメラ１０６とは、一体化されている。マイクアレイ１０１内の各マイク１２０の配置は、特に限定されるものではなく、例えば、カメラ１０６の撮像部（図示せず）周囲に直線状あるいは円状に配置される。

以上のように構成された撮影システム１００について、その動作を説明する。撮影システム１００の動作のフローチャートを図２に示す。

マイクアレイ１０１内の各マイク１２０は、監視領域内に生じる音響を検知し、マイクアレイ１０１は、これら各マイク１２０によって検出された音響に応じた音響信号を生成する。生成された各音響信号は、音響変動検出部１０２、音源方向算出部１０３及び音響信号出力制御部１０４へ出力される。スピーカ１０５は、この制御に応じて監視領域に生じる音響を出力する。スピーカ１０５が出力する音響は、監視室内の監視要員や必要に応じた他の場所への通知として用いられる。なお、音響信号出力制御部１０４は、スピーカ１０５に監視領域に生じる音響の出力を行わせる代わりに、所定の警報音の出力を行わせるための制御を行うようにしても良い。

一方、カメラ１０６は、マイクアレイ１０１による音響検知と並行して、監視領域を撮影して映像信号を生成する。生成された映像信号はモニタ制御部１０９及び対象物検出・追尾制御部１１１へ出力される。モニタ制御部１０９は、入力した映像信号に基づく映像を生成し、モニタ１１０はこの映像、すなわち、監視領域の映像を表示する。また、対象物検出・追尾制御部１１１は、所定周期で入力される映像信号に応じた各映像間の差分を導出する。そして、対象物検出・追尾制御部１１１は、差分が存在する場合にはその差分に対応する動体部分を対象物として検出する。

カメラ・電動雲台制御部１０８は、マイクアレイ１０１によって音響が検知されたか否かを判定するとともに、（Ｓ１０１）、対象物検出・追尾制御部１１１によって映像により対象物が検知されたか否かを判定する（Ｓ１０２）。

音響が検知され、且つ、映像により対象物が検知されなかった場合（Ｓ１０１において肯定判断され、且つ、Ｓ１０２において否定判断された場合）には、音響変動検出部１０２は、マイクアレイ１０１内の各マイク１２０が検出した音響に対応する音響信号のレベルを導出し、更に各マイク１２０間における音響信号のレベルの差と音響が各マイク１２０へ到達した時間の差とを検出して、音響信号のレベル差及び到達時間差の情報を音源方向算出部１０３へ出力する（Ｓ１０３）。更に、音源方向算出部１０３は、入力した音響信号のレベル差及び到達時間差の情報と、マイクアレイ１０１内の各マイク１２０の配置場所に応じて予め定められる所定の関数とに基づいて、カメラ１０６の位置を基準とした音源方向の情報を生成し、この音源方向の情報をカメラ・電動雲台制御部１０８へ出力する（Ｓ１０４）。そして、カメラ・電動雲台制御部１０８は、音源方向の情報を入力すると、カメラ１０６の撮影方向がその音源方向の情報にて表される方向を向くように電動雲台１０７の動作を制御するとともに、カメラ１０６によって音源となった対象物が拡大撮影されるようにそのカメラ１０６のズーム倍率を制御する（Ｓ１０５）。

具体的には、カメラ・電動雲台制御部１０８は、音源方向算出部１０３からの音源方向の情報と、その時点におけるカメラ１０６の鉛直方向の角度及び水平方向の角度とに基づいて、カメラ１０６の撮影方向が音源方向を向くために必要なカメラ１０６の鉛直方向の移動角度及び水平方向の移動角度を算出し、電動雲台１０７へ出力する。電動雲台１０７は、入力したカメラ１０６の鉛直方向の移動角度及び水平方向の移動角度に基づく動作を行い、カメラ１０６の撮影方向を音源方向に向かせる。また、カメラ・電動雲台制御部１０８は、例えば、音源方向算出部１０３から各マイク１２０毎の音響信号のレベルを取得し、これら音響信号のレベルに応じてズーム倍率を決定してカメラ１０６へ出力し、カメラ１０６は、入力したズーム倍率での撮影を行う。

このような制御により、カメラ１０６は、音源となった対象物を含む所定の撮影範囲を撮影して映像信号を生成することになる。カメラ１０６によって生成された映像信号はモニタ制御部１０９及び対象物検出・追尾制御部１１１へ出力される。モニタ制御部１０９は、入力した映像信号に基づく映像を生成し、モニタ１１０は、この映像、すなわち、音源となった対象物を含んだ映像を表示する（Ｓ１０６）。

更に、モニタ制御部１０９は、モニタ１１０が表示している映像内における音源方向算出部１０３からの音源方向の情報にて特定される位置を算出し、カメラ１０６からの映像信号に基づく映像にその位置、すなわち、音源の位置を示す所定のマーク（音源マーク）を重ねた映像を生成する。モニタ１１０は、この映像を表示する（Ｓ１０７）。音源マークが追加された音源周辺の映像の一例を図３に示す。図３に示すように音源となった対象物１５５を含む映像１５０には、音源マーク１６０が重ねられている。

その後、カメラ・電動雲台制御部１０８は、映像及び音響の少なくともいずれかに基づく撮影制御を行う（Ｓ１０８）。

具体的には、対象物検出・追尾制御部１１１が、所定周期で入力される映像信号に応じた各映像間の差分が生じた場合に、対象物が移動したと判断し、映像内における対象物の位置をカメラ・電動雲台制御部１０８へ出力すると、カメラ・電動雲台制御部１０８は、カメラ１０６の撮影方向が対象物の方向を向くように電動雲台１０７の動作を制御する。ここで、カメラ・電動雲台制御部１０８は、映像内における対象物の位置情報と、その時点におけるカメラ１０６の鉛直方向の角度及び水平方向の角度とに基づいて、カメラ１０６の撮影方向が対象物の方向を向くために必要なカメラ１０６の鉛直方向の移動角度及び水平方向の移動角度を算出し、電動雲台１０７へ出力する。電動雲台１０７は、入力したカメラ１０６の鉛直方向の移動角度及び水平方向の移動角度に基づく動作を行い、カメラ１０６の撮影方向を対象物の方向に向かせる。これにより、カメラ１０６は、対象物を追尾しつつ、撮影を行うことが可能となる（映像に基づく撮影制御）。

また、前述の映像に基づく撮影制御により、カメラ１０６が対象物を追尾しつつ、撮影を行っている間に、マイクアレイ１０１内の各マイク１２０が音響を検出した場合には、音響変動検出部１０２が音響信号のレベルを導出し、更に各マイク１２０間における音響信号のレベルの差と音響が各マイク１２０へ到達した時間の差とを検出し、音源方向算出部１０３が、音響信号のレベル差及び到達時間差の情報と、マイクアレイ１０１内の各マイク１２０の配置場所に応じて予め定められる所定の関数とに基づいて、カメラ１０６の位置を基準とした音源方向の情報を生成すると、カメラ・電動雲台制御部１０８は、カメラ１０６の撮影方向が音源方向の情報で表される方向を向くように電動雲台１０７の動作を制御するとともに、カメラ１０６によって音源となった対象物が拡大撮影されるようにそのカメラ１０６のズーム倍率を制御する（音響に基づく撮影制御）。

一方、音響が検知され、且つ、映像により対象物が検知された場合（Ｓ１０１において肯定判断され、且つ、Ｓ１０２において肯定判断された場合）、カメラ・電動雲台制御部１０８は、映像に基づく撮影制御を行い、カメラ１０６は、対象物を追尾しつつ、撮影を行う（Ｓ１０８）。なお、映像に基づく撮影制御により、カメラ１０６が対象物を追尾しつつ、撮影を行っている間に、マイクアレイ１０１内の各マイク１２０が音響を検出した場合には、カメラ・電動雲台制御部１０８は、音響に基づく撮影制御を行い、カメラ１０６が音源となった対象物を撮影するように制御することもできる。

また、音響が検知されず、且つ、映像により対象物が検知された場合（Ｓ１０１において否定判断され、且つ、Ｓ１０９において肯定判断された場合）、カメラ・電動雲台制御部１０８は、同様に、映像に基づく撮影制御を行い、カメラ１０６は、対象物を追尾しつつ、撮影を行う（Ｓ１０８）。なお、映像に基づく撮影制御により、カメラ１０６が対象物を追尾しつつ、撮影を行っている間に、マイクアレイ１０１内の各マイク１２０が音響を検出した場合には、カメラ・電動雲台制御部１０８は、音響に基づく撮影制御を行い、カメラ１０６が音源となった対象物を撮影するように制御することもできる。

なお、カメラ・電動雲台制御部１０８は、監視要員による手動入力部１１２の操作に応じて、電動雲台１０７の動作やカメラ１０６のズーム倍率を制御することもできるようになっている。

このように、撮影システム１００では、マイクアレイ１０１内の各マイク１２０が監視領域内に生じる音響を検出すると、スピーカ１０５がこの音響を出力し、音響変動検出部１０２が各マイク１２０に対応する音響信号のレベル差と到達時間差とを検出する。そして、音源方向算出部１０３は、これら音響信号のレベル差及び到達時間差に基づいて、カメラ１０６の位置を基準とした音源の方向を表す音源方向の情報を生成し、カメラ・電動雲台制御部１０８は、カメラ１０６の撮影方向が音源方向の情報で表される方向を向くように電動雲台１０７の動作を制御するとともに、カメラ１０６によって音源となった対象物が拡大撮影されるようにそのカメラ１０６のズーム倍率を制御している。

このため、例えば、カメラの撮影範囲外に音源となった対象物が存在する場合において、従来は、監視要員は、音響を聴いた場合に、直ちに映像により音源となった対象物を視認することができず、人手により音源となった対象物を探し、且つ、カメラの撮影方向がその音源となった対象物の方向を向くようにする必要があったが、撮影システム１００では、人手を介することなく、カメラ１０６が自動的に音源となった対象物を撮影することができるため、映像の不可視領域で発生した突発的な異常を音響情報として捉え、その結果を映像によって捕捉することができ、監視要員の負担を軽減することが可能となる。

なお、マイクアレイ１０１とカメラ１０６は必ずしも一体化されている必要はなく、それぞれが独立して配置されていても良い。この場合には、音源方向算出部１０３は、更に、予め定められているマイクアレイ１０１とカメラ１０６との相対位置関係に基づいて、カメラ１０６の位置を基準とした音源方向を算出する。

次に、本発明の第２の実施形態について説明する。本発明の第２の実施形態における撮影システムのブロック図を図４に示す。図４に示す撮影システム２００は、第１の実施形態における撮影システム１００と同様、所定空間を監視領域とし、この監視領域に侵入する対象物を撮影するものである。

この撮影システム２００は、複数のマイク２２０ａ−１乃至２２０ａ−ｎを有するマイクアレイ２０１ａ及び複数のマイク２２０ｂ−１乃至２２０ｂ−ｎを有するマイクアレイ２０１ｂ（以下、マイクアレイ２０１ａ及び２０１ｂをまとめて適宜「マイクアレイ２０１」と称し、マイク２２０ａ−１乃至２２０ａ−ｎ及びマイク２２０ｂ−１乃至２２０ｂ−ｎをまとめて適宜「マイク２２０」と称する）と、音響変動検出部２０２ａ及び２０２ｂと、音源方向算出部２０３ａ及び２０３ｂ（以下、音源方向算出部２０３ａ及び２０３ｂをまとめて適宜「音源方向算出部２０３」と称する）と、音響信号出力制御部２０４と、スピーカ２０５と、カメラ２０６ａ及び２０６ｂ（以下、カメラ２０６ａ及び２０６ｂをまとめて適宜「カメラ２０６」と称する）と、電動雲台２０７ａ及び２０７ｂ（以下、電動雲台２０７ａ及び２０７ｂをまとめて適宜「電動雲台２０７」と称する）と、カメラ・電動雲台制御部２０８ａ及び２０８ｂ（以下、カメラ・電動雲台制御部２０８ａ及び２０８ｂをまとめて適宜「カメラ・電動雲台制御部２０８」と称する）と、モニタ制御部２０９と、モニタ２１０と、対象物検出・追尾制御部２１１ａ及び２１１ｂ（以下、対象物検出・追尾制御部２１１ａ及び２１１ｂをまとめて適宜「対象物検出・追尾制御部２１１」と称する）と、マイクアレイ２０１ａ内のマイク２２０ａ−１乃至２２０ａ−ｎに対応する音響信号のレベルとマイクアレイ２０１ｂ内のマイク２２０ｂ−１乃至２２０ｂ−ｎに対応する音響信号のレベルとを比較する音響レベル判定部２４０と、音響信号のレベルの比較結果を手動で変更するための手動入力部２４１と、音響レベル判定部２４０による比較結果に応じて、制御すべきカメラ２０６及び電動雲台２０７を選択する動作制御部２４２と、制御すべきカメラ２０６及び電動雲台２０７の選択を手動で行うための手動入力部２４３とを有する。

これらのうち、マイクアレイ２０１ａ、音響変動検出部２０２ａ、音響方向算出部２０３ａ、カメラ２０６ａ、電動雲台２０７ａ、カメラ・電動雲台制御部２０８ａ及び対象物検出・追尾制御部２１１ａにより、ユニット２５０ａが構成され、マイクアレイ２０１ｂ、音響変動検出部２０２ｂ、音響方向算出部２０３ｂ、カメラ２０６ｂ、電動雲台２０７ｂ、カメラ・電動雲台制御部２０８ｂ及び対象物検出・追尾制御部２１１ｂにより、ユニット２５０ｂが構成される（以下、ユニット２５０ａ及び２５０ｂをまとめて適宜ユニット２５０と称する）。なお、図示されてはいないが撮影システム２００は、３つ以上のユニット２５０を有する。

この撮影システム２００は、第１の実施形態における撮影システム１００と比較すると、複数のユニットとを有している点と、新たに音響レベル判定部２４０、手動入力部２４１及び２４３と動作制御部２４２とを有し、カメラ・電動雲台制御部に接続される手動入力部を有していない点が異なる。

これらのうち、ユニット２５０は、監視領域内に配置され、音響信号出力制御部２０４、スピーカ２０５、モニタ制御部２０９、モニタ２１０及び手動入力部２４１及び手動入力部２４３は、監視要員が存在する場所（例えば監視室）に配置される。なお、音響変動検出部２０２、音響方向算出部２０３、音響信号出力制御部２０４、カメラ・電動雲台制御部２０８、モニタ制御部２０９、対象物検出・追尾制御部２１１、音響レベル判定部２４０及び動作制御部２４２は、監視領域内に配置されても良く、監視要員が存在する場所に配置されても良い。

以上のように構成された撮影システム２００について、その動作を説明する。撮影システム２００の動作のフローチャートを図５に示す。Ｓ２０１乃至Ｓ２０４の動作は、第１の実施形態における図２のＳ１０１乃至Ｓ１０４の動作とほぼ同様である。

すなわち、動作制御部２４２は、マイクアレイ２０１によって音響が検知されたか否かを判定するとともに（Ｓ２０１）、対象物検出・追尾制御部２１１によって映像により対象物が検知されたか否かを判定する（Ｓ２０２）。音響が検知され、且つ、映像により対象物が検知されなかった場合（Ｓ２０１において肯定判断され、且つ、Ｓ２０２において否定判断された場合）、音響変動検出部２０２は、マイクアレイ２０１内の各マイク２２０に対応する音響信号のレベルを導出し、更に各マイク２２０間における音響信号のレベルの差と音響が各マイク２２０へ到達した時間の差とを検出して、音響信号のレベル差及び到達時間差の情報を音源方向算出部２０３へ出力するとともに、音響信号のレベルを音響レベル判定部２４０へ出力する（Ｓ２０３）。そして、音源方向算出部２０３は、入力した音響信号のレベル差及び到達時間差の情報と、マイクアレイ２０１内の各マイク２２０の配置場所に応じて予め定められる所定の関数とに基づいて、カメラ２０６の位置を基準とした音源方向の情報を生成して、この音源方向の情報を動作制御部２４２へ出力する（Ｓ２０４）。

音響レベル判定部２４０は、入力した各マイク２２０毎の音響信号のレベルを比較し、その比較結果を動作制御部２４２とモニタ制御部２０９へ出力する（Ｓ２０５）。

動作制御部２４２は、入力した比較結果に基づいて、各マイク２２０毎の音響信号のレベルの中から最大のものを選択し、そのレベルが最大の音響信号を生成したマイクアレイ２０１と同一のユニット２５０内のカメラ２０６及び電動雲台２０７を制御対象として選択する（Ｓ２０６）。ここで、レベルが最大の音響信号を生成したマイクアレイ２０１は、音源となった対象物に最も近い位置のマイクアレイ２０１である。従って、動作制御部２４２が制御対象として選択するレベルが最大の音響信号を生成したマイクアレイ２０１と同一のユニット２５０内のカメラ２０６及び電動雲台２０７は、音源となった対象物に最も近い位置のカメラ２０６及び電動雲台２０７である。動作制御部２４２は、選択したカメラ２０６及び電動雲台２０７を制御するカメラ・電動雲台制御部２０８に対して、制御を指示する。

例えば、動作制御部２４２は、マイクアレイ２０１ａ内のマイク２２０ａ−１乃至２２０ａ−ｎ及びマイクアレイ２０１ｂ内のマイク２２０ｂ−１乃至２２０ｂ−ｎの内、マイク２２０ａ−１乃至２２０ａ−ｎの何れかに対応する音響信号のレベルが最大であった場合には、マイクアレイ２０１ａと同一のユニット２５０ａ内のカメラ２０６ａ及び電動雲台２０７ａを制御対象として選択し、カメラ・電動雲台制御部２０８ａに対して制御を指示する。この場合、他のユニット２５０内のカメラ２０６及び電動雲台２０７は制御対象ではないため、他のユニット２５０内のカメラ２０６の撮影方向は維持されたままとなる。

カメラ・電動雲台制御部２０８は、動作制御部２４２により制御が指示されると、同一のユニット２５０内のカメラ２０６の撮影方向が音源方向の情報で表される方向を向くように電動雲台１０７の動作を制御する（Ｓ２０７）。具体的には、カメラ・電動雲台制御部２０８は、同一のユニット２５０内の音源方向算出部２０３から動作制御部２４２を介して受けた音源方向の情報と、その時点における同一のユニット２５０内のカメラ２０６の鉛直方向の角度及び水平方向の角度とに基づいて、同一のユニット２５０内のカメラ２０６の撮影方向が音源方向の情報で表される方向を向くために必要なカメラ２０６の鉛直方向の移動角度及び水平方向の移動角度を算出し、電動雲台２０７へ出力する。電動雲台２０７は、入力したカメラ２０６の鉛直方向の移動角度及び水平方向の移動角度に基づく動作を行い、搭載するカメラ２０６の撮影方向を音源方向に向かせる。なお、カメラ・電動雲台制御部２０８は、同一のユニット２５０内のカメラ２０６のズーム倍率についても制御を行うようにしても良い。

このような制御により、音源となった対象物に最も近い位置のカメラ２０６は、他のカメラ２０６よりも優先的に音源となった対象物を含む所定の撮影範囲を撮影して映像信号を生成することになる。生成された映像信号はモニタ制御部２０９及び対応する対象物検出・追尾制御部２１１へ出力される。モニタ制御部２０９は、音響レベル判定部２４０からの判定結果に応じて、各カメラ２０６からの映像信号のうち、制御対象となって音源となった対象物を撮影するカメラ２０６からの映像信号に基づいて、映像を生成し、モニタ２１０は、この映像、すなわち、音源となった対象物を含んだ映像を表示する（Ｓ２０８）。

その後、カメラ・電動雲台制御部２０８は、映像及び音響の少なくともいずれかに基づく撮影制御を行う（Ｓ２０９）。具体的には、対象物検出・追尾制御部２１１が、所定周期で入力される映像信号に応じた各映像間の差分が生じた場合に、対象物が移動したと判断し、映像内における対象物の位置をカメラ・電動雲台制御部２０８へ出力すると、カメラ・電動雲台制御部２０８は、カメラ２０６の撮影方向が対象物の方向を向くように電動雲台２０７の動作を制御する。これにより、カメラ２０６は、対象物を追尾しつつ、撮影を行うことが可能となる（映像に基づく撮影制御）。

また、前述の映像に基づく撮影制御により、カメラ２０６が対象物を追尾しつつ、撮影を行っている間に、マイクアレイ２０１内の各マイク２２０が音響を検出した場合には、音響変動検出部２０２がその音響信号のレベルを導出し、更に各マイク２２０間における音響信号のレベルの差と音響が各マイク２２０へ到達した時間の差とを検出し、音源方向算出部２０３が、音響信号のレベル差及び到達時間差の情報と、マイクアレイ２０１内の各マイク２２０の配置場所に応じて予め定められる所定の関数とに基づいて、カメラ２０６の位置を基準とした音源の方向を算出すると、カメラ・電動雲台制御部２０８は、カメラ２０６の撮影方向が音源方向を向くように電動雲台２０７の動作を制御するとともに、カメラ２０６によって音源となった対象物が拡大撮影されるようにそのカメラ２０６のズーム倍率を制御する（音響に基づく撮影制御）。

また、音響が検知され、且つ、映像により対象物が検知された場合（Ｓ２０１において肯定判断され、且つ、Ｓ２０２において肯定判断された場合）や、音響が検知されず、且つ、映像により対象物が検知された場合（Ｓ２０１において否定判断され、且つ、Ｓ２１０において肯定判断された場合）、カメラ・電動雲台制御部２０８は、映像に基づく撮影制御を行い、カメラ２０６は、対象物を追尾しつつ、撮影を行う（Ｓ２０９）。なお、映像に基づく撮影制御により、カメラ２０６が対象物を追尾しつつ、撮影を行っている間に、マイクアレイ２０１内の各マイク２２０が音響を検出した場合には、カメラ・電動雲台制御部２０８は、音響に基づく撮影制御を行い、カメラ２０６が音源となった対象物を撮影するように制御することもできる。

なお、動作制御部２４２は、監視要員による手動入力部２４３の操作に応じて、制御すべきカメラ２０６及び電動雲台２０７を選択することができるようになっており、音響レベル判定部２４０は、監視要員による手動入力部２４１の操作に応じて、音響信号のレベルの比較結果を変更することができるようになっている。

このように、撮影システム２００では、最大のレベルの音響信号を生成したマイクアレイ２０１と同一のユニット２５０内のカメラ２０６、換言すれば、音源となった対象物に最も近いカメラ２０６は、他のカメラ２０６よりも優先的に、撮影方向が音源方向を向くように制御される。このため、音源となった不審者等の対象物の映像による捕捉をより確実にすることができる。

なお、制御対象となって音源となった対象物を撮影するカメラ２０６は複数台であってもよい。この場合、動作制御部２４２は、例えば、レベルが所定値以上の音響信号を生成した複数のマイクアレイ２０１と同一のユニット２５０内のカメラ２０６及び電動雲台２０７を制御対象として選択し、その選択したカメラ２０６及び電動雲台２０７を制御するカメラ・電動雲台制御部２０８に対して、制御を指示する。これにより、１台のカメラ２０６による一方向からの２次元での監視と比較して、対象物を映像において多面的に捉えた適切な監視が可能となる。

また、マイクアレイ２０１とカメラ２０６は必ずしも一体化されている必要はなく、それぞれが独立して配置されていても良い。この場合には、音源方向算出部２０３は、更に、予め定められているマイクアレイ２０１とカメラ２０６との相対位置関係に基づいて、対応するカメラ２０６の位置を基準とした音源方向の情報を生成し、動作制御部２４２は、更に、予め定められているマイクアレイ２０１とカメラ２０６との相対位置関係に基づいて、音源となった対象物に最も近い位置のカメラ２０６及び電動雲台２０７を制御対象として選択する。

また、動作制御部２４２は、予め定められているマイクアレイ２０１とカメラ２０６との相対位置関係に基づいて、各カメラ２０６及び各電動雲台２０７を、最大のレベルの音響信号を生成したマイクアレイ２０１に近い順に優先順位を決定し、その優先順位に従ってカメラ２０６及び電動雲台２０７を制御対象として選択するようにしても良い。

次に、本発明の第３の実施形態について説明する。本発明の第３の実施形態における撮影システムのブロック図を図６に示す。図６に示す撮影システム３００は、第１の実施形態における撮影システム１００と同様、所定空間を監視領域とし、この監視領域に侵入する対象物を撮影するものである。

この撮影システム３００は、第２の実施形態における撮影システム２００と比較すると、新たに立体像処理部３５０を有する点が異なる。

以上のように構成された撮影システム３００について、その動作を説明する。撮影システム３００の動作のフローチャートを図７に示す。Ｓ３０１乃至Ｓ３０６の動作と、Ｓ３１０及びＳ３１１は、第２の実施形態における図５のＳ２０１乃至Ｓ２０６の動作と、Ｓ２０９及びＳ２１０の動作と同様であるので、その説明は省略する。

動作制御部２４２は、立体像を生成するのに適した他のカメラ２０６を選択する（Ｓ３０７）。具体的には、動作制御部２４２は、Ｓ３０６において選択したカメラ２０６の位置情報とそのカメラ２０６を基準とした音源方向の情報とに基づいて、周知の手法を利用して、Ｓ３０６において選択したカメラ２０６と対になって撮影を行うことにより、適切な立体像を生成することを可能とする他のカメラ２０６を選択する。

そして、動作制御部２４２は、Ｓ３０６において選択したカメラ２０６及び電動雲台２０７を制御するカメラ・電動雲台制御部２０８と、Ｓ３０７において選択したカメラ２０６を制御するカメラ・電動雲台制御部２０８とに対して、制御を指示する。

カメラ・電動雲台制御部２０８は、動作制御部２４２により制御が指示されると、同一のユニット２５０内のカメラ１０６の撮影方向が音源方向の情報で表される方向を向くように電動雲台２０７の動作を制御する（Ｓ３０８）。具体的には、カメラ・電動雲台制御部２０８は、同一のユニット２５０内の音源方向算出部２０３から動作制御部２４２を介して受けた音源方向の情報と、その時点における同一のユニット２５０内のカメラ２０６の鉛直方向の角度及び水平方向の角度とに基づいて、同一のユニット２５０内のカメラ２０６の撮影方向が音源方向を向くために必要なカメラ２０６の鉛直方向の移動角度及び水平方向の移動角度を算出し、電動雲台２０７へ出力する。電動雲台２０７は、入力したカメラ２０６の鉛直方向の移動角度及び水平方向の移動角度に基づく動作を行い、搭載するカメラ２０６の撮影方向を音源方向の情報で表される方向に向かせる。

このような制御により、音源となった対象物に最も近い位置のカメラ２０６と、その音源となった対象物に最も近いカメラ２０６と対になって撮影を行うことにより、適切な立体像を生成することを可能とする他のカメラ２０６とは、音源となった対象物を含む所定の撮影範囲を撮影して映像信号を生成することになる。生成された映像信号は立体像処理部３５０へ出力される。また、動作制御部２４２は、Ｓ３０６及びＳ３０７において選択したカメラ２０６の位置情報を立体像処理部３５０へ出力する。

立体像処理部３５０は、音源となった対象物の立体像を生成する。具体的には、立体像処理部３５０は、Ｓ３０６及びＳ３０７において選択されたカメラ２０６から所定周期で入力される映像信号に応じた各映像間の差分を導出し、その差分に対応する像を音源として検出する。更に、立体像生成部３５０は、入力したＳ３０６及びＳ３０７において選択されたカメラ２０６の位置情報と、これらＳ３０６及びＳ３０７において選択されたカメラ２０６からの映像信号とに基づいて、周知の手法により、検出した音源の立体像を生成する。生成された立体像の映像信号は、モニタ制御部２０９へ出力される。

モニタ制御部２０９は、音響レベル判定部２４０からの判定結果に応じて、入力した立体像処理部３５０からの立体像の映像信号に基づいて立体映像を生成し、モニタ２１０は、この立体映像、すなわち、音源となった対象物の立体映像を表示する（Ｓ３０９）。

なお、動作制御部２４２がＳ３０６及びＳ３０７において選択していないカメラ２０６を２台ずつ対にして音源となった対象物の周囲に存在する同一の物体を撮影させるための制御を行うことによって、音源となった対象物以外の物体の立体映像の表示も可能となる。

このように、撮影システム３００では、モニタ２１０に音源となった対象物の立体映像が表示されるため、監視要員は、その立体映像により、音源となった対象物を立体的に捉え、映像情報の高付加価値化による音源となった対象物の判別をより正確に行うことが可能となる。

なお、前述の各実施形態において、カメラとモニタ制御部との間が通信回線等により接続されているような場合には、カメラは映像信号を符号化して送信し、モニタ制御部は受信した信号を復号するようにすれば良い。同様に、マイクアレイとスピーカとの間が通信回線等により接続されているような場合には、マイクアレイは音響信号を符号化して送信し、音響信号出力制御部は受信した信号を復号するようにすれば良い。

以上のように、本発明に係る撮影システム及び撮影制御方法は、映像と音響とを有機的に結合し連動させることにより、監視要員の負担を軽減させることができるという効果を有し、撮影システム及び撮影制御方法として有用である。

第１の実施形態における撮影システムのブロック図 第１の実施形態における撮影システムの動作のフローチャート 音源マークが追加された音源周辺の映像の一例を示す図 第２の実施形態における撮影システムのブロック図 第２の実施形態における撮影システムの動作のフローチャート 第３の実施形態における撮影システムのブロック図 第３の実施形態における撮影システムの動作のフローチャート

符号の説明

１００、２００、３００ 撮影システム
１０１、２０１ マイクアレイ
１２０、２２０ マイク
１０２、２０２ 音響変動検出部
１０３、２０３ 音源方向算出部
１０４、２０４ 音響信号出力制御部
１０５、２０５ スピーカ
１０６、２０６ カメラ
１０７、２０７ 電動雲台
１０８、２０８ カメラ・電動雲台制御部
１０９、２０９ モニタ制御部
１１０、２１０ モニタ
１１１、２１１ 対象物検出・追尾制御部
１１２、２４１、２４３ 手動入力部
２４０ 音響レベル判定部
２４２ 動作制御部
３５０ 立体像処理部

Claims (16)

1. 撮影範囲が設定され、前記撮影範囲を撮影して映像信号を生成する撮影手段と、
   前記所定空間に生じる音響を複数箇所において検知して前記複数箇所のそれぞれに対応する音響信号を生成する音響検知手段と、
   前記音響検知手段により生成される音響信号に基づいて、音源の方向を表す音源方向情報を生成する音源方向情報生成手段と、
   前記音源方向情報生成手段により生成される前記音源方向情報にて表される方向に前記撮影範囲が向くように前記撮影手段の撮影方向を制御する撮影制御手段とを有することを特徴とする撮影システム。
2. 前記音響検知手段により生成された音響信号に応じて所定の音を出力する音出力手段と、
   前記撮影手段により生成された映像信号に基づいた映像を表示する映像表示手段とを有することを特徴とする請求項１に記載の撮影システム。
3. 前記撮影制御手段は、更に所定の条件に応じて前記撮影手段の撮影倍率を増大させることを特徴とする請求項１又は２に記載の撮影システム。
4. 前記撮影制御手段は、更に前記映像信号から得られる動体部分の動きに応じて前記撮影手段の撮影方向を制御することを特徴とする請求項１乃至３のいずれかに記載の撮影システム。
5. 前記映像信号に基づく映像情報と、前記撮影範囲において前記音源方向情報にて特定される位置を示すマーク情報とを合成する映像合成手段を有することを特徴とする請求項１乃至４のいずれかに記載の撮影システム。
6. 複数の前記撮影手段を有し、
   前記撮影制御手段は、前記複数の撮影手段の少なくともいずれかを制御することを特徴とする請求項１乃至５のいずれかに記載の撮影システム。
7. 前記撮影制御手段は、前記音響検出手段により生成された前記複数箇所のそれぞれに対応する音響信号のレベルに基づいて、前記複数の撮影手段の制御に関する優先順位を決定することを特徴とする請求項６に記載の撮影システム。
8. ２以上の所定数の前記撮影手段からの映像信号に基づいて、前記撮影範囲の立体映像を表す立体映像情報を生成する立体映像情報生成手段を有することを特徴とする請求項６又は７に記載の撮影システム。
9. 撮影手段と音響検知手段とを有する撮影システムにおける撮影制御方法であって、
   前記撮影手段が撮影範囲が設定され、前記撮影範囲を撮影して映像信号を生成する撮影ステップと、
   前記音響検知手段が前記所定空間に生じる音響を複数箇所において検知して前記複数箇所のそれぞれに対応する音響信号を生成する音響検知ステップと、
   前記音響検知ステップにより生成される音響信号に基づいて、音源の方向を表す音源方向情報を生成する音源方向情報生成ステップと、
   前記音源方向情報生成ステップにより生成される前記音源方向情報にて表される方向に前記撮影範囲が向くように前記撮影手段の撮影方向を制御する撮影制御ステップとを有することを特徴とする撮影制御方法。
10. 前記音響検知ステップにより生成された音響信号に応じて所定の音を出力する音出力ステップと、
    前記撮影ステップにより生成された映像信号に基づいた映像を表示する映像表示ステップとを有することを特徴とする請求項９に記載の撮影制御方法。
11. 前記撮影制御ステップは、更に所定の条件に応じて前記撮影手段の撮影倍率を増大させることを特徴とする請求項９又は１０に記載の撮影制御方法。
12. 前記撮影制御ステップは、更に前記映像信号から得られる動体部分の動きに応じて前記撮影手段の撮影方向を制御することを特徴とする請求項９乃至１１のいずれかに記載の撮影制御方法。
13. 前記映像信号に基づく映像情報と、前記撮影範囲において前記音源方向情報にて特定される位置を示すマーク情報とを合成する映像合成ステップを有することを特徴とする請求項９乃至１２のいずれかに記載の撮影制御方法。
14. 前記撮影システムが複数の前記撮影手段を有する場合に、
    前記撮影制御ステップは、前記複数の撮影手段の少なくともいずれかを制御することを特徴とする請求項９乃至１３のいずれかに記載の撮影制御方法。
15. 前記撮影制御ステップは、前記音響検出ステップにより生成された前記複数箇所のそれぞれに対応する音響信号のレベルに基づいて、前記複数の撮影手段の制御に関する優先順位を決定することを特徴とする請求項１４に記載の撮影制御方法。
16. ２以上の所定数の前記撮影手段からの映像信号に基づいて、前記撮影範囲の立体映像を表す立体映像情報を生成する立体映像情報生成ステップを有することを特徴とする請求項１４又は１５に記載の撮影制御方法。
    

Images