JP2018023137A - 指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システム - Google Patents

Abstract

【課題】画像上の監視対象物が移動しても、監視対象物に対する音声の指向性を追従して適正に形成する。【解決手段】指向性制御システム１００は、カメラＣ１により撮像された収音領域の画像をディスプレイに表示し、全方向マイクアレイから、画像上のユーザ操作に基づく第１の指定位置に対応する監視対象物への方向に、音声の指向性を形成し第１の指向音声データを生成し、ディスプレイ上における監視対象物の動線に沿った任意の位置にある第２の指定位置及び指定時刻のデータを取得し、第２の指定位置における音声の再生開始時刻を算出する。算出された音声の再生開始時刻に応じた指定時刻に対応する第２の指定位置のデータを用いて、マイクアレイから、第２の指定位置に対応する監視対象物への方向に音声の指向性を形成し、第２の指向音声データを生成し、指定時刻において第１の指向音声データから第２の指向音声データへと出力音声データを切り替える。【選択図】図１

Description

本発明は、音声の指向性を制御する指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システムに関する。

従来、工場、店舗（例えば小売店、銀行）或いは公共の場（例えば図書館）の既定位置（例えば天井面）に設置される監視システムでは、ネットワークを介して１つ以上のカメラ装置（例えばＰＴＺ（Pan Tilt Zoom）カメラ装置、又は全方位カメラ装置）を接続し、監視対象範囲の映像の画像データ（静止画像及び動画像を含む。以下同様。）の広画角化が図られている。

映像を用いた監視では得られる情報量が限られるので、１つ以上のカメラ装置以外に、複数のマイクロホンが収容されたマイクアレイ装置を用いて、カメラ装置の画角内に存在する特定の監視対象物（例えば人物）の発する音声データが得られる監視システムの要請が高い。また、このような監視システムでは、マイクアレイ装置が音声を収音する際、人物が移動することも考慮する必要があると考えられる。

ここで、テレビカメラが撮影している画像を映し出すモニターテレビ画面上で移動の始点から終点の軌跡点の指定により、軌跡点を描画してユーザの入力操作を簡易化する先行技術として、例えば特許文献１に示すテレビカメラの雲台制御装置が提案されている。

特許文献１に示すテレビカメラの雲台制御装置は、パン及びチルト駆動手段を設けた雲台に設置されたテレビカメラが撮影している画像をモニターテレビに映し出し、モニターテレビの画面上で自動撮影における移動始点から終点に至る軌跡点が入力され、順次入力された軌跡点を順次接続して連続した軌跡線を求め、更に、軌跡線の移動始点から終点に至る軌跡データを順次読み出してデータ読出点が撮影画面の中心に位置するように自動撮影を実行する。これにより、テレビカメラの雲台制御装置は、モニターテレビの画面上で軌跡点を入力することで、簡単な入力操作でパン及びチルト駆動の軌跡データを得ることができ、正確な駆動制御を行うことができる。

日本国特開平０６−１３３１８９号公報

しかし、特許文献１ではモニターテレビに映し出された人物の発する音声を収音する構成は開示されておらず、例えば特許文献１の構成を上述した監視システムに適用しても、移動始点から終点に至る軌跡点上の人物の音声を高精度に収音することは困難であるという課題がある。

本発明は、上述した従来の課題を解決するために、画像上の監視対象物が移動しても、監視対象物に対する音声の指向性を追従して適正に形成し、監視者の監視業務の効率劣化を抑制する指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システムを提供することを目的とする。

本発明は、複数のマイクを含む第１のマイクアレイで収音された音声の指向性を制御する指向性制御装置における指向性制御方法であって、カメラにより撮像された収音領域の画像をディスプレイに表示する表示制御ステップと、前記ディスプレイにて表示された前記画像に対するユーザ操作に応じて、前記第１のマイクアレイから、表示された前記画像上の前記ユーザ操作に基づく第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第１の指向音声データを生成する第１の指向音声データ生成ステップと、前記監視対象物の移動に応じた前記ディスプレイの画像上における前記監視対象物の動線に沿った任意の位置にある第２の指定位置及び指定時刻のデータを取得する情報取得ステップと、前記第２の指定位置における前記音声の再生開始時刻を算出する再生時刻算出ステップと、前記再生時刻算出ステップにより算出された前記音声の再生開始時刻に応じた前記指定時刻に対応する前記第２の指定位置のデータを用いて、前記第１のマイクアレイから、表示された前記画像上の前記第２の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第２の指向音声データを生成する第２の指向音声データ生成ステップと、前記指定時刻において前記第１の指向音声データから前記第２の指向音声データへと、出力音声データを切り替える指向音声切り替えステップと、を備える、指向性制御方法である。

また、本発明は、複数のマイクを含む第１のマイクアレイで収音された音声の指向性を制御する指向性制御装置における処理を実行するプログラムが格納された記憶媒体であって、カメラにより撮像された収音領域の画像をディスプレイに表示するステップと、前記ディスプレイにて表示された前記画像に対するユーザ操作に応じて、前記第１のマイクアレイから、表示された前記画像上の前記ユーザ操作に基づく第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第１の指向音声データを生成するステップと、前記監視対象物の移動に応じた前記ディスプレイの画像上における前記監視対象物の動線に沿った任意の位置にある第２の指定位置及び指定時刻のデータを取得するステップと、前記第２の指定位置における前記音声の再生開始時刻を算出する再生時刻算出ステップと、前記再生時刻算出ステップにより算出された前記音声の再生開始時刻に応じた前記指定時刻に対応する前記第２の指定位置のデータを用いて、前記第１のマイクアレイから、表示された前記画像上の前記第２の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第２の指向音声データを生成するステップと、前記指定時刻において前記第１の指向音声データから前記第２の指向音声データへと、出力音声データを切り替えるステップと、を実行するプログラムが格納された、記憶媒体である。

また、本発明は、収音領域を撮像するカメラと、複数のマイクを含み前記収音領域の音声を収音する第１のマイクアレイと、前記第１のマイクアレイで収音された音声の指向性を制御する指向性制御装置と、を備え、前記指向性制御装置は、カメラにより撮像された収音領域の画像をディスプレイに表示する出力制御部と、前記ディスプレイにて表示された前記画像に対するユーザ操作に応じて、前記第１のマイクアレイから、表示された前記画像上の前記ユーザ操作に基づく第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第１の指向音声データを生成する指向音声データ生成部と、前記監視対象物の移動に応じた前記ディスプレイの画像上における前記監視対象物の動線に沿った任意の位置にある第２の指定位置及び指定時刻のデータを取得する情報取得部と、を備え、前記指向音声データ生成部は、前記第２の指定位置における前記音声の再生開始時刻を算出し、算出された前記音声の再生開始時刻に応じた前記指定時刻に対応する前記第２の指定位置のデータを用いて、前記第１のマイクアレイから、表示された前記画像上の前記第２の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第２の指向音声データを生成し、前記指定時刻において前記第１の指向音声データから前記第２の指向音声データへと、出力音声データを切り替える、指向性制御システムである。

本発明によれば、画像上の監視対象物が移動しても、監視対象物に対する音声の指向性を追従して適正に形成でき、監視者の監視業務の効率劣化を抑制できる。

第１の実施形態の指向性制御システムの動作概要を示す説明図 第１の実施形態の指向性制御システムの第１のシステム構成例を示すブロック図 第１の実施形態の指向性制御システムの第２のシステム構成例を示すブロック図 手動トラッキング処理の操作例を示す説明図 自動トラッキング処理において自動指定されたトラッキングポイントが間違っていた場合に、手動トラッキング処理によりトラッキングポイントを変更する操作例を示す説明図 録画再生モード及びスロー再生モードにおけるスロー再生処理を示す説明図 拡大表示モードにおける拡大表示処理を示す説明図 （Ａ）拡大表示モードにおける拡大表示処理後の自動スクロール処理を示す説明図、（Ｂ）時刻ｔ＝ｔ１におけるトラッキング画面を示す図、（Ｃ）時刻ｔ＝ｔ２におけるトラッキング画面を示す図 （Ａ）第１の実施形態の指向性制御システムにおける手動トラッキング処理の全体フローの第１例を説明するフローチャート、（Ｂ）第１の実施形態の指向性制御システムにおける手動トラッキング処理の全体フローの第２例を説明するフローチャート （Ａ）第１の実施形態の指向性制御システムにおける自動トラッキング処理の全体フローの第１例を説明するフローチャート、（Ｂ）（Ａ）に示す自動トラッキング処理の第１例を説明するフローチャート （Ａ）図１０（Ａ）に示す自動トラッキング処理の第２例を説明するフローチャート、（Ｂ）（Ａ）に示すトラッキング補正処理の一例を説明するフローチャート 図１０（Ａ）に示す自動トラッキング処理の第３例を説明するフローチャート （Ａ）図９（Ａ）に示すトラッキング補助処理の一例を説明するフローチャート、（Ｂ）（Ａ）に示す自動スクロール処理の一例を説明するフローチャート （Ａ）図１３（Ｂ）に示す自動スクロール処理要否判定処理の一例を示すフローチャート、（Ｂ）自動スクロール処理要否判定処理におけるスクロール要否判定線の説明図 （Ａ）図９（Ａ）に示すトラッキング結線処理の一例を説明するフローチャート、（Ｂ）（Ａ）に示す一括結線処理の一例を説明するフローチャート （Ａ）１回分の人物の移動に対して表示されたトラッキングポイント間の動線上におけるユーザの指定位置に対応した収音音声の再生開始時刻ＰＴの説明図、（Ｂ）トラッキングリストの第１例を示す図 （Ａ）複数同時指定に基づく異なるトラッキングポイント間の動線上におけるユーザの指定位置に対応した収音音声の再生開始時刻ＰＴの説明図、（Ｂ）トラッキングリストの第２例を示す図 （Ａ）複数回指定に基づく異なるトラッキングポイント間の動線上におけるユーザの各指定位置に対応した収音音声の再生開始時刻ＰＴ，ＰＴ’の説明図、（Ｂ）トラッキングリストの第３例を示す図 （Ａ）第１の実施形態の指向性制御システムにおけるトラッキングリストを用いた動線表示再生処理の全体フローの一例を説明するフローチャート、（Ｂ）（Ａ）に示す再生開始時刻算出処理の一例を説明するフローチャート 図１９（Ａ）に示す動線表示処理の一例を説明するフローチャート （Ａ）図９（Ａ）に示す音声出力処理の一例を説明するフローチャート、（Ｂ）図１３（Ａ）に示す画像プライバシー保護処理の一例を説明するフローチャート （Ａ）ボイスチェンジ処理前のピッチに対応する音声信号の波形の一例を示す図、（Ｂ）ボイスチェンジ処理後のピッチに対応する音声信号の波形の一例を示す図、（Ｃ）検出された人物の顔の輪郭内にぼかしを入れる処理の説明図 第２の実施形態の指向性制御システムのシステム構成例を示すブロック図 ディスプレイ装置に表示される画像の撮像に用いるカメラ装置の自動切替処理を示す説明図 監視対象物の音声の収音に用いる全方位マイクアレイ装置の自動切替処理を示す説明図 ディスプレイ装置に表示される画像の撮像に用いるカメラ装置の手動切替処理を示す説明図 監視対象物の音声の収音に用いる全方位マイクアレイ装置の手動切替処理を示す説明図 監視対象物の音声の収音に用いる最適な全方位マイクアレイ装置の選択処理を示す説明図 （Ａ）第２の実施形態の指向性制御システムにおけるカメラ装置の自動切替処理の一例を説明するフローチャート、（Ｂ）（Ａ）に示すカメラ切替判定処理の一例を示すフローチャート （Ａ）第２の実施形態の指向性制御システムにおける全方位マイクアレイ装置の自動切替処理の一例を説明するフローチャート、（Ｂ）（Ａ）に示すマイク切替判定処理の一例を示すフローチャート （Ａ）第２の実施形態の指向性制御システムにおけるカメラ装置の手動切替処理の一例を説明するフローチャート、（Ｂ）第２の実施形態の指向性制御システムにおける全方位マイクアレイ装置の手動切替処理の一例を説明するフローチャート （Ａ）第２の実施形態の指向性制御システムにおける最適な全方位マイクアレイ装置の選択処理の第１例を説明するフローチャート、（Ｂ）第２の実施形態の指向性制御システムにおける最適な全方位マイクアレイ装置の選択処理の第２例を説明するフローチャート 第２の実施形態の指向性制御システムにおける最適な全方位マイクアレイ装置の選択処理の第３例を説明するフローチャート 第１の実施形態の変形例の指向性制御システムにおける複数同時指定に基づく手動トラッキング処理の全体フローの一例を説明するフローチャート 第１の実施形態の変形例の指向性制御システムにおける複数の監視対象物の自動トラッキング処理の一例を説明するフローチャート （Ａ）〜（Ｅ）全方位マイクアレイ装置の筐体の外観図 全方位マイクアレイ装置が角度θの方向に音声データの指向性を形成する遅延和方式の簡単な説明図

以下、本発明に係る指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システムの各実施形態について、図面を参照して説明する。各実施形態の指向性制御システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられる。

なお、本発明は、コンピュータである指向性制御装置に、指向性制御方法により規定される動作を実行させるためのプログラム、又は指向性制御方法により規定される動作をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体として表現することも可能である。

（第１の実施形態）
図１は、第１の実施形態の指向性制御システム１００，１００Ａの動作概要を示す説明図である。図２は、第１の実施形態の指向性制御システム１００の第１のシステム構成例を示すブロック図である。図３は、第１の実施形態の指向性制御システム１００Ａの第２のシステム構成例を示すブロック図である。

指向性制御システム１００，１００Ａの具体的な構成については後述し、先ず指向性制御システム１００，１００Ａの動作概要について、図１を参照して簡単に説明する。

図１では、カメラ装置Ｃ１は、例えば監視システムとして使用される指向性制御システム１００，１００Ａの監視対象物（例えば人物ＨＭ１）を撮像し、撮像により得られた画像のデータを、ネットワークＮＷを介して接続された指向性制御装置３に送信する。

本実施形態を含む各実施形態では、人物ＨＭ１は、静止しても良いし移動しても良いが移動するものとして説明する。人物ＨＭ１は、例えばトラッキング時刻ｔ１においてトラッキング位置Ａ１（ｘ１，ｙ１，ｚ０）から、トラッキング時刻ｔ２までにトラッキング位置Ａ２（ｘ２，ｙ２，ｚ０）に移動する。

ここで、トラッキングポイントとは、移動する人物ＨＭ１がカメラ装置Ｃ１により撮像された画像がディスプレイ装置３５のトラッキング画面ＴＲＷに表示された場合に、ユーザがトラッキング画面ＴＲＷ上で人物ＨＭ１を指定した位置（即ち、トラッキング画面ＴＲＷ上の位置）である。トラッキングポイントには、トラッキング位置及びトラッキング時刻のデータが対応付けられる（例えば後述する図１６（Ｂ）参照）。トラッキング位置は、人物ＨＭ１が指定されたトラッキング画面ＴＲＷ上の位置に対応する実空間上の位置を示す３次元座標である。

また、トラッキング画面ＴＲＷとは、カメラ装置（例えばカメラ装置Ｃ１）により撮像された画像がディスプレイ装置３５に表示された画面（以下、「カメラ画面」という）のうち、例えば人物ＨＭ１が音声トラッキング処理（後述参照）の対象となる監視対象物として映し出されている画面を示す。以下の各実施形態において、人物ＨＭ１等が監視対象物として映し出されていない画面をカメラ画面と記載し、監視対象物として映し出されている画面をトラッキング画面と記載し、特に説明が無い限り、カメラ画面とトラッキング画面とを区別して記載する。

なお図１では、説明を簡単にするために、同一の人物ＨＭ１が移動することを想定して説明するため、トラッキングポイントＴＰ１，ＴＰ２におけるトラッキング位置のｚ座標は同じとする。更に、人物ＨＭ１がトラッキング位置Ａ１からトラッキング位置Ａ２に移動してもカメラ装置Ｃ１により撮像されるが、カメラ装置Ｃ１は、人物ＨＭ１の移動に追従して人物ＨＭ１の撮像を継続しても良いし、撮像を中止しても良い。

全方位マイクアレイ装置Ｍ１は、人物ＨＭ１の発する音声を収音し、ネットワークＮＷを介して接続された指向性制御装置３に、収音音声のデータを送信する。

指向性制御装置３は、監視対象物としての人物ＨＭ１がトラッキング位置Ａ１に静止している場合には、全方位マイクアレイ装置Ｍ１からトラッキング位置Ａ１への指向方向に、収音音声の指向性を形成する。また、指向性制御装置３は、人物ＨＭ１がトラッキング位置Ａ１からトラッキング位置Ａ２に移動した場合には、全方位マイクアレイ装置Ｍ１からトラッキング位置Ａ２への指向方向に、収音音声の指向性を切り替えて形成する。

言い換えると、指向性制御装置３は、監視対象物としての人物ＨＭ１のトラッキング位置Ａ１からトラッキング位置Ａ２への移動に伴って、全方位マイクアレイ装置Ｍ１からトラッキング位置Ａ１への方向から、全方位マイクアレイ装置Ｍ１からトラッキング位置Ａ２への方向に収音音声の指向性を追従制御する、即ち音声トラッキング処理を行う。

図２に示す指向性制御システム１００は、１つ以上のカメラ装置Ｃ１，…，Ｃｎと、１つ以上の全方位マイクアレイ装置Ｍ１，…，Ｍｍと、指向性制御装置３と、レコーダ装置４とを含む構成である。ｎ，ｍは１以上の整数であり、同数でも良いし異数でも良く、以下の各実施形態でも同様である。

カメラ装置Ｃ１，…，Ｃｎと、全方位マイクアレイ装置Ｍ１，…，Ｍｍと、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network）、ＷｉＭＡＸ（登録商標）、無線ＷＡＮ（Wide Area Network））でも良い。以下の本実施形態では、説明を簡単にするために、１つのカメラ装置Ｃ１及び全方位マイクアレイ装置Ｍ１が設けられた構成として説明する。

以下、指向性制御システム１００を構成する各装置について説明する。なお、本実施形態を含む各実施形態では、カメラ装置Ｃ１の筐体と全方位マイクアレイ装置Ｍ１の筐体とは異なる位置に別体として取り付けられるが、カメラ装置Ｃ１の筐体と全方位マイクアレイ装置Ｍ１の筐体とは同一の位置に一体的に取り付けられても良い。

撮像部の一例としてのカメラ装置Ｃ１は、例えばイベント会場の天井面に固定して設置され、監視システムにおける監視カメラとしての機能を有し、ネットワークＮＷに接続された監視制御室（不図示）からの遠隔操作によって、所定の収音エリア（例えばイベント会場内の既定領域）において、カメラ装置Ｃ１の所定画角内の映像を撮像する。なお、カメラ装置Ｃ１は、ＰＴＺ機能を有するカメラでも良いし、全方位を撮像可能なカメラでも良い。なお、カメラ装置Ｃ１は、全方位を撮像可能なカメラである場合には、収音エリアの全方位の映像を示す画像データ（即ち、全方位画像データ）、又は全方位画像データに所定の歪み補正処理を施してパノラマ変換して生成した平面画像データを、ネットワークＮＷを介して指向性制御装置３又はレコーダ装置４に送信する。

カメラ装置Ｃ１は、ディスプレイ装置３５に表示された画像データの中で、任意の位置がカーソルＣＳＲ又はユーザの指ＦＧにより指定されると、画像データ中の指定位置の座標データを指向性制御装置３から受信し、カメラ装置１から、指定位置に対応する実空間上の音声位置（以下、単に「音声位置」と略記する）までの距離、方向（水平角及び垂直角を含む。以下同様。）のデータを算出して指向性制御装置３に送信する。なお、カメラ装置Ｃ１における距離、方向のデータ算出処理は公知技術であるため、説明は省略する。

収音部の一例としての全方位マイクアレイ装置Ｍ１は、例えばイベント会場の天井面に固定して設置され、複数のマイクロホンユニット２２，２３（図３６（Ａ）〜（Ｅ）参照）が均等な間隔で設けられたマイクロホン部と、マイクロホン部の各マイクロホンユニット２２，２３の動作を制御するＣＰＵ（Central Processing Unit）とを少なくとも含む構成である。

全方位マイクアレイ装置Ｍ１は、電源がＯＮされると、マイクロホンユニット内のマイク素子により収音された音声の音声データに所定の音声信号処理（例えば増幅処理、フィルタ処理、加算処理）を施し、所定の音声信号処理により得られた音声データを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。

ここで、全方位マイクアレイ装置Ｍ１の筐体の外観について、図３６（Ａ）〜（Ｅ）を参照して説明する。図３６（Ａ）〜（Ｅ）は、全方位マイクアレイ装置Ｍ１の筐体の外観図である。図３６（Ａ）〜（Ｅ）に示す全方位マイクアレイ装置Ｍ１Ｃ，Ｍ１Ａ，Ｍ１Ｂ，Ｍ１，Ｍ１Ｄは、外観及び複数のマイクロホンユニットの配置位置が異なるが、全方位マイクアレイ装置の機能は同等である。

図３６（Ａ）に示す全方位マイクアレイ装置Ｍ１Ｃは、円盤状の筐体２１を有する。筐体２１には、複数のマイクロホンユニット２２，２３が同心円状に配置されている。具体的には、複数のマイクロホンユニット２２が、筐体２１と同一の中心を有する同心円状に且つ筐体２１の円周に沿って配置され、複数のマイクロホンユニット２３が、筐体２１と同一の中心を有する同心円状に且つ筐体２１の内側に配置されている。各々のマイクロホンユニット２２は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、各々のマイクロホンユニット２３は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。

図３６（Ｂ）に示す全方位マイクアレイ装置Ｍ１Ａは、円盤状の筐体２１を有する。筐体２１には、複数のマイクロホンユニット２２が、均等な間隔で縦方向と横方向の２方向に沿って十字状に配置され、縦方向の配列と横方向の配列とが筐体２１の中心において交わっている。全方位マイクアレイ装置Ｍ１Ａは、複数のマイクロホンユニット２２が縦方向と横方向の２方向に直線的に配置されているので、音声データの指向性を形成する場合の演算量を低減できる。なお、図３６（Ｂ）に示す全方位マイクアレイ装置Ｍ１Ａにおいて、縦方向又は横方向の１列だけに、複数のマイクロホンユニット２２が配置されても良い。

図３６（Ｃ）に示す全方位マイクアレイ装置Ｍ１Ｂは、図３６（Ａ）に示す全方位マイクアレイ装置Ｍ１Ｃに比べ、直径の小さい円盤状の筐体２１Ｂを有する。筐体２１Ｂには、複数のマイクロホンユニット２２が、筐体２１Ｂの円周に沿って均等な間隔で配置されている。図３６（Ｃ）に示す全方位マイクアレイ装置Ｍ１Ｂは、各々のマイクロホンユニット２２の間隔が短いので、高い音域に適した特性を有する。

図３６（Ｄ）に示す全方位マイクアレイ装置Ｍ１は、筐体２１Ｃの中心に所定の直径を有する開口部２１ａが形成されたドーナツ型形状又はリング型形状の筐体２１Ｃを有する。本実施形態の指向性制御システム１００，１００Ａでは、例えば図３６（Ｄ）に示す全方位マイクアレイ装置Ｍ１が用いられる。筐体２１Ｃでは、複数のマイクロホンユニット２２が、筐体２１Ｃの円周方向に沿って、均等な間隔で同心円状に配置されている。

図３６（Ｅ）に示す全方位マイクアレイ装置Ｍ１Ｄは、矩形状の筐体２１Ｄを有する。筐体２１Ｄには、複数のマイクロホンユニット２２が、筐体２１Ｄの外周に沿って均等な間隔で配置されている。図３６（Ｅ）に示す全方位マイクアレイ装置Ｍ１Ｄでは、筐体２１Ｄが矩形形状であるため、例えばコーナー又は壁面においても全方位マイクアレイ装置Ｍ１Ｄの設置を簡易化できる。

全方位マイクアレイ装置Ｍ１の各マイクロホンユニット２２，２３は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせでも良い。

指向性制御装置３，３Ａは、例えば監視制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、ＰＤＡ（Personal Digital Assistant）、タブレット端末、スマートフォン等のデータ通信端末でも良い。

指向性制御装置３は、通信部３１と、操作部３２と、メモリ３３と、信号処理部３４と、ディスプレイ装置３５と、スピーカ装置３６とを少なくとも含む構成である。信号処理部３４は、指向方向算出部３４ａと、出力制御部３４ｂと、トラッキング処理部３４ｃとを少なくとも含む。

通信部３１は、カメラ装置Ｃ１から送信された画像データ又は全方位マイクアレイ装置Ｍ１から送信された音声データを受信して信号処理部３４に出力する。

操作部３２は、ユーザの入力操作を信号処理部３４に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３５の表示画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによる入力操作を検出可能なタッチパネルを用いて構成されても良い。

操作部３２は、ディスプレイ装置３５に表示された画像データ（即ち、カメラ装置Ｃ１により撮像された画像データ）の中で、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧにより指定された指定位置の座標データを信号処理部３４に出力する。

メモリ３３は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能する。また、画像記憶部又は音声記憶部の一例としてのメモリ３３は、例えばハードディスク又はフラッシュメモリを用いて構成され、レコーダ装置４において記憶されている画像データ又は音声データ、即ち、一定期間にわたってカメラ装置Ｃ１により撮像された画像データ又は全方位マイクアレイ装置Ｍ１により収音された音声データを記憶している。

また、指定リスト記憶部の一例としてのメモリ３３は、ディスプレイ装置３５に表示された画像データのトラッキング画面ＴＲＷ上の全ての指定位置及び指定時刻（後述参照）のデータを含む指定リストの一例としてのトラッキングリストＬＳＴ（例えば図１６（Ｂ）参照）のデータを記憶する。

信号処理部３４は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。

指向方向算出部３４ａは、指向方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出時では、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧにより指定された画像データの指定位置の座標データを操作部３２から取得すると、通信部３１からカメラ装置Ｃ１に座標データを送信させる。指向方向算出部３４ａは、カメラ装置１の設置位置から、画像データの指定位置に対応する実空間上の音声（音源）位置までの距離、方向のデータを、通信部３１から取得する。

指向方向算出部３４ａは、カメラ装置Ｃ１の設置位置から、音声位置までの距離、方向のデータを用いて、全方位マイクアレイ装置Ｍ１の設置位置から音声位置に向かう指向方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。

また、本実施形態のように、カメラ装置Ｃ１の筐体と全方位マイクアレイ装置Ｍ１の筐体とが離れて別体として取り付けられている場合には、指向方向算出部３４ａは、事前に算出された所定のキャリブレーションパラメータのデータと、カメラ装置Ｃ１から音声位置（音源位置）までの方向（水平角，垂直角）のデータとを用いて、全方位マイクアレイ装置Ｍ１から音声位置（音源位置）までの指向方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。なお、キャリブレーションとは、指向性制御装置３の指向方向算出部３４ａが指向方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出するために必要となる所定のキャリブレーションパラメータを算出又は取得する動作であり、具体的なキャリブレーション方法及びキャリブレーションパラメータの内容は特に限定されず、例えば公知技術の範囲で実現可能である。

また、カメラ装置Ｃ１の筐体を囲むように全方位マイクアレイ装置Ｍ１の筐体が一体的に取り付けられている場合には、カメラ装置Ｃ１から音声位置（音源位置）までの方向（水平角，垂直角）を、全方位マイクアレイ装置２から音声位置までの指向方向座標（θ_ＭＡｈ，θ_ＭＡｖ）として用いることができる。

ここで、指向方向座標（θ_ＭＡｈ，θ_ＭＡｖ）のうち、θ_ＭＡｈは全方位マイクアレイ装置２の設置位置から音声位置に向かう指向方向の水平角を示し、θ_ＭＡｖは全方位マイクアレイ装置２の設置位置から音声位置に向かう指向方向の垂直角を示す。以下の説明では、説明を簡単にするために、カメラ装置Ｃ１及び全方位マイクアレイ装置Ｍ１の各水平角の基準方向（０度方向）が一致するとする。

出力制御部３４ｂは、ディスプレイ装置３５及びスピーカ装置３６の動作を制御する。例えば、表示制御部の一例としての出力制御部３４ｂは、例えばユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、カメラ装置Ｃ１から送信された画像データをディスプレイ装置３５に表示させる。音声出力制御部の一例としての出力制御部３４ｂは、全方位マイクアレイ装置２から送信された音声データ、又は一定期間にわたって全方位マイクアレイ装置Ｍ１により収音された音声データをレコーダ装置４から取得した場合には、例えばユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、音声データをスピーカ装置３６に出力させる。

また、画像再生部の一例としての出力制御部３４ｂは、一定期間にわたってカメラ装置Ｃ１により撮像された画像データをレコーダ装置４から取得した場合には、例えばユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、画像データをディスプレイ装置３５に再生させる。

また、指向性形成部の一例としての出力制御部３４ｂは、全方位マイクアレイ装置２から送信された音声データ又はレコーダ装置４から取得した音声データを用いて、指向方向算出部３４ａにより算出された指向方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す指向方向に、全方位マイクアレイ装置２により収音された音声（収音音声）の指向性（ビーム）を形成する。

これにより、指向性制御装置３は、指向性が形成された指向方向に存在する監視対象物（例えば人物ＨＭ１）の発する音声の音量レベルを相対的に増大でき、指向性が形成されない方向の音声を抑圧して音量レベルを相対的に低減できる。

情報取得部の一例としてのトラッキング処理部３４ｃは、上述した音声トラッキング処理に関する情報を取得する。例えば、トラッキング処理部３４ｃは、カメラ装置Ｃ１により撮像された画像データが表示されたディスプレイ装置３５のトラッキング画面ＴＲＷ上において、例えばユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて新たな位置が指定された場合には、新たに指定された位置に関する情報を取得する。

ここで、新たに指定された位置に関する情報には、トラッキング画面ＴＲＷ上で指定された画像データ上の位置を示す座標情報以外に、新たに指定された時刻（指定時刻）、指定時刻に指定された画像データ上の位置に対応する実空間上の監視対象物（例えば人物ＨＭ１）が存在する音声位置（音源位置）の座標情報、又は全方位マイクアレイ装置Ｍ１からその音声位置（音源位置）までの距離情報が含まれる。

また、再生時刻算出部の一例としてのトラッキング処理部３４ｃは、メモリ３３に記憶されたトラッキングリストＬＳＴのデータを用いて、例えばユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、指定された動線上の位置における音声の再生時刻を算出する（後述参照）。

表示部の一例としてのディスプレイ装置３５は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、出力制御部３４ｂの制御の下で、カメラ装置Ｃ１により撮像された画像データを表示する。

音声出力部の一例としてのスピーカ装置３６は、全方位マイクアレイ装置Ｍ１により収音された音声の音声データ、又は指向方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す指向方向に指向性が形成された音声データを出力する。なお、ディスプレイ装置３５及びスピーカ装置３６は、指向性制御装置３とは別の構成としても良い。

レコーダ装置４は、カメラ装置Ｃ１により撮像された画像データと、全方位マイクアレイ装置Ｍ１により収音された音声の音声データとを対応付けて記憶している。

図３に示す指向性制御システム１００Ａは、１つ以上のカメラ装置Ｃ１，…，Ｃｎと、１つ以上の全方位マイクアレイ装置Ｍ１，…，Ｍｍと、指向性制御装置３Ａと、レコーダ装置４とを含む構成である。図３では、図２の各部と同一の構成及び動作のものには同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。

指向性制御装置３Ａは、通信部３１と、操作部３２と、メモリ３３と、信号処理部３４Ａと、ディスプレイ装置３５と、スピーカ装置３６と、画像処理部３７とを少なくとも含む構成である。信号処理部３４Ａは、指向方向算出部３４ａと、出力制御部３４ｂと、トラッキング処理部３４ｃと、音源検出部３４ｄとを少なくとも含む。

音源検出部３４ｄは、ディスプレイ装置３５に表示されている画像データから、監視対象物である人物ＨＭ１の発した音声に対応する実空間上の音声位置（音源位置）を検出する。例えば、音源検出部３４ｄは、全方位マイクアレイ装置Ｍ１の収音エリアを複数の格子状エリアに分割し、全方位マイクアレイ装置Ｍ１から各格子状エリアの中心位置に対して指向性が形成された音声の強さ又は音量レベルを計測する。音源検出部３４ｄは、全ての格子状エリアの中で、最も音声の強さ又は音量レベルが高い格子状エリアに音源が存在すると推定する。音源検出部３４ｄの検出結果には、例えば全方位マイクアレイ装置Ｍ１から最も音声の強さ又は音量レベルが高い格子状エリアの中心位置までの距離情報が含まれる。

画像処理部３７は、信号処理部３４の指示に応じて、ディスプレイ装置３５に表示された画像データに対して所定の画像処理（例えば人物ＨＭ１の動きを検出するためのＶＭＤ（Video Motion Detector）処理、人物の顔及び顔の向きの検出処理、人物検出処理）を行い、画像処理結果を信号処理部３４に出力する。

また、画像処理部３７は、例えばユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、ディスプレイ装置３５に表示された監視対象物（例えば人物ＨＭ１）の顔の輪郭ＤＴＬを検出し、顔にマスキング処理を施す。具体的には、画像処理部３７は、検出された顔の輪郭ＤＴＬを包含する矩形領域を算出し、矩形領域内に所定のぼかしを入れる処理を行う（図２２（Ｃ）参照）。図２２（Ｃ）は、検出された人物の顔の輪郭ＤＴＬ内にぼかしを入れる処理の説明図である。画像処理部３７は、ぼかしを入れる処理により生成された画像データを信号処理部３４に出力する。

図３７は、全方位マイクアレイ装置Ｍ１が角度θの方向に音声データの指向性を形成する遅延和方式の簡単な説明図である。説明を分かり易くするため、マイク素子２２１〜２２ｎは直線上に配列しているとする。この場合、指向性は面内の二次元領域となるが、三次元空間において指向性を形成するためには、マイクロホンを二次元配列にして、同じ処理方法を行えば良い。

音源８０から発した音波は、全方位マイクアレイ装置Ｍ１のマイクロホンユニット２２，２３に内蔵される各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。

音源８０は、例えば全方位マイクアレイ装置Ｍ１の指向方向に存在する監視対象物（例えば人物ＨＭ１）であり、全方位マイクアレイ装置Ｍ１の筐体２１の面上に対し、所定角度θの方向に存在する。また、各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ間の間隔ｄは一定とする。

音源８０から発した音波は、最初にマイク素子２２１に到達して収音され、次にマイク素子２２２に到達して収音され、同様に次々に収音され、最後にマイク素子２２ｎに到達して収音される。

なお、全方位マイクアレイ装置Ｍ１の各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎの位置から音源８０に向かう方向は、例えば音源８０が監視対象物（例えば人物ＨＭ１）の発する音声である場合に、全方位マイクアレイ装置２の各マイクロホン（マイク素子）から、ユーザがディスプレイ装置３５上において指定した指定位置に対応する音声位置（音源位置）に向かう方向と同じである。

ここで、音波がマイク素子２２１，２２２，２２３，…，２２（ｎ−１）の順に到達した時刻から最後のマイク素子２２ｎに到達した時刻までには、到達時間差τ１，τ２，τ３，…，τ（ｎ−１）が生じる。このため、各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音した音声の音声データがそのまま加算された場合には、位相がずれた状態で加算されるため、音波の音量レベルが全体的に弱め合う。

なお、τ１は音波がマイク素子２２１に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間であり、τ２は音波がマイク素子２２２に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間であり、同様に、τ（ｎ−１）は音波がマイク素子２２（ｎ−１）に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間である。

本実施形態では、全方位マイクアレイ装置Ｍ１は、マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ毎に対応して設けられたＡ／Ｄ変換器２４１，２４２，２４３，…，２４（ｎ−１），２４ｎと、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎと、加算器２６と、を有する構成である（図３７参照）。

即ち、全方位マイクアレイ装置Ｍ１は、各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音したアナログの音声データを、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４（ｎ−１），２４ｎにおいてデジタルの音声データにＡＤ変換する。

更に、全方位マイクアレイ装置Ｍ１は、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて、各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎにおける到達時間差に対応する遅延時間を与えて全ての音波の位相を揃えた後、加算器２６において遅延処理後の音声データを加算する。これにより、全方位マイクアレイ装置Ｍ１は、各マイク素子２２１，２２２，２２３,…，２２（ｎ−１）,２２ｎに、所定角度θの方向に音声データの指向性を形成できる。

例えば図３７では、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎに設定された各遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄ（ｎ−１），Ｄｎは、それぞれ到達時間差τ１，τ２，τ３，…，τ（ｎ−１）に相当し、数式（１）により示される。

Ｌ１は、マイク素子２２１とマイク素子２２ｎとにおける音波到達距離の差である。Ｌ２は、マイク素子２２２とマイク素子２２ｎとにおける音波到達距離の差である。Ｌ３は、マイク素子２２３とマイク素子２２ｎとにおける音波到達距離の差であり、同様に、Ｌ（ｎ−１）は、マイク素子２２（ｎ−１）とマイク素子２２ｎとにおける音波到達距離の差である。Ｖｓは音波の速度（音速）である。Ｌ１,Ｌ２，Ｌ３，…，Ｌ（ｎ−１），Ｖｓは既知の値である。図３７では、遅延器２５ｎに設定される遅延時間Ｄｎは０（ゼロ）である。

このように、全方位マイクアレイ装置Ｍ１は、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎに設定される遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄｎ−１，Ｄｎを変更することで、マイクロホンユニット２２，２３に内蔵された各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音した音声の音声データの指向性を簡易に形成できる。

なお、図３７に示す指向性の形成処理の説明は、説明を簡単にするために全方位マイクアレイ装置２が行うことを前提として記載し、他の全方位マイクアレイ装置（例えば全方位マイクアレイ装置Ｍｍ）にも同様に適用可能である。但し、指向性制御装置３、３Ａの信号処理部３４，３４Ａの出力制御部３４ｂが全方位マイクアレイ装置Ｍ１のマイクロホンの数と同数のＡＤ変換器２４１〜２４ｎ及び遅延器２５１〜２５ｎと１つの加算器２６とを有する構成である場合には、指向性制御装置３，３Ａの信号処理部３４，３４Ａの出力制御部３４ｂが、全方位マイクアレイ装置Ｍ１の各マイク素子により収音された音声の音声データを用いて、図３７に示す指向性の形成処理を行っても良い。

（各種モード、各種方法の説明）
ここで、本実施形態を含む各実施形態において共通する各種モード及び各種方法について、詳細に説明する。

本実施形態を含む各実施形態では、次のような各種モード及び各種方法が存在する。それぞれについて簡単に説明する。

（１）録画再生モード：オン／オフ
（２）トラッキングモード：オン／オフ
（３）トラッキング処理方法：手動／自動
（４）トラッキング対象数：シングル／マルチ
（５）手動指定方法：クリック操作／ドラッグ操作
（６）スロー再生モード：オン／オフ
（７）拡大表示モード：オン／オフ
（８）音声プライバシー保護モード：オン／オフ
（９）画像プライバシー保護モード：オン／オフ
（１０）結線モード：都度／一括
（１１）補正モード：オン／オフ
（１２）複数カメラ切替方法：自動／手動
（１３）複数マイク切替方法：自動／手動
（１４）トラッキングポイントの上限設定モード：オン／オフ

（１）録画再生モードとは、例えば一定期間にわたってカメラ装置Ｃ１により撮像された映像の画像データを、撮像後のある時点でユーザ（例えば監視者。以下同様）が内容確認等のために再生する場合に使用される。なお、録画再生モードがオフである場合、カメラ装置Ｃ１がリアルタイムに撮像している映像の画像データがディスプレイ装置３５に表示される。

（２）トラッキングモードとは、監視対象物（例えば人物ＨＭ１）の移動に伴って、全方位マイクアレイ装置Ｍ１により収音された音声の指向性の追従制御（音声トラッキング処理）を行う場合に使用される。

（３）トラッキング処理方法とは、監視対象物（例えば人物ＨＭ１）の移動により、全方位マイクアレイ装置Ｍ１により収音された音声の指向性の追従制御（音声トラッキング処理）を行う場合に監視対象物の位置（例えばディスプレイ装置３５のトラッキング画面ＴＲＷ上の指定位置、又は実空間上の位置）を設定する方法であり、手動トラッキング処理と自動トラッキング処理とに分かれる。それぞれの詳細については後述する。

（４）トラッキング対象数とは、全方位マイクアレイ装置Ｍ１により収音された音声の指向性の追従制御（音声トラッキング処理）を行う対象となる監視対象物の数を示し、例えば人物であれば１人又は複数人である。

（５）手動指定方法とは、手動トラッキング処理（後述参照）において、トラッキング画面ＴＲＷ上においてユーザがトラッキングポイントを指定する場合の方法を示し、例えばマウス操作によるカーソルＣＳＲのクリック操作又はドラッグ操作、ユーザの指ＦＧによるタッチ操作又はタッチスライド操作が該当する。

（６）スロー再生モードとは、録画再生モードがオンであることを前提に、ディスプレイ装置３５において再生される画像データの再生速度が初期値（例えば通常値）よりも小さい速度値で再生される場合に使用される。

（７）拡大表示モードとは、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に表示された監視対象物（例えば人物ＨＭ１）を拡大表示させる場合に使用される。

（８）音声プライバシー保護モードとは、全方位マイクアレイ装置Ｍ１により収音された音声データがスピーカ装置３６において出力される際、出力される音声が誰であるかの特定を困難にするための音声処理（例えばボイスチェンジ処理）が行われる場合に使用される。

（９）画像プライバシー保護モードとは、拡大表示モードがオンである場合に、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に表示された監視対象物（例えば人物ＨＭ１）が誰であるかの特定を困難にするための画像処理が行われる場合に使用される。

（１０）結線モードとは、監視対象物の移動過程において手動指定又は自動指定によりトラッキング画面ＴＲＷ上で指定された指定位置（例えば後述するポイントマーカＭＲ１参照）同士を結線する場合に使用される。結線モードが都度であれば、監視対象物の移動過程において指定位置が指定される度に、隣接するポイントマーカ同士が結線される。結線モードが一括であれば、監視対象物の移動過程において得られた全ての指定位置に対応するポイントマーカが隣接するポイントマーカとの間において一括で結線される。

（１１）補正モードとは、自動トラッキング処理において自動指定された指定位置が監視対象物の移動過程から外れている場合等において、自動トラッキング処理から手動トラッキング処理に切り替える場合に使用される。

（１２）複数カメラ切替方法とは、複数のカメラ装置Ｃ１〜Ｃｎのうち、監視対象物の画像の撮像に用いるカメラ装置を切り替える場合に使用される。複数カメラ切替方法の詳細については第２の実施形態において説明する。

（１３）複数マイク切替方法とは、複数の全方位マイクアレイ装置Ｍ１〜Ｍｍのうち、監視対象物の発する音声の収音に用いる全方位マイクアレイ装置を切り替える場合に使用される。複数マイク切替方法の詳細については第２の実施形態において説明する。

（１４）トラッキングポイントの上限設定モードとは、トラッキングポイントの上限値が設定される場合に使用される。例えばトラッキングポイントの上限設定モードがオンである場合には、トラッキングポイントの数が上限値に到達すると、トラッキング処理部３４ｃは、全てのトラッキングポイントをリセット（消去）しても良いし、トラッキングポイントの数が上限値に達したことをトラッキング画面ＴＲＷ上に表示させても良い。また、トラッキングポイントの数が上限値に達するまでであれば、複数回の音声トラッキング処理も実行可能である。

なお、上述した（１）〜（１４）の各種モード又は各種方法を指定するためには、例えば監視システム用のアプリケーション（不図示）における所定の設定ボタン若しくは設定メニュー、トラッキング画面ＴＲＷ上に表示される設定ボタン若しくは設定メニューに対し、ユーザのマウス操作によるカーソルＣＳＲのクリック操作又はユーザの指ＦＧによるタッチ操作によって決められる。

次に、指向性制御装置３，３Ａにおける手動トラッキング処理の操作例について、図４を参照して説明する。図４は、手動トラッキング処理の操作例を示す説明図である。

図４では、ディスプレイ装置３５に表示されたトラッキング画面ＴＲＷ上に、監視対象物としての人物ＨＭ１の移動過程が示され、例えばユーザのマウス操作によるカーソルＣＳＲのクリック操作又はドラッグ操作により、３つのトラッキングポイントｂ１，ｂ２，ｂ３が指定されている。

トラッキング処理部３４ｃは、カーソルＣＳＲがトラッキングポイントｂ１を指定したトラッキング時刻ｔ１、トラッキングポイントｂ２を指定したトラッキング時刻ｔ２、トラッキングポイントｂ３を指定したトラッキング時刻ｔ３の情報を取得する。また、トラッキング処理部３４ｃは、トラッキングポイントｂ１のトラッキング画面ＴＲＷ上の座標情報又はこの座標情報に対応する実空間上の位置を示す３次元座標とトラッキング時刻ｔ１の情報とを対応付けてメモリ３３に保存する。また、トラッキング処理部３４ｃは、トラッキングポイントｂ２のトラッキング画面ＴＲＷ上の座標情報又はこの座標情報に対応する実空間上の位置を示す３次元座標とトラッキング時刻ｔ２の情報とを対応付けてメモリ３３に保存する。また、トラッキング処理部３４ｃは、トラッキングポイントｂ３のトラッキング画面ＴＲＷ上の座標情報又はこの座標情報に対応する実空間上の位置を示す３次元座標とトラッキング時刻ｔ３の情報とを対応付けてメモリ３３に保存する。

出力制御部３４ｂは、トラッキング画面ＴＲＷ上のトラッキングポイントｂ１にポイントマーカＭＲ１を表示させ、トラッキング画面ＴＲＷ上のトラッキングポイントｂ２にポイントマーカＭＲ２を表示させ、更に、トラッキング画面ＴＲＷ上のトラッキングポイントｂ３にポイントマーカＭＲ３を表示させる。これにより、出力制御部３４ｂは、移動中の人物ＨＭ１が通過したトラッキングポイントを軌跡としてトラッキング画面ＴＲＷ上に明示的に示すことができる。

また、出力制御部３４ｂは、ポイントマーカＭＲ１，ＭＲ２間を結線して動線ＬＮ１を表示させ、更に、ポイントマーカＭＲ２，ＭＲ３間を結線して動線ＬＮ２を表示させる。

次に、指向性制御装置３，３Ａにおける補正モードの操作例について、図５を参照して説明する。図５は、自動トラッキング処理において自動指定されたトラッキングポイントが間違っていた場合に、手動トラッキング処理によりトラッキングポイントを変更する操作例を示す説明図である。

図５の左側のトラッキング画面ＴＲＷでは、画像処理部３７又は音源検出部３４ｄにより自動指定されたトラッキングポイントが人物ＨＭ１の移動過程の地点と異なっており、ポイントマーカＭＲ１，ＭＲ２Ｗ間の結線によって間違った動線ＬＮＷが表示されている。

補正モードがオンである場合には、図５の右側のトラッキング画面ＴＲＷに示すように、自動トラッキング処理から手動トラッキング処理に切り替わるので、例えばカーソルＣＳＲによるクリック操作によって、正しいトラッキングポイントが指定されると、出力制御部３４ｂは、ポイントマーカＭＲ１，ＭＲ２Ｒ間を結線し、正しい動線ＬＮＲをトラッキング画面ＴＲＷ上に表示させる。

次に、指向性制御装置３，３Ａにおける録画再生モード及びスロー再生モードにおけるスロー再生処理について、図６を参照して説明する。図６は、録画再生モード及びスロー再生モードにおけるスロー再生処理を示す説明図である。

図６の上側のトラッキング画面ＴＲＷでは、例えば人物ＨＭ１の動きが速いため、手動トラッキング処理でも自動トラッキング処理でも人物ＨＭ１の指定が困難であるとする。録画再生モード及びスロー再生モードがオンである場合には、例えばユーザの指ＦＧによりディスプレイ装置３５に表示されたスロー再生ボタンがタッチ操作されると、出力制御部３４ｂは、再生速度の初期値（通常値）より小さい速度値で、人物ＨＭ１の移動過程を示す映像の画像データをトラッキング画面ＴＲＷ上にスロー再生させる（図６の下側のトラッキング画面ＴＲＷ参照）。

これにより、出力制御部３４ｂは、トラッキング画面ＴＲＷ上の人物ＨＭ１の動きを遅らせることができるので、手動トラッキング処理又は自動トラッキング処理においてトラッキングポイントを簡易に指定させることができる。なお、出力制御部３４ｂは、人物ＨＭ１の移動速度が所定値以上である場合には、ユーザの指ＦＧのタッチ操作を受け付けることなく、スロー再生処理を行っても良い。また、スロー再生時の再生速度は一定値でも良いし、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて適宜変更されても良い。

次に、指向性制御装置３，３Ａにおける拡大表示モードにおける拡大表示処理について、図７を参照して説明する。図７は、拡大表示モードにおける拡大表示処理を示す説明図である。

図７の上側のトラッキング画面ＴＲＷでは、例えば人物ＨＭ１のサイズが小さいため、手動トラッキング処理又は自動トラッキング処理でも人物ＨＭ１の指定が困難であるとする。例えばユーザのマウス操作によるカーソルＣＳＲのクリック操作により、拡大表示モードがオンになった後、人物ＨＭ１の位置（表示位置）でクリック操作されると、出力制御部３４ｂは、クリックされた位置を中心として、所定倍率でトラッキング画面ＴＲＷを拡大表示させる（図７の下側のトラッキング画面ＴＲＷ参照）。これにより、出力制御部３４ｂは、トラッキング画面ＴＲＷ上の人物ＨＭ１を拡大表示することができるので、手動トラッキング処理又は自動トラッキング処理においてトラッキングポイントを簡易に指定させることができる。

なお、出力制御部３４ｂは、クリックされた位置を中心として、トラッキング画面ＴＲＷの内容を別のポップアップ画面（不図示）に拡大表示しても良い。これにより、出力制御部３４ｂは、例えばユーザの簡易な指定操作によって、拡大表示されていないトラッキング画面ＴＲＷと拡大表示されたポップアップ画面とを対比させてユーザに監視対象物（人物ＨＭ１）を簡易に指定させることができる。

また、出力制御部３４ｂは、例えばトラッキングポイントが未だ指定されていない場合には、ディスプレイ装置３５の中心を基準にして、映し出されているカメラ画面の内容を拡大表示しても良い。これにより、出力制御部３４ｂは、例えばユーザの簡易な指定操作によって、例えばディスプレイ装置３５の中心付近に監視対象物（人物ＨＭ１）が映っている場合には、ユーザに監視対象物を簡易に指定させることができる。

また、出力制御部３４ｂは、複数の監視対象物が指定されている場合には、トラッキング画面ＴＲＷ上の複数の指定位置の幾何平均に対応する位置を中心として、拡大表示させても良い。これにより、出力制御部３４ｂは、トラッキング画面ＴＲＷ上に映し出されている複数の監視対象物を、ユーザに対して簡易に選択させることができる。

次に、指向性制御装置３，３Ａにおける拡大表示モードにおける拡大表示処理後の自動スクロール処理について、図８（Ａ）、（Ｂ）及び（Ｃ）を参照して説明する。図８（Ａ）は、拡大表示モードにおける拡大表示処理後の自動スクロール処理を示す説明図である。図８（Ｂ）は、時刻ｔ＝ｔ１におけるトラッキング画面ＴＲＷを示す図である。図８（Ｃ）は、時刻ｔ＝ｔ２におけるトラッキング画面ＴＲＷを示す図である。

図８（Ａ）では、カメラ装置Ｃ１の撮像エリアＣ１ＲＮ内であって、監視対象物としての人物ＨＭ１の時刻ｔ＝ｔ１の位置から時刻ｔ＝ｔ２の位置への移動経路が示されている。例えばトラッキング画面ＴＲＷが拡大表示された結果、撮像エリアＣ１ＲＮ全体の画像がトラッキング画面ＴＲＷに映し出されなくなることがある。

出力制御部３４ｂは、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、例えば時刻ｔ＝ｔ１から時刻ｔ＝ｔ２までの人物ＨＭ１の移動経路に沿って、人物ＨＭ１が常にトラッキング画面ＴＲＷの中心に表示されるようにトラッキング画面ＴＲＷを自動スクロール処理する。これにより、出力制御部３４ｂは、拡大表示されたトラッキング画面ＴＲＷに映し出された人物ＨＭ１が移動したことにより、ユーザの指定位置が常にトラッキング画面ＴＲＷの中心となるようにトラッキング画面ＴＲＷを自動的にスクロールするので、トラッキング画面ＴＲＷが拡大表示された場合でも、ユーザの人物ＨＭ１の指定位置がトラッキング画面ＴＲＷから外れることを防ぐことができ、更に、移動を続けるトラッキング画面ＴＲＷ上の人物ＨＭ１を簡易に指定させることができる。

図８（Ｂ）では、時刻ｔ＝ｔ１におけるトラッキング画面ＴＲＷが示され、人物ＨＭ１が中心に表示されている。同図のＴＰ１は、時刻ｔ＝ｔ１において人物ＨＭ１がユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作によって指定されたトラッキングポイントを示す。

同様に、図８（Ｃ）では、時刻ｔ＝ｔ２におけるトラッキング画面ＴＲＷが示され、人物ＨＭ１が中心に表示されている。同図のＴＰ２は、時刻ｔ＝ｔ２において人物ＨＭ１がユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作によって指定されたトラッキングポイントを示す。図８（Ｂ）でも図８（Ｃ）でも、自動スクロール処理の間、監視対象物としての人物ＨＭ１は、トラッキング画面ＴＲＷ上の中心に表示されるので、ユーザの選択が容易になる。

次に、本実施形態の指向性制御システム１００における手動トラッキング処理の全体フローについて、図９（Ａ）及び（Ｂ）を参照して説明する。図９（Ａ）は、第１の実施形態の指向性制御システム１００における手動トラッキング処理の全体フローの第１例を説明するフローチャートである。図９（Ｂ）は、第１の実施形態の指向性制御システム１００における手動トラッキング処理の全体フローの第２例を説明するフローチャートである。

以下、説明の複雑化を避けるために、図９（Ａ）及び図９（Ｂ）を参照して本実施形態の指向性制御システム１００における手動トラッキング処理の全体フローについて先に説明し、個々の処理の詳細な内容については後述する図面を参照して都度、説明する。図９（Ｂ）に示す動作のうち、図９（Ａ）に示す動作と同一の内容には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。図９（Ａ）及び（Ｂ）では、指向性制御装置３の動作が示されている。

図９（Ａ）の説明の前提として、出力制御部３４ｂは、カメラ装置Ｃ１により撮像された監視対象物としての人物ＨＭ１の画像が映し出されたディスプレイ装置３５のトラッキング画面ＴＲＷにおいて、全方位マイクアレイ装置Ｍ１から、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作により指定された位置に対応する人物ＨＭ１の位置（音声位置、音源位置）への方向に収音音声の指向性を形成しているとする。なお、図９（Ｂ）の説明の前提としても同様とする。

図９（Ａ）において、トラッキングモードがオフであれば（Ｓ１、ＮＯ）、図９（Ａ）に示す手動トラッキング処理は終了するが、トラッキングモードがオンである場合には（Ｓ１、ＹＥＳ）、トラッキング補助処理が開始される（Ｓ２）。トラッキング補助処理の詳細は図１３（Ａ）を参照して後述する。

ステップＳ２の後、ディスプレイ装置３５のトラッキング画面ＴＲＷにおいて、人物ＨＭ１の移動過程（移動経路）のトラッキング位置、即ち、トラッキングポイントが、ユーザのマウス操作によるカーソルＣＳＲのクリック操作又はユーザの指ＦＧのタッチ操作により指定される（Ｓ３）。

トラッキング処理部３４ｃは、ステップＳ３において指定されたトラッキング画面ＴＲＷ上の指定位置に対応する実空間上の位置を示す３次元座標及び指定時刻を、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ３３に保存し、更に、出力制御部３４ｂを介して、トラッキング画面ＴＲＷ上のトラッキングポイントにポイントマーカを表示させる（Ｓ４）。なお、ポイントマーカは、トラッキング処理部３４ｃにより表示されても良く、以下の各実施形態においても同様である。

出力制御部３４ｂは、全方位マイクアレイ装置Ｍ１から、ステップＳ３において指定されたトラッキングポイントに対応する人物ＨＭ１の位置（音声位置、音源位置）への方向に、収音音声の指向性を形成する（Ｓ５）。なお、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、人物ＨＭ１の移動過程（移動経路）の指定によってトラッキング処理部３４ｃがトラッキングポイントのトラッキング位置及びトラッキング時刻のデータを取得するだけで良い場合には、ステップＳ５の動作は省略されても良い。言い換えると、出力制御部３４ｂは、全方位マイクアレイ装置Ｍ１から、ステップＳ３において指定されたトラッキングポイントに対応する人物ＨＭ１の位置（音声位置、音源位置）への方向に、指向性を切り替えなくても良く、以下の各実施形態においても同様である。

ステップＳ５の後、出力制御部３４ｂは、トラッキング結線処理を行う（Ｓ６）。トラッキング結線処理の詳細は図１５（Ａ）を参照して後述する。ステップＳ６の後、出力制御部３４ｂは、ステップＳ５において指向性を形成した収音音声をスピーカ装置３６から出力する（Ｓ７）。音声出力処理の詳細は図２１（Ａ）を参照して後述する。ステップＳ７の後、指向性制御装置３の動作はステップＳ１に戻り、トラッキングモードがオフにされるまで、ステップＳ１〜ステップＳ７の処理が繰り返される。

図９（Ｂ）において、ステップＳ１の後、トラッキング補助処理が開始される（Ｓ２）。トラッキング補助処理の詳細は図１３（Ａ）を参照して後述する。ステップＳ２の後、ディスプレイ装置３５のトラッキング画面ＴＲＷにおいて、人物ＨＭ１の移動過程（移動経路）の位置（即ち、トラッキングポイント）が、ユーザのマウス操作によるカーソルＣＳＲのドラッグ操作又はユーザの指ＦＧのタッチスライド操作が開始されたとする（Ｓ３Ａ）。

ステップＳ３Ａの後、前回のトラッキングポイントに対応するトラッキング位置及びトラッキング時刻のデータの保存が終わってから所定時間（例えば数秒程度）が経過していない場合には（Ｓ８、ＮＯ）、ステップＳ３Ａにて開始したドラッグ操作又はタッチスライド操作は終了していないと考えられ、指向性制御装置３の動作はステップＳ７に進む。

一方、ステップＳ３の後、前回のトラッキングポイントに対応するトラッキング位置及びトラッキング時刻のデータの保存が終わってから所定時間（例えば数秒程度）が経過した場合には（Ｓ８、ＹＥＳ）、ステップＳ３にて開始したドラッグ操作又はタッチスライド操作が終了したと考えられ、新しいトラッキングポイントが指定されたことになる。即ち、トラッキング処理部３４ｃは、ドラッグ操作又はタッチスライド操作が終了した時の指定位置に対応する実空間上の位置を示す３次元座標及び指定時刻を、それぞれ新しいトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ３３に保存し、更に、出力制御部３４ｂを介して、トラッキング画面ＴＲＷ上のトラッキングポイントにポイントマーカを表示させる（Ｓ４）。ステップＳ４以降の動作は図９（Ａ）に示すステップＳ４以降の動作と同一であるため、説明を省略する。

次に、本実施形態の指向性制御システム１００Ａにおける自動トラッキング処理の全体フローについて、図１０（Ａ）及び（Ｂ）、図１１（Ａ）及び（Ｂ）、図１２を参照して説明する。図１０（Ａ）は、第１の実施形態の指向性制御システム１００Ａにおける自動トラッキング処理の全体フローの第１例を説明するフローチャートである。図１０（Ｂ）は、図１０（Ａ）に示す自動トラッキング処理の第１例を説明するフローチャートである。図１１（Ａ）は、図１０（Ａ）に示す自動トラッキング処理の第２例を説明するフローチャートである。図１１（Ｂ）は、図１１（Ａ）に示すトラッキング補正処理の一例を説明するフローチャートである。図１２は、図１０（Ａ）に示す自動トラッキング処理の第３例を説明するフローチャートである。

また、図１０（Ａ）においても図９（Ａ）及び（Ｂ）と同様に、説明の複雑化を避けるために、図１０（Ａ）を参照して本実施形態の指向性制御システム１００Ａにおける自動トラッキング処理の全体フローについて先に説明し、個々の処理の詳細な内容については後述する図面を参照して都度、説明する。

図１０（Ａ）に示す動作のうち、図９（Ａ）又は（Ｂ）に示す動作と同一の内容には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。図１０（Ａ）でも、指向性制御装置３の動作が示されている。

図１０（Ａ）の説明の前提として、出力制御部３４ｂは、カメラ装置Ｃ１により撮像された監視対象物としての人物ＨＭ１の画像が映し出されたディスプレイ装置３５のトラッキング画面ＴＲＷにおいて、全方位マイクアレイ装置Ｍ１から、音源検出部３４ｄ又は画像処理部３７の検出処理結果を用いて自動指定された位置に対応する人物ＨＭ１の位置（音声位置、音源位置）への方向に収音音声の指向性を形成しているとする。

図１０（Ａ）において、ステップＳ１の後、トラッキング補助処理が開始される（Ｓ２）。トラッキング補助処理の詳細は図１３（Ａ）を参照して後述する。ステップＳ２の後、自動トラッキング処理が行われる（Ｓ３Ｂ）。自動トラッキング処理の詳細は図１０（Ｂ）、図１１（Ａ）及び図１２を参照して後述する。ステップＳ３Ｂの後、出力制御部３４ｂは、全方位マイクアレイ装置Ｍ１から、ステップＳ３Ｂにおいて自動指定されたトラッキングポイントに対応する人物ＨＭ１の位置（音声位置、音源位置）への方向に、収音音声の指向性を形成する（Ｓ５）。ステップＳ５以降の動作は図９（Ａ）に示すステップＳ４以降の動作と同一であるため、説明を省略する。

図１０（Ｂ）において、画像処理部３７は、公知の画像処理を行うことで、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に、監視対象物としての人物ＨＭ１の検出の有無を判定し、人物ＨＭ１を検出したと判定した場合には、判定結果（人物ＨＭ１の検出位置（例えば既知の代表点）及び検出時刻のデータを含む）を信号処理部３４のトラッキング処理部３４ｃに出力する（Ｓ３Ｂ−１）。

又は、音源検出部３４ｄは、公知の音源検出処理を行うことで、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に、監視対象物としての人物ＨＭ１の発する音声（音源）の位置の検出の有無を判定し、音源の位置を検出したと判定した場合には、判定結果（音源の検出位置及び検出時刻のデータを含む）をトラッキング処理部３４ｃに出力する（Ｓ３Ｂ−１）。なお、ステップＳ３Ｂ−１の説明を簡単にするために、トラッキング画面ＴＲＷ上には、監視対象物の人物ＨＭ１以外の監視対象物は存在しないものとして説明する。

トラッキング処理部３４ｃは、画像処理部３７又は音源検出部３４ｄの判定結果を用いて、自動トラッキング処理における人物ＨＭ１の指定位置、即ち、トラッキングポイントを自動設定する（Ｓ３Ｂ−１）。トラッキング処理部３４ｃは、ステップＳ３Ｂ−１において自動指定したトラッキング画面ＴＲＷ上の検出位置に対応する実空間上の位置を示す３次元座標及び検出時刻を、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ３３に保存し、更に、出力制御部３４ｂを介して、トラッキング画面ＴＲＷ上のトラッキングポイントにポイントマーカを表示させる（Ｓ３Ｂ−２）。ステップＳ３Ｂ−２の後、図１０（Ｂ）に示す自動トラッキング処理は終了し、図１０（Ａ）に示すステップＳ５に進む。

図１１（Ａ）において、最初のトラッキングポイント（初期位置）が既に指定されている場合には（Ｓ３Ｂ−３、ＹＥＳ）、ステップＳ３Ｂ−４の動作は省略される。一方、最初のトラッキングポイントが指定されていない場合には（Ｓ３Ｂ−３、ＮＯ）、ディスプレイ装置３５のトラッキング画面ＴＲＷにおいて、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作（例えばクリック操作、タッチ操作）により、人物ＨＭ１の移動過程（移動経路）の位置（即ち、トラッキングポイント）が指定される（Ｓ３Ｂ−４）。

最初のトラッキングポイントが既に指定されている場合、又はステップＳ３Ｂ−４において最初のトラッキングポイントが指定された後、トラッキング処理部３４ｃは、最初のトラッキングポイントを中心とする画像処理部３７又は音源検出部３４ｄの判定結果を用いて、次のトラッキングポイントを自動指定する（Ｓ３Ｂ−５）。これにより、トラッキング処理部３４ｃは、例えばユーザが最初のトラッキングポイントを指定することで、トラッキング画面ＴＲＷ上の最初のトラッキングポイント（初期位置）を中心に、人物ＨＭ１の発する音声（音源）の位置に関する情報又は人物ＨＭ１の位置に関する情報の検出処理を開始するので、それぞれの検出処理を高速に行うことができる。

トラッキング処理部３４ｃは、ステップＳ３Ｂ−５において自動指定したトラッキング画面ＴＲＷ上の検出位置に対応する実空間上の位置を示す３次元座標及び検出時刻を、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ３３に保存し、更に、出力制御部３４ｂを介して、トラッキング画面ＴＲＷ上のトラッキングポイントにポイントマーカを表示させる（Ｓ３Ｂ−２）。

ステップＳ３Ｂ−２の後、トラッキングポイントを補正する操作が行われない場合には（Ｓ３Ｂ−６、ＮＯ）、図１１（Ａ）に示す自動トラッキング処理は終了し、図１０（Ａ）に示すステップＳ５に進む。

一方、ステップＳ３Ｂ−２の後、例えば画像処理部３７又は音源検出部３４ｄの判定結果が間違っていたために、トラッキングポイントに対応するトラッキング位置を補正する操作が行われた場合には（Ｓ３Ｂ−６、ＹＥＳ）、図１１（Ｂ）に示すトラッキング補正処理が行われる（Ｓ３Ｂ−７）。

図１１（Ｂ）において、トラッキング画面ＴＲＷ上で移動している人物ＨＭ１の発する音声が出力されていた場合に、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作により音声の出力が一時中止される（Ｓ３Ｂ−７−１）。ステップＳ３Ｂ−７−１の後、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作により、補正モードがオンになることで一時的に自動トラッキング処理から手動トラッキング処理に移行し、更に、正しいトラッキングポイントが指定されたとする（Ｓ３Ｂ−７−２）。

出力制御部３４ｂは、ステップＳ３Ｂ−７−２において指定される直前にトラッキング画面ＴＲＷ上に表示されていた間違ったポイントマーカを消去し（Ｓ３Ｂ−７−３）、変更されたトラッキングポイント、即ち、ステップＳ３Ｂ−７−２において指定されたトラッキングポイントにポイントマーカを表示させ、ステップＳ３Ｂ−７−１において一時中止されていた音声の出力を再開させる（Ｓ３Ｂ−７−３）。更に、トラッキング処理部３４ｃは、ステップＳ３Ｂ−７−２において指定された位置をトラッキングポイントとして上書き保存する（Ｓ３Ｂ−７−３）。ステップＳ３Ｂ−７−３の後、図１１（Ｂ）に示すトラッキング補正処理は終了し、図１０（Ａ）に示すステップＳ５に進む。

図１２において、画像処理部３７は、公知の画像処理を行うことで、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に、監視対象物としての人物ＨＭ１の検出の有無を判定する（Ｓ３Ｂ−８）。画像処理部３７は、人物ＨＭ１を検出したと判定した場合には（Ｓ３Ｂ−９、ＹＥＳ）、人物ＨＭ１の検出位置（例えば既知の代表点）を算出し、更に、検出時刻と検出位置との各データを判定結果として、信号処理部３４のトラッキング処理部３４ｃに出力する（Ｓ３Ｂ−１０）。

音源検出部３４ｄは、公知の音源検出処理を行うことで、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に、監視対象物としての人物ＨＭ１の発する音声（音源）の位置の検出の有無を判定し、音源の位置を検出したと判定した場合には、人物ＨＭ１の検出位置を算出し、更に、検出時刻と検出位置との各データを判定結果として、トラッキング処理部３４ｃに出力する（Ｓ３Ｂ−１１）。

トラッキング処理部３４ｃは、ステップＳ３Ｂ−１１において算出されたトラッキング画面ＴＲＷ上の音源の検出位置及び検出時刻を、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ３３に保存し、更に、出力制御部３４ｂを介して、トラッキング画面ＴＲＷ上のトラッキングポイントにポイントマーカを表示させる（Ｓ３Ｂ−１２）。

ステップＳ３Ｂ−１２の後、トラッキング処理部３４ｃは、ステップＳ３Ｂ−１０において算出された人物ＨＭ１の検出位置とステップＳ３Ｂ−１１において算出された音源の検出位置との距離が所定値以内であるか否かを判定する（Ｓ３Ｂ−１３）。人物ＨＭ１の検出位置と音源の検出位置との距離が所定値内である場合には（Ｓ３Ｂ−１３、ＹＥＳ）、図１２に示す自動トラッキング処理は終了し、図１０（Ａ）に示すステップＳ５に進む。

一方、人物ＨＭ１の検出位置と音源の検出位置との距離が所定値内ではない場合には（Ｓ３Ｂ−１３、ＮＯ）、図１１（Ｂ）に示すトラッキング補正処理が行われる（Ｓ３Ｂ−７）。トラッキング補正処理については図１１（Ｂ）を参照して説明したので、ここでは説明を省略する。ステップＳ３Ｂ−７の後、図１２に示す自動トラッキング処理は終了し、図１０（Ａ）に示すステップＳ５に進む。

これにより、トラッキング処理部３４ｃは、音源の位置の検出処理又は人物ＨＭ１の位置の検出処理により検出された音源の位置と人物ＨＭ１の位置との距離が所定値以上であれば、例えばトラッキング補正処理（図１１（Ｂ）参照）におけるユーザの位置の変更操作によって指定された位置に関する情報を、人物ＨＭ１の位置に関する情報として容易に修正して取得することができる。更に、トラッキング処理部３４ｃは、音源の位置の検出処理又は人物ＨＭ１の位置の検出処理により検出された音源の位置と人物ＨＭ１の位置との距離が所定値以上でなければ、例えばユーザの位置の変更操作を必要とすることなく、音源の位置又は人物ＨＭ１の位置を、人物ＨＭ１の移動後の位置に関する情報として容易に取得することができる。

次に、指向性制御装置３，３Ａにおけるトラッキング補助処理の詳細について、図１３（Ａ）を参照して説明する。図１３（Ａ）は、図９（Ａ）に示すトラッキング補助処理の一例を説明するフローチャートである。

図１３（Ａ）において、指向性制御装置３，３Ａの拡大表示モードがオフである場合には（Ｓ２−１、ＮＯ）、指向性制御装置３，３Ａの動作はステップＳ２−５に進む。一方、指向性制御装置３，３Ａの拡大表示モードがオンである場合には（Ｓ２−１、ＹＥＳ）、指向性制御装置３，３Ａは、画像プライバシー保護処理を行い（Ｓ２−２）、更に、自動スクロール処理を行う（Ｓ２−３）。画像プライバシー保護処理の詳細は図２１（Ｂ）を参照して後述する。自動スクロール処理の詳細は図１３（Ｂ）、図１４（Ａ）及び（Ｂ）を参照して後述する。

ステップＳ２−３の後、出力制御部３４ｂは、トラッキング画面ＴＲＷ上の直近のトラッキングポイントに対応するトラッキング位置を中心に、所定倍率でトラッキング画面ＴＲＷの内容を拡大表示させる（Ｓ２−４）。ステップＳ２−４の後、指向性制御装置３，３Ａの録画再生モード及びスロー再生モードの両方がオンである場合には（Ｓ２−５、ＹＥＳ）、出力制御部３４ｂは、再生速度の初期値（通常値）より小さい速度値で、人物ＨＭ１の移動過程を示す映像の画像データをトラッキング画面ＴＲＷ上にスロー再生させる（Ｓ２−６）。

ステップＳ２−６の後、又は指向性制御装置３，３Ａの録画再生モード及びスロー再生モードの両方がオンではない場合には（Ｓ２−５、ＮＯ）、図１３（Ａ）に示すトラッキング補助処理は終了し、図９（Ａ）に示すステップＳ３、図９（Ｂ）に示すステップＳ３Ａ、又は図１０（Ａ）に示すステップＳ３Ｂに進む。

次に、指向性制御装置３，３Ａにおける自動スクロール処理の詳細について、図１３（Ｂ）、図１４（Ａ）及び（Ｂ）を参照して説明する。図１３（Ｂ）は、図１３（Ａ）に示す自動スクロール処理の一例を説明するフローチャートである。図１４（Ａ）は、図１３（Ｂ）に示す自動スクロール処理要否判定処理の一例を示すフローチャートである。図１４（Ｂ）は、自動スクロール処理要否判定処理におけるスクロール要否判定線の説明図である。

図１３（Ｂ）において、トラッキング処理部３４ｃは、自動スクロール処理要否判定処理を行う（Ｓ２−３−１）。自動スクロール処理要否判定処理の詳細は、図１４（Ａ）を参照して後述する。

ステップＳ２−３−１の後、出力制御部３４ｂは、自動スクロール処理要否判定処理結果として自動スクロール処理が必要であると判定された場合には（Ｓ２−３−２、ＹＥＳ）、トラッキング画面ＴＲＷに対して所定の自動スクロール処理を行う（Ｓ２−３−３）。例えば、出力制御部３４ｂは、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、トラッキング画面ＴＲＷ上の人物ＨＭ１の移動経路に沿って、人物ＨＭ１が常にトラッキング画面ＴＲＷの中心に表示されるようにトラッキング画面ＴＲＷを自動スクロール処理する。これにより、出力制御部３４ｂは、トラッキング画面ＴＲＷが拡大表示された場合でも、ユーザの監視対象物としての人物ＨＭ１の指定位置がトラッキング画面ＴＲＷから外れることを防ぐことができ、更に、移動を続けるトラッキング画面ＴＲＷ上の人物ＨＭ１を簡易に指定させることができる。

なお、ステップＳ２−３−１−１の時点においてトラッキングポイントが未だ指定されていない場合には、出力制御部３４ｂは、人物ＨＭ１が常にトラッキング画面ＴＲＷの中心に表示されるようにトラッキング画面ＴＲＷを自動スクロール処理するものとして、この場合には、ステップＳ２−３−１に示す自動スクロール処理要否判定処理を省略しても良い。

また、出力制御部３４ｂは、人物ＨＭ１が後述するスクロール判定線ＪＤＬを超えて移動した場合には、人物ＨＭ１の移動方向（例えば後述するスクロール判定線ＪＤＬを超えた方向）に所定量、自動スクロール処理する。これにより、出力制御部３４ｂは、トラッキング画面ＴＲＷが拡大表示された場合でも、ユーザの監視対象物としての人物ＨＭ１の指定位置がトラッキング画面ＴＲＷから外れることを防ぐことができる。

また、出力制御部３４ｂは、人物ＨＭ１が後述するスクロール判定線ＪＤＬを超えて移動した場合には、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作により指定された位置（例えば次のトラッキングポイント）がトラッキング画面ＴＲＷの中心になるように、トラッキング画面ＴＲＷを自動スクロール処理する。これにより、出力制御部３４ｂは、トラッキング画面ＴＲＷが拡大表示された場合でも、ユーザの監視対象物としての人物ＨＭ１の指定位置がトラッキング画面ＴＲＷから外れることを防ぐことができ、更に、移動を続けるトラッキング画面ＴＲＷ上の人物ＨＭ１を簡易に指定させることができる。

ステップＳ２−３−３の後、又は自動スクロール処理要否判定処理結果として自動スクロール処理が必要ではないと判定された場合には（Ｓ２−３−２、ＮＯ）、図１３（Ｂ）に示す自動スクロール処理は終了し、図１３（Ａ）に示すステップＳ２−４に進む。

図１４（Ａ）において、トラッキング処理部３４ｃは、指定されたトラッキングポイントＴＰ１に対応するトラッキング位置が、拡大表示されるトラッキング画面ＸＴＲＷの上下左右のいずれかのスクロール判定線ＪＤＬを超えるか否かを判定する（Ｓ２−３−１−１）。

トラッキング処理部３４ｃは、トラッキング位置がいずれかのスクロール判定線ＪＤＬを超えないと判定した場合には（Ｓ２−３−１−１、ＮＯ）、自動スクロール処理は不要と判定する（Ｓ２−３−１−２）。一方、トラッキング処理部３４ｃは、トラッキング位置がいずれかのスクロール判定線ＪＤＬを超えると判定した場合には（Ｓ２−３−１−１、ＹＥＳ）、自動スクロール処理が必要と判定し、更に、該当するスクロール判定線ＪＤＬの種別（例えば、図１４（Ｂ）に示す４つのスクロール判定線ＪＤＬのいずれかを示す情報）をメモリ３３に保存する（Ｓ２−３−１−３）。ステップＳ２−３−１−２，Ｓ２−３−１−３の後、図１４（Ａ）に示す自動スクロール処理要否判定処理は終了し、図１３（Ｂ）に示すステップＳ２−３−２に進む。

次に、指向性制御装置３，３Ａにおけるトラッキング結線処理の詳細について、図１５（Ａ）及び（Ｂ）を参照して説明する。図１５（Ａ）は、図９（Ａ）に示すトラッキング結線処理の一例を説明するフローチャートである。図１５（Ｂ）は、図１５（Ａ）に示す一括結線処理の一例を説明するフローチャートである。

図１５（Ａ）において、トラッキング処理部３４ｃは、トラッキングポイントが既に指定されている場合には（Ｓ６−１、ＹＥＳ）、結線モードが都度であるか否かを判定する（Ｓ６−２）。出力制御部３４ｂは、結線モードが都度であると判定された場合には（Ｓ６−２、ＹＥＳ）、直前に指定された１つ以上のトラッキングポイントと対応する最新の１つ以上のトラッキングポイントとを結線して表示させる（Ｓ６−３）。これにより、出力制御部３４ｂは、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に映し出された人物ＨＭ１が移動した場合にユーザの指定操作により指定された複数の指定位置のうち、少なくとも現在の指定位置と直前の指定位置とを結線して表示させるので、人物ＨＭ１の移動の一部の軌跡を明示的に示すことができる。

なお、ステップＳ６−３では、トラッキングポイントが１つずつ指定された単一指定の場合の動作に限定されず、複数個のトラッキングポイントが同時に指定された場合の動作も含まれ、後述するステップＳ６−４−３においても同様である。

ステップＳ６−３の後、又はトラッキングポイントが未だ指定されていない場合には（Ｓ６−１、ＮＯ）、図１５（Ａ）に示すトラッキング結線処理は終了し、図９（Ａ）、図９（Ｂ）又は図１０（Ａ）に示すステップＳ７に進む。

また、結線モードが都度ではないと判定された場合には（Ｓ６−２、ＮＯ）、一括結線処理が行われる（Ｓ６−４）。一括結線処理について、図１５（Ｂ）を参照して説明する。

図１５（Ｂ）において、トラッキング処理部３４ｃは、メモリ３３に保存されたトラッキングリストＬＳＴ（例えば図１６（Ｂ）参照）のデータを順次、読み出す（Ｓ６−４−１）。読み出されたデータがトラッキングポイントの始点と判定された場合には（Ｓ６−４−２、ＹＥＳ）、トラッキング処理部３４ｃは、再度、トラッキングリストＬＳＴ（例えば図１６（Ｂ）参照）のデータを読み出す（Ｓ６−４−１）。

一方、読み出されたデータがトラッキングポイントの始点ではないと判定された場合には（Ｓ６−４−２、ＮＯ）、出力制御部３４ｂは、読み出されたトラッキングリストのデータを用いて、直前に指定された１つ以上のトラッキングポイントと対応する最新の１つ以上のトラッキングポイントとの各ポイントマーカ同士を結線して表示させる（Ｓ６−４−３）。

ステップＳ６−４−３の後、トラッキングポイントの終点まで結線された場合には（Ｓ６−４−４、ＹＥＳ）、図１５（Ｂ）に示す一括結線処理は終了し、図９（Ａ）、図９（Ｂ）又は図１０（Ａ）に示すステップＳ７に進む。

一方、ステップＳ６−４−３の後、トラッキングポイントの終点まで結線されていない場合には（Ｓ６−４−４、ＮＯ）、トラッキング処理部３４ｃは、メモリ３３に保存されたトラッキングリストＬＳＴ（例えば図１６（Ｂ）参照）のデータを順次、読み出し、トラッキングリストＬＳＴの全てのトラッキングポイントに対応するポイントマーカ同士が結線して表示されるまで、ステップＳ６−４−１からステップＳ６−４−４までの動作が繰り返される。これにより、出力制御部３４ｂは、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に映し出された人物ＨＭ１が移動した場合にユーザの指定操作により指定された複数の指定位置の全てに対し、各指定位置に隣接する１つ又は２つの指定位置を結線して表示させるので、人物ＨＭ１の移動の全部の軌跡を明示的に示すことができる。

図１６（Ａ）は、１回分の人物ＨＭ１の移動に対して表示されたトラッキングポイント間の動線上におけるユーザの指定位置Ｐ０に対応した収音音声の再生開始時刻ＰＴの説明図である。図１６（Ｂ）は、トラッキングリストの第１例を示す図である。図１６（Ａ）において、ＴＰ１，ＴＰ２，ＴＰ３，ＴＰ４は、図１６（Ｂ）に示すトラッキングリストＬＳＴにも示されるように、１回分の人物ＨＭ１の移動中に指定されたトラッキングポイントである。

図１６（Ｂ）では、トラッキングポイントＴＰ１（始点），ＴＰ２，ＴＰ３，ＴＰ４（終点）毎に、トラッキング位置を示す座標（ｘ，ｙ，ｚ）とトラッキング時刻とが対応付けて保存されている。なお、説明を簡単にするために、トラッキング位置を示す座標のｚ座標値ｚ０は一定としている。

トラッキング処理部３４ｃは、図１６（Ａ）に示すトラッキングポイント間の動線上において、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて指定位置Ｐ０が指定されると、指定位置Ｐ０の前後２つのトラッキングポイントＴＰ１，ＴＰ２を抽出し、トラッキングポイントＴＰ１，ＴＰ２のトラッキング位置を示す座標及びトラッキング時刻のデータを用いて、指定位置Ｐ０における再生開始時刻ＰＴを数式（２）に従って算出する。

また、出力制御部３４ｂは、音声をスピーカ装置３６に出力（再生）する際、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作により指定された指定位置Ｐ０を含むトラッキング時刻の順番に、該当するトラッキング位置に対応する指向方向に指向性を形成した上で、指向性が形成された音声を出力（再生）する。

図１７（Ａ）は、複数同時指定に基づく異なるトラッキングポイント間の動線上におけるユーザの指定位置Ｐ０に対応した収音音声の再生開始時刻ＰＴの説明図である。図１７（Ｂ）は、トラッキングリストＬＳＴの第２例を示す図である。図１７（Ａ）において、（ＴＰ１１，ＴＰ２１），（ＴＰ１２，ＴＰ２２），（ＴＰ１３，ＴＰ２３），（ＴＰ１４，ＴＰ２４）は、図１７（Ｂ）に示すトラッキングリストＬＳＴにも示されるように、例えば複数の監視対象物としての異なる人物の移動中に同時に指定されたトラッキングポイントである。

図１７（Ｂ）では、トラッキングポイント（ＴＰ１１，ＴＰ２１），（ＴＰ１２，ＴＰ２２），（ＴＰ１３，ＴＰ２３），（ＴＰ１４，ＴＰ２４）毎に、トラッキング位置を示す座標（ｘ，ｙ，ｚ）とトラッキング時刻とが対応付けて保存されている。トラッキングポイント（ＴＰ１１，ＴＰ２１）は始点であり、トラッキングポイント（ＴＰ１４，ＴＰ２４）は終点である。なお、説明を簡単にするために、トラッキング位置を示す座標のｚ座標値ｚ０は一定としている。

トラッキング処理部３４ｃは、図１７（Ａ）に示すトラッキングポイント間の異なる動線上のいずれかの位置に、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて指定位置Ｐ０が指定されると、指定位置Ｐ０の前後２つのトラッキングポイントＴＰ１１，ＴＰ１２を抽出し、トラッキングポイントＴＰ１１，ＴＰ１２のトラッキング位置を示す座標及びトラッキング時刻のデータを用いて、指定位置Ｐ０における再生開始時刻ＰＴを数式（３）に従って算出する。

また、出力制御部３４ｂは、音声をスピーカ装置３６に出力（再生）する際、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作により指定された指定位置Ｐ０を含むトラッキング時刻の順番に、該当するトラッキング位置に対応する指向方向に指向性を形成した上で、指向性が形成された音声を出力（再生）する。

図１８（Ａ）は、複数回指定に基づく異なるトラッキングポイント間の動線上におけるユーザの各指定位置Ｐ０，Ｐ０’に対応した収音音声の再生開始時刻ＰＴ，ＰＴ’の説明図である。図１８（Ｂ）は、トラッキングリストＬＳＴの第３例を示す図である。図１８（Ａ）において、（ＴＰ１１，ＴＰ１２，ＴＰ１３，ＴＰ１４）は、図１８（Ｂ）に示すトラッキングリストＬＳＴにも示されるように、例えば第１回目の監視対象物としての人物の移動中に指定されたトラッキングポイントである。また、図１８（Ａ）において、（ＴＰ２１，ＴＰ２２，ＴＰ２３）は、同様に、例えば第２回目の監視対象物としての人物の移動中に指定されたトラッキングポイントである。なお、第２回目の監視対象物としての人物は、第１回目の監視対象物としての人物と同一人物でも異なる人物でも良い。

図１８（Ｂ）では、トラッキングポイントＴＰ１１，ＴＰ１２，ＴＰ１３，ＴＰ１４，ＴＰ２１，ＴＰ２２，ＴＰ２３毎に、トラッキング位置を示す座標（ｘ，ｙ，ｚ）とトラッキング時刻とが対応付けて保存されている。トラッキングポイントＴＰ１１，ＴＰ２１は始点であり、トラッキングポイントＴＰ１４，ＴＰ２３は終点である。なお、説明を簡単にするために、トラッキング位置を示す座標のｚ座標値ｚ０は一定としている。

トラッキング処理部３４ｃは、図１８（Ａ）に示すトラッキングポイント間の各動線上のいずれかの位置に、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて指定位置Ｐ０，Ｐ０’が指定されると、指定位置Ｐ０，Ｐ０’の前後２つのトラッキングポイント（ＴＰ１１，ＴＰ１２），（ＴＰ２１，ＴＰ２２）を抽出し、トラッキングポイント（ＴＰ１１，ＴＰ１２），（ＴＰ２１，ＴＰ２２）のトラッキング位置を示す座標及びトラッキング時刻のデータを用いて、指定位置Ｐ０，Ｐ０’における再生開始時刻ＰＴ，ＰＴ’を数式（４），数式（５）に従ってそれぞれ算出する。数式（４），数式（５）において、指定位置Ｐ０の座標は（ｘ０，ｙ０，ｚ０）であり、指定位置Ｐ０’の座標は（ｘ０’，ｙ０’，ｚ０）である。

なお、図１８（Ａ）において、第１回目及び第２回目の各人物の移動中に指定されたトラッキングポイントの数及びトラッキング時刻は一致しなくても良い。また、出力制御部３４ｂは、音声をスピーカ装置３６に出力（再生）する際、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作により指定された指定位置Ｐ０又は指定位置Ｐ０’を含むトラッキング時刻の順番に、該当するトラッキング位置に対応する指向方向に指向性を形成した上で、指向性が形成された音声を出力（再生）する。

次に、主に録画再生モードがオンである指向性制御装置３，３Ａにおける動線表示再生処理の全体フローについて、図１９（Ａ）を参照して説明する。図１９（Ａ）は、第１の実施形態の指向性制御システム１００，１００ＡにおけるトラッキングリストＬＳＴを用いた動線表示再生処理の全体フローの一例を説明するフローチャートである。

図１９（Ａ）において、先ず動線表示処理が行われる（Ｓ１１）。動線表示処理の詳細は図２０を参照して後述する。ステップＳ１１の後、ステップＳ１１において表示されたトラッキングポイント間の動線上において、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて指定位置Ｐ０が指定されると（Ｓ１２）、再生開始時刻算出処理が行われる（Ｓ１３）。再生開始時刻算出処理の詳細は図１９（Ｂ）を参照して後述する。

トラッキング処理部３４ｃは、メモリ３３に保存されているトラッキングリストＬＳＴを参照し、ステップＳ１３に示す再生開始時刻算出処理において算出された指定位置Ｐ０の再生開始時刻ＰＴに最も近いトラッキング時刻に対応する全て（１つでも可）のトラッキング位置の座標を読み出す（Ｓ１４）。また、出力制御部３４ｂは、トラッキング処理部３４ｃが読み出したトラッキング位置の座標のデータを用いて、全方位マイクアレイ装置Ｍ１から、全て（１つでも可）のトラッキング位置への方向に、収音音声の指向性を形成する（Ｓ１４）。これにより、出力制御部３４ｂは、人物ＨＭ１の移動の軌跡を示す動線上に対してユーザが任意に指定した位置（任意指定位置）に応じて、任意指定位置の次に指定されていたトラッキング位置に向かう方向に音声の指向性を事前に形成することができる。

出力制御部３４ｂは、ステップＳ１４の後、ステップＳ１３において算出された再生開始時刻ＰＴから、レコーダ装置４又はメモリ３３に記憶されている収音音声の音声データの再生を開始する（Ｓ１５）。

ステップＳ１５の後、再生開始時刻ＰＴから所定時間内に次のトラッキング時刻がある場合には（Ｓ１６、ＹＥＳ）、出力制御部３４ｂは、次のトラッキング時刻に対応する全て（１つでも可）のトラッキング位置の座標のデータを用いて、全方位マイクアレイ装置Ｍ１から、全て（１つでも可）のトラッキング位置への方向に、収音音声の指向性を形成する（Ｓ１７）。

ステップＳ１７の後、又は再生開始時刻ＰＴから所定時間内に次のトラッキング時刻がない場合には（Ｓ１６、ＮＯ）、音声出力処理が行われる（Ｓ７）。音声出力処理の詳細は図２１（Ａ）を参照して後述する。ステップＳ７の後、トラッキングポイントの終点に対応するトラッキング時刻の音声出力処理が終了した場合には（Ｓ１８、ＹＥＳ）、図１９（Ａ）に示す動線表示再生処理は終了する。これにより、出力制御部３４ｂは、ユーザの任意指定位置に応じて算出された再生開始時刻における監視対象物の発した収音音声を明瞭に出力することができ、再生開始時刻から所定時間内に次の指定位置がある場合には、次の指定位置における音声の指向性を事前に形成することができる。

一方、ステップＳ７の後、トラッキングポイントの終点に対応するトラッキング時刻の音声出力処理が終了していない場合には（Ｓ１８、ＮＯ）、トラッキングポイントの終点に対応するトラッキング時刻の音声出力処理が終了するまで、ステップＳ１６からステップＳ１８までの動作が繰り返される。

次に、指向性制御装置３，３Ａにおける再生開始時刻算出処理の詳細について、図１９（Ｂ）を参照して説明する。図１９（Ｂ）は、図１９（Ａ）に示す再生開始時刻算出処理の一例を説明するフローチャートである。

図１９（Ｂ）において、トラッキング処理部３４ｃは、メモリ３３に保存されているトラッキングリストＬＳＴ（例えば図１６（Ｂ）参照）を読み出す（Ｓ１３−１）。トラッキング処理部３４ｃは、ステップＳ１３−１で読み出したトラッキングリストＬＳＴのデータより、ステップＳ１２において指定された指定位置Ｐ０の前後２つのトラッキングポイントＴＰ１，ＴＰ２を抽出する（Ｓ１３−２）。トラッキング処理部３４ｃは、トラッキングポイントＴＰ１，ＴＰ２のトラッキング位置を示す座標及びトラッキング時刻のデータを用いて、指定位置Ｐ０における再生開始時刻ＰＴを算出する（Ｓ１３−３、例えば数式（２）参照）。ステップＳ１３−３の後、図１９（Ｂ）に示す再生開始時刻算出処理は終了し、図１９（Ａ）に示すステップＳ１４に進む。

次に、指向性制御装置３，３Ａにおける動線表示処理の詳細について、図２０を参照して説明する。図２０は、図１９（Ａ）に示す動線表示処理の一例を説明するフローチャートである。

図２０において、トラッキング処理部３４ｃは、メモリ３３に保存されたトラッキングリストＬＳＴ（例えば図１６（Ｂ）参照）のデータを順次、読み出す（Ｓ１１−１）。ステップＳ１１−１において読み出された全てのトラッキングポイントについてポイントマーカ同士の結線が終了した場合には（Ｓ１１−２、ＹＥＳ）、図２０に示す動線表示処理は終了し、図１９（Ａ）に示すステップＳ１２に進む。

一方、ステップＳ１１−１において読み出された全てのトラッキングポイントについてポイントマーカ同士の結線が終了していない場合には（Ｓ１１−２、ＮＯ）、トラッキング処理部３４ｃは、トラッキングリストＬＳＴ（例えば図１６（Ｂ）参照）のデータを順次読み出す。出力制御部３４ｂは、トラッキング処理部３４ｃにより読み出された１つ以上のトラッキングポイントに、監視対象物毎に区別してポイントマーカを表示させる（Ｓ１１−３）。

なお、ステップＳ１１−３では、出力制御部３４ｂは、特に図示はしないが、例えばユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作（例えばマウスの右クリック操作及び左クリック操作、キーボードの複数キーの同時押下、マウスのクリック操作及びキーボードの数字キーの同時押下、タッチパネルに対する同時指定等）に応じて、同一の監視対象物が識別可能な態様（例えば同一の記号、識別番号、記号及び識別番号の組み合わせ、所定形状の枠等）で監視対象物毎に区別してポイントマーカを表示する。ここでいう所定形状の枠とは、例えば矩形、丸、三角である。枠の形状で識別する以外に、枠の線種（例えば実線、点線）、枠の色、枠の上に付記された番号等によって識別可能に表示されても良い。

ステップＳ１１−３の後、ステップ１１−３において読み出されたトラッキングポイントのデータがトラッキングポイントの始点と判定された場合には（Ｓ１１−４、ＹＥＳ）、トラッキング処理部３４ｃは、再度、トラッキングリストＬＳＴ（例えば図１６（Ｂ）参照）のデータを読み出す（Ｓ１１−３）。

一方、ステップＳ１１−３において読み出されたデータがトラッキングポイントの始点ではないと判定された場合には（Ｓ１１−４、ＮＯ）、出力制御部３４ｂは、読み出されたトラッキングリストのデータを用いて、直前に指定された１つ以上のトラッキングポイントと対応する最新の１つ以上のトラッキングポイントとの各ポイントマーカ同士を結線して表示させる（Ｓ１１−５）。

ステップＳ１１−５の後、ステップＳ１１−１において読み出されたトラッキングリストＬＳＴのトラッキングポイントの終点まで結線された場合には（Ｓ１１−６、ＹＥＳ）、ステップＳ１１−２の動作に進む。

一方、ステップＳ１１−５の後、ステップＳ１１−１において読み出されたトラッキングリストＬＳＴのトラッキングポイントの終点まで結線されていない場合には（Ｓ１１−６、ＮＯ）、ステップＳ１１−１において読み出されたトラッキングリストＬＳＴのトラッキングポイントの終点まで結線されるまで、ステップＳ１１−３からステップＳ１１−６までの動作が繰り返される。

次に、指向性制御装置３，３Ａにおける音声出力処理及び画像プライバシー保護処理について、それぞれ図２１（Ａ）及び（Ｂ）、図２２（Ａ）〜（Ｃ）を参照して説明する。図２１（Ａ）は、図９（Ａ）に示す音声出力処理の一例を説明するフローチャートである。図２１（Ｂ）は、図１３（Ａ）に示す画像プライバシー保護処理の一例を説明するフローチャートである。図２２（Ａ）は、ボイスチェンジ処理前のピッチに対応する音声信号の波形の一例を示す図である。図２２（Ｂ）は、ボイスチェンジ処理後のピッチに対応する音声信号の波形の一例を示す図である。図２２（Ｃ）は、検出された人物の顔の輪郭内にぼかしを入れる処理の説明図である。

図２１（Ａ）において、出力制御部３４ｂは、音声プライバシー保護モードがオンであるか否かを判定する（Ｓ７−１）。出力制御部３４ｂは、音声プライバシー保護モードがオンであると判定した場合には（Ｓ７−１、ＹＥＳ）、スピーカ装置３６において出力される収音音声のデータに対してボイスチェンジ処理を施す（Ｓ７−２）。

ステップＳ７−２の後、又は音声プライバシー保護モードがオフであると判定された場合には（Ｓ７−１、ＮＯ）、出力制御部３４ｂは、収音音声をそのままスピーカ装置３６から出力させる（Ｓ７−３）。ステップＳ７−３の後、図２１（Ａ）に示す音声出力処理は終了し、図９（Ａ）、図９（Ｂ）又は図１０（Ａ）に示すステップＳ１に戻る。

ボイスチェンジ処理の一例として、出力制御部３４ｂは、例えば全方位マイクアレイ装置Ｍ１により収音された音声の音声データ若しくは出力制御部３４ｂ自身が指向性を形成した音声データの波形のピッチを増大又は減少する（例えば図２２（Ａ）及び（Ｂ）参照）。これにより、出力制御部３４ｂは、例えばユーザの簡易な入力操作により、全方位マイクアレイ装置Ｍ１によりリアルタイムに収音されている音声をボイスチェンジ処理して音声出力するので、人物ＨＭ１の発する音声を誰の音声か分かり難くすることで、現在撮像されている人物ＨＭ１の音声上のプライバシーを効果的に保護することができる。また、出力制御部３４ｂは、例えばユーザの簡易な入力操作により、一定期間にわたって全方位マイクアレイ装置Ｍ１により収音された音声を音声出力する場合には、音声にボイスチェンジ処理を施して音声出力するので、人物ＨＭ１の発する音声を誰の音声か分かり難くすることで、人物ＨＭ１の音声上のプライバシーを効果的に保護することができる。

図２１（Ｂ）において、トラッキング処理部３４ｃは、画像プライバシー保護モードがオンであるか否かを判定する（Ｓ２−２−１）。画像処理部３７は、画像プライバシー保護モードがオンであると判定された場合には（Ｓ２−２−１、ＹＥＳ）、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に表示される人物ＨＭ１の顔の輪郭ＤＴＬを検出（抽出）し（Ｓ２−２−２）、顔の輪郭ＤＴＬにマスキング処理を施す（Ｓ２−２−３）。具体的には、画像処理部３７は、検出された顔の輪郭ＤＴＬを包含する矩形領域を算出し、矩形領域内に所定のぼかしを入れる処理を行う（図２２（Ｃ）参照）。画像処理部３７は、ぼかしを入れる処理により生成された画像データを出力制御部３４ｂに出力する。

ステップＳ２−２−３の後、又は画像プライバシー保護モードがオフであると判定された場合には（Ｓ２−２−１、ＮＯ）、出力制御部３４ｂは、画像処理部３７から得られた画像データをディスプレイ装置３５に表示させる（Ｓ２−２−４）。

これにより、画像処理部３７は、例えばユーザの簡易な入力操作により、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に映し出された監視対象物としての人物ＨＭ１の一部（例えば顔）をマスキング処理するので、監視対象物の人物ＨＭ１が誰であるかを分かり難くすることでプライバシーを効果的に保護することができる。

なお、図２１（Ｂ）に示す画像プライバシー保護処理は、監視対象物（例えば人物ＨＭ１）がカメラ画面に現れた時点で指向性制御装置３，３Ａの画像プライバシー保護モードがオンになっていれば、拡大表示モードがオンになっていなくても行われて良い。

以上により、本実施形態の指向性制御システム１００，１００Ａでは、指向性制御装置３，３Ａは、複数のマイクを含む全方位マイクアレイ装置Ｍ１から、ディスプレイ装置３５のトラッキング画面ＴＲＷ上の画像データに対する指定位置に対応する監視対象物（例えば人物ＨＭ１）への方向に音声の指向性を形成し、更に、移動している監視対象物（例えば人物ＨＭ１）を指定した指定位置に関する情報（例えばトラッキングポイントに対応するトラッキング位置及びトラッキング時刻）を取得する。また、指向性制御装置３，３Ａは、ディスプレイ装置３５のトラッキング画面ＴＲＷ上の画像データに対する指定位置に関する情報を用いて、指定位置に対応する監視対象物（例えば人物ＨＭ１）への方向に、音声の指向性を追従して切り替える。

これにより、指向性制御装置３，３Ａは、ディスプレイ装置３５のトラッキング画面ＴＲＷ上の画像データに映し出されている監視対象物（例えば人物ＨＭ１）が移動しても、監視対象物（例えば人物ＨＭ１）の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物（例えば人物ＨＭ１）の移動後の位置に向かう方向に形成するので、監視対象物（例えば人物ＨＭ１）の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。

また、指向性制御装置３，３Ａは、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に映し出された画像データの中で移動する監視対象物（例えば人物ＨＭ１）を指定する簡易な手動操作によって、監視対象物（例えば人物ＨＭ１）の移動後の位置に関する正確な情報を容易に取得することができる。

また、指向性制御装置３Ａは、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に映し出された画像データから監視対象物（例えば人物ＨＭ１）の発する音声の音源、及び監視対象物（例えば人物ＨＭ１）自体を簡易に検出することができるので、音源の位置に関する情報又は監視対象物の位置に関する情報を、監視対象物（例えば人物ＨＭ１）の移動後の位置に関する情報として容易に取得することができる。

（第２の実施形態）
第２の実施形態では、指向性制御装置３Ｂは、監視対象物（例えば人物）の移動状況に合わせて、カメラ装置の撮像エリア又は全方位マイクアレイ装置の収音エリアを超えようとする場合には、監視対象物の画像の撮像に用いるカメラ装置を他のカメラ装置に切り替え、又は監視対象物の発する音声の収音に用いる全方位マイクアレイ装置を他の全方位マイクアレイ装置に切り替える。

なお、本実施形態では、音声トラッキング処理の対象となる監視対象物（例えば人物ＨＭ１）の画像の撮像に用いるカメラ装置と、人物ＨＭ１の発する音声の収音に用いる全方位マイクアレイ装置とは予め対応付けられており、この対応付けに関する情報は指向性制御装置３Ｂのメモリ３３に予め保存されているとする。

図２３は、第２の実施形態の指向性制御システム１００Ｂのシステム構成例を示すブロック図である。図２３に示す指向性制御システム１００Ｂは、１つ以上のカメラ装置Ｃ１，…，Ｃｎと、１つ以上の全方位マイクアレイ装置Ｍ１，…，Ｍｍと、指向性制御装置３Ｂと、レコーダ装置４とを含む構成である。図２３の各部の説明では、図２，図３に示す指向性制御システム１００，１００Ａに示す各部の構成及び動作のものには同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。

指向性制御装置３Ｂは、例えば監視制御室（不図示）に設置される据置型のＰＣでも良いし、ユーザが携帯可能な携帯電話機、ＰＤＡ、タブレット端末、スマートフォン等のデータ通信端末でも良い。

指向性制御装置３Ｂは、通信部３１と、操作部３２と、メモリ３３と、信号処理部３４Ａと、ディスプレイ装置３５と、スピーカ装置３６と、画像処理部３７と、動作切替制御部３８とを少なくとも含む構成である。信号処理部３４Ａは、指向方向算出部３４ａと、出力制御部３４ｂと、トラッキング処理部３４ｃと、音源検出部３４ｄとを少なくとも含む。

動作切替制御部３８は、トラッキング処理部３４ｃが取得する監視対象物（例えば人物）の移動状況に関する各種の情報又はデータを基に、複数のカメラ装置Ｃ１〜Ｃｎ又は複数の全方位マイクアレイ装置Ｍ１〜Ｍｍのうち、指向性制御システム１００Ｂの監視対象物の画像の撮像に用いるカメラ装置、又は監視対象物の発する音声の収音に用いる全方位マイクアレイ装置を切り替えるための各種の動作を行う。

次に、指向性制御装置３Ｂにおけるカメラ装置の自動切替処理について、図２４を参照して説明する。図２４は、ディスプレイ装置３５に表示される画像の撮像に用いるカメラ装置の自動切替処理を示す説明図である。図２４では、説明を簡単にするために、監視対象物としての人物ＨＭ１がトラッキング位置Ａ１からトラッキング位置Ａ２に移動することにより、人物ＨＭ１の画像の撮像に用いるカメラ装置を、カメラ装置Ｃ１からカメラ装置Ｃ２に切り替える例を説明する。

トラッキング位置Ａ１は、カメラ装置Ｃ１の撮像エリアＣ１ＲＮの範囲内であり、予め決められたカメラ装置Ｃ１の切替判定ラインＪＣ１の範囲内である。トラッキング位置Ａ２は、カメラ装置Ｃ２の撮像エリアＣ２ＲＮの範囲内であり、カメラ装置Ｃ１の切替判定ラインＪＣ１の範囲外である。なお、図示は省略しているが、トラッキング位置Ａ１，Ａ２は全方位マイクアレイ装置Ｍ１の収音エリア内である。

動作切替制御部３８は、人物ＨＭ１がカメラ装置Ｃ１の撮像エリアＣ１ＲＮを超えそうになった場合、人物ＨＭ１の画像の撮像に用いるカメラ装置をカメラ装置Ｃ１からカメラ装置Ｃ２に切り替える旨の情報を、通信部３１及びネットワークＮＷを介して、カメラ装置Ｃ２に通知する。言い換えると、動作切替制御部３８は、カメラ装置Ｃ２に対し、カメラ装置Ｃ２の画角内の範囲の画像の撮像準備を指示する。ただ、この時点では、ディスプレイ装置３５のトラッキング画面ＴＲＷ上には、カメラ装置Ｃ１により撮像された映像の画像データが表示されている。

例えば、動作切替制御部３８は、人物ＨＭ１がカメラ装置Ｃ１の切替判定ラインＪＣ１を超えた場合に、人物ＨＭ１の画像の撮像に用いるカメラ装置をカメラ装置Ｃ１からカメラ装置Ｃ２に切り替える旨の情報を、通信部３１及びネットワークＮＷを介して、カメラ装置Ｃ２に通知する。

動作切替制御部３８は、カメラ装置Ｃ１が計測するカメラ装置Ｃ１と人物ＨＭ１との距離情報を用いて、人物ＨＭ１が切替判定ラインＪＣ１を超えたか否かを判定する。より具体的には、動作切替制御部３８は、人物ＨＭ１がカメラ装置Ｃ１の画角内に存在し、かつ、カメラ装置Ｃ１から人物ＨＭ１までの距離がカメラ装置Ｃ１から切替判定ラインＪＣ１までの距離（既知）より大きくなった場合に、人物ＨＭ１が切替判定ラインＪＣ１を超えたと判定する。なお、動作切替制御部３８は、カメラ装置Ｃ１から切替可能なカメラ装置（例えばカメラ装置Ｃ２）を予め知っており、他のカメラ装置から切替可能なカメラ装置も予め知っているとする。

動作切替制御部３８は、切替判定ラインＪＣ１を超えた人物ＨＭ１がカメラ装置Ｃ１の撮像エリアＣ１ＲＮを超えたと判定した場合には、人物ＨＭ１の画像の撮像に用いるカメラ装置を、カメラ装置Ｃ１からカメラ装置Ｃ２に切り替える。この後、ディスプレイ装置３５のトラッキング画面ＴＲＷ上には、カメラ装置Ｃ２により撮像された映像の画像データ（例えば移動中の人物ＨＭ１の画像データ）が表示されている。

これにより、動作切替制御部３８は、移動中の監視対象物（例えば人物ＨＭ１）の画像を的確に映し出すことが可能なカメラ装置に適応的に切り替えることができ、ユーザの監視対象物（例えば人物ＨＭ１）の画像を簡易に指定させることができる。

次に、指向性制御装置３Ｂにおける全方位マイクアレイ装置の自動切替処理について、図２５を参照して説明する。図２５は、監視対象物（例えば人物ＨＭ１）の音声の収音に用いる全方位マイクアレイ装置の自動切替処理を示す説明図である。図２５では、説明を簡単にするために、監視対象物としての人物ＨＭ１がトラッキング位置Ａ１からトラッキング位置Ａ２に移動することにより、人物ＨＭ１の発する音声の収音に用いる全方位マイクアレイ装置を、全方位マイクアレイ装置Ｍ１から全方位マイクアレイ装置Ｍ２に切り替える例を説明する。

トラッキング位置Ａ１は、全方位マイクアレイ装置Ｍ１の収音エリアＭ１ＲＮの範囲内であり、予め決められた全方位マイクアレイ装置Ｍ１の切替判定ラインＪＭ１の範囲内である。トラッキング位置Ａ２は、全方位マイクアレイ装置Ｍ２の収音エリアＭ２ＲＮの範囲内であり、全方位マイクアレイ装置Ｍ１の切替判定ラインＪＭ１の範囲外である。なお、図示は省略しているが、トラッキング位置Ａ１，Ａ２はカメラ装置Ｃ１の撮像エリア内である。

動作切替制御部３８は、人物ＨＭ１が全方位マイクアレイ装置Ｍ１の収音エリアＭ１ＲＮを超えそうになった場合、人物ＨＭ１の発する音声の収音に用いる全方位マイクアレイ装置を全方位マイクアレイ装置Ｍ１から全方位マイクアレイ装置Ｍ２に切り替える旨の情報を、通信部３１及びネットワークＮＷを介して、全方位マイクアレイ装置Ｍ２に通知する。言い換えると、動作切替制御部３８は、全方位マイクアレイ装置Ｍ２に対し、全方位マイクアレイ装置Ｍ２の収音エリア内の音声の収音準備を指示する。

例えば、動作切替制御部３８は、人物ＨＭ１が全方位マイクアレイ装置Ｍ１の切替判定ラインＪＭ１を超えた場合に、人物ＨＭ１の発する音声の収音に用いる全方位マイクアレイ装置を全方位マイクアレイ装置Ｍ１から全方位マイクアレイ装置Ｍ２に切り替える旨の情報を、通信部３１及びネットワークＮＷを介して、全方位マイクアレイ装置Ｍ２に通知する。

動作切替制御部３８は、全方位マイクアレイ装置Ｍ１と人物ＨＭ１との距離情報を用いて、人物ＨＭ１が切替判定ラインＪＭ１を超えたか否かを判定する。より具体的には、動作切替制御部３８は、全方位マイクアレイ装置Ｍ１から人物ＨＭ１までの距離が全方位マイクアレイ装置Ｍ１から切替判定ラインＪＭ１までの距離（既知）より大きくなった場合に、人物ＨＭ１が切替判定ラインＪＭ１を超えたと判定する。なお、動作切替制御部３８は、全方位マイクアレイ装置Ｍ１から切替可能な全方位マイクアレイ装置（例えば全方位マイクアレイ装置Ｍ２）を予め知っており、他の全方位マイクアレイ装置から切替可能な全方位マイクアレイ装置も予め知っているとする。

動作切替制御部３８は、切替判定ラインＪＭ１を超えた人物ＨＭ１が全方位マイクアレイ装置Ｍ１の収音エリアＭ１ＲＮを超えたと判定した場合には、人物ＨＭ１の発する音声の収音に用いる全方位マイクアレイ装置Ｍを、全方位マイクアレイ装置Ｍ１から全方位マイクアレイ装置Ｍ２に切り替える。

これにより、動作切替制御部３８は、移動中の監視対象物（例えば人物ＨＭ１）の発する音声を的確に収音することが可能な全方位マイクアレイ装置に適応的に切り替えることができ、監視対象物（例えば人物ＨＭ１）の発する音声を高精度に収音することができる。

次に、指向性制御装置３Ｂにおけるカメラ装置の手動切替処理について、図２６を参照して説明する。図２６は、ディスプレイ装置３５に表示される画像の撮像に用いるカメラ装置の手動切替処理を示す説明図である。図２６では、ディスプレイ装置３５には、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、人物ＨＭ１の画像の撮像に現在使用中のカメラ装置Ｃ１により撮像された画像のトラッキング画面ＴＲＷが、カメラ装置Ｃ１のカメラ画面Ｃ１Ｗと、カメラ装置Ｃ１の周辺のカメラ装置（例えば８台のカメラ装置）のカメラ画面とを含むマルチカメラ画面に切り替わる。

図２４と同様に、現在使用中のカメラ装置Ｃ１には、切替可能なカメラ装置が予め決められており、例えばカメラ装置Ｃ２，Ｃ３，Ｃ４とする。図２６に示すマルチカメラ画面では、カメラ装置Ｃ２，Ｃ３，Ｃ４により撮像されたカメラ画面Ｃ２Ｗ，Ｃ３Ｗ，Ｃ４Ｗが表示されている（図２６に示すハッチング参照）。人物ＨＭ１は、移動方向ＭＶ１に移動しているとする。

ユーザは、監視対象物としての人物ＨＭ１の移動方向ＭＶ１を考慮した上で、図２６に示すマルチカメラ画面に対し、指ＦＧで、３つのカメラ画面Ｃ２Ｗ，Ｃ３Ｗ，Ｃ４Ｗのうちいずれかのカメラ画面（例えばカメラ画面Ｃ３Ｗ）をタッチ操作したとする。

動作切替制御部３８は、ユーザの指ＦＧのタッチ操作に応じて、人物ＨＭ１の画像の撮像に用いるカメラ装置を、現在使用中のカメラ装置Ｃ１から、タッチ操作の対象となったカメラ画面Ｃ３Ｗに対応するカメラ装置Ｃ３に切り替える。

これにより、動作切替制御部３８は、ユーザの簡易な操作によって、移動中の監視対象物（例えば人物ＨＭ１）の画像を的確に映し出すことが可能なカメラ装置に適応的に切り替えることができ、ユーザの監視対象物（例えば人物ＨＭ１）の画像を簡易に指定させることができる。

次に、指向性制御装置３Ｂにおける全方位マイクアレイ装置の手動切替処理について、図２７を参照して説明する。図２７は、監視対象物（例えば人物ＨＭ１）の音声の収音に用いる全方位マイクアレイ装置の手動切替処理を示す説明図である。図２７では、トラッキング画面ＴＲＷ上に、監視対象物としての人物ＨＭ１が中央に表示されている。また、現在使用中の全方位マイクアレイ装置Ｍ１から切替可能な全方位マイクアレイ装置は、全方位マイクアレイ装置Ｍ１の周辺に設置された３台の全方位マイクアレイ装置Ｍ２，Ｍ３，Ｍ４とする。

図２７において、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、トラッキング画面ＴＲＷ上に、現在使用中の全方位マイクアレイ装置Ｍ１から切替可能な全方位マイクアレイ装置Ｍ２，Ｍ３，Ｍ４の概略位置を示すマーカＭ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒが表示される（図２７に示す（１）参照）。

ユーザは、監視対象物としての人物ＨＭ１のトラッキングポイントに対応するトラッキング位置Ａ１からの移動方向ＭＶ１を考慮した上で、ユーザの指ＦＧのタッチ操作により、３つのマーカのうちいずれかのマーカ（例えばマーカＭ３Ｒ）が選択される（図２７に示す（２）参照）。動作切替制御部３８は、現在使用中の全方位マイクアレイ装置Ｍ１から、ユーザの指ＦＧのタッチ操作により選択されたマーカＭ３Ｒに対応する全方位マイクアレイ装置Ｍ３に、通信部３１及びネットワークＮＷを介して、収音の開始を指示する（図２７に示す（３）参照）。

また、出力制御部３４ｂは、選択されたマーカＭ３Ｒに対応する全方位マイクアレイ装置Ｍ３から、現時点の人物ＨＭ１のトラッキング位置への方向に、指向性を切り替える（図２７に示す（４）参照）。この後、出力制御部３４ｂによって、トラッキング画面ＴＲＷ上に表示された全方位マイクアレイ装置Ｍ２，Ｍ３，Ｍ４の概略位置を示すマーカＭ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒが消去される。

これにより、動作切替制御部３８は、トラッキング画面ＴＲＷ上に表示されたマーカＭ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒに対するユーザの簡易な操作によって、移動中の監視対象物（例えば人物ＨＭ１）の発する音声を的確に収音することが可能な全方位マイクアレイ装置Ｍ３に適応的に切り替えることができ、人物ＨＭ１の移動方向ＭＶ１に合わせて人物ＨＭ１の発する音声を高精度に収音することができる。

次に、指向性制御装置３Ｂにおける最適な全方位マイクアレイ装置の選択処理について、図２８を参照して説明する。図２８は、監視対象物の音声の収音に用いる最適な全方位マイクアレイ装置の選択処理を示す説明図である。図２８の左上側のディスプレイ装置３５には、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、指向性制御システム１００Ｂが管轄する全てのカメラ装置（例えば９台のカメラ装置）のカメラ画面が一覧表示されている。

図２８の左上側のディスプレイ装置３５に一覧表示された各カメラ画面の中で、音声トラッキング処理の対象となる監視対象物（例えば人物ＨＭ１）が映っているカメラ画面は、カメラ画面Ｃ１Ｗ，Ｃ２Ｗ，Ｃ３Ｗである。これらのカメラ画面Ｃ１Ｗ，Ｃ２Ｗ，Ｃ３Ｗの中で、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、人物ＨＭ１の映りが最も良好なカメラ画面Ｃ１Ｗが選択されたとする。

動作切替制御部３８は、ユーザのカメラ画面Ｃ１Ｗの選択に応じて、人物ＨＭ１の画像の撮像に用いるカメラ装置として、カメラ画面Ｃ１Ｗに対応するカメラ装置Ｃ１を選択して切り替える。これにより、出力制御部３４ｂは、カメラ画面Ｃ１Ｗに対応するカメラ装置により撮像された画像データを拡大して、ディスプレイ装置３５のトラッキング画面ＴＲＷ１上に表示させる（図２８の左下側参照）。

また、出力制御部３４ｂは、動作切替制御部３８により選択されたカメラ装置Ｃ１に対応付けられた全ての全方位マイクアレイ装置の概略位置を示すマーカＭ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒをトラッキング画面ＴＲＷ１の四隅に表示させる。なお、マーカＭ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒの表示位置はトラッキング画面ＴＲＷ１上の四隅に限定されない。

更に、出力制御部３４ｂは、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作によりマーカＭ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒが順次、指定されると、１つずつマーカを強調表示（例えばブリンクＢｒ）させながら、それぞれのマーカについて、各マーカに対応する全方位マイクアレイ装置から人物ＨＭ１の位置への方向に指向性を形成した上で、一定時間収音した音声を出力する。

動作切替制御部３８は、一定時間出力された音声の中でユーザが最適と判断した全方位マイクアレイ装置の概略位置を示すマーカ（例えばマーカＭ３Ｒ）が選択されると、選択されたマーカＭ３Ｒに対応する全方位マイクアレイ装置Ｍ３を、人物ＨＭ１の発する音声の収音に用いる全方位マイクアレイ装置として選択して切り替える。

これにより、動作切替制御部３８は、選択されたカメラ装置Ｃ５に対応付けられた複数の全方位マイクアレイ装置Ｍ１，Ｍ２，Ｍ３，Ｍ４において異なる指向性が形成された収音音声を一定時間にわたって出力することができるので、ユーザが最適と判断する収音音声を選択する簡易な操作を行うことにより、移動中の監視対象物（例えば人物ＨＭ１）の発する音声を的確に収音することが可能な最適な全方位マイクアレイ装置Ｍ３を選択することができ、監視対象物（例えば人物ＨＭ１）の発する音声を高精度に収音することができる。

次に、本実施形態の指向性制御システム１００Ｂにおけるカメラ装置の自動切替処理について、図２９（Ａ）を参照して説明する。図２９（Ａ）は、第２の実施形態の指向性制御システム１００Ｂにおけるカメラ装置の自動切替処理の一例を説明するフローチャートである。図２９（Ａ）に示すカメラ装置の自動切替処理は、図２４に示すカメラ装置の自動切替処理の内容を詳細に説明しており、例えば、図１０（Ｂ）に示すステップＳ３Ｂ−１の後に続けて行われる。

図２９（Ａ）において、画像処理部３７は、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に映し出されている画像データに対して所定の画像処理を行うことにより、監視対象物（例えば人物ＨＭ１）の位置（即ち、トラッキングポイント）を検出する（Ｓ２１）。ステップＳ２１の後、カメラ切替判定処理が行われる（Ｓ２２）。カメラ切替判定処理の詳細は図２９（Ｂ）を参照して後述する。

ステップＳ２２の後、動作切替制御部３８によりカメラ切替モードがオンに設定されている場合には（Ｓ２３、ＹＥＳ）、動作切替制御部３８は、現在使用中のカメラ装置（例えばカメラ装置Ｃ１）に対応付けられた切替可能な全てのカメラ装置に対し、通信部３１及びネットワークＮＷを介して、画像の撮像を指示する（Ｓ２４）。画像の撮像の指示を受けた全てのカメラ装置は、画像の撮像を開始する。なお、カメラ切替モードは、複数カメラ切替方法が自動である場合に、カメラ装置を切り替えるか否かの処理の制御用に用いられるフラグである。

動作切替制御部３８は、現在使用中のカメラ装置Ｃ１が計測したカメラ装置Ｃ１と人物ＨＭ１との距離情報を用いて、ステップＳ２１において検出された実空間上のトラッキング位置Ａ１にいる人物ＨＭ１がカメラ装置Ｃ１の撮像エリアＣ１ＲＮを超えたか否かを判定する（Ｓ２５）。動作切替制御部３８は、人物ＨＭ１がカメラ装置Ｃ１の撮像エリアＣ１ＲＮを超えたと判定した場合には（Ｓ２５、ＹＥＳ）、ステップＳ２４の指示により、現在使用中のカメラ装置Ｃ１に対応付けられた切替可能な全てのカメラ装置により撮像された画像データを画像処理部３７に出力する。画像処理部３７は、動作切替制御部３８から出力された全ての画像データに対して所定の画像処理を行うことにより、監視対象物としての人物ＨＭ１の検出の有無を判定する（Ｓ２６）。画像処理部３７は、画像処理結果を動作切替制御部３８に出力する。

動作切替制御部３８は、画像処理部３７の画像処理結果を用いて、監視対象物としての人物ＨＭ１の検出ができていて、かつ、ステップＳ２１において検出された実空間上のトラッキング位置Ａ１に最も近いカメラ装置（例えばカメラ装置Ｃ２）を１つ選択し、人物ＨＭ１の画像の撮像に用いるカメラ装置を、カメラ装置Ｃ１からカメラ装置Ｃ２に切り替える（Ｓ２７）。これにより、出力制御部３４ｂは、ディスプレイ装置３５に表示されているトラッキング画面ＴＲＷを、動作切替制御部３８により選択されたカメラ装置Ｃ２のカメラ画面に切り替えて表示する（Ｓ２７）。

一方、動作切替制御部３８によりカメラ切替モードがオフに設定されている場合（Ｓ２３、ＮＯ）、又は人物ＨＭ１がカメラ装置Ｃ１の撮像エリアＣ１ＲＮを超えていないと判定された場合には（Ｓ２５、ＮＯ）、図２９（Ａ）に示すカメラ装置の自動切替処理は終了し、図３０（Ａ）に示す全方位マイクアレイ装置の自動切替処理に進む。

次に、指向性制御装置３Ｂにおけるカメラ切替判定処理について、図２９（Ｂ）を参照して説明する。図２９（Ｂ）は、図２９（Ａ）に示すカメラ切替判定処理の一例を示すフローチャートである。

図２９（Ｂ）において、動作切替制御部３８は、指向性制御装置３Ｂにおけるカメラ切替モードをオフに設定する（Ｓ２２−１）。動作切替制御部３８は、現在使用中のカメラ装置Ｃ１が計測したカメラ装置Ｃ１と人物ＨＭ１との距離情報を用いて、ステップＳ２１において検出されたトラッキングポイントに対応する実空間上のトラッキング位置Ａ１が現在使用中のカメラ装置Ｃ１の所定の切替判定ラインＪＣ１を超えたか否かを判定する（Ｓ２２−２）。

動作切替制御部３８は、ステップＳ２１において検出されたトラッキングポイントに対応する実空間上のトラッキング位置Ａ１が現在使用中のカメラ装置Ｃ１の所定の切替判定ラインＪＣ１を超えたと判定した場合には（Ｓ２２−２、ＹＥＳ）、カメラ切替モードをオン（自動）に設定する（Ｓ２２−３）。

ステップＳ２２−３の後、又はトラッキング位置Ａ１が現在使用中のカメラ装置Ｃ１の所定の切替判定ラインＪＣ１を超えていないと判定された場合には（Ｓ２２−２、ＮＯ）、図２９（Ｂ）に示すカメラ切替判定処理は終了し、図２９（Ａ）に示すステップＳ２３に進む。

次に、本実施形態の指向性制御システム１００Ｂにおける全方位マイクアレイ装置の自動切替処理について、図３０（Ａ）を参照して説明する。図３０（Ａ）は、第２の実施形態の指向性制御システム１００Ｂにおける全方位マイクアレイ装置の自動切替処理の一例を説明するフローチャートである。図３０（Ａ）に示す全方位マイクアレイ装置の自動切替処理は、図２５に示す全方位マイクアレイ装置の自動切替処理の内容を詳細に説明しており、図２９（Ａ）に示すステップＳ２７の後に続けて行われても良いし、図２９（Ａ）に示すカメラ装置の自動切替処理が図３０（Ａ）に示す全方位マイクアレイ装置の自動切替処理の後に行われても良い。

図３０（Ａ）において、音源検出部３４ｄは、所定の音源検出処理を行うことにより、実空間上の監視対象物（例えば人物ＨＭ１）の位置（音源の位置）を算出し、又は算出された音源の位置に対応する画像データ上の位置を示す座標（即ち、トラッキングポイントに対応するトラッキング位置Ａ１の座標）を算出する（Ｓ３１）。ステップＳ３１の後、マイク切替判定処理が行われる（Ｓ３２）。マイク切替判定処理の詳細は図３０（Ｂ）を参照して後述する。

ステップＳ３２の後、動作切替制御部３８によりマイク切替モードがオンに設定されている場合には（Ｓ３３、ＹＥＳ）、動作切替制御部３８は、現在使用中の全方位マイクアレイ装置（例えば全方位マイクアレイ装置Ｍ１）に対応付けられた切替可能な全ての全方位マイクアレイ装置に対し、通信部３１及びネットワークＮＷを介して、人物ＨＭ１の発する音声の収音を指示する（Ｓ３４）。音声の収音の指示を受けた全ての全方位マイクアレイ装置は、音声の収音を開始する。なお、マイク切替モードは、複数マイク切替方法が自動である場合に、全方位マイクアレイ装置を切り替えるか否かの処理の制御用に用いられるフラグである。

動作切替制御部３８は、音源検出部３４ｄが算出した現在使用中の全方位マイクアレイ装置Ｍ１と人物ＨＭ１との距離情報を用いて、人物ＨＭ１が全方位マイクアレイ装置Ｍ１の収音エリアＭ１ＲＮを超えたか否かを判定する（Ｓ３５）。音源検出部３４ｄは、人物ＨＭ１が全方位マイクアレイ装置Ｍ１の収音エリアＭ１ＲＮを超えたと判定された場合には（Ｓ３５、ＹＥＳ）、ステップＳ３４の指示により、現在使用中の全方位マイクアレイ装置Ｍ１に対応付けられた切替可能な全ての全方位マイクアレイ装置により収音された音声の強さ又は音量レベルを基に、監視対象物としての人物ＨＭ１の位置（音源の位置）を算出する（Ｓ３６）。

動作切替制御部３８は、音源検出部３４ｄの音源検出理結果を用いて、現在使用中の全方位マイクアレイ装置Ｍ１に対応付けられた切替可能な全ての全方位マイクアレイ装置のうち、監視対象物としての人物ＨＭ１の位置（音源の位置）と全方位マイクアレイ装置との距離の差異が最小となる全方位マイクアレイ装置（例えば全方位マイクアレイ装置Ｍ２）を１つ選択し、人物ＨＭ１の発する音声の収音に用いる全方位マイクアレイ装置を、全方位マイクアレイ装置Ｍ１から全方位マイクアレイ装置Ｍ２に切り替える（Ｓ３７）。これにより、出力制御部３４ｂは、切り替え後の全方位マイクアレイ装置Ｍ２から、ステップＳ３６において算出された音源の位置への方向に、音声の指向性を切り替える（Ｓ３７）。

一方、動作切替制御部３８によりマイク切替モードがオフに設定されている場合（Ｓ３３、ＮＯ）、又は人物ＨＭ１が全方位マイクアレイ装置Ｍ１の収音エリアＭ１ＲＮを超えていないと判定された場合には（Ｓ３５、ＮＯ）、図３０（Ａ）に示す全方位マイクアレイ装置の自動切替処理は終了し、例えば図１０（Ｂ）に示すステップＳ３Ｂ−２に進む。なお、図３０（Ａ）に示す全方位マイクアレイ装置の自動切替処理が終了した後に、図２９（Ａ）に示すカメラ装置の自動切替処理が開始しても良い。

次に、指向性制御装置３Ｂにおけるマイク切替判定処理について、図３０（Ｂ）を参照して説明する。図３０（Ｂ）は、図３０（Ａ）に示すマイク切替判定処理の一例を示すフローチャートである。

図３０（Ｂ）において、動作切替制御部３８は、マイク切替モードをオフに設定する（Ｓ３２−１）。動作切替制御部３８は、現在使用中の全方位マイクアレイ装置Ｍ１と人物ＨＭ１との距離情報を用いて、ステップＳ３１において算出されたトラッキング位置Ａ１が現在使用中の全方位マイクアレイ装置Ｍ１の所定の切替判定ラインＪＭ１を超えたか否かを判定する（Ｓ３２−２）。

動作切替制御部３８は、トラッキング位置Ａ１が現在使用中の全方位マイクアレイ装置Ｍ１の所定の切替判定ラインＪＭ１を超えたと判定した場合には（Ｓ３２−２、ＹＥＳ）、マイク切替モードをオンに設定する（Ｓ３２−３）。

ステップＳ３２−３の後、又はトラッキング位置Ａ１が現在使用中の全方位マイクアレイ装置Ｍ１の所定の切替判定ラインＪＭ１を超えていないと判定された場合には（Ｓ３２−２、ＮＯ）、図３０（Ｂ）に示すマイク切替判定処理は終了し、図３０（Ａ）に示すステップＳ３３に進む。

次に、本実施形態の指向性制御システム１００Ｂにおけるカメラ装置の手動切替処理について、図３１（Ａ）を参照して説明する。図３１（Ａ）は、第２の実施形態の指向性制御システム１００Ｂにおけるカメラ装置の手動切替処理の一例を説明するフローチャートである。図３１（Ａ）に示す指向性制御システム１００Ｂにおけるカメラ装置の手動切替処理は、図９（Ａ）、図９（Ｂ）又は図１０（Ａ）に示すステップＳ１に続けて行われる。

図３１（Ａ）において、ディスプレイ装置３５に対し、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、カメラ装置を切り替えるための指示が入力されると（Ｓ４１）、出力制御部３４ｂは、人物ＨＭ１の画像の撮像に現在使用中のカメラ装置Ｃ１により撮像された画像のトラッキング画面ＴＲＷを、カメラ装置Ｃ１のカメラ画面Ｃ１Ｗと、カメラ装置Ｃ１の周辺のカメラ装置（例えば８台のカメラ装置）のカメラ画面とを含むマルチカメラ画面に切り替える（Ｓ４２）。

ステップＳ４２においてディスプレイ装置３５に表示されたマルチカメラ画面に対し、ユーザは、監視対象物としての人物ＨＭ１の移動方向ＭＶ１を考慮した上で（図２６参照）例えば指ＦＧで、いずれかのカメラ画面をタッチ操作によって選択したとする（Ｓ４３）。

動作切替制御部３８は、ユーザの指ＦＧのタッチ操作に応じて、人物ＨＭ１の画像の撮像に用いるカメラ装置を、現在使用中のカメラ装置Ｃ１から、ステップＳ４３においてタッチ操作の対象となったカメラ画面Ｃ３Ｗに対応するカメラ装置Ｃ３に切り替える（Ｓ４４）。これにより、図３１（Ａ）に示すカメラ装置の手動切替処理が終了し、図３１（Ｂ），図３２（Ａ）又は図３２（Ｂ）に示すステップＳ４５，Ｓ５１，Ｓ６１又はＳ７１のいずれかに進む。

次に、本実施形態の指向性制御システム１００Ｂにおける全方位マイクアレイ装置の手動切替処理について、図３１（Ｂ）を参照して説明する。図３１（Ｂ）は、第２の実施形態の指向性制御システム１００Ｂにおける全方位マイクアレイ装置の手動切替処理の一例を説明するフローチャートである。

図３１（Ｂ）において、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、全方位マイクアレイ装置を切り替えるための指示が入力されると（Ｓ４５）、出力制御部３４ｂは、トラッキング画面ＴＲＷ上に、現在使用中の全方位マイクアレイ装置Ｍ１から切替可能な全方位マイクアレイ装置（例えば、全方位マイクアレイ装置Ｍ２，Ｍ３，Ｍ４）の概略位置を示すマーカ（例えばマーカＭ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒ）を表示する（Ｓ４６）。

ユーザは、監視対象物としての人物ＨＭ１のトラッキング位置Ａ１からの移動方向ＭＶ１を考慮した上で、ユーザの指ＦＧのタッチ操作により、３つのマーカのうちいずれかのマーカ（例えばマーカＭ３Ｒ）が選択される（Ｓ４７、図２７参照）。動作切替制御部３８は、現在使用中の全方位マイクアレイ装置Ｍ１から、ユーザの指ＦＧのタッチ操作により選択されたマーカＭ３Ｒに対応する全方位マイクアレイ装置Ｍ３に、通信部３１及びネットワークＮＷを介して、収音の開始を指示する（Ｓ４７）。

出力制御部３４ｂは、ステップＳ４７において選択されたマーカＭ３Ｒに対応する全方位マイクアレイ装置Ｍ３から、現時点の人物ＨＭ１のトラッキング位置への方向に、指向性を切り替える（Ｓ４８）。また、出力制御部３４ｂは、トラッキング画面ＴＲＷ上に表示された全方位マイクアレイ装置Ｍ２，Ｍ３，Ｍ４の概略位置を示すマーカＭ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒを消去する（Ｓ４８）。

ステップＳ４８の後、図３１（Ｂ）に示す全方位マイクアレイ装置の手動切替処理が終了し、図９（Ａ）、図９（Ｂ）又は図１０（Ａ）に示すステップＳ２に進む。なお、図３１（Ｂ）に示す全方位マイクアレイ装置の手動切替処理の後に、図３１（Ａ）に示すカメラ装置の手動切替処理が行われても良い。

次に、本実施形態の指向性制御システム１００Ｂにおける最適な全方位マイクアレイ装置の選択処理について、図３２（Ａ）、図３２（Ｂ）及び図３３を参照して説明する。図３２（Ａ）は、第２の実施形態の指向性制御システム１００Ｂにおける最適な全方位マイクアレイ装置の選択処理の第１例を説明するフローチャートである。図３２（Ｂ）は、第２の実施形態の指向性制御システム１００Ｂにおける最適な全方位マイクアレイ装置の選択処理の第２例を説明するフローチャートである。図３３は、第２の実施形態の指向性制御システム１００Ｂにおける最適な全方位マイクアレイ装置の選択処理の第３例を説明するフローチャートである。

図３２（Ａ）において、ディスプレイ装置３５に表示されたトラッキング画面ＴＲＷ上において、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、監視対象物としての人物ＨＭ１の移動方向上の位置（トラッキングポイントに対応するトラッキング位置）が指定されると（Ｓ５１）、この指定位置に関する情報（例えば座標）が動作切替制御部３８に入力される（Ｓ５２）。

動作切替制御部３８は、各全方位マイクアレイ装置から、ステップＳ５１において指定された指定位置に対応する実空間上の位置までの各距離、即ち、各全方位マイクアレイ装置から監視対象物としての人物ＨＭ１までの各距離を算出する（Ｓ５３）。

動作切替制御部３８は、ステップＳ５３において算出された各距離の中で最小の距離が得られた全方位マイクアレイ装置を選択し、信号処理部３４に対し、この選択された全方位マイクアレイ装置により収音された音声の音声データに対して指向性を形成するように指示する（Ｓ５４）。

信号処理部３４の出力制御部３４ｂは、ステップＳ５４における指示に応じて、ステップＳ５４において動作切替制御部３８により選択された全方位マイクアレイ装置から、監視対象物としての人物ＨＭ１の位置への方向に音声の指向性を形成し、指向性が形成された音声をスピーカ装置３６から出力させる（Ｓ５５）。

これにより、動作切替制御部３８は、ユーザが監視対象物（例えば人物ＨＭ１）の移動方向を示す位置を簡易に指定することにより、移動中の監視対象物（例えば人物ＨＭ１）の発する音声を的確に収音することが可能な最適な全方位マイクアレイ装置を選択することができ、監視対象物（例えば人物ＨＭ１）の発する音声を高精度に収音することができる。

なお、ステップＳ５５の後、図３２（Ａ）に示す最適な全方位マイクアレイ装置の選択処理が終了し、図９（Ａ）、図９（Ｂ）又は図１０（Ａ）に示すステップＳ２に進む。なお、図３２（Ａ）に示す最適な全方位マイクアレイ装置の選択処理の後に、図３１（Ａ）に示すカメラ装置の手動切替処理が行われても良い。

図３２（Ｂ）において、ディスプレイ装置３５に表示されたトラッキング画面ＴＲＷ上において、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、監視対象物としての人物ＨＭ１の移動方向上の位置（トラッキングポイントに対応するトラッキング位置）が指定されると（Ｓ６１）、この指定位置に関する情報（例えば座標）が動作切替制御部３８に入力される。

画像処理部３７は、現在使用中のカメラ装置（例えばカメラ装置Ｃ１）により撮像された画像データに対して所定の画像処理を行うことにより、監視対象物としての人物ＨＭ１の顔の向きを検出する（Ｓ６２）。画像処理部３７は、監視対象物としての人物ＨＭ１の顔の向きの検出結果を動作切替制御部３８に出力する。

動作切替制御部３８は、ステップＳ６１において指定された指定位置に関する情報（例えば画像データ上の位置を示す座標）と、ステップＳ６２において画像処理部３７から得られた人物ＨＭ１の顔の向きの検出結果とを用いて、人物ＨＭ１の顔の向きと、指定位置と、各全方位マイクアレイ装置との関係を算出する（Ｓ６３）。例えば、動作切替制御部３８は、ステップＳ６１において指定された画像データ上の指定位置に対応する監視対象物（例えば人物ＨＭ１）の位置と各全方位マイクアレイ装置との距離を算出する。

動作切替制御部３８は、監視対象物（例えば人物ＨＭ１）の顔の向きに沿う方向（例えば水平方向４５度以内）にあって、かつ、ステップＳ６１において指定された画像データ上の指定位置に対応する監視対象物（例えば人物ＨＭ１）の位置と各全方位マイクアレイ装置との距離の最小値が得られる全方位マイクアレイ装置を選択する（Ｓ６４）。更に、動作切替制御部３８は、信号処理部３４に対し、ステップＳ６４において選択された全方位マイクアレイ装置により収音された音声の音声データに対して指向性を形成するように指示する（Ｓ６４）。

信号処理部３４の出力制御部３４ｂは、ステップＳ６４における指示に応じて、ステップＳ６４において選択された全方位マイクアレイ装置から、監視対象物としての人物ＨＭ１の位置への方向に音声の指向性を形成し、指向性が形成された音声をスピーカ装置３６から出力させる（Ｓ６５）。

これにより、動作切替制御部３８は、監視対象物（例えば人物ＨＭ１）の画像データ上の顔の向きと監視対象物（例えば人物ＨＭ１）と各全方位マイクアレイ装置との距離とによって、移動中の監視対象物（例えば人物ＨＭ１）の発する音声を的確に収音することが可能な最適な全方位マイクアレイ装置を選択することができ、監視対象物（例えば人物ＨＭ１）の発する音声を高精度に収音することができる。

なお、ステップＳ６５の後、図３２（Ｂ）に示す最適な全方位マイクアレイ装置の選択処理が終了し、図９（Ａ）、図９（Ｂ）又は図１０（Ａ）に示すステップＳ２に進む。なお、図３２（Ｂ）に示す最適な全方位マイクアレイ装置の選択処理の後に、図３１（Ａ）に示すカメラ装置の手動切替処理が行われても良い。

図３３において、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、出力制御部３４ｂは、指向性制御システム１００Ｂが管轄する全てのカメラ装置のカメラ画面をディスプレイ装置３５に一覧表示する（Ｓ７１）。ディスプレイ装置３５に一覧表示された各カメラ画面の中で、音声トラッキング処理の対象となる監視対象物（例えば人物ＨＭ１）が映っているカメラ画面の中で、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、人物ＨＭ１の映りが最も良好なカメラ画面Ｃ１Ｗが選択されたとする（Ｓ７２）。

動作切替制御部３８は、ステップＳ７２におけるユーザのカメラ画面の選択に応じて、人物ＨＭ１の画像の撮像に用いるカメラ装置として、カメラ画面に対応するカメラ装置を選択して切り替える。これにより、出力制御部３４ｂは、カメラ画面に対応するカメラ装置により撮像された画像データを拡大して、ディスプレイ装置３５のトラッキング画面ＴＲＷ１上に表示させる（Ｓ７３、図２８の左下側参照）。

出力制御部３４ｂは、動作切替制御部３８により選択されたカメラ装置に対応付けられた全ての全方位マイクアレイ装置の概略位置を示すマーカ（例えば図２８に示すマーカＭ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒ）をトラッキング画面ＴＲＷ１の四隅に表示させる（Ｓ７４）。

出力制御部３４ｂは、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作によりマーカＭ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒ，Ｍ４Ｒが順次、指定されると（Ｓ７５）、１つずつマーカを強調表示（例えばブリンクＢｒ）させながら、それぞれのマーカについて、各マーカに対応する全方位マイクアレイ装置から人物ＨＭ１の位置への方向に指向性を形成した上で、一定時間収音した音声を出力する（Ｓ７６）。

動作切替制御部３８は、一定時間出力された音声の中でユーザが最適と判断した全方位マイクアレイ装置の概略位置を示すマーカ（例えばマーカＭ３Ｒ）が選択されると、選択されたマーカＭ３Ｒに対応する全方位マイクアレイ装置Ｍ３を、人物ＨＭ１の発する音声の収音に用いる全方位マイクアレイ装置として選択して切り替える（Ｓ７７）。

なお、ステップＳ７７の後、図３３に示す最適な全方位マイクアレイ装置の選択処理が終了し、図９（Ａ）、図９（Ｂ）又は図１０（Ａ）に示すステップＳ２に進む。なお、図３３に示す最適な全方位マイクアレイ装置の選択処理の後に、図３１（Ａ）に示すカメラ装置の手動切替処理が行われても良い。

（第１の実施形態の変形例）
上述した各実施形態では、主に単一の監視対象物（例えば人物ＨＭ１）が画像データ上に映し出されている場合に、この単一の監視対象物としての人物ＨＭ１の移動に合わせた音声トラッキング処理について説明した。

第１の実施形態の変形例（以下、「本変形例」という）では、第１の実施形態又は第２の実施形態において、複数の監視対象物（例えば複数の人物）がトラッキング画面ＴＲＷ上に現れている場合に、複数の人物を同じタイミング又は異なるタイミングに指定する場合の指向性制御システム１００の動作例について説明する。なお、本変形例の指向性制御システムのシステム構成例は第１又は第２の実施形態の指向性制御システム１００，１００Ａ，１００Ｂと同一であるため、システム構成例の説明は簡略化又は省略し、異なる内容について説明する。以下、説明を簡単にするために、指向性制御システム１００のシステム構成例を参照して説明する。

本変形例の指向性制御システム１００の動作例について、図３４及び図３５を参照して説明する。図３４は、第１の実施形態の変形例の指向性制御システム１００における複数同時指定に基づく手動トラッキング処理の全体フローの一例を説明するフローチャートである。図３５は、第１の実施形態の変形例の指向性制御システム１００における複数の監視対象物の自動トラッキング処理の一例を説明するフローチャートである。図３５では、指向性制御装置３Ａ，３Ｂが用いられる。

なお、図３４では、ステップＳ１のトラッキングモードの判定処理、ステップＳ２のトラッキング補助処理、ステップＳ６のトラッキング結線処理、及びステップＳ７の音声出力処理は、それぞれ例えば図９（Ａ）に示すステップＳ１のトラッキングモードの判定処理、ステップＳ２のトラッキング補助処理、図９（Ａ）に示すステップＳ６のトラッキング結線処理、及び図９（Ａ）に示すステップＳ７の音声出力処理であるため、これらの説明は省略する。

図３４において、トラッキングモードがオフであれば（Ｓ１、ＮＯ）、図３４に示す複数同時指定に基づく手動トラッキング処理は終了するが、トラッキングモードがオンである場合には（Ｓ１、ＹＥＳ）、ディスプレイ装置３５のトラッキング画面ＴＲＷにおいて、ユーザのマウス操作によるカーソルＣＳＲのクリック操作又はユーザの指ＦＧのタッチ操作により、現在スピーカ装置３６から出力（再生）されている音声が一時停止される（Ｓ８１）。ステップＳ８１の後、トラッキング補助処理が行われる（Ｓ２）。

ステップＳ２の後、ユーザのマウス操作によるカーソルＣＳＲ又はユーザの指ＦＧによる入力操作に応じて、監視対象物としての複数の人物の移動過程（移動経路）のトラッキング位置に対応するトラッキングポイントが、同時に複数指定されたとする（Ｓ８２）。

トラッキング処理部３４ｃは、ステップＳ８２において指定された監視対象物としての人物毎に、トラッキング画面ＴＲＷ上の複数の指定位置に対応する実空間上の位置及び指定時刻を区別して、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ３３に保存する（Ｓ８３）。更に、トラッキング処理部３４ｃは、出力制御部３４ｂを介して、監視対象物としての人物毎に、トラッキング画面ＴＲＷ上のトラッキングポイントに区別してポイントマーカを表示させる（Ｓ８３）。

出力制御部３４ｂは、現在使用中の全方位マイクアレイ装置（例えば全方位マイクアレイ装置）Ｍ１から、ステップＳ８２において同時に指定された複数の監視対象物としての人物毎のトラッキング位置に対応する各人物の実空間上の位置（音声位置、音源位置）への方向に、収音音声の指向性を形成する（Ｓ８４）。ステップＳ８４の後、トラッキング結線処理が行われる（Ｓ６）。

ステップＳ６の後、出力制御部３４ｂは、ステップＳ８１において一時停止していた音声のスピーカ装置３６からの出力（再生）を再開する（Ｓ８５）。ステップＳ８５の後、音声出力処理が行われる（Ｓ７）。ステップＳ７の後、指向性制御装置３Ｂのトラッキングモードがオフになるまで、ステップＳ８１からステップＳ７までの動作（ステップＳ８１，Ｓ２，Ｓ８２，Ｓ８３，Ｓ８４，Ｓ６，Ｓ８５，Ｓ７の動作）が繰り返される。

図３５において、ステップＳ３の後、指向性制御装置３Ａ，３Ｂの画像処理部３７は、公知の画像処理を行うことで、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に、監視対象物としての人物の検出の有無を判定し、複数の人物を検出したと判定した場合には、判定結果（各人物の検出位置（例えば既知の代表点）及び検出時刻のデータを含む）を自動指定結果として、信号処理部３４のトラッキング処理部３４ｃに出力する（Ｓ９１）。また、音源検出部３４ｄは、公知の音源検出処理を行うことで、ディスプレイ装置３５のトラッキング画面ＴＲＷ上に、監視対象物としての人物の発する音声（音源）の位置の検出の有無を判定し、複数の音源の位置を検出したと判定した場合には、判定結果（音源の検出位置及び検出時刻のデータを含む）を自動指定結果として、トラッキング処理部３４ｃに出力する（Ｓ９１）。

トラッキング処理部３４ｃは、ステップＳ９１における直前の１つ以上の自動指定結果の推移を用いて、複数の監視対象物としての各人物の移動ベクトルを算出し、各人物の移動方向を推定する（Ｓ９１）。

トラッキング処理部３４ｃは、ステップＳ９１における複数の監視対象物としての人物の移動方向の推定結果を用いて、自動指定された複数のトラッキングポイントに対応するトラッキング位置と前回の各自動指定結果とを対応付けて、トラッキング位置のペアとしてメモリ３３に保存する（Ｓ９２）。トラッキング処理部３４ｃは、監視対象物としての人物毎に、トラッキング画面ＴＲＷ上における各人物の指定位置及び指定時刻を区別して、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ３３に保存する（Ｓ９２）。更に、トラッキング処理部３４ｃは、出力制御部３４ｂを介して、監視対象物としての人物毎に、トラッキング画面ＴＲＷ上のトラッキング位置に区別してポイントマーカを表示させる（Ｓ９２）。

これにより、本変形例の指向性制御装置３，３Ａ，３Ｂは、ディスプレイ装置３５のトラッキング画面ＴＲＷ上の画像データ上に映し出されている複数の監視対象物（例えば人物）がどのように移動しても、各人物の移動前の位置に向かう方向に形成された音声の指向性を、各人物の移動後の位置に向かう方向に形成するので、各人物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。

以下、上述した本発明に係る指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システムの構成、作用及び効果を説明する。

本発明の一実施形態は、複数のマイクを含む第１の収音部で収音された音声の指向性を制御する指向性制御装置であって、前記第１の収音部から、表示部の画像上の第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成する指向性形成部と、前記監視対象物の移動に応じて指定された、前記表示部の画像上の第２の指定位置に関する情報を取得する情報取得部と、を備え、前記指向性形成部は、前記情報取得部により取得された前記第２の指定位置に関する情報を用いて、前記第２の指定位置に対応する前記監視対象物への方向に、前記音声の指向性を切り替える、指向性制御装置である。

この構成では、指向性制御装置は、複数のマイクを含む第１の収音部から、表示部の画像上の第１の指定位置に対応する監視対象物への方向に音声の指向性を形成し、更に、移動している監視対象物を指定した第２の指定位置に関する情報を取得する。また、指向性制御装置は、表示部の画像上の第２の指定位置に関する情報を用いて、第２の指定位置に対応する監視対象物への方向に、音声の指向性を切り替える。

これにより、指向性制御装置は、表示部の画像上に映し出されている監視対象物が移動しても、監視対象物の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物の移動後の位置に向かう方向に形成するので、監視対象物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。

また、本発明の一実施形態は、前記情報取得部は、前記表示部の画像上で移動する前記監視対象物に対する指定操作に応じて、前記第２の指定位置に関する情報を取得する、指向性制御装置である。

この構成によれば、指向性制御装置は、表示部に映し出された画像上で移動する監視対象物を指定する簡易な操作によって、監視対象物の移動後の位置に関する正確な情報を容易に取得することができる。

また、本発明の一実施形態は、前記表示部の画像から前記監視対象物に対応する音源位置を検出する音源検出部と、前記表示部の画像から前記監視対象物を検出する画像処理部と、を更に備え、前記情報取得部は、前記音源検出部により検出された前記音源位置に関する情報、又は前記画像処理部により検出された前記監視対象物の位置に関する情報を、前記第２の指定位置に関する情報として取得する、指向性制御装置である。

この構成によれば、指向性制御装置は、表示部に映し出された画像から監視対象物の発する音声の音源、及び監視対象物自体を簡易に検出することができるので、音源の位置に関する情報又は監視対象物の位置に関する情報を、監視対象物の移動後の位置に関する情報として容易に取得することができる。

また、本発明の一実施形態は、前記音源検出部は、前記表示部の画像上に指定された初期位置を中心に、前記監視対象物に対応する音源位置の検出処理を開始し、前記画像処理部は、前記初期位置を中心に、前記監視対象物の検出処理を開始する、指向性制御装置である。

この構成によれば、指向性制御装置は、例えばユーザの指定操作によって、表示部に映し出された画像上において指定された初期位置（例えば監視対象物の位置に）を中心に、音源の位置に関する情報又は監視対象物の位置に関する情報の検出処理を開始するので、音源の位置の検出処理又は監視対象物の位置の検出処理を高速に行うことができる。

また、本発明の一実施形態は、前記音源検出部により検出された前記音源位置に関する情報、又は前記画像処理部により検出された前記監視対象物の位置に関する情報の変更操作に応じて、前記変更操作により指定された前記表示部の画像上の位置に関する情報を、前記第２の指定位置に関する情報として取得する、指向性制御装置である。

この構成によれば、指向性制御装置は、音源の位置の検出処理又は監視対象物の位置の検出処理により検出された音源の位置又は監視対象物の位置が間違っていた場合でも、例えばユーザの位置の変更操作によって画像上で指定された位置に関する情報を、監視対象物の移動後の位置に関する情報として容易に修正して取得することができる。

また、本発明の一実施形態は、前記情報取得部は、前記音源検出部により検出された前記音源位置と、前記画像処理部により検出された前記監視対象物の位置との距離が所定値以上である場合、前記音源位置に関する情報又は前記監視対象物の位置に関する情報の変更操作に応じて、前記変更操作により指定された前記表示部の画像上の位置に関する情報を、前記第２の指定位置に関する情報として取得する、指向性制御装置である。

この構成によれば、指向性制御装置は、音源の位置の検出処理又は監視対象物の位置の検出処理により検出された音源の位置と監視対象物の位置との距離が所定値以上であれば、例えばユーザの位置の変更操作によって、画像上で指定された位置に関する情報を、監視対象物の移動後の位置に関する情報として容易に修正して取得することができる。更に、指向性制御装置は、音源の位置の検出処理又は監視対象物の位置の検出処理により検出された音源の位置と監視対象物の位置との距離が所定値以上でなければ、例えばユーザの位置の変更操作を必要とすることなく、音源の位置又は監視対象物の位置を監視対象物の移動後の位置に関する情報として容易に取得することができる。

また、本発明の一実施形態は、一定期間にわたって撮像された画像を記憶する画像記憶部と、前記画像記憶部に記憶された前記画像を前記表示部に再生する画像再生部と、を更に備え、前記画像再生部は、所定の入力操作により、再生速度の初期値より小さい速度値で前記画像を再生する、指向性制御装置である。

この構成によれば、指向性制御装置は、一定期間にわたって撮像された画像を映像として表示部に再生する場合、ユーザの所定の入力操作（例えばスロー再生の指示操作）によって、再生速度の初期値（例えば映像の再生時に用いられる通常値）よりも小さい速度値でスロー再生することができる。

また、本発明の一実施形態は、撮像された画像を前記表示部に表示させる表示制御部、を更に備え、前記表示制御部は、前記表示部の画像上の指定位置への指定に応じて、前記指定位置を中心に所定倍率で前記画像を同一画面において拡大表示させる、指向性制御装置である。

この構成によれば、指向性制御装置は、例えばユーザの簡易な指定操作によって、表示部に映し出された画像上の指定位置を中心に、同一画面内において所定倍率で画像を拡大して表示させるので、同一画面上においてユーザの監視対象物の指定操作を簡易化することができる。

また、本発明の一実施形態は、撮像された画像を前記表示部に表示させる表示制御部、を更に備え、前記表示制御部は、前記表示部の画像上の指定位置への指定に応じて、前記指定位置を中心に所定倍率で前記画像を他の画面において拡大表示させる、指向性制御装置である。

この構成によれば、指向性制御装置は、例えばユーザの簡易な指定操作によって、表示部に映し出された画像上の指定位置を中心に、異なる画面内において所定倍率で画像を拡大して表示させるので、拡大表示されていない画面と拡大表示された画面とを対比させてユーザに監視対象物を簡易に指定させることができる。

また、本発明の一実施形態は、撮像された画像を前記表示部に表示させる表示制御部、を更に備え、前記表示制御部は、所定の入力操作に応じて、前記表示部の中心を基準に所定倍率で前記画像を拡大表示させる、指向性制御装置である。

この構成によれば、指向性制御装置は、例えばユーザの簡易な指定操作によって、表示部の中心を基準にして、所定倍率で画像を拡大して表示させるので、例えば表示部の中心付近に監視対象物が映っている場合には、ユーザに監視対象物を簡易に指定させることができる。

また、本発明の一実施形態は、前記表示制御部は、前記監視対象物の移動に応じて、前記画像が拡大表示された画面において前記指定位置が所定のスクロール判定線を超えた場合に、前記スクロール判定線を超えた方向に前記画面を所定量スクロールする、指向性制御装置である。

この構成によれば、指向性制御装置は、拡大表示された画面に映し出された監視対象物が移動したことにより、ユーザの指定位置がスクロール判定線を超えた場合に、スクロール判定線を超えた方向に画面を所定量、自動的にスクロールするので、画面が拡大表示された場合でも、ユーザの監視対象物の指定位置が画面から外れることを防ぐことができる。

また、本発明の一実施形態は、前記表示制御部は、前記監視対象物の移動に応じて、前記画像が拡大表示された画面において前記指定位置が所定のスクロール判定線を超えた場合に、前記指定位置が中心となるように前記画面をスクロールする、指向性制御装置である。

この構成によれば、指向性制御装置は、拡大表示された画面に映し出された監視対象物が移動したことにより、ユーザの指定位置がスクロール判定線を超えた場合に、ユーザの指定位置が画面の中心となるように画面を自動的にスクロールするので、画面が拡大表示された場合でも、ユーザの監視対象物の指定位置が画面から外れることを防ぐことができ、更に、移動を続ける画面上の監視対象物を簡易に指定させることができる。

また、本発明の一実施形態は、前記表示制御部は、前記画像が拡大表示された画面において、前記指定位置が前記画面の中心となるように前記画面をスクロールする、指向性制御装置である。

この構成によれば、指向性制御装置は、拡大表示された画面に映し出された監視対象物が移動したことにより、ユーザの指定位置が常に画面の中心となるように画面を自動的にスクロールするので、画面が拡大表示された場合でも、ユーザの監視対象物の指定位置が画面から外れることを防ぐことができ、更に、移動を続ける画面上の監視対象物を簡易に指定させることができる。

また、本発明の一実施形態は、前記画像処理部は、所定の入力操作に応じて、前記表示部の画像上の前記監視対象物の一部をマスキング処理する、指向性制御装置である。

この構成によれば、指向性制御装置は、例えばユーザの簡易な入力操作により、表示部の画面に映し出された監視対象物（例えば人物）の一部（例えば顔）をマスキング処理するので、監視対象物の人物が誰であるかを分かり難くすることでプライバシーを効果的に保護することができる。

また、本発明の一実施形態は、前記第１の収音部で収音された音声を音声出力部に出力させる音声出力制御部、を更に備え、前記音声出力制御部は、所定の入力操作に応じて、前記第１の収音部で収音された音声をボイスチェンジ処理して前記音声出力部に出力させる、指向性制御装置である。

この構成によれば、指向性制御装置は、例えばユーザの簡易な入力操作により、第１の収音部によりリアルタイムに収音されている音声をボイスチェンジ処理して音声出力するので、監視対象物（例えば人物）の発する音声を誰の音声か分かり難くすることで、現在撮像されている監視対象物の人物の音声上のプライバシーを効果的に保護することができる。

また、本発明の一実施形態は、一定期間にわたって前記第１の収音部で収音された音声を記憶する音声記憶部と、前記音声記憶部に記憶された前記音声を音声出力部に出力させる音声出力制御部と、を更に備え、前記音声出力制御部は、所定の入力操作に応じて、前記第１の収音部で収音された音声をボイスチェンジ処理して前記音声出力部に出力させる、指向性制御装置である。

この構成によれば、指向性制御装置は、例えばユーザの簡易な入力操作により、一定期間にわたって第１の収音部により収音された音声を音声出力する場合に、音声にボイスチェンジ処理を施して音声出力するので、監視対象物（例えば人物）の発する音声を誰の音声か分かり難くすることで、監視対象物の人物の音声上のプライバシーを効果的に保護することができる。

また、本発明の一実施形態は、前記監視対象物の移動に応じて指定される、１つ以上の前記表示部の画像上の指定位置に所定のマーカを表示させる表示制御部、を更に備える、指向性制御装置である。

この構成によれば、指向性制御装置は、例えばユーザが表示部に映し出されている監視対象物を指定する指定操作を行った場合に、表示部の画面上で指定された指定位置に所定のマーカを表示するので、移動中の監視対象物が通過した位置を軌跡として明示的に示すことができる。

また、本発明の一実施形態は、前記監視対象物の移動に応じて指定される、前記表示部の画像上の２つ以上の指定位置のうち、少なくとも現在の指定位置と直前の指定位置とを結線して表示させる表示制御部、を更に備える、指向性制御装置である。

この構成によれば、指向性制御装置は、表示部の画面に映し出された監視対象物が移動した場合にユーザの指定操作により指定された複数の指定位置のうち、少なくとも現在の指定位置と直前の指定位置とを結線して表示させるので、監視対象物の移動の一部の軌跡を明示的に示すことができる。

また、本発明の一実施形態は、前記監視対象物の移動に応じて指定される、前記表示部の画像上の全ての指定位置に対し、各指定位置に隣接する１つ又は２つの指定位置を結線した動線を表示させる表示制御部、を更に備える、指向性制御装置である。

この構成によれば、指向性制御装置は、表示部の画面に映し出された監視対象物が移動した場合にユーザの指定操作により指定された複数の指定位置の全てに対し、各指定位置に隣接する１つ又は２つの指定位置を結線して表示させるので、監視対象物の移動の全部の軌跡を明示的に示すことができる。

また、本発明の一実施形態は、前記表示部の画像上の全ての指定位置及び指定時刻のデータを含む指定リストを記憶する指定リスト記憶部と、前記表示制御部により表示された前記全ての指定位置を結線する動線上の任意の位置の指定に応じて、前記指定リスト記憶部に記憶された前記指定リストを用いて、前記動線上の指定位置における前記音声の再生開始時刻を算出する再生時刻算出部と、を更に備え、前記指向性形成部は、前記再生時刻算出部により算出された前記音声の再生開始時刻に最も近い前記指定時刻に対応する前記指定位置のデータを用いて、前記音声の指向性を形成する、指向性制御装置である。

この構成では、指向性制御装置は、監視対象物の移動中にユーザにより指定された全ての指定位置が結線して表示された場合に、動線上の任意のユーザ指定に応じて指定された位置における収音音声の再生開始時刻を算出し、この再生時刻に最も近い監視対象物の移動中に指定されたいずれかの指定時刻に対応して音声の指向性を形成する。

これにより、指向性制御装置は、監視対象物の移動の軌跡を示す動線上に対してユーザが任意に指定した位置（任意指定位置）に応じて、任意指定位置の次に指定されていた指定位置（トラッキング位置）に向かう方向に音声の指向性を事前に形成することができる。

また、本発明の一実施形態は、一定期間にわたって前記第１の収音部で収音された音声を記憶する音声記憶部と、前記音声記憶部に記憶された前記音声を音声出力部に出力させる音声出力制御部と、を更に備え、前記音声出力制御部は、前記再生時刻算出部により算出された前記音声の再生開始時刻に、前記音声を前記音声出力部に出力させ、前記指向性形成部は、前記音声の再生開始時刻から所定時間内に次の指定時刻がある場合、前記次の指定時刻に対応する前記指定位置のデータを用いて、前記音声の指向性を形成する、指向性制御装置である。

この構成では、指向性制御装置は、動線上の任意のユーザ指定に応じて指定された位置における音声の再生開始時刻における音声を再生させ、この音声の再生時刻から所定時間内に、監視対象物の移動中にユーザにより指定された次の指定時刻がある場合には、次の指定時刻に対応する指定位置のデータを用いて、音声の指向性を形成する。

これにより、指向性制御装置は、ユーザの任意指定位置に応じて算出された再生開始時刻における監視対象物の発した収音音声を明瞭に出力することができ、再生開始時刻から所定時間内に次の指定位置がある場合には、次の指定位置における音声の指向性を事前に形成することができる。

また、本発明の一実施形態は、前記表示部への画像の表示に用いる第１の撮像部に対応する所定の切替範囲を前記監視対象物が超えた場合に、前記表示部への画像の表示に用いる撮像部を、前記第１の撮像部から第２の撮像部に切り替える動作切替制御部、を更に備える、指向性制御装置である。

この構成では、指向性制御装置は、移動中の監視対象物が、表示部への画像の表示に用いる第１の撮像部に対応する所定の切替範囲を超えた場合には、表示部への画像の表示に用いる撮像部を、第１の撮像部から第２の撮像部に切り替える。

これにより、指向性制御装置は、移動中の監視対象物の画像を的確に映し出すことが可能な撮像部に適応的に切り替えることができ、ユーザの監視対象物の画像を簡易に指定させることができる。

また、本発明の一実施形態は、前記第１の収音部に対応する所定の切替範囲を前記監視対象物が超えた場合に、前記監視対象物の音声の収音に用いる収音部を、前記第１の収音部から第２の収音部に切り替える動作切替制御部、を更に備える、指向性制御装置である。

この構成では、指向性制御装置は、移動中の監視対象物が、監視対象物の音声の収音に用いる第１の収音部に対応する所定の切替範囲を超えた場合には、監視対象物の音声の収音に用いる収音部を、第１の収音部から第２の収音部に切り替える。

これにより、指向性制御装置は、移動中の監視対象物の発する音声を的確に収音することが可能な収音部に適応的に切り替えることができ、監視対象物の発する音声を高精度に収音することができる。

また、本発明の一実施形態は、所定の入力操作に応じて、複数の撮像部により撮像された各画像を異なる画面で前記表示部に一覧表示させる表示制御部と、前記表示制御部により前記表示部に一覧表示された各画面のうち、所定の選択可能な画面のうちいずれかの画面の選択操作に応じて、前記表示部への前記監視対象物の画像の表示に用いる撮像部を選択する動作切替制御部と、を更に備える、指向性制御装置である。

この構成では、指向性制御装置は、表示部への画像の表示に用いる撮像部を、表示部に一覧表示された複数の異なる画面から監視対象物の移動方向に合わせてユーザが指定した画面に対応する撮像部に切り替える。

これにより、指向性制御装置は、ユーザの簡易な操作によって、移動中の監視対象物の画像を的確に映し出すことが可能な撮像部に適応的に切り替えることができ、ユーザの監視対象物の画像を簡易に指定させることができる。

また、本発明の一実施形態は、所定の入力操作に応じて、前記第１の収音部から切替可能な周囲の複数の収音部の概略位置を示すマーカを前記表示部に表示させる表示制御部と、前記表示制御部により前記表示部に表示された複数の前記マーカのうち、いずれかのマーカの選択操作に応じて、前記監視対象物の音声の収音に用いる収音部を、前記第１の収音部から、選択された前記マーカに対応する他の収音部に切り替える動作切替制御部、を更に備える、指向性制御装置である。

この構成では、指向性制御装置は、例えばユーザの入力操作によって、第１の収音部から切り替え可能な周囲の複数の収音部の概略位置を示すマーカを表示部に表示させ、ユーザにより選択されたいずれかのマーカに応じて、監視対象物の音声の収音に用いる収音部を、第１の収音部から、選択されたマーカに対応する他の収音部に切り替える。

これにより、指向性制御装置は、ユーザの簡易な操作によって、移動中の監視対象物の発する音声を的確に収音することが可能な収音部に適応的に切り替えることができ、監視対象物の発する音声を高精度に収音することができる。

また、本発明の一実施形態は、前記動作切替制御部は、前記動作切替制御部により選択された前記撮像部により撮像された前記監視対象物の画像上の位置の指定に応じて、前記第１の収音部を含む複数の収音部から前記監視対象物までの距離が最も近い収音部を、前記監視対象物の音声の収音に用いる収音部として選択する、指向性制御装置である。

この構成では、指向性制御装置は、選択された撮像部により撮像された監視対象物の画像上の位置指定に応じて、第１の収音部を含む複数の収音部から監視対象物までの距離が最も近い収音部を、監視対象物の音声の収音に用いる収音部として選択する。

これにより、指向性制御装置は、ユーザが監視対象物の移動方向を示す位置を簡易に指定することにより、移動中の監視対象物の発する音声を的確に収音することが可能な最適な収音部を選択することができ、監視対象物の発する音声を高精度に収音することができる。

また、本発明の一実施形態は、前記表示部の画像から前記監視対象物の顔の向きを検出する画像処理部、を更に備え、前記動作切替制御部は、前記動作切替制御部により選択された前記撮像部により撮像された前記監視対象物の画像上の位置の指定に応じて、前記画像処理部により検出された前記監視対象物の顔の向きに対応する方向で、前記第１の収音部を含む複数の収音部から前記監視対象物までの距離が最も近い収音部を、前記監視対象物の音声の収音に用いる収音部として選択する、指向性制御装置である。

この構成では、指向性制御装置は、選択された撮像部により撮像された監視対象物の画像上の位置指定に応じて、この画像上の監視対象物の顔の向きが示す方向に存在し、かつ、第１の収音部を含む複数の収音部から監視対象物までの距離が最も近い収音部を、監視対象物の音声の収音に用いる収音部として選択する。

これにより、指向性制御装置は、監視対象物の画像上の顔の向きと監視対象物と収音部との距離とによって、移動中の監視対象物の発する音声を的確に収音することが可能な最適な収音部を選択することができ、監視対象物の発する音声を高精度に収音することができる。

また、本発明の一実施形態は、前記第１の収音部で収音された音声を音声出力部に出力させる音声出力制御部、を更に備え、前記表示制御部は、前記動作切替制御部により選択された前記撮像部に対応付けられた前記第１の収音部を含む複数の収音部の概略位置を示すマーカを前記表示部に表示させ、前記音声出力制御部は、前記動作切替制御部により選択された前記撮像部により撮像された前記監視対象物の画像上の位置の指定に応じて、前記表示部に表示された各マーカに対応する前記収音部から前記監視対象物への方向に指向性が形成された音声を順次、所定時間出力し、前記動作切替制御部は、前記音声出力制御部により出力された音声に基づくいずれかの前記マーカの選択操作に応じて、選択されたマーカに対応する収音部を、前記監視対象物の音声の収音に用いる収音部として選択する、指向性制御装置である。

この構成では、指向性制御装置は、選択された撮像部に対応付けられた第１の収音部を含む複数の収音部の概略位置を示すマーカを表示部に表示させ、移動中の監視対象物の画像上の位置指定に応じて、各マーカに対応する収音部から監視対象物への方向に指向性が形成された音声を順次、所定時間の間出力し、更に、選択されたいずれかのマーカに対応する収音部を、監視対象物の音声の収音に用いる収音部として選択する。

これにより、指向性制御装置は、選択された撮像部に対応付けられた複数の収音部において異なる指向性が形成された収音音声を一定時間にわたって出力することができるので、ユーザが最適と判断する収音音声を選択する簡易な操作を行うことにより、移動中の監視対象物の発する音声を的確に収音することが可能な最適な収音部を選択することができ、監視対象物の発する音声を高精度に収音することができる。

また、本発明の一実施形態は、複数のマイクを含む第１の収音部で収音された音声の指向性を制御する指向性制御装置における指向性制御方法であって、前記第１の収音部から、表示部の画像上の第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成するステップと、前記監視対象物の移動に応じて指定された、前記表示部の画像上の第２の指定位置に関する情報を取得するステップと、取得された前記第２の指定位置に関する情報を用いて、前記第２の指定位置に対応する前記監視対象物への方向に、前記音声の指向性を切り替えるステップと、を有する、指向性制御方法である。

この方法では、指向性制御装置は、複数のマイクを含む第１の収音部から、表示部の画像上の第１の指定位置に対応する監視対象物への方向に音声の指向性を形成し、更に、移動している監視対象物を指定した第２の指定位置に関する情報を取得する。また、指向性制御装置は、表示部の画像上の第２の指定位置に関する情報を用いて、第２の指定位置に対応する監視対象物への方向に、音声の指向性を切り替える。

これにより、指向性制御装置は、表示部の画像上に映し出されている監視対象物が移動しても、監視対象物の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物の移動後の位置に向かう方向に形成するので、監視対象物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。

また、本発明の一実施形態は、複数のマイクを含む第１の収音部で収音された音声の指向性を制御する指向性制御装置における処理を実行するプログラムが格納された記憶媒体であって、前記第１の収音部から、表示部の画像上の第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成するステップと、前記監視対象物の移動に応じて指定された、前記表示部の画像上の第２の指定位置に関する情報を取得するステップと、取得された前記第２の指定位置に関する情報を用いて、前記第２の指定位置に対応する前記監視対象物への方向に、前記音声の指向性を切り替えるステップと、を実行するプログラムが格納された、記憶媒体である。

この記憶媒体に格納されたプログラムが実行可能な指向性制御装置は、複数のマイクを含む第１の収音部から、表示部の画像上の第１の指定位置に対応する監視対象物への方向に音声の指向性を形成し、更に、移動している監視対象物を指定した第２の指定位置に関する情報を取得する。また、指向性制御装置は、表示部の画像上の第２の指定位置に関する情報を用いて、第２の指定位置に対応する監視対象物への方向に、音声の指向性を切り替える。

これにより、指向性制御装置は、表示部の画像上に映し出されている監視対象物が移動しても、監視対象物の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物の移動後の位置に向かう方向に形成するので、監視対象物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。

また、本発明の一実施形態は、収音領域を撮像する撮像部と、複数のマイクを含み前記収音領域の音声を収音する第１の収音部と、前記第１の収音部で収音された音声の指向性を制御する指向性制御装置と、を備え、前記指向性制御装置は、前記第１の収音部から、表示部の画像上の第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成する指向性形成部と、前記監視対象物の移動に応じて指定された、前記表示部の画像上の第２の指定位置に関する情報を取得する情報取得部と、を備え、前記指向性形成部は、前記情報取得部により取得された前記第２の指定位置に関する情報を用いて、前記第２の指定位置に対応する前記監視対象物への方向に、前記音声の指向性を切り替える、指向性制御システムである。

このシステムでは、指向性制御装置は、複数のマイクを含む第１の収音部から、表示部の画像上の第１の指定位置に対応する監視対象物への方向に音声の指向性を形成し、更に、移動している監視対象物を指定した第２の指定位置に関する情報を取得する。また、指向性制御装置は、表示部の画像上の第２の指定位置に関する情報を用いて、第２の指定位置に対応する監視対象物への方向に、音声の指向性を切り替える。

これにより、指向性制御システムでは、指向性制御装置は、表示部の画像上に映し出されている監視対象物が移動しても、監視対象物の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物の移動後の位置に向かう方向に形成するので、監視対象物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、画像上の監視対象物が移動しても、監視対象物に対する音声の指向性を追従して適正に形成し、監視者の監視業務の効率劣化を抑制する指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システムとして有用である。

３、３Ａ、３Ｂ 指向性制御装置
４ レコーダ装置
３１ 通信部
３２ 操作部
３３ メモリ
３４、３４Ａ 信号処理部
３４ａ 指向方向算出部
３４ｂ 出力制御部
３４ｃ トラッキング処理部
３４ｄ 音源検出部
３５ ディスプレイ装置
３６ スピーカ装置
３７ 画像処理部
３８ 動作切替制御部
１００、１００Ａ、１００Ｂ 指向性制御システム
Ｃ１、Ｃｎ カメラ装置
Ｃ１ＲＮ、Ｃ２ＲＮ 撮像エリア
ＪＣ１、ＪＭ１ 切替判定ライン
ＪＤＬ スクロール判定線
ＬＮ１、ＬＮ２、ＬＮＲ、ＬＮＷ トラッキングライン
ＬＳＴ トラッキングリスト
ＮＷ ネットワーク
Ｍ１、Ｍｍ 全方位マイクアレイ装置
ＭＲ１、ＭＲ２、ＭＲ２Ｗ、ＭＲ２Ｒ、ＭＲ３ ポイントマーカ
ＴＰ１、ＴＰ２ トラッキングポイント
ＴＲＷ トラッキング画面

Claims (27)

1. 複数のマイクを含む第１のマイクアレイで収音された音声の指向性を制御する指向性制御装置における指向性制御方法であって、
   カメラにより撮像された収音領域の画像をディスプレイに表示する表示制御ステップと、
   前記ディスプレイにて表示された前記画像に対するユーザ操作に応じて、前記第１のマイクアレイから、表示された前記画像上の前記ユーザ操作に基づく第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第１の指向音声データを生成する第１の指向音声データ生成ステップと、
   前記監視対象物の移動に応じた前記ディスプレイの画像上における前記監視対象物の動線に沿った任意の位置にある第２の指定位置及び指定時刻のデータを取得する情報取得ステップと、
   前記第２の指定位置における前記音声の再生開始時刻を算出する再生時刻算出ステップと、
   前記再生時刻算出ステップにより算出された前記音声の再生開始時刻に応じた前記指定時刻に対応する前記第２の指定位置のデータを用いて、前記第１のマイクアレイから、表示された前記画像上の前記第２の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第２の指向音声データを生成する第２の指向音声データ生成ステップと、
   前記指定時刻において前記第１の指向音声データから前記第２の指向音声データへと、出力音声データを切り替える指向音声切り替えステップと、を備える、
   指向性制御方法。
2. 請求項１に記載の指向性制御方法であって、
   前記情報取得ステップは、
   前記ディスプレイの画像上で移動する前記監視対象物に対する指定操作に応じて、前記第２の指定位置に関する情報を取得する、
   指向性制御方法。
3. 請求項１に記載の指向性制御方法であって、
   前記ディスプレイの画像から前記監視対象物に対応する音源位置を検出する音源検出ステップと、
   前記ディスプレイの画像から前記監視対象物を検出する画像処理ステップと、を更に備え、
   前記情報取得ステップは、
   前記音源検出ステップにより検出された前記音源位置に関する情報、又は前記画像処理ステップにより検出された前記監視対象物の位置に関する情報を、前記第２の指定位置に関する情報として取得する、
   指向性制御方法。
4. 請求項３に記載の指向性制御方法であって、
   前記音源検出ステップは、
   前記ディスプレイの画像上に指定された初期位置を中心に、前記監視対象物に対応する音源位置の検出処理を開始し、
   前記画像処理ステップは、
   前記初期位置を中心に、前記監視対象物の検出処理を開始する、
   指向性制御方法。
5. 請求項３に記載の指向性制御方法であって、
   前記情報取得ステップは、
   前記音源検出ステップにより検出された前記音源位置に関する情報、又は前記画像処理ステップにより検出された前記監視対象物の位置に関する情報の変更操作に応じて、前記変更操作により指定された前記ディスプレイの画像上の位置に関する情報を、前記第２の指定位置に関する情報として取得する、
   指向性制御方法。
6. 請求項３に記載の指向性制御方法であって、
   前記情報取得ステップは、
   前記音源検出ステップにより検出された前記音源位置と、前記画像処理ステップにより検出された前記監視対象物の位置との距離が所定値以上である場合、前記音源位置に関する情報又は前記監視対象物の位置に関する情報の変更操作に応じて、前記変更操作により指定された前記ディスプレイの画像上の位置に関する情報を、前記第２の指定位置に関する情報として取得する、
   指向性制御方法。
7. 請求項１に記載の指向性制御方法であって、
   一定期間にわたって撮像された画像を画像記憶部に記憶する画像記憶ステップと、
   前記画像記憶部に記憶された前記画像を前記ディスプレイに再生する画像再生ステップと、を更に備え、
   前記画像再生ステップは、
   所定の入力操作により、再生速度の初期値より小さい速度値で前記画像を再生する、
   指向性制御方法。
8. 請求項１に記載の指向性制御方法であって、
   前記表示制御ステップは、
   前記監視対象物の移動に応じて、前記画像が拡大表示された画面において前記第２の指定位置が所定のスクロール判定線を超えた場合に、前記スクロール判定線を超えた方向に前記画面を所定量スクロールする、
   指向性制御方法。
9. 請求項１に記載の指向性制御方法であって、
   前記表示制御ステップは、
   前記監視対象物の移動に応じて、前記画像が拡大表示された画面において前記第２の指定位置が所定のスクロール判定線を超えた場合に、前記第２の指定位置が中心となるように前記画面をスクロールする、
   指向性制御方法。
10. 請求項１に記載の指向性制御方法であって、
    前記表示制御ステップは、
    前記画像が拡大表示された画面において、前記第２の指定位置が前記画面の中心となるように前記画面をスクロールする、
    指向性制御方法。
11. 請求項３に記載の指向性制御方法であって、
    前記画像処理ステップは、
    所定の入力操作に応じて、前記ディスプレイの画像上の前記監視対象物の一部をマスキング処理する、
    指向性制御方法。
12. 請求項１に記載の指向性制御方法であって、
    前記第１のマイクアレイで収音された音声を音声出力部に出力させる音声出力制御ステップ、を更に備え、
    前記音声出力制御ステップは、
    所定の入力操作に応じて、前記第１のマイクアレイで収音された音声をボイスチェンジ処理して前記音声出力部に出力させる、
    指向性制御方法。
13. 請求項１に記載の指向性制御方法であって、
    一定期間にわたって前記第１のマイクアレイで収音された音声を記憶する音声記憶ステップと、
    前記音声記憶ステップに記憶された前記音声を音声出力部に出力させる音声出力制御ステップと、を更に備え、
    前記音声出力制御ステップは、
    所定の入力操作に応じて、前記第１のマイクアレイで収音された音声をボイスチェンジ処理して前記音声出力部に出力させる、
    指向性制御方法。
14. 請求項１に記載の指向性制御方法であって、
    前記表示制御ステップは、更に、
    前記監視対象物の移動に応じて指定される、１つ以上の前記ディスプレイの画像上の指定位置に所定のマーカを表示させる、
    指向性制御方法。
15. 請求項１に記載の指向性制御方法であって、
    前記表示制御ステップは、更に、
    前記監視対象物の移動に応じて指定される、前記ディスプレイの画像上の２つ以上の指定位置のうち、少なくとも現在の指定位置と直前の指定位置とを結線して表示させる、
    指向性制御方法。
16. 請求項１に記載の指向性制御方法であって、
    前記表示制御ステップは、更に、
    前記監視対象物の移動に応じて指定される、前記ディスプレイの画像上の全ての指定位置に対し、各指定位置に隣接する１つ又は２つの指定位置を結線した動線を表示させる、
    指向性制御方法。
17. 請求項１６に記載の指向性制御方法であって、
    前記ディスプレイの画像上の全ての指定位置及び指定時刻のデータを含む指定リストを指定リスト記憶部に記憶する指定リスト記憶ステップと、
    前記表示制御ステップにより表示された前記全ての指定位置を結線する動線上の任意の位置の指定に応じて、前記指定リスト記憶部に記憶された前記指定リストを用いて、前記動線上の指定位置における前記音声の再生開始時刻を算出する再生時刻算出ステップと、
    を更に備え、
    前記第２の指向音声データ生成ステップは、
    前記再生時刻算出ステップにより算出された前記音声の再生開始時刻に最も近い前記指定時刻に対応する前記指定位置のデータを用いて、前記音声の指向性を形成する、
    指向性制御方法。
18. 請求項１７に記載の指向性制御方法であって、
    一定期間にわたって前記第１のマイクアレイで収音された音声を音声記憶部に記憶する音声記憶ステップと、
    前記音声記憶部に記憶された前記音声を音声出力部に出力させる音声出力制御ステップと、を更に備え、
    前記音声出力制御ステップは、
    前記再生時刻算出ステップにより算出された前記音声の再生開始時刻に、前記音声を前記音声出力部に出力させ、
    前記第２の指向音声データ生成ステップは、
    前記音声の再生開始時刻から所定時間内に次の指定時刻がある場合、前記次の指定時刻に対応する前記指定位置のデータを用いて、前記音声の指向性を形成する、
    指向性制御方法。
19. 請求項１に記載の指向性制御方法であって、
    前記ディスプレイへの画像の表示に用いる前記カメラに対応する所定の切替範囲を前記監視対象物が超えた場合に、前記ディスプレイへの画像の表示に用いるカメラを、前記カメラから第２のカメラに切り替える動作切替制御ステップ、を更に備える、
    指向性制御方法。
20. 請求項１に記載の指向性制御方法であって、
    前記第１のマイクアレイに対応する所定の切替範囲を前記監視対象物が超えた場合に、前記監視対象物の音声の収音に用いるマイクアレイを、前記第１のマイクアレイから第２のマイクアレイに切り替える動作切替制御ステップ、を更に備える、
    指向性制御方法。
21. 請求項１に記載の指向性制御方法であって、
    所定の入力操作に応じて、複数のカメラにより撮像された各画像を異なる画面で前記ディスプレイに一覧表示させる表示制御ステップと、
    前記表示制御ステップにより前記ディスプレイに一覧表示された各画面のうち、所定の選択可能な画面のうちいずれかの画面の選択操作に応じて、前記ディスプレイへの前記監視対象物の画像の表示に用いるカメラを選択する動作切替制御ステップと、を更に備える、
    指向性制御方法。
22. 請求項１に記載の指向性制御方法であって、
    所定の入力操作に応じて、前記第１のマイクアレイから切替可能な周囲の複数のマイクアレイの概略位置を示すマーカを前記ディスプレイに表示させる表示制御ステップと、
    前記表示制御ステップにより前記ディスプレイに表示された複数の前記マーカのうち、いずれかのマーカの選択操作に応じて、前記監視対象物の音声の収音に用いるマイクアレイを、前記第１のマイクアレイから、選択された前記マーカに対応する他のマイクアレイに切り替える動作切替制御ステップ、を更に備える、
    指向性制御方法。
23. 請求項２１に記載の指向性制御方法であって、
    前記動作切替制御ステップは、
    前記動作切替制御ステップにより選択された前記カメラにより撮像された前記監視対象物の画像上の位置の指定に応じて、前記第１のマイクアレイを含む複数のマイクアレイから前記監視対象物までの距離が最も近いマイクアレイを、前記監視対象物の音声の収音に用いるマイクアレイとして選択する、
    指向性制御方法。
24. 請求項２１に記載の指向性制御方法であって、
    前記ディスプレイの画像から前記監視対象物の顔の向きを検出する画像処理ステップ、
    を更に備え、
    前記動作切替制御ステップは、
    前記動作切替制御ステップにより選択された前記カメラにより撮像された前記監視対象物の画像上の位置の指定に応じて、前記画像処理ステップにより検出された前記監視対象物の顔の向きに対応する方向で、前記第１のマイクアレイを含む複数のマイクアレイから前記監視対象物までの距離が最も近いマイクアレイを、前記監視対象物の音声の収音に用いるマイクアレイとして選択する、
    指向性制御方法。
25. 請求項２１に記載の指向性制御方法であって、
    前記第１のマイクアレイで収音された音声を音声出力部に出力させる音声出力制御ステップ、を更に備え、
    前記表示制御ステップは、
    前記動作切替制御ステップにより選択された前記カメラに対応付けられた前記第１のマイクアレイを含む複数のマイクアレイの概略位置を示すマーカを前記ディスプレイに表示させ、
    前記音声出力制御ステップは、
    前記動作切替制御ステップにより選択された前記カメラにより撮像された前記監視対象物の画像上の位置の指定に応じて、前記ディスプレイに表示された各マーカに対応する前記マイクアレイから前記監視対象物への方向に指向性が形成された音声を順次、所定時間出力し、
    前記動作切替制御ステップは、
    前記音声出力制御ステップにより出力された音声に基づくいずれかの前記マーカの選択操作に応じて、選択されたマーカに対応するマイクアレイを、前記監視対象物の音声の収音に用いるマイクアレイとして選択する、
    指向性制御方法。
26. 複数のマイクを含む第１のマイクアレイで収音された音声の指向性を制御する指向性制御装置における処理を実行するプログラムが格納された記憶媒体であって、
    カメラにより撮像された収音領域の画像をディスプレイに表示するステップと、
    前記ディスプレイにて表示された前記画像に対するユーザ操作に応じて、前記第１のマイクアレイから、表示された前記画像上の前記ユーザ操作に基づく第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第１の指向音声データを生成するステップと、
    前記監視対象物の移動に応じた前記ディスプレイの画像上における前記監視対象物の動線に沿った任意の位置にある第２の指定位置及び指定時刻のデータを取得するステップと、
    前記第２の指定位置における前記音声の再生開始時刻を算出する再生時刻算出ステップと、
    前記再生時刻算出ステップにより算出された前記音声の再生開始時刻に応じた前記指定時刻に対応する前記第２の指定位置のデータを用いて、前記第１のマイクアレイから、表示された前記画像上の前記第２の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第２の指向音声データを生成するステップと、
    前記指定時刻において前記第１の指向音声データから前記第２の指向音声データへと、出力音声データを切り替えるステップと、
    を実行するプログラムが格納された、
    記憶媒体。
27. 収音領域を撮像するカメラと、
    複数のマイクを含み前記収音領域の音声を収音する第１のマイクアレイと、
    前記第１のマイクアレイで収音された音声の指向性を制御する指向性制御装置と、を備え、
    前記指向性制御装置は、
    カメラにより撮像された収音領域の画像をディスプレイに表示する出力制御部と、
    前記ディスプレイにて表示された前記画像に対するユーザ操作に応じて、前記第１のマイクアレイから、表示された前記画像上の前記ユーザ操作に基づく第１の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第１の指向音声データを生成する指向音声データ生成部と、
    前記監視対象物の移動に応じた前記ディスプレイの画像上における前記監視対象物の動線に沿った任意の位置にある第２の指定位置及び指定時刻のデータを取得する情報取得部と、を備え、
    前記指向音声データ生成部は、
    前記第２の指定位置における前記音声の再生開始時刻を算出し、
    算出された前記音声の再生開始時刻に応じた前記指定時刻に対応する前記第２の指定位置のデータを用いて、前記第１のマイクアレイから、表示された前記画像上の前記第２の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成し、第２の指向音声データを生成し、
    前記指定時刻において前記第１の指向音声データから前記第２の指向音声データへと、出力音声データを切り替える、
    指向性制御システム。

Images