JP2017050649A - 映像音声再生装置、映像音声再生方法、及びプログラム - Google Patents

Abstract

【課題】再生中の映像の撮像範囲内における複数箇所から到来する音の確認作業の効率化を可能にする。【解決手段】映像音声再生装置７Ａは、グループ設定部７０３と、再生部７０７と、を備える。グループ設定部７０３は、撮像装置２の撮像範囲内の複数箇所のそれぞれを到来方向とする複数の音響信号を取得し、到来方向が隣接する音響信号同士の特徴量の類似度に基づいて、特徴量の類似度が高い音響信号の到来方向を１つのグループにするグループ化を行う。再生部７０７は、撮像装置の撮像範囲内におけるグループの位置を示す情報を撮像装置２で撮像した映像に付加して再生する。【選択図】図２

Description

本発明は、映像音声再生装置、映像音声再生方法、及びプログラムに関する。

撮像装置で撮像した映像及び収音装置で収音した音声を再生する映像音声再生装置に関する技術として、再生中の映像における注目領域からの音声を選択的に再生する技術が知られている（例えば、特許文献１を参照）。

また、目的音の方向を推定する技術として、複数の音響信号の相関行列と雑音信号の相関行列とに基づいて算出した空間スペクトルを用いて音源の方向を推定する技術が知られている（例えば、特許文献２を参照）。

また、特定の種類の音源の方向を推定する技術として、音響特徴量と対応付けた音源の種類の尤度に基づいて音響信号の音源の種類を同定し、同定した種類の音源の音響信号について音源方向を推定する技術が知られている（例えば、特許文献３を参照）。

更に、映像を再生するホスト装置とは別に設けた信号処理装置により音声信号の音像定位処理等を行うことで、ホスト装置のCentral Processing Unit（ＣＰＵ）の負担を軽くする技術が知られている（例えば、特許文献４を参照）。

特開２０１１−０７１６８５号公報 特開２０１４−０５６１８１号公報 特開２０１２−０４２４６５号公報 特開２００３−２４４７９７号公報

工場のような動力設備等の各種設備を配した施設では、設備の異常を早期に発見することが重要である。そのため、工場等の保守点検業務では、設備の異常音を早期に検出し、異常音の発生源を早期に特定することが重要になっている。

また、工場の保守点検業務は、近年、情報通信技術（ＩＣＴ：Information and Communication Technology）を用いた業務の効率化、例えばタブレット型コンピュータ等の携帯型端末を活用した業務の効率化が進められている。情報通信技術を用いた業務の効率化では、上述した特許文献１の技術を用いることで、撮像装置で撮像した映像の再生中に映像（画面）内で選択した箇所（注目領域）と対応する方向から到来する音を選択的に再生することができる。

しかしながら、上述の技術では、画面内における複数箇所の音を再生する場合、一箇所毎に選択し再生する必要がある。そのため、保守点検業務において撮像範囲内の複数箇所で異常音の有無を確認する場合、確認作業に手間がかかる。

１つの側面において、本発明は、再生中の映像の撮像範囲内における複数箇所から到来する音の確認作業の効率化を可能にすることを目的とする。

１つの態様の映像音声再生装置は、グループ設定部と、再生部と、を備える。グループ設定部は、撮像装置の撮像範囲内の複数箇所のそれぞれを到来方向とする複数の音響信号を取得し、到来方向が隣接する音響信号同士の特徴量の類似度に基づいて、前記特徴量の類似度が高い音響信号の到来方向を１つのグループにするグループ化を行う。再生部は、撮像装置の撮像範囲内におけるグループの位置を示す情報を撮像装置で撮像した映像に付加して再生する。

上述の態様によれば、再生中の映像の撮像範囲内における複数箇所から到来する音の確認作業の効率化が可能になる。

第１の実施形態に係る点検システムの構成例を示す図である。 第１の実施形態に係る点検システムで用いる点検用端末の機能的構成を示すブロック図である。 点検用端末の表示装置に表示される映像の例を示す図である。 センサ位置情報の例を示す図である。 第１の実施形態に係る映像音声再生装置が行う再生処理の内容を示すフローチャートである。 第１の実施形態に係る再生処理におけるグループ検出処理の内容を示すフローチャートである。 第１の実施形態に係る再生処理における状態判別処理の内容を示すフローチャートである。 第１の実施形態に係る再生処理の処理結果の一例を示す図である。 第１の実施形態に係る再生処理における映像音声出力処理の内容を示すフローチャートである。 第２の実施形態に係る点検システムの構成例を示す図である。 第２の実施形態に係る点検システムで用いる点検用端末の機能的構成を示すブロック図である。 到来音生成部で生成する到来音の到来方向の設定方法を説明する図である。 第２の実施形態に係る映像音声再生装置が行う再生処理の内容を示すフローチャートである。 第２の実施形態に係る再生処理におけるグループ検出処理の内容を示すフローチャートである。 第２の実施形態に係る再生処理における状態判別処理の内容を示すフローチャートである。 第３の実施形態に係る監視システムの構成例を示す図である。 第３の実施形態に係る監視システムで用いる映像音声再生装置の機能的構成を示すブロック図である。 第３の実施形態に係る監視システムで用いる制御装置の機能的構成を示すブロック図である。 第３の実施形態に係る映像音声再生装置が行う再生処理の内容を示すフローチャートである。 第３の実施形態に係る制御装置が映像音声再生装置と協働して行う処理の内容を示すフローチャートである。 コンピュータのハードウェア構成を示す図である。

［第１の実施形態］
図１は、第１の実施形態に係る点検システムの構成例を示す図である。

図１に示すように、本実施形態に係る点検システム１Ａは、撮像装置２と、複数のセンサ３（３０１，３０２，３１０）と、中継器４と、点検用端末５と、を備える。

撮像装置２は、点検対象の設備６（６０１，６０２）の映像を撮像する装置である。
複数のセンサ３は、それぞれ、音響信号を収音する収音装置（マイクロフォン）を含むセンサである。本実施形態では、センサ３として、音響信号を収音する収音装置及び振動を検出する振動センサを含む複合センサを用いる。センサ３は、点検対象の設備において音が発生する箇所（例えば動力部や可動部等）の近傍に設置する。以下、センサ３を複合センサともいう。

中継器４は、撮像装置２で撮像した映像、及び各複合センサ３の出力信号（音響信号及び振動信号）を取得し、点検用端末５に転送する装置である。点検用端末５は、中継器４を介して取得した映像及び音響信号を再生する装置である。中継器４と点検用端末５とは、例えば、Institute of Electrical and Electronic Engineers（ＩＥＥＥ）で標準化されている無線通信規格に従った無線通信により通信可能に接続される。

図２は、第１の実施形態に係る点検システムで用いる点検用端末の機能的構成を示すブロック図である。

本実施形態に係る点検用端末５は、図２に示すように、映像音声再生装置７Ａと、表示装置８と、スピーカ９と、入力装置１０と、を備える。

映像音声再生装置７Ａは、通信部７０１と、相関値算出部７０２と、グループ設定部７０３と、音響特徴量算出部７０４と、振動特徴量算出部７０５と、状態判別部７０６と、再生部７０７と、記憶部７０８と、入力受付部７０９と、を備える。

通信部７０１は、中継器４の通信部４０１との間で無線通信を行い、撮像装置２で撮像した映像、及び各複合センサ３０１，３０２，３１０の出力信号（音響信号及び振動信号）、並びにセンサ位置情報を取得する。センサ位置情報は、例えば、中継器４の記憶部４０２に格納されている。通信部７０１は、取得した映像を再生部７０７に出力する。また、通信部７０１は、取得した音響信号を相関値算出部７０２及び音響特徴量算出部７０４に出力する。また、通信部７０１は、取得した振動信号を振動特徴量算出部７０５に出力する。更に、通信部７０１は、センサ位置情報を相関値算出部７０２に出力するとともに、記憶部７０８に記憶させる。

相関値算出部７０２は、入力された音響信号及びセンサ位置情報に基づいて、隣接関係にある収音装置（複合センサ３）から取得した音響信号同士の相関値を算出する。グループ設定部７０３は、算出した音響信号同士の相関値と予め定めた相関閾値とを比較して、音響信号同士の相関の有無を判定する。また、グループ設定部７０３は、音響信号同士の相関の有無の判定結果に基づいて、相関のある音響信号の到来方向の組を１つのグループに設定するグループ化を行う。グループ設定部７０３は、設定したグループに関する情報を再生部７０７に出力する。

音響特徴量算出部７０４は、入力された音響信号を分析して所定の音響特徴量を算出する。振動特徴量算出部７０５は、入力された振動信号を分析して振動特徴量を算出する。状態判別部７０６は、算出した音響特徴量及び振動特徴量に基づいて、各複合センサの出力信号が正常時の信号であるか否かを判別する。状態判別部７０６は、判別結果を再生部７０７に出力する。

再生部７０７は、状態判別部７０６の判別結果に基づき、正常ではない音響信号又は振動信号を出力した複合センサ３がある場合には、映像上（表示装置の画面上）における当該複合センサの設置位置を示す情報を映像とともに表示装置８に出力する。また、正常ではない音響信号又は振動信号を出力した複合センサがある場合、再生部７０７は、グループ設定部７０３で設定したグループのうち、正常ではない信号を出力した複合センサを含むグループを示す情報を映像とともに表示装置８に出力する。なお、全ての複合センサにおける音響信号及び振動信号が正常である場合、再生部７０７は、入力された映像のみを表示装置８に出力する。

更に、再生部７０７は、オペレータが入力装置１０を操作して指定した映像上の点と対応する方向から到来する音響信号を選択してスピーカ９に出力する。オペレータが入力装置１０を操作すると、操作内容に応じた入力信号が入力装置１０から映像音声再生装置７Ａの入力受付部７０９に入力される。入力受付部７０９は、入力信号が音響信号の再生に関する信号である場合、入力信号を再生部７０７に出力する。

図３Ａは、点検用端末の表示装置に表示される映像の例を示す図である。図３Ｂは、センサ位置情報の例を示す図である。

点検用端末５の表示装置８には、撮像装置２で撮像した映像が表示される。図１に示した点検システム１Ａの場合、図３Ａに示すように、表示装置８には２台の設備６０１，６０２を配した領域の映像が表示される。表示装置８に表示される設備６０１，６０２には、収音装置を含む複合センサ３が取り付けられている。１台の設備に取り付けられる複合センサ３の数は、設備６０２のように１個である場合もあるし、設備６０１のように複数個の場合もある。設備６０１は、第１の部位６０１Ａ、第２の部位６０１Ｂ、及び第３の部位６０１Ｃを有し、例えば、第１の部位６０１Ａにおいて所定の処理を行った工作物が、第３の部位６０１Ｃを通して第２の部位６０１Ｂに搬送されるようになっている。設備６０１の第１の部位６０１Ａには、３個の複合センサ（収音装置３０１Ａ〜３０３Ａ）が取り付けられている。又、第２の部位６０１Ｂ及び第３の部位６０１Ｃには、それぞれ１個の複合センサ（収音装置３０４Ａ，３０５Ａ）が取り付けられている。

本実施形態におけるセンサ位置情報は、例えば、図３Ｂに示すように、映像上（表示装置の画面上）における複合センサの位置を示す二次元の座標値と、複合センサが設置された設備を識別する識別子（センサＩＤ）とを含む。複合センサの位置を示す座標値は、映像を撮像する撮像装置と設備との位置関係、撮像装置の光軸の方向及び視野角（撮像範囲）、並びに設備内における複合センサの位置から算出することができる。

図４は、第１の実施形態に係る映像音声再生装置が行う再生処理の内容を示すフローチャートである。

本実施形態の点検システムでは、例えば、オペレータが点検用端末５の入力装置１０を操作し点検用端末５と中継器４とが通信可能に接続されると、点検用端末５の映像音声再生装置７Ａが図４に示したような再生処理を行う。

映像音声再生装置７Ａは、まず、映像信号、音響信号、及び振動信号の取得を開始するとともに、センサ位置情報を取得する（ステップＳ１００）。ステップＳ１００の処理は、通信部７０１が行う。

次に、映像音声再生装置７Ａは、グループ検出処理（ステップＳ１０１）及び状態判別処理（ステップＳ１０２）を行う。ステップＳ１０１のグループ検出処理は、相関値算出部７０２及びグループ設定部７０３が行う。相関値算出部７０２は、各複合センサからの音響信号とセンサ位置情報とに基づいて、隣接する複合センサ（収音装置）の音響信号同士の相関値を算出する。グループ設定部７０３は、相関値算出部７０２で算出した音響信号同士の相関値が所定の相関閾値よりも高いか否かを判定し、音響信号同士の相関（類似度）が高い複合センサを１つのグループに設定するグループ化を行う。

一方、ステップＳ１０２の状態判別処理は、音響特徴量算出部７０４、振動特徴量算出部７０５、及び状態判別部７０６が行う。音響特徴量算出部７０４は、各複合センサからの音響信号における特徴量を算出する。振動特徴量算出部７０５は、各複合センサからの振動信号における特徴量を算出する。状態判別部７０６は、複合センサ毎に、音響信号の特徴量及び振動信号の特徴量に基づいて音響信号が正常であるか否かを判別する。なお、本実施形態では、状態判別部７０６は、各複合センサについての判別結果を状態フラグの値で示し、正常である場合の状態フラグの値を０、正常ではない場合（異常がある場合）の状態フラグの値を１とする。

グループ検出処理及び状態判別処理を終えると、映像音声再生装置７Ａは、次に、状態フラグが１の音響信号を含むグループがあるか否かを判別する（ステップＳ１０３）。ステップＳ１０３の判定は、再生部７０７が行う。状態フラグが１の音響信号を含むグループがある場合（ステップＳ１０３；Ｙｅｓ）、再生部７０７は、映像上（画面上）に、状態フラグが１の音響信号を含むグループを示す情報を付加する（ステップＳ１０４）。その後、再生部７０７は、音響信号の再生を指示する信号が入力されたか否かをチェックする（ステップＳ１０５）。一方、状態フラグが１の音響信号を含むグループがない場合（ステップＳ１０３；Ｎｏ）、再生部７０７は、ステップＳ１０４の処理をスキップし、ステップＳ１０５のチェックを行う。

ステップＳ１０５において音響信号の再生を指示する信号が入力されていないと判定した場合（ステップＳ１０５；Ｎｏ）、再生部７０７は、映像信号のみを再生して表示装置８に出力する（ステップＳ１０６）。一方、ステップＳ１０５において音響信号の再生を指示する信号が入力されたと判定した場合（ステップＳ１０５；Ｙｅｓ）、再生部７０７は、映像音声出力処理（ステップＳ１０７）を行う。ステップＳ１０７において、再生部７０７は、入力された信号に従って音響信号を選択し、映像信号を表示装置８に出力するとともに、選択した音響信号をスピーカ９に出力する。

再生部７０７が映像信号、又は映像信号及び音響信号を出力すると、映像音声再生装置７Ａは、次に、ステップＳ１０１〜Ｓ１０７の処理を続けるか否かを判断する（ステップＳ１０８）。処理を続ける場合（ステップＳ１０８；Ｙｅｓ）、映像音声再生装置７Ａは、次の処理単位期間の音響信号についてのステップＳ１０１〜Ｓ１０７の処理を行う。一方、処理を終了する場合（ステップＳ１０８；Ｎｏ）、図４のフローチャートでは省略しているが、映像音声再生装置７Ａは、映像信号、音響信号、及び振動信号の取得を終了し、再生処理を終了する。

図５は、第１の実施形態に係る再生処理におけるグループ検出処理の内容を示すフローチャートである。

図４に示したフローチャートのグループ検出処理（ステップＳ１０１）は、上記のように相関値算出部７０２及びグループ設定部７０３が行う。相関値算出部７０２及びグループ設定部７０３は、グループ検出処理として、図５に示したような処理を行う。

まず、相関値算出部７０２が、映像の画面内における収音装置の位置を特定する（ステップＳ１０１Ａ）。相関値算出部７０２は、センサ位置情報に基づいて、複合センサの収音装置の位置を特定する。

相関値算出部７０２は、次に、隣接する収音装置の音響信号同士の相関値を算出する（ステップＳ１０１Ｂ）。相関値算出部７０２は、センサ位置情報に基づいて、同一設備内において隣接する収音装置の組についての音響信号同士の相関値を順次算出する。音響信号同士の相関値は、例えば、各収音装置が収音した音響信号のパワーを算出し、隣接する収音装置の組についてのパワー同士の時間領域での相関値を算出して求める。時間領域での相関値は、例えば、２つの時間領域の音響信号についての類似度又は相互相関係数の算出に用いる既知の関数のいずれかにより算出する。全ての収音装置の組についての相関値を算出すると、相関値算出部７０２は、算出した相関値と収音装置の組とを対応付けてグループ設定部７０３に出力する。

グループ設定部７０３は、入力された相関値のそれぞれを予め定めた相関閾値と比較し、音響信号同士の相関が高い収音装置の組があるか否かを判定する（ステップＳ１０１Ｃ）。音響信号同士の相関が高い収音装置の組がある場合（ステップＳ１０１Ｃ；Ｙｅｓ）、グループ設定部７０３は、相関が高い収音装置の組を１つのグループに設定するグループ化を行う（ステップＳ１０１Ｄ）。ステップＳ１０１Ｄにおいて、グループ設定部７０３は、１組の収音装置のうち一方の収音装置が既に１つのグループに含まれる場合、他方の収音装置を当該グループに追加する。一方、音響信号同士の相関が高い収音装置の組がない場合（ステップＳ１０１Ｃ；Ｎｏ）、グループ設定部７０３は、ステップＳ１０１Ｄの処理をスキップする。

グループ設定部７０３がステップＳ１０１Ｃ，Ｓ１０１Ｄの処理を終え、処理結果を再生部７０７に出力すると、現在の処理単位期間の音響信号についてのグループ検出処理が終了する。

図６は、第１の実施形態に係る再生処理における状態判別処理の内容を示すフローチャートである。

図４に示したフローチャートの状態判別処理（ステップＳ１０２）は、上記のように音響特徴量算出部７０４、振動特徴量算出部７０５、及び状態判別部７０６が行う。音響特徴量算出部７０４、振動特徴量算出部７０５、及び状態判別部７０６は、状態判別処理として、図６に示したような処理を行う。

まず、音響特徴量算出部７０４が各音響信号の音響特徴量を算出し（ステップＳ１０２Ａ）、振動特徴量算出部７０５が各振動信号の振動特徴量を算出する（ステップＳ１０２Ｂ）。音響特徴量算出部７０４は、算出した音響特徴量を状態判別部７０６に出力する。又、振動特徴量算出部７０５は、算出した振動特徴量を状態判別部７０６に出力する。

ここで、音響特徴量は、現在の処理対象期間における音響信号を特徴付けることができ、かつ設備が正常に動作しているときと異常が生じたときとを判別することが可能な特徴量であればよい。同様に、振動特徴量は、現在の処理対象期間における振動信号を特徴付けることができ、かつ設備が正常に動作しているときと異常が生じたときとを判別することが可能な特徴量であればよい。

音響特徴量及び振動特徴量が入力されると、状態判別部７０６は、ステップＳ１０２Ｃ〜Ｓ１０２Ｆの処理を行う。状態判別部７０６は、まず、状態未判定の音響信号を１つ選択する（ステップＳ１０２Ｃ）。

次に、状態判別部７０６は、選択した音響信号についての音響特徴量及び振動特徴量が正常な範囲であるか否かを判定する（ステップＳ１０２Ｄ）。ステップＳ１０２Ｄにおいて、状態判別部７０６は、選択した音響信号の音響特徴量及び振動特徴量と、予め用意した正常時の音響特徴量及び振動特徴量とを比較し、選択した音響特徴量及び振動特徴量が正常な範囲内であるか否かを判定する。

選択した音響信号の音響特徴量及び振動特徴量が正常な範囲内である場合（ステップＳ１０２Ｄ；Ｙｅｓ）、状態判別部７０６は、選択した音響信号についての状態フラグを「０」にする（ステップＳ１０２Ｅ）。一方、選択した音響信号の音響特徴量又は振動特徴量が正常な範囲から外れた場合（ステップＳ１０２Ｄ；Ｎｏ）、状態判別部７０６は、選択した音響信号についての状態フラグを「１」にする（ステップＳ１０２Ｆ）。

ステップＳ１０２Ｅ又はＳ１０２Ｆで状態フラグの値を設定すると、状態判別部７０６は、次に、状態未設定の音響信号があるか否かをチェックする（ステップＳ１０２Ｇ）。状態未設定の音響信号がある場合（ステップＳ１０２Ｇ；Ｙｅｓ）、状態判別部７０６は、状態未設定の音響信号についてステップＳ１０２Ｃ〜Ｓ１０２Ｆの処理を行う。そして、全ての音響信号に対してステップＳ１０２Ｃ〜Ｓ１０２Ｆの処理が行われると（ステップＳ１０２Ｇ；Ｎｏ）、状態判別部７０６は、判別結果を再生部７０７に出力し、現在の処理単位期間の音響信号についての状態判定処理を終了する。

グループ検出処理及び状態判別処理を行った後、映像音声再生装置１Ａでは、再生部７０７が上述したステップＳ１０３〜Ｓ１０７を行う。

図７は、第１の実施形態に係る再生処理の処理結果の一例を示す図である。なお、図７には、図３に示した映像に対して上記の再生処理を行った場合の処理結果を示している。

点検用端末５の表示装置８には、撮像装置２で撮像した映像として、二つの設備６０１，６０２が映っている。二つの設備６０１，６０２のうち一方の設備６０１は、第１の部位６０１Ａ、第２の部位６０１Ｂ、及び第３の部位６０１Ｃを有する。この設備６０１は、例えば、第１の部位６０１Ａにおいて所定の処理を行った工作物が、第３の部位６０１Ｃを通して第２の部位６０１Ｂに搬送されるようになっている。設備６０１の第１の部位６０１Ａには、３個の複合センサが取り付けられている。又、第２の部位６０１Ｂ及び第３の部位６０１Ｃには、それぞれ１個の複合センサ（収音装置３０４Ａ，３０５Ａ）が取り付けられている。

また、二つの設備６０１，６０２のうち他方の設備６０２は、設備６０１に比べて小型であり、例えば１個の複合センサ（収音装置）が取り付けられている。

この二つの設備６０１，６０２の映像の再生中に異常がない場合、ステップＳ１０２において全ての音響信号についての状態フラグが「０」になる。そのため、映像音声再生装置１Ａは、図４に示したステップＳ１０４の処理をスキップする。このとき、音響信号の再生を指示する情報の入力がなければ（ステップＳ１０５；Ｎｏ）、再生部７０７は、撮像装置２が撮像した映像のみを表示装置８に出力する。よって、二つの設備６０１，６０２に異常がなく、かつ音響信号の再生を指示する情報の入力がない場合、点検用端末５の表示装置８の画面には、図３に示したように、撮像装置２が撮像した映像がそのまま表示される。

これに対し、例えば、図７に示したように、設備６０１の第１の部位６０１Ａから第２の部位６０１Ｂへと工作物を搬送する搬送路（第３の部位６０１Ｃ）の点Ｐで異常音が生じた場合、搬送路近傍の収音装置３０３Ａ〜３０５Ａが異常音を収音する。そのため、まず、グループ検出処理において、３個の複合センサ（収音装置３０３Ａ〜３０５Ａ）が１つのグループに設定される。また、収音装置３０３Ａ〜３０５Ａが異常音を収音した場合、状態判別処理において、各収音装置が収音した音響信号についての状態フラグが「１」に設定される。そのため、映像音声再生装置７Ａでは、再生部７０７が、図４に示したステップＳ１０４の処理を行う。すなわち、再生部７０７は、センサ位置情報に基づいて、例えば、撮像装置２が撮像した映像に異常音を収音した収音装置３０３Ａ〜３０５Ａを包含する枠線Ｌを重ねた映像信号を表示装置８に出力する。よって、収音装置３０３Ａ〜３０５Ａが異常音を収音した場合、点検用端末５の表示装置８には、図７に示したように、撮像範囲内の異常音を収音した領域を示す枠線Ｌが表示される。これにより、点検用端末５のオペレータは、設備６０１の第１の部位６０１Ａから第２の部位６０１Ｂへと工作物を搬送する搬送路（第３の部位６０１Ｃ）で異常音が発生していることを容易に把握することが可能になる。また、音響信号同士の相関が高い複数の複合センサ（収音装置）を１つのグループにしているので、表示装置８に表示された枠線Ｌ内の各箇所からは同種の異常音が収音されている。そのため、表示装置８の画面に枠線内のいずれか１点を選択して音響信号を再生するだけで、異常音がどのような音であり、撮像範囲内のどの領域で検出されたかを容易に把握することが可能になる。例えば、点検用端末５が、表示装置８と重ねて配置したタッチパネルを入力装置１０として用いることが可能な装置である場合、点検用端末５のオペレータが指やスタイラス等で画面の枠線内の１箇所に触れるだけで、当該領域の異常音を聞くことができる。よって、撮像範囲内における異常音の発生の有無及び異常音の発生源を特定する際の音（音響信号）の確認作業を少ない手間で行うことができ、設備の保守点検業務を効率よく行うことができる。

なお、本実施形態に係る再生処理では、異常音の発生箇所を示す枠線内だけでなく、画面上における枠線の外側に位置する複合センサの設置箇所及びその近傍を選択した場合にも、選択した箇所における音を確認することができる。

図８は、第１の実施形態に係る再生処理における映像音声出力処理の内容を示すフローチャートである。

図４に示したフローチャートにおける映像音声出力処理（ステップＳ１０７）は、上記のように再生部７０７が行う。再生部７０７は、映像音声出力処理として、図８に示したような処理を行う。

まず、再生部７０７は、入力情報から映像上（表示装置の画面上）における選択位置の視線方向を特定する（ステップＳ１０７Ａ）。次に、再生部７０７は、撮像装置の向き、視線方向、及びセンサ位置情報に基づいて、選択位置から最も近い位置に設置された複合センサを特定し、再生する音響信号を決定する（ステップＳ１０７Ｂ）。その後、再生部７０７は、ステップＳ１０７Ｂで決定した音響信号の再生音をスピーカ９に出力するとともに、映像を表示装置８に出力する（ステップＳ１０７Ｃ）。

以上のように、本実施形態によれば、撮像装置２が撮像した映像内に異常音を収音（検出）した箇所が存在する場合に、異常音の発生箇所を示す情報を映像に付加して表示することで、異常音の発生箇所を容易に把握することができる。

また、本実施形態の再生処理では、撮像範囲内の複数箇所において収音した音響信号について、隣接する箇所の音響信号同士の相関が高い場合にその箇所をグループ化する。そして、グループ内に異常音の発生箇所が存在する場合、そのグループに含まれる領域を示す枠線Ｌ等の情報を映像に重ねて表示させる。そのため、映像における１つの枠線Ｌで囲まれた領域では同じ種類の異常音が収音（検出）されたことを容易に把握できる。しかも、映像における１つの枠線で囲まれた領域内の１箇所を選択して音響信号を再生するだけで、当該領域内でどのような異常音が発生しているかを確認することができる。よって、本実施形態によれば、撮像装置２の撮像範囲内における異常音の有無の確認及び異常音の発生箇所の特定等を少ない手間で行うことができる。

なお、本実施形態に係る点検用端末５は、映像音声再生装置７Ａ、表示装置８、スピーカ９、及び入力装置１０を備えた一体型の装置に限定されない。点検用端末５は、例えば、映像音声再生装置７Ａとは別に用意した表示装置８、スピーカ９、及び入力装置１０を伝送ケーブルで映像音声再生装置７Ａに接続した構成であってもよい。

また、点検用端末５を用いて点検作業を行う場合、中継器４と映像音声再生装置７Ａとは、上記の無線通信による接続に限らず、伝送ケーブルで接続してもよい。

更に、本実施形態では音響特徴量及び振動特徴量に基づいて音響信号の状態の判別（正常か異常かの判別）をしているが、音響信号の状態の判別は、これに限らず、音響特徴量のみに基づいて行ってもよい。また、音響信号の状態は、音響特徴量と、監視対象の設備において正常時と異常時とで値が異なる物理量（例えば、温度等）とを組み合わせて判別してもよい。

［第２の実施形態］
図９は、第２の実施形態に係る点検システムの構成例を示す図である。

図９に示すように、本実施形態に係る点検システム１Ｂは、撮像装置２と、マイクアレイ１１と、中継器４と、点検用端末５と、を備える。

撮像装置２は、点検対象の設備６（６０１，６０２）の映像を撮像する装置である。
マイクアレイ１１は、複数の収音装置（マイクロフォン）をアレイ状に配した装置であり、図９に示した例では、５個の収音装置１１０１〜１１０５を一列に所定の間隔で配してある。このマイクアレイ１１は、図９に示したように、撮像装置２の近傍に、撮像範囲（設備６）から到来する音を収音する向きで設置してある。

中継器４は、撮像装置２で撮像した映像、及びマイクアレイ１１（収音装置１１０１〜１１０５）が出力した音響信号を取得し、点検用端末５に転送する装置である。点検用端末５は、中継器４を介して取得した映像及び音響信号を再生する装置である。中継器４と点検用端末５とは、例えば、所定の無線通信規格に従った無線通信により通信可能に接続される。

図１０は、第２の実施形態に係る点検システムで用いる点検用端末の機能的構成を示すブロック図である。

本実施形態に係る点検用端末５は、図１０に示すように、映像音声再生装置７Ｂと、表示装置８と、スピーカ９と、入力装置１０と、を備える。

映像音声再生装置７Ｂは、通信部７２１と、到来音生成部７２２と、変換部７２３と、相関値算出部７２４と、グループ生成部７２５と、を備える。また、映像音声再生装置７Ｂは、パワー算出部７２６と、特徴量算出部７２７と、状態判別部７２８と、再生部７２９と、記憶部７３０と、入力受付部７３１と、を備える。

通信部７２１は、中継器４との間で無線通信を行い、撮像装置２が撮像した映像、及びマイクアレイ１１が出力した複数の音響信号を取得する。通信部７２１は、取得した映像を再生部７２９に出力する。また、通信部７２１は、取得した音響信号を到来音生成部７２２に出力する。

到来音生成部７２２は、マイクアレイ１１から取得した複数の音響信号に基づき、取得した映像内における複数箇所のそれぞれからマイクアレイ１１（撮像装置２）に到来する音響信号を生成する。到来音生成部７２２は、生成した音響信号（到来音）を変換部７２３に出力する。

変換部７２３は、到来音生成部７２２で生成した音響信号（到来音）を、時間領域の信号から周波数領域の信号に変換する。変換部７２３は、変換後の周波数領域の音響信号を相関値算出部７２４、パワー算出部７２６、及び特徴量算出部７２７に出力する。

相関値算出部７２４は、入力された複数の音響信号を用い、到来方向が隣接関係にある音響信号同士の相関値を算出する。グループ設定部７２５は、算出した音響信号同士の相関値と予め定めた相関閾値とを比較して、音響信号同士の相関の有無を判定する。また、グループ設定部７２５は、音響信号同士の相関の有無の判定結果に基づいて、相関のある音響信号の到来方向の組を１つのグループに設定するグループ化を行う。グループ設定部７２５は、設定したグループに関する情報を再生部７２９に出力する。

パワー算出部７２６は、入力された複数の音響信号のパワーを算出する。パワー算出部７２６は、算出した各音響信号のパワーを再生部７２９に出力する。

特徴量算出部７２７は、入力された複数の音響信号を分析して所定の音響特徴量を算出する。特徴量算出部７２７は、算出した音響特徴量を状態判別部７２６に出力する。

状態判別部７２６は、特徴量算出部７２７で算出した音響特徴量と、記憶部７３０に記憶させた正常時の音響特徴量とを比較し、各到来方向からの音響信号（到来音）が正常であるか否かを判別する。状態判別部７２８は、判別結果を再生部７２９に出力する。

再生部７２９は、状態判別部７２８の判別結果及び各音響信号のパワーに基づき、正常ではないと判別され、かつパワーが所定の閾値以上の音響信号がある場合には、映像上における異常な音響信号の発生源を示す情報を、映像とともに表示装置８に出力する。また、正常ではないと判別された音響信号がある場合、再生部７２９は、グループ設定部７２５で設定したグループのうち異常がある到来方向を含むグループを示す情報を映像とともに表示装置に出力する。なお、正常ではないと判別された音響信号がない場合、再生部７２９は、入力された映像のみを表示装置８に出力する。

更に、再生部７２９は、オペレータが入力装置１０を操作して指定した映像上の点と対応する方向から到来する音響信号を選択してスピーカに出力する。オペレータが入力装置１０を操作すると、操作内容に応じた入力信号が入力装置１０から映像音声再生装置７Ｂの入力受付部７３１に入力される。入力受付部７３１は、入力信号が音響信号の再生に関する信号である場合、入力信号を再生部に出力する。

図１１は、到来音生成部で生成する到来音の到来方向の設定方法を説明する図である。
図１０に示した映像音声再生装置７Ｂにおける到来音生成部７２２は、上記のように、映像内における複数箇所のそれぞれからマイクアレイ１１（撮像装置）に到来する音を生成する。この際、到来音生成部７２２では、例えば、図１１に示すように映像内に設定した二次元格子の各格子点Ｑと対応する箇所から到来する音を生成する。なお、格子点Ｑの間隔は適宜設定すればよく、例えば、点検対象領域（撮像範囲内）に存在する設備の種類や配置に応じて適切な値に設定する。

映像上に設定した各格子点Ｑと対応する位置からの到来音は、既知の生成方法により生成することができる。格子点Ｑからの到来音は、映像上における格子点Ｑの位置（到来方向）に対応した伝達特性を、マイクアレイ１１で収音した複数の音響信号に畳み込むことで生成することができる。到来方向は、撮像装置２のカメラ座標系における光軸の方向と、格子点Ｑを通る視線方向とに基づいて算出することができる。

図１２は、第２の実施形態に係る映像音声再生装置が行う再生処理の内容を示すフローチャートである。

本実施形態の点検システム１Ｂでは、例えば、オペレータが点検用端末５の入力装置１０を操作し点検用端末５と中継器４とが通信可能に接続されると、点検用端末５の映像音声再生装置７Ｂが図１２に示したような再生処理を行う。

映像音声再生装置７Ｂは、まず、映像信号及び音響信号の取得を開始する（ステップＳ２００）。ステップＳ２００の処理は、通信部７２１が行う。通信部７２１は、取得した映像信号を再生部７２９に出力するとともに、取得した音響信号を到来音生成部７２２に出力する。

次に、映像音声再生装置７Ｂは、撮像範囲内の複数の到来方向からの到来音を生成する（ステップＳ２０１）。ステップＳ２０１の処理は、到来音生成部７２２が行う。到来音生成部７２２は、図１１を参照して説明したように、映像上に設定した各格子点の位置と対応する方向を到来方向とし、到来方向に対応した伝達特性を複数の音響信号に畳み込むことで到来音を生成する。到来音生成部７２２は、生成した到来音を到来方向と対応付けて変換部７２３に出力する。

次に、映像音声再生装置７Ｂは、生成した複数の到来音を時間領域の信号から周波数領域の信号に変換し、到来方向毎のパワースペクトルを算出する（ステップＳ２０２）。ステップＳ２０２の処理は、変換部７２３が行う。変換部７２３は、複数の到来音のそれぞれに対し高速フーリエ変換（Fast Fourier Transform；ＦＦＴ）を行い、各到来音を周波数領域の信号に変換する。変換部７２３は、算出したパワースペクトルを相関値算出部７２４、パワー算出部７２６、及び特徴量算出部７２７に出力する。

次に、映像音声信号再生装置７Ｂは、グループ検出処理（ステップＳ２０３）、パワー算出処理（ステップＳ２０４）、及び状態判別処理（ステップＳ２０５）を行う。なお、ステップＳ２０３、Ｓ２０４、Ｓ２０５の処理は、図１２に示した順序に限らず、他の順序で行ってもよいし、並列に行ってもよい。

ステップＳ２０３のグループ検出処理は、相関値算出部７２４及びグループ設定部７２５が行う。相関値算出部７２４は、到来方向毎のパワースペクトルに基づいて、到来方向が隣接関係にあるパワースペクトル同士の相関値を算出する。ここで、隣接関係にある到来方向は、例えば、図１１に示した複数の格子点のうち画面上下方向又は画面左右方向で隣接する２つの格子点に対応する２つの到来方向とする。相関値算出部７２４は、相関値として、例えば、周波数領域のパワースペクトルについての相互相関係数を算出する。相関値算出部７２４は、算出した相関値を到来方向（格子点）の組と対応付けてグループ設定部７２５に出力する。

グループ設定部７２５は、入力された相関値のそれぞれを予め定めた相関閾値と比較し、音響信号同士の相関が高い到来方向の組がある場合、相関が高い到来方向の組を１つのグループに設定する。ここで、１組の到来方向のうち一方の到来方向が既に１つのグループに含まれる場合、グループ設定部７２５は、他方の到来方向を当該グループに追加する。グループ設定部７２５は、相関が高い到来方向のグループの設定を終えると、設定したグループに関する情報を再生部７２９に出力する。

ステップＳ２０４のパワー算出処理は、パワー算出部７２６が行う。パワー算出部７２６は、到来方向毎のパワースペクトルを用いて到来方向毎の到来音のパワーを算出する。パワー算出部７２６は、算出した到来方向毎のパワーを再生部７２９に出力する。

ステップＳ２０５の状態判別処理は、特徴量算出部７２７及び状態判別部７２８が行う。特徴量算出部７２７は、各到来方向のパワースペクトルの特徴量を算出し、算出した特徴量を状態判別部７２８に出力する。状態判別部７２８は、到来方向毎に、算出したパワースペクトルの特徴量と、予め用意した正常時のパワースペクトルの特徴量とを比較して到来音が正常であるか否かを判別する。状態判別部７２８は、記憶部７３０から正常時のパワースペクトルの特徴量を読み出す。状態判別処理では、第１の実施形態の状態判別処理と同様、正常である到来音（パワースペクトル）は状態フラグを「０」とし、正常ではない到来音（パワースペクトル）は状態フラグを「１」とする。状態判別部７２８は、パワースペクトルの状態を示す状態フラグを再生部７２９に出力する。

グループ検出処理、パワー算出処理、及び状態判別処理を終えると、映像音声再生装置７Ｂは、次に、異常な到来音を含むグループがあるか否かを判定する（ステップＳ２０６）。ステップＳ２０６の判定は、再生部７２９が行う。再生部７２９は、状態フラグが１の到来音を含み、かつパワーが所定の閾値以上であるグループがある場合、当該グループを異常な到来音を含むグループと判定する。異常な到来音を含むグループがある場合（ステップＳ２０６；Ｙｅｓ）、再生部７２９は、映像上（画面上）に、該当するグループに含まれる到来音の到来方向を示す情報を付加する（ステップＳ２０７）。その後、再生部７２９は、音響信号の再生を指示する信号が入力されたか否かをチェックする（ステップＳ２０８）。一方、異常な到来音を含むグループがない場合（ステップＳ２０６；Ｎｏ）、再生部７２９は、ステップＳ２０７の処理をスキップし、ステップＳ２０８のチェックを行う。

ステップＳ２０８において音響信号の再生を指示する信号が入力されていないと判定した場合（ステップＳ２０８；Ｎｏ）、再生部７２９は、映像信号のみを再生して表示装置８に出力する（ステップＳ２１０）。一方、ステップＳ２０８において音響信号の再生を指示する信号が入力されたと判定した場合（ステップＳ２０８；Ｙｅｓ）、再生部７２９は、映像音声出力処理（ステップＳ２１０）を行う。ステップＳ２１０において、再生部７２９は、入力された信号で指定された到来方向の音響信号を選択し、映像信号を表示装置８に出力するとともに、選択した音響信号をスピーカ９に出力する。

再生部７２９が映像信号、又は映像信号及び音響信号を出力すると、映像音声再生装置７Ｂは、次に、ステップＳ２０１〜Ｓ２１０の処理を続けるか否かを判断する（ステップＳ２１１）。処理を続ける場合（ステップＳ２１１；Ｙｅｓ）、映像音声再生装置７Ｂは、次の処理単位期間の音響信号についてのステップＳ２０１〜Ｓ２１０の処理を行う。一方、処理を終了する場合（ステップＳ２１１；Ｎｏ）、図１２のフローチャートでは省略しているが、映像音声再生装置７Ｂは、映像信号、及び音響信号の取得を終了し、再生処理を終了する。

図１３は、第２の実施形態に係る再生処理におけるグループ検出処理の内容を示すフローチャートである。

図１２に示したフローチャートのグループ検出処理（ステップＳ２０３）は、上記のように相関値算出部７２４及びグループ設定部７２５が行う。相関値算出部７２４及びグループ設定部７２５は、グループ検出処理として、図１３に示したような処理を行う。

まず、相関値算出部７２４が、隣接関係にある２つの到来方向から到来する到来音の相関値を算出する（ステップＳ２０３Ａ）。ステップＳ２０３Ａにおいて、相関値算出部７２４は、映像内に設定された複数の到来方向の中から２つの到来方向を選択し、当該２つの到来方向から到来する到来音の相関値を算出する処理を、選択し得る全ての到来方向の組み合わせに対して行う。相関値算出部７２４は、算出した相関値を到来方向の組と対応付けてグループ設定部７２５に出力する。

次に、グループ設定部７２５が、相関値算出部７２４で算出した相関値と予め定めた相関閾値とを比較し、到来音の相関が高い到来方向の組があるか否かを判定する（ステップＳ２０３Ｂ）。到来音の相関が高い到来方向の組がある場合（ステップＳ２０３Ｂ；Ｙｅｓ）、グループ設定部７２５は、相関が高い到来方向の組を１つのグループにグループ化する（ステップＳ２０３Ｃ）。ステップＳ２０３Ｃにおいて、グループ設定部７２５は、１組の到来方向のうち一方の到来方向が既に１つのグループに含まれる場合、他方の到来方向を当該グループに追加する。一方、到来音の相関が高い到来方向の組がない場合（ステップＳ２０３Ｂ；Ｎｏ）、グループ設定部７２５は、ステップＳ２０３Ｃの処理をスキップする。

グループ設定部７２５がステップＳ２０３Ｂ，Ｓ２０３Ｃの処理を終え、処理結果を再生部７２９に出力すると、現在の処理単位期間の音響信号についてのグループ検出処理が終了する。

図１４は、第２の実施形態に係る再生処理における状態判別処理の内容を示すフローチャートである。

図１２に示したフローチャートの状態判別処理（ステップＳ２０５）は、上記のように特徴量算出部７２７、及び状態判別部７２８が行う。特徴量算出部７２７、及び状態判別部７２８は、状態判別処理として、図１４に示したような処理を行う。

まず、特徴量算出部７２７が周波数領域の信号に変換された到来音の音響特徴量を算出する（ステップＳ２０５Ａ）。特徴量算出部７２７は、算出した音響特徴量を状態判別部７２８に出力する。ここで、音響特徴量は、現在の処理対象期間における到来音を特徴付けることができ、かつ設備が正常に動作しているときと異常が生じたときとを判別することが可能な特徴量であればよい。

特徴量算出部７２７で算出した音響特徴量が入力されると、状態判別部７２８は、ステップＳ２０５Ｂ〜Ｓ２０５Ｆの処理を行う。状態判別部７２８は、まず、記憶部７３０から正常時の音響特徴量を読み出す（ステップＳ２０５Ｂ）。次に、状態判別部７２８は、状態未判定の到来音を１つ選択して音響特徴量を正常時の音響特徴量と比較し（ステップＳ２０５Ｃ）、選択した到来音の音響特徴量が正常な範囲内であるか否かを判定する（ステップＳ２０５Ｄ）。ステップＳ２０５Ｃ，Ｓ２０５Ｄにおいて、状態判別部７２８は、例えば、選択した音響特徴量と、正常時の音響特徴量との差分を求め、その差分が正常状態の許容範囲内であるか否かを判定する。

選択した音響特徴量が正常な範囲内である場合（ステップＳ２０５Ｄ；Ｙｅｓ）、状態判別部７２８は、選択した到来音の音響特徴量についての状態フラグを「０」にする（ステップＳ２０５Ｅ）。一方、選択した音響特徴量が正常な範囲から外れた場合（ステップＳ２０５Ｄ；Ｎｏ）、状態判別部７２８は、選択した到来音の音響特徴量についての状態フラグを「１」にする（ステップＳ２０５Ｆ）。

ステップＳ２０５Ｅ又はＳ２０５Ｆで状態フラグの値を設定すると、状態判別部７２８は、状態未設定の到来音があるか否かをチェックする（ステップＳ２０５Ｇ）。状態未設定の音響信号がある場合（ステップＳ２０５Ｇ；Ｙｅｓ）、状態判別部７２８は、状態未設定の到来音についてステップＳ２０５Ｃ〜Ｓ２０５Ｆの処理を行う。そして、全ての到来音に対してステップＳ２０５Ｃ〜Ｓ２０５Ｆの処理が行われると（ステップＳ２０５Ｇ；Ｎｏ）、状態判別部７２８は、判別結果を再生部７２９に出力し、現在の処理単位期間の到来音についての状態判定処理を終了する。

上記のグループ検出処理及び状態判別処理、並びにパワー算出処理を行った後、映像音声再生装置７Ｂでは、再生部７２９が上述したステップＳ２０６〜Ｓ２１０を行う。ステップＳ２０６〜Ｓ２１０の処理は、それぞれ、第１の実施形態で説明したステップＳ１０３〜Ｓ１０７と同様の処理でよい。

以上のように、本実施形態では、マイクアレイ１１で収音した複数の音響信号を用い、映像上に設定した格子点と対応する位置から到来する音（到来音）を生成する。そして、到来方向が隣接関係にある到来音同士の相関が高い場合、当該到来方向を１つのグループにする。また、１つのグループに含まれる到来方向からの到来音に異常があると判別した場合、映像上における当該グループの領域を示す情報を映像に付加して表示する。そのため、映像内における異常音の発生箇所を容易に把握することができる。

また、１つのグループに含まれる複数の到来方向からの到来音は、周波数領域に変換した音響信号における音響特徴量の相関が高い。そのため、映像において異常音の発生箇所を示す１つの枠線で囲まれた領域では同じ種類の異常音が収音（検出）されたことを容易に把握できる。しかも、映像における１つの枠線で囲まれた領域内の１箇所を選択して音響信号を再生するだけで、当該領域内でどのような異常音が発生しているかを確認することができる。よって、本実施形態によれば、撮像装置２の撮像範囲内における異常音の有無の確認及び異常音の発生箇所の特定等を少ない手間で行うことができる。

更に、本実施形態では、映像上に設定した二次元の格子点と対応する位置を到来方向とし、各到来方向から到来する音が正常であるか否かを判定するので、第１の実施形態に比べてより細かく異常音の発生の有無を調べることができる。

なお、上記のグループ検出処理（ステップＳ２０３）についての説明では、相関値算出部７２４において周波数領域の信号に変換した到来音のパワースペクトル同士の相関値を算出する例を挙げた。しかしながら、相関値算出部７２４は、これに限らず、例えば、周波数領域の信号に変換した到来音のパワースペクトルの時間変化量を算出し、時間変化量同士の相関値を算出してもよい。

［第３の実施形態］
図１５は、第３の実施形態に係る監視システムの構成例を示す図である。

図１５に示すように、本実施形態に係る監視システム１Ｃは、複数の監視エリア１２Ａ〜１２Ｃの監視を一括して行うことが可能なシステムである。複数の監視エリア１２Ａ〜１２Ｃには、それぞれ、撮像装置２Ａ〜２Ｃ及びマイクアレイ１１Ａ〜１１Ｃが設置されている。各監視エリア１２Ａ〜１２Ｃの撮像装置が撮像した映像及びマイクアレイが収音した音響信号は、それぞれ、インターネット等の通信網１３を介して映像音声再生装置７Ｃに送信される。

映像音声再生装置７Ｃは、第２の実施形態で説明した再生処理、或いは類似した処理を行い、到来音に異常がある場合には映像上において異常音が発生している箇所を示す情報を生成する。映像音声再生装置７Ｃは、取得した映像及び音響信号、並びに異常音が発生している箇所を示す情報を監視設備１４に転送する。

監視設備１４は、取得した映像及び音響信号、並びに異常音が発生している箇所を示す情報を表示装置８に表示させて各監視エリア１２Ａ〜１２Ｃの監視を行う施設に設置された設備である。監視設備１４には、表示装置８と、スピーカ９と、入力装置１０と、制御装置１５とが含まれる。

図１６Ａは、第３の実施形態に係る監視システムで用いる映像音声再生装置の機能的構成を示すブロック図である。図１６Ｂは、第３の実施形態に係る監視システムで用いる制御装置の機能的構成を示すブロック図である。

図１６Ａに示すように、本実施形態に係る映像音声再生装置７Ｃは、通信部７４１と、到来音生成部７４２と、変換部７４３と、相関値算出部７４４と、グループ設定部７４５と、ＳＮＲ算出部７４６と、表示位置算出部７４７と、を備える。また、映像音声再生装置７Ｃは、状態判別部７４８と、表示位置決定部７４９と、第１の記憶部７５０と、第２の記憶部７５１と、到来音送信部７５２と、映像送信部７５３と、を更に備える。

通信部７４１は、通信網１３を介して他の通信装置と通信を行い、撮像装置２（２Ａ〜２Ｃ）が撮像した映像、及びマイクアレイ１１（１１Ａ〜１１Ｃ）が出力した複数の音響信号を取得する。通信部７４１は、取得した映像及び音響信号を第１の記憶部７５０に記憶させる。

到来音生成部７４２は、第１の記憶部７５０から複数の音響信号を読み出し、取得した映像内における複数箇所のそれぞれからマイクアレイ１１に到来する音響信号を生成する。到来音生成部７４２は、生成した音響信号（到来音）を変換部７４３に出力する。

変換部７４３は、到来音生成部７４２で生成した音響信号（到来音）を、時間領域の信号から周波数領域の信号に変換する。変換部７４３は、変換後の音響信号を相関値算出部７４４、及びＳＮＲ算出部７４６に出力する。

相関値算出部７４４は、入力された複数の音響信号を用い、到来方向が隣接関係にある音響信号同士の相関値を算出する。相関値算出部７４４は、算出した相関値をグループ設定部７４５に出力する。

グループ設定部７４５は、算出した音響信号同士の相関値と予め定めた相関閾値とを比較して音響信号同士の相関の有無を判定し、音響信号同士の相関の高い隣接した到来方向を１つのグループに設定するグループ化を行う。グループ設定部７４５は、設定したグループに関する情報を表示位置算出部７４７に出力する。

ＳＮＲ算出部７４６は、入力された複数の音響信号（到来音）を用い、各到来音の信号対ノイズ比（ＳＮＲ）を算出する。ＳＮＲ算出部は、算出した各到来音のＳＮＲを表示位置算出部７４７に出力する。

表示位置算出部７４７は、グループ化された到来方向の情報及び各到来音のＳＮＲに基づいて、到来方向のグループを示す情報を映像に重ねて表示する際の表示位置を算出する。本実施形態では、表示位置算出部７４７は、到来方向のグループのうち、各到来音のＳＮＲに基づいて算出されるＳＮＲが所定の閾値以上であるグループのみを表示候補とし、当該表示候補の表示位置を算出する。表示位置算出部７４７は、算出した表示位置を状態判別部７４８及び表示位置決定部７４９に出力するとともに、第２の記憶部７５１に記憶させる。

状態判別部７４８は、到来方向のグループについて、表示位置算出部７４７で算出した表示位置と、第２の記憶部７５１に記憶された過去の表示位置とを比較し、表示位置から到来する音の状態が正常時の状態と同じであるか否かを判別する。状態判別部７４８は、判別結果を表示位置決定部７４９に出力する。

表示位置決定部７４９は、状態判別部７４８の判別結果に基づいて、表示位置算出部７４７で算出した到来方向のグループの表示位置のうち、音の状態が正常ではないと判定されたグループの表示位置を映像に重ねて表示する情報の表示位置に決定する。表示位置決定部７４９は、決定した表示位置を制御装置１５に送信する。

到来音送信部７５２は、変換部７４３で時間領域の音響信号を変換して得た周波数領域の到来音を制御装置１５に送信する。到来音送信部７５２は、例えば、監視設備１４のオペレータが入力装置１０を操作して指定した映像上の点と対応する方向から到来する音響信号を選択してスピーカ９に出力する。オペレータが入力装置１０を操作すると、操作内容に応じた入力信号が制御装置１５を介して映像音声再生装置７Ｃに入力される。

映像送信部７５３は、第１の記憶部７５０に記憶させた撮像装置２からの映像信号を制御装置１５に送信する。

一方、監視設備１４の制御装置１５は、図１６Ｂに示すように、再生部１５０１と、制御部１５０２と、を備える。再生部１５０１は、映像処理部１５０１Ａと、音声処理部１５０１Ｂと、を含む。

映像処理部１５０１Ａは、映像音声再生装置７Ｃの映像送信部７５３が送信した映像信号を取得し、表示装置８で表示可能なデータ形式に変換して表示装置８に出力する。

音声処理部１５０１Ｂは、映像音声再生装置７Ｃの到来音送信部７５２が送信した音響信号を取得し、スピーカ９から出力可能なデータ形式、すなわち周波数領域の信号から時間領域の信号に変換してスピーカ９に出力する。

制御部１５０２は、映像音声再生装置７Ｃの表示位置決定部７４９で決定した表示位置を取得した場合、映像処理部１５０１Ａが映像信号を処理する際に、取得した表示位置に異常音が発生している領域を示す枠線等の情報を映像信号に付加させる。また、制御部１５０２は、オペレータが入力装置１０を操作して映像における異常音が発生している領域内の点を選択した場合、選択位置を映像音声再生装置７Ｃの到来音送信部７５２に送信する。映像音声再生装置７Ｃの到来音送信部７５２は、制御装置１５からの選択位置を示す信号を受信すると、到来音生成部７４２で生成した到来音から選択位置を到来方向とする到来音を抽出して制御装置１５の音声処理部１５０１Ｂに送信する。

図１７Ａは、第３の実施形態に係る映像音声再生装置が行う再生処理の内容を示すフローチャートである。

本実施形態の監視システム１Ｃにおける映像音声再生装置７Ｃは、例えば、監視設備１４のオペレータが入力装置１０を操作して入力した再生処理の開始命令を受信すると、図１７Ａに示したような処理を行う。なお、図１７Ａのフローチャートは、１つの監視エリアに配置した撮像装置及びマイクアレイから取得した映像及び複数の音響信号に対する一連の処理を示している。すなわち、映像音声再生装置７Ｃは、監視エリア毎に図１７Ａに示した処理を行う。

映像音声再生装置７Ｃは、まず、映像信号及び音響信号の取得を開始する（ステップＳ３００）。ステップＳ３００の処理は、通信部７４１が行う。通信部７４１は、取得した映像信号及び音響信号を、監視エリア毎に識別可能な状態で第１の記憶部７５０に記憶させる。

次に、映像音声再生装置７Ｃは、撮像範囲内の複数の到来方向からの到来音を生成する（ステップＳ３０１）。ステップＳ３０１の処理は、到来音生成部７４２が行う。到来音生成部７４２は、図１１を参照して説明したように、映像上に設定した各格子点Ｑの位置と対応する方向を到来方向とし、到来方向に対応した伝達特性を複数の音響信号に畳み込むことで到来音を生成する。到来音生成部７４２は、生成した到来音を到来方向と対応付けて変換部７４３に出力する。

次に、映像音声再生装置７Ｃは、生成した複数の到来音を時間領域の信号から周波数領域の信号に変換し、到来方向毎のパワースペクトルを算出する（ステップＳ３０２）。ステップＳ３０２の処理は、変換部７４３が行う。変換部７４３は、複数の到来音のそれぞれに対し高速フーリエ変換を行い、各到来音を周波数領域の信号に変換する。変換部７４３は、算出したパワースペクトルを相関値算出部７４４、及びＳＮＲ算出部７４６に出力する。

次に、映像音声信号再生装置７Ｃは、グループ検出処理（ステップＳ３０３）、及び各信号のＳＮＲを算出する処理（ステップＳ３０４）を行う。なお、ステップＳ３０３、Ｓ３０４の処理は、図１７に示した順序に限らず、逆の順序で行ってもよいし、並列に行ってもよい。

ステップＳ３０３のグループ検出処理は、相関値算出部７４４及びグループ設定部７４５が行う。相関値算出部７４４は、到来方向毎のパワースペクトルに基づいて、到来方向が隣接関係にあるパワースペクトル同士の相関値を算出する。相関値算出部７４４は、相関値として、例えば、周波数領域のパワースペクトルについての相互相関係数を算出する。相関値算出部７４４は、算出した相関値を到来方向（格子点）の組と対応付けてグループ設定部７４５に出力する。

グループ設定部７４５は、入力された相関値のそれぞれを予め定めた相関閾値と比較し、音響信号同士の相関が高い到来方向の組がある場合、相関が高い到来方向の組を１つのグループに設定する。ここで、１組の到来方向のうち一方の到来方向が既に１つのグループに含まれる場合、グループ設定部７４５は、他方の到来方向を当該グループに追加する。グループ設定部７４５は、相関が高い到来方向のグループを設定すると、設定したグループに関する情報を表示位置算出部７４７に出力する。

ステップＳ３０４のＳＮＲを算出する処理は、ＳＮＲ算出部７４６が行う。ＳＮＲ算出部７４６は、各到来方向の到来音についてのＳＮＲ（信号対ノイズ比）を算出する。ＳＮＲ算出部７４６は、算出した各到来音のＳＮＲを表示位置算出部７４７に出力する。

ステップＳ３０３，Ｓ３０４の処理を終えると、映像音声再生装置７Ｃは、次に、ＳＮＲに基づいて表示位置を算出する（ステップＳ３０５）。ステップＳ３０５は、表示位置算出部７４７が行う。表示位置算出部７４７は、例えば、各到来音のＳＮＲに基づいて到来方向のグループのそれぞれにおけるＳＮＲを算出した後、到来方向のグループのうち算出したＳＮＲが所定の閾値よりも大きいグループを映像に重ねて表示する場合の表示位置を算出する。表示位置算出部７４７は、算出した表示位置を到来方向のグループと対応付けて状態判別部７４８及び表示位置決定部７４９に出力するとともに、第２の記憶部７５１に記憶させる。

表示位置を算出する処理を終えると、映像音声再生装置７Ｃは、次に、状態判別処理（ステップＳ３０６）を行う。ステップＳ３０６の状態判別処理は、状態判別部７４８が行う。状態判別部７４８は、算出した表示位置と過去の表示位置とを比較し、表示位置の変化が正常時の変化の範囲内であるか否かを判別する。状態判別部７４８は、判別結果を表示位置決定部７４９に出力する。

ステップＳ３０６の処理を終えると、次に、表示位置決定部７４９が、入力された判別結果に基づいて、表示位置の変化が正常な範囲内であるか否かをチェックする（ステップＳ３０７）。表示位置の変化が正常な範囲内ではない場合（ステップＳ３０７；Ｎｏ）、表示位置決定部７４９は、異常な到来音を含む到来方向のグループの表示位置を決定し、決定した表示位置を制御装置に出力する（ステップＳ３０８）。その後、映像音声再生装置７Ｃは、映像信号を制御装置１５に送信する（ステップＳ３０９）。ステップＳ３０９の送信処理は、映像送信部７５３が行う。なお、ステップＳ３０９の送信処理は、ステップＳ３０８の後に限らず、任意のタイミングで行うことができる。

一方、表示位置の変化が正常な範囲内である場合（ステップＳ３０７；Ｙｅｓ）、異常な到来音（異常音）を含むグループがないため、表示位置決定部７４９は、ステップＳ３０８の処理をスキップする。その後、映像音声再生装置７Ｃは、映像信号を制御装置１５に送信する（ステップＳ３０９）。

ステップＳ３０９の送信処理の後、映像音声再生装置７Ｃは、ステップＳ３０１〜Ｓ３０９の処理を続けるか否かを判断する（ステップＳ３１０）。処理を続ける場合（ステップＳ３１０；Ｙｅｓ）、映像音声再生装置７Ｃは、次の処理単位期間の音響信号についてのステップＳ３０１〜Ｓ３０９の処理を行う。一方、処理を終了する場合（ステップＳ３１１；Ｎｏ）、映像音声再生装置７Ｃは、再生処理を終了する。

図１７Ｂは、第３の実施形態に係る制御装置が映像音声再生装置と協働して行う処理の内容を示すフローチャートである。

表示装置８に表示された映像に異常音の発生領域を示す情報が含まれている場合、監視設備１４のオペレータは、入力装置１０を操作することで異常音を再生することができる。オペレータが入力装置１０を操作して異常音の発生領域内の任意の位置を選択すると、制御装置１５は、図１７Ｂに示したような処理を行う。

制御装置１５は、まず、入力装置１０からの選択位置を示す信号を受け付け、当該選択位置の信号を映像音声再生装置７Ｃに送信する（ステップＳ３２０）。ステップＳ３２０の処理は、制御部１５０２が行う。制御部１５０２が送信した選択位置を示す信号は、映像音声再生装置７Ｃの到来音送信部７５２が受信する。到来音送信部７５２は、選択位置を示す信号を受信すると、当該選択位置と対応する到来方向からの到来音を抽出して制御装置１５に送信する。

制御装置１５は、選択位置と対応する到来方向からの到来音を受信すると、音声処理部１５０１Ｂにおいて受信した到来音を周波数領域の信号から時間領域の信号に変換する（ステップＳ３２１）。音声処理部１５０１Ｂは、時間領域の信号に変換した到来音をスピーカ９に出力する（ステップＳ３２２）。

以上のように、本実施形態では、通信網１３を介して映像音声再生装置７Ｃと接続された撮像装置２（２Ａ〜２Ｃ）及びマイクアレイ１１（１１Ａ〜１１Ｃ）から取得した映像及び音響信号を用いて、映像内における異常音の発生の有無を判別する。そのため、例えば、図１５に示したように、１組の映像音声再生装置７Ｃ及び監視設備１４で複数の監視エリアにおける異常音の発生を監視することができる。

また、本実施形態では、第１及び第２の実施形態とは異なり、相関が高い到来方向のグループを表示する際の表示位置や到来音のＳＮＲに基づいて異常音が発生しているか否かを判別する。異常音が発生した場合、発生源に近い位置では音が大きくなったり平常時とは異なる音になったりする。そのため、異常音が発生した場合、発生源に近い位置では相関が高い到来方向のグループを示す領域の位置や形状に変化が生じやすい。また、表示位置に大きな変化が生じたときに、ＳＮＲが所定の閾値以上である場合にのみ異常音が発生していると判断することで、監視対象の設備の動作音とは異なる雑音による表示位置の変化を異常音の発生によるものと誤判断することを防ぐことができる。

なお、上記の第１〜第３の実施形態で説明した再生処理は一例に過ぎず、必要に応じて処理の一部を変更してもよい。例えば、到来音生成部では、撮像装置が撮像した映像を分析して映像上の各物体までの距離を推定し、推定した距離と到来方向に基づいて、複数の音響信号に到来方向及び距離に応じた伝達特性を畳み込んで到来音を生成することも可能である。

また、隣接関係にある到来方向の到来音同士の相関は、時間領域のパワーの相関や周波数領域のパワースペクトルの相関に限らず、周波数領域のパワースペクトルの時間変化量の相関を用いることも可能である。

また、上記の映像音声再生装置７Ａ〜７Ｃは、例えば、コンピュータと、コンピュータに上記の画像処理を実行させるプログラムとにより実現可能である。以下、映像音声再生装置７Ａ〜７Ｃとして動作させることが可能なコンピュータについて、図１８を参照して説明する。

図１８は、コンピュータのハードウェア構成を示す図である。
図１８に示すように、コンピュータ２０は、プロセッサ２００１と、主記憶装置２００２と、補助記憶装置２００３と、入力装置２００４と、表示装置２００５と、通信装置２００６と、インタフェース装置２００７と、記憶媒体駆動装置２００８と、を備える。コンピュータ２０におけるこれらの要素２００１〜２００８は、バス２０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。

プロセッサ２００１は、Central Processing Unit（ＣＰＵ）等の演算処理装置であり、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ２０の全体の動作を制御する。

主記憶装置２００２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。ＲＯＭには、例えばコンピュータ２０の起動時にプロセッサ２００１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭは、プロセッサ２００１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。

補助記憶装置２００３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置２００２に比べて大容量の記憶装置である。補助記憶装置２００３には、プロセッサ２００１によって実行される各種のプログラムや各種のデータ等を記憶させる。補助記憶装置２００３に記憶させるプログラムとしては、例えば、図４〜図６に示した処理、図１２〜図１４に示した処理、或いは図１７Ａに示した処理をコンピュータ２０に実行させるプログラムが挙げられる。また、補助記憶装置２００３に記憶させるデータとしては、例えば、撮像装置２から取得した映像信号や収音装置から取得した音響信号等が挙げられる。

入力装置２００４は、例えばキーボード装置やマウス装置であり、コンピュータ２０のオペレータにより操作されると、その操作内容に対応付けられている入力情報をプロセッサ２００１に送信する。また、入力装置２００４は、例えば、表示装置２００５の表示面に重ねて配置されたタッチパネル装置を用いることも可能である。

表示装置２００５は、例えば液晶ディスプレイ装置である。液晶ディスプレイ装置は、プロセッサ２００１等から送信される表示データに従って各種のテキスト、映像等を表示する。

通信装置２００６は、所定の通信規格に従ってコンピュータ２０を他の通信機器と通信可能に接続する装置である。通信装置２００６は、例えば、近距離又は中距離の無線通信によりコンピュータ２０と中継器４とを接続する装置でもよいし、有線又は無線通信によりコンピュータ２０をインターネット等の通信網１３に接続する装置でもよい。

インタフェース装置２００７は、例えば、スピーカ９や他の電子機器をコンピュータ２０に接続するための入出力装置である。

記憶媒体駆動装置２００８は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置２００３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う装置である。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。

このコンピュータ２０は、プロセッサ２００１が補助記憶装置２００３から上述した処理を含むプログラムを読み出し、主記憶装置２００２、補助記憶装置２００３等と協働して収音装置から取得した音響信号についての再生処理を実行する。なお、プロセッサ２００１は、再生処理における演算処理の一部を、図示していないDigital Signal Processor（ＤＳＰ）等の他の演算処理装置に実行させてもよい。

なお、映像音声再生装置７Ａ〜７Ｃとして用いるコンピュータ２０は、図１８に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。また、コンピュータ２０は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、第１〜第３の実施形態で説明したような処理に特化した専用の情報処理装置でもよい。

以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像装置の撮像範囲内の複数箇所のそれぞれを到来方向とする複数の音響信号を取得し、到来方向が隣接関係にある音響信号同士の特徴量の類似度に基づいて、前記特徴量の類似度が高い音響信号の到来方向を１つのグループに設定するグループ化を行うグループ設定部と、
前記撮像装置の撮像範囲内における前記グループの位置を示す情報を前記撮像装置で撮像した映像に付加して再生する再生部と、
を備えることを特徴とする映像音声再生装置。
（付記２）
前記グループ設定部は、前記複数の音響信号のうち、音圧が所定の値よりも大きい音響信号を抽出し、抽出した前記音響信号及び当該音声信号との前記特徴量の類似度が高い他の音響信号の１つのグループにする、
ことを特徴とする付記１に記載の映像音声再生装置。
（付記３）
前記再生部は、前記グループに含まれる音響信号の到来方向と対応した前記映像内の領域を示す図形を生成し、生成した前記図形を前記撮像装置で撮像した映像に重ねて再生する、
ことを特徴とする付記１に記載の映像音声再生装置。
（付記４）
当該映像音声再生装置は、前記再生中の映像内の点を選択する入力操作を受け付ける入力受付部、を更に備え、
前記再生部は、前記入力受付部を介して選択された前記映像内の点と対応する前記撮像装置の視線方向を到来方向とする音響信号を再生する、
ことを特徴とする付記１に記載の映像音声再生装置。
（付記５）
当該映像音声再生装置は、
前記撮像装置の撮像範囲と収音装置との位置関係に基づいて、前記収音装置で収音した音響信号から前記撮像装置で撮像した映像内に設定した複数箇所のそれぞれを到来方向とする音響信号を生成する到来音生成部、
を更に備えることを特徴とする付記１に記載の映像音声再生装置。
（付記６）
当該映像音声再生装置は、アレイ状に配置された複数の収音装置を備えたマイクアレイ装置で収音した複数の音響信号を取得し、
前記到来音生成部は、前記複数の音響信号に到来方向に応じた伝達特性を付加して前記到来音を生成する、
ことを特徴とする付記５に記載の音声映像再生装置。
（付記７）
前記到来音生成部は、前記撮像装置で撮像した映像内の各物体について当該撮像装置から物体までの距離を推定し、前記各物体の方向と推定した前記距離とに基づいて、前記複数の音響信号に前記到来方向と前記距離に応じた伝達特性を付加して前記到来音を生成する、
ことを特徴とする付記５に記載の音声映像再生装置。
（付記８）
当該映像音声再生装置は、前記到来方向毎に前記音響信号のパワーを算出するパワー算出部、を更に備え、
前記再生部は、前記グループ設定部で設定したグループのうち前記パワー算出部で算出したパワーが予め設定した閾値以上である音響信号の到来方向を含むグループの位置を示す情報のみを、前記撮像装置で撮像した映像に付加して再生する、
ことを特徴とする付記１に記載の音声映像再生装置。
（付記９）
当該映像音声再生装置は、前記到来方向毎に前記音響信号の信号対ノイズ比を算出するＳＮＲ算出部、を更に備え、
前記再生部は、前記グループ設定部で設定したグループのうち前記ＳＮＲ算出部で算出した信号対ノイズ比が予め設定した閾値以上である音響信号の到来方向を含むグループの位置を示す情報のみを、前記撮像装置で撮像した映像に付加して再生する、
ことを特徴とする付記１に記載の音声映像再生装置。
（付記１０）
当該映像音声再生装置は、前記到来方向毎に時間領域の音響信号のパワーを算出し、到来方向が隣接関係にある音響信号のパワー同士の相互相関係数を算出する相関値算出部、を更に備え、
前記グループ設定部は、前記特徴量の類似度として、前記相関値算出部で算出した前記相互相関係数を用いる、
ことを特徴とする付記１に記載の映像音声再生装置。
（付記１１）
当該映像音声再生装置は、前記到来方向毎に前記音響信号を周波数分析して算出したパワースペクトルを用い、到来方向が隣接関係にある音響信号のパワースペクトル同士の相互相関係数を算出する相関値算出部、を更に備え、
前記グループ設定部は、前記特徴量の類似度として、前記相関値算出部で算出した前記相互相関係数を用いる、
ことを特徴とする付記１に記載の映像音声再生装置。
（付記１２）
当該映像音声再生装置は、前記到来方向毎に前記音響信号を周波数分析してパワースペクトルの時間変化量を算出し、到来方向が隣接関係にある音響信号のパワースペクトルの時間変化量同士の相互相関係数を算出する相関値算出部、を更に備え、
前記グループ設定部は、前記特徴量の類似度として、前記相関値算出部で算出した前記相互相関係数を用いる、
ことを特徴とする付記１に記載の映像音声再生装置。
（付記１３）
当該映像音声再生装置は、前記到来方向毎に前記音響信号について予め定めた特徴量を算出する特徴量算出部と、算出した特徴量を正常状態の音響特徴量と比較して前記特徴量の算出に用いた音響信号が正常であるか否かを判別する状態判別部と、を更に備え、
前記再生部は、前記グループ設定部で設定したグループのうち前記状態判別部で正常ではないと判別された音響信号の到来方向を含むグループの位置を示す情報のみを、前記撮像装置で撮像した映像に付加して再生する、
ことを特徴とする付記１に記載の映像音声再生装置。
（付記１４）
当該映像音声再生装置は、撮像装置の撮像範囲内の複数箇所における振動の特徴量を算出する振動特徴量算出部を、更に備え、
前記状態判別部は、算出した前記音響信号の特徴量と正常状態の音響特徴量との比較結果、及び算出した前記振動の特徴量と正常状態の振動特徴量との比較結果に基づいて、前記特徴量の算出に用いた音響信号が正常であるか否かを判別する、
ことを特徴とする付記１３に記載の映像音声再生装置。
（付記１５）
当該映像音声再生装置は、前記グループ設定部で設定したグループを前記映像に重ねて表示する場合の表示位置を算出する表示位置算出部と、前記映像に付加した前記グループの位置を示す情報の表示位置を記憶する記憶部と、算出した表示位置を記憶部に記憶させた表示位置と比較して前記表示位置の算出に用いたグループの音響信号が正常であるか否かを判別する状態判別部と、を更に備え、
前記再生部は、前記グループ設定部で設定したグループのうち前記状態判別部で正常ではないと判別された音響信号の到来方向を含むグループの位置を示す情報のみを、前記撮像装置で撮像した映像に付加して再生する、
ことを特徴とする付記１に記載の映像音声再生装置。
（付記１６）
コンピュータが、
撮像装置の撮像範囲内の複数箇所のそれぞれを到来方向とする複数の音響信号を取得し、
到来方向が隣接関係にある音響信号同士の特徴量の類似度に基づいて、前記特徴量の類似度が高い音響信号の到来方向を１つのグループに設定するグループ化を行い、
前記撮像装置の撮像範囲内における前記グループの位置を示す情報を前記撮像装置で撮像した映像に付加して再生する、
処理を実行することを特徴とする映像音声再生方法。
（付記１７）
前記コンピュータが、
前記到来方向毎に前記音響信号の特徴量を正常時の特徴量と比較して前記音響信号が正常であるか否かを判別する処理、を更に実行し、
前記グループの位置を示す情報を前記撮像装置で撮像した映像に付加して再生する際に、正常ではないと判別された音響信号を含むグループの位置を示す情報のみを前記映像に付加して再生する、
ことを特徴とする付記１６に記載の映像音声再生方法。
（付記１８）
前記コンピュータが、
前記再生中の映像内の点を選択する入力操作を受け付けた場合に、選択された前記映像内の点と対応する前記撮像装置の視線方向を到来方向とする音響信号を再生する処理、を更に実行する
ことを特徴とする付記１６に記載の映像音声再生方法。
（付記１９）
撮像装置の撮像範囲内の複数箇所のそれぞれを到来方向とする複数の音響信号を取得し、
到来方向が隣接関係にある音響信号同士の特徴量の類似度に基づいて、前記特徴量の類似度が高い音響信号の到来方向を１つのグループに設定するグループ化を行い、
前記撮像装置の撮像範囲内における前記グループの位置を示す情報を前記撮像装置で撮像した映像に付加して再生する、
処理をコンピュータに実行させるためのプログラム。
（付記２０）
前記到来方向毎に前記音響信号の特徴量を正常時の特徴量と比較して前記音響信号が正常であるか否かを判別する処理、を前記コンピュータに更に実行させ、
前記グループの位置を示す情報を前記撮像装置で撮像した映像に付加して再生する際に、正常ではないと判別された音響信号を含むグループの位置を示す情報のみを前記映像に付加して再生させる、
ことを特徴とする付記１９に記載のプログラム。
（付記２１）
前記再生中の映像内の点を選択する入力操作を受け付けた場合に、選択された前記映像内の点と対応する前記撮像装置の視線方向を到来方向とする音響信号を再生する処理、を前記コンピュータに更に実行させる、
ことを特徴とする付記１９に記載のプログラム。

１Ａ，１Ｂ 点検システム
１Ｃ 監視システム
２ 撮像装置
３ センサ
４ 中継器
５ 点検用端末
６ 設備
７Ａ，７Ｂ，７Ｃ 映像音声再生装置
７０１，７２１，７４１ 通信部
７０２，７２４，７４４ 相関値算出部
７０３，７２５，７４５ グループ設定部
７０４ 音響特徴量算出部
７０５ 振動特徴量算出部
７０６，７２８，７４８ 状態判別部
７０７，７２９ 再生部
７０８ 記憶部
７０９，７３１ 入力受付部
７２２，７４２ 到来音生成部
７２３，７４３ 変換部
７２６ パワー算出部
７２７ 特徴量算出部
７４６ ＳＮＲ算出部
７４７ 表示位置算出部
７４９ 表示位置決定部
７５２ 到来音送信部
７５３ 映像送信部
８ 表示装置
９ スピーカ
１０ 入力装置
１１ マイクアレイ
１５ 制御装置
２０ コンピュータ
２００１ プロセッサ
２００２ 主記憶装置
２００３ 補助記憶装置
２００４ 入力装置
２００５ 表示装置
２００６ 通信装置
２００７ インタフェース装置
２００８ 記憶媒体駆動装置
２０１０ バス

Claims (10)

1. 撮像装置の撮像範囲内の複数箇所のそれぞれを到来方向とする複数の音響信号を取得し、到来方向が隣接関係にある音響信号同士の特徴量の類似度に基づいて、前記特徴量の類似度が高い音響信号の到来方向を１つのグループに設定するグループ化を行うグループ設定部と、
   前記撮像装置の撮像範囲内における前記グループの位置を示す情報を前記撮像装置で撮像した映像に付加して再生する再生部と、
   を備えることを特徴とする映像音声再生装置。
2. 前記グループ設定部は、前記複数の音響信号のうち、音圧が所定の値よりも大きい音響信号を抽出し、抽出した前記音響信号及び当該音声信号との前記特徴量の類似度が高い他の音響信号の１つのグループにする、
   ことを特徴とする請求項１に記載の映像音声再生装置。
3. 前記再生部は、前記グループに含まれる音響信号の到来方向と対応した前記映像内の領域を示す図形を生成し、生成した前記図形を前記撮像装置で撮像した映像に重ねて再生する、
   ことを特徴とする請求項１に記載の映像音声再生装置。
4. 当該映像音声再生装置は、前記再生中の映像内の点を選択する入力操作を受け付ける入力受付部、を更に備え、
   前記再生部は、前記入力受付部を介して選択された前記映像内の点と対応する前記撮像装置の視線方向を到来方向とする音響信号を再生する、
   ことを特徴とする請求項１に記載の映像音声再生装置。
5. 当該映像音声再生装置は、
   前記撮像装置の撮像範囲と収音装置との位置関係に基づいて、前記収音装置で収音した音響信号から前記撮像装置で撮像した映像内に設定した複数箇所のそれぞれを到来方向とする音響信号を生成する到来音生成部、
   を更に備えることを特徴とする請求項１に記載の映像音声再生装置。
6. 当該映像音声再生装置は、前記到来方向毎に時間領域の音響信号のパワーを算出し、到来方向が隣接関係にある音響信号のパワー同士の相互相関係数を算出する相関値算出部、を更に備え、
   前記グループ設定部は、前記特徴量の類似度として、前記相関値算出部で算出した前記相互相関係数を用いる、
   ことを特徴とする請求項１に記載の映像音声再生装置。
7. 当該映像音声再生装置は、前記到来方向毎に前記音響信号を周波数分析して算出したパワースペクトルを用い、到来方向が隣接関係にある音響信号のパワースペクトル同士の相互相関係数を算出する相関値算出部、を更に備え、
   前記グループ設定部は、前記特徴量の類似度として、前記相関値算出部で算出した前記相互相関係数を用いる、
   ことを特徴とする請求項１に記載の映像音声再生装置。
8. 当該映像音声再生装置は、前記到来方向毎に前記音響信号について予め定めた特徴量を算出する特徴量算出部と、算出した特徴量を正常状態の音響特徴量と比較して前記特徴量の算出に用いた音響信号が正常であるか否かを判別する状態判別部と、を更に備え、
   前記再生部は、前記グループ設定部で設定したグループのうち前記状態判別部で正常ではないと判別された音響信号の到来方向を含むグループの位置を示す情報のみを、前記撮像装置で撮像した映像に付加して再生する、
   ことを特徴とする請求項１に記載の映像音声再生装置。
9. コンピュータが、
   撮像装置の撮像範囲内の複数箇所のそれぞれを到来方向とする複数の音響信号を取得し、
   到来方向が隣接関係にある音響信号同士の特徴量の類似度に基づいて、前記特徴量の類似度が高い音響信号の到来方向を１つのグループに設定するグループ化を行い、
   前記撮像装置の撮像範囲内における前記グループの位置を示す情報を前記撮像装置で撮像した映像に付加して再生する、
   処理を実行することを特徴とする映像音声再生方法。
10. 撮像装置の撮像範囲内の複数箇所のそれぞれを到来方向とする複数の音響信号を取得し、
    到来方向が隣接関係にある音響信号同士の特徴量の類似度に基づいて、前記特徴量の類似度が高い音響信号の到来方向を１つのグループに設定するグループ化を行い、
    前記撮像装置の撮像範囲内における前記グループの位置を示す情報を前記撮像装置で撮像した映像に付加して再生する、
    処理をコンピュータに実行させるためのプログラム。

Images