JP2017103542A - 同期装置、同期方法及び同期プログラム - Google Patents

Abstract

【課題】収録した映像及び音声をより正確に同期させられる同期装置、同期方法及び同期プログラムを提供すること。【解決手段】同期装置１０は、カメラ２０から対象物の映像を取得する映像取得部１１と、マイク３０から音声を取得する音声取得部１２と、対象物からマイク３０へ至る音声の伝搬に関する空間情報を取得する空間情報取得部１３と、対象物からマイク３０までの距離の入力を受け付ける距離取得部１４と、空間情報及び距離に基づいて、対象物からマイク３０への音声の到達時間を算出する到達時間算出部１５と、到達時間だけ映像を遅延させることにより、映像及び音声を同期させて出力する同期出力部１６と、を備える。【選択図】図１

Description

本発明は、映像と音声とを同期させる同期装置、同期方法及び同期プログラムに関する。

従来、例えば装置の動作中における特定の音の原因を探るといった目的で、収録した映像及び音声を用いて解析を行う場合がある。ところが、マイクの位置に応じて収録された音声が映像に比べて遅延するため、両者を同期させた解析は困難である。このため、例えば、マイクを音源の近傍に設置して遅延時間を短くするか、又は遅延時間を推測して解析を行っていた。
このような状況において、例えば特許文献１には、音声到達時間に基づいて映像と音声とのずれを補正する技術が提案されている。

特開２０１０−２５８５６８号公報

しかしながら、音の速度は、伝搬空間の温度及び湿度等の状況に応じて刻々と変化する。特許文献１の番組編集とは異なり、特に、計測又は検査等のために高フレームレート（例えば、数百〜数千フレーム／秒）で映像を収録した場合、例えば温度が数℃変化しただけで、音声と映像とに数フレーム以上のずれが生じてしまう。このため、映像フレームと音声とを、収録中の状況に合わせて正確に同期させることは難しかった。

本発明は、収録した映像及び音声をより正確に同期させられる同期装置、同期方法及び同期プログラムを提供することを目的とする。

本発明に係る同期装置は、カメラから対象物の映像を取得する映像取得部と、マイクから音声を取得する音声取得部と、前記対象物から前記マイクへ至る音声の伝搬に関する空間情報を取得する空間情報取得部と、前記対象物から前記マイクまでの距離の入力を受け付ける距離取得部と、前記空間情報及び前記距離に基づいて、前記対象物から前記マイクへの音声の到達時間を算出する到達時間算出部と、前記到達時間だけ前記映像を遅延させることにより、前記映像及び前記音声を同期させて出力する同期出力部と、を備える。

前記空間情報は、前記対象物から前記マイクへ至る空間付近の温度を含んでもよい。

前記空間情報は、前記対象物から前記マイクへ至る空間付近の湿度を含んでもよい。

前記映像取得部は、複数台のカメラから映像を取得し、前記距離取得部は、前記複数台のカメラの相対位置及び映像に基づいて、前記距離を算出してもよい。

前記距離取得部は、ユーザから映像中の前記対象物の位置を指定する入力を受け付け、当該位置から前記マイクまでの距離を算出してもよい。

本発明に係る同期方法は、カメラから対象物の映像を取得する映像取得ステップと、マイクから音声を取得する音声取得ステップと、前記対象物から前記マイクへ至る音声の伝搬に関する空間情報を取得する空間情報取得ステップと、前記対象物から前記マイクまでの距離の入力を受け付ける距離取得ステップと、前記空間情報及び前記距離に基づいて、前記対象物から前記マイクへの音声の到達時間を算出する到達時間算出ステップと、前記到達時間だけ前記映像を遅延させることにより、前記映像及び前記音声を同期させて出力する同期出力ステップと、をコンピュータが実行する。

本発明に係る同期プログラムは、カメラから対象物の映像を取得する映像取得ステップと、マイクから音声を取得する音声取得ステップと、前記対象物から前記マイクへ至る音声の伝搬に関する空間情報を取得する空間情報取得ステップと、前記対象物から前記マイクまでの距離の入力を受け付ける距離取得ステップと、前記空間情報及び前記距離に基づいて、前記対象物から前記マイクへの音声の到達時間を算出する到達時間算出ステップと、前記到達時間だけ前記映像を遅延させることにより、前記映像及び前記音声を同期させて出力する同期出力ステップと、をコンピュータに実行させる。

本発明によれば、収録した映像及び音声をより正確に同期させられる。

第１実施形態に係る解析システムの構成を示す図である。 第２実施形態に係る表示画面例を示す図である。 第１実施形態に係る収録データを同期出力する処理を示すフローチャートである。 第２実施形態に係る解析システムの構成を示す図である。 第２実施形態に係る距離を取得する処理を示すフローチャートである。 変形例に係る解析システムの構成を示す図である。

＜第１実施形態＞
以下、本発明の第１実施形態について説明する。
図１は、本実施形態に係る解析システム１の構成を示す図である。

解析システム１は、同期装置１０と、カメラ２０と、マイク３０と、温度センサ４０と、湿度センサ５０とを備える。
同期装置１０は、カメラ２０から映像信号を、マイク３０から音声信号をそれぞれ受信し、さらに、温度センサ４０により測定された温度データ、及び湿度センサ５０により測定された湿度データを含む空間情報を取得する。そして、同期装置１０は、空間情報に基づいて映像に対する音声の遅延時間を算出し、映像と音声とを同期させて表示、再生、記憶等の出力を行う。

同期装置１０は、映像取得部１１と、音声取得部１２と、空間情報取得部１３と、距離取得部１４と、到達時間算出部１５と、同期出力部１６と、記憶部１７とを備える。

映像取得部１１は、カメラ２０から対象物を撮影した映像を取得し、記憶部１７に収録する。
音声取得部１２は、マイク３０から対象物の音声を取得し、記憶部１７に収録する。

空間情報取得部１３は、対象物からマイク３０へ至る音声の伝搬速度に関する空間情報を取得し、記憶部１７に収録する。
空間情報は、具体的には、対象物からマイク３０へ至る空間付近の温度データ及び湿度データを含み、温度データは温度センサ４０から、湿度データは湿度センサ５０からリアルタイムの測定値を受信する。
なお、空間情報取得部１３は、映像及び音声の収録時における代表点として空間情報を１度のみ取得してもよい。

距離取得部１４は、対象物からマイク３０までの距離の入力を受け付ける。
具体的には、距離取得部１４は、ユーザからスケール等による計測値の入力を受け付ける。

到達時間算出部１５は、空間情報及び入力された距離に基づいて、対象物からマイク３０への音声の到達時間を算出する。
音速は、空間の温度及び湿度等の影響を受けるため、対象物からマイク３０へ到達するまでの時間は、状況により変化する。したがって、到達時間算出部１５は、所定の計算式により求められる音速と、対象物からマイク３０までの距離とに基づいて、音声の到達時間、すなわち収録した音声の収録時における映像に対する遅延時間を算出する。

同期出力部１６は、算出された音声の到達時間だけ映像を遅延させることにより、映像及び音声を同期させて出力する。

記憶部１７は、ハードウェア群を同期装置１０として機能させるための同期プログラムを含む各種プログラム、並びに映像、音声及び空間情報の収録データを含む各種データ等の記憶装置である。記憶部１７は、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）等であってよい。

なお、同期装置１０は、制御部及び入出力インタフェース等を備えた情報装置（コンピュータ）であり、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）又はサーバ装置等であってもよい。
ここで、制御部は、同期装置１０の全体を制御する部分であり、記憶部１７に記憶された各種プログラムを適宜読み出して実行することにより、ハードウェアと協働し、本実施形態における各種機能を実現している。制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。

図２は、本実施形態に係る同期装置１０により出力される表示画面例を示す図である。
この例では、時間スケールＡに対して、収録された音声データＢ及び映像データＣが並列に表示されている。

ここで、映像データＣは、音声データＢに対して、距離及び空間情報に基づいて算出された音声の到達時間Ｄだけ遅延して表示されている。
これにより、例えば周期的に繰り返される調査対象の音（Ｂ１，Ｂ２）に対する映像フレーム（Ｃ１，Ｃ２）が容易に特定される。

なお、同期出力部１６による出力方法は、この例には限られない。同期出力部１６は、ユーザの指示入力に応じて、ディスプレイ及びスピーカから映像及び音声の同時再生を行ってもよいし、所定の記録デバイスに記録してもよい。

図３は、本実施形態に係る同期方法により収録データを同期出力する処理を示すフローチャートである。
なお、本処理に先立って、映像及び音声と共に、定期的に計測された温度及び湿度が記憶部１７に収録されているものとする。

ステップＳ１において、同期装置１０（距離取得部１４）は、対象物からマイク３０までの距離を取得する。

ステップＳ２において、同期装置１０（到達時間算出部１５）は、記憶部１７に収録されている温度及び湿度を読み込む。

ステップＳ３において、同期装置１０（到達時間算出部１５）は、ステップＳ１で取得した距離と、ステップＳ２で取得した温度及び湿度とに基づいて、対象物からマイク３０までの音声の到達時間を算出する。

ステップＳ４において、同期装置１０（同期出力部１６）は、記憶部１７に収録されている映像及び音声を取得し、映像をステップＳ３で算出された時間だけ遅延させて同期出力させる。

ステップＳ５において、同期装置１０は、収録されている音声が終了したか否かを判定する。この判定がＹＥＳの場合、処理は終了し、判定がＮＯの場合、処理はステップＳ２に移る。

本実施形態によれば、同期装置１０は、映像及び音声と共に空間情報を取得することにより、音声収録時の空間情報に応じた音速と対象物からマイク３０までの距離とに基づいて、映像に対する音声の遅延時間を算出できる。したがって、同期装置１０は、映像及び音声の収録時にリアルタイムに取得した空間情報を用いて、収録した映像及び音声をより正確に同期させられる。
この結果、ユーザは、例えば対象物から生じる特定の音に対応する映像フレーム群を容易に特定できる。ユーザは、特定した映像フレーム群の相関、及び他の映像フレームとの比較によって、この音の原因を容易に解析できる。

同期装置１０は、空間情報として、音速への影響が大きい温度及び湿度を用いることにより、既存のセンサ（温度センサ４０、湿度センサ５０）を用いて、容易に音声の到達時間をより正確に算出できる。

＜第２実施形態＞
以下、本発明の第２実施形態について説明する。
図４は、本実施形態に係る解析システム１ａの構成を示す図である。
なお、第１実施形態と同様の構成には同一の符号を付し、説明を省略又は簡略化する。

解析システム１ａは、複数台のカメラ（例えば、２台のカメラ２１及び２２）から同一対象物の映像を取得することにより、対象物とカメラ２１及び２２との距離を算出できる。さらに、これらのカメラ２１及び２２とマイク３０との位置関係から、対象物とマイク３０との距離が算出される。

同期装置１０ａは、映像取得部１１ａと、音声取得部１２と、空間情報取得部１３と、距離取得部１４ａと、到達時間算出部１５と、同期出力部１６と、記憶部１７とを備える。

映像取得部１１ａは、２台のカメラ２１及び２２から映像を取得し、それぞれの映像を対応付けて記憶部１７に収録する。

距離取得部１４ａは、２台のカメラ２１、２２及びマイク３０の相対位置と、それぞれの映像とに基づいて、対象物とマイク３０との距離を算出する。
このとき、距離取得部１４ａは、収録した映像フレームのいずれかを提示することにより、ユーザから映像中の対象物の位置を指定する操作入力を受け付け、指定位置からマイク３０までの距離を算出する。
なお、ユーザに提示する映像フレームは、カメラ２１及び２２で撮影された両方の映像であってもよいし、一方の映像であってもよい。距離取得部１４ａは、両方の映像を提示する場合、ユーザに両映像それぞれに対して対象物の位置を指定させることで、より正確な距離を算出できる。また、距離取得部１４ａは、一方の映像に対して対象物の位置を指定させ、他方の映像とのマッチングにより、位置を特定してもよい。

図５は、本実施形態に係る同期方法により対象物からマイク３０までの距離を取得する処理を示すフローチャートである。

ステップＳ１１において、同期装置１０ａ（距離取得部１４ａ）は、記憶部１７から読み出した映像データのフレーム画像を表示する。

ステップＳ１２において、同期装置１０ａ（距離取得部１４ａ）は、ステップＳ１１で表示された画像の中から、対象物を指定する操作入力を受け付ける。

ステップＳ１３において、同期装置１０ａ（距離取得部１４ａ）は、予め設定された２台のカメラ２１及び２２、並びにマイク３０の相対位置に加えて、両映像内における対象物の座標から算出されるカメラ２１及び２２と対象物との相対位置に基づいて、対象物からマイク３０までの距離を算出する。

本実施形態によれば、同期装置１０ａは、複数のカメラ（２１及び２２）の映像から、指定された対象物とマイク３０との距離を算出できる。したがって、同期装置１０ａは、ユーザによる距離測定の手間を削減し、容易に音声の到達時間を正確に求めることができる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

前述の実施形態では、対象物とマイク３０との距離は、同期出力時に取得されることとしたが、これには限られない。距離データは、映像、音声及び空間情報の収録データと対応付けて記憶部１７に記憶されてもよい。また、収録中に距離が変更される場合には、複数の距離データがそれぞれ収録データと対応付けて記憶されてもよい。

前述の実施形態では、単一の処理装置（同期装置１０又は１０ａ）が映像、音声及び空間情報の収録、並びに収録された映像及び音声の同期出力の機能を備えることとしたが、これには限られない。
例えば、図６に示すように、解析システム１ｂにおいて、前述の各機能は、収録装置１０Ａと処理装置１０Ｂとに分散されてもよい。この場合、収録装置１０Ａと処理装置１０Ｂとの間は、記憶部１７から出力されるファイルによってデータが渡される、又は入出力インタフェースを介して通信によりデータが渡される。

同期装置１０による同期方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（同期装置１０）にインストールされる。また、これらのプログラムは、ＣＤ−ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータ（同期装置１０）に提供されてもよい。

１０、１０ａ 同期装置
１１、１１ａ 映像取得部
１２ 音声取得部
１３ 空間情報取得部
１４、１４ａ 距離取得部
１５ 到達時間算出部
１６ 同期出力部
１７ 記憶部
２０、２１、２２ カメラ
３０ マイク
４０ 温度センサ
５０ 湿度センサ

Claims (7)

1. カメラから対象物の映像を取得する映像取得部と、
   マイクから音声を取得する音声取得部と、
   前記対象物から前記マイクへ至る音声の伝搬に関する空間情報を取得する空間情報取得部と、
   前記対象物から前記マイクまでの距離の入力を受け付ける距離取得部と、
   前記空間情報及び前記距離に基づいて、前記対象物から前記マイクへの音声の到達時間を算出する到達時間算出部と、
   前記到達時間だけ前記映像を遅延させることにより、前記映像及び前記音声を同期させて出力する同期出力部と、を備える同期装置。
2. 前記空間情報は、前記対象物から前記マイクへ至る空間付近の温度を含む請求項１に記載の同期装置。
3. 前記空間情報は、前記対象物から前記マイクへ至る空間付近の湿度を含む請求項２に記載の同期装置。
4. 前記映像取得部は、複数台のカメラから映像を取得し、
   前記距離取得部は、前記複数台のカメラの相対位置及び映像に基づいて、前記距離を算出する請求項１から請求項３のいずれかに記載の同期装置。
5. 前記距離取得部は、ユーザから映像中の前記対象物の位置を指定する入力を受け付け、当該位置から前記マイクまでの距離を算出する請求項４に記載の同期装置。
6. カメラから対象物の映像を取得する映像取得ステップと、
   マイクから音声を取得する音声取得ステップと、
   前記対象物から前記マイクへ至る音声の伝搬に関する空間情報を取得する空間情報取得ステップと、
   前記対象物から前記マイクまでの距離の入力を受け付ける距離取得ステップと、
   前記空間情報及び前記距離に基づいて、前記対象物から前記マイクへの音声の到達時間を算出する到達時間算出ステップと、
   前記到達時間だけ前記映像を遅延させることにより、前記映像及び前記音声を同期させて出力する同期出力ステップと、をコンピュータが実行する同期方法。
7. カメラから対象物の映像を取得する映像取得ステップと、
   マイクから音声を取得する音声取得ステップと、
   前記対象物から前記マイクへ至る音声の伝搬に関する空間情報を取得する空間情報取得ステップと、
   前記対象物から前記マイクまでの距離の入力を受け付ける距離取得ステップと、
   前記空間情報及び前記距離に基づいて、前記対象物から前記マイクへの音声の到達時間を算出する到達時間算出ステップと、
   前記到達時間だけ前記映像を遅延させることにより、前記映像及び前記音声を同期させて出力する同期出力ステップと、をコンピュータに実行させるための同期プログラム。

Images