JP2019121816A - 信号同期方法 - Google Patents

Abstract

【課題】音源に対して移動している装置において取得された音信号を用いて、対象信号をより精度よく同期する。【解決手段】一実施形態に係る信号同期方法は、音源に対し移動している第１装置において取得された第１音信号を取得するステップと、前記第１音信号との時間差が既知の第１対象信号を取得するステップと、前記第１装置と異なる第２装置において取得された第２音信号を取得するステップと、前記第２音信号との時間差が既知の第２対象信号を取得するステップと、前記第１音信号及び前記第２音信号の各々から第１ビート信号及び第２ビート信号を検出するステップと、前記第１ビート信号及び第２ビート信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップとを有する。【選択図】図６

Description

本発明は、複数の信号を同期する技術に関する。

映像又は音声等、各種の信号を同期する技術が知られている。特許文献１には、音響及び動画を含む素材データを収録する端末装置から無線通信により素材データを受信し、複数の素材データを編集することによりコンテンツを生成する映像処理装置が記載されている。

特開２０１７−１７４２３号公報

特許文献１に記載の技術においては、音源に対して移動している装置によって記録された音信号を用いて信号の同期をしようとすると、ドップラーシフトによってピッチ（音高）が変化してしまい、信号が正確に同期できないおそれがあった。

これに対し本発明は、音源に対して移動している装置において取得された音信号を用いて、対象信号をより精度よく同期する技術を提供する。

本発明は、音源に対し移動している第１装置において取得された第１音信号を取得するステップと、前記第１音信号との時間差が既知の第１対象信号を取得するステップと、前記第１装置と異なる第２装置において取得された第２音信号を取得するステップと、前記第２音信号との時間差が既知の第２対象信号を取得するステップと、前記第１音信号及び前記第２音信号の各々から第１ビート信号及び第２ビート信号を検出するステップと、前記第１ビート信号及び第２ビート信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップとを有する信号同期方法を提供する。

本発明によれば、音源に対して移動している装置において取得された音信号を用いて、対象信号の同期精度を向上させることができる。

一実施形態に係る信号同期システム１の概要を例示する図。 信号同期装置１０の機能構成を例示する図。 信号同期装置１０のハードウェア構成を例示する図。 装置２０の機能構成を例示する図。 装置２０のハードウェア構成を例示する図。 信号同期装置１０の動作を例示するフローチャート。 本実施形態に係る同期処理の例。

１．構成
図１は、一実施形態に係る信号同期システム１の概要を例示する図である。信号同期システム１は、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期するためのシステムである。装置２０［１］及び装置２０［２］は、第１装置及び第２装置の一例である。信号Ｓｔ［１］及び信号Ｓｔ［２］は同期の対象となる、第１対象信号及び第２対象信号の一例である。信号Ｓｔ［１］及び信号Ｓｔ［２］はそれぞれ、装置２０［１］及び装置２０［２］において取得される。装置２０［１］は、信号Ｓｔ［１］に加え、信号Ｓｒ［１］を取得する。装置２０［２］は、信号Ｓｔ［２］に加え、信号Ｓｒ［２］を取得する。信号Ｓｒ［１］及び信号Ｓｒ［２］は、それぞれ信号Ｓｔ［１］及び信号Ｓｔ［２］との時間差が既知（例えば同時）の音信号であり、第１音信号及び第２音信号の一例である。信号同期装置１０は、装置２０［１］から信号Ｓｔ［１］及び信号Ｓｒ［１］の入力を受け付け、装置２０［２］から信号Ｓｔ［２］及び信号Ｓｒ［２］の入力を受け付ける。信号同期装置１０は、信号Ｓｒ［１］から得られるビート信号Ｓｂ［１］（第１ビート信号の一例）及び信号Ｓｒ［２］から得られるビート信号Ｓｂ［２］（第２ビート信号の一例）の相互相関に基づいて、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。なお、信号Ｓｔ［１］及びＳｔ［２］を互いに区別しないときは単に信号Ｓｔと表記する。信号Ｓｒ及び装置２０についても同様である。

一例において、信号Ｓｔ［１］、信号Ｓｔ［２］、信号Ｓｒ［１］、及び信号Ｓｒ［２］は、センサから出力される信号である。センサは、例えば、映像センサ（撮像素子）、音センサ（マイクロフォン）、加速度センサ、又は温度センサである。好的な例としては、信号Ｓｔ［１］及び信号Ｓｔ［２］は、映像センサから出力される映像信号である。また、信号Ｓｒ［１］及び信号Ｓｒ［２］は、マイクロフォンから出力される音信号である。装置２０［１］及び装置２０［２］は、これらのセンサを搭載した装置、例えば、スマートフォン、カメラ、又はボイスレコーダである。

図２は、信号同期装置１０の機能構成を例示する図である。信号同期装置１０は、取得部１１、同期部１２、記憶部１３、制御部１４、通信部１５、及びビート検出部１６を有する。取得部１１は、装置２０［１］から、信号Ｓｔ［１］及び信号Ｓｒ［１］を取得し、装置２０［２］から信号Ｓｔ［２］及び信号Ｓｒ［２］を取得する。取得部１１は、信号Ｓｔ［１］及び信号Ｓｒ［１］を同時に取得してもよいし、異なるタイミングで取得してもよい。信号Ｓｔ［２］及び信号Ｓｒ［２］についても同様である。記憶部１３は、各種のデータを記憶する。制御部１４は、各種の制御を行う。

ビート検出部１６は、信号Ｓｒからビートを検出する。ここで、ビートとは、音信号における音楽的な強弱（いわゆる拍）をいう。ビート検出部１６は、例えば、音信号における音量レベルの変化に基づいてビートを抽出する（例えば、急激に音量レベルが大きくなる部分をビートとして検出する）。なお音信号からビートを検出する具体的な技術としては、例えば特開２００８−２３３８１２号公報に記載の技術等があげられるが、どのような技術が用いられてもよい。信号Ｓｒ［１］から検出されたビートを示す信号をビート信号Ｓｂ［１］といい、信号Ｓｒ［２］から検出されたビートを示す信号をビート信号Ｓｂ［２］という。同期部１２は、信号Ｓｂ［１］及び信号Ｓｂ［２］の相互相関に基づいて、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。

図３は、信号同期装置１０のハードウェア構成を例示する図である。この例において、信号同期装置１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、及び通信ＩＦ１０４を有するコンピュータ装置である。ＣＰＵ１０１は、プログラムに従って各種の演算を行い、信号同期装置１０の他のハードウェア要素を制御する制御装置である。メモリ１０２はＣＰＵ１０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ストレージ１０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を含む。通信ＩＦ１０４は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えばＮＩＣ（Network Interface Card）を含む。

一例において、信号同期装置１０は、ネットワーク（例えばインターネット）上において動作するサーバ装置である。ストレージ１０３は、コンピュータ装置を信号同期システム１における信号同期装置１０として機能させるためのプログラム（以下「同期プログラム」）を記憶する。ＣＰＵ１０１がストレージ１０３から同期プログラムを読み出し、メモリ１０２にて処理を実行することにより、図２に示した機能がコンピュータ装置に実装される。ＣＰＵ１０１が同期プログラムを実行している状態において、通信ＩＦ１０４は取得部１１の一例である。ＣＰＵ１０１は同期部１２及び制御部１４の一例である。メモリ１０２及びストレージ１０３の少なくとも一方は記憶部１３の一例である。通信ＩＦ１０４は、通信部１５の一例である。

図４は、装置２０の機能構成を例示する図である。装置２０は、生成部２１、取得部２２、記憶部２３、送信部２４、ＵＩ部２５、及び制御部２６を有する。生成部２１は、信号Ｓｔを生成する。取得部２２は、信号Ｓｒを取得する。記憶部２３は、各種のデータを記憶する。記憶部２３が記憶するデータには、信号Ｓｔをサンプリングしたデータ及び信号Ｓｒをサンプリングしたデータが含まれる。以下、信号ＳｔをサンプリングしたデータをデータＤｔといい、信号ＳｒをサンプリングしたデータをデータＤｒという。送信部２４は、データＤｔ及びデータＤｒを信号同期装置１０に送信する。ＵＩ部２５は、装置２０のユーザに対する情報の出力、及びそのユーザから指示の入力を行う。制御部２６は、各種の制御を行う。

図５は、装置２０のハードウェア構成を例示する図である。装置２０は、ＣＰＵ２０１、メモリ２０２、ストレージ２０３、移動体通信部２０４、無線ＬＡＮ通信部２０５、カメラ２０６、マイクロフォン２０７、及びタッチスクリーン２０９を有するコンピュータ装置である。ＣＰＵ２０１は、プログラムに従って各種の演算を行い、装置２０の他のハードウェア要素を制御する制御装置である。メモリ２０２はＣＰＵ２０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ及びＲＡＭを含む。ストレージ２０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＳＳＤ又はＨＤＤを含む。移動体通信部２０４は、所定の移動体通信規格（例えばＬＴＥ）に従って他の装置と通信を行うための装置であり、例えばその通信規格に準拠したアンテナ及びチップセットを含む。無線ＬＡＮ通信部２０５は、所定の無線ＬＡＮ通信規格（例えばＷｉＦｉ（登録商標））に従って他の装置と通信を行うための装置であり、例えばその通信規格に準拠したアンテナ及びチップセットを含む。カメラ２０６は、対象を撮影した映像信号を出力する。マイクロフォン２０７は、対象から得られた音信号を出力する。カメラ２０６及びマイクロフォン２０７は、対象の状況を検知し、その結果を示す信号を出力するセンサの一例である。タッチスクリーン２０９は、情報を表示する表示装置（例えばＬＣＤ）及びその表示装置の上に形成されたタッチセンサを有する。

一例において、装置２０は、信号同期装置１０が接続されたネットワークにアクセスする機能を有する装置、例えばスマートフォンである。信号Ｓｔは、スマートフォンで撮影された動画を示す映像信号である。ストレージ２０３は、コンピュータ装置を信号同期システム１における装置２０として機能させるためのプログラム（データ取得プログラム）を記憶する。ＣＰＵ２０１がデータ取得プログラムを実行している状況において、カメラ２０６は、生成部２１の一例である。メモリ２０２及びストレージ２０３の少なくとも一方は、記憶部２３の一例である。移動体通信部２０４又は無線ＬＡＮ通信部２０５は、送信部２４の一例である。タッチスクリーン２０９は、ＵＩ部２５の一例である。ＣＰＵ２０１は、制御部２６の一例である。

一例において、データ取得プログラムを実行している装置２０は、録画ボタンを含むＵＩ画面（図示略）をタッチスクリーン２０９に表示する。録画ボタンは、録画開始の指示を受け付けるためのＵＩ要素である。ユーザがタッチスクリーン２０９において録画ボタンに相当する位置をタッチすると、ＣＰＵ２０１は、信号Ｓｔ及び信号Ｓｒの記録を開始する。信号Ｓｔ及び信号Ｓｒの記録中、装置２０は停止ボタンを含むＵＩ画面（図示略）をタッチスクリーンに表示する。停止ボタンは、録画開始の指示を受け付けるためのＵＩ要素である。ユーザがタッチスクリーン２０９において停止ボタンに相当する位置をタッチすると、ＣＰＵ２０１は、信号Ｓｔ及び信号Ｓｒをデータ化したデータＤｔ及びデータＤｒに、タイムスタンプ等の属性情報を付与してストレージ２０３に記憶する。ストレージ２０３は、複数のデータＤｔ及び複数のデータＤｒが存在する場合においても、データＤｔとデータＤｒの対応関係を特定するための情報を記憶する。この情報は、例えば、データＤｔを特定する識別子である。データＤｔ及びデータＤｒのファイル名にこの識別子が含まれる。なおこの例において、ＣＰＵ２０１は、信号Ｓｔ及び信号Ｓｒの記録を同時に開始し、同時に終了する。なお、信号Ｓｔ及び信号Ｓｒを記録するタイミングは、その時間差が既知であればよく、同時に記録される必要はない。

２．動作
図６は、信号同期装置１０の動作（信号同期方法）を例示するフローチャートである。図４のフローを開始する前において、装置２０［１］はデータＤｔ［１］及びデータＤｒ［１］を、装置２０［２］はデータＤｔ［２］及びデータＤｒ［２］を、それぞれ取得済みである。以下の説明において、取得部１１等の機能要素を処理の主体として記載する場合があるが、これは、同期プログラム等のソフトウェアを実行しているＣＰＵ１０１等のハードウェア要素が、他のハードウェア要素と協働して処理を実行することを意味する。

ステップＳ１１において、取得部１１は、装置２０［１］からデータＤｔ［１］を取得する。データＤｔ［１］は、例えば、装置２０［１］においてユーザがデータ送信の指示を入力したというイベントを契機として、装置２０［１］から信号同期装置１０に送信される。装置２０［１］は、データＤｔ［１］に属性情報を付加して送付する。属性情報は、データＤｔに付随する情報である。属性情報は、例えば、装置２０の識別子、装置２０のユーザの識別子、被写体の説明、タイムスタンプ、及び位置情報（その画像を撮影したときの装置２０の緯度及び経度）のうち少なくとも１つを含む。データＤｒ［２］等の他のデータも、同様に属性情報が付加される。ステップＳ１２において、取得部１１は、装置２０［１］からデータＤｒ［１］を取得する。データＤｒ［１］は、例えば、データＤｔ［１］と同じイベントを契機として装置２０［１］から信号同期装置１０に送信される。あるいは、データＤｒ［１］は、データＤｔ［１］とは異なるイベントを契機として装置２０［１］から信号同期装置１０に送信されてもよい。この場合、データＤｒ［１］の属性情報に含まれる識別子により、データＤｔ［１］との関係が特定される。記憶部１３は、取得部１１が取得したデータＤｔ［１］及びデータＤｒ［１］を記憶する。

ステップＳ１３において、取得部１１は、装置２０［２］からデータＤｔ［２］を取得する。ステップＳ１４において、取得部１１は、装置２０［２］からデータＤｒ［２］を取得する。ステップＳ１３及びＳ１４の詳細は、ステップＳ１１及びＳ１２と同様である。記憶部１３は、取得部１１が取得したデータＤｔ［２］及びデータＤｒ［２］を記憶する。

ステップＳ１５において、ビート検出部１６は、信号Ｓｒ［１］及び信号Ｓｒ［２］のそれぞれからビートを検出する。

ステップＳ１６において、制御部１４は、２つのデータを同期する指示（以下「同期指示」という）の入力を受け付ける。ここでいうデータの同期は、データにより示される信号波形の同期を意味するので、信号の同期と同義である。この指示は、例えば、信号同期装置１０にアクセス可能な端末装置（図示略。例えば、インターネットにアクセス可能なスマートフォン又はＰＣ）から入力される。この指示は、同期処理の対象となるデータＤｔ［１］及びデータＤｔ［２］を指定する情報を含む。

ステップＳ１７において、同期部１２は、同期指示により指定された信号を同期する。ここで、信号を同期するとは、２つの信号の時間領域における位置のずれ（差）を特定することをいう。一例において、信号Ｓｔ［１］及び信号Ｓｔ［２］は、ビート信号Ｓｂ［１］及びビート信号Ｓｂ［２］の相互相関に基づいて同期される。具体的には、同期部１２は、次式（１）に示される相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜を最大とする時間差τを計算する。
ここで、信号ｙｉはビート信号Ｓｂ［１］であり、信号ｙｊはビート信号Ｓｂ［２］である。式（１）は、信号ｙｉ（ｔ）の始点と信号ｙｊ（ｔ）の始点とを時間領域において一致させてから、信号ｙｉ（ｔ）に対する信号ｙｊ（ｔ）の時間差（時間軸上のシフト量）τを変数として両者間の信号波形の相関の程度を示した数値列を示す。時間差τは、正の値も負の値もとり得る。例えば、ビート信号Ｓｂ［２］が時間領域においてビート信号Ｓｂ［１］の後方に位置する場合、時間差τは正であり、ビート信号Ｓｂ［２］が時間領域においてビート信号Ｓｂ［１］の前方に位置する場合、時間差τは負である。なお相互相関は式（１）によって計算されるものに限定されず、例えば次式（２）によって計算されてもよい。

ステップＳ１８において、制御部１４は、同期された信号Ｓｔ［１］及び信号Ｓｔ［２］を合成した信号Ｓｓを示すデータＤｓを生成する。データＤｓの詳細については後述する。ステップＳ１９において、制御部１４は、データＤｓを出力する。例えば、制御部１４は、例えば、同期指示を出力した端末装置に対しデータＤｓを出力する。あるいは、制御部１４は、記憶部１３にデータＤｓを記憶してもよい。

信号Ｓｔが映像信号である場合において、データＤｓは、信号Ｓｔ［１］により示される映像を表示する領域及び信号Ｓｔ［２］により示される映像を表示する領域を１画面中に含む映像を示すデータである。データＤｓは、この映像に同期する音声として、信号Ｓｒ［１］により示される音及び信号Ｓｒ［２］により示される音の少なくとも一方を含んでもよい。

図７は、一実施形態に係る同期処理を例示する図である。本実施形態においては、信号Ｓｒ［１］及び信号Ｓｒ［２］の相互相関により信号Ｓｔ［１］及び信号Ｓｔ［２］が同期されるのではなく、ビート信号Ｓｂ［１］及びビート信号Ｓｂ［２］の相互相関により信号Ｓｔ［１］及び信号Ｓｔ［２］が同期される。装置２０［１］及び装置２０［２］の少なくとも一方が音源に対し移動しながら信号Ｓｒを取得すると、ドップラーシフト（音高の変化）が生じてしまい、信号Ｓｒ［１］及び信号Ｓｒ［２］の相互相関による同期が難しい場合がある。ただし、信号Ｓｒにおいてドップラーシフトが生じた場合であっても、音信号のビート（非調波構造）は変化しない（又は音高と比較して変化が十分に小さい）ため、ビート信号Ｓｂを用いて同期することにより、信号Ｓｒをそのまま用いて同期するよりは同期の精度を向上させることができる。

本実施形態は、一例としては以下のシーンに利用することができる。装置２０［１］及び装置２０［２］は、いずれも、マイクロフォンを内蔵したビデオカメラである。撮影の対象は、例えば水泳大会又は陸上競技大会である。プール又はトラックのレーンに沿ってあらかじめレールが設置してあり、装置２０［１］はこのレールの上を移動しながら選手を撮影する。装置２０［２］はスタート地点又はゴール地点に固定される。音源は、会場に流れているＢＧＭ（Background Music）である。あるいは、音源は、撮影される選手であってもよい（この場合、信号Ｓｒは、水しぶきの音又は足で地面を蹴る音の信号である）であってもよい。なお本願発明の利用シーンはこれに限定されない。例えば、コンサートにおける演奏者を固定カメラ及び移動カメラを用いて撮影するシーンに本願発明を利用してもよい。あるいは、自動車等の乗り物が被写体であってもよい。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わされて用いられてもよい。

実施形態においては、信号Ｓｔが同期の対象となる対象信号である例を説明した。しかし、対象信号は信号Ｓｔに限定されない。ビート信号Ｓｂの元となった信号Ｓｒ自身（音信号自身）が、同期の対象となってもよい。この場合、信号Ｓｒ［１］及び信号Ｓｒ［２］が対象信号である。なお、実施形態のように信号Ｓｔが対象信号である場合であっても、信号Ｓｒと信号Ｓｔとの時間差は既知であるので、信号Ｓｔを同期すると、結果として信号Ｓｒも同期される。

信号同期システム１の機能を実現するためのハードウェア構成は、実施形態において例示したものに限定されない。要求される機能を実現できるものであれば、信号同期システム１はどのようなハードウェア構成を有していてもよい。また、機能とハードウェアとの対応関係は、実施形態で例示したものに限定されない。例えば、実施形態において信号同期装置１０に実装されていた機能を、２台以上の装置に分散して実装してもよい。また、実施形態又は変形例において信号同期装置１０に実装されていた機能の少なくとも一部を、装置２０に実装してもよい。例えば、装置２０自身が信号同期装置１０としての機能を有してもよい（単一の装置が、信号同期装置１０及び装置２０としての機能を兼ね備えていてもよい）。この場合、例えば装置２０［１］は、装置２０［２］からデータＤｔ［２］及びデータＤｒ［２］を取得し、自身で記憶しているデータＤｒ［１］を用いて、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。

実施形態においては２個の信号が同期される例を説明したが、同期される信号の数は２個に限定されない。３個以上の信号が同期されてもよい。

信号同期装置１０及び装置２０において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、実施形態において例示したステップを備える必要はない。これらのステップの一部が省略されてもよい。また、これらのステップの一部の順番が入れ替えられてもよい。

１…信号同期システム、１０…信号同期装置、１１…取得部、１２…同期部、１３…記憶部、１４…制御部、１６…ビート検出部、２０…装置、２１…生成部、２２…取得部、２３…記憶部、２４…送信部、２５…ＵＩ部、２６…制御部、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…通信ＩＦ、２０１…ＣＰＵ、２０２…メモリ、２０３…ストレージ、２０４…移動体通信部、２０５…無線ＬＡＮ通信部、２０６…カメラ、２０７…マイクロフォン、２０９…タッチスクリーン

Claims (1)

1. 音源に対し移動している第１装置において取得された第１音信号を取得するステップと、
   前記第１音信号との時間差が既知の第１対象信号を取得するステップと、
   前記第１装置と異なる第２装置において取得された第２音信号を取得するステップと、
   前記第２音信号との時間差が既知の第２対象信号を取得するステップと、
   前記第１音信号及び前記第２音信号の各々から第１ビート信号及び第２ビート信号を検出するステップと、
   前記第１ビート信号及び第２ビート信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップと
   を有する信号同期方法。