JP2018155897A - 情報処理方法 - Google Patents
情報処理方法 Download PDFInfo
- Publication number
- JP2018155897A JP2018155897A JP2017052319A JP2017052319A JP2018155897A JP 2018155897 A JP2018155897 A JP 2018155897A JP 2017052319 A JP2017052319 A JP 2017052319A JP 2017052319 A JP2017052319 A JP 2017052319A JP 2018155897 A JP2018155897 A JP 2018155897A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sound
- sound source
- unit
- sound signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】像を撮影した装置と音源との距離の差に起因する映像の同期のずれを緩和する。
【解決手段】一実施形態に係る情報処理方法は、第1音源及び第2音源からの音を第1マイクロフォンを用いて記録した音信号を示す第1データ、第1音源及び第2音源からの音を第2マイクロフォンを用いて記録した音信号を示す第2データ、及び前記第1データ又は前記第2データから前記第1音源の音を分離した音信号を示す第3データの相互相関を示す特徴量を計算するステップと、前記特徴量を用いて、前記第1音源及び前記第2音源の距離に関する情報を計算するステップとを有する情報処理方法を有する。
【選択図】図6
【解決手段】一実施形態に係る情報処理方法は、第1音源及び第2音源からの音を第1マイクロフォンを用いて記録した音信号を示す第1データ、第1音源及び第2音源からの音を第2マイクロフォンを用いて記録した音信号を示す第2データ、及び前記第1データ又は前記第2データから前記第1音源の音を分離した音信号を示す第3データの相互相関を示す特徴量を計算するステップと、前記特徴量を用いて、前記第1音源及び前記第2音源の距離に関する情報を計算するステップとを有する情報処理方法を有する。
【選択図】図6
Description
本発明は、2個以上の時系列データを同期する技術に関する。
映像又は音声等、センサーを用いて記録された2個以上の時系列データを同期させる技術が知られている。例えば特許文献1には、複数の撮像装置において撮影された複数の画像を同期して再生する技術が記載されている。具体的には、特許文献1においては、2台の撮像装置の各々において複数の画像を撮影する際に録音された音声データを用いて2台の撮像装置における画像の撮影時刻のずれを示す時間ずれ情報を生成する。2台の撮像装置は、この時間ずれ情報を用いて決定されるタイミングで画像の再生を行う。
音を用いて2つの映像を同期しようとすると、これら2つの映像を撮影した装置と音源との距離の差、及び光速と音速との差により、2つの映像がずれてしまう場合があった。
これに対し本発明は、映像を撮影した装置と音源との距離の差に起因する映像の同期のずれを緩和する技術を提供する。
本発明は、第1音源及び第2音源からの音を第1マイクロフォンを用いて記録した音信号を示す第1データ、第1音源及び第2音源からの音を第2マイクロフォンを用いて記録した音信号を示す第2データ、及び前記第1データ又は前記第2データから前記第1音源の音を分離した音信号を示す第3データの相互相関を示す特徴量を計算するステップと、前記特徴量を用いて、前記第1音源及び前記第2音源の距離に関する情報を計算するステップとを有する情報処理方法を提供する。
前記第1データ及び前記第2データには、それぞれ映像データが含まれ、この情報処理方法は、前記第1データ及び前記第2データに含まれる音並びに前記計算された距離を用いて、前記第1データに含まれる映像データと前記第2データに含まれる映像データとを同期するステップとを有してもよい。
本発明によれば、映像を撮影した装置と音源との距離の差に起因する映像の同期のずれを緩和することができる。
1.概要及び構成
図1は、一実施形態に係るデータ同期システム1の機能構成を例示する図である。データ同期システム1は、データ同期サービスを提供する。データ同期サービスは、N個のデータD[1]〜D[N]を同期するサービスである。データDは、センサー(図示略)により検知された時系列データの一例である。センサーは何を検知するものであってもよいが、一例としては映像センサーであるカメラ及び音センサーであるマイクロフォンである。時系列データとは、センサーの出力信号を時間の経過とともに記録したデータをいう。この例においてデータDは動画データである。各動画データは、映像トラック(映像データ)及び音声トラック(音データ)を含む。データ同期システム1は、複数の動画データを、音声トラックを基準に用いて同期する。
図1は、一実施形態に係るデータ同期システム1の機能構成を例示する図である。データ同期システム1は、データ同期サービスを提供する。データ同期サービスは、N個のデータD[1]〜D[N]を同期するサービスである。データDは、センサー(図示略)により検知された時系列データの一例である。センサーは何を検知するものであってもよいが、一例としては映像センサーであるカメラ及び音センサーであるマイクロフォンである。時系列データとは、センサーの出力信号を時間の経過とともに記録したデータをいう。この例においてデータDは動画データである。各動画データは、映像トラック(映像データ)及び音声トラック(音データ)を含む。データ同期システム1は、複数の動画データを、音声トラックを基準に用いて同期する。
ここで、データD[i]及びデータD[j]の2個のデータの同期処理は以下のとおり行われる。同期処理において、データD[i]及びデータD[j]の相関を示す特徴量を用いて同期を行うことをいう。相関を示す特徴量は、データD[i]の音データにより示される信号波形と、データD[j]の音データにより示される信号波形との相互相関Cij(τ)の絶対値|Cij(τ)|を最大とする時間差τである。相互相関Cij(τ)は例えば次式(1)で表される。
ここで、音信号yiはデータD[i]に含まれる音データにより示される音信号であり、音信号yjはデータD[j]に含まれる音データにより示される音信号である。式(1)は、音信号yi(t)の始点と音信号yj(t)の始点とを時間領域において一致させてから、音信号yi(t)に対する音信号yj(t)の時間差(時間軸上のシフト量)τを変数として両者間の信号波形の相関の程度を示した数値列を示す。時間差τは、負の値もとり得る。例えば、データD[j]が時間領域においてデータD[i]の後方に位置する場合、時間差τは正であり、データD[j]が時間領域においてデータD[i]の前方に位置する場合、時間差τは負である。別の例において、相互相関Cij(τ)は次式(2)で表される。
式(2)は、音信号yi(t)の周波数スペクトルYi(f)と音信号yj(t)の周波数スペクトルYj(f)とのクロススペクトルの逆フーリエ変換を意味する。Yi*(f)はYi(f)の複素共役である。
ここで、音声トラックを基準として用いて動画データを同期する技術には、音速と光束との差の壁という問題がある。例えば、ステージ上で音楽を演奏している演奏者を2つの撮像装置(撮像装置C1及び撮像装置C2)で動画撮影する状況を考える。撮像装置C1はステージのすぐ近くに設置され、撮像装置C2はステージから340m離れた位置に設置されている。撮像装置C1により記録された動画データにおいて、音と映像がほぼ同期している。一方、撮像装置C2により記録された動画データにおいて、映像に対し音は約1秒遅れる。これは、光速が約3×108m/sであるのに対し、音速は約340m/sであるためである。この状況で、これら2つの動画データを、音声トラックを基準として同期すると、撮像装置C1により記録された映像が、撮像装置C2により記録された映像に対して約1秒遅れた状態になる。本実施形態はこの問題に対処する。
図2は、一実施形態の原理を示す図である。ここでは以下の状況を想定する。音源A(第1音源の一例)及び音源B(第2音源の一例)の2つの音源が、異なる位置に存在する。これらの音源から発せられた音を撮像装置C1及び撮像装置C2を用いて記録する。撮像装置C1及び撮像装置C2は、それぞれ、カメラ及びマイクロフォンを有する。撮像装置C1のマイクロフォンは第1マイクロフォンの一例であり、撮像装置C2のマイクロフォンは第2マイクロフォンの一例である。撮像装置C1において動画の記録を開始した時刻と撮像装置C2において動画の記録を開始した時刻とは異なっており、両者の差はt0である(撮像装置C2における開始時刻が遅いときにt0は正である)。撮像装置C1から音源A及び音源Bまでの距離は、それぞれL1及びL2である。撮像装置C2から音源A及び音源Bまでの距離は、それぞれL3及びL4である。L1とL3とは互いに異なっている。L2とL4とも互いに異なっている。音源Aと音源Bとを比較すると、音量が大きい等の理由により、音源Aの方が相互相関に対する寄与が大きい。
ここで、動画データD[1]及び動画データD[2]から以下の音信号を得ることを考える。
y[1,o]:動画データD[1]の音声トラックに記録された音信号。
y[1,A]:音信号y[1,o]から音源Aの音を抽出した音信号。
y[1,B]:音信号y[1,o]から音源Bの音を抽出した音信号。
y[2,o]:動画データD[2]の音声トラックに記録された音信号。
y[2,A]:音信号y[2,o]から音源Aの音を抽出した音信号。
y[2,B]:音信号y[2,o]から音源Bの音を抽出した音信号。
音信号y[i,j]及び音信号y[s,t]の相互相関から計算される時間差をτ[i,j,s,t]と表すと、例えば、
τ[1,o,2,o]=t0+tm …(3)
τ[1,o,2,A]=t0+tA …(4)
τ[1,o,2,B]=t0+tB …(5)
である。なお、tmは音源Aと音源Bとを合成した仮想音源から撮像装置C1までの距離とこの仮想音源から撮像装置C2までの距離との差に起因する時間差を表す。tAは音源Aから撮像装置C1までの距離と音源Aから撮像装置C2までの距離との差に起因する時間差を示す。なお、音源Aと音源Bのうち音源Aの方が相互相関に対する寄与が十分に大きい場合、tm=tAとなる。tBは音源Bから撮像装置C1までの距離と音源Bから撮像装置C2までの距離との差に起因する時間差を示す。
y[1,o]:動画データD[1]の音声トラックに記録された音信号。
y[1,A]:音信号y[1,o]から音源Aの音を抽出した音信号。
y[1,B]:音信号y[1,o]から音源Bの音を抽出した音信号。
y[2,o]:動画データD[2]の音声トラックに記録された音信号。
y[2,A]:音信号y[2,o]から音源Aの音を抽出した音信号。
y[2,B]:音信号y[2,o]から音源Bの音を抽出した音信号。
音信号y[i,j]及び音信号y[s,t]の相互相関から計算される時間差をτ[i,j,s,t]と表すと、例えば、
τ[1,o,2,o]=t0+tm …(3)
τ[1,o,2,A]=t0+tA …(4)
τ[1,o,2,B]=t0+tB …(5)
である。なお、tmは音源Aと音源Bとを合成した仮想音源から撮像装置C1までの距離とこの仮想音源から撮像装置C2までの距離との差に起因する時間差を表す。tAは音源Aから撮像装置C1までの距離と音源Aから撮像装置C2までの距離との差に起因する時間差を示す。なお、音源Aと音源Bのうち音源Aの方が相互相関に対する寄与が十分に大きい場合、tm=tAとなる。tBは音源Bから撮像装置C1までの距離と音源Bから撮像装置C2までの距離との差に起因する時間差を示す。
ここで、式(3)におけるtmの項を誤差項と考えると、音信号y[1,o]及び音信号y[2,o]の相互相関から得られる時間差τは、撮像装置C1及び撮像装置C2において動画の記録を開始した時刻の差にほぼ相当する。すなわち、式(3)から時間差t0が得られる。時間差t0が得られれば、式(4)及び式(5)から時間差tA及び時間差tBが得られる。例えば被写体が音源Bであった場合、時間差tBの分だけ、画像データD[2]の映像トラックを音声トラックに対してずらすことにより、画像データD[1]と画像データD[2]との映像におけるタイミングのずれを緩和することができる。
再び図1を参照して説明する。この例において、データ同期システム1は、サーバ装置10及び複数のクライアント装置20を有する。サーバ装置10は、データ同期サービスにおけるサーバとして機能する情報処理装置である。クライアント装置20は、データ同期サービスにおけるクライアントとして機能する情報処理装置である。一のクライアント装置20を他のクライアント装置20と区別するときは、クライアント装置20Aのように添字を用いる。サーバ装置10は、入力部11、記憶部12、取得部13、音源分離部14、特徴量計算部15、距離計算部16、同期処理部17、及び出力部18を有する。クライアント装置20は、データ取得部21、記憶部22、アップロード部23、ダウンロード部24、再生部25、及びUI部26を有する。
クライアント装置20において、データ取得部21は、データDを取得する。クライアント装置20は、外部の撮像装置(例えばデジタルビデオカメラ)により撮影されたデータDを取得してもよいし、クライアント装置20に内蔵された撮像装置により撮影されたデータDを取得してもよい(撮像装置は図3において略)。記憶部22は、各種のデータを記憶する。この例において、記憶部22は、データ取得部21により取得されたデータDを記憶する。アップロード部23は、記憶部22に記憶されているデータDをサーバ装置10にアップロード(すなわち送信)する。
サーバ装置10において、入力部11は、2個以上のセンサーを用いて記録された2個以上の時系列データの入力を受け付ける。2個以上のセンサーとは、物理的に2個以上のセンサーを意味する。これら2個以上のセンサーは、同種のもの(例えば2個以上のマイクロフォン)であってもよいし、異種のもの(例えば1個以上のカメラ及び1個以上のマイクロフォン)であってもよい。ここでは前者の例を用いて説明する。この例においてデータD[1]〜D[N]は、それぞれ異なるクライアント装置20において取得されたデータである。例えば、データD[1]はクライアント装置20Aにおいて取得されたデータであり、データD[2]はクライアント装置20Bにおいて取得されたデータである。
記憶部12は、各種のデータを記憶する。記憶部12に記憶されるデータには、例えば、データD[1]〜D[N]が含まれる。
取得部13は、同期の対象となるデータDを記憶部12から取得する(すなわち読み出す)。この例において、取得部13は、データD[1](第1データの一例)及びデータD[2](第2データの一例)を取得する。データD[1]及びデータD[2]はいずれも、音源A及び音源Bの2つの音源からの音を含む音信号を記録した音声トラックを含む。なお、取得部13がこれらのデータを取得するタイミングは同時である必要はなく、それぞれどのようなタイミングで取得されてもよい。
音源分離部14は、取得部13により取得されたデータDのうち少なくとも一部について、音源分離処理を行う。音源分離処理とは、データDに含まれる音声トラックに記録された音信号から、音源A及び音源Bの少なくとも一方の音を分離又は抽出する処理をいう。音源分離処理としては周知の技術を用いることができる(ただし、位相情報を保持する必要があるので線形処理に限られる)。一例において、音源分離部14は、バンドパスフィルターを用いて音源を分離する。例えば、音源Aが発する音の周波数帯が、音源Bが発する音の周波数帯と異なっている場合はバンドパスフィルターにより音源Aの音と音源Bの音とを分離することができる。取得部13は、さらに、音源分離部14により音源分離処理されたデータを取得する。このデータは第3データの一例である。
特徴量計算部15は、第1データ、第2データ、及び第3データから選択された2個のデータの相互相関を示す特徴量を、2組以上の組み合わせについて計算する。距離計算部16は、特徴量計算部15により計算された2つ以上の特徴量を用いて、音源A及び音源Bの距離に関する情報を計算する。
同期処理部17は、データD[1]及びデータD[2]を同期する。ここで、データD[1]及びデータD[2]を同期するとは、データD[1]及びデータD[2]の時間領域における相対的な位置関係を特定することをいう。一例において、同期処理部17は、データD[1]及びデータD[2]の時間領域における相対的な位置関係を調整して合成し、新たな時系列データを生成する。別の例において、同期処理部17は、データD[1]及びデータD[2]の時間領域における相対的な位置関係を示すデータを生成する。
この例において、同期処理部17は、さらに、距離計算部16により計算された距離を用いて、映像と音声とのずれを緩和するよう調整する。出力部18は、同期処理部17により生成されたデータを出力する。
図3は、サーバ装置10のハードウェア構成を例示する図である。サーバ装置10は、CPU(Central Processing Unit)101、メモリー102、ストレージ103、及び通信IF104を有するコンピュータ装置である。CPU101は、プログラムに従って各種の演算を行い、サーバ装置10の他のハードウェア要素を制御する制御装置である。メモリー102はCPU101が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばROM(Read Only Memory)及びRAM(Random Access Memory)を含む。ストレージ103は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive)を含む。通信IF104は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えばNIC(Network Interface Card)を含む。
この例において、ストレージ103はコンピュータ装置をデータ同期システム1におけるサーバ装置10として機能させるためのプログラム(以下「サーバプログラム」という)を記憶する。CPU101がサーバプログラムを実行することにより、図3に示した機能がコンピュータ装置に実装される。CPU101がサーバプログラムを実行している状態において、通信IF104は入力部11及び出力部18の一例である。メモリー102及びストレージ103の少なくとも一方は記憶部12の一例である。CPU101は、取得部13、音源分離部14、特徴量計算部15、距離計算部16、及び同期処理部17の一例である。
図4は、クライアント装置20のハードウェア構成を例示する図である。クライアント装置20は、CPU201、メモリー202、ストレージ203、通信IF204、入力装置205、カメラ206、マイクロフォン207、ディスプレイ208、及びスピーカ209を有するコンピュータ装置、例えばスマートフォン、タブレット端末、又はパーソナルコンピュータである。CPU201は、プログラムに従って各種の演算を行い、クライアント装置20の他のハードウェア要素を制御する制御装置である。メモリー202はCPU201が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばROM及びRAMを含む。ストレージ203は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばSSD又はHDDを含む。通信IF204は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えば無線通信を行うためのアンテナ及びチップセットを含む。入力装置205はユーザーが情報又は指示を入力するための装置であり、例えばタッチデバイスを含む。カメラ206は、映像を撮影し、撮影した映像をデータとして記録するための装置である。ここでいう映像は、静止画及び動画の双方を含む概念である。マイクロフォン207は、音声を集音し、集音した音声をデータとして記録するための装置である。ディスプレイ208は、映像を出力する装置である。スピーカ209は、音声を出力する装置である。
この例において、ストレージ203はコンピュータ装置をデータ同期システム1におけるクライアント装置20として機能させるためのプログラム(以下「クライアントプログラム」という)を記憶する。CPU201がクライアントプログラムを実行することにより、図3に示した機能がコンピュータ装置に実装される。CPU201がサーバプログラムを実行している状態において、CPU201は、データ取得部21及び再生部25の一例である。メモリー202及びストレージ203の少なくとも一方は記憶部22の一例である。通信IF204はアップロード部23及びダウンロード部24の一例である。入力装置205及びディスプレイ208はUI部26の一例である。
2.動作
図5は、データ同期システム1における動作の概要を示すシーケンスチャートである。ここでは、サーバ装置10、及びクライアント装置20A〜20Dの4台のクライアント装置20のみを図示する。クライアント装置20A〜20Cは、それぞれ、図7の処理に先立ってデータD[1]〜D[3]を取得する。ステップS1において、クライアント装置20Aは、データD[1]をサーバ装置10にアップロードする。ステップS2において、サーバ装置10は、データD[1]を記憶する。ステップS3において、クライアント装置20Bは、データD[2]をサーバ装置10にアップロードする。ステップS4において、サーバ装置10は、データD[2]を記憶する。ステップS5において、クライアント装置20Cは、データD[3]をサーバ装置10にアップロードする。ステップS6において、サーバ装置10は、データD[3]を記憶する。図示していないクライアント装置20も含めて、例えばC台のクライアント装置20(Cは例えば3以上の自然数)からそれぞれデータDがアップロードされたとすると、サーバ装置10は、記憶部12にデータD[1]〜D[C]を記憶する。
図5は、データ同期システム1における動作の概要を示すシーケンスチャートである。ここでは、サーバ装置10、及びクライアント装置20A〜20Dの4台のクライアント装置20のみを図示する。クライアント装置20A〜20Cは、それぞれ、図7の処理に先立ってデータD[1]〜D[3]を取得する。ステップS1において、クライアント装置20Aは、データD[1]をサーバ装置10にアップロードする。ステップS2において、サーバ装置10は、データD[1]を記憶する。ステップS3において、クライアント装置20Bは、データD[2]をサーバ装置10にアップロードする。ステップS4において、サーバ装置10は、データD[2]を記憶する。ステップS5において、クライアント装置20Cは、データD[3]をサーバ装置10にアップロードする。ステップS6において、サーバ装置10は、データD[3]を記憶する。図示していないクライアント装置20も含めて、例えばC台のクライアント装置20(Cは例えば3以上の自然数)からそれぞれデータDがアップロードされたとすると、サーバ装置10は、記憶部12にデータD[1]〜D[C]を記憶する。
ステップS7において、クライアント装置20Dは、N個(Nは、例えば2≦N≦Cを満たす自然数)のデータDの同期要求をサーバ装置10に送信する。ここでは便宜的に、同期要求によりデータD[1]及びデータD[2]が指定される例を説明する。この同期要求は、データD[1]及びデータD[2]の識別子、並びにクライアント装置20Dの識別子を含む。ステップS8において、サーバ装置10は、同期要求に従って複数のデータDを同期する。ステップS9において、クライアント装置20Dは、同期されたデータをダウンロードする。ステップS10において、クライアント装置20Dは、ダウンロードしたデータを再生する。
図6は、ステップS8における同期処理(情報処理方法)の詳細を例示するフローチャートである。以下においては取得部13等の機能要素を処理の主体として説明するが、これは、サーバプログラムを実行しているCPU101が他のハードウェア要素と協働して処理を実行することを意味する。
ステップS801において、取得部13は、同期要求により指定されたデータD(この例においてはデータD[1]及びデータD[2])を記憶部12から取得する(すなわち読み出す)。
ステップS802において、音源分離部14は、取得部13により取得されたデータDに対し、音源分離処理を行う。この例において、音源分離部14は、データD[2]に対し音源分離処理を行い、データD[2]の音声トラックに記録された音信号y[2,o]から、音信号y[2,A]及び音信号y[2,B]を分離する。
ステップS803において、特徴量計算部15は、音源分離部14において得られた音信号を含む複数の音信号につき、相互相関を示す特徴量である時間差τ(式(1))を計算する。この例において、特徴量計算部15は、以下の組み合わせの音信号について時間差τを計算する。
y[1,o]とy[2,o] …(6)
y[1,o]とy[2,A] …(7)
y[1,o]とy[2,B] …(8)
y[1,o]とy[2,o] …(6)
y[1,o]とy[2,A] …(7)
y[1,o]とy[2,B] …(8)
ステップS804において、距離計算部16は、特徴量計算部15において得られた時間差τを用いて、音源A及び音源Bの距離に関する情報を計算する。音源A及び音源Bの距離に関する情報は、例えば、音源Aから見たときの撮像装置C1までの距離と撮像装置C2までの距離との差に起因する時間差tA、及び音源Bから見たときの撮像装置C1までの距離と撮像装置C2までの距離との差に起因する時間差tBの少なくとも一方を含む。
ステップS805において、同期処理部17は、データD[1]とデータD[2]とを同期する。例えば、同期処理部17は、データD[1]及びデータD[2]において、時間領域における相互の位置関係を時間差τに応じて調整し、合成したデータを生成する。なお、ここで用いられる時間差τは、y[1,o]とy[2,o]との相互相関から得られる時間差τである。
ステップS806において、同期処理部17は、距離計算部16において計算された距離に関する情報を用いて、映像と音声とのずれを緩和するよう調整する。この調整は、被写体である音源に対応する時間差を用いて行われる。被写体が音源Aである場合、時間差tAが用いられる。被写体が音源Bである場合、時間差tBが用いられる。この例において、同期処理部17は、データD[2]の映像トラックの時間領域における位置を、被写体に対応する時間差の分だけずらす。
図7は、ステップS806において生成されるデータを例示する図である。この例においては、データD[2]の音声トラックは、データD[1]の音声トラックに対して時間差t0だけ時間領域において後方に位置する。データD[1]の映像トラックは、データD[1]の音声トラックに対してtBだけ時間領域において前方に位置する(撮像装置C1の方が、音源Bから遠い位置で撮影した)。この例においては音源Bが被写体であり、データD[1]映像トラックと音声トラックとの時間差は、データD[1]の映像トラックとデータD[2]の映像トラックとの同期のずれを緩和するためのものである。
再び図6を参照して説明する。ステップS807において、出力部18は、同期処理部17により生成されたデータを出力する。この例によれば、データD[1]の映像トラックとデータD[2]の映像トラックとをより正確に同期することができる。
3.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
実施形態において音信号には複数の音源からの音が含まれる例を説明した。しかし、音信号には単一の音源からの音のみが含まれていてもよい。この場合において、音源分離部14は、この音源からの音を、例えば低域成分及び高域成分に分離する。特徴量計算部15は、元の音信号及び音源分離により得られた音信号を用いて、相互相関の特徴量を計算する。
データDは動画データに限定されない。データDは、センサーを用いて記録された時系列データであればどのようなデータでもよく、例えば、映像及び音声の少なくとも一方に代えて、又は加えて、他の情報を含んでもよい。
データ同期システム1の機能を実現するためのハードウェア構成は、図3及び図4で例示したものに限定されない。要求される機能を実現できるものであれば、データ同期システム1はどのようなハードウェア構成を有していてもよい。また、機能とハードウェアとの対応関係は、実施形態で例示したものに限定されない。例えば、実施形態においてサーバ装置10に実装されていた機能を、2台以上の装置に分散して実装してもよい。あるいは、実施形態においてサーバ装置10に実装されている機能の少なくとも一部を、クライアント装置20に実装してもよい。例えば、データ同期システム1のすべての機能を、単一の情報処理装置に実装してもよい。
サーバ装置10及びクライアント装置20において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリーなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、図6のすべてのステップを備える必要はない。これらのステップの一部が省略されてもよい。
1…データ同期システム、10…サーバ装置、11…入力部、12…記憶部、13…取得部、14…音源分離部、15…特徴量計算部、16…距離計算部、17…同期処理部、18…出力部、20…クライアント装置、21…データ取得部、22…記憶部、23…アップロード部、24…ダウンロード部、25…再生部、26…UI部、101…CPU、102…メモリー、103…ストレージ、104…通信IF、201…CPU、202…メモリー、203…ストレージ、204…通信IF、205…入力装置、206…カメラ、207…マイクロフォン、208…ディスプレイ、209…スピーカ
Claims (2)
- 第1音源及び第2音源からの音を第1マイクロフォンを用いて記録した音信号を示す第1データ、第1音源及び第2音源からの音を第2マイクロフォンを用いて記録した音信号を示す第2データ、及び前記第1データ又は前記第2データから前記第1音源の音を分離した音信号を示す第3データの相互相関を示す特徴量を計算するステップと、
前記特徴量を用いて、前記第1音源及び前記第2音源の距離に関する情報を計算するステップと
を有する情報処理方法。 - 前記第1データ及び前記第2データには、それぞれ映像データが含まれ、
前記第1データ及び前記第2データに含まれる音並びに前記計算された距離を用いて、前記第1データに含まれる映像データと前記第2データに含まれる映像データとを同期するステップと
を有する請求項1に記載の情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017052319A JP2018155897A (ja) | 2017-03-17 | 2017-03-17 | 情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017052319A JP2018155897A (ja) | 2017-03-17 | 2017-03-17 | 情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018155897A true JP2018155897A (ja) | 2018-10-04 |
Family
ID=63716479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017052319A Pending JP2018155897A (ja) | 2017-03-17 | 2017-03-17 | 情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018155897A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11418694B2 (en) | 2020-01-13 | 2022-08-16 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
-
2017
- 2017-03-17 JP JP2017052319A patent/JP2018155897A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11418694B2 (en) | 2020-01-13 | 2022-08-16 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102325743B1 (ko) | 정보 처리 장치, 방법, 및 프로그램 | |
KR20110105715A (ko) | 입체 음향 재생 방법 및 장치 | |
US20100118201A1 (en) | Sound zooming apparatus and method synchronized with moving picture zooming function | |
US10734029B2 (en) | Signal processing apparatus, signal processing method, and non-transitory computer-readable storage medium | |
JP2017135539A (ja) | 収録データ処理方法 | |
JP2017103542A (ja) | 同期装置、同期方法及び同期プログラム | |
JP2014082746A (ja) | 情報処理装置、情報処理方法 | |
EP2795402A1 (en) | A method, an apparatus and a computer program for determination of an audio track | |
US20210132895A1 (en) | Hybrid audio signal synchronization based on cross-correlation and attack analysis | |
KR101155611B1 (ko) | 음원 위치 산출 장치 및 그 방법 | |
KR101721085B1 (ko) | 촬영 장치 및 센서의 시간 동기화 장치 및 방법 | |
JP2018155897A (ja) | 情報処理方法 | |
JP6003083B2 (ja) | 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 | |
JP2016092772A (ja) | 信号処理装置及びその信号処理方法、並びにプログラム | |
CN101822072A (zh) | 摄像设备 | |
US20220261436A1 (en) | Method and a system for determining a 3-dimensional data structure of an audio file, and a playback position in the audio file for synchronization | |
JP2018157385A (ja) | データ同期方法 | |
JP2018157363A (ja) | データ同期方法 | |
JP2010171626A (ja) | 動画生成装置および動画生成方法 | |
JP6471923B2 (ja) | 信号処理装置および方法、並びにプログラム | |
JP2019176229A (ja) | 信号同期方法 | |
JP2013175964A (ja) | 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 | |
JP2019174520A (ja) | 信号同期方法および信号同期装置 | |
JP6693180B2 (ja) | 収録データ解析方法および収録データ解析装置 | |
JP6772487B2 (ja) | 収録データ解析方法および収録データ解析装置 |