JP2018505478A - オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステム - Google Patents
オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステム Download PDFInfo
- Publication number
- JP2018505478A JP2018505478A JP2017537384A JP2017537384A JP2018505478A JP 2018505478 A JP2018505478 A JP 2018505478A JP 2017537384 A JP2017537384 A JP 2017537384A JP 2017537384 A JP2017537384 A JP 2017537384A JP 2018505478 A JP2018505478 A JP 2018505478A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- recorded
- inertial
- mobile content
- time stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10546—Audio or video recording specifically adapted for audio data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させる方法、装置及びシステムは、モバイル・コンテンツ・デバイスの振動に応答して、振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することを含む。記録された信号は、記録された信号の夫々において対応するピークのタイムスタンプを決定するよう、夫々処理される。記録されたオーディオ信号のタイムスタンプと記録された慣性信号のタイムスタンプとの間の時間距離が決定され、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性信号は、記録されたオーディオ信号のタイムスタンプと記録された慣性信号のタイムスタンプとの間の決定された時間距離に等しい時間の量だけシフトされる。
Description
本原理は、メディア消費及びインタラクションに関係がある。より具体的には、本原理は、オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステムに関係がある。
近年、市場ではモバイル・デバイス・テクノロジが激増してきた。毎日指数関数的且つ野心的に成長するユーザのニーズにより、研究者及び製造業者は、ユーザと彼らのモバイル・デバイスとの間のインタラクションを強化する努力を尽くしてきた。多くの研究は、イメージング技術及び３Ｄテクノロジを通じてユーザの視覚認知を改善すべく行われてきた。研究者はまた、より良い経験をユーザに提供するよう聴覚発達をモバイル・アプリケーションに組み込んできた。しかし、それらの改善は、依然として２つの感覚、すなわち、視覚及び聴覚、に制限されており、一方、仮想現実における研究者は、触知覚がデバイスとユーザの没入感覚との間の強いつながりをもたらすように見えることを示している。あいにく、モバイル・デバイスで触覚データを生成するプロセスは、よく理解されていない。モバイル・デバイスでは、オーディオビジュアル及び知覚メディアは、同時に、しかし独立したプロセスで、生成されるので、解決される必要がある同期化の問題が現れる。
より具体的には、問題は、モバイル・デバイスにおいて媒体を記録することにおける開始遅延に関して現れる。具体的に、夫々の記録コンポーネントは、それが起動されるときに即時に動作し始めず、ランダムな遅延の後にのみ動作し始める。また、目下の記録されたフレームの絶対タイムスタンプ（両方の記録プロセスに共通する。）にアクセスすることは、現在のところ不可能であり、起動時点から、触覚及びオーディオビジュアル・コンテンツが記録され始める時点の間の実際のレイテンシーは、通常、デバイスに応じて、１００から６００ミリ秒まで変化する。この予測不可能な挙動のために、センサ及びメディア記録デバイスの起動をスケジューリングすることは、現在のところ実現不可能であるから、記録されたデータは同じ開始点を有している。そのようなランダムなレイテンシーは、同時に両方のストリームを使用する場合において、最終のレンダリングについて非現実的且つ不快なユーザ経験を生じさせるほど十分に大きくなる。
本原理は、オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステムを提案する。
本原理の一実施形態において、方法は、モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することと、前記記録されたオーディオ信号を処理して、その信号において対応するピークのタイムスタンプを決定することと、前記記録された慣性信号を処理して、その信号において対応するピークのタイムスタンプを決定することと、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定することと、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトすることとを含む
本原理の代替の実施形態において、モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる装置は、プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリと、前記プログラム・ルーチンを実行するプロセッサとを含む。そのような実施形態において、前記プロセッサは、前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、前記記録されたオーディオ信号を処理して、その信号において対応するピークのタイムスタンプを決定し、前記記録された慣性信号を処理して、その信号において対応するピークのタイムスタンプを決定し、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトするよう構成される。
本原理の代替の実施形態において、モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させるシステムは、前記モバイル・コンテンツ・デバイスを振動させるよう構成される振動器と、前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダと、前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダと、プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリ、並びに前記プログラム・ルーチンを実行するプロセッサを有する装置とを含む。そのような実施形態において、前記装置は、前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、前記記録されたオーディオ信号を処理して、その信号において対応するピークのタイムスタンプを決定し、前記記録された慣性信号を処理して、その信号において対応するピークのタイムスタンプを決定し、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトするよう構成される。
本原理の教示は、添付の図面に関連して以下の詳細な説明を検討することによって、容易に理解され得る。
本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させるシステムのハイレベルのブロック図を表す。
本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させる図１のシステムで実装されることが可能な触覚オーディオビジュアル・コンテンツ同期装置のハイレベルのブロック図を表す。
本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させることにおける使用のためにオーディオ信号及び加速度信号を用いてモバイル・コンテンツ・デバイスとのユーザ・インタラクションにマークを付すシーケンスの図解ワークフロー及び結果として現れる信号を表す。
本原理の代替の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させることにおける使用のためにオーディオ信号及び加速度信号を用いてモバイル・コンテンツ・デバイスとのユーザ・インタラクションにマークを付す代替のシーケンスの図解ワークフロー及び結果として現れる信号を表す。
本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させる方法５００についてのフロー図を表す。 図面は、記載される様々な原理の概念を説明することを目的とし、必ずしも本原理を説明するための唯一の可能な構成ではないことが理解されるべきである。 理解を助けるよう、同じ参照符号は、可能であれば、複数の図に共通する同じ要素を示すために使用されている。
本原理の実施形態は、有利なことに、オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステムを提供する。本原理は、例えば携帯電話機のような特定のモバイル・デバイスの文脈内で主として記載されるが、本原理の具体的な実施形態は、本発明の適用範囲を制限するものとして扱われるべきではない。本原理の概念は、有利なことに、例えば携帯電話機、タブレット、コンピュータ、ディスプレイ及び同様のもののような、多くの他のコンテンツ消費デバイスのために、オーディオビジュアル・コンテンツを慣性計測との同期化に適用され得ることが当業者によって認識され、本原理の教示によって知らされるだろう。
本願の特許請求の範囲において、特定の機能を実施する手段として表される如何なる要素も、例えば、ａ）その機能を実施する回路素子の組み合わせ、又はｂ）如何なる形態もとるソフトウェアであって、従って、機能を実施するよう当該ソフトウェアを実行する適切な回路構成と組み合わされるファームウェア、マイクロコード又は同様のものを含む前記ソフトウェアを含め、その機能を実施する如何なる方法も包含するよう意図される。そのような特許請求の範囲によって定義される本原理は、挙げられている様々な手段によって提供される機能が組み合わされて、特許請求の範囲が要求する様態においてまとめられるという事実に存する。よって、それらの機能を提供することができる如何なる手段も、本願で示されているものと同等であると認識される。
更には、本原理の原理、態様、及び実施形態、並びにそれらの具体例を挙げている本願の全ての記述は、それらの構造上の及び機能上の同等物の両方を包含するよう意図される。その上、そのような同等物は、現在知られている同等物及び将来開発される同等物の両方、すなわち、構造にかかわらず、同じ機能を実施するよう開発されたあらゆる要素、を含むことが意図される。
図に示される様々な要素の機能は、専用のハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することが可能なハードウェア、の使用を通じて提供され得る。プロセッサによって提供される場合に、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、一部が共有され得る複数の個別プロセッサによって、提供され得る。更には、語“プロセッサ”又は“コントローラ”の明示的な使用は、ソフトウェアを実行することが可能なハードウェアをもっぱら指すと解されるべきではなく、暗黙的に、制限なしに、デジタル信号プロセッサ（“ＤＳＰ”）ハードウェア、ソフトウェアを記憶するリードオンリー・メモリ（“ＲＯＭ”）、ランダム・アクセス・メモリ（“ＲＡＭ”）、及び不揮発性ストレージを含むことができる。更には、本原理の原理、態様、及び実施形態、並びにそれらの具体例を挙げている本願の全ての記述は、それらの構造上の及び機能上の同等物の両方を包含するよう意図される。その上、そのような同等物は、現在知られている同等物及び将来開発される同等物の両方（すなわち、構造にかかわらず、同じ機能を実施するよう開発されたあらゆる要素）を含むことが意図される。
よって、例えば、本願で提示されるブロック図は、本発明の原理を具現化する、実例となるシステム・コンポーネント及び／又は回路構成の概念図を表すことが、当業者によって認識されるだろう。同様に、如何なるフローチャート、フロー図、状態遷移図、擬似コード、及び同様のものも、コンピュータ可読媒体において実質的に表現され、故に、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと、実行され得る様々なプロセスを表すことが、認識されるだろう。
更には、添付の図面において表されている、構成するシステム・コンポーネント及び方法の一部は、ソフトウェアにおいて実装され得るので、システム・コンポーネント又はプロセス機能ブロックの間の実際の接続は、本原理がプログラムされる様態に応じて異なりうる。本願の教示を考慮して、当業者は、本原理のそれら及び同様の実装又は構成に想到可能である。
本原理の実施形態は、オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステムを提供する。本原理に従って、一実施形態において同じモバイル・デバイスに組み込まれている異なったセンサから取得されたオーディオビジュアル・コンテンツ及び慣性データの自動（又は半自動）の同期化が、提供される。
図１は、本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させるシステムのハイレベルのブロック図を表す。図１のシステムは、実例として、本原理の実施形態に従うモバイル・コンテンツ・デバイス１００（例えば、タブレット）を有する。モバイル・コンテンツ・デバイス１００は、加速度計１１１、ジャイロスコープ１１２及び磁気計１１３（集合的に、慣性センサ１１０）を有する。モバイル・コンテンツ・デバイス１００は、カメラ付きマイクロホン１２０、レコーダ１３０及び触覚オーディオビジュアル・コンテンツ同期装置１５０を更に含む。図１のモバイル・コンテンツ・デバイス１００のレコーダ１３０は、実例として、知覚レコーダ１４２及びメディア・レコーダ１４４を有する。図１の本原理の実施形態では、モバイル・コンテンツ・デバイス１００は加速度計１１１、ジャイロスコープ１１２及び磁気計１１３を有するが、本原理の代替の実施形態では、モバイル・コンテンツ・デバイス１００は、動きを検出するための他のセンサを含むことができる。
図２は、本原理の実施形態に従って、触覚オーディオビジュアル・コンテンツ同期装置１５０のハイレベルのブロック図を表す。図２の実施形態において、触覚オーディオビジュアル・コンテンツ同期装置１５０は、実例として、プロセッサ２１０と、制御プログラム／ソフトウェア・ルーチン、触覚情報及び同様のものを記憶するメモリ２２０とを有する。プロセッサ２１０は、メモリ２２０に記憶されているソフトウェア・ルーチンを実行するのを助ける回路に加えて、例えば電源、クロック回路、キャッシュメモリ及び同様のもののような従来の支援回路２３０と協働する。そのようなものとして、ソフトウェア・プロセスとして本願で説明されるプロセス・ステップの一部は、例えば、様々なステップを実施するようプロセッサ２１０と協働する回路構成として、ハードウェア内で実装され得ると考えられる。触覚オーディオビジュアル・コンテンツ同期装置１５０は、処理装置と通信する様々な機能要素間のインターフェイスを形成する入出力回路２４０を更に含む。
図２の触覚オーディオビジュアル・コンテンツ同期装置１５０は、本原理に従って様々な制御機能を実施するようプログラムされる汎用コンピュータとして表されているが、本発明は、ハードウェアにおいて、例えば、特定用途向け集積回路（application specified integrated circuit）（ＡＳＩＣ）として、実装され得る。そのようなものとして、本願で記載されるプロセス・ステップは、プロセッサ、ハードウェア、又はそれらの組み合わせによって実行されるソフトウェアによって同じく実施されるものとして広く解釈されるよう意図される。加えて、図２の触覚オーディオビジュアル・コンテンツ同期装置１５０は、モバイル・コンテンツ・デバイス１００の内蔵コンポーネントとして表されているが、本願で記載される本原理の概念及び実施形態に従う触覚オーディオビジュアル・コンテンツ同期装置１５０の機能は、外部コンポーネントの形をとることができる。
図１のシステム１００に戻ると、メディア・レコーダ１４４は、カメラ及びマイクロホンからのビデオ及びオーディオデータを捕捉する。本原理の一実施形態において、メディア・レコーダ１４４は、カメラ及びマイクロホンから夫々来るビデオ及びオーディオを捕捉するためにMediaRecorderオブジェクト（例えば、Google（登録商標）API）を使用する。知覚レコーダ１４２は、センサ１１０からのデータを受信する。本原理の一実施形態において、各センサは、センサのデータの変化をリッスンし、そして、データを取り出すようコールバック機能を始動させるセンサ・リスナーを有している。すなわち、本原理の一実施形態において、センサ・リスナーは、イベントを通知するようシステムによって自動的に呼び出される機能を含む。例えば、一実施形態において、センサ・リスナーは、加速度計に関連し、データを取り出すために使用される。そのようなデータは、動きデータ及び対応するタイムスタンプを含むことができる。データは、次いで、知覚レコーダ１４２によって記録される。
本原理の実施形態に従って、例えば、一実施形態において、触覚オーディオビジュアル・コンテンツ同期装置１５０における、モバイル・コンテンツ・デバイスのロギング・サービスは、バックグラウンドで実行中であり、センサによって送られたデータのパッケージをリッスンする。本原理の一実施形態において、触覚オーディオビジュアル・コンテンツ同期装置１５０が、慣性センサによって送られてくるデータを検知するとき、触覚オーディオビジュアル・コンテンツ同期装置１５０は、そのようなデータの記録が知覚レコーダ１４２によって記録されるようにする。パッケージが受信され記録されるときはいつでも、そのパッケージを送ったセンサからの信号の記録は、通常は、ピークの位置及びそれが起きた時間を決定することによって、その信号において対応するピークのタイムスタンプを決定するようチェックされる。本原理の一実施形態において、ロギング・サービスは、受信されたデータを夫々のインターバルの後にファイルにおいて書き込み、次いで、新しいデータを受信する前にコンテナを空にするようスケジューリングされる。このスケジューリングされた書き込みは、システム１００が高いメモリ消費を回避することを可能にする。
本原理の一実施形態において、知覚レコーダ１４２の出力はファイルであり、それは、次いで、触覚オーディオビジュアル・コンテンツ同期装置１５０によって処理される。本原理に従って、メディア・レコーダ１４４からのオーディオビジュアル・コンテンツ及び知覚レコーダ１４２からの動きデータをアライメントするよう、容易に検出可能な（easy-to-detect）パターンが信号において生成される。本原理の一実施形態において、モバイル・コンテンツ・デバイス１００とのユーザの自然な触覚インタラクションが利用される。より具体的には、ユーザが、記録プロセスを開始するためにモバイル・コンテンツ・デバイス１００にタッチするとき（すなわち、ユーザがモバイル・コンテンツ・デバイス上の記録開始ボタンを押すとき）、マーカは生成される。すなわち、本原理の一実施形態において、アプリケーションが起動させるときに、カメラは記録を開始し、慣性センサは始動され、そして、ユーザが“記録開始”ボタンをタップするときに、具体的な記録は開始される。モバイル・コンテンツ・デバイス１００とユーザのこのシームレス且つ自然な触覚インタラクションは、オーディオ・トラックにおいて、更には、一実施形態では、加速度信号においても、感知でき、そして、容易に検出可能なパターンの生成が同期化のために使用されることを可能にする。本原理の以下の説明は加速度信号に関して記載されるが、本原理の代替の実施形態では、例えば、ジャイロスコープ１１２、磁気計１１３又は何らかの他の動きセンサからの信号のような、他の動き信号が、加速度信号に関して以下で記載されるものとして実装され得ることが留意されるべきである。
図３は、本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させることにおける使用のためにオーディオ信号及び加速度信号を用いてモバイル・コンテンツ・デバイスとのユーザ・インタラクションにマークを付すための前述のシーケンスの図解ワークフロー及び結果として現れる信号を表す。図３で表されるように、本原理に従うアプリケーションは、アプリケーションを開始するためにモバイル・コンテンツ・デバイス１００の画面をタップするようユーザに指示する。図３で表されるように、ユーザは、アプリケーションを開始するためにモバイル・コンテンツ・デバイス１００の画面をタップし、そして、結果として現れるオーディオ信号及び夫々の加速度信号は、記録される。
図４は、本原理の代替の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させることにおける使用のためにオーディオ信号及び加速度信号を用いてモバイル・コンテンツ・デバイスとのユーザ・インタラクションにマークを付すための代替のシーケンスの図解ワークフロー及び結果として現れる信号を表す。図４の実施形態において、モバイル・コンテンツ・デバイス１００に組み込まれた内蔵振動器は、有効な記録の直前に（すなわち、カメラ及び慣性センサが起動される直前に）アクティブにされる。図４の実施形態において、本原理のアプリケーションは、振動を開始するようモバイル・コンテンツ・デバイス１００に指示し、そして、結果として現れるオーディオ信号及び夫々の加速度信号は、図４で表されるように、記録される。
本原理の前述の実施形態の両方において、マーカは、本原理の同期化プロシージャにおいて使用されるよう取得される。オーディオ信号及び加速度信号の記録の後、本原理の同期化プロシージャは開始され得る。本原理の一実施形態において、メディア・コンテンツの記録されたオーディオ・ストリームは抽出され、そして、ピーク及び前述のマーキング・プロシージャによって生成された対応するタイムスタンプを見つけるよう処理される。同様に、加速度における対応するピーク及びその対応するタイムスタンプも、簡単な信号処理技術（すなわち、ロバスト閾値化によるピーク検出）によって取得される。
２つのピークに関する情報を取得すると、例えば、図１の触覚オーディオビジュアル・コンテンツ同期装置１５０のような、本原理の触覚オーディオビジュアル・コンテンツ同期装置は、２つのタイムスタンプの間のギャップを計算し、オーディオビジュアル・コンテンツとアライメントするよう加速度をシフトして、オーディオビジュアル・コンテンツを慣性計測と同期させる。例えば、ピークが、オーディオ信号では１秒で、加速度信号では２秒で検出される場合に、加速度信号のタイムスタンプは、加速度信号をオーディオ信号と同期させるよう１秒だけシフトされる。そのようなものとして、再生されるコンテンツについての全てのそのような慣性出力は、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させるよう同様の時間量だけシフトされ得る。本原理の代替の実施形態において、オーディオ信号は、慣性信号と同期されるよう代わりにシフトされ得る。
図５は、本原理の実施形態に従って、オーディオビジュアル・コンテンツを慣性計測と同期させる方法５００についてのフロー図を表す。方法ステップ５０２から開始する。ステップ５０２で、モバイル・コンテンツ・デバイスの振動に応答して記録されたオーディオ信号及び対応する慣性信号は、例えば、触覚オーディオビジュアル・コンテンツ同期装置１５０で、受信される。方法５００は、次いで、ステップ５０４へ進むことができる。
ステップ５０４で、記録されたオーディオ信号は、通常は、ピークの位置及びそれが起こった時間を決定することによって、その信号において対応するピークのタイムスタンプを決定するよう処理される。方法５００は、次いで、ステップ５６０へ進むことができる。
ステップ５０６で、記録された慣性計測は、その信号において対応するピークのタイムスタンプを決定するよう処理される。方法５００は、次いで、ステップ５０８へ進むことができる。
ステップ５０８で、記録されたオーディオ信号のタイムスタンプと記録された慣性計測のタイムスタンプとの間の時間距離が決定される。方法５００は、次いで、ステップ５１０へ進むことができる。
ステップ５１０で、モバイル・コンテンツ・デバイスの慣性出力は、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させるよう、記録されたオーディオ信号のタイムスタンプと記録された慣性計測のタイムスタンプとの間の決定された時間距離に等しい時間の量だけシフトされる。方法５００は、次いで、終了され得る。
本明細書は、本原理の実施形態を説明する。よって、当業者は、たとえ本願で明示的に記載又は図示されていなくても、本原理を具現化し且つその適用範囲内に含まれる様々な配置に想到可能であることが認識されるだろう。すなわち、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させる方法及び装置についての様々な実施形態（実例であって、制限でないよう意図される。）を記載してきたが、前述の教示に照らして、変更及び変形が当業者によって行われ得ることが知られる。従って、開示される本原理の特定の実施形態において変更が行われ得ることが理解されるべきであり、そのような変更は本発明の適用範囲内にある。前述の説明は、本原理の様々な実施形態を対象とするが、本原理の他の及び更なる実施形態は、その基本的な適用範囲から逸脱することなしに想到され得る。
本明細書は、本原理の実施形態を説明する。よって、当業者は、たとえ本願で明示的に記載又は図示されていなくても、本原理を具現化し且つその適用範囲内に含まれる様々な配置に想到可能であることが認識されるだろう。すなわち、モバイル・コンテンツ・デバイスで再生されるコンテンツについての慣性出力とオーディオビジュアル・コンテンツを同期させる方法及び装置についての様々な実施形態（実例であって、制限でないよう意図される。）を記載してきたが、前述の教示に照らして、変更及び変形が当業者によって行われ得ることが知られる。従って、開示される本原理の特定の実施形態において変更が行われ得ることが理解されるべきであり、そのような変更は本発明の適用範囲内にある。前述の説明は、本原理の様々な実施形態を対象とするが、本原理の他の及び更なる実施形態は、その基本的な適用範囲から逸脱することなしに想到され得る。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる方法であって、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することと、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理することと、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトすることと
を有する方法。
（付記２）
前記モバイル・コンテンツ・デバイスを振動させること
を有する付記１に記載の方法。
（付記３）
前記慣性信号は、加速度信号を有する、
付記１に記載の方法。
（付記４）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記１に記載の方法。
（付記５）
前記慣性信号は、磁気計からの信号を有する、
付記１に記載の方法。
（付記６）
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
付記１に記載の方法。
（付記７）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記１に記載の方法。
（付記８）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる装置であって、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリと、
前記プログラム・ルーチンを実行するプロセッサと
を有し、
前記プロセッサは、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
装置。
（付記９）
当該装置は、前記モバイル・コンテンツ・デバイスの内蔵コンポーネントを有する、
付記８に記載の装置。
（付記１０）
前記プロセッサは、前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
付記８に記載の装置。
（付記１１）
前記慣性信号は、加速度信号を有する、
付記８に記載の装置。
（付記１２）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記８に記載の装置。
（付記１３）
前記慣性信号は、磁気計からの信号を有する、
付記８に記載の装置。
（付記１４）
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
付記８に記載の装置。
（付記１５）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記８に記載の装置。
（付記１６）
前記記録されたオーディオ信号は、前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダから当該装置へ送られ、
前記記録された慣性信号は、前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダから当該装置へ送られる、
付記８に記載の装置。
（付記１７）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させるシステムであって、
前記モバイル・コンテンツ・デバイスを振動させるよう構成される振動器と、
前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダと、
前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダと、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリ、並びに前記プログラム・ルーチンを実行するプロセッサを有する装置と
を有し、
前記装置は、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記オーディオ・レコーダからの記録されたオーディオ信号、及び前記慣性信号レコーダからの対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
システム。
（付記１８）
当該システムは、タブレット、携帯電話機、コンピュータ及び表示デバイスを含むグループの中の少なくとも１つを有する、
付記１７に記載のシステム。
（付記１９）
前記振動器は、前記モバイル・コンテンツ・デバイスに組み込まれた内蔵振動器を有し、前記オーディオ信号の記録及び前記対応する慣性信号の記録の直前に自動的にアクティブにされる、
付記１７に記載のシステム。
（付記２０）
前記プロセッサを、前記振動器を用いて前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
付記１７に記載のシステム。
（付記２１）
前記慣性信号は、加速度信号を有する、
付記１７に記載のシステム。
（付記２２）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記１７に記載のシステム。
（付記２３）
前記慣性信号は、磁気計からの信号を有する、
付記１７に記載のシステム。
（付記２４）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記１７に記載のシステム。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる方法であって、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することと、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理することと、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトすることと
を有する方法。
（付記２）
前記モバイル・コンテンツ・デバイスを振動させること
を有する付記１に記載の方法。
（付記３）
前記慣性信号は、加速度信号を有する、
付記１に記載の方法。
（付記４）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記１に記載の方法。
（付記５）
前記慣性信号は、磁気計からの信号を有する、
付記１に記載の方法。
（付記６）
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
付記１に記載の方法。
（付記７）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記１に記載の方法。
（付記８）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる装置であって、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリと、
前記プログラム・ルーチンを実行するプロセッサと
を有し、
前記プロセッサは、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
装置。
（付記９）
当該装置は、前記モバイル・コンテンツ・デバイスの内蔵コンポーネントを有する、
付記８に記載の装置。
（付記１０）
前記プロセッサは、前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
付記８に記載の装置。
（付記１１）
前記慣性信号は、加速度信号を有する、
付記８に記載の装置。
（付記１２）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記８に記載の装置。
（付記１３）
前記慣性信号は、磁気計からの信号を有する、
付記８に記載の装置。
（付記１４）
前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
付記８に記載の装置。
（付記１５）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記８に記載の装置。
（付記１６）
前記記録されたオーディオ信号は、前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダから当該装置へ送られ、
前記記録された慣性信号は、前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダから当該装置へ送られる、
付記８に記載の装置。
（付記１７）
モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させるシステムであって、
前記モバイル・コンテンツ・デバイスを振動させるよう構成される振動器と、
前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダと、
前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダと、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリ、並びに前記プログラム・ルーチンを実行するプロセッサを有する装置と
を有し、
前記装置は、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記オーディオ・レコーダからの記録されたオーディオ信号、及び前記慣性信号レコーダからの対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
システム。
（付記１８）
当該システムは、タブレット、携帯電話機、コンピュータ及び表示デバイスを含むグループの中の少なくとも１つを有する、
付記１７に記載のシステム。
（付記１９）
前記振動器は、前記モバイル・コンテンツ・デバイスに組み込まれた内蔵振動器を有し、前記オーディオ信号の記録及び前記対応する慣性信号の記録の直前に自動的にアクティブにされる、
付記１７に記載のシステム。
（付記２０）
前記プロセッサを、前記振動器を用いて前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
付記１７に記載のシステム。
（付記２１）
前記慣性信号は、加速度信号を有する、
付記１７に記載のシステム。
（付記２２）
前記慣性信号は、ジャイロスコープからの信号を有する、
付記１７に記載のシステム。
（付記２３）
前記慣性信号は、磁気計からの信号を有する、
付記１７に記載のシステム。
（付記２４）
前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
付記１７に記載のシステム。
Claims (24)
- モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる方法であって、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信することと、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理することと、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定することと、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトすることと
を有する方法。 - 前記モバイル・コンテンツ・デバイスを振動させること
を有する請求項１に記載の方法。 - 前記慣性信号は、加速度信号を有する、
請求項１に記載の方法。 - 前記慣性信号は、ジャイロスコープからの信号を有する、
請求項１に記載の方法。 - 前記慣性信号は、磁気計からの信号を有する、
請求項１に記載の方法。 - 前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
請求項１に記載の方法。 - 前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
請求項１に記載の方法。 - モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させる装置であって、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリと、
前記プログラム・ルーチンを実行するプロセッサと
を有し、
前記プロセッサは、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記振動によって生成される記録されたオーディオ信号及び対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
装置。 - 当該装置は、前記モバイル・コンテンツ・デバイスの内蔵コンポーネントを有する、
請求項８に記載の装置。 - 前記プロセッサは、前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
請求項８に記載の装置。 - 前記慣性信号は、加速度信号を有する、
請求項８に記載の装置。 - 前記慣性信号は、ジャイロスコープからの信号を有する、
請求項８に記載の装置。 - 前記慣性信号は、磁気計からの信号を有する、
請求項８に記載の装置。 - 前記慣性信号は、ファイルにおいて記録され、該ファイルは、新しい慣性信号が受信される前に空にされる、
請求項８に記載の装置。 - 前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
請求項８に記載の装置。 - 前記記録されたオーディオ信号は、前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダから当該装置へ送られ、
前記記録された慣性信号は、前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダから当該装置へ送られる、
請求項８に記載の装置。 - モバイル・コンテンツ・デバイスにおいて慣性計測とオーディオビジュアル・コンテンツを同期させるシステムであって、
前記モバイル・コンテンツ・デバイスを振動させるよう構成される振動器と、
前記モバイル・コンテンツ・デバイスの振動に応答してオーディオ信号を記録するよう構成されるオーディオ・レコーダと、
前記モバイル・コンテンツ・デバイスの前記振動に応答して対応する慣性信号を記録するよう構成される慣性信号レコーダと、
プログラム・ルーチン、オーディオ信号データ及び慣性信号データのうちの少なくとも１つを記憶するメモリ、並びに前記プログラム・ルーチンを実行するプロセッサを有する装置と
を有し、
前記装置は、
前記モバイル・コンテンツ・デバイスの振動に応答して、前記オーディオ・レコーダからの記録されたオーディオ信号、及び前記慣性信号レコーダからの対応する記録された慣性信号を受信し、
前記オーディオ信号において対応するピークのタイムスタンプを決定するよう前記記録されたオーディオ信号を処理し、
前記慣性信号において対応するピークのタイムスタンプを決定するよう前記記録された慣性信号を処理し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の時間距離を決定し、
前記記録されたオーディオ信号のタイムスタンプと前記記録された慣性信号のタイムスタンプとの間の前記決定された時間距離に等しい時間の量だけ、前記モバイル・コンテンツ・デバイスで再生されるコンテンツについて慣性信号をシフトする
よう構成される、
システム。 - 当該システムは、タブレット、携帯電話機、コンピュータ及び表示デバイスを含むグループの中の少なくとも１つを有する、
請求項１７に記載のシステム。 - 前記振動器は、前記モバイル・コンテンツ・デバイスに組み込まれた内蔵振動器を有し、前記オーディオ信号の記録及び前記対応する慣性信号の記録の直前に自動的にアクティブにされる、
請求項１７に記載のシステム。 - 前記プロセッサを、前記振動器を用いて前記モバイル・コンテンツ・デバイスを振動させるよう更に構成される、
請求項１７に記載のシステム。 - 前記慣性信号は、加速度信号を有する、
請求項１７に記載のシステム。 - 前記慣性信号は、ジャイロスコープからの信号を有する、
請求項１７に記載のシステム。 - 前記慣性信号は、磁気計からの信号を有する、
請求項１７に記載のシステム。 - 前記振動は、記録プロセスを開始するためにユーザが前記モバイル・コンテンツ・デバイスにタッチすることによって引き起こされる、
請求項１７に記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15305159.4A EP3054451A1 (en) | 2015-02-03 | 2015-02-03 | Method, apparatus and system for synchronizing audiovisual content with inertial measurements |
| EP15305159.4 | 2015-02-03 | ||
| PCT/EP2016/052158 WO2016124580A1 (en) | 2015-02-03 | 2016-02-02 | Method, apparatus and system for synchronizing audiovisual content with inertial measurements |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018505478A true JP2018505478A (ja) | 2018-02-22 |
| JP2018505478A5 JP2018505478A5 (ja) | 2019-02-28 |
Family
ID=52627143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017537384A Pending JP2018505478A (ja) | 2015-02-03 | 2016-02-02 | オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10249341B2 (ja) |
| EP (2) | EP3054451A1 (ja) |
| JP (1) | JP2018505478A (ja) |
| KR (1) | KR102401673B1 (ja) |
| CN (1) | CN107210054A (ja) |
| TW (1) | TW201643866A (ja) |
| WO (1) | WO2016124580A1 (ja) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08203004A (ja) * | 1995-01-20 | 1996-08-09 | Victor Co Of Japan Ltd | 磁気記録装置 |
| JP2003254819A (ja) * | 2002-03-05 | 2003-09-10 | Fuji Heavy Ind Ltd | エンジン評価装置 |
| JP2006261836A (ja) * | 2005-03-15 | 2006-09-28 | Nec Corp | 動画撮影・再生システム、その撮影・再生方法、その携帯装置およびその撮影、再生方法 |
| JP2010183609A (ja) * | 2003-11-14 | 2010-08-19 | Nokia Corp | 無線多重記録装置システム |
| JP2011199465A (ja) * | 2010-03-18 | 2011-10-06 | Panasonic Corp | 撮像装置 |
| JP2012100216A (ja) * | 2010-11-05 | 2012-05-24 | Nikon Corp | カメラおよび動画撮影プログラム |
| US20120198317A1 (en) * | 2011-02-02 | 2012-08-02 | Eppolito Aaron M | Automatic synchronization of media clips |
| WO2013041152A1 (en) * | 2011-09-19 | 2013-03-28 | Thomson Licensing | Methods to command a haptic renderer from real motion data |
| CN103970266A (zh) * | 2013-01-24 | 2014-08-06 | 英默森公司 | 触觉感知记录和回放 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005031654A1 (en) * | 2003-09-30 | 2005-04-07 | Koninklijke Philips Electronics, N.V. | System and method for audio-visual content synthesis |
| US9019087B2 (en) * | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
| US9400555B2 (en) * | 2008-10-10 | 2016-07-26 | Internet Services, Llc | System and method for synchronization of haptic data and media data |
| US7974314B2 (en) * | 2009-01-16 | 2011-07-05 | Microsoft Corporation | Synchronization of multiple data source to a common time base |
| WO2016029170A1 (en) * | 2014-08-22 | 2016-02-25 | Cape Productions Inc. | Methods and apparatus for automatic editing of video recorded by an unmanned aerial vehicle |
-
2015
- 2015-02-03 EP EP15305159.4A patent/EP3054451A1/en not_active Withdrawn
-
2016
- 2016-02-02 WO PCT/EP2016/052158 patent/WO2016124580A1/en active Application Filing
- 2016-02-02 KR KR1020177021700A patent/KR102401673B1/ko active IP Right Grant
- 2016-02-02 US US15/548,450 patent/US10249341B2/en active Active
- 2016-02-02 CN CN201680008502.6A patent/CN107210054A/zh active Pending
- 2016-02-02 JP JP2017537384A patent/JP2018505478A/ja active Pending
- 2016-02-02 EP EP16703469.3A patent/EP3254284A1/en not_active Ceased
- 2016-02-03 TW TW105103560A patent/TW201643866A/zh unknown
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08203004A (ja) * | 1995-01-20 | 1996-08-09 | Victor Co Of Japan Ltd | 磁気記録装置 |
| JP2003254819A (ja) * | 2002-03-05 | 2003-09-10 | Fuji Heavy Ind Ltd | エンジン評価装置 |
| JP2010183609A (ja) * | 2003-11-14 | 2010-08-19 | Nokia Corp | 無線多重記録装置システム |
| JP2006261836A (ja) * | 2005-03-15 | 2006-09-28 | Nec Corp | 動画撮影・再生システム、その撮影・再生方法、その携帯装置およびその撮影、再生方法 |
| JP2011199465A (ja) * | 2010-03-18 | 2011-10-06 | Panasonic Corp | 撮像装置 |
| JP2012100216A (ja) * | 2010-11-05 | 2012-05-24 | Nikon Corp | カメラおよび動画撮影プログラム |
| US20120198317A1 (en) * | 2011-02-02 | 2012-08-02 | Eppolito Aaron M | Automatic synchronization of media clips |
| WO2013041152A1 (en) * | 2011-09-19 | 2013-03-28 | Thomson Licensing | Methods to command a haptic renderer from real motion data |
| CN103970266A (zh) * | 2013-01-24 | 2014-08-06 | 英默森公司 | 触觉感知记录和回放 |
| JP2014160529A (ja) * | 2013-01-24 | 2014-09-04 | Immersion Corp | 触感記録および再生 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180019004A1 (en) | 2018-01-18 |
| EP3054451A1 (en) | 2016-08-10 |
| EP3254284A1 (en) | 2017-12-13 |
| TW201643866A (zh) | 2016-12-16 |
| US10249341B2 (en) | 2019-04-02 |
| KR102401673B1 (ko) | 2022-05-25 |
| WO2016124580A1 (en) | 2016-08-11 |
| CN107210054A (zh) | 2017-09-26 |
| KR20170109573A (ko) | 2017-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110572722B (zh) | 视频剪辑方法、装置、设备及可读存储介质 | |
| CN109348247B (zh) | 确定音视频播放时间戳的方法、装置及存储介质 | |
| JP2015513710A5 (ja) | ||
| KR20160079862A (ko) | 센서 데이터 시간 정렬 | |
| US9947066B2 (en) | Method, apparatus and system for inserting watermark data | |
| KR20180020899A (ko) | 동영상을 처리하는 컴퓨팅 장치, 방법 및 컴퓨터 프로그램 | |
| JP2018502533A (ja) | メディア同期方法、装置、プログラム及び記録媒体 | |
| CN110290392B (zh) | 直播信息显示方法、装置、设备及存储介质 | |
| AU2013273781A1 (en) | Method and apparatus for recording video image in a portable terminal having dual camera | |
| CN108769738B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| RU2016114565A (ru) | Устройство обработки информации, способ и программа | |
| CN104703036A (zh) | 一种同步媒体文件播放进度的方法、装置及系统 | |
| RU2015121356A (ru) | Способ и устройство для управления контентом в электронном устройстве | |
| RU2020114250A (ru) | Устройство и способ обработки сигналов и программа | |
| KR102471667B1 (ko) | 레코딩된 오디오/비디오와 모션의 동기화 및 캡쳐 | |
| CN111092991B (zh) | 歌词显示方法及装置、计算机存储介质 | |
| CN104104900A (zh) | 一种数据播放方法 | |
| US20130094829A1 (en) | Real-time image editing method and electronic device | |
| JP2018505478A (ja) | オーディオビジュアル・コンテンツを慣性計測と同期させる方法、装置及びシステム | |
| JP2021090118A5 (ja) | ||
| CN117956210A (zh) | 一种音画同步调整方法及相关设备 | |
| CN113507614A (zh) | 视频的播放进度调节方法及显示设备 | |
| US20200336624A1 (en) | Selecting a type of synchronization | |
| US12124634B2 (en) | Information processing apparatus, information processing system, and information processing method | |
| JP6536233B2 (ja) | 出力制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170807 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181220 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190121 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210514 |