JP2014182816A - マルチメディアファイル内の触覚情報を符号化及び復号化する方法及び装置 - Google Patents

Abstract

【課題】コンテンツを有するマルチメディアファイル内に触覚情報を符号化する。
【解決手段】マルチメディアファイル内のコンテンツの一部分を変更する工程３１０と、コンテンツの変更された一部分に触覚情報を追加する工程３２０と、を備える。触覚情報は、マルチメディアファイルを再生すると触覚効果を生成する触覚信号に対応するものである。マルチメディアファイル内に触覚情報を復号する方法は、マルチメディアファイル内の触覚情報の位置を特定する工程３３０と、マルチメディアファイルのコンテンツを再生すると位置が特定された触覚情報に基づいて触覚効果を生成する工程３４０と、を備える。さらに、オーディオ信号及び触覚信号を含むマルチメディア信号を触覚装置の受信機で受信する工程と、触覚装置の触覚出力装置により、マルチメディア信号内の触覚信号に基づいて触覚効果を出力する工程と、を備える。
【選択図】図３

Description

本発明は、オーディオファイルおよび／または動画ファイル等のマルチメディアファイル内の触覚情報を符号化する方法及び装置並びにマルチメディアファイル内の触覚情報を復号化する方法及び装置に関する。

一般に認められているように、画像、動画、又はオーディオクリップ等のメディアオブジェクトに触知的フィードバック（ｔａｃｔｉｌｅ ｆｅｅｄｂａｃｋ）を加えることにより、当該メディアオブジェクトのユーザエクスペリエンスを向上させることができる場合がある。例えば、猫の写真は、当該写真に関連付けられている、のどをゴロゴロ鳴らす触知的知覚（ｔａｃｔｉｌｅ ｓｅｎｓａｔｉｏｎ）を有していてもよい。触知的フィードバックをメディアオブジェクトに関連付ける際の主な困難は、ほとんどのレンダリングエンジンが系統立てられた触覚効果情報の規定を準備していないことにある。当該情報とともに別個のファイルやストリームを用意することもできるが、この派生的なコンテンツソースによって、ハイパーテキスト転送プロトコル（「ＨＴＴＰ」）等の既存のコンテンツ配信メカニズムが複雑化してしまう。

この問題に対する解決策の１つは、レンダリング・エンドポイントにおいて、メディアオブジェクトから触覚コンテンツ（ｈａｐｔｉｃ ｃｏｎｔｅｎｔ）を自動的に生成することである。既存のアルゴリズム及び方法においては、オーディオメディアオブジェクトや動画メディアオブジェクトを入力としてこの種のコンテンツ生成が行われる。他のアルゴリズム及び方法においては、空間的な触感情報（ｓｐａｔｉａｌ ｔｅｘｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を画像から抽出し、当該情報をローカルでレンダリングする。これらのアプローチはいずれも機械的に自明な触覚表現（ｈａｐｔｉｃ ｄｉｓｐｌａｙ）にしか用いることができない。このアプローチでは、コンテンツ制作者が意図している新規なコンテンツを生成することはできない。

マルチメディアオブジェクトにより多くの現実感や生命感が加えられることが望まれる。本発明の一実施形態によれば、ウオーターマーキングやステガノグラフィーのアルゴリズムや方法を用いてデジタル情報をメディアコンテンツ自身の中に直接符号化することができる。

本発明の一態様によれば、コンテンツを有するマルチメディアファイル内に触覚情報を符号化する方法が提供される。当該方法は、当該マルチメディアファイル内の前記コンテンツの一部分を変更する工程と、前記コンテンツの変更された前記一部分に前記触覚情報を追加する工程と、を備える。前記触覚情報は、前記マルチメディアファイルを再生すると触覚効果を生成する触覚信号に対応するものである。

本発明の一態様によれば、コンテンツを有するマルチメディアファイル内に触覚情報を復号する方法が提供される。当該方法は、前記マルチメディアファイル内の前記触覚情報の位置を特定する工程と、前記マルチメディアファイルの前記コンテンツを再生すると位置が特定された前記触覚情報に基づいて触覚効果を生成する工程と、を備える。

本発明の一態様によれば、触覚装置が提供される。当該触覚装置は、メディアファイル内のメディアコンテンツを出力するように構成されたメディア出力装置と、前記メディアファイルを開き、前記メディアファイル内に符号化された触覚情報を復号し、前記メディアファイルから復号された触覚情報に基づいて触覚信号を出力するように構成されたプロセッサと、前記プロセッサから受信した前記触覚信号に基づいて触覚効果を出力するように構成された触覚出力装置と、を備える。

本発明の一態様によれば、以下の工程を備える方法が提供される。当該方法は、オーディオ信号及び触覚信号を含むマルチメディア信号を触覚装置の受信機で受信する工程と、前記触覚装置の触覚出力装置により、前記マルチメディア信号内の前記触覚信号に基づいて触覚効果を出力する工程と、を備える。

本発明の一態様によれば、触覚装置が提供される。当該触覚装置は、マルチメディア信号を受信するように構成された受信機と、前記マルチメディア信号を処理し、前記マルチメディア信号内の触覚効果を特定するように構成されたプロセッサと、前記触覚信号に基づいて触覚効果を出力するように構成された触覚出力装置と、

以下の図面の構成要素は、本開示の一般的な原理を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照番号は、必要に応じ、複数の図面にわたって繰り返し用いられる。

本発明の実施形態にかかる電子装置の概略図である。

図１の電子装置のプロセッサの模式図である。

触覚コンテンツを生成してメディアファイルに包含させ、当該触覚コンテンツをメディアファイルのコンテンツとともに再生する方法の一実施形態を示すフロー図である。

発砲（ｇｕｎｓｈｏｔ）と当該発砲のオーディオファイルに符号化された触覚トリガ・マークの６つの位置を含むマルチメディアファイル内にあるオーディオストリームの一実施形態を示す。

触覚効果トリガ・マークが追加される単音オーディオ信号の一実施形態を示す。

図５の単音オーディオ信号に符号化された触覚効果トリガ・マークを示す。

符号化された触覚情報を含まない図６の単音オーディオ信号の最初の２０ｍｓｅｃのフレームの一実施形態を示す。

符号化された触覚情報を含む図６の単音オーディオ信号の他の２０ｍｓｅｃのフレームの一実施形態を示す。

図７Ａ及び図７Ｂのフィルタされた信号の電力スペクトルの一実施形態を示す。

触覚トリガを符号化し再生中に復号する方法の一実施形態を示す。

マルチメディア信号において受信された触覚情報に基づいて触覚効果を生成する方法の一実施形態を示す。

図１は本発明の一実施形態にかかる電子装置１００の模式図である。図示されるように、電子装置１００はプロセッサ１１０、記憶装置１２０、入力／出力装置１３０を備えており、これらはバス１４０を介して相互に接続されている。一実施形態において、入力／出力装置１３０はタッチ・スクリーン装置１５０または他のヒューマン・コンピュータ・インターフェース装置を含む。

タッチ・スクリーン装置１５０は、いかなる適切なヒューマン・コンピュータ・インターフェースまたはタッチ／コンタクト表面組立体として構成されてもよい。タッチ・スクリーン装置１５０は、いかなるタッチ・スクリーン、タッチ・パッド、タッチ感知構造体（ｔｏｕｃｈ ｓｅｎｓｉｔｉｖｅ ｓｔｒｕｃｔｕｒｅ）、コンピュータ・モニタ、ラップトップ表示装置、ワークブック表示装置、キオスク・スクリーン、携帯用電子装置スクリーン、またはその他の適切なタッチ感知装置であってもよい。タッチ・スクリーン装置１５０は、スタイラスや指などのユーザによって制御された装置を用いる物理的な相互作用のために構成されている。実施形態によっては、タッチ・スクリーン１５０は少なくとも１つの出力装置および少なくとも１つの入力装置を備えている。例えば、タッチ・スクリーン装置１５０は、視覚ディスプレイおよびそれに重ねられたタッチ感知スクリーンを含み、ユーザの指からの入力を受ける。視覚ディスプレイは高解像度ディスプレイ・スクリーンを含む。

様々な実施形態において、触覚出力装置１６０は、電子装置１００の少なくとも一部に対して触覚フィードバックを提供し、その触覚フィードバックは、電子装置１００に接触しているユーザに対して伝達される。特に、触覚出力装置１６０は、ユーザがスクリーンに接触しているときにタッチ・スクリーン自体に触覚フィードバックを提供し、触覚効果を提供することができる。以下に詳述するように、触覚効果は、メディアファイル内のコンテンツを視聴する際のユーザエクスペリエンスを向上するために用いられ得る。

当該触覚効果は、触覚感覚を生成するための任意の方法で生成することができる。その方法とは例えば、振動、変形、運動感覚、静電摩擦または超音波摩擦などである。一実施形態において、触覚出力装置１６０が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１６０は、非機械的または非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。一実施形態において、異なる触覚効果を生成するために、複数の触覚出力装置を用いてもよい。

電子装置１００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、電子ワークブック、電子ハンドヘルド装置（例えば、携帯電話、スマートフォン、ゲーム装置、携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ：「ＰＤＡ」）、携帯用電子メール装置、携帯用インターネット・アクセス装置、電卓など）、キオスク（例えば、現金自動預け払い機、ティッキング購入機（ｔｉｃｋｉｎｇ ｐｕｒｃｈａｓｉｎｇ ｍａｃｈｉｎｅ）など）、プリンタ、ＰＯＳ（ｐｏｉｎｔ−ｏｆ−ｓａｌｅ）装置、ゲーム・コントローラ、ウェアラブルデバイス、または他の電子装置である。

プロセッサ１１０は、汎用または特殊用途プロセッサ、あるいは電子装置１００の動作および機能を管理または制御するマイクロ・コントローラである。例えば、プロセッサ１１０は、触覚効果を提供するために、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、入力／出力装置１３０のドライバへの出力信号を制御するように特別に設計されてもよい。プロセッサ１１０は、プロセッサ１１０によって受信され又は決定された触覚信号（ｈａｐｔｉｃ ｓｉｇｎａｌ）に基づいてどのような触覚効果が生成され、当該触覚効果がどのような順序で生成され、および／またはどの程度の大きさ、頻度、持続時間、および／またはその他のパラメータを触覚効果が有するかを、所定の係数に基づいて決定する。また、プロセッサ１１０は、特定の触覚効果を提供する触覚出力装置１６０を駆動するために用いることができるストリーミング・コマンドを提供するように構成してもよい。一部の実施形態においては、プロセッサ１１０は実際には複数のプロセッサを含み、当該プロセッサの各々が電子装置１００の内部で特定の機能を果たすように構成されている。プロセッサ１１０についての詳細は後述する。

記憶装置１２０は内部に固定された１つまたは複数の記憶ユニット、リムーバブル記憶ユニット、および／またはリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェア・コードなどのいかなる組合せをも記憶し得るように構成されている。より具体的には、記憶装置は、触覚効果のプロフィール、入力／出力装置１３０の触覚出力装置１６０がいかにして駆動されるかを指示する命令、または触覚効果を生成するためのその他の情報を含む。

タッチ・スクリーン装置１５０に加えて、入力／出力装置１３０も特定の入力機構および出力機構を含む。例えば、当該入力機構には、キーボード、キーパッド、カーソルコントロール装置（例えばコンピュータ・マウス）、これら以外のデータ入力装置、またはマイクロフォン等の音声受信機等の装置が含まれる。当該出力機構は、コンピュータのモニタ、仮想現実ディスプレイ装置、スピーカ１９０等の音声出力装置、プリンタ、またはその他の周辺装置を含む。入力／出力装置１３０は、ユーザからの入力を受けるだけでなくユーザにフィードバックを提供するように設計された機構を含む。当該機構には、例えば、タッチ・スクリーン装置の多くの例が該当する。入力／出力装置１３０は、ボタン、キーボード、カーソル制御装置、タッチ・スクリーン・コンポーネント、スタイラス受容コンポーネント、またはその他のデータ入力コンポーネントのいかなる適切な組合せおよび構成をも含む。

一実施形態において、タッチ・スクリーン装置１５０は、剛性を有し、触覚出力装置１６０によって生成された静電摩擦および超音波表面振動（これらに限定されない）によって摩擦特性を調整するように構成されたディスプレイ表面１７０を備え、これにより、ユーザがディスプレイ上の画像に対応する部分で指またはスタイラスを動かすと、表面レリーフ（例えば、凸と凹）の感覚を得ることができる。

図２はプロセッサ１１０の一実施形態をより詳細に示す。プロセッサ１１０は、一又は複数のコンピュータ・プログラム・モジュールを実行するように構成されてもよい。一又は複数のコンピュータ・プログラム・モジュールは、コンテンツ提供モジュール１１２、符号化モジュール１１４、復号化モジュール１１６、触覚出力装置制御モジュール１１８、及び／又はこれら以外のモジュールの一又は複数を備えてもよい。プロセッサ１１０は、モジュール１１２、１１４、１１６、及び／または１１８を実行する際に、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、及び／またはファームウェア、及び／またはプロセッサ１１０の処理能力を構成する他の機構を用いてもよい。

図２においてモジュール１１２、１１４、１１６、及び１１８は単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ１１０が複数の処理装置を含む実施形態においては、モジュール１１２、１１４、１１６、及び／または１１８のうちの一または複数が他のモジュールから離れて配置されてもよい。以下の異なるモジュール１１２、１１４、１１６、及び／または１１８によって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュール１１２、１１４、１１６、及び／または１１８はいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例えば、モジュール１１２、１１４、１１６、及び／または１１８のうちの一または複数を取り除き、その機能の一部またはすべてを、モジュール１１２、１１４、１１６、及び／または１１８のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール１１２、１１４、１１６、及び／または１１８のうちの１つに帰せられる機能の一部またはすべてを実行する１つまたは複数の追加的なモジュールを実行するように、プロセッサ１１０が構成されてもよい。

コンテンツ提供モジュール１１２は、タッチスクリーンデバイス１４０を介する電子装置１００のユーザへのコンテンツの提供を制御するように構成される。コンテンツにコンピュータによって生成された画像（例えば、ビデオゲーム、仮想世界、拡張現実仮想世界、シミュレーションなどにおける画像）を含むメディアファイルが含まれる場合、コンテンツ提供モジュール１１２は、タッチスクリーンデバイス１５０を介してユーザに表示される画像および／またはビューを生成するように構成される。メディアファイルを含むコンテンツに動画及び／または静止画が含まれる場合、コンテンツ提供モジュール１１２はこの動画及び／または静止画もしくは写真にアクセスしてこの動画及び／または静止画もしくは写真のビューを生成し、タッチスクリーンデバイス１５０に表示するように構成される。コンテンツに音声コンテンツを含むメディアファイルが含まれる場合、コンテンツ提供モジュール１１２はスピーカ１９０を駆動する電子信号を生成して、対応する音を出力するように構成される。コンテンツあるいはそのコンテンツの元となるメディアファイルは、コンテンツ提供モジュール１１２によって、電子記憶装置１１９から取得されてもよい。この電子記憶装置１２９は、図２に示すようにプロセッサ１１０の一部であってもよく、またはメモリ装置１２０の一部であってもよい。

符号化モジュール１１４は、触覚信号をメディアファイル内に符号化する。当該メディアファイルは、電子記憶装置１１９に保存され、後からコンテンツ提供モジュール１１２によってアクセスされる。例えば、ウオーターマーキングやステガノグラフィーのアルゴリズム又は方法を用いることにより、デジタル情報をメディアコンテンツ自身に直接符号化することができる。ステガノグラフィーは、著作権情報やそれ以外の除去不可能で知覚できない電子署名情報をメディアコンテンツに直接符号化することによりデジタル著作権管理（ＤＲＭ）を提供するために広く用いられている。デジタルステガノグラフィー用のアルゴリズムは、画像コンテンツ、オーディオコンテンツ、及び動画コンテンツ用のフォーマットとして知られている。

符号化モジュール１１４にプログラムされたアルゴリズムは、系統立てて制作された触覚情報（ａｕｔｈｏｒｅｄ， ｅｘｐｌｉｃｉｔ ｈａｐｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ）をコンテンツ自身に符号化するためにコンテンツ制作者によって用いられる。かかる触覚情報の例には、一又は複数の触覚効果、触覚効果とレンダリングヒントとの組み合わせ、及び触覚をコンテンツおよび／または当該コンテンツとユーザとのインタラクションと関連付けるアルゴリズムを含む。この触覚効果とレンダリングヒントとの組み合わせは、例えば画像中の暗いピクセルに関連付けられた第１の触覚効果と第１の触覚効果とは異なり当該画像中の明るいピクセルに関連付けられた第２の触覚効果との組み合わせである。触覚情報をメディアファイル内に符号化する方法を以下に詳述する。

復号化モジュール１１６は、コンテンツ内のどの時点に触覚情報が存在するかを認識し、当該メディアファイル内に符号化された触覚情報を触覚出力装置１６０によって再生できるように当該メディアファイルを復号するように構成される。メディアファイルの内部にある触覚情報を復号化する方法を以下に詳述する。

触覚出力装置制御モジュール１１８は、メディアファイルの内部から復号化モジュール１１６によって復号化された触覚情報に基づいて、触覚出力装置１１６によって生成される触覚効果を決定し、その決定された触覚効果が生成されるように触覚出力装置１６０を制御する。触覚効果を決定することには、触覚効果の振幅、周波数、持続時間などを含む一又は複数のパラメータを決定することが含まれる。当該触覚効果は、制御装置がユーザに提供するエクスペリエンスの一又は複数の側面を向上させるものである。

コンテンツの現実性、コンテンツの楽しさ、ユーザによるコンテンツの認識、および／または、タッチスクリーン１５０及びスピーカ１４０の少なくとも一方を介してユーザに伝達されるコンテンツによって提供される体験の他の態様のうちの１つまたは複数を向上させるように、触覚効果が決定されてもよい。例えば、タッチスクリーン１５０に表示されている猫の画像は当該画像が最初にレンダリングされる際にゴロゴロと鳴く知覚（感覚、ｓｅｎｓａｔｉｏｎ）をプレイする（ｐｌａｙ）ことができ、当該画像はユーザが猫の画像を選択したときにゴロゴロと鳴く知覚をプレイすることができ、および／または、当該猫の画像はその画像の中に符号化された毛皮の触感を有していてもよく、電子装置１００のユーザは、タッチスクリーン１５０に表示された画像の上で指やスタイラスをドラグすることにより当該毛皮の触感を体験することができる。

図３は、触覚コンテンツを生成してメディアファイルに包含させ、当該触覚コンテンツをメディアファイルのコンテンツとともに再生する方法の一実施形態を示すフロー図を示す。より具体的には、図３は、コンテンツが格納されているマルチメディアファイルの中に触覚情報を符号化し、コンテンツが格納されているマルチメディアファイルの中から触覚情報を復号化する方法３００の一実施形態を示す。触覚情報の符号化の一部分として、工程３１０において、マルチメディアファイルのコンテンツの少なくとも一部分が変更される。マルチメディアファイルのコンテンツには、画像、動画、および／またはオーディオコンテンツが含まれえる。一実施形態においては、マルチメディアファイルのコンテンツの一部分が除去される。一実施形態においては、マルチメディアファイルのコンテンツの一部分が再配置される。工程３２０においては、触覚情報が、マルチメディアファイルのコンテンツの変更された部分に加えられる。触覚情報は、当該マルチメディアファイルを再生する際に触覚効果を生成する触覚信号に対応する。マルチメディアファイルのコンテンツの一部分が除去される実施形態においては、触覚効果は、コンテンツが除去された場所に加えられる。マルチメディアファイルのコンテンツの一部分が再配置される実施形態においては、触覚効果は、コンテンツが再配置された場所に加えられる。触覚情報の符号化の一部として、工程３３０では、当該触覚情報がマルチメディアファイルの中に配置され、工程３４０では、その配置された触覚情報に基づく触覚信号が当該マルチメディアファイルの再生中に生成される。

一実施形態において、再生中に触覚効果を生成するトリガは、オーディオファイル等のマルチメディアファイル内に符号化されてもよい。既定の触覚効果の再生に対応するトリガ・マーク（ｔｒｉｇｇｅｒ ｍａｒｋ）をオーディオファイル内に符号化することで、当該オーディオファイルの再生中にトリガ・マークが再生されると、所望の時間に触覚効果を生成するために、触覚信号が触覚出力装置に送信される。一実施形態において、トリガ・マークは、例えばナイキスト周波数等の相対的に高い周波数の信号の形態をとることができ、ミリ秒の間に数回振動することができる。複雑なオーディオストリーム内のトリガ・マークは気付かれないものであり、マルチメディアコンテンツファイルの再生時に触覚効果が再生される場所を示すためのトリガ・マークを符号化するために適した場所である。図４は、発砲（ｇｕｎｓｈｏｔ）と当該発砲のオーディオファイルに符号化された触覚トリガ・マークの６つの位置を含むマルチメディアファイル内にあるオーディオストリームの一実施形態を示す。

図５は、符号５００で表された単音（ｓｉｎｇｌｅ ｔｏｎｅ）のオーディオ信号（１００Ｈｚ）を示し、触覚効果トリガ・マークが４番目の周期に追加されている。図６は、図５の単音オーディオストリーム５００内の０．０３秒の時刻に符号化された触覚効果トリガ・マーク６００を示す。オーディオストリーム５００をｓ（ｔ）で表し、トリガ・マーク又はトリガ信号をＴｒ（ｔ）で表すと、以下のように表される。

式（１）において、オーディオストリームの周波数ｆｓをサンプリングするためのｆ_enc は高周波信号であり、ｆ_enc＝ｆ_s／２またはｆ_enc＝ｆ_s／４である。式（１）の値ｎは、符号化された信号の振動回数を決定する整数である。符号化信号は、トリガがあるべき特定の位置でＴｒ（ｔ）をｓ（ｔ）に加えることにより得られる。

式（２）において、ｔ_initは、トリガの開始位置である。ｆ_enc＝ｆ_s ／４及びｎ＝１として４番目の振動で（０．０３秒で）トリガを符号化すると、図７Ａ〜図８に示すグラフが得られる。

図７Ａは、符号化された触覚情報を含まないシングルトーン・オーディオ信号５００の最初の２０ｍｓｅｃのフレームを示す。図７Ｂは、符号化された触覚情報６００を含む２０ｍｓｅｃのフレームを示す。元のオーディオ信号を符号５００で表し、周波数ｆ_encのバンドパスフィルタを用いてフィルタされた信号を符号７００で表している。図８は、図７Ａ及び図７Ｂのフィルタされた信号のパワースペクトルを示す。プロット８００は、図７Ａの最初のフレームにあるフィルタされたオーディオ信号７００に対応し、プロット８１０は図７Ｂの２番目のフレームにある符号化されたｆ_enc信号を有するフィルタ後オーディオ信号に対応する。

図９は、触覚トリガを符号化し再生中に復号する方法９００の一実施形態を示す。工程９１０において、元のオーディオ信号からのコンテンツがｆ_encで除去される。元のオーディオ信号からｆ_encコンテンツを除去することにより、当該オーディオストリームのネイティブ（ｎａｔｉｖｅ）をシャドーイングすることなく触覚情報を適切に符号化することができる。コンテンツの除去は、ｆ_encの中心周波数を有するストップバンドフィルタを用いて行うことができる。工程９２０においては、触覚トリガ・マークがｆ_encを用いてコンテンツ位置に加えられる。触覚情報を復号するためにはインバース法（ｉｎｖｅｒｓｅ ｍｅｔｈｏｄｏｌｏｇｙ）を用いることができる。例えば、工程９３０において、各フレームはｆ_encのバンドパスフィルタを用いてフィルタされ、工程９４０において、当該周波数ｆ_encが見つかった場合には触覚効果が生成、再生、出力等される。

これ以外に符号化され得る情報には、当該触覚効果の振幅及び周波数、当該効果の持続時間、効果の種類、及び効果の数が含まれる。このとき、効果は、上述した電子記憶装置１１９等のライブラリに保存される。本明細書で開示される方法は、情報を符号化するために２以上の周波数を用い、また、データを符号化・復号するために２以上のフィルタを用いて実行することができる。２以上の振動を用いることにより符号化時の信号を強くすることができるが、聴き取ることができる歪みとなることもある。オーディオがリアルタイムで処理される場合には、オーディオストリームがスピーカ１９０に送信される前に、符号化された触覚情報を当該オーディオストリームから除去して、聴き取り可能な歪みを視聴者に気付かれないようにしてもよい。

本発明の実施形態によれば、オーディオ信号に重ねられた触覚情報を、電子装置１００とは別体のスピーカによって、当該スピーカの近くにあるオーディオ受信機（例えばマイクロフォン）を備えた触覚装置に送信し、触覚効果を生成してもよい。触覚出力信号を伝達するためにオーディオ信号を用い、当該触覚情報を受信機を介して触覚装置に伝送するためにスピーカを用いることにより、触覚情報を伝達するための信号を携帯装置に送信するためのデータネットワークへの接続（例えば、ＷｉＦｉ、ブルートゥース、携帯電話網等）は不要となる。

一実施形態において、例えば図１０に示されている方法１０００を用いて、スピーカと受信機（例えばマイクロフォン）との間で高周波の不可聴領域を利用することにより、触覚信号の形態の触覚情報を触覚装置に伝達することができる。工程１０１０では、オーディオ信号及び触覚信号を含むマルチメディア信号が触覚装置の受信機で受信される。この受信機は、当該触覚装置に配置されたマイクロフォンであってもよい。当該触覚信号は、オーディオ信号よりも高い周波数を有するものであってもよい。工程１０２０では、触覚装置の触覚出力装置によって、マルチメディア信号内の触覚信号に基づいて触覚効果が出力される。

この触覚装置は、視聴者がオーディオ信号の視聴中に触れることができる任意の電子装置であってもよく、例えば、スマートフォンや手首、腕、頭、首回り、腰回り等に着用できるウェアラブルデバイスであってもよい。例えば、触覚装置は、触覚出力装置１６０及びオーディオ受信機１８０を含む上述した電子装置１００であってもよい。一実施形態において、触覚装置は、視聴者がオーディオ信号の視聴中に接触している家具、例えば椅子やソファーの一部であってもよい。

一実施形態において、スポーツスタジアムにあるスピーカは、特典、アスリートのランニングペース等の所定のイベントが発生したときに、関連する触覚信号をブロードキャストしてもよい。このイベントに対応する触覚効果は、観客のスマートフォン、ウェアラブルデバイス、シート等で生成されてもよく、これにより観客を試合の観戦により没入させることができる。一実施形態において、観客は、チーム、所定のアスリート、又はフィールド内の物体や用具（例えばテニスにおけるネット、サッカーにおけるゴールポストやクロスバーなど）のうちの１つに関連するイベント用の触覚的な手がかり（Ｈａｐｔｉｃ Ｃｕｅｓ）を選択することができる。一実施形態においては、映画館で上映される映画の所定のシーン用の触覚的なてがかりをサウンドトラックに含めておき、そのてがかりによって観客のハンドセットやシートに触覚効果を発生させてもよい。一実施形態において、コンサート中にフルオーケストラやソロミュージシャンによって上演される音楽に対応する無音の触覚効果を観客のハンドセット、ウェアラブルデバイス、又はシートに提供し、体験を向上・増強することができる。一実施形態においては、プレゼンテーションの間に、当該プレゼンテーションの重要な部分にさしかかったときに、プレゼンターのラップトップによって聴衆の注意を引き寄せるために触覚的なアラートを送信することができる。一実施形態においては、様々な種類の触覚効果が、ショッピングモールの所定の店舗の近くにいる人に送信される。一実施形態においては、テレビを視聴したり音楽を聴いたりしている人が、スマートフォン、ウェアラブルデバイス、又はその人が接触している家具等の携帯電子装置を通じて触覚効果を受け取ることができる。

本明細書に記載された実施形態は、実施可能な実装例および実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

Claims (30)

1. コンテンツを有するマルチメディアファイル内に触覚情報を符号化する方法であって、
   当該マルチメディアファイル内の前記コンテンツの一部分を変更する工程と、
   前記コンテンツの変更された前記一部分に前記触覚情報を追加する工程と、を備え、
   前記触覚情報は、前記マルチメディアファイルを再生すると触覚効果を生成する触覚信号に対応するものである、方法。
2. 前記マルチメディアファイルの前記コンテンツは写真を含む、請求項１に記載の方法。
3. 前記マルチメディアファイルの前記コンテンツは動画を含む、請求項１に記載の方法。
4. 前記マルチメディアファイルの前記コンテンツはオーディオコンテンツを含む、請求項１に記載の方法。
5. 前記変更する工程は、前記マルチメディアファイルの前記コンテンツの前記一部分を除去する工程を備え、前記触覚情報は、前記コンテンツの除去された部分に追加される、請求項１に記載の方法。
6. 前記マルチメディアファイルの前記コンテンツの前記一部分を除去する工程は、当該マルチメディアファイル内の前記コンテンツをフィルタでフィルタリングする工程を備える、請求項５に記載の方法。
7. 前記フィルタは、前記除去されたコンテンツの位置に追加される前記触覚情報の周波数に対応する中心周波数を有するストップバンドフィルタである、請求項６に記載の方法。
8. 前記変更する工程は、前記マルチメディアファイルの前記コンテンツの前記一部分を再配置する工程を備える、請求項１に記載の方法。
9. コンテンツを有するマルチメディアファイル内に触覚情報を復号する方法であって、
   前記マルチメディアファイル内の前記触覚情報の位置を特定する工程と、
   前記マルチメディアファイルの前記コンテンツを再生すると位置が特定された前記触覚情報に基づいて触覚効果を生成する工程と、を備える、方法。
10. 前記触覚情報の位置を特定する工程は、前記触覚情報の周波数のフィルタで前記コンテンツをフィルタリングする工程を備える、請求項９に記載の方法。
11. 前記フィルタは、バンドパスフィルタである、請求項９に記載の方法。
12. メディアファイル内のメディアコンテンツを出力するように構成されたメディア出力装置と、
    前記メディアファイルを開き、前記メディアファイル内に符号化された触覚情報を復号し、前記メディアファイルから復号された触覚情報に基づいて触覚信号を出力するように構成されたプロセッサと、
    前記プロセッサから受信した前記触覚信号に基づいて触覚効果を出力するように構成された触覚出力装置と、
    を備える触覚装置。
13. 前記メディアファイルは写真を含み、前記メディア出力装置は当該写真を表示するように構成される、請求項１２に記載の触覚装置。
14. メディアファイルは動画を含み、前記メディア出力装置は当該動画を表示するように構成される、請求項１２に記載の触覚装置。
15. 前記メディアファイルはオーディオコンテンツを含み、前記メディア出力装置は当該オーディオコンテンツを再生するように構成される、請求項１２に記載の触覚装置。
16. 前記プロセッサは、前記メディアコンテンツをフィルタリングして前記メディアコンテンツにおける前記触覚情報の位置を特定するように構成されたフィルタを備え、前記プロセッサは、前記触覚出力装置によって出力される前記触覚効果と前記メディア出力装置によって出力される前記メディアコンテンツとが同期するように、前記触覚信号を前記メディアコンテンツと同期させるように構成される、請求項１２に記載の触覚装置。
17. 前記フィルタは、バンドパスフィルタである、請求項１６に記載の触覚装置。
18. 前記プロセッサは、前記メディアファイルの前記触覚情報を符号化するように構成される、請求項１２に記載の触覚装置。
19. 前記プロセッサは、前記メディアファイルから前記コンテンツの一部分を除去するように構成されたフィルタを備える、請求項１８に記載の触覚装置。
20. 前記フィルタは、前記触覚情報の周波数に対応する中心周波数を有するストップバンドフィルタである、請求項１９に記載の触覚装置。
21. オーディオ信号及び触覚信号を含むマルチメディア信号を触覚装置の受信機で受信する工程と、
    前記触覚装置の触覚出力装置により、前記マルチメディア信号内の前記触覚信号に基づいて触覚効果を出力する工程と、
    を備える方法。
22. 前記触覚信号は前記オーディオ信号にオーバーレイされている、請求項２１に記載の方法。
23. 前記触覚信号は、前記オーディオ信号よりも高い周波数の信号である、請求項２１に記載の方法。
24. 前記マルチメディア信号は、前記触覚装置のマイクロフォンによって受信される、請求項２１に記載の方法。
25. 前記触覚装置はウェアラブルデバイスである、請求項２１に記載の方法。
26. マルチメディア信号を受信するように構成された受信機と、
    前記マルチメディア信号を処理し、前記マルチメディア信号内の触覚効果を特定するように構成されたプロセッサと、
    前記触覚信号に基づいて触覚効果を出力するように構成された触覚出力装置と、
    を備える触覚装置。
27. 前記受信機はマイクロフォンである、請求項２６に記載の触覚装置。
28. 前記触覚装置はウェアラブルデバイスの一部である、請求項２６に記載の触覚装置。
29. 前記触覚信号は、残存しているオーディオ信号よりも高い周波数の信号である、請求項２６に記載の触覚装置。
30. 前記マルチメディア信号は、オーディオ信号にオーバーレイされた触覚信号を含む、請求項２６に記載の触覚装置。

Images