JP2019125376A - ユーザ生成コンテンツをオーサリングするためのシステム及び方法 - Google Patents

ユーザ生成コンテンツをオーサリングするためのシステム及び方法 Download PDF

Info

Publication number
JP2019125376A
JP2019125376A JP2019031909A JP2019031909A JP2019125376A JP 2019125376 A JP2019125376 A JP 2019125376A JP 2019031909 A JP2019031909 A JP 2019031909A JP 2019031909 A JP2019031909 A JP 2019031909A JP 2019125376 A JP2019125376 A JP 2019125376A
Authority
JP
Japan
Prior art keywords
haptic
user
video signal
haptic effect
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019031909A
Other languages
English (en)
Inventor
デイヴィッド エム． バーンバウム、
M Birnbaum David
デイヴィッド エム． バーンバウム、
クリストファー ウルリッヒ、
Ullrich Christopher
クリストファー ウルリッヒ、
ロバート ラクロア、
Lacroix Robert
ロバート ラクロア、
サトヴァー シング バティア、
Singh Bhatia Satvir
サトヴァー シング バティア、
マイケル パウエル、
Powell Michael
マイケル パウエル、
スティーブン ランク、
Stephen Rank
スティーブン ランク、
イヴァ セガルマン、
Segalman Iva
イヴァ セガルマン、
アマヤ ベッカー ウェドル、
Becar Weddle Amaya
アマヤ ベッカー ウェドル、
ペイジ レインズ、
Raynes Paige
ペイジ レインズ、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2019125376A publication Critical patent/JP2019125376A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザのタッチパネル上でのジェスチャ操作により映像に触覚効果を付加するシステム及び方法を提供する。【解決手段】方法は、映像信号を受信するステップと、触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、触覚効果に関係付けられるタッチパネル面上でのジェスチャを検出するステップと、ジェスチャに部分的に基づいて触覚効果を決定するステップと、触覚効果を映像信号における場所と関係付けるステップと、映像信号及び関係付けられた触覚効果を記憶するステップとを含む。【選択図】図６

Description

本願は、ユーザ生成コンテンツをオーサリングするためのシステム及び方法に関する。
（関連出願の相互参照）
本願は、２０１４年１月１６日に提出され、“Ｕｓｅｒ Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔ Ａｕｔｈｏｒｉｎｇ”と題された仮出願第６１／９２８，３５７号への優先権を主張し、その全体は参照により本明細書に組み込まれる。
タッチ可能装置はますます人気になってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯式及び他の装置がタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。こうしたタッチ可能装置に多くの映像が表示される場合がある。更に、こうした装置は、映像作成及び編集の処理機能を有する。多くの装置は、触覚機能が更に装備される。従って、ユーザ生成コンテンツをオーサリングするためのシステム及び方法が必要とされている。
本発明の実施形態は、映像表示機能及び触覚信号を決定して触覚効果を出力する機能を特徴とする装置を含む。一部の実施形態では、こうした触覚効果は、タッチ領域において１つ以上の特徴をシミュレートする表面ベースの触覚効果を含んでもよい。限定されないが、特長には、テクスチャの変化、及び／又は境界、障害物若しくは表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性のシミュレーションが含まれてもよい。一部の実施形態では、触覚効果は、表面変形、信号、及び当技術分野で周知の触覚効果を含んでもよい。一部の実施形態では、こうした触覚効果は、映像内の特徴、例えば、アクション効果又は映像内で発生する音声及び／又はアクションに関係付けられる効果をシミュレートする又は高めるために使用されてもよい。
一実施形態では、コンテンツオーサリングのための方法は、映像信号を受信するステップと、触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、触覚効果に関係付けられるジェスチャを検出するステップと、ジェスチャに部分的に基づいて触覚効果を決定するステップと、触覚効果を映像信号における場所と関係付けるステップと、映像信号及び関係付けられた触覚効果を記憶するステップとを含む。
別の例示の実施形態では、コンテンツオーサリングのためのシステムは、映像信号を受信して映像信号に関係付けられるユーザインターフェースを出力するように構成されるディスプレイと、ジェスチャを検出してジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサと、センサ及びディスプレイと通信するプロセッサとを備え、プロセッサは、センサ信号を受信してジェスチャに部分的に基づいて触覚効果を決定し、触覚効果を映像信号における場所と関係付け、映像信号及び関係付けられた触覚効果を記憶するように構成される。
別の例示の実施形態は、プログラムコードを含む一時的でないコンピュータ可読媒体を含み、プログラムコードは、プロセッサによって実行されると、プロセッサに、映像信号を受信させ、触覚オーサリングに関係付けられるユーザインターフェースに関係付けられる表示信号をディスプレイに送信させ、触覚効果に関係付けられるジェスチャを検出させ、ジェスチャに基づいて触覚効果を決定させ、触覚効果を映像信号における場所と関係付け、映像信号及び関係付けられた触覚効果を記憶させるように構成される。
こうした例示の実施形態は、本主題の限界を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
ユーザ生成コンテンツをオーサリングするための例示のシステムを示す。 図１Ａで示されたシステムの一実施形態の外観図を示す。 図１Ａで示されたシステムの別の実施形態の外観図を示す。 ユーザ生成コンテンツをオーサリングするための例示の実施形態を示す。 ユーザ生成コンテンツをオーサリングするための別の例示の実施形態を示 す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態 を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態 を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態 を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態 を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態 を示す。 ユーザ生成コンテンツをオーサリングするための更に別の例示の実施形態 を示す。 ユーザ生成コンテンツをオーサリングするための例示の実施形態のための方 法のフローチャートである。
次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態を生み出すために別の実施形態に対して使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
（ユーザ生成コンテンツをオーサリングするための装置の例示）
本開示の例示の実施形態は、タブレット、Ｅリーダ、携帯電話、又はラップトップ若しくはデスクトップコンピュータ又は装着可能装置等のコンピュータ等の電子装置を含む。
電子装置は、ディスプレイ（例えば、タッチスクリーンディスプレイ）、メモリ、及びこうした要素の各々と通信するプロセッサを備える。
例示の装置は、１つ以上の記録された映像を記憶するように構成されるメモリを含む。こうした映像は、リモートデータソース、例えば、インターネット上のデータベースからデータ接続を介してダウンロードされる映像を含んでもよい。代替的に、こうした映像は、例示の装置のユーザによってキャプチャされた映像を含んでもよい。例えば、例示の装置はデジタルカメラ（例えば、移動装置上の前部又は後部に設置されるカメラ）を含んでもよく、これによりユーザはデジタル画像及び映像をキャプチャしてもよい。例示の装置は、ユーザジェスチャを検出して、ユーザジェスチャに基づいてこうした映像にコンテンツを適用するセンサを含む。一部の実施形態では、コンテンツは、ユーザ生成コンテンツを含んでもよい。一部の実施形態では、コンテンツは、触覚効果、グラフィックス、音声又は他の種類のコンテンツを含んでもよい。
例示の実施形態では、移動装置は、本明細書に開示の実施形態によるコンテンツオーサリングのためのプログラムコードを含んでもよい。例示の実施形態では、このプログラムコードは、コンテンツオーサリング用のユーザインターフェースを表示するためのプログラムコードを含んでもよい。例示の実施形態によれば、ユーザは、コンテンツオーサリングのユーザインターフェースにおいて利用可能なカメラインターフェースを使用することにより映像をキャプチャしてもよい。例えば、一実施形態では、ユーザは、装置に関係付けられるカメラを使用して猫の映像をキャプチャしてもよい。代替的に、ユーザは、コンピュータ装置のデータストアで利用可能な又はネットワーク接続を介して利用可能な既存の映像を選択してもよい。例えば、ユーザは、最初から組み込まれている映像、例えば、スキーヤーの映像を選択してもよい。
例示の実施形態では、一旦映像を選択すると、ユーザはコンテンツオーサリングのインターフェースを介して触覚コンテンツを映像に適用してもよい。例示の実施形態では、ユーザは、映像内の場所を最初に選択することにより触覚コンテンツを適用してもよい。例えば、例示の実施形態では、ディスプレイの一部が映像からのフレームのシーケンスを含んでもよく、ユーザはそのフレームに関係付けられる映像内の場所を選択するためにこれと相互作用してもよい。例示の実施形態では、一旦映像内の場所を選択すると、ユーザは触覚効果をその場所に割り当ててもよい。一部の実施形態では、ユーザは、以下に更に詳細に記載されるように、ジェスチャを用いて触覚効果を割り当ててもよい。
例示の実施形態では、ユーザは、１つ以上の既定の触覚効果を選択してもよい。こうした効果は、触覚効果、感情をシミュレートするように構成される効果、アクションをシミュレートするように構成される効果、又は他の種類の効果を含んでもよい。一部の実施形態では、既定の触覚効果は、多次元触覚効果を含んでもよい。例えば、一部の実施形態では、触覚効果は、振動、表面ベースの効果、表面変形、又は当技術分野で周知の他の触覚効果の１つ以上を含んでもよい。更に、ユーザは、こうした効果の特徴を修正してもよい。例えば、ユーザは、持続時間、強度、周波数、又は任意の他の特徴を触覚効果に割り当ててもよい。上述の実施形態では、ユーザは、触覚効果を猫の映像に割り当ててもよい。
触覚効果は、猫がのどを鳴らすことをシミュレートするように構成される振動を含んでもよい。
一部の実施形態では、ユーザは触覚効果を生成してもよい。例えば、ユーザは、装置と相互作用すること（例えば、装置を振ること又は装置上の場所を押すこと）により触覚効果を生成してもよい。こうしたジェスチャは、移動装置における１つ以上のセンサによりキャプチャされて、触覚効果に変換されてもよい。一部の実施形態では、装置における（複数の）触覚出力装置が、装置に対してＸ、Ｙ又はＺ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、ディスプレイ上でオブジェクトが移動する感覚をシミュレートするように構成されてもよい。例えば、一実施形態では、多次元触覚効果は、Ｘ平面（左又は右）、Ｙ平面（上又は下）、Ｚ平面（ディスプレイの中へ又は外へ）、又はこうした各面のベクトルに移動するオブジェクト（例えば、以下に記載されるように適用されるステッカー）をシミュレートするように構成されてもよい。こうした触覚効果は、以下に更に詳細に検討される１つ以上の異なる種類の触覚出力装置により出力されてもよい。
一部の実施形態では、ユーザは多方向又は多次元触覚効果を生成してもよい。先に検討されたように、装置は、移動装置の動きを検出するように構成される１つ以上のセンサ（例えば、加速度計、ジャイロスコープ、カメラ、ＧＰＳ、又は他のセンサ）及び表面の相互作用を検出するように構成されるセンサを含んでもよい。ユーザは、装置の表面でジェスチャ（例えば、タッチ、タップ、又はスワイプ）を行ってもよい。また、ユーザは、装置によるジェスチャを行ってもよい（例えば、装置を空間内で移動させ、傾け、回し、揺らし、又は回転させる）。こうしたジェスチャはセンサによってキャプチャされてもよい。次に、センサは、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。プロセッサは、ジェスチャをシミュレートするように構成される１つ以上の触覚効果を決定してもよい。例えば、プロセッサは、装置を下方に動かしたジェスチャをシミュレートするためにＺ平面に力を出力する触覚効果を決定してもよい。更に、プロセッサは、タッチスクリーンの表面におけるジェスチャをシミュレートするためにＸ又はＹ平面に出力する触覚効果（例えば、タッチスクリーンの表面における表面ベースの効果）も決定してもよい。
更に、例示の実施形態では、装置は、カメラ（例えば、移動装置の前部又は後部向きのカメラ）から受信したデータに部分的に基づいて触覚効果を決定してもよい。例えば、例示の実施形態では、ユーザは、カメラの可視範囲内でジェスチャを行ってもよい。カメラは、このジェスチャをキャプチャして、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。プロセッサは、ジェスチャに関係付けられる触覚効果を決定してもよい。例えば、プロセッサは、ジェスチャをシミュレートするように構成される触覚効果を決定してもよい。一部の実施形態では、ジェスチャは、多次元ジェスチャを含んでもよい。
このような実施形態では、カメラは、テニス等のゲームをプレーしているユーザの映像をキャプチャしてもよい。プロセッサは、ゲームに関係付けられる様々なジェスチャ（例えば、フォアハンド又はバックハンド等の手の動き、及びステップ等の足のジェスチャ）を決定してもよい。プロセッサは、こうしたジェスチャに関係付けられる触覚効果を決定してもよい。こうした触覚効果は、ユーザの映像に関係付けられてもよい。代替的に、こうした触覚効果は、触覚ライブラリに関係付けられて、他のアプリケーション又は映像で使用するために後で選択されてもよい。
一部の実施形態では、カメラは、ジェスチャをキャプチャし、こうしたジェスチャに関係付けられる触覚効果を決定し、次に触覚効果を異なる映像に関係付けてもよい。例えば、カメラは、ユーザが手をたたく等のジェスチャを行うことをキャプチャしてもよい。プロセッサは、このジェスチャに関係付けられる触覚効果を決定してもよい。この新しい触覚効果は、利用可能な触覚効果の触覚ライブラリに記憶されてもよい。更に、この新しい触覚効果は、映像、例えば、滑降するスキーヤーの映像に関係付けられてもよい。例えば、このような実施形態では、触覚効果は、例えば、スキーヤーが他のスキーヤーを追い越す、オブジェクトに衝突する、ターンする場合等、イベントが発生する映像内の場所に配置されてもよい。
例示の実施形態では、ユーザが触覚効果を割り当てた後で、ユーザインターフェースは効果が割り当てられた映像内の場所を示す指標を表示してもよい。例えば、触覚効果を適用するためにユーザが場所を選択したフレームのシーケンスは、触覚効果の場所においてオーバレイを含んでもよい。更に、オーバレイは、映像の長さと比較して触覚効果の持続時間を示すようにスケーリングされてもよい。
例示の実施形態では、ユーザは、映像内の場所にステッカー又はタグを更に適用してもよい。ステッカーは、既に生成されており、コンテンツオーサリングのインターフェースを介してユーザに利用可能なアニメーション又はグラフィックスを含んでもよい。代替的に、ステッカーは、ユーザによって生成されたグラフィックス、アニメーション及び／又は音声効果を含んでもよい。例示の実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに類似したアクションを行うことにより映像内の場所にステッカーを適用してもよい。例えば、先に検討された実施形態では、ユーザは、“ｐｕｒｒ”と綴る白のレタリングを有する赤いタグを含むステッカーを生成してもよい。次に、ユーザは、のどを鳴らすこと（ｐｕｒｒ）をシミュレートする触覚効果と同時に現れるようにこのステッカーを割り当ててもよい。
一部の実施形態では、オーサリングインターフェースは、音声効果をオーサリングするための機能を更に含んでもよい。例えば、ユーザは、既存の音声効果を選択し、又はインターフェースを使用して、例えばマイクロホンで若しくは装置と関係付けられた音声アプリケーションで新しい音声効果を作成してよい。例示の実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに類似したアクションを行うことにより映像内の場所に音声効果を適用してもよい。
例示の実施形態では、ユーザは、多数の種類のコンテンツ、例えば、多数の触覚効果、音声効果及びステッカーを映像中の多くの場所に適用してもよい。一旦ユーザがコンテンツの適用を完了すると、オーサリングアプリケーションは、映像、触覚効果、音声効果及びステッカーを記憶するであろう。例示の実施形態では、このデータは、単一のメディアファイル、例えば、ＭＰ４メディアファイルに一緒に記憶されてもよい。代替的に、各構成要素は、別々にファイルに記憶されてもよい。例えば、映像ファイルはその元のフォーマットで記憶されてもよく、音声ファイルはその元のフォーマットで記憶されてもよく、触覚データを含む触覚トラックは別に記憶されてもよい。
例示の実施形態では、次に、ユーザは、映像ファイルを再生して、割り当てられた触覚効果を感じると共に、割り当てられたステッカーを見てもよい。例えば、先に検討された実施形態では、ユーザが猫の映像を再生して、触覚効果が割り当てられた場所に映像が到達すると、装置は触覚効果を出力してもよい。更に、装置は、ステッカー、例えば、先に検討された実施形態では、“ｐｕｒｒ”というテキストを有するステッカー及び／又は関連付けられた音声効果を出力してもよい。更に例示の実施形態では、ユーザは映像を他のユーザに送信してもよく、そのユーザは映像を見ること及び割り当てられた触覚効果を感じること及びステッカーを見ることが可能であってもよい。
（ユーザ生成コンテンツをオーサリングするための例示のシステム）
図１Ａは、ユーザ生成コンテンツをオーサリングするための例示のシステム１００を示す。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータ装置１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び一時的でない）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び追加の記憶装置１１４を更に含む。
ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。
Ｉ／Ｏ要素１１２は、１つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ（例えば、移動装置の前部又は後部向きのカメラ）、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置１１４は、装置１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
（複数の）音声／映像出力装置１１５は、（複数の）プロセッサ１０２から信号を受信して、ユーザに音声又は映像出力を提供するように構成される１つ以上の装置を含む。例えば、一部の実施形態では、（複数の）音声／映像出力装置１１５は、タッチスクリーンディスプレイ、ＬＣＤディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、プロジェクションディスプレイ、又は当技術分野で周知の何らかの他のディスプレイを含んでもよい。更に、音声／映像出力装置は、音声をユーザに出力するように構成される１つ以上のスピーカを含んでもよい。
システム１００は、この例示では、装置１０１に統合されるタッチ面１１６を更に含む。タッチ面１１６は、ユーザの接触入力を感知するように構成される任意の表面を表す。
１つ以上のセンサ１０８は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成されてもよい。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上（ｏｖｅｒｔｏｐ）に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ１０８と通信し、他の実施形態では、プロセッサは複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。一部の実施形態では、１つ以上のセンサ１０８は、移動装置の運動を検出するように構成される１つ以上のセンサ（例えば、加速度計、ジャイロスコープ、カメラ、ＧＰＳ、又は他のセンサ）を更に含む。こうしたセンサは、Ｘ、Ｙ又はＺ平面に装置を移動させるユーザ相互作用を検出するように構成されてもよい。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。更に、一部の実施形態では、ユーザ相互作用は、装置から離れた多次元ユーザ相互作用を含む。例えば、一部の実施形態では、装置に関係付けられるカメラが、ユーザの動き、例えば、手、指、体、頭、目若しくは足の動作又は別の人物若しくはオブジェクトとの相互作用を検出するように構成されてもよい。
一部の実施形態では、入力は、ジェスチャを含んでもよい。ジェスチャは、意味又はユーザの意思を伝達する何らかの体の動きである。単純なジェスチャがより複雑なジェスチャを形成するように結合されてもよいことが理解されるであろう。例えば、指をタッチセンサ面と接触させることは「フィンガーオン」ジェスチャと呼ばれてもよく、指をタッチセンサ面から取り除くことは別の「フィンガーオフ」ジェスチャと呼ばれてもよい。「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的短い場合、結合されたジェスチャは「タップ」と呼ばれてもよく、「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的長い場合、結合されたジェスチャは「ロングタップ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの２次元（ｘ、ｙ）位置の間の距離が比較的大きい場合、結合されたジェスチャは「スワイプ」と呼ばれてもよく、「フィンガーオン」及び「フィンガーオフ」ジェスチャの２次元（ｘ、ｙ）位置の間の距離が比較的小さい場合、結合されたジェスチャは「スミア（ｓｍｅａｒｉｎｇ）」、「スマッジ（ｓｍｕｄｇｉｎｇ）」又は「フリック」と呼ばれてもよい。任意の数の２次元又は３次元の単純な又は複雑なジェスチャが様々な態様で結合されて、限定されないが、装置への多数の指の接触、掌又は拳の接触、又は近接を含む任意の数の他のジェスチャを形成してもよい。また、ジェスチャは、加速度計、ジャイロスコープ又は他の運動センサを有する装置によって認識され、電気信号に変換される任意の形態の手の動きであり得る。このような電気信号は、仮想サイコロを振る等の動的効果をアクティブ化することができ、センサは動的効果を生成するユーザの意思をキャプチャする。
この例示では、触覚出力装置１１８がプロセッサ１０２と通信し、タッチ面１１６に結合される。一部の実施形態では、触覚出力装置１１８は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置１１８は、タッチ面を制御して動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。
例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力装置１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、触覚出力装置１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを含んでもよい。
一部の実施形態では、１つ以上の触覚出力装置が、装置に対してＸ、Ｙ又はＺ平面に力を出力するように構成されてもよい。一部の実施形態では、こうした効果は、ディスプレイ内のオブジェクトが移動する感覚をシミュレートするように構成されてもよい。例えば、一実施形態では、多次元触覚効果は、Ｘ平面（左又は右）、Ｙ平面（上又は下）、Ｚ平面（ディスプレイの中へ又は外へ）、又はこうした面のベクトルに移動するオブジェクト（例えば、以下に記載されるように張られるステッカー）をシミュレートするように構成されてもよい。こうした多次元の触覚効果が特徴をシミュレートしてもよい。
本明細書では単一の触覚出力装置１１８が示されているが、複数の実施形態では、触覚効果を出力するために、例えば、タッチ面において表面テクスチャをシミュレートするために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。一実施形態では、超音波周波数で、例えば、一部の実施形態では２０−２５ｋＨｚよりも高い周波数で動作するアクチュエータ等を使用することによって、垂直に及び／又は水平にタッチ面１１６の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ及び他の触覚効果を与えるために単独で又は同時に使用され得る。
更に他の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電引力を使用してもよい。同様に、一部の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でユーザが感じる摩擦を変化させるために静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置１１８は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他の装置を含んでもよい。
このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。
プロセッサ１０２は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面１１６に近い又は接触しているオブジェクトと容量結合するＡＣ信号であってもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面１１６の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面１１６の表面は円滑であるが、容量結合はタッチ面１１６の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面１１６の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面１１６の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面１１６の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面１１６の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面１１６の表面において、又はコンピュータ装置１０１の別の部分（例えば、その筐体又は別の入力装置）において異なるテクスチャ又は他の効果をシミュレートしてもよい。
当業者であれば、摩擦係数を変化させること又は表面上のテクスチャをシミュレートすること等の触覚効果を出力するために多くの技術が使用され得ることを理解するであろう。例えば、一部の実施形態では、テクスチャは、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調で、１つ以上の表面特徴を上昇又は下降させることによって変化させられてもよい。
一部の実施形態では、タッチ面１１６に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ（例えば、容量結合）を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するＡＣ電圧信号を受信してもよい。ユーザがタッチ面１１６に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。
メモリ１０４に関しては、例示のプログラム構成要素１２４、１２６及び１２８が、ユーザ生成コンテンツオーサリングを与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。
触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するためのタッチ特性に関するデータを分析するプログラム構成要素を表す。例えば、一実施形態では、モジュール１２６は、接触の場所に基づいて、生成すべき触覚効果を決定するコードを含む。例えば、触覚効果決定モジュール１２６は、ユーザによって選択され得る１つ以上の最初から組み込まれている触覚効果を含んでもよい。こうした触覚効果は、（複数の）触覚出力装置１１８が生成することができる任意の種類の触覚効果を含んでもよい。更に、一部の実施形態では、モジュール１２６は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関係付けられる任意の他の特性を操作するように構成されるプログラムコードを含んでもよい。一部の実施形態では、モジュール１２６は、例えば、グラフィカルユーザインターフェースを介して、こうした特性をユーザが操作できるようにするプログラムコードを含んでもよい。
更に、一部の実施形態では、モジュール１２６は、ユーザ相互作用に基づいて触覚効果を決定するように構成されるプログラムコードを含んでもよい。例えば、モジュール１２６は、タッチ面１１６におけるユーザ入力又は移動装置の動作を検出するように構成される慣性センサ等の他のセンサを監視するように構成されてもよい。モジュール１２６は、この入力を検出して、入力に基づいて触覚効果を生成してもよい。例えば、一部の実施形態では、モジュール１２６は、ユーザ相互作用をシミュレートするように構成される触覚効果を決定するように構成されてもよい。
触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させて触覚出力装置１１８に送信させ、それにより、触覚出力装置１１８に選択された触覚効果を生成させるプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類のテクスチャを受信して、適切な信号を生成して触覚出力装置１１８に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、触覚効果に関する目標座標と共に所望のテクスチャが示されて、表面（及び／又は他の装置要素）の適切な変位を生成して触覚効果を与えるために１つ以上のアクチュエータに適切な波形が送信されてもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力装置を利用してもよい。例えば、インターフェース上でボタン間の境界を横断することをシミュレートするためにテクスチャの変化が使用されてもよい。一方で、触覚振動効果が、ボタンが押されたことをシミュレートする。
コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイを覆ってもよく、又は覆わなくてもよい（或いは、対応しても、対応してなくてもよい）。図１Ｂでは、コンピュータシステム１００Ｂの外観図が示される。コンピュータ装置１０１は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ１１６を含む。
タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の１つ以上の材料層に対応してもよい。
図１Ｃは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置１０１は、装置１０１とインターフェース接続されたコンピュータシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面１１６を特徴とする。例えば、コンピュータ装置１０１は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム１２０は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビボックス）、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面１１６及びディスプレイ１２２は、ディスプレイ１２２を特徴付けるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。
図２Ａ−２Ｂは、ユーザ生成コンテンツをオーサリングするための装置の例示の実施形態を示す。図２Ａは、タッチ可能ディスプレイ２０２を特徴とするコンピュータ装置２０１を含むシステム２００の外観図を示す図面である。図２Ｂは、装置２０１の断面図を示す。装置２０１は図１Ａの装置１０１と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。
図２Ｂに見られるように、装置２０１は、複数の触覚出力装置２１８及び追加の触覚出力装置２２２を特徴とする。触覚出力装置２１８−１は、ディスプレイ２０２に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で２１８−２は横方向にディスプレイ２０２を動かしてもよい。この例では、触覚出力装置２１８、２２２はディスプレイに直接結合されているが、触覚出力装置２１８、２２２は別のタッチ面、例えば、ディスプレイ２０２の上にある材料の層に結合され得ることが理解されるべきである。更に、１つ以上の触覚出力装置２１８又は２２２が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置２２２は、装置２０１の構成要素を保持する筐体に結合されてもよい。図２Ａ−２Ｂの例では、ディスプレイ２０２の領域はタッチ領域に対応するが、原理はディスプレイとは完全に分離したタッチ面に適用され得る。
一実施形態では、触覚出力装置２１８の各々は圧電アクチュエータを含むが、追加の触覚出力装置２２２は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置２２２は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び／又は他の目的で利用され得る。例えば、ディスプレイ２０２の表面におけるテクスチャをシミュレートするために各アクチュエータが併せて使用されてもよい。
一部の実施形態では、触覚出力装置２１８−１及び２１８−２のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ（例えば、可撓性材料を含むアクチュエータ）、静電、及び／又は磁歪アクチュエータを含み得る。更に、触覚出力装置２２２が示されているが、複数の他の触覚出力装置が装置２０１の筐体に結合可能であり、及び／又は触覚出力装置２２２は別の場所に結合されてもよい。装置２０１は、同様に、異なる場所でタッチ面に結合される複数の触覚出力装置２１８−１／２１８−２を特徴としてもよい。
次に図３Ａを参照すると、図３Ａは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図３Ａに示された実施形態は、コンピュータ装置３００を含む。図３Ａに示されたように、コンピュータ装置３００は、タッチスクリーンディスプレイ３０２を備える。更に、図３００に示されたように、多数の映像３０４がユーザに選択されるように利用可能である。映像３０４は、ローカルに保存された映像、リモートデータベース（例えば、インターネットアクセス可能データベース）、プライベートデータベースに保存された映像、コンピュータ装置３００で利用可能なカメラを使用してキャプチャされた映像、又は他の何らかの種類の映像等の任意の数の利用可能な映像を含んでもよい。
図３Ａに示される実施形態では、ユーザは、映像と相互作用するジェスチャを行うことによって１つ以上の映像３０４を選択してもよい。例えば、図３Ａに示される実施形態では、ユーザは、タッチスクリーン３０２上でジェスチャを行うことによって映像３０４と相互作用してもよい。他の実施形態では、ユーザは、コンピュータマウス、タッチパッド、又は他のユーザインターフェース装置を使用してそれを選択することにより映像と相互作用してもよい。一旦映像の１つを選択すると、ユーザは、本明細書に記載のシステム及び方法を用いて生成されたコンテンツを映像に適用してもよい。
図３Ｂは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図３Ｂに示された実施形態は、コンピュータ装置３５０を含む。図３Ｂに示されたように、コンピュータ装置３５０は、タッチスクリーンディスプレイ３０２を備える。図３Ｂに示されたように、ユーザは、利用可能な映像の１つを選択しており、ユーザ生成コンテンツを適用しているところである。
図３Ｂに示されたように、移動装置３５０は、映像場所３５２のタイムラインを示すユーザインターフェースを備える。一部の実施形態では、映像場所３５２は、選択された映像内のフレームの縮小図を含む。タッチスクリーン３０２の右側の映像場所３５２Ａは、映像の最初の場所を含んでもよい。タッチスクリーン３０２の左側の映像場所３５２Ｂは、映像の終了に向かう場所を含んでもよい。ユーザは、触覚効果を配置するために映像場所３５２を選択するジェスチャを行ってもよい。ユーザが映像場所３５２を選択すると、表示領域３５４は、映像内のその場所のより大きな画像を示してもよい。一旦場所を選択すると、ユーザは、本明細書に記載のシステム及び方法を用いて映像内のその場所に触覚効果等のユーザ生成コンテンツを適用してもよい。図３Ｂに示されるように、一部の実施形態では、映像場所３５２のこのタイムラインは、表示領域３５４において映像をオーバレイしてもよい。
図４Ａは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図４Ａに示された実施形態は、コンピュータ装置４００を含む。図４Ａに示されたように、コンピュータ装置４００は、タッチスクリーンディスプレイ４０２を備える。図４Ａに示されたように、ユーザは、映像内の場所を選択するジェスチャを行っており、触覚効果を適用しているところである。図４に示されるように、ユーザは、例示の触覚効果４０４の１つを選択してもよい。例えば、ユーザは、その触覚効果を選択するために触覚効果４０４に関係付けられる場所においてタッチスクリーン４０２と相互作用するジェスチャを行ってもよい。一旦ユーザが触覚効果を割り当てると、効果は映像内の選択された場所に関係付けられるであろう。
図４Ａに示されるように、ユーザは、多数の異なる種類の利用可能な触覚効果４０４の１つを選択してもよい。例えば、図４Ａに示されるように、ユーザは、触知効果、感情ベースの効果、アクションベースの効果等の広い部類の触覚効果から選択してもよい。更に、こうした効果は、例えば、ランプアップ（ｒａｍｐ ｕｐ）、ランプダウン（ｒａｍｐ
ｄｏｗｎ）、バンプ（ｂｕｍｐ）、シャープヒット（ｓｈａｒｐ ｈｉｔ）、ダブルヒット（ｄｏｕｂｌｅ ｈｉｔ）、テクスチャ、摩擦、鼓動、トゥインクル（ｔｗｉｎｋｌｅ）、驚き、ワオ（ｗｏｗ）、エンジェル、喝采、ヒュー（ｗｈｏｏｓｈ）、ポップ（ｐｏｐ）、バン（ｂａｍ）、ポカン（ｐｏｗ）、破壊、ザップ（ｚａｐ）、又は振動、表面ベースの効果、表面変形若しくは当技術分野で周知の他の種類の触覚効果を用いて生成され得る何らかの他の種類の触覚効果を含んでもよい。
他の実施形態では、ユーザは触覚効果を生成してもよい。例えば、ユーザは、装置でジェスチャを行うこと（例えば、装置を振ること又は装置上の場所を押すこと）により触覚効果を生成してもよい。このジェスチャは、移動装置における１つ以上のセンサ（例えば、心拍センサ、加速度計、又は動作を検出するように構成されるセンサ）によってキャプチャされて、触覚効果に変換されてもよい。更に、一部の実施形態では、ユーザは、多数の触覚効果を映像中の単一の又は多数の場所に適用してもよい。
更に、一部の実施形態では、移動装置４００は、触覚効果の特性、例えば、効果の強度、周波数、持続時間、ディーティサイクル、又は触覚効果に関係付けられる任意の他の特性をユーザが操作できるように構成されるユーザインターフェースを表示するためのプログラムコードを含んでもよい。これにより、ユーザは、既存の触覚効果を取って、特定の映像に対して、例えば、ユーザが他のユーザと共有することを意図する映像に対して効果をパーソナライズすることができる。
図４Ｂは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図４Ｂに示された実施形態は、コンピュータ装置４５０を含む。図４Ｂに示されたように、コンピュータ装置４５０は、タッチスクリーンディスプレイ４０２を備える。図４Ｂに示されるように、ユーザは、既に映像内の場所を選択しており、映像内に触覚効果を配置するジェスチャを行っている。図４Ｂに示される実施形態では、ユーザは、映像内の触覚効果の場所を微調整することができる。例えば、図４に示されるように、ユーザは、触覚効果を前方に少しずつ動かすジェスチャ（例えば、．２秒等の少量だけ効果を前方に動かす）又は触覚効果を後方に少しずつ動かすジェスチャ（例えば、．２秒等の少量だけ効果を後方に動かす）を行うことができる。また、ユーザは、映像から効果を消去することもできる。
更に、図４Ｂに示されるように、特徴４５４は、映像の長さとの比較により触覚効果の持続時間を示す。図４Ｂに示される実施形態では、特徴４５４は、完全な映像の長さと比較して触覚効果の持続時間に一致する長さのオーバレイを含む。従って、例えば、図４Ｂに示される実施形態では、映像は、特徴４５４によって表された効果の持続時間の倍数である持続時間を含んでもよい。一部の実施形態では、ユーザは触覚効果の持続時間を増加又は減少させてもよく、特徴４５４の同等の長さが対応する変化を有してもよい。
図５Ａは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図５Ａに示された実施形態は、コンピュータ装置５００を含む。図５Ａに示されたように、コンピュータ装置５００は、タッチスクリーンディスプレイ５０２を備える。図５Ａに示される実施形態では、ユーザは、映像内の場所にステッカー又はタグを適用している。ステッカーは、既に生成されており、コンテンツオーサリングのインターフェースを介してユーザに利用可能なアニメーション又はグラフィックスを含んでもよい。こうしたステッカーは、図５Ａではステッカー５０４として示される。一部の実施形態では、ステッカーは、ユーザによって作成されるグラフィックス又はアニメーション、又は選択的に音声効果を含んでもよい。例えば、ユーザは、別の描画モードに入ってもよい。ここで、ユーザは、例えば、描画アプリケーションのプラグインで新しいステッカーを描いてもよく、又は例えば、ステッカーにテキスト又はアニメーションを追加することで既存のステッカーを修正してもよい。
図５に示される実施形態では、ユーザは、触覚効果を映像に適用するためにユーザが行ったことに似たアクションを行うことにより映像内の場所にステッカーを適用してもよい。例えば、図５に示される実施形態では、ユーザは、映像内の所定の場所にハート形状のステッカーを適用してもよい。一部の実施形態では、この場所は、関連する触覚効果と同じ場所であってもよい。例えば、ユーザは、ハート形状のステッカー及び映像内の同じ場所で鼓動するハートをシミュレートするように構成される触覚効果を適用してもよい。他の実施形態では、ユーザは、触覚効果に関係付けられない場所でステッカーを適用してもよい。更に、一部の実施形態では、ユーザは、対応する触覚効果に関係付けられ得る又は関係付けられない場所で多数のステッカーを適用してもよい。
図５Ｂは、本開示の一実施形態によるユーザ生成コンテンツをオーサリングするための実施形態を含む。図５Ｂに示された実施形態は、コンピュータ装置５５０を含む。図５Ｂに示されたように、コンピュータ装置５５０は、タッチスクリーンディスプレイ５０２を備える。図５Ｂに示される実施形態では、ユーザは、１つ以上の触覚効果及び１つ以上のステッカーを既に選択して割り当てている。図５Ｂに示される実施形態では、ユーザは映像を見てもよい。映像内の割り当てられた場所において、コンピュータ装置５５０は、触覚効果を出力してステッカーを表示するであろう。更に、一部の実施形態では、ユーザは映像及び関連する触覚データを共有してもよい。例えば、一実施形態では、ユーザは、埋め込まれた触覚データを含む映像ファイルを共有してもよい。別の実施形態では、ユーザは、映像ファイルを共有し、触覚データを含む触覚トラックも共有してもよい。
（ユーザ生成コンテンツをオーサリングするための方法）
図６は、一実施形態によるユーザ生成コンテンツをオーサリングするための方法を実行するためのステップのフローチャートである。一部の実施形態では、図６のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図６に示される１つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図６に示されない追加のステップが実行されてもよい。以下のステップは図１に示されたコンピュータ装置１００に関して記載された構成要素を参照して記載される。
方法６００は、ステップ６０２において、コンピュータ装置１００が映像信号を受信すると開始する。映像信号は、リモートデータベース（例えば、インターネットアクセス可能データベース）から受信した映像信号、例えば、メモリ１０４又は記憶装置１１４等のデータストアでローカルに保存された映像信号、又はコンピュータ装置１０１のカメラを用いてキャプチャされた映像を含んでもよい。
次に、プロセッサ１０２は、ユーザインターフェースを表示する（６０４）。一部の実施形態では、プロセッサは、コンピュータ装置１０１のタッチスクリーンディスプレイ等のディスプレイにユーザインターフェースを表示してもよい。ユーザインターフェースは、図３Ａ−５Ｂに関して先に記載された種類のタッチ可能ユーザインターフェースを含んでもよい。ユーザインターフェースは、本明細書に記載の実施形態に従ってユーザ生成コンテンツのオーサリングを可能にするタッチ可能機能を含む。例えば、ユーザインターフェースは、映像選択、触覚効果選択、触覚効果調節、触覚効果配置、触覚効果作成、ステッカー選択、ステッカー配置、ステッカー修正、映像の保存及び映像の再生のためのインターフェースを含む。一部の実施形態では、ユーザは、ジェスチャ、例えば、ユーザインターフェースに関係付けられるジェスチャを行うことにより映像を選択してもよい。
次に、プロセッサ１０２は、触覚効果に関係付けられるジェスチャを検出する（６０６）。一部の実施形態では、ジェスチャは、タッチ面１１６によるユーザ入力を含んでもよい。一実施形態では、このジェスチャ、例えば、タッチスクリーンディスプレイの表面におけるジェスチャは、既存の触覚効果を選択してもよい。一部の実施形態では、このジェスチャは、１つ以上のセンサ１０８によって検出されて、プロセッサ１０２によって触覚効果に変換されるジェスチャを含んでもよい。先に検討されたように、装置は、移動装置の動きを検出するように構成される１つ以上のセンサ及び表面の相互作用を検出するように構成されるセンサを含んでもよい。ユーザは、装置の表面でジェスチャ（例えば、タッチ、タップ、又はスワイプ）を行ってもよい。また、ユーザは、装置によるジェスチャを行ってもよい（例えば、装置を空間内で移動させ、傾け、回し、揺らし、又は回転させる）。こうしたジェスチャはセンサによってキャプチャされてもよい。次に、センサは、ジェスチャに関係付けられる信号をプロセッサに送信してもよい。更に、一部の実施形態では、ジェスチャは、装置のカメラ（例えば、移動装置の前部若しくは後部向きカメラ又はリモートカメラ）によってキャプチャされるジェスチャを含んでもよい。カメラは、このジェスチャをキャプチャして、ジェスチャに関係付けられる信号をプロセッサ１０２に送信してもよい。ステップ６０８に関して更に検討されるように、プロセッサは、ジェスチャをシミュレートするように構成される１つ以上の触覚効果を決定してもよい。
次に、プロセッサは触覚効果を決定する（６０８）。一部の実施形態では、プロセッサ１０２は、ユーザ選択に基づいて触覚効果を決定してもよい。例えば、図４Ａに関して検討されるように、ユーザは利用可能な触覚効果を選択してもよい。例えば、コンピュータ装置１０１のデータストアは、ユーザが選択し得る多数の触覚効果に関係付けられるデータを含んでもよい。更に、ユーザは、触覚効果に関係付けられる特性を調節してもよい。
例えば、ユーザは、触覚効果に関係付けられる持続時間、周波数、強度、又は触覚効果に関係付けられる何らかの他の特性を修正してもよい。一部の実施形態では、プロセッサ１０２は、触覚効果を自動的に選択してもよい。例えば、一部の実施形態では、プロセッサ１０２は、映像内で起こるイベントに関係付けられる触覚効果を選択してもよい。こうしたイベントは、映像イベント又は音声イベントを含んでもよい。例えば、プロセッサ１０２は、例えば、滑降するスキーヤーの映像において発生するアクションイベントに触覚効果を関係付けてもよく、プロセッサ１０２は、スキーヤーの各衝突に関係付けられる触覚効果を決定してもよい。代替的に、プロセッサは、映像に関係付けられる鋭い音声、例えば、スキー映像における最初の銃の発射を検出して、この音声に触覚効果を関係付けてもよい。
一部の実施形態では、プロセッサ１０２は、映像信号における音声を考慮せずに、映像信号における画像に基づいて触覚効果を決定してもよい。他の実施形態では、プロセッサ１０２は、映像信号の画像成分を使用せずに、触覚効果を決定するために信号における音声を使用してもよい。一部の実施形態では、プロセッサ１０２は、映像信号の視覚及び聴覚部分の両方を使用してもよい。更に、一部の実施形態では、プロセッサ１０２は、別個の音声及び映像ストリームを受信して、触覚効果を決定するために両者を一緒に又は別々に使用してもよい。
一部の実施形態では、プロセッサ１０２は、ジェスチャに基づいて新しい触覚を作成してもよい。例えば、ユーザは、装置と相互作用すること（例えば、装置を振ること又は装置上の場所を押すこと）により触覚効果を生成してもよい。この相互作用は、移動装置における１つ以上のセンサ１０８によりキャプチャされて、触覚効果に変換されてもよい。
例えば、一実施形態では、ユーザは、装置を激しく振ることにより新しい触覚効果を作成してもよい。この振ることは、慣性センサによって検出されてもよい。プロセッサ１０２は、装置が激しく振られることをシミュレートするように構成される触覚効果を決定するために慣性センサからの信号を使用してもよい。一部の実施形態では、プロセッサ１０２は、ユーザ相互作用に関係付けられる特性に基づいて触覚効果を決定する。例えば、プロセッサ１０２は、ユーザ相互作用の種類、場所、持続時間、又は他の特性に基づいて触覚効果を決定してもよい。更に、プロセッサ１０２は、多次元触覚効果を決定してもよい。
例えば、プロセッサ１０２は、装置を下方に動かしたジェスチャをシミュレートするためにＺ平面に力を出力する触覚効果を決定してもよい。更に、プロセッサは、タッチスクリーンの表面におけるジェスチャをシミュレートするためにＸ又はＹ平面に出力する触覚効果（例えば、タッチスクリーンの表面における表面ベースの効果）も決定してもよい。一部の実施形態では、こうした触覚効果は、映像内のオブジェクト（例えば、ユーザによって追加されたステッカー又は既に映像にあるオブジェクト）が動く感覚をシミュレートしてもよい。例えば、触覚効果は、オブジェクトが左右に、上下に、前後に動き、動作中に傾斜し、又はディスプレイの内外に動く感覚をシミュレートしてもよい。一部の実施形態では、こうした触覚効果は、ディスプレイにおける視覚効果、例えば、ステッカーに関係付けられるアニメーションに対応してもよい。
例えば、一実施形態では、ユーザは、タッチスクリーンの左側にあるオブジェクトをタップして、タッチスクリーンの右側にオブジェクトを移動させることによりオブジェクトが左から右に動く感覚をシミュレートするように構成される触覚効果を作成してもよい。
プロセッサは、ディスプレイの左側からディスプレイの右側に動くオブジェクトの「質量（ｍａｓｓ）」をシミュレートするように構成される触覚を決定してもよい。
一部の実施形態では、コンピュータ装置１０１は関連する「触覚プロファイル」を記憶してもよく、ユーザは利用したい触覚効果の「プロファイル」を決定してメモリ１０４に保存することができる。例えば、一実施形態では、ユーザは、どの触覚効果を映像に挿入したいかをオプションのリストから選択することができる。
一部の実施形態では、プロセッサ１０２は、コンピュータ装置１０１で利用可能な（複数の）触覚出力装置に部分的に基づいて触覚効果を決定してもよい。一部の実施形態では、プロセッサ１０２は、コンピュータ装置１０１に関係付けられる帯域幅の制約に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置１０１は、単一の触覚出力装置１１８を備えてもよい。このような実施形態では、プロセッサ１０２は、一度に１つの触覚効果が出力されることを決定してもよい。他の実施形態では、コンピュータ装置１０１は、複数の触覚出力装置１１８を含んでもよい。このような実施形態では、プロセッサ１０２は、多数の重畳する触覚効果が出力されることを決定してもよい。更に、このような実施形態では、プロセッサ１０２は、触覚出力装置１１８によって同時に出力される２つ以上の触覚効果の結合により生成される調和によって出力される複合触覚効果を決定してもよい。
次に、プロセッサ１０２は、触覚効果を映像信号に関係付ける（６１０）。図３Ｂ及び４Ｂに関して先に検討されたように、ユーザは触覚効果を配置するために映像内の場所を選択してもよい。この場所は、映像におけるイベントに関係付けられてもよい。例えば、ユーザは、映像において所定回数発生するように触覚効果を選択してもよい。例えば、映像が滑降するスキーヤーの映像を含む先に検討された実施形態では、ユーザは、スキーヤーが他のオブジェクトと衝突する場所に触覚効果を関係付けてもよい。こうした触覚効果は、映像の鑑賞体験を向上させてもよい。更に、一部の実施形態では、プロセッサ１０２は、触覚効果を配置する映像内の場所を自動的に選択するように構成されてもよい。例えば、プロセッサは、映像に関係付けられるアクション、遷移、移動又は他の特性等の特徴を検出して、こうした特長に関係付けられる場所に触覚効果を配置するように構成されてもよい。
次に、プロセッサ１０２は、ステッカーを映像信号に関係付ける（６１２）。図５Ａに関して先に検討されたように、ユーザは、ステッカーを選択して、ステッカーが現れる映像内の場所も選択してもよい。先に検討されたように、ユーザは、既存のステッカーを選択してもよい。代替的に、ユーザは、新しいステッカーを作成してもよい。例えば、プロセッサは、新しいステッカーを作成するためのインターフェースを表示してもよい。このインターフェースは、ステッカーを描画及び修正するための特徴を含んでもよい。更に、一部の実施形態では、ユーザは、ステッカーにテキスト、アニメーション又は他の特徴を適用することにより既存のステッカーを修正してもよい。
次に、プロセッサ１０２は、映像信号、触覚効果及びステッカーを記憶する（６１４）。一部の実施形態では、プロセッサは、単一のファイル、例えば、ＭＰ４ファイルにこうした成分の各々を記憶してもよい。他の実施形態では、任意の既知の映像ファイルフォーマット、例えば、ＭＰ２トランスポートストリーム、ＨＤライブストリーム、１つ以上の種類のＭＰＥＧ、又は当技術分野で周知の他の映像フォーマットが使用されてもよい。一部の実施形態では、プロセッサは、映像信号、触覚効果及びステッカーを別個のファイルに記憶してもよい。例えば、プロセッサは、映像ファイルに同期された触覚トラックを作成してもよい。
次に、プロセッサ１０２は、映像、ステッカー及び触覚効果を出力する。映像及びステッカーは、ディスプレイを用いて出力されてもよい。一部の実施形態では、ステッカーは、再生中に映像内で動くアニメーション化されたステッカーを含んでもよい。他の実施形態では、ステッカーは、動かない固定ステッカーを含んでもよい。例えば、ステッカーはテキストボックスを含んでもよい。
触覚効果を出力するために、プロセッサ１０２は、触覚効果を出力する触覚出力装置１１８に触覚効果に関係付けられる触覚信号を送信してもよい。触覚効果は、テクスチャ（例えば、砂質、凹凸又は円滑）、振動、知覚される摩擦係数の変化、温度の変化、ストローク感、電気触知効果、又は変形（即ち、コンピュータ装置１０１に関係付けられる表面の変形）を含んでもよい。
追加して又は代替的に、一部の実施形態では、コンピュータ装置１０１は、音声及び／又は情報をディスプレイに出力してもよい。音声及び／又は情報は、オブジェクトの特性及び／又は機能に関係付けられてもよい。
（ユーザ生成コンテンツのオーサリングの利点）
ユーザ生成コンテンツのオーサリングには多くの利点がある。例えば、映像の触知性強化は、創作的なコンテンツ作成への道を開いてもよい。アニメーション化されたステッカー又は触知のみと向上したアニメーション化されたステッカーとの結合は、映像作成におけるユーザ体験に対する追加のはけ口を更に提供してもよい。更に、アニメーション化されたオーバレイ概念に追加された追加の特徴として触知性強化の使用（例えば、映画内のアニメーション化されたステッカー）は、ユーザ体験を更に高めることができる。
本開示の一部の実施形態は、サードパーティアプリケーションの構成要素又は装置内アプリケーションの構成要素として実装され得る。一部の実施形態では、本明細書に開示のシステム及び方法は、複数の装置の間で互換性があり、例えば、映像又は触覚トラックはプラットフォームとは独立しており、一旦作成されると任意の装置で再生可能であってもよい。
（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。
例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (22)

  1. 映像信号を受信するステップと、
    触覚オーサリングに関係付けられるユーザインターフェースを表示するステップと、
    触覚効果に関係付けられるジェスチャを検出するステップと、
    前記ジェスチャに部分的に基づいて触覚効果を決定するステップと、
    前記触覚効果を前記映像信号内の場所と関係付けるステップと、
    前記映像信号及び関係付けられた触覚効果を記憶するステップと
    を含む、コンテンツオーサリングのための方法。
  2. 前記ユーザインターフェースは、前記映像信号に関係付けられる画像及び前記画像の上にタイムラインを含む、請求項１に記載の方法。
  3. 前記タイムラインは、前記触覚効果のグラフィカル表現を含む、請求項２に記載の方法。
  4. 前記映像信号は、移動装置のカメラから受信される信号を含む、請求項１に記載の方法。
  5. 前記ジェスチャに基づいて触覚効果を決定するステップは、ユーザが選択した触覚効果を決定することを含む、請求項１に記載の方法。
  6. 前記映像信号及び前記関係付けられた触覚効果を記憶するステップは、前記映像信号及び前記関係付けられた触覚効果を単一のメディアファイルに記憶することを含む、請求項１に記載の方法。
  7. 前記映像信号及び関係付けられた触覚効果を記憶するステップは、前記映像信号を前記触覚効果とは別のファイルに記憶することを含む、請求項１に記載の方法。
  8. 前記映像信号にステッカーを関係付けるステップを更に含む、請求項１に記載の方法。
  9. 前記ステッカーは、ユーザが選択したステッカーを含む、請求項７に記載の方法。
  10. 前記ステッカー、前記映像信号、及び前記関係付けられた触覚効果を単一のファイルに記憶するステップを更に含む、請求項７に記載の方法。
  11. 映像信号を受信して、前記映像信号に関係付けられるユーザインターフェースを出力するように構成されるディスプレイと、
    ジェスチャを検出して、前記ジェスチャに関係付けられるセンサ信号を送信するように構成されるセンサと、
    前記センサ及び前記ディスプレイと通信するプロセッサであって、
    前記センサ信号を受信して、前記ジェスチャに部分的に基づいて触覚効果を決定すること、
    触覚効果を前記映像信号内の場所と関係付けること、及び
    前記映像信号及び関係付けられた触覚効果を記憶すること
    を行うように構成されるプロセッサと
    を備える、コンテンツオーサリングのためのシステム。
  12. 前記ユーザインターフェースは、前記映像信号に関係付けられる画像及び前記画像の上にタイムラインを含む、請求項１１に記載のシステム。
  13. 前記タイムラインは、前記触覚効果のグラフィカル表現を含む、請求項１２に記載のシステム。
  14. 画像をキャプチャするように構成されるカメラを更に備え、前記映像信号が前記画像に関係付けられる、請求項１１に記載のシステム。
  15. 前記ユーザ入力に基づいて触覚効果を決定することは、ユーザが選択した触覚効果を決定することを含む、請求項１１に記載のシステム。
  16. 前記映像信号及び前記関係付けられた触覚効果を記憶することは、前記映像信号及び前記関係付けられた触覚効果を単一のメディアファイルに記憶することを含む、請求項１１に記載のシステム。
  17. 前記プロセッサは、前記映像信号にステッカーを関係付けるように更に構成される、請求項１１に記載のシステム。
  18. 前記ステッカーは、ユーザが選択したステッカーを含む、請求項１７に記載のシステム。
  19. 前記プロセッサは、前記ステッカー、前記映像信号、及び前記関係付けられた触覚効果を単一のファイルに記憶するように更に構成される、請求項１８に記載のシステム。
  20. 前記プロセッサと通信する触覚出力装置を更に備える、請求項１１に記載のシステム。
  21. 前記触覚出力装置は、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含む、請求項２０に記載のシステム。
  22. プロセッサによって実行されると、前記プロセッサに
    映像信号を受信すること、
    触覚オーサリングに関係付けられるユーザインターフェースに関係付けられる表示信号をディスプレイに送信すること、
    触覚効果に関係付けられるジェスチャを検出すること、
    前記ジェスチャに基づいて触覚効果を決定すること、
    前記触覚効果を前記映像信号内の場所と関係付けること、及び
    前記映像信号及び関係付けられた触覚効果を記憶すること
    を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
JP2019031909A 2014-01-16 2019-02-25 ユーザ生成コンテンツをオーサリングするためのシステム及び方法 Pending JP2019125376A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461928357P 2014-01-16 2014-01-16
US61/928,357 2014-01-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015005703A Division JP6516477B2 (ja) 2014-01-16 2015-01-15 ユーザ生成コンテンツをオーサリングするためのシステム及び方法

Publications (1)

Publication Number Publication Date
JP2019125376A true JP2019125376A (ja) 2019-07-25

Family

ID=52434541

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015005703A Expired - Fee Related JP6516477B2 (ja) 2014-01-16 2015-01-15 ユーザ生成コンテンツをオーサリングするためのシステム及び方法
JP2019031909A Pending JP2019125376A (ja) 2014-01-16 2019-02-25 ユーザ生成コンテンツをオーサリングするためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015005703A Expired - Fee Related JP6516477B2 (ja) 2014-01-16 2015-01-15 ユーザ生成コンテンツをオーサリングするためのシステム及び方法

Country Status (5)

Country Link
US (2) US10437341B2 (ja)
EP (2) EP3448053A1 (ja)
JP (2) JP6516477B2 (ja)
KR (1) KR20150085801A (ja)
CN (1) CN104793737B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
KR20180048629A (ko) * 2015-09-25 2018-05-10 임머숀 코퍼레이션 햅틱 효과 설계 시스템
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
US10031580B2 (en) 2016-01-13 2018-07-24 Immersion Corporation Systems and methods for haptically-enabled neural interfaces
US10102723B2 (en) 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
US10101813B2 (en) * 2016-12-14 2018-10-16 Immersion Corporation Automatic haptic generation based on color features and motion analysis
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
FR3064504B1 (fr) * 2017-03-31 2022-02-04 Commissariat Energie Atomique Interface offrant une modulation de friction localisee par lubrification acoustique
US10194128B2 (en) 2017-06-12 2019-01-29 Amazon Technologies, Inc. Systems and processes for generating a digital content item
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
CN109379485B (zh) * 2018-09-26 2021-03-19 腾讯数码（天津）有限公司 应用程序的反馈方法、装置、终端及存储介质
US20200150765A1 (en) * 2018-11-14 2020-05-14 Immersion Corporation Systems and methods for generating haptic effects based on visual characteristics
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
CN110572709B (zh) * 2019-08-30 2022-01-25 杭州影笑科技有限责任公司 一种贴纸快捷定位方法
US10972682B1 (en) * 2019-12-12 2021-04-06 Facebook, Inc. System and method for adding virtual audio stickers to videos
KR20210114059A (ko) * 2020-06-30 2021-09-17 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 비디오 처리 방법, 장치, 전자 기기 및 저장 매체
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same
US11989348B2 (en) 2020-12-31 2024-05-21 Snap Inc. Media content items with haptic feedback augmentations
KR20230124086A (ko) 2020-12-31 2023-08-24 스냅 인코포레이티드 햅틱 피드백 응답을 갖는 전자 통신 인터페이스
KR20230128063A (ko) 2020-12-31 2023-09-01 스냅 인코포레이티드 햅틱 피드백을 갖는 실시간 비디오 통신 인터페이스
US12050729B2 (en) 2021-03-31 2024-07-30 Snap Inc. Real-time communication interface with haptic and audio feedback response
JP7386363B2 (ja) * 2021-05-19 2023-11-24 アルプスアルパイン株式会社 感覚制御方法、感覚制御システム、変換モデル生成方法、変換モデル生成システム、関係式変換方法、およびプログラム
CN113949900B (zh) * 2021-10-08 2023-11-24 上海哔哩哔哩科技有限公司 直播贴图处理方法、系统、设备及存储介质
US11809630B1 (en) * 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250689A (ja) * 1999-03-03 2000-09-14 Minolta Co Ltd 仮想物体呈示システム
EP1758398A1 (en) * 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
JP2008522275A (ja) * 2004-11-25 2008-06-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツ編集のためのユーザインタフェース
JP2008165768A (ja) * 2006-12-18 2008-07-17 Samsung Electronics Co Ltd 動的映像物を生成するためのテンプレートを編集する装置および方法。
WO2008090859A1 (ja) * 2007-01-22 2008-07-31 Sony Corporation 情報処理装置および方法、並びにプログラム
JP2011528476A (ja) * 2008-07-15 2011-11-17 イマージョン コーポレイション 物理法則に基づく触覚メッセージングのためのシステム及び方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US20090079690A1 (en) 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
KR101556522B1 (ko) * 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US20100033426A1 (en) 2008-08-11 2010-02-11 Immersion Corporation, A Delaware Corporation Haptic Enabled Gaming Peripheral for a Musical Game
EP2350773B1 (en) 2008-10-10 2017-04-19 Internet Services, Llc Haptic otuput device for use with haptic encoded media
US8540571B2 (en) 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US9678569B2 (en) 2010-04-23 2017-06-13 Immersion Corporation Systems and methods for providing haptic effects
EP2585895A1 (en) 2010-06-28 2013-05-01 TP Vision Holding B.V. Enhancing content viewing experience
US20120210200A1 (en) * 2011-02-10 2012-08-16 Kelly Berger System, method, and touch screen graphical user interface for managing photos and creating photo books
US8923684B2 (en) * 2011-05-23 2014-12-30 Cctubes, Llc Computer-implemented video captioning method and player
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
KR102035305B1 (ko) * 2013-01-15 2019-11-18 삼성전자주식회사 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US20140380380A1 (en) 2013-06-24 2014-12-25 Cinematique, L.L.C. System and method for encoding media with motion touch objects and display thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250689A (ja) * 1999-03-03 2000-09-14 Minolta Co Ltd 仮想物体呈示システム
JP2008522275A (ja) * 2004-11-25 2008-06-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツ編集のためのユーザインタフェース
EP1758398A1 (en) * 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
JP2008165768A (ja) * 2006-12-18 2008-07-17 Samsung Electronics Co Ltd 動的映像物を生成するためのテンプレートを編集する装置および方法。
WO2008090859A1 (ja) * 2007-01-22 2008-07-31 Sony Corporation 情報処理装置および方法、並びにプログラム
JP2011528476A (ja) * 2008-07-15 2011-11-17 イマージョン コーポレイション 物理法則に基づく触覚メッセージングのためのシステム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DANIEAU, FABIEN: "H-Studio: an authoring tool for adding haptic and motion effects to audiovisual content", PROCEEDINGS OF THE ADJUNCT PUBLICATION OF THE 26TH ANNUAL ACM SYMPOSIUM ON USER INTERFACE SOFTWARE A, JPN7020001502, 31 October 2013 (2013-10-31), pages 83 - 84, XP058934225, ISSN: 0004452541, DOI: 10.1145/2508468.2514721 *

Also Published As

Publication number Publication date
US20150199024A1 (en) 2015-07-16
EP2897026A1 (en) 2015-07-22
US10437341B2 (en) 2019-10-08
CN104793737A (zh) 2015-07-22
KR20150085801A (ko) 2015-07-24
JP2015135678A (ja) 2015-07-27
US20200057506A1 (en) 2020-02-20
EP3448053A1 (en) 2019-02-27
JP6516477B2 (ja) 2019-05-22
CN104793737B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
JP6516477B2 (ja) ユーザ生成コンテンツをオーサリングするためのシステム及び方法
JP6985134B2 (ja) 視野を用いる触覚フィードバック
US10276004B2 (en) Systems and methods for generating haptic effects associated with transitions in audio signals
US10203757B2 (en) Systems and methods for shape input and output for a haptically-enabled deformable surface
US9934660B2 (en) Systems and methods for generating haptic effects associated with an envelope in audio signals
US10474238B2 (en) Systems and methods for virtual affective touch
JP6598500B2 (ja) ビューポートベースの拡張現実感触覚効果のシステム、方法及び非一時的コンピュータ可読媒体
US8711118B2 (en) Interactivity model for shared feedback on mobile devices
CN108255295A (zh) 用于空间依赖性内容的触觉效果生成
KR20160062698A (ko) 변형 기반의 햅틱 효과들을 위한 시스템들 및 방법들
US20180232051A1 (en) Automatic localized haptics generation system
KR20170059368A (ko) 햅틱 가능 플렉시블 디바이스들
US20160246375A1 (en) Systems And Methods For User Interaction With A Curved Display
JP2018113025A (ja) 触覚によるコンプライアンス錯覚のためのシステム及び方法
US11681372B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US10101813B2 (en) Automatic haptic generation based on color features and motion analysis
EP3367216A1 (en) Systems and methods for virtual affective touch

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210302