JP2015084570A - テキストメッセージにおける触覚コンテンツ - Google Patents

テキストメッセージにおける触覚コンテンツ Download PDF

Info

Publication number
JP2015084570A
JP2015084570A JP2014256249A JP2014256249A JP2015084570A JP 2015084570 A JP2015084570 A JP 2015084570A JP 2014256249 A JP2014256249 A JP 2014256249A JP 2014256249 A JP2014256249 A JP 2014256249A JP 2015084570 A JP2015084570 A JP 2015084570A
Authority
JP
Japan
Prior art keywords
message
haptic
terminal device
feedback command
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014256249A
Other languages
English (en)
Other versions
JP2015084570A5 (ja
JP6077521B2 (ja
Inventor
グレゴリオ,ペドロ
Gregorio Pedro
グラント,ダニー,エー.
A Grant Danny
ラムゼイ,エリン,ビー.
B Ramsay Erin
フレミング,ジェイソン,ディー.
D Fleming Jason
フラハーティ,ナターシャ,エム.
M Flaherty Natasha
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2015084570A publication Critical patent/JP2015084570A/ja
Publication of JP2015084570A5 publication Critical patent/JP2015084570A5/ja
Application granted granted Critical
Publication of JP6077521B2 publication Critical patent/JP6077521B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42382Text-based messaging services in telephone networks such as PSTN/ISDN, e.g. User-to-User Signalling or Short Message Service for fixed networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • H04W4/14Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42025Calling or Called party identification service
    • H04M3/42034Calling party identification service
    • H04M3/42042Notifying the called party of information on the calling party

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】触覚が使用可能なメッセージを生成及び受信できる携帯端末装置を提供する。
【解決手段】携帯端末装置は、テキストと少なくとも1つの触覚フィードバックコマンドとを含む、触覚が使用可能なメッセージを受信する302。該装置は、メッセージ内の触覚フィードバックコマンドのタイミングを決定する306。該装置がユーザによってメッセージが表示されているという指示を受信する308と、触覚フィードバックコマンドに対応する触覚効果を同期化する310。この同期化は、タイミング及び指示に基づく。
【選択図】図3

Description

一実施形態は、電子メッセージングを対象とする。より具体的には、一実施形態は、携帯端末装置のための、触覚が使用可能な電子メッセージングを対象とする。
電子装置の製造業者は、ユーザのために充実したインタフェースを作製しようと努めている。従来の装置は、視覚および聴覚キュー(cue)を使用して、ユーザにフィードバックを提供する。いくつかのインタフェース装置においては、運動感覚フィードバック(作用力および抵抗力フィードバック等)および/またはより一般的には総じて「触覚フィードバック」または「触覚効果」として公知の、触知フィードバック(振動、感触(texture)、および熱等)もユーザに提供される。触覚フィードバックは、ユーザインタフェースを向上および簡略化させるキューを提供することができる。具体的には、振動効果、つまり触振動力の触覚効果が、ユーザに対して特定の事象(event)を通知するために電子装置のユーザにキューを提供する上で、または模擬環境または仮想環境内でより優れた感覚的体験を生み出すために電子装置のユーザに実感のあるフィードバックを提供する上で有用であり得る。
触覚フィードバックはまた、携帯電話、携帯情報端末(Personal Digital Assistant)(「PDA」)、スマートフォン、および携帯型ゲーム装置等の「ハンドヘルドデバイス」または「携帯端末装置」と称される携帯型電子装置に組み込まれることが多くなっている。例えば、いくつかの携帯型ゲームアプリケーションは、触覚フィードバックを提供するために構成される、より大規模のゲームシステムと共に利用される制御装置(例えば、ジョイスティック等)と同様に振動可能である。加えて、携帯電話およびPDA等の装置は、振動によって、ユーザに種々の通知を提供できる。例えば、携帯電話は振動によって、ユーザに着信を通知できる。同様に、PDAは、予定されたカレンダー項目をユーザに通知できる、または「やるべきこと(to do)」のリスト項目またはカレンダー予約のリマインダーをユーザに提供できる。
多くの携帯端末装置は、音声通話を処理するだけでなく、装置間のメッセージングを可能にする。テキストメッセージングとしても公知のショートメッセージサービス(「SMS」)は、携帯ネットワークのショートメッセージサービスセンター(「SMSC」)を介して携帯端末装置間のショートテキストメッセージの交換を可能にする、普及された通信方法である。携帯端末装置の他の公知のメッセージングの方法には、マルチメディアメッセージングサービス(「MMS」)、モバイルインスタントメッセージング、および携帯電子メールを含む。MMSは、携帯加入者同士のマルチメディアメッセージ交換を可能にする蓄積転送型(store and forward)メッセージングサービスである。このため、MMSは、テキスト、画像、音声、動画、またはその4つ全ての組み合わせを含む、さらなるメディア形式の伝達をサポートするので、SMSの進化として見ることができる。インスタントメッセージング(「IM」)はコンピュータのユーザ間のリアルタイムの通信を提供可能なインターネットプロトコル(「IP」)ベースのアプリケーションである。モバイルインスタントメッセージングは、携帯電話機からのインスタントメッセージングサービスに関係する機能である。モバイルインスタントメッセージングは、通称名(alias)(またはユーザ名)およびアドレス帳を使って他のユーザへのメッセージをアドレス指定することをユーザに可能にし、存在の概念を組み込んでいるため、送信者は、いつ、「友人」に送信可能であるかを知ることができる。携帯電子メールは、無線装置で電子メールを送受信する機能である。
触覚フィードバックは、メッセージの受信者に、メッセージのテキスト内では明らかにならない可能性のある追加の情報を提供するために使用できる。例えば、携帯端末装置で別のユーザに送信されるテキストメッセージは、表現されたトピックに対してユーザが感じた度合いの強さを示す情報またはメッセージに関する他のサブテキスト(言外の意味)を含み得ない可能性がある。ユーザは、公知のアイコンまたは感情またはメッセージの文化に依存するアイコンによる表現である、「顔文字」として公知のシンボルを使用して、このサブテキストを表現するよう努め得る。例えば、ユーモラスなメッセージを示すための「笑顔」の顔文字は、コロンおよび右カッコの記号「:)」として表すことができ、それは横から見たときに笑っている顔に似ている。あるいは、カッコ、キャレット、および下線の組み合わせ「(^_^)」として表現することができる。笑顔の顔文字の変形で、種々の他の感情を表現できる。しかしながら、顔文字およびシンボルは、伝達可能なメッセージが複雑な場合には制限される。
本発明の一実施形態は、テキストおよび少なくとも1つの触覚フィードバックコマンドを含む、触覚が使用可能なメッセージを受信する携帯端末装置である。該装置は、メッセージ内の触覚フィードバックコマンドのタイミングを決定する。該装置が、ユーザによってメッセージが表示されているという指示を受信すると、該装置は、触覚フィードバックコマンドに対応する触覚効果を同期化する。同期化は、タイミングおよび指示に基づく。
一実施形態による、携帯電話のブロックダイアグラムである。 触覚が使用可能なメッセージを生成するためにジェスチャを使用する場合の、一実施形態による電話機の機能のフローダイアグラムである。 一実施形態による、触覚が使用可能なメッセージのテキストコンテンツと触覚コンテンツを同期化させるための、電話機の機能のフローダイアグラムである。
一実施形態は、触覚が使用可能なメッセージを生成および受信できる携帯端末装置である。ユーザがメッセージを読むと、メッセージの触覚コンテンツは、テキストコンテンツと同期化され、メッセージの効果を高める。
メッセージに埋め込まれる触覚フィードバックは、顔文字とは対照的に、他のユーザに対してより効果的な方法で、顔文字よりもかなり複雑かつ直接的な、サブテキストを表現するための方法を提供できる。触覚フィードバックは、メッセージの受信者に対し、メッセージのテキストに含まれている情報を強調するために使用できる。例えば、携帯端末装置においてユーザに送信されるテキストメッセージは、ガソリン価格がそのエリアにおいて特定の金額だけ値上がりすることを示し得る。メッセージに埋め込まれる触覚フィードバックがユーザに金額の差分を伝達でき、ユーザはテキストを読まずにメッセージの意味を理解できる。
図1は、一実施形態による携帯電話10のブロックダイアグラムである。電話機10は、画面11およびキー13を含む。一実施形態において、キー13は、機械的な形式のキーである。別の実施形態において、キー13は、キー13がタッチスクリーンキーとなるようにタッチスクリーンによって実現可能であり、または、任意の方法を用いて実現可能である。電話機10の内部には、電話機10上で振動、または他の形式の触覚フィードバックを生じさせる触覚フィードバックシステムがある。一実施形態において、振動は電話機10全体で生じる。他の実施形態において、電話機10の特定の部分が、触覚フィードバックシステムによって触覚を使用可能にすることができ、それには、例えばキー13の個々のキーを含み、キーは機械的指向、タッチスクリーン、または、他の形式の実現形態であり得る。
触覚フィードバックシステムはプロセッサ12を含む。プロセッサ12にはメモリ20およびアクチュエータ駆動回路16が結合され、アクチュエータ駆動回路16は振動アクチュエータ18に結合される。図1の実施形態は携帯電話であるが、本発明の実施形態は任意の形式の携帯端末装置、または振動を生じさせるためにアクチュエータを使用する、あるいは他の形式の触覚フィードバックを生じさせる任意の装置で実現可能である。
プロセッサ12は任意の形式の汎用コントローラまたはプロセッサでもよく、あるいは、特定用途向け集積回路(Application−Specific Integrated Circuit)(「ASIC」)等の、触覚効果を提供するために特別に設計されたプロセッサとすることもできる。プロセッサ12は、電話機10全体を動作させるのと同一のコントローラ/プロセッサとしてもよく、または別個のプロセッサとしてもよい。プロセッサ12は、高レベルのパラメータに基づいて、実行される触覚効果および実行される効果の順序を決定できる。概して、特定の触覚効果を定義する高レベルのパラメータは、振幅、周波数および持続時間を含む。
プロセッサ12は、所望の触覚効果をもたらすために必要な電流および電圧をアクチュエータ18に供給するために用いられる電子コンポーネントおよび回路を含む駆動回路16へ、制御信号を出力する。アクチュエータ18は、電話機10上で振動を発生させる触覚デバイスである。アクチュエータ18は、(例えば、電話機10の筐体を介して)電話機10のユーザに触振動力を印加できる1つ以上の力印加機構を含むことができる。アクチュエータ18は、例えば、モータによって偏心質量体が動く偏心回転質量体(Eccentric Rotating Mass)(「ERM」)等の電磁アクチュエータ、ばねに取り付けられている質量体が前後方向に駆動されるリニア共振アクチュエータ(Linear Resonant Actuator)(「LRA」)、または圧電、電気活性ポリマーあるいは形状記憶合金等の「スマート材料」にしてもよい。メモリ20は、ランダムアクセスメモリ(「RAM」)または読み取り専用メモリ(Read−Only Memory)(「ROM」)等の任意の形式のストレージデバイスにすることができる。メモリ20は、プロセッサ12によって実行される命令を記憶する。メモリ20はさらに、プロセッサ12の内部に配置されるか、または内部および外部メモリの任意の組み合わせにすることができる。一実施形態において、触覚フィードバックシステムはさらに、電話機10の加速度を測定する加速度計(不図示)を含み得る。
メモリ20はさらに、プロセッサ12によって実行される際、電話機10において、触覚コンテンツを含む触覚が使用可能なメッセージをユーザが生成できるようにし、触覚コンテンツがメッセージのテキストコンテンツと同期化されるように、受信した触覚が使用可能なメッセージを読むことができるようにする命令を記憶する。一実施形態において、触覚が使用可能なメッセージを生成および読み取るために携帯ブラウザが使用される。
一実施形態において、ユーザは、触覚フィードバックを指定するためにアイコン、コマンド、コード、顔文字等(総じて「触覚フィードバックコマンド」)のリストから選択することで、電話機10において触覚が使用可能なメッセージを生成する。各触覚フィードバックは、プロセッサ12で実行される際に、触覚フィードバックシステムが特定の触覚フィードバック効果を生じさせる特定の触覚コードにマッピングすることができる。
例えば、笑顔のアイコン、顔文字またはコマンド(例えば、:)、
、(^_^)、または<smiley>)をユーザが選択し、SMSメッセージのテキスト内に挿入できる。触覚フィードバックコマンドは、受信者によって受信されると、ユーザの携帯端末装置においてマッピングされた触覚フィードバック効果を生成する。触覚フィードバック効果は、触覚コマンドの種類に関連付けられる。例えば、「パット(pat)」(軽くたたく)効果は、受信者ユーザの移動端末装置のグリップまたはユーザオブジェクトに、手で軽く叩くように、小刻みの、スムースな揺れを実現する触覚フィードバックを生じさせ得る。「ギグル(giggle)」(クスクス笑い)効果は低周波数の振動を提供し得、「スラップ(slap)」(平手打ち)効果は鋭い高振幅の揺れを提供することができ、「スマイル(smile)」(ほほえみ)効果はゆっくりとした横方向の動き等を提供し得る。
一実施形態において、ユーザは触覚コンテンツをメッセージに挿入できる、または特定のキーワード、語句または顔文字に触覚効果をあらかじめ割り当てることができる。顔文字のグループにタグを付け、これに単一の触覚効果を付与することもできる。例えば、「嬉しい」という感情に関連する全ての顔文字を同じカテゴリに割り当て、同一の触覚効果を有することができる。一実施形態において、触覚効果は、顔文字、キーワードまたは語句にデフォルトとして割り当てることができる。別の実施形態において、不可視のコマンドをメッセージに挿入することが可能であり、それにより受信者は、メッセージを読む際に触覚効果を目で見て予期することはできない。
一実施形態において、電話機10は、ユーザに、テキスト入力の際に触覚効果を感じさせるようにすることができる。この実施形態において、ユーザがメッセージを作成している際、送信者が、送信される触覚効果がわかるように触覚フィードバックを装置上で再生できる。
一実施形態では、触覚が使用可能なメッセージを生成するためにジェスチャを使用する。図2は、触覚が使用可能なメッセージを生成するためにジェスチャが使用される際の、一実施形態による電話機10の機能のフローダイアグラムである。一実施形態において、図2のフローダイアグラムおよび以下に開示されている他のフローダイアグラムの機能は、メモリに記憶されたソフトウェアにおいて実装され、プロセッサによって実行される。他の実施形態において、機能は、ハードウェア、またはハードウェアおよびソフトウェアの任意の組み合わせによって実行できる。
メッセージ生成目的でのテキスト入力中において、ユーザは、例えば、特定の方法で電話機10を動かすことにより、ジェスチャによって触覚効果を入力することができ、これは次に触覚効果にマッピングされる。例えば、ユーザがメッセージによって満足感を表現しようとする場合、電話機を前後に緩やかに揺することができる。202において、この揺れは加速度計の出力を生成する。204において、プロセッサ12は加速度計の出力を受信し、所定の触覚効果および対応する触覚フィードバックコマンドにこれをマッピングする。例えば、比較的低周波数且つ低振幅の加速度を生じさせる緩やかな揺れを、スムースな低周波数の触覚効果にマッピングすることができる。ユーザが怒っている場合、電話機を高速で上下に振ることができ、これは高強度および高周波数の触覚効果にマッピングすることができる。206において、プロセッサ12は触覚効果に対応する触覚フィードバックコマンドを挿入し、これをテキストメッセージの適切な位置(例えば、ユーザがジェスチャを開始する時点に対応するテキストメッセージの位置)に挿入する。
別の実施形態において、触覚が使用可能なメッセージは、音声認識ソフトウェアを使って生成することができる。音声認識ソフトウェアは、音声コマンドをユーザが生成した触覚効果に結びつけることができる。音声入力の種々の態様を、触覚効果をマッピングするのに使用することができる。その態様には、言葉のコマンド(例えば、強い、短い、短い)、音声強調(例えば、音声トーン)またはジャズのスキャットまたはビートボクシング等のユーザによって生成されるノイズが含まれる。別の実施形態において、ジェスチャは、動画カメラ入力またはタッチスクリーンによるユーザのインタフェース入力によって、生成できる。
電話機10においてユーザがメッセージを受信すると、典型的には、例えば、画面11において、新しいメッセージが受信されたという通知がユーザに対し表示される。ユーザは次に、表示する所望のメッセージを選択する。一実施形態において、メッセージが、触覚が使用可能なメッセージである場合、触覚コンテンツを、同期化、またはメッセージのテキストコンテンツに対応して、再生または開始する必要がある。
別の実施形態において、触覚コンテンツは、新しいメッセージ通知が受信されると再生される。触覚通知は、メッセージの内容の性質、例えばメッセージに含まれる触覚フィードバックコマンドを示すことができる。または触覚通知は、メッセージ送信者あるいはメッセージの緊急性を特定できる。このような場合、触覚通知の形式はユーザが設定できるようにし得る。
図3は、一実施形態による、触覚が使用可能なメッセージの触覚コンテンツをテキストコンテンツと同期化するための、電話機10の機能のフローダイアグラムである。302では、電話機10において触覚が使用可能なメッセージが受信される。一実施形態において、メッセージは、最初は触覚効果なしで受信され、次いで、触覚効果がメッセージに挿入される。新しいメッセージがあるという指示が、ユーザに表示される。304において、テキストメッセージ内の各触覚フィードバックコマンドの位置が決定される。該位置は、例えば、単語、あるいは文字を数える方法によって決定されるテキストの長さに基づき得る。
306において、各触覚フィードバックコマンド毎に、および304で決定された位置に基づいて、対応する触覚効果を開始するための時間遅延が決定される。時間遅延は、メッセージがユーザによって開かれた時点からの遅延とすることができる。
308において、ユーザがメッセージを開くまたはメッセージにアクセスすると、電話機10上で読み取りが可能になり、メッセージがユーザによって開かれたという指示が受信される。310において、ユーザによってメッセージが開かれた時点からの遅延である、決定された時間遅延に基づいて各触覚フィードバックが開始される。したがって、各触覚コンテンツはテキストコンテンツと同期化される。
例えば、触覚が使用可能なメッセージには、以下の表1に表される内容を含み得る。
ここで、笑顔のアイコンおよび悲しい顔のアイコンは触覚フィードバックコマンドと関連付けられている。図3の機能に基づき、
に対応する触覚フィードバックは、まず、
の前の文字数または語数に基づく休止の後で始まり、次に、
の前および
の後の文字数または語数に基づく休止の後で
に対応する触覚フィードバックが開始される。他の実施形態において、いくつかの文字に、より長いまたはより短い休止時間を与え、メッセージの他のある部分では、スペースの量または新しい行等に対して、休止時間の長さの判断を考慮することができる。
他の実施形態は、触覚コンテンツをテキストコンテンツと同期化するために、テキストの長さおよびテキスト内の触覚フィードバックコマンドの位置以外の基準を使用する。一実施形態において、ユーザまたは装置がテキストをスクロールするまたはテキストを読み進めるタイミングの判断を、触覚フィードバックを開始するためのキューとして使用できる。別の実施形態において、触覚フィードバック開始のタイミングを決定するために、ユーザの読取速度の推定値を使用することができる。ユーザの読取速度を測定して、この推定値を取得し、それを触覚フィードバックコンテンツのタイミングに使用することができる。例えばユーザは、1つまたは2つのテストメッセージを読み、完了したらボタンを押すことができる。
テキストにMMSメッセージ内の音声および動画等のマルチメディアコンテンツを含む一実施形態において、触覚フィードバック開始は、マルチメディアイベントのタイミングと連動できる。
多数の触覚フィードバックコマンドを含むメッセージにおいて、一実施形態は、触覚効果の優先順位を確立する、またはトリアージ方式による効果の優先順位を確立し得る。例えば、多くの顔文字がテキスト内で連続する場合、どの顔文字に触覚効果を生じさせるか、およびどれを無視するかを決定できる。
一実施形態において、触覚が使用可能なメッセージが構成される場合、触覚が使用可能なメッセージ内の触覚効果を自動的に生成可能である。メッセージのテキストは解析が可能であり、適切な触覚効果および対応する触覚フィードバックコマンドを自動的に挿入することが可能である。適切な触覚効果は、例えば、単語、語句、顔文字、句読点、またはメッセージ上に暗示された文脈に基づくことができる。
開示されるいくつかの実施形態が本明細書において具体的に図示および/または記載されている。しかしながら、修正および変形が、上の教示によって、且つ本発明の精神および主旨から逸脱することなく、添付の特許請求の範囲内で網羅されることが理解されるであろう。
例えば、上で開示されているいくつかの実施形態は、携帯電話で実現されており、それは、握るまたはユーザによって物理的に接触および操作できる物体である。このため、本発明は、ユーザによって同様に操作可能な、他の触覚を使用できる入力および/または出力装置上で利用可能である。他のこのような装置としては、タッチスクリーン(自動車の全地球測位システム(Global Positioning System)(「GPS」)のナビゲーション画面、現金自動預け払い機(Automated Teller Machine)(「ATM」)の表示画面)、電子機器(音声/動画、ガレージドア、ホームセキュリティ等)を制御するリモコン、およびゲーム用のコントローラ(ジョイスティック、マウス、専用のコントローラ、ゲームパッド等)が挙げられる。こうした入力および/または出力装置の動作は、当業者に公知である。さらに、実施形態は、ユーザによって感知可能な触覚効果を生成することができる、携帯されない(non−mobile)端末装置上でも実現できる。

Claims (32)

  1. 携帯端末装置を動作させる方法であって、
    テキストと少なくとも1つの触覚フィードバックコマンドとを含む、触覚が使用可能なメッセージを受信するステップと、
    該メッセージ内の前記触覚フィードバックコマンドのタイミングを決定するステップと、
    前記携帯端末装置上に前記メッセージが表示されているという指示を受信するステップと、
    前記タイミングと前記指示とに基づいて、前記触覚フィードバックコマンドに対応する第1の触覚効果を同期化するステップと、
    を含むことを特徴とする携帯端末装置を動作させる方法。
  2. 前記タイミングの決定は、前記メッセージ内の前記触覚フィードバックコマンドの位置に基づくことを特徴とする、請求項1に記載の方法。
  3. 前記位置は前記テキストの語数に基づくことを特徴とする、請求項2に記載の方法。
  4. 前記位置は前記テキストの文字数に基づくことを特徴とする、請求項2に記載の方法。
  5. 前記位置は前記装置のユーザの読取速度に基づくことを特徴とする、請求項2に記載の方法。
  6. 前記同期化するステップは、
    前記タイミングに基づいて時間遅延を決定するステップと、
    前記指示を受信した際に、前記時間遅延の経過後に前記第1の触覚効果を開始するステップと、
    を含むことを特徴とする、請求項1に記載の方法。
  7. 前記装置のユーザからジェスチャを受信し、該ジェスチャを前記触覚フィードバックコマンドに変換することによって、前記触覚が使用可能なメッセージを生成するステップをさらに含むことを特徴とする請求項1に記載の方法。
  8. 前記ジェスチャは前記ユーザによる前記装置の動きであることを特徴とする、請求項7に記載の方法。
  9. 前記ジェスチャは前記ユーザの動画であることを特徴とする、請求項7に記載の方法。
  10. 前記触覚フィードバックコマンドは顔文字であることを特徴とする、請求項1に記載の方法。
  11. 前記触覚フィードバックコマンドは前記メッセージにおいて不可視であることを特徴とする、請求項1に記載の方法。
  12. 前記装置における前記触覚が使用可能なメッセージの受信に連動して、第2の触覚効果を生成するステップをさらに含むことを特徴とする、請求項1に記載の方法。
  13. 前記第2の触覚効果は、メッセージコンテンツ、送信者および優先度のうちの少なくとも1つを示し得ることを特徴とする、請求項12に記載の方法。
  14. 携帯端末装置であって、該携帯端末装置は、
    プロセッサと、
    該プロセッサに結合されるメモリと、
    該プロセッサに結合されるアクチュエータと、を含み、
    該プロセッサは、
    テキストと少なくとも1つの触覚フィードバックコマンドとを含む、触覚が使用可能なメッセージを受信し、
    該メッセージ内の前記触覚フィードバックコマンドのタイミングを決定し、
    前記携帯端末装置上に前記メッセージが表示されているという指示を受信し、
    前記タイミングと前記指示とに基づいて、前記触覚フィードバックコマンドに対応する第1の触覚効果を同期化することを特徴とする、携帯端末装置。
  15. 前記第1の触覚効果は前記アクチュエータによって生成されることを特徴とする、請求項14に記載の携帯端末装置。
  16. 前記タイミングの決定は、前記メッセージ内の前記触覚フィードバックコマンドの位置に基づくことを特徴とする、請求項14に記載の携帯端末装置。
  17. 前記位置は前記テキストの語数に基づくことを特徴とする、請求項16に記載の携帯端末装置。
  18. 前記位置は前記テキストの文字数に基づくことを特徴とする、請求項16に記載の携帯端末装置。
  19. 前記位置は前記装置のユーザの読取速度に基づくことを特徴とする、請求項16に記載の携帯端末装置。
  20. 前記同期化することは、
    前記タイミングに基づいて時間遅延を決定することと、
    前記指示を受信した際に、前記時間遅延の経過後に前記第1の触覚効果を開始することと、
    を含むことを特徴とする、請求項14に記載の携帯端末装置。
  21. 前記装置のユーザからジェスチャを受信し、該ジェスチャを前記触覚フィードバックコマンドに変換することによって、前記触覚が使用可能なメッセージを生成することをさらに含むことを特徴とする、請求項14に記載の携帯端末装置。
  22. 前記プロセッサに結合された加速度計をさらに含み、前記ジェスチャは前記ユーザによる前記装置の動きであることを特徴とする、請求項21に記載の携帯端末装置。
  23. 前記ジェスチャは前記ユーザの動画であることを特徴とする、請求項21に記載の携帯端末装置。
  24. 前記触覚フィードバックコマンドは顔文字であることを特徴とする、請求項14に記載の携帯端末装置。
  25. 前記触覚フィードバックコマンドは前記メッセージにおいて不可視であることを特徴とする、請求項14に記載の携帯端末装置。
  26. コンピュータが読取可能な媒体であって、プロセッサで実行される際に、該プロセッサに、
    テキストと少なくとも1つの触覚フィードバックコマンドとを含む、触覚が使用可能なメッセージのタイミングを決定させ、
    該メッセージが前記携帯端末装置上で表示されているという指示を受信させ、
    前記タイミングと前記指示とに基づき、前記触覚フィードバックコマンドに対応する第1の触覚効果を同期化させる、前記媒体上に記憶された命令を有することを特徴とする、コンピュータが読取可能な媒体。
  27. 前記タイミングの決定は、前記メッセージ内の前記触覚フィードバックコマンドの位置に基づくことを特徴とする、請求項26に記載のコンピュータが読取可能な媒体。
  28. 前記位置は前記テキストの語数に基づくことを特徴とする、請求項27に記載のコンピュータが読取可能な媒体。
  29. 前記位置は前記テキストの文字数に基づくことを特徴とする、請求項27に記載のコンピュータが読取可能な媒体。
  30. 前記位置は前記装置のユーザの読取速度に基づくことを特徴とする、請求項27に記載のコンピュータが読取可能な媒体。
  31. 前記同期化させることは、
    前記タイミングに基づいて時間遅延を決定させることと、
    前記指示を受信した際に、前記時間遅延の経過後に前記第1の触覚効果を開始させることと、
    を含むことを特徴とする、請求項26に記載のコンピュータが読取可能な媒体。
  32. 携帯端末装置であって、
    テキストと少なくとも1つの触覚フィードバックコマンドとを含む、触覚が使用可能なメッセージを受信する手段と、
    前記メッセージ内の前記触覚フィードバックコマンドのタイミングを決定する手段と、
    前記メッセージが前記携帯端末装置上に表示されているという指示を受信する手段と、
    前記タイミングと前記指示とに基づいて、前記触覚フィードバックコマンドに対応する第1の触覚効果を同期化する手段と、
    を含むことを特徴とする携帯端末装置。
JP2014256249A 2007-05-18 2014-12-18 テキストメッセージにおける触覚コンテンツ Active JP6077521B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/750,694 2007-05-18
US11/750,694 US8315652B2 (en) 2007-05-18 2007-05-18 Haptically enabled messaging

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013156820A Division JP5809206B2 (ja) 2007-05-18 2013-07-29 テキストメッセージにおける触覚コンテンツ

Publications (3)

Publication Number Publication Date
JP2015084570A true JP2015084570A (ja) 2015-04-30
JP2015084570A5 JP2015084570A5 (ja) 2015-08-06
JP6077521B2 JP6077521B2 (ja) 2017-02-08

Family

ID=39561832

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2010509412A Expired - Fee Related JP5612465B2 (ja) 2007-05-18 2008-03-28 テキストメッセージにおける触覚コンテンツ
JP2013156820A Expired - Fee Related JP5809206B2 (ja) 2007-05-18 2013-07-29 テキストメッセージにおける触覚コンテンツ
JP2014256249A Active JP6077521B2 (ja) 2007-05-18 2014-12-18 テキストメッセージにおける触覚コンテンツ

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2010509412A Expired - Fee Related JP5612465B2 (ja) 2007-05-18 2008-03-28 テキストメッセージにおける触覚コンテンツ
JP2013156820A Expired - Fee Related JP5809206B2 (ja) 2007-05-18 2013-07-29 テキストメッセージにおける触覚コンテンツ

Country Status (5)

Country Link
US (4) US8315652B2 (ja)
EP (3) EP3468160A1 (ja)
JP (3) JP5612465B2 (ja)
KR (2) KR101490092B1 (ja)
WO (1) WO2008144108A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038398A1 (ja) * 2015-09-01 2017-03-09 シャープ株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
US10921894B2 (en) 2017-04-10 2021-02-16 Mitsubishi Electric Corporation User interface device

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775975B2 (en) * 2005-09-21 2014-07-08 Buckyball Mobile, Inc. Expectation assisted text messaging
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US20090091479A1 (en) * 2007-10-04 2009-04-09 Motorola, Inc. Keypad haptic communication
US20090143049A1 (en) * 2007-12-04 2009-06-04 Microsoft Corporation Mobile telephone hugs including conveyed messages
US20090149218A1 (en) * 2007-12-11 2009-06-11 Microsoft Corporation Mobile telephone relationships
US8180296B2 (en) * 2008-04-29 2012-05-15 Immersion Corporation Providing haptic effects to users in a short range wireless system
KR102045165B1 (ko) 2008-07-15 2019-11-14 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법
US20100214243A1 (en) * 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
EP2150035A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method for communicating, a related system for communicating and a related transforming part
JP5049908B2 (ja) * 2008-07-30 2012-10-17 富士フイルム株式会社 コンテンツ文書再生データ作成装置、方法およびプログラム
US8004391B2 (en) 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
US8731533B2 (en) * 2009-03-03 2014-05-20 Peter Roach Methods and apparatuses for reconnecting calls with quality problems or reconnecting dropped calls
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
EP2427879B1 (en) * 2009-05-07 2015-08-19 Immersion Corporation Method and apparatus for providing a haptic feedback shape-changing display
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US9621706B2 (en) * 2009-11-18 2017-04-11 Qualcomm Incorporated System and method of haptic communication at a portable computing device
US20110128227A1 (en) * 2009-11-30 2011-06-02 Research In Motion Limited Portable electronic device and method of controlling same to provide tactile feedback
US20110143769A1 (en) * 2009-12-16 2011-06-16 Microsoft Corporation Dual display mobile communication device
US8570161B2 (en) * 2010-03-16 2013-10-29 Immersion Corporation Systems and methods for haptic information preview
US8634873B2 (en) * 2010-03-17 2014-01-21 Microsoft Corporation Mobile communication device having multiple, interchangeable second devices
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US8855705B2 (en) 2010-08-05 2014-10-07 Blackberry Limited Electronic device including actuator for providing tactile output
US8914075B2 (en) 2010-09-17 2014-12-16 Blackberry Limited Electronic device including actuator and method of controlling same for providing tactile output
US9380145B2 (en) * 2010-11-05 2016-06-28 Qualcomm Incorporated Dynamic tapping force feedback for mobile devices
US8593420B1 (en) * 2011-03-04 2013-11-26 Amazon Technologies, Inc. Providing tactile output and interaction
US9762719B2 (en) * 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
CN102692997A (zh) * 2011-11-25 2012-09-26 北京十分科技有限公司 一种控制终端操作的方法
US20130227409A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Integrating sensation functionalities into social networking services and applications
US20130227411A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Sensation enhanced messaging
WO2013089294A1 (ko) * 2011-12-15 2013-06-20 엘지전자 주식회사 햅틱 전송 방법 및 그 이동 단말기
US9746945B2 (en) * 2011-12-19 2017-08-29 Qualcomm Incorporated Integrating sensation functionalities into a mobile device using a haptic sleeve
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
WO2013151155A1 (ja) * 2012-04-06 2013-10-10 株式会社ニコン データ処理装置、及びデータ処理プログラム
EP3444711A1 (en) 2012-04-19 2019-02-20 Nokia Technologies Oy A display apparatus
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
KR101496515B1 (ko) * 2012-07-03 2015-02-26 김인수 감성 메시지 작성 및 표현 방법
WO2014049392A1 (en) 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
CN103970260B (zh) 2013-01-31 2017-06-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
US10504339B2 (en) * 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US9202351B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Systems and methods for haptics in vibrating environments and devices
US9189098B2 (en) * 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9247399B2 (en) * 2013-03-14 2016-01-26 Google Technology Holdings LLC Alert peripheral for notification of events occuring on a programmable user equipment with communication capabilities
US8918339B2 (en) 2013-03-15 2014-12-23 Facebook, Inc. Associating an indication of user emotional reaction with content items presented by a social networking system
US9672647B2 (en) * 2013-05-23 2017-06-06 Adobe Systems Incorporated Image effect extraction
EP3008932A4 (en) * 2013-06-12 2017-02-22 Walking Thumbs PTE, LTD. System and method for action-based input text messaging communication
US20140368349A1 (en) * 2013-06-14 2014-12-18 Revolution Display Sensory element projection system and method of use
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
WO2015143124A1 (en) 2014-03-21 2015-09-24 Immersion Corporation Systems and methods for haptically-enabled curved devices
JP6484079B2 (ja) * 2014-03-24 2019-03-13 株式会社 ハイディープHiDeep Inc. 感性伝達方法及びそのための端末機
JP6684042B2 (ja) * 2014-09-08 2020-04-22 任天堂株式会社 電子機器
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
JP7067484B2 (ja) * 2016-12-05 2022-05-16 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11516649B2 (en) * 2018-10-29 2022-11-29 Apple Inc. Mechanism to activate and manage a standalone device for cellular service

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251393A (ja) * 2000-03-07 2001-09-14 Shicoh Eng Co Ltd 携帯無線通信機
JP2001265703A (ja) * 1999-12-10 2001-09-28 Sega Corp 電子文書送受信システム
JP2003037653A (ja) * 2001-05-23 2003-02-07 Nokia Corp タクトアイコンを使用する移動電話
JP2005142797A (ja) * 2003-11-06 2005-06-02 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2005173674A (ja) * 2003-12-08 2005-06-30 Nec Corp 携帯端末装置およびその文字入力方法
JP2006014141A (ja) * 2004-06-29 2006-01-12 Sony Corp 動作伝達システム、端末装置、動作伝達方法、及び動作伝達プログラム
JP2007004281A (ja) * 2005-06-21 2007-01-11 Mitsubishi Electric Corp 音声メール入力装置

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3157853A (en) 1957-12-06 1964-11-17 Hirsch Joseph Tactile communication system
GB958325A (en) 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
US3497668A (en) 1966-08-25 1970-02-24 Joseph Hirsch Tactile control system
US3517446A (en) 1967-04-19 1970-06-30 Singer General Precision Vehicle trainer controls and control loading
US3903614A (en) 1970-03-27 1975-09-09 Singer Co Apparatus for simulating aircraft control loading
US3902687A (en) 1973-06-25 1975-09-02 Robert E Hightower Aircraft indicator system
US4160508A (en) 1977-08-19 1979-07-10 Nasa Controller arm for a remotely related slave arm
US4236325A (en) 1978-12-26 1980-12-02 The Singer Company Simulator control loading inertia compensator
US4599070A (en) 1981-07-29 1986-07-08 Control Interface Company Limited Aircraft simulator and simulated control system therefor
DE3380420D1 (en) 1982-01-22 1989-09-21 British Aerospace Control apparatus
US4581491A (en) 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US5078152A (en) 1985-06-23 1992-01-07 Loredan Biomedical, Inc. Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient
US4713007A (en) 1985-10-11 1987-12-15 Alban Eugene P Aircraft controls simulator
US5275174B1 (en) 1985-10-30 1998-08-04 Jonathan A Cook Repetitive strain injury assessment
NL8503096A (nl) 1985-11-11 1987-06-01 Fokker Bv Simulator van mechanische eigenschappen van een besturingssysteem.
US4934694A (en) 1985-12-06 1990-06-19 Mcintosh James L Computer controlled exercise system
US4891764A (en) 1985-12-06 1990-01-02 Tensor Development Inc. Program controlled force measurement and control system
JPH048381Y2 (ja) 1986-07-10 1992-03-03
US4938483A (en) 1987-11-04 1990-07-03 M. H. Segan & Company, Inc. Multi-vehicle interactive toy system
GB8801951D0 (en) 1988-01-29 1988-02-24 British Aerospace Control apparatus
US5038089A (en) 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
NL8801653A (nl) 1988-06-29 1990-01-16 Stork Kwant Bv Besturingsstelsel.
US5208745A (en) 1988-07-25 1993-05-04 Electric Power Research Institute Multimedia interface and method for computer system
US4930770A (en) 1988-12-01 1990-06-05 Baker Norman A Eccentrically loaded computerized positive/negative exercise machine
JPH02185278A (ja) 1989-01-12 1990-07-19 Taito Corp 光線銃射撃ゲーム装置
US5186695A (en) 1989-02-03 1993-02-16 Loredan Biomedical, Inc. Apparatus for controlled exercise and diagnosis of human performance
US5019761A (en) 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
GB8913323D0 (en) 1989-06-09 1989-07-26 Celco Ltd Controlling operations
WO1991002313A1 (en) 1989-08-03 1991-02-21 International Business Machines Corporation Data processing network
JPH0724147Y2 (ja) 1989-12-28 1995-06-05 株式会社平和 パチンコ機の飛距離調整装置
US5022407A (en) 1990-01-24 1991-06-11 Topical Testing, Inc. Apparatus for automated tactile testing
US5035242A (en) 1990-04-16 1991-07-30 David Franklin Method and apparatus for sound responsive tactile stimulation of deaf individuals
US5547382A (en) 1990-06-28 1996-08-20 Honda Giken Kogyo Kabushiki Kaisha Riding simulation system for motorcycles
US5212473A (en) 1991-02-21 1993-05-18 Typeright Keyboard Corp. Membrane keyboard and method of using same
US5334027A (en) 1991-02-25 1994-08-02 Terry Wherlock Big game fish training and exercise device and method
US5240417A (en) 1991-03-14 1993-08-31 Atari Games Corporation System and method for bicycle riding simulation
ATE140331T1 (de) 1991-03-21 1996-07-15 Atari Games Corp Fahrtsimulator mit überkreuzter netzwerkrückkoppelung
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5271290A (en) 1991-10-29 1993-12-21 United Kingdom Atomic Energy Authority Actuator assembly
US5309140A (en) 1991-11-26 1994-05-03 The United States Of America As Represented By The Secretary Of The Navy Feedback system for remotely operated vehicles
JPH05192449A (ja) 1992-01-20 1993-08-03 Taito Corp ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5785630A (en) 1993-02-02 1998-07-28 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
WO1994025913A2 (en) 1993-04-30 1994-11-10 Novadigm, Inc. Method and apparatus for enterprise desktop management
JP3686686B2 (ja) 1993-05-11 2005-08-24 松下電器産業株式会社 力覚呈示デバイス、データ入力装置、及びデータ入力デバイス装置
US5466213A (en) 1993-07-06 1995-11-14 Massachusetts Institute Of Technology Interactive robotic therapist
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
SE501867C2 (sv) 1993-11-15 1995-06-12 Asea Brown Boveri Förfarande och system för kalibrering av en industrirobot utnyttjande en sfärisk kalibreringskropp
US6047356A (en) 1994-04-18 2000-04-04 Sonic Solutions Method of dynamically allocating network node memory's partitions for caching distributed files
KR100368508B1 (ko) 1994-09-07 2005-10-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자-프로그래밍가능한촉각피드백을갖고있는가상작업공간과상호작용하는정보처리시스템
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5766016A (en) 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
US5884392A (en) 1994-12-23 1999-03-23 International Business Machines Corporation Automatic assembler/disassembler apparatus adapted to pressurized sealable transportable containers
US6339754B1 (en) 1995-02-14 2002-01-15 America Online, Inc. System for automated translation of speech
US5933599A (en) 1995-07-17 1999-08-03 Microsoft Corporation Apparatus for presenting the content of an interactive on-line network
US5818836A (en) 1995-08-09 1998-10-06 Duval; Stephen C. Method and apparatus for anonymous voice communication using an online data service
US6108704A (en) 1995-09-25 2000-08-22 Netspeak Corporation Point-to-point internet protocol
US5999168A (en) 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6219045B1 (en) 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
JPH09138767A (ja) 1995-11-14 1997-05-27 Fujitsu Ten Ltd 感情表現の通信装置
US6169540B1 (en) 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6859819B1 (en) 1995-12-13 2005-02-22 Immersion Corporation Force feedback enabled over a computer network
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US5695400A (en) 1996-01-30 1997-12-09 Boxer Jam Productions Method of managing multi-player game playing over a network
US5721763A (en) 1996-01-31 1998-02-24 At&T Corp Method for providing information during a chat session
CA2248909A1 (en) 1996-03-15 1997-09-25 Zapa Digital Arts Ltd. System for producing an animation sequence according to character behaviour characteristics
US6111577A (en) 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US5943648A (en) 1996-04-25 1999-08-24 Lernout & Hauspie Speech Products N.V. Speech signal distribution system providing supplemental parameter associated data
US5987503A (en) 1996-06-28 1999-11-16 Fujitsu Limited System and method for displaying an electronic mail containing a keyword detected in a chat session message
AU4229397A (en) 1996-07-25 1998-02-20 Hybrid Networks, Inc. High-speed internet access system
US5907677A (en) 1996-08-23 1999-05-25 Ecall Inc. Method for establishing anonymous communication links
US5764916A (en) 1996-09-27 1998-06-09 Ichat, Inc. Method and apparatus for real time communication over a computer network
US5884029A (en) 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
US5963217A (en) 1996-11-18 1999-10-05 7Thstreet.Com, Inc. Network conference system using limited bandwidth to generate locally animated displays
US20010044725A1 (en) 1996-11-19 2001-11-22 Koichi Matsuda Information processing apparatus, an information processing method, and a medium for use in a three-dimensional virtual reality space sharing system
TW359054B (en) 1996-12-20 1999-05-21 Sony Corp Method and apparatus for automatic sending of e-mail and automatic sending control program supplying medium
TW391092B (en) 1996-12-27 2000-05-21 Hitachi Ltd Cellular mobile telephone apparatus and method for transmitting a response message to an caller
JP3557062B2 (ja) 1997-01-10 2004-08-25 日本電信電話株式会社 低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法
JPH10257135A (ja) 1997-03-11 1998-09-25 Sharp Corp 携帯電話装置
US5978467A (en) 1997-04-11 1999-11-02 Walker Asset Management Limited Partnership Method and apparatus for enabling interaction between callers with calls positioned in a queue
KR100287137B1 (ko) 1997-04-11 2001-04-16 윤종용 휴대형 정보 단말기의 버전 관리방법
US5987525A (en) 1997-04-15 1999-11-16 Cddb, Inc. Network delivery of interactive entertainment synchronized to playback of audio recordings
US5983190A (en) 1997-05-19 1999-11-09 Microsoft Corporation Client server animation system for managing interactive user interface characters
US6523022B1 (en) 1997-06-09 2003-02-18 Allen Hobbs Method and apparatus for selectively augmenting retrieved information from a network resource
US6425764B1 (en) 1997-06-09 2002-07-30 Ralph J. Lamson Virtual reality immersion therapy for treating psychological, psychiatric, medical, educational and self-help problems
JPH1117783A (ja) 1997-06-23 1999-01-22 Kokusai Electric Co Ltd 振動呼出装置
US6292174B1 (en) 1997-08-23 2001-09-18 Immersion Corporation Enhanced cursor control using limited-workspace force feedback devices
US6252579B1 (en) 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US5973678A (en) 1997-08-29 1999-10-26 Ford Global Technologies, Inc. Method and system for manipulating a three-dimensional object utilizing a force feedback interface
US6175954B1 (en) 1997-10-30 2001-01-16 Fuji Xerox Co., Ltd. Computer programming using tangible user interface where physical icons (phicons) indicate: beginning and end of statements and program constructs; statements generated with re-programmable phicons and stored
US6281651B1 (en) 1997-11-03 2001-08-28 Immersion Corporation Haptic pointing devices
US6252583B1 (en) * 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
US6076100A (en) 1997-11-17 2000-06-13 Microsoft Corporation Server-side chat monitor
US6046728A (en) * 1997-12-05 2000-04-04 Dell Usa, L.P. Keyboard actuated pointing device
US6396509B1 (en) 1998-02-21 2002-05-28 Koninklijke Philips Electronics N.V. Attention-based interaction in a virtual environment
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6349301B1 (en) 1998-02-24 2002-02-19 Microsoft Corporation Virtual environment bystander updating in client server architecture
US6166732A (en) 1998-02-24 2000-12-26 Microsoft Corporation Distributed object oriented multi-user domain with multimedia presentations
US6393461B1 (en) 1998-02-27 2002-05-21 Fujitsu Limited Communication management system for a chat system
JPH11288421A (ja) 1998-04-03 1999-10-19 Fujitsu Ltd サービス提供装置、サービス受信装置、サービス提供ホスト、選択サービス受信プログラムを記録したコンピュータ読み取り可能な記録媒体、選択サービス送信プログラムを記録したコンピュータ読み取り可能な記録媒体、サービス受信装置におけるサービス選択方法及びサービス提供ホストにおける選択サービスの送信方法
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6563487B2 (en) 1998-06-23 2003-05-13 Immersion Corporation Haptic feedback for directional control pads
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
JP2000049956A (ja) 1998-08-03 2000-02-18 Sharp Corp 通信装置及び通信システム
JP2002522998A (ja) 1998-08-17 2002-07-23 ネット トーク、インク. インターネットおよびイントラネットを含むローカルおよびグローバルネットワークによるオーディオ会議用のコンピューター・アーキテクチャーおよびプロセス
JP2000115153A (ja) 1998-09-30 2000-04-21 Fujitsu Ltd セキュリティ方法及びセキュリティ装置
JP3644579B2 (ja) 1998-10-29 2005-04-27 富士通株式会社 セキュリティ強化方法及び装置
JP2000135384A (ja) 1998-10-30 2000-05-16 Fujitsu Ltd 情報処理装置及び擬似生物機器
US6256663B1 (en) 1999-01-22 2001-07-03 Greenfield Online, Inc. System and method for conducting focus groups using remotely loaded participants over a computer network
US6677858B1 (en) 1999-02-26 2004-01-13 Reveo, Inc. Internet-based method of and system for monitoring space-time coordinate information and biophysiological state information collected from an animate object along a course through the space-time continuum
JP3644580B2 (ja) 1999-03-19 2005-04-27 富士通株式会社 表示制御方法及び装置
US7084867B1 (en) 1999-04-02 2006-08-01 Massachusetts Institute Of Technology Haptic interface system for collision detection and applications therefore
IT1308466B1 (it) * 1999-04-30 2001-12-17 Fiat Ricerche Interfaccia utente per un veicolo
US6563503B1 (en) 1999-05-07 2003-05-13 Nintendo Co., Ltd. Object modeling for computer simulation and animation
US6763371B1 (en) 1999-05-10 2004-07-13 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for collaborative communication in a communication network
US6442590B1 (en) 1999-05-27 2002-08-27 Yodlee.Com, Inc. Method and apparatus for a site-sensitive interactive chat network
US6559845B1 (en) 1999-06-11 2003-05-06 Pulse Entertainment Three dimensional animation system and method
US6546390B1 (en) 1999-06-11 2003-04-08 Abuzz Technologies, Inc. Method and apparatus for evaluating relevancy of messages to users
US6347307B1 (en) 1999-06-14 2002-02-12 Integral Development Corp. System and method for conducting web-based financial transactions in capital markets
JP3654797B2 (ja) 1999-07-29 2005-06-02 富士通株式会社 伝言システム及び伝言装置
US6965868B1 (en) 1999-08-03 2005-11-15 Michael David Bednarek System and method for promoting commerce, including sales agent assisted commerce, in a networked economy
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US6496200B1 (en) 1999-11-02 2002-12-17 Interval Research Corp. Flexible variation of haptic interface resolution
JP4329191B2 (ja) * 1999-11-19 2009-09-09 ヤマハ株式会社 楽曲情報及び再生態様制御情報の両者が付加された情報の作成装置、特徴idコードが付加された情報の作成装置
US6693626B1 (en) 1999-12-07 2004-02-17 Immersion Corporation Haptic feedback using a keyboard device
US6755743B1 (en) 1999-12-08 2004-06-29 Kabushiki Kaisha Sega Enterprises Communication game system and processing method thereof
US6519771B1 (en) 1999-12-14 2003-02-11 Steven Ericsson Zenith System for interactive chat without a keyboard
WO2001061984A1 (en) 2000-02-14 2001-08-23 Motorola Inc. Apparatus for communication of chat messages and method therefor
JP2001342319A (ja) * 2000-06-01 2001-12-14 Matsushita Electric Ind Co Ltd フッ素ゴム組成物、定着部材、定着方法、及び定着装置
US7222228B1 (en) 2000-06-14 2007-05-22 Netwolves Corporation System and method for secure management or remote systems
US7159008B1 (en) 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US20070254684A1 (en) * 2001-08-16 2007-11-01 Roamware, Inc. Method and system for sending and creating expressive messages
EP1271900A1 (en) * 2001-06-01 2003-01-02 Siemens Aktiengesellschaft Keypad system
GB0113571D0 (en) * 2001-06-04 2001-07-25 Hewlett Packard Co Audio-form presentation of text messages
US20040125120A1 (en) * 2001-06-08 2004-07-01 Michael Weiner Method and apparatus for interactive transmission and reception of tactile information
GB0115822D0 (en) * 2001-06-28 2001-08-22 Koninkl Philips Electronics Nv Data input device
US7347815B2 (en) * 2002-02-12 2008-03-25 Razz Serbanescu Method and apparatus for converting sense-perceived thoughts and actions into physical sensory stimulation
JP2003345727A (ja) 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd 感情伝達装置
US7779166B2 (en) * 2002-12-08 2010-08-17 Immersion Corporation Using haptic effects to enhance information content in communications
AU2003293449A1 (en) * 2002-12-08 2004-06-30 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US8059088B2 (en) 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP3907604B2 (ja) 2003-04-04 2007-04-18 キヤノン株式会社 情報処理装置および情報処理方法ならびに記憶媒体、プログラム
WO2004114700A1 (en) * 2003-06-20 2004-12-29 Nokia Corporation Mobile device for mapping sms characters to e.g. sound, vibration, or graphical effects
EP1524586A1 (en) * 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US20050143102A1 (en) * 2003-12-29 2005-06-30 Mcevilly Carlos I. Method and system for user-definable fun messaging
JP2005202801A (ja) * 2004-01-16 2005-07-28 Sharp Corp 表示装置
US20050181827A1 (en) * 2004-02-13 2005-08-18 Nokia Corporation Touch for feel device for communicating with mobile wireless phone or terminal
US7173604B2 (en) * 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
JP2005285038A (ja) * 2004-03-31 2005-10-13 Nec Corp 携帯電話機、そのメッセージ作成方法及びプログラム
US20060015560A1 (en) * 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
JP2005333347A (ja) 2004-05-19 2005-12-02 Dowango:Kk 携帯無線通信装置、着信報知方法及びプログラム
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
JP2006047640A (ja) * 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 情報伝達装置、電話機及び携帯電話機
GB2416962B (en) 2004-08-05 2009-04-01 Vodafone Plc New communication type for mobile telecommunications networks
US7359721B2 (en) * 2004-09-29 2008-04-15 Motorola, Inc. Communication device for displaying a shared message
KR100701856B1 (ko) * 2005-08-12 2007-04-02 삼성전자주식회사 이동통신 단말기에서 메시지의 배경효과 제공 방법
KR100746995B1 (ko) * 2005-09-22 2007-08-08 한국과학기술원 직관적인 실제 공간적 조준에 따른 시스템 및 그식별방법과 통신방법
US7899468B2 (en) * 2005-09-30 2011-03-01 Telecommunication Systems, Inc. Location sensitive messaging
US7706740B2 (en) * 2006-01-06 2010-04-27 Qualcomm Incorporated Apparatus and methods of selective collection and selective presentation of content
US20070287477A1 (en) * 2006-06-12 2007-12-13 Available For Licensing Mobile device with shakeable snow rendering
DE202006009826U1 (de) 2006-06-16 2006-09-07 Böhm, Andree Massagegerät
US8006002B2 (en) * 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
US20080162648A1 (en) * 2006-12-29 2008-07-03 Wang Kai Benson Leung Device and method of expressing information contained in a communication message sent through a network
US20080268882A1 (en) * 2007-04-30 2008-10-30 Palm, Inc. Short message service enhancement techniques for added communication options
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US20110169622A1 (en) * 2009-07-16 2011-07-14 Patent Navigation Inc. Enhanced communication through vibration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265703A (ja) * 1999-12-10 2001-09-28 Sega Corp 電子文書送受信システム
JP2001251393A (ja) * 2000-03-07 2001-09-14 Shicoh Eng Co Ltd 携帯無線通信機
JP2003037653A (ja) * 2001-05-23 2003-02-07 Nokia Corp タクトアイコンを使用する移動電話
JP2005142797A (ja) * 2003-11-06 2005-06-02 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2005173674A (ja) * 2003-12-08 2005-06-30 Nec Corp 携帯端末装置およびその文字入力方法
JP2006014141A (ja) * 2004-06-29 2006-01-12 Sony Corp 動作伝達システム、端末装置、動作伝達方法、及び動作伝達プログラム
JP2007004281A (ja) * 2005-06-21 2007-01-11 Mitsubishi Electric Corp 音声メール入力装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038398A1 (ja) * 2015-09-01 2017-03-09 シャープ株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
US10921894B2 (en) 2017-04-10 2021-02-16 Mitsubishi Electric Corporation User interface device

Also Published As

Publication number Publication date
KR20100017875A (ko) 2010-02-16
EP2153635A1 (en) 2010-02-17
JP2010528532A (ja) 2010-08-19
JP2014017823A (ja) 2014-01-30
EP2515514A1 (en) 2012-10-24
US8315652B2 (en) 2012-11-20
EP3468160A1 (en) 2019-04-10
US9197735B2 (en) 2015-11-24
EP2153635B1 (en) 2018-11-28
KR20140054274A (ko) 2014-05-08
KR101490092B1 (ko) 2015-02-04
US20180218578A1 (en) 2018-08-02
US9916741B2 (en) 2018-03-13
EP2515514B1 (en) 2019-12-18
JP5612465B2 (ja) 2014-10-22
US20130045761A1 (en) 2013-02-21
WO2008144108A1 (en) 2008-11-27
JP5809206B2 (ja) 2015-11-10
KR101491189B1 (ko) 2015-02-06
US20160110969A1 (en) 2016-04-21
US10593166B2 (en) 2020-03-17
US20080287147A1 (en) 2008-11-20
JP6077521B2 (ja) 2017-02-08

Similar Documents

Publication Publication Date Title
JP6077521B2 (ja) テキストメッセージにおける触覚コンテンツ
JP5815214B2 (ja) アニメーションスクリプト生成装置、アニメーション出力装置、受信端末装置、送信端末装置、携帯用端末装置及び方法
US10248850B2 (en) Generating actions based on a user's mood
US8373799B2 (en) Visual effects for video calls
RU2442294C2 (ru) Устройство и способ для обеспечения и отображения анимированных sms-сообщений
EP1973314A1 (en) Method and apparatus for motion-based communication
Brown et al. Shake2Talk: Multimodal messaging for interpersonal communication
KR101200559B1 (ko) 모바일 인스턴트 메신저에서 플래시콘을 제공하는 시스템,장치 및 방법
JP2009509260A (ja) 送信者の制御による電子メッセージ通知
CN110099159A (zh) 一种聊天界面的展示方法及客户端
KR101595856B1 (ko) 3d 캐릭터 기반 음성 sns 시스템 및 방법
KR101637208B1 (ko) 모션이모티콘 제공 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101013657B1 (ko) 관용구 삽입 기능을 가지는 무선통신 단말기 및 그 방법
JP2013197707A (ja) 端末装置、通知方法、およびプログラム
JP2011060079A (ja) 文書作成装置および文書作成方法およびプログラムおよび情報処理装置および通信機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170112

R150 Certificate of patent or registration of utility model

Ref document number: 6077521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250