JP2018049669A - ハプティックフィードバック機能性を備えたチャットインターフェース - Google Patents

ハプティックフィードバック機能性を備えたチャットインターフェース Download PDF

Info

Publication number
JP2018049669A
JP2018049669A JP2018001319A JP2018001319A JP2018049669A JP 2018049669 A JP2018049669 A JP 2018049669A JP 2018001319 A JP2018001319 A JP 2018001319A JP 2018001319 A JP2018001319 A JP 2018001319A JP 2018049669 A JP2018049669 A JP 2018049669A
Authority
JP
Japan
Prior art keywords
haptic
message
user
chat
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018001319A
Other languages
English (en)
Inventor
ウィエス,エヴァン,エフ.
Evan F Wies
チャン,ディーン,シー.
Dean C Chang
ラフ,マイケル,ピー.
Michael P Ruf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2018049669A publication Critical patent/JP2018049669A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation

Abstract

【課題】コンピュータネットワークを介してチャットセッションでユーザが他のユーザとハプティックチャットメッセージを交換できるようにするチャットインターフェースを提供する。
【解決手段】入力デバイスと、ネットワークインターフェースと、マイクロフォン、前記ネットワークインターフェース、および前記入力デバイスと通信するプロセッサとを含み、前記プロセッサが、テキストメッセージを含む入力を、ユーザから受信し、前記テキストメッセージに、ハプティックコマンドを関連付け、前記テキストメッセージ、および前記ハプティックコマンドを、リモートデバイスに伝送するように構成されているデバイス。
【選択図】図1

Description

本発明は、概して、人間がコンピュータシステムとやりとりができるようにするためのインターフェースデバイスに係わり、より詳細には、ユーザからコンピュータシステムに入力を提供し、ユーザへのフォースフィードバックを実現するコンピュータインターフェースデバイスに係わる。
インターフェースデバイスを使用すると、ユーザはコンピュータ上で、ゲームをプレイする、シミュレーションまたは仮想現実環境を経験する、コンピュータ支援設計システムを使用する、グラフィックユーザインターフェース(GUI)を操作する、あるいはそれ以外の場合画面上に描かれるイベントまたは画像に影響を及ぼすなどの機能及びタスクを実行するために、コンピュータシステムによって表示される環境と対話することができる。このような対話に使用される共通の人間−コンピュータインターフェースデバイスは、表示された環境を制御するコンピュータシステムに接続されるジョイスティック、マウス、トラックボール、スタイラス、タブレット、感圧ボール等を含む。一般的には、コンピュータは、ジョイスティックハンドルまたはマウスなどのユーザが操作できる物理オブジェクトのユーザの操作に応えて環境を更新し、ユーザに視覚的及び音声的なフィードバックを提供する。コンピュータは、位置を示す信号をコンピュータに送信するインターフェースデバイス上に設けられるセンサによってユーザがユーザオブジェクトを操作するのを感知する。
いくつかのインターフェースデバイスでは、「フォースフィードバック」としても知られているハプティックフィードバックもユーザに与えられる。これらの種類のインターフェースデバイスは、インターフェースデバイスのユーザによって操作可能なオブジェクトを操作するユーザによって感じられる物理的なセンセーションを提供できる。例えば、ロジテック社(Logitech.Inc.)のウィングマン(Wingman)フォースジョイスティックまたはウィングマンフォースフィードバックマウスは、コンピュータに接続されてよく、制御装置のユーザにフォースを与える。デバイスでは1つまたは複数のモータまたは他のアクチュエータが使用され、制御コンピュータシステムに接続される。コンピュータシステムは、アクチュエータに制御信号またはコマンドを送信することにより、表示されているイベント及び対話に関連および調和して、及び表示されているイベント及び対話と連係するジョイスティック上の力を制御する。このようにして、コンピュータシステムは、ユーザがジョイスティックまたはインターフェースデバイスの他のオブジェクトを掴んでいる、あるいは触っているときに、供給される他のフィードバックと関連してユーザに物理的なフォースセンセーションを伝えることができる。例えば、ユーザが操作可能なオブジェクトを移動し、表示されているカーソルに、別の表示されているグラフィックオブジェクトと対話させると、コンピュータは、アクチュエータにユーザオブジェクトに対するフォースを出力させるコマンドを発行し、ユーザに感触のセンセーションを伝えることができる。
フォースフィードバックは、エフェクトだけではなく考えとメッセージも伝達するために使用できる。フォースは、多くの例で、テキストまたは音声メッセージの中では明白ではない可能性がある追加情報をメッセージの受取人に与える。例えば、インターネット上で別のユーザに送信されるテキストメッセージは、ユーザが、表現されているトピックまたは他のメッセージサブテキストについてどれほど強く感じているのかを示す情報を含んでいない可能性がある。ユーザは、横から見ると笑っている顔に似ているコロンと右括弧マーク:)として表現されるユーモラスなメッセージを示す「スマイリー」などの、感情またはメッセージのアイコンによる表現である「エモティコン」として知られている周知のアイコンまたは記号を使用してこのサブテキストを表現しようとすることができる。スマイリーエモティコンの変化が、種々の他の感情を表現できる。しかしながら、このようなエモティコンと記号は、それらが伝達するメッセージの複雑さ、及び異なるメッセージの考えられる範囲という点で限られている。対照的に、ハプティックフィードバックは、このようなサブテキストを他のユーザに対してより説得力のある様式で表現するために、はるかに複雑で直接的な方法を提供できる。
米国特許第5,379,811号明細書 米国特許第6,169,540号明細書 米国特許第5,734,373号明細書 米国特許第6,028,593号明細書 米国特許第6,161,126号明細書
本発明は、ユーザが、コンピュータネットワーク上で他のユーザとハプティックチャットメッセージを交換できるようにするインターフェースを目的としている。ユーザは、チャット環境でより多様化し、説得力のあるメッセージを送信できるようにするハプティックインターフェースデバイスを有する一人または複数のリモートユーザにハプティックセンセーションを引き起こすメッセージを提供できる。
より詳細には、本発明の請求項1に記載の方法は、テキストメッセージを含む入力を、受信することと、前記テキストメッセージに、ハプティックコマンドを関連付けることと、前記テキストメッセージ、および前記ハプティックコマンドを、一人または複数の受取人へ伝送することとを含む方法である。
請求項2記載の発明は、前記テキストメッセージを伝送することが、無線ネットワーク全体に、前記テキストメッセージを伝送することを含む請求項1の方法である。
請求項3記載の発明は、前記テキストメッセージ、および前記ハプティックコマンドが、シミュレーションされた人物によって伝送される請求項1の方法である。
請求項4記載の発明は、前記ハプティックコマンドが、オーサリングされたハプティックコマンドを含む請求項1の方法である。
請求項5記載の発明は、前記ハプティックコマンドを、ハプティックコマンドの標準化されたライブラリから選択することをさらに含む請求項1の方法である。
請求項6記載の発明は、入力デバイスと、ネットワークインターフェースと、マイクロフォン、前記ネットワークインターフェース、および前記入力デバイスと通信するプロセッサとを含み、前記プロセッサが、テキストメッセージを含む入力を、受信し、前記テキストメッセージに、ハプティックコマンドを関連付け、前記テキストメッセージ、および前記ハプティックコマンドを、一人または複数の受取人に伝送するように構成されている
デバイスである。
請求項7記載の発明は、前記ネットワークインターフェースが、無線ネットワークインターフェースである請求項6のデバイスである。
請求項8記載の発明は、前記テキストメッセージ、および前記ハプティックコマンドが、シミュレーションされた人物によって伝送される請求項6のデバイスである。
請求項9記載の発明は、前記ハプティックコマンドが、オーサリングされたハプティックコマンドを含む請求項6のデバイスである。
請求項10記載の発明は、前記プロセッサが、前記ハプティックコマンドを、ハプティックコマンドの標準化されたライブラリから選択するようにさらに構成されている請求項6のデバイスである。
請求項11記載の発明は、プログラムコードを含むコンピュータ読み取り可能媒体であって、前記プログラムコードが、テキストメッセージを含む入力を受信するためのプログラムコードと、前記テキストメッセージに、ハプティックコマンドを関連付けるためのプログラムコードと、前記テキストメッセージ、および前記ハプティックコマンドを、一人または複数の受取人へ伝送するためのプログラムコードとを含むコンピュータ読み取り可能媒体である。
請求項12記載の発明は、前記テキストメッセージおよび前記ハプティックコマンドを伝送するためのプログラムコードが、前記テキストメッセージ、および前記ハプティックコマンドを、無線ネットワークを介して伝送するためのプログラムコードを含む請求項11のコンピュータ読み取り可能媒体である。
請求項13記載の発明は、前記テキストメッセージおよび前記ハプティックコマンドを伝送するためのプログラムコードが、前記テキストメッセージ、および前記ハプティックコマンドを、シミュレーションされた人物によって伝送するためのプログラムコードを含む請求項11のコンピュータ読み取り可能媒体である。
請求項14記載の発明は、前記ハプティックコマンドが、オーサリングされたハプティックコマンドを含む請求項11のコンピュータ読み取り可能媒体である。
請求項15記載の発明は、前記プログラムコードが、前記ハプティックコマンドを、ハプティックコマンドの標準化されたライブラリから選択するためのプログラムコードをさらに含む請求項11のコンピュータ読み取り可能媒体である。
テキストメッセージを含む入力を、ユーザから受信することと、前記テキストメッセージに、ハプティックコマンドを関連付けることと、前記テキストメッセージ、および前記ハプティックコマンドを、リモートデバイスへ伝送することとを含む方法が提供されてもよい。
前記テキストメッセージを伝送することは、無線ネットワーク全体に、前記テキストメッセージを伝送することを含んでもよい。
入力デバイスと、ネットワークインターフェースと、マイクロフォン、前記ネットワークインターフェース、および前記入力デバイスと通信するプロセッサとを含み、前記プロセッサが、テキストメッセージを含む入力を、ユーザから受信し、前記テキストメッセージに、ハプティックコマンドを関連付け、前記テキストメッセージ、および前記ハプティックコマンドを、リモートデバイスに伝送するように構成されているデバイスが提供されてもよい。
前記ネットワークインターフェースは、無線ネットワークインターフェースであってもよい。
当該デバイスは、手で持つデバイスであってもよい。
音声を含む入力を、ユーザから受信することと、前記音声に関連付けられたハプティックコマンドを決定することと、前記音声、および前記ハプティックコマンドを、リモートデバイスに伝送することとを含む方法が提供されてもよい。
前記ハプティックコマンドを決定することは、ハプティック効果のユーザによる選択に基づくものであってもよい。
前記ハプティックコマンドを決定することは、前記音声の音声認識に基づくものであってもよい。
マイクロフォンと、インターネットを用いて通信するように構成されたネットワークインターフェースと、入力デバイスと、前記マイクロフォン、前記ネットワークインターフェース、および前記入力デバイスと通信するプロセッサとを含み、前記プロセッサが、前記マイクロフォンから、音声メッセージを受信し、前記音声メッセージに関連付けられたハプティック効果を決定し、前記音声メッセージ、および前記ハプティック効果を、前記ネットワークインターフェースを用いて、リモートデバイスに伝送するように構成されているデバイスが提供されてもよい。
前記プロセッサは、前記ハプティック効果を、ハプティック効果のユーザによる選択に基づいて決定するように、さらに構成されていてもよい。
前記プロセッサは、前記ハプティック効果を、前記音声メッセージの音声認識に基づいて決定するように、さらに構成されていてもよい。
前記ネットワークインターフェースは、無線ネットワークインターフェースであってもよい。
当該デバイスは、手で持つデバイスであってもよい。
ネットワーク全体で他のユーザにハプティックメッセージを提供できる、ローカルコンピュータにより表示されるチャットインターフェースが提供されてもよい。チャットインターフェースは、ローカルコンピュータのディスプレイ装置に表示され、送信されたフォース情報を含むことができる発信チャットメッセージを提供するローカルコンピュータのユーザからの入力データはチャットインターフェースで受信されてもよい。発信チャットメッセージは、コンピュータネットワークを介してローカルホストコンピュータに接続されるリモートコンピュータに送信され、リモートコンピュータはチャットインターフェースを表示し、少なくとも部分的にはフォース情報に基づくリモートコンピュータのユーザにハプティックセンセーションを出力することができてもよい。受信されたフォース情報を含む場合もあるリモートコンピュータからの入信メッセージが、チャットインターフェースで受信されてもよい。入信チャットメッセージは、ローカルコンピュータのユーザに対し、ディスプレイ装置上に表示されてもよい。ハプティックセンセーションは、ローカルコンピュータに結合されるハプティックデバイスを使用してローカルコンピュータのユーザに出力することができ、該ハプティックセンセーションはリモートコンピュータから受信される受信済みフォース情報に少なくとも部分的に基づいてもよい。
ローカルコンピュータ及びリモートコンピュータは、IRCサーバなどのサーバマシンにネットワークを介してそれぞれ結合されるか、あるいはピアツーピア接続を介して互いに結合できてもよい。チャットインターフェースは、好ましくは、それぞれがチャットメッセージ中のフォース情報として送信されるためにユーザによって選択可能である複数の使用可能なハプティックエフェクトを含む。また、チャットインターフェースにより、ユーザはリモートコンピュータに送信されるフォース情報によって参照されるカスタムハプティックセンセーションも作成できてもよい。フォース情報は、好ましくはサウンド情報とも関連付けられ、その結果リモートコンピュータは、ハプティックセンセーションの出力と協調してサウンドエフェクトを出力してもよい。1つの実施形態では、受信されたフォース(または他の)情報は、そのチャットインターフェースと同時にローカルコンピュータ上で実行している、ユーザへのハプティックセンセーションの出力を制御するバックグラウンドアプリケーションによって処理することができる。
送信されたフォース情報は、リモートコンピュータにあるハプティックデバイスにフォースセンセーションを出力するために必要とされる追加のフォース情報を検索するためのネットワークロケーションとして、その後リモートコンピュータ上のチャットインターフェースに使用されるネットワークアドレスを含むことがある。例えば、該ネットワークアドレスは、ハプティックデバイスにより出力できる、標準的なハプティックセンセーションとカスタマイズされたハプティックセンセーションのライブラリを記憶するウェブサーバのアドレスである場合がある。さらに、カスタムフォース情報は、カスタムフォース情報に基づいてハプティックセンセーションを出力するためにアップロードされたカスタムフォース情報が別のクライアントコンピュータによってダウンロードできるネットワークアドレスにあるサーバにクライアントマシンからアップロードできてもよい。チャットメッセージ中のフォース情報は、代わりに、所望されるハプティックセンセーションを特徴付けるデータを含むことがある。好ましくは、チャットインターフェースにより、ローカルコンピュータのユーザは、フォースコマンドとして送信されるか、あるいはフォース情報をリモートコンピュータに送信させるテキスト文字を含むテキストコマンドを入力できる。テキストフォースコマンドは、好ましくはリモートコンピュータのチャットインターフェースに表示され、テキストフォースコマンドの性質を示すための少なくとも1つの区切り文字を含むか、あるいはエモティコンのために使用される文字などの所定の文字(複数の場合がある)である場合がある。チャットメッセージは、音声フォーマットまたは他のフォーマットを取ることもあり、1つの実施形態では、ハプティックセンセーションを波形コンテンツに基づかせるために、チャットメッセージ中の音声波形を分析できるようにする。
ハプティックセンセーションを使用してチャットメッセージに対する機能拡張を可能とするための機能をコンピュータ上のチャットインターフェース内で提供してもよい。ユーザは所望されるハプティックセンセーションを選択する、あるいはチャットセッション中の一人または複数の他のユーザにメッセージを提供するためにハプティックセンセーションをカスタマイズすることさえできる。ハプティックセンセーションは、広範囲の感情及びメッセージの他のコンテンツとサブテキストを伝達できるようにし、コンピュータネットワーク全体で所望されるメッセージを表すためのさらに多くの自由をユーザに与えてもよい。
チャットセッションで他のユーザにハプティックメッセージを提供できる、ローカルコンピュータによって表示されるチャットインターフェースを提供するための方法は、前記ローカルコンピュータのディスプレイ装置で前記チャットインターフェースの表示を生じさせることと、前記ローカルコンピュータのユーザから前記チャットインターフェースへの、発信チャットメッセージを提供する入力データを受信し、前記発信チャットメッセージが送信されたフォース情報を含むことと、前記発信チャットメッセージを、ネットワークを介して前記ローカルホストコンピュータに接続されるリモートコンピュータに送信させ、前記リモートコンピュータが前記フォース情報に少なくとも部分的に基づいて前記リモートコンピュータのユーザにハプティックセンセーションを出力することと、前記リモートコンピュータから前記チャットインターフェースへの入信チャットメッセージを受信することと、前記ローカルコンピュータの前記ユーザに対し、ディスプレイ装置上に入信チャットメッセージを表示することと、を備えてもよい。
前記リモートコンピュータは、前記リモートコンピュータの前記ユーザにチャットインターフェースを表示してもよい。
前記リモートコンピュータは、前記リモートコンピュータに結合されるハプティックフィードバックインターフェースデバイスを使用して前記ハプティックセンセーションを出力してもよい。
前記入信チャットメッセージは、受信されたフォース情報を含み、前記ローカルコンピュータが前記ローカルコンピュータの前記ユーザに、前記受信されたフォース情報に少なくとも部分的に基づくハプティックセンセーションを出力してもよい。
前記ローカルコンピュータ及び前記リモートコンピュータは、それぞれ前記ネットワークを介してサーバマシンに結合されてもよい。
前記チャットインターフェースは、前記フォース情報として送信されるために前記ユーザによって選択可能な複数の使用可能なハプティックエフェクトを含んでもよい。
前記リモートコンピュータは、前記ハプティックセンセーションの前記出力と協調してサウンドエフェクトを出力するように、前記フォース情報がサウンド情報と関連付けられてもよい。
前記チャットインターフェースは、前記ユーザが、前記リモートコンピュータに送信される前記フォース情報により参照されるカスタムハプティックセンセーションを作成できるようにしてもよい。
前記チャットインターフェースは、それぞれが特定のハプティックセンセーションと関連付けられる複数のボタンを含み、前記ユーザが、前記特定のハプティックセンセーションに関連付けられる前記ボタンを選択することによって特定のハプティックセンセーションを生じさせてもよい。
前記フォース情報は、チャットセッションの複数のユーザの部分集合だけに送信され、前記ユーザの部分集合が前記ローカルコンピュータで前記ユーザにより選択されてもよい。
前記チャットインターフェースに含まれる複数のボタンは、前記ローカルコンピュータで前記ユーザにより選択されるユーザの前記部分集合だけに前記フォース情報を送信する一連のウィスパボタンを含んでもよい。
前記フォース情報が、前記リモートコンピュータに結合される前記ハプティックデバイスへのフォースセンセーションの前記出力を命令するために、前記リモートコンピュータでチャットインターフェースにより認識されるコマンドを含んでもよい。
前記フォース情報は、前記リモートコンピュータ上で、前記リモートコンピュータに結合される前記ハプティックデバイスへフォースセンセーションを出力するために必要とされる追加フォース情報を検索するネットワークロケーションとしてチャットインターフェースによって使用されるネットワークアドレスを含んでもよい。
前記ネットワークアドレスは、前記ハプティックデバイスによって出力できる標準ハプティックセンセーション及びカスタマイズされたハプティックセンセーションのライブラリを記憶するウェブサーバのアドレスであってもよい。
当該方法は、前記ネットワークアドレスでサーバにカスタムフォース情報をアップロードすることをさらに備えてもよく、この場合、前記アップロードされたカスタムフォース情報は、前記カスタムフォース情報に基づいてハプティックセンセーションを出力するために前記リモートコンピュータによってダウンロードできてもよい。
前記フォース情報は、出力される特定のハプティックセンセーションを指定し、前記特定のハプティックセンセーションを特徴付けるデータを含んでもよい。
前記チャットインターフェースは、前記フォース情報を前記リモートコンピュータに対し送信させるためのテキストコマンドを前記ローカルコンピュータの前記ユーザが入力できるようにしてもよい。
ローカルコンピュータ上で、実行中のチャットセッションで他のクライアントコンピュータと通信できるチャットインターフェースを提供するための方法は、前記ローカルコンピュータで実行中の前記チャットインターフェースを提供することと、前記ローカルコンピュータのユーザから前記チャットインターフェースへの、発信チャットメッセージを提供する入力データを受信することと、前記発信チャットメッセージを、ネットワークを介して前記ローカルホストコンピュータに接続されるリモートコンピュータに送信させることと、前記リモートコンピュータから前記チャットインターフェースへの入信チャットメッセージを受信することと、前記ローカルコンピュータの前記ユーザに前記入信チャットメッセージを出力することと、前記ローカルコンピュータに結合されるハプティックデバイスを使用して前記ローカルコンピュータの前記ユーザに、前記リモートコンピュータから受信される前記受信チャットメッセージに少なくとも部分的に基づくハプティックセンセーションを出力することと、を備えてもよい。
前記入信チャットメッセージが受信されたフォース情報を含み、前記ハプティックセンセーションが前記受信されたフォース情報に少なくとも部分的に基づき、前記発信チャットメッセージが送信されたフォース情報を含んでもよい。
前記ローカルコンピュータは、ディスプレイ装置に前記チャットインターフェースを表示し、前記リモートコンピュータは、前記リモートコンピュータのユーザにリモートチャットインターフェースを表示し、前記リモートコンピュータが前記ローカルコンピュータから受信される前記送信されたフォース情報に少なくとも部分的に基づいて、前記リモートコンピュータの前記ユーザにハプティックセンセーションを出力してもよい。
前記リモートコンピュータは、前記リモートコンピュータに結合されるハプティックフィードバックインターフェースデバイスを使用して前記ハプティックセンセーションを出力してもよい。
前記ローカルコンピュータ及び前記リモートコンピュータは、それぞれ前記ネットワークを介してサーバマシンに結合されてもよい。
前記入信チャットメッセージは、前記ローカルコンピュータ上で実行している前記チャットインターフェースによって、前記ローカルコンピュータの前記ユーザに前記ハプティックセンセーションを出力するために必要とされる追加フォース情報を検索するロケーションとして認識されているネットワークアドレスを含んでもよい。
前記送信されたフォース情報は、出力される特定のハプティックセンセーションを指定し、前記特定のハプティックセンセーションを特徴付けるデータを含んでもよい。
前記サーバマシンは、インターネットリレーチャット(IRC)サーバを含み、前記チャットインターフェースは、標準IRCプロトコルを使用して前記IRCサーバと通信してもよい。
前記入信チャットメッセージは、サウンド情報と関連付けられ、その結果前記ローカルコンピュータが前記ハプティックセンセーションの前記出力と協調してサウンドエフェクトを出力してもよい。
前記入信チャットメッセージは、1つまたは複数の表示された画像と関連付けられ、その結果前記ローカルコンピュータが前記ハプティックセンセーションの前記出力と協調して前記1つまたは複数の表示された画像を表示してもよい。
前記ネットワークアドレスは、前記ハプティックデバイスによって出力できる標準的なハプティックセンセーション及びカスタマイズされたハプティックセンセーションのライブラリを記憶するウェブサーバのアドレスであってもよい。
この方法は、前記ネットワークアドレスにあるサーバにカスタムフォース情報をアップロードすることをさらに備えてもよく、この場合、前記アップロードされたカスタムフォース情報が、前記カスタムフォース情報に基づいてハプティックセンセーションを出力するために前記リモートコンピュータによってダウンロードできてもよい。
前記チャットインターフェースは、前記ローカルコンピュータの前記ユーザが、前記送信されたフォース情報を前記リモートコンピュータに送信させるためにテキストフォースコマンドを入力できるようにしてもよい。
前記テキストフォースコマンドは、前記リモートコンピュータのチャットインターフェースに表示され、前記テキストフォースコマンドの性質を示すための少なくとも1つのデリミタ文字を含んでもよい。
前記テキストフォースコマンドは、前記リモートコンピュータの前記チャットインターフェースに表示され、エモティコンの少なくとも1つのテキスト文字を含んでもよい。
前記入信チャットメッセージ及び前記発信チャットメッセージは、前記チャットインターフェースで表示するためのテキスト文字を記述するデータを含み、前記送信され、受信されたフォース情報がテキスト文字を記述する前記データとしても提供されてもよい。
前記入力データ及び前記入信チャットメッセージは、音声出力を生じさせる音声データとして提供されてもよい。
前記入力データ及び前記入信チャットメッセージは、ディスプレイ装置によって表示されるテキスト文字として提供されてもよい。
前記入信チャットメッセージは、前記リモートコンピュータの前記ユーザの音声を表現する波形として提供されてもよい。
前記波形は、前記ローカルコンピュータによって分析され、前記分析は、前記ハプティックデバイスによって出力される前記ハプティックセンセーションと関連付けられる前記波形のコンテンツを検出してもよい。
前記コンテンツは、前記チャットメッセージの1つまたは複数のエモティコンを示し、前記ハプティックセンセーションが前記1つまたは複数のエモティコンと関連付けられてもよい。
コンピュータネットワーク全体で他のクライアントコンピュータにハプティックメッセージを提供することができる、ローカルコンピュータによって表示されるチャットインターフェースを提供するために前記ローカルコンピュータによって実行されるプログラム命令を記憶するコンピュータ読み取り可能媒体において、プログラム命令が、前記ローカルコンピュータのディスプレイ装置で前記チャットインターフェースの表示を生じさせるステップと、前記ローカルコンピュータのユーザから前記チャットインターフェースへの、出力チャットメッセージを提供する入力データを受信するステップと、前記発信チャットメッセージを、前記コンピュータネットワークを介して前記ローカルホストコンピュータに接続されるリモートコンピュータに送信させるステップと、前記リモートコンピュータから前記チャットインターフェースへの入信メッセージを受信するステップと、前記ローカルコンピュータの前記ユーザにディスプレイ装置上で前記入信チャットメッセージを表示するステップと、前記ローカルコンピュータに結合されるハプティックデバイスを使用して前記ローカルコンピュータの前記ユーザに、前記リモートコンピュータから受信される前記入信チャットメッセージに少なくとも部分的に基づくハプティックセンセーションを出力するステップと、を備えてもよい。
前記発信チャットメッセージは、送信されたフォース情報を含み、前記入信チャットメッセージは、受信されたフォース情報を含み、前記ハプティックセンセーションは、前記リモートコンピュータから受信される前記受信されたフォース情報に少なくとも部分的に基づいてもよい。
前記発信チャットメッセージ及び前記入信チャットメッセージは、テキスト文字を記述するデータを含んでもよい。
前記送信され、受信されたフォース情報は、テキスト文字として提供されてもよい。
前記受信されたフォース情報は、前記チャットインターフェースと同時に前記ローカルコンピュータ上で実行している、前記ハプティックデバイスによって前記ユーザに前記ハプティックセンセーションを前記出力することを制御するバックグラウンドアプリケーションによって処理されてもよい。
前記受信されたフォース情報は、前記ローカルコンピュータの前記ユーザに前記ハプティックセンセーションを出力するために必要とされる追加フォース情報を検索するロケーションとして前記ローカルコンピュータ上で実行している前記チャットインターフェースによって認識されるネットワークアドレスを含んでもよい。
前記プログラム命令は、さらに前記ネットワークアドレスにあるサーバにカスタムフォース情報をアップロードするステップを実行し、前記アップロードされたカスタムフォース情報が前記カスタムフォース情報に基づいてハプティックセンセーションを出力するために前記リモートコンピュータによってダウンロードできてもよい。
ローカルコンピュータによって表示される、コンピュータネットワーク全体で他のクライアントコンピュータにハプティックメッセージを提供できるチャットインターフェースを提供するための装置は、前記ローカルコンピュータのディスプレイ装置上でチャットインターフェースの表示を生じさせ、前記ローカルコンピュータの前記ユーザにディスプレイ装置上で入信チャットメッセージの表示を生じさせるための手段と、前記ローカルコンピュータのユーザから前記チャットインターフェースへの、発信チャットメッセージを提供する入力データを受信するための手段と、前記コンピュータネットワークを介して前記ローカルホストコンピュータに接続されるリモートコンピュータに送信される前記出力チャットメッセージを生じさせるための手段と、前記リモートコンピュータから前記チャットインターフェースへの前記入信メッセージを受信するための手段と、前記ローカルコンピュータに結合されるハプティックデバイスを使用して前記ローカルコンピュータの前記ユーザに、前記リモートコンピュータから受信される前記入信チャットメッセージに少なくとも部分的に基づくハプティックセンセーションを出力するための手段と、を備えてもよい。
本発明の優位点及び他の優位点は、本発明の以下の明細書を読み、図面の複数の図を研究すると当業者に明らかになるだろう。
本発明でクライアントコンピュータとして使用するのに適切なハプティックシステムを描くブロック図である。 本発明で使用するのに適したネットワーク構成を描くブロック図である。 ハプティックメッセージを送受信できるようにする、本発明とともに用いられるチャットインターフェースの1つの実施形態の画面表示である。 ハプティックエフェクトが、ハプティックメッセージとして送信されるために選択される図3aのチャットインターフェースの画面表示である。 ユーザがカスタムハプティックエフェクトについての情報を指定できるようにするための図3aのチャットインターフェースの入力画面の画面表示である。 ユーザが別のサーバに記憶されるリストからハプティックエフェクトを検索、試験できるようにするための図3aのチャットインターフェースの選択画面の画面表示である。 ハプティックメッセージを送信するために使用されるボタンを含む、図3bのチャットインターフェースの別の実施態様の画面表示である。
図1は、本発明とともに使用するための、ホストコンピュータシステムによって制御される、フォースフィードバックインターフェースシステム10を描くブロック図である。インターフェースシステム10は、ホストコンピュータシステム12とインターフェースデバイス14を含む。
ホストコンピュータシステム12は、好ましくは、IBMと互換性のあるパーソナルコンピュータまたはMacintoshパーソナルコンピュータなどのパーソナルコンピュータ、あるいはSUNまたはSilicon Graphicsのワークステーションなどのワークステーションである。代わりに、ホストコンピュータシステム12は、Nintendo、SegaまたはSonyから市販されているシステムなどの家庭用テレビゲームシステム、テレビに接続する「セットトップボックス」あるいは「ネットワークコンピュータ」等の1つである場合がある。ホストコンピュータシステム12は、好ましくは、周辺機器及びインターフェースデバイス14を介してユーザ22が対話しているホストアプリケーションプログラムを実現する。例えば、ホストアプリケーションプログラムは、テレビゲーム、医療シミュレーション、科学分析プログラム、オペレーティングシステム、グラフィックユーザインターフェース、またはフォースフィードバックを活用する他のアプリケーションプログラムである場合がある。一般的には、ホストアプリケーションは、後述されるように、ディスプレイ出力デバイスで表示される画像、及び/または聴覚信号などの他のフィードバックを提供する。
ホストコンピュータシステム12は、好ましくはホストマイクロプロセッサ16、ランダムアクセスメモリ(RAM)17、読取専用メモリ(ROM)19、入力/出力(I/O)電子回路21、クロック18、表示画面20、及び音声出力装置21を含む。表示画面20は、ホストコンピュータシステム12または他のコンピュータシステムによって生成される画像を表示するために使用でき、標準表示画面、CRT、フラットパネルディスプレイ、3Dゴーグル、または任意の他の視覚インターフェースである場合がある。スピーカなどの音声出力装置21は、好ましくは増幅器、フィルタ及び(サウンドカードなどの)当業者に周知である他の回路構成要素を介してホストマイクロプロセッサ16に結合され、ホストコンピュータ18からユーザ22にサウンド出力を提供する。他の種類の周辺装置を、記憶装置(ハードディスクドライブ、CD ROM/DVD−ROMドライブ、フロッピー(登録商標)ディスクドライブ等)などのホストプロセッサ16、プリンタ、及び他の入出力装置に結合することもできる。本発明とともに用いることができるインターフェースを実現するためのデータは、メモリ(RAMまたはROM)、ハードディスク、CD−ROMまたはDVD−ROMなどのコンピュータ読み取り可能媒体上に記憶できる。
インターフェースデバイス14は、双方向バス24によってホストコンピュータシステム12に結合される。該双方向バスは、ホストコンピュータシステム12とインターフェースデバイスの間のどちらかの方向で信号を送信する。RS232またはユニバーサルシリアルバス(USB)シリアルインターフェースポート、パラレルポート、ゲームポート等のホストコンピュータシステム12のインターフェースポートは、バス24をホストコンピュータシステム12に接続する。
インターフェースデバイス14は、ローカルマイクロプロセッサ26、ローカルメモリ27、センサ28、アクチュエータ30、ユーザオブジェクト34、オプションのセンサインターフェース36、オプションのアクチュエータインターフェース38、及び他のオプションの入力装置39を含む。ローカルマイクロプロセッサ26はバス24に結合され、インターフェースデバイス14にとってはローカルと考えられ、インターフェースデバイス14のフォースフィードバック及びセンサI/O専用である。マイクロプロセッサ26は、コンピュータホスト12からのコマンドまたは要求を待機する、コマンドまたは要求を復号する、及びコマンドまたは要求に従って入力信号と出力信号を処理する/制御するためのソフトウェア命令を備えることができる。加えて、プロセッサ26は、センサ信号を読み取り、それらのセンサ信号、時間信号、及びホストコマンドに従って選択される記憶または中継される命令から適切なフォースを計算することによりホストコンピュータ16とは無関係に動作することが好ましい。ローカルマイクロプロセッサ26として使用するために適切なマイクロプロセッサは、例えば、MotorolaのMC68HC711E9、MicrochipのPIC16C74、及びIntel Corp.の82930AXを含む。マイクロプロセッサ26は、1つのマイクロプロセッサチップ、または複数のプロセッサ及び/またはコプロセッサチップ、及び/またはデジタル信号プロセッサ(DSP)機能を含むことができる。
マイクロプロセッサ26は、センサ28から信号を受信し、バス24上で、ホストコンピュータ12により提供される命令に従ってインターフェースデバイス14のアクチュエータ30に信号を提供できる。例えば、好ましいローカル制御実施形態では、ホストコンピュータシステム12は、バス24上でマイクロプロセッサ26に高水準監督コマンドを提供し、マイクロプロセッサ26は、高水準コマンドに従って、ホストコンピュータ18には無関係に、センサ及びアクチュエータに対する低水準フォース制御ループを管理する。このようにして、フォースフィードバックシステムは、分散制御システムにおいて情報のホスト制御ループ及び情報のローカル制御ループを提供する。この動作は、米国特許番号第5,379,811号、第6,169,540号、及び第5,734,373号にさらに詳しく説明される。マイクロプロセッサ26は、ボタンなどのインターフェース装置14に含まれるいかなる他の入力装置39からコマンドを受信することもでき、入力情報が受信され、任意の情報が入力情報に含まれることを示すためにホストコンピュータ12に適切な信号を提供する。RAM及び/またはROMなどのローカルメモリ27は、好ましくはマイクロプロセッサ26のための命令を記憶し、一時データ及び他のデータを記憶するためにインターフェースデバイス14内のマイクロプロセッサ26に結合される。さらに、ローカルクロック29は、タイミングデータを提供するためにマイクロプロセッサ26に結合できる。
センサ28は、1つまたは複数の自由度に沿ってインターフェースデバイス14のユーザオブジェクト34の位置、運動及び/または他の特性を感知し、それらの特性を表す情報を含む信号をマイクロプロセッサ26に提供する。ロータリーエンコーダまたはリニア光エンコーダ、電位差計、光センサ、速度センサ、加速度センサ、歪みゲージ、あるいは他の種類のセンサを使用できる。センサ28は、マイクロプロセッサ26及び/またはホストコンピュータシステム12によって解釈できる信号にセンサ信号を変換するために使用できる、オプションのセンサインターフェース36に電気信号を提供する。
アクチュエータ30は、1つまたは複数の自由度に沿った1つまたは複数の方向でインターフェースデバイス14のユーザオブジェクト34にフォースを伝送する、及び/またはマイクロプロセッサ26から受信される信号に応えてデバイス14のハウジングにフォースを適用してよい。アクチュエータ30は、アクティブアクチュエータとパッシブアクチュエータの2種類を含むことがある。アクティブアクチュエータは直線電流制御モータ、ステッピングモータ、空気圧/油圧アクティブアクチュエータ、トルカ(角範囲が限られたモータ)、音声コイルアクチュエータ、及びオブジェクトを移動するために力を伝達する他の種類のアクチュエータを含む。パッシブアクチュエータは、磁性粒子ブレーキ、摩擦ブレーキなどのアクチュエータ30、あるいは空気圧/油圧パッシブアクチュエータのためにも使用できる。アクチュエータインターフェース38は、マイクロプロセッサ26からの信号を、アクチュエータ30を駆動するのに適切な信号に変換するために、任意でアクチュエータ30とマイクロプロセッサ26の間で接続できる。
他の入力装置39は、任意でインターフェースデバイス14に含まれ、マイクロプロセッサ26に、またはホストプロセッサ16に入力信号を送信できる。このような入力装置は、ボタン、ダイヤル、スイッチ、レバーまたは他の機構を含むことがある。例えば、ユーザオブジェクト34がジョイスティックである実施形態では、他の入力装置は、例えば、ジョイスティックのハンドルまたは基部に設けられる1つまたは複数のボタンを含むことがある。電源40は、任意で、電力を提供するためにアクチュエータインターフェース38及び/またはアクチュエータ30に結合できる。安全スイッチ41は、任意で、安全性の理由からアクチュエータ30の動作を停止するための機構を提供するために、インターフェースデバイス14に含まれる。
ユーザが操作可能なオブジェクト34(「ユーザオブジェクト」)は、ユーザによって掴まれる、あるいはそれ以外の場合は接触されるまたは管理され、インターフェースデバイス14に結合される物理的なオブジェクト、デバイスまたは製品である。「掴む」は、手によって、指先で、あるいは障害者の場合には口を使ってなどのなんらかの方法で、ユーザが物理的にオブジェクトに接することができることを意味する。ユーザ22は、ユーザが表示画面20上で見ているホストアプリケーションプログラムと話すために、オブジェクトを操作または移動できる。オブジェクト34は、ジョイスティック、マウス、トラックボール、キーボード、(例えば、リンクの最後にある)スタイラス、ハンドル、球面(sphere)、医療機器(腹腔鏡、カテーテル等)、ビリヤードの突き棒(pool cue)(例えば、作動されたローラを通して突き棒を移動する)、ハンドグリップ、ノブ、ボタン、または他の製品である場合がある。
ハプティックフィードバックインターフェースデバイス14は、マウス、ジョイスティック、ゲームパッド、ハンドル、ユーザが座る椅子パッド、釣りざお、ビリヤードの突き棒等を含む多様な形を取ることができる。種々のこれらの種類のデバイスは市販されている。例えば、本発明とともに使用するために適切なマウスは、同時係属米国特許第6,166,723号と第6,211,861号に記述されるマウスなどの運動感覚力マウスとvibrotactileマウスを含む。ユーザオブジェクト34及び/またはインターフェースデバイス14も、ハプティックフィードバック機能性を有するキーボードである場合があり、例えば振動誘発アクチュエータアセンブリ(複数の場合がある)は、キーまたはキーボードハウジング上でのタクタイル(触覚)フィードバックをハプティックセンセーションとして生じさせるために配置できる。本発明と使用するためのシステムの1つの好ましい実施形態は、ユーザがチャットインターフェースでハプティックキーボードでメッセージを入力でき、カーソルを移動し、チャットインターフェース内で機能を選択するためにハプティックマウスを使用できるハプティックキーボードとハプティックマウスである。両方のデバイスとも本発明で伝達されるハプティックフィードバックを出力できる。したがって、両方のデバイスを使用するときには、ユーザは、ユーザがキーボード上に片手を置き、マウス上に片手を置くのか、キーボード上に両手を置くかまたはマウス上に片手を置くのか、あるいはキーボード上に手を置かず、マウス上に片手を置くのかに関係なくつねにハプティックフィードバックを経験できる。(ハプティックフィードバックチャットインターフェース)
図2は、本発明と使用するのに適したコンピュータネットワーキング構造60を描くブロック図である。当業者に周知であるように、チャット通信プログラム及び/またはIRCなどのプロトコルを実現できるチャットサーバマシン70を具備することができる。サーバは、例えばインターネット及び/またはワールドワイドウェブ、あるいはLAN、WAN、または(無線網、デバイスネットワーク、電話網等を含む)他のネットワーク上で使用できる。クライアントマシン72aと72bは、ネットワーク上でサーバに接続し、サーバと通信できる。各クライアントマシン72は、前記に詳説されたようにユーザにハプティックセンセーションを出力し、クライアントマシンのユーザによって物理的に触れられ、操作されるハプティックデバイス74に結合される。クライアントマシン72a、72b及び73は、サーバに接続し、サーバを通して、クライアントマシンは互いとの接続を確立できる。チャットの中で、各クライアントマシンのユーザは、データを、それが他のユーザによって読み取られ、感知される他のクライアントマシンの1台または複数台に送信する。チャットサーバ70は、2台のクライアントマシンが互いを発見し、接続するための方法としてだけ使用でき、その結果クライアントマシン間の通信はそれ以降それら自体の間だけとなるか、あるいはチャットサーバ70は、データを受信し、クライアントの間でデータを送り続けることができる。他の実施形態では、クライアントマシンは、多様な種類のネットワーク、接続及びチャネル上で、別個のサーバマシンを使用しなくても、ピアツーピア接続で互いに直接的に接続できる。ここに使用される用語「ネットワーク」は、すべてのこのような通信接続を指すことを目的とする。
説明されるインプリメンテーションでは、クライアント72aと72bは、それぞれチャットクライアント機能部分76及びハプティック制御機能部分78を含む。チャットクライアント76は、他のクライアントマシンからクライアントマシンのユーザにチャット通信を提供するために、標準的なプロトコルに従ってチャットサーバ70と対話する。例えば、サーバ70は、周知のIRCプロトコルを使用してクライアントと通信するIRC(インターネットリレーチャット)サーバである場合がある。使用できる他の種類のチャットプロトコルは、純粋なHTMLベースのチャットプロトコル、Java(登録商標)ベースのチャットプロトコル、他の基準に基づくプロトコルを含む。クライアント73などの、サーバ70に接続され、チャットセッションに参加しているいくつかのクライアントは、チャットクライアント部分76を実現しているにすぎないので、ハプティックメッセージのハプティックインプリメンテーションを無視してよい。
ハプティック制御部分78は、チャットメッセージと関連付けられる本発明のハプティックセンセーションに対する制御を提供するためにチャットクライアント部分76と対話する。例えば、ハプティックメッセージまたはコマンドとして解釈される受信メッセージは、ハプティック制御部分76によって検出することができ、ハプティックセンセーションは部分78からハプティックデバイス74に命令することができる。さらに、いくつかの実施形態では、ハプティック制御部分78は、ウェブサーバ80などの1台または複数台の他のサーバと通信できる。例えば、フォースエフェクトデータ、サウンドデータまたは他のデータは、特定のハプティックセンセーションを実現するためにハプティック制御部分78によって検索できる。この動作は、以下にさらに詳しく説明される。
図3aは、ネットワークチャットアプリケーションプログラム用のチャットインターフェースの一例を描く表示されたインターフェース100を示すホストコンピュータ12の表示画面20の図である。当業者に周知であるように、ネットワークチャットプログラムにより、異なるコンピュータまたは端末にいる二人または三人以上の人はコンピュータネットワーク上で互いと通信できる。いくつかの実施形態では、ただ一人の人が、やはり本発明を利用できる、チャット状の通信の「シミュレーションされた人物」または、サーバ上で実行中のプログラムによって実現されるAIゲームキャラクターまたはプレーヤーなどのエンティティと対話できる。さまざまな実施形態では、テキスト、サウンド、画像またはこれらの組み合わせなどのさまざまなフォーマットのメッセージが送信できる。このチャットインターフェースにより、送信が所望されるメッセージに基づき、ネットワーク全体で、一人のユーザから一人または複数の他のユーザにハプティックセンセーションを送信することができる。ネットワークでハプティックフィードバックを提供するためのいくつかの方法は、米国特許第6,028,593号に説明されている。ネットワークは、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、インターネット、または他のネットワークである場合がある。
表示画面20は、チャットインターフェース100を表示して図示されている。インターフェース100は、当業者に周知の方法を使用して、インターネットリレーチャット(IRC)などの標準チャットプログラムとプロトコルを実行しているサーバを実現し、サーバに接続することができる。IRCは、あるクライアントから、チャットセッションに参加している他のクライアントにテキスト文字を送るチャットサーバ70にテキスト文字を提供するにすぎない。いくつかの実施形態では、使用されるチャットプロトコルは、特定のプログラムでしか機能しない独占プロトコルである場合がある。
記載されている実施形態では、チャットクライアントプログラムは、すべての標準チャット接続を処理するが、ハプティック機能性プログラムは、ハプティックセンセーションの出力を処理するためにチャットプログラムと連動する。例えば、チャットインターフェース100は、ウェブページとして、Microsoft Internet ExplorerまたはNetscape Navigatorなどのウェブブラウザプログラムに表示できる。例えば、1つのインプリメンテーションでは、Internet Explorerウェブブラウザは、Microsoft Corp.から入手できる、IRCサーバと通信するために必要なすべての機能及び必要なネットワークプロトコルを実行できるMS Chat ActiveX Controlを利用できる。これは、図2に図示されるようにチャットクライアント部分76である場合がある。ActiveX Controlは、他のプログラムがこれらのイベントに作用できるようにするために、メッセージデータが受信されるときなどのイベントを生成できる。ハプティック制御部分78は、チャットActiveX Controlに沿って実行でき、制御からイベントを受信できる。イベントが発生すると、ハプティック制御部分は、特定的なハプティックコマンドまたはメッセージの入力をチェックし、適宜に、ユーザに対するハプティックセンセーションを引き起こすためのコマンドを生成できる。
代わりに、チャットインターフェース100は、別個のアプリケーションプログラムとして、ワールドワイドウェブまたはインターネット上で実現される別のプログラムまたはオペレーティングシステム、Java(登録商標)アプレット、または他のプログラムの機能部分、あるいは他のインプリメンテーションとして実現することができる。ワールドワイドウェブで送信されるウェブページ内のフォースフィードバックのために使用される類似した実施形態は、米国特許第6,161,126号に説明されている。例えば、ある実施形態では、ハプティックチャットインターフェースは、ユーザが、テキストを使用してチャットし、ファイルを互いに送信し、ゲームプログラム等を使用して互いに接続できるようにする、America Online Inc.から入手できるICQまたはAOL Instant Messengerなどの「インスタントメッセージ通信」プログラムの一部である場合がある。別の実施形態では、つねにクライアントコンピュータ上で実行中であるバックグラウンドアプリケーションが、送信及び/または受信されるすべての入力をチェックし、例えば入力が後述されるような括弧で囲まれたテキスト文字を有するかどうかなど、入力のどれかがハプティックメッセージとして適格かどうかを判断する。このようにして、標準チャットインターフェースプログラムはチャット機能性を提供するために使用でき、バックグラウンドアプリケーションが、ハプティックメッセージのためにハプティックセンセーションを可能にする。このようなバックグラウンドアプリケーションが使用されると、チャットプログラムおよびインスタントメッセージ通信プログラムなどの特定のアプリケーションプログラムが、バックグラウンドアプリケーションによって監視されるためにユーザによって指定でき、その結果、バックグラウンドアプリケーションはハプティックメッセージ通信に関連しない他のプログラムの入力と出力を無視する。カーソル位置を監視し、グラフィックオブジェクトの位置または種類に基づき、グラフィックユーザインターフェース内でハプティックセンセーションを適用するバックグラウンドアプリケーションも、このチャットインターフェースに適用できる。
依然として他の実施形態では、インターフェース100は、ユーザがナビゲートし、操作できる2Dまたは3Dのグラフィック環境を描写することができる。例えば、インターネットまたは(例えば、VRMLプロトコルを使用する)他のネットワーク上で実現される仮想環境またはゲーム環境では、メッセージは別の3Dキャラクターまたはavatarに送信することができ、メッセージに対するハプティック構成要素が受取人のために提供できる。
インターフェース100は、情報フィールド102、チャットウィンドウ104、ユーザリストウィンドウ106、及びエフェクトウィンドウ108を含む。情報フィールド102によって、ユーザは、接続及び名前指定のオプションを指定できる。サーバ名(Server Name)フィールド112により、ユーザは接続先の特定のサーバを指定できる。例えば、説明されたインプリメンテーションにより、ユーザはIRCサーバに接続できる。代わりに、このような機能性がチャットインターフェースで提供される場合、これは別のクライアントマシンに直接的に接続するためのクライアント名である場合がある。ニックネーム(Nickname)フィールド114により、ユーザはチャットの中で使用される名前を指定できる。ルーム名(Room Name)フィールド116により、ユーザは、「チャットルーム」つまり指定されたユーザだけが、チャットセッション中に互いに通信するためにそのチャットルーム内にいることができるようにする、チャットが行われる指定されたサーバ上の特定の領域を指定できる。「終了」(Leave)ボタン118は、(例えば、キーボードまたはマウスカーソルを使って)ユーザによって選択されると、ユーザに、ユーザが現在参加しているチャットセッションを終了させる。属性120は、ユーザが、ウィンドウ108のエフェクトと関連付けられたハプティックセンセーションを、このようなエフェクトが別のユーザから受信されるときに感じるのか、及び/または、そのハプティックメッセージと関連付けられたサウンドエフェクトを、それが受信されるときに聞くのかどうかを(あるいは、いくつかの実施形態では、ハプティックエフェクトまたはサウンドエフェクトがユーザによって送信されるときに、ユーザがメッセージの受取人がそれを経験するようにメッセージをハプティックに、及び聴覚的に経験できるように)、ユーザが指定できるようにする。アイコン属性122により、ユーザは、ユーザが別のユーザから受信される「アイコン」(エモティコン)、つまりそれぞれのメッセージが単一のコマンドまたはアイコンによって表現される本発明で使用されるときにハプティックコンテンツ及び聴覚コンテンツを有するメッセージ、と関連付けられるハプティックセンセーション及び/またはサウンドエフェクトを感じるかどうかを指定できるようにする。例えば、スマイリーアイコン(“:)”)では、属性122が選択されている場合には、受信時に、所定のフォースセンセーションとサウンドがユーザに出力される。したがって、ユーザは、自分が、チャットインターフェース100で受信されるアイコンのメッセージのハプティックコンテンツ及び/または聴覚コンテンツを経験することを希望するかどうかを選択できる。
チャットウィンドウ104は、現在チャットセッション中のユーザのコンピュータに接続されている他のユーザから送信されるメッセージだけではなく、ユーザによってタイプされる(あるいはそれ以外の場合入力される)テキストメッセージも表示する。ユーザは、テキストエントリーフィールド126にテキストメッセージをタイプし、ボタン128を選択することによってチャットセッション中の全ユーザにメッセージを送信することができるか、あるいはボタン130を選択することによってウィンドウ106で選択されるユーザだけにメッセージを「ささやく」ことができる。他のインプリメンテーションでは、チャットセッション中のユーザのそれぞれが、別のウィンドウまたはそのユーザ専用のインターフェース100の他の領域にメッセージを表示できる。ユーザリストウィンドウ106は、ユーザが参加している、あるいは(例えば、ユーザが自分自身のメッセージを送信せずに観察することを希望するチャットルーム内に)観察しているチャットルームまたはセッションに現在入っているすべてのユーザを表示する。チャットルームに参加しているユーザは、チャットルーム内の他のユーザにメッセージを入力することができ、それらのメッセージはチャットウィンドウ104に表示される。いくつかの実施形態では、ユーザは、それらのユーザについての情報を呼び出す、及び/またはそれらのユーザに直接的にメッセージを送信するために、ウィンドウ106に表示されるユーザの1つまたは複数の名前を選択できる。好ましい実施形態では、ユーザは、1つまたは複数の名前を選択し、選択されたユーザにタクタイルメッセージを送信できる。
エフェクト(Effects)リスト108は、ユーザリストウィンドウ106で選択される特定のユーザに(あるいはリスト106内のユーザが選択されない場合には全ユーザに)ハプティックメッセージとして送信できる数多くのフォースエフェクトを提供する。また、リスト108に一覧表示されるエフェクトのそれぞれは、ハプティックメッセージが送信されるときに受取人のクライアントマシンにより再生される、それに関連付けられた1つまたは複数のサウンドを有する。エフェクトリスト108は、好ましくは、任意のカスタムメッセージまたは新規にダウンロードされるメッセージを含む、ユーザが送信できるすべてのハプティックメッセージを含む。メッセージは、選択されたユーザ(複数の場合がある)だけに送信され、その結果他の選択されていないユーザはメッセージを送信されない。リスト108内のそれぞれの名前は、リスト108内のその名前またはラベルと関連付けられたある特定のハプティックセンセーションを表す。ハプティックメッセージを送信するために、ユーザは、表示されたカーソルを用いて、あるいは他のなんらかの選択方法(キーボード等)を使用することによって、リスト108中のエフェクトの1つを選択できる。これが、好ましくは、図3bに関して詳しく後述されるように、ユーザが選択されたエフェクトでさまざまな機能を実行できるようにするためにメニューを呼び出す。リスト108は、好ましくは、エントリーが多すぎて一度にすべてを表示できない場合には、スクロールまたはそれ以外の場合ナビゲートできる。
図3bは、ユーザがオプションメニュー140を表示するためにリスト108中のエフェクトの内の1つを選択した、図3aの表示されたインターフェース100を示す。例えば、ユーザは、所望されるエフェクト上にカーソルを移動し、ある特定のマウスボタンを押してメニュー140を立ち上げるために、マウスまたは他のポインティングデバイスを使用できる。メニュー140は、送信(Send)コマンド142、ウィスパ(Whisper)コマンド144、再生(Play)コマンド146、新規エフェクト作成(Compose New Effect)コマンド148、及びインポートエフェクト(Import Effect)コマンド150を含む、数多くのオプションを含む。ユーザはこれらのコマンドのどれかを選択してよい。
図3bのインターフェース100は、選択されている送信コマンド142を示す。このコマンドは、リスト108中の選択されているエフェクトを、チャットに参加している全ユーザ、つまりチャットルーム内のユーザに送信させるだろう。例えば、図3bで選択されて示されている「laugh(笑う)」エフェクトが、チャットセッション中の全参加者に送信される。説明される実施形態では、これは、他のテキスト文字によりハプティックコマンドとして指定されるまたは区切られるテキスト文字を送信することによって実現される。例えば、括弧<と>で囲まれる文字は、インターフェース100のハプティック制御部分によりハプティックコマンドとして解釈できる。このようにして、コマンド<laugh(笑う)>は、メニュー140を使用して「laugh(笑う)」エフェクトが送信されるときに他のクライアントに送信される。好ましくは、コマンドラベルは、通常、自然言語では、それが関連付けられているハプティックセンセーションを意味する。例えば、コマンド「slap(平手打ち)」は重要度が高い衝撃を意味するが、コマンド「wink(ウィンク)」は重要度が低いセンセーションを意味してよい。
受取人ユーザのクライアントのハプティック制御部分は、受信されたコマンドを検出し、同じ名前が付けられたフォースセンセーションをハプティックデバイスに出力する。このようにして、例えば、エフェクト「なでる」が選択される(またはコマンド<pat>が入力される)と、関連付けられたハプティックメッセージが他のチャットユーザ(複数の場合がある)に送信される。それから、受取人ユーザ(複数の場合がある)は、受取人ユーザが使用しているハプティックフィードバックインターフェースデバイスを介してハプティックメッセージを感じる。ハプティックメッセージは、脈動、振動、衝撃等、または複数のハプティックセンセーションの組み合わせなどの受取人ユーザのハプティックインターフェースデバイスによって出力されるハプティックセンセーションとして受取人ユーザに送信される。リスト108中のエフェクトのそれぞれは、好ましくは、その名前に関連付けられるハプティックセンセーションに適切である名前またはラベルを有する。例えば、「なでる」エフェクトは、好ましくは、受取人ユーザのハプティックデバイスのユーザオブジェクトあるいはグリップに、手でなでるような小さく円滑な衝撃を実現するハプティックメッセージを提供する。「giggle(クスクス笑う)」エフェクトは、低周波の振動を提供することができ、「slap(平手打ち)」効果は鋭い重要度が高い衝撃を達成することができ、「smile(微笑む)」エフェクトが低速の側面から側面への運動等を提供することができる。
また、このようなサウンドは代替実施形態で再生される必要はないが、所定のサウンドエフェクトも、好ましくは、メッセージをさらに効果的に伝達するために送信されたメッセージと関連付けられる。サウンドエフェクトは、ハプティックメッセージのハプティックセンセーションの特徴と同期される。例えば、メッセージ「slap(平手打ち)」は、単一のハプティック衝撃とサウンドエフェクトを提供できるが、メッセージ「slap−slap(平手打ち−平手打ち)」は、それぞれの衝撃が適切な平手で打つサウンドエフェクトと同期する2つの連続する衝撃を提供できる。(.wavなどの標準化されたフォーマットを取ることがある)サウンドファイルは、受取人クライアントマシンでハプティックコマンドと関連付けることができ、このサウンドファイルはフォースセンセーションの出力と同時に再生される。他の実施形態では、他の種類の媒体データが、サウンドエフェクトの代わりに、またはサウンドエフェクトに加えて、ハプティックエフェクトと同期して出力することができる。例えば、動画のまたは静止のグラフィックまたは画像は、ハプティックエフェクトの出力と、及びサウンドエフェクトと協調して表示画面に表示することができる。これらの他の種類のデータは、ファイルに記憶され、前述されたサウンドファイルと同様にアクセスできる。
チャットユーザは、リスト108からエフェクトを選択するよりむしろ、キーボード(あるいは別の入力装置を用いてコマンドを入力すること)によってチャットウィンドウにじかにテキストコマンドを入力することによってハプティックメッセージを送信することもできる。例えば、ユーザは、適切なハプティックメッセージを送信させるために単に「<slapslap>」を入力できるだろう。さらに、所定の「エモティコン」は、ハプティックエフェクトとサウンドエフェクトと関連付けられるために定義することができ、ハプティックコマンドとして送信できる。例えば、スマイリーエモティコン“:)”は、入力フィールド126に入力され、別のユーザに送信されると、エフェクトリスト108から選択される「smile(微笑む)」エフェクトと同じハプティックセンセーションを引き起こすことができる、あるいは一意の関連付けられたハプティックセンセーションを、受取人に出力させることができる。エモティコンの他の例は、“:(”(frown(しかめる))、“;)”(wink(ウィンク))、及び“:o”(surprise(驚く))を含む。いくつかの実施形態では、ハプティックメッセージとして使用されるために、このようなエモティコンが括弧の間に配置され、それらがハプティックコマンドであることを示す。他の実施形態は、括弧または他のコマンド文字またはデリミタを使用せずに、このようなエモティコンをコマンドとして自動的に解釈できる。エモティコンは、好ましくは別のリストでユーザによって事前に定義でき、各エモティコンは、後述のカスタムエフェクトと同様にハプティックエフェクトとサウンドエフェクトと関連付けることができる。
説明される実施形態では、ハプティックメッセージとして受取人クライアントに送信されるコマンドは、メッセージ中のテキスト文字として、受取人のチャットウィンドウ104(及び所望される場合には送信者のウィンドウ104)にも表示される。このようにして「smile(微笑む)」ハプティックメッセージ124は、ハプティックセンセーション及び関連するサウンドを受取人のクライアントマシン上で出力させた図3bに表示される。該表示メッセージ124は、ハプティクメッセージが送信された旨をユーザに視覚的に示す。
いくつかの実施形態では、ユーザは、ハプティックエフェクトとサウンドエフェクトだけではなく通常のテキストメッセージも、すべて同時に送信できる。例えば、ユーザはフィールド126にメッセージを入力し、選択されたハプティックエフェクト(と関連付けられるサウンドエフェクト)を、受取人ユーザにフィールド126のテキストメッセージとともに同時に送信させるだろう「テキストメッセージとともに送信する」などのメニュー140内のオプション(図示されていない)を選択できる。したがって、ここに参照されるような用語「ハプティックメッセージ」は、サウンドエフェクト、テキストメッセージ及び/または他のコンテンツだけではなくハプティックエフェクトも含むことができる。
メニュー140内のウィスパコマンド144は、選択時、リスト108から選択されたハプティックエフェクト(複数の場合がある)を、ウィンドウ106内で選択されたそれらのユーザだけに送信させるが、それ以外には送信コマンド142に類似している。再生コマンド146は、選択されたハプティックエフェクト(複数の場合がある)とその関連サウンドを、ユーザが、ハプティックメッセージが受取人ユーザによってどのように経験されるのかをチェックできるように、ユーザの独自のクライアントマシンに出力できるようにする。
受取人クライアントマシン(複数の場合がある)に送信される実際のハプティックメッセージコンテンツは、さまざまな実施形態で異なることがある。説明されている実施形態では、リスト108からの使用可能なハプティックメッセージは、すべて同じインターフェース100を使用しているチャット内の全ユーザに対して同一である。したがって、ハプティックメッセージ内の他のユーザに送信される必要のある唯一の情報は、前述された括弧によって囲まれるエフェクトのテキストラベル、または他の種類のコマンドなど、ハプティックセンセーションの種類がメッセージとして送信されていることを示す高水準コマンドである。これにより、受取人クライアントマシンのチャットインターフェースは、標準テキスト文字または他の標準化されたデータとしてコマンドを受信でき、受取人クライアントマシンのハプティック制御部分は、どのハプティックセンセーションを出力する必要があるのかを知ることができる。いくつかの実施形態では、ハプティックメッセージは、送信側クライアントが、それがハプティックメッセージであることを知らなくとも送信できることに注意する必要がある。例えば、前述されたように、他の特殊文字を使用しないエモティコンは、テキストメッセージとしてチャットセッション中の非フォースフィードバック標準クライアントによって送信でき、該エモティコンは、該エモティコンに関連付けられるハプティックセンセーションが受信時に出力されるように、受信側クライアントによりハプティックメッセージと見なすことができる。このようなインプリメンテーションは、受信側クライアントだけで実現される「一般的な」ハプティックエフェクトと見なすことができる。
他の実施形態では、さらに精密なハプティックメッセージの送信または表示ができる。例えば、ハプティックメッセージは、受取人ユーザのクライアントマシンに送信され、受取人ユーザのハプティックデバイスにハプティックセンセーションを出力するように命令するフォース情報コンテンツ及び/または追加コマンドを含むことができる。これにより、インターフェース100内で過去に定義されていないカスタマイズされたハプティックセンセーションを出力できるようにする。フォース情報は、複数の異なる方法で提供できる。例えば、フォース情報は、出力するための標準化された種類のハプティックセンセーションを示す高水準コマンドとして送信することができ、そこでは受取人ユーザのすべてが、高水位順コマンドが参照できるそれらのコンピュータシステム上で使用可能なハプティックセンセーションの標準化されたライブラリを有すると仮定される。いくつかの実施形態では、センセーションの時間分、頻度、規模、方向、ボタンパラメータ、立ち上がり時間と減衰期間、シミュレーションされる質量と位置等の命令されたハプティックセンセーションを特徴づける1つまたは複数のコマンドパラメータなどの追加情報が送信できる。また他の実施形態では、一連のフォース規模と方向などの実際のハプティックセンセーションを記述し、定義するデータが送信できる。あるいはハプティックセンセーションデータをダウンロードまたは検索できるネットワークアドレス(または他のロケーション)が送信できる。これらの方法の多くは、受取人ユーザが常時有していない完全にカスタマイズされたハプティックセンセーションを送信できるようにする。例えば、初めてカスタマイズされたハプティックメッセージが送信されると、ハプティックセンセーションを実現するために必要とされるすべてのデータも送信される。ハプティック記述データはすでに受取人コンピュータシステム上に常駐し、保存されているので、そのハプティックメッセージが後に連続して送信されるときにはそれ以後記述データを送信する必要はない。明らかに、このような記述データの送信は、送信される大量のデータ量のために、さらに高速のブロードバンドネットワークでの通信及び接続により適している。
カスタムハプティックエフェクト及びサウンドエフェクトは、ユーザによって創作することもできる。例えば、ユーザはメニュー140からCompose New Effect(新規エフェクト創作)コマンド148を選択すると、ユーザは好ましくはエフェクト作成を可能とするためのユーザインターフェースにアクセスする。このようなユーザインターフェースの一例は、図3cに図示されている。ダイアログボックス160は、ユーザがコマンド148を選択したときに表示される。ユーザは、カスタムハプティックエフェクトとサウンドエフェクトを定義するために、ダイアログボックスのフィールドの中に情報を入力することができる。例えば、ハプティックメッセージの名前またはラベルは、フィールド162で指定することができ、ネットワークアドレスまたは(データを「.IFR」ファイルなどの標準化されたフォーマットを有するファイルの中で編成できる)ラベルと関連付けられるハプティックエフェクトのロケーションのローカルアドレスは、フィールド164で指定することができ、フィールド164のアドレスでのハプティックエフェクトファイルの名前はフィールド166で指定することができ、サウンドファイルなどのサウンドデータのネットワークアドレスまたはローカルアドレスは、フィールド168で指定することができる。いったんユーザが新しいハプティックメッセージを作成するためにこのデータを入力すると、フィールド162の名前はチャットインターフェース100のリスト108に表示され、他の一覧表示されたエフェクトと同様に選択することができる。
いくつかの実施形態では、カスタマイズされたあるいは標準化されたハプティックエフェクトとサウンドエフェクトのライブラリも、受信したハプティックメッセージを経験するのに必要なデータをダウンロードするために受信ユーザーがアクセスできるインターネットなどの幅広い分散を有するネットワーク上で使用可能なネットワークサーバに記憶することができる。説明されている実施形態では、(図2に図示されている)ウェブサーバ80は、サウンドデータだけではなく必要とされるハプティックエフェクト及び/またはデータもダウンロードするために、(例えば、URLアドレスとCGIスクリプトを使用することによって)本発明のチャットプログラムのハプティック制御部分によってアクセスできる。例えば、送信側ユーザは、図3cのインターフェースを使って自分のクライアントマシンに対するカスタムハプティックエフェクトを作成できる。エフェクト作成時に、または作成側ユーザがチャットルームに入るときに、あるいはそのユーザがこのように選ぶ場合/ときに、カスタムハプティックエフェクトは、記憶し、ネットワークにアクセスしている他のクライアントが使用できるようにするために、ウェブサーバ80にアップロードされる。さまざまなクライアントマシン上の他のユーザは、チャットルームに入るとき、あるいはカスタムエフェクトがアップロードされた後に、ウェブサーバ80からカスタムハプティックエフェクトを自動的にダウンロードするか、あるいはそのマシンのユーザがそのように選ぶときにカスタムエフェクトをダウンロードできる。例えば、チャットセッションに入ると、各クライアントマシン上のチャットインターフェースは、そのチャットセッションにどのハプティックエフェクトが必要とされているのかをチェックできる。これは、チャットルーム内のクライアントマシンのどれかから送信しうるすべてのエフェクトを含む、ウェブサーバに対するエフェクトの常時更新されている「チャットルームリスト」を維持することによって達成できる。ある特定のチャットインターフェースは、チャットセッションに入るとそのリストをチェックし、それからそのクライアントマシンに現在リストに記憶されていないエフェクトをダウンロードできる。代わりに、カスタムエフェクトを参照するハプティックメッセージがクライアントマシンに送信されるとき、受取人クライアントマシンはハプティックメッセージの受信時にそのエフェクトのためのデータをダウンロードできる。
チャットインターフェース100(あるいは他の別個のプログラムまたはウェブページ)は、ユーザが、自分達のセンセーションを使用可能とすることを選択した他の複数のユーザから使用できるカスタマイズされたハプティックセンセーションを一覧表示するサーバに接続できるようにするための、及びユーザが選択されたハプティックセンセーションファイルとデータをダウンロードするために多様な他のユーザクライアントマシンまたはサーバに接続できるようにする機能を含むことがある。例えば、ユーザがメニュー148のImport Effectコマンド150を選択すると、ユーザは、複数の使用可能なエフェクトのどれかをインポートできることが好ましい。このような選択を可能にするためのインターフェースの例は、図3dに図示されている。ウィンドウ170は、サーバ上で使用可能なエフェクトの数多くのカテゴリとサブカテゴリ172を含むウェブサーバ(または他のサーバ)に記憶されるライブラリリストを示す。それぞれのカテゴリまたはサブカテゴリ172では、サーバに記憶される数多くのエフェクト174が一覧表示できる。インターフェース100を表示するクライアントマシンに現在記憶されていないエフェクトは、そういうものとして指定またはマーキングできる。ユーザは、エフェクト174を選択してから、選択されたエフェクトをローカルクライアントマシンにダウンロードするために検索(Retrieve)ボタン176を選択できる。ユーザは、選択され、検索されたエフェクト174を再生するために再生(Play)ボタン178を選択し、ユーザがどのようにエフェクトが感じられるのかを経験できるようにすることもできる。ユーザがインポート(Import)ボタン180を選択すると、選択されたエフェクトはエフェクトのリスト108に追加、表示され(必要な場合にはダウンロードされ)、ユーザがそのハプティックエフェクトを含むハプティックメッセージを受信するときに再生
されるだけではなく、ハプティックメッセージとしてユーザによって送信することもできる。検索されたハプティックエフェクトと関連付けられるあらゆるサウンドエフェクトも好ましくはダウンロードされる。
エフェクトは、数多くのさまざまな基準に従ってサーバ上で分類できる。例えば、ハプティックメッセージのグループは、メッセージの種類、メッセージの感情、メッセージの強度等に従って表示、編成できる。例えば、「sad messages(悲しいメッセージ)」カテゴリは、このような感情状態を伝達するすべてのそれらのハプティックメッセージを含むことができ、「romance(ロマンス)」カテゴリは適切な近い個人的なメッセージを伝達するハプティックメッセージを含むことができる。
他の実施形態では、チャットインターフェースが、コンピュータネットワーク60上で音声通信または電話技術を可能にする音声通信プログラムの一部である場合がある。音声通信機能は、既存のユーティリティプログラムに、あるいはDirectXなどのAPIのユーティリティプログラム内にある。例えば、何かを受取人ユーザに言うとき、送信側ユーザは、音声(spoken)メッセージとともに、あるいは任意の音声とは無関係に、受取人ユーザにハプティックセンセーションを提供するために、リスト108のエフェクトに類似するメッセージエフェクトを選択できる。ハプティックメッセージは、音声(spoken)メッセージの発生またはコンテンツに基づいて受取人ユーザに送信されるために選択することもできる。例えば、ハプティックメッセージは、言葉が話されるたびに送信できる。(例えば、標準的な市販の音声認識ソフトウェアを使用して)音声認識がクライアントマシン上で実現されている場合、ハプティックメッセージは、実際に話されるメッセージコンテンツのソフトウェア解釈をベースにすることができる。このように、もしユーザが「あなたを大嫌いだ」と別のユーザに言うと、適切なハプティックセンセーションを提供するために、音声メッセージとともに、あるいは音声メッセージの直後に、「slap(平手打ち)」または「punch(パンチ)」メッセージを自動的に送信することができる。
ハプティックメッセージは、「一般的」である場合がある。つまりハプティック出力はユーザの好みに基づいて受信側マシンで作成でき、そこではユーザは所望のハプティックセンセーションを適切なインターフェースで受信される特定のコマンドに関連付けることができる。代わりに、ハプティックメッセージは「オーサリング」することができ、そこでは送信側ユーザが、標準化されたハプティックセンセーションを指すか、あるいはオーサリングされたハプティックセンセーションを実現するために必要なデータを提供することによって、ハプティックセンセーションがメッセージ内でどのように感じられるのかを定義する。このような一般的な、オーサリングされたインプリメンテーションは、米国特許番号第6,161,126号に説明されるようなネットワーク上で送信される一般的およびオーサリングされたフォースエフェクトに類似している。
別の実施形態では、ハプティックセンセーションは、チャットセッション中に他のクライアントマシンにより出力されるチャットメッセージとして入力、伝送されるオーディオ音声(audio speech)に基づくことができる。このような1つの実施形態では、プロセスは入信オーディオ音声データを分析し、音声データに基づいてハプティックセンセーションを命令する受信側クライアントコンピュータで実行できる。例えば、簡略な実施形態では、音声データを表す波紋は、波形の形状に基づいてハプティックセンセーションに変換でき、そこでは波形のそれぞれの(または選択された)ピークがハプティックデバイス上での脈動または衝撃の出力を引き起こすことがあり、波形での繰り返すピークが振動を引き起こすことがある。例えば、所定量の振幅でのジャンプは衝撃または脈動を生じさせることがある、あるいは衝撃の規模は波形の振幅でのジャンプに比例するなど、波形の他の特徴が他のハプティックエフェクトのために指定できる。
さらに複雑な実施形態では、受信されたメッセージの音声波形が、音声チャットメッセージの感情のコンテンツを示すことができる所定の特定の特性について分析でき、感情コンテンツに適切なハプティックセンセーションがユーザに出力できる。例えば、送信側ユーザの笑いは、高周波、高振幅発振などの送信波形の他と区別する特性を提供することがある。このような笑いが検出されると、マウスを振動または小刻みに動かすこと(あるいは他のユーザマニピュランダム)などのハプティックセンセーションが出力できる。送信側ユーザからの叫びは、低振幅から高振幅への急速な遷移として波形内に表示される可能性があり、関連付けられるハプティックセンセーションは、迅速な高周波振動または脈動である場合がある。送信側ユーザからのため息は、波形の長い低周波の低いボリュームの一貫したピッチまたは振幅を生じさせることがあり、マニピュランダムの穏やかな循環する運動またはハプティックデバイスでの低周波振動と関連付けることができる。他の感情または固有のメッセージは、受信される波形で同様に分析され、適切なハプティックセンセーションを分析に基づいて出力できる。
図4は、図3aに図示されるチャットインターフェース100に類似する、チャットインターフェースのわずかに異なる実施形態100’を描く。インターフェース100’は、エフェクトのリスト108の代わりに、複数のハプティックメッセージボタンが設けられるという点でインターフェース100と異なる。ハプティックメッセージウィスパボタン210は、ユーザリストウィンドウ106で選択される特定のユーザにハプティックメッセージと聴覚メッセージを送信するために使用される。メッセージは、ウィンドウ106で選択されたユーザだけに送信される。それぞれのボタン210は、前述されたリスト108に一覧表示されるエフェクトに類似するボタンの名前と関連付けられた特定のハプティックセンセーションを表す。ハプティックメッセージを送信するために、ユーザは、表示されるカーソルを用いて、あるいは他のなんらかの選択方法(キーボード、音声等)を使用することによってボタン210の内の1つを選択するにすぎない。このようにして、ボタン「なでる」が選択されると、関連付けられたハプティックメッセージが選択されたユーザ(複数の場合がある)に送信される。それから、選択されたユーザ(複数の場合がある)は、選択されたユーザが使用しているハプティックフィードバックインターフェースデバイスを介してハプティックメッセージを感じる。一般的なハプティックセンセーションメッセージボタン212は、ボタンラベルによって指定されるハプティックメッセージが選択されるユーザの代わりにチャットセッション内の全ユーザに送信される点を除き、ウィスパボタン210に類似している。
本発明は、複数の好ましい実施形態に関して説明されてきたが、その改変、置換及び同等物は、明細書を読み、図面を検討すれば当業者に明らかになるだろうと考えられる。例えば、ゲームプログラム、仮想現実プログラムと環境、営業会議用のテレビ電話用途、コンピュータネットワークまたは他の通信チャネルでの電話型音声通信等を含む、多くの異なるアプリケーションプログラムが、本発明のメッセージ通信機能を使用することができる。さらに、一部の専門用語は、本発明を制限するためではなく、記述の明快さの目的に使用された。
本発明の不揮発性のコンピュータ読取り可能媒体は、不揮発性のコンピュータ読取り可能媒体であって、プログラムコードを記憶し、前記プログラムコードは、第1のユーザデバイスから、1または複数のグラフィックオブジェクトを含むメッセージを受信し、前記メッセージに基づきハプティック効果を識別し、第2のユーザデバイスに、前記メッセージを表示すると同時に、前記ハプティック効果を出力し、前記第2のユーザデバイスは、二次元または三次元のグラフィカルな環境を描画するインターフェイスを含む。
本発明のデバイスは、1または複数のハプティック効果を実現するように構成されたハプティックデバイスであって、表示器と、ネットワークインターフェイスと、アクチュエータと、プロセッサと、前記プロセッサによって実行される1または複数のプログラムを記憶したメモリとを備え、前記1または複数のプログラムは、第2のユーザデバイスから1または複数のグラフィックオブジェクトを含むメッセージを受信し、前記メッセージに基づきハプティック効果を識別し、前記ハプティックデバイスに、前記メッセージを表示すると同時に前記ハプティック効果を出力し、前記ハプティックデバイスは、二次元または三次元のグラフィカルな環境を描画するインターフェイスを含む
本発明の方法は、1または複数のハプティック効果を実現する方法であって、第1のユーザデバイスから、1または複数のグラフィックオブジェクトを含むメッセージを受信し、前記メッセージに基づきハプティック効果を識別し、第2のユーザデバイスに、前記メッセージを表示すると同時に、前記ハプティック効果を出力し、前記第2のユーザデバイスは、二次元または三次元のグラフィカルな環境を描画するインターフェイスを有する、方法である。

Claims (18)

  1. 不揮発性のコンピュータ読取り可能媒体であって、プログラムコードを記憶し、前記プログラムコードは、
    第1のユーザデバイスから、1または複数のグラフィックオブジェクトを含むメッセージを受信し、
    前記メッセージに基づきハプティック効果を識別し、
    第2のユーザデバイスに、前記メッセージを表示すると同時に、前記ハプティック効果を出力し、前記第2のユーザデバイスは、二次元または三次元のグラフィカルな環境を描画するインターフェイスを含む、コンピュータ読取り可能媒体。
  2. 前記グラフィックオブジェクトは、エモティコン、アニメ映像、アニメ画像、静止グラフィック、静止画像、三次元文字、若しくはメディアデータの中から選ばれる少なくとも1つを含む、請求項1に記載のコンピュータ読取り可能媒体。
  3. 前記三次元のグラフィカルな環境は、ユーザが操縦可能である、請求項1に記載のコンピュータ読取り可能媒体。
  4. 前記メッセージはハプティック情報を含み、前記ハプティック効果を識別するプログラムコードは、前記ハプティック情報に基づいて前記ハプティック効果を生成するプログラムコードを含む、請求項1に記載のコンピュータ読取り可能媒体。
  5. 前記第2のユーザデバイスは、前記第2のユーザデバイスのためのハプティック属性指定オプションを提供する、請求項1に記載のコンピュータ読取り可能媒体。
  6. 前記メッセージを受信するプログラムコードは、無線通信網を通して前記メッセージを受信するプログラムコードを含む、請求項1に記載のコンピュータ読取り可能媒体。
  7. 1または複数のハプティック効果を実現するように構成されたハプティックデバイスであって、
    表示器と、ネットワークインターフェイスと、アクチュエータと、プロセッサと、前記プロセッサによって実行される1または複数のプログラムを記憶したメモリとを備え、
    前記1または複数のプログラムは、第2のユーザデバイスから1または複数のグラフィックオブジェクトを含むメッセージを受信し、前記メッセージに基づきハプティック効果を識別し、
    前記ハプティックデバイスに、前記メッセージを表示すると同時に前記ハプティック効果を出力し、前記ハプティックデバイスは、二次元または三次元のグラフィカルな環境を描画するインターフェイスを含む、ハプティックデバイス。
  8. 前記グラフィックオブジェクトは、エモティコン、アニメ映像、アニメ画像、静止グラフィック、静止画像、三次元文字、若しくはメディアデータの中から選ばれる少なくとも1つを含む、請求項7に記載のハプティックデバイス。
  9. 前記三次元のグラフィカルな環境は、ユーザが操縦可能である、請求項7に記載のハプティックデバイス。
  10. 前記メッセージはハプティック情報を含み、前記ハプティック効果を識別するプログラムコードは、前記ハプティック情報に基づいて前記ハプティック効果を生成するプログラムコードを含む、請求項7に記載のハプティックデバイス。
  11. 前記ハプティックデバイスは、前記ハプティックデバイスのためのハプティック属性指定オプションを提供する、請求項7に記載のハプティックデバイス。
  12. 前記メッセージを受信するプログラムコードは、無線通信網を通して前記メッセージを受信するプログラムコードを含む、請求項7に記載のハプティックデバイス。
  13. 1または複数のハプティック効果を実現する方法であって、
    第1のユーザデバイスから、1または複数のグラフィックオブジェクトを含むメッセージを受信し、
    前記メッセージに基づきハプティック効果を識別し、
    第2のユーザデバイスに、前記メッセージを表示すると同時に、前記ハプティック効果を出力し、前記第2のユーザデバイスは、二次元または三次元のグラフィカルな環境を描画するインターフェイスを有する、方法。
  14. 前記グラフィックオブジェクトは、エモティコン、アニメ映像、アニメ画像、静止グラフィック、静止画像、三次元文字、若しくはメディアデータの中から選ばれる少なくとも1つを含む、請求項13に記載の方法。
  15. 前記三次元のグラフィカルな環境は、ユーザが操縦可能である、請求項13に記載の方法。
  16. 前記メッセージはハプティック情報を含み、前記ハプティック効果を識別するステップは、前記ハプティック情報に基づいて前記ハプティック効果を生成するプログラムコードを使用する、請求項13に記載の方法。
  17. 前記第2のユーザデバイスは、前記第2のユーザデバイスのためのハプティック属性指定オプションを提供する、請求項13に記載の方法。
  18. 前記メッセージは、無線通信網を通して受信される、請求項13に記載の方法。
JP2018001319A 2000-06-30 2018-01-09 ハプティックフィードバック機能性を備えたチャットインターフェース Pending JP2018049669A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/608,129 2000-06-30
US09/608,129 US7159008B1 (en) 2000-06-30 2000-06-30 Chat interface with haptic feedback functionality

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016176823A Division JP6552114B2 (ja) 2000-06-30 2016-09-09 ハプティックフィードバック機能性を備えたチャットインターフェース

Publications (1)

Publication Number Publication Date
JP2018049669A true JP2018049669A (ja) 2018-03-29

Family

ID=24435161

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2002508173A Pending JP2004503004A (ja) 2000-06-30 2001-06-20 ハプティックフィードバック機能性を備えたチャットインターフェース
JP2010260419A Expired - Fee Related JP5543902B2 (ja) 2000-06-30 2010-11-22 ハプティックフィードバック機能を備えたインターフース
JP2012103375A Expired - Fee Related JP5828801B2 (ja) 2000-06-30 2012-04-27 ハプティックフィードバック機能性を備えたチャットインターフェース
JP2014012553A Expired - Fee Related JP6161549B2 (ja) 2000-06-30 2014-01-27 ハプティックフィードバック機能性を備えたチャットインターフェース
JP2016176823A Expired - Lifetime JP6552114B2 (ja) 2000-06-30 2016-09-09 ハプティックフィードバック機能性を備えたチャットインターフェース
JP2018001319A Pending JP2018049669A (ja) 2000-06-30 2018-01-09 ハプティックフィードバック機能性を備えたチャットインターフェース

Family Applications Before (5)

Application Number Title Priority Date Filing Date
JP2002508173A Pending JP2004503004A (ja) 2000-06-30 2001-06-20 ハプティックフィードバック機能性を備えたチャットインターフェース
JP2010260419A Expired - Fee Related JP5543902B2 (ja) 2000-06-30 2010-11-22 ハプティックフィードバック機能を備えたインターフース
JP2012103375A Expired - Fee Related JP5828801B2 (ja) 2000-06-30 2012-04-27 ハプティックフィードバック機能性を備えたチャットインターフェース
JP2014012553A Expired - Fee Related JP6161549B2 (ja) 2000-06-30 2014-01-27 ハプティックフィードバック機能性を備えたチャットインターフェース
JP2016176823A Expired - Lifetime JP6552114B2 (ja) 2000-06-30 2016-09-09 ハプティックフィードバック機能性を備えたチャットインターフェース

Country Status (6)

Country Link
US (3) US7159008B1 (ja)
EP (2) EP2372496A3 (ja)
JP (6) JP2004503004A (ja)
CN (2) CN1434947A (ja)
AU (1) AU2001277256A1 (ja)
WO (1) WO2002003172A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210105267A (ko) * 2020-02-18 2021-08-26 일렉트로닉 아트 아이엔씨. 게임 애플리케이션의 사용자 인터페이스 요소를 햅틱 피드백으로 트랜스크라이빙하기 위한 시스템 및 방법
JP7062248B1 (ja) 2021-12-17 2022-05-06 17Live株式会社 コンピュータプログラム、端末及び方法

Families Citing this family (195)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US8707185B2 (en) * 2000-10-10 2014-04-22 Addnclick, Inc. Dynamic information management system and method for content delivery and sharing in content-, metadata- and viewer-based, live social networking among users concurrently engaged in the same and/or similar content
US6963839B1 (en) * 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US20080040227A1 (en) * 2000-11-03 2008-02-14 At&T Corp. System and method of marketing using a multi-media communication system
US6990452B1 (en) 2000-11-03 2006-01-24 At&T Corp. Method for sending multi-media messages using emoticons
US7203648B1 (en) 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
US6976082B1 (en) 2000-11-03 2005-12-13 At&T Corp. System and method for receiving multi-media messages
US7091976B1 (en) * 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
US7133900B1 (en) * 2001-07-06 2006-11-07 Yahoo! Inc. Sharing and implementing instant messaging environments
FR2831428B1 (fr) * 2001-10-26 2004-09-03 Univ Compiegne Tech Procede permettant a au moins un utilisateur, notamment un utilisateur aveugle, de percevoir une forme et dispositif pour la mise en oeuvre du procede
US7671861B1 (en) 2001-11-02 2010-03-02 At&T Intellectual Property Ii, L.P. Apparatus and method of customizing animated entities for use in a multi-media communication application
JP3733075B2 (ja) * 2002-02-07 2006-01-11 株式会社国際電気通信基礎技術研究所 インタラクション・メディアシステム
US9849372B2 (en) 2012-09-28 2017-12-26 Sony Interactive Entertainment Inc. Method and apparatus for improving efficiency without increasing latency in emulation of a legacy application title
US20030237093A1 (en) * 2002-06-19 2003-12-25 Marsh David J. Electronic program guide systems and methods for handling multiple users
US7275215B2 (en) 2002-07-29 2007-09-25 Cerulean Studios, Llc System and method for managing contacts in an instant messaging environment
WO2004012074A2 (en) * 2002-07-29 2004-02-05 Cerulean Studios, Llc Apparatus and method for generating audio and graphical animations in an instant messaging environment
US20040024822A1 (en) * 2002-08-01 2004-02-05 Werndorfer Scott M. Apparatus and method for generating audio and graphical animations in an instant messaging environment
AU2002950502A0 (en) * 2002-07-31 2002-09-12 E-Clips Intelligent Agent Technologies Pty Ltd Animated messaging
US7234117B2 (en) * 2002-08-28 2007-06-19 Microsoft Corporation System and method for shared integrated online social interaction
US7636755B2 (en) * 2002-11-21 2009-12-22 Aol Llc Multiple avatar personalities
US8037150B2 (en) 2002-11-21 2011-10-11 Aol Inc. System and methods for providing multiple personas in a communications environment
US7779166B2 (en) 2002-12-08 2010-08-17 Immersion Corporation Using haptic effects to enhance information content in communications
AU2003296334A1 (en) * 2002-12-08 2004-06-30 Immersion Corporation Haptic communication devices
US20060136630A1 (en) * 2002-12-08 2006-06-22 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7908554B1 (en) 2003-03-03 2011-03-15 Aol Inc. Modifying avatar behavior based on user action or mood
US20070113181A1 (en) * 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US7913176B1 (en) * 2003-03-03 2011-03-22 Aol Inc. Applying access controls to communications with avatars
US20070168863A1 (en) * 2003-03-03 2007-07-19 Aol Llc Interacting avatars in an instant messaging communication session
US20040179037A1 (en) * 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate context out-of-band
GB0307399D0 (en) * 2003-03-31 2003-05-07 British Telecomm Sensory output devices
US7363342B1 (en) * 2003-07-08 2008-04-22 Microsoft Corporation Method and apparatus for providing web services in a collaborative computing system
US8589517B2 (en) * 2003-11-04 2013-11-19 Verizon Business Global Llc Systems and methods for providing self-compiling, peer-to-peer on-line gaming
US8261208B2 (en) * 2003-11-25 2012-09-04 Looptv Method and system speeding up data input to a communication system
US8874644B2 (en) 2003-12-03 2014-10-28 International Business Machines Corporation Method, system, chat interface, and computer program product for comparing free time between instant message chat members
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7752270B2 (en) * 2004-01-21 2010-07-06 At&T Mobility Ii Llc Linking sounds and emoticons
US20050235032A1 (en) * 2004-04-15 2005-10-20 Mason Wallace R Iii System and method for haptic based conferencing
US20060015560A1 (en) * 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
US20060020967A1 (en) * 2004-07-26 2006-01-26 International Business Machines Corporation Dynamic selection and interposition of multimedia files in real-time communications
KR20060047890A (ko) 2004-10-01 2006-05-18 삼성전자주식회사 휴대단말기의 이벤트 표시 장치 및 방법
WO2006038779A1 (en) * 2004-10-01 2006-04-13 Samsung Electronics Co., Ltd. Device and method for displaying event in wireless terminal
US10171386B1 (en) * 2004-10-06 2019-01-01 Oracle International Corporation Methods and systems for storing instant messaging messages
US20060085515A1 (en) * 2004-10-14 2006-04-20 Kevin Kurtz Advanced text analysis and supplemental content processing in an instant messaging environment
US9652809B1 (en) 2004-12-21 2017-05-16 Aol Inc. Using user profile information to determine an avatar and/or avatar characteristics
US7707262B1 (en) * 2004-12-28 2010-04-27 Aol Llc Negotiating content controls
GB2422454A (en) * 2005-01-22 2006-07-26 Siemens Plc A system for communicating user emotion
US7599719B2 (en) * 2005-02-14 2009-10-06 John D. Patton Telephone and telephone accessory signal generator and methods and devices using the same
WO2007030603A2 (en) * 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
US8210942B2 (en) * 2006-03-31 2012-07-03 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US20080036794A1 (en) * 2006-08-11 2008-02-14 Guy Weiser System and method for personalized scrolling banner
US8157650B2 (en) * 2006-09-13 2012-04-17 Immersion Corporation Systems and methods for casino gaming haptics
TWI319625B (en) * 2006-11-30 2010-01-11 Tpo Displays Corp Image display system and manufacturing method of multi-gates thin film transistor
CN100444087C (zh) * 2007-01-19 2008-12-17 姜志熹 一种基于力感的示屏信息显示方法
KR101437159B1 (ko) * 2007-03-02 2014-09-11 엘지전자 주식회사 사용자 동작 전달 방법 및 단말기
US8933891B2 (en) * 2007-03-02 2015-01-13 Lg Electronics Inc. Terminal and method of controlling terminal
KR100860547B1 (ko) * 2007-03-02 2008-09-26 광주과학기술원 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US20090037826A1 (en) * 2007-07-31 2009-02-05 Christopher Lee Bennetts Video conferencing system
US20090037827A1 (en) * 2007-07-31 2009-02-05 Christopher Lee Bennetts Video conferencing system and method
US20090037530A1 (en) * 2007-07-31 2009-02-05 Christopher Lee Bennetts Media broadcasting system
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US8570295B2 (en) 2008-01-04 2013-10-29 Tactus Technology, Inc. User interface system
US8154527B2 (en) 2008-01-04 2012-04-10 Tactus Technology User interface system
US8179375B2 (en) * 2008-01-04 2012-05-15 Tactus Technology User interface system and method
US9552065B2 (en) 2008-01-04 2017-01-24 Tactus Technology, Inc. Dynamic tactile interface
US9063627B2 (en) 2008-01-04 2015-06-23 Tactus Technology, Inc. User interface and methods
US9588683B2 (en) 2008-01-04 2017-03-07 Tactus Technology, Inc. Dynamic tactile interface
US8456438B2 (en) 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US8547339B2 (en) 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US9612659B2 (en) 2008-01-04 2017-04-04 Tactus Technology, Inc. User interface system
US9298261B2 (en) 2008-01-04 2016-03-29 Tactus Technology, Inc. Method for actuating a tactile interface layer
US9372565B2 (en) 2008-01-04 2016-06-21 Tactus Technology, Inc. Dynamic tactile interface
US8553005B2 (en) 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US9720501B2 (en) 2008-01-04 2017-08-01 Tactus Technology, Inc. Dynamic tactile interface
US8243038B2 (en) 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US20160187981A1 (en) 2008-01-04 2016-06-30 Tactus Technology, Inc. Manual fluid actuator
US8199124B2 (en) 2009-01-05 2012-06-12 Tactus Technology User interface system
US9557915B2 (en) 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US8922510B2 (en) 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US9052790B2 (en) 2008-01-04 2015-06-09 Tactus Technology, Inc. User interface and methods
US8587541B2 (en) 2010-04-19 2013-11-19 Tactus Technology, Inc. Method for actuating a tactile interface layer
US8947383B2 (en) 2008-01-04 2015-02-03 Tactus Technology, Inc. User interface system and method
US9128525B2 (en) 2008-01-04 2015-09-08 Tactus Technology, Inc. Dynamic tactile interface
US9274612B2 (en) 2008-01-04 2016-03-01 Tactus Technology, Inc. User interface system
US8922502B2 (en) 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US9423875B2 (en) 2008-01-04 2016-08-23 Tactus Technology, Inc. Dynamic tactile interface with exhibiting optical dispersion characteristics
US20090210476A1 (en) * 2008-02-19 2009-08-20 Joseph Arie Levy System and method for providing tangible feedback according to a context and personality state
US8180296B2 (en) * 2008-04-29 2012-05-15 Immersion Corporation Providing haptic effects to users in a short range wireless system
KR101474963B1 (ko) * 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US20100005402A1 (en) * 2008-07-01 2010-01-07 International Business Machines Corporation System and Apparatus for Whispering in Group Chats
EP2327201B1 (en) 2008-07-15 2018-09-05 Immersion Corporation Systems and methods for transmitting haptic messages
US8832201B2 (en) * 2008-08-18 2014-09-09 International Business Machines Corporation Method, system and program product for providing selective enhanced privacy and control features to one or more portions of an electronic message
KR101564314B1 (ko) * 2008-10-06 2015-11-02 삼성전자주식회사 텍스트 입력방법 및 이를 적용한 디스플레이 장치
US8004391B2 (en) * 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
US8458601B2 (en) 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US20100152620A1 (en) * 2008-12-12 2010-06-17 Immersion Corporation Method and Apparatus for Providing A Haptic Monitoring System Using Multiple Sensors
US9727139B2 (en) 2008-12-12 2017-08-08 Immersion Corporation Method and apparatus for providing a haptic monitoring system using multiple sensors
WO2010078597A1 (en) 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
US9588684B2 (en) 2009-01-05 2017-03-07 Tactus Technology, Inc. Tactile interface for a computing device
US8365081B1 (en) * 2009-05-28 2013-01-29 Amazon Technologies, Inc. Embedding metadata within content
US20110004692A1 (en) 2009-07-01 2011-01-06 Tom Occhino Gathering Information about Connections in a Social Networking Service
EP2449452B1 (en) 2009-07-03 2016-02-10 Tactus Technology User interface enhancement system
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
CN102782617B (zh) 2009-12-21 2015-10-07 泰克图斯科技公司 用户接口系统
US9239623B2 (en) 2010-01-05 2016-01-19 Tactus Technology, Inc. Dynamic tactile interface
US8681951B1 (en) 2010-02-03 2014-03-25 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8625756B1 (en) 2010-02-03 2014-01-07 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8879698B1 (en) 2010-02-03 2014-11-04 Tal Lavian Device and method for providing enhanced telephony
US9001819B1 (en) 2010-02-18 2015-04-07 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8572303B2 (en) 2010-02-03 2013-10-29 Tal Lavian Portable universal communication device
US8553859B1 (en) 2010-02-03 2013-10-08 Tal Lavian Device and method for providing enhanced telephony
US8406388B2 (en) 2011-07-18 2013-03-26 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8903073B2 (en) 2011-07-20 2014-12-02 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8594280B1 (en) 2010-02-03 2013-11-26 Zvi Or-Bach Systems and methods for visual presentation and selection of IVR menu
US8548135B1 (en) 2010-02-03 2013-10-01 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8687777B1 (en) 2010-02-03 2014-04-01 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8537989B1 (en) 2010-02-03 2013-09-17 Tal Lavian Device and method for providing enhanced telephony
US8548131B1 (en) 2010-02-03 2013-10-01 Tal Lavian Systems and methods for communicating with an interactive voice response system
US8619035B2 (en) 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
WO2011112984A1 (en) 2010-03-11 2011-09-15 Tactus Technology User interface system
KR20130136905A (ko) 2010-04-19 2013-12-13 택투스 테크놀로지, 아이엔씨. 사용자 인터페이스 시스템
CN102906667B (zh) 2010-04-23 2016-11-23 意美森公司 用于提供触觉效果的系统和方法
US9715275B2 (en) * 2010-04-26 2017-07-25 Nokia Technologies Oy Apparatus, method, computer program and user interface
KR101668118B1 (ko) * 2010-07-23 2016-10-21 삼성전자주식회사 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법
US8554253B2 (en) 2010-08-26 2013-10-08 John L. Rogitz Telephone messaging privacy
KR20140043697A (ko) 2010-10-20 2014-04-10 택투스 테크놀로지, 아이엔씨. 사용자 인터페이스 시스템 및 방법
WO2012054780A1 (en) 2010-10-20 2012-04-26 Tactus Technology User interface system
US9380145B2 (en) 2010-11-05 2016-06-28 Qualcomm Incorporated Dynamic tapping force feedback for mobile devices
US8215995B1 (en) * 2011-01-06 2012-07-10 Hon Hai Precision Ind. Co., Ltd. Connector attached to a bracket and mounted in a cutout in a substrate
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
US9142083B2 (en) 2011-06-13 2015-09-22 Bally Gaming, Inc. Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair
US9773391B1 (en) * 2011-08-18 2017-09-26 Fauxsee Innovations, Llc Object detection device
US9762719B2 (en) * 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
US20130227409A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Integrating sensation functionalities into social networking services and applications
US20130227411A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Sensation enhanced messaging
US8867708B1 (en) 2012-03-02 2014-10-21 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8731148B1 (en) 2012-03-02 2014-05-20 Tal Lavian Systems and methods for visual presentation and selection of IVR menu
US8767945B2 (en) * 2012-03-26 2014-07-01 Avaya Inc. IM to phone escalation for customer support
US9891709B2 (en) * 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
CN103516867B (zh) * 2012-06-20 2019-01-22 腾讯科技(深圳)有限公司 移动设备通话方法、装置和通话系统
US9248374B2 (en) 2012-06-29 2016-02-02 Sony Computer Entertainment Inc. Replay and resumption of suspended game
US9925468B2 (en) 2012-06-29 2018-03-27 Sony Interactive Entertainment Inc. Suspending state of cloud-based legacy applications
US9694276B2 (en) 2012-06-29 2017-07-04 Sony Interactive Entertainment Inc. Pre-loading translated code in cloud based emulated applications
US9656163B2 (en) 2012-06-29 2017-05-23 Sony Interactive Entertainment Inc. Haptic enhancements for emulated video game not originally designed with haptic capabilities
US9717989B2 (en) 2012-06-29 2017-08-01 Sony Interactive Entertainment Inc. Adding triggers to cloud-based emulated games
US9245428B2 (en) 2012-08-02 2016-01-26 Immersion Corporation Systems and methods for haptic remote control gaming
US10406429B2 (en) 2012-08-29 2019-09-10 Sony Interactive Entertainment, LLC User-based mini-game generation and distribution
JP6071372B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
CN104662497A (zh) 2012-09-24 2015-05-27 泰克图斯科技公司 动态触觉界面和方法
US9405417B2 (en) 2012-09-24 2016-08-02 Tactus Technology, Inc. Dynamic tactile interface and methods
WO2014049392A1 (en) * 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
US20140092087A1 (en) 2012-09-28 2014-04-03 Takayuki Kazama Adaptive load balancing in software emulation of gpu hardware
US11013993B2 (en) 2012-09-28 2021-05-25 Sony Interactive Entertainment Inc. Pre-loading translated code in cloud based emulated applications
US9707476B2 (en) 2012-09-28 2017-07-18 Sony Interactive Entertainment Inc. Method for creating a mini-game
US10410180B2 (en) * 2012-11-19 2019-09-10 Oath Inc. System and method for touch-based communications
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9258012B2 (en) 2013-03-15 2016-02-09 Sony Computer Entertainment Inc. Compression of state information for data transfer over cloud-based networks
US8918339B2 (en) 2013-03-15 2014-12-23 Facebook, Inc. Associating an indication of user emotional reaction with content items presented by a social networking system
US9672647B2 (en) * 2013-05-23 2017-06-06 Adobe Systems Incorporated Image effect extraction
US9557813B2 (en) 2013-06-28 2017-01-31 Tactus Technology, Inc. Method for reducing perceived optical distortion
CN103369477B (zh) * 2013-07-02 2016-12-07 华为技术有限公司 显示媒体信息方法、装置、客户端,图形控件显示方法和装置
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9542801B1 (en) 2014-04-28 2017-01-10 Bally Gaming, Inc. Wearable wagering game system and methods
WO2016043570A1 (ko) * 2014-09-19 2016-03-24 삼성전자 주식회사 단말장치, 단말장치의 구동방법 및 컴퓨터 판독가능 기록매체
US9858751B2 (en) 2014-09-26 2018-01-02 Bally Gaming, Inc. Wagering game wearables
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
CA2918806A1 (en) * 2015-01-22 2016-07-22 Gubagoo Inc. Systems and methods for call backup and takeover using web and mobile interfaces
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
KR20160105321A (ko) * 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
KR20180004218A (ko) * 2015-05-06 2018-01-10 스냅 인코포레이티드 단기 그룹 채팅을 위한 시스템 및 방법
KR20160139132A (ko) * 2015-05-26 2016-12-07 삼성전자주식회사 전자 장치 및 전자 장치에서의 상황 기반의 정보 처리 방법
GB2543358A (en) * 2015-10-16 2017-04-19 Sony Computer Entertainment Inc Input device and method, entertainment system and control method
CN108353096B (zh) * 2015-11-13 2021-03-12 索尼公司 通信系统和存储介质
US10200332B2 (en) * 2015-12-14 2019-02-05 Immersion Corporation Delivery of haptics to select recipients of a message
KR101928550B1 (ko) * 2016-04-21 2018-12-12 주식회사 씨케이머티리얼즈랩 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치
CN111176509B (zh) 2016-05-18 2022-01-25 苹果公司 在图形消息传送用户界面中应用确认选项
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10368208B2 (en) 2016-06-12 2019-07-30 Apple Inc. Layers in messaging applications
KR101913616B1 (ko) * 2016-12-27 2018-10-31 주식회사 카카오 비밀 메시지를 위한 인스턴트 메시지 서비스 방법 및 상기 방법을 수행하는 사용자 단말
US10572016B2 (en) 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
CN112925418A (zh) * 2018-08-02 2021-06-08 创新先进技术有限公司 一种人机交互方法和装置
CN109542624B (zh) * 2018-11-23 2021-09-28 中国农业银行股份有限公司 一种应用变更的资源调配方法及装置
US10834543B2 (en) * 2018-11-26 2020-11-10 International Business Machines Corporation Creating a social group with mobile phone vibration
FR3100353B1 (fr) * 2019-09-03 2022-01-07 Hap2U Procédé et dispositif pour la réalisation d’un effet de clic-bouton sur une interface haptique

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135384A (ja) * 1998-10-30 2000-05-16 Fujitsu Ltd 情報処理装置及び擬似生物機器
JP2001265703A (ja) * 1999-12-10 2001-09-28 Sega Corp 電子文書送受信システム
JP2004503004A (ja) * 2000-06-30 2004-01-29 イマージョン コーポレーション ハプティックフィードバック機能性を備えたチャットインターフェース

Family Cites Families (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3157853A (en) 1957-12-06 1964-11-17 Hirsch Joseph Tactile communication system
GB958325A (en) 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
US3497668A (en) 1966-08-25 1970-02-24 Joseph Hirsch Tactile control system
US3517446A (en) 1967-04-19 1970-06-30 Singer General Precision Vehicle trainer controls and control loading
US3903614A (en) 1970-03-27 1975-09-09 Singer Co Apparatus for simulating aircraft control loading
US3902687A (en) 1973-06-25 1975-09-02 Robert E Hightower Aircraft indicator system
US4160508A (en) 1977-08-19 1979-07-10 Nasa Controller arm for a remotely related slave arm
US4236325A (en) 1978-12-26 1980-12-02 The Singer Company Simulator control loading inertia compensator
US4599070A (en) 1981-07-29 1986-07-08 Control Interface Company Limited Aircraft simulator and simulated control system therefor
EP0085518B1 (en) 1982-01-22 1989-08-16 British Aerospace Public Limited Company Control apparatus
US4581491A (en) 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US5078152A (en) 1985-06-23 1992-01-07 Loredan Biomedical, Inc. Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient
US4713007A (en) 1985-10-11 1987-12-15 Alban Eugene P Aircraft controls simulator
US5275174B1 (en) 1985-10-30 1998-08-04 Jonathan A Cook Repetitive strain injury assessment
NL8503096A (nl) 1985-11-11 1987-06-01 Fokker Bv Simulator van mechanische eigenschappen van een besturingssysteem.
US4891764A (en) 1985-12-06 1990-01-02 Tensor Development Inc. Program controlled force measurement and control system
US4934694A (en) 1985-12-06 1990-06-19 Mcintosh James L Computer controlled exercise system
JPH048381Y2 (ja) 1986-07-10 1992-03-03
JPS643664A (en) 1987-06-26 1989-01-09 Hitachi Ltd Laser beam marking device
US4938483A (en) * 1987-11-04 1990-07-03 M. H. Segan & Company, Inc. Multi-vehicle interactive toy system
GB8801951D0 (en) 1988-01-29 1988-02-24 British Aerospace Control apparatus
US5038089A (en) 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
NL8801653A (nl) 1988-06-29 1990-01-16 Stork Kwant Bv Besturingsstelsel.
US5208745A (en) * 1988-07-25 1993-05-04 Electric Power Research Institute Multimedia interface and method for computer system
JP2926721B2 (ja) 1988-10-20 1999-07-28 スズキ株式会社 スタビライザ取付構造
US4930770A (en) 1988-12-01 1990-06-05 Baker Norman A Eccentrically loaded computerized positive/negative exercise machine
JPH02185278A (ja) 1989-01-12 1990-07-19 Taito Corp 光線銃射撃ゲーム装置
US5186695A (en) 1989-02-03 1993-02-16 Loredan Biomedical, Inc. Apparatus for controlled exercise and diagnosis of human performance
US5019761A (en) 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
GB8913323D0 (en) 1989-06-09 1989-07-26 Celco Ltd Controlling operations
DE68926345T2 (de) 1989-08-03 1996-11-07 Ibm Datenverarbeitungsnetzwerk
JPH0724147Y2 (ja) 1989-12-28 1995-06-05 株式会社平和 パチンコ機の飛距離調整装置
US5022407A (en) 1990-01-24 1991-06-11 Topical Testing, Inc. Apparatus for automated tactile testing
US5035242A (en) 1990-04-16 1991-07-30 David Franklin Method and apparatus for sound responsive tactile stimulation of deaf individuals
JPH047371A (ja) 1990-04-25 1992-01-10 Canon Inc 画像記録用インク
US5547382A (en) 1990-06-28 1996-08-20 Honda Giken Kogyo Kabushiki Kaisha Riding simulation system for motorcycles
US5212473A (en) 1991-02-21 1993-05-18 Typeright Keyboard Corp. Membrane keyboard and method of using same
US5334027A (en) 1991-02-25 1994-08-02 Terry Wherlock Big game fish training and exercise device and method
US5240417A (en) 1991-03-14 1993-08-31 Atari Games Corporation System and method for bicycle riding simulation
ATE140331T1 (de) 1991-03-21 1996-07-15 Atari Games Corp Fahrtsimulator mit überkreuzter netzwerkrückkoppelung
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5271290A (en) 1991-10-29 1993-12-21 United Kingdom Atomic Energy Authority Actuator assembly
US5309140A (en) 1991-11-26 1994-05-03 The United States Of America As Represented By The Secretary Of The Navy Feedback system for remotely operated vehicles
JPH05192449A (ja) 1992-01-20 1993-08-03 Taito Corp ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法
JP2812598B2 (ja) 1992-01-21 1998-10-22 株式会社日立ビルシステム 昇降路内機器揚重装置
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5785630A (en) 1993-02-02 1998-07-28 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
WO1994025913A2 (en) 1993-04-30 1994-11-10 Novadigm, Inc. Method and apparatus for enterprise desktop management
JP3686686B2 (ja) 1993-05-11 2005-08-24 松下電器産業株式会社 力覚呈示デバイス、データ入力装置、及びデータ入力デバイス装置
US5466213A (en) 1993-07-06 1995-11-14 Massachusetts Institute Of Technology Interactive robotic therapist
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US5739811A (en) 1993-07-16 1998-04-14 Immersion Human Interface Corporation Method and apparatus for controlling human-computer interface systems providing force feedback
SE501867C2 (sv) 1993-11-15 1995-06-12 Asea Brown Boveri Förfarande och system för kalibrering av en industrirobot utnyttjande en sfärisk kalibreringskropp
US6047356A (en) * 1994-04-18 2000-04-04 Sonic Solutions Method of dynamically allocating network node memory's partitions for caching distributed files
US6160489A (en) 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
WO1996007965A2 (en) 1994-09-07 1996-03-14 Philips Electronics N.V. Virtual workspace with user-programmable tactile feedback
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5766016A (en) 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
US6339754B1 (en) * 1995-02-14 2002-01-15 America Online, Inc. System for automated translation of speech
US6166723A (en) 1995-11-17 2000-12-26 Immersion Corporation Mouse interface device providing force feedback
US5933599A (en) * 1995-07-17 1999-08-03 Microsoft Corporation Apparatus for presenting the content of an interactive on-line network
US5818836A (en) * 1995-08-09 1998-10-06 Duval; Stephen C. Method and apparatus for anonymous voice communication using an online data service
US6108704A (en) * 1995-09-25 2000-08-22 Netspeak Corporation Point-to-point internet protocol
US5999168A (en) * 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
US5719561A (en) * 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
JPH09138767A (ja) * 1995-11-14 1997-05-27 Fujitsu Ten Ltd 感情表現の通信装置
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6169540B1 (en) 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6859819B1 (en) * 1995-12-13 2005-02-22 Immersion Corporation Force feedback enabled over a computer network
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US5695400A (en) * 1996-01-30 1997-12-09 Boxer Jam Productions Method of managing multi-player game playing over a network
US5721763A (en) * 1996-01-31 1998-02-24 At&T Corp Method for providing information during a chat session
WO1997035280A2 (en) * 1996-03-15 1997-09-25 Zapa Digital Arts Ltd. System for producing animation sequence according to character behaviour characteristics
US6111577A (en) * 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US5943648A (en) * 1996-04-25 1999-08-24 Lernout & Hauspie Speech Products N.V. Speech signal distribution system providing supplemental parameter associated data
US5987503A (en) * 1996-06-28 1999-11-16 Fujitsu Limited System and method for displaying an electronic mail containing a keyword detected in a chat session message
CA2261933A1 (en) * 1996-07-25 1998-02-05 Hybrid Networks, Inc. Two-way asymmetric communication system
US5907677A (en) * 1996-08-23 1999-05-25 Ecall Inc. Method for establishing anonymous communication links
US6862625B1 (en) * 1996-09-27 2005-03-01 Avaya Technology Corp. Method and apparatus for real time network communication
US5764916A (en) * 1996-09-27 1998-06-09 Ichat, Inc. Method and apparatus for real time communication over a computer network
US5884029A (en) * 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
US5963217A (en) * 1996-11-18 1999-10-05 7Thstreet.Com, Inc. Network conference system using limited bandwidth to generate locally animated displays
US20010044725A1 (en) * 1996-11-19 2001-11-22 Koichi Matsuda Information processing apparatus, an information processing method, and a medium for use in a three-dimensional virtual reality space sharing system
TW359054B (en) * 1996-12-20 1999-05-21 Sony Corp Method and apparatus for automatic sending of e-mail and automatic sending control program supplying medium
TW391092B (en) * 1996-12-27 2000-05-21 Hitachi Ltd Cellular mobile telephone apparatus and method for transmitting a response message to an caller
JP3557062B2 (ja) * 1997-01-10 2004-08-25 日本電信電話株式会社 低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法
DE19809231A1 (de) * 1997-03-04 1998-09-17 Talkway Inc System für verbesserte Diskussionstechnologien
JPH1146230A (ja) 1997-03-20 1999-02-16 Northern Telecom Ltd 個人用通信装置および呼出処理状態を合図する方法
KR100287137B1 (ko) 1997-04-11 2001-04-16 윤종용 휴대형 정보 단말기의 버전 관리방법
US5978467A (en) * 1997-04-11 1999-11-02 Walker Asset Management Limited Partnership Method and apparatus for enabling interaction between callers with calls positioned in a queue
US5987525A (en) * 1997-04-15 1999-11-16 Cddb, Inc. Network delivery of interactive entertainment synchronized to playback of audio recordings
US5983190A (en) * 1997-05-19 1999-11-09 Microsoft Corporation Client server animation system for managing interactive user interface characters
US6523022B1 (en) * 1997-06-09 2003-02-18 Allen Hobbs Method and apparatus for selectively augmenting retrieved information from a network resource
US6425764B1 (en) * 1997-06-09 2002-07-30 Ralph J. Lamson Virtual reality immersion therapy for treating psychological, psychiatric, medical, educational and self-help problems
US6292174B1 (en) 1997-08-23 2001-09-18 Immersion Corporation Enhanced cursor control using limited-workspace force feedback devices
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US5973678A (en) 1997-08-29 1999-10-26 Ford Global Technologies, Inc. Method and system for manipulating a three-dimensional object utilizing a force feedback interface
US6175954B1 (en) * 1997-10-30 2001-01-16 Fuji Xerox Co., Ltd. Computer programming using tangible user interface where physical icons (phicons) indicate: beginning and end of statements and program constructs; statements generated with re-programmable phicons and stored
US6281651B1 (en) * 1997-11-03 2001-08-28 Immersion Corporation Haptic pointing devices
US6211861B1 (en) 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
US6076100A (en) * 1997-11-17 2000-06-13 Microsoft Corporation Server-side chat monitor
AU2297799A (en) 1998-02-03 1999-08-23 Invibro Ltd. System and method for vibro generations
US6396509B1 (en) * 1998-02-21 2002-05-28 Koninklijke Philips Electronics N.V. Attention-based interaction in a virtual environment
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6349301B1 (en) * 1998-02-24 2002-02-19 Microsoft Corporation Virtual environment bystander updating in client server architecture
US6166732A (en) * 1998-02-24 2000-12-26 Microsoft Corporation Distributed object oriented multi-user domain with multimedia presentations
US6393461B1 (en) * 1998-02-27 2002-05-21 Fujitsu Limited Communication management system for a chat system
JPH11288421A (ja) * 1998-04-03 1999-10-19 Fujitsu Ltd サービス提供装置、サービス受信装置、サービス提供ホスト、選択サービス受信プログラムを記録したコンピュータ読み取り可能な記録媒体、選択サービス送信プログラムを記録したコンピュータ読み取り可能な記録媒体、サービス受信装置におけるサービス選択方法及びサービス提供ホストにおける選択サービスの送信方法
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6563487B2 (en) * 1998-06-23 2003-05-13 Immersion Corporation Haptic feedback for directional control pads
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
JP2002522998A (ja) 1998-08-17 2002-07-23 ネット トーク、インク. インターネットおよびイントラネットを含むローカルおよびグローバルネットワークによるオーディオ会議用のコンピューター・アーキテクチャーおよびプロセス
JP2000115153A (ja) * 1998-09-30 2000-04-21 Fujitsu Ltd セキュリティ方法及びセキュリティ装置
JP3644579B2 (ja) * 1998-10-29 2005-04-27 富士通株式会社 セキュリティ強化方法及び装置
JP2000163337A (ja) * 1998-11-27 2000-06-16 Kyocera Corp 電子メール伝達方式
US6256663B1 (en) * 1999-01-22 2001-07-03 Greenfield Online, Inc. System and method for conducting focus groups using remotely loaded participants over a computer network
US6677858B1 (en) * 1999-02-26 2004-01-13 Reveo, Inc. Internet-based method of and system for monitoring space-time coordinate information and biophysiological state information collected from an animate object along a course through the space-time continuum
JP3644580B2 (ja) * 1999-03-19 2005-04-27 富士通株式会社 表示制御方法及び装置
US7084867B1 (en) * 1999-04-02 2006-08-01 Massachusetts Institute Of Technology Haptic interface system for collision detection and applications therefore
US6563503B1 (en) * 1999-05-07 2003-05-13 Nintendo Co., Ltd. Object modeling for computer simulation and animation
US6763371B1 (en) * 1999-05-10 2004-07-13 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for collaborative communication in a communication network
US6442590B1 (en) * 1999-05-27 2002-08-27 Yodlee.Com, Inc. Method and apparatus for a site-sensitive interactive chat network
US6546390B1 (en) * 1999-06-11 2003-04-08 Abuzz Technologies, Inc. Method and apparatus for evaluating relevancy of messages to users
US6559845B1 (en) * 1999-06-11 2003-05-06 Pulse Entertainment Three dimensional animation system and method
US6347307B1 (en) * 1999-06-14 2002-02-12 Integral Development Corp. System and method for conducting web-based financial transactions in capital markets
JP3654797B2 (ja) * 1999-07-29 2005-06-02 富士通株式会社 伝言システム及び伝言装置
US6965868B1 (en) * 1999-08-03 2005-11-15 Michael David Bednarek System and method for promoting commerce, including sales agent assisted commerce, in a networked economy
US6496200B1 (en) * 1999-11-02 2002-12-17 Interval Research Corp. Flexible variation of haptic interface resolution
US6693626B1 (en) * 1999-12-07 2004-02-17 Immersion Corporation Haptic feedback using a keyboard device
US6755743B1 (en) * 1999-12-08 2004-06-29 Kabushiki Kaisha Sega Enterprises Communication game system and processing method thereof
US6519771B1 (en) * 1999-12-14 2003-02-11 Steven Ericsson Zenith System for interactive chat without a keyboard
KR100513417B1 (ko) * 2000-02-14 2005-09-09 모토로라 인코포레이티드 채트 메시지의 통신용 장치 및 그 방법
US7222228B1 (en) * 2000-06-14 2007-05-22 Netwolves Corporation System and method for secure management or remote systems
US20040125120A1 (en) 2001-06-08 2004-07-01 Michael Weiner Method and apparatus for interactive transmission and reception of tactile information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135384A (ja) * 1998-10-30 2000-05-16 Fujitsu Ltd 情報処理装置及び擬似生物機器
JP2001265703A (ja) * 1999-12-10 2001-09-28 Sega Corp 電子文書送受信システム
JP2004503004A (ja) * 2000-06-30 2004-01-29 イマージョン コーポレーション ハプティックフィードバック機能性を備えたチャットインターフェース

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Pメールを使う", PHS電話機 PHS−J80, JPN6019009290, 31 August 1999 (1999-08-31), JP, pages 7 - 1, ISSN: 0004151594 *
"メールをやりとりする", NTTDOCOMO デジタル・ムーバP501I HYPER 取扱説明書, JPN6019009291, 30 June 1999 (1999-06-30), JP, pages 235 - 243, ISSN: 0004151595 *
飯田 朝子: "2000年の迎え方・過ごし方", 作ろう!魅せるHOMEPAGE, JPN6019009292, 29 December 1999 (1999-12-29), JP, pages 35 - 49, ISSN: 0004151596 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210105267A (ko) * 2020-02-18 2021-08-26 일렉트로닉 아트 아이엔씨. 게임 애플리케이션의 사용자 인터페이스 요소를 햅틱 피드백으로 트랜스크라이빙하기 위한 시스템 및 방법
US11358054B2 (en) 2020-02-18 2022-06-14 Electronic Arts Inc. Systems and methods for transcribing user interface elements of a game application into haptic feedback
KR102432011B1 (ko) * 2020-02-18 2022-08-12 일렉트로닉 아트 아이엔씨. 게임 애플리케이션의 사용자 인터페이스 요소를 햅틱 피드백으로 트랜스크라이빙하기 위한 시스템 및 방법
US11786812B2 (en) 2020-02-18 2023-10-17 Electronic Arts Inc. Systems and methods for transcribing user interface elements of a game application into haptic feedback
JP7062248B1 (ja) 2021-12-17 2022-05-06 17Live株式会社 コンピュータプログラム、端末及び方法
JP2023090453A (ja) * 2021-12-17 2023-06-29 17Live株式会社 コンピュータプログラム、端末及び方法

Also Published As

Publication number Publication date
JP5543902B2 (ja) 2014-07-09
JP2011044183A (ja) 2011-03-03
JP2004503004A (ja) 2004-01-29
JP6161549B2 (ja) 2017-07-12
EP1311966A4 (en) 2009-04-15
AU2001277256A1 (en) 2002-01-14
JP6552114B2 (ja) 2019-07-31
EP1311966A2 (en) 2003-05-21
WO2002003172A2 (en) 2002-01-10
EP1311966B1 (en) 2012-11-28
EP2372496A3 (en) 2017-09-13
JP5828801B2 (ja) 2015-12-09
CN101303622B (zh) 2011-08-24
US7159008B1 (en) 2007-01-02
JP2016219058A (ja) 2016-12-22
JP2012178171A (ja) 2012-09-13
USRE45884E1 (en) 2016-02-09
CN101303622A (zh) 2008-11-12
US7493365B2 (en) 2009-02-17
EP2372496A2 (en) 2011-10-05
JP2014112411A (ja) 2014-06-19
US20070033259A1 (en) 2007-02-08
CN1434947A (zh) 2003-08-06
WO2002003172A3 (en) 2002-06-27

Similar Documents

Publication Publication Date Title
JP6552114B2 (ja) ハプティックフィードバック機能性を備えたチャットインターフェース
Rovers et al. HIM: A framework for haptic instant messaging
EP1451672B1 (en) Rich communication over internet
US6859819B1 (en) Force feedback enabled over a computer network
US6906697B2 (en) Haptic sensations for tactile feedback interface devices
US6101530A (en) Force feedback provided over a computer network
US8072422B2 (en) Networked applications including haptic feedback
US8149241B2 (en) Arrangements for controlling activities of an avatar
KR102415719B1 (ko) 메타버스에서 가상 상담 환경을 위한 아바타의 상태 정보를 표시하는 메타버스 서버 및 이의 실행 방법
JP2001229392A (ja) 少ないメッセージ交信により会話式キャラクタを実施する合理的アーキテクチャ
JP2006201912A (ja) 3次元仮想オブジェクト情報提供サービス処理方法と3次元仮想オブジェクト提供システムおよびプログラム
CN1322756C (zh) 交换消息的方法和用于交换消息的交互显示器
Hossain et al. Measurements of multimodal approach to haptic interaction in second life interpersonal communication system
Rauterberg From gesture to action: Natural user interfaces
KR20110040128A (ko) 헵틱 콘텐츠 스트리밍 시스템
Rahman et al. Haptic Interaction and Avatar Animation Rendering Centric Telepresence in Second Life
Mandeville et al. Remote Touch: Humanizing Social Interactions in Technology Through Multimodal Interfaces
Simpson et al. Using Games as a Means for Collaboration
Blum Reducing Overload in Multiuser Online Applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190626

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191114