JP2000512415A - コンピュータ制御システム - Google Patents

コンピュータ制御システム

Info

Publication number
JP2000512415A
JP2000512415A JP10526102A JP52610298A JP2000512415A JP 2000512415 A JP2000512415 A JP 2000512415A JP 10526102 A JP10526102 A JP 10526102A JP 52610298 A JP52610298 A JP 52610298A JP 2000512415 A JP2000512415 A JP 2000512415A
Authority
JP
Japan
Prior art keywords
computer
cursor
control device
function
sensor area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10526102A
Other languages
English (en)
Inventor
グンター,デトレフ
ボーン,アンドレア
Original Assignee
ツーサンズ・メディア・ディヴェロプメント・ゲー・エム・ベー・ハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE1996153682 external-priority patent/DE19653682C2/de
Application filed by ツーサンズ・メディア・ディヴェロプメント・ゲー・エム・ベー・ハー filed Critical ツーサンズ・メディア・ディヴェロプメント・ゲー・エム・ベー・ハー
Publication of JP2000512415A publication Critical patent/JP2000512415A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

(57)【要約】 本発明はコンピュータ(1)の少なくとも一つのファンクション(10)の制御装置に関する。この制御装置はコンピュータ(1)のディスプレイ上の少なくとも一つのカーソル(3)の位置(8)を検出するためのセンサー手段(5)と、位置(8)においてカーソル(3)によって使用される時間を検出するための手段とを有する。さらに、この装置はコンピュータ(1)のディスプレイの予め設定された少なくとも1又は2の寸法領域(センサー領域2)におけるカーソル(3)の位置及びカーソル(3)の滞留時間に依存(9)して、コンピュータ(1)の少なくとも一つのファンクション(10)に影響を及ぼす手段を有する。制御装置によって、コンピュータ(1)はカーソル(3)の挙動を通じて極めて差別化された柔軟な方法で制御され、コンピュータ(1)の所定のファンクション(10)はカーソル(3)の挙動に応じて実行される。

Description

【発明の詳細な説明】 コンピュータ制御システム 本発明はコンピュータ用の制御装置に関する。 マルチファンクションシステム、例えばコンピュータ、のための制御装置はこ のところ間簡単な形態のものが知られている。 特に、次のようなコンピュータが知られている。つまり、ユーザがトリガによ って、例えば3次元オブジェクトを操作するためのスクリーン又はデーターグロ ーブ上のマウス操作式のカーソルによってコンピュータのファンクションをトリ ガすなわち操作するタイプのコンピュータが知られている。 このように、今日広く使用されているマルチメディアシステムはコンピュータ プログラムとして設計されており、ファンクションのトリガ(例えば、ピクチャ の表示、プログラムの修復又はビデオのプレイ)はディスプレイスクリーン上の ある点を選択することによって行われる。マルチメディアシステムによって、人 のセンスはテキスト、ピクチャ、ビデオ、音声、ノイズ、音楽等の種々のメディ アによって影響されるシステムが理解される。しかしながら、本質的に、マルチ メディアシステムは人に対して影響力を持つコンタクト(触覚)又はスメル(嗅 覚)による剌激も含んでいる。 IBMの1993年11月発行のテクニカル・ディスクロージャ・ブリティンの第36 巻、第11号、第57頁(Technical Disclosure Bulletin,Vol.36,No.11,Novembe r 1993,page 57)には、コンピュータのユーザー-インターフェース機能を活性 化する方法が記載されている。コンピュータのディスプレイの狭い領域内でカー ソルによって使用される時間が検出される。所定の滞留時間の後に、あるファン クションが実行され、それがディスプレイのその部分に付与される。 これらのコンピュータの欠点はコンピュータの操作が位置を通じてのみ実行さ れる点である。この場合、ファンクショナリティ(functionality)の著しい制限 に対応するカーソルの滞留時間を使用可能である。ファンクションのトリガはス クリーンの予め設定された固定領域内でマウスをクリックすることによって、又 は この予め設定された固定領域内にカーソルを滞留させることによって実行される ため、一つのファンクションのみが所定の方法で常時実施可能である。コンピュ ータの潜在的なファンクショナリティはカーソルのこのような非差別化使用によ って厳しく制限される。 本発明の目的は、コンピュータの制御装置及びコンピュータの制御方法であっ て、コンピュータのファンクションが特に差別化された方法で制御可能であり、 コンピュータのファンクショナリティが増大される装置及び方法を供与すること である。 これは請求項1に記載の特徴を有する制御装置及び請求項19に記載の制御方 法を通じて本発明によって達成される。 本発明によるコンピュータの制御装置はセンサー手段を有し、これによって、 コンピュータのディスプレイ上の少なくとも一つのカーソルの位置が検出される 。カーソルの位置がディスプレイの所定の部分領域内にある場合には、センサー 領域、それから、センサー領域内のカーソルの滞留時間及び位置が測定される。 滞留時間及び位置の情報はコンピュータの少なくとも一つのファンクションに影 響を及ぼすのに使用される。センサー領域外のカーソルの滞留時間は測定されな い。 コンピュータによって、特にカーソルを制御するスクリーン及び装置(例えば 、マウス、ディジタライザ)に接続されている何らかのデータ処理装置が理解さ れる。本発明によるコンピュータの制御装置は例えばプロセッサ又はプログラム の形態で設計され得る。一般に、以下に記載されている機能ユニットはソフトウ ェア又はハードウェアとして選択的に形成される。 このように、コンピュータの周知の制御装置との比較において、カーソルの位 置だけでなくスクリーン上のスポットにおけるカーソルの滞留時間もコンピュー タのファンクションにとっては重要である。これらの付加的なパラメータ(すな わち、センサー領域内における位置及び滞留時間)を通じて、コンピュータのフ ァンクショナリティ(たとえば、オーディオ-ビジュアル信号の制御)を増大さ せたり、新たな制御の可能性を付与したりすることができる。 本発明による制御装置の有用な実施の形態では、少なくとも一つのカーソルの 速度及び/又は加速度が検知され、その情報がコンピュータの少なくともファン クションに影響を及ぼさせるのに用いられる。コンピュータのファンクショナリ ティはトリガに対するこれら追加のパラメータによって改善される。このように 、本発明によるコンピュータの制御装置は例えばカーソルの急速な動作又は緩慢 な動作に対して別々に反応することが可能である。 さらに別の有用な実施の形態においては、動作経路が検出され、それがコンピ ュータのスクリーン上の少なくとも一つのカーソルによって記述される。コンピ ュータの少なくとも一つのファンクションはこのデータに応じて影響を受ける。 このように、例えばコンピュータのディスプレイ上のカーソルの移動経路はコン ピュータの操作状況又はユーザに特有である。この情報はコンピュータをユーザ に対してより良く適合させるのに利用することができる。 特に有用な設計においては、本発明による制御装置はカーソルの運動学的(動 的)挙動を定量化するための手段を有する。カーソルの運動学的挙動によって、 ここでは一般に、コンピュータのスクリーン上でのカーソルの空間-時間挙動が 理解される。これには、特に、カーソルの滞留時間、位置、速度及び加速度が含 まれる。定量化によって、カーソルの運動学的挙動が例えば滞留時間又は移動経 路の形を記述するパラメータ又はファンクションを通じて検出されることが理解 される。これらのパラメータ及びファンクションはカーソルの運動学的挙動をコ ンピュータのファンクションに対して直接リンクさせる機能関係のためのインプ ットバリューを形成する。これらの機能関係はデーターバンク内のリードオンリ ー(read-only)に記憶することができ、時間の進行中に変更することもできる。 カーソルの運動学的挙動の定量化によって、コンピュータのファンクションに対 して極めて異なる方法で影響を及ぼすことが可能である。 定量化を用いると、ランダムジェネレータとの組み合わせにおいて特別な利点 があり、特にマルチメディアアプリケーション又はゲームを備えたコンピュータ においては、新規な効果がいくつも達成される。 制御装置はコンピュータ内の少なくとも一つのセンサー領域の位置、形状及び /又はファンクションを予め定められた方法又はランダムな方法で変更するため の有用な手段を有する。このように、センサー領域は状況の変更に適合可能であ り、これによって、制御装置及びコンピュータの柔軟性が増大する。 本発明による制御装置のさらに別の利点においては、データーバンクが少なく とも一つのカーソルの運動学的挙動を記憶することができる。また、データーバ ンク内の少なくとも一つのセンサー領域の空間的、時間的及び/又は機能的変化 を検出して記憶することができることも利点である。例えば、カーソルの所定の 動作及び動作パターンを記憶して、コンピュータのファンクション及び/又は少 なくとも一つのセンサー領域に影響を及ぼすために、特に有用な方法で使用する ことができる。 本発明による制御装置の特に有用な設計においては、コンピュータの二つの異 なるファンクションの間に連続移動(fading)が発生する。特に、ビジュアルファ ンクション及び/又はアコースティックファンクションの間に、多くの美的で有 用な効果がそれによって達成され得る。 本発明による制御装置の特に有用な利点はデーターバンクが設けられており、 その中にコンピュータの少なくとも一つのファンクションに影響を及ぼすための オブジェクトが記憶されていることである。それにより、これらのオブジェクト のうちの少なくとも一つはオブジェクトの特性を記述する属性を有している。こ の属性はたとえばオブジェクトのタイプ(例えば、テキスト)又はオブジェクト の内容(たとえば、バース(verse))を示し得る。属性を使用することによって 、制御装置は異なるオブジェクト間の関連付けを容易に行うことができる。 本発明による制御装置のさらに別の有用な設計はデーターバンク内に記憶され ている少なくとも一つのオブジェクト及び/又はオブジェクトの属性がモディフ ァイアを有していることである。このモディファイアは標準であり、それによっ て、制御装置は異なるオブジェクト又は属性を相互に比較できる。モディファイ アはデーターバンク内に予め定められた方法で記憶可能であり、また、時間の進 行に応じて制御装置によって変更可能である。 本発明による制御装置の利点は、コンピュータの少なくとも一つのファンクシ ョンを少なくとも一つのオブジェクトの属性及び/又はモディファイアと関連さ せてカーソルの運動学的挙動によって制御するための手段を有することである。 このように、カーソルの運動学的挙動及びオブジェクトの特性はコンピュータの ファンクションに影響を及ぼし、それによって、コンピュータの極めて柔軟な制 御が可能になっている。 本発明による制御装置の利点は、同様に、オブジェクト特にメディアをそのタ イプに応じてデーターバンク内に自動的に記憶することのできる手段を有するこ とである。これにより、コンピュータのファンクションとして使用されるオブジ ェクト(例えば、テキスト又はピクチャ)の検出は著しくスピードアップされる 。このように、制御装置は、例えば自動的に決定された属性をオブジェクトに付 与することができる。 更なる利点は、オブジェクトのうち少なくとも一つがセンサー領域の情報、ピ クチャ、テキスト、ノイズ、音楽作品、外部装置の制御データ、3次元表示のた めのデータ、モディファイア、属性又は一群のオブジェクトを有していることで ある。オブジェクトとして極めて多くの情報を一般的に処理することによって、 この情報を均一な方法で使用してコンピュータに影響を及ぼすことができる。 本発明によるコンピュータの制御装置の利点は、カーソルの少なくとも一つの センサー領域がコンピュータのディスプレイの後方に見えないようにファイルさ れていることである。このため、ディスプレイはユーザには通常の状態に見える 。 本発明による制御装置の同様な利点は、カーソルがコンピュータのユーザの目 の動作によってコンピュータのディスプレイ上で制御できることである。目の動 作の検出は、例えば、瞳をビデオでモニタすることによって、又は顔の筋肉の動 きに由来する活動電位によって検出することができる。目の動作によるカーソル の活性化はコンピュータでの作業において手を使用できない人に特に適している 。 コンピュータの少なくとも一つのファンクションを制御するための本発明によ る方法では、第1に、コンピュータのディスプレイ上の少なくとも一つのカーソ ルの位置がセンサー手段によって検出される。その少なくとも一つのカーソルを 通じて、オーディオビジュアル信号等のコンピュータのファンクションが検知さ れ得る。センサー手段によって補足された情報はその後制御装置へ伝達される。 制御装置は少なくとも一つのカーソルがコンピュータのディスプレイの1又は2 の寸法領域(センサー領域)内にあるかどうかを確認する。その位置がセンサー 領域内にある場合には、制御装置はそのセンサー領域内の少なくとも一つのカー ソルの滞留時間及び位置を決定する。制御装置は、少なくとも一つのカーソルの 滞留時間及び位置に応じて、最終的に制御装置の少なくとも一つのファンクショ ンに影響を及ぼす。 本発明は図面に示された実施の態様を参照して説明される。 図1はコンピュータのディスプレイの概略図であり、これによって、コンピュ ータのファンクションがカーソル及びカーソルのセンサー領域によって影響を受 けることが示される。 図2はコンピュータディスプレイ上のセンサー領域の概略図である。 図3はコンピュータディスプレイ上のカーソルの位置とコンピュータのファン クションとの間の機能的関係(相互作用グラフ)の概略図である。 図4はカーソルの時間挙動とコンピュータのファンクションとの間の機能的関 係の概略図である。 図5は相互作用グラフを通じてのマルチメディアオブジェクトの選択を示す図 である。 図6はカーソルの位置取りの時間的経路の概略図である。 好ましい実施形態の説明 図1は本発明の制御装置が取り付けられたコンピュータ1のディスプレイの一 例を概略図で示している。 カーソル3はコンピュータ1のファンクション(function)10のカーソルとし て機能する。ファンクション10は、例えば、サウンドクリップのボリューム又 はプログラムメニューのディスプレイサイトである。カーソル3はマウスその他 の操作手段によってコンピュータ1のディスプレイ上を移動させられる。 本発明によるコンピュータ1の制御装置はディスプレイの幾つかのサイトにお いて所定の部分領域を限定し、カーソル3の位置8がこの部分領域内にある時に 登録される。これらの部分領域は以下においてセンサー領域2と呼ばれる。制御 装置は、カーソル3の位置8の外に、センサー領域2内におけるカーソル3の滞 留時間(dwell time)も検出して記憶する。 従って、センサー領域2の形状は一定(rigid)ではなく、必要に応じて、何ら か の方法でコンピュータ1のディスプレイ上の位置、形状及び/又は機能に対応可 能である。また、カーソル3の滞留時間がスクリーン上のどの点においても測定 されるように、コンピュータ1の全ディスプレイはセンサー領域2でカバーされ ている。このため、センサー領域2に応じて、コンピュータ1の異なるファンク ション10がトリガされる(triggered)。 センサー領域2のオーバーラップも可能である。それによって、コンピュータ 1の制御装置は滞留時間がどのような方法で処理(例えば、評価、滞留時間の付 加)されるかを決定する。 本発明の制御装置の通常のコースでは、センサー領域2はディスプレイ上で見 ることはできない。すなわち、それらはマルチメディアアプリケーションすなわ ちテキスト処理システムの通常のディスプレイの下に隠されている。しかしなが ら、センサー領域2は、ファンクション10をチェックするために、プログラム のセットアップ中又はプログラムの手直し(debugging)中は見ることができるよ うにすることが可能である。 センサー領域2の操作方法はマルチメディアプログラムを参照して以下に説明 されている。 本発明によるマルチメディアエンサイクロペディアは、例えば、スクリーン上 、テキスト上、ピクチー上及びビデオ上に表示される。それによって、センサー 領域2はスクリーンの所定の点の後ろに置かれている。 マルチメディアエンサイクロペディアのユーザはそのユーザにとって特に関心 のあるディスプレイの領域内へとカーソル3をガイドする。それによってカーソ ル3がセンサー領域2内へとガイドされた場合、制御装置はカーソル3の位置8 及びこのセンサー領域2内におけるその滞留時間を検出する。このために、制御 装置はタイマー機能を有する。 制御装置はセンサー領域2内においてカーソル3によって使用される時間をユ ーザにとっての関心事として解釈し、この関心事をいわゆるエネルギーバリュー として定量化する。このようにして、ユーザのパフォーマンスは標準によって記 述される。エネルギーバリューはデーターバンクに記憶され、ユーザの関心事用 のメモリーとして用いられる。このため、制御装置によって、忘れられたり希薄 になった関心事がシミュレートされるように、エネルギーバリューが所定時間経 過後に変更される。制御装置は「エネルギーハウスホールド(energy household) 」を維持し、どのエネルギーがどのセンサー領域2内で使用されたかを常時確認 することができる。 包括的に、カーソル3の位置は瞬間的な位置、瞬間的な速度、及び瞬間的な位 置8における使用された時間においていつでも検出される。したがって、コンピ ュータ1の二次元ディスプレイにおいては、状態は5つの値によって記述され得 る。 制御装置は、カーソル3の位置8及び滞留時間に応じて、コンピュータ1(図 2から4も参照)のさらに別の挙動をも測定する。所定の時間経過後(エネルギ ーの閾値に到達したとき)、例えば、使用されているテーマ分野に対する相互参 照が表示されたり、コンテキスト内の音楽作品(music fitting)がプレイされた りする。新たに表示されるピクチャやプレイされる音楽作品を相互に重ね合わせ て、シーン間の連続変化(continuous transition)を生成させること(フェーディ ング)が可能である。 しかしながら、制御装置はカーソル3の運動学的挙動のみに決定的に依存する ことなくコンピュータ1の挙動を制御することができる。むしろ、マルチメディ アの内容はまたランダムジェネレータ(random generator)を通じて選択及び表示 され得る。電子エンサイクロペディアでは、それによって、例えば「リーフィン グ(leafing)」の可能性が生じる。内容の決定的かつランダム制御セレクション を通じて、ユーザの特有な連関を考慮に入れることができる。 たとえば、アーティスティックマルチメディアプログラムの場合におけるラン ダム制御に関しては、ピクチャ及び雰囲気が生成され得る。それらは再現性がな く、ユーザの創造性を表す。特に、ランダム制御されたピクチャ及びテキストは ゲームで使用することができ、新しいアスペクトを繰り返し表示する。 また、多人数のゲームにおいては、コンピュータ1のディスプレイ上に幾つか のカーソル3を表示することができる。それにより、センサー領域2を異なるプ レーヤに割り当てることができ、プレーの可能性の幅が拡がる。 センサー領域2はまたコンピュータ1の操作システムのメニューポイントでも あり得る。カーソル3がこの感応性のメニューポイント上に長期間にわたって残 っていると、これは制御装置によって関心が増大したものとして識別され、ヘル プテキストがこのメニューポイント用に表示される。その後、別のファンクショ ンがセンサー領域2内のカーソル3の位置によってアドレスされ得る。 本発明によるコンピュータ1の制御装置はカーソル3の運動学的すなわち動的 挙動を異なる方法で検出及び使用することができる。このように、コンピュータ 1の制御装置はカーソル3の位置8を登録するだけでなく、コンピュータ1のデ ィスプレイ上でのカーソル3の速度、加速度及び移動経路を測定する。さらに、 ウインドウを開くことによってカーソル3を含む領域も検出される。 カーソル3の移動経路を検出することによって、制御装置は所定のセンサー領 域2内のカーソル3がどのシーケンスに停止したかを識別する。これによって、 制御装置はラン中のシーケンスに応じてコンピュータ1の異なるファンクション をトリガする。 コンピュータ1の制御装置は、また、移動経路の所定の点において、微分解析 (numerical differentiation)を実行し、それによって、移動経路のそれらの点 における速度及び加速度が算出される。このように、カーソル3の運動学的挙動 が十分に検出される。カーソル3の運動学的挙動に関するこれらの測定値はまた エネルギーバリューとして定量化される。 たとえば、カーソル3がテキスト上で極めて急速に移動すると、制御装置はこ れをエネルギーの低出力と評価する。すなわち、ユーザの関心が低いと評価され 、テキストのみが表示される。しかしながら、カーソル3がテキスト上でゆっく りと移動する場合、より多くのエネルギーが使用される。この場合、ユーザの関 心は高いと評価され、コンピュータ1の異なる挙動がもたらされ、たとえば、ビ デオのプレイがもたらされる。 人にはそれぞれ癖があるので、異なる人がコンピュータ1を使用する場合、カ ーソル3の運動学的挙動はそのコンピュータを使用している人のタイプに確実に 依存する。コンピュータ1を個人化するために、ユーザの運動学的挙動はデータ ーバンクに蓄積される。このように、制御装置はコンピュータ1のファンクショ ン10を(たとえば、エキスパートシステム(expert system)やニューロナルネ ットワーク(neuronal network)によって)特定のユーザに合わせることができる 。また、カーソル3の運動学的挙動から、ユーザのある挙動が能率的でないこと を確認し、従ってコンピュータ1のファンクション10に適合させたりユーザを 非能率であるとみなしたりすることもできる。たとえば、ソフトウェアを学習す る場合には、これは学習の早さに著しい改善をもたらす。 同様に、コンピュータ1のカーソル3はユーザの目の動作に応じて本発明によ る制御装置によって制御されることができる。目の動作は、たとえば、瞳をビデ オでモニタすることによって検出することができる。目の動作を通じたカーソル 3の運動学的挙動及びセンサー領域2を制御することによって、特に手を完全に 使いこなせない人々(たとえば、身体障害者)でも、効率的かつ自在にコンピュ ータを操作することが可能である。 以下、センサー領域2の機能は図2から4を参照して説明する。 図2において、半径7を有する円形のセンサー領域2がコンピュータ1のディ スプレイ上に表示されている。図2に示されているようなカーソル3がセンサー 領域2内に位置している場合、カーソル3の運動学的挙動及びセンサー領域2内 におけるその滞留時間は本発明によるコンピュータ1の制御装置によって検出さ れる。 この場合、カーソル3の位置8は極座標で示されている。この極座標の座標中 心はセンサー領域2の基準点6に対応する。カーソル3の位置8の固定はカーソ ル3と基準点6との間の距離及びカーソル3が基準線に対して成す角度(図示さ れていない)によって行われる。 異なる形状のセンサー領域2においては、例えば、センサー領域2のコーナー 又はセンサー領域2の重心が基準点とされる。別の実施の形態においては、カー ソル3の位置8はコンピュータのディスプレイの絶対座標内に付与されている。 この座標はスクリーンディスプレイのコーナーから数えられている。 本発明による制御装置は、さらに、角度座標及びセンサー領域2の種々のスポ ットにおける滞留時間を評価し、それに基づいてコンピュータ1の少なくとも一 つのファンクション10を決定する。 カーソル3の運動学的挙動とコンピュータのファンクション10との間の関係 は図3及び4に示されている。 図4はカーソル3の位置8とコンピュータ1のファンクション10との間の機 能的関係9を示している。この機能的関係9は本発明による制御装置の一部であ る。 ここで、図2の円形のセンサ一領域2を参照する。簡素化のために、ファンク ション10(例えば、音楽作品のボリューム)上の基準点6から位置8までの半 径方向の距離の影響のみが示されている。 センサー領域2の外側(基準点6からカーソル3までの距離は半径7よりも大 きい)においては、コンピュータ1のファンクション10はトリガされない。カ ーソル3がセンサー領域2内に入った後、音楽作品のボリューム10は増大する 。カーソル3が基準点6に達すると、ボリューム10は最大になる。カーソル3 がセンサー領域2内のどこかにあるときには、センサー領域内の位置8が検出さ れ、機能的関係9がその点において評価される。 コンピュータ1のファンクション10とカーソル3の位置8との間の機能的関 係9はいずれも線形又は非線形である。 別の実施の形態においては、センサー領域2内のカーソル3の速度、加速度及 び滞留時間の間には類似した機能的関係9がある。コンピュータ1の制御装置は カーソル3の運動学的挙動における様々な情報を評価し、所定のファンクション 10を付与する。さらに別の実施の形態においては、ファンクション10を決定 するためにランダムジェネレータがさらに用いられている。 機能的関係9はカーソル3の運動学的挙動とコンピュータのファンクション1 0との相互作用であるので、これらの関係は相互作用グラフとも呼ばれる。 次のインプットバリューは制御装置によって一般的に使用されるものである。 それらは、押圧キー、マウスの動作、トラックボール(track ball)の動作、デー タグローブ(data glove)アクション、センサー情報、カメラ情報である。インプ ットバリューはコンピュータ1のファンクション10に対する相互作用グラフを 通して制御装置によってリンクされている。アウトプットバリュー(すなわち、 ファンクション10)は基本的には次のようなものである。すなわち、ビジュア ル2D及び3Dイラスト、ビデオ情報、スライドプロジェクション(slide proje ctions)、音、データグローブ内のアクティブセンサを通じての触覚情報である 。 図4はカーソル3の位置とファンクション10'との間のさらに別の機能的関 係9'を示している。この場合においては、ファンクション10'はマルチメディ アアプリケーション内のピクチャの不透明部(opacity)内に存在する。 図3とは異なり、ここでは、基準点6とカーソル3の位置との間の空間的な距 離はないが、基準点6として用いられているスタート時間点11からの時間的な 距離がある。 スタート時間点11はある動作(たとえば、キーを押すこと、センサー領域2 内のカーソル3の所定の滞留時間を超えること)によって決められる。この時間 点から、ピクチャの不透明部が機能的関係9'によって決定される。すなわち、 不透明部は上昇し、しばらくした後に再び減少する。カーソル3がある時間点1 3においてセンサー領域2から移動させられると、この時間点13に付与された ピクチャの不透明部10'はわずかな間だけ残る。 相互作用グラフの空間的(図3参照)及び時間的(図4参照)評価は組み合わ せて使用することができる。その場合、幾つかのファンクション10は相互に依 存した状態又はそれぞれ独立した状態で影響を受ける。 図5においては、本発明によるコンピュータ1の制御装置が相互作用グラフ9 '',9'''を通じてマルチメディアシステムのファンクション10'',10'''に 対してどのように影響を及ぼすかに関する例が示されている。 本発明による制御装置のファンクションの必須要素はデーターバンクである。 このデーターバンクには制御装置によって測定されると共に制御装置によって発 信された全ての信号が蓄積されている。特に、データーバンクはピクチャ、テキ スト、音楽、音声、ビデオ、プログラム、外部装置用の制御コマンド等のオブジ ェクト14を有している。これらのオブジェクトはコンピュータ1のユーザがア クセスできるように作成されている。センサー領域2における情報もオブジェク ト14としてテクニカルプログラムによって処理される。 メディアはデーターバンク内に種類の異なるオブジェクト14として記憶され る。オブジェクト14はそれによってコンテナ15内のプログラムテクノロジー によって結合され、それによって、コンテナ15内に記億されたオブジェクト1 4は内容(すなわち、一つの主題に係るピクチャ、テキスト、音楽)に応じてグ ループ化される。また、コンテナ15は他方でプログラムテクノロジーに関する オブジェクト14である。オブジェクト14は従って異なるコンテナ15のメン バーであり得る。 オブジェクト14又はオブジェクト14のある数の選択は相互作用グラフ9'' ,9'''を通じてカーソル3の位置8'',8'''に応じて実行される。関連するサ イト及び/又は関連する時間において有効な相互作用グラフ9'',9'''を通じ てカーソル3の位置8'',8'''及び/又は別の運動学的パラメータから標準が 決定される。この標準から、この発明による制御装置によって、どのオブジェク ト14又はどのオブジェクト14のグループが適正なコンテナ15から表示又は プレイされているかが確認される。 それによって各オブジェクト14はオブジェクト14の特性を示す属性16を 有する。これらの属性16から、制御装置は、特に、どのオブジェクト14が表 示されているかを決定する。 「ビルディング」、「グリース」、「リージョン」及び「アンティーク」とい う属性16を有するグリークテンプル(Greek temple)のピクチャは例えばデータ ーバンク内に記憶される。コンピュータ1のディスプレイ上に表示されているコ ンテキストに基づいて、制御装置がテンプルのピクチャを示す。例えばユーザが グリースの情報を必要としていることを制御装置が決定すると、センサー領域2 内のカーソル3の運動学的挙動に応じて、例えばテンプルのピクチャもグリース のトラベル情報(travel information)に加えて表示されているか否かが決定され る。ユーザがコンピュータ1を通じてアンティークの情報を得ている場合には、 再び、テンプルのピクチャがカーソル3の運動学的挙動に応じて表示され得る。 属性16はこのように種々のデーターバンクに記憶されたオブジェクト14間の 相互関係(cross connection)を生成する。プログラムテクノロジーによって全て の情報がデーターバンク内にオブジェクト14として記憶されるので、多数の相 互作用がカーソル3の運動学的挙動と情報との間に生成される。 周知のシステムと異なり、例えばWWWページ(WWW pages)では、例えばグリ ースというタイトルの下でサブタイトル「トラベル情報」及び「ピクチャー」の みが検索され(retrieved)得る場合には、この発明による制御装置は固定された 情報ヒエラルキー(information hierarchy)を提供しない。反対に、情報の提供 は、カーソル3の運動学的挙動に動的に対応して、制御装置によってディスプレ イ上に固定される。センサー領域2内の所定のスポットに留まっているカーソル 3のみによって、フォーカス(図6参照)が異なる情報を順次表示又はプレイさ せ得る。制御装置はセンサー領域2内で消費された時間を関心の増大と解釈し、 関連するエネルギーバリューからコンピュータ1のディスプレイを制御する。 さらに、各オブジェクト14はそのオブジェクト14に標準(たとえば、1か ら100の範囲)を付与するモディファイア(modifier)17を有する。モディフ ァイア17から、例えば、ピクチャが表示される透明度を確立できる。バリュー が100のモディファイア17の場合、制御装置は全許容量でピクチャを示し、 ディスプレイのバックグラウンドは完全に隠蔽される。バリューが10では、ピ クチャはスクリーン上に透明状態でのみ見られ、ピクチャの後ろに存在する要素 はピクチャを通して見える。モディファイア17に関しては、たとえばノイズの ボリューム、ピクチャの表示又は音楽のプレイの周波数、コンテナからのピクチ ャの選択、又はエネルギー出力又はエネルギー吸収に対する感度も影響され得る 。 属性16及びモディファイア17は共に予め設定可能な方法で制御装置によっ て変更可能である。同様に、属性16又はモディファイア17はカーソル3の運 動学的挙動によって変更可能であり、したがって、ユーザの挙動によって直接的 に影響を受ける。 ここでの例はオーディオシステムである。この場合、音楽作品のプレイはカー ソル3の動作に応じて制御される。カーソル3が異なるセンサー領域2に続いて 順次に相互作用をすると、一つのセンサー領域2は、呼び出されたときに、初め と同じ音楽作品をプレイするとは限らない。むしろ、一つのテーマに使用されて いる音楽作品がプレイされる可能性が高い。ある場合には、カーソル3の相互作 用はその間にユーザの関心の変化に対応する制御信号に応じて起こる。エネルギ ーに対する情報、属性16及びモディファイア17の評価の後に、コンテナの内 容は新たに編集され(compiled)、続いて含まれている音楽作品がプレイされる。 このように、コンピュータ1のユーザもカーソル3の動作を通じてディスプレ イを制御することができるが、同時に、制御装置がプログラムを通じてカーソル 3の運動学的挙動からユーザをリードする。このように、ユーザに対するナビゲ ーションはユーザと本発明によるコンピュータ制御装置との間の永続的な相互作 用で実行される。これによって、カーソル3の運動学的挙動は結合リンク(bindi ng link)を表している。本発明による制御装置はデーターバンクの相互作用及 びカーソル3の運動学的挙動の評価を制御し、新たな情報が常に表示されるよう にしている。このように、知識ブラウザ(knowledge browser)には全く新しい特 性、すなわち、データールームの創造及び考慮及びカーソルとの相互作用の可能 性、が供給されている。 図6は位置8におけるカーソル(図示されていない)によって使用された時間 を通じてコンピュータ1のファンクション10の影響の概略を示している。 図6はカーソル3が位置8に留まっているときにおける時間軸18で象徴され た時間曲線を示している。最初、コンピュータ1の制御装置はセンサー領域2内 のカーソル3の存在とは反応しない。したがって、コンピュータ1のファンクシ ョンは実行されない。 ある時間が経過した後、あるオブジェクト14が表示され、それによって、制 御装置が属性16及びモディファイア17からこれらを決定する。表示されたオ ブジェクト14は位置8におけるオブジェクト14と極めて類似性の高いもので ある。制御装置が増大した関心事と解釈する所定の時間の後、オブジェクト14 はその内容が位置8におけるオブジェクト14に対する更なる関係を有すること を表示する。遠隔の程度は属性16及びモディファイア17を通じて決定される 。 たとえば、位置8がセンサー領域2内にあり、そのセンサー領域が教会のピク チャに付与されている場合、ある時間の経過後に、教会の異なる外観が示される 。すなわち、情報が選択されたオブジェクト14に対して直接結合される。時間 が経過すると、教会のピクチャが表示され、それらが同一のスタイルで合体され る。その後、教会音楽が対応する領域からプレイされる。このように、ユーザは マルチメディアアプリケーションを通じて本発明の制御装置によってガイドされ る。それによって、本発明の制御装置はカーソル3を動かすことによって提供さ れる情報に影響を及ぼす可能性をユーザに対していつでも提供(すなわち、消費 され た時間及びセンサー領域内の位置を通じて)する。 時間軸18の方向及びいわゆるフォーカスファネル(focal funnel)のアライメ ント(alignment)はこのように「関心の方向(direction of interest)」を示し、 ひいてはコンピュータ1のユーザのフォーカスを示す。関心の増大は、図6にお いて、徐々に拡がるフォーカスファネル19によって示され、より多くのオブジ ェクト14が検出される。したがって、位置8が別のセンサー領域2内への動き はフォーカスファネル19のアライメントの変化に対応する。 本発明は上記の好ましい実施の形態によって制限されない。つまり、本発明に よるコンピュータ制御装置を利用して全く異なる設計で種々変更することが可能 である。
【手続補正書】特許法第184条の8第1項 【提出日】平成10年8月13日(1998.8.13) 【補正内容】 1.コンピュータ(1)の少なくとも一つのファンクション(10)用の制御装 置であって、 a)コンピュータ(1)のディスプレイ上の少なくとも一つのカーソル(3)の 位置(8)を検出するためのセンサー手段(5)と、 b)コンピュータ(1)のディスプレイの予め設定された少なくとも1又は2 の寸法領域(センサー領域2)におけるカーソル(3)によって使用される時間 を検出するための手段と、 c)センサー領域(2)におけるカーソル(3)の位置(8)及び滞留時間に 応じてコンピュータ(1)の少なくとも一つのファンクション(10)に影響を 及ぼす手段と、 を有し、 d)コンピュータ(1)のファンクション(10)がセンサー領域(2)におけ るカーソル(3)の関連する瞬間的な位置(8)に応じて影響を受ける制御装置 。 19.コンピュータの少なくとも一つのファンクション(10)を制御する方法 であって、 a)少なくとも一つのカーソル(3)の位置(8)がコンピュータ(1)のデ ィスプレイ上で検出される段階と、 b)コンピュータ(1)のディスプレイの少なくとも1又は2の寸法領域(セン サー領域2)においてカーソル(3)によって使用された時間が検出される段階 と、 c)コンピュータ(1)のファンクション(10)がセンサー領域(2)におけ るカーソル(3)の位置(8)及び滞留時間に応じて影響を受ける段階と、 を有し、 d)コンピュータ(1)のファンクション(10)がセンサー領域(2)におけ るカーソル(3)の関連する瞬間的な位置(8)に応じて影響を受ける方法。

Claims (1)

  1. 【特許請求の範囲】 1.コンピュータ(1)の少なくとも一つのファンクション(10)用の制御装 置であって、 コンピュータ(1)のディスプレイ上の少なくとも一つのカーソル(3)の位 置(8)を検出するためのセンサー手段(5)と、 位置(8)においてカーソル(3)によって使用される時間を検出するための 手段と、 コンピュータ(1)のディスプレイの予め設定された少なくとも1又は2の寸 法領域(センサー領域2)におけるカーソル(3)の位置及びカーソル(3)の 滞留時間に応じて(9)、コンピュータ(1)の少なくとも一つのファンクショ ン(10)に影響を及ぼす手段と、 を有する制御装置。 2.カーソル(3)の速度及び/又は加速度を検出する手段を有し、その運動学 的情報を用いてコンピュータ(1)の少なくとも一つのファンクション(10) に影響を及ぼすことができる請求項1に記載の制御装置。 3.コンピュータ(1)スクリーン上のカーソル(3)によって示される移動経 路を検出する手段を有し、その情報を用いてコンピュータ(1)の少なくとも一 つのファンクション(10)に影響を及ぼすことができる請求項1又は2に記載 の制御装置。 4.カーソル(3)の運動学的挙動を定量化するための手段を有し、コンピュー タ(1)の少なくとも一つのファンクション(10)が予め設定可能すなわち可 変の機能関係(9)を通じてその定量化に応じて意識的に影響を受けることがで きる前記請求項のいずれか一項に記載の制御装置。 5.カーソル(3)の運動学的挙動を定量化するための手段を有し、少なくとも 一つのファンクション(10)がランダムジェネレータを通じてその定量化に応 じて意識的に影響を受けることができる前記請求項のいずれか一項に記載の制御 装置。 6.少なくとも一つのセンサー領域(2)の位置、形状及び/又は機能に予め設 定可能な変更を加えるための手段を有する前記請求項のいずれか一項に記載の制 御装置。 7.少なくとも一つのセンサー領域(2)の位置、形状及び/又は機能にランダ ムに制御された変更を加えるための手段を有する前記請求項のいずれか一項に記 載の制御装置。 8.少なくとも一つのカーソル(3)の運動学的挙動を記憶するためのデーター バンクを有する前記請求項のいずれか一項に記載の制御装置。 9.データーバンクを有し、少なくとも一つのセンサー領域(2)に対する時間 的、空間的及び/又は機能的な変化を記憶することができる前記請求項のいずれ か一項に記載の制御装置。 10.コンピュータ(1)の少なくとも一つのファンクション(10)及び/又 は少なくとも一つのセンサー領域(2)に影響を及ぼすためにデーターバンク内 に記憶されたデータを使用する手段を有する前記請求項のいずれか一項に記載の 制御装置。 11.コンピュータ(1)のビジュアル及び/又は音響機能に対してフェーディ ングを付与する手段を有する前記請求項のいずれか一項に記載の制御装置。 12.データーバンクに記憶された少なくとも一つのオブジェクト(14)が、 コンピュータ(1)の少なくとも一つのファンクション(10)に影響を及ぼす ために、オブジェクト(14)の特性を示す属性(16)を有する前記請求項の いずれか一項に記載の制御装置。 13.データーバンクに記億されたオブジェクト(14)の少なくとも一つ及び /又はコンピュータ(1)の少なくとも一つのファンクション(10)に影響を 及ぼすためのオブジェクト(14)の属性(16)の少なくとも一つがモディフ ァイア(17)を有し、このモディファイアがオブジェクト(14)及び/又は 属性(16)に予め設定可能すなわち変更可能な標準を付与し、オブジェクト( 14)間において定量的比較が可能とされている前記請求項のいずれか一項に記 載の制御装置。 14.コンピュータ(1)の少なくとも一つのファンクション(10)が属性( 16)及び/又はモディファイア(17)と関連させてカーソル(3)の運動学 的挙動を通じて制御可能にされるようにする手段を有する前記請求項のいずれか 一項に記載の制御装置。 15.オブジェクト(14)がタイプに応じて自動的に記憶されたデーターバン ク内に記憶されるようにする手段を有する前記請求項のいずれか一項に記載の制 御装置。 16.オブジェクト(14)がセンサー領域(2)の情報、ピクチャ、テキスト 、ノイズ、音楽作品、外部装置の制御データ、3次元表示のためのデータ、モデ ィファイア(17)、属性(16)又は一群のオブジェクト(14)である前記 請求項のいずれか一項に記載の制御装置。 17.少なくとも一つのセンサー領域(2)がコンピュータ(1)のディスプレ イの後方にあって見えない状態にある前記請求項のいずれか一項に記載の制御装 置。 18.カーソル(3)がコンピュータ(1)のユーザの目の動作を通じてコンピ ュータ(1)のディスプレイ上で制御可能である前記請求項のいずれか一項に記 載の制御装置。 19.コンピュータの少なくとも一つのファンクション(10)を制御する方法 であって、 a)センサー手段(5)がコンピュータ(1)のディスプレイ上で少なくとも一 つのカーソル(3)の位置を検出する段階と、 b)センサー手段(5)によって検出された情報が制御手段に転送される段階と 、 c)カーソル(3)の位置(8)がコンピュータ(1)の予め設定された少なく とも1又は2の寸法領域(センサー領域2)内にあるかどうかを制御手段が確認 する段階と、 d)位置(8)がセンサー領域(2)内にある場合、制御手段がセンサー領域( 2)内のカーソル(3)の滞留時間を決定する段階と、 e)制御手段がセンサー領域(2)内のカーソル(3)の位置及びカーソル(3 )の滞留時間に応じてコンピュータの少なくとも一つのファンクション(10) に影響を及ぼす段階と、 を有する方法。
JP10526102A 1996-12-13 1997-12-15 コンピュータ制御システム Pending JP2000512415A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE1996153682 DE19653682C2 (de) 1996-12-13 1996-12-13 Steuervorrichtung und -verfahren für mindestens eine Einrichtung eines Raumes, und Raum mit Steuervorrichtung
DE19653682.0 1996-12-13
PCT/DE1997/002970 WO1998026346A1 (de) 1996-12-13 1997-12-15 Computersteuerung

Publications (1)

Publication Number Publication Date
JP2000512415A true JP2000512415A (ja) 2000-09-19

Family

ID=7815787

Family Applications (2)

Application Number Title Priority Date Filing Date
JP10526101A Pending JP2000512467A (ja) 1996-12-13 1997-12-15 ルームコントロール装置
JP10526102A Pending JP2000512415A (ja) 1996-12-13 1997-12-15 コンピュータ制御システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP10526101A Pending JP2000512467A (ja) 1996-12-13 1997-12-15 ルームコントロール装置

Country Status (5)

Country Link
EP (2) EP1015959A1 (ja)
JP (2) JP2000512467A (ja)
CA (2) CA2274786A1 (ja)
DE (1) DE19654944A1 (ja)
WO (2) WO1998026345A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6393407B1 (en) * 1997-09-11 2002-05-21 Enliven, Inc. Tracking user micro-interactions with web page advertising
DE10125309C1 (de) * 2001-05-21 2002-12-12 Humatic Gmbh Verfahren und Anordnung zum Steuern von audiovisuellen medialen Inhalten
KR100575906B1 (ko) 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP2005242694A (ja) 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
DE102007057799A1 (de) * 2007-11-30 2009-06-10 Tvinfo Internet Gmbh Grafische Benutzerschnittstelle
DE102011102038A1 (de) * 2011-05-19 2012-11-22 Rwe Effizienz Gmbh Heimautomatisierungssteuerungssystem sowie Verfahren zum Steuern einer Einrichtung eines Heimautomatisierungssteuerungssystems

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) * 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
JPS63503167A (ja) * 1985-10-07 1988-11-17 シガロフ ハガイ 制御信号の生成
US4896291A (en) * 1988-05-20 1990-01-23 International Business Machines Corporation Valuator menu for use as a graphical user interface tool
CA2012796C (en) * 1989-06-16 1996-05-14 Bradley James Beitel Trigger field display selection
US5107746A (en) * 1990-02-26 1992-04-28 Will Bauer Synthesizer for sounds in response to three dimensional displacement of a body
JP3138058B2 (ja) * 1992-05-25 2001-02-26 東芝キヤリア株式会社 換気扇の制御装置
US5196838A (en) * 1990-12-28 1993-03-23 Apple Computer, Inc. Intelligent scrolling
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
JPH05108258A (ja) * 1991-10-14 1993-04-30 Nintendo Co Ltd 座標データ発生装置
US5326028A (en) * 1992-08-24 1994-07-05 Sanyo Electric Co., Ltd. System for detecting indoor conditions and air conditioner incorporating same
US5448693A (en) * 1992-12-29 1995-09-05 International Business Machines Corporation Method and system for visually displaying information on user interaction with an object within a data processing system
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
US5452240A (en) * 1993-11-23 1995-09-19 Roca Productions, Inc. Electronically simulated rotary-type cardfile
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology

Also Published As

Publication number Publication date
WO1998026346A1 (de) 1998-06-18
JP2000512467A (ja) 2000-09-19
DE19654944A1 (de) 1998-06-25
CA2274786A1 (en) 1998-06-18
EP1015960A1 (de) 2000-07-05
WO1998026345A1 (de) 1998-06-18
CA2274702A1 (en) 1998-06-18
EP1015959A1 (de) 2000-07-05

Similar Documents

Publication Publication Date Title
US11269481B2 (en) Dynamic user interactions for display control and measuring degree of completeness of user gestures
JP6235636B2 (ja) 触覚効果を与えるシステム及び方法
Hugues et al. New augmented reality taxonomy: Technologies and features of augmented environment
CN1672120B (zh) 使用可变形装置的人机接口
JP5956002B2 (ja) 仮想世界処理装置および方法
US9348421B2 (en) Gesture and touch-based interactivity with objects using 3D zones in an interactive system
US20080120113A1 (en) Interactive character system
CN107787472A (zh) 用于虚拟现实中的凝视交互的悬停行为
Emgin et al. Haptable: An interactive tabletop providing online haptic feedback for touch gestures
Ravetto-Biagioli The Digital Uncanny
JP2020080152A (ja) カスタマイズ可能な触覚再生を提供するシステムおよび方法
WO2016169341A1 (zh) 一种运动驱动效果的实现方法及实现系统
JP2000512415A (ja) コンピュータ制御システム
Schiphorst et al. PillowTalk: Can we afford intimacy?
CN111651054A (zh) 音效控制方法、装置、电子设备及存储介质
CN114327063A (zh) 目标虚拟对象的交互方法、装置、电子设备及存储介质
DE19653682A1 (de) Systemsteuerung
Lee et al. Attention meter: a vision-based input toolkit for interaction designers
KR102349002B1 (ko) 동적 프로젝션 매핑 연동 제스처 인식 인터랙티브 미디어 콘텐츠 제작 방법 및 장치
Heravi Multimodal Object Representation Learning in Haptic, Auditory, and Visual Domains
KR20240034842A (ko) 놀이공원 어트랙션에 대응하는 맞춤형 대체 불가능한 토큰을 위한 시스템 및 방법
CN117826993A (zh) 信息显示方法、装置、电子设备及存储介质
Fretz et al. Interactive Shop Window
CN114296551A (zh) 目标对象的呈现方法、装置、电子设备及存储介质
Jones Building a Language for an Interactive Experience