JP2009534751A - デジタル装置を対話式表示面とインタフェースさせる方法及びシステム - Google Patents

デジタル装置を対話式表示面とインタフェースさせる方法及びシステム Download PDF

Info

Publication number
JP2009534751A
JP2009534751A JP2009506627A JP2009506627A JP2009534751A JP 2009534751 A JP2009534751 A JP 2009534751A JP 2009506627 A JP2009506627 A JP 2009506627A JP 2009506627 A JP2009506627 A JP 2009506627A JP 2009534751 A JP2009534751 A JP 2009534751A
Authority
JP
Japan
Prior art keywords
ids
digital device
digital
information
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009506627A
Other languages
English (en)
Other versions
JP4777458B2 (ja
Inventor
パトリック, エム. ゴッディ,
ネルスン, リン, アン チャン,
アイ‐ジョン リン,
ジョシュア タイラー,
アンドリュー ダーレイ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2009534751A publication Critical patent/JP2009534751A/ja
Application granted granted Critical
Publication of JP4777458B2 publication Critical patent/JP4777458B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer And Data Communications (AREA)
  • Digital Computer Display Output (AREA)

Abstract

対話式表示面(IDS)を使用してデジタル装置(251)とインタフェースする方法及びシステムが提示される。IDS(101)は、デジタル装置が近付けられると当該デジタル装置(251)を検出し、その装置(251)の識別を試みる。IDS(101)は装置(251)と通信し、その装置(251)に記憶されている情報(253)の対話式表現を表示する。

Description

本発明の実施の形態は、デジタルコンピューティング装置が対話式表示面(IDS)とインタフェースすることができるようにする方法及びシステムであって、それによって、これらの装置に記憶されているデジタル情報を処理する新しい方法を可能にする方法及びシステムに関する。
ポータブルデジタルコンピューティング装置は、現代の文化においてますます普及しつつある。このような装置は、携帯電話、個人情報端末(PDA)、ポータブルMP3プレーヤ、デジタルカメラ及びカムコーダ、並びにポータブルビデオゲームプレーヤを含み、これらのユーザが、不便さが全くない状態で膨大な量のデジタル情報を携帯することができるようにする。これらの装置は、多くの場合、可搬性に関して最適化され、小型であるという要素及び低消費電力が非常に重要視される。
これらの設計特徴を達成するために、使いやすさが犠牲にされてきた。このような装置のディスプレイは、存在する場合であっても非常に小さなことが多い。容易な機能は通常、いくつかの主要ボタンを通じてアクセスされるごくわずかな選択機能に限られ、使用頻度が低い選択肢は、小さな一体化されたディスプレイ上のメニューを行き来することによってアクセスされるメニュー及びサブメニュー内に深く埋め込まれる。さらに、これらの装置は通常、ユーザの記憶されているデジタルデータにアクセスする方法をたった1つしか提供しない。すなわち、デジタルカメラは、ユーザが撮影した写真を小さな埋め込みLCD画面で見られるようにし、MP3プレーヤは、ユーザが記憶されている歌を再生することができるようにし、PDAは、ユーザがその日の予定を圧縮ビューで見られるようにする。
多くの場合、ユーザが各自のデジタルデータにアクセスするために提供される唯一の方法は、装置をコンピュータに直接接続し、専用ソフトウェアを使用して装置とインタフェースし、データをコンピュータに移すことによる。しかし、このソリューションには望ましくない固有の制約がある。データを利用するためには、多くの場合、データをコンピュータ自体にコピーしなければならず、これによって、ユーザのデータが複数のロケーションに残る。コンピュータとインタフェースするには、専用のソフトウェア又はハードウェアが必要である場合があり、これは、ユーザがこのデータを利用することができる場所を制限する。また、装置によっては、この制限された選択肢さえもユーザに提供しないものがあり、このような装置に入力されるデータは、その装置自体に内蔵されたツール以外ではアクセスすることが不可能である。
さらに、単一のデスクトップコンピュータを介してしかデータにアクセスできないことは、社会的状況においてこれらの装置の有用性に負の影響を有する。ユーザは、友人とデジタル写真を共有したいであろうが、すぐには、又はみんなのいる場所ではそうすることができず、いつか別のときにベースコンピュータに戻り、デジタル写真を友人に転送しなければならない。ユーザは、友人に新曲を聴かせたいであろうが、MP3プレーヤ及びヘッドフォンを介しての手渡しに制限され、2人が1つのイヤフォンを介して一度に聴くことはできない。友人2人はゲームを一緒にプレイしたであろうが、1台のPDAを共有することは非現実的である。
ユーザが電子装置に記憶されているコンテンツを使用、共有、及び操作することができるようにするとともに、装置の機能によって容易にアクセスすることができるようにするか、又は装置に適切な何らかの手段が望ましい。
デジタル装置を対話式表示面(IDS)とインタフェースさせる方法及びシステムが提示される。IDSは、デジタル装置が近づけられるとそのデジタル装置を検出し、装置を識別しようと試みる。IDSは装置と通信し、装置に記憶されている情報の対話式表現を表示する。
IDSがデジタル装置とインタフェースするように構成されるシステムも提示される。IDSは、デジタル装置が近づけられるとそのデジタル装置を検出する検出構成要素と、デジタル装置を識別する識別構成要素、デジタル装置と通信する通信構成要素とを備える。IDSは、デジタル装置に記憶されている情報の対話式表現を表示するように構成される。
コンピュータシステムが、対話式表示面(IDS)を通じてデジタル装置がアクセス可能なデジタル情報を操作することができるようにする方法を実行するコンピュータ可読プログラムコードが記憶されているコンピュータ使用可能媒体が提示される。この方法は、デジタル装置をIDSとインタフェースさせること、次に、デジタル情報の対話式表現をIDSに表示することを含む。本方法は、デジタル情報の表現を操作するための命令を受け取ること、及びデジタル情報の表現を操作するための命令に従ってデジタル情報が操作されるようにすることも含む。
対話式表示面(IDS)とインタフェースすることが可能なポータブルコンピューティング装置が提示される。ポータブルコンピューティング装置は、デジタル情報記憶装置と、デジタル情報記憶装置に結合される通信ポートと、通信ポートに結合されるプロセッサとを有する。プロセッサはポータブルコンピューティング装置を、通信ポートを通じてIDSに接続するためのソフトウェア命令を実行するように構成される。ポータブルコンピューティング装置は、複数の対話式表現をIDSに表示するように構成され、複数の対話式表現は、デジタル情報記憶装置に記憶されているデジタル情報に対応する。ポータブルコンピューティング装置は、ポータブルコンピューティング装置の物理的な動きを通じて複数の対話式表現を操作するために使用されるようにも構成される。
複数のデジタル装置に記憶されているデータを表示及び操作するための対話式表示面(IDS)が提示される。IDSは、IDSの表面を監視し、複数のデジタル装置の特徴を観察する画像検出構成要素と、複数のデジタル装置の特徴から各デジタル装置の性質を判断する認識構成要素と、複数の各デジタル装置と通信するためのネットワーク構成要素とを備える。IDSは、複数のデジタル装置に記憶されているデータの対話式表現を表示するように構成されるとともに、これらの対話式表現とのユーザの物理的な対話に応答するようにも構成される。
デジタル装置とインタフェースする対話式表示面(IDS)も提示される。IDSは、デジタル装置を位置特定し識別する画像認識システムと、デジタル装置と通信するための通信ポートとを有する。画像認識システムは、デジタル装置の物理的な動きを追跡するように構成される。IDSは、このような物理的な動きに応答して、ソフトウェア命令を実行するように構成される。
対話式表示面(IDS)をデジタル装置とインタフェースさせる方法が提示される。本方法は、IDSとデジタル装置との間に通信を確立すること、IDSの対話式表面を共通ゾーンと保護ゾーンとに分割することを含む。保護ゾーンにはデジタル装置が関連付けられる。本方法は、情報の対話式表現をIDSに表示することも含み、情報はデジタル装置に関連付けられ、対話式表現は保護ゾーン内に表示される。IDSは、対話式表現が保護ゾーン内にある間、対話式表現に関連する機能を制限するように構成される。
対話式表示面(IDS)がデジタル装置の存在に応答することができるようにする方法も提示される。本方法は、デジタル装置の存在を検出することができるようにすることを含む。本方法は、デジタル装置を識別することができるようにすること、デジタル装置がIDSと通信することができるか否かを判断することができるようにすること、デジタル装置に関連する情報を検索することができるようにすること、その情報をIDSに表示することができるようにすることも含む。
これより、本発明のいくつかの実施形態を詳細に参照する。本発明を選択的な実施形態(複数可)に関連して説明するが、これらの実施形態への本発明の限定が意図されないことが理解されるであろう。逆に、本発明は、添付の特許請求の範囲によって規定される本発明の精神及び範囲内に包含され得る代替形態、変更形態、及び均等物を包含することを意図する。
[表記及び用語]
さらに、本発明の以下の詳細な説明では、本発明の完全な理解を提供するために、多くの具体的な詳細が記される。しかし、本発明をこれらの具体的な詳細なしで、又はその均等物によって実施可能なことが当業者には認められるであろう。場合によっては、本発明の態様を不必要に曖昧にしないように、既知の方法、手順、構成要素、及び回路を詳細に説明しなかった。
以下の詳細な説明の部分は、1つの方法に関して提示され考察される。この方法の動作を説明するそのステップ及び順序は、本明細書の図面(例えば、図5、図6、及び図7)に開示されるが、このようなステップ及び順序は例示的なものである。本発明の実施形態は、他の様々なステップ又は本明細書の図面のフローチャートに記されるステップの変形の、本明細書において図示し説明する以外の順序での実行によく適している。
[例示的なコンピュータシステム]
これより図1Aを参照して、例示的なコンピュータシステム12のブロック図を示す。本明細書において説明されるコンピュータシステム12は、本発明の実施形態を実施することができる動作プラットフォームの例示的な構成を示すことが理解される。そうとは言え、本発明の範囲内で、コンピュータシステム12に代えて、異なる構成を有する他のコンピュータシステムも使用することが可能である。すなわち、コンピュータシステム12は、図1に関連して説明される要素以外の要素を含むことができる。さらに、本発明は、コンピュータシステム12のようなコンピュータシステムのみならず、本発明を可能にするように構成可能な任意のシステムで実施することが可能である。
コンピュータシステム12は、情報を通信するアドレス/データバス10、バス10に結合されて情報及び命令を処理する中央プロセッサ11、バス10に結合されて中央プロセッサ11のために情報及び命令を記憶する揮発性メモリユニット22(例えば、ランダムアクセスメモリ(RAM)、静的RAM、動的RAM等)、及びバス10に結合されてプロセッサ11のために静的情報及び命令を記憶する不揮発性メモリユニット13(例えば、読み取り専用メモリ(ROM)、プログラマブルROM、フラッシュメモリ等)を備える。コンピュータシステム12はまた、バス10に結合されて情報をコンピュータユーザに表示するオプションの表示装置15を含んでもよい。さらに、コンピュータシステム12は、情報及び命令を記憶するデータ記憶装置14(例えば、ディスクドライブ)も備える。
コンピュータシステム12は、オプションの英数字入力装置16も備える。装置16は、情報及びコマンド選択を中央プロセッサ11に通信することができる。コンピュータシステム12は、バス10に結合されてユーザ入力情報及びコマンド選択を中央プロセッサ11に通信するオプションのカーソル制御機構又は指示装置17も備える。コンピュータシステム12は、これもまたバス10に結合される信号通信インタフェース(入出力装置)18も含み、通信信号インタフェース18はシリアルポートとすることができる。通信インタフェース18はまた、無線通信機構を含んでもよい。通信インタフェース18を使用して、コンピュータシステム12は、インターネット又はイントラネット(例えば、ローカルエリアネットワーク)等の通信ネットワークを介して他のコンピュータシステムに通信可能に結合することができる。
[対話式表示面]
これより図1Bを参照して、本発明の一実施形態による対話式表示面(IDS)のブロック図を示す。IDS101は、相互接続された複数のモジュールで構成されて示される。異なる実施形態では、これらのモジュールは、ハードウェアコンポーネント、ソフトウェアプログラム、又はハードウェアとソフトウェアとの組み合わせとして実施することができる。いくつかの実施形態では、これらのモジュールの機能はより少数のモジュールに併合することができる。他の実施形態では、単一のモジュールの機能をいくつかのモジュール間で分割することができる。IDS101が少なくとも部分的にソフトウェア命令として実施される実施形態では、このような命令は、システム12等のコンピュータシステムで実行される。いくつかの実施形態では、IDS101は卓上表示面として実施され、その周囲にユーザが座るか、又は立つことができる。他の実施形態では、IDS101は壁掛け式ディスプレイとして実施される。他の実施形態では、IDS101は他の方法で実施される。
この実施形態では、IDS101は、センサ110、検出モジュール115、認識モジュール120、オブジェクト追跡モジュール125、オブジェクトマネージャ130、データ接続モジュール135、視覚化モジュール145を有するユーザインタフェースモジュール140、及びオブジェクトデータベース190を有して示される。この実施形態はオプションのネットワーク接続127も示す。
センサ110は、この実施形態では、IDS101の監視に使用される。センサ110の実施態様の幅広い選択肢が存在する。一実施形態では、センサ110は接触感知として実施される。別の実施形態では、センサ110は、IDS101の表面を監視する1つ又は複数のカメラの構成である。別の実施形態では、センサ110は、IDS101の近くに来る無線周波数識別(RFID)タグを検出するための無線周波数送受信器を備える。別の実施形態では、センサ110は、ブルートゥース又は802.11準拠信号等のオブジェクトによってブロードキャストされる無線信号を検出する送受信器を含む。
検出モジュール115は、この実施形態では、オブジェクトのIDS101との対話を検出し、オブジェクトについて特定の特徴を確立するために使用される。検出モジュール115はセンサ110に結合され、センサ110から受信されるデータを解釈する。検出モジュール115が確立しようと試みる特徴が何であるかは、センサ110の実施態様の性質に伴って変化する。センサ110がカメラを含む実施形態では、検出モジュール115は、オブジェクトの形状、色、ロケーション、近さ、及び/又は向きの測定を試みることができる。このような実施形態では、検出モジュール115は、ラベル又はバーコードの読み取り又はオブジェクト上の識別マークの記録を試みることもできる。いくつかの実施形態では、検出モジュール115は、これらの特徴を頻繁に更新して、例えば、検出されたオブジェクトの位置、向き又はIDS101からの距離の変化を記録する。
認識モジュール120は、この実施形態では、検出モジュール115からオブジェクトの特徴を受け取り、オブジェクトが何であるかを判断しようと試みる。いくつかの実施形態では、認識モジュール120は、いずれの種類のオブジェクトが検出されたか、例えば、特定のメーカーのポータブルMP3プレーヤを判断しようと試みる。他の実施形態では、認識モジュール120は、いずれの特定のオブジェクトが検出されたか、例えばJohn Smithに属するこのポータブルMP3プレーヤを判断しようと試みる。認識モジュール120は、この判断を行うために、オブジェクトの特徴についての情報にアクセスする必要がある。いくつかの実施形態では、この情報は、IDS101内の装置照合データベース(図示せず)に記憶される。他の実施形態では、認識モジュール120はネットワーク接続127にアクセスすることができ、ネットワーク上の他のどこかのコンピュータに記憶されているこのような情報にアクセスすることができ、又はこのような情報にインターネット接続を介してアクセスすることができる。いくつかの種類の情報は、所与のオブジェクトの外形又は輪郭、色、サイズ、形状、テキスト、又はセンサ110から可視であり得る他の識別記号を含む。認識モジュール120が特定のオブジェクトを識別しようと試みる実施形態では、オブジェクトの筐体の傷又は窪み等の検出された特徴を後で参照するために記憶し、認識を助けるために呼び出すことができる。
IDS101の図示の実施形態は、オブジェクト追跡モジュール125を含む。オブジェクト追跡モジュール125は、いくつかの実施形態では、検出モジュール115からロケーション及び向きの情報を受信して、検出されたオブジェクトが所与の時点でどこにあるのかを特定する。
オブジェクトマネージャ130は、この実施形態では、IDS101の検出されたオブジェクトとの対話を制御及び調整し、情報をモジュール間でやりとりする。
オブジェクトデータベース190は、この実施形態では、オブジェクトに関連する情報を記憶するために使用される。この情報は、オブジェクトを認識するために認識モジュール120によって使用される特徴を含むことができる。この情報は、データ接続モジュール135によって使用される、ネットワーク接続可能なオブジェクトと対話するためのネットワークプロトコルを含むこともできる。この情報は、様々なオブジェクトの表現又は様々なオブジェクトに記憶されているデータの種類を含むこともできる。この最後の使用法についてさらに詳細に後述する。
データ接続モジュール135は、この実施形態では、検出されたオブジェクトをIDS101にバインドするためにオブジェクトマネージャ130によって使用される。この文脈の中では、バインドは、装置の存在に対するIDSの応答を説明するために使用される。バインドは、IDS101とオブジェクトとの間に通信経路を確立することを含む。バインドは、IDS101がオブジェクトを認識しているが、オブジェクトと通信できない状況も説明する。例えば、検出されたオブジェクト及びIDS101が両方とも無線通信可能な一実施形態では、データ通信モジュール135は、無線ネットワーク接続を確立することによってオブジェクトをバインドしようと試みる。検出されたオブジェクトが、例えばコーヒーカップである別の実施形態では、データ接続モジュール135は、例えば、コーヒー店のメニューをIDS101に表示させることによってオブジェクトをバインドする。
ユーザインタフェースモジュール140は、この実施形態では、IDS101とユーザとの対話点である。IDS101が水平なテーブルであり、センサ110がタッチスクリーン又は1つ若しくは複数のカメラの構成である実施形態では、ユーザインタフェースモジュール140は、テーブルの周囲の任意の場所のユーザと対話することができる。ユーザインタフェースモジュール140は、情報をユーザに表示するため、及びユーザからの入力を受けるために使用される。
ユーザインタフェースモジュール140は、この実施形態では、視覚化モジュール145を含む。視覚化モジュール145は、さらに詳細に後述するように、検出されたオブジェクトに関連する情報を表示するために使用される。
[オブジェクトをIDSとインタフェースさせる方法]
これより図5を参照して、本発明の一実施形態による、対話式表示面(IDS)をオブジェクトとインタフェースさせる方法のフローチャート500を説明する。特定のステップがフローチャート500において開示されるが、このようなステップは例示的なものである。すなわち、本発明の実施形態は、他の(追加の)様々なステップ又はフローチャート500に記されたステップの変形の実行によく適している。フローチャート500内のステップは提示される順序と異なる順序で実行されてもよく、フローチャート500内のすべてのステップが実行されなくてもよいことが理解される。一実施形態では、フローチャート500は、コンピュータシステム112のメモリユニットに記憶され、プロセッサ11(図1)によって実行されるコンピュータ可読プログラムコードとして実施される。本発明のいくつかの実施形態では、図5において説明される方法を使用して、指先の動き又は手ぶりを検出することができる。
これよりステップ510及び図1Bを参照すると、IDS101が、センサ110を通じて、オブジェクトの接近を感知する。上述したように、異なる実施形態では、センサ110は異なる方法で実施することができる。IDS101が卓上面の一部として実施される一実施形態では、センサ110は、IDS101の表面を監視する1つ又は複数のカメラとして実施される。このような実施形態では、センサ110は、IDS101の表面に位置するオブジェクトを検出する。別の実施形態では、センサ110は、ブルートゥース技術を組み込んだオブジェクトと通信するように構成される無線周波数送受信器として実施される。この実施形態では、センサ110は、ブルートゥース対応オブジェクトがIDS101の近づけられたときに、これを検出する。
多くの実施形態では、オブジェクトを近づけることは、オブジェクトをIDS101に検出するために十分に近づけることとして定義される。例えば、一実施形態では、ブルートゥース対応装置をセンサ110が検出するのに十分にIDS101に近づけることが、オブジェクトをIDS101に近づけることを構成する。他の実施形態では、オブジェクトを近づけることは、ユーザが特定の動作をとることを必要とする。これらの後者の実施形態では、ユーザがオブジェクトをIDS101に不注意でバインドしてしまうことを避けることができる。一実施形態では、例えば、IDS101がオブジェクトをバインドしようと試みる前に、センサ110がオブジェクトをさらに遠くで検出することができる場合であっても、ユーザはブルートゥース対応オブジェクトをIDS101の表面に配置しなければならない。別の実施形態では、IDS101はオブジェクトを検出し、そのオブジェクトをIDS101にバインドするか否かを選択するための簡単なインタフェースをユーザに提供することができる。
これよりステップ515及び図1Bを参照すると、検出モジュール115は、オブジェクトの特徴を求めようとする。いずれの特徴を検出することができるかは、IDS101及びセンサ110の異なる実施形態に伴って変わる。IDS101が卓上面の部分として実施され、センサ110が1つ又は複数のカメラとして実施される一実施形態では、検出モジュール115は、オブジェクトの視覚的特徴を検出することができる。このような特徴は、オブジェクトの観察可能な外形、色、形状、及びサイズ、IDS101の表面上でのロケーション及び向き、ロゴ若しくは他の識別記号、又はセンサ110から可視のオブジェクトに見られるテキスト若しくはバーコードを含むことができるが、これらに制限されない。センサ110が無線周波数送受信器として実施される他の実施形態では、検出モジュール115は、特徴を識別するために検出されたオブジェクトを照会しようと試みることができる。いくつかの実施形態では、任意の1つの方法を通じて可能なよりも多くの識別特徴を提供するためにこれらの手法の組み合わせが使用される。
いくつかの実施形態では、検出モジュール115は、1つの特定のオブジェクトを同じ種類の別のオブジェクトから区別する固有の特徴を識別しようともする。このような固有の特徴の例は、シリアル番号、バーコード、オブジェクトの固有の傷又はマーク、及び無線ネットワーキングアダプタに関連付けられるMACアドレス等のネットワーク識別子を含む。
これよりステップ520及び図1Bを参照すると、IDS101は、認識モジュール120を通じてオブジェクトを認識しようと試みる。認識は、検出モジュール115によって観察された特徴を既知のオブジェクトのプロファイルに対して照合することを含む。いくつかの実施形態では、IDS101はオブジェクトデータベース190を含む。これらの実施形態では、認識モジュール120は、オブジェクトの特徴をデータベースに記憶されている情報と比較する。他の実施形態では、IDS101はネットワーク接続127を含む。これらの実施形態では、認識モジュール120は、例えばローカルネットワークを介して他のどこかに記憶されている情報又はインターネットを介して中央サーバに記憶されている情報にアクセスすることができる。いくつかの実施形態は、オブジェクトデータベース190とネットワーク接続127との組み合わせを組み込む。このような一実施形態では、オブジェクトデータベース190は、ネットワーク接続127を介して追加のオブジェクトプロファイルで定期的に更新される。
認識モジュール120が固有のオブジェクトを識別しようと試みる実施形態では、上述したような認識モジュール115によって観察される固有の特徴は、後の認識作業を助けるために記憶される。いくつかの実施形態では、このような固有の特徴は、固有のオブジェクトのみならず、固有のユーザを識別するためにも使用することができる。例えば、ユーザは、ポータブル音楽装置をIDS101にセットすることができる。このポータブル音楽装置は、固有の特徴を有する場合、再び認識することができる。ユーザインタフェースモジュール140は、その特定のポータブル音楽装置のユーザが最後のセッション中に関心を持ったアクティビティ又は情報を記憶するように構成することができる。装置が再び検出された場合、IDS101は、ユーザの以前のアクティビティ記録に基づいてユーザにサービスを提供することができる。
これよりステップ530及び図1Bを参照すると、IDS101は、データ接続モジュール135を通じて、オブジェクトをIDS101にバインドしようと試みる。オブジェクトが、例えばブルートゥース接続を通じてIDS101と通信することができる実施形態では、データ接続モジュール135がオブジェクトとのインタフェースに使用される。オブジェクトが、例えば共有通信手段がないことによってIDS101と通信することができない実施形態では、データ接続モジュール135は、例えばオブジェクトデータベース190に記憶されている装置関連情報にアクセスしようと試みるか、又はネットワーク接続127を介して検索可能な装置関連情報にアクセスしようと試みる。
これよりステップ540及び図1Bを参照すると、オブジェクトマネージャ130はオブジェクトに関連付けられるデータを検索しようと試みる。直接接続がオブジェクトとIDS101との間に確立されている一実施形態では、オブジェクトマネージャ130は、ネットワーク接続された装置を通じて利用可能なコンテンツ及びサービスについての情報を得ようとする。オブジェクトとの接続が可能ではない別の実施形態では、オブジェクトマネージャ130は、オブジェクトに関連する情報を検索しようと試みる。このような実施形態では、IDS101はオブジェクトに関連する情報を検索することができる。例えば、ユーザがポータブルMP3プレーヤをIDS101に配置し、このMP3プレーヤがIDS101といかなる通信手段も共有していないものとして認識される場合、IDS101はネットワーク接続を介して、その種類のポータブルMP3プレーヤ又は音楽全般に関する情報にアクセスすることができる。ポータブルMP3プレーヤが検出されるが、IDS101との共有通信手段がないこのような一実施形態では、IDS101は、音楽サービスプロバイダにコンタクトし、例えばデジタル権利管理(DRM)方式を通じてその特定のMP3プレーヤに関連付けられる音楽トラックにアクセスすることができる。別の例では、IDS101がコーヒー店に配置されることができ、その店のコーヒーカップがセンサ110から可視の固有の識別子、例えばカップの底に配置され、IDS101の表面を観察しているカメラから可視のバーコードを有することができる。
これよりステップ550及び図1Bを参照すると、オブジェクトマネージャ130は、オブジェクト及びIDS101の環境に関連するコンテキストルールをロードする。いくつかの実施形態では、検索されたデータがすべて表示に適切又は望ましいものであるとは限らない。これらの実施形態では、オブジェクトマネージャ130は、いずれの情報が表示されるか、又はどれくらいの情報が表示されるかの管理を助けるコンテキストルールを含む。例えば、IDS101がコーヒー店に配置され、ユーザが個人情報端末をIDS101とインタフェースできる場合、ユーザは、機密性のビジネスデータを誰もが見る卓上に表示させたくない可能性が高い。他の実施形態では、コンテキストデータは、データをどのように表示すべきかについてのルールを含む。例えば、公共の場では、ブルートゥース対応電話から検索されたデジタル写真は最初はブランクイメージとして表すことができ、それに対してよりプライベートな設定では、写真は画像のサムネイルとして表される。他の実施形態では、コンテキストルールは、一度に表示される情報量への制限を含む。例えば、デジタルカメラが数百枚の写真を記憶している場合、コンテキストルールは、表示を最新の20枚のみに制限することができ、残りはオプションの何らかの操作を通じて入手可能である。いくつかの実施形態では、コンテキストルールはIDS101に記憶され、IDS101によって実行される。他の実施形態では、装置は、IDS101がアクセス可能な情報を制限するように構成することができる。他の実施形態では、これらの手法の組み合わせが利用される。
これよりステップ560及び図1Bを参照すると、オブジェクトマネージャ130は、ユーザインタフェースモジュール140及び視覚化モジュール145を介してデータを表示及び対話させる。これを図2、図3、及び図4を参照して以下にさらに詳細に説明する。
[デジタル装置をIDSとインタフェースさせるシステム]
これより図2Aを参照して、本発明の一実施形態による対話式表示面(IDS)とインタフェースしているデジタル装置を示す。IDS101は、この実施形態に示されるように、テーブル表面と同様の水平表面であり、デジタル装置251はIDS101の上に置かれている。別の実施形態では、IDS101は垂直表面であり、デジタル装置251はインタフェースするためにIDS101に近づけられるが、IDS101と物理的に随時接触している必要はない。他の実施形態では、IDS101の他の実施態様及び向きが使用される。デジタル装置251は、携帯電話、PDA、デジタルカメラ、デジタルカムコーダ、又はポータブルゲームプレーヤを含むがこれらに制限されないほぼあらゆる電子装置であってよい。この実施形態では、IDS101及びデジタル装置251は、230で示されるブルートゥース接続を介してインタフェースして示され、他の実施形態では、代替のインタフェース方法が可能である。
これより図2Bを参照して、本発明の一実施形態によるIDS101と接続されているデジタル装置251を示す。一実施形態では、IDS101は、接続の存在を示すために、デジタル装置251のシャドー表現257を表示する。別の実施形態では、接続が存在することを示すために、視覚的リップル効果が表示される。別の実施形態では、接続が存在することを示すためにサウンドが再生される。他の実施形態では、接続の存在を示す他の方法が使用される。他の実施形態では、接続を示すものは提供されない。
オプションの保護ゾーン261がデジタル装置251の周りに示される。この実施形態では、このゾーンは円形であり、デジタル装置251の全方向に等しく延びる。他の実施形態では、保護ゾーン261の形状及び場所が異なる。いくつかの実施形態では、保護ゾーンは使用されない。一実施形態では、IDSは、保護ゾーン261のサイズ及び形状に対応する色付きの円を表示することによって保護ゾーン261を表す。他の実施形態は、異なる効果を表示して保護ゾーン261を表すIDS101を有する。他の実施形態は保護ゾーン261の表現を提供しない。この実施形態では、共通ゾーンが矢印211によって示される。共通ゾーン211は保護ゾーン261外のエリアである。
いくつかのデジタル情報の表現253A、253B、及び253Cは、本発明の一実施形態によってデジタル装置251の付近に示される。一実施形態では、デジタル情報の表現253はデジタル写真を表す。別の実施形態では、デジタル情報の表現253はデジタル音楽ファイルを表す。他の実施形態では、デジタル情報の表現253は他の電子データを表す。
保護ゾーン261が実施されるいくつかの実施形態では、IDS101は、データが所有者の承諾なしでは操作又はコピーされないようにする。これは、異なる実施形態において異なる方法で達成される。一実施形態では、例えば、装置251はIDS101に表示されないパスワードを含むことができ、デジタル情報253の表現によって表されるデータを操作するために、ユーザはそのパスワードを入力しなければならない。他の実施形態では、デジタル情報253の表現によって表されるデータを操作するためには、装置251を使用して適切な動きを実行して、装置251自体を利用しなければならならない。他の実施形態では、デジタル情報253の表現は装置251の移動を辿り、保護ゾーン261が別の装置251の保護ゾーンに重なるように装置251を移動させることによって、デジタル情報253の表現で表されるデータをいずれの装置251でも操作することができる。さらなる実施形態では、このようなアクセスは、第2の装置の保護ゾーン内のデータが装置251に提供されないという点で一方的である。
これより図3を参照して、本発明の一実施形態によるデジタル情報の操作を示す。一実施形態では、IDS101は、矢印301で示されるユーザの手の動きに応答し、これについて図6を参照してより詳細に説明する。ユーザ301は、デジタル情報253Bを選択し、IDS101の表面上であちこち移動させることができる。一実施形態では、デジタル情報253Bを保護ゾーン261の外側の共通ゾーン211内に移動させることができる。別の実施形態では、ユーザ301は、デジタル情報353を選択し、共通ゾーン211から保護ゾーン261内に移動させることができる。
これより図4を参照して、本発明の実施形態によるデジタル情報のさらなる操作を示す。図4Aでは、本発明の一実施形態によって、ユーザ301がいくつかのデジタル情報253A及び253Cを手の動きで掃引しており、これらのデジタル情報253A及び253CをIDS101の表面を横切って移動させている。図4Bでは、ユーザ301は、デジタル情報253Cに接触するようにデジタル装置251を移動させている。図4Cでは、ユーザは、デジタル装置251をIDS101の表面から取り除いている。図4Dでは、本発明の一実施形態によって、ユーザはデジタル装置251をIDS101の表面を横切って移動させて、保護ゾーン261内のデジタル情報の表現にデジタル装置251の動きを辿らせている。
[IDSを通じてデジタル装置がアクセス可能なデジタル情報を操作することができるようにする方法]
これより図6を参照して、本発明の一実施形態による、対話式表示面(IDS)を通じてデジタル装置がアクセス可能なデジタル情報の操作を可能にする方法のフローチャート600を説明する。特定のステップがフローチャート600において開示されるが、このようなステップは例示的なものである。すなわち、本発明の実施形態は、他の(追加の)様々なステップ又はフローチャート600に記されたステップの変形の実行によく適している。フローチャート600内のステップは提示される順序と異なる順序で実行されてもよく、フローチャート600内のステップの実行はすべてでなくてもよいことが理解される。一実施形態では、フローチャート600は、コンピュータシステム112のメモリユニットに記憶され、プロセッサ101(図1)によって実行されるコンピュータ可読プログラムコードとして実施される。
これよりステップ610及び図2、図3、及び図4を参照すると、デジタル装置251は、本発明の一実施形態によってIDS101とインタフェースする。一実施形態では、上記インタフェースは、フローチャート500に説明される方法を通じて達成される。他の実施形態では、他のインタフェース方法が利用される。
これよりステップ620及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によってデジタル装置251がアクセス可能なデジタル情報253の対話表現を表示する。一実施形態では、これは、フローチャート500のステップ560を参照して説明した方法を通じて達成される。他の実施形態では、デジタル情報253の対話表現を生成及び表示する他の方法が利用される。
これよりステップ630及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によってデジタル情報253の表現を操作するための命令を受信する。一実施形態では、ユーザ301は、IDS101上に表示されているデジタル情報の表現253Bに触れて、ディスプレイのあちこちにドラッグする。別の実施形態では、ユーザ301は、保護ゾーン261の外側のデジタル情報の表現253Bを共通ゾーン211内にドラッグすることができる。別の実施形態では、ユーザ301は、デジタル情報の表現253Bをごみ箱アイコンにドラッグすることができる。別の実施形態では、ユーザ301は、デジタル情報の表現253BをIDS101とインタフェースしている別のデジタル装置の保護ゾーンにドラッグすることができる。
いくつかの実施形態では、特定の動きが特定のコマンドに関連付けられる。例えば、一実施形態では、デジタル情報253Aで表されるデータを複製するための命令は、デジタル情報253Aを2回軽く叩くことによって実行することができる。別の実施形態では、デジタル情報253Cで表される特定のデータを装置251にコピーするための命令は、装置251をデジタル情報253Cに接触させることによって達成される。
別の実施形態では、IDS101はユーザ301の手の動きを追跡する。ユーザ301は、手でIDS101を横切って掃引させ、デジタル情報253の複数の表現を操作することができる。ユーザ301は、複数の指又は複数の手を使用して、デジタル情報253の複数の表現と同時に対話することもできる。別の実施形態では、IDS101はデジタル装置251の移動を追跡する。掃引の動きを行うことによってデジタル装置251を表現253と接触するように移動させることを使用して、デジタル情報253の表現を吸収することができ、デジタル情報253の表現をIDS101の表面から本質的に吸い出す、すなわち除去して、デジタル情報253のこれらの表現とのさらなる対話を阻止することができる。一実施形態では、IDS101は、このような吸い出し機能に適切なアニメーショングラフィックスを生成する。デジタル装置251の移動を使用して、例えばデジタル装置251を振ることによって、デジタル情報253の表現を出現させることができる。一実施形態では、IDS101は、デジタル装置251を振った後に出現するデジタル情報253の表現に適切なアニメーショングラフィックスを生成する。別の実施形態では、デジタル装置251を利用して、IDS101がエアホッケーテーブルを模倣している間に、デジタル装置251を使用してホッケーパックの表現と対話する等してデジタル情報253の表現と対話することができる。他の実施形態では、デジタル情報253の表現を操作するための命令を受け取る他の方法が利用される。別の実施形態では、デジタル装置251をIDS101の表面を横切って移動させることで、デジタル情報253の表現も同様に、表示装置251の「後を辿って」ディスプレイを横切って移動させる。
いくつかの実施形態は、デジタル装置251を使用して、保護ゾーン261にセキュリティを提供する。このような実施形態では、情報は、ドラッグツールとしてデジタル装置251を使用することによる以外、保護ゾーン261の外側にドラッグすることができない。別のこのような実施形態では、情報は保護ゾーン261の外側に全くドラッグすることができない。その代わりに、デジタル装置251がIDS101の表面を横切って移動すると、保護ゾーン261が後を辿る。デジタル装置251を、保護ゾーン261が別のデジタル装置の保護ゾーンに重なるような位置に移動させ、保護情報の表現を、両方の保護ゾーン内に同時に存在するポイントに移動させることによって、情報を2つのデジタル装置間で転送することができる。
これより図2、図3、及び図4のステップ640を参照すると、IDS101は、本発明の一実施形態によってデジタル情報253の表現を操作するために受信された命令に従って、デジタル装置251にアクセス可能なデジタル情報を操作させる。
一実施形態では、デジタル情報253の表現によって表されるデジタル情報は、IDS101にダウンロードされない。その代わりに、デジタル情報253の表現の操作によって、実際のデジタル情報が操作される。これによって、ユーザ301は、すべて各自のデジタル情報のコピーの制御を失わずに各自のデジタル装置251をIDS101とインタフェースさせ、各自のデータを操作して残すことをすることができるため、ユーザ301のセキュリティが増大する。別の実施形態では、ユーザ301が、保護ゾーン261の外側のデジタル情報の表現253Bをから共通ゾーン211内にドラッグすると、デジタル情報の表現253Bで表されるデジタル情報がIDS101にダウンロードされ、他のユーザが、デジタル情報の表現253Bをさらに操作することによってこのデジタル情報を利用することができる。別の実施形態では、ユーザ301が、保護ゾーン261の外のデジタル情報の表現253Bを共通ゾーン211内にドラッグすると、他のユーザは、デジタル情報の表現253Bを操作することができるが、デジタル情報の表現253Bによって表されるデジタル情報のコピーに制限され、デジタル情報の表現253Bによって表されるデジタル情報は、デジタル装置251からダウンロード又は削除されない。
これよりステップ650及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によってデジタル情報253の更新された表現を表示する。一実施形態では、デジタル情報253の表現によって表されたデジタル情報が、受信されたデジタル情報253の表現を操作するための命令に従って操作された後、IDS101は、デジタル装置251がアクセス可能なデジタル情報の変更された状態を反映するように、デジタル情報253の表現を更新する。
これよりステップ660及び図2、図3、及び図4を参照すると、デジタル情報253の表現は、本発明の一実施形態によってデジタル装置251がもはやIDS101の近傍にない場合にIDS101から除去される。一実施形態では、ステップ550に関連して説明した方法が利用される。他の実施形態では、他の方法が利用される。別の実施形態では、デジタル装置251がIDS101の近傍から除去されると、デジタル情報の表現253Bが先に保護ゾーン261から共通ゾーン211にドラッグされていた場合であっても、デジタル装置251に関連するデジタル情報253のあらゆる表現がIDS101から除去される。別の実施形態では、保護ゾーン261外にドラッグされていたデジタル情報253のあらゆる表現は、デジタル装置251がもはやIDS101の近傍になくなった後でも残る。
[IDSがデジタル装置の存在に応答することができるようにする方法]
これより図7を参照して、本発明の一実施形態による、IDSがデジタル装置の存在に応答することができるようにする方法のフローチャート700を説明する。特定のステップがフローチャート700において開示されるが、このようなステップは例示的なものである。すなわち、本発明の実施形態は、他の(追加の)様々なステップ又はフローチャート700に記されたステップの変形の実行によく適している。フローチャート700内のステップは提示される順序と異なる順序で実行されてもよく、フローチャート700内のステップの実行がすべてでなくてもよいことが理解される。一実施形態では、フローチャート700は、コンピュータシステム112のメモリユニットに記憶され、プロセッサ101(図1)によって実行されるコンピュータ可読プログラムコードとして実施される。
これよりステップ710及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によってデジタル装置251の検出を可能にするように構成される。一実施形態では、IDS101は、ステップ510及びステップ515を参照して上述した方法を実施するように構成される。他の実施形態では、デジタル装置251を検出する他の方法が可能である。
これよりステップ720及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によってデジタル装置251の識別を可能にするように構成される。一実施形態では、IDS101は、ステップ520を参照して考察した方法を実施するように構成される。他の実施形態では、デジタル装置251を識別する他の方法が可能である。
これよりステップ730及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によって、デジタル装置251がIDS101と通信することができるかを判断するように構成される。一実施形態では、IDS101は、ブルートゥース、802.11a、802.11b、若しくは802.11g、赤外線、UWB、物理的なドッキングステーション、USB若しくはファイヤーワイヤー等のバス接続、又は通信を可能にする他の任意の無線接続若しくは物理的な接続を含む様々なネットワーク通信手段を使用してデジタル装置251に直接問い合わせようと試みるように構成される。別の実施形態では、IDS101は、デジタル装置251との通信いついての情報をIDS101に提供する信号をデジタル装置251から受信するように構成される。
別の実施形態では、IDS101は、記憶されている情報へのアクセスを可能にするように構成される。このような情報は、ローカルに、例えばIDS101内部のデータベースに記憶することができ、特にデジタル装置251が、又はデジタル装置251が属するクラスがIDS101と通信可能であるかを指定する。このような情報はまた、IDS101が、デジタル装置251がIDS101と通信可能であるかについて外部情報を探索することができるように、ネットワーク、例えばインターネット接続を介して検索可能であってもよい。他の実施形態では、IDS101が、デジタル装置251と通信することができるかを判断することができるようにするために、他の方法が利用される。
これよりステップ740及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によって、デジタル装置251に関連する情報を検索を可能にするように構成される。一実施形態では、IDS101は、フローチャート500を参照して考察した方法を実施するように構成され、デジタル装置251に関連する情報は、デジタル装置251がアクセス可能なデジタル情報及びデジタル装置251がIDS101に提供することができる機能である。他の実施形態では、デジタル装置251に関連する情報を装置から直接検索する他の方法が可能である。
別の実施形態では、IDS101は、ネットワーク接続、例えばインターネット接続を介してデジタル装置251に関連する情報を検索することができるように構成される。この実施形態では、IDS101は、デジタル装置251が提供することができるもの又はデジタル装置251がアクセスすることができる情報以外の情報を検索することができる。例えば、デジタル装置251がMP3プレーヤである場合、IDS101はMP3プレーヤの製造業者によって提供される情報又は付加価値コンテンツを検索したり、MP3プレーヤに関連する広告を表示したり、又はMP3フォーマットデジタル音楽ファイルのオンラインショップにアクセスしたりすることができる。他の実施形態では、他の関連情報を検索することができる。
これよりステップ750及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によって、デジタル装置251に関連する検索された情報を表示するように構成される。一実施形態では、IDS101は、デジタル装置251に提供されるサービス及びデジタル装置251がアクセス可能なデジタル情報を表示するために、ステップ540を参照して説明した方法を実施するように構成される。
IDS101が、ネットワーク接続、例えばインターネット接続を介して関連情報を検索するように構成される別の実施形態では、関連情報は、IDS101上のデジタル装置251の表現の近傍に表示される。表示されるこのような情報は、検索される情報の性質に応じて対話式であってもなくてもよい。代替的な実施形態では、検索された情報をIDS101のどこにでも表示することができ、又は音楽再生等の代替的な方法を介してユーザに提示することができる。他の実施形態では、デジタル装置251に関連する情報をIDS101に表示する他の方法が可能である。
これよりステップ760及び図2、図3、及び図4を参照すると、IDS101は、本発明の一実施形態によって、IDS101に表示されているデジタル装置251に関連する情報の操作を可能にするように構成される。一実施形態では、IDS101は、IDS101に表示されているデジタル情報253の表現を操作するために、フローチャート600を参照して説明した方法を実施するように構成される。IDS101がネットワーク接続、例えばインターネット接続を介してデジタル装置251に関連する情報を検索するように構成される別の実施形態では、IDS101の対話式表面の使用を通じてIDS101に表示された情報の操作を可能にするフローチャート600を参照して説明した方法と同様の方法が可能である。他の実施形態では、IDS101に表示されたデータを操作する他の方法が可能である。
このように、本発明の実施形態を上述した。本発明を特定の実施形態において説明したが、本発明がこのような実施形態に制限されるものとして解釈されず、添付の特許請求の範囲に従って解釈されるべきであることを理解されたい。
本発明の実施形態を実施することができる例示的なコンピュータシステムのブロック図である。 本発明の一実施形態による対話式表示面(IDS)のブロック図である。 本発明の一実施形態による対話式表示面(IDS)と対話しているデジタル装置の表現の図である。 本発明の一実施形態によるIDSに接続されたデジタル装置の表現の図である。 本発明の一実施形態によるIDSに表示されたデジタル情報の操作を示す図である。 本発明の一実施形態によってユーザが手ぶりによっていくつかのデジタル情報を掃引して、これらのデジタル情報をIDSの表面にわたって移動させるところを示す図である。 本発明の一実施形態によってユーザが1つのデジタル情報にコンタクトするようにデジタル装置を移動させるところを示す図である。 本発明の一実施形態によってユーザがデジタル装置をIDSの表面から離すところを示す図である。 本発明の一実施形態によってユーザがデジタル装置をIDSの表面にわたって移動させるところを示す図である。 本発明の一実施形態による、対話式表示面(IDS)をデジタル装置とインタフェースさせる方法のフローチャートである。 本発明の一実施形態による、対話式表示面(IDS)を通じてデジタル装置がアクセス可能なデジタル情報の操作を可能にする方法のフローチャートである。 IDSがデジタル装置の存在に応答することができるようにする本発明の一実施形態による方法のフローチャートである。

Claims (10)

  1. 対話式表示面(IDS)(101)とデジタル装置(251)とをインタフェースする方法であって、
    前記デジタル装置(251)が前記IDS(101)に近づけられると前記デジタル装置(251)を検出し(510)、
    前記デジタル装置(251)を識別し(515)、
    前記IDSと前記デジタル装置との間に通信を確立し(530)、
    前記デジタル装置(251)に関連付けられる情報の対話式表現(253)を前記IDS(101)に表示すること(560)を含むことを特徴とする方法。
  2. 前記デジタル装置(257)の表現を前記IDS(101)に表示すること(560)をさらに含み、
    前記対話式表現(253)を表示すること(560)は、前記対話式表現(253)を前記IDS(101)のいくらかの部分にわたって前記デジタル装置(257)の前記表現から取り出すように表示させることを含むことを特徴とする請求項1に記載の方法。
  3. 前記デジタル装置(251)が前記IDS(101)の近傍から外れるときに、前記対話式表現(253)を前記IDS(101)から除去することをさらに含むことを特徴とする請求項1に記載の方法。
  4. 前記IDS(101)は水平表面(211)を備え、
    前記デジタル装置(251)を検出すること(510)は、前記デジタル装置(251)が前記水平IDS(101)上に配置されるときに前記デジタル装置(251)を検出することを含むことを特徴とする請求項1に記載の方法。
  5. 前記対話式表現を表示することは、
    前記デジタル装置(251)と指定されたコンテキストとに関連付けられる情報の対話式表現(253)を表示することをさらに含むことを特徴とする請求項2に記載の方法。
  6. デジタル装置(251)とインタフェースするように構成される対話式表示面(IDS)(101)を備えるシステムであって、
    前記デジタル装置(251)が前記IDS(101)に近づけられると前記デジタル装置(251)を検出する検出構成要素(115)と、
    前記検出構成要素(115)に結合され、前記デジタル装置(251)を識別する識別構成要素(120)と、
    前記識別構成要素(120)に結合され、前記デジタル装置(251)と通信する通信構成要素(127)とを含み、
    前記IDS(101)は、前記デジタル装置(251)に記憶されている情報の対話式表現(253)を表示するように構成されることを特徴とするシステム。
  7. 前記システムはデジタル装置(251)をさらに備え、
    前記デジタル装置(251)は、
    デジタル情報記憶装置と、
    前記デジタル情報記憶装置に結合される通信ポートと、
    前記通信ポートに結合され、前記通信ポートを通じて前記IDSに接続するためのソフトウェア命令を実行するように構成されるプロセッサとを備えることを特徴とする請求項6に記載のシステム。
  8. 対話式表示面(IDS)(101)を通じてデジタル装置(251)がアクセス可能なデジタル情報の操作を可能にする方法をコンピュータシステムに実行させるコンピュータ可読プログラムコードを記憶しているコンピュータ使用可能媒体であって、前記方法は、
    前記デジタル装置(251)を前記対話式表示面(101)とインタフェースさせ(610)、
    前記デジタル情報の対話式表現(253)を前記IDS(101)に表示し(620)、
    前記デジタル情報の前記表現(253)を操作するための命令を受信し(630)、
    前記デジタル情報の前記表現(253)を操作するための前記命令に従って、前記デジタル情報を操作させること(640)を含むことを特徴とするコンピュータ使用可能媒体。
  9. 前記対話式表現を表示することは、前記対話式表現(253)を前記IDS(101)にわたって散らばって表示させることをさらに含むことを特徴とする請求項8に記載のコンピュータ使用可能媒体。
  10. 前記デジタル装置(257)の表現を前記IDS(101)上の前記デジタル装置(251)の近傍に表示することをさらに含むことを特徴とする請求項9に記載のコンピュータ使用可能媒体。
JP2009506627A 2006-04-20 2007-04-20 デジタル装置を対話式表示面とインタフェースさせる方法及びシステム Expired - Fee Related JP4777458B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/408,496 US8736547B2 (en) 2006-04-20 2006-04-20 Method and system for interfacing a digital device with an interactive display surface
US11/408,496 2006-04-20
PCT/US2007/009772 WO2007124122A2 (en) 2006-04-20 2007-04-20 Method and system for interfacing a digital device with an interactive display surface

Publications (2)

Publication Number Publication Date
JP2009534751A true JP2009534751A (ja) 2009-09-24
JP4777458B2 JP4777458B2 (ja) 2011-09-21

Family

ID=38566161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009506627A Expired - Fee Related JP4777458B2 (ja) 2006-04-20 2007-04-20 デジタル装置を対話式表示面とインタフェースさせる方法及びシステム

Country Status (5)

Country Link
US (1) US8736547B2 (ja)
JP (1) JP4777458B2 (ja)
KR (1) KR101097700B1 (ja)
CN (1) CN101479693B (ja)
WO (1) WO2007124122A2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128563A (ja) * 2009-12-21 2011-06-30 Canon Inc 表示装置、表示システム、及び表示制御方法
JP2012503801A (ja) * 2008-09-24 2012-02-09 マイクロソフト コーポレーション 物体検出およびユーザーセッティング
WO2014073345A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
JP2015082168A (ja) * 2013-10-22 2015-04-27 シャープ株式会社 画像表示装置
JP2015138291A (ja) * 2014-01-20 2015-07-30 キヤノン株式会社 入力制御装置、入力制御方法及びプログラム
JP2018028954A (ja) * 2017-11-28 2018-02-22 シャープ株式会社 画像表示方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111079A2 (en) 2007-03-14 2008-09-18 Power2B, Inc. Interactive devices
US10452207B2 (en) 2005-05-18 2019-10-22 Power2B, Inc. Displays and information input devices
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7714265B2 (en) 2005-09-30 2010-05-11 Apple Inc. Integrated proximity sensor and light sensor
US8417537B2 (en) 2006-11-01 2013-04-09 Microsoft Corporation Extensible and localizable health-related dictionary
US8533746B2 (en) * 2006-11-01 2013-09-10 Microsoft Corporation Health integration platform API
US20080104012A1 (en) * 2006-11-01 2008-05-01 Microsoft Corporation Associating branding information with data
US8006002B2 (en) * 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US8031164B2 (en) 2007-01-05 2011-10-04 Apple Inc. Backlight and ambient light sensor system
US8698727B2 (en) 2007-01-05 2014-04-15 Apple Inc. Backlight and ambient light sensor system
US7957762B2 (en) * 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US8693877B2 (en) 2007-03-09 2014-04-08 Apple Inc. Integrated infrared receiver and emitter for multiple functionalities
US7979315B2 (en) * 2007-03-14 2011-07-12 Microsoft Corporation Virtual features of physical items
KR101143010B1 (ko) * 2007-04-09 2012-05-08 삼성전자주식회사 디지털 기기 간의 인터페이스 장치 및 방법
US7884805B2 (en) * 2007-04-17 2011-02-08 Sony Ericsson Mobile Communications Ab Using touches to transfer information between devices
US20090176451A1 (en) * 2008-01-04 2009-07-09 Microsoft Corporation Encoded color information facilitating device pairing for wireless communication
US8682960B2 (en) 2008-03-14 2014-03-25 Nokia Corporation Methods, apparatuses, and computer program products for providing filtered services and content based on user context
JP5086867B2 (ja) * 2008-03-31 2012-11-28 オリンパスイメージング株式会社 デジタルカメラ
US8135992B2 (en) * 2008-04-15 2012-03-13 At&T Mobility Ii Llc Systems and methods for providing interactive customer support
JP5661234B2 (ja) * 2008-06-25 2015-01-28 キヤノン株式会社 データ制御装置、データ制御方法およびプログラム
US8069081B2 (en) * 2008-09-23 2011-11-29 Microsoft Corporation Targeted advertising using object identification
KR20100109686A (ko) * 2009-04-01 2010-10-11 삼성전자주식회사 Gui 제공방법 및 이를 적용한 멀티미디어 기기
US20100287513A1 (en) * 2009-05-05 2010-11-11 Microsoft Corporation Multi-device gesture interactivity
KR101651859B1 (ko) 2009-06-05 2016-09-12 삼성전자주식회사 사용자별 ui 제공방법 및 이를 적용한 디바이스
CN101697110B (zh) * 2009-10-26 2015-06-24 孟智平 一种同步异构显示终端交互控制方法及系统
KR101157333B1 (ko) * 2010-01-29 2012-06-15 주식회사 팬택 아이템을 제어하기 위한 디바이스들, 그를 이용한 아이템 제어 시스템 및 그 방법
JP2011248768A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
US9009738B2 (en) * 2011-03-17 2015-04-14 Microsoft Technology Licensing, Llc Device identification using device functions
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
JP5880916B2 (ja) 2011-06-03 2016-03-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6196017B2 (ja) 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9146304B2 (en) 2012-09-10 2015-09-29 Apple Inc. Optical proximity sensor with ambient light and temperature compensation
KR20140057087A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법
US9729211B2 (en) 2012-11-19 2017-08-08 Bose Corporation Proximity based wireless audio connection
IN2015CH02869A (ja) * 2015-06-09 2015-07-17 Wipro Ltd
WO2017052502A1 (en) 2015-09-22 2017-03-30 Hewlett-Packard Development Company, L.P. Display devices with virtual representations of electronic devices
WO2018080405A1 (en) * 2016-10-31 2018-05-03 Suwonpakprak Sasis Interactive display system and device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204239A (ja) * 2000-10-24 2002-07-19 Sony Corp 情報処理装置および方法、電子機器、情報処理システム、並びに記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304234A (ja) * 1997-04-24 1998-11-13 Sony Corp 撮像システム、及びビデオカメラ装置
US6512850B2 (en) * 1998-12-09 2003-01-28 International Business Machines Corporation Method of and apparatus for identifying subsets of interrelated image objects from a set of image objects
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
US20030025738A1 (en) 2001-07-31 2003-02-06 Eastman Kodak Company User interface including portable display for use with multiple electronic devices
US7535463B2 (en) * 2005-06-15 2009-05-19 Microsoft Corporation Optical flow-based manipulation of graphical objects
US7970870B2 (en) * 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204239A (ja) * 2000-10-24 2002-07-19 Sony Corp 情報処理装置および方法、電子機器、情報処理システム、並びに記録媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012503801A (ja) * 2008-09-24 2012-02-09 マイクロソフト コーポレーション 物体検出およびユーザーセッティング
JP2011128563A (ja) * 2009-12-21 2011-06-30 Canon Inc 表示装置、表示システム、及び表示制御方法
WO2014073345A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
JPWO2014073345A1 (ja) * 2012-11-09 2016-09-08 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
US9753534B2 (en) 2012-11-09 2017-09-05 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
US9933848B2 (en) 2012-11-09 2018-04-03 Sony Corporation Information processing apparatus, information processing method for controlling display of virtual object
US10209770B2 (en) 2012-11-09 2019-02-19 Sony Corporation Information processing apparatus and information processing method
US10528124B2 (en) 2012-11-09 2020-01-07 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
US11036286B2 (en) 2012-11-09 2021-06-15 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
JP2015082168A (ja) * 2013-10-22 2015-04-27 シャープ株式会社 画像表示装置
JP2015138291A (ja) * 2014-01-20 2015-07-30 キヤノン株式会社 入力制御装置、入力制御方法及びプログラム
JP2018028954A (ja) * 2017-11-28 2018-02-22 シャープ株式会社 画像表示方法

Also Published As

Publication number Publication date
KR20080109869A (ko) 2008-12-17
KR101097700B1 (ko) 2011-12-22
WO2007124122A2 (en) 2007-11-01
US20070266185A1 (en) 2007-11-15
CN101479693B (zh) 2015-12-09
WO2007124122A3 (en) 2008-01-03
CN101479693A (zh) 2009-07-08
US8736547B2 (en) 2014-05-27
JP4777458B2 (ja) 2011-09-21

Similar Documents

Publication Publication Date Title
JP4777458B2 (ja) デジタル装置を対話式表示面とインタフェースさせる方法及びシステム
KR102423826B1 (ko) 사용자 단말 장치 및 그의 제어 방법
CN106462354B (zh) 管理多个显示窗口的设备、方法和图形用户界面
AU2013360585B2 (en) Information search method and device and computer readable recording medium thereof
TWI610201B (zh) 手寫筆的計算環境
US8433759B2 (en) Direction-conscious information sharing
TWI585669B (zh) 用於活動連續性之方法、非暫時性電腦可讀取儲存媒體及電子器件
TWI475468B (zh) 可攜式裝置、資料傳輸系統及其相關顯示共享方法
US10942993B2 (en) User terminal apparatus having a plurality of user modes and control method thereof
TWI506467B (zh) 用於隔離被鎖定裝置上的所接收資訊之方法、系統及電腦儲存媒體
Kray et al. User-defined gestures for connecting mobile phones, public displays, and tabletops
CN104081319B (zh) 信息处理设备和信息处理方法
CN103262008B (zh) 智能无线鼠标
CN104238902B (zh) 堆栈式标签视图
CN105955587B (zh) 一种隐藏应用图标显示方法及装置
TW201915702A (zh) 管理和映射多面觸摸
US20140356843A1 (en) Portable apparatus and screen displaying method thereof
CN107077295A (zh) 一种快速分屏的方法、装置、电子设备、显示界面以及存储介质
US20130019201A1 (en) Menu Configuration
CN110413175A (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
EP2891941A1 (en) Convertible device and method of controlling therefor
CN103425426A (zh) 处理与多触摸相对应的功能的方法和电子设备
EP3413548A1 (en) Method, apparatus, and recording medium for interworking with external terminal
CN104937553A (zh) 用于协商对共享音频或视觉资源的控制的系统和方法
US9619134B2 (en) Information processing device, control method for information processing device, program, and information storage medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110629

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4777458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees