JP2016513833A - デバイスへの特定のオブジェクト位置の提供 - Google Patents

デバイスへの特定のオブジェクト位置の提供 Download PDF

Info

Publication number
JP2016513833A
JP2016513833A JP2015561485A JP2015561485A JP2016513833A JP 2016513833 A JP2016513833 A JP 2016513833A JP 2015561485 A JP2015561485 A JP 2015561485A JP 2015561485 A JP2015561485 A JP 2015561485A JP 2016513833 A JP2016513833 A JP 2016513833A
Authority
JP
Japan
Prior art keywords
display
computing device
individual
shared
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015561485A
Other languages
English (en)
Other versions
JP2016513833A5 (ja
JP6433923B2 (ja
Inventor
パフド，ミッシェル
グレボリオ，ピエール・ピー・エヌ
ヒンクリー，ケネス・ピー
バクストン，ウィリアム・エイ・エス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2016513833A publication Critical patent/JP2016513833A/ja
Publication of JP2016513833A5 publication Critical patent/JP2016513833A5/ja
Application granted granted Critical
Publication of JP6433923B2 publication Critical patent/JP6433923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

共有デバイスに特定のオブジェクト位置を提供させるための技術。これらの技術は、コンピューティングデバイスを個々のデバイスに接続することを含むことができる。個々のデバイスは、オブジェクトを共有デバイスに送信し、かつ共有デバイスのディスプレイ上の初期オブジェクト位置に表示することができる。初期オブジェクト位置は、個々のデバイスの動きに応答して更新され、かつオブジェクトは、ディスプレイ上の更新されたオブジェクト位置に表示され得る。オブジェクト位置は、信号に応答して固定され、かつオブジェクトは、固定されたオブジェクト位置に表示され得る。

Description

[0001]コンピューティングデバイスは、今日の社会に遍在している。多数の人々が、極めて特定の操作を実行するためにアプリケーションやソフトウェアを搭載することができるコンピューティングデバイスを所有している。これらのデバイスは、適切なソフトウェアが搭載されたとき、デバイスを制御し、他のデバイスと情報を交換し、かつその他の機能を実行するために使用され得る。
[0002]第１のコンピューティングデバイスから第２のコンピューティングデバイスへデータを通信する場合、通信されるデータは、第２のデバイス（すなわち、受信デバイス）により決定されている第２のデバイス上のデフォルトの場所に記憶され、かつ／または表示されることが多い。上手くすれば、第１のコンピューティングデバイスのユーザーは、データを記憶するために使用されるフォルダーを選択することによるなど、第２のデバイス上のデータを記憶する場所を指定することができる。
[0003]個々のデバイス（例えば、移動体コンピューティングデバイスなど）から受信されたオブジェクトの位置決めを可能にし、かつ共有デバイス（例えば、共有ディスプレイなど）上への表示に利用可能とする技術およびシステムが本明細書に記載されている。共有デバイス上のオブジェクトの位置決めは、部分的には、個々のデバイスに関連するユーザーの動きおよび／または個々のデバイスの動きによって決まり得る。
[0004]例示的な技法には、共有デバイスと個々のデバイス間の通信接続を生成することが含まれ得る。デバイス間の接続が確立された後、個々のデバイス上で選択されたオブジェクトは、個々のデバイスから共有デバイスへ送信され、かつ共有デバイスのディスプレイ上の初期オブジェクト位置に表示され得る。オブジェクト位置は、個々のデバイスまたは個々のデバイスを操作するユーザーの動きに応答して更新され得る。オブジェクト位置は、トリガーイベントに応答して固定され、かつ、オブジェクトは、少なくとも一時的には、共有デバイスによって固定されたオブジェクト位置に表示され得る。
[0005]本概要は、発明を実施するための形態の中でさらに後述される概念のいくつかを簡略化された形態で紹介するために提供されるものである。本概要は、特許請求された主題の主要な特徴または本質的な特徴を特定することを意図するものでも、特許請求された主題の範囲を制限するために使用されることを意図したものでもない。
[0006]発明を実施するための形態は、添付の図面を参照して説明される。図面において、参照番号の最上位桁は、参照番号が最初に現れる図面を識別するものである。異なる図面における同一の参照番号は、類似または同一の項目を示す。
[0007]コンピューティングデバイスに特定のオブジェクト位置を提供させるための例示的コンピューティング環境を示す図である。 [0008]図１に示された共有デバイスの例示的アーキテクチャを示す図である。 [0009]図１に示された個々のデバイスの例示的アーキテクチャを示す図である。 [0010]コンピューティングデバイスにオブジェクトの特定の位置を提供させる例示的処理過程を示す図である。 [0011]共有デバイスが個々のデバイスまたはユーザーの位置を検出する場合の、コンピューティングデバイスに特定のオブジェクト位置を提供させる例示的処理過程を示す図である。 [0012]個々のデバイスが共有デバイスに対して位置情報を提供する場合の、コンピューティングデバイスに特定のオブジェクト位置を提供させる例示的処理過程を示す図である。 [0013]コンピューティングデバイスに送信されたオブジェクトを編集するための例示的ユーザーインターフェイスを示す図である。
概要
[0014]本開示は、部分的には、個々のデバイス（例えば、移動体コンピューティングデバイスなど）と共有デバイス（例えば、共有ディスプレイなど）との間でオブジェクトを送信し、かつ配置するために使用される操作を対象としている。本開示の実施形態は、個々のデバイスから、共有デバイスに関連付けられたディスプレイ上にオブジェクトを配置するために、シームレスかつ直感的なコピーペーストおよび位置制御を提供する。ユーザーがオブジェクトをディスプレイに「フリックする」ことは可能であるが、オブジェクトがディスプレイ上に受信された後でのユーザーによる位置決め制御を何ら提供していない従来技術とは異なり、本開示の実施形態は、オブジェクトがディスプレイによって受信された後、オブジェクトを送信したユーザーがオブジェクトをディスプレイ上に正確に配置することを可能とする。
[0015]本開示のいくつかの態様において、共有デバイスは、例えば、ハンドシェイク、情報のペアリング、資格情報の交換などの接続プロトコルを実行することにより、および／またはその他の接続プロトコルを使用することにより、個々のデバイスとの通信接続を生成することができる。共有デバイスは、個々のデバイスからオブジェクトを受信することができる。例えば、個々のデバイスは、接続プロトコルの間に交換された共有デバイスのハードウェアアドレスを使用してオブジェクトを共有デバイスに送信することができる。共有デバイスは、初期オブジェクト位置にオブジェクトを表示することができる。
[0016]いくつかの実施形態では、共有デバイスは、個々のデバイスまたはユーザーの位置を制御位置として検出し、次いで制御位置の変化に応答してオブジェクト位置を更新することによりオブジェクトの位置を更新することができる。共有デバイスは、信号（例えば、終了信号など）の受信、所定の時間の満了、個々のデバイス動きの停止などのトリガーイベント、および／またはその他のトリガーイベントに応答して、特定のオブジェクト位置にオブジェクトを固定することができる。
[0017]様々な実施形態において、個々のデバイスは、共有デバイスが共有デバイスのディスプレイ上にオブジェクトを配置することを可能とするために位置情報を提供することができる。例えば、位置情報は、個々のデバイスにより生成された画像を含むことができ、画像は、オブジェクトおよび共有デバイスに関連した参照点を含む。次いで、共有デバイスは、位置情報を使用して、共有デバイスに関連付けられたディスプレイ上にオブジェクトを配置することができる。
例示的環境
[0018]図１は、オブジェクトが個々のデバイスから送信され、かつ共有デバイスに関連付けられたディスプレイ上の特定の位置に配置され得る例示的コンピューティング環境１００を示す。いくつかの実施形態において、環境１００は、ユーザー１０６により操作される個々のデバイス１０４と通信する共有デバイス１０２を含むことができる。共有デバイス１０２は、汎用コンピュータ、１つまたは複数のサーバー、セットトップボックス、ゲーム用コンソール、または別のデバイス（例えば、携帯電話）とデータ交換をし、かつ出力（例えば、視覚的表示）を生成する能力のある任意のその他のコンピューティングデバイスであり得る。これらのおよびその他の例では、共有デバイス１０２は、１つまたは複数のコンピューティングデバイス（例えば、個々のデバイス１０４）によりアクセスされ得る。
[0019]一方、いくつかの例では、個々のデバイス１０４は、携帯コンピュータ、携帯電話（例えば、スマートフォン）、パーソナルコンピュータ、ラップトップコンピュータ、携帯情報端末（ＰＤＡ）、ゲーム用コンソール、パーソナルメディアプレーヤー（ＰＭＰ）、デジタル静止画カメラ、デジタルビデオカメラ、パーソナルナビゲーション装置、または、様々なデバイス（例えば、ディスプレイ）と共に使用され得る、別のデバイス（例えば、感知装置）とデータを交換し、かつ出力（例えば、視覚的表示）を生成する能力のある任意のその他のコンピューティングデバイスであり得る。
[0020]いくつかの実施形態では、共有デバイス１０２は、個々のデバイス１０４および１つまたは複数の他のコンピューティングデバイスと通信することができる。これらの例では、個々のデバイス１０４および他のコンピューティングデバイスは、共有デバイス１０２と関連付けられたディスプレイ上でオブジェクトを表示し、かつ／または共有することができる。例えば、個々のデバイス１０４および他のコンピューティングデバイスは、共有デバイス１０２にオブジェクトをコピーおよびペーストし、かつディスプレイ上の所望の位置にオブジェクトを表示することができる。オブジェクトは、アプリケーション、サービス、文書、データ、グラフ、写真、マルチメディア（例えば、テキスト、オーディオ、画像、アニメーション、ビデオ）、ゲーム、電子メール、オンラインチャットの記録、ソーシャルネットワーキングプロファイル、投稿、およびユーザーが他人と共有したいその他のファイルであり得る。いくつかの実施形態では、オブジェクトの選択は、同一の種類のオブジェクトを選択すること、および／または異なる種類のオブジェクトの組み合わせを含めて選択することを含み得る。いくつかの実施形態では、選択には、アプリケーションのサブセット（すなわち、ダイアログボックス）を含むことができる。
[0021]共有デバイス１０２は、個々のデバイス１０４が共有デバイス１０２の近傍にある場合に、個々のデバイス１０４との接続を確立することができる。接続は、共有デバイス１０２または個々のデバイス１０４によって初期化され得る。いくつかの例では、接続は、ネットワーク１０８を介して確立され得る。ネットワーク１０８は、ケーブルネットワーク、インターネット、および無線ネットワークなど（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、携帯電話網など）の複数の異なる種類のネットワークの任意の１つまたは組み合わせを含むことができる。
[0022]いくつかの実施形態では、ユーザー１０６は、個々のデバイス１０４のインターフェイス１１２上でオブジェクト１１０を選択し、次いで、オブジェクト１１０をディスプレイ１１４にコピーすることができる。選択されたオブジェクト１１０を受信した後、個々のデバイス１０４は、オブジェクト１１０を共有デバイス１０２に送信することができる。例えば、個々のデバイス１０４は、接続プロトコルの間に交換された共有デバイスのハードウェアアドレスを使用して、オブジェクト１１０を共有デバイス１０２に送信することができる。共有デバイス１０２は、ディスプレイ１１４の初期オブジェクト位置にオブジェクト１１０を表示することができる。いくつかの例では、初期オブジェクト位置は、共有デバイス１０２または個々のデバイス１０４が動作しているタスクなどの、所定の規則またはコンテキストに基づいて決定され得る。
[0023]いくつかの実施形態では、初期オブジェクト位置は、センサー１１６またはディスプレイ１１４に対してのユーザー１０６および／または個々のデバイス１０４の位置に基づき決定され得る。これらの例では、初期オブジェクト位置は、ユーザー１０６および／または個々のデバイス１０４の基準となる特徴に関連付けられ得る。例えば、ディスプレイ１１４は、複数のディスプレイを含むことができ、かつ初期オブジェクト位置は、ユーザー１０６または個々のデバイス１０４が狙いとする複数のディスプレイの内の１つのディスプレイ上とすることができる。
[0024]いくつかの実施形態では、共有デバイス１０２は、センサー１１６を介して個々のデバイス１０４の位置を検出することができる。これらの例では、センサー１１６は、個々のデバイス１０４および／またはユーザー１０６の付属物の動きを検出し、かつ／または追跡することができる。例えば、センサー１１６は、特定のアイテム（例えば、個々のデバイス１０４など）の動きを追跡する、かつ／または人（例えば、ユーザー１０６など）の動きを追跡する能力のある動き検出センサーであり得る。従って、ユーザー１０６は、センサー１１６により追跡される、個々のデバイス１０４および／または付属物を移動させることによりディスプレイ１１４上のオブジェクトのオブジェクト位置を制御することができる。共有デバイス１０２は、センサー１０６により受信した個々のデバイス１０４の動きに応答してオブジェクト位置を更新し、次いで、更新されたオブジェクト位置にオブジェクト１１０を表示することができる。
[0025]共有デバイス１０２は、信号（例えば、終了信号など）の受信、所定の時間の満了、個々のデバイスまたはユーザーの動きの停止などの、トリガーイベント、および／またはその他のトリガーイベントに応答してオブジェクトを特定のオブジェクト位置に固定することができる。例えば、オブジェクト位置は、共有デバイス１０２が停止信号（例えば、ユーザー１０６が個々のデバイス１０４から指を離す、など）を受信するまで更新され得る。停止信号を受信すると、共有デバイス１０２は、オブジェクト位置を固定し、かつ固定されたオブジェクト位置にオブジェクト１１０を表示することができる。
[0026]様々な実施形態では、個々のデバイス１０４は、センサー１１６を使用することなくディスプレイ１１４上にオブジェクト１１０の位置決めを可能とする共有デバイス１０２へのオブジェクト位置決め情報を送信することができる。いくつかの実施形態では、オブジェクト位置情報は、個々のデバイス１０４のカメラにより捕捉された画像を含むことができる。例えば、画像は、個々のデバイス１０４上に描画されたオブジェクト１１０と重ね合せることができる、ディスプレイ１１４と関連付けられた基準となる特徴を含むことができる。重ね合わされたオブジェクトは、基準となる特徴に関する位置情報を提供することができ、オブジェクトの位置情報を解析した後、共有デバイス１０２がオブジェクト１１０をディスプレイ上の特定の位置に配置することを可能とし得る。ユーザー１０６が個々のデバイス１０４（従ってカメラ）を移動すると、オブジェクトおよび基準となる特徴の相対位置が変化し得る。個々のデバイス１０４は、トリガーイベントが発生するまでの間、共有デバイス１０２に対してオブジェクトの位置情報を継続的に更新し、かつ送信することができる。オブジェクトの位置情報の受信に応じて、共有デバイス１０２は、オブジェクトの位置情報に対応した更新されたオブジェクト位置にオブジェクト１１０を表示することができる。共有デバイスは、トリガーイベントに応答して特定のオブジェクト位置にオブジェクトを固定することができる。例えば、オブジェクト位置は、個々のデバイス１０４がオブジェクト位置情報の送信を停止するまで更新される。共有デバイス１０２は、そこで、オブジェクト位置を固定し、かつ固定されたオブジェクト位置にオブジェクト１１０を表示することができる。
[0027]いくつかの実施形態では、環境１００はまた、サービス（例えば、クラウドストレージ、外部コンテンツ、など）を共有デバイス１０２および／または個々のデバイス１０４に提供するサービスプロバイダー１２０に関連付けられたサーバー１１８を含むことができる。いくつかの例では、共有デバイス１０２と対話している間、個々のデバイス１０４は、ネットワーク１０８を介してサービスプロバイダー１２０のサービスにアクセスすることができる。例えば、ユーザー１０６は、サービスプロバイダー１２０にマッピングサービスを要求することができる。共有デバイス１０２は、マッピング情報（例えば、地図）を受信し、かつ地図情報をディスプレイ１１４上に描くことができる。また、いくつかのマッピング情報は、個々のデバイス１０４に提供され得るが、このマッピング情報は共有デバイス１０２に提供されているマッピング情報と異なっていてもよい。
例示的アーキテクチャ
[0028]図２は、図１に示した共有デバイスの例示的なアーキテクチャを示す。図２に示される共有デバイス１０２および個々のデバイス１０４は、可能性のあるコンピューティングデバイスの単なる例であり、コンピュータの利用または機能の範囲およびネットワークアーキテクチャに対して何らかの限定を設けることを意図したものではない。共有デバイス１０２および個々のデバイス１０４は、コンピューティングデバイスの例に示された構成要素のいずれか１つまたは組み合わせに関してなんらかの依存関係または要件を有していると解釈されることを意図するものではない。
[0029]あるいは、または加えて、共有デバイス１０２および個々のデバイス１０４に関して本明細書に記載された機能は、少なくとも部分的には、１つまたは複数のハードウェアロジックコンポーネントにより実行され得る。例えば、限定することなく、使用され得るハードウェアロジックコンポーネントの種類の例としては、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。
[0030]いくつかの実施形態では、共有デバイス１０２は、少なくとも１つの処理ユニット２０２およびシステムメモリ２０４を含むことができる。厳密な構成およびコンピューティングデバイスの種類に応じて、システムメモリ２０４は、揮発性（ＲＡＭなど）、不揮発性（ＲＯＭ、フラッシュメモリ、など）、またはこれら２つのある組み合わせであり得る。システムメモリ２０４は、典型的には、オペレーティングシステム２０６、１つまたは複数のプログラムモジュール２０８を含み、かつプログラムデータ２１０およびデバイスデータ２１２を含み得る。いくつかの例では、デバイスデータ３１６は、共有デバイス１０２に接続されている、および／または接続されるべきデバイス（例えば、個々のデバイス１０４）に関連した情報を記憶することができる。プログラムモジュール２０８は、通信モジュール２１４、センサーモジュール２１６、ロケーションモジュール２１８、ディスプレイモジュール２２０、および編集モジュール２２２を含むことができ、それぞれ順番に説明される。
[0031]通信モジュール２１４は、個々のデバイス１０４および／またはサーバー１１８などのデバイスと通信するように構成され得る。いくつかの実施形態では、通信モジュール２１４は、ネットワーク１０８を介して個々のデバイス１０４との接続を初期化し、かつ確立することができる。例えば、通信モジュール２１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）信号を復調し、かつ／または個々のデバイス１０４などのＢｌｕｅｔｏｏｔｈ（登録商標）デバイスの状態およびモードを制御することができる。いくつかの例では、通信モジュール２１４は、個々のデバイスが共有デバイスの近傍にある場合、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクなどの接続を生成するために個々のデバイス１０４とのハンドシェイクを実行し、かつ／または確立することができる。これらの例では、認証資格情報が、ハンドシェイク中に共有デバイス１０２と個々のデバイス１０４間で交換され得る。
[0032]接続が共有デバイス１０２と個々のデバイス１０４間に確立されると、通信モジュール２１４は、デバイス間に確立された通信プロトコルを介して個々のデバイス１０４からオブジェクト１１０を受信することができる。受信されたオブジェクト１１０は、ディスプレイモジュール２２０によってディスプレイ１１４上の初期オブジェクト位置に表示され得る。いくつかの実施形態では、ディスプレイモジュール２２０は、オブジェクト１１０を表示するためにディスプレイ１１４上の初期オブジェクト位置に影付きで示すことができる。影は、ユーザー１０６の動きに応答してディスプレイ１１４上で動かされ得る。影は、オブジェクト１１０のレンダリング、半透明のオブジェクト１１０のレンダリング、プレースホルダ、および／またはその他の情報／画像を含むことができる。いくつかの実施形態では、ディスプレイ１１４は、複数のディスプレイおよび／またはその他のデバイスを含むことができ、しかも影は個々のデバイスの目的に基づき適切なディスプレイ上に出現させることができる。
[0033]いくつかの実施形態では、初期オブジェクト位置は、共有デバイス１０２および／または個々のデバイス１０４が動作しているタスクなどの、所定の規則および／またはコンテキストに基づき決定され得る。いくつかの例では、初期オブジェクト位置はまた、ディスプレイに対する距離に関連した個々のデバイス１０４またはユーザー１０６の付属物の位置に基づき決定され得る。
[0034]センサーモジュール２１６は、個々のデバイス１０４および／またはユーザー１０６の付属物の位置などの、制御位置を検出するように構成され得る。例えば、センサー１１６と組み合わせて、センサーモジュール２１６は、部分的または全体像の３次元（３Ｄ）動き捕捉、顔認識および音声認識を実行することができる。いくつかの実施形態では、センサーモジュール２１６は、制御位置の１つまたは複数の変化を検出し、かつ／または追跡することができる。変化に応答して、ロケーションモジュール２１８は、ディスプレイ１１４上に表示されるオブジェクト１１０のオブジェクト位置を更新することができる。次いで、ロケーションモジュール２１８は、トリガーイベントに応答してディスプレイ１１４上の更新されたオブジェクト位置にオブジェクト１１０を固定することができる。トリガーイベントは、ユーザー１０６が自分の指を個々のデバイス１０４のタッチスクリーンから離すといった停止行為を実行した後、所定の時間の後、動きを停止した後、などに送信されるコマンドであり得る。
[0035]いくつかの実施形態では、センサーモジュール２１６は、感知装置１０６を介して複数の個々のデバイスを操作する複数のユーザーを追跡することができる。いくつかの例では、共有デバイス１０２は、個々のユーザーの特徴を特定することにより複数のユーザーを追跡し、かつ個々のユーザーが操作している１つまたは複数の個々のデバイスと個々のユーザーを関連付けることができる。例えば、共有デバイス１０２は、ユーザーの特性（例えば、音声、顔の特徴および／または身体的特徴、など）に基づき、および／または個々のユーザーの、個々のユーザーと関連付けられたその他の追跡情報（例えば、デバイス識別子、マーカー識別子、自己登録、など）に基づき、個々のユーザーを特定することができる。
[0036]また、プログラムモジュール２０８は、オブジェクトが固定された後で個々のデバイス１０４の動きまたはユーザーの付属物の仕草に基づきオブジェクト１１０を編集するように構成されていて、図７で極めて詳細に説明される、編集モジュール２２２を含むことができる。例えば、ユーザー１０６は、オブジェクト１１０を回転する、オブジェクト１１０の大きさおよび／もしくはコントラストを変更する、オブジェクト１１０の背後の部分のみを切り落とす、かつ／もしくは残す、かつ／またはオブジェクト１１０に関連した注釈を加えることができる。
[0037]いくつかの実施形態では、オペレーティングシステム２０６は、コンポーネント（プロパティおよびイベントを含む）、オブジェクト、継承、多様性、反射をサポートするコンポーネントベースフレームワークを含み、かつ、オペレーティングシステム２０６は、オブジェクト指向コンポーネントベースのアプリケーションプログラミングインターフェイス（ＡＰＩ）を提供することができる。さらに、端末は、より少ないコンポーネントを有することでもよいが、このような基本的構成を有することができるコンピューティングデバイスと対話することになろう。
[0038]共有デバイス１０２は、付加的な特徴または機能を持つことができる。例えば、共有デバイス１０２はまた、例えば、磁気ディスク、光ディスク、またはテープなどの、付加的なデータ記憶装置（可換型および／または非可換型）含むことができる。このような付加的な記憶装置は、可換型記憶装置２２４および非可換型記憶装置２２６により図２に示されている。コンピュータ可読媒体は、少なくとも２つの種類のコンピュータ可読媒体、すなわちコンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータなどの情報の記憶のための任意の方法または技術で実装された、揮発性および不揮発性の、可換型および非可換型媒体を含むことができる。システムメモリ２０４、可換型記憶装置２２４、および非可換型記憶装置２２６は、すべてコンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）、または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、あるいは所望の情報を記憶するために使用され得る、かつ共有デバイス１０２によりアクセスされ得る任意のその他の媒体を含む。任意のこのようなコンピュータ記憶媒体は、共有デバイス１０２の一部分であり得る。さらに、コンピュータ可読媒体は、処理ユニット２０２により実行されるとき、共有デバイス１０２に本明細書に記載された様々な機能および／または動作を実行させるコンピュータ実行可能な命令を含むことができる。
[0039]一方、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、あるいは搬送波またはその他の伝送機構などの変調されたデータ信号中のその他のデータを具現化することができる。本明細書で定義されるように、コンピュータ記憶媒体には通信媒体は含まれない。
[0040]共有デバイス１０２はまた、キーボード、マウス、ペン、音声入力装置、タッチ入力装置（例えば、スタイラス、ペン、など）、タッチスクリーン装置、ナビゲーション装置（例えば、トラックパッド、マウス、など）などのような入力装置２２８を有することができる。いくつかの実施形態では、入力方法は、ナチュラルユーザーインターフェイス（ＮＵＩ）を介して実装され得る。ＮＵＩは、マウス、キーボード、リモートコントローラなどのような入力装置による人工的な制約のない、「自然な」方法でユーザーが装置と対話することを可能とする任意のインターフェイス技術を含むことができる。ＮＵＩ方式の例は、音声認識、タッチおよびスタイラス認識、画面上および画面の近傍でのジェスチャー認識、エアジェスチャー、頭部および目の追跡、音声および会話、視覚、接触、ジェスチャー、ならびにマシンインテリジェンスに依存したＮＵＩ方式を含むことができる。ＮＵＩ技術の種類は、タッチセンサーディスプレイ、音声および会話認識、意図および目的理解、デプスカメラ（ステレオカメラシステム、赤外線カメラシステム、ＲＧＢカメラシステム、およびこれらの組み合わせなど）を使用した動きのあるジェスチャー検出、加速度計／ジャイロスコープ、顔認識、３Ｄディスプレイ、頭部、目および視線追跡、没入型拡張現実および仮想現実システム、より自然なインターフェイスを提供するすべてのものを使用した動きのあるジェスチャー検出、ならびに電界感知電極（ＥＥＧおよび関連した方法）を使用した脳活動感知のための技術を含むことができる。
[0041]いくつかの実施形態では、共有デバイス１０２は、ＮＵＩなどの方法を介して生成される入力信号を受信し、かつ／またはこれに応答するセンサー１１６を含むことができる。例えば、センサー１１６は、部分的または全体像の３Ｄ動き捕捉、顔認証および音声認識に使用される信号を受信し、かつ／またはこれに応答する動き感知入力装置であり得る。いくつかの例では、センサー１１６は、ユーザーの身体（例えば、骨格および付属物）を追跡することにより様々な状態（例えば、完全な暗闇）にある１人または複数人のユーザーを追跡することができる。付属物は、ユーザーの腕、脚および頭を含むことができる。いくつかの例では、画像は、奥行き感知またはオプティカルフロー技術を介して追跡され得、特定の身体部分の識別を必ずしも必要としない。
[0042]共有デバイス１０２はまた、ディスプレイ（例えば、ディスプレイ１１４）、スピーカー、プリンタなどの出力装置２３０を含むことができる。共有デバイス１０２はまた、本デバイスがネットワーク１０８などのネットワークを介するなど、他のコンピューティングデバイス（例えば、個々のデバイス１０４）と通信することを可能とする通信接続２３２を含むことができる。
[0043]図３は、図１に示された個々のデバイスの例示的アーキテクチャ３００を示す。いくつかの実施形態では、個々のデバイス１０４は、少なくとも１つの処理ユニット３０２およびシステムメモリ３０４を含むことができる。コンピューティングデバイスの厳密な構成および種類に応じて、システムメモリ３０４は、揮発性（ＲＡＭなど）、不揮発性（ＲＯＭ、フラッシュメモリ、など）、またはこれら２つのいくつかの組み合わせであり得る。個々のデバイス１０４はまた、可換型記憶装置３０６および非可換型記憶装置３０８などの付加的なデータ記憶装置を含むことができる。システムメモリ３０４、可換型記憶装置３０６および非可換型記憶装置３０８は、すべてコンピュータ記憶媒体の例である。
[0044]システムメモリ３０４は、典型的には、オペレーティングシステム３１０、１つまたは複数のプログラムモジュール３１２を含み、かつプログラムデータ３１４およびデバイスデータ３１６を含み得る。いくつかの例では、デバイスデータ３１６は、個々のデバイス１０４に接続されている、かつ／または接続されるべきデバイス（例えば、共有デバイス１０２）に関連した情報を記憶することができる。プログラムモジュール３１２は、通信モジュール３１８、ロケーションモジュール３２０および編集モジュール３２２を含むことができ、それぞれ順番に説明される。
[0045]通信モジュール３１８は、共有デバイス１０２および／またはサーバー１１８などのデバイスと通信するように構成される。いくつかの実施形態では、通信モジュール３１８は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、ネットワーク１０８、または別の接続プロトコルを介して共有デバイス１０２との接続を初期化し、かつ確立することができる。
[0046]接続が共有デバイス１０２と個々のデバイス１０４間に確立された後、通信モジュール２１４は、ユーザー１０６から選択されたオブジェクト１１０を受信し、かつ共有デバイス１０２と共に確立した通信プロトコルを介してオブジェクトを共有デバイス１０４に送信することができる。
[0047]ロケーションモジュール３２０は、共有デバイス１０２のディスプレイ１１４上にオブジェクト位置を配置するように構成される。いくつかの実施形態では、オブジェクト位置は、ディスプレイ１１４の基準となる特徴に関連したオブジェクト１１０の位置を含むことができる。基準となる特徴は、個々のデバイス１０４のカメラにより捕捉され得る。これらの例では、基準となる特徴は、ディスプレイ１１４上に示される画像またはアイコンなどのディスプレイ１１４上に示されるオブジェクトに基づき決定され得る。いくつかの例では、基準となる特徴は、ディスプレイ１１４のフレームなどのディスプレイの外観特性に基づき決定され得る。
[0048]ロケーションモジュール３２０はまた、個々のデバイス１０４および／またはユーザー１０６の付属物の動きに応答してオブジェクト位置を更新することができる。従って、ユーザー１０６は、ディスプレイ１１４上のオブジェクトのオブジェクト位置を個々のデバイス１０４および／または付属物を移動させることにより制御することができる。オブジェクト位置および／または更新されたオブジェクト位置の情報は、通信モジュール３１８によって共有デバイス１０２に送信され得て、そこで、共有デバイス１０２は、ディスプレイ１１４上のオブジェクト位置または更新されたオブジェクト位置にオブジェクトを表示することができる。オブジェクト位置は、トリガーイベントが発生するまで更新される。例えば、トリガーイベントは、オブジェクト位置を固定し、かつ固定されたオブジェクト位置にオブジェクト１１０を表示するために通信モジュール３１８によって共有デバイス１０２に送信されるコマンドであり得る。
[0049]いくつかの実施形態では、ユーザー１０６は、個々のデバイス１０４のカメラからの画像などディスプレイ１１４の背景画像を提供することによりオブジェクト１１０を保持しているという印象が得られ得る。従って、ユーザー１０６は、個々のデバイス１０４を動かすことによりオブジェクト位置を正確に制御することができる。いくつかの例では、ロケーションモジュールは、視覚、音声および／または共有デバイス１０２と通信するその他の手法を使用して、ディスプレイ１１４に関連した個々のデバイス１０４の制御位置を追跡することができる。
[0050]プログラムモジュール３１２はまた、オブジェクトが固定された後に個々のデバイス１０４の動きまたはユーザーの付属物のジェスチャーに基づきオブジェクト１１０を編集し、かつ／または編集を可能とするように構成される、編集モジュール３２２を含むことができ、図７において極めて詳細に説明される。例えば、ユーザー１０６は、オブジェクト１１０を回転させる、オブジェクト１１０の大きさおよび／もしくはコントラストを変更する、オブジェクト１１０の背後の部分のみを切り落とす、かつ／もしくは残す、かつ／またはオブジェクト１１０に関連した注釈を加えることができる。
[0051]個々のデバイス１０４はまた、タッチスクリーン装置、物理的ボタン（メニューボタン、キーボード、など）、タッチ入力装置（スタイラス、ペン、など）、音声入力装置、カメラ、光センサー、マイク、などのような入力装置３２４を有することができる。いくつかの実施形態では、入力方法は、ＮＵＩを介して実装され得る。いくつかの実施形態では、個々のデバイス１０４は、カメラなどの、感知装置３２６含む。
[0052]いくつかの実施形態では、個々のデバイス１０４は、ディスプレイ（例えば、タッチスクリーン）、スピーカーなどの出力装置３２８を含む。個々のデバイス１０４はまた、この装置が他のコンピューティングデバイス（例えば、共有デバイス１０２）とネットワークを介するなど、通信することを可能とする通信接続３３０を含むことができる。これらのネットワークは、有線ネットワークおよびネットワーク１０８などの無線ネットワークを含むことができる。
例示的動作
[0053]図４は、共有デバイスに特定のオブジェクト位置を提供させるための例示的プロセス４００を示す。プロセス４００ならびにプロセス５００および６００を含む、本開示を通して説明されるその他のプロセスは、ハードウェア、ソフトウェア、またはこれらの組み合わせで実装され得る一連の動作を表す、論理的な流れ図中のブロックの集合として示される。ソフトウェアの文脈において、各ブロックは、１つまたは複数の処理装置により実行される場合に、１つまたは複数の処理装置に列挙された動作を実行させる、コンピュータ実行可能な命令を表す。一般に、コンピュータ実行可能な命令は、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、および特定の機能を実行させる、または特定の抽象的データ形式を実装するその他同種類のものを含む。動作が記載された順序は、限定されるものとして解釈されることを意図するものではなく、任意の数の記載されたブロックは、プロセスの実装のために任意の順序で、および／または並列に結合され得る。
[0054]４０２において、共有デバイス１０２および個々のデバイス１０４は、共有デバイス１０２と個々のデバイス１０４間の通信を可能とするために接続を確立することができる。例えば、共有デバイス１０２は、ハンドシェイクまたは情報のペアリング、資格証明の交換などの、接続プロトコルを実行することにより個々のデバイス１０４との接続を確立することができる。接続は、いずれかのデバイスによって始動され得る。いくつかの実施形態では、デバイスは、デバイスがお互いから所定の距離内にある、互いに接触しているなどの場合に接続を始動することができる。
[0055]４０４において、オブジェクトは、個々のデバイス１０４から共有デバイス１０２に送信され、かつディスプレイ１１４上の初期オブジェクト位置（ディスプレイ上の位置）に配置され得る。
[0056]４０６において、オブジェクト位置は、個々のデバイス１０４および／またはユーザー１０６の付属物の動きに応答して更新され得る。動きは、共有デバイス１０２、個々のデバイス１０４、または両者により検出され得る。例えば、ユーザー１１０は、ディスプレイ１１４上の他のオブジェクトに対して上下に移動させることができる。例えば、共有デバイス１０２は、センサー１１６、ディスプレイ１１４、または別の場所に関連した動きを検出するためにセンサー１１６を使用することができる。個々のデバイス１１０は、ディスプレイ１１４に関連した基準となる特徴に基づき動きを検出することができる、感知装置３２６からの情報に基づき距離を決定することができる。
[0057]４０８において、オブジェクト位置は、トリガーイベントに応答して固定され、かつオブジェクト１１０は、ディスプレイ１１４上の固定されたオブジェクト位置に表示され得る。いくつかの実施形態では、オブジェクト位置が固定された後、ユーザー１０６は、例えば、方向、大きさ、コントラスト、または注釈を変更する、かつ／または追加するために、オブジェクト１１０を編集することができ、これらは図７の中で極めて詳細に説明される。いくつかの実施形態では、オブジェクトは、固定された後に別のコマンドに基づき再び移動させられ得る。
[0058]図５は、共有デバイス１０２が個々のデバイス１０４またはユーザーの位置を検出した場合の、コンピューティングデバイスに特定のオブジェクト位置を提供させるための例示的プロセス５００を示す。
[0059]５０２および５０４において、共有デバイス１０２および個々のデバイス１０４は、共有デバイス１０２と個々のデバイス１０４間の通信を可能とするために接続を確立することができる。例えば、共有デバイス１０２は、ハンドシェイク、または情報のペアリング、資格証明の交換などの接続プロトコルを実行することにより個々のデバイスとの接続を確立することができる。接続は、いずれかのデバイスによって始動され得る。いくつかの実施形態では、デバイスは、デバイスがお互いから所定の距離内にある、互いに接触している、などの場合に、接続を始動することができる。
[0060]５０６において、個々のデバイス１０４は、選択されたオブジェクト１１０を受信することができる。例えば、ユーザー１０６は、個々のデバイス１０４に関連したスクリーンに１本または複数の指および／またはスタイラスで接触することによりオブジェクト１１０を選択することができる。いくつかの例では、オブジェクト１１０の選択は、ユーザー１０６からの音声入力の音声認識により実装され得る。オブジェクト１１０は、５０８において共有デバイス１０２に送信され得る。
[0061]５１０においてオブジェクトを受信すると、共有デバイス１０２は、５１２において初期オブジェクト位置にオブジェクト１１０を表示することができる。いくつかの例では、初期オブジェクト位置は、共有デバイス１０２または個々のデバイス１０４が動作しているタスクなどの、所定の規則またはコンテキストに基づいて決定され得る。
[0062]５１４において、共有デバイス１０２は、個々のデバイス１０４および／またはユーザー１０６と関連した位置（すなわち、制御位置）を検出することができる。例えば、共有デバイス１０２のセンサー１１６は、動きセンサーを使用して個々のデバイス１０４または個々のデバイス１０４に関連したユーザーの付属物を追跡することができる。
[0063]５１６において、個々のデバイス１０４に関連した制御位置の変化に応答して、共有デバイス１０２は、ディスプレイ１１４上のオブジェクト１１０を移動させることができる。
[0064]５１８において、共有デバイス１０２は、トリガーイベントが発生しているか否かを決定することができる。トリガーイベントは、信号、所定の時間の間の動きの欠如、ある時間の満了、などであり得る。トリガーイベントが発生した場合、個々のデバイス１０４は、５２０において生成されたコマンドを、５２２において共有デバイスに送信することができる。コマンドを受信した（すなわち、動作５１８の「ＹＥＳ」の分岐）後、共有デバイス１０２は、オブジェクト位置を固定し、かつ５２４においてディスプレイの固定された位置にオブジェクト１１０を表示することができる。しかしながら、トリガーイベントがコマンドを要求しない場合、オブジェクトは、動作５２０および５２２を発生させることなく動作５２４において固定され得る。
[0065]停止信号が受信されない（すなわち、動作５１８の「ＮＯ」分岐）場合、動作５１４から５１６は、ループ処理により実行され得る。
[0066]図６は、個々のデバイス１０４が共有デバイス１０２に位置情報を提供する場合の、コンピューティングデバイスに特定のオブジェクト位置を提供させるための例示的プロセス６００を示す。
[0067]６０２および６０４において、共有デバイス１０２および個々のデバイス１０４は、共有デバイス１０２と個々のデバイス１０４間の通信を可能とするために接続を確立することができる。例えば、個々のデバイス１０４は、ハンドシェイクまたは情報のペアリング、資格証明の交換などの接続プロトコルを実行することにより個々のデバイスとの接続を確立することができる。接続は、いずれかのデバイスにより始動され得る。いくつかの実施形態では、デバイスは、デバイスがお互いから所定の距離内にある、お互いに接触している、などの場合、接続を始動することができる。
[0068]６０６において、個々のデバイス１０４は、６０８および６１０それぞれにおいて共有デバイス１０２に送信され、かつ共有デバイス１０２により受信され得る、選択されたオブジェクト１１０を受信することができる。
[0069]６１２において、個々のデバイス１０４は、共有デバイス１０２のディスプレイ１１４上にオブジェクト位置を配置することができる。いくつかの実施形態では、オブジェクト位置は、ディスプレイ１１４の基準となる特徴に関連したオブジェクト１１０の位置を含むことができる。例えば、カメラにより捕捉された画像を背景としてディスプレイ１１４に示すことにより、個々のデバイス１０４は、オブジェクト１１０がディスプレイ１１４上のどこに置かれるかをユーザー１０６が決定することを可能とし得る。
[0070]６１４において、個々のデバイス１０４は、個々のデバイス１０４および／またはユーザー１０６の付属物の動きに応答してオブジェクト位置を更新することができる。
[0071]６１６において、個々のデバイス１０４は、オブジェクト位置および／または更新されたオブジェクト位置に関連した情報を共有デバイス１０２に送信することができる。６１８において情報を受信すると、共有デバイス１０２は、ディスプレイ１１４上の更新されたオブジェクト位置にオブジェクト１１０を表示することができる。
[0072]６１８において、個々のデバイス１０４は、トリガーイベントが発生しているか否かを決定することができる。トリガーイベントは、信号、所定の時間の間の動きの欠如、ある時間の満了、などであり得る。トリガーイベントが発生した場合、個々のデバイス１０４は、６２０において共有デバイスにコマンドを送信することができる。コマンドを受信した（すなわち、動作６１８の「ＹＥＳ」の分岐）後、共有デバイス１０２は、オブジェクト位置を固定し、かつ６２４においてディスプレイの固定された位置にオブジェクト１１０を表示することができる。トリガーイベントが発生していない（すなわち、動作６１８の「ＮＯ」の分岐）場合、動作６１２から６１８は、ループ処理により実行され得る。
例示的インターフェイス
[0073]図７は、共有デバイス１０２に送信されたオブジェクトを編集するための例示的ユーザーインターフェイス（ＵＩ）７００を示す。ＵＩ７００は、共有デバイス１０２または個々のデバイス１０４により提供され得る。図７は、１つのＵＩの例を示しているが、複数の他のグラフィックまたは非グラフィック・ユーザーインターフェイスが共有デバイス１０２に送信されたオブジェクトを編集するために用いられ得ることを理解されたい。
[0074]ＵＩ７００は、１つまたは複数の選択可能な部分、例えば、オブジェクトの方向７０２、オブジェクトの大きさ７０４、オブジェクトのコントラスト７１０、および注釈７１２を含むことができる。ユーザー１０６は、オブジェクト１１０がディスプレイ１１４のオブジェクト位置に固定された後、オブジェクト１１０を編集するために１つまたは複数の選択可能な部分を選択することができる。いくつかの実施形態では、１つまたは複数の選択可能な部分は、ユーザー１０６がこれらの選択可能な部分の１つを選択できるようにするために、浮き上がらせ、かつ１度に１つ循環させることができる。
[0075]いくつかの実施形態では、ユーザー１０６は、固定されたオブジェクト１１０を選択し、次いで、オブジェクト１１０に関連した操作（例えば、編集または削除）を実行することができる。いくつかの実施形態では、オブジェクト選択を容易にするために、ディスプレイ１１４は、信号（例えば、初期化信号など）の受信、所定の時間の満了、などのトリガーイベントおよび／または他のトリガーイベントに応答して特定の位置に影をつけることができる。いくつかの例では、ユーザー１０６は、オブジェクト１１０上に影を移動させる（例えば、個々のデバイス１０４を介して）、ジェスチャーをする（例えば、掴む）、かつ／または個々のデバイス１０４に関連した操作を実行することによりオブジェクト１１０を選択することができる。他の例では、ユーザー１０６は、オブジェクト１１０上に影を移動させ、かつ所定の時間（例えば、３秒）保持することによりオブジェクト１１０を選択することができる。
[0076]いくつかの例では、オブジェクトの方向７０２が選択された場合、ユーザーは、７１０に示されるように、オブジェクト１１０の方向を変更することができる。例えば、ユーザーは、所望の向きに対応して個々のデバイスを一定の角度回転させることによりオブジェクト１１０の方向を制御することができる。
[0077]いくつかの例では、オブジェクトの大きさ７０４が選択され、ユーザーは、７１２に示されるように、オブジェクト１１０の大きさを変更することができる。例えば、ユーザーは、ユーザー１０６の初期位置に対してディスプレイに近づけるまたはディスプレイ１１４からさらに離れるように動かすことによりオブジェクト１１０の大きさを増大させることができる。
[0078]同様に、オブジェクトのコントラスト７０６および注釈７０８の１つが選択された場合、ユーザーは、７１４および７１６にそれぞれ示されるように、オブジェクト１１０のコントラストを変更する、またはオブジェクト１１０に関連した注釈を加えることができる。
[0079]いくつかの実施形態では、オブジェクト１１０の特徴（例えば、セマンティクス）および／またはオブジェクト１１０に関連した操作（例えば、固定操作、編集操作）は、１人または複数人のユーザー、ユーザーのデバイス、および共用されたディスプレイ（または他の資源）間の距離および／または相対的な身体の方向に依存し得る。例えば、ユーザー１０６は、センサー１１６またはディスプレイ１１４から顔を逸らしている場合には、可能な操作を規制されまたは制限され得る。例えば、ユーザー１０６に利用可能な操作は、センサー１１６とユーザー１０６または個々のデバイス１０４間の距離に基づいて決定され得る。例えば、ユーザー１０６に利用可能な操作は、センサー１１６の対してのユーザー１０６の方向に基づき決定され得る。
終わりに
[0080]主題について、構造的特徴および／または方法論的行為に特有の言語で説明してきたが、添付の特許請求の範囲に定義された主題が、必ずしも上述の特定の特徴または行為に限定されないことを理解されたい。むしろ、特定の特徴および行為は、特許請求の範囲を実装する形態の例として開示されているものである。

Claims (10)

  1. オブジェクトを共有するためのコンピュータ実装方法であって、
    ディスプレイによって、コンピューティングデバイスからオブジェクトを受信するステップと、
    １つまたは複数のカメラを使用して前記コンピューティングデバイスの制御位置を検出するステップと、
    前記１つまたは複数のカメラによって検出された前記コンピューティングデバイスの前記制御位置の変化に応答して前記ディスプレイ上に表示された前記オブジェクトのオブジェクト位置を更新するステップと、
    トリガーイベントに応答して前記ディスプレイ上の前記更新されたオブジェクト位置に前記オブジェクトを固定するステップと、
    を含む、コンピュータ実装方法。
  2. 前記コンピューティングデバイスから前記オブジェクトを受信する前記ステップ以前の前記ディスプレイと前記コンピューティングデバイス間の距離、または前記ディスプレイに対して前記コンピューティングデバイスを操作するユーザーの方向に基づき前記コンピューティングデバイスとの接続を確立するステップと、
    前記ディスプレイ上の初期位置に前記オブジェクトを表示するステップと、
    をさらに含む、請求項１に記載のコンピュータ実装方法。
  3. 前記コンピューティングデバイスの動きまたは前記コンピューティングデバイスに関連したユーザーの付属物のジェスチャーに基づき前記オブジェクトを編集するステップ、
    をさらに含む、請求項１に記載のコンピュータ実装方法。
  4. １つまたは複数の処理装置上で実行されたとき、前記１つまたは複数の処理装置に、
    コンピューティングデバイスからオブジェクトを共有デバイスに送信するステップと、
    前記共有デバイスのディスプレイの基準となる特徴に関連した前記オブジェクトのオブジェクト位置を含むオブジェクト位置情報を前記共有デバイスに送信するステップと、
    を含む動作を実行させる、コンピュータ実行可能な命令を記憶する、１つまたは複数のコンピュータ可読媒体。
  5. 前記動作が、信号に応答して、前記オブジェクトをユーザーインターフェイス上の特定の場所に固定するために、コマンドを前記共有デバイスに送信するステップをさらに含む、請求項４に記載の１つまたは複数のコンピュータ可読媒体。
  6. 前記オブジェクト位置情報が、少なくとも部分的には前記コンピューティングデバイスのカメラによって決定される、請求項４に記載の１つまたは複数のコンピュータ可読媒体。
  7. 前記オブジェクトの位置情報が、前記共有デバイス上に配置されるべき前記オブジェクトの画像に重ね合わされた前記カメラによって捕捉された画像を含む、請求項６に記載の１つまたは複数のコンピュータ可読媒体。
  8. オブジェクトを共有するためのコンピューティングデバイスであって、サーバーが、
    １つまたは複数の処理装置と、
    前記１つまたは複数の処理装置により実行可能な複数のコンポーネントを保持するためのメモリと、を含み、前記複数のコンポーネントが、
    移動体装置との接続を確立して、前記移動体デバイスからオブジェクトを受信する通信モジュールと、
    前記移動体デバイスの制御位置を検出するセンサーモジュールと、
    前記移動体デバイスの前記制御位置の変化に応答してディスプレイ上に表示された前記オブジェクトのオブジェクト位置を更新し、かつトリガーイベントに応答して前記ディスプレイ上に表示された前記オブジェクト位置にオブジェクトを固定するロケーションモジュールと、
    を含む、コンピューティングデバイス。
  9. 前記複数のコンポーネントが、前記オブジェクトが受信された後に前記オブジェクトを前記ディスプレイ上の初期位置に表示し、かつ前記オブジェクトが固定される前に前記オブジェクトが固定された後に前記オブジェクトを前記固定されたオブジェクト位置に表示する、表示モジュールをさらに含む、請求項８に記載のコンピューティングデバイス。
  10. 前記複数のコンポーネントが、前記コンピューティングデバイスの動きまたは前記コンピューティングデバイスに関連したユーザーの付属物のジェスチャーに基づき前記オブジェクトを編集する、編集モジュールをさらに含む、請求項８に記載のコンピューティングデバイス。
JP2015561485A 2013-03-04 2014-03-03 デバイスへの特定のオブジェクト位置の提供 Active JP6433923B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361772458P 2013-03-04 2013-03-04
US61/772,458 2013-03-04
US13/830,124 US10139925B2 (en) 2013-03-04 2013-03-14 Causing specific location of an object provided to a device
US13/830,124 2013-03-14
PCT/US2014/019766 WO2014137857A1 (en) 2013-03-04 2014-03-03 Causing specific location of an object provided to a device

Publications (3)

Publication Number Publication Date
JP2016513833A true JP2016513833A (ja) 2016-05-16
JP2016513833A5 JP2016513833A5 (ja) 2017-03-30
JP6433923B2 JP6433923B2 (ja) 2018-12-05

Family

ID=51420726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015561485A Active JP6433923B2 (ja) 2013-03-04 2014-03-03 デバイスへの特定のオブジェクト位置の提供

Country Status (6)

Country Link
US (2) US10139925B2 (ja)
EP (1) EP2965164B1 (ja)
JP (1) JP6433923B2 (ja)
KR (1) KR102213090B1 (ja)
CN (1) CN105190469B (ja)
WO (1) WO2014137857A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762851B1 (en) * 2016-05-31 2017-09-12 Microsoft Technology Licensing, Llc Shared experience with contextual augmentation
KR101788248B1 (ko) * 2017-03-02 2017-10-20 주식회사 미래엔 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법
CN108572749A (zh) * 2017-03-14 2018-09-25 中兴通讯股份有限公司 一种终端控制方法和系统、设置适配装置、及移动终端
US11079995B1 (en) 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
KR102629412B1 (ko) * 2019-01-04 2024-01-26 삼성전자주식회사 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법
US10852915B1 (en) 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190158A (ja) * 2003-12-25 2005-07-14 Nippon Telegr & Teleph Corp <Ntt> 画面上オブジェクト選択方法及び画面上オブジェクト選択装置
JP2009064409A (ja) * 2007-03-26 2009-03-26 Avago Technologies Ecbu Ip (Singapore) Pte Ltd 画像データの取り込まれたフレーム内の表示スクリーンを使用して入力装置を追跡するためのシステムおよび方法
JP2011054117A (ja) * 2009-09-04 2011-03-17 Sony Corp 情報処理装置、表示制御方法及び表示制御プログラム
WO2011133590A1 (en) * 2010-04-19 2011-10-27 Amazon Technologies, Inc. Approaches for device location and communication

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03216720A (ja) * 1990-01-22 1991-09-24 Fujitsu Ltd デジタイザによる座標入力方法
US5818425A (en) * 1996-04-03 1998-10-06 Xerox Corporation Mapping drawings generated on small mobile pen based electronic devices onto large displays
US7145551B1 (en) * 1999-02-17 2006-12-05 Microsoft Corporation Two-handed computer input device with orientation sensor
ATE256305T1 (de) 1999-09-30 2003-12-15 Matsushita Electric Works Ltd Vorrichtung zum entwurf visueller informationen, welche auf einer monitoreinheit wiedergegeben werden, die mit einer programmierbaren steuerung in verbindung steht
US7046213B2 (en) * 2002-06-05 2006-05-16 Ibm Apparatus and method for direct manipulation of electronic information
US7027035B2 (en) * 2002-10-07 2006-04-11 Hewlett-Packard Development Company, L.P. Image copy to a second display
CN101213550B (zh) 2005-06-30 2011-09-28 诺基亚公司 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置
TWI316195B (en) * 2005-12-01 2009-10-21 Ind Tech Res Inst Input means for interactive devices
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8391786B2 (en) * 2007-01-25 2013-03-05 Stephen Hodges Motion triggered data transfer
EP2063350A1 (en) * 2007-11-20 2009-05-27 Samsung Electronics Co., Ltd. Method and apparatus for interfacing between devices in home network
WO2009129419A2 (en) * 2008-04-16 2009-10-22 Emil Stefanov Dotchevski Interactive display recognition devices and related methods and systems for implementation thereof
KR101520746B1 (ko) * 2009-01-07 2015-05-15 삼성전자주식회사 입력 장치 및 디스플레이 장치
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US20100201879A1 (en) * 2009-02-12 2010-08-12 Echostar Technologies L.L.C. Customizable Picture-in-Picture
US8566713B2 (en) * 2009-08-20 2013-10-22 Samsung Electronics Co., Ltd. Data transfer method and system
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8457651B2 (en) 2009-10-02 2013-06-04 Qualcomm Incorporated Device movement user interface gestures for file sharing functionality
KR20110069526A (ko) 2009-12-17 2011-06-23 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
US20110225553A1 (en) * 2010-03-15 2011-09-15 Abramson Robert W Use Of Standalone Mobile Devices To Extend HID Capabilities Of Computer Systems
US8217997B2 (en) 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
US20130023341A1 (en) * 2010-03-30 2013-01-24 Capcom Co., Ltd. Program and recording medium on which the program is recorded
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US10275046B2 (en) 2010-12-10 2019-04-30 Microsoft Technology Licensing, Llc Accessing and interacting with information
AU2011202838B2 (en) * 2010-12-21 2014-04-10 Lg Electronics Inc. Mobile terminal and method of controlling a mode screen display therein
US8725133B2 (en) * 2011-02-15 2014-05-13 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US20130027315A1 (en) * 2011-07-25 2013-01-31 Arther Sing Hook Teng Techniques to display an input device on a mobile device
US20130141331A1 (en) * 2011-12-02 2013-06-06 Htc Corporation Method for performing wireless display control, and associated apparatus and associated computer program product
KR20130137459A (ko) * 2012-06-07 2013-12-17 삼성전자주식회사 디스플레이 장치, 디스플레이 장치를 제어하기 위한 사용자 단말 및 그 제어 방법
US9256299B2 (en) * 2012-08-28 2016-02-09 Hewlett-Packard Development Company, L.P. Client device orientation
US9513795B2 (en) * 2012-11-29 2016-12-06 Blackberry Limited System and method for graphic object management in a large-display area computing device
US9075514B1 (en) * 2012-12-13 2015-07-07 Amazon Technologies, Inc. Interface selection element display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190158A (ja) * 2003-12-25 2005-07-14 Nippon Telegr & Teleph Corp <Ntt> 画面上オブジェクト選択方法及び画面上オブジェクト選択装置
JP2009064409A (ja) * 2007-03-26 2009-03-26 Avago Technologies Ecbu Ip (Singapore) Pte Ltd 画像データの取り込まれたフレーム内の表示スクリーンを使用して入力装置を追跡するためのシステムおよび方法
JP2011054117A (ja) * 2009-09-04 2011-03-17 Sony Corp 情報処理装置、表示制御方法及び表示制御プログラム
WO2011133590A1 (en) * 2010-04-19 2011-10-27 Amazon Technologies, Inc. Approaches for device location and communication
JP2013531828A (ja) * 2010-04-19 2013-08-08 アマゾン テクノロジーズ インコーポレイテッド 装置配置および通信のための方法

Also Published As

Publication number Publication date
CN105190469A (zh) 2015-12-23
KR20150128765A (ko) 2015-11-18
US10139925B2 (en) 2018-11-27
CN105190469B (zh) 2019-05-28
US20190050068A1 (en) 2019-02-14
US10416783B2 (en) 2019-09-17
US20140247207A1 (en) 2014-09-04
JP6433923B2 (ja) 2018-12-05
EP2965164B1 (en) 2019-12-18
WO2014137857A1 (en) 2014-09-12
EP2965164A1 (en) 2016-01-13
KR102213090B1 (ko) 2021-02-04

Similar Documents

Publication Publication Date Title
US20230305675A1 (en) Three-dimensional interaction system
US10740978B2 (en) Surface aware lens
US20210209825A1 (en) Body pose estimation
US20210264668A1 (en) Rendering 3d captions within real-world environments
US11882162B2 (en) Software application manager for messaging applications
US11513608B2 (en) Apparatus, method and recording medium for controlling user interface using input image
US10416783B2 (en) Causing specific location of an object provided to a device
US9729635B2 (en) Transferring information among devices using sensors
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11886673B2 (en) Trackpad on back portion of a device
CN112106044A (zh) 用于在网络协作工作空间中通过网络套接字连接传输文件的方法，设备和计算机可读介质
KR102535086B1 (ko) 전자 장치 및 그의 동작 방법
KR102386100B1 (ko) 리스트 표시 방법 및 장치
KR20200121261A (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR20210101183A (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
CN112424738A (zh) 在网络协作工作空间中通过网络套接字连接来传播裁剪图像的方法，装置和计算机可读介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181107

R150 Certificate of patent or registration of utility model

Ref document number: 6433923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250