JP2015524110A - コンテキスト・ユーザー・インターフェース - Google Patents

コンテキスト・ユーザー・インターフェース Download PDF

Info

Publication number
JP2015524110A
JP2015524110A JP2015515077A JP2015515077A JP2015524110A JP 2015524110 A JP2015524110 A JP 2015524110A JP 2015515077 A JP2015515077 A JP 2015515077A JP 2015515077 A JP2015515077 A JP 2015515077A JP 2015524110 A JP2015524110 A JP 2015524110A
Authority
JP
Japan
Prior art keywords
user
interface
context
user interface
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015515077A
Other languages
English (en)
Other versions
JP6157603B2 (ja
Inventor
キュパラ，シラズ
エスポジト，マリオ
カンガ，サイラス
マルカイ，キャスリーン・パトリシア
メダック，マシュー・アラン
ブラック，ニール・ウォーレン
テューダー，アレクサンダー・ディー
ヴォレイス，エリック・クリストファー
シーフェルベイン，ウィリアム・エフ
シュイ，ジャーンウエイ
ロブ，ケネス・アラン
ペスナー，ジュニア，ロナルド・オズウィン
タック，ジェイソン・ロバート
ブロディー，ヘザー・グランサム
スタフニアク，シモン・ピョートル
エリオット，ジョン・ダレン
ウーン，クリントン・チーーウェン
ソングコ，ラッセル・ピー
ナガー，ハワード・ビー
ザナ，ジョシュア・シー
ハダー，マーク・ヴィクター
ソウル，アレクサンダー・ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2015524110A publication Critical patent/JP2015524110A/ja
Application granted granted Critical
Publication of JP6157603B2 publication Critical patent/JP6157603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/493—Resuming a game, e.g. after pausing, malfunction or power failure
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Abstract

本発明の実施形態は、ユーザーがコンピューター・インターフェースと対話処理するコンテキストを分析し、このコンテキストに対してインターフェースを自動的に最適化する。コントローラー、またはユーザーが対話処理のために選択した制御モードが、部分的に、コンテキストを定めることができる。制御モードの例には、ジェスチャー、オーディオ制御、コンパニオン・デバイスの使用、ならびにゲーム・コントローラーおよびリモコンのような専用制御デバイスの使用が含まれる。異なる入力デバイスが、異なるタスク毎に設計される。しかしながら、ユーザーは、タスクに対して適合されていない制御入力を使用して、そのタスクを実行しようとすることが頻繁にある。本発明の実施形態は、ユーザーが選択した入力デバイスを使用して、ユーザーが意図したタスクを一層容易に完了するために、ユーザー・インターフェースの特性を変更する。【選択図】図８

Description

[0001] テレビジョン、ゲーム・コンソール、メディア・プレーヤー、パーソナル・コンピューター、および他のデバイス用のユーザー・インターフェースは、増々複雑になってきている。デバイスは、増々多くのアプリケーションおよびプログラムを有し、これらによってユーザーは、広がり続ける量のコンテンツにアクセスすることができる。加えて、ユーザーは、インターフェースと対話処理するための種々のメカニズムを有する。１つの形態の対話処理に適合されたインターフェースが、第２の種類の対話処理には適していない場合、または最適化されていない場合がある。
[0002] この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断するときに補助として別々に使用されることを意図するのでもない。
[0003] 本発明の実施形態は、ユーザーがコンピューター・インターフェースと対話処理するコンテキストを分析し、自動的にそのコンテキストのためにインターフェースを最適化する。対話処理のためにユーザーが選択するコントローラーまたは制御モードは、コンテキストを部分的に定めることができる。制御モードの例には、ジェスチャーリング(gesturing)、オーディオ制御、付属デバイスの使用、ならびにゲーム・コントローラーおよびリモコン(remote control)のような専用制御デバイスの使用が含まれる。異なる入力デバイスが、異なるタスク毎に設計される。しかしながら、ユーザーがあるタスクを実行する際、そのタスクには適合されていない制御入力を使用しようとすることが頻繁にある。本発明の実施形態は、ユーザー・インターフェースの特性を変化させて、ユーザーにとって、ユーザーが選択した入力デバイスを使用して、意図するタスクを完了するのを一層容易にする。
[0004] 選択された対話処理メカニズムにインターフェースを適合させることに加えて、環境条件に基づいて、更にインターフェースを最適化することもできる。環境条件とは、部屋内におけるある人の他の人々または物体に対する位置、および１つ以上のインターフェース上で表示されるコンテンツが含まれる。例えば、画面とこの画面上にあるコンテンツと対話処理しようとしているユーザーとの間に立つ物体または人によって遮られない、画面の一部に、対話処理メニューを提示することができる。つまり、画面の右下角が人によって遮られる場合、画面の異なる部分にヘルプ情報が提示される。同様に、ユーザーが彼らの右手に電話機または他の物体を有する場合、ジェスチャー・ベース・メニューを、左手による使用に最適化することもできる。例えば、ユーザーがインターフェース・オブジェクトを仮想的に選択するために彼らの身体を横切って手を伸ばさなくてもよいように、メニュー・オブジェクトを画面の左側に移動させてもよい。
[0005] 本発明の実施形態は、現在のコンテキストを確認するために種々の信号を使用することができる。信号の例には、カメラから収集されるカラー画像データー、深度カメラまたは他の３Ｄ−対応捕獲デバイスから収集される３Ｄ画像データー、オーディオ信号、ならびに近傍にある１つ以上の計算デバイスまたはコントローラーからの状態情報が含まれる。
[0006] 以下に、添付図面を参照しながら本発明の実施形態について詳細に説明する。
図１は、本発明の実施形態を実現するのに適した計算環境の一例のブロック図である。 図２は、本発明の一実施形態による、ゲーム・コンソール、ゲーム・サービス、および付属デバイス間における種々の通信媒体を示す図である。 図３は、本発明の一実施形態にしたがって、ユーザー・インターフェースを最適化するために対話処理コンテキストを使用するのに適した計算環境を示す図である。 図４は、本発明の一実施形態にしたがって、ジェスチャーを使用するために最適化されたインターフェースと対話処理するユーザーを示す図である。 図５は、本発明の一実施形態にしたがって、ゲーム・コンソールによって認識された付属デバイスとの使用に自動的に最適化されたインターフェースと対話処理するユーザーを示す図である。 図６は、本発明の一実施形態にしたがって、ゲーム・コントローラーとの使用に最適化されたヘルプ・インターフェースと対話処理するユーザーを示す図である。 図７は、本発明の一実施形態にしたがって、オーディオ制御との使用に最適化されたヘルプ・インターフェースと対話処理するユーザーを示す図である。 図８は、本発明の一実施形態にしたがって、付属デバイスとの使用に最適化されたヘルプ・インターフェースと対話処理するユーザーを示す図である。 図９は、本発明の一実施形態にしたがって、左手のジェスチャー(left handed gesture)に最適化されたインターフェースと対話処理するユーザーを示す図である。 図１０は、本発明の一実施形態にしたがって、右手のジェスチャーに最適さされたインターフェースと対話処理するユーザーを示す図である。 図１１は、本発明の一実施形態にしたがって、ユーザーによって扱われたオブジェクトの結果として最適化されたインターフェースと対話処理するユーザーを示す図である。 図１２は、本発明の一実施形態にしたがって、対応するインターフェースを生成するために環境内部における物体または衣服の識別を使用することを示す図である。 図１３は、本発明の一実施形態にしたがって、現在のテキストに最適化されたインターフェースを提示する方法を示すフローチャートである。 図１４は、本発明の一実施形態にしたがって、現在のコンテキストに最適化されたインターフェースを提示する方法を示すフローチャートである。 図１５は、本発明の一実施形態にしたがって、現在のコンテキストに最適化されたインターフェースを提示する方法を示すフローチャートである。
[0022] 本発明の実施形態の主題は、法的要件を満たすために、本明細書においては具体性を持って説明される。しかしながら、説明自体は、請求項の範囲を限定することは意図していない。むしろ、本発明者は、特許請求する主題は、本文書において記載するステップとは異なるステップまたは同様のステップの組み合わせを含むように、他の現在の技術または今後の技術と関連付けて、別の方法で具体化してもよいことを想定している。更に、「ステップ」および／または「ブロック」という用語は、本明細書においては、採用される方法の異なるエレメントを言外に意味するために用いることもできるが、個々のステップの順序が明示的に記載されている場合を除いて(unless and except)、この用語は、本明細書において開示される種々のステップ間において、いかなる特定の順序をも暗示するように解釈してはならない。
[0023] 本発明の実施形態は、ユーザーがコンピューター・インターフェースと対話処理するコンテキストを分析し、自動的にそのコンテキストに対してインターフェースを最適化する。ユーザー・インターフェースとのユーザーの対話処理は、インターフェースに対する異なる度合いの注意を含むことができる。この注意の度合いは、インターフェースを無視することから完全な注意までの範囲に及ぶ。ユーザーが対話処理のために選択するコントローラーまたは制御モードは、部分的に、コンテキストを定めることができる。制御モードの例には、ジェスチャーリング、オーディオ制御、付属デバイスの使用、ならびにゲーム・コントローラーおよびリモコンのような専用制御デバイスの使用が含まれる。異なる入力デバイスが、異なるタスク毎に設計される。しかしながら、ユーザーが、あるタスクを実行する際に、そのタスクには適合されていない制御入力を使用しようとすることが頻繁にある。本発明の実施形態は、ユーザー・インターフェースの特性を変化させて、ユーザーの選択の入力デバイスを使用して、ユーザーにとって、意図するタスクを完了するのを一層容易にする。
[0024] 選択された対話処理メカニズムにインターフェースを適合させることに加えて、環境条件に基づいて、更にインターフェースを最適化することもできる。環境条件とは、部屋内におけるある人の他の人々または物体に対する位置、および１つ以上のインターフェース上で表示されるコンテンツが含まれる。例えば、画面とこの画面上にあるコンテンツと対話処理しようとしているユーザーとの間に立つ物体または人によって遮られない画面の一部に、対話処理メニューを提示することができる。つまり、画面の右下角が人によって遮られる場合、画面の異なる部分にヘルプ情報が提示される。同様に、ユーザーが彼らの右手に電話機または他の物体を有する場合、ジェスチャー・ベース・メニューを、左手で使用するために最適化することもできる。例えば、ユーザーがインターフェース・オブジェクトを仮想的に選択するために彼らの身体を横切って手を伸ばさなくてもよいように、メニュー・オブジェクトを画面の左側に移動させてもよい。
[0025] 本発明の実施形態は、現在のコンテキストを確認するために種々の信号を使用することができる。信号の例には、カメラから収集されるカラー画像データー、深度カメラまたは他の３Ｄ−対応捕獲デバイスから収集される３Ｄ画像データー、オーディオ信号、ならびに近傍にある１つ以上の計算デバイスまたはコントローラーからの状態情報が含まれる。
[0026] 以上本発明の実施形態の全体像について端的に説明したので、本発明の実施形態を実現する際の使用に適した動作環境の一例について以下に説明する。
動作環境例
[0027] 図面全体を参照するが、最初に特に図１を参照すると、本発明の実施形態を実現する動作環境の一例が示され、全体的に計算デバイス１００と呼ぶ。計算デバイス１００は、適した計算環境の一例に過ぎず、本発明の使用範囲や機能性について限定を示唆することは全く意図していない。また、計算デバイス１００が、図示するコンポーネントの内任意の１つに関してもまたその組み合わせに関しても何らかの依存性や用件を有するように解釈してはならない。
[0028] 本発明は、コンピューター・コードまたは機械使用可能命令という一般的なコンテキストで説明することができ、コンピューターあるいはパーソナル・データー・アシスタントまたは他のハンドヘルド・デバイスというような他の機械によって実行される、プログラム・コンポーネントのようなコンピューター実行可能命令を含む。一般に、プログラム・コンポーネントは、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造等を含み、特定のタスクを実行するコード、または特定の抽象データー型を実装するコードを指す。本発明の実施形態は、ハンドヘルド・デバイス、消費者用電子機器、汎用コンピューター、特殊計算デバイス等を含む種々のシステム構成において実施することができる。また、本発明の実施形態は、分散型計算環境で実施することもでき、この場合、タスクは、通信ネットワークによってリンクされたリモート処理デバイスによって実行される。
[0029] 引き続き図１を参照すると、計算デバイス１００は、以下のデバイスを直接または間接的に結合するバス１１０を含む。メモリー１１２、１つ以上のプロセッサー１１４、１つ以上のプレゼンテーション・コンポーネント１１６、入力／出力（Ｉ／Ｏ）ポート１１８、ＩＯコンポーネント１２０、例示的な電源１２２、無線機１２４、およびセンサー１２６。バス１１０は、１つ以上のバス（アドレス・バス、データー・バス、またはその組み合わせ）であってもよいものを表す。図１の種々のブロックは、明確にするために、線で示されるが、種々のコンポーネントの区分けはそれほど明確ではなく、例えて言うと、これらの線をもっと正確にするならば灰色で曖昧になるであろう。例えば、ある者はディスプレイ・デバイスのようなプレゼンテーション・コンポーネントはＩ／Ｏコンポーネント１２０であると見なすかもしれない。また、プロセッサーはメモリーを有する。本発明者は、このようなことは技術の本質であると認識しており、図１の線図は本発明の１つ以上の実施形態と共に使用することができる計算デバイスの一例を例示するに過ぎないことを繰り返しておく。「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルド・デバイス」というようなカテゴリー間では区別を行わない。何故なら、これら全ては、図１の範囲に該当すると考えられ、「コンピューター」または「計算デバイス」を指す(reference to)からである。
[0030] 通例、計算デバイス１００は、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、計算デバイス１００によってアクセスすることができるあらゆる入手可能な媒体とすることができ、揮発性および不揮発性双方の媒体、リムーバブルおよび非リムーバブル媒体を含む。一例として、そして限定ではなく、コンピューター読み取り可能媒体は、コンピューター記憶媒体および通信媒体を含むことができる。コンピューター記憶媒体は、揮発性および不揮発性の双方、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターというような情報の格納のための任意の方法または技術で実現される。
[0031] コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたは他の磁気記憶デバイスを含む。コンピューター記憶媒体は、伝搬データー信号を含まない。
[0032] 通信媒体は、通例、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターを、搬送波または他の移送メカニズムのような変調データー信号内に具体化し、任意の情報配信媒体を含む。「変調データー信号」という用語は、当該信号内に情報を符合化するような形で、その特性の１つ以上が設定または変更された信号を意味する。一例として、そして限定ではなく、通信媒体は、有線ネットワークまたは直接有線接続のような有線媒体と、音響、ＲＦ、赤外線、および他のワイヤレス媒体のようなワイヤレス媒体とを含む。以上の内任意のものの組み合わせも、コンピューター読み取り可能媒体の範囲内に含まれてしかるべきである。
[0033] メモリー１１２は、揮発性および／または不揮発性メモリーの形態としたコンピューター記憶媒体を含む。メモリー１１２は、リムーバブル、非リムーバブル、またはその組み合わせであってもよい。メモリーの例には、ソリッド・ステート・メモリー、ハード・ドライブ、光ディスク・ドライブ等が含まれる。計算デバイス１００は、１つ以上のプロセッサー１１４を含み、プロセッサー１１４はバス１１０、メモリー１１２、またはＩ／Ｏコンポーネント１２０のような種々のエンティティからデーターを読み取る。プレゼンテーション・コンポーネント（１つまたは複数）１１６は、ユーザーまたは他のデバイスにデーター指示を提示する。プレゼンテーション・コンポーネント１１６の例には、ディスプレイ・デバイス、スピーカー、印刷コンポーネント、振動コンポーネント等が含まれる。Ｉ／Ｏポート１１８は、計算デバイス１００を論理的にＩＯコンポーネント１２０を含む他のデバイスに結合することを可能にする。ＩＯコンポーネント１２０の一部が内蔵されてもよい。例示的なＩＯコンポーネント１２０には、マイクロフォン、ジョイスティック、ゲーム・パッド、スキャナー、ハード／ソフト・ボタン、タッチ・スクリーン・ディスプレイ等が含まれる。
[0034] 無線機１２４は、無線通信を送信および受信する。計算デバイス１００は、種々のワイヤレス・ネットワークを通じて通信およびメディアを受信するように構成されたワイヤレス・ターミナルであってもよい。計算デバイス１００は、符号分割多元接続（「ＣＤＭＡ」）、移動体用グローバル・システム（「ＧＳＭ（登録商標）」）、または時分割多元接続（「ＴＤＭＡ」）のようなワイヤレス・プロトコル、ならびに他のものによって通信し、他のデバイス（図１には示されない）と通信することができる。無線通信は、短距離接続、長距離接続、または短距離および長距離ワイヤレス電気通信接続双方の組み合わせであってもよい。「短距離」および「長距離」タイプの接続に言及するとき、２つのデバイス間における空間的関係に言及することは意図しない。代わりに、短距離および長距離を、通常、異なるカテゴリーまたはタイプの接続と呼んでいる（即ち、主接続および副接続）。短距離接続は、デバイス（例えば、移動体ホット・スポット）に対するＷｉ−Ｆｉ（登録商標）接続を含むことができる。これは、８０２．１１プロトコルを使用するＷＬＡＮ接続のような、ワイヤレス通信ネットワークにアクセスを与える。他の計算デバイスに対するBluetooth（登録商標）接続は、短距離接続の第２の例である。長距離接続は、ＣＤＭＡ、ＧＰＲＳ、ＧＳＭ（登録商標）、ＴＤＭＡ、および８０２．１６プロトコルの内１つ以上を使用する接続を含むことができる。
[0035] センサー１２６は、デバイス並びに環境特性および条件を観察する。センサーの例には、加速度計、ジャイロスコープ、ＧＰＳ／位置検出、近接センサー、光センサー、および振動センサーが含まれる。
マルチ・デバイス・ユーザー体験
[0036] これより図２に移ると、本発明の実施形態にしたがって、コンパニオン体験(companion experience)を提供することができる多数の計算デバイスを含むネットワーク接続動作環境２００が示されている。環境２００は、主デバイス２１０、コンパニオン・デバイス２５２、２５４、２５６、および２５８、ワイヤレス・ルーター２５０、基地局２６０、ネットワーク２３０、ならびにコンパニオン体験サーバー２２０を含む。これらのデバイスは単なる例であり、限定することを意図するのではない。
[0037] 主デバイス２１０は、ゲーム・コンソール、メディア・コンソール、またはタイトルを提示する他の適した計算デバイスであってもよい。タイトルは、ゲーム、映画、アプリケーション、音楽、ビデオ、テレビジョン・ショー、および他のメディア・コンテンツであってもよい。ゲーム・コンソールは、テレビジョンのようなディスプレイに結合されるとよい。
[0038] コンパニオン・デバイス２５２、２５４、２５６、および２５８は、計算デバイスである。コンパニオン・デバイスとは、本願において使用される場合、第２ディスプレイを設けるパーソナル計算デバイスである。例には、ラップトップ、ＰＣ、ネットブック、スマート・フォン、電子書籍リーダー(e-reader)、ＰＤＡ、およびタブレットが含まれる。コンパニオン体験は、ユーザーが、コンパニオン・デバイス上のインターフェースを通じて、主デバイス２１０上で再生するメディアに関係するコンテンツと対話処理することを可能にする。また、コンパニオン体験は、ユーザーがコンパニオン・デバイス上のインターフェースを通じてメディア提示を制御することも可能にする場合もある。
[0039] コンパニオン体験サーバー２２０は、コンパニオン・コンテンツ、コンパニオン・アプリケーション、登録および認証コンパニオン・デバイスを提供し、主デバイスとコンパニオン・デバイスとの間の通信を容易にし、更に他のタスクを実行することによって、コンパニオン体験を容易にする。コンパニオン体験サーバーには、インターネットのようなワイド・エリア・ネットワークを通じてアクセスすることができる。
[0040] コンパニオン・デバイス２５２、２５４、２５６、および２５８は、Bluetooth（登録商標）によって直接主デバイス２１０と通信することができ、または有線接続を介して通信することもできる。また、コンパニオン・デバイスは、ワイヤレス・ルーター２５０によって生成されるローカル・ワイヤレス・ネットワークを通じて通信することもできる。これらの接続は直接とすることができ、またはコンパニオン体験サーバーを通じてこれらの経路を設定することもできる。また、コンパニオン・デバイスは、基地局２６０によって円滑に行われる(facilitate)データー・サービスによって主デバイスと通信することもできる。基地局２６０は、主デバイスが使用しているインターネット２３０へのいずれの通信を通じてでも、主デバイスに通信を導くことができる。また、基地局２６０は、主デバイスが同じデーター・サービスを使用している場合、主デバイスと直接通信にすることもできる。
コンテキスト特定インターフェース・エンジン
[0041] これより図３に移り、本発明の一実施形態にしたがって、対話処理コンテキストを検出しユーザー・インターフェースを最適化するのに適したコンポーネントを有するコンテキスト特定インターフェース・エンジン３００を示す。エンジン３００は、コンテキスト判定コンポーネント３１０、コンテキスト・データー・ストア３１２、ユーザー・データー・ストア３１４、人認識コンポーネント３１６、物体認識コンポーネント３１８、デバイス認識コンポーネント３２０、およびインターフェース・アクティブ化コンポーネント３２２を含む。コンテキスト特定インターフェース・エンジン３００は、１つの適したアーキテクチャーの一例に過ぎず、本発明の使用範囲や機能性に関して何ら限定を示唆することは意図していない。また、コンテキスト特定インターフェース・エンジン３００が、本明細書において例示する任意の１つのコンポーネントまたはコンポーネントの組み合わせに関して、依存性や要件を有するように解釈しては決してならない。コンテキスト特定インターフェース・エンジン３００は、１つの計算デバイスに存在するのでも、ホーム・エリア・ネットワーク、ローカル・エリア・ネットワーク、またはワイド・エリア・ネットワークに接続された多数のデバイスを含む多数のデバイスに跨がって分散されるのでもよい。個々のコンポーネントの一部は、部分的にクライアントにそして部分的にサーバーに存在するのでも、または多数のデバイスに跨がって分散されるのでもよい。
[0042] コンテキスト判定コンポーネント３１０は、ユーザーの現在の対話処理コンテキストを判定する。コンテキストは、ユーザー・アクションと、デバイス、他の人、および１つ以上のデバイス上に現在表示されているコンテキストとのユーザーの対話処理とを含む。コンテキスト判定コンポーネント３１０は、コンテキスト・テンプレートを使用してコンテキストを識別し、名称を付けることもできる。コンテキスト・テンプレートは、コンテキストの特性を記述し、そのコンテキストに対して最適化されるインターフェース特性を推奨することができる。コンテキストの特性は、現在のコンテキストを識別するために使用される。推奨されるインターフェース特性は、コンテキストに対して最適化されたものまたは推奨されたものである。
[0043] コンテキスト判定コンポーネント３１０は、本システムを使用している間に観察されたユーザー・アクションに基づいてコンテキスト・テンプレートを構築または最適化する際に関与することもできる。最適化されたインターフェースに対するユーザーの応答を追跡し、コンテキスト・テンプレートを変更するために使用することもできる。例えば、ユーザーが、最適化されたインターフェースに追加されたフィーチャー(feature)と対話処理しないとき、これらのフィーチャーをテンプレートから除去することができる。ユーザーが第１インターフェース・フィーチャーから第２インターフェースにおける第２フィーチャーに頻繁にナビゲートする場合、第１および第２インターフェース・フィーチャーを組み合わせて、新たな最適化インターフェースにすることもできる。
[0044] 一実施形態では、インターフェースとのユーザー対話処理からのデーターが、機械学習および分析に基づいて、サーバーに伝達されて、多数のユーザーからの情報を組み合わせてテンプレートを作成および変更することもできる。次いで、テンプレートを、同様の状況にある人々と関連付け、特定のやり方でインターフェースと対話処理するユーザーの意図を示す対話処理を認識するために使用することができる。例えば、コンテキスト・テンプレートを、メディア選択インターフェースをナビゲートするために右手でゲーム・パッドを使用する３０〜３５才の男性と関連付けることができる。ユーザー特性を観察することができ、またはアカウント・データーから収集し、対応するテンプレートを引き出し、このテンプレートにしたがってインターフェースを最適化することもできる。コンテキスト・テンプレートは、サーバーに格納され、要求に応じてアクセスされる、または周期的に計算デバイスに伝達されるのでもよい。
[0045] 例えば、ジェスチャー入力コンテキスト・テンプレートは、特性としてジェスチャー入力を有する。ジェスチャー入力は、ユーザーが彼らの身体または身体部分と共にジェスチャーにおいて運動し(motion)、深度カメラのような入力デバイスによってこのジェスチャーが認識されたときに発生する。例えば、ユーザーがテレビジョンの音量を上げるために親指を上に向ける(thumbs-up)ジェスチャーを行うのでもよい。いずれの場合でも、コンテキスト・テンプレートは、認識可能なジェスチャーを行うユーザーに加えて、制御デバイスを保持しないユーザー、または保持する制御デバイスと対話処理するように見えないユーザーを含むコンテキスト特性も含んでもよい。応答して、最適化ユーザー・インターフェースのフィーチャーは、もっと大きな選択可能な物体を含むことができる。したがって、ユーザー・インターフェースをズーミングする(zoom)ことができ、または選択可能な物体のサイズを大きくすることもできる。他の実施形態では、物体周囲にある選択エリアが広げられる。各コンテキストは、異なる特性および最適化インターフェース・フィーチャーを有する。コンテキストが、他のコンテキストおよび最適化インターフェース・フィーチャーと特性を共有することもできる。
[0046] 入力モードは、正に１つのコンテキスト・フィーチャーである。例えば、右手のジェスチャー、左手のジェスチャー、遮られたジェスチャー、および多人数のジェスチャーを含む、ジェスチャー・ベース・コンテキストのクラス全体であることができる。コンテキスト判定コンポーネント３１０は、入力モードを、コンテキスト・クラスを選択する開始点として使用することもできる。より多くの情報が受信されるに連れて、コンテキストを更新し、それに応じてインターフェースを調節することができる。インターフェースは、コンテキスト・シナリオの増加または減少における信頼度として、動的に更新されてもよい。一般に、特定のコンテキストにおいて信頼度が低い程、増々汎用インターフェースが表示される結果となるであろう。これらは、特定のコンテキストには最適化されないが、異なるコンテキストにおける使用には適する。
[0047] 専用デバイス入力の使用は、別のコンテキスト・クラスである。専用デバイスは、リモコン(remote controls)およびゲーム・コントローラーを含み、非常に特殊化され柔軟性は少なくなる傾向がある。専用デバイスが使用されていると判定するために使用される特性は、ユーザーが専用デバイスを手に取ること、および専用デバイスの使用を含む。これは、デバイスが収納されるまたは単に場所を移されるのとは対照的である。ユーザーがデバイスを制御メカニズムとして利用しているように見えるか否か判定するためにカメラを使用することに加えて、専用デバイスから受信した信号は、画像データーによって観察されたものを確認することができる。この場合、インターフェースは、選択された専用デバイスとの使用のために適合または最適化されるとよい。コンテキスト判定コンポーネント３１０は、デバイス認識コンポーネント３２０と共に動作して、特定の専用デバイスを識別することもできる。
[0048] コンパニオン対話処理(companion interaction)は、別のコンテキスト・クラスである。コンパニオン対話処理は、スマート・フォンまたはタブレットのような、コンパニオン・デバイスの使用を伴う。コンパニオン・デバイスは、タッチ・スクリーンを有するとよい。タッチ・スクリーンは、ユーザーが細かい選択即ち粒状(granular)選択を行い、追加のコンテンツを確認する(view)ことを可能にする。また、コンパニオン・デバイスは、ハードまたはソフト・キーボードも有するとよい。このキーボードは、ユーザーがテキストを入力することを可能にする。コンパニオン・デバイス対話処理の特性は、コンパニオン・デバイスを手に取ることを含む。コンパニオン・デバイスは、その外観によって、そしてそのデバイスによって受信される信号データーによって識別されてもよい。例えば、通信セッションの設定中にコンパニオン・デバイスから伝えられたデーター・パケットがＵＲＬを含み、このＵＲＬがそのデバイスおよびデバイス特性を識別することができる。
[0049] 一実施形態では、個々のデバイスを人々と関連付けるために人認識コンポーネント３１６が使用される。例えば、多数の人々が、多数のデバイスがある部屋の中にいるのでもよい。人認識コンポーネント３１６は、誰が彼らのデバイスで何をしているのか判定するのを補助することができる。例えば、第１の人物が、テーブル上に据えられているデバイスと関連付けられ、テーブルは無視されるのでもよい。この場合、ユーザー・インターフェースは、関連コンテンツをこの人のコンパニオン・デバイスにプッシュすることや、コンパニオン・デバイスによる制御に最適化されたインターフェース・コンテンツに移動させることを望まないであろう。一方、第２の人物が彼／彼女のコンパニオン・デバイスを見ている場合、この第２の人物の視聴体験、または望ましければ、インターフェースを制御する能力を拡張(enhance)または増強(augment)するために、補足コンテンツをプッシュすることもできる。
[0050] 本発明の実施形態は、ユーザーがコンパニオン・デバイスをインターフェース対話処理の一部として使用することを望むであろうということを先読みして対処しようとする。例えば、ユーザーがジェスチャーを使用してウェブ・ブラウザー・インターフェースをナビゲートしようとしている場合、テキストボックスを選択した後直ちにコンパニオン・デバイスを手に取るであろう。本発明の実施形態は、コンパニオン・デバイス上のソフト・キーボードを自動的に開いて、ユーザーがコンパニオン・デバイスを使用してタイプ入力することを可能にするのでもよい。この最適化が行われるとき、ユーザーはコンパニオン・デバイスを手に取る以外には何も行わず、また既にユーザーがコンパニオン・デバイスを保持している場合、彼らがそれを使用する準備をしていることを示すような方法でそれを動かす以外には何も行わない。また、この場合のコンテキストは、ブラウザー・アプリケーションの状態も考慮に入れる。この場合、コンテキストはアクティブなテキストボックスを含む。ユーザーがコンパニオン・デバイスを保持していなかった場合、ソフト・キーボードは開かれず、主ディスプレイ上のジェスチャー・キーボードを代わりに開くことができる。
[0051] オーディオ・コンテキストは、インターフェースを最適化することができる別のコンテキスト・クラスである。例えば、部屋の中で話す人々と、インターフェースを制御するためにオーディオ・コマンドを使用し始めることを望む人との間で区別することは難しいであろう。一実施形態では、ユーザーが音声コマンドを使用してインターフェースと直接対話処理していることを検出したときに、オーディオ・インターフェースがオンに切り替えられる。ユーザーのインターフェースに対する注意は、他の人々と話しているのではなく、ユーザーがインターフェースを見ていることを確認する画像データーによって、判定することができる。また、部屋の中に他の人々が存在することも、このコンテキストを判定するのに役立つ場合もある。例えば、人は自分自身に話しかけることはありそうもない(less likely)ので、１人の人が部屋にいるとき、発話された単語はいずれも、オーディオ認識システムを起動することができる。対照的に、多数の人々が部屋にいる場合、ユーザーからもっと明示的なコマンドがなければ、オーディオ認識システムを起動することは望ましくないであろう。
[0052] インターフェースの視覚的外観を最適化することに加えて、コンテキストを判定するときに、全く新しいインターフェースを提示することもできる。例えば、ユーザーがジェスチャーを使用してウェブ・ブラウザーとインターフェースしており、次いでゲーム・コントローラーを手に取った場合、このユーザーは、ゲーム・コントローラーを使用してウェブ・ブラウザーと対話処理するのではなく、ゲームをプレーすることと望むというコンテキスト判定を行うことができる。この場合、ゲーム・コントローラーとの使用にウェブ・ブラウザーを最適化する代わりに、ゲームのホーム・ページまたは他のゲーミングに関係するインターフェースを提示することができる。一実施形態では、ユーザーは、彼らが最後にプレーしたゲームに、自動的に連れて行かれる。
[0053] コンテキスト判定コンポーネント３１０は、１つ以上の機械学習アルゴリズムを利用して、コンテキスト状況を認識し、これらを該当するコンテキスト・テンプレートと関連付けることができる。具体的には、コンテキスト判定コンポーネント３１０は、ユーザー・データー・ストア３１４に格納された種々のユーザー特性を入力して、該当するコンテキストを識別するのに役立てることもできる。このように、ユーザーの過去の挙動および好みをコンテキスト判定プロセスに組み込むことができる。
[0054] コンテキスト・データー・ストア３１２は、コンテキスト特性および付加情報を格納する。コンテキスト特性は、コンテキスト・テンプレートとして判定または格納されてもよい。一実施形態では、ユーザーについてのコンテキスト用法(context usage)がコンテキスト・データー・ストア３１２に格納される。言い換えると、共通して使用される殆どのコンテキストを特定のユーザーに対して確認し、コンテキスト判定を明確にするために今後使用することができる。コンテキスト・データー・ストア３１２は、１つの計算デバイスに存在するのでも、ホーム・エリア・ネットワーク、ローカル・エリア・ネットワーク、またはワイド・エリア・ネットワークにおいて接続された多数のデバイスを含む多数のデバイスに跨がって分散されるのでもよい。コンテキスト・データー・ストア３１２と関連するデーターは、部分的にクライアントにそして部分的にサーバーに存在してもよく、またそうでなければ多数のデバイスに跨がって分散されるのでもよい。
[0055] 物体認識コンポーネント３１８は、画像データーを使用して、部屋内にある無生物物体を認識する。これは、人認識コンポーネント３１６を使用して人々が認識されるのとは対照的である。物体認識コンポーネント３１８は、ゲームの物体または現在のコンテキストを判定するのに特に興味深い他の物体を認識することができる。例えば、物体認識コンポーネント３１８は、テニスのラケットまたは魔法使いの帽子というようなゲームの物体を認識するのでもよい。テニス・ラケットを認識したときには、ユーザーがこのラケットを使用してプレーすることができるモードで、テニス・ゲームを直ちに開くことができる。魔法使いの帽子の例では、本発明の実施形態は、ユーザーのお気に入りのゲームの中から魔法使いを含むものを選択し、この帽子に基づいてキャラクターを選択することができる。異なるキャラクターを有するゲームでは、衣服またはゲーム装備の内異なる目立つものを、そのゲームを自動的に開くため、あるいは特定のキャラクターを選択するための合図として使用することもできる。
[0056] 他の実施形態では、物体認識コンポーネント３１８は、ユーザーが対話処理している種々の物体を認識し、該当するコンテキストを確定する。例えば、ユーザーがコーラをユーザーの右手で飲んでいる場合、左手でジェスチャーを行うことを望み、コーラを下に置くことは望まないであろう。この場合、ジェスチャー・インターフェースは、左手での使用に最適化されるとよい。
[0057] デバイス認識コンポーネント３２０は、専用デバイスおよびコンパニオン・デバイスを含む、制御入力デバイスを認識する。異なるデバイスは、物体認識コンポーネント３１８によって使用される画像データーと同様の画像データーを使用して認識されるが、コンパニオン・デバイスおよび専用デバイスから受信した信号データーを利用することもできる。信号データーは、カメラ・データーと組み合わせて使用されて、環境内部にある特定のデバイスを識別することもできる。例えば、様々なゲーム・コントローラーが同様に見えることがある。しかしながら、ボタンを押すまたはジョイスティックを動かすというような、ユーザーの対話処理を示すカメラ・データーを使用すると、画像と制御データーとを相関付けることによって、特定のコントローラーを識別することができる。一実施形態では、人認識コンポーネント３１６は、特定の人またはユーザーを特定のデバイスと関連付けるために利用される。このように、単にコントローラーを手に取ることによって、プレーヤーを彼らの最後の進展地点(progress point)に連れて行くことができる。
[0058] コンパニオン・デバイスを使用すると、ログイン・データーおよび他のユーザー特性も評価して、デバイスを、主デバイス上にアカウントを有する特定の人またはプレーヤーと関連付けることもできる。加えて、ゲーム・コントローラーと同様、観察されるユーザーのデバイスとの対話処理を、デバイスから受信した制御データーと同期させて、そのデバイスを環境内に特定の人と共に置くことができる。
[0059] インターフェース・アクティブ化コンポーネント３２２は、コンテキスト判定コンポーネント３１０によって判定されたコンテキストのために、該当するインターフェースをアクティブ化する。一実施形態では、インターフェース・アクティブ化コンポーネント３２２は、しかるべきときには、アクティブなアプリケーションと通信し、そのコンテキストにおいて使用されるべき新たなインターフェース設定値を供給する。インターフェース設定値は、コンテキスト・テンプレートから引き出されてもよい。
コンテキスト・インターフェース
[0060] 図４および図５は、ユーザーのコンテンツとの対話処理方法における変化を検出することに基づいてインターフェースを自動的に最適化する、本発明の一実施形態を示す。ユーザーの対話処理方法は、コンテキストの一例である。インターフェースと対話処理するためにユーザーによって採用される入力メカニズムに応じて、異なるインターフェースを最適化することもできる。例えば、深度カメラによって設けられるような、最適化ジェスチャー・インターフェースは、大きなボタン、および他の大きなインターフェース・オブジェクトを含む。対照的に、更に粒度が高い制御に備えるタッチ・スクリーン、ジョイスティック、プッシュ・ボタン、または他のコントローラーは、より多くの情報およびより小さな対話処理オブジェクトを示すことができるであろう。
[0061] 図４は、ソファに座り、ディスプレイ・デバイス４００上に表示されたインターフェース４１５と対話処理するユーザー４０５を描画する。入力メカニズムは、カメラ４１０によって取り込まれる動作域(performance area)を有するジェスチャー・インターフェースである。ユーザー４０５は、彼らの手、脚、身体全体、またはその組み合わせでジェスチャーを行って、ボックスＥ、Ｆ、Ｇ、およびＨのようなインターフェース・オブジェクトを操作する。
[0062] 図５は、ユーザー４０５がゲーム・コントローラー５１０を手に取ったことを除いて、同様の場面を示す。本発明の実施形態は、ゲーム・コントローラーに限定されるのではない。ユーザーは、タブレットまたはスマート・フォンのような、コンパニオン・デバイスを手に取ることもできる。見て分かるように、新たなインターフェース５１５は、ゲーム・インターフェース５１０と互換性がある追加の選択肢を提供する。例えば、ユーザーは、コントローラーのＡまたはＢボタンを押すことによって、水平方向にスクロールすることができる。加えて、ボックスＥ、Ｆ、Ｇ、およびＨは、コントローラーによって選択し易いので、これらの方が小さく、ユーザーがジョイスティックまたは上下矢印によってセレクターまたはカーソルを操作することを可能にする。
[0063] 本発明の実施形態は、２つのステップを伴う。第１ステップは、ユーザーが彼らのインターフェース対話処理方法を変更したことを検出することである。例えば、ユーザーがジェスチャーからコントローラーに切り替えるときに、アクティブなコンテンツを更新することができる。第２ステップは、新たな入力方法に対処するために、ユーザー・インターフェースを更新することである。様々な異なる検出方法を使用することができる。例えば、能動的にユーザーを追跡し、彼らが現在使用している入力方法は何か観察するために、カメラが使用されてもよい。一例では、深度カメラが、ユーザーの入力または対話処理方法を識別し追跡するために使用されてもよい。視覚系システムが、入力デバイス上において特定のマーカーを検出し、それがタブレット、スマート・フォン、ＴＶリモコン、またはゲーム・コントローラーの内どれなのか判定するために使用されてもよい。
[0064] また、本システムは、ユーザーが保持しているデバイスのタイプも判定する。アルゴリズム、例えば、機械学習深度形状検出器が、ユーザーによって保持されているデバイスのタイプを判定するために使用されてもよい。潜在的に、システムがデバイスを区別し易くするために、一連の一意のマーカーまたは内部センサー(internal sensor)がデバイス内またはデバイス上に置かれる。システムが、２つのゲーム・コントローラーのような、２つの同一デバイス間で効果的に区別するのを補助するために、他のマーカーを追加することもできる。入力デバイスの内部にあるセンサーの数および位置のために、異なるデバイスが異なるジャイロスコープ出力または加速度出力を生成することもある。この出力は、パターンを形成することができる。ユーザーが手に取ったデバイス内部における、ジャイロスコープのような内部センサーの読み取り値を、既知のパターンのライブラリに相関付け、ユーザーが保持している正確な外部入力デバイスを判定するために使用することもできる。
[0065] また、検出は、デバイスによって送信される無線信号内においてデバイス識別情報を評価することによって行うこともできる。コントローラーまたは他のデバイスと、ユーザー・インターフェースを制御する計算デバイスとの間における通信セッションの開始(opening) が、デバイス識別情報を含んでもよい。例えば、既に説明したように、コンパニオン・デバイスがゲーム・コンソールに接続するのでもよい。この接続のときに、ゲーム・コンソールおよびコンパニオン・デバイスが通信することができる。この接続は、ユーザーがコンパニオン・デバイスを能動的に使用していなくても、開いていてもよい。つまり、ユーザーがコンパニオン・デバイスを手に取ったときに、ユーザーがジェスチャー・インターフェースから移行したことを、深度カメラは検出することができる。
[0066] カメラは、ユーザーとの開いた通信セッションを有する１つ以上のコンパニオン・デバイスと対応する(conform)デバイスをユーザーが手に取ったという広い判定を行うことができる。次いで、カメラは、このデバイスから受信した入力を、検出した動きと相関付けることができる。例えば、カメラは、開いた接続(open connection)を通じてタッチ・スクリーン入力が受け取られたのと同時に、ユーザーがコンパニオン・デバイス上のタッチ・スクリーンをタッチしていたと判定することができる。この時点で、ユーザーが特定のコンパニオン・デバイス入力体験に移行したという決定的な判定を下すことができる。この判定を下したときに、ユーザー・インターフェースを、コンパニオン・デバイスとの対話処理に最適化されたものに移行させることができる。
[0067] コンパニオン・デバイスを検出するために使用される方法そのものには関係なく、次のステップでは、ユーザー・インターフェースを変更する。一旦、ユーザーが新たな入力デバイスを使用している(engage)ことをシステムが判定したなら、新たな入力を反映するために、それに応じてＵＩが通知および更新される。例えば、ジェスチャー制御および音声制御をサポートするデバイス上でユーザーが映画を見ているとき、ユーザーは彼らの音声および手のジェスチャーを使用してユーザー・インターフェースをナビゲートするかもしれない。ユーザーが映画(film)を見るのに飽きて、代わりに何かを再生するためにコントローラーを手に取ることを決心した場合、コンテキスト変化が検出される。一旦ユーザーがコントローラーを手に取ったことをシステムが検出したなら、コントローラー・ナビゲート可能なユーザー・インターフェースが現れ、ユーザーが１組のコントローラー・ベースのゲームを起動することが可能になる。
[0068] 他の例では、ユーザーが、主にコントローラーによって制御されるゲームをプレーしているが、タブレットのような、追加情報を表示する副デバイスを有する。タイトルと対話処理している間に、ユーザーがタブレットを手に取り、タイトルは、地図または項目管理画面のような、タブレット体験を増強するディスプレイに自動的に切り替わる。この例は、ユーザー・インターフェースが、利用可能なサイズまたは制御手段に関して最適化されるだけでなく、ユーザーが新たなコントローラーを手に取ったときに実行されそうなタスクに基づいて、異なるコンテンツを有する完全に異なるインターフェースを生成することに関しても最適化されるような方法で移行できることを示す。つまり、入力デバイスの能力、および恐らくはそのデバイスによって実行されるタスクに基づいて、ＵＩを最適化することもできる。ユーザーのコントローラーおよびデバイスの使用履歴を分析して、最適なユーザー・インターフェースを決定してもよい。
[0069] 図６、図７、および図８は、異なる入力と対話処理するために最適化されたヘルプ・インターフェースを示す。前述のように、入力はインターフェースが最適化されるコンテキストの特性である。
[0070] 図６では、本発明の一実施形態にしたがって、ゲーム・コントローラー５１０に最適化されたヘルプ・インターフェースについて説明する。見て分かるように、ユーザー４０５が、ゲーム・コントローラー５１０を使用して、インターフェース６１５と対話処理しようとしている。アクティブな入力メカニズムは、カメラ４１０によって収集された画像データーと、ゲーム・コントローラー５１０から受信した信号データーとの組み合わせによって確認することができる。見て分かるように、インターフェース６１５は、「もっと多くの情報が欲しい場合Ａを押して下さい」と述べるヘルプ・メッセージ６３０を含む。「Ａ」は、ゲーム・コントローラー５１０上にあるボタンにつけた名称を表す。ユーザーは、特定のコンテキストにおいてＡを押すことによって、メニューまたは異なるインターフェースにアクセスすることができる。インターフェース６１５内に示される全体的なメディアの提示は、コンテキスト毎に変化しなくてもよい。例えば、示される車がコマーシャルまたは映画の一部である場合、その外観はコンテキスト間で同じままであってもよい。インターフェース６１５のヘルプ・オーバーレイおよび他の対話処理フィーチャーは、コンテキストと共に変化することもできる。
[0071] これより図７に移り、本発明の一実施形態にしたがって、オーディオ制御に最適化されたヘルプ・インターフェースを示す。図７のフィーチャーは、図６を参照して既に説明したものと同様である。しかしながら、ユーザー４０５はもはやコントローラーを保持していないことに注意されたい。図示しないが、ユーザーは、可聴インターフェース(audible interface)をアクティブ化することを示すためにコマンドを発話しているのでもよい。インターフェース７１５は、「もっと多くの情報が欲しい場合「もっと」と言って下さい」と述べるヘルプ・インターフェース７３０を含む。最適化オーディオ・モードでは、ユーザーに利用可能である種々のオーディオ・コマンドを、ユーザーが完了しようとしているように見えるタスクに基づいて、示唆することもできる。
[0072] これより図８に移り、本発明の一実施形態にしたがって、コンパニオン・デバイスとの使用に最適化されたヘルプ・インターフェースまたはオーバーレイを示す。インターフェース８１５は、図６および図７を参照して既に説明したインターフェースと同様であるが、「もっと多くの情報が欲しい場合、タブレット上の「車」アイコンを選択して下さい」と述べるヘルプ・オーバーレイを含む。このメッセージは、ユーザーのコンパニオン・デバイス８１０上に現在表示されているアイコンを指す。このヘルプ・オーバーレイは、ユーザーがインターフェースを制御するために使用しようとしているデバイスのタイプだけでなく、デバイス上に現在表示されているコンテンツも考慮する。コンテキスト・インターフェースは、コンパニオン・デバイス８１０上で実行しているアプリケーションと、インターフェース８１５を生成したデバイス上で実行しているアプリケーションとの間で状態情報を交換することによって構築することができる。
[0073] カメラ４１０は、ユーザーが実際にコンパニオン・デバイス８１０を保持しており、コンパニオン・デバイス８１０との使用に最適化されるようにインターフェースが変更される前に、それを制御メカニズムとして使用する気があることを判定するために使用することもできる。たとえば、コンパニオン・デバイス８１０がテーブル上に置かれている場合、ユーザーによって保持されているときとでは、コンテキストは別にすることができる。
[0074] これより図９に移り、本発明の一実施形態にしたがって、ゲーム環境内部の人の位置に基づいて最適化されるコンテキスト・インターフェースを示す。図９は、ディスプレイ・デバイス９００上に表示されたビデオ・ゲームをプレーするプレーヤー９２４および９２２を含む。ディスプレイ・デバイス９００は、テレビジョンであってもよい。各プレーヤーは、彼ら自身の分割画面インターフェースと関連付けられる。プレーヤー９２２は、分割画面インターフェース９１２と関連付けられ、プレーヤー９２４はインターフェース９１４と関連付けられる。
[0075] カメラ９１０は、深度カメラ、または人々および物体を認識するために使用することもできるデーターを生成することができる他のデバイスでもよい。矢印は、プレーヤー９２２および９２４が場所を交替すると、分割画面インターフェース９１２および９１４の場所が切り替わることを示す。この移行は、コンテキストが変化したと判定したときに、自動的に行うことができる。この場合、コンテキストの変化は、２人のプレーヤーの位置変化である。このように、プレーヤーは、彼らの動きとは関係なく、彼らが対話処理している分割画面インターフェースの直視野に常に露出される。
[0076] ゲーム・プレー中における異なるインターフェース位置間の移行に加えて、人の認識を行い、ゲームにおいてどの人がどのユーザー・ファイルと関連付けられているか判断することによって、ゲーム・プレーの前に初期設定を最適化することもできる。図示しないが、プレーヤー９２２および９２４が、ビデオ・ゲームと対話処理するために、ゲーム・コントローラーまたはコンパニオン・デバイスを使用している可能性もある。他の実施形態では、彼らがビデオ・ゲームをプレーするためのオーディオ制御にジェスチャーを使用している場合もある。いずれにしても、彼らの相対的な位置を識別し、それに応じてインターフェースを最適化することができる。
[0077] これより図１０および図１１に移り、本発明の一実施形態にしたがって、右利きまたは左利きの使用に最適化されたユーザー・インターフェースを示す。図１０は、ディスプレイ・デバイス１０００上に示されたコンテンツを視聴する人１０４０を示す。このコンテンツは、主表示１０２０と、補助コンテンツ・ウィンドウ１０３０とを含む。補助コンテンツ・ウィンドウ１０３０は、選択可能なオブジェクト１０３２、選択可能なオブジェクト１０３４、および選択可能なオブジェクト１０３６を含む。アイコンおよびボタンは、選択可能なオブジェクトの例である。カメラ１０１０は、人々および物体を識別するために使用されるデーターをキャプチャすることができる。加えて、ジェスチャーに関連する動きというような、人の動きを判定するためにこの情報を使用することもできる。この場合、左側の選択可能なボタンであるインターフェースは、左手のジェスチャーとの使用に最適化される。見て分かるように、プレーヤー９４０はジェスチャーを行うために、彼の左手１０４２を上げている。
[0078] ユーザーの利き手が右手かまたは左手かは、多数の異なる方法で確認することができる。一実施形態では、ユーザーの履歴を分析して、彼らの利き手が右手かまたは左手かを確認する。右利きまたは左利きであることが分かっているユーザー、あるいはジェスチャーを行うときに彼らの右手または左手を最も頻繁に(most frequently)使用することが分かっているユーザーには、彼らの利き手に対して最適化されたインターフェースが自動的に提示される。
[0079] 以前の使用に加えて、現在のユーザーの状況を評価して、ユーザーがどちらの手を使用しそうか判定することもできる。一実施形態では、ユーザーは、現在異なる使用のために置かれている手を使用しそうもないと見なされる。例えば、その手がめがね、電話機を保持している、またはその手がポケットに入っている場合、ユーザーは左手を使いたいという仮定を行うことができ、左利きに最適化されたインターフェースが提示される。右利きまたは左利きに関連するコンテキスト・テンプレートは、ユーザーがどちらの手を使いそうか判定するために、多数の要因を調べることができる。
[0080] これより図１１に移り、図１０に示した同じインターフェースを示すが、ここでは右手の使用に最適化されることを除く。見て分かるように、ユーザー１０４０は彼の右手１０４４を上げて、表示と対話処理するためにそれを使っている。一例では、ユーザーのジェスチャーが他の人と干渉することを先読みして、右利き用または左利き用インターフェース(right-handed or left-handed interface)が提示される。例えば、画像データーから、ユーザーが彼の右手でジェスチャーを行うために、他の人の顔の前に彼の右手を差し出さなければならなさそうである場合、ユーザーに彼の左手を使う気にさせる(encourage)ために、左利き用インターフェースを提示すればよい。他の実施形態では、ユーザーの右手の前に立っている他の人または物体によって、ユーザーの右手がカメラ１０１０の視野から遮られそうな場合、左手を使う気にさせて、干渉物体によって生ずる遮蔽問題を回避するために、この場合も左利き用インターフェースが提示される。このように、コンテキスト判定は、環境コンテキストにおいて検出された問題を回避するように最適化されるインターフェースを作成することによって、問題を回避しようとすることができる。
[0081] これより図１２に移り、本発明の一実施形態にしたがって、対応するインターフェースを生成するための、環境内における物体または衣服の識別を示す。図１２において、ユーザー１２２０は、ディスプレイ・デバイス１２００およびカメラ１２１０の前で、テニス・ラケット１２２２を振り上げる。カメラ１２１０は、テニス・ラケット１２２２および恐らくは人１２２０を認識するために使用される画像データーをキャプチャする。応答して、テニス・ゲームが自動的にインターフェース１２１２において示される。これによって、ユーザーは、仮想テニス・ゲームをプレーするために種々のインターフェースにわたってナビゲートしなくても済む。これは、ユーザーがインターフェースの前にテニス・ラケット１１２２を持って現れる理由として、最もありそうなことであろう。代わりに、人１２２０がテニスを見たいことの合図として、テニス・ラケットを使用することもできる。コンテキストを明確にするために、ユーザーの好みおよび視聴履歴を使用してもよい。
[0082] 他の実施形態では、衣料品が認識され、コンテキストを確定ししかるべきインターフェースを提示するために使用される。一実施形態では、テニスのジャージが認識され、ビデオ・ゲームにおいて同様の色のジャージを自動的に選択するために、または全く同じチームでさえも自動的に選択するために使用される。例えば、ＮＦＬチームを有するビデオ・ゲームが開始され、ユーザーが彼らのジャージ上に示された彼らのチームをプレーさせることもできる。多数のプレーヤーがいる設定では、多数の人々に、彼らのジャージと対応するチームを割り当てることができる。正確な一致が可能でない場合、彼らが制御しているチームに同様の色を自動的に割り当てるのでもよい。
[0083] 衣服から識別されたチームを伴う進行中のスポーツ・イベントというような、他のコンテキスト要因に依存して、そのスポーツ・イベントの提示をユーザー・インターフェース上に自動的に提示することもできる。例えば、ある人のジャージ上に示されたチームを伴うサッカーの試合が現在視聴可能である場合、それを示すこともできる。試合が進行中であるが、例えば、ユーザーの視聴契約(cable package)のために現在利用できない場合、特定の視聴契約に登録するというような、試合を視聴するためのメカニズムをユーザーに提示し、自動的に設定するのでもよい。あるいは、試合の更新を示すウェブ・ページを自動的に表示してもよい。
[0084] ビデオ・ゲームのプレーおよび試合視聴のコンテキストを明確にするには、関連するチームが関与するスポーツ・イベントが入手できるか否かを基準にしてもよい。つまり、コンテキスト要因は、現在の環境において単に行われていることよりも多くを含むことができるが、ユーザーにとって関心があるかもしれない種々のコンテンツ、または特定の時点においてユーザーに入手可能になるかもしれない種々のコンテンツの評価を含んでもよい。多数のコンテキストが利用可能である場合、ユーザーの以前の視聴履歴が、選択を明確にするのに役立つことを考慮してもよい。また、ユーザーに代わりのインターフェースを提示してもよい。例えば、ユーザーが、彼らのチームがプレーしている最中の試合(ongoing contest)を見たいのか、またはビデオ・ゲームをプレーしたいのか、ユーザーに尋ねることができる。
[0085] 他の実施形態では、種々のビデオ・ゲームに関連する衣服を使用して、自動的にキャラクターまたは種々の入手可能なゲームを選択することもできる。例えば、魔法使いの帽子をかぶっている人には、魔法使いが関係するゲームを彼が開始するときに、魔法使いのキャラクターを自動的に割り当てることもできる。軽微な変形では、魔法使いの帽子をかぶっていることに応答して、特定のキャラクターを選択することなく、魔法使いが関係するゲームを開くこともできる。魔法使いが関係するゲームが多数入手可能なとき、魔法使いが関係するゲームの内最後にプレーされたものを選択して提示するのでもよい。
コンテキスト・インターフェースの生成方法
[0086] これより図１３に移り、本発明の一実施形態にしたがって、現在のコンテキストに最適化されたインターフェースを提示する方法を示す。方法１３００のインターフェースは、テレビジョン、モニター、または他のディスプレイ・デバイス上に表示されるコンピューター・インターフェースとすればよい。このインターフェースは、ゲーム・コンソール、メディア・プレーヤー、パーソナル・コンピューター、または他の同様のデバイスによって生成されればよい。
[0087] ステップ１３１０において、ユーザー・インターフェースに近接する環境を描画する画像データーを分析することによって、ユーザー・インターフェースに対して現在のコンテキストを判定する。一実施形態では、ユーザー・インターフェースに近接する環境は、画像データー内に描画された空間のボリュームである。他の実施形態では、環境は、画像データーによって取り込まれたエリアの背後に広がり、室内あるいは家屋またはアパートのような住居内におけるような、物理的境界によって区切られる。これらの他のエリアは、画像データーをキャプチャするカメラの視野内には入らないかもしれないが、環境内にあるデバイスからの信号や、カメラの視野内に入らないユーザーからの可聴コマンドも受信することができる。一実施形態では、画像データーは、深度カメラによってキャプチャされるような、三次元画像データーである。画像データーは、深度クラウドとして記述されてもよい。三次元画像データーは、物体の大きさ、形状、および動き(motion)を、そのデーター内において検出することを可能にする。ユーザーによって行われたジェスチャーを認識するために、深度クラウド(depth cloud)を使用してもよい。ジェスチャーは、手の動き、身体の動き、顔の表情、またはインターフェースを制御するためにジェスチャー解釈コンポーネントによって認識される他のアクションであってもよい。
[0088] ステップ１３２０において、現在のコンテキストによって最適化されたユーザー・インターフェースを生成する。このユーザー・インターフェースは、表示のためにユーザーに出力される。ユーザー・インターフェースを最適化する種々の方法については、既に説明した。例えば、ユーザー・インターフェースは、特定の制御モードでの使用に対して最適化することもできる。種々の制御モード内において、ユーザーがそのインターフェースによって完了しようとしているタスクを予想して、それに応じてユーザー・インターフェースを更新することもできる。意図されたタスクは、環境を評価することによって導かれるコンテキストの一部である。また、環境における物体とのユーザーの対話処理も、コンテキストを判定するために使用することができる。
[0089] これより図１４に移り、本発明の一実施形態にしたがって、現在のコンテキストに最適化されたインターフェースを提示する方法１４００を示す。ステップ１４１０において、ユーザー・インターフェースに近接するユーザーのアクションを分析することによって、ユーザー・インターフェースに対する現在のコンテキストを判定する。このアクションには、インターフェースによる制御モードの使用が含まれる。制御モードの例には、ジェスチャーの使用、コンパニオン・デバイスの使用、専用デバイスの使用、および可聴制御(audible control)が含まれる。現在のコンテキストは、特定の制御モードよりも粒状(granular)であってもよい。例えば、ジェスチャー制御モード内において、右手によるジェスチャーまたは左手によるジェスチャーが好ましいことを、コンテキストが判定してもよい。
[0090] ステップ１４２０において、現在のコンテキストに対して最適化されたユーザー・インターフェースを生成する。このユーザー・インターフェースは、表示のためにユーザーに出力される。現在のコンテキストに関してユーザー・インターフェースを最適化する方法については、既に説明した。
[0091] これより図１５に移り、本発明の一実施形態にしたがって、現在のコンテキストに対して最適化されたインターフェースを提示する方法１５００を示す。ステップ１５１０において、ユーザー・インターフェースに近接する環境を描画する画像データーを分析することによって、ユーザー・インターフェースに対する現在のコンテキストを判定する。現在のコンテキスト、および現在のコンテキストを判定するための画像データーの使用については、既に図１３を参照してそして他の場所で説明した。
[0092] ステップ１５２０において、現在のコンテキストに対して最適化された現在のユーザー・インターフェースを生成する。現在のユーザー・インターフェースは、表示のために、ユーザーに出力される。
[0093] ステップ１５３０において、ユーザー・インターフェースに近接する環境を描画する画像データーを分析することによって、ユーザー・インターフェースに対する新たなコンテキストを判定する。この画像データーは、新たなコンテキストが生ずる結果と成った、環境に対する変化を描画する。ステップ１５４０において、この新たなコンテキストに合わせて、ユーザー・インターフェースを自動的に最適化する。
[0094] 以上、限定的ではなく例示的であるように、本発明の実施形態について説明した。尚、ある種の特徴およびサブコンビネーションは、有用であり、他の特徴やサブコンビネーションを参照することなく採用されてもよいことは理解されよう。これは、請求項の範囲によって想定されており、その範囲内に該当することである。

Claims (10)

  1. 現在のコンテキストに対して最適化されたインターフェースを提示する方法であって、
    ユーザー・インターフェースに近接する環境を描画する画像データーを分析することによって、前記ユーザー・インターフェースに対する現在のコンテキストを判定するステップと、
    前記現在のコンテキストに対して最適化された前記ユーザー・インターフェースを生成するステップと、
    を含む、方法。
  2. 請求項１記載の方法において、前記現在のコンテキストが、前記ユーザー・インターフェースと対話処理するためにユーザーが利用している制御モードを含む、方法。
  3. 請求項１記載の方法において、前記現在のコンテキストが、ユーザーが対話処理しているオブジェクトを含む、方法。
  4. コンピューター実行可能命令が具体化された１つ以上のコンピューター記憶媒体であって、前記コンピューター実行可能命令を計算デバイスによって実行すると、現在のコンテキストに最適化されたインターフェースを提示する方法を実行し、前記方法が、
    ユーザー・インターフェースに近接する人のアクションを分析することによって、前記ユーザー・インターフェースに対する現在のコンテキストを判定するステップであって、前記アクションが、前記インターフェースによる制御モードの使用を含む、ステップと、
    前記現在のコンテキストに対して最適化された前記ユーザー・インターフェースを生成するステップと、
    を含む、コンピューター記憶媒体。
  5. 請求項４記載の媒体において、前記制御モードが、制御デバイスを使用しないジェスチャー、コンパニオン・デバイスの使用、および可聴制御の内１つ以上を含む、媒体。
  6. 請求項４記載の媒体において、前記方法が、更に、前記インターフェースに対して新たなコンテキストを判定したときに、前記ユーザー・インターフェースを自動的に最適化し直すステップを含む、媒体。
  7. 請求項４記載の媒体において、前記アクションが、ジェスチャーを行うための左手の使用を含み、前記ユーザー・インターフェースが、左手によるジェスチャーとの使用に対して最適化される、媒体。
  8. 現在のコンテキストに対して最適化されたインターフェースを提示する方法であって、
    ユーザー・インターフェースに近接する環境を描画する画像データーを分析することによって、前記ユーザー・インターフェースに対する現在のコンテキストを判定するステップと、
    前記現在のコンテキストに対して最適化された現在のユーザー・インターフェースを生成するステップと、
    前記ユーザー・インターフェースに近接する前記環境を描画する画像データーを分析することによって、前記ユーザー・インターフェースに対して新たなコンテキストを判定するステップと、
    前記新たなコンテキストに対して前記ユーザー・インターフェースを自動的に最適化するステップと、
    を含む、方法。
  9. 請求項８記載の方法において、前記ユーザー・インターフェースとの以前のユーザーの対話処理を使用して、多数の可能なコンテキストから、前記新たなコンテキストを明確にする、方法。
  10. 請求項８記載の方法において、前記ユーザー・インターフェースに近接する前記環境を分析するステップが、前記ユーザー・インターフェースと対話処理するためにユーザーによって利用される制御モードを判定するステップを含む、方法。
JP2015515077A 2012-06-01 2013-05-24 コンテキスト・ユーザー・インターフェース Active JP6157603B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261654638P 2012-06-01 2012-06-01
US61/654,638 2012-06-01
US13/725,925 2012-12-21
US13/725,925 US9170667B2 (en) 2012-06-01 2012-12-21 Contextual user interface
PCT/US2013/042547 WO2013181073A2 (en) 2012-06-01 2013-05-24 Contextual user interface

Publications (2)

Publication Number Publication Date
JP2015524110A true JP2015524110A (ja) 2015-08-20
JP6157603B2 JP6157603B2 (ja) 2017-07-05

Family

ID=49669578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015515077A Active JP6157603B2 (ja) 2012-06-01 2013-05-24 コンテキスト・ユーザー・インターフェース

Country Status (10)

Country Link
US (7) US9690465B2 (ja)
EP (2) EP2856295B1 (ja)
JP (1) JP6157603B2 (ja)
KR (1) KR102126595B1 (ja)
CN (1) CN104350446B (ja)
AU (1) AU2013267703B2 (ja)
CA (1) CA2874667C (ja)
MX (1) MX340692B (ja)
RU (1) RU2644142C2 (ja)
WO (1) WO2013181073A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5988286B1 (ja) * 2016-04-01 2016-09-07 株式会社Ｃｙｇａｍｅｓ プログラム及び画像処理装置
JP2018534687A (ja) * 2015-10-20 2018-11-22 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元空間内の仮想オブジェクトの選択

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2724549A1 (en) 2011-06-24 2014-04-30 The Directv Group, Inc. Method and system for obtaining viewing data and providing content recommendations at a set top box
US9788069B1 (en) 2011-06-24 2017-10-10 The Directv Group, Inc. Method and system for recording recommended content within a user device
US10055746B1 (en) 2011-06-24 2018-08-21 The Directv Group, Inc. Method and system for obtaining feedback for a content recommendation by various algorithms
US9032451B2 (en) * 2011-09-01 2015-05-12 The Directv Group, Inc. Method and system for using a second screen device for interacting with a set top box to enhance a user experience
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US10543422B1 (en) * 2012-05-07 2020-01-28 CP Studios Inc. Providing synchronized and integrated video gaming
US9381427B2 (en) * 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US9690465B2 (en) 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
US20140032537A1 (en) * 2012-07-30 2014-01-30 Ajay Shekhawat Apparatus, system, and method for music identification
US9323755B2 (en) * 2012-07-30 2016-04-26 Verizon Patent And Licensing Inc. Secondary content
KR20140029049A (ko) * 2012-08-31 2014-03-10 삼성전자주식회사 디스플레이 장치 및 이를 이용한 입력 신호 처리 방법
US20140114919A1 (en) * 2012-10-19 2014-04-24 United Video Properties, Inc. Systems and methods for providing synchronized media content
US9678617B2 (en) 2013-01-14 2017-06-13 Patrick Soon-Shiong Shared real-time content editing activated by an image
US20140258372A1 (en) * 2013-03-11 2014-09-11 Say Media, Inc Systems and Methods for Categorizing and Measuring Engagement with Content
US20140258373A1 (en) 2013-03-11 2014-09-11 Say Media, Inc. Systems and Methods for Managing and Publishing Managed Content
US10003780B1 (en) 2013-03-14 2018-06-19 The Directv Group, Inc. Method and system for recording recommended content within a user device and indicating recording capacity
US9420343B2 (en) * 2013-03-15 2016-08-16 Echostar Technologies L.L.C. Systems and methods for providing information related to tagged items represented in video stream content
US10341275B2 (en) 2013-04-03 2019-07-02 Dropbox, Inc. Shared content item commenting
US9276883B2 (en) * 2013-04-28 2016-03-01 Tencent Technology (Shenzhen) Company Limited Information collection, storage, and sharing platform
US9509758B2 (en) * 2013-05-17 2016-11-29 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Relevant commentary for media content
CA2917324C (en) * 2013-08-28 2018-06-05 Lg Electronics Inc. Signal transmission device and method for controlling same
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US20150128194A1 (en) * 2013-11-05 2015-05-07 Huawei Device Co., Ltd. Method and mobile terminal for switching playback device
US9519525B2 (en) * 2013-11-14 2016-12-13 Dropbox, Inc. File-level commenting
CN110891188B (zh) * 2013-12-11 2021-11-05 瑞典爱立信有限公司 用于同步媒体流的方法和系统
US9560449B2 (en) 2014-01-17 2017-01-31 Sony Corporation Distributed wireless speaker system
US9288597B2 (en) 2014-01-20 2016-03-15 Sony Corporation Distributed wireless speaker system with automatic configuration determination when new speakers are added
US9369801B2 (en) 2014-01-24 2016-06-14 Sony Corporation Wireless speaker system with noise cancelation
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
US9426551B2 (en) 2014-01-24 2016-08-23 Sony Corporation Distributed wireless speaker system with light show
US9232335B2 (en) 2014-03-06 2016-01-05 Sony Corporation Networked speaker system with follow me
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
US20150268820A1 (en) * 2014-03-18 2015-09-24 Nokia Corporation Causation of a rendering apparatus to render a rendering media item
CN103941982B (zh) * 2014-05-12 2016-08-24 腾讯科技（深圳）有限公司 一种分享界面处理的方法及终端
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
US9324067B2 (en) 2014-05-29 2016-04-26 Apple Inc. User interface for payments
US9554189B2 (en) 2014-06-30 2017-01-24 Microsoft Technology Licensing, Llc Contextual remote control interface
US10666748B2 (en) * 2014-08-04 2020-05-26 Adobe Inc. Real-time calculated and predictive events
CN114115460A (zh) 2014-08-06 2022-03-01 苹果公司 用于电池管理的减小尺寸的用户界面
US10066959B2 (en) 2014-09-02 2018-09-04 Apple Inc. User interactions for a mapping application
DE202015006066U1 (de) 2014-09-02 2015-12-14 Apple Inc. Kleinere Schnittstellen zur Handhabung von Benachrichtigungen
US10070183B2 (en) * 2014-12-15 2018-09-04 Verizon Digital Media Services Inc. Processing techniques in audio-visual streaming systems
US10721540B2 (en) 2015-01-05 2020-07-21 Sony Corporation Utilizing multiple dimensions of commerce and streaming data to provide advanced user profiling and realtime commerce choices
US10901592B2 (en) 2015-01-05 2021-01-26 Sony Corporation Integrated multi-platform user interface/user experience
US10812869B2 (en) 2015-01-05 2020-10-20 Sony Corporation Personalized integrated video user experience
US10694253B2 (en) 2015-01-05 2020-06-23 Sony Corporation Blu-ray pairing with video portal
US20160301748A1 (en) * 2015-01-13 2016-10-13 John Joseph Conley Method and system for consuming synchronized digital content among a plurality of users over a network
US20160224973A1 (en) 2015-02-01 2016-08-04 Apple Inc. User interface for payments
US9894120B2 (en) * 2015-02-06 2018-02-13 International Business Machines Corporation Partial likes of social media content
DE102015001622A1 (de) * 2015-02-09 2016-08-11 Unify Gmbh & Co. Kg Verfahren zur Übertragung von Daten in einem Multimedia-System, sowie Softwareprodukt und Vorrichtung zur Steuerung der Übertragung von Daten in einem Multimedia-System
US9574896B2 (en) 2015-02-13 2017-02-21 Apple Inc. Navigation user interface
US9895611B2 (en) * 2015-04-27 2018-02-20 Sony Interactive Entertainment America Llc Interactive events platform
US9792268B2 (en) * 2015-05-15 2017-10-17 Sap Se Zoomable web-based wall with natural user interface
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
CN104936035B (zh) 2015-06-19 2018-04-17 腾讯科技（北京）有限公司 一种弹幕处理方法及系统
US20170017323A1 (en) * 2015-07-17 2017-01-19 Osterhout Group, Inc. External user interface for head worn computing
US20170017700A1 (en) * 2015-07-17 2017-01-19 International Business Machines Corporation Creating a dynamic visual display of social network activity
US20170116047A1 (en) * 2015-10-25 2017-04-27 Khozem Z. Dohadwala Further applications of Reading State control - A method for repositioning reading material on electronic devices
US9693168B1 (en) 2016-02-08 2017-06-27 Sony Corporation Ultrasonic speaker assembly for audio spatial effect
US9826332B2 (en) 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9693169B1 (en) 2016-03-16 2017-06-27 Sony Corporation Ultrasonic speaker assembly with ultrasonic room mapping
US11150798B2 (en) 2016-03-28 2021-10-19 Apple Inc. Multifunction device control of another electronic device
US10990757B2 (en) 2016-05-13 2021-04-27 Microsoft Technology Licensing, Llc Contextual windows for application programs
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
CN107436869B (zh) * 2016-05-25 2021-06-29 北京奇虎科技有限公司 一种印象评论生成方法及装置
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
CN106095516B (zh) * 2016-06-23 2020-03-24 联想(北京)有限公司 一种数据处理方法及电子设备
US10857464B2 (en) 2016-06-29 2020-12-08 Razer (Asia-Pacific) Pte. Ltd. Communication devices and methods for use with gaming devices to assist in gameplay
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US10521502B2 (en) 2016-08-10 2019-12-31 International Business Machines Corporation Generating a user interface template by combining relevant components of the different user interface templates based on the action request by the user and the user context
US10737140B2 (en) * 2016-09-01 2020-08-11 Catalyft Labs, Inc. Multi-functional weight rack and exercise monitoring system for tracking exercise movements
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US20180071634A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Contextual gamer profile
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
WO2018083627A1 (en) * 2016-11-02 2018-05-11 Onshape Inc. Second touch zoom control
US20180205569A1 (en) * 2017-01-12 2018-07-19 Roger Wagner Method and apparatus for bidirectional control connecting hardware device action with url-based web navigation
US10318071B2 (en) * 2017-03-23 2019-06-11 Intel Corporation Method and apparatus for a blob angle orientation recognition in a touch device
US20180329597A1 (en) 2017-05-15 2018-11-15 Microsoft Technology Licensing, Llc Ink Anchoring
US11221823B2 (en) 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
CN107241644B (zh) * 2017-05-31 2018-09-07 腾讯科技（深圳）有限公司 一种视频直播过程中的图像处理方法和装置
US10318109B2 (en) 2017-06-09 2019-06-11 Microsoft Technology Licensing, Llc Emoji suggester and adapted user interface
CN107563177A (zh) * 2017-09-05 2018-01-09 深圳天珑无线科技有限公司 密码处理方法、装置及计算机可读存储介质
EP3680769A4 (en) * 2017-09-08 2020-09-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. INFORMATION DISPLAY METHOD, DEVICE, AND TERMINAL
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
EP4155988A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric authentication for performing a respective function
US20190087060A1 (en) * 2017-09-19 2019-03-21 Sling Media Inc. Dynamic adjustment of media thumbnail image size based on touchscreen pressure
US11134312B2 (en) * 2017-12-14 2021-09-28 Google Llc Methods, systems, and media for presenting contextual information in connection with media content
KR102448382B1 (ko) * 2018-01-22 2022-09-28 삼성전자주식회사 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
EP3729781B1 (en) 2018-01-22 2023-11-01 Apple Inc. Secure login with authentication based on a visual representation of data
CN108170611B (zh) * 2018-01-23 2019-07-16 网易（杭州）网络有限公司 自动化测试方法及装置、存储介质、电子设备
US10939182B2 (en) * 2018-01-31 2021-03-02 WowYow, Inc. Methods and apparatus for media search, characterization, and augmented reality provision
US11490429B2 (en) 2018-02-13 2022-11-01 Apple Inc. Companion assistance and efficient link selection for wearable devices
US11717760B2 (en) * 2018-03-12 2023-08-08 Roblox Corporation Chat application using a gaming engine
US11669345B2 (en) * 2018-03-13 2023-06-06 Cloudblue Llc System and method for generating prediction based GUIs to improve GUI response times
US20190347084A1 (en) * 2018-05-10 2019-11-14 Dell Products, Lp Method to Dynamically Create Plug and Play Identifiers in Firmware to Facilitate Deployment of Windows Services
CN110489635B (zh) * 2018-05-15 2023-05-05 阿里巴巴集团控股有限公司 数据对象搜索控制方法、装置及系统
US11243679B2 (en) * 2018-06-03 2022-02-08 Apple Inc. Remote data input framework
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
KR102123593B1 (ko) * 2018-07-23 2020-06-16 스노우 주식회사 실시간 라이브 영상과 이벤트의 동기화를 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
EP3870322A4 (en) 2018-10-22 2022-08-03 Sony Interactive Entertainment LLC DATA MODEL FOR UNIFORM DATA PLATFORM
EP3871423A4 (en) * 2018-10-23 2022-07-06 Sony Interactive Entertainment LLC CROSS-PLATFORM REVEAL BLOCKING SERVICE
US10623859B1 (en) 2018-10-23 2020-04-14 Sony Corporation Networked speaker system with combined power over Ethernet and audio delivery
JP7259025B2 (ja) 2018-10-25 2023-04-17 ソニー・インタラクティブエンタテインメント エルエルシー ゲーム内オブジェクトのクロスプラットフォーム消費
US11270067B1 (en) * 2018-12-26 2022-03-08 Snap Inc. Structured activity templates for social media content
US11501348B1 (en) 2018-12-28 2022-11-15 Snap Inc. Virtual currency in a native application environment
US11593826B1 (en) * 2018-12-28 2023-02-28 Snap Inc. Messaging and gaming applications rewards
WO2020153232A1 (ja) * 2019-01-24 2020-07-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
CN110013673B (zh) * 2019-04-08 2023-04-14 北京视游互动科技有限公司 一种应用折叠显示屏进行游戏的方法、装置及存储介质
CN111836111A (zh) 2019-04-17 2020-10-27 微软技术许可有限责任公司 生成弹幕的技术
US11546647B2 (en) * 2019-06-07 2023-01-03 Roku, Inc. Content-modification system with probability-based selection feature
GB2586059B (en) * 2019-08-01 2023-06-07 Sony Interactive Entertainment Inc System and method for generating user inputs for a video game
CN110460868B (zh) * 2019-08-13 2021-07-13 中国联合网络通信集团有限公司 广告投放方法和广告投放系统
JP7153143B2 (ja) * 2019-09-11 2022-10-13 拓也 木全 映像提供システムおよびプログラム
US11093256B2 (en) 2019-09-12 2021-08-17 Dell Products L.P. System and method for dynamically installing driver dependencies
US10750806B1 (en) 2020-04-09 2020-08-25 Briggs Belt Systems, Llc Protective belt apparatus
US11564431B2 (en) 2020-04-09 2023-01-31 Briggs Belt Systems, Llc Protective belt apparatus
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
WO2022108019A1 (en) 2020-11-23 2022-05-27 Samsung Electronics Co., Ltd. Electronic device and method for optimizing user interface of application
CN112973116B (zh) * 2021-03-04 2023-05-12 腾讯科技（深圳）有限公司 虚拟场景画面展示方法、装置、计算机设备及存储介质
CN112915537B (zh) * 2021-04-06 2023-06-27 腾讯科技（深圳）有限公司 虚拟场景画面展示方法、装置、计算机设备及存储介质
US11847293B2 (en) * 2021-08-05 2023-12-19 Rolland & Hamann Innovations, LLC Selectable input alterations
US11677906B2 (en) 2021-09-10 2023-06-13 Zoom Video Communications, Inc. Secondary mode device software access for primary mode device users

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070300185A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Activity-centric adaptive user interface
US20090079813A1 (en) * 2007-09-24 2009-03-26 Gesturetek, Inc. Enhanced Interface for Voice and Video Communications
JP2009087026A (ja) * 2007-09-28 2009-04-23 Panasonic Corp 映像表示装置
JP2010179088A (ja) * 2008-11-04 2010-08-19 Yen Wei ビデオゲーム用ハイブリッドプラットフォーム
JP2011504710A (ja) * 2007-11-21 2011-02-10 ジェスチャー テック，インコーポレイテッド メディア嗜好
WO2011087890A2 (en) * 2010-01-15 2011-07-21 Microsoft Corporation Recognizing user intent in motion capture system
WO2012017525A1 (ja) * 2010-08-04 2012-02-09 パイオニア株式会社 処理装置及びコマンド入力支援方法
WO2012120958A1 (ja) * 2011-03-04 2012-09-13 株式会社ニコン 投影装置

Family Cites Families (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH088681B2 (ja) * 1985-03-18 1996-01-29 ソニー株式会社 ビデオテックスの端末装置
JP3033081B2 (ja) 1992-05-21 2000-04-17 日本電気株式会社 コンソ−ル接続方式
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5872859A (en) 1995-11-02 1999-02-16 University Of Pittsburgh Training/optimization of computer aided detection schemes based on measures of overall image quality
US6546405B2 (en) * 1997-10-23 2003-04-08 Microsoft Corporation Annotating temporally-dimensioned multimedia content
US6956593B1 (en) 1998-09-15 2005-10-18 Microsoft Corporation User interface for creating, viewing and temporally positioning annotations for media content
US7418504B2 (en) 1998-10-30 2008-08-26 Virnetx, Inc. Agile network protocol for secure communications using secure domain names
US9116544B2 (en) 2008-03-26 2015-08-25 Pierre Bonnat Method and system for interfacing with an electronic device via respiratory and/or tactual input
US6256019B1 (en) 1999-03-30 2001-07-03 Eremote, Inc. Methods of using a controller for controlling multi-user access to the functionality of consumer devices
US6709330B1 (en) 1999-08-20 2004-03-23 Ameritrade Holding Corporation Stock simulation engine for an options trading game
WO2002033541A2 (en) * 2000-10-16 2002-04-25 Tangis Corporation Dynamically determining appropriate computer interfaces
WO2002043825A1 (en) 2000-11-28 2002-06-06 Ods Properties, Inc. Systems and methods for providing fixed-odds and pari-mutuel wagering
US20020065715A1 (en) * 2000-11-30 2002-05-30 Christopher Tennyson Integrated broadcasting and impulse purchasing system
US7774817B2 (en) 2001-01-31 2010-08-10 Microsoft Corporation Meta data enhanced television programming
US6816897B2 (en) 2001-04-30 2004-11-09 Opsware, Inc. Console mapping tool for automated deployment and management of network devices
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US20030028390A1 (en) 2001-07-31 2003-02-06 Stern Edith H. System to provide context-based services
KR100474724B1 (ko) * 2001-08-04 2005-03-08 삼성전자주식회사 터치스크린을 가지는 장치 및 그 장치에 외부디스플레이기기를 연결하여 사용하는 방법
US20030046398A1 (en) 2001-08-29 2003-03-06 Charles Buckley Method and system for managing a plurality of console devices in a network
WO2003019325A2 (en) 2001-08-31 2003-03-06 Kent Ridge Digital Labs Time-based media navigation system
US7127613B2 (en) 2002-02-25 2006-10-24 Sun Microsystems, Inc. Secured peer-to-peer network data exchange
US20030182663A1 (en) 2002-03-25 2003-09-25 Sony Corporation System and method for sharing user comments on TV screens
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US20040019292A1 (en) 2002-07-29 2004-01-29 Drinan Darrel Dean Method and apparatus for bioelectric impedance based identification of subjects
US6773349B2 (en) 2002-07-31 2004-08-10 Intec, Inc. Video game controller with integrated video display
US9352222B2 (en) 2002-12-10 2016-05-31 Sony Interactive Entertainment America Llc System and method for capturing text for an online application
US7571469B2 (en) 2002-12-24 2009-08-04 Nokia Corporation Method for communication control in a communication network, communication control entity, key management entity, terminal and gateway entity
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8014768B2 (en) 2003-04-30 2011-09-06 Disney Enterprises, Inc. Mobile phone multimedia controller
US20040263639A1 (en) 2003-06-26 2004-12-30 Vladimir Sadovsky System and method for intelligent image acquisition
JP3698711B1 (ja) 2004-05-07 2005-09-21 株式会社ソニー・コンピュータエンタテインメント ネットワーク識別子設定方法、通信方法および無線通信端末装置
EP1825664A4 (en) 2004-09-09 2011-11-02 Link Us All Llc METHOD AND SYSTEM FOR PRESENCE DETECTION IN A COMMUNICATION SYSTEM
US8064670B2 (en) 2004-09-29 2011-11-22 Northrop Grumman Systems Corporation Analysis of multidimensional data
US7500154B2 (en) 2004-12-17 2009-03-03 Cisco Technology, Inc. Method and system for generating a console log
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US7702006B2 (en) * 2005-07-05 2010-04-20 Microsoft Corporation Adjustment of transmission data rate based on data errors and/or latency
US7625287B2 (en) 2005-10-05 2009-12-01 Nintendo Co., Ltd. Driving game steering wheel simulation method and apparatus
US7512677B2 (en) 2005-10-20 2009-03-31 Uplogix, Inc. Non-centralized network device management using console communications system and method
US7523226B2 (en) 2005-11-09 2009-04-21 Microsoft Corporation Controlling an auxiliary display user interface based on usage context
CN100493091C (zh) 2006-03-10 2009-05-27 清华大学 基于会话初始化协议的流媒体直播p2p网络方法
US20110107369A1 (en) * 2006-03-28 2011-05-05 O'brien Christopher J System and method for enabling social browsing of networked time-based media
US9002018B2 (en) 2006-05-09 2015-04-07 Sync Up Technologies Corporation Encryption key exchange system and method
US7954049B2 (en) 2006-05-15 2011-05-31 Microsoft Corporation Annotating multimedia files along a timeline
US8970503B2 (en) 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
KR20070015239A (ko) 2007-01-13 2007-02-01 (주)아루온게임즈 휴대전화와 유저 게임공통단말기가 연동된 게임시스템 및그 방법
US20080248845A1 (en) 2007-04-06 2008-10-09 Henry Paul Morgan Contextual Gamer Options Menu
WO2008134745A1 (en) 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
US9542394B2 (en) * 2007-06-14 2017-01-10 Excalibur Ip, Llc Method and system for media-based event generation
US20130198321A1 (en) 2012-01-31 2013-08-01 Paul W. Martin Content associated with primary content
TWI333156B (en) 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US20090055739A1 (en) 2007-08-23 2009-02-26 Microsoft Corporation Context-aware adaptive user interface
US8572199B2 (en) 2007-09-26 2013-10-29 Microsoft Corporation Dynamic instant comments
CA2703210A1 (en) 2007-10-24 2009-04-30 Jonathan Peter Deutsch Various methods and apparatuses for accessing networked devices without accessible addresses via virtual ip addresses
WO2009067676A1 (en) 2007-11-21 2009-05-28 Gesturetek, Inc. Device access control
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8340492B2 (en) 2007-12-17 2012-12-25 General Instrument Corporation Method and system for sharing annotations in a communication network
KR20090085791A (ko) 2008-02-05 2009-08-10 삼성전자주식회사 멀티미디어 컨텐츠 서비스 장치 및 방법, 이를 포함하는멀티미디어 컨텐츠 서비스 제공시스템
US20090276475A1 (en) 2008-03-01 2009-11-05 Roald Ramsey Secure data access and backup
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20090235298A1 (en) 2008-03-13 2009-09-17 United Video Properties, Inc. Systems and methods for synchronizing time-shifted media content and related communications
US20130215116A1 (en) * 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
KR101454025B1 (ko) 2008-03-31 2014-11-03 엘지전자 주식회사 영상표시기기에서 녹화정보를 이용한 영상 재생 장치 및 방법
US9582049B2 (en) 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
US8200795B2 (en) 2008-06-05 2012-06-12 Sony Computer Entertainment Inc. Mobile phone game interface
US8839327B2 (en) * 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
US20110106736A1 (en) 2008-06-26 2011-05-05 Intuitive User Interfaces Ltd. System and method for intuitive user interaction
US20100050129A1 (en) 2008-08-19 2010-02-25 Augusta Technology, Inc. 3D Graphical User Interface For Simultaneous Management Of Applications
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
WO2010028690A1 (en) 2008-09-12 2010-03-18 Nokia Corporation Session initiation for device-to-device communication
JP5260643B2 (ja) 2008-09-29 2013-08-14 パナソニック株式会社 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
US9497322B2 (en) 2008-10-16 2016-11-15 Troy Barnes Remote control of a web browser
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US20100162139A1 (en) 2008-12-19 2010-06-24 Palm, Inc. Multi-function status indicator for content receipt by a mobile computing device
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8751955B2 (en) 2009-03-28 2014-06-10 International Business Machines Corporation Scrollbar user interface for multitouch devices
US8639096B2 (en) * 2009-04-15 2014-01-28 Cbs Interactive Inc. System and method of managing a digital video recorder using a user television broadcast list
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US20100318520A1 (en) 2009-06-01 2010-12-16 Telecordia Technologies, Inc. System and method for processing commentary that is related to content
US9014685B2 (en) 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
KR20110003146A (ko) 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
KR101584058B1 (ko) * 2009-08-07 2016-01-12 삼성전자주식회사 현재 상황에 적합한 사용 환경을 제공하는 휴대 단말기 및 이의 운용 방법
US20110078001A1 (en) 2009-09-30 2011-03-31 Verizon Patent And Licensing, Inc. Feedback system for television advertisements
US8990142B2 (en) 2009-10-30 2015-03-24 The Nielsen Company (Us), Llc Distributed audience measurement systems and methods
US8255006B1 (en) 2009-11-10 2012-08-28 Fusionone, Inc. Event dependent notification system and method
US8880623B2 (en) * 2009-12-02 2014-11-04 Redux, Inc. Prioritization in a continuous video playback experience
KR101670352B1 (ko) 2009-12-03 2016-10-28 엘지전자 주식회사 이동 단말기, 전자 기기 및 전자 기기의 제어 방법
US20110158605A1 (en) * 2009-12-18 2011-06-30 Bliss John Stuart Method and system for associating an object to a moment in time in a digital video
US9477667B2 (en) 2010-01-14 2016-10-25 Mobdub, Llc Crowdsourced multi-media data relationships
US8864581B2 (en) * 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8339364B2 (en) 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
CA2746486C (en) 2010-02-03 2012-03-06 Nintendo Co., Ltd. Display device, game system, and game process method
US20110239142A1 (en) 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
US20110258545A1 (en) 2010-04-20 2011-10-20 Witstreams Service for Sharing User Created Comments that Overlay and are Synchronized with Video
US8494439B2 (en) 2010-05-04 2013-07-23 Robert Bosch Gmbh Application state and activity transfer between devices
US9294800B2 (en) 2010-05-10 2016-03-22 Comcast Cable Communications, Llc Intelligent remote control
US8515077B2 (en) * 2010-05-12 2013-08-20 Research In Motion Limited Automatic application management in a short-range wireless system
US20110279368A1 (en) 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
US8640020B2 (en) 2010-06-02 2014-01-28 Microsoft Corporation Adjustable and progressive mobile device street view
US20110300930A1 (en) 2010-06-08 2011-12-08 Hsu Kent T J Video game controller with an auxiliary display
WO2011161486A1 (en) 2010-06-21 2011-12-29 Sony Ericsson Mobile Communications Ab System and method for generating a message notification based on sensory detection
US9086727B2 (en) 2010-06-22 2015-07-21 Microsoft Technology Licensing, Llc Free space directional force feedback apparatus
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9134799B2 (en) 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US8656062B2 (en) 2010-08-18 2014-02-18 Snap-On Incorporated System and method for wireless pairing via wired connection
US8745154B1 (en) 2010-08-24 2014-06-03 Amazon Technologies, Inc. Item download customization
US20120072504A1 (en) 2010-09-22 2012-03-22 Infineon Technologies Ag Devices and methods for managing collaborative communications sessions
US20120151320A1 (en) * 2010-12-10 2012-06-14 Mcclements Iv James Burns Associating comments with playback of media content
US8958018B2 (en) 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
US8731902B2 (en) * 2010-12-23 2014-05-20 Sap Ag Systems and methods for accessing applications based on user intent modeling
US8793730B2 (en) 2010-12-30 2014-07-29 Yahoo! Inc. Entertainment companion content application for interacting with television content
US20120315009A1 (en) * 2011-01-03 2012-12-13 Curt Evans Text-synchronized media utilization and manipulation
EP2490446A1 (en) 2011-02-15 2012-08-22 Eldon Technology Limited Copy protection
US8857716B1 (en) 2011-02-21 2014-10-14 Proxense, Llc Implementation of a proximity-based system for object tracking and automatic application initialization
US8965986B1 (en) * 2011-03-08 2015-02-24 Google Inc. Device dependent user notification
US9667713B2 (en) 2011-03-21 2017-05-30 Apple Inc. Apparatus and method for managing peer-to-peer connections between different service providers
US8814697B2 (en) 2011-04-19 2014-08-26 Sony Computer Entertainment America Llc Method and apparatus for use in preserving a game state
US9440144B2 (en) 2011-04-21 2016-09-13 Sony Interactive Entertainment Inc. User identified to a controller
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US8856355B2 (en) 2011-05-09 2014-10-07 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
JP5937789B2 (ja) 2011-05-24 2016-06-22 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム及びゲーム処理方法
EP2716058A1 (en) 2011-05-27 2014-04-09 Thomson Licensing Method, apparatus and system for multiple screen media experience
US10225617B2 (en) 2011-06-22 2019-03-05 Time Warner Cable Enterprises Llc Methods and apparatus for presenting social network content in conjunction with video content
US9160837B2 (en) 2011-06-29 2015-10-13 Gracenote, Inc. Interactive streaming content apparatus, systems and methods
US9066145B2 (en) 2011-06-30 2015-06-23 Hulu, LLC Commenting correlated to temporal point of video data
US20130019192A1 (en) 2011-07-13 2013-01-17 Lenovo (Singapore) Pte. Ltd. Pickup hand detection and its application for mobile devices
US9384101B2 (en) 2011-07-26 2016-07-05 Apple Inc. Web application architecture
US9377867B2 (en) 2011-08-11 2016-06-28 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
US9032451B2 (en) 2011-09-01 2015-05-12 The Directv Group, Inc. Method and system for using a second screen device for interacting with a set top box to enhance a user experience
WO2013062599A1 (en) 2011-10-26 2013-05-02 Box, Inc. Enhanced multimedia content preview rendering in a cloud content management system
US8750852B2 (en) 2011-10-27 2014-06-10 Qualcomm Incorporated Controlling access to a mobile device
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US20130174191A1 (en) 2011-12-29 2013-07-04 United Video Properties, Inc. Systems and methods for incentivizing user interaction with promotional content on a secondary device
JP5898999B2 (ja) 2012-02-21 2016-04-06 任天堂株式会社 情報処理システム、制御装置、情報処理プログラム及び画像表示方法
US20130239041A1 (en) 2012-03-06 2013-09-12 Sony Corporation Gesture control techniques for use with displayed virtual keyboards
US8760426B1 (en) 2012-03-26 2014-06-24 Amazon Technologies, Inc. Dominant hand detection for computing devices
US9986273B2 (en) * 2012-03-29 2018-05-29 Sony Interactive Entertainment, LLC Extracting media content from social networking services
US9381427B2 (en) 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US9690465B2 (en) 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
US9699485B2 (en) * 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US8924735B2 (en) 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
US10701447B2 (en) * 2016-11-18 2020-06-30 Rovi Guides, Inc. Systems and methods for slowing down fast-access playback operations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070300185A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Activity-centric adaptive user interface
US20090079813A1 (en) * 2007-09-24 2009-03-26 Gesturetek, Inc. Enhanced Interface for Voice and Video Communications
JP2010541398A (ja) * 2007-09-24 2010-12-24 ジェスチャー テック，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
JP2009087026A (ja) * 2007-09-28 2009-04-23 Panasonic Corp 映像表示装置
JP2011504710A (ja) * 2007-11-21 2011-02-10 ジェスチャー テック，インコーポレイテッド メディア嗜好
JP2010179088A (ja) * 2008-11-04 2010-08-19 Yen Wei ビデオゲーム用ハイブリッドプラットフォーム
WO2011087890A2 (en) * 2010-01-15 2011-07-21 Microsoft Corporation Recognizing user intent in motion capture system
WO2012017525A1 (ja) * 2010-08-04 2012-02-09 パイオニア株式会社 処理装置及びコマンド入力支援方法
WO2012120958A1 (ja) * 2011-03-04 2012-09-13 株式会社ニコン 投影装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018534687A (ja) * 2015-10-20 2018-11-22 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元空間内の仮想オブジェクトの選択
US11507204B2 (en) 2015-10-20 2022-11-22 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US11733786B2 (en) 2015-10-20 2023-08-22 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
JP5988286B1 (ja) * 2016-04-01 2016-09-07 株式会社Ｃｙｇａｍｅｓ プログラム及び画像処理装置
WO2017168989A1 (ja) * 2016-04-01 2017-10-05 株式会社Ｃｙｇａｍｅｓ プログラム及び画像処理装置

Also Published As

Publication number Publication date
US20130325954A1 (en) 2013-12-05
RU2644142C2 (ru) 2018-02-07
CN104350446B (zh) 2018-04-24
BR112014029915A8 (pt) 2021-05-25
KR102126595B1 (ko) 2020-06-24
US20190220181A1 (en) 2019-07-18
US11875027B2 (en) 2024-01-16
WO2013181073A3 (en) 2014-02-06
US10025478B2 (en) 2018-07-17
JP6157603B2 (ja) 2017-07-05
US9798457B2 (en) 2017-10-24
US20130326563A1 (en) 2013-12-05
WO2013181073A2 (en) 2013-12-05
CA2874667A1 (en) 2013-12-05
BR112014029915A2 (pt) 2017-06-27
MX2014014621A (es) 2015-02-12
CN104350446A (zh) 2015-02-11
US20160004301A1 (en) 2016-01-07
KR20150018603A (ko) 2015-02-23
EP2856295B1 (en) 2020-01-15
RU2014148164A (ru) 2016-06-20
EP3657312A1 (en) 2020-05-27
AU2013267703A1 (en) 2014-12-11
CA2874667C (en) 2020-11-03
US20130326376A1 (en) 2013-12-05
MX340692B (es) 2016-07-20
US9690465B2 (en) 2017-06-27
AU2013267703B2 (en) 2018-01-18
US9170667B2 (en) 2015-10-27
EP2856295A2 (en) 2015-04-08
US10963147B2 (en) 2021-03-30
US20180300050A1 (en) 2018-10-18
US20130321268A1 (en) 2013-12-05
US10248301B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
JP6157603B2 (ja) コンテキスト・ユーザー・インターフェース
US10960298B2 (en) Boolean/float controller and gesture recognition system
KR20170036786A (ko) 2차 디스플레이용 모바일 디바이스 입력 제어기
US20160329006A1 (en) Interactive integrated display and processing device
US20130207892A1 (en) Control method and apparatus of electronic device using control device
US20200301553A1 (en) Establishing and using virtual assets on tangible objects in augmented reality (ar) and virtual reality (vr)
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN112121415A (zh) 一种控制界面显示的方法、装置、设备及存储介质
TWI817208B (zh) 確定選中目標的方法及裝置、電腦設備、非臨時性電腦可讀存儲介質及電腦程式產品
US20130244730A1 (en) User terminal capable of sharing image and method for controlling the same
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
CN114100121A (zh) 操作控制方法、装置、设备、存储介质及计算机程序产品
US11402917B2 (en) Gesture-based user interface for AR and VR with gaze trigger
US11503361B1 (en) Using signing for input to search fields
BR112014029915B1 (pt) Método para gerar uma interface que é aperfeiçoada para um presente contexto, mídia de armazenamento em computador e dispositivo de computação
US20190126137A1 (en) Method And System For A Personal Interaction Game Platform
CN116764210A (zh) 游戏内容的呈现方法、装置、电子设备及存储介质
KR20170093644A (ko) 휴대용 단말기 및 그 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170606

R150 Certificate of patent or registration of utility model

Ref document number: 6157603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250