JP2015508203A - リモート・ユーザ・インタラクションを提供する装置及び方法 - Google Patents

リモート・ユーザ・インタラクションを提供する装置及び方法 Download PDF

Info

Publication number
JP2015508203A
JP2015508203A JP2014556115A JP2014556115A JP2015508203A JP 2015508203 A JP2015508203 A JP 2015508203A JP 2014556115 A JP2014556115 A JP 2014556115A JP 2014556115 A JP2014556115 A JP 2014556115A JP 2015508203 A JP2015508203 A JP 2015508203A
Authority
JP
Japan
Prior art keywords
active display
display area
replication
area
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014556115A
Other languages
English (en)
Other versions
JP5923184B2 (ja
Inventor
イェルク ブレイクンシーク
イェルク ブレイクンシーク
ラージャ ボース
ラージャ ボース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2015508203A publication Critical patent/JP2015508203A/ja
Application granted granted Critical
Publication of JP5923184B2 publication Critical patent/JP5923184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

複製されたアクティブ表示域及び複製された境界域を含む、複製されたユーザインタフェースを提供する技術。複製されたユーザインタフェースは、リモートのユーザインタフェースで認識されるものと同じタイプのユーザ入力を認識できてもよく、また、その入力に基づいて、リモートのユーザインタフェースで実行されるものと同じ機能が実行されてもよい。リモート・ユーザインタフェースとの間に通信リンクを確立し、当該リモート・ユーザインタフェースが、当該リモート・ユーザインタフェースのアクティブ表示域の外側の境界域でその少なくとも一部が受け取られるユーザ入力を検出するように構成されるかどうかを判断する。リモート・ユーザインタフェースが境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域が提供される。【選択図】図9

Description

本発明は、概して、リモートのユーザインタフェースとのやりとりを可能にするユーザインタフェースに関する。それは、ユーザ入力を受け取るための、複製されたアクティブ表示域と、複製された境界域とを与えることにより行われる。
背景
携帯電話やPDAのような携帯デバイスは極めて一般的なものになってきており、ユーザの日常生活にとって欠かせないものとなってきている。多くの場合、携帯デバイスは、他の電子機器と無線通信を行う機能を有し、情報を交換することができる。
ユーザは通常、自身の携帯デバイスについては非常に良く知っており、もし可能であるなら、(移動型・固定型に関わらず)他のデバイスのよく知らないユーザインタフェースを操作するよりは、自身のデバイスにより提供されるユーザインタフェースを操作するだろう。例えば、映画館においてチケット・キオスク(チケット販売端末)により提供されるユーザインタフェースを操作するよりは、多くのユーザは、同じタスクを遂行するために、自身の携帯デバイスを操作することを好むであろう。別の場合では、ユーザは、よく知っているユーザインタフェースを操作したいと考えるものの、それが大きなディスプレイ(例えばリモートデバイスのディスプレイ)に表示された状態で操作することを欲するかもしれない。
このため、リモートデバイスのユーザインタフェースと実質的に同じ外観と機能を有するユーザインタフェースを、別のデバイスに提供するための改善されたメカニズムを提供することが望まれるだろう。
例示的実施形態の摘要
そこで、複製されたユーザインタフェースを提供する装置や方法、コンピュータプログラムの実施形態が開示される。特に、複製されたユーザインタフェースを提供する装置は、少なくとも一つのプロセッサと、コンピュータプログラムコードを格納する少なくとも一つのメモリとを備えていてもよい。この少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、
リモート・ユーザインタフェースとの通信リンクを確立することと;
前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断することと;
前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供することと;
を行わせるように構成されてもよい。ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせてもよい。
場合によっては、少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、
既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成すると共に、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することにより、前記複製アクティブ表示域を提供させるように構成されてもよい。または、前記少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、
既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成すること、および、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供することにより、前記複製アクティブ表示域を提供させるように構成されてもよい。
前記複製アクティブ表示域はコンテンツを表示するように構成されてもよく、前記複製境界域はコンテンツを表示するようには構成されていなくてもよい。
場合によっては、前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせてもよい。前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面への移行を含んでもよい。別の例では、前記所定の機能は、前記複製表示域で表示されているプログラムを閉じることを含んでもよい。
別の実施形態では、複製されたユーザインタフェースを提供する方法及びコンピュータプログラムが開示される。複製されたユーザインタフェースを提供することは、リモート・ユーザインタフェースとの通信リンクを確立することと;
前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断することと;
前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供することと;を含む。
ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせる。
場合によっては、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成することと、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することとを含んでもよい。場合によっては、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成すること、および、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供することを含んでもよい。さらに、前記複製アクティブ表示域はコンテンツを表示するように構成されてもよく、前記複製境界域はコンテンツを表示するようには構成されていなくてもよい。
場合によっては、前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせてもよい。前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面へ移行することと、前記複製アクティブ表示域に表示されているプログラムを閉じることとのいずれかを含んでもよい。
さらに別の実施形態では、複製されたユーザインタフェースを提供する装置が開示される。この装置は、リモート・ユーザインタフェースとの通信リンクを確立する手段と;
前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断する手段と;
前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供する手段と;を備える。
ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせる。
本発明を一般的に説明してきたが、ここで添付の図面を参照する。なお図面のスケールは正確であるとは限らない。
本発明のある例示的実施形態に従う通信システムの一例を描いたものである。
本発明のある例示的実施形態に従う装置であって、複製されたユーザインタフェースを提供する装置の略ブロック図を描いたものである。
本発明の例示的実施形態に従うデバイスであって、アクティブ表示域と境界域とを提供するように構成されるデバイスを描いたものである。
本発明のある例示的実施形態に従う、動き成分を含むストローク・ジェスチャを描いたものである。
本発明のある例示的実施形態に従う装置であって、複製されたユーザインタフェースを提供するリモート・ユーザインタフェースとやりとりを行う装置を描いたものである。
本発明のある例示的実施形態に従うスワイプ・ジェスチャであって、リモート・ユーザインタフェースに適用される様々なスワイプ・ジェスチャを描いたものである。
本発明の例示的実施形態に従う画面であって、やりとりが可能な様々なタイプのコンテンツを表す画面を描いたものである。 本発明の例示的実施形態に従う画面であって、やりとりが可能な様々なタイプのコンテンツを表す画面を描いたものである。 本発明の例示的実施形態に従う画面であって、やりとりが可能な様々なタイプのコンテンツを表す画面を描いたものである。 本発明の例示的実施形態に従う画面であって、やりとりが可能な様々なタイプのコンテンツを表す画面を描いたものである。
本発明のある例示的実施形態に従う装置であって、既存のアクティブ表示域の一部が、複製アクティブ表示域として機能するように構成され、また既存のアクティブ表示行きの別の一部が複製境界域として機能するように構成される装置を描いたものである。
本発明のある例示的実施形態に従う装置であって、既存のアクティブ表示域が複製アクティブ表示域として機能するように構成され、複製境界域は、複製アクティブ表示域を少なくとも一部囲むように設けられる装置を描いたものである。
本発明のある例示的実施形態に従う方法であって、複製されたユーザインタフェースを提供する方法のフローチャートを描いたものである。
詳細説明
以下、添付図面を参照して本発明のある例示的実施形態をより詳細に説明する。なお本発明の全ての実施形態が紹介されるわけではない。実際、本発明は様々な形態で実施されることができるので、本発明の実施形態がここで紹介される実施形態に限定されると考えてはならない。むしろここで紹介される実施形態は、本明細書が法的な要件を充足するために紹介されるものである。本明細書および図面を通じて同様の符号は同様の要素を表す。本明細書で使用されるとき、"データ"や"コンテンツ"、"情報"又は同様の用語は、本発明の実施形態において送信されたり受信されたり、保存されたりしうるデータを言い表すために互いに代替しうるように使用される。このため、このような用語が本発明の実施形態の範囲や技術思想を制限するものと考えてはならない。
また、本明細書において「回路(circuitry)」との用語は、(a)ハードウェアのみにより実装される回路(例えばアナログ回路および/またはデジタル回路による実装)や、(b)一つ以上のコンピュータ読み取り可能なメモリに記録されるソフトウェアおよび/またはファームウェアと回路との組合せであって、本明細書に記載の一つ以上の機能を協働して装置に実行させる組合せ、(c)例えば一つ以上のマイクロプロセッサや、一つ以上のマイクロプロセッサの部分であるような、一つ以上の回路であって、動作するために、(たとえ物理的には存在しないものであっても)ソフトウェアまたはファームウェアを必要とするような回路、を言い表す。「回路(circuitry)」のこの定義は、本明細書及び特許請求の範囲の全体にわたって適用されるべきものである。さらなる例として、本明細書で使用されるとき、「回路(circuitry)」との用語は、一つ以上のプロセッサおよび/またはこれらの一つ以上の部分と、これらに付随するソフトウェアおよび/またはファームウェアを含む実装を含む。更なる例として、本明細書で使用されるとき、「回路(circuitry)」との用語は、例えば、携帯電話のためのベースバンド統合回路やアプリケーションプロセッサ統合回路を意味することができ、また、サーバやセルラネットワークデバイス、その他のネットワークデバイス、その他のコンピュータデバイスの中の、同様の集積回路を意味することができる。
本明細書において"コンピュータ読み取り可能な記憶媒体"との用語は、物理的な記憶媒体を言い表し、例えば揮発性又は非揮発性の記憶デバイスであり、電磁信号を言い表す"コンピュータ読み取り可能な送信媒体"からは区別されうるものである。
前述のように、多くのユーザは、慣れているユーザインタフェースとやりとりを行うことを好むものである。例えば自分の移動端末(例えばPDAや携帯電話のようなユーザデバイス)のユーザインタフェースとやりとりを行うことを好むものである。機能の実行を生じさせるべくユーザ入力を行うべき場所を知る等のために、ユーザインタフェースの外観に慣れることに加えて、ユーザはまた、そのユーザインタフェースの様々な機能を知ることを楽しむものである。
例えばタッチスクリーンディスプレイに関して、図3に描かれるように、ユーザデバイス100は、アクティブ表示域110と、アクティブ表示位置の外側の境界域120とを提供してもよい。アクティブ表示域110は、場合によっては、ユーザに画像を表示するように構成されるタッチスクリーンディスプレイの一部であってもよい。これに対して境界域120は、アクティブ表示行きを囲む、暗くされた領域又は死領域(dead area)であってもよく、画像が表示されない領域であってもよいが、タッチ入力を受け取る能力は有する領域であってもよい。しかし別の例では、アクティブ表示域と境界域の両方に画像が表示されるものであってもよい。
ユーザデバイスは、特定のユーザ入力を、特定の機能を立ち上げるものであるとして認識するように構成されてもよい。そのような認識は、タッチスクリーンディスプレイ上のどこでどのように入力がなされたかに基づいて行われてもよい。例えば、ユーザが入力をタッチスクリーンディスプレイの端部(例えば境界域120)で開始し、指を画面中央へ向けて動かすとき(例えばアクティブ表示域110へ入るように動かすとき)、"スワイプ−IN"タッチ・ジェスチャが認識されてもよい。そして"スワイプ−IN"ジェスチャは、例えば、インタラクティブ・コンテンツの画面の切り替えを生じさせてもよい。例えば、特定のアプリケーションを表示している状態から、デバイスのホームスクリーンを表示する状態への切り替えを生じさせてもよい。従って、"スワイプ−IN"ジェスチャを認識するには、アクティブ表示域110と境界域120との両方に、タッチセンサーが設けられていなければならない。
他のデバイスが上記ユーザデバイスと通信し、当該他のデバイスの画面上に、上記ユーザデバイスのユーザインタフェースと同じユーザインタフェースを表示するとき、一つの問題が生じうる。それは、当該他のデバイスが、境界域及びアクティブ表示域の両方における検出に依存してジェスチャを認識するためのハードウェアをサポートしていない可能性があるというものである。すなわち、当該他のデバイスのタッチスクリーンディスプレイは、"スワイプ−IN"ジェスチャが開始される境界域を提示するようには構成されておらず、"スワイプ−IN"ジェスチャを検出することができないかもしれない。そして、ユーザが"スワイプ−IN"ジェスチャを入力しようと試みても、その行為は、異なるジェスチャであると解釈されるかもしれず、意図しない別の機能(例えばパニング機能)を起動してしまうかもしれない。
そこで、複製されたユーザインタフェースを提供する、本発明の実施形態は、複製されたアクティブ表示域(複製アクティブ表示域)及び複製された境界域(複製境界域)を含む。デバイスのユーザインタフェースは、リモートのユーザインタフェース(リモート・ユーザインタフェース)で認識されるものと同じタイプのユーザ入力を認識できてもよく、また、その入力に基づいて、リモート・ユーザインタフェースで実行されるものと同じ機能が実行されてもよい。ここで、リモート・ユーザインタフェースとの用語は、そのユーザインタフェースがシミュレートされる(すなわち模倣される)デバイスを表してもよい。従って、ユーザの携帯デバイスが他のデバイス、例えばキヨスク端末やその他の固定端末、と通信中であり、当該固定端末のユーザインタフェースを複製したユーザインタフェースがユーザの携帯デバイスに提供される時、当該固定端末は、リモート・ユーザインタフェースでありうる。別の例では、固定端末がユーザの携帯デバイスと通信中であり、当該固定端末の表示画面に携帯デバイスのユーザインタフェースの画面が提供される時、当該携帯デバイスは、リモート・ユーザインタフェースでありうる。
従って、後に更に詳しく説明されるように、本発明の実施形態は、リモート・ユーザインタフェースとの間に通信リンクを確立し、当該リモート・ユーザインタフェースが、当該リモート・ユーザインタフェースのアクティブ表示域の外側の境界域でその少なくとも一部が受け取られるユーザ入力を検出するように構成されるかどうかを判断する。そしてその判断に応じて、複製アクティブ表示域及び複製境界域が提供されうる。その少なくとも一部が複製境界域で受け取られると共にその少なくとも一部が複製アクティブ表示域で受け取られるユーザ入力は、所定の機能を立ち上げる。このようにして、リモート・ユーザインタフェースにおけるユーザ入力認識能力及びユーザ入力対応能力と事実上同じ能力を有する、シミュレートされた(模倣された)ユーザインタフェースが提供されうる。そのようなシミュレートされたユーザインタフェースは、そのような機能性を直接的にサポートするハードウェアが欠けていても、提供されうる。
図1は、例示的実施形態の一つを示し、本発明の実施形態から利益を享受する携帯端末10のブロック図を示す。なお、示された携帯端末10は、本発明の実施形態から利益を享受しうるような装置の単なる例であり、本発明の実施形態の範囲を制限するものと受け取られてはならない。それ故、携帯情報端末(PDA)や携帯電話,ポケットベル,携帯テレビ,ゲーム機器,ラップトップコンピュータ,カメラ,タブレットコンピュータ,タッチパネル,ウェアラブルデバイス,ビデオレコーダー,オーディオ/ビデオプレーヤー,ラジオ,電子書籍,全地球測位システム(GPS)デバイス等の測位デバイス,またはこれらの組合せ,およびその他の音声・テキスト通信システムといった多種多様な携帯端末が本発明の実施形態を採用できるが、固定式(非携帯式)電子デバイスを含む他のデバイスであっても、一部の例示的実施形態を採用することができる。
携帯端末10は、送信機14および受信機16と協働する(一つまたは複数の)アンテナ12を備えていてもよい。携帯端末10はさらに、送信機14への信号の送信や受信機16からの信号の受信を制御する、プロセッサ20や処理デバイス(図2のプロセッサ70等)のような装置を備えていてもよい。後述のように、当該信号は、近接度成分(proximity component)及び/又は方向成分(orientation component)を備えていてもよい。この信号は更に、利用可能なセルラシステムの無線インタフェース規格に従うシグナリング情報を含んでいてもよく、ユーザの音声や受信データ、ユーザが生成したデータ等を含んでいてもよい。これに関して携帯端末10は、一つ以上の無線インタフェース規格や通信プロトコル,変調タイプ,アクセスタイプによって動作可能であってもよい。例として、携帯端末10は、第1世代、第2世代、第3世代、第4世代、及び同様の通信プロトコルのうちいずれか一つ以上で動作可能であってもよい。例えば携帯端末10は、第2世代(2G)の無線通信プロトコルであるIS−136(時分割多重アクセス,TDMA)やGSM(登録商標),IS−95(符号分割多重アクセス,CDMA)に従って動作可能であってもよく、第3世代(3G)の通信プロトコルであるUTRAN(universal terrestrial radio access network)やCDMA2000,WCDMA(登録商標),時分割同期CDMA(TD−SCDMA)に従って動作可能であってもよく、3.9Gの無線通信プロトコルであるE−UTRAN(evolved- universal terrestrial radio access network)や第4世代(4G)の無線通信プロトコルであるLTE(Long Term Evolution)やLTE−A(LTE-Advanced)等の規格に従って動作可能であってもよい。あるいは(または加えて)、携帯端末10はセルラ方式ではない通信メカニズムに従って動作可能であってもよい。例えば、携帯端末10は無線ローカルエリアネットワーク(WLAN)や他の通信ネットワークで通信可能であってもよい。
実施形態によっては、プロセッサ20は携帯端末10の音声・論理機能を実装する回路を備えていてもよい。プロセッサ20は、例えば、DSPやマイクロプロセッサ、種々のA/DコンバータやD/Aコンバータ、サポート回路を備えていてもよい。携帯端末10の信号及び情報処理機能は、それぞれの能力に従って、これらのデバイスの中に割り当てられている。プロセッサ20は、変調及び送信を行う前に、畳み込み的な符号化や、メッセージおよびデータのインタリーブを行う機能を有していてもよい。プロセッサ20は更に、音声符号器やデータモデムを内蔵していてもよい。さらに、プロセッサ20は、メモリに記録されうる一つ以上のソフトウェアプログラムを実行する能力を有してもよい。例えばプロセッサ20は、標準的に用いられているWebブラウザのような通信プログラムを実行する能力を有していてもよい。そのような通信プログラムは、携帯端末10がWebコンテンツを送受信できるようにする。そうしたWebコンテンツには、WAP(Wireless Application Protocol)やHTTP(Hypertext Transfer Protocol)位置ベースのコンテンツなどに従う位置ベースのコンテンツやその他のWebページコンテンツ等がある。
携帯端末10はまた、出力デバイスであるイヤホンやスピーカー24やリンガ22,マイクロフォン26,ディスプレイ28,およびユーザ入力インタフェースを含むユーザインタフェースを備えていてもよく、これら全てがプロセッサ20に接続される。ユーザ入力インタフェースは、携帯端末10のデータ受信を可能にし、また携帯端末10のデータ受信を可能にするデバイスをいくつ備えていてもよい。こうしたデバイスには、例えばキーパッド30やタッチスクリーンディスプレイ(タッチスクリーンディスプレイを提供するディスプレイ28)等の入力デバイスが存在する。キーパッド30を含む実施形態において、当該キーパッド30は、0−9の数字キーや関連するキー(#,*)、携帯端末10を操作するその他のハードキーやソフトキーを備えてもよい。あるいは、または加えて、キーパッド30は、一般的なQWERTY配列のキーパッドを備えていてもよい。キーパッド30はまた、それぞれ機能に関連付けられた多くのソフトキーを備えていてもよい。あるいは、または加えて、携帯端末10は、ジョイスティックまたはユーザ入力インタフェースのようなインタフェースデバイスを備えてもよい。タッチスクリーンディスプレイを含む実施形態においては、後述のように、キーパッド30だけでなくスピーカー24や,リンガ22,マイクロフォン26の何れかを省略していてもよい。さらに装置10は、装置10を動作させるための様々な回路に電源を供給し、また検知可能な出力としての機械的な振動を提供する、振動バッテリパックのようなバッテリー34を備えてもよい。
携帯端末10はユーザ識別モジュール(UIM)38を備えていてもよい。UIM38は、典型的には内蔵のプロセッサを有するメモリデバイスである。UIM38には、例えば、加入者識別モジュール(SIM)や、UICCカード、USIM、R−UIMなどが含まれる。UIM38は、典型的に、携帯加入者に関する情報要素を格納する。UIM38に加えて携帯端末10はメモリを備えていてもよい。例えば携帯端末10は、データの一時的な保管のためのキャッシュ領域を備えるランダムアクセスメモリ(RAM)のような揮発性メモリ40を備えてもよい。携帯端末10は、内蔵および/または着脱可能な不揮発性メモリ42を備えていてもよい。これらのメモリは、携帯端末10の機能を実装するために携帯端末10に使用される情報・データを任意の数だけ格納してもよい。
実施形態によっては、携帯端末10は、携帯端末10のユーザの近辺の物や人、場所の写真やビデオを撮影するための、カメラその他のメディアキャプチャ要素32を備えていてもよい。携帯端末10は(場合によってはある種の固定端末も)、様々なタイプのコンテンツの中でも特に、写真やビデオコンテンツに関連して例示的実施形態を実施してもよい。そのような写真やビデオは様々な所で作成され又は生成されうるが、移動端末10(又は固定端末)で使用可能な写真やビデオである。
本発明のある例示的実施形態が図2を参照してこれから説明される。図2には、複製されたユーザインタフェースを提供する装置50のある要素が描かれている。図2の装置50は、例えば、図1の携帯端末10と共に採用されてもよい。しかし、図2の装置50は、携帯式または固定式に関わらず、その他の様々なデバイスによって採用されうることに留意されたい。したがって、本発明の実施形態は、図1の携帯端末10のようなデバイスへの適用に限定されないことに留意されたい。例えば、装置50はパーソナルコンピュータやタブレット、携帯電話その他のユーザ端末に採用されてもよい。また、場合によっては、装置50はサーバや他のサービスプラットフォーム等の固定デバイスにあってもよく、その中身が(例えば、サーバ/クライアントの関係を通じて)固定デバイスで生じる処理に基づくユーザ端末として、リモートデバイスに存在していてもよい。
図2は、複製されたユーザインタフェースを提供する装置の構成例の一つを示しているが、本発明の実施形態を実装するためにその他多数の構成が用いられてもよいことにも留意されたい。それ故、本出願のデバイスや要素は相互通信するように示されているが、実施形態によっては、こうしたデバイスや要素が同一のデバイスまたは要素に実装可能であると見做すべきである。したがって、相互通信するように示されるデバイスや要素は、同一のデバイスまたは要素の一部として代替されうるものと理解すべきである。
以下、図2を参照すると、複製されたユーザインタフェースを提供する装置50が示されている。装置50は、プロセッサ70やユーザインタフェース・トランシーバ72,通信インタフェース74,メモリデバイス76を備えてもよく、あるいはそれらが相互に通信していてもよい。実施形態によっては、プロセッサ70(および/またはコプロセッサや、プロセッサ70をアシストする、あるいは関連する他の処理回路)は、装置50のコンポーネント間で情報をやり取りするバスを介してメモリデバイス76と通信してもよい。メモリデバイス76は、例えば、一つ以上の揮発性および/または非揮発性のメモリを含んでもよい。換言すれば、メモリデバイス76は、コンピュータ読み取り可能なストレージメディアのような、ゲートを備える電子的なストレージデバイスであってもよく、例えばプロセッサ70のような計算デバイス等の機械によって呼び出されうるデータ(たとえばビット)を格納するように構成されてもよい。本発明の例示的実施形態に従う様々な機能を装置が実行することを可能にするべく、メモリデバイス76は、情報やデータ、コンテンツ、ファイル、アプリケーション、命令および同様のものを格納するように構成されてもよい。例えばメモリデバイス76は、プロセッサ70より処理される入力データをバッファするように構成されてもよい。あるいは、または加えて、メモリデバイス76は、プロセッサ70により実行される命令を格納するように構成されてもよい。
実施形態によっては、装置50は、本発明の例示的実施形態を採用するように構成される、移動端末10のような移動端末や、固定式通信デバイスまたは計算デバイスであってもよい。しかし実施形態によっては、装置50は、チップまたはチップセットとして具現化されてもよい。換言すれば、装置50は、基板等の構造組立部品に素材や部品,配線等を備える、一つ以上の物理的パッケージ(チップ等)を備えてもよい。構造組立部品は物理的な強度やサイズの保全を提供してもよく、また、要素回路の電気的な相互作用を抑える役割を果たしてもよい。したがって、装置50は場合によっては、単一のチップや単一のシステム・オン・チップ(SoC)上に、本発明の実施形態を実装するように構成されてもよい。このように場合によっては、チップまたはチップセットは本明細書に記載される機能を提供する一つ以上の処理を実行する手段を構成してもよい。
プロセッサ70は非常に多くの方法で実施されることができる。例えばプロセッサ70は、一つ以上の様々な処理手段として具現化されてもよい。そのような処理手段には例えば、コプロセッサやマイクロプロセッサ,コントローラー,デジタルシグナルプロセッサ(DSP),DPS搭載型または非搭載型の処理要素,その他様々な処理回路が含まれる。また、そのような処理回路には、例えば、ASIC(特定用途向け集積回路)やFPGA(フィールドプログラマブルゲートアレイ),マイクロコントローラーユニット(MCU),ハードウェアアクセラレータ,特定用途向けコンピュータチップ等が存在する。それ故、実施形態によっては、プロセッサ70は独立して動作するように構成される一つ以上の処理コアを備えてもよい。マルチコアプロセッサによって単一の物理的パッケージで複数の処理が実行可能になる。あるいは、または加えて、プロセッサ70はバスを介して直列に配される一つ以上のプロセッサを備え、独立に命令を実行できてもよく、パイプラインおよび/またはマルチスレッドプロセスを実行できてもよい。
ある例示的実施形態では、プロセッサ70は、メモリデバイス76に格納された命令を実行するように構成されてもよい。またはプロセッサ70は、自身がアクセス可能な命令を実行するように構成されてもよい。あるいは、または加えて、プロセッサ70はハードコードされた機能を実行するように構成されてもよい。このように、ハードウェアにより構成されるかソフトウェアによる手法により構成されるか、またはこれらの組合せにより構成されるかに関わらず、プロセッサ70は、本発明の実施形態に従う処理を実行する能力を有する(例えば、物理的に回路の中に具現化された)要素を表す。例えば、プロセッサ70がASICやFPGAのようなものにより具現化されるとき、プロセッサ70は、本明細書により説明される処理を遂行するために特別に構成されたハードウェアと考えられうる。または、別の実施形態では、プロセッサ70はソフトウェア命令を実行する実行機器として具現化される。そのような命令は、実行されることにより、プロセッサ70を、本明細書に記載されるアルゴリズムまたは処理を遂行するように構成しうる。しかし、ある場合では、プロセッサ70は、たとえば移動端末やネットワークデバイス等の特定の装置のプロセッサである場合もある。その場合、そのような装置は、本明細書に記載されるアルゴリズム又は処理を実行するための命令によりプロセッサ70を構成することにより、本発明の実施形態を取り入れるように構成される。プロセッサ70はとりわけ、その動作をサポートするクロックや算術演算ユニット(ALU)、ロジックゲートを備える。
通信インタフェース74は、ネットワークや、装置50と通信可能なデバイスやモジュールとの間でデータを受信および/または送信するように構成されたデバイスや回路のような、如何なる手段であってもよい。こうした手段は、ハードウェアやハードウェアとソフトウェアの組合せなどとして具現化される。この点において、通信インタフェース74は例えば、(一つ以上の)アンテナと、無線通信ネットワークとの通信を可能にするサポートハードウェアおよび/またはソフトウェアを備えていてもよい。あるいは、または加えて、通信インタフェース74は、(一つ以上の)アンテナとやり取りして、(一つ以上の)アンテナを介して信号を送信したり、(一つ以上の)アンテナを介して受信される信号を処理したりする回路を備えていてもよい。設置環境によっては、通信インタフェース74は有線通信をサポートしてもよい。それ故、通信インタフェース74は例えば、ケーブルTVやデジタル加入者線(DSL),USB(ユニバーサル・シリアル・バス),その他の機構をサポートする通信モデムおよび/またはその他のハードウェア/ソフトウェアを備えていてもよい。
ユーザインタフェース・トランシーバ72は、ユーザ入力を示す情報を受け取ったり、聴覚的,視覚的,機械的またはその他の出力をユーザに提供するために、プロセッサ70と通信してもよい。それ故、ユーザインタフェース・トランシーバ72は例えば、キーボードやマウス,ジョイスティック,ディスプレイ,タッチスクリーン,タッチ領域,ソフトキー,マイクロフォン,スピーカー,その他の入出力機構の何れかを備えていてもよい。あるいは、または加えて、プロセッサ70は、スピーカーやリンガ,マイクロフォン,ディスプレイ等の一つ以上のユーザインタフェースの要素の少なくとも何れかを制御するように構成されるユーザインタフェース回路を備えていてもよい。プロセッサ70および/またはプロセッサ70を含むユーザインタフェース回路は、コンピュータプログラム命令を通じて、ユーザインタフェースの一つ以上の要素の一つ以上の機能を制御するように構成されてもよい。そうしたコンピュータプログラム命令は、例えばメモリデバイス76のような、プロセッサ70がアクセス可能なメモリに格納される、ソフトウェアおよび/またはファームウェア等であってもよい。
ある例示的実施形態において、装置50は、タッチスクリーンディスプレイ68(例えばディスプレイ28を備えるか、またはタッチスクリーンディスプレイ168と通信してもよい。別の例では、タッチスクリーンディスプレイ68は、二次元(2D)ディスプレイまたは三次元(3D)ディスプレイであってもよい。タッチスクリーンディスプレイ68は、既知の如何なるタッチスクリーンディスプレイとして実装されてもよい。従って例えば、タッチスクリーンディスプレイ68は、適切な如何なる技術によりタッチ認識を可能にしてもよい。例えば抵抗を利用したもの、コンデンサーを利用したもの、赤外線を利用したもの、歪みゲージを利用したもの、表面波を利用したものなどがあり、また、光学式、分散信号技術を利用したもの、音響パルスを利用したもの、その他の技術を利用したものもあるが、これらいずれを用いてもよい。ユーザインタフェース・トランシーバ72は、タッチスクリーンディスプレイ68と通信するようにされてもよい。それによってユーザインタフェース・トランシーバ72は、タッチスクリーンディスプレイ68におけるタッチ入力を受け取ったり、それを解析したり、そのような指示(すなわちタッチ入力)に対する応答を修正したりしてもよい。タッチ入力に対する応答は、タッチ入力から推定された(又は決定された)ユーザアクションに基づいて行われてもよい。
図2を更に参照する。ある例示的実施形態において、装置50はタッチスクリーン・インタフェース80を備えてもよい。ある例において、タッチスクリーン・インタフェース80は、ユーザインタフェース・トランシーバ72の一部であってもよい。しかし、別のある実施形態においては、タッチスクリーン・インタフェース80は、プロセッサ70により実装されてもよく、又はプロセッサ70により制御される別の要素であってもよい。このように、実施形態によっては、プロセッサ70は、タッチスクリーン・インタフェース80が関与する様々な機能の起動や実行を、生じさせたり、指示したり、命令したりするものであると考えられうる。タッチスクリーン・インタフェース80は、ソフトウェアに従って動作するデバイスや回路、ハードウェア、ソフトウェアとハードウェアの組み合わせのような、如何なる手段であってもよい。例えばソフトウェア制御で動作するプロセッサ70や、本明細書で説明される処理を実行するように特別に構成されたASICやFPGAとして具現化されるプロセッサ70や、これらの組み合わせであってもよい。そのような手段は、デバイスや回路を、以下に説明されるタッチスクリーン・インタフェース80の機能を実行するように構成する。従って、ソフトウェアが用いられるある例では、ソフトウェアを実行するデバイスや回路(その一例はプロセッサ70である)は、そのような手段に関連する構成を形成する。
タッチスクリーン・インタフェース80は、タッチスクリーンディスプレイ68におけるタッチ・イベントの形の入力を受け取るように構成されてもよい。そこでタッチスクリーン・インタフェース80は、タッチスクリーンディスプレイ68と通信するようにされてもよい。それによってタッチスクリーン・インタフェース80は、タッチスクリーンディスプレイ68におけるユーザ入力を受け取ったり、ユーザ入力に対する応答を修正したりしてもよい。ユーザ入力に対する応答は、ユーザ入力から推定された(又は決定された)ユーザアクションに基づいて行われてもよい。タッチ・イベントの認識に続いて、場合によってはタッチスクリーン・インタフェース80は、タッチ・イベントの分類を決定し、タッチ・イベントに基づいて対応する機能を提供するように構成されてもよい。
ある実施形態において、タッチスクリーン・インタフェース80は、検出器82,ディスプレイマネージャ84,ジェスチャ分類部86を備えてもよい。検出器82,ディスプレイマネージャ84,ジェスチャ分類部86の各々は、如何なるデバイスや手段であってもよく、ハードウェアで実装されたものであったり、ハードウェア及びソフトウェアの組み合わせで実装されたものであったりしてもよい。いずれにせよこれらは、それぞれ検出器82,ディスプレイマネージャ84,ジェスチャ分類部86が持つ機能を遂行するように構成される。ある例示的実施形態において、検出器82,ディスプレイマネージャ84,ジェスチャ分類部86の各々はプロセッサ70により制御されてもよく、または、プロセッサ70により具現化されてもよい。
検出器82は、ユーザ入力を受け取るべくタッチスクリーンディスプレイ68と通信するようにされてもよく、受け取った入力に基づいてタッチ・イベントを認識したり判断したりしてもよい。タッチ・イベントは、オブジェクトの検出として定義されてもよい。ここで上記オブジェクトとしては、例えばスタイラスや指、ペン、鉛筆、携帯電話、デジタルカメラ、その他の携帯デバイス(例えば図1に示される移動端末10)であってもよく、「タッチ」であると記録されるに十分なくらい、タッチスクリーンディスプレイの部分に接触しようとするオブジェクトであることができる。これに関して、例えば、タッチ・イベントは、タッチスクリーンディスプレイ68のスクリーン上で、所定の範囲にわたって所定の閾値を超える圧力が検出されることであってもよい。各タッチ・イベントに続いて、検出器82は、タッチ・イベントに対応するデータを、ジェスチャの分類のために、ジェスチャ分類部86に届けるように構成されてもよい。ここで上記のデータとしては、例えばタッチが検出された位置、タッチの長さ、タッチしたオブジェクトの数、タッチの圧力、タッチの面積、動きの速さ、動きの宝庫、遅延の長さ、タッチの周波数等であることができる。このようにして、検出器82は、例えばタッチ・イベントの結果として印加されるタッチ圧(所定の範囲に亘る力)の大きさを測定するように構成される一つ又は複数の力センサーを備えるか、またはそのような力センサーと通信状態にあってもよい。
ジェスチャ分類分86は、タッチ・イベントの対応する分類を認識し決定するように構成されてもよい。つまり、ジェスチャ分類部86は、タッチ・イベントをいくつかの可能性のあるジェスチャのいずれかに分類すべく、ジェスチャ分類を行うように構成されてもよい。認識可能なジェスチャの例には、タッチやマルチタッチ、ストローク、文字、記号、形、ピンチ・イベント(つまみイベント、例えばピンチインやピンチアウト)等がある。
タッチは、タッチスクリーンディスプレイ68の表面上で動きが全くないか、ほんの少しの動きしかないような形で特定の領域に衝撃を与え、続いてその衝撃が取り除かれるというタッチ・イベントであると定義されてもよい。マルチタッチは、複数のタッチ・イベントが連続して(又はだいたい連続して)検知されることと定義されてもよい。ストロークは、タッチ・イベントに続いて、タッチスクリーンディスプレイ68との接触を保ったまま、タッチ・イベントを生成したオブジェクトの移動が直ちに生じるようなイベントであると定義されてもよい。つまり、ストロークは、タッチ・イベントに続く動きであって、瞬間的なタッチ位置の一連の移動を定義する、連続的な移動するタッチ・イベントを形成する動きであると定義されてもよい。(例えばドラッグ操作やフリック操作のようである。)従って、ストローク130(図4参照)は、接触成分A(例えばタッチスクリーンディスプレイ68との最初の接触)と、動き成分B(例えばタッチスクリーンディスプレイに接触を維持しつつ移動するオブジェクトの動きであり、矢印130で示される)とを含んでもよい。この例において、動き成分の方向は、タッチスクリーンディスプレイを横切るオブジェクトの動きの方向であってもよい。場合によっては、この方向は図4において破線135で示されるように、動き成分の方向とは完全に同じではない、ノミナルな方向であってもよい。すなわち、タッチスクリーンディスプレイ68を横切るオブジェクトの動きの実際の方向またはその瞬間的な方向ではない方向であってもよい。ストロークの例には、後により詳細に説明されるように、"スワイプ−IN"や"スワイプ−OUT"、"スカイプ−UP"、"スワイプ−DOWN"のようなジェスチャを含んでもよい。マルチストローク及び/又はマルチタッチは、文字や記号を定義する、特定の形や特定の形のシーケンスを定義するために用いられてもよい。
ピンチ・イベントは、ピンチアウトかピンチインかに分類されてもよい。ピンチインは、以下では単にピンチと称する場合がある。ピンチはマルチタッチであって、マルチタッチを形成している複数のタッチ・イベントが互いに離れているようなイベントであると定義されてもよい。ピンチ動作(すなわち「つまむ」という動作)を模倣するために、少なくとも2つのオブジェクトが関与するマルチタッチ・イベントの発生に続いて、一つ又は複数のオブジェクトが、互いに近づく方向に動いてもよい。一方ピンチアウトは、やはりマルチタッチであって、マルチタッチを形成している複数のタッチ・イベントが初めは互いに近寄っており、続いて、マルチタッチを生じた複数のオブジェクトが互いに離れるように動くようなイベントであると定義されてもよい。場合によっては、ピンチアウトに関する複数のオブジェクトは、初めは互いに非常に接近していて、マルチタッチというよりはシングルタッチであると解釈される場合もある。しかしその解釈は、2つのオブジェクトが互いに離れるように動くことで修正される。
ジェスチャ分類部86は、タッチ・イベントの認識,検出,分類の少なくとも一つに関する検出情報を、ディスプレイマネージャ84に伝えるように構成されてもよい。ディスプレイマネージャ84は、タッチスクリーンディスプレイ68に表示されているものについての修正に関する制御を提供するように構成されてもよい。そのような制御は、検出器82から受け取った検出情報に基づくものであってもよく、また、ジェスチャ分類部86により決定される、各ジェスチャ分類及び実装特性の各々に規定される応答に従って、ジェスチャ分類分86から提供されるジェスチャの分類に基づくものであってもよい。すなわち、ディスプレイマネージャ84は、ディスプレイ上で検出されうるタッチ・イベントについて決定されたジェスチャ分類及び実装特性分類に従って、ディスプレイを構成してもよい。ここで例えば、表示されるコンテンツに関連して、及び/又は表示されているコンテンツに対して提示されているユーザインタフェース効果に関連して、ディスプレイを構成してもよい。
図5を参照すると、装置50が一般的に描かれている。この装置は図1の移動端末10(例えば携帯電話)として具現化されたものであってもよい。この装置はタッチスクリーンディスプレイ68を備えるか、又はタッチスクリーンディスプレイ68に関連付けられる。上述のように、装置50は、少なくとも一つのプロセッサ(例えば図2のプロセッサ70)と、コンピュータプログラムコードを格納する少なくとも一つのメモリ(例えば図2のメモリデバイス76)とを有する。この少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置50に少なくとも、リモート・ユーザインタフェース150との通信リンクを(例えば図2の通信インタフェース74を介して)確立させるように構成されてもよい。例えば、上述のように、装置50はユーザの携帯デバイスとして具現化されることができ、例えばユーザの携帯電話として具現化されることができる。一方、リモート・ユーザインタフェース150は映画館のチケット販売キオスクのような固定端末のユーザインタフェースであってもよい。しかし上述のように、「リモート・ユーザインタフェース」との語句は、相対的な用語である。他のデバイスによって複製されるユーザインタフェースは、本明細書における説明の目的のためには、いずれもリモート・ユーザインタフェースであると称されることができる。
場合によっては、リモート・ユーザインタフェース150は、アクティブ表示域110と、アクティブ表示域の外側の境界域120とを有してもよい。アクティブ表示域110は、例えば、ディスプレイの中央部分であってもよく、ユーザにコンテンツを表示する部分であってもよい。境界域120は、アクティブ表示域110に隣接し取り囲むようにされてもよい。場合によっては、境界域120は、アクティブ表示域110から視覚的に明確に区別されるようにされてもよい。例えば、境界域120は、コンテンツが表示されないように構成されてもよく、従って暗く見えたり、不感領域であると思われたりしてもよい。しかし別の場合には、境界域120に表示されるコンテンツが、アクティブ表示域110に表示されるコンテンツとは異なる見え方になるようにされてもよい。例えば、境界域120に表示されるコンテンツは、色があせた感じに見えてもよく、部分的に隠されているように見えてもよい。場合によっては、境界域120は、簡単な情報を表示してもよい。例えば色の帯等の指示子を用いて通信接続の存在を表示してもよい。
いずれにせよ、装置50は、リモート・ユーザインタフェース150が、そのアクティブ表示域110の外側の境界域120において少なくとも部分的に受け取ったユーザ入力を検出するように構成されているかどうかを決定するようにされる。なお、図面に示され明細書中で例示されている実施形態は、タッチ入力を受け取るように構成されるタッチスクリーンディスプレイ68を参照しているが、タッチディスプレイではないディスプレイや、タッチ式ではないユーザ入力デバイス(例えばキーバットやマウス)に対して入力が行われる場合もある。これに関して、非タッチ入力を受け取った位置は、入力が行われた位置(例えばマウスポインタのような指示子の位置)に対応する、非タッチ式ディスプレイ上の位置を表してもよい。 また、入力の動き成分は、非タッチ式ディスプレイ上の指示子の動きであってもよい。それは例えば、水平面上のマウスの動きに対応するものであってもよく、動き成分の方向は、非タッチ式ディスプレイを横切る指示子の動きの方向であってもよい。
リモート・ユーザインタフェース150が境界域120において少なくとも部分的に受け取ったユーザ入力を検出するように構成されているとの決定に応じて、装置50は、複製したアクティブ表示域(複製アクティブ表示域)111及び複製した境界域(複製境界域)121を提供するようにされてもよい。このようにして、少なくともその一部が複製境界域121で検出されると共に、少なくともその一部が複製アクティブ表示域111で検出されるユーザ入力(例えば図4のストローク133)は、所定の機能の実行を生じさせてもよい。
例えば図6を参照すると、ある例において、リモート・ユーザインタフェース150は、ストローク130のようなユーザ入力に応じて特定の処理を受け取り実行するように構成されてもよい。ここでストローク130は、少なくとも部分的に境界域120で開始されるタッチ成分Aと、少なくとも部分的にはアクティブ表示域110で受け取られる動き成分Bとを備える。ストローク130は、例えば、スワイプ−INジェスチャ132、スワイプ−UPジェスチャ136、スワイプ−DOWNジェスチャ138等であってもよい。これらのどれであるかは、境界域120のエッジ140のどれが初期タッチ成分Aを受け取ったかと、動き成分Bの方向とに依存する。別の例では、リモート・ユーザインタフェース150は、少なくとも部分的にアクティブ表示域110で開始されるタッチ成分Aと、少なくとも部分的には境界域で受け取られる動き成分Bとを備えるユーザ入力(例えばスワイプ−OUTジェスチャ134)に応じて、特定の処理を受け取り実行するように構成されてもよい。
これに関して、スワイプ−INジェスチャ132は、所定の機能の実行を生じさせてもよい。例えば、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面への移行を生じさせてもよい。第1の画面は、例えば図7Aに描かれているようなロックスクリーンであってもよい。スワイプ−INジェスチャ132を受け取ると、図7Aのロックスクリーンから、図7Bのホームスクリーンへの移行が生じてもよい。ホームスクリーンから、ユーザは、様々なプログラムはアイコンを選択することに応じて、様々なプログラムを起動することができてもよい。同様に、スワイプ−OUTジェスチャ134は、別の既定機能の実行を生じさせてもよい。例えば、ユーザがあるプログラム(例えば図7Cに描かれるような、ユーザの連絡先を表示するプログラム)を開いていて、それをアクティブ表示域に表示しているときに、スワイプ−OUTジェスチャ134が受け取られると、当該スワイプ−OUTジェスチャ134は、上記プログラムを閉じ、上記プログラムの画面から図7Bのホームスクリーンの画面に移動させる役目を果たしてもよい。更なる例として、スワイプ−UPジェスチャ136は、図7Bのホームスクリーンのような、インタラクティブ・コンテンツの第1の画面から、図7Cの連絡先画面のような特定のプログラムの画面への移行を生じさせてもよい。スワイプ−DOWNジェスチャ138は、既に表示されているコンテンツの少なくとも一部に重ねて特定のコンテンツを表示することを生じさせてもよい。例えば、ユーザのリマインダーや約束のリストが画面上の少なくとも一部に表示されてもよい。その際、既に表示されているコンテンツの表示が部分的に邪魔されることになる。
従って、上述のように、また紹介した例で説明したように、境界域120及び/又はアクティブ表示域110の特定の領域においてユーザ入力を受け取ることは、第1のインタラクティブ・コンテンツを表すスクリーンから、第2のインタラクティブ・コンテンツを表すスクリーンへの移行を生じさせてもよい。ここで、「インタラクティブ・コンテンツ」との用語は、図2のディスプレイ68や図1のディスプレイ28を介してユーザに提示される情報であって、アイコンや写真、イラスト等のグラフィック情報や、テキスト情報であってもよく、ユーザが特定の目的のために特定の方法でやりとりできる情報をいう。例えば、図7Aに描かれる例において、第1のインタラクティブ・コンテンツは、アイドルスクリーン又はロックスクリーンの一部としてユーザに提示される情報を含み、例えば現在時間や曜日、日付、背景を含む。第1のインタラクティブ・コンテンツは、非常に限定されたやり方でしかコンテンツとのやりとりができないように構成されてもよい。例えば、アイドル状態からアクティブ状態へ装置の状態を変更するために(例えばホームスクリーンにアクセスするために)、スワイプ−INジェスチャを用いて、コンテンツを一方の端へと移動するようなやり方でしか、やりとりができなくともよい従って、第1のインタラクティブ・コンテンツの目的は、ある情報をユーザに提供すること(例えば時間や日付の情報をユーザに提供すること)
と、(例えば意図しないでディスプレイと接触することによる)偶発的なユーザ入力を防止することとであってもよい。
本例において、第2のインタラクティブ・コンテンツは、連絡先のリストや、ユーザが起動しうるプログラムのリスト(例えば図7Bに描かれるホームスクリーンを参照)のようなデータを含んでもよい。第2のインタラクティブ・コンテンツは、ユーザとコンテンツとのやりとりの関係がより深いものでありうるように構成されてもよい。例えば、アイコンを選択することによりプログラムを起動したり、表示されているアイテムを拡大することにより詳細情報や別の情報にアクセスしたり、デバイスの設定を変更したり等である。従って、本例において、第2のインタラクティブ・コンテンツの目的は、ユーザからの入力を受け取ると共に、受け取った入力に基づいて所定の機能を実行することであってもよい。
従って、実施例によっては、第1のインタラクティブ・コンテンツは、第2のインタラクティブ・コンテンツとは異なる情報を含んでいてもよい。第2のインタラクティブ・コンテンツは、例えば、第1のインタラクティブ・コンテンツに比べて多い情報を含んでいてもよい。例えば、音楽を再生するためのプログラムを起動するアイコンや、バッテリー残量の標示、現在の天気の標示等を含んでいてもよい。
代替的に又は追加的に、第1のインタラクティブ・コンテンツは、ユーザに、第1のルールセットに従って、第1のインタラクティブ・コンテンツとやりとりを行うことを可能にするように構成されてもよい。また、第2のインタラクティブ・コンテンツは、ユーザに、第2のルールセットに従って、第2のインタラクティブ・コンテンツとやりとりを行うことを可能にするように構成されてもよい。図7Aのロックスクリーンに関して、例えば、第1のスクリーンは、"スワイプ−IN"ジェスチャのみが入力として登録されていてもよい。そして当該入力は、第2のスクリーンがアクセスされ表示されることを生じさせるものである。この基準を満たさない入力、例えば特に、単なるタッチやマルチタッチ、ピンチ、タップ、押下、長押し等は、入力としては認識されず、装置によって無視されるであろう。同様に、第2のスクリーン(例えば図7Bのスクリーン)は、タッチスクリーンディスプレイ上の特定の場所(例えばプログラムアイコンの位置に対応する場所)において受け取られたタッチ・イベントのみが、入力として登録されているように構成されていてもよい。さらに、入力の受け取りに応じて実行される機能は、タッチ・イベントが受け取られた場所に依存してもよい(例えば、開かれるプログラムに依存してもよい)。従って例えば、スクリーン中でアイコンが表示されていないブランク領域におけるタッチ・イベントは、どんな機能の実行も引き起こさない。
上述のように、また図面に描かれるように、本明細書で登場するインタラクティブ・コンテンツの配置や表示は、装置のディスプレイ68がユーザに表示するスクリーンを通じて提供される。つまり、各スクリーンは、コンテンツ要素の集合をユーザに提示するが、その集合は、それぞれインタラクティブ・コンテンツを構成する。例えば図7Aにおいて、表示されている時間(10:49)は、表示されているスクリーンのコンテンツ要素であり、また提示されているインタラクティブ・コンテンツの一部でもある。
上述の例においては、第1のインタラクティブ・コンテンツの第1のスクリーンから、第2のインタラクティブ・コンテンツの第2のスクリーンへの移行を引き合いに出して説明されたが、場合によっては、ユーザ入力に応じて、第1のスクリーンと比べて異なるインタラクティブ・コンテンツを含んでいない第2のスクリーンがアクセスされる場合もある。例えばアクティブ表示域110の全体で受け取られたユーザ入力は、(図7Cに描かれるような)ユーザの連絡先のリストを表示するスクリーンと、(図7Dに描かれるような)特定の連絡先の詳細を表示するスクリーンとの切り替えを生じさせてもよい。この例では、第1のインタラクティブ・コンテンツを表示する第1のスクリーンと、第1のインタラクティブ・コンテンツに関するコンテンツを表示する第2のスクリーンとの間で移行が行われるが、ここで、これら二つのスクリーンのコンテンツは、いずれも例えば同じプログラム(例えば連絡先アプリケーション)により生成されたものであってもよい。
図5及び6に戻り、前述のように、装置50が、リモート・ユーザインタフェース150が、その境界域120において少なくともその一部を受け取るユーザ入力を検出するように構成されていると判断した場合、装置50は、複製アクティブ表示域111及び複製境界域121を提供するように構成されてもよい。そして、その少なくとも一部が複製境界域で受け取られると共に、その少なくとも一部が複製アクティブ表示域で受け取られるユーザ入力は、所定の処理の起動を引き起こす。それによって、装置50は、リモート・ユーザインタフェースで実行されるものと同じか又は似たような機能を実行することができる。従って、複製境界域121において少なくとも部分的に開始されるタッチ成分Aと、複製アクティブ表示域111において少なくとも部分的に受け取られる動き成分とを有するユーザ入力は、所定の機能の実行を引き起こしてもよい。この所定の機能は、例えば、リモート・ユーザインタフェース150において同じユーザ入力によって(アプリケーションを介して)起動されうるものであってもよい。従って、場合によっては、上記所定の機能は、第1のインタラクティブ・コンテンツを含む第1のスクリーンから、第2のインタラクティブ・コンテンツを含む第2のスクリーンへの移行を含んでもよい。別の場合においては、上記所定の機能は、複製アクティブ表示域111に表示されているプログラムを閉じることや、リモート・ユーザインタフェース150に関して前に述べたような、他の機能であってもよい。
上述のように、実施形態によっては、リモート・ユーザインタフェース150は、アクティブ表示域110がコンテンツを表示し、境界域120はコンテンツを表示せず、例えば暗く見える。装置50は同様に、複製アクティブ表示域111がコンテンツを表示するように構成され、複製境界域121はコンテンツを表示しないように構成されてもよい。従って、リモート・ユーザインタフェース150のアクティブ表示域110と境界域120とが模倣される。しかし、場合によっては、リモート・ユーザインタフェース150の対応する領域の構成に関わらず、複製アクティブ表示域111及び複製境界域121の両方が、少なくてもある程度まではコンテンツを表示するように構成されてもよい。
装置のディスプレイ68(図2参照)の構成及び機能に依存して、装置は、リモート・ユーザインタフェース150を複数の方法で複製するように構成されてもよい。例えば、少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、(当該装置の)既存のアクティブ表示域の一部を複製アクティブ表示域として用いるように構成することにより、複製アクティブ表示域111を提供すると共に、既存のアクティブ表示域の別の一部を複製境界域121として用いるように構成することを行わせてもよい。つまり、装置50の既存のアクティブ表示域115の一部は、既存のアクティブ表示域の全体よりは大きさが小さいが、複製表示域111として動作するように構成されてもよく、また、既存のアクティブ表示域の残りの部分(少なくとも当該残りの部分の少なくとも一部)は、複製境界域121として動作するように構成されてもよい(図8A参照)。
別の例において、少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、既存のアクティブ表示域115を複製アクティブ表示域として動作するように構成することによりアクティブ表示域111を提供することと;複製アクティブ表示域を(少なくとも一部は)囲む複製境界域121を提供すること(図8B参照)と;を行わせるように構成されてもよい。従って、図8Bの例では、装置のディスプレイ68のうち、複製アクティブ表示域11として使用されていない領域が、複製境界域121として動作するように構成されてもよい。
図9は、本発明の例示的実施形態に従うシステム、方法、コンピュータプログラムに基づく製品のフローチャートである。フローチャートの個々のブロック及びフローチャートのブロックの組合せは様々な手段によって実施されることに留意されたい。そのような手段には、例えばハードウェアやファームウェア、プロセッサ、回路、および/またはソフトウェアの実行に関連付けられるデバイスが含まれる。また当該ソフトウェアは一つ以上のコンピュータプログラム命令を含む。例えば、上述の一つ又は複数の処理は、コンピュータプログラム命令によって具現化されてもよい。これに関して、本明細書で説明された処理を具現化するコンピュータプログラム命令は、装置のメモリデバイスに格納され、装置のプロセッサ40により実行されてもよい。そのような装置は本発明を採用するものである。当然のことながら、こうしたコンピュータプログラム命令は、コンピュータや他のプログラム可能な装置(例えばハードウェア)にロードされて機械を構成する。すなわち、命令がロードされたコンピュータまたはプログラム可能な装置は、フローチャートの(一つ以上の)ブロックにより特定される機能を実装するための手段を具現化する。これらのコンピュータプログラム命令はコンピュータ読み取り可能なメモリに格納されてもよく、固有の方法でコンピュータ又はその他のプログラム可能な装置を機能させるべく命令してもよい。すなわち、コンピュータ読み取り可能なメモリに格納される命令は、実行されることにより、一つ又は複数のフローチャートのブロックにより特定される機能を実装する製品を形成する。コンピュータプログラム命令はコンピュータ又はその他のプログラム可能な装置にロードされ、一連の動作を前記コンピュータ又はその他のプログラム可能な装置で実行させることにより、コンピュータ実装プロセスを生成する。すなわち、コンピュータ又はその他のプログラム可能な装置で命令が実行されることにより、フローチャートブロックの一つ又は複数で特定される機能を実装するための動作を提供する。
したがって、フローチャートのブロックは、特定の機能を実行する手段の組み合わせや、特定の機能を実行する処理の組み合わせ、特定の機能を実行するプログラム命令手段の組み合わせ、をサポートする。また、フローチャートの一つ以上のブロック、および、フローチャートの複数のブロックの組合せは、特定の機能を実行する特定目的のハードウェアベースのコンピュータシステムや、特定目的のハードウェアとコンピュータ命令との組合せによって実装されてもよいことも理解されたい。
これについて、複製されたユーザインタフェースを提供する方法の一例が、図9に示されている。この方法は、リモート・ユーザインタフェースとの通信リンクを確立すること(ブロック200);前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断すること(ブロック210);前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供すること(ブロック220);
を含む。上述のように、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせてもよい。
場合によっては、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成することと、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することとを含んでもよい(ブロック230)。場合によっては、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成すること、および、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供することを含んでもよい(ブロック240)
上述のように、前記複製アクティブ表示域はコンテンツを表示するように構成されてもよく、前記複製境界域はコンテンツを表示するようには構成されていなくてもよい。さらに、前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせてもよい。前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面へ移行することと、前記複製アクティブ表示域に表示されているプログラムを閉じることとのいずれかを含んでもよい。むろん、前記所定の機能は他の様々なものである場合もある。
実施形態によっては、上述の処理のいずれかは変形される場合があり、また後述のように強化される場合がある。さらに、実施形態によっては、オプションの処理が追加で含められる場合がある。そのような追加処理の例が、図9において破線で示されている。上述の処理に対する修正や追加、強化は、どのような順番または組み合わせによって行われてもよい。
ある例示的実施形態において、上述の図9の方法を実行する装置は、上述の処理(200−240)のいずれかまたは複数を実行するように構成される処理手段を備えていてもよい。この処理手段は、例えば図2のプロセッサ70であってもよい。処理手段はまた、例えば、ハードウェアにより実装された論理機能を実行することにより、又は格納した命令を実行することにより、又は各処理を実行するためのアルゴリズムを実行することにより、処理(200−240)を実行するように構成されていてもよい。代替的に、上記装置は、上述の処理の各々を実行するための手段を備えていてもよい。これに関して、ある例示的実施形態においては、処理200の少なくとも一部を実行する手段の例は、例えば、通信インタフェース74やプロセッサ70、メモリデバイス76を備えてもよく、また、上述の情報処理を行うアルゴリズムを実行する命令を実行するデバイスや回路を備えてもよい。処理210を実行する手段の例は、例えば、プロセッサ70やメモリデバイス76を備えてもよく、また、上述の情報処理を行うアルゴリズムを実行する命令を実行するデバイスや回路を備えてもよい。処理220,230,240を実行する手段の例は、例えば、ユーザインタフェース・トランシーバ72やプロセッサ70、メモリデバイス76を備えてもよく、また、上述の情報処理を行うアルゴリズムを実行する命令を実行するデバイスや回路を備えてもよい。
前述の説明や関連する図面に示される教示から利益を受けうる当業者には、ここで説明された発明についての多くの変形やその他の実施形態が想起されるであろう。従って本発明は、ここで退治された特定の実施形態に制限されるものと理解されてはならず、上述の変形その他の実施形態も、添付の請求項の範囲に含まれるべきものである。さらに、上述の説明や関連する図面が要素や機能の或る例示的な組み合わせという文脈で例示的な実施形態を説明してきたが、別の実施形態では、添付の請求項の範囲を逸脱せずに、要素や機能の異なる組み合わせも可能であることに留意されたい。ここで例えば、上で明示的に説明されている要素や機能の組み合わせ以外の組み合わせも、添付の請求項のいずれかの範囲に属するものと考えるべきである。本明細書では特定の語句が使用されているが、それは一般的かつ説明の意味で使われており、限定する目的で使われてはいない。

Claims (20)

  1. 少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリとを備える装置であって、前記少なくとも一つのメモリ及び前記コンピュータプログラムコードは、前記プロセッサを用いて、前記装置に少なくとも:
    リモート・ユーザインタフェースとの通信リンクを確立することと;
    前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断することと;
    前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供することと;
    を行わせるように構成され、ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせる、装置。
  2. 前記少なくとも一つのメモリ及び前記格納されたコンピュータプログラムコードは、前記プロセッサと共に、前記装置に、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成すると共に、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することにより、前記複製アクティブ表示域を提供させるように構成される、請求項1に記載の装置。
  3. 前記少なくとも一つのメモリ及び前記格納されたコンピュータプログラムコードは、前記プロセッサと共に、前記装置に、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成することにより、前記複製アクティブ表示域を提供させると共に、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供させるように構成される、請求項1に記載の装置。
  4. 前記複製アクティブ表示域はコンテンツを表示するように構成され、前記複製境界域はコンテンツを表示するようには構成されていない、請求項1に記載の装置。
  5. 前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせる、請求項1に記載の装置。
  6. 前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面への移行を含む、請求項5に記載の装置。
  7. 前記所定の機能は、前記複製アクティブ表示域に表示されているプログラムを閉じることを含む、請求項5に記載の装置。
  8. リモート・ユーザインタフェースとの通信リンクを確立することと;
    前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断することと;
    前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供することと;
    を含み、ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせる、方法。
  9. 前記複製アクティブ表示域を提供することは、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成することと、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することとを含む、請求項8に記載の方法。
  10. 前記複製アクティブ表示域を提供することは、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成することと、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供することとを含む、請求項8に記載の方法。
  11. 前記複製アクティブ表示域はコンテンツを表示するように構成され、前記複製境界域はコンテンツを表示するようには構成されていない、請求項8に記載の方法。
  12. 前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせる、請求項8に記載の方法。
  13. 前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面への移行を含む、請求項12に記載の方法。
  14. 前記所定の機能は、前記複製アクティブ表示域に表示されているプログラムを閉じることを含む、請求項12に記載の方法。
  15. コンピュータ読み取り可能なコード部分を格納するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム製品であって、前記コンピュータ読み取り可能なコード部分が、
    リモート・ユーザインタフェースとの通信リンクを確立することと;
    前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断することと;
    前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供することと;
    のためのプログラムコード命令を含み、ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせる、コンピュータプログラム製品。
  16. 前記複製アクティブ表示域を提供することは、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成することと、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することとを含む、請求項15に記載のコンピュータプログラム製品。
  17. 前記複製アクティブ表示域を提供することは、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成することと、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供することとを含む、請求項15に記載のコンピュータプログラム製品。
  18. 前記複製アクティブ表示域はコンテンツを表示するように構成され、前記複製境界域はコンテンツを表示するようには構成されていない、請求項15に記載のコンピュータプログラム製品。
  19. 前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせる、請求項15に記載のコンピュータプログラム製品。
  20. 前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面へ移行することと、前記複製アクティブ表示域に表示されているプログラムを閉じることとのいずれかを含む、請求項18に記載のコンピュータプログラム製品。
JP2014556115A 2012-02-10 2013-01-28 リモート・ユーザ・インタラクションを提供する装置及び方法 Active JP5923184B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/370,992 US9164779B2 (en) 2012-02-10 2012-02-10 Apparatus and method for providing for remote user interaction
US13/370,992 2012-02-10
PCT/FI2013/050087 WO2013117804A1 (en) 2012-02-10 2013-01-28 Apparatus and method for providing for remote user interaction

Publications (2)

Publication Number Publication Date
JP2015508203A true JP2015508203A (ja) 2015-03-16
JP5923184B2 JP5923184B2 (ja) 2016-05-24

Family

ID=47740989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014556115A Active JP5923184B2 (ja) 2012-02-10 2013-01-28 リモート・ユーザ・インタラクションを提供する装置及び方法

Country Status (5)

Country Link
US (1) US9164779B2 (ja)
EP (1) EP2812796B1 (ja)
JP (1) JP5923184B2 (ja)
CN (1) CN104205047B (ja)
WO (1) WO2013117804A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123313A (ja) * 2017-05-16 2020-08-13 アップル インコーポレイテッドApple Inc. ユーザインタフェース間をナビゲートし、制御オブジェクトと対話するためのデバイス、方法及びグラフィカルユーザインタフェース

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0921978A2 (pt) 2008-11-26 2019-01-15 Calgary Scient Inc método de fornecimento de acesso remoto a estado de programa de aplicativo e meios de armazenamento.
US10055105B2 (en) 2009-02-03 2018-08-21 Calgary Scientific Inc. Method and system for enabling interaction with a plurality of applications using a single user interface
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9052926B2 (en) 2010-04-07 2015-06-09 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9741084B2 (en) 2011-01-04 2017-08-22 Calgary Scientific Inc. Method and system for providing remote access to data for display on a mobile device
CA2734860A1 (en) 2011-03-21 2012-09-21 Calgary Scientific Inc. Method and system for providing a state model of an application program
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR20140080483A (ko) * 2011-08-15 2014-06-30 캘거리 싸이언티픽 인코포레이티드 애플리케이션 프로그램에 대한 비-침투적 원격 액세스
WO2013046015A1 (en) 2011-09-30 2013-04-04 Calgary Scientific Inc. Uncoupled application extensions including interactive digital surface layer for collaborative remote application sharing and annotating
CN104040946B (zh) 2011-11-23 2017-07-14 卡尔加里科学公司 用于协作远程应用程序共享和会议的方法和系统
US20130212517A1 (en) * 2012-02-13 2013-08-15 Lenovo (Beijing) Co., Ltd. Electronic Device and Display Processing Method
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US8935774B2 (en) 2012-03-02 2015-01-13 Microsoft Corporation Accessory device authentication
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9064654B2 (en) 2012-03-02 2015-06-23 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9360893B2 (en) 2012-03-02 2016-06-07 Microsoft Technology Licensing, Llc Input device writing surface
USRE48963E1 (en) 2012-03-02 2022-03-08 Microsoft Technology Licensing, Llc Connection device for computing devices
US9426905B2 (en) 2012-03-02 2016-08-23 Microsoft Technology Licensing, Llc Connection device for computing devices
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP3594797A1 (en) 2012-05-09 2020-01-15 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
CN108052264B (zh) 2012-05-09 2021-04-27 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
JP6031186B2 (ja) 2012-05-09 2016-11-24 アップル インコーポレイテッド ユーザインタフェースオブジェクトを選択するためのデバイス、方法及びグラフィカルユーザインタフェース
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9256089B2 (en) 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
WO2014105276A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for transitioning between touch input to display output relationships
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105278A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for determining whether to scroll or select contents
KR102000253B1 (ko) * 2012-12-29 2019-07-16 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9304549B2 (en) 2013-03-28 2016-04-05 Microsoft Technology Licensing, Llc Hinge mechanism for rotatable component attachment
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
CN105765923B (zh) 2013-11-29 2019-11-12 卡尔加里科技股份有限公司 客户端-服务器远程访问系统中提供客户端到非托管服务的连接的方法
KR20160027775A (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 터치 입력 처리 방법 및 그 장치
KR20160099397A (ko) * 2015-02-12 2016-08-22 삼성전자주식회사 제한된 실행 환경에서 결제 기능을 수행하기 위한 방법 및 장치
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
DE102015210130A1 (de) * 2015-06-02 2016-12-08 Volkswagen Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei Interaktion mit einer Anwenderschnittstelle
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11423369B2 (en) * 2016-12-20 2022-08-23 BillGO, Inc. Customer-merchant intermediary
GB201703218D0 (en) * 2017-02-28 2017-04-12 Univ Surrey Methods and apparatus for adaptive interaction with remote devices
US20190188660A1 (en) * 2017-12-19 2019-06-20 Mastercard International Incorporated Payment apparatus and method for enabling a payment device for remotely accessing a transaction
US20210349593A1 (en) 2020-05-11 2021-11-11 Aron Ezra Systems and methods for non-contacting interaction with user terminals

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005518613A (ja) * 2002-02-21 2005-06-23 クゥアルコム・インコーポレイテッド 移動デバイスをエミュレートするための方法及び装置
JP2006146556A (ja) * 2004-11-19 2006-06-08 Nintendo Co Ltd 画像表示処理プログラムおよび画像表示処理装置
JP2009075763A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 携帯情報端末連係システムおよび連係処理プログラム並びに連係処理装置
EP2184671A1 (en) * 2008-10-29 2010-05-12 Giga-Byte Communications, Inc. Method and apparatus for switching touch screen of handheld electronic apparatus
JP2010256965A (ja) * 2009-04-21 2010-11-11 Mitsubishi Electric Corp 遠隔操作システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889175B2 (en) 2007-06-28 2011-02-15 Panasonic Corporation Touchpad-enabled remote controller and user interaction methods
US9261979B2 (en) 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US20090153289A1 (en) 2007-12-12 2009-06-18 Eric James Hope Handheld electronic devices with bimodal remote control functionality
US9311115B2 (en) 2008-05-13 2016-04-12 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US9189124B2 (en) 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
KR101793964B1 (ko) * 2009-09-30 2017-11-06 오렌지 UPnP 서비스에 의한 원격 제어 방법 및 장치
US8239785B2 (en) 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
CN102918490B (zh) * 2010-04-01 2014-07-23 思杰系统有限公司 与在平板计算装置的虚拟桌面内显示的远程应用交互
KR101680344B1 (ko) 2010-05-06 2016-11-28 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005518613A (ja) * 2002-02-21 2005-06-23 クゥアルコム・インコーポレイテッド 移動デバイスをエミュレートするための方法及び装置
JP2006146556A (ja) * 2004-11-19 2006-06-08 Nintendo Co Ltd 画像表示処理プログラムおよび画像表示処理装置
JP2009075763A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 携帯情報端末連係システムおよび連係処理プログラム並びに連係処理装置
EP2184671A1 (en) * 2008-10-29 2010-05-12 Giga-Byte Communications, Inc. Method and apparatus for switching touch screen of handheld electronic apparatus
JP2010256965A (ja) * 2009-04-21 2010-11-11 Mitsubishi Electric Corp 遠隔操作システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123313A (ja) * 2017-05-16 2020-08-13 アップル インコーポレイテッドApple Inc. ユーザインタフェース間をナビゲートし、制御オブジェクトと対話するためのデバイス、方法及びグラフィカルユーザインタフェース

Also Published As

Publication number Publication date
CN104205047A (zh) 2014-12-10
WO2013117804A1 (en) 2013-08-15
EP2812796B1 (en) 2018-08-29
US9164779B2 (en) 2015-10-20
JP5923184B2 (ja) 2016-05-24
CN104205047B (zh) 2017-04-19
US20130212483A1 (en) 2013-08-15
EP2812796A1 (en) 2014-12-17

Similar Documents

Publication Publication Date Title
JP5923184B2 (ja) リモート・ユーザ・インタラクションを提供する装置及び方法
US11269575B2 (en) Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
RU2582854C2 (ru) Способ и устройство для обеспечения быстрого доступа к функциям устройства
US20180059891A1 (en) Apparatus and method for providing a visual transition between screens
TWI573074B (zh) 用以提供自鎖定螢幕對功能取用的方法與裝置以及相關電腦程式產品
EP2817704B1 (en) Apparatus and method for determining the position of a user input
US10182141B2 (en) Apparatus and method for providing transitions between screens
WO2013128074A1 (en) Method and apparatus for determining recipients of a sharing operation based on an indication associated with a tangible object
CN110007835B (zh) 一种对象管理方法及移动终端
EP2783472A1 (en) Apparatus and method for providing dynamic fiducial markers for devices
WO2012164170A1 (en) Method and apparatus for spatially indicating notifications
CN110737374A (zh) 操作方法及电子设备
US10001906B2 (en) Apparatus and method for providing a visual indication of an operation
US9626742B2 (en) Apparatus and method for providing transitions between screens
WO2013128076A1 (en) Method and apparatus for determining an operation to be executed and associating the operation with a tangible object
WO2013128073A1 (en) Method and apparatus for determining an operation based on an indication associated with a tangible object
CN108984068B (zh) 一种字符复制方法及终端设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20151112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160415

R150 Certificate of patent or registration of utility model

Ref document number: 5923184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250