JP2012226754A - 多機能入力装置 - Google Patents

多機能入力装置 Download PDF

Info

Publication number
JP2012226754A
JP2012226754A JP2012094461A JP2012094461A JP2012226754A JP 2012226754 A JP2012226754 A JP 2012226754A JP 2012094461 A JP2012094461 A JP 2012094461A JP 2012094461 A JP2012094461 A JP 2012094461A JP 2012226754 A JP2012226754 A JP 2012226754A
Authority
JP
Japan
Prior art keywords
computing device
module
user
input device
communication module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012094461A
Other languages
English (en)
Inventor
Porat Shahar
ポラト シャハール
Bachrach Yuval
バクラック ユヴァル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2012226754A publication Critical patent/JP2012226754A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted

Abstract

【課題】限られたコンピューティングの知識および／または技量をもつ、また限られた身体的および／または認知上の能力をもつユーザーにとってコンピューティング・デバイスへの改善されたアクセシビリティーを提供する。
【解決手段】コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話するためのシステムおよび方法。システムは、コンピューティング・デバイスの簡略化されたグラフィカル・ユーザー・インターフェース（GUI）と対話するよう構成された多機能入力装置を含む。多機能入力装置は、限られたコンピューティングの知識および／または技量をもつ、また限られた身体的および／または認知上の能力をもつユーザーにとってコンピューティング・デバイスへの改善されたアクセシビリティーを提供するよう構成される。
【選択図】図４

Description

〈関連出願への相互参照〉
本願は2011年4月19日に出願された米国仮特許出願第61/477,007号の利益を主張する。その開示全体はここに参照によって組み込まれる。
〈分野〉
本開示はコンピュータのための入力装置に関し、より詳細には、コンピューティング・デバイスのアクセシビリティーおよび使いやすさを改善するための多機能入力装置に関する。
パーソナル・コンピュータ（PC）および他のパーソナル・コンピューティング・デバイス（すなわち、ネットブック、タブレット、スマートフォン）の到来ならびにインターネットの導入とともに、そのようなコンピューティング・デバイスのユーザーは多様なタスクが実行できるようになっている。たとえば、ユーザーはウェブをブラウズする、電子メールにアクセスしたり電子メールを交換したりする、ソーシャル・サービス・ウェブサイトにアクセスする、などできる。しかしながら、コンピュータおよびコンピュータ・サービスの使用の増加とともに、コンピュータ・プログラムの複雑さも増してきた。コンピューティング・デバイスにおける近年の技術的進歩は、提供されることのできるサービスのより広い範囲を許容しうるものの、コンピュータの基礎知識をほとんどまたは全くもたなかったり、基礎的なコンピュータ技量を欠く人は、複雑なコンピュータ・プログラムおよび／またはコンピュータのユーザー・インターフェースのために、コンピュータにアクセスするときに困難をもつことがありうる。
技術が進展するにつれ、多くの国の平均余命も伸びる。よって、多くの国はますます増大する高齢者人口を有し、一部の高齢者は、コンピュータが提供しうるサービスのため、ますますコンピュータを使うことに引き込まれうる。たとえば、これまで以上に、家族同士がオンラインで連絡し合うことがありうる。多くの家族は、デジタル・カメラを所有し、電子メールを使い、それにより通信したり写真やビデオをオンラインで共有したりする。さらに、家族同士がウェブで可能にされるビデオ・サービスを介して連絡し合うこともありうる。
一部の高齢者はコンピュータやインターネットの使用にオープンかもしれないが、複雑なコンピュータ・プログラムおよびコンピュータのユーザー・インターフェースのため、一部の高齢者は、コンピュータを所有することおよび／またはコンピュータを使うことさえ尻込みすることがありうる。特に、一部の高齢者は、限られたコンピュータ技量をもち、コンピュータをどのように操作するかについてさえほとんどまたは全く知識をもたないことがあり、コンピュータの操作に関する学習曲線に非常に怖じ気づいてしまうことがありうる。さらに、一部の高齢者は物理的な制限（たとえば、視力の制限、聴力の制限、目と手の協調や手指の器用さの欠如）があることもあり、そのためコンピュータをナビゲートする通常の方法（すなわち、マウス、キーボードなど）によりコンピュータにアクセスすることが妨げられることがありうる。
特許請求される主題の特徴および利点は、それに整合する実施形態の以下の詳細な記述から明白となるであろう。この記述は付属の図面を参照して考慮されるべきである。
本開示のさまざまな実施形態と整合するコンピュータへのアクセシビリティーおよびコンピュータの使いやすさの改善を提供するシステムのブロック図である。 図１のシステムをより詳細に例解するブロック図である。 本開示と整合する多機能入力装置のある例示的な実施形態の上面図である。 本開示と整合するコンピューティング・デバイスのディスプレイ上に示されるグラフィカル・ユーザー・インターフェース（GUI）のある例示的な実施形態を示す図である。 本開示と整合するコンピューティング・デバイスのディスプレイ上に示されるGUIのもう一つの例示的な実施形態を示す図である。 本開示のさまざまな実施形態と整合するコンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話するための一つの実施形態を示す流れ図である。
概観として、本開示は概括的には、限られたコンピューティングの知識および／または技量をもつユーザーのための、コンピューティング・デバイスへの改善されたアクセシビリティーを提供するためのシステムおよび方法に向けられる。特に、本開示に整合するシステムは、（これに限られないが、デスクトップ、ラップトップおよび／またはモバイル・コンピューティング・デバイスのような）コンピューティング・デバイスおよび該コンピューティング・デバイスのグラフィカル・ユーザー・インターフェース（GUI）と通信するよう構成された多機能入力装置を含む。
本多機能入力装置は、ユーザー入力に基づいてデータを捕捉し、コンピューティング・デバイスにデータを伝送するよう構成される一つまたは複数のセンサーを含む。具体的には、本多機能入力装置は、ユーザーが、コンピューティング・デバイスのディスプレイ上のGUIをナビゲートおよび／または操作できるようにするよう構成された、一つまたは複数のユーザー選択可能なボタンおよび／またはトグルを含む。本多機能入力装置はまた、画像および／またはビデオを捕捉するよう構成された、統合されたカメラをも含む。捕捉された画像および／またはビデオは、たとえば、ユーザーが画像および／またはビデオを共有しうるソーシャル・ネットワーキングのために使用されてもよい。さらに、ユーザーは、印刷された情報（たとえば雑誌、新聞など）の拡大のためにカメラを使ってもよい。ここで、カメラは印刷された情報をスキャンし、該情報を、ディスプレイに転送するよう、コンピューティング・デバイスに伝送する。本多機能入力装置は追加的なコンポーネントを含んでいてもよい。追加的なコンポーネントは、これに限られないが、コンピューティング・デバイスからオーディオ・コンテンツを受領し、聴覚的に再生するよう構成されたオーディオ・コンポーネントおよびコンピューティング・デバイス上で実行されるアプリケーションにおける使用のためにユーザーの声のようなオーディオ・データを捕捉するよう構成されたマイクロホンを含む。
本開示と整合するシステムは、限られたコンピュータ技量、知識および／または能力をもつユーザー（たとえば初心者ユーザー、高齢者など）に、よりアクセスしやすく、ユーザー・フレンドリーな、コンピューティング・デバイスを操作する手段を提供しうる。さらに、本開示と整合する多機能入力装置は、ユーザーが単一の装置からコンピュータ上で複数のタスクを実行できるようにしてもよく、それによりユーザーが使い方を学ぶ必要のある周辺機器の数を減らす。さらに、本稿で記載される多機能入力装置はまた、コンピュータ周辺機器および必要とされる対応するコンピュータ入出力ポートの数も減らし、それにより、PCスロット、I/Oポートおよび／または通信リンク（すなわちワイヤ）の構成をユーザーが管理しやすくする。
図１に目を転じると、本開示と整合するシステム１０のある実施形態が概括的に図示されている。本システムは、入力装置１２およびコンピューティング・デバイス１４を含んでいてもよい。図のように、入力装置１２は、通信リンク１６を通じてコンピューティング・デバイス１４にアクセスし、コンピューティング・デバイス１４と通信するよう構成されていてもよい。ある実施形態では、本稿でより詳細に述べるように、入力装置１２は、コンピューティング・デバイス１４と無線で通信するよう構成されていてもよい。ここで、通信リンク１６は、入力装置１２とコンピューティング・デバイス１４の間のワイヤレス信号のストリーミングを含みうる。他の実施形態では入力装置１２は、コンピューティング・デバイス１４と、たとえばRS-232C、PS/2、USBなどのような標準的な周辺インターフェースをもつケーブルを介して通信するよう構成されていてもよい（通信リンク１６が有線接続）ことを注意しておくべきである。
コンピューティング・デバイス１４はたとえば、パーソナル・コンピュータ（PC）、ネットブック、タブレット、スマートフォンおよび他のパーソナル・コンピューティング・デバイスを含みうる。入力装置１２は一般に、コンピューティング・デバイス１４と通信するよう構成された人間インターフェース装置（HID: human interface device）（または周辺機器（peripheral））を含むと理解されうる。特に、入力装置１２は、複数の形の入力を含みうる。たとえば、入力装置１２は、コンピューティング・デバイス１４を制御する（すなわち、コンピューティング・デバイス１４上で走っているGUIをナビゲートする）ために、ユーザーが、空間的データをコンピューティング・デバイスに入力できるようにするよう構成されていてもよい。さらに、入力装置は、ユーザーが画像および／または音に関係したデータを捕捉し、そのような捕捉されたデータをコンピューティング・デバイス１４に送信できるようにするよう構成されていてもよい。
ここで図２に目を転じると、図１のシステム１０がより詳細に示されている。図示した実施形態では、コンピューティング・デバイス１４はプロセッサ１８、メモリ２０、グラフィカル・ユーザー・インターフェース（GUI）２２、入出力（I/O）回路２４および／または他の好適なコンポーネントを含んでいてもよい。コンピューティング・デバイス１４はさらに、ディスプレイ２６を含んでいてもよく、ユーザーはディスプレイ２６によってGUI ２２を見てもよい。
図のように、入力装置１２は、入力装置１２が通信リンク１６を介してコンピューティング・デバイス１４と通信できるようにするよう構成された通信モジュール２８を含んでいてもよい。図示した実施形態では、通信モジュール２８はたとえば、入力装置１２が無線伝送プロトコルを介してコンピューティング・デバイス１４と無線通信できるようにするよう構成された無線モジュールを含んでいてもよい。具体的には、通信モジュール２８はWiFi対応にされていて、2012年1月時点でIEEE802.11規格の最も最近公表されたバージョンの一つに従っての無線通信を許してもよい。たとえば、通信モジュール２８は、2012年1月時点でIEEE802.11ac、IEEE802.11adおよび／または他の60GHz規格の最も最近公表されたバージョンの一つに従って、入力装置１２とコンピューティング・デバイス１４の間の無線通信を許してもよい。よって、コンピューティング・デバイス１４のI/O回路２４は、上記の規格に従って入力装置１２の通信モジュール２８と通信するよう構成されていてもよい。特に、I/O回路２４は、入力装置１２の通信モジュール２８と同様の通信モジュール（図示せず）を含んでいてもよく、それによりコンピューティング・デバイス１４が入力装置１２との間で信号を無線で送受信できるようにしてもよい。名指ししたプロトコルの代わりとして、あるいは名指ししたプロトコルへの追加として、他の無線ネットワーク・プロトコル規格を使うこともできる。他のネットワーク規格はブルートゥース、赤外線送信プロトコルまたは他の仕様をもつ無線送信プロトコルを含んでいてもよい。
他の実施形態では、通信モジュール２８はたとえば有線接続モジュールを含んでいてもよく、その場合、入力装置１２とコンピューティング・デバイス１４がたとえばRS-232C、PS/2、USBなどのような標準的な周辺インターフェースを有するケーブルを介して互いと通信するよう構成されることを注意しておくべきである。
図示した実施形態では、入力装置１２はさらに、ポインティング・モジュール３０、カメラ・モジュール３２、マイクロホン・モジュール３４、オーディオ・モジュール３６および／またはプロセッサ３８を含んでいてもよい。ポインティング・モジュール３０は、一つまたは複数のユーザー選択可能な機能入力４４（図３に示されるボタンおよび／またはトグル）の操作を検出して、ユーザー選択入力データを生成するよう構成されていてもよい。通信モジュール２８は、その選択入力データをコンピューティング・デバイス１４に送信し、それによりユーザーが該選択入力データに基づいてディスプレイ２６上のGUI ２２をナビゲートおよび／または操作できるようにするよう構成されていてもよい。
図のように、入力装置１２は、外部入力装置３３が入力装置１２と通信できるようにするよう構成されたさらなるI/O回路３１を含んでいてもよい。特に、外部入力装置３３は、ユーザーがディスプレイ２６上でGUI ２２をナビゲートできるようにするよう構成されていてもよい。より特定的には、外部入力装置３３は、たとえばスイッチ、ボタン、トグルなどのような一つまたは複数のユーザー選択可能な機能入力を含んでいてもよい。ポインティング・モジュール３０は、外部入力装置３３の操作を検出して、ユーザー選択入力データを生成するよう構成されていてもよく、通信モジュールは、外部入力装置３３の操作に基づくその選択入力データを、コンピューティング・デバイス１４に送信し、それによりGUI ２２のナビゲートを許容してもよい。
外部入力装置３３は、限られた移動性（mobility）をもつユーザーがGUI ２２をナビゲートできるようにするよう構成されていてもよい。具体的には、外部入力装置３３は、たとえばスイッチのような一つまたは複数の単一機能入力を含んでいてもよい。ある実施形態では、外部入力装置３３は三つのスイッチを含んでいてもよい。第一および第二のスイッチは、操作されると、ユーザーがGUI ２２を通じてサイクルできるようにしてもよい。たとえば、第一のスイッチは、操作されると、ユーザーが、GUI ２２において提示される諸オプションを通じて第一の方向にサイクルできるようにしてもよく、第二のスイッチは、操作されると、ユーザーが、前記第一の方向とは逆の第二の方向にサイクルできるようにしてもよい。第三のスイッチは、操作されると、ユーザーが、GUI ２２においてハイライトされているオプション（たとえばアプリケーションのような）を選択できるようにしてもよい。他の実施形態では、外部入力装置３３は、当業者に一般に理解される他のユーザー選択可能な機能入力を含んでいてもよい。
ユーザーがGUI ２２をナビゲートできるようにすることに加えて、入力装置１２は、カメラで捕捉された画像および／またはビデオを受領および／または記憶し、捕捉された画像および／またはビデオをコンピューティング・デバイス１４に送信するよう構成されたカメラ・モジュール３２を含んでいてもよい。捕捉された画像および／またはビデオはたとえば、ユーザーが画像および／またはビデオを友人や家族と共有したいことがありうるソーシャル・ネットワーキングのために使用されてもよい。さらに、図５に示されるように、ユーザーは、印刷された情報（たとえば雑誌、新聞など）の拡大のためにカメラを使ってもよい。ここで、カメラは印刷された情報をスキャンし、該情報を、ディスプレイ２６上に示すよう、コンピューティング・デバイス１４に伝送してもよい。これについては本稿においてより詳細に述べる。
入力装置１２はさらに、マイクロホン（図３に示す）で捕捉されたユーザーの声のようなオーディオ・データを受領および／または記憶し、捕捉されたオーディオ・データをコンピューティング・デバイス１４に送信するよう構成されたマイクロホン・モジュール３４を含んでいてもよい。画像および／またはビデオと同様に、ユーザーの声のようなオーディオ・データは、ユーザーが友人や家族と通信しうるソーシャル・ネットワーキングのために使用されてもよい。さらに、入力装置１２は、コンピューティング・デバイス１４からオーディオ・コンテンツを受領し、そのようなオーディオ・コンテンツをヘッドホン・ジャック（図３に示す）、スピーカー（図示せず）などのようなオーディオ出力手段上で聴覚的に再生するよう構成されたオーディオ・モジュール３６をも含んでいてもよい。
入力装置１２はまた、プロセッサ３８をも含んでいてもよい。プロセッサ３８は、コンピューティング・デバイス１４と通信するよう通信モジュール２８を制御するよう構成されていてもよい。より特定的には、プロセッサ３８は、ポインティング・モジュール３０、カメラ・モジュール３２および／またはマイクロホン・モジュール３４からのデータをコンピューティング・デバイス１４に送るよう通信モジュール２８を制御するよう構成されていてもよい。さらに、プロセッサ３８は、コンピューティング・デバイス１４からデータを受信し、そのようなデータを少なくともオーディオ・モジュール３６に送るよう通信モジュール２８を制御するよう構成されていてもよい。プロセッサ３８はまた、入力装置１２の個々のコンポーネントを制御するよう構成されていてもよい（たとえば、プロセッサ３８は、カメラ４２を自動焦点合わせするなど、カメラ４２を制御してもよい）。
図３に目を転じると、本開示と整合する多機能入力装置１２のある例示的な実施形態の上面図が示されている。一般に、入力装置１２は筐体４４を含んでいてもよい。ここで、通信モジュール２８、ポインタ・モジュール３０、I/O回路３１、カメラ・モジュール３２、マイクロホン・モジュール３４、オーディオ・モジュール３６および／またはプロセッサ３８が筐体４４内に配置されてもよい。図のように、本入力装置１２はユーザー選択可能な機能入力４４を含んでいてもよい。機能入力４４は、ユーザーが、コンピューティング・デバイス１４のディスプレイ２６上のGUI上でカーソルを動かす（すなわち、左、右、上、下に）ことなどを許容するナビゲーション入力４６を含んでいてもよい。機能入力４４はさらに、ユーザーが、スチール画像および／またはビデオを撮影するためにカメラ４２をアクティブ化することを許容するよう構成されたビデオ・モード入力４８を含んでいてもよい。
さらに、機能入力４４は、ボタン４９Ａおよび４９Ｂに示されるような簡略化されたナビゲーション入力および選択入力４９Ｃを含んでいてもよい。ナビゲーション入力４９Ａおよび４９Ｂはユーザーが、GUI ２２に呈示されるプログラムおよびアプリケーションを通じて巡回することを許容してもよく、入力４９Ｃはユーザーが該プログラムまたはアプリケーションの一つを選択することを許容してもよい。たとえば、ある実施形態では、入力４９Ａの操作は、ユーザーに、GUI ２２中の諸オプションを通じて右に巡回することを許容してもよく、入力４９Ｂの操作は、ユーザーに、それらのオプションを通じて左に巡回することを許容してもよい。機能入力４４はまた、ユーザーが、ディスプレイ２６上の内容のビューを操作する（すなわち、サイズを拡大／縮小する）ことを許容する拡大入力５０を含んでいてもよい。他の実施形態では、入力装置１２は、たとえば一つまたは複数のトラックボールおよび／またはタッチスクリーンといった、追加的または代替的なユーザー選択可能な機能入力４４を含んでいてもよい。入力装置はまた、本多機能入力装置１２に外部入力装置３３を結合するよう構成された一つまたは複数の接続ポート５１を含んでいてもよい。一般的に理解されるように、接続ポート５１は、RS-232C、PS/2、USBなどといったいかなる既知の有線接続インターフェースを含んでいてもよい。入力装置１２はまた、声データのようなオーディオ・コンテンツを受領するよう構成されたマイクロホン５２を含んでいてもよい。入力装置１２はまた、ユーザーがオーディオ・コンテンツを聴くことを許容するヘッドホン・ジャック５４を含んでいてもよい。
図４に目を転じると、コンピューティング・デバイス１４のディスプレイ２６上に示されるGUI ２２の例示的な実施形態が示されている。図のように、本開示と整合するシステムは、設計において単純であり、直観的かつユーザーフレンドリーなナビゲーションおよび遷移（transitioning）を提供するGUI ２２を含んでいてもよい。たとえば、米国カリフォルニア州サンフランシスコのポインターウェア・イノベーションズ社（PointerWare Innovations, Ltd.）によって提供されるポインターウェア（PointerWare）（商標）といったものである。具体的には、GUI ２２は、初心者ユーザーを念頭に設計されてもよく、GUI ２２はユーザーが、一連のボタンを通じてクリックすることによってプログラムのあらゆる側面をナビゲートし、アクセスできるようにしてもよい。図のように、すべての静的な事前構成されたコンテンツが単一の画面において呈示されてもよく、画面内容を最小かつ読めるようにしておくためにコンテンツは本質的な機能に限定されてもよい。ユーザーは、入力装置１２のユーザー選択可能な機能入力４４を介してGUI ２２をナビゲートしてもよい。
図５は、本開示と整合するコンピューティング・デバイスのディスプレイ上に示されるGUI ２２のもう一つの例示的な実施形態を示している。先述したように、入力装置１２は、画像および／またはビデオを捕捉するよう構成されたカメラ４２を含んでいてもよい。カメラ４２は、たとえば印刷された情報を含む環境を表すデジタル画像を捕捉するためのいかなる装置（既知のものであっても、のちに発見されるものであってよい）を含んでいてもよく、印刷された情報のテキスト解析のために十分な解像度を有していてもよい。カメラ４２はスチール・カメラ（すなわち、スチール写真を取り込むよう構成されたカメラ）またはビデオ・カメラ（複数のフレームにおいて複数の動画像を取り込むよう構成されたカメラ）を含んでいてもよい。
図５に示されるように、ユーザーは、さまざまな目的のために印刷された情報を処理および／または拡大するために、入力装置１２を利用してもよい。たとえば、カメラ４２は、読む素材（たとえば、新聞５６、ハードコピーの郵便物など）または一般的な家庭用品の包装（たとえば、視覚が不自由な人が食品のパッケージ、薬の注意書き、写真などを閲覧してもよい）をスキャンするために使われてもよい。図示した実施形態では、カメラ４２は、新聞５６の一部分５８の一つまたは複数の画像および／またはビデオを捕捉してもよく、捕捉された画像および／またはビデオはコンピューティング・デバイス１４に送信されてもよい。次いで、コンピューティング・デバイス１４はそれらの画像および／またはビデオをディスプレイ２６に送信してもよく、そこで、新聞５６の前記一部分５８が表示されてもよい。ユーザーは、新聞５６の前記一部分５８の倍率の大きさを、たとえば入力装置１２の拡大入力５０を用いて制御してもよい。当業者によって一般的に理解されるように、コンピューティング・デバイス１４は、カメラ４２によって捕捉された異なる複数の画像を単一の表示される画像につなぎ合わせるよう構成されたソフトウェアを含んでいてもよい（すなわち、スマート・マニュアル・スキャン）。加えて、コンピューティング・デバイスはさらに、光学式文字認識（OCR: optical character recognition）および／またはテキスト音声化（text to voice）機能を、印刷されたテキストの捕捉された画像および／またはビデオに適用するよう構成された他のソフトウェアを含んでいてもよい。
ここで図６を参照するに、コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話する方法６００のある実施形態のフローチャートが示されている。方法６００は、コンピューティング・デバイスと通信するよう構成された多機能入力装置を提供することを含む（工程６１０）。方法６００はさらに、入力装置のポインティング・モジュールによって、入力装置の一つまたは複数のユーザー選択可能な機能入力の操作を検出することを含む（工程６２０）。方法６００はさらに、入力装置のポインティング・モジュールによって、入力装置の一つまたは複数のユーザー選択可能な機能入力の操作を検出し、前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて前記ポインティング・モジュールによってユーザー選択入力データを生成することを含む（工程６３０）。方法６００はさらに、入力装置のカメラ・モジュールによって、入力装置のカメラによって捕捉された一つまたは複数の画像を受領および記憶することを含む（工程６４０）。方法６００はさらに、通信モジュールによって、前記ユーザー選択入力データおよび前記一つまたは複数の捕捉された画像を、通信リンクを通じてコンピューティング・デバイスに送信することを含む（工程６５０）。方法６００はさらに、前記一つまたは複数の捕捉された画像から形成された単一の画像を、コンピューティング・デバイスの表示手段上に表示することを含む（工程６６０）。
図６はさまざまな実施形態に基づく方法工程を示しているが、任意の実施形態においてこれらの工程すべてが必要なわけではないことを理解しておくべきである。実際、本開示の他の実施形態では、図６に描かれた工程は、どの図にも具体的に示されていない仕方で組み合わされてもよく、それでも本開示と完全に整合するものであることが完全に考えられている。よって、ある図面に厳密に示されていない特徴および／または工程に向けられる請求項でも、本開示の範囲および内容に含まれると見なされる。
加えて、これらの実施形態の工程は、上記の図面および付属の例を参照してさらに記述してきた。図面のいくつかは論理の流れを含むことがありうる。ここに呈示されるそのような図面は特定の論理の流れを含むことがありうるが、そのような論理の流れは単に、本稿に記載される一般的な機能性がいかにして実装できるかの例を与えるにすぎないことは理解できる。さらに、与えられた論理の流れは、特に断りのない限り、必ずしも呈示される順序で実行される必要はない。さらに、与えられた論理の流れは、ハードウェア要素、プロセッサによって実行されるソフトウェア要素またはその任意の組み合わせによって実装されてもよい。実施形態はこのコンテキストに限定されるものではない。
よって、本開示と整合するシステムは、限られたコンピュータ技量、知識および／または能力をもつユーザー（たとえば、初心者ユーザー、高齢者など）に、よりアクセスしやすく、ユーザーフレンドリーな、コンピューティング・デバイスを操作する手段を提供する。具体的には、本開示と整合する簡略化されたGUIおよび入力装置は、普通なら現在のコンピューティング・デバイスに圧倒されてしまうであろうユーザーが、該コンピューティング・デバイスに安全にアクセスしたり、サービスを購入したり、インターネットを通じて購入をしたり、インターネットを閲覧したり、ソーシャル・ネットワーキング（たとえばビデオ・チャット）に参加したり、および／または電子メールにアクセスしたりすることを許容しうる。
本開示のある実施形態と整合して、コンピューティング・デバイスのための多機能入力装置が提供される。本多機能入力装置は、ユーザーが、表示手段上の、前記コンピューティング・デバイスのグラフィカル・ユーザー・インターフェース（GUI）と対話することを許容するユーザー選択可能な機能入力を含む。本多機能入力装置はさらに、前記一つまたは複数のユーザー選択可能な機能入力の操作を検出するよう構成されたポインティング・モジュールを含む。ポインティング・モジュールはさらに、前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて、ユーザー選択入力データを生成するよう構成される。本多機能入力装置はさらに、一つまたは複数の画像を捕捉するよう構成されたカメラと、該カメラによって捕捉された前記一つまたは複数の画像を受領し、記憶するよう構成されたカメラ・モジュールとを含む。本多機能入力装置はさらに、前記ポインティング・モジュールからの前記ユーザー選択入力データおよび前記カメラ・モジュールからの前記一つまたは複数の捕捉された画像を、通信リンクを通じて前記コンピューティング・デバイスに送信するよう構成された通信モジュールを含む。本多機能入力装置はさらに、前記コンピューティング・デバイスと通信するよう前記通信モジュールを制御するよう構成されたプロセッサを含む。
本開示のもう一つの実施形態と整合して、コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話するためのシステムが提供される。本システムは、コンピューティング・デバイスと、ユーザーが、表示手段上の前記コンピューティング・デバイスのグラフィカル・ユーザー・インターフェース（GUI）と対話することを許容する多機能入力装置とを含む。多機能入力装置は、ユーザーが、表示手段上の前記コンピューティング・デバイスのグラフィカル・ユーザー・インターフェース（GUI）と対話することを許容するユーザー選択可能な機能入力を含む。多機能入力装置はさらに、前記一つまたは複数のユーザー選択可能な機能入力の操作を検出するよう構成されたポインティング・モジュールを含む。ポインティング・モジュールはさらに、前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて、ユーザー選択入力データを生成するよう構成される。多機能入力装置はさらに、一つまたは複数の画像を捕捉するよう構成されたカメラと、該カメラによって捕捉された前記一つまたは複数の画像を受領し、記憶するよう構成されたカメラ・モジュールとを含む。多機能入力装置はさらに、前記ポインティング・モジュールからの前記ユーザー選択入力データおよび前記カメラ・モジュールからの前記一つまたは複数の捕捉された画像を、通信リンクを通じて前記コンピューティング・デバイスに送信するよう構成された通信モジュールを含む。多機能入力装置はさらに、前記コンピューティング・デバイスと通信するよう前記通信モジュールを制御するよう構成されたプロセッサを含む。
本開示のもう一つの実施形態と整合して、コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話するための方法が提供される。本方法は、コンピューティング・デバイスと通信するよう構成された多機能入力装置を提供することを含む。本方法はさらに、入力装置のポインティング・モジュールによって、入力装置の一つまたは複数のユーザー選択可能な機能入力の操作を検出することを含む。本方法はさらに、入力装置のポインティング・モジュールによって、入力装置の一つまたは複数のユーザー選択可能な機能入力の操作を検出し、前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて、ユーザー選択入力データを、前記ポインティング・モジュールによって生成することを含む。本方法はさらに、入力装置のカメラによって捕捉された一つまたは複数の画像を、入力装置のカメラ・モジュールによって、受領し、記憶することを含む。本方法はさらに、通信モジュールによって、前記ユーザー選択入力データおよび前記一つまたは複数の捕捉された画像を、通信リンクを通じて前記コンピューティング・デバイスに送信することを含む。本方法はさらに、前記一つまたは複数の捕捉された画像から形成される単一の画像を、前記コンピューティング・デバイスの表示手段上に表示することを含む。
本開示のさらにもう一つの実施形態と整合して、命令が記憶されたコンピュータ・アクセス可能媒体が提供される。前記命令は、一つまたは複数のプロセッサによって実行されたときに、コンピュータ・システムに、コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話するための諸工程を実行させる。前記諸工程は、多機能入力装置のポインティング・モジュールによって、入力装置の一つまたは複数のユーザー選択可能な機能入力の操作を検出する段階と；入力装置のポインティング・モジュールによって、入力装置の一つまたは複数のユーザー選択可能な機能入力の操作を検出する段階と；前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて、ユーザー選択入力データを、前記ポインティング・モジュールによって生成する段階と；入力装置のカメラによって捕捉された一つまたは複数の画像を、入力装置のカメラ・モジュールによって、受領し、記憶する段階と；入力装置の通信モジュールによって、前記ユーザー選択入力データおよび前記一つまたは複数の捕捉された画像を、通信リンクを通じてコンピューティング・デバイスに送信する段階と；前記一つまたは複数の捕捉された画像から形成される単一の画像を、前記コンピューティング・デバイスの表示手段上に表示する段階とを含む。
本稿に記載されるように、さまざまな実施形態はハードウェア要素、ソフトウェア要素またはその任意の組み合わせを使って実装されうる。ハードウェア要素の例はプロセッサ、マイクロプロセッサ、回路、回路素子（たとえば、トランジスタ、抵抗器、キャパシタ、インダクタなど）、集積回路、特定用途向け集積回路（ASIC: application specific integrated circuit）、プログラム可能な論理装置（PLD: programmable logic device）、デジタル信号プロセッサ（DSP: digital signal processor）、フィールド・プログラム可能なゲートアレイ（FPGA: field programmable gate array）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含みうる。
本稿の任意の実施形態において使われるところでは、用語「モジュール」は、記載される工程を実行するよう構成されたソフトウェア、ファームウェアおよび／または回路を指す。ソフトウェアは、ソフトウェア・パッケージ、コードおよび／または命令のセットまたは命令として具現されてもよく、本稿の任意の実施形態において使われるところでは、「回路」は、たとえば、単独でまたは任意の組み合わせにおいて、物理的に組み込まれた（hardwired）回路、プログラム可能な回路、状態機械回路および／またはプログラム可能な回路によって実行される命令を記憶するファームウェアを含みうる。諸モジュールは、集合的または個々に、より大きなシステム、たとえば集積回路（IC）、システム・オン・チップ（SoC）などの一部をなす回路として具現されてもよい。
本稿に記載されるある種の実施形態は、コンピュータによって実行されたときにコンピュータに本稿に記載される方法および／または工程を実行させるコンピュータ実行可能命令を記憶する有形の機械可読媒体として提供されてもよい。有形のコンピュータ可読媒体は、これに限られないが、フロッピー（登録商標）ディスク、光ディスク、コンパクトディスク読み出し専用メモリ（CD-ROM）、書き換え可能コンパクトディスク（CD-RW）および光磁気ディスクを含む任意の型のディスクや、読み出し専用メモリ（ROM）、ダイナミックRAMおよびスタティックRAMのようなランダム・アクセス・メモリ（RAM）、消去可能型プログラム可能読み出し専用メモリ（EPROM）、電気的消去可能型プログラム可能読み出し専用メモリ（EEPROM）、フラッシュメモリのような半導体デバイスや、磁気または光学式カードや、電子的な命令を記憶するのに好適な任意の型の有形の媒体を含みうる。前記コンピュータは、任意の好適な処理プラットフォーム、デバイスもしくはシステム、コンピューティング・プラットフォーム、デバイスもしくはシステムを含んでいてもよく、ハードウェアおよび／またはソフトウェアのいかなる好適な組み合わせを使って実装されてもよい。命令は、いかなる好適な型のコードを含んでいてもよく、いかなる好適なプログラミング言語を使って実装されてもよい。
本明細書を通じた「一つの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記載される特定の機能、構造または特徴が少なくとも一つの実施形態に含まれることを意味する。よって、「一つの実施形態では」または「ある実施形態では」といった句が本明細書を通じた随所に現れるのは、必ずしもみなが同じ実施形態を指すのではない。さらに、特定の機能、構造または特徴は、一つまたは複数の実施形態において、任意の好適な仕方において組み合わされてもよい。
本稿で用いられる用語および表現は、限定ではなく説明の用語として使われており、そのような用語および表現の使用には、図示および記載される事項（またはその一部）のいかなる等価物をも排除する意図はない。請求項の範囲内でさまざまな修正が可能であることが認識される。よって、請求項はそのような等価物すべてをカバーすることが意図されている。
さまざまな機能、側面および実施形態が本稿で記載されてきた。それらの機能、側面および実施形態は、互いに組み合わされることができ、変形や修正を受けることもできる。このことは、当業者には理解されるであろう。したがって、本開示は、そのような組み合わせ、変形および修正をも包含すると考えられるべきである。よって、本発明の広さおよび範囲は、上記の例示的な実施形態のいずれによっても限定されるべきではなく、以下の請求項およびその等価物に従ってのみ定義されるべきである。
１０ システム
１２ 入力装置
１４ コンピューティング・デバイス
１６ 通信リンク
１８ プロセッサ
２０ メモリ
２２ GUI
２４ I/O回路
２６ ディスプレイ
２８ 通信モジュール
３０ ポインティング・モジュール
３１ I/O回路
３２ カメラ・モジュール
３３ 外部入力装置
３４ マイクロホン・モジュール
３６ オーディオ・モジュール
３８ プロセッサ
４０ 筐体
４２ カメラ
４４ ユーザー選択可能な機能入力部
４６ ナビゲーション入力
４８ ビデオ・モード入力
４９Ａ、４９Ｂ ボタン／ナビゲーション入力
４９Ｃ 選択入力
５０ 拡大入力
５１ 接続ポート
５２ マイクロホン
５４ ヘッドホン・ジャック
５６ 新聞
５８ 新聞の一部分
６００ 方法
６１０ コンピューティング・デバイスと通信するよう構成された多機能入力装置を提供
６２０ 入力装置のポインティング・モジュールによって、入力装置の一つまたは複数のユーザー選択可能な機能入力の操作を検出
６３０ 前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて、ポインティング・モジュールによって、ユーザー選択入力データを生成
６４０ 入力装置のカメラ・モジュールによって、入力装置のカメラによって捕捉された一つまたは複数の画像を受領および記憶
６５０ 通信モジュールによって、前記ユーザー選択入力データおよび前記一つまたは複数の捕捉された画像を、通信リンクを通じてコンピューティング・デバイスに送信
６６０ 前記一つまたは複数の捕捉された画像から形成された単一の画像を、コンピューティング・デバイスの表示手段上に表示

Claims (39)

  1. コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話するための多機能入力装置であって：
    ユーザーが、表示手段上の、前記コンピューティング・デバイスのグラフィカル・ユーザー・インターフェース（GUI）と対話できるようにするユーザー選択可能な機能入力と；
    前記一つまたは複数のユーザー選択可能な機能入力の操作を検出し、前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて、ユーザー選択入力データを生成するよう構成されたポインティング・モジュールと；
    一つまたは複数の画像を捕捉するよう構成されたカメラと；
    前記カメラによって捕捉された前記一つまたは複数の画像を受領し、記憶するよう構成されたカメラ・モジュールと；
    前記ポインティング・モジュールからの前記ユーザー選択入力データおよび前記カメラ・モジュールからの前記一つまたは複数の捕捉された画像を、通信リンクを通じて前記コンピューティング・デバイスに送信するよう構成された通信モジュールと；
    前記コンピューティング・デバイスと通信するよう前記通信モジュールを制御するよう構成されたプロセッサとを有する、
    多機能入力装置。
  2. 前記カメラ・モジュールが、前記カメラによって捕捉された印刷された情報の一つまたは複数の画像を受領し、記憶するよう構成され、前記通信モジュールは印刷された情報の前記一つまたは複数の画像を、前記表示手段上に表示するために、前記コンピューティング・デバイスに送信するよう構成されている、請求項１記載の多機能入力装置。
  3. 前記ユーザー選択可能な機能入力の一つが、ユーザーが、前記表示手段上の、前記カメラによって捕捉された印刷された情報の前記一つまたは複数の画像のサイズを変えられるようにするよう構成された拡大入力を含む、請求項２記載の多機能入力装置。
  4. 前記ユーザー選択可能な機能入力の一つが、ユーザーが前記GUIをナビゲートできるようにするナビゲート入力を含む、請求項１ないし３のうちいずれか一項記載の多機能入力装置。
  5. 前記プロセッサが、前記ポインティング・モジュールからの前記ユーザー選択入力データおよび前記カメラ・モジュールからの前記一つまたは複数の捕捉された画像の少なくとも一つを前記コンピューティング・デバイスに送信するよう、前記通信モジュールを制御するよう構成されている、請求項１ないし４のうちいずれか一項記載の多機能入力装置。
  6. 前記通信モジュールが、当該入力装置が前記コンピューティング・デバイスと無線伝送プロトコルを介して無線通信できるようにする無線通信モジュールを含む、請求項１ないし５のうちいずれか一項記載の多機能入力装置。
  7. 前記無線伝送プロトコルが、ブルートゥース、赤外線および2012年1月の時点でのIEEE802.11伝送プロトコル規格の最新公表バージョンからなる群から選択される、請求項６記載の多機能入力装置。
  8. 前記通信モジュールが、当該入力装置が前記コンピューティング・デバイスと伝送ケーブルおよび有線伝送プロトコルを介して通信できるようにする有線接続モジュールを含む、請求項１ないし５のうちいずれか一項記載の多機能入力装置。
  9. 前記有線伝送プロトコルが、ユニバーサル・シリアル・バス（USB）伝送プロトコルである、請求項８記載の多機能入力装置。
  10. 請求項１ないし９のうちいずれか一項記載の多機能入力装置であって、さらに：
    オーディオ・データを捕捉するよう構成されたマイクロホンと；
    前記マイクロホンによって捕捉されたオーディオ・データを受領し、記憶するよう構成されたマイクロホン・モジュールとを有し、
    前記通信モジュールは、前記マイクロホン・モジュールからの前記捕捉されたオーディオ・データを前記コンピューティング・デバイスに送信するよう構成されている、
    多機能入力装置。
  11. 前記プロセッサが、前記マイクロホン・モジュールからのオーディオ・データを前記コンピューティング・デバイスに送信するよう前記通信モジュールを制御するよう構成されている、請求項１０記載の多機能入力装置。
  12. 請求項１ないし１１のうちいずれか一項記載の多機能入力装置であって、さらに：
    前記コンピューティング・デバイスからオーディオ・データを受領するよう構成されたオーディオ・モジュールと；
    前記オーディオ・モジュールからのオーディオ・データを聴覚的に再生するよう構成されたオーディオ出力手段とを有し、
    前記通信モジュールは、前記コンピューティング・デバイスからの前記オーディオ・データを前記オーディオ・モジュールに伝送するよう構成されている、
    多機能入力装置。
  13. 前記プロセッサが、前記コンピューティング・デバイスからのオーディオ・データを受領するよう前記通信モジュールを制御するよう構成されている、請求項１２記載の多機能入力装置。
  14. 前記コンピューティング・デバイスが、パーソナル・コンピュータ（PC）、ネットブック、タブレットおよびスマートフォンからなる群から選択される、請求項１ないし１３のうちいずれか一項記載の多機能入力装置。
  15. コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話するためのシステムであって、当該システムは：
    コンピューティング・デバイスと；
    ユーザーが、表示手段上の前記コンピューティング・デバイスのグラフィカル・ユーザー・インターフェース（GUI）と対話できるようにする多機能入力装置とを有しており、前記多機能入力装置は：
    ユーザーが、前記GUIと対話できるようにするユーザー選択可能な機能入力と；
    前記一つまたは複数のユーザー選択可能な機能入力の操作を検出し、前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて、ユーザー選択入力データを生成するよう構成されたポインティング・モジュールと；
    一つまたは複数の画像を捕捉するよう構成されたカメラと；
    前記カメラによって捕捉された前記一つまたは複数の画像を受領し、記憶するよう構成されたカメラ・モジュールと；
    前記ポインティング・モジュールからの前記ユーザー選択入力データおよび前記カメラ・モジュールからの前記一つまたは複数の捕捉された画像を、通信リンクを通じて前記コンピューティング・デバイスに送信するよう構成された通信モジュールと；
    前記コンピューティング・デバイスと通信するよう前記通信モジュールを制御するよう構成されたプロセッサとを有する、
    システム。
  16. 前記カメラ・モジュールが、前記カメラによって捕捉された印刷された情報の一つまたは複数の画像を受領し、記憶するよう構成され、前記通信モジュールは印刷された情報の前記一つまたは複数の画像を、前記表示手段上で示すために、前記コンピューティング・デバイスに送信するよう構成されている、請求項１５記載のシステム。
  17. 前記ユーザー選択可能な機能入力の一つが、ユーザーが、前記表示手段上の、前記カメラによって捕捉された印刷された情報の前記一つまたは複数の画像のサイズを変えられるようにするよう構成された拡大入力を含む、請求項１６記載のシステム。
  18. 前記ユーザー選択可能な機能入力の一つが、ユーザーが前記GUIをナビゲートできるようにするナビゲート入力を含む、請求項１５ないし１７のうちいずれか一項記載のシステム。
  19. 前記プロセッサが、前記ポインティング・モジュールからの前記ユーザー選択入力データおよび前記カメラ・モジュールからの前記一つまたは複数の捕捉された画像の少なくとも一つを前記コンピューティング・デバイスに送信するよう、前記通信モジュールを制御するよう構成されている、請求項１５ないし１８のうちいずれか一項記載のシステム。
  20. 前記通信モジュールが、前記入力装置が前記コンピューティング・デバイスと無線伝送プロトコルを介して無線通信できるようにする無線通信モジュールを含む、請求項１５ないし１９のうちいずれか一項記載のシステム。
  21. 前記無線伝送プロトコルが、ブルートゥース、赤外線および2012年1月の時点でのIEEE802.11伝送プロトコル規格の最新公表バージョンからなる群から選択される、請求項２０記載のシステム。
  22. 前記通信モジュールが、前記入力装置が前記コンピューティング・デバイスと伝送ケーブルおよび有線伝送プロトコルを介して通信できるようにする有線接続モジュールを含む、請求項１５ないし１９のうちいずれか一項記載のシステム。
  23. 前記有線伝送プロトコルが、ユニバーサル・シリアル・バス（USB）伝送プロトコルである、請求項２２記載のシステム。
  24. 請求項１５ないし２３のうちいずれか一項記載のシステムであって、前記多機能入力装置がさらに：
    オーディオ・データを捕捉するよう構成されたマイクロホンと；
    前記マイクロホンによって捕捉されたオーディオ・データを受領し、記憶するよう構成されたマイクロホン・モジュールとを有し、
    前記通信モジュールは、前記マイクロホン・モジュールからの前記捕捉されたオーディオ・データを前記コンピューティング・デバイスに送信するよう構成されている、
    システム。
  25. 前記プロセッサが、前記マイクロホン・モジュールからのオーディオ・データを前記コンピューティング・デバイスに送信するよう前記通信モジュールを制御するよう構成されている、請求項２４記載のシステム。
  26. 請求項１５ないし２５のうちいずれか一項記載のシステムであって、前記多機能入力装置がさらに：
    前記コンピューティング・デバイスからオーディオ・データを受領するよう構成されたオーディオ・モジュールと；
    前記オーディオ・モジュールからのオーディオ・データを聴覚的に再生するよう構成されたオーディオ出力手段とを有し、
    前記通信モジュールは、前記コンピューティング・デバイスからの前記オーディオ・データを前記オーディオ・モジュールに伝送するよう構成されている、
    システム。
  27. 前記プロセッサが、前記コンピューティング・デバイスからのオーディオ・データを受領するよう前記通信モジュールを制御するよう構成されている、請求項２６記載のシステム。
  28. 前記コンピューティング・デバイスが、パーソナル・コンピュータ（PC）、ネットブック、タブレットおよびスマートフォンからなる群から選択される、請求項１５ないし２７のうちいずれか一項記載のシステム。
  29. コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話するための方法であって：
    前記コンピューティング・デバイスと通信するよう構成された多機能入力装置を提供する段階と；
    前記入力装置のポインティング・モジュールによって、前記入力装置の一つまたは複数のユーザー選択可能な機能入力の操作を検出する段階と；
    前記ポインティング・モジュールによって、前記一つまたは複数のユーザー選択可能な機能入力の操作に基づいて、ユーザー選択入力データを、生成する段階と；
    前記入力装置のカメラによって捕捉された一つまたは複数の画像を、前記入力装置のカメラ・モジュールによって、受領し、記憶する段階と；
    前記入力装置の通信モジュールによって、前記ユーザー選択入力データおよび前記一つまたは複数の捕捉された画像を、通信リンクを通じて前記コンピューティング・デバイスに送信する段階と；
    前記一つまたは複数の捕捉された画像から形成される単一の画像を、前記表示手段上に表示する段階とを含む、
    方法。
  30. 前記一つまたは複数の画像が、少なくともいくらかのテキストを含む印刷された情報を含む、請求項２９記載の方法。
  31. 前記印刷された情報を表すデジタル化された画像データを生成する段階をさらに含む、請求項３０記載の方法。
  32. 前記ユーザー選択可能な機能入力の一つが、ユーザーが、前記表示手段上に表示される前記画像のサイズを変えられるようにするよう構成された拡大入力を含む、請求項２９ないし３１のうちいずれか一項記載の方法。
  33. 前記ユーザー選択可能な機能入力の一つが、ユーザーが前記GUIをナビゲートできるようにするナビゲート入力を含む、請求項２９ないし３２のうちいずれか一項記載の方法。
  34. 前記通信モジュールが、前記入力装置が前記コンピューティング・デバイスと無線伝送プロトコルを介して無線通信できるようにする無線通信モジュールを含む、請求項２９ないし３３のうちいずれか一項記載の方法。
  35. 前記無線伝送プロトコルが、ブルートゥース、赤外線および2012年1月の時点でのIEEE802.11伝送プロトコル規格の最新公表バージョンからなる群から選択される、請求項３４記載の方法。
  36. 請求項２９ないし３５のうちいずれか一項記載の方法であって、前記多機能入力装置がさらに：
    オーディオ・データを捕捉するよう構成されたマイクロホンと；
    前記マイクロホンによって捕捉されたオーディオ・データを受領し、記憶するよう構成されたマイクロホン・モジュールとを有し、
    前記通信モジュールは、前記マイクロホン・モジュールからの前記捕捉されたオーディオ・データを前記コンピューティング・デバイスに送信するよう構成されている、
    方法。
  37. 請求項２９ないし３６のうちいずれか一項記載の方法であって、前記多機能入力装置がさらに：
    前記コンピューティング・デバイスからオーディオ・データを受領するよう構成されたオーディオ・モジュールと；
    前記オーディオ・モジュールからのオーディオ・データを聴覚的に再生するよう構成されたオーディオ出力手段とを有し、
    前記通信モジュールは、前記コンピューティング・デバイスからの前記オーディオ・データを前記オーディオ・モジュールに伝送するよう構成されている、
    方法。
  38. 前記コンピューティング・デバイスが、パーソナル・コンピュータ（PC）、ネットブック、タブレットおよびスマートフォンからなる群から選択される、請求項２９ないし３７のうちいずれか一項記載の方法。
  39. 一つまたは複数のプロセッサによって実行されたときに、コンピュータ・システムに、コンピューティング・デバイスの表示手段上のグラフィカル・ユーザー・インターフェース（GUI）と対話する請求項２９ないし３８のうちいずれか一項記載の方法の段階を実行させる命令が記憶された、少なくとも一つのコンピュータ・アクセス可能媒体。
JP2012094461A 2011-04-19 2012-04-18 多機能入力装置 Pending JP2012226754A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161477000P 2011-04-19 2011-04-19
US61/477,000 2011-04-19

Publications (1)

Publication Number Publication Date
JP2012226754A true JP2012226754A (ja) 2012-11-15

Family

ID=47030253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012094461A Pending JP2012226754A (ja) 2011-04-19 2012-04-18 多機能入力装置

Country Status (6)

Country Link
US (1) US20130298028A1 (ja)
EP (1) EP2699985A4 (ja)
JP (1) JP2012226754A (ja)
CN (1) CN102749992A (ja)
BR (1) BR112013026547A2 (ja)
WO (1) WO2012145057A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016121412A1 (ja) * 2015-01-30 2016-08-04 ソニー株式会社 情報処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310767A1 (en) * 2014-04-24 2015-10-29 Omnivision Technologies, Inc. Wireless Typoscope
CN104702967B (zh) * 2014-09-10 2019-03-29 迈克尔·沙菲尔 虚拟视频巡检系统与其组件
CN104965605A (zh) * 2015-07-02 2015-10-07 天津海悦百川科技发展有限公司 一种多功能无线键盘
CN106775004B (zh) * 2016-11-23 2020-09-04 广州视源电子科技股份有限公司 交互设备、数据传输方法和系统
CN106775001A (zh) * 2016-11-23 2017-05-31 广州视源电子科技股份有限公司 交互设备、控制方法及装置
CN107045419B (zh) * 2017-05-04 2020-06-26 奇酷互联网络科技（深圳）有限公司 一种输入用电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093671A (ja) * 1996-09-19 1998-04-10 Sharp Corp 情報通信端末用スタイラスペン
JP2005352840A (ja) * 2004-06-11 2005-12-22 Fujinon Corp ポインティング装置およびプログラム
JP2006115052A (ja) * 2004-10-13 2006-04-27 Sharp Corp コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5587560A (en) * 1995-04-10 1996-12-24 At&T Global Information Solutions Company Portable handwritten data capture device and method of using
US6505159B1 (en) * 1998-03-03 2003-01-07 Microsoft Corporation Apparatus and method for providing speech input to a speech recognition system
JPH11355617A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
KR100358370B1 (ko) * 2000-03-24 2002-10-25 공원일 다기능이 구비된 하나로 키보드
US6765557B1 (en) * 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US6525306B1 (en) * 2000-04-25 2003-02-25 Hewlett-Packard Company Computer mouse with integral digital camera and method for using the same
US6980175B1 (en) * 2000-06-30 2005-12-27 International Business Machines Corporation Personal smart pointing device
US6489986B1 (en) * 2000-09-29 2002-12-03 Digeo, Inc. Remote control device for video and audio capture and communication
US6710768B2 (en) * 2001-01-22 2004-03-23 Hewlett-Packard Development Company, L.P. Integrated multi-function computer input device
KR100846449B1 (ko) * 2003-03-27 2008-07-16 삼성전자주식회사 휴대용 복합장치의 웹 카메라 모드 설정방법
US7239338B2 (en) * 2003-10-01 2007-07-03 Worldgate Service, Inc. Videophone system and method
WO2005094270A2 (en) * 2004-03-24 2005-10-13 Sharp Laboratories Of America, Inc. Methods and systems for a/v input device to diplay networking
US7463304B2 (en) * 2004-05-06 2008-12-09 Sony Ericsson Mobile Communications Ab Remote control accessory for a camera-equipped wireless communications device
KR20060026228A (ko) * 2004-09-20 2006-03-23 삼성테크윈 주식회사 터치 스크린 디스플레이 패널을 리모콘으로 사용하는디지털 카메라 및 그 구동 방법
KR101050607B1 (ko) * 2004-11-24 2011-07-19 삼성전자주식회사 이동통신 단말기에서 카메라 줌 장치 및 방법
DE102006001607B4 (de) * 2005-01-14 2013-02-28 Mediatek Inc. Verfahren und Systeme zur Übertragung von Ton- und Bilddaten
US7835505B2 (en) * 2005-05-13 2010-11-16 Microsoft Corporation Phone-to-monitor connection device
US20070063969A1 (en) * 2005-09-15 2007-03-22 Christopher Wright Single finger micro controllers for portable electronic device
US20070245223A1 (en) * 2006-04-17 2007-10-18 Microsoft Corporation Synchronizing multimedia mobile notes
US20070254640A1 (en) * 2006-04-27 2007-11-01 Bliss Stephen J Remote control and viewfinder for mobile camera phone
US8594387B2 (en) * 2007-04-23 2013-11-26 Intel-Ge Care Innovations Llc Text capture and presentation device
US7889175B2 (en) * 2007-06-28 2011-02-15 Panasonic Corporation Touchpad-enabled remote controller and user interaction methods
US7904628B2 (en) * 2008-06-26 2011-03-08 Microsoft Corporation Smart docking system
US9716774B2 (en) * 2008-07-10 2017-07-25 Apple Inc. System and method for syncing a user interface on a server device to a user interface on a client device
CN101727186A (zh) * 2008-10-17 2010-06-09 鸿富锦精密工业（深圳）有限公司 Usb键盘
US8553106B2 (en) * 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
US8441695B2 (en) * 2009-05-20 2013-05-14 Dacuda Ag Handheld scanner with high image quality
US20100302190A1 (en) * 2009-06-02 2010-12-02 Elan Microelectronics Corporation Multi-functional touchpad remote controller
CN201489485U (zh) * 2009-08-26 2010-05-26 上海同畅信息技术有限公司 多功能鼠标
CA2777269A1 (en) * 2009-10-16 2011-04-21 Delta Vidyo, Inc. Smartphone to control internet tv system
EP2359915B1 (en) * 2009-12-31 2017-04-19 Sony Computer Entertainment Europe Limited Media viewing
CN201796356U (zh) * 2010-09-20 2011-04-13 方正科技集团苏州制造有限公司 一种能识别语音命令的计算机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093671A (ja) * 1996-09-19 1998-04-10 Sharp Corp 情報通信端末用スタイラスペン
JP2005352840A (ja) * 2004-06-11 2005-12-22 Fujinon Corp ポインティング装置およびプログラム
JP2006115052A (ja) * 2004-10-13 2006-04-27 Sharp Corp コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016121412A1 (ja) * 2015-01-30 2016-08-04 ソニー株式会社 情報処理装置
US11068148B2 (en) 2015-01-30 2021-07-20 Sony Corporation Information processing device

Also Published As

Publication number Publication date
CN102749992A (zh) 2012-10-24
US20130298028A1 (en) 2013-11-07
EP2699985A4 (en) 2014-12-17
WO2012145057A2 (en) 2012-10-26
BR112013026547A2 (pt) 2017-11-07
WO2012145057A3 (en) 2013-01-10
EP2699985A2 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
US11054988B2 (en) Graphical user interface display method and electronic device
KR102054633B1 (ko) 주변 장치들과 무선 페어링하고 주변 장치들에 관한 상태 정보를 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US20200228717A1 (en) User terminal apparatus and control method thereof
JP2012226754A (ja) 多機能入力装置
CN111800891B (zh) 用于点对点自组织语音通信的方法、装置和介质
US9886228B2 (en) Method and device for controlling multiple displays using a plurality of symbol sets
TWI438675B (zh) 提供情境感知援助說明之方法、裝置及電腦程式產品
US11650733B2 (en) Device, method, and graphical user interface for controlling multiple devices in an accessibility mode
WO2017097097A1 (zh) 触摸控制方法、用户设备、输入处理方法、移动终端及智能终端
US9983767B2 (en) Apparatus and method for providing user interface based on hand-held position of the apparatus
JP2023508419A (ja) 画面表示方法及び電子デバイス
CN103176744B (zh) 一种显示设备及其信息处理方法
US11765114B2 (en) Voice communication method
US10108388B2 (en) Display apparatus and controlling method thereof
CN104903839A (zh) 用于触摸屏的显示方法和终端
EP3262581A1 (en) Opening new application window in response to remote resource sharing
WO2013008330A1 (ja) 対話型画面データ送受信システム及び対話型画面データ送受信プログラム
US11284003B2 (en) User terminal apparatus and control method thereof
JP2015018382A (ja) 情報処理装置
US10904247B2 (en) Server for authentication based on context information of particular location, control method thereof and electronic apparatus
TWI837757B (zh) 配置虛擬按鍵的系統和方法
US20210318719A1 (en) Single Ubiquitous Device
CN111201507B (zh) 一种信息显示方法及终端
US20240045563A1 (en) System and method of configuring virtual button
US20150277689A1 (en) Display input apparatus and computer-readable non-transitory recording medium with display input control program recorded thereon

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130801

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140311