JP2013545380A - 入力設定の自動調整 - Google Patents
入力設定の自動調整 Download PDFInfo
- Publication number
- JP2013545380A JP2013545380A JP2013535354A JP2013535354A JP2013545380A JP 2013545380 A JP2013545380 A JP 2013545380A JP 2013535354 A JP2013535354 A JP 2013535354A JP 2013535354 A JP2013535354 A JP 2013535354A JP 2013545380 A JP2013545380 A JP 2013545380A
- Authority
- JP
- Japan
- Prior art keywords
- input
- field
- user
- setting state
- input setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
Abstract
【課題】 入力設定を自動的に調整するための方法及びシステムを提供すること。
【解決手段】 入力設定を自動的に調整するための方法及びシステムが開示される。方法は、ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を監視することを含むことができる。方法は、初期入力インスタンスにおいて、GUIの少なくとも1つのフィールド内への情報入力のためにユーザによって設定された、コンピュータ・システムの入力設定状態を判定することをさらに含むことができる。方法はまた、1つ又は複数の後続の入力インスタンスにおいて、フィールドに関する入力設定状態を、判定された初期入力インスタンスの入力設定に自動的に調整することを含むことができる。コンピュータ・プログラム製品も開示される。
【選択図】 図2
【解決手段】 入力設定を自動的に調整するための方法及びシステムが開示される。方法は、ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を監視することを含むことができる。方法は、初期入力インスタンスにおいて、GUIの少なくとも1つのフィールド内への情報入力のためにユーザによって設定された、コンピュータ・システムの入力設定状態を判定することをさらに含むことができる。方法はまた、1つ又は複数の後続の入力インスタンスにおいて、フィールドに関する入力設定状態を、判定された初期入力インスタンスの入力設定に自動的に調整することを含むことができる。コンピュータ・プログラム製品も開示される。
【選択図】 図2
Description
本発明は、入力設定の自動調整のための方法及びシステムに関する。
コンピュータ・システム及びアプリケーションを用いて作業するときに、ときどき、オペレータがキーボードの状態を変更することを要求される場合がある。これは、例えば、現在の言語以外のキーボード言語を必要とするデータ・フィールドに入力するとき(例えば、現在は英語モードのユーザがヘブライ語でデータを入力したいと思うとき)、キャプス・ロック又はナンバー・ロックの状態を変更するとき、及びキーボード配列を変更するときに起こる。
様々な状況において、こうした変更は、同じような方式で行われ、繰り返して行われることさえある。例えば、ヘブライ語を話すユーザは、電子メールのテキスト・フィールドにテキストを入力するときには、キーボードの言語設定をヘブライ語に変更し、次に、電子メール・アドレス・フィールドに電子メール・アドレスを入力するときには、キーボードの言語設定を英語に変更することになる。こうした変更は、推測及び予測することが比較的容易であるが、それらの変更は、ほとんどの場合、自動的に行われるわけではない。
既知の例外は、パスワード・フィールドの処理である。パスワード・フィールドを認識し、将来の使用のためにパスワードを保存し、さらにユーザに対してパスワードの入力を示唆するブラウザ及びアドオンが存在する。しかしながら、このソリューションは、特定のアプリケーションのためのものであり、パスワードのみを対象としている。
本発明の課題は、入力設定を自動的に調整するための方法及びシステムを提供することである。
本発明の実施形態によると、コンピュータ・システムの入力設定を自動的に調整するための方法が提供される。この方法は、ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を監視することを含むことができる。この方法は、初期入力インスタンスにおいて、GUIの少なくとも1つのフィールド内への情報入力のためにユーザによって設定された、コンピュータ・システムの入力設定状態を判定することをさらに含むことができる。この方法はまた、1つ又は複数の後続の入力インスタンスにおいて、前述の少なくとも1つのフィールドに関する入力設定状態を、判定された初期入力インスタンスの入力設定に自動的に調整することを含むことができる。
さらに、本発明の実施形態によると、一時的ではない有形のコンピュータ可読ストレージ媒体上に格納されたコンピュータ・プログラム製品が提供される。コンピュータ・プログラムは、ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を監視するためのコードを含むことができる。コンピュータ・プログラムは、初期入力インスタンスにおいて、GUIの少なくとも1つのフィールド内への情報入力のためにユーザによって設定された、コンピュータ・システムの入力設定状態を判定するためのコードを含むことができる。コンピュータ・プログラムはまた、1つ又は複数の後続の入力インスタンスにおいて、前述の少なくとも1つのフィールドに関する入力設定状態を、判定された初期入力インスタンスの入力設定に自動的に調整するためのコードを含むことができる。
さらに、本発明の実施形態によると、入力設定を自動的に調整するためのシステムが提供される。このシステムは、ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を監視するように構成されたプロセッサを含むことができる。プロセッサはまた、初期入力インスタンスにおいて、GUIの少なくとも1つのフィールド内への情報入力のためにユーザによって設定された、コンピュータ・システムの入力設定状態を判定するように構成することができる。プロセッサはまた、1つ又は複数の後続の入力インスタンスにおいて、少なくとも1つのフィールドに関する入力設定状態を、判定された初期入力インスタンスの入力設定に自動的に調整するように構成することができる。
さらに、本発明の実施形態によると、コンピュータ・システムの入力設定を自動的に調整するための方法が提供される。この方法は、ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を、スクリーン・スクレイピング(screen scraping)を実行することによって監視することを含むことができる。この方法はまた、初期入力インスタンスにおいて、GUIの少なくとも1つのフィールド内への情報入力のためにユーザによって設定されたコンピュータ・システムの入力設定状態を、入力設定状態を示すオペレーティング・システムの動作を追跡することによって判定することを含むことができる。この方法は、1つ又は複数の後続の入力インスタンスにおいて、少なくとも1つのフィールドに関する入力設定状態を、判定された初期入力インスタンスの入力設定に自動的に調整することをさらに含むことができる。
本発明の好ましい実施形態を、例示のみを目的として、以下の図面を参照して、ここから説明する。
当業者には認識されるように、本発明の態様は、システム、方法又はコンピュータ・プログラム製品として具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロ・コード等を含む)、又はソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、本明細書においては、これらを全て、一般的に、「回路」、「モジュール」又は「システム」と呼ぶことがある。さらに、本発明の態様は、媒体内に具体化されたコンピュータ可読プログラム・コードを有する、1つ又は複数のコンピュータ可読媒体内に具体化されたコンピュータ・プログラム製品の形を取ることができる。
1つ又は複数のコンピュータ可読媒体のいずれの組み合わせも利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線若しくは半導体のシステム、装置若しくはデバイス、又は上記のもののいずれかの適切な組み合わせとすることができるが、これらに限定されるものではない。コンピュータ可読ストレージ媒体のより具体的な例(非網羅的なリスト)として、以下のもの、即ち、1つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラム可能読み出し専用メモリ(EPROM又はフラッシュ・メモリ)、光ファイバ、ポータブル・コンパクト・ディスク型読み出し専用メモリ(CD−ROM)、光記憶装置、磁気記憶装置、又はこれらのいずれかの適切な組み合わせが挙げられる。本明細書の文脈においては、コンピュータ可読ストレージ媒体は、命令実行システム、装置若しくはデバイスによって又はそれらと関連して用いるためのプログラムを収容又は格納することが可能な、任意の、一時的ではない有形媒体とすることができる。
コンピュータ可読信号媒体は、コンピュータ可読プログラム・コードが、例えばベースバンド内に、又は搬送波の一部としてその中に具体化された、伝搬データ信号を含むことができる。このような伝搬信号は、電磁気、光又はこれらのいずれかの適切な組み合わせを含むがそれらに限定されない、種々の異なる形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、かつ、命令実行システム、装置若しくはデバイスによって又はこれらと関連して用いるためのプログラムを通信し、伝搬し又は搬送することができる、任意のコンピュータ可読媒体とすることができる。
コンピュータ可読媒体上に具体化されたプログラム・コードは、無線、有線、光ファイバ・ケーブル、RFなど、又は上記のもののいずれかの適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を用いて、伝送することができる。
本発明の態様のための動作を実行するためのコンピュータ・プログラム・コードは、Java、Smalltalk、C++などのようなオブジェクト指向型プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、1つ又は複数のプログラミング言語のいずれかの組み合わせで記述することができる。プログラム・コードは、完全にユーザのコンピュータ上で実行されるか、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行されるか、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行されるか、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合がある。後者のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク(LAN)若しくは広域ネットワーク(WAN)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続されるか、又は、(例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて)外部コンピュータへの接続がなされる場合がある。
本発明の態様は、本発明の実施形態による方法、装置(システム)及びコンピュータ・プログラム製品の流れ図及び/又はブロック図を参照して以下で説明される。流れ図及び/又はブロック図の各ブロック、及び、流れ図及び/又はブロック図におけるブロックの組み合わせは、コンピュータ・プログラム命令によって実装することができることが理解されるであろう。これらのコンピュータ・プログラム命令を汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生成し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実装するための手段を生成することができる。
これらのコンピュータ命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他の装置を特定の様式で機能するように指令することができるコンピュータ可読媒体に格納し、それにより、そのコンピュータ可読媒体に格納された命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実装する命令を含む製品を生成するようにすることもできる。
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他の装置にロードして、コンピュータ、他のプログラム可能データ処理装置、又はその他の装置上で一連の動作ステップを行わせて、コンピュータ実装プロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、流れ図及び/又はブロック図の1つ又は複数のブロック内で指定された機能/動作を実行するためのプロセスを提供するようにすることもできる。
図面内の流れ図及びブロック図は、本発明の種々の実施形態によるシステム、方法、及びコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。この点に関して、流れ図又はブロック図の中の各ブロックは、特定の1つ又は複数の論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装においては、ブロックに記載された機能が図に示された順序通りに行われない場合があることにも留意すべきである。例えば、逐次的に示された2つのブロックは、関与する機能に応じて、実際には、実質的に同時に実行されることがあり、又は、ブロックが逆順に実行されることもある。ブロック図及び/又は流れ図の各ブロック、及び、ブロック図及び/又は流れ図におけるブロックの組み合わせは、指定された機能又は動作を行う専用ハードウェアに基づくシステムによって、又は専用ハードウェアとコンピュータ命令との組み合わせによって、実装することができることにも留意されたい。
本発明の実施形態によると、コンピュータ・アプリケーションの監視されたグラフィカル・ユーザ・インターフェース内の各々の特定のデータ・フィールドに関するコンピュータ・システムの入力設定の自動調整のための方法及びシステムが、本明細書において開示される。
本発明の文脈において、「入力インターフェース」という用語は、コンピュータ・デバイス上で稼働しているアプリケーションによって促されたときに、そうすることが必要とされる場合又は所望される場合に情報を入力するため、及び、入力グラフィカル・ユーザ・インターフェースをディスプレイ(例えば、モニタ画面)上に表示するために、ユーザが用いることができるあらゆる種類の入力インターフェース(例えば、キーボード、ポインティング・デバイス、タッチ・スクリーン)を含むものと理解される。
入力インターフェース設定の自動調整のための方法及びシステムは、本発明の実施形態によると、ユーザの入力挙動を学習すること、及び、そのユーザの入力挙動に適合する入力インターフェース設定の自動調整をそのユーザに提供することに基づくものとすることができる。
本発明の実施形態によると、キーボード入力設定を自動的に設定するための方法及びシステムは、ユーザ群の各ユーザの入力挙動を学習し、そのユーザの入力挙動に適合する自動化されたキーボード入力設定を各ユーザに提供するように設計することができる。
本発明の実施形態によると、キーボード入力設定を自動的に設定するための方法及びシステムは、データフォームの入力時間を短縮することができ、ヒューマンエラーを減らすことができる。
異なる入力設定を必要とする様々な種類の入力フィールドが存在する。例えば、電子メール・アドレス・フィールド(典型的には、ラテン語キーボード設定が必要とされる)、名前フィールド(典型的には、現地語設定)、番号フィールド(数字設定)である。
本発明の実施形態によると、コンピュータがユーザからの入力を必要とするアプリケーションを稼働している間に、表示画像に対してOCR(光学式文字認識)を使用して、ユーザに対して表示された画面の内容を認識することを伴う、スクリーン・スクレイピング技術を用いることができる。スクリーン・スクレイピング技術は、そのGUIが関連する稼働アプリケーションの、アプリケーション自体から直接(APIを介して)取得されるか又はオペレーティング・システム(OS)を介して取得される構造化データを構文解析することを含むこともできる。
本発明の実施形態による方法は、以下のステップを含むことができる。
a)ユーザが作業している間、アプリケーション画面を監視し、スクリーン・スクレイピング(OCR)によって画面の内容を認識し、入力インターフェース(例えば、キーボード、マウス)イベント、又はオペレーティング・システムによって実行されたその他の動作を検出すること。
b)ユーザが現在編集しているフィールドを識別すること((a)からのデータに基づいて)
c)ユーザが編集している画面及びフィールドにより、ユーザのアクション及びシステム設定を学習すること。
d)特定のユーザの挙動についての十分な知識を蓄積した後で、各監視対象入力フィールドに関する少なくとも1つの規則が生成される。
e)画面上に表示された監視対象のグラフィカル・ユーザ・インターフェースのフィールド内に次回ユーザが情報を入力するときに、規則が以前に生成されている場合には、提唱される方法は、生成された規則に従って、入力インターフェースの設定を自動的に適用する。
a)ユーザが作業している間、アプリケーション画面を監視し、スクリーン・スクレイピング(OCR)によって画面の内容を認識し、入力インターフェース(例えば、キーボード、マウス)イベント、又はオペレーティング・システムによって実行されたその他の動作を検出すること。
b)ユーザが現在編集しているフィールドを識別すること((a)からのデータに基づいて)
c)ユーザが編集している画面及びフィールドにより、ユーザのアクション及びシステム設定を学習すること。
d)特定のユーザの挙動についての十分な知識を蓄積した後で、各監視対象入力フィールドに関する少なくとも1つの規則が生成される。
e)画面上に表示された監視対象のグラフィカル・ユーザ・インターフェースのフィールド内に次回ユーザが情報を入力するときに、規則が以前に生成されている場合には、提唱される方法は、生成された規則に従って、入力インターフェースの設定を自動的に適用する。
入力インターフェース設定の変更は、特定のフィールドにユーザがタイプ入力しているとき、又はまさにタイプ入力しようとしている合図(キュー)があったときにいつでも適用することができる。
本発明の代替的な実施形態においては、入力インターフェース設定の変更は、自動化された後処理手順で適用することができる。後処理ルーティンにおいて、ウィンドウの1つのフィールド(又は複数のフィールド)は、(データ入力時に同時実行される自動システム設定とは対照的に)学習されたユーザの入力パターンに従って自動的に調整することができる。自動化された後処理手順は、ユーザが起動することもでき(例えば、ユーザが、指定のキー又はアイコンを押すことによって)、又は、ユーザが情報を入力している間に、若しくはユーザがそのフィールド内での情報の入力を完了した直後に、動作させることもできる。
例えば、上記の電子メールの例を考える。本発明の実施形態によると、指定されたアプリケーションは、表示画像を監視し(スクリーン・スクレイピングを実行することによって)、それをユーザの入力アクションと相関させる。ユーザが、電子メール・アドレス・フィールド(ほとんどの電子メール・アプリケーションにおいて、多くの場合フィールドの左側に見られる「TO:」というタイトルによって特徴付けられ、スクリーン・スクレイピング・フェーズにおいてそれ自体として識別される)を指しているとき、ユーザは、入力インターフェース(この場合にはキーボード)の言語モードが英語(又は、電子メール・アドレスを入力するのに適したアルファベットを用いる他のいずれかの言語)である場合にのみ電子メール・アドレスを入力し、言語モードが英語でない場合には、ユーザは、言語設定を英語に変更するであろう。これらのアクションは指定されたアプリケーションによって記録されるので、このフィールドについての十分な情報が蓄積された後、次回ユーザが電子メール・アプリケーションを起動し、電子メール・メッセージを書き始めると、電子メール・アドレス・フィールドに達したときに、指定されたアプリケーションは、キーボードの言語モードが英語であることを確認し、英語でない場合には、言語モードはシステムによって英語に切り換えられる。指定されたアプリケーションは、例えば、言語モード変更に対応するキーボード・イベントを生成することによって、又は、アプリケーション・プログラミング・インターフェース(API)を用いることによって、キーボード言語の変更を実行することができる。
本発明の実施形態による入力インターフェース設定の自動調整のための方法は、画面の視覚的分析に基づくものとすることができ、従って、この方法は、ユーザが入力インターフェース上のフィールド内に情報を入力する際に用いるための入力インターフェースを画面上に表示する任意のプログラムに対して、独立に、かつ、監視対象アプリケーションのソース・コード、及び/又はそのアプリケーションが実行されるプラットフォームにアクセスすることなく、適用することができる。
図1は、電子メール・アプリケーションのグラフィカル・ユーザ・インターフェース(GUI)12(従来技術)を示し、これは、メニュー・キー16(メニュー・キーのうちのいくつかはテキスト形式であり、いくつかのメニュー・キーは図形アイコンである)を含む。GUI12はまた、受信者の電子メール・アドレスを入力するように設計された電子メール・アドレス・フィールド18(「To:」及び「CC:」)、並びに、テキストを入力するように設計された2つのテキスト・フィールド、即ち、「件名(Subject)」フィールド20及びメッセージ本文フィールド14を含む。
ユーザが、英語(又は、適切なフォーマットで電子メール・アドレスを入力するためにそのアルファベットを用いることができる他の言語)以外の言語で電子メール・メッセージを送信したいと思ったとき、ユーザは、以下のアクションを実行することができる。
a)電子メール・アドレス・フィールドを、例えばカーソルを電子メール・アドレス・フィールド内に配置することによって選択し、受信者の電子メール・アドレスを入力する。キーボードの現在の言語設定が英語である場合は、ユーザは、電子メール・アドレスをタイプ入力する。しかしながら、キーボードの現在の言語設定が英語でない場合、例えばヘブライ語、アラビア語、中国語、ロシア語、又は電子メール・アドレスに適さない他の言語である場合には、ユーザは、最初に、キーボードの現在の言語設定を英語に切り換えるであろう。おそらく、最初は間違った言語設定を用いて誤ったタイプ入力が行われ、間違いに気がつくと、ユーザは、タイプ入力されたテキストを削除し、再度タイプ入力する前にキーボードの言語設定を英語に切り換えることになるであろう。
b)テキスト・フィールドを、例えば、カーソルをテキスト・フィールド内に配置することによって選択し、所望の言語でメッセージをタイプ入力する。所望の言語が現在の設定とは異なるアルファベットを用いる言語である場合には、ユーザは、キーボードの言語設定をその言語に切り換えることになるであろう。
a)電子メール・アドレス・フィールドを、例えばカーソルを電子メール・アドレス・フィールド内に配置することによって選択し、受信者の電子メール・アドレスを入力する。キーボードの現在の言語設定が英語である場合は、ユーザは、電子メール・アドレスをタイプ入力する。しかしながら、キーボードの現在の言語設定が英語でない場合、例えばヘブライ語、アラビア語、中国語、ロシア語、又は電子メール・アドレスに適さない他の言語である場合には、ユーザは、最初に、キーボードの現在の言語設定を英語に切り換えるであろう。おそらく、最初は間違った言語設定を用いて誤ったタイプ入力が行われ、間違いに気がつくと、ユーザは、タイプ入力されたテキストを削除し、再度タイプ入力する前にキーボードの言語設定を英語に切り換えることになるであろう。
b)テキスト・フィールドを、例えば、カーソルをテキスト・フィールド内に配置することによって選択し、所望の言語でメッセージをタイプ入力する。所望の言語が現在の設定とは異なるアルファベットを用いる言語である場合には、ユーザは、キーボードの言語設定をその言語に切り換えることになるであろう。
情報入力の順序(例えば、最初に電子メール・アドレスを入力し、次にメッセージ・テキストをタイプ入力する、又はその逆の順序で入力する)は、任意であり得る。
本発明の実施形態によると、アプリケーションのGUIの表示画像を監視することができる。スクリーン・スクレイピング・ツールを用いて、画面上に現れている可視のテキスト及び図形アイテム又は記号(例えば、アイコン)を検出することができる。検出されたテキスト又は図形コンポーネントの内容及びその位置が記録される。キーボード入力及びマウス・クリック・イベントの順序を記録するために、スクリーン・スクレイピング・ツールと並列に機能する入力インターフェース(例えば、キーボード及び/又はマウス)リスナ・ツール(listener tool)を用いることができる。
現在、情報を入力中のアクティブなフィールドを識別することができる。編集マーカ(例えば、カーソル)の位置を検出するための既知の方法がある。例えば、見つけ出すためのサインは、画面上の点滅しているマーカ又は強調表示されたフィールドとすることができ、両方とも既知の変更検出技術によって検出される。各キーボード・ストローク後に画面を分析することができ、画面上の新たな文字の出現が、現在編集中のフィールドの場所を示すことができる。
マウス・クリック・イベントがあった場合には、編集可能なフィールドの存在を判定するために、そのイベントの座標及びそのイベントの周囲を分析することもでき、又は、そのマウス・イベントの周囲領域の、以前に完了した分析と比較することもできる。
画面上のフィールドを編集するときのユーザのアクション、及び、同時実行の入力インターフェース設定を、監視された画面と関連付けることができる。
初回の入力インスタンス又は最初の数回のインスタンス(以下、「初期入力インスタンス」と呼ぶ)における各フィールドに関する入力インターフェース設定の履歴を記録し、格納することができる。
従って、次回の入力インスタンス及びその後の入力インスタンスに関しては、ユーザがフィールドの1つを選択すると、入力インターフェース設定を、ユーザが初回の入力インスタンスにおいて用いた設定と一致するように設定することができる
本発明の実施形態によると、特定のフィールドについての(又は、画面上のいくつか若しくは全てのフィールドについての)初期入力インスタンスは、何回かの入力インスタンスを含むことができるので、入力インターフェース設定の自動調整は、何回かの初期入力インスタンスが記録され、そのデータ・フィールドに関して収集された統計値がそのフィールドに関してユーザが好む入力インターフェース設定の判定を可能にすることができるようになった後でのみ、実行することができる。本発明のいくつかの実施形態において、入力インスタンスの回数は、ユーザによるカスタマイズが可能であるものとすることができる。
ユーザがデータをフィールド内に入力する前には何の指標(indication)もなく、ユーザがデータを入力し始めた後でないと入力インターフェース設定を判定することができない場合には、既に書き込まれたテキストを学習されたユーザの挙動に従って再フォーマットする、後処理を実行することができる。例えば、電話番号などを入力する場合のように、あるデータ・フィールドの方向が常に左から右である場合には、これをデータ入力の後で自動的に訂正することができる。
本発明の実施形態による方法を使用すること又はシステムを用いることにより、ユーザに対して、テキストを入力する前に正しいキーボード設定を提供することができる。本発明の他の実施形態によると、後処理を利用して、データが正しい入力インターフェース設定で入力されたことを確認することができ、そうでない場合にはこれを訂正することができる。従って、ユーザは、入力インターフェースを手動で設定する必要を排除すること、並びに、不適当なキーボード設定によって引き起こされるタイプ入力エラーを回避することによって、時間を節約することができる。
本発明の実施形態による、入力インターフェース設定を自動的に調整するための方法が、図2に示される。
本方法は、GUI内への情報入力を監視すること(210)を含むことができる。本方法は、初期入力インスタンスにおいて、GUIの少なくとも1つのフィールド内への情報入力のためにユーザによって設定された入力設定状態を判定すること(220)をさらに含むことができる。本方法はまた、1つ又は複数の後続の入力インスタンスにおいて、少なくとも1つのフィールドに関する入力設定状態を、判定された初期入力インスタンスの入力設定に自動的に調整すること(230)を含むことができる。
本発明の実施形態による、入力インターフェース設定を自動的に調整するためのプロセス300が、図3に示される。
プロセス(例えば、アルゴリズム)は、GUI内への情報入力を監視すること(310)を含むことができる。ユーザがGUIのフィールド内に情報を入力するときに、それが初回の入力インスタンスに関して(又は、上記で定義された初期インスタンスにおいて)行われているものであるか否かを判定すること(320)ができる。
ユーザが、そのフィールド内に初回の入力インスタンスにおいて情報を入力する場合には、入力インターフェースの設定状態を判定し(330)、記録する(340)ことができ、GUIをさらに監視することができる(310)。
ユーザがこのフィールド内に情報を入力しているのが初回の入力インスタンス(上記で定義されたような)でない場合には、ユーザが情報を入力し始める前に、情報を入力するためにユーザによって現在選択されている入力フィールドを前もって示す指標(例えば、ユーザがTABを押してカーソルをフィールド内に進める、又は、ポインティング・デバイスをフィールド上でクリックする)があるか否かを判定することができる(345)。このような前もっての指標が検出された場合には、入力インターフェースの設定状態を、そのフィールドに関して判定された設定に調整することができる(350)。次に、入力GUIが完了したかどうかを判定することができる(360)。それが実際に完了した場合には、プロセスは終了することができる(370)。入力GUIが完了していない場合には、さらに監視することができる(310)。
ユーザがそのフィールド内に情報を入力し始める前に、選択されたフィールドを前もって示す指標がない場合には、入力された情報を、そのフィールドに関して判定された入力インターフェース設定に合致するように自動的に再フォーマットすることができる(355)。
図4は、本発明の実施形態による、入力インターフェース設定を自動的に調整するためのシステム400を示す。このようなシステムは、例えばハード・ディスク・ドライブのようなストレージ媒体420を含むことができる。システムはまた、プロセッサ410、例えばキーボード又はタッチ・スクリーンのような入力インターフェース440、及び、例えばモニタのようなディスプレイ装置430を含むことができる。
ストレージ媒体420を用いて、プロセッサ410上で実行することができるコンピュータ・プログラム製品(例えば、コンピュータ・ソフトウェア・アプリケーション)を格納することができ、これは、本発明の実施形態による、入力インターフェース設定を自動的に調整するための方法を実行するためのコードを含むことができる。
12:グラフィカル・ユーザ・インターフェース(GUI)
14:メッセージ本文フィールド
16:メニュー・キー
18:電子メール・アドレス・フィールド
20:「件名」フィールド
300:プロセス
400:システム
14:メッセージ本文フィールド
16:メニュー・キー
18:電子メール・アドレス・フィールド
20:「件名」フィールド
300:プロセス
400:システム
Claims (25)
- コンピュータ・システムの入力設定を自動的に調整するための方法であって、
ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を監視するステップと、
初期入力インスタンスにおいて、前記GUIの少なくとも1つのフィールド内への情報入力のために前記ユーザによって設定された、前記コンピュータ・システムの入力設定状態を判定するステップと、
1つ又は複数の後続の入力インスタンスにおいて、前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整するステップと
を含む方法。 - 前記コンピュータ・システムの前記入力設定状態を判定する前記ステップは、前記入力設定状態を示すオペレーティング・システムの動作を追跡するステップを含む、請求項1に記載の方法。
- 前記GUIを監視する前記ステップは、前記GUI上でスクリーン・スクレイピングを実行することを含む、請求項1に記載の方法。
- 前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整する前記ステップは、キーボード・イベントを生成すること、及び、アプリケーション・プログラミング・インターフェースを用いることから成るアクションの群から選択されたアクションを実行するステップを含む、請求項1に記載の方法。
- 前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整する前記ステップは、
情報入力のために前記ユーザによって選択された前記少なくとも1つのフィールドのうちのあるフィールドを前もって示す指標を受け取るステップと、
前記ユーザがそのフィールド内に情報を入力し始める前に、そのフィールドに関する前記入力設定状態を自動的に調整するステップと
を含む、請求項1に記載の方法。 - 前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整する前記ステップは、
前記少なくとも1つのフィールドのうちのあるフィールド内で実行されている情報入力を検出するステップと、
前記ユーザによってそのフィールド内に入力された前記情報を、前記判定された初期入力インスタンスの入力設定に合致するように再フォーマットするステップと
を含む、請求項1に記載の方法。 - そのフィールドに関する前記入力設定状態を自動的に調整する前記ステップが、前記ユーザによって開始される、請求項6に記載の方法。
- ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を監視するためのコードと、
初期入力インスタンスにおいて、前記GUIの少なくとも1つのフィールド内への情報入力のために前記ユーザによって設定された、前記コンピュータ・システムの入力設定状態を判定するためのコードと、
1つ又は複数の後続の入力インスタンスにおいて、前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整するためのコードと
を含むコンピュータ・プログラム。 - 前記コンピュータ・システムの前記入力設定状態を判定するための前記コードは、前記入力設定状態を示すオペレーティング・システムの動作を追跡するためのコードを含む、請求項8に記載のコンピュータ・プログラム。
- 前記GUIを監視するための前記コードは、前記GUI上でスクリーン・スクレイピングを実行するためのコードを含む、請求項8に記載のコンピュータ・プログラム。
- 前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整するための前記コードは、キーボード・イベントを生成すること、及び、アプリケーション・プログラミング・インターフェースを用いることから成るアクションの群から選択されたアクションを実行するためのコードを含む、請求項8に記載のコンピュータ・プログラム。
- 前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整するための前記コードは、
情報入力のために前記ユーザによって選択された前記少なくとも1つのフィールドのうちのあるフィールドを前もって示す指標を受け取るためのコードと、
前記ユーザがそのフィールド内に情報を入力し始める前に、そのフィールドに関する前記入力設定状態を自動的に調整するためのコードと
を含む、請求項8に記載のコンピュータ・プログラム。 - 前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整するための前記コードは、
前記少なくとも1つのフィールドのうちのあるフィールド内で実行されている情報入力を検出するためのコードと、
前記ユーザによってそのフィールド内に入力された前記情報を、前記判定された初期の入力インスタンスの入力設定に合致するように再フォーマットするためのコードと
を含む、請求項8に記載のコンピュータ・プログラム。 - そのフィールドに関する前記入力設定状態を自動的に調整するための前記コードは、前記入力設定状態の前記自動調整のユーザによる開始のためのコードを含む、請求項13に記載のコンピュータ・プログラム。
- 入力設定を自動的に調整するためのシステムであって、
ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を監視し、
初期入力インスタンスにおいて、前記GUIの少なくとも1つのフィールド内への情報入力のために前記ユーザによって設定された、前記コンピュータ・システムの入力設定状態を判定し、
1つ又は複数の後続の入力インスタンスにおいて、前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整する
ように構成されたプロセッサを含む、システム。 - 前記プロセッサは、前記情報入力を監視するときに、前記ユーザによる情報入力を示すオペレーティング・システムの動作を追跡するように構成される、請求項15に記載のシステム。
- 前記プロセッサは、前記GUIを監視するときに、前記GUI上でスクリーン・スクレイピングを実行するように構成される、請求項15に記載のシステム。
- 前記プロセッサは、前記少なくとも1つのフィールドに関する前記入力設定状態を前記判定された初期入力インスタンスの入力設定に自動的に調整するときに、キーボード・イベントを生成すること、及び、アプリケーション・プログラミング・インターフェースを用いることから成るアクションの群から選択されたアクションを実行するように構成される、請求項15に記載のシステム。
- 前記プロセッサは、前記少なくとも1つのフィールドに関する前記入力設定状態を前記判定された初期入力インスタンスの入力設定に自動的に調整するときに、
情報入力のために前記ユーザによって選択された前記少なくとも1つのフィールドのうちのあるフィールドを前もって示す指標を受け取り、
前記ユーザがそのフィールド内に情報を入力し始める前に、そのフィールドに関する前記入力設定状態を自動的に調整するように構成される、請求項15に記載のシステム。 - 前記プロセッサは、前記少なくとも1つのフィールドに関する前記入力設定状態を前記判定された初期入力インスタンスの入力設定に自動的に調整するときに、
前記少なくとも1つのフィールドのうちのあるフィールド内で実行されている情報入力を検出し、
前記ユーザによってそのフィールド内に入力された前記情報を、前記判定された初期入力インスタンスの入力設定に合致するよう再フォーマットするように構成される、請求項15に記載のシステム。 - 前記プロセッサは、ユーザによる開始に対して、そのフィールドに関する前記入力設定状態を自動的に調整することによって応答するように構成される、請求項20に記載のシステム。
- コンピュータ・システムの入力設定を自動的に調整するための方法であって、
ユーザによるグラフィカル・ユーザ・インターフェース(GUI)内への情報入力を、スクリーン・スクレイピングを実行することによって監視するステップと、
初期入力インスタンスにおいて、前記GUIの少なくとも1つのフィールド内への情報入力のために前記ユーザによって設定された、前記コンピュータ・システムの入力設定状態を、前記入力設定状態を示すオペレーティング・システムの動作を追跡することによって判定するステップと、
1つ又は複数の後続の入力インスタンスにおいて、前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整するステップと
を含む方法。 - 前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整する前記ステップは、
情報入力のために前記ユーザによって選択された前記少なくとも1つのフィールドのうちのあるフィールドを前もって示す指標を受け取るステップと、
前記ユーザがそのフィールド内に情報を入力し始める前に、そのフィールドに関する前記入力設定状態を自動的に調整するステップと
を含む、請求項22に記載の方法。 - 前記少なくとも1つのフィールドに関する前記入力設定状態を、前記判定された初期入力インスタンスの入力設定に自動的に調整する前記ステップは、
前記少なくとも1つのフィールドのうちのあるフィールド内で実行されている情報入力を検出するステップと、
前記ユーザによってそのフィールド内に入力された前記情報を、前記判定された初期入力インスタンスの入力設定に合致するように再フォーマットするステップと
を含む、請求項22に記載の方法。 - そのフィールドに関する前記入力設定状態を自動的に調整する前記ステップが、前記ユーザによって開始される、請求項24に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/916,544 | 2010-10-31 | ||
US12/916,544 US9058105B2 (en) | 2010-10-31 | 2010-10-31 | Automated adjustment of input configuration |
PCT/EP2011/068034 WO2012055714A1 (en) | 2010-10-31 | 2011-10-14 | Automated adjustment of input configuration |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013545380A true JP2013545380A (ja) | 2013-12-19 |
Family
ID=45217486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013535354A Pending JP2013545380A (ja) | 2010-10-31 | 2011-10-14 | 入力設定の自動調整 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9058105B2 (ja) |
JP (1) | JP2013545380A (ja) |
CN (1) | CN103180815B (ja) |
DE (1) | DE112011102891T5 (ja) |
WO (1) | WO2012055714A1 (ja) |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
CN113470640B (zh) | 2013-02-07 | 2022-04-26 | 苹果公司 | 数字助理的语音触发器 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
KR20140132183A (ko) * | 2013-05-07 | 2014-11-17 | 삼성전자주식회사 | 사용자 기기에서 입력 인터페이스 표시 방법 및 장치 |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10528328B2 (en) | 2015-12-08 | 2020-01-07 | Microsoft Technology Licensing, Llc | Learning from input patterns in Programing-By-Example |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
US10175770B2 (en) | 2016-10-13 | 2019-01-08 | International Business Machines Corporation | Proactive input method editor switching |
US11095733B2 (en) * | 2017-05-10 | 2021-08-17 | Embee Mobile, Inc. | System and method for the capture of mobile behavior, usage, or content exposure based on changes in UI layout |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
CN113711577A (zh) | 2019-04-30 | 2021-11-26 | 爱克发有限公司 | 光栅图像处理器 |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11183193B1 (en) | 2020-05-11 | 2021-11-23 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07168829A (ja) * | 1994-09-30 | 1995-07-04 | Hitachi Ltd | 文書作成方法 |
JPH10187325A (ja) * | 1996-12-25 | 1998-07-14 | Casio Comput Co Ltd | データ入力装置 |
JP2010502109A (ja) * | 2006-08-22 | 2010-01-21 | インターデイジタル テクノロジー コーポレーション | アプリケーションおよびインターネットベースのサービスに対する信頼されるシングル・サインオン・アクセスを提供するための方法および装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5523754A (en) | 1993-09-20 | 1996-06-04 | International Business Machines Corporation | Method and apparatus for automatic keyboard configuration by layout |
US5912669A (en) * | 1996-04-29 | 1999-06-15 | Netmanage, Inc. | Screen navigation method |
US6848080B1 (en) * | 1999-11-05 | 2005-01-25 | Microsoft Corporation | Language input architecture for converting one text form to another text form with tolerance to spelling, typographical, and conversion errors |
US7403888B1 (en) * | 1999-11-05 | 2008-07-22 | Microsoft Corporation | Language input user interface |
US7392326B2 (en) * | 2001-02-16 | 2008-06-24 | Microsoft Corporation | Method for text entry in an electronic device |
US7168046B2 (en) * | 2001-04-26 | 2007-01-23 | Lg Electronics Inc. | Method and apparatus for assisting data input to a portable information terminal |
US20030125927A1 (en) * | 2001-12-28 | 2003-07-03 | Microsoft Corporation | Method and system for translating instant messages |
KR100634496B1 (ko) * | 2003-06-16 | 2006-10-13 | 삼성전자주식회사 | 입력언어모드 인식방법 및 장치와 이를 이용한 입력언어모드 자동전환방법 및 장치 |
US9135021B2 (en) * | 2003-06-30 | 2015-09-15 | International Business Machines Corporation | Method and system for input and output of data with non-standard I/O devices for web applications |
US20070073517A1 (en) * | 2003-10-30 | 2007-03-29 | Koninklijke Philips Electronics N.V. | Method of predicting input |
US7607086B2 (en) | 2003-11-18 | 2009-10-20 | Microsoft Corporation | System and method for pre-processing input events |
EP1727024A1 (en) * | 2005-05-27 | 2006-11-29 | Sony Ericsson Mobile Communications AB | Automatic language selection for text input in messaging context |
US8732570B2 (en) * | 2005-09-08 | 2014-05-20 | Ricoh Co. Ltd. | Non-symbolic data system for the automated completion of forms |
US20070061718A1 (en) * | 2005-09-13 | 2007-03-15 | Nokia Corporation | Method for selecting character interpretation mode |
US7962857B2 (en) * | 2005-10-14 | 2011-06-14 | Research In Motion Limited | Automatic language selection for improving text accuracy |
US7849144B2 (en) * | 2006-01-13 | 2010-12-07 | Cisco Technology, Inc. | Server-initiated language translation of an instant message based on identifying language attributes of sending and receiving users |
US20080001959A1 (en) | 2006-06-28 | 2008-01-03 | Amir Geva | System, Method and Computer Program Product for Performing Information Transfer Using a Virtual Operator |
EP1901534B1 (en) * | 2006-09-18 | 2010-09-01 | LG Electronics Inc. | Method of managing a language information for a text input and method of inputting a text and a mobile terminal |
GB0714394D0 (en) * | 2007-07-24 | 2007-09-05 | Keycorp Ltd | Graphic user interface parsing |
US8667412B2 (en) * | 2007-09-06 | 2014-03-04 | Google Inc. | Dynamic virtual input device configuration |
US20090241027A1 (en) * | 2008-03-18 | 2009-09-24 | Dapeng Gao | Handheld electronic device and associated method for improving typing efficiency on the device |
US8323503B2 (en) | 2008-06-11 | 2012-12-04 | Fresenius Medical Care Holdings, Inc. | User interface processing device |
US20120226490A1 (en) * | 2009-07-09 | 2012-09-06 | Eliyahu Mashiah | Content sensitive system and method for automatic input language selection |
CN101639760A (zh) * | 2009-08-27 | 2010-02-03 | 上海合合信息科技发展有限公司 | 联系信息输入方法及系统 |
US8326333B2 (en) * | 2009-11-11 | 2012-12-04 | Sony Ericsson Mobile Communications Ab | Electronic device and method of controlling the electronic device |
US8463592B2 (en) * | 2010-07-27 | 2013-06-11 | International Business Machines Corporation | Mode supporting multiple language input for entering text |
-
2010
- 2010-10-31 US US12/916,544 patent/US9058105B2/en active Active
-
2011
- 2011-10-14 WO PCT/EP2011/068034 patent/WO2012055714A1/en active Application Filing
- 2011-10-14 CN CN201180052191.0A patent/CN103180815B/zh active Active
- 2011-10-14 DE DE112011102891T patent/DE112011102891T5/de active Pending
- 2011-10-14 JP JP2013535354A patent/JP2013545380A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07168829A (ja) * | 1994-09-30 | 1995-07-04 | Hitachi Ltd | 文書作成方法 |
JPH10187325A (ja) * | 1996-12-25 | 1998-07-14 | Casio Comput Co Ltd | データ入力装置 |
JP2010502109A (ja) * | 2006-08-22 | 2010-01-21 | インターデイジタル テクノロジー コーポレーション | アプリケーションおよびインターネットベースのサービスに対する信頼されるシングル・サインオン・アクセスを提供するための方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103180815B (zh) | 2016-08-17 |
US9058105B2 (en) | 2015-06-16 |
US20120110459A1 (en) | 2012-05-03 |
DE112011102891T5 (de) | 2013-06-06 |
CN103180815A (zh) | 2013-06-26 |
WO2012055714A1 (en) | 2012-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9058105B2 (en) | Automated adjustment of input configuration | |
US9703462B2 (en) | Display-independent recognition of graphical user interface control | |
TWI564757B (zh) | 具有觸控螢幕的電腦裝置與其操作方法及電腦可讀媒體 | |
US9152529B2 (en) | Systems and methods for dynamically altering a user interface based on user interface actions | |
EP2686755B1 (en) | Input device enhanced interface | |
US9098313B2 (en) | Recording display-independent computerized guidance | |
US9519570B2 (en) | Progressive snapshots in automated software testing | |
US20160350137A1 (en) | Guide file creation program | |
WO2016095689A1 (zh) | 基于终端界面多次触控操作进行识别搜索的方法及系统 | |
JP2012037979A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
US9405558B2 (en) | Display-independent computerized guidance | |
US20160124931A1 (en) | Input of electronic form data | |
CN106201177A (zh) | 一种操作执行方法及移动终端 | |
US20120110451A1 (en) | Providing help information | |
JP2011081778A (ja) | ディスプレイ非依存のコンピュータによるガイダンス方法および装置 | |
WO2015043352A1 (en) | Method and apparatus for selecting test nodes on webpages | |
US10795569B2 (en) | Touchscreen device | |
US9753638B2 (en) | Method and apparatus for entering symbols from a touch-sensitive screen | |
JP2015011370A (ja) | 情報処理装置、gui操作支援方法、及びプログラム | |
CN105700813A (zh) | 一种信息处理方法及终端 | |
US11822762B2 (en) | Input display system, auxiliary information display method and program | |
US11789581B2 (en) | Input display system, auxiliary information display method and program | |
US11656885B1 (en) | Interface interaction system | |
JP2015162043A (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
JP6089973B2 (ja) | 端末装置、画面制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160105 |