JP2011197782A - Candidate display device and candidate display method - Google Patents
Candidate display device and candidate display method Download PDFInfo
- Publication number
- JP2011197782A JP2011197782A JP2010061158A JP2010061158A JP2011197782A JP 2011197782 A JP2011197782 A JP 2011197782A JP 2010061158 A JP2010061158 A JP 2010061158A JP 2010061158 A JP2010061158 A JP 2010061158A JP 2011197782 A JP2011197782 A JP 2011197782A
- Authority
- JP
- Japan
- Prior art keywords
- display
- candidate
- input operation
- input
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、候補の表示を行うための候補表示装置および候補表示方法に関する。 The present invention relates to a candidate display device and a candidate display method for displaying candidates.
タッチパネルの普及に伴い、ディスプレイ装置にタッチパネルを採用したコンピュータ装置、PDA(Personal Digital Assistance)または携帯電話等が、数多く製品化されてきている。タッチパネルの採用により、様々なアプリケーションの利用時において、入力等の操作性を高めることができる。また、タッチパネルにおけるタッチ対象ボタンの表示位置をユーザに応じて変更することにより、操作性をより高めることができる。 Along with the widespread use of touch panels, many computer devices, PDAs (Personal Digital Assistance), mobile phones, and the like that employ a touch panel as a display device have been commercialized. Adoption of the touch panel can improve operability such as input when using various applications. Further, operability can be further improved by changing the display position of the touch target button on the touch panel according to the user.
例えば、タッチパネルを有する表示装置に表示されているメニュー画面等の初期画面へ、操作者が最初にタッチを行った場合のタッチ分布等に基づき操作者の利き手を判定し、判定した利き手に応じて次回以降の操作画面を変更する技術が知られている(例えば、特許文献1参照。)。また、キーボードのキーが左手で打鍵されたか右手で打鍵されたかを検出する技術が知られている(例えば、特許文献2参照。)。さらに、キーボードの使用形態が、ユーザが両手を用いてキー入力可能な第1の使用モード、又は、ユーザが一方の手でマウスを使用し他方の手のみを用いてキー入力可能な第2の使用モードのうちいずれであるかを検出する技術が知られている(例えば、特許文献3参照。)。 For example, the operator's dominant hand is determined based on the touch distribution when the operator first touches an initial screen such as a menu screen displayed on a display device having a touch panel, and the determined dominant hand A technique for changing the operation screen after the next time is known (for example, see Patent Document 1). Further, a technique for detecting whether a keyboard key is pressed with the left hand or the right hand is known (see, for example, Patent Document 2). Furthermore, the usage mode of the keyboard is a first usage mode in which the user can input keys using both hands, or a second mode in which the user can use the mouse with one hand and input keys only with the other hand. A technique for detecting which mode is in use is known (for example, see Patent Document 3).
例えば、コンピュータ装置のディスプレイ装置としてタッチパネルを採用することにより、従来のキーボードによる入力と、タッチパネルによる入力とが可能となる。この場合の入力形態について、かな漢字変換アプリケーションを例に挙げて説明する。図1は、コンピュータ装置10上において、タッチパネルとキーボードとを用いてかな漢字変換処理を行う場合の一例を示す模式図である。
For example, by using a touch panel as a display device of a computer device, it is possible to perform input using a conventional keyboard and input using a touch panel. The input form in this case will be described by taking a kana-kanji conversion application as an example. FIG. 1 is a schematic diagram illustrating an example of a case where kana-kanji conversion processing is performed on a
まず、ユーザは、右手11または左手12を用いて、キーボード13上の所望の文字キーをキー入力する。例えば、いわゆるローマ字入力方式で「ふじ」を入力する場合、「F」、「U」、「J」、「I」の各文字キーを押下する。この場合、ユーザのキー入力に従い、エディタ画面16には、かな文字「ふじ」が表示される。コンピュータ装置10は、キー入力された文字列「ふじ」に基づいて予測変換を行い、1または複数の変換候補を、優先順位の高い順にタッチパネル14上に表示させる。図1においては、文字列「ふじ」に対する変換候補として、「富士」、「富士山」および「富士登山」の各変換候補が優先順位の高い順に表示される。
First, the user inputs a desired character key on the
ユーザは、タッチパネル上において目的とする変換候補を発見すると、その変換候補(例えば、変換候補15。)が表示されているタッチパネルの表面部分を、左手12(または左手)を用いてタッチ(接触)選択する。コンピュータ装置10は、ユーザがタッチ選択したタッチパネル14上の座標位置に基づいて、何れの変換候補が選択されたのかを認識し、この認識した変換候補を、入力された文字(例えば、「ふじ」。)に対する変換文字列(例えば、「富士」。)として決定する。
When the user finds a target conversion candidate on the touch panel, the surface portion of the touch panel on which the conversion candidate (for example, conversion candidate 15) is displayed is touched (contacted) with the left hand 12 (or left hand). select. The
このように、キーボード13とタッチパネル14という2つの入力装置を連携させて文字入力を行うコンピュータ装置10においては、タッチパネルによる入力は、従来、キーボード13による入力のみで行っていた文字入力操作(例えば、入力〜変換〜確定等。)を補助するものといえる。また、上記コンピュータ装置10においては、キーボード13は文字入力機能に特化しており、タッチパネル14は変換候補の選択機能に特化している。つまり、上記コンピュータ装置10では、入力操作を行うキーボード13と、選択操作を行うタッチパネル14とという2つの装置に各機能を分離することで、個々の装置に対する操作を単純化して、ユーザの操作性の向上を図ることが可能となる。
As described above, in the
仮に、上述した、キーボード13とタッチパネル14という2つの入力装置を連携させて文字入力を行うコンピュータ装置10に対して、操作者の利き手(例えば、図1の11または12。)を判定して利き手に応じた操作画面に変更して表示する技術を適用した場合、例えば、過去のタッチパネル14の利用状況から利き手を判定し、判定した利き手に応じた位置に変換候補15を表示させることができる。
For example, the dominant hand of the operator (for example, 11 or 12 in FIG. 1) is determined for the
また、仮に、上述した、キーボード13とタッチパネル14という2つの入力装置を連携させて文字入力を行うコンピュータ装置10に対して、キーボードのキーが左手12で打鍵されたか右手11で打鍵されたかを検出する技術を適用した場合、例えば、キーボードを打鍵した手がいずれであるかを判定し、判定した手に応じた位置に変換候補を表示させることができる。
Also, it is detected whether the keyboard key is pressed with the
さらに、仮に、上述した、キーボード13とタッチパネル14という2つの入力装置を連携させて文字入力を行うコンピュータ装置10に対して、両手を用いてキー入力可能な第1の使用モードか一方の手でマウスを使用し他方の手のみを用いてキー入力可能な第2の使用モードかを検出する技術を適用した場合、例えば、キー入力可能な手が、両手(例えば、図1の11および12。)であるか片手(例えば、図1の11または12。)であるかを判定し、キー入力可能な手に応じた位置に変換候補を表示させることができる。
Furthermore, suppose that the first use mode in which key input can be performed using both hands with respect to the
しかしながら、キーボード13とタッチパネル14という2つの入力装置を連携させて文字入力を行う場合において、利き手がいずれであるか、打鍵した手がいずれであるか、または、片手か両手か等に基づいて変換候補の表示位置を決定するだけでは、変換候補の表示選択にかかる操作性を十分に高めることはできない。
However, when character input is performed by linking two input devices such as the
なぜなら、ユーザが、タッチパネルに対して左右の手を割り当てるやり方(例えば、癖等。)は、ユーザの能力(例えば、ユーザの手の運動性能、ユーザの視野角またはユーザの注意力等。)やユーザの嗜好性等によって異なってくるからである。つまり、上記のような装置では、ユーザの能力や嗜好性等の操作状況に適した態様で候補を表示することができないため、候補選択時におけるユーザの利便性を向上させることができない、という問題がある。このような問題は、特に、高齢者や障害者において顕著となり得る。 This is because the way in which the user assigns left and right hands to the touch panel (for example, heel etc.) depends on the user's ability (for example, user's hand movement performance, user's viewing angle or user's attention). This is because it varies depending on the user's preference and the like. In other words, the above-described apparatus cannot display candidates in a mode suitable for the operation situation such as the user's ability and preference, and therefore cannot improve the user's convenience when selecting candidates. There is. Such a problem can be particularly noticeable in the elderly and disabled.
本発明は、上記のような点に鑑みてなされたものであり、ユーザの操作状況に適した態様で候補を表示して、候補選択時におけるユーザの利便性を向上させることのできる候補表示装置および候補表示方法を提供することを目的とする。 The present invention has been made in view of the above points, and a candidate display device capable of displaying a candidate in a mode suitable for the user's operation situation and improving the convenience of the user at the time of candidate selection. And it aims at providing a candidate display method.
上記の目的を達成するために、以下に開示する候補表示装置は、入力装置に対するユーザの入力操作を受け付ける入力操作受付部と、表示選択装置に対してユーザがタッチ選択可能なように候補を表示させ、前記表示選択装置に表示させた候補についてユーザからのタッチ選択を受け付けるタッチ選択制御部と、前記入力操作受付部において受け付けたユーザからの入力操作に基づいて決定された少なくとも1つの候補を取得する候補取得部と、前記入力装置において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する入力操作状況取得部と、前記入力操作状況に基づいて、前記表示選択装置に表示させる候補の表示位置を決定する表示位置決定部とを備える。 In order to achieve the above object, a candidate display device disclosed below displays an input operation reception unit that receives a user's input operation on the input device, and displays a candidate so that the user can select a touch on the display selection device And acquiring at least one candidate determined based on the input operation from the user received in the input operation receiving unit, and a touch selection control unit that receives touch selection from the user for the candidates displayed on the display selection device A candidate acquisition unit that performs an input operation status acquisition unit that acquires information regarding a position of the last input operation performed on the input device, and a display on the display selection device based on the input operation status. A display position determination unit that determines a display position of a candidate to be displayed.
本願明細書の開示によれば、ユーザの操作状況に適した態様で候補を表示して、候補選択時におけるユーザの利便性を向上させることが可能となる。 According to the disclosure of the present specification, it is possible to improve the convenience of the user when selecting candidates by displaying candidates in a mode suitable for the user's operation status.
以下においては、本発明の実施形態について図面を用いて具体的に説明する。 Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings.
[1.第1の実施形態]
以下、本実施形態にかかる候補表示装置を、いわゆるノート型のコンピュータ装置を用いて構成する場合の例について説明する。なお、本実施形態にかかる候補表示装置を、例えば携帯電話またはPDA(Personal Digital Assistance)等の装置を用いて構成してもよい。
[1. First Embodiment]
Hereinafter, an example in which the candidate display device according to the present embodiment is configured using a so-called notebook computer device will be described. In addition, you may comprise the candidate display apparatus concerning this embodiment, for example using apparatuses, such as a mobile telephone or PDA (Personal Digital Assistance).
[1−1.システム構成]
図2は、本実施形態にかかる候補表示装置における各機能部の関係の一例を示す図である。本実施形態にかかる候補表示装置1は、一例として、かな漢字変換処理を行うかな漢字変換プログラムと連携して機能する。図2に示す候補表示装置1は、入力操作受付部201、入力操作状況取得部202、表示位置決定部203、タッチ選択制御部204、候補決定部205、候補予測部206、候補取得部207、入力操作方向判定部210、入力操作方向取得部211、タッチ選択方向取得部212および、タッチ選択方向判定部213を備える。
[1-1. System configuration]
FIG. 2 is a diagram illustrating an example of the relationship between the functional units in the candidate display device according to the present embodiment. As an example, the
入力操作受付部201は、入力装置であるキーボード305に対するユーザの入力操作を受け付ける。タッチ選択制御部204は、表示選択装置であるタッチパネル付きディスプレイ301に対してユーザがタッチ選択可能なように候補を表示させ、タッチパネル付きディスプレイ301(前記表示選択装置)に表示させた候補についてユーザからのタッチ選択を受け付ける。
The input
候補予測部206は、入力操作受付部201において受け付けたユーザからの入力操作に基づいて、変換対象となり得る1または複数の候補を予測する。候補取得部207は、入力操作受付部201において受け付けたユーザからの入力操作に基づいて決定された、少なくとも1つの候補を取得する。
The
入力操作状況取得部202は、入力装置であるキーボード305において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する。入力操作方向取得部211は、キーボード305(入力装置)に対して、ユーザがいずれの方向から入力操作を行うかを示す入力操作方向を取得する。タッチ選択方向取得部212は、タッチパネル付きディスプレイ301(表示選択装置)に対して、ユーザがいずれの方向からタッチ選択を行うかを示すタッチ選択方向を取得する。
The input operation
入力操作方向判定部210は、キーボード305(入力装置)に配置された、2以上の入力操作についての入力時間間隔に基づいて、入力操作方向を判定する。タッチ選択方向判定部213は、ユーザがタッチ選択を行う際における、タッチパネル付きディスプレイ301(表示選択装置)に対する垂直進入方向に基づいて、タッチ選択方向を判定する。
The input operation
表示位置決定部203は、入力操作状況に基づいて、タッチパネル付きディスプレイ301(表示選択装置)に表示させる候補の表示位置を決定する。
The display
このように、入力操作受付部201において、入力装置に対するユーザからの入力操作を受け付け、候補取得部207において、入力操作受付部201において受け付けたユーザからの入力操作に基づいて決定された少なくとも1つの候補を取得し、入力操作状況取得部202において、入力操作受付部201において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得し、表示位置決定部203において、入力操作状況に基づいて、表示選択装置に表示させる候補の表示位置を決定することにより、ユーザの操作状況に適した態様で候補を表示して、候補選択時におけるユーザの利便性を向上させることのできる候補表示装置の提供が可能となる。
As described above, the input
なお、図2の候補表示装置1において示した各機能部は、プログラムによって実現されるCPUの機能を含む概念である。ここで、プログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
Note that each functional unit shown in the
[1−2.ハードウェア構成]
図3は、図2に示した候補表示装置1を、CPUを用いて実現したハードウェア構成の例を示す図である。上記候補表示装置1は、タッチパネル付きディスプレイ301、CPU302、メモリ303、ハードディスク304およびキーボード305を少なくとも備える。ハードディスク304には、OS(オペレーティング・システム、図示せず。)の他、候補表示プログラム304aおよび、かな漢字変換処理プログラム304b等が記録される。CPU302は、OSおよび候補表示プログラム304aおよび、かな漢字変換処理プログラム304b等に基づく処理を実行する。
[1-2. Hardware configuration]
FIG. 3 is a diagram illustrating an example of a hardware configuration in which the
図2に示した候補表示装置1を構成する、入力操作受付部201、タッチ選択制御部204、入力操作状況取得部202、表示位置決定部203、候補決定部205、候補取得部207、入力操作方向判定部210、入力操作方向取得部211、タッチ選択方向取得部212および、タッチ選択方向判定部213は、一例として、CPU302上において、候補表示プログラム304aを実行することによって実現される。また、候補予測部206は、一例として、CPU302上において、かな漢字変換処理プログラム304bを実行することによって実現される。
The input
[1−3.候補表示処理]
上述の図2および図3に加え、図4〜図10Cを用いて、上記候補表示装置1における候補表示プログラム304aの処理内容を説明する。なお、候補表示装置1には、候補表示プログラム304aおよび、かな漢字変換処理プログラム304bがインストールされているものとする。
[1-3. Candidate display processing]
The processing contents of the candidate display program 304a in the
上記処理の概要を説明すると、CPU302は、候補表示プログラム304aおよび、かな漢字変換処理プログラム304bを実行することによって、ユーザがキーボード305を用いてキー入力した文字列に基づくかな漢字変換候補を、タッチパネル付きディスプレイ301(以下、ディスプレイ301とする。)に表示させ、ディスプレイ301上においてユーザがタッチ選択したかな漢字変換候補を、キー入力した文字列に対する変換対象として決定する。
The outline of the above processing will be described. The
図4は、候補表示装置1のCPU302で実行される候補表示プログラム304aおよび、かな漢字変換処理プログラム304bに基づく候補表示処理のオペレーションチャートの一例を示す図である。図5は、ディスプレイ301に表示される画面の一例を示す図である。
FIG. 4 is a diagram illustrating an example of an operation chart of candidate display processing based on the candidate display program 304a executed by the
[1−3−1.候補取得処理]
図4のオペレーションチャートにおいて、CPU302は、キー入力がされたか否かを判断する(Op401)。例えば、Op401におけるキー入力の有無の判断は、キーボード305からの出力信号に基づいて行う。この場合、図5に示すように、ユーザは、エディタの入力領域51内に、かな漢字変換処理の変換前文字列として「ふじ」を入力する。
[1-3-1. Candidate acquisition processing]
In the operation chart of FIG. 4, the
CPU302は、キー入力がされたと判断すると(Op401、Yes)、いずれの入力キーを押下してキー入力されたかについての情報を記録する(Op402)。例えば、キーボードのドライバ情報等に基づいてキーの配列情報(例えば、JIS配列等。)を取得し、配列情報に基づく入力キーに関する情報(例えば、キーの位置情報等。)をメモリ303上に記録する。
When the
CPU302は、入力キーを記録した後、入力文字列に基づいて候補を予測する(Op403)。例えば、Op403の処理は、かな漢字変換処理プログラム304bによって実行される。具体的には、過去の変換履歴等に基づいて、入力文字列から予測可能な変換候補を抽出する処理を行う。
After recording the input key, the
CPU302は、候補が存在すると判断すると(Op404、Yes)、予測可能な変換候補の情報を取得する(Op405)。この場合、変換候補が複数個あれば、変換候補の表示の優先順位とともに変換候補の情報を取得する。なお、この優先順位は、例えば、過去の変換回数に基づいて決定される。
When the
CPU302は、ユーザが最後にキー入力を行った入力キーに関する情報を取得する(Op406)。例えば、最後にキー入力を行った入力キーに関する情報は、Op402において、直前にメモリ303上に記録した入力キーの情報から取得可能である。例えば、かな文字「ふじ」が、いわゆるローマ字入力方式により入力されていた場合、「F」、「U」、「J」、「I」の順にキー入力が行われるため、直前に記録した入力キーは「I」である。したがって、この場合、最後にキー入力を行った入力キーに関する情報として、「I」が取得される。
CPU302 acquires the information regarding the input key which the user performed the key input last (Op406). For example, the information regarding the input key that has performed the last key input can be acquired from the information of the input key recorded in the
CPU302は、キーボード305に対して、ユーザがいずれの方向から入力操作を行うかを示す入力操作方向を取得する(Op407)。ここで、入力操作方向とは、キーボードを用いて入力を行う場合に、左手、右手または両手のいずれを使って入力を行うかを示すものである。
The
入力操作方向の取得は、例えば、キー入力方向判定処理を介して取得することができる(Op414)。なお、Op414のキー入力方向判定処理は、キー入力の都度実行してもよいし、任意のタイミングで実行してもよい。 The input operation direction can be acquired through, for example, a key input direction determination process (Op 414). Note that the key input direction determination processing in Op 414 may be executed each time a key is input, or may be executed at an arbitrary timing.
[1−3−2.キー入力方向判定処理]
図6は、Op414のキー入力方向判定処理のオペレーションチャートの一例を示す図である。この処理において、CPU302は、まず、左右領域をまたがる連続キー入力の入力速度データAを収集する(Op601)。例えば、左右領域は、JIS配列キーボードの場合、「T」と「Y」、「G」と「H」、「B」と「N」の各キーの間を境界として、キーボード上の各キーを左右に分離することによって決定する。例えば、Op402においてメモリ303に記録したキー入力情報を参照し、左右領域を超えて連続して入力された2つの入力キーの組合せを少なくとも1組抽出し、各キーの入力時刻と距離との関係に基づいて、1または複数の入力速度データAを算出する。例えば、入力速度データAは、キーボード305上における2つの入力キー間の距離を、2つの入力キーの入力時間間隔で除算することにより算出される。
[1-3-2. Key input direction determination process]
FIG. 6 is a diagram illustrating an example of an operation chart of the key input direction determination process of Op414. In this process, the
次に、CPU302は、左右領域をまたがらない連続キー入力の入力速度データBを収集する(Op602)。例えば、右側領域のみまたは左側領域のみにおいて、連続して入力された2つの入力キーの組合せを少なくとも1組抽出し、各キーの入力時刻と距離との関係に基づいて、1または複数の入力速度データBを算出する。例えば、入力速度データBは、入力速度データAと同様に、キーボード305上における2つの入力キー間の距離を、2つの入力キーの入力時間間隔で除算することにより算出される。
Next, the
CPU302は、入力速度データAの平均値が、入力速度データBの平均値よりも高いか否かを判断する(Op603)。CPU302は、入力速度データAの平均値が、入力速度データBの平均値よりも高いと判断する場合には(Op603、Yes)、両手操作と判定する(Op604)。
The
一方、CPU302は、入力速度データAの平均値が、入力速度データBの平均値よりも高いと判断しない場合には(Op603、No)、さらに、右側領域内と左側領域内の連続キー入力の速度データ群の平均値が、有意に差があるか否かを判断する(Op605)。例えば、有意の判断には、分散分析を用いてデータの平均値に有意差が存在するか否かを検定すればよい。そして、CPU302は、左側領域の入力速度データAまたはBの平均値が有意に高い場合には、左手片手操作と判定する(Op606)。反対に、右側領域の入力速度データAまたはBの平均値が有意に高い場合には、右手片手操作と判定する(Op608)。さらに、左側領域および右側領域の入力速度データAまたはBの平均値に差がない場合には、両手操作と判定する(Op607)。
On the other hand, when the
上記のように判断する理由は、例えば、右手を用いて、左側領域において連続する2つのキー入力を行うためには、右手によるキー間移動において指や腕を伸ばす動作に時間がかかると考えられるからである。 The reason for determining as described above is that, for example, in order to perform two consecutive key inputs in the left region using the right hand, it takes time to extend a finger or an arm during movement between keys with the right hand. Because.
一般的には、平面上に前腕をおき肘を90°に屈曲させた状態を基準とする場合において、上腕長軸における回旋角度が大きくなるほど(例えば、右手がキーボードの左側に移動するほど)、対象を認知する時間がかかり、対象の触知が困難になり、作業遂行の主観的な困難度が上がることが知られている。このことから、例えば、右手が左側にいくほどキーボードの操作に対する主観的困難度、対象の触知困難性または不正確さが増大し、動作に時間がかかると考えられる。 In general, in the case where the forearm is placed on a plane and the elbow is bent at 90 ° as a reference, the rotation angle in the upper arm long axis becomes larger (for example, the right hand moves to the left side of the keyboard), It is known that it takes time to recognize the object, making it difficult to touch the object, and increasing the subjective difficulty of performing the work. From this, for example, as the right hand moves to the left side, the subjective difficulty level for the keyboard operation, the tactile difficulty or inaccuracy of the target increases, and it is considered that the operation takes time.
このため、右側領域において連続する2つのキー入力を行う場合は、上記動作に時間を要せず左側領域に比べて入力速度が有意に速くなると考えられる。 For this reason, when two consecutive key inputs are performed in the right region, it is considered that the above operation does not take time and the input speed is significantly faster than that in the left region.
なお、キーボードの中央付近においては、左右の手を使用することもあり得るので、キーボードの中央付近の所定キーの重み付けを軽くして、上記平均値を算出するようにしてもよい。これにより、操作手の判定精度を向上させることができる。 Since the left and right hands may be used near the center of the keyboard, the average value may be calculated by reducing the weight of a predetermined key near the center of the keyboard. Thereby, the determination accuracy of the operator can be improved.
上記Op414においては、同一のユーザによってある程度入力操作が行われた後でなければ適切な判定処理を行うことができない。このため、メモリ303に入力キーの操作履歴が十分に記録されていない場合には、デフォルト値として「両手操作」と判定してもよい。
In Op 414, appropriate determination processing can be performed only after some input operation is performed by the same user. Therefore, when the operation history of the input key is not sufficiently recorded in the
また、ユーザからの自己申告に基づいて、右手操作、左手操作または両手操作を決定してもよい。例えば、コンピュータ装置の使用開始時等において、操作手の設定登録画面を表示して、ユーザが選択動作を行うようにしてもよい。 Moreover, you may determine right hand operation, left hand operation, or both-hands operation based on the self-report from a user. For example, at the start of use of the computer device, the operator's setting registration screen may be displayed, and the user may perform the selection operation.
さらに、他の判定方法に基づいて、右手操作、左手操作または両手操作を決定してもよい。例えば、カメラ装置やセンサ等を用いて、ユーザのキー入力が右手操作、左手操作または両手操作のいずれで行われているかを判定するようにしてもよい。 Furthermore, a right hand operation, a left hand operation, or a two-hand operation may be determined based on another determination method. For example, it may be determined using a right hand operation, a left hand operation, or a two-hand operation using a camera device, a sensor, or the like.
[1−3−3.タッチ選択方向判定処理]
図4の処理に戻ると、CPU302は、ディスプレイ301に対して、ユーザがいずれの方向からタッチ選択を行うかを示すタッチ選択方向を取得する(Op408)。ここで、タッチ選択方向とは、ディスプレイ301にタッチ選択を行う場合に、左手、右手または両手のいずれを使って選択を行うかを示すものである。
[1-3-3. Touch selection direction determination process]
Returning to the processing of FIG. 4, the
タッチ選択方向の取得は、例えば、タッチ選択方向判定処理を介して取得することができる(Op415)。なお、タッチ選択方向判定処理は、タッチ選択の都度実行してもよいし、任意のタイミングで実行してもよい。なお、上記Op415においては、同一のユーザによってある程度タッチ選択が行われた後でなければ適切な判定処理を行うことができない。このため、メモリ303にタッチ選択の操作履歴が十分に記録されていない場合には、デフォルト値として「両手操作」と判定してもよい。
Acquisition of a touch selection direction can be acquired through a touch selection direction determination process, for example (Op415). The touch selection direction determination process may be executed every time touch is selected, or may be executed at an arbitrary timing. In Op 415, appropriate determination processing can be performed only after touch selection is performed to some extent by the same user. For this reason, when the operation history of touch selection is not sufficiently recorded in the
図7は、タッチ選択方向判定処理のオペレーションチャートの一例を示す図である。この処理において、CPU302は、まず、手の進入データ(三次元データ(XYZ)群)と最終侵入位置(XY)のペアを収集する(Op701)。例えば、手の進入データの取得には、画面法線方向のセンシングが可能な静電容量方式のタッチパネルを用いればよい。
FIG. 7 is a diagram illustrating an example of an operation chart of the touch selection direction determination process. In this process, the
次に、CPU302は、手の進入ベクトルを計算し、常に垂直傾向の強い進入位置(垂直侵入位置)を算出する(Op702)。例えば、垂直傾向が強ければ、その進入位置の正面に位置する側の手を用いてタッチしていると考えられるからである。
Next, the
CPU302は、垂直進入位置は一箇所か否かを判断する(Op703)。例えば、垂直進入位置が二カ所以上であれば両手を使ってタッチ選択を行っていると考えられるからである。よって、CPU302は、垂直進入位置が一箇所でないと判断した場合(Op703、No)、両手操作と判定する(Op704)。
The
CPU302は、垂直進入位置が一箇所であると判断した場合(Op703、Yes)、三次元データから、手が、奥行き(Z)一定の閾値内で横に平行移動をしているときのデータを抽出し、その横方向平均移動速度を、横方向座標に紐つけて収集する。この後、CPU302は、垂直進入位置の右領域と左領域で平均進入ベクトルの左右傾き度合いはどちらが強いかを判断する(Op706)。
When the
CPU302は、上記平均進入ベクトルが、ディスプレイ301から見て、ほとんど右側に傾いていると判断する場合には、左手片手操作と判定する(Op707)。一方、CPU302は、上記平均進入ベクトルが、ディスプレイ301から見て、ほとんど左側に傾いていると判断する場合には、右手片手操作と判定する(Op709)。他方、CPU302は、上記平均進入ベクトルが、ディスプレイ301から見て、左右の傾きに差がないと判断する場合には、両手操作と判定する(Op708)。
If the
[1−3−4.Op410の候補表示位置算出処理]
図4の処理に戻ると、CPU302は、入力操作方向とタッチ選択方向とが共通するか否かを判断する(Op409)。例えば、入力操作方向を示す手が「右手」かつタッチ選択方向を示す手が「右手」であれば、入力操作方向とタッチ選択方向とが「右手」で共通する。また、入力操作方向を示す手が「左手」かつタッチ選択方向を示す手が「左手」であれば、入力操作方向とタッチ選択方向とが「左手」で共通する。
[1-3-4. Op410 Candidate Display Position Calculation Process]
Returning to the processing of FIG. 4, the
CPU302は、入力操作方向とタッチ選択方向とが共通する場合(Op409、Yes)、最後の入力キーの位置からタッチパネル上の候補表示位置を算出する(Op410)。この場合、優先順位の最も高い変換候補(Op405で取得済み。)を、キーボード305上における最後の入力キー(Op406で取得済み。)から、ディスプレイ301までの距離が他の変換候補よりも近くなる位置に表示するように各候補表示位置を算出する。これにより、キーボード305とディスプレイ301との連携操作を行う手の移動距離を比較的小さくすることができる。このため、ユーザの手の疲労を発生し難くすることができる。
When the input operation direction and the touch selection direction are common (Op409, Yes), the
以下、Op410において候補の表示位置を算出する処理について具体的に説明する。図8は、X−Y−Z軸による三次元座標空間上において、キーボード305上の最後の入力キーの位置P1からディスプレイ301上の候補表示位置P2との距離Lを示す模式図である。図9Aは、ディスプレイ301のX0−Y0軸の座標平面において、左上角を原点(0,0)として候補表示位置P2(x,y)を定義した場合の模式図である。図9Bは、ディスプレイ301のX0−Y1軸の座標平面において、右下角を原点(0,0)として候補表示位置P2(x,h−y)を定義した場合の模式図である。ここで、hはディスプレイ301のY0軸またはY1軸方向における長さである。
Hereinafter, the process of calculating the candidate display position in Op 410 will be described in detail. FIG. 8 is a schematic diagram showing a distance L between the position P1 of the last input key on the
図9Cは、キーボード305のA−B軸の座標平面において、右上角を原点(0,0)として候補表示位置P1(a,b)を定義した場合の模式図である。ここで、dはキーボード305のB軸方向における長さである。図9Cに示す座標系上(A−B軸の座標平面)のP1を、図8に示す座標系上(X−Y−Z軸による三次元座標空間)において表すと以下のようになる。
FIG. 9C is a schematic diagram when the candidate display position P1 (a, b) is defined with the upper right corner as the origin (0, 0) on the coordinate plane of the A-B axis of the
図9Dは、キーボード305とディスプレイ301との関係を示す模式図である。ここで、θは、コンピュータ装置10におけるディスプレイ301の開き角度であって、この角度は、X−Y平面に該当するキーボード305とディスプレイ301との関係によって定まる角度である。図9Bに示す座標系上(X0−Y1軸の座標平面)のP2を、図9Dに示す座標系上(X−Y−Z軸による三次元座標空間)において表すと以下のようになる。
FIG. 9D is a schematic diagram illustrating a relationship between the
以上により、図9Dに示す座標系上(X−Y−Z軸による三次元座標空間)において、P1とP2との距離Lは以下の式で算出される。 As described above, on the coordinate system shown in FIG. 9D (three-dimensional coordinate space with the XYZ axes), the distance L between P1 and P2 is calculated by the following equation.
したがって、Op410においてCPU302は、変換候補を表示可能な代表座標位置(例えば、表示面積に対する重心位置等。)について上記距離Lを算出しておき、表示の有線順位が高いほど、上記距離Lが小さくなるように、各変換候補の表示位置を算出する。
Therefore, in Op410, the
なお、本実施形態においてはノート型のコンピュータ装置を用いているが、キーボード305とディスプレイ301との位置関係に基づいて、座標系変換時に適切な補正をかけることによって上記距離Lを算出してもよい。
Although a notebook computer device is used in this embodiment, the distance L may be calculated by applying an appropriate correction during coordinate system conversion based on the positional relationship between the
例えば、キーボード305とディスプレイ301とが、それぞれ独立しているデスクトップ型のコンピュータ装置を用いる場合には、キーボード305とディスプレイ301との距離や角度に基づく位置関係を取得して上記距離Lを算出すればよい。また、位置関係を取得する際には、例えば、ディスプレイ等に内蔵したカメラを用いてキーボード上を撮影しておき、キー入力がなされたキーを画像認識により特定することによって、上記距離を算出してもよい。さらに、例えば、ノート型のコンピュータ装置でディスプレイ301が回転可能である場合には、キーボード305とディスプレイ301との距離や回転角に基づく位置関係を取得して上記距離Lを算出すればよい。
For example, when a desktop computer device in which the
[1−3−5.Op412の候補表示位置算出処理]
図4の処理に戻ると、CPU302は、入力操作方向とタッチ選択方向とが共通しない場合(Op409、No)、入力操作方向とタッチ選択方向とが正反対であるか否かを判断する(Op411)。例えば、入力操作方向を示す手が「右手」かつタッチ選択方向を示す手が「左手」であれば、入力操作方向とタッチ選択方向とが正反対となる。また、入力操作方向を示す手が「左手」かつタッチ選択方向を示す手が「右手」であれば、入力操作方向とタッチ選択方向とが正反対となる。
[1-3-5. Op 412 Candidate Display Position Calculation Process]
Returning to the processing of FIG. 4, when the input operation direction and the touch selection direction are not common (Op409, No), the
CPU302は、入力操作方向とタッチ選択方向とが正反対となる場合(Op411、Yes)、ディスプレイ301上のタッチ選択方向端部からタッチパネル上の候補表示位置を算出して決定する(Op412)。この場合、優先順位の最も高い変換候補(Op405で取得済み。)を、ディスプレイ301上の左右の端部からの距離が他の変換候補よりも近くなる位置に表示するように各候補表示位置を算出する。これにより、ディスプレイ301においてタッチ選択を行う操作手に近い側(左右)に選択可能性の高い変換候補を優先的に表示して、連携操作を行う手の移動距離を比較的小さくすることができる。このため、ユーザの手の疲労を発生し難くすることができる。
When the input operation direction and the touch selection direction are opposite to each other (Op411, Yes), the
[1−3−6.Op413の候補表示位置算出処理]
CPU302は、上記Op411において入力操作方向とタッチ選択方向とが正反対とならない場合(Op411、No)、デフォルト設定からタッチパネル上の候補表示位置を算出して決定する(Op413)。この場合、例えば、優先順位の最も高い変換候補(Op405で取得済み。)を、ディスプレイ301の左側から順に表示するように各候補表示位置を算出する。
[1-3-6. Op413 candidate display position calculation processing]
When the input operation direction and the touch selection direction are not opposite in Op411 (Op411, No), the
[1−3−7.候補表示処理]
図4の処理に戻ると、CPU302は、ディスプレイ301に信号を出力して、上記Op405において取得した各変換候補を上記において決定した候補表示位置に表示させる(Op416)。図10Aおよび図10Bは、ディスプレイ301の候補表示位置に変換候補を表示させた場合の一例を示す図である。
[1-3-7. Candidate display processing]
Returning to the processing of FIG. 4, the
図10Aは、上記Op410において、最後の入力キー「I」の位置305iから最も近い位置に、優先順位の最も高い変換候補「富士」を表示させ、「富士」の左隣の位置に、その次に優先順位の高い変換候補「富士山」を表示させ、「富士山」の左隣の位置に、優先順位が最も低い変換候補「富士登山」を表示させた場合の例を示している。
FIG. 10A shows that the conversion candidate “Fuji” having the highest priority is displayed at the position closest to the
図10Bは、上記Op412において、ディスプレイ301上のタッチ選択方向端部102から最も近い位置に、優先順位の最も高い変換候補「富士」を表示させ、「富士」の右隣の位置に、その次に優先順位の高い変換候補「富士山」を表示させ、「富士山」の右隣の位置に、優先順位が最も低い変換候補「富士登山」を表示させた場合の例を示している。
FIG. 10B shows that in Op 412, the conversion candidate “Fuji” having the highest priority is displayed at the position closest to the touch selection
なお、優先順位が2番目以降の変換候補についての表示位置は任意である。例えば、変換候補が数多くある場合には、複数列に分けて表示してもよい。この場合は、最も優先順位の高い変換候補の表示位置に対する上下左右の距離に基づいて、優先順位順に各変換候補を振り分ければよい。 Note that the display positions of the conversion candidates with the second and subsequent priorities are arbitrary. For example, when there are many conversion candidates, they may be displayed in a plurality of columns. In this case, the conversion candidates may be assigned in order of priority based on the vertical and horizontal distances to the display position of the conversion candidate with the highest priority.
CPU302は、各変換候補を表示すると、ユーザがいずれかの候補をタッチ選択するまで待機する(Op417)。なお、タッチ選択することなくキー入力が再度開始された場合等には、上記ステップS401に戻って処理を繰り返せばよい(図示しない。)。
When displaying each conversion candidate, the
ユーザからのタッチ選択があると、ディスプレイ301は、CPU302に対してタッチ選択された変換候補の座標位置を通知する。CPU302は、通知された座標位置に基づいて、いずれの変換候補がタッチ選択されたかを認識する。この場合、上記Op415において説明したように、タッチ選択方向判定処理が実行され、ユーザのタッチ選択の操作履歴に基づいてタッチ選択方向が判定される。これにより、ユーザによるタッチ選択の回数が増加するにつれて、タッチ選択方向の精度を向上させることができる。
When there is a touch selection from the user, the
また、CPU302は、タッチ選択がされた変換候補の情報を、かな漢字変換処理プログラムに引き渡す。これにより、タッチ選択がされた変換候補が変換対象として決定されることになる(Op418)。図10Cは、タッチ選択後のディスプレイ301の状態の一例を示す図である。具体的には、エディタの入力領域51に、ユーザがタッチ選択した変換候補「富士」が表示され、他の変換候補(「富士山」および「富士登山」)が画面上から消去される。
In addition, the
[1−3−8.まとめ]
以上に説明したとおり、上記候補表示装置1においては、キーボード入力を行う手とタッチ選択を行う手との組合せに基づいて変換候補の表示位置を決定するため、ユーザの操作状況に適した態様で候補を表示して、タッチ選択時におけるユーザの利便性を向上させることができる。
[1-3-8. Summary]
As described above, the
この実施形態において、入力操作受付部201は、一例として、図4のOp401の処理機能を含む。タッチ選択制御部204は、一例として、図4のOp416およびOp417の処理機能を含む。入力操作状況取得部202は、一例として、図4のOp407またはOp408の処理機能を含む。表示位置決定部203は、一例として、図4のOp410またはOp412の処理機能を含む。候補決定部205は、一例として、図4のOp418の処理機能を含む。候補予測部206は、一例として、図4のOp403の処理機能を含む。候補取得部207は、一例として、図4のOp404およびOp405の処理機能を含む。入力操作方向判定部210は、一例として、図4のOp414の処理機能を含む。入力操作方向取得部211は、一例として、図4のOp407の処理機能を含む。タッチ選択方向取得部212は、一例として、図4のOp408の処理機能を含む。タッチ選択方向判定部213は、一例として、図4のOp415の処理機能を含む。
In this embodiment, the input
[2.第2の実施形態]
本実施形態にかかる候補表示装置も、第1の実施形態と同様に、いわゆるノート型のコンピュータ装置、携帯電話またはPDA(Personal Digital Assistance)等の装置を用いて構成可能である。
[2. Second Embodiment]
Similarly to the first embodiment, the candidate display device according to the present embodiment can also be configured using a so-called notebook computer device, a mobile phone, or a PDA (Personal Digital Assistance) device.
[2−1.システム構成およびハードウェア構成]
本実施形態にかかる候補表示装置1のシステム構成およびハードウェア構成の一例は、図2を用いて説明した第1の実施形態と基本的に同様である。
[2-1. System configuration and hardware configuration]
An example of the system configuration and the hardware configuration of the
[2−2.候補表示処理]
本実施形態の候補表示装置1における候補表示処理の内容は、図4〜図7を用いて説明した第1の実施形態と基本的に同様である。しかし、本実施形態では、図8〜図10Cに示した変換候補の表示方法が異なる。具体的には、図4のOp410の候補表示位置算出処理が異なる。
[2-2. Candidate display processing]
The contents of the candidate display process in the
[2−2−1.Op410の候補表示位置算出処理]
以下、本実施形態のOp410(図4)において候補の表示位置を算出する処理について具体的に説明する。図11は、本実施形態における候補表示の一例を示す図である。本実施形態においては、最後のキー入力位置P1と、エディタの入力領域51のカーソル位置P2とによって決定される直線m1を、ディスプレイ301上の平面に射影させて得られる直線m2上の位置に、優先順位が最も高い候補(図11では「富士」とする。)を表示させる。
[2-2-1. Op410 Candidate Display Position Calculation Process]
Hereinafter, the process of calculating the candidate display position in Op 410 (FIG. 4) of the present embodiment will be specifically described. FIG. 11 is a diagram showing an example of candidate display in the present embodiment. In the present embodiment, a straight line m1 determined by the last key input position P1 and the cursor position P2 of the
図12は、X−Y−Z軸による三次元座標空間上において、キーボード305上の最後の入力キーの位置P1とカーソル位置P2とによって決定される直線上の点P4と、この点P4をディスプレイ301上の平面(X0−Y0軸の座標平面)に射影した点P3(x1,y1)との関係を示す模式図である。なお、直線nは、候補の表示位置(高さ)の基準線を示している。
FIG. 12 shows a point P4 on a straight line determined by the position P1 of the last input key on the
射影点P3を、X0−Y0座標系で(x1,y1)とすると、これは、X−Y−Z座標系で表すと以下のようになる。 If the projected point P3 is (x1, y1) in the X0-Y0 coordinate system, this is expressed as follows in the XYZ coordinate system.
ここで、P4は、ベクトルP1P2の途中にあるので、以下のように表せる。 Here, since P4 is in the middle of the vector P1P2, it can be expressed as follows.
ベクトルP1P2と、ベクトルP3P4が直交する場合、内積が0となるため、以下の式が成り立つ。 When the vector P1P2 and the vector P3P4 are orthogonal to each other, the inner product is 0, and the following equation is established.
このとき、未知数は、X1およびtとなる。上述の内積の方程式を解くことで、高確率候補の基準点X1が求まる。なお、P3P4を結ぶ直線は、ユーザの視点を通る直線であることが望ましい。さらに、P3P4を結ぶ直線は、ユーザの視線と一致することが望ましい。 At this time, the unknowns are X1 and t. By solving the above inner product equation, the reference point X1 of the high probability candidate is obtained. The straight line connecting P3P4 is preferably a straight line passing through the user's viewpoint. Furthermore, it is desirable that the straight line connecting P3P4 coincides with the user's line of sight.
このように、Op410においてCPU302は、P3を算出し、表示の優先順位が最も高い変換候補をP3上に表示する。これにより、最後に入力したキーからカーソル位置に向かうユーザの視線上に、変換候補を配置して視認性を高めることができる。なお、2番目以降の優先順位の変換候補は視線を遮らない方向を優先して表示させることが望ましい。例えば、図11において、2番目の優先順位である「富士山」は、最優先の変換候補の右側に配置することによって、「富士山」のタッチ選択時に視線を遮らないようにして操作性を向上させている。
Thus, in Op410, the
[3.第3の実施形態]
本実施形態にかかる候補表示装置も、第1の実施形態と同様に、いわゆるノート型のコンピュータ装置、携帯電話またはPDA(Personal Digital Assistance)等の装置を用いて構成可能である。
[3. Third Embodiment]
Similarly to the first embodiment, the candidate display device according to the present embodiment can also be configured using a so-called notebook computer device, a mobile phone, or a PDA (Personal Digital Assistance) device.
[3−1.システム構成およびハードウェア構成]
本実施形態にかかる候補表示装置1のシステム構成およびハードウェア構成の一例は、図2を用いて説明した第1の実施形態と基本的に同様である。
[3-1. System configuration and hardware configuration]
An example of the system configuration and the hardware configuration of the
[3−2.候補表示処理]
本実施形態の候補表示装置1における候補表示処理の内容は、図4〜図7を用いて説明した第1の実施形態と基本的に同様である。しかし、本実施形態では、図8〜図10Cに示した変換候補の表示方法が異なる。具体的には、図4のOp410の候補表示位置算出処理が異なる。
[3-2. Candidate display processing]
The contents of the candidate display process in the
[3−2−1.Op410の候補表示位置算出処理]
以下、本実施形態のOp410(図4)において候補の表示位置を算出する処理について限定して説明する。図13は、本実施形態における候補表示の一例を示す図である。本実施形態においては、キーボード操作の手とタッチ選択の手とが異なる場合、最後のキー入力位置P1と、ディスプレイ301上の位置との距離が各候補間において最小となる位置P2から所定距離を隔てた位置P3に、優先順位が最も高い候補を表示させる。
[3-2-1. Op410 Candidate Display Position Calculation Process]
Hereinafter, the process of calculating the candidate display position in Op 410 (FIG. 4) of the present embodiment will be described in a limited manner. FIG. 13 is a diagram illustrating an example of candidate display in the present embodiment. In the present embodiment, when the keyboard operation hand is different from the touch selection hand, the predetermined distance from the position P2 at which the distance between the last key input position P1 and the position on the
ここで、最後のキー入力位置P1と、ディスプレイ301上の位置との距離が各候補間において最小となる位置P2の算出方法は、第1の実施形態(図8、図9)と同様である。また、P3の位置は、X軸において、タッチ選択の手のある方向へP2から所定距離隔てた位置とする。例えば、タッチ選択の手が左手であれば、X軸のマイナス方向の位置とする。また、所定距離は、一例として、左手の平均的な幅とすればよい。
Here, the method of calculating the position P2 at which the distance between the last key input position P1 and the position on the
これにより、最後に入力したキーを入力した手とタッチ選択をした手とがクロスすることを防止することができる。このため、タッチ選択時の操作性を向上させることができる。 As a result, it is possible to prevent the hand that has input the last input key from crossing the hand that has been touch-selected. For this reason, the operativity at the time of touch selection can be improved.
[4.第4の実施形態]
本実施形態にかかる候補表示装置も、第1の実施形態と同様に、いわゆるノート型コンピュータ装置、携帯電話またはPDA(Personal Digital Assistance)等の装置を用いて構成可能である。本実施形態においては、第1の実施形態において示した候補表示装置1において、キーボードによる入力操作が行われた回数や最後に押下された入力キー等によって決定される、入力操作時の指向性に基づいて、変換候補の表示位置を決定する例について説明する。
[4. Fourth Embodiment]
Similarly to the first embodiment, the candidate display device according to the present embodiment can also be configured using a so-called notebook computer device, a mobile phone, or a PDA (Personal Digital Assistance) device. In the present embodiment, in the
[4−1.システム構成およびハードウェア構成]
本実施形態にかかる候補表示装置1のシステム構成およびハードウェア構成の一例は、図2を用いて説明した第1の実施形態と基本的に同様である。
[4-1. System configuration and hardware configuration]
An example of the system configuration and the hardware configuration of the
[4−2.候補表示処理]
本実施形態の候補表示装置1における候補表示処理の内容は、図4〜図10Cを用いて説明した第1の実施形態と基本的に同様である。しかし、本実施形態では、ユーザのキー入力操作の指向性を考慮して、タッチ選択方向を判断する点が異なる。図14は、本実施形態における候補表示装置1のCPU302で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。以下、キー入力指向性に基づく処理部分に限定して説明する。
[4-2. Candidate display processing]
The contents of the candidate display process in the
[4−2−1.Op408aおよびOp408bの候補表示位置算出処理]
図14において、CPU302は、上記Op408にてタッチ選択方向を取得した後、キー入力指向性があるか否かを判断する(Op408a)。キー入力指向性は、例えば、指向性記録データに基づいて判断される。図15は、指向性記録データの一例を示す図である。この指向性記録データは、キー入力からタッチ選択までの一連の操作を記録したログデータに基づいて任意のタイミングで作成される。本実施形態の指向性記録データは、少なくとも、最後にキー入力が行われたキーを示す「直前キー」151、1回のかな漢字変換処理において入力される文字列の長さを示す「入力文字列数」152、タッチ操作を行った手が左右のいずれであるかを示す「タッチ選択方向(タッチ選択手)」153等を記録する。
[4-2-1. Candidate display position calculation processing of Op 408a and Op 408b]
In FIG. 14, after acquiring the touch selection direction in Op408, the
図16は、指向性記録データの作成処理のオペレーションチャートの一例を示す図である。CPU302は、手の進入データ(三次元データ(XYZ)群)と、ディスプレイ上における手の最終侵入位置(XY)のペアを取得する(Op1601)。上述したように、例えば、手の進入データの取得には、画面法線方向のセンシングが可能な静電容量方式のタッチパネルを用いればよい。
FIG. 16 is a diagram illustrating an example of an operation chart of directivity recording data creation processing. The
次に、CPU302は、タッチ選択方向を示すタッチ選択手を判定する(Op1602)。上述したように、例えば、タッチ選択手は、手の進入ベクトルを計算し、常に垂直傾向の強い進入位置(垂直侵入位置)を算出することによって判定すればよい。
Next, the
CPU302は、タッチ選択操作直前のキー入力の打鍵キーの情報を取得する(Op1603)。例えば、直前のキーは、上記Op402においてメモリ33等にキー情報から取得される。続いて、CPU302は、入力文字列数を取得する(Op1604)。例えば、かな漢字変換処理プログラムに引き渡した入力文字列の数を、都度メモリ33等に記録しておき、当該処理においてメモリ33等から入力文字列数を取得する。
The
CPU302は、上記Op1603にて取得した入力キーおよび、上記Op1604にて取得した入力文字列数を、上記Op1602にて判定したタッチ選択手に対応付けて指向性記録データに記録する(Op1605)。
The
図14の処理に戻ると、CPU302は、キー入力指向性があると判断すれば(Op408a、Yes)、キー入力指向性データに基づいてタッチ選択方向を決定する(Op408b)。例えば、図15のレコード150に示すように、直前キーが「I」であり、入力文字列数が「10」文字以上である場合には、タッチ選択方向を示すタッチ選択手は「右手」であるというキー入力指向性があると判断される。この場合、例え、Op408において取得したタッチ選択方向が「左手」または「両手」であっても、タッチ選択手を「右手」として以降の処理(Op409〜)が続行される。
Returning to the processing of FIG. 14, if the
以上のように、ユーザの入力操作の指向性を考慮してタッチ選択方向を判断することにより、ユーザの入力特性(例えば、癖。)に応じた位置に変換候補を表示することができる。このため、タッチ選択時の操作性を向上させることができる。 As described above, by determining the touch selection direction in consideration of the directivity of the user's input operation, the conversion candidate can be displayed at a position according to the user's input characteristics (for example, 癖). For this reason, the operativity at the time of touch selection can be improved.
なお、上記においては、キー入力指向性の判断指標として「入力文字列数」を用いたが、他の指標を用いてもよい。例えば、ユーザがキーボード上のキーを何回押下したかを示す、キー入力回数を判断指標として採用してもよい。 In the above description, the “number of input character strings” is used as a determination index for key input directivity, but other indexes may be used. For example, the number of key inputs indicating how many times the user has pressed a key on the keyboard may be adopted as a determination index.
[5.第5の実施形態]
本実施形態にかかる候補表示装置も、第1の実施形態と同様に、いわゆるノート型コンピュータ装置、携帯電話またはPDA(Personal Digital Assistance)等の装置を用いて構成可能である。本実施形態においては、第1の実施形態において示した候補表示装置1において、キーボードによる入力操作が行われた回数や最後に押下された入力キー等によって、変換候補の上下方向(高さ方向)の表示位置を決定する例について説明する。
[5. Fifth Embodiment]
Similarly to the first embodiment, the candidate display device according to the present embodiment can also be configured using a so-called notebook computer device, a mobile phone, or a PDA (Personal Digital Assistance) device. In the present embodiment, in the
[5−1.システム構成およびハードウェア構成]
本実施形態にかかる候補表示装置1のシステム構成およびハードウェア構成の一例は、図2を用いて説明した第1の実施形態と基本的に同様である。
[5-1. System configuration and hardware configuration]
An example of the system configuration and the hardware configuration of the
[5−2.候補表示処理]
本実施形態の候補表示装置1における候補表示処理の内容は、図4〜図10Cを用いて説明した第1の実施形態と基本的に同様である。しかし、本実施形態では、Op416の前において、ユーザのキー入力操作の現在の状況を考慮して、最終的に変換候補を表示する上下方向の位置を調整する点が異なる。図18A〜図18Dは、本実施形態において変換候補をしたタッチパネル付きディスプレイ301の一例を示す図である。
[5-2. Candidate display processing]
The contents of the candidate display process in the
一般に、比較的長い文字列について、キーボードとタッチパネルとの連携操作を行っている場合は、ユーザはキーボードのみを凝視して入力操作をしている可能性が高い。なぜなら、文字列が長ければ、入力に夢中になって、ディスプレイ表示に気づきにくい場合があるからである。 In general, when a cooperative operation between a keyboard and a touch panel is performed on a relatively long character string, the user is highly likely to perform an input operation by staring only at the keyboard. This is because if the character string is long, it may become obsessed with input and difficult to notice on the display.
そこで、入力文字列が比較的長い場合には、顔を上げてエディタの入力領域を見たときに、同時に予測変換候補に気づきやすくするために、ディスプレイ上においてエディタの入力領域に近くなる位置に、高確率の予測変換候補を優先して表示する。例えば、図18Aまたは図18Bに示すように、最優先の変換候補180を、通常の表示位置よりも上下方向において高くなる位置に変換候補を表示する。これにより、入力時における視線移動を低減することができる。このため、操作性および視認性が向上する。
Therefore, when the input character string is relatively long, when the face is raised and the editor input area is viewed, at the same time, in order to make it easy to notice the predictive conversion candidate, at a position close to the editor input area on the display. , Display a high-probability predictive conversion candidate with priority. For example, as shown in FIG. 18A or 18B, the highest
一方、入力文字列が比較的短い場合には、ユーザが予測変換候補に気づきやすいように、例えば、図18Cまたは図18Dに示すように、ディスプレイ上においてキーボード側に近い位置に、高確率の予測変換候補180を優先して表示する。これにより、入力時における視線移動を低減することができる。このため、操作性および視認性が向上する。
On the other hand, when the input character string is relatively short, for example, as shown in FIG. 18C or 18D, a high-probability prediction is performed at a position close to the keyboard side on the display so that the user can easily recognize the prediction conversion candidate. The
また、ユーザが各打鍵キーを見ながらキー入力操作を行っている場合、直前の入力キーがキーボードの上下方向でどの位置に属するかによって、ユーザの視線や視野が異なる。例えば、最終打鍵位置指向性が、キー入力装置の「上領域」に見られる場合、利用者は、キー入力装置を凝視しており、表示装置上の予測候補に気づきにくい性質があると推測できる。 Also, when the user performs a key input operation while looking at each keystroke key, the user's line of sight and field of view vary depending on which position the previous input key belongs to in the vertical direction of the keyboard. For example, when the final keystroke position directivity is found in the “upper region” of the key input device, it can be assumed that the user is staring at the key input device and is not likely to notice a prediction candidate on the display device. .
そこで、キー入力の上下位置に応じて、予測候補の表示位置(上下)を変えて、ユーザの予測候補利用を促すため、例えば、図18Cまたは図18Dに示すように、ディスプレイ上においてキーボード側に近い位置に、高確率の予測変換候補180を優先して表示する。これにより、入力時における視線移動を低減することができる。このため、操作性および視認性が向上する。
Therefore, in order to prompt the user to use the prediction candidate by changing the display position (up and down) of the prediction candidate according to the vertical position of the key input, for example, as shown in FIG. 18C or FIG. The
[5−2−1.Op413aおよびOp413bの候補表示位置算出処理]
図17は、本実施形態における候補表示装置1のCPU302で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。以下、図4と図17との相違部分に限定して説明する。
[5-2-1. Candidate display position calculation processing of Op 413a and Op 413b]
FIG. 17 is a diagram illustrating an example of an operation chart of candidate display processing based on a candidate display program executed by the
図17において、CPU302は、上記Op410,Op412またはOp413にてタッチパネル上の候補表示位置を算出した後、ユーザの現在の入力状況によるキー入力回数が所定値以上であるか否かを判断する(Op413a)。例えば、入力文字列が10文字以上である場合には、変換候補の表示位置を高めに設定する(Op413b)。例えば、ディスプレイ301上においてエディタ入力領域51に近い上下位置(つまり、上方に)に、高確率の予測変換候補を優先して表示する。
In FIG. 17, after calculating the candidate display position on the touch panel in Op410, Op412 or Op413, the
次に、CPU302は、ユーザの現在の入力状況によるキー入力回数が所定値以下であるか否かを判断する(Op413c)。例えば、入力文字列が3文字以下である場合には、変換候補の表示位置を低めに設定する(Op413d)。例えば、ディスプレイ301上においてキーボード305に近い側の上下位置(つまり、下方に)に、高確率の予測変換候補を優先して表示する。
Next, the
次に、CPU302は、Op402において記録した最後の入力キーが、キーボード305において上段に位置するキーであるか否かを判断する(Op413e)。例えば、JIS配列キーボードを使用している場合には、「Q、W、E、…、I、O、P」と並ぶキーの列を上段とし、「A、S、D、…、J、K、L」と並ぶキーの列を中段とし、「Z、X、C、…、B、N、M」と並ぶキーの列を下段とする。例えば、最後の入力キーが「I」であれば、この入力キーは、上段に位置するキーと判断し、変換候補の表示位置を低めに(つまり、下方に)設定する(Op413f)。
Next, the
なお、上記においては、キー入力回数の判断指標として「入力文字列数」を用いたが、他の指標を用いてもよい。例えば、ユーザがキーボード上のキーを何回押下したかを示す、キー入力回数を判断指標として採用してもよい。 In the above description, “number of input character strings” is used as an index for determining the number of times of key input, but other indexes may be used. For example, the number of key inputs indicating how many times the user has pressed a key on the keyboard may be adopted as a determination index.
[6.第6の実施形態]
本実施形態にかかる候補表示装置も、第1の実施形態と同様に、いわゆるノート型コンピュータ装置、携帯電話またはPDA(Personal Digital Assistance)等の装置を用いて構成可能である。本実施形態の候補表示装置1は、表示選択装置に候補を表示させた時刻と、表示選択装置においてユーザからのタッチ選択を受け付けた時刻とに基づいて、タッチ選択に関する速度を計測する。本実施形態の候補表示装置1は、タッチ選択計測部において計測されたタッチ選択に関する速度の履歴情報に基づいて、表示選択装置に表示させる候補の表示タイミングを調整する。本実施形態の候補表示装置1は、調整した表示タイミングに基づいて候補表示位置を決定して候補を表示する。
[6. Sixth Embodiment]
Similarly to the first embodiment, the candidate display device according to the present embodiment can also be configured using a so-called notebook computer device, a mobile phone, or a PDA (Personal Digital Assistance) device. The
[6−1.システム構成およびハードウェア構成]
本実施形態にかかる候補表示装置1のシステム構成およびハードウェア構成の一例は、図2を用いて説明した第1の実施形態と基本的に同様である。但し、本実施形態のシステム構成例においては、図2に加えて、タッチ選択計測部および表示タイミング調整部をさらに備える。図19は、本実施形態にかかる候補表示装置における各機能部の関係の一例を示す図である。
[6-1. System configuration and hardware configuration]
An example of the system configuration and the hardware configuration of the
図19において、タッチ選択計測部209は、表示選択装置であるディスプレイ301に候補を表示させた時刻と、ディスプレイ301(表示選択装置)においてユーザからのタッチ選択を受け付けた時刻とに基づいて、タッチ選択に関する速度を計測する。また、表示タイミング調整部208は、タッチ選択計測部209において計測されたタッチ選択に関する速度の履歴情報に基づいて、ディスプレイ301(表示選択装置)に表示させる候補の表示タイミングを調整する。そして、表示位置決定部203は、表示タイミング調整部208から出力された表示タイミングに基づいて候補を表示する。
In FIG. 19, the touch
図19に示した候補表示装置1を構成する、タッチ選択計測部209、表示タイミング調整部208は、一例として、CPU302上において候補表示プログラム304a(図3)を実行することによって実現される。
For example, the touch
[6−2.候補表示処理]
本実施形態の候補表示装置1における候補表示処理の内容は、図4〜図10Cを用いて説明した第1の実施形態と基本的に同様である。しかし、本実施形態では、図4のOp418において変換候補を決定した後、評価データを記録しておき、次回の候補表示時においてフィードバック制御を行う。
[6-2. Candidate display processing]
The contents of the candidate display process in the
[6−2−1.Op416の候補表示表示処理]
図20は、本実施形態における候補表示装置1のCPU302で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。以下、図4と図20との相違部分に限定して説明する。
[6-2-1. Op416 candidate display display process]
FIG. 20 is a diagram illustrating an example of an operation chart of candidate display processing based on a candidate display program executed by the
図20において、CPU302は、上記Op418にてかな漢字変換候補を決定した後、評価データ保持部200に評価データを記録する(Op419)。評価データ保持部200は、例えば、メモリ303またはハードディスク304に記録される。
In FIG. 20, after determining a kana-kanji conversion candidate in Op418, the
図21は、評価データの一例を示す図である。評価データ200には、かな漢字変換候補として決定された文字列を示す「変換対象文字列」211、ユーザがタッチ選択操作にて候補を確定した時刻を示す「確定時刻」212、ユーザがキー入力操作にて最後に入力したキーを示す「最終入力キー」213、ユーザがキー入力操作にて最後に入力したキーの入力時刻を示す「入力時刻」214、ユーザがキー入力操作にて最後に入力したキーとエディタ入力領域との距離および、ユーザが最後のキーを入力した時刻からユーザがタッチ選択を行った時刻までの経過時間によって算出された「タッチ選択速度」215等が記録される。
FIG. 21 is a diagram illustrating an example of evaluation data. The
例えば、図10A〜図10Cに示したタッチ選択を実施している場合、図21のレコード210に示すように、「変換対象文字列」211として「富士」、「確定時刻」212として「12:00:05」、「最終入力キー」213として「I」、「入力時刻」214として「12:00:04」、「タッチ選択速度」215として「0.3m/s」が記録される。
For example, when the touch selection shown in FIGS. 10A to 10C is performed, as shown in the
評価データ保持部200に評価データが記録された後、次回のOp416の処理において、CPU302は、評価データ保持部200を参照して、候補表示状況を評価する(Op416)。具体的には、評価データ保持部200を参照して、直近の評価データレコードを含む複数のレコードを取得する。
After the evaluation data is recorded in the evaluation
もし、評価データレコードの過去の履歴から、タッチ選択速度が向上している場合には、タッチ選択状況が良好であると判断して現在の設定状態を維持する。つまり何らの処理をも行わない。一方、タッチ選択速度が向上していない場合には、表示タイミングを調整する。 If the touch selection speed is improved from the past history of the evaluation data record, it is determined that the touch selection state is good, and the current setting state is maintained. In other words, no processing is performed. On the other hand, when the touch selection speed is not improved, the display timing is adjusted.
例えば、表示タイミングの調整においては、ユーザがキー入力を行った時刻から、変換候補を表示するまでの時刻の間隔を増減させる。特に、ユーザが高齢者の場合には、表示タイミングを遅らせることで、ユーザのキー入力終了時に合わせて変換候補を表示することが望ましい場合がある。また、ユーザが若年である場合には、表示タイミングを早めることで、ユーザのキー入力状況に合わせて変換候補を表示することが望ましい場合がある。 For example, in adjusting the display timing, the time interval from when the user performs key input to when the conversion candidate is displayed is increased or decreased. In particular, when the user is an elderly person, it may be desirable to display the conversion candidate at the end of the user's key input by delaying the display timing. In addition, when the user is young, it may be desirable to display conversion candidates in accordance with the user's key input situation by advancing the display timing.
なお、上記において、タッチ選択に関する速度を、ディスプレイ301に候補を表示させた時刻と、ユーザからのタッチ選択を受け付けた時刻とに基づいて算出するように構成したが、タッチ選択に関する速度は、他の条件に基づいて算出してもよい。例えば、ディスプレイ301に候補を表示させた時刻に代えて、ユーザがキーボード305から手を離した時刻としてもよい。この場合、ユーザがキーボード305から手を離したかどうかの判断は、センサスイッチ等で行えばよい。
In the above description, the speed related to touch selection is calculated based on the time when the candidate is displayed on the
この実施形態において、タッチ選択計測部208は、一例として、図4のOp419またの処理機能を含む。表示タイミング調整部209は、一例として、図4のOp416の処理機能を含む。
In this embodiment, the touch
[7.その他の実施形態]
上記第1〜第6の実施形態において説明した構成の一部または全部を、2以上組合せた構成としてもよい。
[7. Other Embodiments]
A part or all of the configurations described in the first to sixth embodiments may be combined with two or more.
上記実施形態においては、入力操作受付部としてキーボードを用いて候補表示装置1を構成したが、キー操作の位置を検出可能な他の装置を用いてもよい。例えば、ペンタブレット入力装置、タッチパネル式キーボードまたはマウス等を用いてもよい。
In the above embodiment, the
上記実施形態においては、エディタの入力領域と変換候補とを1つのタッチパネル付きディスプレイ上に表示させる構成としたが、エディタの入力領域と変換候補とは必ずしも同一のディスプレイ上に表示させる必要はない。例えば、エディタの入力領域を表示するディスプレイから独立したサブディスプレイ(タッチパネル機能付きのもの)に、変換候補を表示させてもよい。 In the above embodiment, the editor input area and the conversion candidate are displayed on one display with a touch panel. However, the editor input area and the conversion candidate are not necessarily displayed on the same display. For example, the conversion candidates may be displayed on a sub-display (with a touch panel function) independent from the display that displays the input area of the editor.
上記実施形態においては、図2等に示す各機能ブロックを、ソフトウェアを実行するCPUの処理によって実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。なお、プログラムの一部の処理をさらに、オペレーティング・システム(OS)にさせるようにしてもよい。 In the above embodiment, each functional block shown in FIG. 2 and the like is realized by processing of a CPU that executes software. However, some or all of them may be realized by hardware such as a logic circuit. In addition, you may make it make an operating system (OS) further process a part of program.
201 入力操作受付部
202 入力操作状況取得部
203 表示位置決定部
204 タッチ選択制御部
205 候補決定部
206 候補予測部
207 候補取得部
208 表示タイミング調整部
209 タッチ選択計測部
210 入力操作方向判定部
211 入力操作方向取得部
212 タッチ選択方向取得部
213 タッチ選択方向判定部
DESCRIPTION OF
Claims (16)
表示選択装置に対してユーザがタッチ選択可能なように候補を表示させ、前記表示選択装置に表示させた候補についてユーザからのタッチ選択を受け付けるタッチ選択制御部と、
前記入力操作受付部において受け付けたユーザからの入力操作に基づいて決定された少なくとも1つの候補を取得する候補取得部と、
前記入力装置において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する入力操作状況取得部と、
前記入力操作状況に基づいて、前記表示選択装置に表示させる候補の表示位置を決定する表示位置決定部とを備える候補表示装置。 An input operation accepting unit for accepting a user's input operation on the input device;
A touch selection control unit that displays candidates so that the user can perform touch selection on the display selection device, and receives a touch selection from the user for the candidates displayed on the display selection device;
A candidate acquisition unit for acquiring at least one candidate determined based on an input operation from a user received in the input operation reception unit;
An input operation status acquisition unit for acquiring an input operation status including information on the position of the input operation last performed in the input device;
A candidate display device comprising: a display position determination unit that determines a display position of a candidate to be displayed on the display selection device based on the input operation status.
前記表示位置決定部は、前記タッチ選択方向に基づいて前記表示位置を決定する、請求項1または2に記載の候補表示装置。 The input operation status includes information on a touch selection direction indicating from which direction the user performs touch selection,
The candidate display device according to claim 1, wherein the display position determination unit determines the display position based on the touch selection direction.
前記入力操作状況は、最後にキー入力操作が行われたキーの位置に関する情報である、請求項1〜3のいずれか一項に記載の候補表示装置。 The input operation in the input operation reception unit includes a key input operation performed by inputting a desired key from a plurality of keys,
The candidate display device according to any one of claims 1 to 3, wherein the input operation status is information relating to a key position at which a key input operation was last performed.
前記表示選択装置に対して、ユーザがいずれの方向からタッチ選択を行うかを示すタッチ選択方向を取得するタッチ選択方向取得部とをさらに備え、
前記入力操作状況は、前記入力操作方向と前記タッチ選択方向との組合せに関する情報である、請求項1〜4のいずれか一項に記載の候補表示装置。 An input operation direction acquisition unit that acquires an input operation direction indicating from which direction the user performs an input operation on the input device;
A touch selection direction acquisition unit that acquires a touch selection direction indicating a direction in which the user performs touch selection with respect to the display selection device;
The candidate display device according to any one of claims 1 to 4, wherein the input operation status is information relating to a combination of the input operation direction and the touch selection direction.
前記表示位置決定部は、前記入力操作方向と前記タッチ選択方向とが共通する場合、前記入力装置において最後に行われた入力操作の位置と、前記表示選択装置上の位置との距離が各候補間において最小となる位置に、前記優先順位が最も高い候補を表示させるように前記表示位置を決定する、請求項5に記載の候補表示装置。 The candidate acquisition unit acquires a priority order for displaying the candidates together with the at least one candidate,
When the input operation direction and the touch selection direction are common, the display position determination unit determines the distance between the position of the last input operation performed on the input device and the position on the display selection device as each candidate. The candidate display device according to claim 5, wherein the display position is determined so that the candidate with the highest priority is displayed at a position that is the smallest in between.
前記表示位置決定部は、前記入力操作が行われた回数が所定回数以上であるか否かに基づいて前記表示位置を決定する、請求項1〜13のいずれか一項に記載の候補表示装置。 The input operation status includes information on the number of times the input operation has been performed,
The candidate display device according to any one of claims 1 to 13, wherein the display position determination unit determines the display position based on whether or not the number of times the input operation has been performed is a predetermined number or more. .
前記タッチ選択計測部において計測されたタッチ選択に関する速度の履歴情報に基づいて、前記表示選択装置に表示させる候補の表示タイミングを調整する表示タイミング調整部とをさらに備え、
前記表示位置決定部は、前記表示タイミング調整部から出力された表示タイミングに基づいて、前記表示位置を決定する、請求項1〜13のいずれか一項に記載の候補表示装置。 A touch selection measuring unit that measures a speed related to touch selection based on the time when the candidate is displayed on the display selection device and the time when the touch selection is received from the user in the display selection device;
A display timing adjustment unit that adjusts display timings of candidates to be displayed on the display selection device based on history information of speed related to touch selection measured by the touch selection measurement unit;
The candidate display device according to any one of claims 1 to 13, wherein the display position determination unit determines the display position based on a display timing output from the display timing adjustment unit.
表示選択装置に対してユーザがタッチ選択可能なように候補を表示させ、前記表示選択装置に表示させた候補についてユーザからのタッチ選択を受け付けるタッチ選択制御処理と、
前記入力操作受付処理において受け付けたユーザからの入力操作に基づいて決定された少なくとも1つの候補を取得する候補取得処理と、
前記入力装置において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する入力操作状況取得処理と、
前記入力操作状況に基づいて、前記表示選択装置に表示させる候補の表示位置を決定する表示位置決定処理とをコンピュータに実行させる候補表示プログラム。 An input operation accepting process for accepting a user input operation on the input device;
Touch selection control processing for displaying a candidate so that the user can select a touch on the display selection device, and receiving a touch selection from the user for the candidate displayed on the display selection device;
A candidate acquisition process for acquiring at least one candidate determined based on an input operation from a user received in the input operation reception process;
An input operation status acquisition process for acquiring an input operation status including information on the position of the input operation last performed in the input device;
A candidate display program for causing a computer to execute display position determination processing for determining a display position of a candidate to be displayed on the display selection device based on the input operation status.
表示選択装置に対してユーザがタッチ選択可能なように候補を表示させ、前記表示選択装置に表示させた候補についてユーザからのタッチ選択を受け付けるタッチ選択制御工程と、
前記入力操作受付工程において受け付けたユーザからの入力操作に基づいて決定された少なくとも1つの候補を取得する候補取得工程と、
前記入力装置において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する入力操作状況取得工程と、
前記入力操作状況に基づいて、前記表示選択装置に表示させる候補の表示位置を決定する表示位置決定工程とを含む候補表示方法。 An input operation accepting step for accepting a user input operation on the input device;
A touch selection control step of displaying candidates so that the user can perform touch selection on the display selection device, and accepting touch selection from the user for the candidates displayed on the display selection device;
A candidate acquisition step of acquiring at least one candidate determined based on an input operation from a user received in the input operation reception step;
An input operation status acquisition step of acquiring an input operation status including information on the position of the input operation last performed in the input device;
A candidate display method including a display position determination step of determining a display position of a candidate to be displayed on the display selection device based on the input operation status.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010061158A JP5556270B2 (en) | 2010-03-17 | 2010-03-17 | Candidate display device and candidate display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010061158A JP5556270B2 (en) | 2010-03-17 | 2010-03-17 | Candidate display device and candidate display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011197782A true JP2011197782A (en) | 2011-10-06 |
JP5556270B2 JP5556270B2 (en) | 2014-07-23 |
Family
ID=44875949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010061158A Active JP5556270B2 (en) | 2010-03-17 | 2010-03-17 | Candidate display device and candidate display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5556270B2 (en) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2631758A1 (en) * | 2012-02-24 | 2013-08-28 | Research In Motion Limited | Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters |
US8543934B1 (en) | 2012-04-30 | 2013-09-24 | Blackberry Limited | Method and apparatus for text selection |
EP2660693A1 (en) * | 2012-04-30 | 2013-11-06 | BlackBerry Limited | Touchscreen keyboard providing word predictions at locations in association with candidate letters |
US8659569B2 (en) | 2012-02-24 | 2014-02-25 | Blackberry Limited | Portable electronic device including touch-sensitive display and method of controlling same |
US9032322B2 (en) | 2011-11-10 | 2015-05-12 | Blackberry Limited | Touchscreen keyboard predictive display and generation of a set of characters |
US9063653B2 (en) | 2012-08-31 | 2015-06-23 | Blackberry Limited | Ranking predictions based on typing speed and typing confidence |
US9116552B2 (en) | 2012-06-27 | 2015-08-25 | Blackberry Limited | Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard |
US9122672B2 (en) | 2011-11-10 | 2015-09-01 | Blackberry Limited | In-letter word prediction for virtual keyboard |
US9152323B2 (en) | 2012-01-19 | 2015-10-06 | Blackberry Limited | Virtual keyboard providing an indication of received input |
US9195386B2 (en) | 2012-04-30 | 2015-11-24 | Blackberry Limited | Method and apapratus for text selection |
US9201510B2 (en) | 2012-04-16 | 2015-12-01 | Blackberry Limited | Method and device having touchscreen keyboard with visual cues |
US9207860B2 (en) | 2012-05-25 | 2015-12-08 | Blackberry Limited | Method and apparatus for detecting a gesture |
US9310889B2 (en) | 2011-11-10 | 2016-04-12 | Blackberry Limited | Touchscreen keyboard predictive display and generation of a set of characters |
US9524290B2 (en) | 2012-08-31 | 2016-12-20 | Blackberry Limited | Scoring predictions based on prediction length and typing speed |
US9557913B2 (en) | 2012-01-19 | 2017-01-31 | Blackberry Limited | Virtual keyboard display having a ticker proximate to the virtual keyboard |
US9652448B2 (en) | 2011-11-10 | 2017-05-16 | Blackberry Limited | Methods and systems for removing or replacing on-keyboard prediction candidates |
US9715489B2 (en) | 2011-11-10 | 2017-07-25 | Blackberry Limited | Displaying a prediction candidate after a typing mistake |
JP2017181651A (en) * | 2016-03-29 | 2017-10-05 | 株式会社河合楽器製作所 | Electronic keyboard musical instrument |
CN112740148A (en) * | 2018-09-28 | 2021-04-30 | 华为技术有限公司 | Method for inputting information into input box and electronic equipment |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06208671A (en) * | 1993-01-11 | 1994-07-26 | Hitachi Ltd | Operation guiding device |
JPH10149258A (en) * | 1996-11-15 | 1998-06-02 | Omron Corp | Input operation device |
JP2003140793A (en) * | 2001-11-07 | 2003-05-16 | Fujitsu Ltd | Desk-top calculator display device |
JP2005092441A (en) * | 2003-09-16 | 2005-04-07 | Aizu:Kk | Character input method |
JP2005535975A (en) * | 2002-08-16 | 2005-11-24 | ユンキ カン | Character input method using software keyboard |
JP2006086934A (en) * | 2004-09-17 | 2006-03-30 | Canon Inc | Key input device, control method thereof, and key input control program |
JP2007052695A (en) * | 2005-08-19 | 2007-03-01 | Kyocera Mita Corp | Information processing system |
JP2008257454A (en) * | 2007-04-04 | 2008-10-23 | Toshiba Matsushita Display Technology Co Ltd | Display device, image data processing method and image data processing program |
JP2009169735A (en) * | 2008-01-17 | 2009-07-30 | Sharp Corp | Information processing display device |
WO2009127168A1 (en) * | 2008-04-18 | 2009-10-22 | 戴静芬 | System capable of accomplishing flexible keyboard layout |
-
2010
- 2010-03-17 JP JP2010061158A patent/JP5556270B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06208671A (en) * | 1993-01-11 | 1994-07-26 | Hitachi Ltd | Operation guiding device |
JPH10149258A (en) * | 1996-11-15 | 1998-06-02 | Omron Corp | Input operation device |
JP2003140793A (en) * | 2001-11-07 | 2003-05-16 | Fujitsu Ltd | Desk-top calculator display device |
JP2005535975A (en) * | 2002-08-16 | 2005-11-24 | ユンキ カン | Character input method using software keyboard |
JP2005092441A (en) * | 2003-09-16 | 2005-04-07 | Aizu:Kk | Character input method |
JP2006086934A (en) * | 2004-09-17 | 2006-03-30 | Canon Inc | Key input device, control method thereof, and key input control program |
JP2007052695A (en) * | 2005-08-19 | 2007-03-01 | Kyocera Mita Corp | Information processing system |
JP2008257454A (en) * | 2007-04-04 | 2008-10-23 | Toshiba Matsushita Display Technology Co Ltd | Display device, image data processing method and image data processing program |
JP2009169735A (en) * | 2008-01-17 | 2009-07-30 | Sharp Corp | Information processing display device |
WO2009127168A1 (en) * | 2008-04-18 | 2009-10-22 | 戴静芬 | System capable of accomplishing flexible keyboard layout |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715489B2 (en) | 2011-11-10 | 2017-07-25 | Blackberry Limited | Displaying a prediction candidate after a typing mistake |
US9032322B2 (en) | 2011-11-10 | 2015-05-12 | Blackberry Limited | Touchscreen keyboard predictive display and generation of a set of characters |
US9652448B2 (en) | 2011-11-10 | 2017-05-16 | Blackberry Limited | Methods and systems for removing or replacing on-keyboard prediction candidates |
US9122672B2 (en) | 2011-11-10 | 2015-09-01 | Blackberry Limited | In-letter word prediction for virtual keyboard |
US9310889B2 (en) | 2011-11-10 | 2016-04-12 | Blackberry Limited | Touchscreen keyboard predictive display and generation of a set of characters |
US9557913B2 (en) | 2012-01-19 | 2017-01-31 | Blackberry Limited | Virtual keyboard display having a ticker proximate to the virtual keyboard |
US9152323B2 (en) | 2012-01-19 | 2015-10-06 | Blackberry Limited | Virtual keyboard providing an indication of received input |
EP2631758A1 (en) * | 2012-02-24 | 2013-08-28 | Research In Motion Limited | Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters |
US9910588B2 (en) | 2012-02-24 | 2018-03-06 | Blackberry Limited | Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters |
US8659569B2 (en) | 2012-02-24 | 2014-02-25 | Blackberry Limited | Portable electronic device including touch-sensitive display and method of controlling same |
US9201510B2 (en) | 2012-04-16 | 2015-12-01 | Blackberry Limited | Method and device having touchscreen keyboard with visual cues |
US9292192B2 (en) | 2012-04-30 | 2016-03-22 | Blackberry Limited | Method and apparatus for text selection |
US9195386B2 (en) | 2012-04-30 | 2015-11-24 | Blackberry Limited | Method and apapratus for text selection |
US9354805B2 (en) | 2012-04-30 | 2016-05-31 | Blackberry Limited | Method and apparatus for text selection |
US9442651B2 (en) | 2012-04-30 | 2016-09-13 | Blackberry Limited | Method and apparatus for text selection |
EP2660693A1 (en) * | 2012-04-30 | 2013-11-06 | BlackBerry Limited | Touchscreen keyboard providing word predictions at locations in association with candidate letters |
US8543934B1 (en) | 2012-04-30 | 2013-09-24 | Blackberry Limited | Method and apparatus for text selection |
US10331313B2 (en) | 2012-04-30 | 2019-06-25 | Blackberry Limited | Method and apparatus for text selection |
US9207860B2 (en) | 2012-05-25 | 2015-12-08 | Blackberry Limited | Method and apparatus for detecting a gesture |
US9116552B2 (en) | 2012-06-27 | 2015-08-25 | Blackberry Limited | Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard |
US9524290B2 (en) | 2012-08-31 | 2016-12-20 | Blackberry Limited | Scoring predictions based on prediction length and typing speed |
US9063653B2 (en) | 2012-08-31 | 2015-06-23 | Blackberry Limited | Ranking predictions based on typing speed and typing confidence |
JP2017181651A (en) * | 2016-03-29 | 2017-10-05 | 株式会社河合楽器製作所 | Electronic keyboard musical instrument |
CN112740148A (en) * | 2018-09-28 | 2021-04-30 | 华为技术有限公司 | Method for inputting information into input box and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP5556270B2 (en) | 2014-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5556270B2 (en) | Candidate display device and candidate display method | |
US11816329B2 (en) | Multitouch data fusion | |
US8432301B2 (en) | Gesture-enabled keyboard and associated apparatus and computer-readable storage medium | |
EP2817693B1 (en) | Gesture recognition device | |
KR101542625B1 (en) | Method and apparatus for selecting an object within a user interface by performing a gesture | |
US10282090B2 (en) | Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones | |
KR101824388B1 (en) | Apparatus and method for providing dynamic user interface in consideration of physical characteristics of user | |
US20150261310A1 (en) | One-dimensional input system and method | |
US10042438B2 (en) | Systems and methods for text entry | |
US8704782B2 (en) | Electronic device, method for viewing desktop thereof, and computer-readable medium | |
US20160034738A1 (en) | Method using a touchpad for controlling a computerized system with epidermal print information | |
CN103914196B (en) | Electronic equipment and the method for determining the validity that the touch key-press of electronic equipment inputs | |
US20150363038A1 (en) | Method for orienting a hand on a touchpad of a computerized system | |
JP5565320B2 (en) | Information processing apparatus and information processing program | |
CN102902469A (en) | Gesture recognition method and touch system | |
JP5682394B2 (en) | Operation input detection device using touch panel | |
CN105814511B (en) | Offset plane wrist input device, method and computer readable medium | |
Menzner et al. | Above surface interaction for multiscale navigation in mobile virtual reality | |
CN102426483B (en) | Multi-channel accurate target positioning method for touch equipment | |
CN105739810A (en) | Mobile electronic device and user interface display method | |
JP2012093951A (en) | Image processing device, image processing system, image processing method, and program | |
JP5995171B2 (en) | Electronic device, information processing method, and information processing program | |
JP2010231480A (en) | Handwriting processing apparatus, program, and method | |
US20100164756A1 (en) | Electronic device user input | |
US9720513B2 (en) | Apparatus and method for receiving a key input |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130628 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130701 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5556270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |