JP2014026629A - 入力装置及び入力支援方法 - Google Patents

入力装置及び入力支援方法 Download PDF

Info

Publication number
JP2014026629A
JP2014026629A JP2012251611A JP2012251611A JP2014026629A JP 2014026629 A JP2014026629 A JP 2014026629A JP 2012251611 A JP2012251611 A JP 2012251611A JP 2012251611 A JP2012251611 A JP 2012251611A JP 2014026629 A JP2014026629 A JP 2014026629A
Authority
JP
Japan
Prior art keywords
character string
prediction candidate
displayed
screen
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012251611A
Other languages
English (en)
Inventor
Masatoshi Nakao
雅俊 中尾
A Rick Rafii
エー. リック ラフィー
Schwall Kevin
ケビン シュウォール
Junnosuke Kurihara
淳之介 栗原
Teixeira Ricardo
リカルド テイゼイラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of JP2014026629A publication Critical patent/JP2014026629A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に近接が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和する。
【解決手段】検知部は、画面に対する指示媒体の選択操作を検知して検知信号を出力する。記憶部は、画面に表示された文字列のキーに対応する文字列又はその読みと前方一致する文字列を記憶する。予測候補生成部は、検知信号を基に、選択操作が検知された指示媒体に対応する画面上の位置である選択位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成する。表示制御部は、少なくとも一個の予測候補の文字列を、選択位置の周囲の所定位置に表示させる。
【選択図】図2

Description

本発明は、タッチパネルを介した入力操作の支援を行う入力装置及び入力支援方法に関する。
例えば携帯電話機又はスマートフォンのメール機能において文字を入力する場合に、文字の入力作業を効率化させるための技術が従来から提案されている(例えば特許文献1参照)。
特許文献1に示す携帯電話機は、ユーザが入力した文字の変換候補を、例えば5行×3列の変換候補表示領域に表示し、これらの変換候補のうち、1行目の中央の列の変換候補を最初に選択してカーソルを表示させる。更に、携帯電話機は、選択候補が含まれる1行目以外の変換候補に、各ダイヤルキー「0」〜「9」、「*」及び「#」を割り当てる。これにより、特許文献1に示す携帯電話機は、1行目の変換候補の選択を簡単に行わせ、2行目以降の変換候補に対してはダイヤルキーの操作によって所望の変換候補を簡単に選択でき、短時間で変換候補を選択させることができる。
また、ユーザにとって直感的なユーザインターフェースを提供可能なタッチパネルは、携帯電話機又はスマートフォンを含む電子機器の入力操作を受け付けるデバイスとして、広く用いられている。タッチパネルは、電子機器に設けられた表示部(例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)ディスプレイ)の画面に対する入力操作の受け付けと、入力操作に対する動作実行結果の表示とを同一の画面内において行うことを可能にする。
日本国特開2008−118268号公報
しかしながら、特許文献1を含む従来技術では、ユーザは、所望の変換候補を選択する場合に、所望の変換候補に割り当てられたダイヤルキーを表示部において確認した後、指示媒体(例えばユーザの指)が目的のダイヤルキーを押下するように、表示部からダイヤルキーに視点を移動させた後に指示媒体も移動させる必要があり、ユーザの選択操作に手間がかかる。
また、ユーザは、所定領域に表示された予測候補の文字列を実際に選択する場合には、指の位置から自己が選択しようとする予測候補の文字列の表示位置まで指を移動させて、タッチ操作等の選択操作を行う必要がある。このため、例えばキーの表示位置(指の位置)と自己が選択しようとする予測候補の文字列の表示位置との間の距離が離れている場合では、指の移動量が増えることになり、ユーザの操作が煩雑となることがあった。
本発明は、上述した事情に鑑みて案出されたものであり、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に文字列の選択操作が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和する入力装置及び入力支援方法を提供することを目的とする。
本発明の入力装置は、所定の配列を有する複数の文字列のキーを画面に表示する表示部と、前記画面に対する指示媒体の選択操作を検知して検知信号を出力する検知部と、前記画面に表示された前記文字列のキーに対応する文字列又は前記文字列の読みと前方一致する文字列を記憶する記憶部と、前記検知信号を基に、前記選択操作が検知された前記指示媒体に対応する前記画面上の位置である選択位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成する予測候補生成部と、前記生成された前記少なくとも一個の予測候補の文字列を、前記選択位置の周囲の所定位置に表示させる表示制御部と、を備える。
この構成によれば、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に文字列の選択操作が検知された指示媒体(例えばユーザの指)に対応する画面上の位置の周囲の所定位置に表示させるため、入力操作の煩雑性を緩和することができる。
また、本発明の入力支援方法は、所定の配列を有する複数の文字列のキーを画面に表示する入力装置における入力装置であって、前記画面に対する指示媒体の選択操作を検知して検知信号を出力するステップと、前記検知信号を基に、前記画面に表示された前記文字列のキーに対応する文字列又は前記文字列の読みと前方一致する文字列を記憶する記憶部を参照して、前記選択操作が検知された前記指示媒体に対応する前記画面上の位置である選択位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成するステップと、前記生成された前記少なくとも一個の予測候補の文字列を、前記選択位置の周囲の所定位置に表示させるステップと、を有する。
この方法によれば、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に文字列の選択操作が検知された指示媒体(例えばユーザの指)に対応する画面上の位置の周囲の所定位置に表示させるため、入力操作の煩雑性を緩和することができる。
本発明によれば、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に文字列の選択操作が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和することができる。
第1の実施形態の携帯端末1の機能的構成を示すブロック図 (A)QWERTY形式のキー配列のソフトウェアキーボードを画面DPに表示させた様子を示す図、(B)新たな入力操作の対象文字の先頭文字「T」に指FGが近接した様子を示す図、(C)新たな入力操作の対象文字の先頭文字「H」に指FGが近接した様子を示す図、(D)(B)において「That」がタッチ操作によって選択された様子を示す図 (A)「That」の予測候補PR3の文字列がフリック操作によって選択された様子を示す図、(B)「Home」の予測候補PR4の文字列がフリック操作によって選択された様子を示す図、(C)(B)において「Home」の予測候補PR4の文字列がフリック操作によって選択された様子を示す図 (A)指FGがバックスペースキー([BS]キー)に近接した様子を示す図、(B)バックスペースキー([BS]キー)の近接に応じて予測候補の文字列が再表示された様子を示す図、(C)「Bellows」がタッチ操作によって選択された場合に、「Hello」が「Bellows」に入れ替わる様子を示す図 (A)バックスペースキー([BS]キー)がタッチ操作によって選択された様子を示す図、(B)バックスペースキー([BS]キー)のタッチ操作に応じて予測候補の文字列が非表示(消去)された様子を示す図 第1の実施形態の携帯端末1の動作手順を説明するフローチャート (A)所定数を超える予測候補の文字列を表示する様子を示す図、(B)ガイド線GD1〜GD3を表示する様子を示す図 指FGによって表示が遮られない位置に予測候補の文字列が表示される様子を示す図 (A)テンキー形式のキー配列のソフトウェアキーボードが表示された画面DPにおいて予測候補の文字列が表示された様子を示す図、(B)テンキー形式のキー配列のソフトウェアキーボードが表示された画面DPにおいて予測候補としての漢字を含む文字列と絵文字の文字列とが表示される様子を示す図 第2の実施形態の携帯端末1aの機能的構成を示すブロック図 (A)QWERTY形式のキー配列のソフトウェアキーボードを画面DPに表示させた様子を示す図、(B)新たな入力操作の対象文字の先頭文字「T」に指FGが接触した様子を示す図、(C)新たな入力操作の対象文字の先頭文字「H」に指FGが接触した様子を示す図 (A)「Home」の予測候補PR4の文字列がドラッグ操作によって選択される様子を示す図、(B)「Home」の予測候補PR4の文字列がドラッグ操作によって選択された瞬間の様子を示す図、(C)「Home」の予測候補PR4の文字列が入力されて指FGがリリース操作した後の様子を示す図 第2の実施形態の携帯端末1aの動作手順を説明するフローチャート テンキー形式のキー配列のソフトウェアキーボードが表示された画面DPにおいて、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する少なくとも一個の予測候補の文字列が文字列「あし」の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示されている様子を示す図
(第1の実施形態の内容に至る経緯)
また最近、指示媒体(例えばユーザの指又はタッチペン)の近接を検知可能なタッチパネルが搭載された携帯電子機器が知られている(例えば参考特許文献1参照)。参考特許文献1の携帯電子機器は、表示部に近接する指示媒体の表示部の表示面に対する距離Dが第1の距離d1より短い場合に、表示部の所定範囲に表示されている領域に対応する画像(例えばキー)を拡大して表示部に表示させる。ここで、表示部の所定範囲とは、例えば表示部上の特定の位置を含む領域に隣り合う領域である。携帯電子機器は、ユーザが指又はタッチペンを表示部に近づけた場合にのみ、拡大させる領域を自由に選択させることができる。
(参考特許文献1)日本国特開2012−94008号公報
しかしながら、参考特許文献1では、携帯電子機器は、画面に表示されたキーにタッチ操作が行われると、画面内のキー配列の表示領域の上部に設けられた所定領域に複数の予測候補の文字列を表示させる。このため、ユーザは、指示媒体(例えば指)の位置から所定領域に表示された予測候補の文字列の表示位置まで視点を移動させて、どの予測候補を選択するかを確認しなければならない。
特に、ユーザは、所定領域に表示された予測候補の文字列を実際に選択する場合には、指の位置から自己が選択しようとする予測候補の文字列の表示位置まで指を移動させて、タッチ操作等の選択操作を行う必要がある。このため、例えばキーの表示位置(指の位置)と自己が選択しようとする予測候補の文字列の表示位置との間の距離が離れている場合では、指の移動量が増えることになり、ユーザの操作が煩雑となることがあった。
そこで、第1の実施形態では、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に近接が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和する入力装置及び入力支援方法を説明する。
以下、本発明に係る入力装置及び入力支援方法の実施形態について、図面を参照して説明する。本発明に係る入力装置は、所定の配列(例えば「QWERTY」形式のキー配列又は「テンキー」形式のキー配列)を有する複数の文字列のキーを画面に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、PDA(personal digital assistant)又は電子書籍端末等である。以下、各実施形態を説明するための入力装置の一例として、携帯端末(例えばスマートフォン)を用いて説明する。
なお、本発明は、装置としての入力装置、又は入力装置をコンピュータとして入力装置が実行する各動作(ステップ)を実行させるためのプログラムとして表現することも可能である。更に、本発明は、入力装置により実行される各動作(ステップ)を含む入力支援方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。
(各実施形態に必要な用語の説明)
以下の説明において、タッチパネルに近接又は接触する指示媒体の一例としてユーザの指(例えば人差し指)を用いて説明するが、ユーザの指に限らず、導電性のスタイラス(タッチペン)でも良い。また、タッチパネルに近接又は接触する指示媒体は、タッチパネルの構造及び検知方式に応じて、タッチパネルへの近接及びタッチ(接触)が検出可能なものであれば特に限定されない。
また、タッチパネルの水平面上を表す2軸をx軸及びy軸とし、タッチパネル上の水平面に対して垂直な方向(高さ方向)を表す軸をz軸とする。更に、以下の説明において、「タッチ座標」は、タッチパネルが指のタッチ(接触)を検知した時のタッチパネルの水平面上の位置を特定するための座標(x、y)を示し、「近接座標」は、タッチパネルが指の近接を検知した時の空間上の近接検知可能領域内の位置を特定するための座標(x、y、z)を示す。近接座標のz座標値は、タッチパネルの水平面から指が空間上に離間している高さを表す。更に、以下の説明において、近接が検知された空間上に存在している指の位置に対応する画面上の位置(タッチパネルの水平面上の位置)を、「近接対応位置」と定義する。
更に、以下の説明において、タッチパネルの水平面上から離間する方向に向かって離間した空間上の近接検知可能領域内の位置に指をかざす操作を「ホバー操作」と定義し、ホバー操作によってかざされた空間上の位置からタッチパネルの水平面に対して略平行にスライド(移動)する操作を、「ホバースライド操作」と定義する。従って、指がタッチパネルの水平面上の特定の位置に直接タッチする操作は「ホバー操作」ではなく、「タッチ操作」となる。また、指をタッチパネルの水平面上にタッチ(接触)させてから同水平面上に沿ってスライド(移動)する操作を、「タッチスライド操作」と定義する。
なお、ホバー操作又はホバースライド操作が検知されるためには、指とタッチパネルの面上との距離は、タッチパネルが検出する静電容量値に反比例するため、タッチパネルが検出可能な静電容量値の範囲に対応することが好ましい。
(第1の実施形態の説明)
第1の実施形態では、携帯端末1は、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーに対して指FGが近接した場合に、近接が検知された指FGに対応する画面DP上の位置(以下、「近接対応位置」と定義する)の周囲の所定位置に、近接対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる(図2参照)。即ち、携帯端末1は、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーの指FGによる選択操作を検知した場合に、選択操作が検知された指FGに対応する画面DP上の選択位置の周囲の所定位置に、選択位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる。
(携帯端末1の機能的構成)
先ず、第1の実施形態の携帯端末1の機能的構成について、図1を参照して説明する。図1は、第1の実施形態の携帯端末1の機能的構成を示すブロック図である。図1に示す携帯端末1は、近接検知部5、近接座標評価部10、タッチ検知部15、タッチ座標評価部20、操作判定部30、キーボードアプリケーション40、予測候補抽出部50、予測候補辞書55、表示位置決定部60、キー画像生成部70、候補画像生成部75、画像合成部80及び画面表示部90を含む。キーボードアプリケーション40は、表示キー位置情報45を保持する。
操作判定部30、キーボードアプリケーション40、予測候補抽出部50、表示位置決定部60、キー画像生成部70、候補画像生成部75及び画像合成部80の各部は、各部の動作が予め規定されたプログラムを携帯端末1に内蔵されるプロセッサ(不図示)が読み込んで実行することによって動作可能となる。なお、プロセッサは、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)である。
近接検知部5は、ホバー操作又はホバースライド操作によってユーザの指FG(図2参照)がタッチパネルTPに近接したことを検知する。近接検知部5は、指FGがタッチパネルTPに近接した旨の近接通知を近接座標評価部10に出力する。
近接座標評価部10は、近接検知部5から出力された近接通知を基に、指FGのタッチパネルTPに対する近接座標(x、y、z)を、近接検知時における近接検知信号として算出する。なお、以下の説明において、近接検知信号は、近接座標であるとして説明するが、近接検知時に算出される静電容量値でも良い。上述したように、近接座標(x、y、z)のうち、x座標値及びy座標値は画面表示部90の画面DP(図2参照)に搭載されたタッチパネルTPの水平面上の位置を表す座標値、即ち近接対応位置を示す座標値であって、z座標値は指FGとタッチパネルTPとの間のz軸方向の距離(高さ)を表す座標値である。近接座標評価部10は、算出された近接座標(x、y、z)の情報を操作判定部30に出力する。なお、近接検知部5と近接座標評価部10とを纏めて近接検知部として構成しても良い。
接触検知部としてのタッチ検知部15は、タッチ操作又はタッチスライド操作によって指FGがタッチパネルTPにタッチ(接触)した動作を検知する。タッチ検知部15は、指FGがタッチパネルTPにタッチ(接触)した旨の接触通知をタッチ座標評価部20に出力する。
タッチ座標評価部20は、タッチ検知部15から出力された接触通知を基に、指FGがタッチパネルTPにタッチ(接触)した時のタッチ座標(x、y)を算出する。タッチ座標評価部20は、算出されたタッチ座標(x、y)の情報を操作判定部30に出力する。なお、タッチ検知部15とタッチ座標評価部20とを纏めて接触検知部として構成しても良い。
なお、本実施形態において、指FGのタッチ(接触)と近接との両方を検知可能なタッチパネルTPは、近接検知部5、近接座標評価部10、タッチ検知部15及びタッチ座標評価部20とを用いて構成可能である。
操作判定部30は、近接座標評価部10から出力された近接座標(x、y、z)又はタッチ座標評価部20から出力されたタッチ座標(x、y)の情報を基に、指FGの入力操作がホバー操作、ホバースライド操作、タッチ操作、タッチスライド操作及びフリック操作のうちいずれの操作であるかを判定する。
操作判定部30は、指FGの入力操作がホバー操作又はホバースライド操作であると判定した場合に、近接対応位置に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40に出力する。操作判定部30は、キーボードアプリケーション40から出力された情報、即ち近接対応位置に対応する画面DP上に表示されているキーの情報を取得して予測候補抽出部50に出力する。
キーボードアプリケーション40は、携帯端末1に内蔵されるROM(Read Only Memory)に予め記憶され、ユーザのキーボードアプリケーション40を起動する旨の入力操作に応じて、例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データをキー画像生成部70に生成させる。更に、キーボードアプリケーション40は、画面DPに表示されたQWERTY形式のキー配列のソフトウェアキーボードに対するユーザの入力操作(例えば文字入力操作)を受け付ける。
キーボードアプリケーション40は、操作判定部30から出力された判定要求と表示キー位置情報45とを基に、近接対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40は、判定されたキーの情報を操作判定部30に出力する。
また、文字列入力部としてのキーボードアプリケーション40は、指FGの入力操作がタッチ操作、タッチスライド操作及びフリック操作のうちいずれかの操作である旨の情報を操作判定部30から取得した場合には、いずれかの操作によって選択されたキーに対応した文字列又は予測候補の文字列を画面表示部90の画面DPの文字列入力領域FAR(図2参照)に入力・表示させる(図2、図3参照)。図2では、文字列入力領域FARは画面DPの上部領域に示されているが、文字列入力領域FARの表示領域は、キーボードアプリケーション40の動作において予め規定されていれば特に限定されない。なお、本実施形態では、タッチ操作、タッチスライド操作及びフリック操作のいずれかの操作も、文字列の入力を携帯端末1に指示するためにユーザにより行われる選択操作である。
表示キー位置情報45は、後述する画面表示部90の画面DP(図2参照)に例えばQWERTY形式のキー配列のソフトウェアキーボードが表示されている場合では、画面DP内における同ソフトウェアキーボードの表示位置及び同ソフトウェアキーボードを構成する各々のキーの表示位置をそれぞれ示す情報である。
なお、図1に示す表示キー位置情報45はキーボードアプリケーション40により保持されているが、例えば操作判定部30により保持されても良い。この場合、操作判定部30は、指FGの入力操作がホバー操作又はホバースライド操作であると判定した場合に、表示キー位置情報45を基に、キーボードアプリケーション40に問い合せずに近接対応位置に対応する画面DP上に表示されているキーを判定する。
予測候補生成部としての予測候補抽出部50は、操作判定部30から出力されたキーの情報、即ち近接対応位置に対応する画面DP上に表示されているキーの情報を基に、予測候補辞書55を参照し、当該キーの情報に対応するキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータを所定個(例えば3個)、抽出して生成する。なお、予測候補抽出部50は、近接対応位置に対応する画面DP上に表示されているキーの情報に対応するキー又は当該キーの読みと前方一致する予測候補の文字列の個数が所定数未満である場合には、最大個数の予測候補の文字列を抽出して生成する。予測候補抽出部50は、抽出された所定個、又は所定個数未満で最大個数の予測候補の文字列のデータを、表示位置決定部60及び候補画像生成部75にそれぞれ出力する。
記憶部としての予測候補辞書55は、例えば携帯端末1に内蔵されるハードディスク等のディスク装置又はフラッシュメモリ等の半導体メモリを用いて構成され、検索キーとなる文字列又は文字列の読みと前方一致又は部分一致する少なくとも一個の文字列を記憶している。予測候補辞書55は、例えば検索キーが「T」である場合に検索キー「T」と前方一致する予測候補の文字列(例えば「The」、「This」、「That」等)を記憶している。
また、予測候補辞書55は、検索キーが単一又は複数である場合に単文節予測又は連文節予測において用いられる予測変換候補の変換用の辞書データだけに限らず、検索キーが単一の文節の文字列である場合に文節候補の変換用の辞書データを更に含む構成としても良い。なお、予測候補辞書55は、ハードディスク又はフラッシュメモリではなく、例えばUSB(Universal Serial Bus)端子を介して接続された外部記憶媒体(例えばUSBメモリ)を用いて構成されても良い。
表示位置決定部60は、予測候補抽出部50から出力された所定個、又は所定個数未満で最大個数の予測候補の文字列のデータを基に、後述する候補画像生成部75によって生成される各々の予測候補の文字列の画像データの画面DP上における表示位置を決定して画像合成部80に出力する。表示位置決定部60は、各々の予測候補の文字列の画面DP上における表示位置を、指FGの近接対応位置の周囲であって、且つ、予測候補の文字列の画像データの表示が指FGによって隠れない(遮られない)表示位置に決定する。
例えば、表示位置決定部60は、各々の予測候補の文字列の画面DP上における表示位置を、指FGの近接対応位置の周囲の所定位置であって、且つ、画面DP上に表示された複数の文字列のキーの各々の間の中間位置に決定する(図2(B)又は(C)参照)。なお、表示位置決定部60は、複数の文字列のキーの各々の間の中間位置に限らず、指FGの近接対応位置に応じて、予測候補の文字列の画像データの表示が指FGによって隠れない(遮られない)表示位置であれば、複数の文字列のキーの各々の間の中間位置ではない表示位置に決定しても良い。
また、表示位置決定部60は、各々の予測候補の文字列の画像データの画面DP上における表示位置を、指FGの近接対応位置の周囲の所定位置であって、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に決定しても良い。表示位置決定部60により決定される表示位置は、各々の予測候補の文字列の画像データが指FGによって表示が遮られない表示位置である。なお、表示位置決定部60は、表示位置を決定する場合に、上述した同心円の形状を用いずに、指FGの近接対応位置を起点(基準)としたそれぞれ所定の径を有する同心楕円の形状を用いても良い。
なお、表示位置決定部60は、各々の予測候補の文字列の画像データの画面DP上における表示位置を、画面DP上に表示された各々のキーの表示位置と重複する領域が出来る限り少なくなる(例えば所定面積以下となる)ように決定することが好ましい。これにより、携帯端末1は、指FGがソフトウェアキーボードのキーを選択しようとしているのか、指FGの近接対応位置の周囲に表示された予測候補の文字列を選択しようしているのかの判定を誤りなく行うことができ、ユーザの入力操作の誤検知を軽減することができる。
キー画像生成部70は、キーボードアプリケーション40から出力されたQWERTY形式のキー配列のソフトウェアキーボードを有する複数の文字列のキーの画面データ生成指示を基に、同形式のソフトウェアキーボード(図2(A)参照)の画面データを生成して画像合成部80に出力する。
候補画像生成部75は、予測候補抽出部50から出力された所定個、又は所定個数未満で最大個数の予測候補の文字列のデータを基に、予測候補の文字列の画像データを生成して画像合成部80に出力する。また、本実施形態では予測候補の文字列の画像データの大きさ(表示領域)は、画面DP上に表示されているQWERTY形式のソフトウェアキーボードの各キーの大きさ(表示領域)とほぼ同一で良いし、各キーの大きさ(表示領域)より拡大された大きさ(表示領域)でも良い。
表示制御部としての画像合成部80は、表示位置決定部60及び候補画像生成部75からの出力を基に、候補画像生成部75により生成された所定個、又は所定個数で最大個数の予測候補の文字列の画像データを、QWERTY形式のキー配列のソフトウェアキーボード上に合成して表示させる。即ち、画像合成部80は、候補画像生成部75により生成された所定個、又は所定個数で最大個数の予測候補の文字列の画像データを、表示位置決定部60により決定された画面DP上の表示位置に表示させる。
画面表示部90は、例えばLCD又は有機ELディスプレイを用いて構成され、画面DPにデータ(例えば「QWERTY」形式のキー配列のソフトウェアキーボード)を表示する機能を有し、画像合成部80から出力された画面データを画面DPに表示する。本実施形態では、画面表示部90が表示する画面データは、例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データ、又は、QWERTY形式のキー配列のソフトウェアキーボードの画面データと所定個、或いは所定個数で最大個数の予測候補の文字列とが表示された画面データである。
(本実施形態の携帯端末1の動作概要)
次に、本実施形態の携帯端末1の動作概要を、図2〜図5を参照して説明する。図2(A)は、QWERTY形式のキー配列のソフトウェアキーボードを画面DPに表示させた様子を示す図である。図2(B)は、新たな入力操作の対象文字の先頭文字「T」に指FGが近接した様子を示す図である。図2(C)は、新たな入力操作の対象文字の先頭文字「H」に指FGが近接した様子を示す図である。図2(D)は、図2(B)において「That」がタッチ操作によって選択された様子を示す図である。
(動作概要1:予測候補の文字列の表示とタッチ操作による選択)
キー画像生成部70は、キーボードアプリケーション40からの例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データの生成指示を基に、QWERTY形式のキー配列のソフトウェアキーボードの画面データを生成して画像合成部80に出力する。画像合成部80は、キー画像生成部70から出力されたQWERTY形式のキー配列のソフトウェアキーボードの画面データを、画面表示部90の画面DPの所定領域KARに表示させる(図2(A)参照)。図2(A)に示す画面DPの上部領域には、QWERTY形式のキー配列のソフトウェアキーボードに対する指FGの選択操作によって入力された文字列が表示される文字列入力領域FARが示されている。
新たな入力操作の対象文字の先頭文字が「T」である場合に指FGが「T」に近接すると、予測候補抽出部50は、文字列「T」と前方一致する「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列とを抽出して生成する。図2の説明では、所定数は例えば3である。表示位置決定部60は、3個の予測候補の文字列の画面DP上における表示位置を決定して画像合成部80に出力する。
候補画像生成部75は、「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列との各画像データを生成して画像合成部80に出力する。画像合成部80は、「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列との各画像データを、表示位置決定部60により決定された表示位置に表示させる。表示位置決定部60により決定された表示位置は、例えば指FGの近接対応位置、即ち「T」のキーの表示位置の周囲の所定位置であって、近接対応位置に表示されている文字列「T」のキーの表示位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置である。
同様に、新たな入力操作の対象文字の先頭文字が「H」である場合に指FGが「H」に近接すると、予測候補抽出部50は、「H」と前方一致する「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列とを抽出して生成する。表示位置決定部60は、3個の予測候補の文字列の画面DP上における表示位置を決定して画像合成部80に出力する。
候補画像生成部75は、「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列との各画像データを生成して画像合成部80に出力する。画像合成部80は、「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列とを、表示位置決定部60により決定された表示位置に表示させる。表示位置決定部60により決定された表示位置は、例えば指FGの近接対応位置、即ち「H」のキーの表示位置の周囲の所定位置であって、近接対応位置に表示されている文字列「H」のキーの表示位置を起点(基準)とした第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置であって、当該範囲内に存在する各キーの間の中間位置である。
また、図2(D)に示すように、指FGが「That」の予測候補PR3の文字列の画像データ上をタッチ操作すると、キーボードアプリケーション40は、操作判定部30から出力された情報を基に、選択されたキーに対応した文字列を文字列入力領域FARに表示させる。これにより、携帯端末1は、指FGの近接対応位置の周囲の所定位置に表示された予測候補の文字列がタッチ操作によって選択されることで、ユーザが入力操作の対象とする予測候補の文字列を簡易に入力することができる。
ここで、図2(B)において表示された所定数個(3個)の予測候補の文字列の中に、ユーザが入力を所望する予測候補の文字列が無かったとする。例えば、ユーザが入力を所望する予測候補が「Text」であるとする。この場合、携帯端末1は、指FGが「T」のキーに対するタッチ操作又はフリック操作によって「T」のキーを選択すると、「T」のキーを文字列入力領域FARに入力・表示させる。なお、この「T」のキーは、ユーザが入力を所望する予測候補の文字列として仮確定された状態で入力及び表示されている。
次に、ユーザの指FGが「Text」の第2番目の文字列である「e」のキーの表示位置に近接すると、予測候補抽出部50は、予測候補辞書55を参照し、文字列入力領域FARに仮確定された状態として入力及び表示された文字列「T」の次に「e」を含む少なくとも一個の予測候補の文字列を所定個、抽出して生成する。ここで、「Text」の予測候補の文字列が抽出された場合には、画像合成部80は、「Text」の予測候補の文字列を含む所定数の予測候補の文字列を、表示位置決定部60によって決定された表示位置に表示させる。
なお、「Text」の予測候補の文字列が未だに抽出されない場合には、携帯端末1は、同様にユーザの文字列「e」の選択操作に応じて、文字列「e」を仮確定された状態として文字列「Te」を文字列入力領域FARに入力及び表示する。更に、携帯端末1は、指FGが次に「x」の文字列に近接した場合に、仮確定された状態として入力及び表示されている文字列「Te」の次に「x」を含む予測候補の文字列として、「Text」の予測候補の文字列を抽出できるまで、ユーザが所望する文字列の選択操作に応じて予測候補の文字列の抽出を繰り返す。
(動作概要2:予測候補の文字列の表示とフリック操作による選択)
表示された予測候補の文字列を入力するための選択操作は、図2(D)ではタッチ操作であったが、図3(A)又は(B)に示すフリック操作でも良い。図3(A)は、「That」の予測候補PR3の文字列がフリック操作によって選択された様子を示す図である。図3(B)は、「Home」の予測候補PR4の文字列がフリック操作によって選択された様子を示す図である。なお、フリック操作とは、指FGが画面DP上をタッチ操作して素早く払う(弾く、スライドする)操作であり、本実施形態ではタッチ操作と区別して用いる。フリック操作によれば、例えば画面に表示された内容を簡易にスクロールさせることができる。
図3の説明において、所定数(図3では3)個の予測候補の文字列が表示されるまでの携帯端末1における動作は図2と同一であるため説明を省略し、異なる内容について説明する。図3(C)は、図3(B)において「Home」の予測候補PR4の文字列がフリック操作によって選択された様子を示す図である。
図3(C)に示すように、指FGが「Home」の予測候補PR4の文字列の画像データ上をフリック操作すると、キーボードアプリケーション40は、操作判定部30から出力された情報を基に、フリック操作によって選択された予測候補PR4の文字列を文字列入力領域FARに表示させる。これにより、携帯端末1は、指FGの近接対応位置の周囲の所定位置に表示された予測候補の文字列がフリック操作によって選択されることで、予測候補の文字列の画像データを選択する場合に、予測候補の文字列の画像データの背景に表示されているキーを誤って選択するユーザの誤入力を軽減することができる。また、携帯端末1は、指FGの近接対応位置の周囲の所定位置に予測候補の文字列が表示された場合に、ソフトウェアキーボードのいずれかのキーがフリック操作によって選択されることで、予測候補の文字列を誤って選択するユーザの誤入力を軽減することができる。
(動作概要3:バックスペースキーに対する操作)
また、図4に示すように、携帯端末1は、図2又は図3に示した選択操作によって予測候補の文字列が文字列入力領域FARに入力及び表示された後、指FGが所定のキー(例えば本実施形態ではバックスペースキー、以下、[BS]キーと表記する)に近接した場合に、直前に表示されていた予測候補の文字列を再表示させる。
図4(A)は、指FGがバックスペースキー([BS]キー)に近接した様子を示す図である。図4(B)は、バックスペースキー([BS]キー)の近接に応じて予測候補の文字列が再表示された様子を示す図である。図4(C)は、「Bellows」がタッチ操作によって選択された場合に、「Hello」が「Bellows」に入れ替わる様子を示す図である。なお、本実施形態では、指FGが近接した場合に直前に表示されていた予測候補の文字列を再表示させるための所定のキーの一例として、[BS]キーを用いて説明しているが、特に[BS]キーに限定されない。
図4の説明の前提として、「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列とが表示されており、指FGが「Hello」の予測候補PRaの文字列をタッチ操作又はフリック操作によって選択したとする。キーボードアプリケーション40は、指FGの「Hello」の予測候補PRaの文字列の選択操作に応じて、「Hello」の予測候補PRaの文字列を文字列入力領域FARに入力する。
ここで、「Hello」の予測候補PRaの文字列の入力がユーザの誤操作であったとする。この場合、指FGが[BS]キーに近接すると(図4(A)参照)、キーボードアプリケーション40は、指FGが近接したキーが[BS]キーであることを判定し、直前に表示されていた少なくとも一個(図4では3個)の予測候補の文字列を再表示する旨の情報を画像合成部80に指示する。画像合成部80は、キーボードアプリケーション40からの指示を基に、直前に表示されていた少なくとも一個(図4では3個)の予測候補の文字列、具体的には「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列とを、指FGの近接対応位置の周囲の所定位置に再表示させる(図4(B)参照)。
「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列とが再表示された後、指FGがタッチ操作又はフリック操作によって「Bellows」の予測候補PRbの文字列を選択する。キーボードアプリケーション40は、指FGの「Bellows」の予測候補PRbの文字列の選択操作に応じて、誤入力された「Hello」の予測候補PRaの文字列を、「Bellows」の予測候補PRbの文字列に入れ替える(図4(C)参照)。
図5(A)は、バックスペースキー([BS]キー)がタッチ操作によって選択された様子を示す図である。図5(B)は、バックスペースキー([BS]キー)のタッチ操作に応じて予測候補の文字列が非表示(消去)された様子を示す図である。
「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列とが再表示された状態において、指FGが[BS]キーをタッチ操作又はフリック操作によって選択する(図5(A)参照)。キーボードアプリケーション40は、指FGの[BS]キーの選択操作に応じて、再表示された「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列と、文字列入力領域FARに入力・表示されていた「Hello」の予測候補PRaの文字列とを非表示(消去)する(図5(B)参照)。
(第1の実施形態の携帯端末1の動作)
図6は、第1の実施形態の携帯端末1の動作手順を説明するフローチャートである。図6の説明において、必要に応じて、図2から図5の内容を参照する。図6の説明の前提として、画像合成部80は、キー画像生成部70から出力された例えばQWERTY形式のキー配列のソフトウェアキーボードを画面DPの所定領域KARに表示させている(図2(A)参照)。
図6において、携帯端末1は、画面DP上において新たな入力操作の対象文字に対して指FGが近接したか否かを操作判定部30において判定する(S11)。操作判定部30は、近接座標評価部10から出力された近接座標(x、y、z)の情報を基にして画面DP上において新たな入力操作の対象文字に対して指FGが近接したことを判定した場合に限り(S11、YES)、近接対応位置に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40に出力する。
キーボードアプリケーション40は、操作判定部30から出力された判定要求と表示キー位置情報45とを基に、近接対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40は、判定されたキーの情報を操作判定部30に出力する。操作判定部30は、キーボードアプリケーション40から出力された情報、即ち近接対応位置に対応する画面DP上に表示されているキーの情報を取得して予測候補抽出部50に出力する。
予測候補抽出部50は、操作判定部30から出力されたキーの情報、即ち近接対応位置に対応する画面DP上に表示されているキーの情報を基に、予測候補辞書55を参照し、当該キーの情報に対応するキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータがあるか否かを判定する(S12)。近接対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータが無いと判定された場合には(S12、NO)、携帯端末1の動作はステップS18に進む。
近接対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータがあると判定された場合には(S12、YES)、予測候補抽出部50は、抽出された少なくとも一個の予測候補の文字列のデータを、表示位置決定部60及び候補画像生成部75にそれぞれ出力する。
表示位置決定部60は、予測候補抽出部50から出力された少なくとも一個の予測候補の文字列のデータを基に、候補画像生成部75によって生成される少なくとも一個の予測候補の文字列の画像データの画面DP上における表示位置を決定して画像合成部80に出力する(S13)。例えば、表示位置決定部60は、少なくとも一個の予測候補の文字列の画面DP上における表示位置を、指FGの近接対応位置の周囲の所定位置であって、且つ、画面DP上に表示された複数の文字列のキーの各々の間の中間位置に決定する(図2(B)又は(C)参照)。
また、候補画像生成部75は、予測候補抽出部50から出力された少なくとも一個の予測候補の文字列のデータを基に、予測候補の文字列の画像データを生成して画像合成部80に出力する(S14)。なお、図6及び図13に示すフローチャートにおいて、ステップS13の動作とステップS14の動作との順序は同じでも良いし、ステップS13の動作とステップS14の動作との順序は逆でも良い。
画像合成部80は、表示位置決定部60及び候補画像生成部75からの各出力を基に、候補画像生成部75により生成された少なくとも一個の予測候補の文字列の画像データを、QWERTY形式のキー配列のソフトウェアキーボードに合成して表示させる(S15)。即ち、画像合成部80は、候補画像生成部75により生成された少なくとも一個の予測候補の文字列の画像データを、表示位置決定部60により決定された画面DP上の表示位置に表示させる。
少なくとも一個の予測候補の文字列の画像データが表示位置決定部60により決定された画面DP上の表示位置に表示された後、携帯端末1は、いずれかの予測候補の文字列に対するユーザの選択操作(タッチ操作又はフリック操作)があったか否かを判定する(S16)。いずれかの予測候補の文字列に対するユーザの選択操作が無い場合には(S16、NO)、携帯端末1の動作はステップS18に進む。
いずれかの予測候補の文字列に対するユーザの選択操作がある場合には(S16、YES)、キーボードアプリケーション40は、指FGの入力操作としてタッチ操作、タッチスライド操作及びフリック操作のうちいずれかの操作が行われた旨の情報を操作判定部30から取得し、いずれかの操作によって選択された予測候補の文字列を確定された入力文字列として文字列入力領域FAR(図2(D)参照)に入力及び表示させる(S17)。更に、キーボードアプリケーション40は、ステップS17において選択された予測候補の文字列を入力及び表示させた後、画面DPに表示されていた全ての予測候補の文字列を非表示する旨の情報を画像合成部80に出力する。画像合成部80は、キーボードアプリケーション40から出力された情報を基に、画面DPに表示されていた全ての予測候補の文字列を非表示させる(S51)。ステップS51の後、携帯端末1の動作はステップS20に進む。
ステップS18の動作は、ステップS12において予測候補の文字列が抽出されなかった場合、同ステップS12においてユーザが所望する予測候補の文字列が画面DP上に表示されなかった場合又はステップS16において予測候補の文字列が選択操作されなかった場合の携帯端末1の動作である。携帯端末1は、画面DP上において予約候補の文字列ではない他の文字列(例えばソフトウェアキーボード上の文字列)のキーに対して指FGが接触したか否かを操作判定部30において判定する(S18)。操作判定部30が画面DP上において予約候補の文字列ではない他の文字列に対して指FGが接触したことを判定しない場合には(S18、NO)、携帯端末1の動作はステップS11に戻る。
操作判定部30は、タッチ座標評価部20から出力されたタッチ座標(x、y)の情報を基にして画面DP上において予約候補の文字列ではない他の文字列に対して指FGが接触したことを判定した場合には(S18、YES)、タッチ座標(x、y)に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40に出力する。
キーボードアプリケーション40は、操作判定部30から出力された判定要求と表示キー位置情報45とを基に、タッチ座標(x、y)に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40は、判定されたキーの入力を仮確定し、仮確定されたキーを文字列入力領域FARに入力及び表示させる(S19)。ステップS19の後、携帯端末1の動作はステップS11に戻る。
ステップS17の後、即ち何らかの予測候補の文字列がユーザの入力操作の対象文字として確定されて文字列入力領域FARに入力及び表示された後、携帯端末1は、画面DP上において[BSキー]に対して指FGが近接したか否かを操作判定部30において判定する(S20)。操作判定部30が画面DP上において[BSキー]に対して指FGが近接したと判定しない場合には(S20、NO)、携帯端末1の動作はステップS11に戻る。
操作判定部30は、画面DP上において[BSキー]に対して指FGが近接したと判定した場合には(S20、YES)、画面DP上において[BSキー]に対して指FGが近接した旨の情報をキーボードアプリケーション40に出力する。キーボードアプリケーション40は、指FGが近接したキーが[BS]キーであることを判定し、直前に表示されていた少なくとも一個の予測候補の文字列を再表示する旨の情報を画像合成部80に指示する。画像合成部80は、キーボードアプリケーション40からの指示を基に、直前に表示されていた少なくとも一個の予測候補の文字列を、指FGの近接対応位置の周囲の所定位置に再表示させる(S21、図4(B)参照)。
ステップS21の後、操作判定部30は、再表示された少なくとも一個の予測候補の文字列のうちいずれかの予測候補の文字列が指FGのタッチ操作又はフリック操作によって選択されたか否かを判定する(S22)。操作判定部30は、再表示された少なくとも一個の予測候補の文字列のうちいずれかの予測候補の文字列が指FGのタッチ操作又はフリック操作によって選択されたと判定した場合には(S22、YES)、その旨の情報をキーボードアプリケーション40に出力する。キーボードアプリケーション40は、操作判定部30から出力された情報を基に、文字列入力領域FARに入力及び表示された予測候補の文字列を、指FGによって選択されたいずれかの予測候補の文字列に入れ替える(S23、図4(B)及び(C)参照)。ステップS23の後、携帯端末1の動作はステップS11に戻る。
操作判定部30は、再表示された少なくとも一個の予測候補の文字列のうちいずれかの予測候補の文字列が指FGのタッチ操作又はフリック操作によって選択されていないと判定した場合には(S22、NO)、指FGが[BS]キーをタッチ操作又はフリック操作によって選択したか否かを判定する(S24)。指FGが[BS]キーをタッチ操作又はフリック操作によって選択していないと判定された場合には(S24、NO)、携帯端末1の動作はステップS11に戻る。
操作判定部30は、指FGが[BS]キーをタッチ操作又はフリック操作によって選択したと判定した場合には(S24、YES)、その旨の情報をキーボードアプリケーション40に出力する。キーボードアプリケーション40は、操作判定部30から出力された情報を基に、再表示された少なくとも一個の予測候補の文字列と、文字列入力領域FARに入力及び表示されていた予測候補の文字列とを非表示(消去)する(S25、図5(B)参照)。ステップS25の後、携帯端末1の動作はステップS11に戻る。
以上により、本実施形態の携帯端末1は、画面DPに表示されたQWERTY形式のキー配列のソフトウェアキーボードのいずれかのキーに対して指FGが近接した場合に、近接が検知された指FGの近接対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を、指FGの近接対応位置の周囲の所定位置に表示させる。
これにより、携帯端末1は、ユーザの入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に近接が検知された指示媒体(例えばユーザの指)に対応する画面上の位置の周囲に表示させ、ユーザは指FGの近接対応位置から予測候補の文字列の表示位置までの間だけ視点及び指FGを移動させれば良いので、ユーザの入力操作の煩雑性を緩和することができる。
(第1の実施形態の変形例)
図7(A)は、所定数を超える予測候補の文字列を表示する様子を示す図である。図7(B)は、ガイド線GD1〜GD3を表示する様子を示す図である。上述した実施形態では、予測候補抽出部50が少なくとも一個以上で所定数(例えば3個)以下の予測候補の文字列を抽出した場合を想定して説明した。予測候補抽出部50が所定数を超える予測候補の文字列を抽出した場合、携帯端末1は、所定数を超える残りの予測候補の文字列を図7(A)又は(B)に示すように表示させても良い。
即ち、図7(A)に示すように、予測候補抽出部50が指FGの近接対応位置に表示されている「H」のキーに対応する文字列「H」と前方一致する合計6個の予測候補の文字列を抽出した場合、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に、「Home」の予測候補PR4と、「How」の予測候補PR5と、「Health」の予測候補PR6とを表示させ、更に、指FGの近接対応位置を起点(基準)として第2半径の同心円の外側であって第2半径より大きい第3半径の同心円の内側の範囲内の位置に、「Heat」の予測候補PR7と、「Head」の予測候補PR8と、「House」の予測候補PR9とを表示させる。
図7(A)において、携帯端末1は、指FGのフリック操作時の移動距離が所定の閾値以上であるか否かに応じて、例えば「Home」の予測候補PR4の文字列又は「Heat」の予測候補PR7の文字列を選択する。従って、携帯端末1は、指FGのフリック操作時の移動距離が所定の閾値以上である場合には「Heat」の予測候補PR7の文字列を選択し、指FGのフリック操作時の移動距離が所定の閾値未満である場合には「Home」の予測候補PR4の文字列を選択する。
また、図7(A)において、携帯端末1は、指FGがフリック操作時に画面DPに接触するか又はフリック操作時に画面DPに接触せずに近接検知範囲内のホバー操作の中でフリック操作するかに応じて、例えば「Home」の予測候補PR4の文字列又は「Heat」の予測候補PR7の文字列を選択しても良く、又はその逆でも良い。
従って、携帯端末1は、指FGがフリック操作時に画面DPに接触した、いわゆる通常のフリック操作を行った場合には「Home」の予測候補PR4の文字列を選択し、指FGがフリック操作時の画面DPに接触せずに近接検知範囲内のホバー操作の中でフリック操作した場合には「Heat」の予測候補PR7の文字列を選択する。
また、携帯端末1は、指FGの近接対応位置を起点として第1半径の同心円と、第2半径の同心円と、第3半径の同心円との各位置をユーザに識別させるためのガイド線GD1、ガイド線GD2、ガイド線GD3を更に表示させても良い(図7(B)参照)。なお、携帯端末1は、予測候補の文字列の個数と各範囲に表示可能な予測候補の文字列の個数とに応じて、第3半径、第4半径、…、第n半径の各同心円との間の範囲の位置に予測候補の文字列を同様に表示しても良い。これにより、携帯端末1は、ユーザに例えばフリック操作によって所望の予測候補の文字列を容易に選択させることができ、予測候補の文字列の誤選択を軽減することができる。
図8は、指FGによって表示が遮られない位置に予測候補の文字列が表示される様子を示す図である。上述した実施形態では、表示位置決定部60は、少なくとも一個の予測候補の文字列の画面DP上における表示位置を、例えば指FGの近接対応位置の周囲の所定位置であって画面DP上に表示された複数のキーの各々の間の中間位置に決定する。
また、表示位置決定部60は、近接が検知された指FGの特定点(例えば静電容量値が最大となる位置)における近接検知信号だけではなく、当該特定点を含む複数箇所における複数の近接検知信号を基にして、近接が検知された時の指FGの傾きを検知し、近接が検知された時における指FGの傾きを考慮して、少なくとも一個の予測候補の文字列の画面DP上における表示位置を、指FGによって予測候補の文字列の表示が遮られない表示位置に決定しても良い(図8参照)。
従って、図8では、携帯端末1は、「Get」の予測候補PR10の文字列と、「Guide」の予測候補PR11の文字列と、「Green」の予測候補PR12の文字列とを、複数の近接検知信号を基に傾きが検知された指FGによって表示が遮られない表示位置、即ち、左側に傾いている指FGの右側であって、同様に指FGの近接対応位置に表示されている「G」のキーを起点(基準)とした第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に表示させる。
これにより、携帯端末1は、少なくとも一個の予測候補の文字列を、指FGによって選択し難い表示位置に表示することがなくなるので、ユーザの予測候補の文字列の選択操作を簡易化させることができる。
図9(A)は、テンキー形式のキー配列のソフトウェアキーボードが表示された画面DPにおいて予測候補の文字列が表示された様子を示す図である。図9(B)は、テンキー形式のキー配列のソフトウェアキーボードが表示された画面DPにおいて予測候補としての漢字を含む文字列と絵文字の文字列とが表示される様子を示す図である。上述した実施形態では、キー配列のソフトウェアキーボードの一例として「QWERTY」形式を用いて説明したが、「テンキー」形式のキー配列を用いても良い。
図9(A)では、指FGが文字列「な」のキーに対して近接した場合に、予測候補抽出部50は、予測候補辞書55を参照し、近接対応位置に表示されている文字列「な」のキーに対応する文字列「な」又は文字列「な」の読みと前方一致する所定個(例えば3個)の予測候補の文字列を抽出して生成する。画像合成部80は、表示位置決定部60により決定された画面DPの表示位置に、所定個の予測候補の文字列の画像データを表示させる。具体的には、携帯端末1は、「慣れる」の予測候補PR13の文字列と、「夏休み」の予測候補PR14の文字列と、「何でも」の予測候補PR15の文字列とを、指FGの近接対応位置の周囲の所定位置であって、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に表示させる。
また、図9(B)に示すように、指FGが文字列「な」のキーに対して近接した場合に、予測候補抽出部50は、予測候補辞書55を参照し、近接対応位置に表示されている文字列「な」のキーに対応する文字列「な」と前方一致する所定個(例えば6個)の予測候補の文字列として、漢字を含む文字列と文字列「な」に関連する絵文字(例えば「泣く」に関連する絵文字)の文字列とを抽出して生成しても良い。また、図9(A)において、携帯端末1は、指FGが文字列「な」のキーに対して近接した場合に、近接対応位置に表示されている文字列「な」に関連する絵文字(例えば「泣く」に関連する絵文字)を表示させても良い。
この場合、表示位置決定部60は、漢字を含む文字列の画像データの表示位置を、従来の携帯端末と同様に「テンキー」形式のキー配列TARの上部に設けられた所定領域UARに決定する。更に、表示位置決定部60は、文字列「な」に関連する絵文字の文字列の画像データの表示位置を、上述した実施形態において説明した指FGの近接対応位置の周囲の所定位置であって、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に決定する。
画像合成部80は、図9(B)に示すように、漢字を含む文字列の画像データを、キー配列TARの上部に設けられた所定領域UARに表示させ、更に、文字列「な」に関連する絵文字の文字列の画像データを指FGの近接対応位置の周囲の所定位置であって、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に表示させる。
これにより、携帯端末1は、指FGが近接した近接対応位置に表示されている文字列に関連する漢字を含む文字列と、近接対応位置に表示されている文字列に関連する絵文字の文字列とを予測候補の文字列として表示させるので、ユーザが選択しようとする予測候補の文字列を数多く示すことができ、選択の自由度を広げることができ、ユーザの選択操作を簡易化させることができる。
また、図7(A)又は(B)において、携帯端末1は、指FGの近接対応位置から近い表示位置に絵文字の文字列を表示させ、指FGの近接対応位置から遠い表示位置に漢字を含む予測候補の文字列を表示させても良く、又はその逆でも良い。
また、上述した実施形態では、携帯端末1は、予測候補の文字列を抽出するための条件として指FGの近接対応位置に表示されているキーに対応する文字列又はその文字列の読みとの前方一致を用いたが、例えば文字列入力領域FARに入力された文字列との類似度判定を用いても良い。これにより、携帯端末1は、文字列入力領域FARに既に入力された文字列に類似すると判定された文字列を予測候補の文字列として表示するので、ユーザの予測候補の文字列の選択の自由度を広げることができ、ユーザの選択操作を簡易化させることができる。
(第2の実施形態の説明)
第2の実施形態では、携帯端末1aは、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーに対して指FGが接触した場合に、接触が検知された指FGに対応する画面DP上の位置(以下、「接触対応位置」と定義する)の周囲の所定位置に、接触対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる(図11参照)。
(携帯端末1aの機能的構成)
次に、第2の実施形態の携帯端末1aの機能的構成について、図10を参照して説明する。図10は、第2の実施形態の携帯端末1aの機能的構成を示すブロック図である。図10に示す携帯端末1aは、タッチ検知部15、タッチ座標評価部20、操作判定部30a、キーボードアプリケーション40a、予測候補抽出部50a、予測候補辞書55、表示位置決定部60、キー画像生成部70、候補画像生成部75、画像合成部80及び画面表示部90を含む。本実施形態では、第1の実施形態の携帯端末1の各部の説明と同様の内容の説明は省略し、異なる内容について説明する。
本実施形態において、指FGのタッチ(接触)を検知可能なタッチパネルTPaは、タッチ検知部15及びタッチ座標評価部20を用いて構成可能である。
操作判定部30aは、タッチ座標評価部20から出力されたタッチ座標(x、y)の情報を基に、指FGの入力操作がタッチ操作(又はタップ操作も可)、タッチスライド操作(ドラッグ操作)及びフリック操作のうちいずれの操作であるかを判定する。
操作判定部30aは、指FGの入力操作がタッチ操作(又はタップ操作も可)であると判定した場合に、接触対応位置に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40aに出力する。操作判定部30aは、キーボードアプリケーション40aから出力された情報、即ち接触対応位置に対応する画面DP上に表示されているキーの情報を取得して予測候補抽出部50aに出力する。
キーボードアプリケーション40aは、操作判定部30aから出力された判定要求と表示キー位置情報45とを基に、接触対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40aは、判定されたキーの情報を操作判定部30aに出力する。
また、文字列入力部としてのキーボードアプリケーション40aは、指FGの入力操作がタッチ操作(又はタップ操作も可)、タッチスライド操作(ドラッグ操作)又はフリック操作である旨の情報を操作判定部30aから取得した場合には、いずれかの操作によって選択されたキーに対応した文字列又は予測候補の文字列を画面表示部90の画面DPの文字列入力領域FAR(図10参照)に入力・表示させる(図12参照)。なお、本実施形態及び後述する本実施形態の変形例では、タッチスライド操作(ドラッグ操作)及びフリック操作は、画面DPに表示された予測候補の文字列を携帯端末1aに入力させるためにユーザが行う選択操作である。
予測候補抽出部50aは、操作判定部30aから出力されたキーの情報、即ち接触対応位置に対応する画面DP上に表示されているキーの情報を基に、予測候補辞書55を参照し、当該キーの情報に対応するキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータを所定個(例えば3個)、抽出して生成する。
(本実施形態の携帯端末1aの動作概要)
次に、本実施形態の携帯端末1aの動作概要を、図11及び図12を参照して説明する。図11(A)は、QWERTY形式のキー配列のソフトウェアキーボードを画面DPに表示させた様子を示す図である。図11(B)は、新たな入力操作の対象文字の先頭文字「T」に指FGが接触した様子を示す図である。図11(C)は、新たな入力操作の対象文字の先頭文字「H」に指FGが接触した様子を示す図である。
(動作概要1:予測候補の文字列の表示)
キー画像生成部70は、キーボードアプリケーション40aからの例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データの生成指示を基に、QWERTY形式のキー配列のソフトウェアキーボードの画面データを生成して画像合成部80に出力する。画像合成部80は、キー画像生成部70から出力されたQWERTY形式のキー配列のソフトウェアキーボードの画面データを、画面表示部90の画面DPの所定領域KARに表示させる(図11(A)参照)。図11(A)に示す画面DPの上部領域には、QWERTY形式のキー配列のソフトウェアキーボードに対する指FGの選択操作によって入力された文字列が表示される文字列入力領域FARが示されている。
新たな入力操作の対象文字の先頭文字が「T」である場合に指FGが「T」に接触(例えばタッチ操作又はタップ操作)すると(図11(B)参照)、予測候補抽出部50aは、文字列「T」と前方一致する「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列とを抽出して生成する。図11の説明では、所定数は例えば3である。表示位置決定部60は、3個の予測候補の文字列の画面DP上における表示位置を決定して画像合成部80に出力する。表示位置決定部60により決定される予測候補の文字列の表示位置は、第1の実施形態における表示位置決定部60により決定される表示位置と同じである。
候補画像生成部75は、「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列との各画像データを生成して画像合成部80に出力する。画像合成部80は、「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列との各画像データを、表示位置決定部60により決定された表示位置に表示させる。表示位置決定部60により決定された表示位置は、例えば指FGの接触対応位置、即ち「T」のキーの表示位置の周囲の所定位置であって、接触対応位置に表示されている文字列「T」のキーの表示位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置である。
同様に、新たな入力操作の対象文字の先頭文字が「H」である場合に指FGが「H」に接触(例えばタッチ操作又はタップ操作)すると(図11(C)参照)、予測候補抽出部50aは、「H」と前方一致する「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列とを抽出して生成する。表示位置決定部60は、3個の予測候補の文字列の画面DP上における表示位置を決定して画像合成部80に出力する。
候補画像生成部75は、「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列との各画像データを生成して画像合成部80に出力する。画像合成部80は、「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列とを、表示位置決定部60により決定された表示位置に表示させる。表示位置決定部60により決定された表示位置は、例えば指FGの接触対応位置、即ち「H」のキーの表示位置の周囲の所定位置であって、接触対応位置に表示されている文字列「H」のキーの表示位置を起点(基準)とした第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置であって、当該範囲内に存在する各キーの間の中間位置である。
(動作概要2:タッチスライド操作(ドラッグ操作)による選択)
本実施形態では、図11(B)又は(C)に示す各予測候補の文字列が表示された後、携帯端末1aは、ユーザがいずれかの予測候補の文字列を選択するための操作(例えばドラッグ操作又はフリック操作)に応じて、当該操作によって選択された予測候補の文字列を入力・表示させる(図12参照)。
図12(A)は、「Home」の予測候補PR4の文字列がドラッグ操作によって選択される様子を示す図である。図12(B)は、「Home」の予測候補PR4の文字列がドラッグ操作によって選択された瞬間の様子を示す図である。図12(C)は、「Home」の予測候補PR4の文字列が入力されて指FGがリリース操作した後の様子を示す図である。
図12の説明において、所定数(図12(A)又は(B)では3)個の予測候補の文字列が表示されるまでの携帯端末1aにおける動作は図11と同一であるため説明を省略し、異なる内容について説明する。図12では、例えばタッチスライド操作(ドラッグ操作)によっていずれかの予測候補の文字列が選択されるとして説明する。
指FGがドラッグ操作前の位置である接触対応位置に表示されている「H」のキーの表示位置(図12(A)参照)から、「Home」の予測候補PR4の文字列の画像データに向かってドラッグ操作すると(図12(B)参照)、キーボードアプリケーション40aは、操作判定部30aから出力された情報を基に、ドラッグ操作によって選択された「Home」の予測候補PR4の文字列を文字列入力領域FARに表示させる。キーボードアプリケーション40aは、ドラッグ操作によって選択された「Home」の予測候補PR4の文字列を文字列入力領域FARに表示させた後、「Home」の予測候補PR4の文字列の選択前に画面DPに表示されていた全ての予測候補PR4〜PR6の各文字列を非表示させる(図12(C)参照)。
これにより、携帯端末1aは、指FGの接触対応位置の周囲の所定位置に表示された予測候補の文字列がドラッグ操作によって選択されることで、予測候補の文字列の画像データを選択する場合に、予測候補の文字列の画像データの背景に表示されているキーを誤って選択するユーザの誤入力を軽減することができる。
また、ユーザが予測候補の文字列を選択するための選択操作は、ドラッグ操作でなくても良く、例えば第1の実施形態と同様にフリック操作でも良い(図3(B)及び(C)参照)。この場合、携帯端末1aは、指FGの近接対応位置の周囲の所定位置に予測候補の文字列が表示された場合に、ソフトウェアキーボードのいずれかのキーがフリック操作によって選択されることで、予測候補の文字列を誤って選択するユーザの誤入力を軽減することができる。
(第2の実施形態の携帯端末1aの動作)
図13は、第2の実施形態の携帯端末1aの動作手順を説明するフローチャートである。図13の説明において、必要に応じて、図11又は図12の内容を参照する。図13の説明の前提として、画像合成部80は、キー画像生成部70から出力された例えばQWERTY形式のキー配列のソフトウェアキーボードを画面DPの所定領域KARに表示させている(図11(A)参照)。また、図13に示すフローチャートの説明では、図6に示すフローチャートの説明と同様の内容の説明は省略し、異なる内容について説明する。
図13において、携帯端末1aは、画面DP上において新たな入力操作の対象文字に対して指FGが接触したか否かを操作判定部30aにおいて判定する(S41)。操作判定部30aは、タッチ座標評価部20から出力されたタッチ座標(x、y)の情報を基にして画面DP上において新たな入力操作の対象文字に対して指FGが接触したことを判定した場合に限り(S41、YES)、接触対応位置に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40aに出力する。
キーボードアプリケーション40aは、操作判定部30aから出力された判定要求と表示キー位置情報45とを基に、接触対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40aは、判定されたキーの情報を操作判定部30aに出力する。操作判定部30aは、キーボードアプリケーション40aから出力された情報、即ち接触対応位置に対応する画面DP上に表示されているキーの情報を取得して予測候補抽出部50aに出力する。
予測候補抽出部50aは、操作判定部30aから出力されたキーの情報、即ち接触対応位置に対応する画面DP上に表示されているキーの情報を基に、予測候補辞書55を参照し、当該キーの情報に対応するキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータがあるか否かを判定する(S42)。接触対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータが無いと判定された場合には(S42、NO)、携帯端末1aの動作はステップS18に進む。
接触対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータがあると判定された場合には(S42、YES)、予測候補抽出部50aは、抽出された少なくとも一個の予測候補の文字列のデータを、表示位置決定部60及び候補画像生成部75にそれぞれ出力する。
また、少なくとも一個の予測候補の文字列の画像データが表示位置決定部60により決定された画面DP上の表示位置に表示された後、携帯端末1aは、いずれかの予測候補の文字列に対するユーザの選択操作(ドラッグ操作又はフリック操作)があったか否かを判定する(S46)。いずれかの予測候補の文字列に対するユーザの選択操作が無い場合には(S46、NO)、携帯端末1aの動作はステップS18に進む。
いずれかの予測候補の文字列に対するユーザの選択操作がある場合には(S46、YES)、キーボードアプリケーション40aは、指FGの入力操作としてドラッグ操作又はフリック操作が行われた旨の情報を操作判定部30aから取得し、いずれかの操作によって選択された予測候補の文字列を確定された入力文字列として文字列入力領域FAR(図12(B)参照)に入力及び表示させる(S47)。
キーボードアプリケーション40aは、ステップS47において選択された予測候補の文字列を入力及び表示させた後、画面DPに表示されていた全ての予測候補の文字列を非表示する旨の情報を画像合成部80に出力する。画像合成部80は、キーボードアプリケーション40aから出力された情報を基に、画面DPに表示されていた全ての予測候補の文字列を非表示させる(S51)。ステップS51の後、携帯端末1aの動作は終了する。
以上により、本実施形態の携帯端末1aは、画面DPに表示されたQWERTY形式のキー配列のソフトウェアキーボードのいずれかのキーに対して指FGが接触した場合に、接触が検知された指FGの接触対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を、指FGの接触対応位置の周囲の所定位置に表示させる。
これにより、携帯端末1aは、ユーザの入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に接触が検知された指示媒体(例えばユーザの指)に対応する画面DP上の位置の周囲に表示させ、ユーザは指FGの接触対応位置から予測候補の文字列の表示位置までの間だけ視点及び指FGを移動させれば良いので、ユーザの入力操作の煩雑性を緩和することができる。
(第2の実施形態の変形例)
第2の実施形態の変形例として、携帯端末1aは、例えばユーザが所望する予測候補の文字列が表示されていないために入力文字列として未確定状態であって既に少なくとも一個の文字列が入力されている場合に、当該入力済みの文字列又はその文字列の読みと前方一致する予測候補の文字列を、当該入力済みの文字列の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させても良い(図14参照)。なお、本変形例においても、携帯端末1aの機能的構成は図10に示す第2の実施形態の携帯端末1aの構成と同様であるため、同じ符号を用いて説明する。
図14は、テンキー形式のキー配列TARのソフトウェアキーボードが表示された画面DPの所定領域KARにおいて、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する少なくとも一個の予測候補の文字列が文字列「あし」の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示されている様子を示す図である。
図14では、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する予測候補の文字列として、予測候補PR21「アジア」、予測候補PR22「味」、予測候補PR23「明日」、予測候補PR24「足も」及び予測候補PR25「味わい」の各文字列の画像データが、文字列「あし」の次の文字列の読みに対応する「あ」、「さ」、「た」、「ま」及び「わ」の各キーの表示位置の周囲の所定位置に表示されている。また本変形例では、携帯端末1aは、入力文字列として未確定状態であって既に入力された文字列「あし」のいずれかの文字列に濁点が付与された文字列と前方一致する予測候補の文字列を抽出して表示させても良い(図14に示す予測候補PR21「アジア」の文字列を参照)。
本変形例の携帯端末1aの動作は図13に示すフローチャートのステップS41〜S45に対応するが、次に、本変形例の携帯端末1aにおける各ステップの動作を本変形例の内容に対応させて説明する。第2の実施形態の携帯端末1aの動作と同様の内容については説明を省略し、第2の実施形態と本変形例とにおいて異なる内容を説明する。
本変形例の携帯端末1aの動作説明の前提として、画像合成部80は、キー画像生成部70から出力された例えばテンキー形式のキー配列TARのソフトウェアキーボードを画面DPの所定領域KARに表示させている(図14参照)。
本変形例では、キーボードアプリケーション40aは、入力文字列として未確定状態であって既に文字列「あし」が入力された場合、操作判定部30aから出力された判定要求と表示キー位置情報45とを基に、指FGの接触対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40aは、入力文字列として未確定状態であって既に文字列「あし」が入力されているので、指FGの接触対応位置に対応する画面DP上に表示されているキーを「さ」のキーと判定し、この「さ」のキーの情報を操作判定部30aに出力する。操作判定部30aは、キーボードアプリケーション40aから出力された情報、即ち接触対応位置に対応する画面DP上に表示されている「さ」のキーの情報を取得して予測候補抽出部50aに出力する。
予測候補抽出部50aは、操作判定部30aから出力されたキーの情報、即ち接触対応位置に対応する画面DP上に表示されている「さ」のキーの情報と入力文字列として未確定状態であって既に入力されている文字列「あし」の情報とを基に、予測候補辞書55を参照し、入力文字列として未確定状態であって既に入力されている文字列「あし」と前方一致する少なくとも一個の予測候補の文字列のデータがあるか否かを判定する(S42)。接触対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータが無いと判定された場合には(S42、NO)、携帯端末1aの動作はステップS18に進む。
入力文字列として未確定状態であって既に入力されている文字列「あし」と前方一致する少なくとも一個の予測候補の文字列のデータがあると判定された場合には(S42、YES)、予測候補抽出部50aは、抽出された少なくとも一個の予測候補の文字列のデータを、表示位置決定部60及び候補画像生成部75にそれぞれ出力する。
表示位置決定部60は、予測候補抽出部50aから出力された少なくとも一個の予測候補の文字列のデータを基に、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する予測候補の文字列の表示位置を、既に入力された文字列「あし」の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に決定する(S13)。キーの表示位置の周囲の所定位置とは、例えば当該キーの表示範囲の上部とするが(図14参照)、当該キーの表示範囲の上部に限定されず、当該キーの表示範囲の下部でも良い。表示位置決定部60は、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する予測候補の文字列の表示位置の情報を画像合成部80に出力する。
候補画像生成部75は、予測候補抽出部50aから出力された少なくとも一個の予測候補の文字列のデータを基に、予測候補の文字列の画像データを生成して画像合成部80に出力する(S14)。
画像合成部80は、表示位置決定部60及び候補画像生成部75からの各出力を基に、候補画像生成部75により生成された予測候補PR21「アジア」、予測候補PR22「味」、予測候補PR23「明日」、予測候補PR24「足も」及び予測候補PR25「味わい」の各文字列の画像データを、テンキー形式のキー配列TARのソフトウェアキーボードに合成して表示させる(S15)。即ち、画像合成部80は、候補画像生成部75により生成された少なくとも一個の予測候補の文字列の画像データを、表示位置決定部60により決定された画面DP上の表示位置に表示させる(図14参照)。また、画像合成部80は、候補画像生成部75により生成された少なくとも一個の予測候補の文字列の画像データを、「テンキー」形式のキー配列TARの上部に設けられた所定領域UARに表示しても良い(図14参照)。
以上により、第2の実施形態の変形例では、携帯端末1aは、入力文字列として未確定状態であって既に少なくとも一個の文字列が入力されている場合に、当該入力済みの文字列又はその文字列の読みと前方一致する予測候補の文字列を、当該入力済みの文字列の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させる(図14参照)。
これにより、携帯端末1aは、入力文字列として未確定状態であって既に入力された文字列に連続する予測候補の文字列をユーザが選択し易い位置に明示的に表示させることで、次に入力したいと考える文字列の読みに対応するキーの表示位置にユーザの視点移動を効率的に誘導することができ、ユーザの文字列の入力操作を簡易化させることができる。
以上、図面を参照して各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
なお、第2の実施形態の変形例で説明した内容は、ユーザの入力操作時に特定のキーに対する近接が検知された場合に、当該近接が検知された指示媒体(例えばユーザの指)に対応する画面DP上の近接対応位置の周囲に予測候補の文字列を表示させる場合にも適用可能である。即ち、携帯端末1は、入力文字列として未確定状態であって既に少なくとも一個の文字列が入力されている場合に、近接が検知されている指FGの近接対応位置に表示されている文字列又はその文字列の読みと前方一致する予測候補の文字列を、当該入力済みの文字列の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させても良い。これにより、携帯端末1aは、入力文字列として未確定状態であって既に入力された文字列に連続する予測候補の文字列をユーザが選択し易い位置に明示的に表示させることで、次に入力したいと考える文字列の読みに対応するキーの表示位置にユーザの視点移動を効率的に誘導することができ、ユーザの文字列の入力操作を簡易化させることができる。
なお、第2の実施形態又は第2の実施形態の変形例において、携帯端末1aは、予測候補抽出部50aが所定数(例えば3)を超える予測候補の文字列を抽出した場合には、指示媒体(例えばユーザの指FG)の接触対応位置を基準として、所定数の予測候補の文字列が表示された表示位置の外側に、残りの予測候補の文字列を表示させても良い(図7(A)又は(B)参照)。更に、携帯端末1aは、指FGの接触対応位置を起点として第1半径の同心円と、第2半径の同心円と、第3半径の同心円との各位置をユーザに識別させるためのガイド線GD1、ガイド線GD2、ガイド線GD3を更に表示させても良い(図7(B)参照)。なお、携帯端末1aは、予測候補の文字列の個数と各範囲に表示可能な予測候補の文字列の個数とに応じて、第3半径、第4半径、…、第n半径の各同心円との間の範囲の位置に予測候補の文字列を同様に表示しても良い。これにより、携帯端末1aは、ユーザに例えばドラッグ操作によって所望の予測候補の文字列を容易に選択させることができ、予測候補の文字列の誤選択を軽減することができる。
なお、第1の実施形態又は第1の実施形態の変形例において、携帯端末1は、ユーザの指FGの近接操作(例えばホバー操作)の検知に応じて予測候補の文字列が画面DPに表示された後、指FGのドラッグ操作に応じて、ドラッグ操作後の指FGが指す予測候補の文字列を、画面DPの文字列入力領域FAR(図2参照)に入力・表示させても良い。
本発明は、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に近接が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和する入力装置及び入力支援方法として有用である。
1、1a 携帯端末
5 近接検知部
10 近接座標評価部
15 タッチ検知部
20 タッチ座標評価部
30、30a 操作判定部
40、40a キーボードアプリケーション
50、50a 予測候補抽出部
60 表示位置決定部
70 キー画像生成部
75 候補画像生成部
80 画像合成部
90 画面表示部

Claims (20)

  1. 所定の配列を有する複数の文字列のキーを画面に表示する表示部と、
    前記画面に対する指示媒体の選択操作を検知して検知信号を出力する検知部と、
    前記画面に表示された前記文字列のキーに対応する文字列又は前記文字列の読みと前方一致する文字列を記憶する記憶部と、
    前記検知信号を基に、前記選択操作が検知された前記指示媒体に対応する前記画面上の位置である選択位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成する予測候補生成部と、
    生成された前記少なくとも一個の予測候補の文字列を、前記選択位置の周囲の所定位置に表示させる表示制御部と、を備える入力装置。
  2. 請求項1に記載の入力装置であって、
    前記検知部は、前記選択操作として前記指示媒体の前記画面に対する近接を検知し、前記検知信号としての近接検知信号を出力し、
    前記予測候補生成部は、前記近接検知信号を基に、前記選択位置としての近接対応位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成し、
    前記表示制御部は、生成された前記少なくとも一個の予測候補の文字列を、前記近接対応位置の周囲の所定位置に表示させる入力装置。
  3. 請求項1に記載の入力装置であって、
    前記検知部は、前記選択操作として前記指示媒体の前記画面に対する接触を検知し、前記検知信号としての接触検知信号を出力し、
    前記予測候補生成部は、前記接触検知信号を基に、前記選択位置としての接触対応位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成し、
    前記表示制御部は、生成された前記少なくとも一個の予測候補の文字列を、前記接触対応位置の周囲の所定位置に表示させる入力装置。
  4. 請求項2又は3に記載の入力装置であって、
    前記生成された前記少なくとも一個の予測候補の文字列の前記画面上における表示位置を決定する表示位置決定部と、を更に備える入力装置。
  5. 請求項4に記載の入力装置であって、
    前記表示位置決定部は、前記生成された前記少なくとも一個の予測候補の文字列の前記画面上における表示位置を、前記画面上に表示された前記複数の文字列のキーの各々の間の中間位置に決定する入力装置。
  6. 請求項2に記載の入力装置であって、
    前記画面に対する指示媒体の接触を検知して接触検知信号を出力する接触検知部と、
    前記接触検知信号を基に、前記画面に表示された前記少なくとも一個の予測候補の文字列に対する選択操作であるか否かを判定する操作判定部と、
    前記選択操作であると判定された場合に、前記選択操作された前記画面上の位置に表示されているいずれかの前記予測候補の文字列を入力する文字列入力部と、を更に備える入力装置。
  7. 請求項6に記載の入力装置であって、
    前記文字列入力部は、前記選択操作がタッチ操作であると判定された場合に、前記タッチ操作された前記予測候補の文字列を入力する入力装置。
  8. 請求項6に記載の入力装置であって、
    前記文字列入力部は、前記選択操作がフリック操作であると判定された場合に、前記フリック操作された前記予測候補の文字列を入力する入力装置。
  9. 請求項6に記載の入力装置であって、
    前記文字列入力部は、前記選択操作がドラッグ操作であると判定された場合に、前記ドラッグ操作された前記予測候補の文字列を入力する入力装置。
  10. 請求項6に記載の入力装置であって、
    前記表示制御部は、前記生成された前記少なくとも一個の予測候補の文字列が所定数より多い場合に、前記指示媒体の近接対応位置を基準として前記所定数の前記予測候補の文字列が表示された表示位置の外側に、残りの前記予測候補の文字列を表示する入力装置。
  11. 請求項6に記載の入力装置であって、
    前記検知部は、前記近接が検知された前記指示媒体に対する複数の近接検知信号を出力し、
    前記表示位置決定部は、前記複数の近接検知信号を基に、前記少なくとも一個の予測候補の文字列の表示位置を、前記近接が検知された前記指示媒体によって表示が遮られない表示位置に決定する入力装置。
  12. 請求項6に記載の入力装置であって、
    前記表示制御部は、前記少なくとも一個の予測候補の文字列のうちいずれかが入力された後、前記複数の文字列のキーのうち所定のキーに対する前記指示媒体の近接に応じて、前記入力前に表示されていた前記少なくとも一個の予測候補の文字列を再表示する入力装置。
  13. 請求項12に記載の入力装置であって、
    前記文字列入力部は、前記再表示された前記少なくとも一個の予測候補の文字列のうち前記選択操作された予測候補の文字列を、前記入力されたいずれかの前記予測候補の文字列と入れ替えて入力する入力装置。
  14. 請求項12に記載の入力装置であって、
    前記表示制御部は、前記所定のキーに対する前記指示媒体の選択操作に応じて、前記再表示された前記複数の予測候補の文字列を非表示する入力装置。
  15. 請求項3に記載の入力装置であって、
    前記接触検知信号を基に、前記画面に表示された前記少なくとも一個の予測候補の文字列に対する選択操作であるか否かを判定する操作判定部と、
    前記選択操作であると判定された場合に、前記選択操作された前記画面上の位置に表示されているいずれかの前記予測候補の文字列を入力する文字列入力部と、を更に備える入力装置。
  16. 請求項15に記載の入力装置であって、
    前記文字列入力部は、前記選択操作がドラッグ操作であると判定された場合に、前記ドラッグ操作後に前記指示媒体が指示する前記予測候補の文字列を入力する入力装置。
  17. 請求項15に記載の入力装置であって、
    前記文字列入力部は、前記選択操作がフリック操作であると判定された場合に、前記フリック操作後に前記指示媒体が指示する前記予測候補の文字列を入力する入力装置。
  18. 請求項15に記載の入力装置であって、
    前記表示制御部は、前記生成された前記少なくとも一個の予測候補の文字列が所定数より多い場合に、前記指示媒体の接触対応位置を基準として前記所定数の前記予測候補の文字列が表示された表示位置の外側に、残りの前記予測候補の文字列を表示する入力装置。
  19. 請求項2又は3に記載の入力装置であって、
    前記表示制御部は、生成された前記少なくとも一個の予測候補の文字列を、前記選択操作に応じて前記指示媒体が指示する前記選択位置に表示されている文字列のキーの次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させる入力装置。
  20. 所定の配列を有する複数の文字列のキーを画面に表示する入力装置における入力装置であって、
    前記画面に対する指示媒体の選択操作を検知して検知信号を出力するステップと、
    前記検知信号を基に、前記画面に表示された前記文字列のキーに対応する文字列又は前記文字列の読みと前方一致する文字列を記憶する記憶部を参照して、前記選択操作が検知された前記指示媒体に対応する前記画面上の位置である選択位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成するステップと、
    生成された前記少なくとも一個の予測候補の文字列を、前記選択位置の周囲の所定位置に表示させるステップと、を有する入力制御方法。
JP2012251611A 2012-07-26 2012-11-15 入力装置及び入力支援方法 Pending JP2014026629A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261676190P 2012-07-26 2012-07-26
US61/676190 2012-07-26

Publications (1)

Publication Number Publication Date
JP2014026629A true JP2014026629A (ja) 2014-02-06

Family

ID=50200170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012251611A Pending JP2014026629A (ja) 2012-07-26 2012-11-15 入力装置及び入力支援方法

Country Status (1)

Country Link
JP (1) JP2014026629A (ja)

Cited By (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833129B1 (ko) * 2015-06-05 2018-02-27 애플 인크. 언어 입력 교정
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
CN108459864A (zh) * 2018-01-23 2018-08-28 维沃移动通信有限公司 一种更新显示内容的方法及移动终端
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant

Cited By (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
KR101833129B1 (ko) * 2015-06-05 2018-02-27 애플 인크. 언어 입력 교정
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
CN108459864A (zh) * 2018-01-23 2018-08-28 维沃移动通信有限公司 一种更新显示内容的方法及移动终端
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones

Similar Documents

Publication Publication Date Title
JP2014026629A (ja) 入力装置及び入力支援方法
US9851809B2 (en) User interface control using a keyboard
US20180121085A1 (en) Method and apparatus for providing character input interface
JP6456294B2 (ja) ジェスチャと重複するキーが除去されるキーボード
KR101323281B1 (ko) 입력 장치 및 문자 입력 방법
KR20140064611A (ko) 터치 동작 처리 방법 및 그 전자 장치
WO2014176038A1 (en) Dynamically-positioned character string suggestions for gesture typing
US8599138B2 (en) Information processing apparatus, information processing method and computer program
KR101085702B1 (ko) 터치스크린의 한글 입력 방법, 기록매체
JP6230992B2 (ja) キーボードレイアウトを提供するユーザインタフェース提供装置及び方法
KR101189112B1 (ko) 터치스크린에서의 한글입력방법
JP5977764B2 (ja) 拡張キーを利用した情報入力システム及び情報入力方法
US9501161B2 (en) User interface for facilitating character input
TW201308190A (zh) 手持裝置和資料輸入方法
JP5683226B2 (ja) 文字入力装置、および文字入力装置の動作方法
US20150347004A1 (en) Indic language keyboard interface
JP2012221298A (ja) 入力装置、入力方法およびプログラム
KR102530995B1 (ko) 소프트웨어로 구현된 문자 입력 장치
JP5288206B2 (ja) 携帯端末装置、文字入力方法、及び文字入力プログラム
JP2016200896A (ja) 文字入力方法、装置、及びプログラム
JP6380085B2 (ja) 情報処理装置及びプログラム
KR101546687B1 (ko) 터치스크린 기반의 한글 자판을 갖는 전자장치에서 한글을 입력하는 방법 및 그 방법의 입력기능을 갖는 전자 장치
JP2020004063A (ja) 文字列入力プログラム
KR20130024389A (ko) 한글 입력 방법 및 입력 장치
KR20180106277A (ko) 음절구조 속성을 활용한 문자 입력 장치 및 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140130

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141006

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150119