JP2014026629A - 入力装置及び入力支援方法 - Google Patents
入力装置及び入力支援方法 Download PDFInfo
- Publication number
- JP2014026629A JP2014026629A JP2012251611A JP2012251611A JP2014026629A JP 2014026629 A JP2014026629 A JP 2014026629A JP 2012251611 A JP2012251611 A JP 2012251611A JP 2012251611 A JP2012251611 A JP 2012251611A JP 2014026629 A JP2014026629 A JP 2014026629A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- prediction candidate
- displayed
- screen
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に近接が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和する。
【解決手段】検知部は、画面に対する指示媒体の選択操作を検知して検知信号を出力する。記憶部は、画面に表示された文字列のキーに対応する文字列又はその読みと前方一致する文字列を記憶する。予測候補生成部は、検知信号を基に、選択操作が検知された指示媒体に対応する画面上の位置である選択位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成する。表示制御部は、少なくとも一個の予測候補の文字列を、選択位置の周囲の所定位置に表示させる。
【選択図】図2
【解決手段】検知部は、画面に対する指示媒体の選択操作を検知して検知信号を出力する。記憶部は、画面に表示された文字列のキーに対応する文字列又はその読みと前方一致する文字列を記憶する。予測候補生成部は、検知信号を基に、選択操作が検知された指示媒体に対応する画面上の位置である選択位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成する。表示制御部は、少なくとも一個の予測候補の文字列を、選択位置の周囲の所定位置に表示させる。
【選択図】図2
Description
本発明は、タッチパネルを介した入力操作の支援を行う入力装置及び入力支援方法に関する。
例えば携帯電話機又はスマートフォンのメール機能において文字を入力する場合に、文字の入力作業を効率化させるための技術が従来から提案されている(例えば特許文献1参照)。
特許文献1に示す携帯電話機は、ユーザが入力した文字の変換候補を、例えば5行×3列の変換候補表示領域に表示し、これらの変換候補のうち、1行目の中央の列の変換候補を最初に選択してカーソルを表示させる。更に、携帯電話機は、選択候補が含まれる1行目以外の変換候補に、各ダイヤルキー「0」〜「9」、「*」及び「#」を割り当てる。これにより、特許文献1に示す携帯電話機は、1行目の変換候補の選択を簡単に行わせ、2行目以降の変換候補に対してはダイヤルキーの操作によって所望の変換候補を簡単に選択でき、短時間で変換候補を選択させることができる。
また、ユーザにとって直感的なユーザインターフェースを提供可能なタッチパネルは、携帯電話機又はスマートフォンを含む電子機器の入力操作を受け付けるデバイスとして、広く用いられている。タッチパネルは、電子機器に設けられた表示部(例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)ディスプレイ)の画面に対する入力操作の受け付けと、入力操作に対する動作実行結果の表示とを同一の画面内において行うことを可能にする。
しかしながら、特許文献1を含む従来技術では、ユーザは、所望の変換候補を選択する場合に、所望の変換候補に割り当てられたダイヤルキーを表示部において確認した後、指示媒体(例えばユーザの指)が目的のダイヤルキーを押下するように、表示部からダイヤルキーに視点を移動させた後に指示媒体も移動させる必要があり、ユーザの選択操作に手間がかかる。
また、ユーザは、所定領域に表示された予測候補の文字列を実際に選択する場合には、指の位置から自己が選択しようとする予測候補の文字列の表示位置まで指を移動させて、タッチ操作等の選択操作を行う必要がある。このため、例えばキーの表示位置(指の位置)と自己が選択しようとする予測候補の文字列の表示位置との間の距離が離れている場合では、指の移動量が増えることになり、ユーザの操作が煩雑となることがあった。
本発明は、上述した事情に鑑みて案出されたものであり、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に文字列の選択操作が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和する入力装置及び入力支援方法を提供することを目的とする。
本発明の入力装置は、所定の配列を有する複数の文字列のキーを画面に表示する表示部と、前記画面に対する指示媒体の選択操作を検知して検知信号を出力する検知部と、前記画面に表示された前記文字列のキーに対応する文字列又は前記文字列の読みと前方一致する文字列を記憶する記憶部と、前記検知信号を基に、前記選択操作が検知された前記指示媒体に対応する前記画面上の位置である選択位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成する予測候補生成部と、前記生成された前記少なくとも一個の予測候補の文字列を、前記選択位置の周囲の所定位置に表示させる表示制御部と、を備える。
この構成によれば、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に文字列の選択操作が検知された指示媒体(例えばユーザの指)に対応する画面上の位置の周囲の所定位置に表示させるため、入力操作の煩雑性を緩和することができる。
また、本発明の入力支援方法は、所定の配列を有する複数の文字列のキーを画面に表示する入力装置における入力装置であって、前記画面に対する指示媒体の選択操作を検知して検知信号を出力するステップと、前記検知信号を基に、前記画面に表示された前記文字列のキーに対応する文字列又は前記文字列の読みと前方一致する文字列を記憶する記憶部を参照して、前記選択操作が検知された前記指示媒体に対応する前記画面上の位置である選択位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成するステップと、前記生成された前記少なくとも一個の予測候補の文字列を、前記選択位置の周囲の所定位置に表示させるステップと、を有する。
この方法によれば、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に文字列の選択操作が検知された指示媒体(例えばユーザの指)に対応する画面上の位置の周囲の所定位置に表示させるため、入力操作の煩雑性を緩和することができる。
本発明によれば、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に文字列の選択操作が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和することができる。
(第1の実施形態の内容に至る経緯)
また最近、指示媒体(例えばユーザの指又はタッチペン)の近接を検知可能なタッチパネルが搭載された携帯電子機器が知られている(例えば参考特許文献1参照)。参考特許文献1の携帯電子機器は、表示部に近接する指示媒体の表示部の表示面に対する距離Dが第1の距離d1より短い場合に、表示部の所定範囲に表示されている領域に対応する画像(例えばキー)を拡大して表示部に表示させる。ここで、表示部の所定範囲とは、例えば表示部上の特定の位置を含む領域に隣り合う領域である。携帯電子機器は、ユーザが指又はタッチペンを表示部に近づけた場合にのみ、拡大させる領域を自由に選択させることができる。
また最近、指示媒体(例えばユーザの指又はタッチペン)の近接を検知可能なタッチパネルが搭載された携帯電子機器が知られている(例えば参考特許文献1参照)。参考特許文献1の携帯電子機器は、表示部に近接する指示媒体の表示部の表示面に対する距離Dが第1の距離d1より短い場合に、表示部の所定範囲に表示されている領域に対応する画像(例えばキー)を拡大して表示部に表示させる。ここで、表示部の所定範囲とは、例えば表示部上の特定の位置を含む領域に隣り合う領域である。携帯電子機器は、ユーザが指又はタッチペンを表示部に近づけた場合にのみ、拡大させる領域を自由に選択させることができる。
(参考特許文献1)日本国特開2012−94008号公報
しかしながら、参考特許文献1では、携帯電子機器は、画面に表示されたキーにタッチ操作が行われると、画面内のキー配列の表示領域の上部に設けられた所定領域に複数の予測候補の文字列を表示させる。このため、ユーザは、指示媒体(例えば指)の位置から所定領域に表示された予測候補の文字列の表示位置まで視点を移動させて、どの予測候補を選択するかを確認しなければならない。
特に、ユーザは、所定領域に表示された予測候補の文字列を実際に選択する場合には、指の位置から自己が選択しようとする予測候補の文字列の表示位置まで指を移動させて、タッチ操作等の選択操作を行う必要がある。このため、例えばキーの表示位置(指の位置)と自己が選択しようとする予測候補の文字列の表示位置との間の距離が離れている場合では、指の移動量が増えることになり、ユーザの操作が煩雑となることがあった。
そこで、第1の実施形態では、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に近接が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和する入力装置及び入力支援方法を説明する。
以下、本発明に係る入力装置及び入力支援方法の実施形態について、図面を参照して説明する。本発明に係る入力装置は、所定の配列(例えば「QWERTY」形式のキー配列又は「テンキー」形式のキー配列)を有する複数の文字列のキーを画面に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、PDA(personal digital assistant)又は電子書籍端末等である。以下、各実施形態を説明するための入力装置の一例として、携帯端末(例えばスマートフォン)を用いて説明する。
なお、本発明は、装置としての入力装置、又は入力装置をコンピュータとして入力装置が実行する各動作(ステップ)を実行させるためのプログラムとして表現することも可能である。更に、本発明は、入力装置により実行される各動作(ステップ)を含む入力支援方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。
(各実施形態に必要な用語の説明)
以下の説明において、タッチパネルに近接又は接触する指示媒体の一例としてユーザの指(例えば人差し指)を用いて説明するが、ユーザの指に限らず、導電性のスタイラス(タッチペン)でも良い。また、タッチパネルに近接又は接触する指示媒体は、タッチパネルの構造及び検知方式に応じて、タッチパネルへの近接及びタッチ(接触)が検出可能なものであれば特に限定されない。
以下の説明において、タッチパネルに近接又は接触する指示媒体の一例としてユーザの指(例えば人差し指)を用いて説明するが、ユーザの指に限らず、導電性のスタイラス(タッチペン)でも良い。また、タッチパネルに近接又は接触する指示媒体は、タッチパネルの構造及び検知方式に応じて、タッチパネルへの近接及びタッチ(接触)が検出可能なものであれば特に限定されない。
また、タッチパネルの水平面上を表す2軸をx軸及びy軸とし、タッチパネル上の水平面に対して垂直な方向(高さ方向)を表す軸をz軸とする。更に、以下の説明において、「タッチ座標」は、タッチパネルが指のタッチ(接触)を検知した時のタッチパネルの水平面上の位置を特定するための座標(x、y)を示し、「近接座標」は、タッチパネルが指の近接を検知した時の空間上の近接検知可能領域内の位置を特定するための座標(x、y、z)を示す。近接座標のz座標値は、タッチパネルの水平面から指が空間上に離間している高さを表す。更に、以下の説明において、近接が検知された空間上に存在している指の位置に対応する画面上の位置(タッチパネルの水平面上の位置)を、「近接対応位置」と定義する。
更に、以下の説明において、タッチパネルの水平面上から離間する方向に向かって離間した空間上の近接検知可能領域内の位置に指をかざす操作を「ホバー操作」と定義し、ホバー操作によってかざされた空間上の位置からタッチパネルの水平面に対して略平行にスライド(移動)する操作を、「ホバースライド操作」と定義する。従って、指がタッチパネルの水平面上の特定の位置に直接タッチする操作は「ホバー操作」ではなく、「タッチ操作」となる。また、指をタッチパネルの水平面上にタッチ(接触)させてから同水平面上に沿ってスライド(移動)する操作を、「タッチスライド操作」と定義する。
なお、ホバー操作又はホバースライド操作が検知されるためには、指とタッチパネルの面上との距離は、タッチパネルが検出する静電容量値に反比例するため、タッチパネルが検出可能な静電容量値の範囲に対応することが好ましい。
(第1の実施形態の説明)
第1の実施形態では、携帯端末1は、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーに対して指FGが近接した場合に、近接が検知された指FGに対応する画面DP上の位置(以下、「近接対応位置」と定義する)の周囲の所定位置に、近接対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる(図2参照)。即ち、携帯端末1は、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーの指FGによる選択操作を検知した場合に、選択操作が検知された指FGに対応する画面DP上の選択位置の周囲の所定位置に、選択位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる。
第1の実施形態では、携帯端末1は、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーに対して指FGが近接した場合に、近接が検知された指FGに対応する画面DP上の位置(以下、「近接対応位置」と定義する)の周囲の所定位置に、近接対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる(図2参照)。即ち、携帯端末1は、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーの指FGによる選択操作を検知した場合に、選択操作が検知された指FGに対応する画面DP上の選択位置の周囲の所定位置に、選択位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる。
(携帯端末1の機能的構成)
先ず、第1の実施形態の携帯端末1の機能的構成について、図1を参照して説明する。図1は、第1の実施形態の携帯端末1の機能的構成を示すブロック図である。図1に示す携帯端末1は、近接検知部5、近接座標評価部10、タッチ検知部15、タッチ座標評価部20、操作判定部30、キーボードアプリケーション40、予測候補抽出部50、予測候補辞書55、表示位置決定部60、キー画像生成部70、候補画像生成部75、画像合成部80及び画面表示部90を含む。キーボードアプリケーション40は、表示キー位置情報45を保持する。
先ず、第1の実施形態の携帯端末1の機能的構成について、図1を参照して説明する。図1は、第1の実施形態の携帯端末1の機能的構成を示すブロック図である。図1に示す携帯端末1は、近接検知部5、近接座標評価部10、タッチ検知部15、タッチ座標評価部20、操作判定部30、キーボードアプリケーション40、予測候補抽出部50、予測候補辞書55、表示位置決定部60、キー画像生成部70、候補画像生成部75、画像合成部80及び画面表示部90を含む。キーボードアプリケーション40は、表示キー位置情報45を保持する。
操作判定部30、キーボードアプリケーション40、予測候補抽出部50、表示位置決定部60、キー画像生成部70、候補画像生成部75及び画像合成部80の各部は、各部の動作が予め規定されたプログラムを携帯端末1に内蔵されるプロセッサ(不図示)が読み込んで実行することによって動作可能となる。なお、プロセッサは、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)である。
近接検知部5は、ホバー操作又はホバースライド操作によってユーザの指FG(図2参照)がタッチパネルTPに近接したことを検知する。近接検知部5は、指FGがタッチパネルTPに近接した旨の近接通知を近接座標評価部10に出力する。
近接座標評価部10は、近接検知部5から出力された近接通知を基に、指FGのタッチパネルTPに対する近接座標(x、y、z)を、近接検知時における近接検知信号として算出する。なお、以下の説明において、近接検知信号は、近接座標であるとして説明するが、近接検知時に算出される静電容量値でも良い。上述したように、近接座標(x、y、z)のうち、x座標値及びy座標値は画面表示部90の画面DP(図2参照)に搭載されたタッチパネルTPの水平面上の位置を表す座標値、即ち近接対応位置を示す座標値であって、z座標値は指FGとタッチパネルTPとの間のz軸方向の距離(高さ)を表す座標値である。近接座標評価部10は、算出された近接座標(x、y、z)の情報を操作判定部30に出力する。なお、近接検知部5と近接座標評価部10とを纏めて近接検知部として構成しても良い。
接触検知部としてのタッチ検知部15は、タッチ操作又はタッチスライド操作によって指FGがタッチパネルTPにタッチ(接触)した動作を検知する。タッチ検知部15は、指FGがタッチパネルTPにタッチ(接触)した旨の接触通知をタッチ座標評価部20に出力する。
タッチ座標評価部20は、タッチ検知部15から出力された接触通知を基に、指FGがタッチパネルTPにタッチ(接触)した時のタッチ座標(x、y)を算出する。タッチ座標評価部20は、算出されたタッチ座標(x、y)の情報を操作判定部30に出力する。なお、タッチ検知部15とタッチ座標評価部20とを纏めて接触検知部として構成しても良い。
なお、本実施形態において、指FGのタッチ(接触)と近接との両方を検知可能なタッチパネルTPは、近接検知部5、近接座標評価部10、タッチ検知部15及びタッチ座標評価部20とを用いて構成可能である。
操作判定部30は、近接座標評価部10から出力された近接座標(x、y、z)又はタッチ座標評価部20から出力されたタッチ座標(x、y)の情報を基に、指FGの入力操作がホバー操作、ホバースライド操作、タッチ操作、タッチスライド操作及びフリック操作のうちいずれの操作であるかを判定する。
操作判定部30は、指FGの入力操作がホバー操作又はホバースライド操作であると判定した場合に、近接対応位置に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40に出力する。操作判定部30は、キーボードアプリケーション40から出力された情報、即ち近接対応位置に対応する画面DP上に表示されているキーの情報を取得して予測候補抽出部50に出力する。
キーボードアプリケーション40は、携帯端末1に内蔵されるROM(Read Only Memory)に予め記憶され、ユーザのキーボードアプリケーション40を起動する旨の入力操作に応じて、例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データをキー画像生成部70に生成させる。更に、キーボードアプリケーション40は、画面DPに表示されたQWERTY形式のキー配列のソフトウェアキーボードに対するユーザの入力操作(例えば文字入力操作)を受け付ける。
キーボードアプリケーション40は、操作判定部30から出力された判定要求と表示キー位置情報45とを基に、近接対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40は、判定されたキーの情報を操作判定部30に出力する。
また、文字列入力部としてのキーボードアプリケーション40は、指FGの入力操作がタッチ操作、タッチスライド操作及びフリック操作のうちいずれかの操作である旨の情報を操作判定部30から取得した場合には、いずれかの操作によって選択されたキーに対応した文字列又は予測候補の文字列を画面表示部90の画面DPの文字列入力領域FAR(図2参照)に入力・表示させる(図2、図3参照)。図2では、文字列入力領域FARは画面DPの上部領域に示されているが、文字列入力領域FARの表示領域は、キーボードアプリケーション40の動作において予め規定されていれば特に限定されない。なお、本実施形態では、タッチ操作、タッチスライド操作及びフリック操作のいずれかの操作も、文字列の入力を携帯端末1に指示するためにユーザにより行われる選択操作である。
表示キー位置情報45は、後述する画面表示部90の画面DP(図2参照)に例えばQWERTY形式のキー配列のソフトウェアキーボードが表示されている場合では、画面DP内における同ソフトウェアキーボードの表示位置及び同ソフトウェアキーボードを構成する各々のキーの表示位置をそれぞれ示す情報である。
なお、図1に示す表示キー位置情報45はキーボードアプリケーション40により保持されているが、例えば操作判定部30により保持されても良い。この場合、操作判定部30は、指FGの入力操作がホバー操作又はホバースライド操作であると判定した場合に、表示キー位置情報45を基に、キーボードアプリケーション40に問い合せずに近接対応位置に対応する画面DP上に表示されているキーを判定する。
予測候補生成部としての予測候補抽出部50は、操作判定部30から出力されたキーの情報、即ち近接対応位置に対応する画面DP上に表示されているキーの情報を基に、予測候補辞書55を参照し、当該キーの情報に対応するキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータを所定個(例えば3個)、抽出して生成する。なお、予測候補抽出部50は、近接対応位置に対応する画面DP上に表示されているキーの情報に対応するキー又は当該キーの読みと前方一致する予測候補の文字列の個数が所定数未満である場合には、最大個数の予測候補の文字列を抽出して生成する。予測候補抽出部50は、抽出された所定個、又は所定個数未満で最大個数の予測候補の文字列のデータを、表示位置決定部60及び候補画像生成部75にそれぞれ出力する。
記憶部としての予測候補辞書55は、例えば携帯端末1に内蔵されるハードディスク等のディスク装置又はフラッシュメモリ等の半導体メモリを用いて構成され、検索キーとなる文字列又は文字列の読みと前方一致又は部分一致する少なくとも一個の文字列を記憶している。予測候補辞書55は、例えば検索キーが「T」である場合に検索キー「T」と前方一致する予測候補の文字列(例えば「The」、「This」、「That」等)を記憶している。
また、予測候補辞書55は、検索キーが単一又は複数である場合に単文節予測又は連文節予測において用いられる予測変換候補の変換用の辞書データだけに限らず、検索キーが単一の文節の文字列である場合に文節候補の変換用の辞書データを更に含む構成としても良い。なお、予測候補辞書55は、ハードディスク又はフラッシュメモリではなく、例えばUSB(Universal Serial Bus)端子を介して接続された外部記憶媒体(例えばUSBメモリ)を用いて構成されても良い。
表示位置決定部60は、予測候補抽出部50から出力された所定個、又は所定個数未満で最大個数の予測候補の文字列のデータを基に、後述する候補画像生成部75によって生成される各々の予測候補の文字列の画像データの画面DP上における表示位置を決定して画像合成部80に出力する。表示位置決定部60は、各々の予測候補の文字列の画面DP上における表示位置を、指FGの近接対応位置の周囲であって、且つ、予測候補の文字列の画像データの表示が指FGによって隠れない(遮られない)表示位置に決定する。
例えば、表示位置決定部60は、各々の予測候補の文字列の画面DP上における表示位置を、指FGの近接対応位置の周囲の所定位置であって、且つ、画面DP上に表示された複数の文字列のキーの各々の間の中間位置に決定する(図2(B)又は(C)参照)。なお、表示位置決定部60は、複数の文字列のキーの各々の間の中間位置に限らず、指FGの近接対応位置に応じて、予測候補の文字列の画像データの表示が指FGによって隠れない(遮られない)表示位置であれば、複数の文字列のキーの各々の間の中間位置ではない表示位置に決定しても良い。
また、表示位置決定部60は、各々の予測候補の文字列の画像データの画面DP上における表示位置を、指FGの近接対応位置の周囲の所定位置であって、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に決定しても良い。表示位置決定部60により決定される表示位置は、各々の予測候補の文字列の画像データが指FGによって表示が遮られない表示位置である。なお、表示位置決定部60は、表示位置を決定する場合に、上述した同心円の形状を用いずに、指FGの近接対応位置を起点(基準)としたそれぞれ所定の径を有する同心楕円の形状を用いても良い。
なお、表示位置決定部60は、各々の予測候補の文字列の画像データの画面DP上における表示位置を、画面DP上に表示された各々のキーの表示位置と重複する領域が出来る限り少なくなる(例えば所定面積以下となる)ように決定することが好ましい。これにより、携帯端末1は、指FGがソフトウェアキーボードのキーを選択しようとしているのか、指FGの近接対応位置の周囲に表示された予測候補の文字列を選択しようしているのかの判定を誤りなく行うことができ、ユーザの入力操作の誤検知を軽減することができる。
キー画像生成部70は、キーボードアプリケーション40から出力されたQWERTY形式のキー配列のソフトウェアキーボードを有する複数の文字列のキーの画面データ生成指示を基に、同形式のソフトウェアキーボード(図2(A)参照)の画面データを生成して画像合成部80に出力する。
候補画像生成部75は、予測候補抽出部50から出力された所定個、又は所定個数未満で最大個数の予測候補の文字列のデータを基に、予測候補の文字列の画像データを生成して画像合成部80に出力する。また、本実施形態では予測候補の文字列の画像データの大きさ(表示領域)は、画面DP上に表示されているQWERTY形式のソフトウェアキーボードの各キーの大きさ(表示領域)とほぼ同一で良いし、各キーの大きさ(表示領域)より拡大された大きさ(表示領域)でも良い。
表示制御部としての画像合成部80は、表示位置決定部60及び候補画像生成部75からの出力を基に、候補画像生成部75により生成された所定個、又は所定個数で最大個数の予測候補の文字列の画像データを、QWERTY形式のキー配列のソフトウェアキーボード上に合成して表示させる。即ち、画像合成部80は、候補画像生成部75により生成された所定個、又は所定個数で最大個数の予測候補の文字列の画像データを、表示位置決定部60により決定された画面DP上の表示位置に表示させる。
画面表示部90は、例えばLCD又は有機ELディスプレイを用いて構成され、画面DPにデータ(例えば「QWERTY」形式のキー配列のソフトウェアキーボード)を表示する機能を有し、画像合成部80から出力された画面データを画面DPに表示する。本実施形態では、画面表示部90が表示する画面データは、例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データ、又は、QWERTY形式のキー配列のソフトウェアキーボードの画面データと所定個、或いは所定個数で最大個数の予測候補の文字列とが表示された画面データである。
(本実施形態の携帯端末1の動作概要)
次に、本実施形態の携帯端末1の動作概要を、図2〜図5を参照して説明する。図2(A)は、QWERTY形式のキー配列のソフトウェアキーボードを画面DPに表示させた様子を示す図である。図2(B)は、新たな入力操作の対象文字の先頭文字「T」に指FGが近接した様子を示す図である。図2(C)は、新たな入力操作の対象文字の先頭文字「H」に指FGが近接した様子を示す図である。図2(D)は、図2(B)において「That」がタッチ操作によって選択された様子を示す図である。
次に、本実施形態の携帯端末1の動作概要を、図2〜図5を参照して説明する。図2(A)は、QWERTY形式のキー配列のソフトウェアキーボードを画面DPに表示させた様子を示す図である。図2(B)は、新たな入力操作の対象文字の先頭文字「T」に指FGが近接した様子を示す図である。図2(C)は、新たな入力操作の対象文字の先頭文字「H」に指FGが近接した様子を示す図である。図2(D)は、図2(B)において「That」がタッチ操作によって選択された様子を示す図である。
(動作概要1:予測候補の文字列の表示とタッチ操作による選択)
キー画像生成部70は、キーボードアプリケーション40からの例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データの生成指示を基に、QWERTY形式のキー配列のソフトウェアキーボードの画面データを生成して画像合成部80に出力する。画像合成部80は、キー画像生成部70から出力されたQWERTY形式のキー配列のソフトウェアキーボードの画面データを、画面表示部90の画面DPの所定領域KARに表示させる(図2(A)参照)。図2(A)に示す画面DPの上部領域には、QWERTY形式のキー配列のソフトウェアキーボードに対する指FGの選択操作によって入力された文字列が表示される文字列入力領域FARが示されている。
キー画像生成部70は、キーボードアプリケーション40からの例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データの生成指示を基に、QWERTY形式のキー配列のソフトウェアキーボードの画面データを生成して画像合成部80に出力する。画像合成部80は、キー画像生成部70から出力されたQWERTY形式のキー配列のソフトウェアキーボードの画面データを、画面表示部90の画面DPの所定領域KARに表示させる(図2(A)参照)。図2(A)に示す画面DPの上部領域には、QWERTY形式のキー配列のソフトウェアキーボードに対する指FGの選択操作によって入力された文字列が表示される文字列入力領域FARが示されている。
新たな入力操作の対象文字の先頭文字が「T」である場合に指FGが「T」に近接すると、予測候補抽出部50は、文字列「T」と前方一致する「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列とを抽出して生成する。図2の説明では、所定数は例えば3である。表示位置決定部60は、3個の予測候補の文字列の画面DP上における表示位置を決定して画像合成部80に出力する。
候補画像生成部75は、「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列との各画像データを生成して画像合成部80に出力する。画像合成部80は、「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列との各画像データを、表示位置決定部60により決定された表示位置に表示させる。表示位置決定部60により決定された表示位置は、例えば指FGの近接対応位置、即ち「T」のキーの表示位置の周囲の所定位置であって、近接対応位置に表示されている文字列「T」のキーの表示位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置である。
同様に、新たな入力操作の対象文字の先頭文字が「H」である場合に指FGが「H」に近接すると、予測候補抽出部50は、「H」と前方一致する「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列とを抽出して生成する。表示位置決定部60は、3個の予測候補の文字列の画面DP上における表示位置を決定して画像合成部80に出力する。
候補画像生成部75は、「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列との各画像データを生成して画像合成部80に出力する。画像合成部80は、「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列とを、表示位置決定部60により決定された表示位置に表示させる。表示位置決定部60により決定された表示位置は、例えば指FGの近接対応位置、即ち「H」のキーの表示位置の周囲の所定位置であって、近接対応位置に表示されている文字列「H」のキーの表示位置を起点(基準)とした第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置であって、当該範囲内に存在する各キーの間の中間位置である。
また、図2(D)に示すように、指FGが「That」の予測候補PR3の文字列の画像データ上をタッチ操作すると、キーボードアプリケーション40は、操作判定部30から出力された情報を基に、選択されたキーに対応した文字列を文字列入力領域FARに表示させる。これにより、携帯端末1は、指FGの近接対応位置の周囲の所定位置に表示された予測候補の文字列がタッチ操作によって選択されることで、ユーザが入力操作の対象とする予測候補の文字列を簡易に入力することができる。
ここで、図2(B)において表示された所定数個(3個)の予測候補の文字列の中に、ユーザが入力を所望する予測候補の文字列が無かったとする。例えば、ユーザが入力を所望する予測候補が「Text」であるとする。この場合、携帯端末1は、指FGが「T」のキーに対するタッチ操作又はフリック操作によって「T」のキーを選択すると、「T」のキーを文字列入力領域FARに入力・表示させる。なお、この「T」のキーは、ユーザが入力を所望する予測候補の文字列として仮確定された状態で入力及び表示されている。
次に、ユーザの指FGが「Text」の第2番目の文字列である「e」のキーの表示位置に近接すると、予測候補抽出部50は、予測候補辞書55を参照し、文字列入力領域FARに仮確定された状態として入力及び表示された文字列「T」の次に「e」を含む少なくとも一個の予測候補の文字列を所定個、抽出して生成する。ここで、「Text」の予測候補の文字列が抽出された場合には、画像合成部80は、「Text」の予測候補の文字列を含む所定数の予測候補の文字列を、表示位置決定部60によって決定された表示位置に表示させる。
なお、「Text」の予測候補の文字列が未だに抽出されない場合には、携帯端末1は、同様にユーザの文字列「e」の選択操作に応じて、文字列「e」を仮確定された状態として文字列「Te」を文字列入力領域FARに入力及び表示する。更に、携帯端末1は、指FGが次に「x」の文字列に近接した場合に、仮確定された状態として入力及び表示されている文字列「Te」の次に「x」を含む予測候補の文字列として、「Text」の予測候補の文字列を抽出できるまで、ユーザが所望する文字列の選択操作に応じて予測候補の文字列の抽出を繰り返す。
(動作概要2:予測候補の文字列の表示とフリック操作による選択)
表示された予測候補の文字列を入力するための選択操作は、図2(D)ではタッチ操作であったが、図3(A)又は(B)に示すフリック操作でも良い。図3(A)は、「That」の予測候補PR3の文字列がフリック操作によって選択された様子を示す図である。図3(B)は、「Home」の予測候補PR4の文字列がフリック操作によって選択された様子を示す図である。なお、フリック操作とは、指FGが画面DP上をタッチ操作して素早く払う(弾く、スライドする)操作であり、本実施形態ではタッチ操作と区別して用いる。フリック操作によれば、例えば画面に表示された内容を簡易にスクロールさせることができる。
表示された予測候補の文字列を入力するための選択操作は、図2(D)ではタッチ操作であったが、図3(A)又は(B)に示すフリック操作でも良い。図3(A)は、「That」の予測候補PR3の文字列がフリック操作によって選択された様子を示す図である。図3(B)は、「Home」の予測候補PR4の文字列がフリック操作によって選択された様子を示す図である。なお、フリック操作とは、指FGが画面DP上をタッチ操作して素早く払う(弾く、スライドする)操作であり、本実施形態ではタッチ操作と区別して用いる。フリック操作によれば、例えば画面に表示された内容を簡易にスクロールさせることができる。
図3の説明において、所定数(図3では3)個の予測候補の文字列が表示されるまでの携帯端末1における動作は図2と同一であるため説明を省略し、異なる内容について説明する。図3(C)は、図3(B)において「Home」の予測候補PR4の文字列がフリック操作によって選択された様子を示す図である。
図3(C)に示すように、指FGが「Home」の予測候補PR4の文字列の画像データ上をフリック操作すると、キーボードアプリケーション40は、操作判定部30から出力された情報を基に、フリック操作によって選択された予測候補PR4の文字列を文字列入力領域FARに表示させる。これにより、携帯端末1は、指FGの近接対応位置の周囲の所定位置に表示された予測候補の文字列がフリック操作によって選択されることで、予測候補の文字列の画像データを選択する場合に、予測候補の文字列の画像データの背景に表示されているキーを誤って選択するユーザの誤入力を軽減することができる。また、携帯端末1は、指FGの近接対応位置の周囲の所定位置に予測候補の文字列が表示された場合に、ソフトウェアキーボードのいずれかのキーがフリック操作によって選択されることで、予測候補の文字列を誤って選択するユーザの誤入力を軽減することができる。
(動作概要3:バックスペースキーに対する操作)
また、図4に示すように、携帯端末1は、図2又は図3に示した選択操作によって予測候補の文字列が文字列入力領域FARに入力及び表示された後、指FGが所定のキー(例えば本実施形態ではバックスペースキー、以下、[BS]キーと表記する)に近接した場合に、直前に表示されていた予測候補の文字列を再表示させる。
また、図4に示すように、携帯端末1は、図2又は図3に示した選択操作によって予測候補の文字列が文字列入力領域FARに入力及び表示された後、指FGが所定のキー(例えば本実施形態ではバックスペースキー、以下、[BS]キーと表記する)に近接した場合に、直前に表示されていた予測候補の文字列を再表示させる。
図4(A)は、指FGがバックスペースキー([BS]キー)に近接した様子を示す図である。図4(B)は、バックスペースキー([BS]キー)の近接に応じて予測候補の文字列が再表示された様子を示す図である。図4(C)は、「Bellows」がタッチ操作によって選択された場合に、「Hello」が「Bellows」に入れ替わる様子を示す図である。なお、本実施形態では、指FGが近接した場合に直前に表示されていた予測候補の文字列を再表示させるための所定のキーの一例として、[BS]キーを用いて説明しているが、特に[BS]キーに限定されない。
図4の説明の前提として、「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列とが表示されており、指FGが「Hello」の予測候補PRaの文字列をタッチ操作又はフリック操作によって選択したとする。キーボードアプリケーション40は、指FGの「Hello」の予測候補PRaの文字列の選択操作に応じて、「Hello」の予測候補PRaの文字列を文字列入力領域FARに入力する。
ここで、「Hello」の予測候補PRaの文字列の入力がユーザの誤操作であったとする。この場合、指FGが[BS]キーに近接すると(図4(A)参照)、キーボードアプリケーション40は、指FGが近接したキーが[BS]キーであることを判定し、直前に表示されていた少なくとも一個(図4では3個)の予測候補の文字列を再表示する旨の情報を画像合成部80に指示する。画像合成部80は、キーボードアプリケーション40からの指示を基に、直前に表示されていた少なくとも一個(図4では3個)の予測候補の文字列、具体的には「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列とを、指FGの近接対応位置の周囲の所定位置に再表示させる(図4(B)参照)。
「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列とが再表示された後、指FGがタッチ操作又はフリック操作によって「Bellows」の予測候補PRbの文字列を選択する。キーボードアプリケーション40は、指FGの「Bellows」の予測候補PRbの文字列の選択操作に応じて、誤入力された「Hello」の予測候補PRaの文字列を、「Bellows」の予測候補PRbの文字列に入れ替える(図4(C)参照)。
図5(A)は、バックスペースキー([BS]キー)がタッチ操作によって選択された様子を示す図である。図5(B)は、バックスペースキー([BS]キー)のタッチ操作に応じて予測候補の文字列が非表示(消去)された様子を示す図である。
「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列とが再表示された状態において、指FGが[BS]キーをタッチ操作又はフリック操作によって選択する(図5(A)参照)。キーボードアプリケーション40は、指FGの[BS]キーの選択操作に応じて、再表示された「Hello」の予測候補PRaの文字列と、「Bellows」の予測候補PRbの文字列と、「Bello」の予測候補PRcの文字列と、文字列入力領域FARに入力・表示されていた「Hello」の予測候補PRaの文字列とを非表示(消去)する(図5(B)参照)。
(第1の実施形態の携帯端末1の動作)
図6は、第1の実施形態の携帯端末1の動作手順を説明するフローチャートである。図6の説明において、必要に応じて、図2から図5の内容を参照する。図6の説明の前提として、画像合成部80は、キー画像生成部70から出力された例えばQWERTY形式のキー配列のソフトウェアキーボードを画面DPの所定領域KARに表示させている(図2(A)参照)。
図6は、第1の実施形態の携帯端末1の動作手順を説明するフローチャートである。図6の説明において、必要に応じて、図2から図5の内容を参照する。図6の説明の前提として、画像合成部80は、キー画像生成部70から出力された例えばQWERTY形式のキー配列のソフトウェアキーボードを画面DPの所定領域KARに表示させている(図2(A)参照)。
図6において、携帯端末1は、画面DP上において新たな入力操作の対象文字に対して指FGが近接したか否かを操作判定部30において判定する(S11)。操作判定部30は、近接座標評価部10から出力された近接座標(x、y、z)の情報を基にして画面DP上において新たな入力操作の対象文字に対して指FGが近接したことを判定した場合に限り(S11、YES)、近接対応位置に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40に出力する。
キーボードアプリケーション40は、操作判定部30から出力された判定要求と表示キー位置情報45とを基に、近接対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40は、判定されたキーの情報を操作判定部30に出力する。操作判定部30は、キーボードアプリケーション40から出力された情報、即ち近接対応位置に対応する画面DP上に表示されているキーの情報を取得して予測候補抽出部50に出力する。
予測候補抽出部50は、操作判定部30から出力されたキーの情報、即ち近接対応位置に対応する画面DP上に表示されているキーの情報を基に、予測候補辞書55を参照し、当該キーの情報に対応するキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータがあるか否かを判定する(S12)。近接対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータが無いと判定された場合には(S12、NO)、携帯端末1の動作はステップS18に進む。
近接対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータがあると判定された場合には(S12、YES)、予測候補抽出部50は、抽出された少なくとも一個の予測候補の文字列のデータを、表示位置決定部60及び候補画像生成部75にそれぞれ出力する。
表示位置決定部60は、予測候補抽出部50から出力された少なくとも一個の予測候補の文字列のデータを基に、候補画像生成部75によって生成される少なくとも一個の予測候補の文字列の画像データの画面DP上における表示位置を決定して画像合成部80に出力する(S13)。例えば、表示位置決定部60は、少なくとも一個の予測候補の文字列の画面DP上における表示位置を、指FGの近接対応位置の周囲の所定位置であって、且つ、画面DP上に表示された複数の文字列のキーの各々の間の中間位置に決定する(図2(B)又は(C)参照)。
また、候補画像生成部75は、予測候補抽出部50から出力された少なくとも一個の予測候補の文字列のデータを基に、予測候補の文字列の画像データを生成して画像合成部80に出力する(S14)。なお、図6及び図13に示すフローチャートにおいて、ステップS13の動作とステップS14の動作との順序は同じでも良いし、ステップS13の動作とステップS14の動作との順序は逆でも良い。
画像合成部80は、表示位置決定部60及び候補画像生成部75からの各出力を基に、候補画像生成部75により生成された少なくとも一個の予測候補の文字列の画像データを、QWERTY形式のキー配列のソフトウェアキーボードに合成して表示させる(S15)。即ち、画像合成部80は、候補画像生成部75により生成された少なくとも一個の予測候補の文字列の画像データを、表示位置決定部60により決定された画面DP上の表示位置に表示させる。
少なくとも一個の予測候補の文字列の画像データが表示位置決定部60により決定された画面DP上の表示位置に表示された後、携帯端末1は、いずれかの予測候補の文字列に対するユーザの選択操作(タッチ操作又はフリック操作)があったか否かを判定する(S16)。いずれかの予測候補の文字列に対するユーザの選択操作が無い場合には(S16、NO)、携帯端末1の動作はステップS18に進む。
いずれかの予測候補の文字列に対するユーザの選択操作がある場合には(S16、YES)、キーボードアプリケーション40は、指FGの入力操作としてタッチ操作、タッチスライド操作及びフリック操作のうちいずれかの操作が行われた旨の情報を操作判定部30から取得し、いずれかの操作によって選択された予測候補の文字列を確定された入力文字列として文字列入力領域FAR(図2(D)参照)に入力及び表示させる(S17)。更に、キーボードアプリケーション40は、ステップS17において選択された予測候補の文字列を入力及び表示させた後、画面DPに表示されていた全ての予測候補の文字列を非表示する旨の情報を画像合成部80に出力する。画像合成部80は、キーボードアプリケーション40から出力された情報を基に、画面DPに表示されていた全ての予測候補の文字列を非表示させる(S51)。ステップS51の後、携帯端末1の動作はステップS20に進む。
ステップS18の動作は、ステップS12において予測候補の文字列が抽出されなかった場合、同ステップS12においてユーザが所望する予測候補の文字列が画面DP上に表示されなかった場合又はステップS16において予測候補の文字列が選択操作されなかった場合の携帯端末1の動作である。携帯端末1は、画面DP上において予約候補の文字列ではない他の文字列(例えばソフトウェアキーボード上の文字列)のキーに対して指FGが接触したか否かを操作判定部30において判定する(S18)。操作判定部30が画面DP上において予約候補の文字列ではない他の文字列に対して指FGが接触したことを判定しない場合には(S18、NO)、携帯端末1の動作はステップS11に戻る。
操作判定部30は、タッチ座標評価部20から出力されたタッチ座標(x、y)の情報を基にして画面DP上において予約候補の文字列ではない他の文字列に対して指FGが接触したことを判定した場合には(S18、YES)、タッチ座標(x、y)に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40に出力する。
キーボードアプリケーション40は、操作判定部30から出力された判定要求と表示キー位置情報45とを基に、タッチ座標(x、y)に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40は、判定されたキーの入力を仮確定し、仮確定されたキーを文字列入力領域FARに入力及び表示させる(S19)。ステップS19の後、携帯端末1の動作はステップS11に戻る。
ステップS17の後、即ち何らかの予測候補の文字列がユーザの入力操作の対象文字として確定されて文字列入力領域FARに入力及び表示された後、携帯端末1は、画面DP上において[BSキー]に対して指FGが近接したか否かを操作判定部30において判定する(S20)。操作判定部30が画面DP上において[BSキー]に対して指FGが近接したと判定しない場合には(S20、NO)、携帯端末1の動作はステップS11に戻る。
操作判定部30は、画面DP上において[BSキー]に対して指FGが近接したと判定した場合には(S20、YES)、画面DP上において[BSキー]に対して指FGが近接した旨の情報をキーボードアプリケーション40に出力する。キーボードアプリケーション40は、指FGが近接したキーが[BS]キーであることを判定し、直前に表示されていた少なくとも一個の予測候補の文字列を再表示する旨の情報を画像合成部80に指示する。画像合成部80は、キーボードアプリケーション40からの指示を基に、直前に表示されていた少なくとも一個の予測候補の文字列を、指FGの近接対応位置の周囲の所定位置に再表示させる(S21、図4(B)参照)。
ステップS21の後、操作判定部30は、再表示された少なくとも一個の予測候補の文字列のうちいずれかの予測候補の文字列が指FGのタッチ操作又はフリック操作によって選択されたか否かを判定する(S22)。操作判定部30は、再表示された少なくとも一個の予測候補の文字列のうちいずれかの予測候補の文字列が指FGのタッチ操作又はフリック操作によって選択されたと判定した場合には(S22、YES)、その旨の情報をキーボードアプリケーション40に出力する。キーボードアプリケーション40は、操作判定部30から出力された情報を基に、文字列入力領域FARに入力及び表示された予測候補の文字列を、指FGによって選択されたいずれかの予測候補の文字列に入れ替える(S23、図4(B)及び(C)参照)。ステップS23の後、携帯端末1の動作はステップS11に戻る。
操作判定部30は、再表示された少なくとも一個の予測候補の文字列のうちいずれかの予測候補の文字列が指FGのタッチ操作又はフリック操作によって選択されていないと判定した場合には(S22、NO)、指FGが[BS]キーをタッチ操作又はフリック操作によって選択したか否かを判定する(S24)。指FGが[BS]キーをタッチ操作又はフリック操作によって選択していないと判定された場合には(S24、NO)、携帯端末1の動作はステップS11に戻る。
操作判定部30は、指FGが[BS]キーをタッチ操作又はフリック操作によって選択したと判定した場合には(S24、YES)、その旨の情報をキーボードアプリケーション40に出力する。キーボードアプリケーション40は、操作判定部30から出力された情報を基に、再表示された少なくとも一個の予測候補の文字列と、文字列入力領域FARに入力及び表示されていた予測候補の文字列とを非表示(消去)する(S25、図5(B)参照)。ステップS25の後、携帯端末1の動作はステップS11に戻る。
以上により、本実施形態の携帯端末1は、画面DPに表示されたQWERTY形式のキー配列のソフトウェアキーボードのいずれかのキーに対して指FGが近接した場合に、近接が検知された指FGの近接対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を、指FGの近接対応位置の周囲の所定位置に表示させる。
これにより、携帯端末1は、ユーザの入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に近接が検知された指示媒体(例えばユーザの指)に対応する画面上の位置の周囲に表示させ、ユーザは指FGの近接対応位置から予測候補の文字列の表示位置までの間だけ視点及び指FGを移動させれば良いので、ユーザの入力操作の煩雑性を緩和することができる。
(第1の実施形態の変形例)
図7(A)は、所定数を超える予測候補の文字列を表示する様子を示す図である。図7(B)は、ガイド線GD1〜GD3を表示する様子を示す図である。上述した実施形態では、予測候補抽出部50が少なくとも一個以上で所定数(例えば3個)以下の予測候補の文字列を抽出した場合を想定して説明した。予測候補抽出部50が所定数を超える予測候補の文字列を抽出した場合、携帯端末1は、所定数を超える残りの予測候補の文字列を図7(A)又は(B)に示すように表示させても良い。
図7(A)は、所定数を超える予測候補の文字列を表示する様子を示す図である。図7(B)は、ガイド線GD1〜GD3を表示する様子を示す図である。上述した実施形態では、予測候補抽出部50が少なくとも一個以上で所定数(例えば3個)以下の予測候補の文字列を抽出した場合を想定して説明した。予測候補抽出部50が所定数を超える予測候補の文字列を抽出した場合、携帯端末1は、所定数を超える残りの予測候補の文字列を図7(A)又は(B)に示すように表示させても良い。
即ち、図7(A)に示すように、予測候補抽出部50が指FGの近接対応位置に表示されている「H」のキーに対応する文字列「H」と前方一致する合計6個の予測候補の文字列を抽出した場合、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に、「Home」の予測候補PR4と、「How」の予測候補PR5と、「Health」の予測候補PR6とを表示させ、更に、指FGの近接対応位置を起点(基準)として第2半径の同心円の外側であって第2半径より大きい第3半径の同心円の内側の範囲内の位置に、「Heat」の予測候補PR7と、「Head」の予測候補PR8と、「House」の予測候補PR9とを表示させる。
図7(A)において、携帯端末1は、指FGのフリック操作時の移動距離が所定の閾値以上であるか否かに応じて、例えば「Home」の予測候補PR4の文字列又は「Heat」の予測候補PR7の文字列を選択する。従って、携帯端末1は、指FGのフリック操作時の移動距離が所定の閾値以上である場合には「Heat」の予測候補PR7の文字列を選択し、指FGのフリック操作時の移動距離が所定の閾値未満である場合には「Home」の予測候補PR4の文字列を選択する。
また、図7(A)において、携帯端末1は、指FGがフリック操作時に画面DPに接触するか又はフリック操作時に画面DPに接触せずに近接検知範囲内のホバー操作の中でフリック操作するかに応じて、例えば「Home」の予測候補PR4の文字列又は「Heat」の予測候補PR7の文字列を選択しても良く、又はその逆でも良い。
従って、携帯端末1は、指FGがフリック操作時に画面DPに接触した、いわゆる通常のフリック操作を行った場合には「Home」の予測候補PR4の文字列を選択し、指FGがフリック操作時の画面DPに接触せずに近接検知範囲内のホバー操作の中でフリック操作した場合には「Heat」の予測候補PR7の文字列を選択する。
また、携帯端末1は、指FGの近接対応位置を起点として第1半径の同心円と、第2半径の同心円と、第3半径の同心円との各位置をユーザに識別させるためのガイド線GD1、ガイド線GD2、ガイド線GD3を更に表示させても良い(図7(B)参照)。なお、携帯端末1は、予測候補の文字列の個数と各範囲に表示可能な予測候補の文字列の個数とに応じて、第3半径、第4半径、…、第n半径の各同心円との間の範囲の位置に予測候補の文字列を同様に表示しても良い。これにより、携帯端末1は、ユーザに例えばフリック操作によって所望の予測候補の文字列を容易に選択させることができ、予測候補の文字列の誤選択を軽減することができる。
図8は、指FGによって表示が遮られない位置に予測候補の文字列が表示される様子を示す図である。上述した実施形態では、表示位置決定部60は、少なくとも一個の予測候補の文字列の画面DP上における表示位置を、例えば指FGの近接対応位置の周囲の所定位置であって画面DP上に表示された複数のキーの各々の間の中間位置に決定する。
また、表示位置決定部60は、近接が検知された指FGの特定点(例えば静電容量値が最大となる位置)における近接検知信号だけではなく、当該特定点を含む複数箇所における複数の近接検知信号を基にして、近接が検知された時の指FGの傾きを検知し、近接が検知された時における指FGの傾きを考慮して、少なくとも一個の予測候補の文字列の画面DP上における表示位置を、指FGによって予測候補の文字列の表示が遮られない表示位置に決定しても良い(図8参照)。
従って、図8では、携帯端末1は、「Get」の予測候補PR10の文字列と、「Guide」の予測候補PR11の文字列と、「Green」の予測候補PR12の文字列とを、複数の近接検知信号を基に傾きが検知された指FGによって表示が遮られない表示位置、即ち、左側に傾いている指FGの右側であって、同様に指FGの近接対応位置に表示されている「G」のキーを起点(基準)とした第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に表示させる。
これにより、携帯端末1は、少なくとも一個の予測候補の文字列を、指FGによって選択し難い表示位置に表示することがなくなるので、ユーザの予測候補の文字列の選択操作を簡易化させることができる。
図9(A)は、テンキー形式のキー配列のソフトウェアキーボードが表示された画面DPにおいて予測候補の文字列が表示された様子を示す図である。図9(B)は、テンキー形式のキー配列のソフトウェアキーボードが表示された画面DPにおいて予測候補としての漢字を含む文字列と絵文字の文字列とが表示される様子を示す図である。上述した実施形態では、キー配列のソフトウェアキーボードの一例として「QWERTY」形式を用いて説明したが、「テンキー」形式のキー配列を用いても良い。
図9(A)では、指FGが文字列「な」のキーに対して近接した場合に、予測候補抽出部50は、予測候補辞書55を参照し、近接対応位置に表示されている文字列「な」のキーに対応する文字列「な」又は文字列「な」の読みと前方一致する所定個(例えば3個)の予測候補の文字列を抽出して生成する。画像合成部80は、表示位置決定部60により決定された画面DPの表示位置に、所定個の予測候補の文字列の画像データを表示させる。具体的には、携帯端末1は、「慣れる」の予測候補PR13の文字列と、「夏休み」の予測候補PR14の文字列と、「何でも」の予測候補PR15の文字列とを、指FGの近接対応位置の周囲の所定位置であって、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に表示させる。
また、図9(B)に示すように、指FGが文字列「な」のキーに対して近接した場合に、予測候補抽出部50は、予測候補辞書55を参照し、近接対応位置に表示されている文字列「な」のキーに対応する文字列「な」と前方一致する所定個(例えば6個)の予測候補の文字列として、漢字を含む文字列と文字列「な」に関連する絵文字(例えば「泣く」に関連する絵文字)の文字列とを抽出して生成しても良い。また、図9(A)において、携帯端末1は、指FGが文字列「な」のキーに対して近接した場合に、近接対応位置に表示されている文字列「な」に関連する絵文字(例えば「泣く」に関連する絵文字)を表示させても良い。
この場合、表示位置決定部60は、漢字を含む文字列の画像データの表示位置を、従来の携帯端末と同様に「テンキー」形式のキー配列TARの上部に設けられた所定領域UARに決定する。更に、表示位置決定部60は、文字列「な」に関連する絵文字の文字列の画像データの表示位置を、上述した実施形態において説明した指FGの近接対応位置の周囲の所定位置であって、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に決定する。
画像合成部80は、図9(B)に示すように、漢字を含む文字列の画像データを、キー配列TARの上部に設けられた所定領域UARに表示させ、更に、文字列「な」に関連する絵文字の文字列の画像データを指FGの近接対応位置の周囲の所定位置であって、指FGの近接対応位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置に表示させる。
これにより、携帯端末1は、指FGが近接した近接対応位置に表示されている文字列に関連する漢字を含む文字列と、近接対応位置に表示されている文字列に関連する絵文字の文字列とを予測候補の文字列として表示させるので、ユーザが選択しようとする予測候補の文字列を数多く示すことができ、選択の自由度を広げることができ、ユーザの選択操作を簡易化させることができる。
また、図7(A)又は(B)において、携帯端末1は、指FGの近接対応位置から近い表示位置に絵文字の文字列を表示させ、指FGの近接対応位置から遠い表示位置に漢字を含む予測候補の文字列を表示させても良く、又はその逆でも良い。
また、上述した実施形態では、携帯端末1は、予測候補の文字列を抽出するための条件として指FGの近接対応位置に表示されているキーに対応する文字列又はその文字列の読みとの前方一致を用いたが、例えば文字列入力領域FARに入力された文字列との類似度判定を用いても良い。これにより、携帯端末1は、文字列入力領域FARに既に入力された文字列に類似すると判定された文字列を予測候補の文字列として表示するので、ユーザの予測候補の文字列の選択の自由度を広げることができ、ユーザの選択操作を簡易化させることができる。
(第2の実施形態の説明)
第2の実施形態では、携帯端末1aは、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーに対して指FGが接触した場合に、接触が検知された指FGに対応する画面DP上の位置(以下、「接触対応位置」と定義する)の周囲の所定位置に、接触対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる(図11参照)。
第2の実施形態では、携帯端末1aは、画面DPに表示されたQWERTY形式のキー配列(ソフトウェアキーボード)のいずれかのキーに対して指FGが接触した場合に、接触が検知された指FGに対応する画面DP上の位置(以下、「接触対応位置」と定義する)の周囲の所定位置に、接触対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を表示させる(図11参照)。
(携帯端末1aの機能的構成)
次に、第2の実施形態の携帯端末1aの機能的構成について、図10を参照して説明する。図10は、第2の実施形態の携帯端末1aの機能的構成を示すブロック図である。図10に示す携帯端末1aは、タッチ検知部15、タッチ座標評価部20、操作判定部30a、キーボードアプリケーション40a、予測候補抽出部50a、予測候補辞書55、表示位置決定部60、キー画像生成部70、候補画像生成部75、画像合成部80及び画面表示部90を含む。本実施形態では、第1の実施形態の携帯端末1の各部の説明と同様の内容の説明は省略し、異なる内容について説明する。
次に、第2の実施形態の携帯端末1aの機能的構成について、図10を参照して説明する。図10は、第2の実施形態の携帯端末1aの機能的構成を示すブロック図である。図10に示す携帯端末1aは、タッチ検知部15、タッチ座標評価部20、操作判定部30a、キーボードアプリケーション40a、予測候補抽出部50a、予測候補辞書55、表示位置決定部60、キー画像生成部70、候補画像生成部75、画像合成部80及び画面表示部90を含む。本実施形態では、第1の実施形態の携帯端末1の各部の説明と同様の内容の説明は省略し、異なる内容について説明する。
本実施形態において、指FGのタッチ(接触)を検知可能なタッチパネルTPaは、タッチ検知部15及びタッチ座標評価部20を用いて構成可能である。
操作判定部30aは、タッチ座標評価部20から出力されたタッチ座標(x、y)の情報を基に、指FGの入力操作がタッチ操作(又はタップ操作も可)、タッチスライド操作(ドラッグ操作)及びフリック操作のうちいずれの操作であるかを判定する。
操作判定部30aは、指FGの入力操作がタッチ操作(又はタップ操作も可)であると判定した場合に、接触対応位置に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40aに出力する。操作判定部30aは、キーボードアプリケーション40aから出力された情報、即ち接触対応位置に対応する画面DP上に表示されているキーの情報を取得して予測候補抽出部50aに出力する。
キーボードアプリケーション40aは、操作判定部30aから出力された判定要求と表示キー位置情報45とを基に、接触対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40aは、判定されたキーの情報を操作判定部30aに出力する。
また、文字列入力部としてのキーボードアプリケーション40aは、指FGの入力操作がタッチ操作(又はタップ操作も可)、タッチスライド操作(ドラッグ操作)又はフリック操作である旨の情報を操作判定部30aから取得した場合には、いずれかの操作によって選択されたキーに対応した文字列又は予測候補の文字列を画面表示部90の画面DPの文字列入力領域FAR(図10参照)に入力・表示させる(図12参照)。なお、本実施形態及び後述する本実施形態の変形例では、タッチスライド操作(ドラッグ操作)及びフリック操作は、画面DPに表示された予測候補の文字列を携帯端末1aに入力させるためにユーザが行う選択操作である。
予測候補抽出部50aは、操作判定部30aから出力されたキーの情報、即ち接触対応位置に対応する画面DP上に表示されているキーの情報を基に、予測候補辞書55を参照し、当該キーの情報に対応するキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータを所定個(例えば3個)、抽出して生成する。
(本実施形態の携帯端末1aの動作概要)
次に、本実施形態の携帯端末1aの動作概要を、図11及び図12を参照して説明する。図11(A)は、QWERTY形式のキー配列のソフトウェアキーボードを画面DPに表示させた様子を示す図である。図11(B)は、新たな入力操作の対象文字の先頭文字「T」に指FGが接触した様子を示す図である。図11(C)は、新たな入力操作の対象文字の先頭文字「H」に指FGが接触した様子を示す図である。
次に、本実施形態の携帯端末1aの動作概要を、図11及び図12を参照して説明する。図11(A)は、QWERTY形式のキー配列のソフトウェアキーボードを画面DPに表示させた様子を示す図である。図11(B)は、新たな入力操作の対象文字の先頭文字「T」に指FGが接触した様子を示す図である。図11(C)は、新たな入力操作の対象文字の先頭文字「H」に指FGが接触した様子を示す図である。
(動作概要1:予測候補の文字列の表示)
キー画像生成部70は、キーボードアプリケーション40aからの例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データの生成指示を基に、QWERTY形式のキー配列のソフトウェアキーボードの画面データを生成して画像合成部80に出力する。画像合成部80は、キー画像生成部70から出力されたQWERTY形式のキー配列のソフトウェアキーボードの画面データを、画面表示部90の画面DPの所定領域KARに表示させる(図11(A)参照)。図11(A)に示す画面DPの上部領域には、QWERTY形式のキー配列のソフトウェアキーボードに対する指FGの選択操作によって入力された文字列が表示される文字列入力領域FARが示されている。
キー画像生成部70は、キーボードアプリケーション40aからの例えばQWERTY形式のキー配列のソフトウェアキーボードの画面データの生成指示を基に、QWERTY形式のキー配列のソフトウェアキーボードの画面データを生成して画像合成部80に出力する。画像合成部80は、キー画像生成部70から出力されたQWERTY形式のキー配列のソフトウェアキーボードの画面データを、画面表示部90の画面DPの所定領域KARに表示させる(図11(A)参照)。図11(A)に示す画面DPの上部領域には、QWERTY形式のキー配列のソフトウェアキーボードに対する指FGの選択操作によって入力された文字列が表示される文字列入力領域FARが示されている。
新たな入力操作の対象文字の先頭文字が「T」である場合に指FGが「T」に接触(例えばタッチ操作又はタップ操作)すると(図11(B)参照)、予測候補抽出部50aは、文字列「T」と前方一致する「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列とを抽出して生成する。図11の説明では、所定数は例えば3である。表示位置決定部60は、3個の予測候補の文字列の画面DP上における表示位置を決定して画像合成部80に出力する。表示位置決定部60により決定される予測候補の文字列の表示位置は、第1の実施形態における表示位置決定部60により決定される表示位置と同じである。
候補画像生成部75は、「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列との各画像データを生成して画像合成部80に出力する。画像合成部80は、「The」の予測候補PR1の文字列と、「This」の予測候補PR2の文字列と、「That」の予測候補PR3の文字列との各画像データを、表示位置決定部60により決定された表示位置に表示させる。表示位置決定部60により決定された表示位置は、例えば指FGの接触対応位置、即ち「T」のキーの表示位置の周囲の所定位置であって、接触対応位置に表示されている文字列「T」のキーの表示位置を起点(基準)として第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置である。
同様に、新たな入力操作の対象文字の先頭文字が「H」である場合に指FGが「H」に接触(例えばタッチ操作又はタップ操作)すると(図11(C)参照)、予測候補抽出部50aは、「H」と前方一致する「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列とを抽出して生成する。表示位置決定部60は、3個の予測候補の文字列の画面DP上における表示位置を決定して画像合成部80に出力する。
候補画像生成部75は、「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列との各画像データを生成して画像合成部80に出力する。画像合成部80は、「Home」の予測候補PR4の文字列と、「How」の予測候補PR5の文字列と、「Health」の予測候補PR6の文字列とを、表示位置決定部60により決定された表示位置に表示させる。表示位置決定部60により決定された表示位置は、例えば指FGの接触対応位置、即ち「H」のキーの表示位置の周囲の所定位置であって、接触対応位置に表示されている文字列「H」のキーの表示位置を起点(基準)とした第1半径の同心円の外側であって第1半径より大きい第2半径の同心円の内側の範囲内の位置であって、当該範囲内に存在する各キーの間の中間位置である。
(動作概要2:タッチスライド操作(ドラッグ操作)による選択)
本実施形態では、図11(B)又は(C)に示す各予測候補の文字列が表示された後、携帯端末1aは、ユーザがいずれかの予測候補の文字列を選択するための操作(例えばドラッグ操作又はフリック操作)に応じて、当該操作によって選択された予測候補の文字列を入力・表示させる(図12参照)。
本実施形態では、図11(B)又は(C)に示す各予測候補の文字列が表示された後、携帯端末1aは、ユーザがいずれかの予測候補の文字列を選択するための操作(例えばドラッグ操作又はフリック操作)に応じて、当該操作によって選択された予測候補の文字列を入力・表示させる(図12参照)。
図12(A)は、「Home」の予測候補PR4の文字列がドラッグ操作によって選択される様子を示す図である。図12(B)は、「Home」の予測候補PR4の文字列がドラッグ操作によって選択された瞬間の様子を示す図である。図12(C)は、「Home」の予測候補PR4の文字列が入力されて指FGがリリース操作した後の様子を示す図である。
図12の説明において、所定数(図12(A)又は(B)では3)個の予測候補の文字列が表示されるまでの携帯端末1aにおける動作は図11と同一であるため説明を省略し、異なる内容について説明する。図12では、例えばタッチスライド操作(ドラッグ操作)によっていずれかの予測候補の文字列が選択されるとして説明する。
指FGがドラッグ操作前の位置である接触対応位置に表示されている「H」のキーの表示位置(図12(A)参照)から、「Home」の予測候補PR4の文字列の画像データに向かってドラッグ操作すると(図12(B)参照)、キーボードアプリケーション40aは、操作判定部30aから出力された情報を基に、ドラッグ操作によって選択された「Home」の予測候補PR4の文字列を文字列入力領域FARに表示させる。キーボードアプリケーション40aは、ドラッグ操作によって選択された「Home」の予測候補PR4の文字列を文字列入力領域FARに表示させた後、「Home」の予測候補PR4の文字列の選択前に画面DPに表示されていた全ての予測候補PR4〜PR6の各文字列を非表示させる(図12(C)参照)。
これにより、携帯端末1aは、指FGの接触対応位置の周囲の所定位置に表示された予測候補の文字列がドラッグ操作によって選択されることで、予測候補の文字列の画像データを選択する場合に、予測候補の文字列の画像データの背景に表示されているキーを誤って選択するユーザの誤入力を軽減することができる。
また、ユーザが予測候補の文字列を選択するための選択操作は、ドラッグ操作でなくても良く、例えば第1の実施形態と同様にフリック操作でも良い(図3(B)及び(C)参照)。この場合、携帯端末1aは、指FGの近接対応位置の周囲の所定位置に予測候補の文字列が表示された場合に、ソフトウェアキーボードのいずれかのキーがフリック操作によって選択されることで、予測候補の文字列を誤って選択するユーザの誤入力を軽減することができる。
(第2の実施形態の携帯端末1aの動作)
図13は、第2の実施形態の携帯端末1aの動作手順を説明するフローチャートである。図13の説明において、必要に応じて、図11又は図12の内容を参照する。図13の説明の前提として、画像合成部80は、キー画像生成部70から出力された例えばQWERTY形式のキー配列のソフトウェアキーボードを画面DPの所定領域KARに表示させている(図11(A)参照)。また、図13に示すフローチャートの説明では、図6に示すフローチャートの説明と同様の内容の説明は省略し、異なる内容について説明する。
図13は、第2の実施形態の携帯端末1aの動作手順を説明するフローチャートである。図13の説明において、必要に応じて、図11又は図12の内容を参照する。図13の説明の前提として、画像合成部80は、キー画像生成部70から出力された例えばQWERTY形式のキー配列のソフトウェアキーボードを画面DPの所定領域KARに表示させている(図11(A)参照)。また、図13に示すフローチャートの説明では、図6に示すフローチャートの説明と同様の内容の説明は省略し、異なる内容について説明する。
図13において、携帯端末1aは、画面DP上において新たな入力操作の対象文字に対して指FGが接触したか否かを操作判定部30aにおいて判定する(S41)。操作判定部30aは、タッチ座標評価部20から出力されたタッチ座標(x、y)の情報を基にして画面DP上において新たな入力操作の対象文字に対して指FGが接触したことを判定した場合に限り(S41、YES)、接触対応位置に対応する画面DP上に表示されているキーの判定要求をキーボードアプリケーション40aに出力する。
キーボードアプリケーション40aは、操作判定部30aから出力された判定要求と表示キー位置情報45とを基に、接触対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40aは、判定されたキーの情報を操作判定部30aに出力する。操作判定部30aは、キーボードアプリケーション40aから出力された情報、即ち接触対応位置に対応する画面DP上に表示されているキーの情報を取得して予測候補抽出部50aに出力する。
予測候補抽出部50aは、操作判定部30aから出力されたキーの情報、即ち接触対応位置に対応する画面DP上に表示されているキーの情報を基に、予測候補辞書55を参照し、当該キーの情報に対応するキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータがあるか否かを判定する(S42)。接触対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータが無いと判定された場合には(S42、NO)、携帯端末1aの動作はステップS18に進む。
接触対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータがあると判定された場合には(S42、YES)、予測候補抽出部50aは、抽出された少なくとも一個の予測候補の文字列のデータを、表示位置決定部60及び候補画像生成部75にそれぞれ出力する。
また、少なくとも一個の予測候補の文字列の画像データが表示位置決定部60により決定された画面DP上の表示位置に表示された後、携帯端末1aは、いずれかの予測候補の文字列に対するユーザの選択操作(ドラッグ操作又はフリック操作)があったか否かを判定する(S46)。いずれかの予測候補の文字列に対するユーザの選択操作が無い場合には(S46、NO)、携帯端末1aの動作はステップS18に進む。
いずれかの予測候補の文字列に対するユーザの選択操作がある場合には(S46、YES)、キーボードアプリケーション40aは、指FGの入力操作としてドラッグ操作又はフリック操作が行われた旨の情報を操作判定部30aから取得し、いずれかの操作によって選択された予測候補の文字列を確定された入力文字列として文字列入力領域FAR(図12(B)参照)に入力及び表示させる(S47)。
キーボードアプリケーション40aは、ステップS47において選択された予測候補の文字列を入力及び表示させた後、画面DPに表示されていた全ての予測候補の文字列を非表示する旨の情報を画像合成部80に出力する。画像合成部80は、キーボードアプリケーション40aから出力された情報を基に、画面DPに表示されていた全ての予測候補の文字列を非表示させる(S51)。ステップS51の後、携帯端末1aの動作は終了する。
以上により、本実施形態の携帯端末1aは、画面DPに表示されたQWERTY形式のキー配列のソフトウェアキーボードのいずれかのキーに対して指FGが接触した場合に、接触が検知された指FGの接触対応位置に表示されているキーに対応する文字列又はその文字列の読みと前方一致する少なくとも一個の予測候補の文字列を、指FGの接触対応位置の周囲の所定位置に表示させる。
これにより、携帯端末1aは、ユーザの入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に接触が検知された指示媒体(例えばユーザの指)に対応する画面DP上の位置の周囲に表示させ、ユーザは指FGの接触対応位置から予測候補の文字列の表示位置までの間だけ視点及び指FGを移動させれば良いので、ユーザの入力操作の煩雑性を緩和することができる。
(第2の実施形態の変形例)
第2の実施形態の変形例として、携帯端末1aは、例えばユーザが所望する予測候補の文字列が表示されていないために入力文字列として未確定状態であって既に少なくとも一個の文字列が入力されている場合に、当該入力済みの文字列又はその文字列の読みと前方一致する予測候補の文字列を、当該入力済みの文字列の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させても良い(図14参照)。なお、本変形例においても、携帯端末1aの機能的構成は図10に示す第2の実施形態の携帯端末1aの構成と同様であるため、同じ符号を用いて説明する。
第2の実施形態の変形例として、携帯端末1aは、例えばユーザが所望する予測候補の文字列が表示されていないために入力文字列として未確定状態であって既に少なくとも一個の文字列が入力されている場合に、当該入力済みの文字列又はその文字列の読みと前方一致する予測候補の文字列を、当該入力済みの文字列の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させても良い(図14参照)。なお、本変形例においても、携帯端末1aの機能的構成は図10に示す第2の実施形態の携帯端末1aの構成と同様であるため、同じ符号を用いて説明する。
図14は、テンキー形式のキー配列TARのソフトウェアキーボードが表示された画面DPの所定領域KARにおいて、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する少なくとも一個の予測候補の文字列が文字列「あし」の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示されている様子を示す図である。
図14では、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する予測候補の文字列として、予測候補PR21「アジア」、予測候補PR22「味」、予測候補PR23「明日」、予測候補PR24「足も」及び予測候補PR25「味わい」の各文字列の画像データが、文字列「あし」の次の文字列の読みに対応する「あ」、「さ」、「た」、「ま」及び「わ」の各キーの表示位置の周囲の所定位置に表示されている。また本変形例では、携帯端末1aは、入力文字列として未確定状態であって既に入力された文字列「あし」のいずれかの文字列に濁点が付与された文字列と前方一致する予測候補の文字列を抽出して表示させても良い(図14に示す予測候補PR21「アジア」の文字列を参照)。
本変形例の携帯端末1aの動作は図13に示すフローチャートのステップS41〜S45に対応するが、次に、本変形例の携帯端末1aにおける各ステップの動作を本変形例の内容に対応させて説明する。第2の実施形態の携帯端末1aの動作と同様の内容については説明を省略し、第2の実施形態と本変形例とにおいて異なる内容を説明する。
本変形例の携帯端末1aの動作説明の前提として、画像合成部80は、キー画像生成部70から出力された例えばテンキー形式のキー配列TARのソフトウェアキーボードを画面DPの所定領域KARに表示させている(図14参照)。
本変形例では、キーボードアプリケーション40aは、入力文字列として未確定状態であって既に文字列「あし」が入力された場合、操作判定部30aから出力された判定要求と表示キー位置情報45とを基に、指FGの接触対応位置に対応する画面DP上に表示されているキーを判定する。キーボードアプリケーション40aは、入力文字列として未確定状態であって既に文字列「あし」が入力されているので、指FGの接触対応位置に対応する画面DP上に表示されているキーを「さ」のキーと判定し、この「さ」のキーの情報を操作判定部30aに出力する。操作判定部30aは、キーボードアプリケーション40aから出力された情報、即ち接触対応位置に対応する画面DP上に表示されている「さ」のキーの情報を取得して予測候補抽出部50aに出力する。
予測候補抽出部50aは、操作判定部30aから出力されたキーの情報、即ち接触対応位置に対応する画面DP上に表示されている「さ」のキーの情報と入力文字列として未確定状態であって既に入力されている文字列「あし」の情報とを基に、予測候補辞書55を参照し、入力文字列として未確定状態であって既に入力されている文字列「あし」と前方一致する少なくとも一個の予測候補の文字列のデータがあるか否かを判定する(S42)。接触対応位置に対応する画面DP上に表示されているキー又は当該キーの読みと前方一致する少なくとも一個の予測候補の文字列のデータが無いと判定された場合には(S42、NO)、携帯端末1aの動作はステップS18に進む。
入力文字列として未確定状態であって既に入力されている文字列「あし」と前方一致する少なくとも一個の予測候補の文字列のデータがあると判定された場合には(S42、YES)、予測候補抽出部50aは、抽出された少なくとも一個の予測候補の文字列のデータを、表示位置決定部60及び候補画像生成部75にそれぞれ出力する。
表示位置決定部60は、予測候補抽出部50aから出力された少なくとも一個の予測候補の文字列のデータを基に、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する予測候補の文字列の表示位置を、既に入力された文字列「あし」の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に決定する(S13)。キーの表示位置の周囲の所定位置とは、例えば当該キーの表示範囲の上部とするが(図14参照)、当該キーの表示範囲の上部に限定されず、当該キーの表示範囲の下部でも良い。表示位置決定部60は、入力文字列として未確定状態であって既に入力された文字列「あし」と前方一致する予測候補の文字列の表示位置の情報を画像合成部80に出力する。
候補画像生成部75は、予測候補抽出部50aから出力された少なくとも一個の予測候補の文字列のデータを基に、予測候補の文字列の画像データを生成して画像合成部80に出力する(S14)。
画像合成部80は、表示位置決定部60及び候補画像生成部75からの各出力を基に、候補画像生成部75により生成された予測候補PR21「アジア」、予測候補PR22「味」、予測候補PR23「明日」、予測候補PR24「足も」及び予測候補PR25「味わい」の各文字列の画像データを、テンキー形式のキー配列TARのソフトウェアキーボードに合成して表示させる(S15)。即ち、画像合成部80は、候補画像生成部75により生成された少なくとも一個の予測候補の文字列の画像データを、表示位置決定部60により決定された画面DP上の表示位置に表示させる(図14参照)。また、画像合成部80は、候補画像生成部75により生成された少なくとも一個の予測候補の文字列の画像データを、「テンキー」形式のキー配列TARの上部に設けられた所定領域UARに表示しても良い(図14参照)。
以上により、第2の実施形態の変形例では、携帯端末1aは、入力文字列として未確定状態であって既に少なくとも一個の文字列が入力されている場合に、当該入力済みの文字列又はその文字列の読みと前方一致する予測候補の文字列を、当該入力済みの文字列の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させる(図14参照)。
これにより、携帯端末1aは、入力文字列として未確定状態であって既に入力された文字列に連続する予測候補の文字列をユーザが選択し易い位置に明示的に表示させることで、次に入力したいと考える文字列の読みに対応するキーの表示位置にユーザの視点移動を効率的に誘導することができ、ユーザの文字列の入力操作を簡易化させることができる。
以上、図面を参照して各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
なお、第2の実施形態の変形例で説明した内容は、ユーザの入力操作時に特定のキーに対する近接が検知された場合に、当該近接が検知された指示媒体(例えばユーザの指)に対応する画面DP上の近接対応位置の周囲に予測候補の文字列を表示させる場合にも適用可能である。即ち、携帯端末1は、入力文字列として未確定状態であって既に少なくとも一個の文字列が入力されている場合に、近接が検知されている指FGの近接対応位置に表示されている文字列又はその文字列の読みと前方一致する予測候補の文字列を、当該入力済みの文字列の次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させても良い。これにより、携帯端末1aは、入力文字列として未確定状態であって既に入力された文字列に連続する予測候補の文字列をユーザが選択し易い位置に明示的に表示させることで、次に入力したいと考える文字列の読みに対応するキーの表示位置にユーザの視点移動を効率的に誘導することができ、ユーザの文字列の入力操作を簡易化させることができる。
なお、第2の実施形態又は第2の実施形態の変形例において、携帯端末1aは、予測候補抽出部50aが所定数(例えば3)を超える予測候補の文字列を抽出した場合には、指示媒体(例えばユーザの指FG)の接触対応位置を基準として、所定数の予測候補の文字列が表示された表示位置の外側に、残りの予測候補の文字列を表示させても良い(図7(A)又は(B)参照)。更に、携帯端末1aは、指FGの接触対応位置を起点として第1半径の同心円と、第2半径の同心円と、第3半径の同心円との各位置をユーザに識別させるためのガイド線GD1、ガイド線GD2、ガイド線GD3を更に表示させても良い(図7(B)参照)。なお、携帯端末1aは、予測候補の文字列の個数と各範囲に表示可能な予測候補の文字列の個数とに応じて、第3半径、第4半径、…、第n半径の各同心円との間の範囲の位置に予測候補の文字列を同様に表示しても良い。これにより、携帯端末1aは、ユーザに例えばドラッグ操作によって所望の予測候補の文字列を容易に選択させることができ、予測候補の文字列の誤選択を軽減することができる。
なお、第1の実施形態又は第1の実施形態の変形例において、携帯端末1は、ユーザの指FGの近接操作(例えばホバー操作)の検知に応じて予測候補の文字列が画面DPに表示された後、指FGのドラッグ操作に応じて、ドラッグ操作後の指FGが指す予測候補の文字列を、画面DPの文字列入力領域FAR(図2参照)に入力・表示させても良い。
本発明は、入力操作の対象となる文字列に関連する予測候補の文字列を、入力操作時に近接が検知された指示媒体に対応する画面上の位置の周囲の所定位置に表示させ、入力操作の煩雑性を緩和する入力装置及び入力支援方法として有用である。
1、1a 携帯端末
5 近接検知部
10 近接座標評価部
15 タッチ検知部
20 タッチ座標評価部
30、30a 操作判定部
40、40a キーボードアプリケーション
50、50a 予測候補抽出部
60 表示位置決定部
70 キー画像生成部
75 候補画像生成部
80 画像合成部
90 画面表示部
5 近接検知部
10 近接座標評価部
15 タッチ検知部
20 タッチ座標評価部
30、30a 操作判定部
40、40a キーボードアプリケーション
50、50a 予測候補抽出部
60 表示位置決定部
70 キー画像生成部
75 候補画像生成部
80 画像合成部
90 画面表示部
Claims (20)
- 所定の配列を有する複数の文字列のキーを画面に表示する表示部と、
前記画面に対する指示媒体の選択操作を検知して検知信号を出力する検知部と、
前記画面に表示された前記文字列のキーに対応する文字列又は前記文字列の読みと前方一致する文字列を記憶する記憶部と、
前記検知信号を基に、前記選択操作が検知された前記指示媒体に対応する前記画面上の位置である選択位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成する予測候補生成部と、
生成された前記少なくとも一個の予測候補の文字列を、前記選択位置の周囲の所定位置に表示させる表示制御部と、を備える入力装置。 - 請求項1に記載の入力装置であって、
前記検知部は、前記選択操作として前記指示媒体の前記画面に対する近接を検知し、前記検知信号としての近接検知信号を出力し、
前記予測候補生成部は、前記近接検知信号を基に、前記選択位置としての近接対応位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成し、
前記表示制御部は、生成された前記少なくとも一個の予測候補の文字列を、前記近接対応位置の周囲の所定位置に表示させる入力装置。 - 請求項1に記載の入力装置であって、
前記検知部は、前記選択操作として前記指示媒体の前記画面に対する接触を検知し、前記検知信号としての接触検知信号を出力し、
前記予測候補生成部は、前記接触検知信号を基に、前記選択位置としての接触対応位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成し、
前記表示制御部は、生成された前記少なくとも一個の予測候補の文字列を、前記接触対応位置の周囲の所定位置に表示させる入力装置。 - 請求項2又は3に記載の入力装置であって、
前記生成された前記少なくとも一個の予測候補の文字列の前記画面上における表示位置を決定する表示位置決定部と、を更に備える入力装置。 - 請求項4に記載の入力装置であって、
前記表示位置決定部は、前記生成された前記少なくとも一個の予測候補の文字列の前記画面上における表示位置を、前記画面上に表示された前記複数の文字列のキーの各々の間の中間位置に決定する入力装置。 - 請求項2に記載の入力装置であって、
前記画面に対する指示媒体の接触を検知して接触検知信号を出力する接触検知部と、
前記接触検知信号を基に、前記画面に表示された前記少なくとも一個の予測候補の文字列に対する選択操作であるか否かを判定する操作判定部と、
前記選択操作であると判定された場合に、前記選択操作された前記画面上の位置に表示されているいずれかの前記予測候補の文字列を入力する文字列入力部と、を更に備える入力装置。 - 請求項6に記載の入力装置であって、
前記文字列入力部は、前記選択操作がタッチ操作であると判定された場合に、前記タッチ操作された前記予測候補の文字列を入力する入力装置。 - 請求項6に記載の入力装置であって、
前記文字列入力部は、前記選択操作がフリック操作であると判定された場合に、前記フリック操作された前記予測候補の文字列を入力する入力装置。 - 請求項6に記載の入力装置であって、
前記文字列入力部は、前記選択操作がドラッグ操作であると判定された場合に、前記ドラッグ操作された前記予測候補の文字列を入力する入力装置。 - 請求項6に記載の入力装置であって、
前記表示制御部は、前記生成された前記少なくとも一個の予測候補の文字列が所定数より多い場合に、前記指示媒体の近接対応位置を基準として前記所定数の前記予測候補の文字列が表示された表示位置の外側に、残りの前記予測候補の文字列を表示する入力装置。 - 請求項6に記載の入力装置であって、
前記検知部は、前記近接が検知された前記指示媒体に対する複数の近接検知信号を出力し、
前記表示位置決定部は、前記複数の近接検知信号を基に、前記少なくとも一個の予測候補の文字列の表示位置を、前記近接が検知された前記指示媒体によって表示が遮られない表示位置に決定する入力装置。 - 請求項6に記載の入力装置であって、
前記表示制御部は、前記少なくとも一個の予測候補の文字列のうちいずれかが入力された後、前記複数の文字列のキーのうち所定のキーに対する前記指示媒体の近接に応じて、前記入力前に表示されていた前記少なくとも一個の予測候補の文字列を再表示する入力装置。 - 請求項12に記載の入力装置であって、
前記文字列入力部は、前記再表示された前記少なくとも一個の予測候補の文字列のうち前記選択操作された予測候補の文字列を、前記入力されたいずれかの前記予測候補の文字列と入れ替えて入力する入力装置。 - 請求項12に記載の入力装置であって、
前記表示制御部は、前記所定のキーに対する前記指示媒体の選択操作に応じて、前記再表示された前記複数の予測候補の文字列を非表示する入力装置。 - 請求項3に記載の入力装置であって、
前記接触検知信号を基に、前記画面に表示された前記少なくとも一個の予測候補の文字列に対する選択操作であるか否かを判定する操作判定部と、
前記選択操作であると判定された場合に、前記選択操作された前記画面上の位置に表示されているいずれかの前記予測候補の文字列を入力する文字列入力部と、を更に備える入力装置。 - 請求項15に記載の入力装置であって、
前記文字列入力部は、前記選択操作がドラッグ操作であると判定された場合に、前記ドラッグ操作後に前記指示媒体が指示する前記予測候補の文字列を入力する入力装置。 - 請求項15に記載の入力装置であって、
前記文字列入力部は、前記選択操作がフリック操作であると判定された場合に、前記フリック操作後に前記指示媒体が指示する前記予測候補の文字列を入力する入力装置。 - 請求項15に記載の入力装置であって、
前記表示制御部は、前記生成された前記少なくとも一個の予測候補の文字列が所定数より多い場合に、前記指示媒体の接触対応位置を基準として前記所定数の前記予測候補の文字列が表示された表示位置の外側に、残りの前記予測候補の文字列を表示する入力装置。 - 請求項2又は3に記載の入力装置であって、
前記表示制御部は、生成された前記少なくとも一個の予測候補の文字列を、前記選択操作に応じて前記指示媒体が指示する前記選択位置に表示されている文字列のキーの次の文字列の読みに対応するキーの表示位置の周囲の所定位置に表示させる入力装置。 - 所定の配列を有する複数の文字列のキーを画面に表示する入力装置における入力装置であって、
前記画面に対する指示媒体の選択操作を検知して検知信号を出力するステップと、
前記検知信号を基に、前記画面に表示された前記文字列のキーに対応する文字列又は前記文字列の読みと前方一致する文字列を記憶する記憶部を参照して、前記選択操作が検知された前記指示媒体に対応する前記画面上の位置である選択位置に表示されているキーに対応する文字列又は前記文字列の読みと前方一致する少なくとも一個の予測候補の文字列を生成するステップと、
生成された前記少なくとも一個の予測候補の文字列を、前記選択位置の周囲の所定位置に表示させるステップと、を有する入力制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261676190P | 2012-07-26 | 2012-07-26 | |
US61/676190 | 2012-07-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014026629A true JP2014026629A (ja) | 2014-02-06 |
Family
ID=50200170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012251611A Pending JP2014026629A (ja) | 2012-07-26 | 2012-11-15 | 入力装置及び入力支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014026629A (ja) |
Cited By (121)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101833129B1 (ko) * | 2015-06-05 | 2018-02-27 | 애플 인크. | 언어 입력 교정 |
US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
CN108459864A (zh) * | 2018-01-23 | 2018-08-28 | 维沃移动通信有限公司 | 一种更新显示内容的方法及移动终端 |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
US10332518B2 (en) | 2017-05-09 | 2019-06-25 | Apple Inc. | User interface for correcting recognition errors |
US10354652B2 (en) | 2015-12-02 | 2019-07-16 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10403283B1 (en) | 2018-06-01 | 2019-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US10417405B2 (en) | 2011-03-21 | 2019-09-17 | Apple Inc. | Device access using voice authentication |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10417344B2 (en) | 2014-05-30 | 2019-09-17 | Apple Inc. | Exemplar-based natural language processing |
US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10438595B2 (en) | 2014-09-30 | 2019-10-08 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10453443B2 (en) | 2014-09-30 | 2019-10-22 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
US10529332B2 (en) | 2015-03-08 | 2020-01-07 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10580409B2 (en) | 2016-06-11 | 2020-03-03 | Apple Inc. | Application integration with a digital assistant |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10643611B2 (en) | 2008-10-02 | 2020-05-05 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10684703B2 (en) | 2018-06-01 | 2020-06-16 | Apple Inc. | Attention aware virtual assistant dismissal |
US10699717B2 (en) | 2014-05-30 | 2020-06-30 | Apple Inc. | Intelligent assistant for home automation |
US10714117B2 (en) | 2013-02-07 | 2020-07-14 | Apple Inc. | Voice trigger for a digital assistant |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10741185B2 (en) | 2010-01-18 | 2020-08-11 | Apple Inc. | Intelligent automated assistant |
US10748546B2 (en) | 2017-05-16 | 2020-08-18 | Apple Inc. | Digital assistant services based on device capabilities |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US10769385B2 (en) | 2013-06-09 | 2020-09-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US10789945B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Low-latency intelligent automated assistant |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10942702B2 (en) | 2016-06-11 | 2021-03-09 | Apple Inc. | Intelligent device arbitration and control |
US10942703B2 (en) | 2015-12-23 | 2021-03-09 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11010127B2 (en) | 2015-06-29 | 2021-05-18 | Apple Inc. | Virtual assistant for media playback |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11023513B2 (en) | 2007-12-20 | 2021-06-01 | Apple Inc. | Method and apparatus for searching using an active ontology |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US11048473B2 (en) | 2013-06-09 | 2021-06-29 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
US11069336B2 (en) | 2012-03-02 | 2021-07-20 | Apple Inc. | Systems and methods for name pronunciation |
US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
US11127397B2 (en) | 2015-05-27 | 2021-09-21 | Apple Inc. | Device voice control |
US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US11217251B2 (en) | 2019-05-06 | 2022-01-04 | Apple Inc. | Spoken notifications |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US11231904B2 (en) | 2015-03-06 | 2022-01-25 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
US11269678B2 (en) | 2012-05-15 | 2022-03-08 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11314370B2 (en) | 2013-12-06 | 2022-04-26 | Apple Inc. | Method for extracting salient dialog usage from live data |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11350253B2 (en) | 2011-06-03 | 2022-05-31 | Apple Inc. | Active transport based notifications |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11468282B2 (en) | 2015-05-15 | 2022-10-11 | Apple Inc. | Virtual assistant in a communication session |
US11467802B2 (en) | 2017-05-11 | 2022-10-11 | Apple Inc. | Maintaining privacy of personal information |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11495218B2 (en) | 2018-06-01 | 2022-11-08 | Apple Inc. | Virtual assistant operation in multi-device environments |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
US11696060B2 (en) | 2020-07-21 | 2023-07-04 | Apple Inc. | User identification using headphones |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
US11790914B2 (en) | 2019-06-01 | 2023-10-17 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
US11838734B2 (en) | 2020-07-20 | 2023-12-05 | Apple Inc. | Multi-device audio adjustment coordination |
US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
US11914848B2 (en) | 2020-05-11 | 2024-02-27 | Apple Inc. | Providing relevant data items based on context |
US11928604B2 (en) | 2005-09-08 | 2024-03-12 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
-
2012
- 2012-11-15 JP JP2012251611A patent/JP2014026629A/ja active Pending
Cited By (192)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11928604B2 (en) | 2005-09-08 | 2024-03-12 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US11979836B2 (en) | 2007-04-03 | 2024-05-07 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
US11023513B2 (en) | 2007-12-20 | 2021-06-01 | Apple Inc. | Method and apparatus for searching using an active ontology |
US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US11900936B2 (en) | 2008-10-02 | 2024-02-13 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10643611B2 (en) | 2008-10-02 | 2020-05-05 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10741185B2 (en) | 2010-01-18 | 2020-08-11 | Apple Inc. | Intelligent automated assistant |
US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
US10692504B2 (en) | 2010-02-25 | 2020-06-23 | Apple Inc. | User profiling for voice input processing |
US10417405B2 (en) | 2011-03-21 | 2019-09-17 | Apple Inc. | Device access using voice authentication |
US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US11350253B2 (en) | 2011-06-03 | 2022-05-31 | Apple Inc. | Active transport based notifications |
US11069336B2 (en) | 2012-03-02 | 2021-07-20 | Apple Inc. | Systems and methods for name pronunciation |
US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US11269678B2 (en) | 2012-05-15 | 2022-03-08 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US11862186B2 (en) | 2013-02-07 | 2024-01-02 | Apple Inc. | Voice trigger for a digital assistant |
US11636869B2 (en) | 2013-02-07 | 2023-04-25 | Apple Inc. | Voice trigger for a digital assistant |
US10714117B2 (en) | 2013-02-07 | 2020-07-14 | Apple Inc. | Voice trigger for a digital assistant |
US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
US11557310B2 (en) | 2013-02-07 | 2023-01-17 | Apple Inc. | Voice trigger for a digital assistant |
US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10769385B2 (en) | 2013-06-09 | 2020-09-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
US11048473B2 (en) | 2013-06-09 | 2021-06-29 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US11314370B2 (en) | 2013-12-06 | 2022-04-26 | Apple Inc. | Method for extracting salient dialog usage from live data |
US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
US11810562B2 (en) | 2014-05-30 | 2023-11-07 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
US11699448B2 (en) | 2014-05-30 | 2023-07-11 | Apple Inc. | Intelligent assistant for home automation |
US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
US10878809B2 (en) | 2014-05-30 | 2020-12-29 | Apple Inc. | Multi-command single utterance input method |
US10714095B2 (en) | 2014-05-30 | 2020-07-14 | Apple Inc. | Intelligent assistant for home automation |
US10657966B2 (en) | 2014-05-30 | 2020-05-19 | Apple Inc. | Better resolution when referencing to concepts |
US10417344B2 (en) | 2014-05-30 | 2019-09-17 | Apple Inc. | Exemplar-based natural language processing |
US10699717B2 (en) | 2014-05-30 | 2020-06-30 | Apple Inc. | Intelligent assistant for home automation |
US11838579B2 (en) | 2014-06-30 | 2023-12-05 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10438595B2 (en) | 2014-09-30 | 2019-10-08 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
US10453443B2 (en) | 2014-09-30 | 2019-10-22 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10390213B2 (en) | 2014-09-30 | 2019-08-20 | Apple Inc. | Social reminders |
US11231904B2 (en) | 2015-03-06 | 2022-01-25 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US11842734B2 (en) | 2015-03-08 | 2023-12-12 | Apple Inc. | Virtual assistant activation |
US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
US10529332B2 (en) | 2015-03-08 | 2020-01-07 | Apple Inc. | Virtual assistant activation |
US10930282B2 (en) | 2015-03-08 | 2021-02-23 | Apple Inc. | Competing devices responding to voice triggers |
US11468282B2 (en) | 2015-05-15 | 2022-10-11 | Apple Inc. | Virtual assistant in a communication session |
US11127397B2 (en) | 2015-05-27 | 2021-09-21 | Apple Inc. | Device voice control |
US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
KR101833129B1 (ko) * | 2015-06-05 | 2018-02-27 | 애플 인크. | 언어 입력 교정 |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10681212B2 (en) | 2015-06-05 | 2020-06-09 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
US11010127B2 (en) | 2015-06-29 | 2021-05-18 | Apple Inc. | Virtual assistant for media playback |
US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
US11550542B2 (en) | 2015-09-08 | 2023-01-10 | Apple Inc. | Zero latency digital assistant |
US11954405B2 (en) | 2015-09-08 | 2024-04-09 | Apple Inc. | Zero latency digital assistant |
US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11809886B2 (en) | 2015-11-06 | 2023-11-07 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10354652B2 (en) | 2015-12-02 | 2019-07-16 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10942703B2 (en) | 2015-12-23 | 2021-03-09 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US11657820B2 (en) | 2016-06-10 | 2023-05-23 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US11749275B2 (en) | 2016-06-11 | 2023-09-05 | Apple Inc. | Application integration with a digital assistant |
US10580409B2 (en) | 2016-06-11 | 2020-03-03 | Apple Inc. | Application integration with a digital assistant |
US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
US10942702B2 (en) | 2016-06-11 | 2021-03-09 | Apple Inc. | Intelligent device arbitration and control |
US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11656884B2 (en) | 2017-01-09 | 2023-05-23 | Apple Inc. | Application integration with a digital assistant |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10741181B2 (en) | 2017-05-09 | 2020-08-11 | Apple Inc. | User interface for correcting recognition errors |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10332518B2 (en) | 2017-05-09 | 2019-06-25 | Apple Inc. | User interface for correcting recognition errors |
US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10847142B2 (en) | 2017-05-11 | 2020-11-24 | Apple Inc. | Maintaining privacy of personal information |
US11467802B2 (en) | 2017-05-11 | 2022-10-11 | Apple Inc. | Maintaining privacy of personal information |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US11837237B2 (en) | 2017-05-12 | 2023-12-05 | Apple Inc. | User-specific acoustic models |
US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
US10789945B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Low-latency intelligent automated assistant |
US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US11538469B2 (en) | 2017-05-12 | 2022-12-27 | Apple Inc. | Low-latency intelligent automated assistant |
US11862151B2 (en) | 2017-05-12 | 2024-01-02 | Apple Inc. | Low-latency intelligent automated assistant |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10909171B2 (en) | 2017-05-16 | 2021-02-02 | Apple Inc. | Intelligent automated assistant for media exploration |
US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10748546B2 (en) | 2017-05-16 | 2020-08-18 | Apple Inc. | Digital assistant services based on device capabilities |
US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
CN108459864A (zh) * | 2018-01-23 | 2018-08-28 | 维沃移动通信有限公司 | 一种更新显示内容的方法及移动终端 |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11487364B2 (en) | 2018-05-07 | 2022-11-01 | Apple Inc. | Raise to speak |
US11907436B2 (en) | 2018-05-07 | 2024-02-20 | Apple Inc. | Raise to speak |
US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US10403283B1 (en) | 2018-06-01 | 2019-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10720160B2 (en) | 2018-06-01 | 2020-07-21 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11360577B2 (en) | 2018-06-01 | 2022-06-14 | Apple Inc. | Attention aware virtual assistant dismissal |
US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
US10684703B2 (en) | 2018-06-01 | 2020-06-16 | Apple Inc. | Attention aware virtual assistant dismissal |
US11630525B2 (en) | 2018-06-01 | 2023-04-18 | Apple Inc. | Attention aware virtual assistant dismissal |
US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
US11495218B2 (en) | 2018-06-01 | 2022-11-08 | Apple Inc. | Virtual assistant operation in multi-device environments |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
US10504518B1 (en) | 2018-06-03 | 2019-12-10 | Apple Inc. | Accelerated task performance |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11893992B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11783815B2 (en) | 2019-03-18 | 2023-10-10 | Apple Inc. | Multimodality in digital assistant systems |
US11675491B2 (en) | 2019-05-06 | 2023-06-13 | Apple Inc. | User configurable task triggers |
US11217251B2 (en) | 2019-05-06 | 2022-01-04 | Apple Inc. | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
US11360739B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User activity shortcut suggestions |
US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11790914B2 (en) | 2019-06-01 | 2023-10-17 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11914848B2 (en) | 2020-05-11 | 2024-02-27 | Apple Inc. | Providing relevant data items based on context |
US11924254B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Digital assistant hardware abstraction |
US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11838734B2 (en) | 2020-07-20 | 2023-12-05 | Apple Inc. | Multi-device audio adjustment coordination |
US11696060B2 (en) | 2020-07-21 | 2023-07-04 | Apple Inc. | User identification using headphones |
US11750962B2 (en) | 2020-07-21 | 2023-09-05 | Apple Inc. | User identification using headphones |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014026629A (ja) | 入力装置及び入力支援方法 | |
US9851809B2 (en) | User interface control using a keyboard | |
US20180121085A1 (en) | Method and apparatus for providing character input interface | |
JP6456294B2 (ja) | ジェスチャと重複するキーが除去されるキーボード | |
KR101323281B1 (ko) | 입력 장치 및 문자 입력 방법 | |
KR20140064611A (ko) | 터치 동작 처리 방법 및 그 전자 장치 | |
WO2014176038A1 (en) | Dynamically-positioned character string suggestions for gesture typing | |
US8599138B2 (en) | Information processing apparatus, information processing method and computer program | |
KR101085702B1 (ko) | 터치스크린의 한글 입력 방법, 기록매체 | |
JP6230992B2 (ja) | キーボードレイアウトを提供するユーザインタフェース提供装置及び方法 | |
KR101189112B1 (ko) | 터치스크린에서의 한글입력방법 | |
JP5977764B2 (ja) | 拡張キーを利用した情報入力システム及び情報入力方法 | |
US9501161B2 (en) | User interface for facilitating character input | |
TW201308190A (zh) | 手持裝置和資料輸入方法 | |
JP5683226B2 (ja) | 文字入力装置、および文字入力装置の動作方法 | |
US20150347004A1 (en) | Indic language keyboard interface | |
JP2012221298A (ja) | 入力装置、入力方法およびプログラム | |
KR102530995B1 (ko) | 소프트웨어로 구현된 문자 입력 장치 | |
JP5288206B2 (ja) | 携帯端末装置、文字入力方法、及び文字入力プログラム | |
JP2016200896A (ja) | 文字入力方法、装置、及びプログラム | |
JP6380085B2 (ja) | 情報処理装置及びプログラム | |
KR101546687B1 (ko) | 터치스크린 기반의 한글 자판을 갖는 전자장치에서 한글을 입력하는 방법 및 그 방법의 입력기능을 갖는 전자 장치 | |
JP2020004063A (ja) | 文字列入力プログラム | |
KR20130024389A (ko) | 한글 입력 방법 및 입력 장치 | |
KR20180106277A (ko) | 음절구조 속성을 활용한 문자 입력 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140130 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141006 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150119 |