JP2011227560A - 入力支援装置、入力支援方法、及び、プログラム - Google Patents

Abstract

【課題】使用者の状況によって、未確定文字列や確定入力文字列に対応して提示する候補文字列を変更し、使用者が望む候補文字列をより少ないキー操作により選択可能とする。
【解決手段】判定部１５は、撮像部１４により撮像された使用者の顔の画像から表情を判定する。変換候補選択部１７は、判定部１５により検出された表情に対応した変換候補テーブル８を選択し、この選択した変換候補テーブル８から、入力部１２により入力された未確定文字列や確定入力文字列に対応した候補文字列のリストと各候補文字列の表示順を取得すると、取得した候補文字列を表示順に表示部１８に表示させる。
【選択図】図１

Description

本発明は、文字入力を行なう入力支援装置、入力支援方法、及び、プログラムに関する。

携帯電話などでは、使用者による文字入力を容易にするため、過去に入力された文字列の頻度に応じて学習を行い、使用者が入力した未確定文字列に対する変換後の文字列の候補や、確定入力された文字列に続く次文字列の候補として、使用頻度の高い文字列を選択フィールドに優先的に配置している。

また、特許文献１には、タッチパネルに筆記ペンを押し当てて手書き文字の入力を行なう文字認識装置において、使用者の声の音声データや、顔色の画像データに基づいて判断された感情状態に応じて文字認識辞書を選択し、選択した文字認識辞書を用いて手書き文字を認識することが記載されている。

特開２００２−２３０４８５号公報

上記のように、使用頻度に基づく候補文字列の配置など、単一の候補文字列選択ルールのみに基づいて候補文字列を選択フィールドに配置した場合、使用状況に応じた適切な候補文字列の配置とはならない可能性がある。
例えば、業務用及び個人用を兼用している１台の携帯電話において使用頻度に応じた候補文字列の配置を行うと、業務用途での文字列の入力のほうが多い場合は、業務用途での文字列の使用頻度に基づいて未確定文字列や確定入力された文字列に対する候補文字列が配置される。しかし、業務用途で頻繁に使用する語句と、個人用途で頻繁に使用する語句とは異なる場合が多い。そのため、業務用途での文字入力を行なう時には利便性が向上する一方、個人用途で文字入力を行う時には、かえってキー操作が増えてしまい、利便性が損なわれることがある。

また、特許文献１の技術は、タッチパネルに書かれた文字そのものを認識するものであり、入力された未確定文字列や確定入力された文字列に基づいて、変換候補文字列や次入力候補文字列を選択して表示させるものではない。

本発明は、このような事情を考慮してなされたもので、その目的は、使用者の状況応じて、未確定文字列や確定入力文字列に対応して提示する候補文字列を変更し、使用者が望む候補文字列をより少ないキー操作により選択可能な入力支援装置、入力支援方法、及び、プログラムを提供することにある。

この発明は、上記の課題を解決すべくなされたもので、本発明は、入力文字列に対応した候補文字列のリストを表す変換候補テーブルを表情毎に記憶する記憶部と、使用者の表情を判定する判定部と、前記記憶部から前記判定部による表情の判定結果に対応した前記変換候補テーブルを選択し、選択した前記変換候補テーブルから入力文字列に対応した候補文字列のリストを取得して表示させる変換候補選択部と、を備えることを特徴とする入力支援装置である。

本発明によれば、携帯電話等への文字入力時において、未確定文字列に対する変換候補文字列や、入力確定された文字列に対する次入力候補を使用者の状況に応じて切り替え、入力の利便性を向上させることが可能となる。

本発明の一実施の形態による入力支援装置の構成を示すブロック図である。 同実施形態による入力支援装置を適用した携帯電話装置の外観を示す図である。 図２に示す携帯電話装置の処理フローを示す図である。 図２に示す携帯電話装置の処理フローを示す図である。 図２に示す携帯電話装置において入力確定された文字列に対応して次入力候補を表示する場合の例を示す図である。 図２に示す携帯電話装置において未確定文字列に対応して変換候補文字列を表示する場合の例を示す図である。

以下、図面を参照して本発明の一実施の形態を説明する。
図１は、本発明の一実施形態による入力支援装置１０の構成を示すブロック図である。同図に示すように、入力支援装置１０は、記憶部１１、入力部１２、制御部１３、撮像部１４、判定部１５、表情記憶部１６、変換候補選択部１７、及び、表示部１８を備えて構成される。

記憶部１１は、表情に対応した変換候補テーブル８を記憶する。変換候補テーブル８は、入力文字列と、候補文字列のリストとの対応付けを表すデータである。候補文字列のリストには、１または複数の候補文字列と、各候補文字列の表示順とが示されており、対応している表情に応じて、候補文字列のリストに含まれる候補文字列と、その表示順が異なる。リストに記述されている候補文字列の順番を表示順としてもよい。また、候補文字列は共通とし、表示順のみ変えてもよい。入力文字列には、未確定文字列、あるいは、入力確定文字列があり、入力文字列が未確定文字列の場合、候補文字列は変換候補の文字列であり、入力文字列が入力確定された文字列の場合、候補文字列は次入力候補の文字列である。なお、本実施形態において、文字列は、１文字のみからなる場合も含む。

制御部１３は、各機能部の制御を行なう。入力部１２は、キーやボタンなどのユーザインタフェースであり、使用者の操作による情報の入力を受ける。撮像部１４は、例えば、カメラであり、使用者の顔を撮像する。判定部１５は、撮像部１４が撮像した顔の画像のデータから、使用者の表情を判定し、判定結果を表情記憶部１６に書き込む。なお、顔の画像データに基づいた表情の判定には、既存技術を用いることができる。表情記憶部１６は、判定部１５により書き込まれた表情の判定結果を記憶する。変換候補選択部１７は、表情記憶部１６から読み出した表情の判定結果に従って変換候補テーブル８を選択し、選択した変換候補テーブル８から、入力部１２により入力された未確定文字列に対応した変換候補文字列とその表示順、あるいは、入力部１２により入力確定された文字列に対応した次入力候補文字列その表示順を読み出し、読み出した候補文字列の一覧を表示順に表示部１８に表示させる。表示部１８は、ＬＣＤ（Liquid Crystal Display）などのディスプレイである。

図２は、本発明の一実施形態による入力支援装置１０として用いられる携帯電話装置１の外観を示す図である。同図に示すように、携帯電話装置１は、キー入力部２、カメラ部３、ディスプレイ部４、及び、カーソルキー部７を備えて構成される。

キー入力部２は、図１の入力部１２に対応しており、メール作成等の文字入力開始モードへの遷移と、文字入力操作を行う。カメラ部３は、図１の撮像部１４に対応しており、使用者と正対するように備えられる。カメラ部３は、使用者の顔を撮影し、表情を読み取る。ディスプレイ部４は、図１の表示部１８に対応しており、文字等を表示する。ディスプレイ部４が表示する表示フィールドは、入力フィールド部５及び候補選択フィールド部６からなる。入力フィールド部５は、未確定文字列及び入力確定文字列を表示する。候補選択フィールド部６は、未確定文字列に対応した変換候補文字列のリスト、あるいは、入力確定文字列に対応した次入力候補文字列のリストを表示する。カーソルキー部７は、図１の入力部１２に対応しており、候補選択フィールド部６に表示された候補文字列の選択と決定を行なう。

そして、携帯電話装置１が内部に備えるコンピュータシステムにより、図１に示す記憶部１１、制御部１３、判定部１５、表情記憶部１６、及び、変換候補選択部１７が実現される。図１に示す変換候補テーブル８は、このコンピュータシステムが備えるメモリ内に保管される。説明の簡略化の為に、表情には、「笑い」、「怒り」、「その他」の３種類に大別されるものとし、「笑い」、「怒り」、「その他」それぞれに対応した変換候補テーブル８をそれぞれ、変換候補テーブル８−１、８−２、８−３と記載する。

次に、図３及び図４を用いて、図２に示す携帯電話装置１の処理について説明する。
図３は、文字入力モード遷移処理の処理フローである。
使用者が、図２に示す携帯電話装置１のキー入力部２により、メール作成やメモ作成などのアプリケーションの起動指示を入力すると、文字入力モードへの遷移が行われる。するとまず、制御部１３は、カメラ部３を起動し、使用者の顔の撮影を指示する。カメラ部３は、使用者の顔を撮影すると、撮影された画像データを判定部１５に出力する（ステップＳ１１０）。判定部１５は、受信した画像データから使用者の表情を判定し（ステップＳ１２０）、判定した表情を表すパラメータ“表情”を表情記憶部１６に書き込む（ステップＳ１３０）。

図４は、辞書選択処理の処理フローである。
図３に示す文字入力モード遷移処理の後、使用者がキー入力部２により文字入力を行うと、変換候補選択部１７は、表情記憶部１６に書き込まれているパラメータ“表情”を取得し、パラメータ“表情”が「笑い」を示している場合は（ステップＳ２１０：ＹＥＳ）、変換候補テーブル８−１を選択し（ステップＳ２２０）、「怒り」を示している場合は（ステップＳ２１０：ＮＯ、ステップＳ２３０：ＹＥＳ）、変換候補テーブル８−２を選択し（ステップＳ２４０）、「笑い」及び「怒り」のいずれにも該当しない場合は（ステップＳ２１０：ＮＯ、ステップＳ２３０：ＮＯ）、変換候補テーブル８−３を選択する（ステップＳ２５０）。

変換候補選択部１７は、未確定文字列に対応した変換候補文字列及びその表示順、あるいは、入力確定文字列に対応した次入力候補文字列及びその表示順を、図４の辞書選択処理によって選択した変換候補テーブル８−ｎ（ｎは１、２、または３）から読み出し、候補選択フィールド部６に表示する。

図５は、入力確定文字列に対応して次入力候補文字列を表示する場合の例を示す。
同図に示すように、入力フィールド部５には、使用者が入力確定した文字列「久しぶり」が表示されている。

使用者が入力確定した「久しぶり」の文字列に対して、文字入力時の表情が「笑い」であれば、続く入力としては「だね」、「だよね」といった柔らかい語感の言葉が選択される可能性が高いため、これらを少ないカーソルキー操作で選択可能な位置、例えば候補選択フィールド部６の左上に優先的に配置する。つまり、「笑い」に対応した変換候補テーブル８−１には、入力確定文字列「久しぶり」に対応して、表示順に次入力候補文字列「だね」、「だよね」、…が記述されており、この表示順に従って候補選択フィールド部６に入力確定文字列が表示される。

同様に「怒り」であれば、入力文字列として「だな」、「だろ」といった強い語感の言葉が選択される可能性が高い為、これらを優先的に配置する。つまり、「怒り」に対応した変換候補テーブル８−２には、入力確定文字列「久しぶり」に対応して、表示順に次入力候補文字列「だな」、「だろ」、…が記述されており、この表示順に従って候補選択フィールド部６に入力確定文字列が表示される。

また、「その他」に対応した変換候補テーブル８−３には、入力確定文字列「久しぶり」に対応して、表示順に次入力候補文字列「です」、「に」、「の」、…が記述されており、この表示順に従って候補選択フィールド部６に入力確定文字列が表示される。

使用者が、カーソルキー部７によって、候補選択フィールド部６に表示されている次入力候補文字列を選択し、確定を入力すると、変換候補選択部１７は、選択された次入力候補文字列を入力フィールド部５の「久しぶり」の後に表示させる。

図６は、未確定文字列に対応して変換候補文字列を表示する場合の例を示す。
同図に示すように、入力フィールド部５には、使用者がキー入力部２により入力した未確定文字列「いらい」が表示されている。

未確定文字列「いらい」の文字列に対して、文字入力時の表情が「笑い」であれば、続く入力としては「以来」、「依頼」といった言葉が選択される可能性が高いため、これらを少ないカーソルキー操作で選択可能な位置、例えば候補選択フィールド部６の左上に優先的に配置する。つまり、「笑い」に対応した変換候補テーブル８−１には、未確定文字列「いらい」に対応して、表示順に変換候補文字列「以来」、「依頼」、…が記述されており、この表示順に従って候補選択フィールド部６に変換候補文字列が表示される。

同様に、未確定文字列「いらい」の文字列に対して、文字入力時の表情が「怒り」であれば、続く入力としては「イライラ」、「依頼」といった言葉が選択される可能性が高いため、これらを少ないカーソルキー操作で選択可能な位置、例えば候補選択フィールド部６の左上に優先的に配置する。つまり、「怒り」に対応した変換候補テーブル８−２には、未確定文字列「いらい」に対応して、表示順に変換候補文字列「イライラ」、「依頼」、…が記述されており、この表示順に従って候補選択フィールド部６に変換候補文字列が表示される。

また、「その他」に対応した変換候補テーブル８−３には、未確定文字列「いらい」に対応して、表示順に変換候補文字列「依頼」、「以来」、…が記述されており、この表示順に従って候補選択フィールド部６に変換候補文字列が表示される。

使用者が、カーソルキー部７によって、候補選択フィールド部６に表示されている変換候補文字列を選択し、確定を入力すると、変換候補選択部１７は、入力フィールド部５に表示されている未確定文字列を削除し、選択された変換候補文字列を入力フィールド部５に表示させる。

上記のように、図５に示す次入力候補文字列の表示と同様に、パラメータ“表情”に応じて、変換候補文字列の配置を切り替えることにより、少ないキー操作で、状況に適した候補文字列を選択することが可能となる。

なお、変換候補選択部１７は、図５において選択された次入力候補文字列、あるいは、図６において選択された変換候補文字列を入力確定文字列として、図５の処理を繰り返す。あるいは、使用者がキー入力部２により文字列を入力した場合、この入力した文字列を未確定文字列として図６の処理を繰り返す。

上述した実施形態により、使用時の気分に応じた文体の候補文字列を優先的に配置し、より少ない操作で適切な候補文字列を選択することが可能となり、文字入力時の利便性を向上させることが出来る。
例えば、業務用途で使用している場合よりも、個人用途で使用している場合のほうが「笑い」や「怒り」などの表情が現われやすく、これを利用して業務用途の辞書と個人用途の辞書とを選択するようにすることができる。

上述したように、本実施形態によれば、文字入力時における変換候補文字列や次入力候補文字列を使用者の状況に応じて切り替えることにより、入力の利便性を向上させることが可能であり、例えば、カメラを具備した携帯電話装置、特に文字入力時に使用者と正対するカメラを備える携帯電話装置に適用される。
具体的には、メール作成等の文字入力モードの起動時に、携帯電話装置に具備されたカメラを用いて使用者の表情を撮像して表情を検出し、表情毎に異なる変換候補テーブルを選択することで、優先表示する変換候補文字列、あるいは、次入力候補文字列の配置を変え、より少ないキー操作で使用者が望む候補文字列を選択することが可能となる。

なお、上記実施形態においては、携帯電話装置が備えるカメラを用いて、使用者の状況を“表情”によって判定し、変換候補テーブルを切り替えることで、文字入力時の状況に応じた適切な候補文字列を少ないキー操作で選択可能としたが、時間帯によって変換候補テーブルを切り替えるといった方式によっても、入力時の状況に応じた少ないキー操作で適切な候補文字列を選択可能であるという効果を得られる。つまり、勤務時間内に送るメールは主に業務に関係する社内や社外の人物がメールの配信先であり、勤務時間外に送るメールは主に友人や家族などがメールの配信先であるなど、メールの配信先は時刻によって異なる場合が多い。そこで、携帯電話装置に内蔵される時計を用い、変換候補選択部１７は、この時計の出力する時間が含まれる時間帯に対応した変換候補テーブルを選択することによって、使用する変換候補テーブルを切り替える。なお、時間帯のほか、時計から出力される日にちや曜日などに対応した期間、あるいは、それらの組み合わせから、変換候補テーブルを切り替えてもよい。
これにより、入力時の状況に応じた少ないキー操作で適切な候補文字列を選択可能であるという効果を得られる。

上述した入力支援装置１０（携帯電話装置１）は、内部にコンピュータシステムを有している。そして、入力支援装置１０（携帯電話装置１）の制御部１３、判定部１５、表情記憶部１６、及び、変換候補選択部１７の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１…携帯電話装置
２…キー入力部
３…カメラ部
４…ディスプレイ部
５…入力フィールド部
６…候補選択フィールド部
７…カーソルキー部
８…変換候補テーブル
１０…入力支援装置
１１…記憶部
１２…入力部
１３…制御部
１４…撮像部
１５…判定部
１６…表情記憶部
１７…変換候補選択部
１８…表示部

Claims (7)

1. 入力文字列に対応した候補文字列のリストを表す変換候補テーブルを表情毎に記憶する記憶部と、
   使用者の表情を判定する判定部と、
   前記記憶部から前記判定部による表情の判定結果に対応した前記変換候補テーブルを選択し、選択した前記変換候補テーブルから入力文字列に対応した候補文字列のリストを取得して表示させる変換候補選択部と、
   を備えることを特徴とする入力支援装置。
2. 前記変換候補テーブルは、前記候補文字列の表示順の情報をさらに含み、
   前記変換候補選択部は、選択した前記変換候補テーブルからさらに前記候補文字列の表示順を取得し、取得した前記表示順に従って前記候補文字列を表示させる、
   ことを特徴とする請求項１に記載の入力支援装置。
3. 使用者の顔を撮像する撮像部をさらに備え、
   前記判定部は、前記撮像部が撮像した画像から表情を判定する、
   ことを特徴とする請求項１または請求項２に記載の入力支援装置。
4. 前記記憶部は、前記変換候補テーブルを時間帯毎に記憶し、
   変換候補選択部は、現在の時間に対応した前記変換候補テーブルを選択する、
   ことを特徴とする請求項１または請求項２に記載の入力支援装置。
5. 携帯電話装置であることを特徴とする請求項１から請求項４のいずれか１項に記載の入力支援装置。
6. 入力文字列に対応した候補文字列のリストを表す変換候補テーブルを表情毎に記憶する記憶部を備えた入力支援装置に用いられる入力支援方法であって、
   判断部が、使用者の表情を判定する判定過程と、
   変換候補選択部が、前記記憶部から前記判定過程における表情の判定結果に対応した前記変換候補テーブルを選択し、選択した前記変換候補テーブルから入力文字列に対応した候補文字列のリストを取得して表示させる変換候補選択過程と、
   を有することを特徴とする入力支援方法。
7. 入力支援装置として用いられるコンピュータを、
   入力文字列に対応した候補文字列のリストを表す変換候補テーブルを表情毎に記憶する記憶部、
   使用者の表情を判定する判定部、
   前記記憶部から前記判定部による表情の判定結果に対応した前記変換候補テーブルを選択し、選択した前記変換候補テーブルから入力文字列に対応した候補文字列のリストを取得して表示させる変換候補選択部、
   として機能させることを特徴とするプログラム。

Images