JP2006350918A - 携帯端末装置 - Google Patents

Abstract

【課題】 最小限のキー押下で安定な文字入力が可能で、文字入力操作性および応答性を向上させることができる携帯端末装置を提供する。
【解決手段】 携帯端末装置１００は、撮像部２から出力される動画像信号から動きベクトルを検出する動きベクトル検出部と、複数の操作キーを有するキー操作部８とを備える。
複数の操作キーの各々には、複数の文字にそれぞれ対応する選択肢群が割り当てられている。文字入力処理部６は、ユーザの操作キーの操作による選択肢群のいずれか１つの選択と、動き方向が選択肢群内の選択肢にそれぞれ対応する複数の方向のうちのいずれであるかを検出範囲基準データ６４２に応じて判定した判定結果とに基づき、文字選択テーブル情報６４４により選択された当該選択肢群内の１つの選択肢に対応する文字を選択する。
【選択図】 図１

Description

この発明は、携帯端末装置の構成に関し、より特定的には、携帯端末装置の文字入力の構成に関する。

従来、携帯電話機などの携帯端末装置では、電話帳や電子メールなどを作成するための文字入力の機構として、一般にキーパッドのテンキーと、マルチファンクションキーなどの機能キーとが用いられている。これらのキーを用いることで、以下の操作により文字入力を行っている。

すなわち、先ずテンキーのトグル入力操作により入力すべき文字の読み仮名を入力し、次に機能キーを用いた変換操作により入力済み読み仮名に対応する複数の漢字変換候補を表示し、最後に機能キーを用いた確定操作により漢字変換候補の中から所望の漢字を選択し確定するようにしている。すなわち、文字入力手段では、文字入力操作のすべてをキー操作に頼っている。

具体例として、例えば、一般的な携帯電話機では、上記読み仮名入力の方式として、テンキーを構成する「１」〜「０」キーのそれぞれに５０音の各行の仮名を割り当て、それらの中からいずれかのキーを選択して押下すると、そのキーに割り当てられた行の仮名がキーを押下した回数により順次変化して表示される方式が採用されている。

この場合、例えば「１」キーを５回押下すると、あ行の「お」が入力される。また、濁点付きの仮名入力では、例えば「か」を入力した後に、濁点を付けるキー入力操作を行うことにより、「が」が入力される。また拗音の入力では、濁点付きの仮名入力と同様に、先に通常の仮名を入力した後に、拗音用の特殊キーを押下して通常の仮名を拗音に切り替えるか、同じキーをさらに数回押下する方式が採用される。

しかし、このような文字入力操作では、目的の文字を入力するために、テンキーの押下回数が多くなり、操作性が悪いという問題点を有する。

そこで、このような操作性の悪さを解消するために、従来の携帯端末の一例として、加速度センサを用いた加速度検出手段を設け、この加速度検出手段の検出出力に基づき、携帯端末装置に加えられた動きの移動軌跡を求めて表示器にその移動軌跡を表示し、その移動軌跡が表示された状態で確定操作が行われると、上記移動軌跡を入力文字として認識するようにした携帯端末装置が提案されている（例えば特許文献１）。

さらに、携帯端末装置に装着されている撮像部を用いて、撮影された画像の動きベクトルを検出し、たとえば、この動きベクトルにより５０音の母音を指定とともに、キー操作によって、子音を指定することで、文字入力を可能とする構成が提案されている（例えば特許文献２）。
特開２００２−１６９６４５号公報 特開２００４−３１８８２６号公報

しかしながら、特許文献１の携帯端末装置の場合には、携帯端末装置に使用されることの少ない加速度センサを別途付加する必要があるばかりか、その出力を２回積分して移動方向および移動量を検出する機能も必要となり、この機能を精度良く実現するためには処理が複雑で高価になるという問題がある。

また、特許文献２に記載された携帯端末装置の場合には、携帯端末装置に搭載されることの多い撮像部を使用することでコストの増加を抑制できるものの、携帯端末装置に対する文字入力の機構としては、ユーザごとの使用時のくせに伴う入力の不安定性への対処や、文字入力時の応答性に対する対処が、十分とはいえないという問題があった。

この発明は、上述の点に鑑みてなされたもので、最小限のキー押下で安定な文字入力が可能で、文字入力操作性および応答性を向上させることができる携帯端末装置を提供することを目的とする。

この発明の１つの局面に従うと、携帯端末装置であって、複数のフレームからなる動画像を撮像する撮像部と、撮像部から出力される動画像信号から動きベクトルを検出する動きベクトル検出部と、複数の操作キーを有するキー操作部とを備え、複数の操作キーの各々には、複数の文字にそれぞれ対応する選択肢群が割り当てられており、検出された動きベクトルの複数のフレームわたる履歴に基づいて生成される判定ベクトルが動画像の動き方向のいずれの方向に対応するかを判定するための基準データと、動き方向と各操作キーに対応する選択肢群中の選択肢とを対応づけた文字選択テーブルとを格納する記憶部と、ユーザの操作キーの操作による選択肢群のいずれか１つの選択と、動き方向が選択肢群内の選択肢にそれぞれ対応する複数の方向のうちのいずれであるかを基準データに応じて判定した判定結果とに基づき、選択された当該選択肢群内の１つの選択肢に対応する文字を選択する文字入力処理部と、文字入力処理部で選択された文字を表示する表示部とを備える。

好ましくは、基準データは、操作キーの所定の操作時点における判定ベクトルが、判定ベクトルの変位領域のうちのいずれの分割領域に対応するかを特定するための情報であり、動き方向をユーザに提示した上で、ユーザによる携帯端末装置の動き方向への傾け操作に対応した判定ベクトルの変位領域内の分布を求める判定ベクトル分布獲得手段と、分布に基づいて、変位領域内の分割領域の配置を校正するための基準データ校正手段とをさらに備える。

好ましくは、判定ベクトルは、前フレームまでの判定ベクトルと減衰定数との積と、動きベクトルとの和として、更新され、文字入力処理部は、ユーザが携帯端末装置に対して傾け操作を行なうとともに、ユーザがいずれかの操作キーの操作をする時点での判定ベクトルに基づいて、選択肢に対応する文字を選択する。

好ましくは、判定ベクトルは、ユーザが、操作キーを操作した時点から、操作キーの操作を維持した状態で携帯端末装置に対して傾け操作を行なって、操作キーの操作を解放した時点までの動きベクトルの積分であり、文字入力処理部は、判定ベクトルに基づいて、選択肢に対応する文字を選択する。

好ましくは、記憶部は、選択された複数の文字からなる文字列に対応する単語データを格納し、文字入力処理部は、選択された文字からなる文字列のうち各１つの文字について、選択のために使用した動き方向以外の動き方向に応じた他の選択肢に対応する文字に置き換えた文字列であって、単語データ内に存在する文字列候補を表示部に併せて表示させる文字列候補表示制御手段と、表示された文字列候補のうちから、ユーザの操作に応じて、選択された文字からなる文字列を置き換える文字列の選択を受ける文字列候補選択手段とを含む。

［実施の形態１］
以下、本発明の携帯端末装置の具体的な文字入力機構について、携帯電話機を例にとって説明する。ただし、本発明は、このような場合に限定されず、より一般には、撮像手段を備えており、かつ人間が手にもった状態で操作できる操作キーを備えた携帯端末装置に適用可能なものである。

図１は、この発明の実施の形態による携帯端末装置１００における文字入力機構を説明するための機能ブロック図である。

一方、図２は、その携帯端末装置１００の外観斜視図を示す。
この携帯端末装置１００は、撮像機能付きの携帯電話機であって、その文字入力機構は、撮像部２と、動きベクトル検出部４と、文字入力処理部６と、キー操作部８と、表示部１０と、検出範囲キャリブレーション部１２とを備えている。

特に限定されないが、たとえば、文字入力処理部６、検出範囲キャリブレーション部１２については、携帯端末装置１００に搭載される中央演算装置（ＣＰＵ：Central Processing Unit）が実行するソフトウェア処理により実現可能である。

撮像部２は、静止画および動画を撮像する手段であって、光学レンズ、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ、駆動回路等で構成される。撮像部２の映像出力は圧縮回路部（図示せず）によりＪＰＥＧ（Joint Photographic Experts Group）などの静止画や、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ（Motion Picture Experts Group）などの動画の各種フォーマットに圧縮される。

動きベクトル検出部４は、撮像部２の動画の映像出力から動きベクトルを検出する。具体的には、前後のフレーム間の画像の相対関係を利用して前後のフレーム間でどの方向にどれだけ画像が移動したかを演算する。この動きベクトル検出部４は、動画を送信するときの動画圧縮のための符号化機構として用意された動きベクトル検出回路（画面における各マクロブロック単位の動きベクトルを検出する）を一部兼用することができる。

ここで、図３は、動きベクトル検出部４の構成を示す機能ブロック図である。なお、動きベクトル検出部４のより具体的な説明は特許第２６４１５９９号に開示されているので、以下においては、動きベクトル検出の動作の概略を説明する。

図３の例では、手ぶれ補正に用いられるような「代表点マッチング法」により画面全体の動きベクトルを検出する。

すなわち、代表点マッチング法とは、画面内に複数の代表点を設定し、前フレームの代表点の信号値を記憶するとともに、現フレームの代表点の周囲にあたる画素の信号値との差の絶対値を求め、当該絶対値に基づいて動きベクトルを検出する方法である。

より具体的には、図３に示すように、撮像部２から出力される映像信号はＡ／Ｄコンバータ４１でアナログ−デジタル（Ａ／Ｄ）変換され、前フレーム代表点メモリ４２および絶対値算出回路４４に与えられる。

前フレーム代表点メモリ４２には、１フレーム前の前フレームの代表点の信号値を記憶しておき、１フレーム後、すなわち現フレームの代表点から、累積加算テーブル４７と同じアドレス空間の距離にあたる各画素と、前フレームの代表点とのそれぞれの差の絶対値を絶対値算出回路４４で求める。

そして、この絶対値を、累積加算テーブル４７の対応するアドレスに代表点の点数分だけ累積加算し、次段のテーブル比較部４８では、累積加算値の一番小さいアドレスをもって１フレームで画像位置がどの方向にどれだけ移動したか、すなわち動きベクトル値を算出する。

このような構成を採用することで、より精度の高い動きベクトルの検出が可能となる。また、手ぶれ補正機能が動画機能付きの携帯電話機に備わっている場合には、回路を一部兼用することで動きベクトル検出部４の構成を簡略化でき、コスト低減が可能となる。

ただし、動きベクトルの算出を行なう構成としては、図３の方法に限られず、他の構成でもよい。

再び、図１にもどって、キー操作部８は、文字などの入力に用いられる入力手段であって、複数のキーからなり、テンキーを構成する「１」〜「９」および「０」キー、ならびにその他のファンクションキー（機能キー）を有しており、ユーザが押下したキー入力をコード化して文字入力処理部６に出力する。

文字入力処理部６は、所定の制御プログラムに従って、キー操作部８からの出力と、動きベクトル検出部４からの出力とに基づき、入力される文字の選択，変換，および確定の動作を制御する。

ここで、文字入力処理部６は、文字入力制御部６２と記憶部６４とを含む。文字入力制御部６２は、キー操作部８および動きベクトル検出部４からの入力に基づき、文字の入力モード，選択，変換，確定という各ステップを実行する。記憶部６４には、動きベクトル検出部４の出力が複数の選択肢のいずれに該当するかを判断する際の基準となる検出範囲基準データ６４２と、複数の文字入力モードに応じて予め用意された文字選択のためのテーブル情報（キー入力および検出動きベクトルと文字とを対応付けたマトリックス）６４４と、入力される文字を単語に変換するための単語辞書６４６が格納されている。ここで、単語辞書６４６は、たとえば、日本語であれば、５０音順で、また、英単語であれば、アルファベット順で単語が格納されているものとする。

表示部１０は、文字入力処理部６によって選択，変換，および確定されて行く各段階で選ばれるべき候補の文字等を表示する手段であり、これによりインタラクティブな文字入力操作が行われる。なお、撮像部２が設置される位置は、図２に示される携帯端末装置１００の本体におけるキー操作部８および表示部１０が設置される操作面１ａ、または操作面１ａの背面１ｂのどちらでもよい。

次に、携帯端末装置１００による文字入力操作を、図２を参照して説明する。
まず、撮像部２を動作させ、何らかの被写体Ｍを撮影するモードにして、映像信号を得る。なお、図２では、説明の便宜のために撮影された被写体Ｍを表示部１０に表示させている。しかしながら、表示部１０は、文字入力中は、入力される文字や、その変換操作を表示することが主たる機能であるので、被写体Ｍを表示させる必要はない。なお、この被写体Ｍは基本的に何でも良いが、人物等の個々に独立した動きを有する特定の被写体より、動きがほぼ固定している風景の方が望ましい。また、動きベクトル検出には前後のフレーム間の画像の相関関係を利用しているので、フォーカス等の調整も行わない方が良い。

ここで、図２において、矢印ａ〜ｄは、携帯端末装置１００に加えられる物理的な動きの方向を示し、（Ａ）〜（Ｄ）の画像は、携帯端末装置１００が静止した状態から矢印ａ〜ｄのように傾けられたときの、撮像部３による被写体Ｍの画像の動き（動きベクトル）を示している。矢印ａは同装置１の右側部を背面側に傾ける場合を、矢印ｂは同装置１００の下部を背面側に傾ける場合を、矢印ｃは同装置１００の左側部を背面側に傾ける場合を、矢印ｄは携帯端末装置１００の上部を背面側に傾ける場合を、それぞれ示す。

なお、左右方向についてはユーザの手首の動きによるが、上下方向については、手首の動きの他、ひじの動きによっても同様の操作を行なうことができる。

矢印ａの動きに対応する（Ａ）の画像では、画像の動き（動きベクトル）が右方向となり、矢印ｂの動きに対応する（Ｂ）の画像では、動きベクトルが下方向となり、矢印ｃの動きに対応する（Ｃ）の画像では、動きベクトルが左方向となり、矢印ｄの動きに対応する（Ｄ）の画像では、画像の動きが上方向となる。これらの動きベクトルを動きベクトル検出部４が検出する。

ただし、実際の文字入力の動作においては、ユーザが携帯端末装置１００を傾ける操作を行なうとともに、当該傾け操作がいずれの方向への傾け操作であるかを文字入力処理部６へ通知するためのキー操作が併せて行なわれる。

なお、以下では、「１」〜「９」および「０」キー、すなわち、テンキーにより子音を選択し、携帯端末装置１００を傾ける方向で母音を選択することで、日本語の１音節を選択するものとして説明を行なう。

ただし、周知のとおり、携帯電話では、文字入力モードによっては、１つのテンキーは、複数のアルファベットに対応している。本発明は、このようなアルファベットの入力にも適用可能なものである。

つまり、本発明によれば、単に、日本語の音節の入力に限られず、ユーザにより指定された文字入力モードにおいて、複数の操作キーの各々に、複数の文字に対応する選択肢群が割り当てられている場合において、選択肢群のいずれか１つを対応する操作キーの操作により選択し、携帯端末装置１００を傾ける方向で選択された当該選択肢群内のいずれか１つの選択肢（文字）を選択することが可能である。

したがって、上述したような音節入力のためのキー操作の例としては、以下のような２通りの方法がある。なお、通常のテンキー操作を念頭において、キー操作は、キーの押下または押下の停止（解放）によるものとするが、キー操作としては、２値の状態をとるものであれば、他の操作でもよい。

第１の方法）ユーザが携帯端末装置１００を傾け操作（傾けない操作も含む）のいずれかを行なうとともに、ユーザが全く傾けていない時点か、あるいは、選択する方向に最大に傾けた時点近傍で、いずれかのテンキーを押下する。この場合は、テンキーを操作（押下）した時点で、入力された文字（音節）が確定する。

第２の方法）ユーザが、テンキーを操作した（押下した）状態で携帯端末装置１００を傾け操作のいずれかを行なった時点、つまり、全く傾け操作を行なっていない時点か、あるいは、選択する方向に傾けた時点で、操作しているテンキーを解放する（押下をやめる）。この場合は、テンキーを解放した時点で、入力された文字（音節）が確定する。

以下では、まず、上記第１の方法で、文字選択を行なう場合について説明する。
このとき、文字入力制御部６２は、各フレームで検出される動きベクトルｖ（ｔ）に基づいて、以下の式（１）により、判定ベクトルＰ（ｔ）を逐次算出する。

Ｐ（ｔ）＝ｋＰ（ｔ―１）＋Ｖ（ｔ） …（１）
ここで、ｔは、動き検出を始めてからのフレーム数を表し、係数ｋは、減衰定数であって、１より小さな正の値、たとえば、０．８≦ｋ≦０．９程度の値を有する係数である。

図４は、撮像部２で撮影された画像を表示部１０に表示する場合において、表示範囲の原点を始点として判定ベクトルＰ（ｔ）の終点をフレーム毎に表示したとしたときに、当該表示範囲内での判定ベクトルＰ（ｔ）の終点の軌跡を示す図である。

なお、図４は、判定ベクトルＰ（ｔ）の終点の軌跡を概念的に示しており、終点位置の動く範囲は、必ずしも、表示部１０の表示範囲内に限定する必要はなく、より一般的には、変位可能な領域は表示範囲とは独立に設定できるものであるが、以下の説明では、便宜上、表示範囲と変位可能な範囲とが一致しているものとして説明する。

図４に示すように、表示範囲は、初期的に、判定ベクトルＰ（ｔ）がいずれの選択肢を選択したものであるかを判定するための複数の領域に分割されているものとする。

図４に示した例では、日本語の母音を選択することに応じて、５つの領域１０２〜１１０に分割されている。

特に限定されないが、たとえば、原点を含む領域１０２は母音「a」に、原点の右方の領域１０４は母音「ｉ」に、原点の下方の領域１０６は母音「ｕ」に、原点の左方の領域１０８は母音「ｅ」に、原点の上方の領域１１０は母音「ｏ」に、それぞれ対応している。

つまり、ユーザがいずれの方向にも携帯端末装置１００を傾けることなく、テンキーを操作すると、母音「a」が選択されたと判断される一方、他の４方向のいずれにかにユーザが傾ける操作とテンキーの操作を行なうことで、いずれかの領域に対応する母音が選択されたと判断される。

図５は、このような判定ベクトルＰ（ｔ）の変位方向への大きさの時間変化を示す図である。

式（１）に示すように、いずれかの方向にユーザが携帯端末装置１００を傾けることで、動きベクトルｖ（ｔ）がある変位方向に対してある大きさを生じると、Ｐ（ｔ）もそれ以後増加を始める。

図４に示すように、ユーザが最大に傾けたと認識する時点の近傍の点ＰＰで、いずれかのテンキー（子音を指定するキー）を押下するとする。このとき、図５に示すように、Ｐ（ｔ）も変位方向に向かう大きさが最大近傍となる。その後、動きベクトルｖ（ｔ）の大きさの減少に伴って、判定ベクトルＰ（ｔ）の変位方向への大きさも減衰する。

つまり、図４に示した例では、点ＰＰにおいて、ユーザがテンキーを押下することに応じて、文字入力処理部６は、母音としては、「ｕ」が選択されたと判断する。

（キャリブレーション処理）
ただし、一般には、ユーザが携帯端末装置１００を傾ける方向は、携帯端末装置１００の筐体の中心位置に対する物理的な上下左右方向と正確に一致するわけではない。

このため、安定的な選択を行なうためには、ユーザごとに傾ける方向と図４に示した判定の領域との関係をキャリブレーションしておくことが望ましい。

図６は、このようなキャリブレーション処理を説明するためのフローチャートである。
特に、限定されないが、このようなキャリブレーション処理は、検出範囲キャリブレーション部１２の制御により、たとえば、携帯端末装置１００の初回の電源投入時や、携帯端末装置１００のソフトウェアのリセット処理の直後に行なうことが望ましい。

図６を参照して、まず、キャリブレーション処理が開始されると、検出範囲キャリブレーション部１２は、表示部１０に、傾き操作を行なう方向を表示する（ステップＳ１０２）。続いて、動きベクトル検出部４は、撮像部２からの動画像に基づいて、動きベクトルｖ（ｔ）を検出し、検出範囲キャリブレーション部１２は、動きベクトルｖ（ｔ）に基づいて、傾け操作に伴う判定ベクトルＰ（ｔ）の検出を行なう（ステップＳ１０４）。このとき、式（１）により判定ベクトルＰ（ｔ）が算出される場合には、テンキーが操作された時点のベクトルＰ（ｔ）の終点位置が、判定位置として特定される。

続いて、検出範囲キャリブレーション部１２は、現在の試行方向について、所定回数だけユーザが操作を行なったかを判断し（ステップＳ１０６）、未だ所定回数の試行が終了していない場合は、処理はステップＳ１０４に復帰する。一方、現在の試行方向について所定回数の試行が終了している場合は、続いて、全方向について試行が終了しているかが判断される（ステップＳ１０８）。

全ての方向について、試行が完了していない場合は、検出範囲キャリブレーション部１２は、試行方向を残りのいずれかの方向に設定し（ステップＳ１１０）、処理はステップＳ１０２に復帰する。

一方、全ての方向について、試行が完了している場合は、検出範囲キャリブレーション部１２は、検出範囲を初期設定から回転する角度θを算出する。

ここで、図７は、各試行方向について、所定回数ずつ試行が完了した場合において、検出された判定ベクトルＰ（ｔ）の判定位置の分布の例を示す図である。

図７においては、判定位置の分布する領域を斜線で示す。図７で示すように、一般には、判定位置の分布する領域は、表示領域のＸ軸、Ｙ軸について対称な分布とはならない。

図８は、原点の周りに判定領域１０２，１０４，１０６，１０８，１１０をそれぞれ角度θだけ回転した状態を示す図である。ここで、Ｘ軸、Ｙ軸を角度θだけ回転した軸をそれぞれ、Ｘ′軸、Ｙ′軸とする。角度θは、たとえば、各判定位置のＸ′軸、Ｙ′軸における座標値の絶対値和が最小となるように定めることができる。この場合、各判定位置の分布は、Ｘ′軸、Ｙ′軸について対称な配置に近づいているものと期待できる。

再び、図６に戻って、検出範囲キャリブレーション部１２は、図８に示したような回転後の判定領域１０２，１０４，１０６，１０８，１１０を特定するための情報を、検出範囲基準データ６４２として、記憶部６４に格納する（ステップＳ１１４）。以上によりキャリブレーション処理が終了する。

以上は、キャリブレーション処理を原点の周りに判定領域を一様な角度θだけ回転させる例で説明したが、判定ベクトルＰ（ｔ）の判定位置の検出結果によっては、上下左右の判定領域をそれぞれ別の角度θ０、θ１、θ２、θ３だけ回転させてもよい。また、携帯端末装置１００の初回の電源投入時や、携帯端末装置１００のソフトウェアのリセット処理において行なう例を説明したが、文字入力動作時の実際に検出した判定ベクトルＰ（ｔ）の判定位置から常に補正を加えるようにしてもよい。

（文字入力方法）
図９は、「全角かな」の文字入力モードに対応する文字選択テーブル情報６４４の具体例を示す図である。

図９に示す各文字入力モードのマトリックスは、現在の携帯電話機で用いられている「２タッチ方式」のマトリックスを半分に分割し、２タッチ目の入力（２桁目の入力）を傾き方向である（Ｏ），（Ａ），（Ｂ），（Ｃ），（Ｄ）に置き換えたものである。ここで、方向（Ｏ）は傾け操作を行なわない場合を、方向（Ａ），（Ｂ），（Ｃ），（Ｄ）は、図２に示したものである。

なお、文字入力モードの決定、大文字入力モード／小文字入力モードの選択は、キー操作部８からの入力に基づき行われ、その入力モードが表示部１０に表示される。

文字入力処理部６では、先ず第１ステップである入力モード切替えステップとして、その文字入力制御部６２が、キー操作部８からの入力に基づき文字入力モードを決定し、表示部１０にその入力モードを表示する。次の第２ステップである入力文字選択ステップで文字入力制御部６２は、その入力モードにおける文字選択テーブル情報（マトリックス）６４４を記憶部６４から読み出し、このマトリックスに従って文字を選択する。そして、次の第３ステップである変換ステップにおいて、文字入力制御部６２は選択文字を漢字に変換し、第４ステップである確定ステップで、変換漢字候補の中から所望の漢字を選び確定する。

このように、文字入力処理部６の処理動作を多段階に分けることで、１回のキー入力と１回のジェスチャー入力、あるいはこれらを同時に行うことで、入力文字の選択が可能となり、文字入力の操作性をより向上させることができる。

図１０は、入力文字の選択、変換、確定の処理を説明するためのフローチャートである。

図１０を参照して、文字入力が開始されると、撮像部２で撮影される動画のフレームを特定するための変数ｔが１に初期化される（ステップＳ２０２）。

続いて、動きベクトル検出部４が、代表点マッチングにより動きベクトルｖ（ｔ）を検出する（ステップＳ２０４）。

文字入力制御部６２は、各フレームで検出される動きベクトルｖ（ｔ）に基づいて、上述した式（１）により、判定ベクトルＰ（ｔ）を逐次算出する（ステップＳ２０４）。

さらに、文字入力制御部６２は、ボタンの押下を検出し（ステップＳ２０８）、子音選択のためのボタン、すなわち、テンキーのいずれかが押下されているかを判定する（ステップＳ２１０）。

子音を選択するためのテンキーがいずれも押下されていない場合は、変数ｔの値が１だけインクリメントされて（ステップＳ２１２）、処理は、ステップＳ２０４に復帰し、次のフレームについて、動きベクトルｖ（ｔ）の検出が行なわれる。

一方、ステップＳ２１０において、子音を選択するためのボタンが押下されている場合、続いて、文字入力制御部６２は、判定ベクトルＰ（ｔ）と、検出範囲データ６４２に基づいて、母音のいずれが選択されたかを判定する（ステップＳ２１４）。

以上で、１つの母音と１つの子音が選択されたので、対応する音節が表示部１０に表示されるとともに、傾け操作による母音の選択の誤認識の可能性を考慮して、他の文字列候補が表示されるとともに、必要に応じて他の文字列候補の選択が行なわれる（ステップＳ２１８）。

図１１は、以上のようにして、４音節まで入力した場合の表示部１０の表示態様を示す図である。

図１１では、キー操作部８として、テンキー２０の他に、十字選択キー１４と、十字選択キー１４の中央に設けられた決定キー１２も示している。

表示部１０の第１の表示領域１０ａには、入力された４音節の「こんどう」との文字列が表示されている。

さらに、表示部１０の第２の表示領域１０ｂには、入力された４音節の「こんどう」との文字列の各文字の１つ１つにおいて、母音のみが異なる文字であるとした場合に、単語辞書６４６内に存在する単語の相当する文字列も音節候補として表示されている。

すなわち、母音については、傾け操作により選択しているものの、ユーザの操作の仕方によっては、誤認識する場合があり得る。このため、表示領域１０ｂに、他の音節候補による文字列も表示しておき、必要に応じて、ユーザが十字選択キー１４と決定キー１２とにより、意図する文字列を、各音節を入力するごとに選択可能となっている（ステップＳ２１８）。

なお、図１１においては、単語辞書６４６内には、入力されたと認識された「こんどう」との４音節と１音節について母音が異なる他の文字列の組み合わせとして、先頭の「こ」を置き換えた候補が表示されている。これは、単語辞書６４６内おいて、上記のような他の文字列の組み合わせが、先頭の音節を置き換えたもののみが存在している場合を例示として表示したものである。

より一般には、４音節の文字列であれば、母音の異なる組み合わせは、単純には、５×５×５×５＝６２５通りあることになるが、１音節のみ入力された文字列と母音が異なるとの条件では、最大で、５＋５＋５＋５＝２０通りとなる。このうち、さらに、単語辞書６４６内に、対応する読みの単語が存在するもののみが、第２の表示領域１０ｂに表示される。

再び、図１０に戻って、文字入力制御部６２は、ユーザがさらに漢字変換のための特定の機能ボタンを押下したかを判定し（ステップＳ２１９）、押下していない場合、処理はステップＳ２０４に復帰する。

一方、ステップＳ２１９で、特定の機能ボタンの押下がされている場合、続いて、漢字への変換候補が表示される（ステップＳ２２０）。ここで、ユーザが確定処理を行なわない場合は（ステップＳ２２２）、処理はステップＳ２０４に復帰して、続きの文字が入力される。一方、ステップＳ２２２において、ユーザの十字選択キー１４による変換候補の選択と決定キー１２とによる確定処理に応じて、文字入力制御部６２は、入力された文字列の漢字への変換を確定する。さらに、文字入力の終了を指示するためのキー操作がなされていなければ（ステップＳ２２４）、文字入力制御部６２は、処理をステップＳ２０２に復帰させ、文字入力を続行し、一方、文字入力の終了が指示されると文字入力モードを終了する。

以上のような処理により、携帯端末装置１００において、最小限のキー押下で安定な文字入力が可能で、文字入力操作性および応答性を向上させることができる。

［実施の形態１の変形例］
以上の説明では、判定ベクトルＰ（ｔ）として、式（１）を用い、第１の方法での母音の選択を行なう場合について説明した。

ただし、上述した第２の方法で母音を選択することも可能である。以下では、実施の形態１の変形例として、このような母音の選択方法について説明する。

第２の方法では、上述のとおり、ユーザが、テンキーを操作した（押下した）状態で携帯端末装置１００を傾け操作のいずれかを行なった時点、つまり、全く傾け操作を行なっていない時点か、あるいは、選択する方向に傾けた時点で、操作しているテンキーを解放する（押下をやめる）。この場合は、テンキーを解放した時点で、入力された文字（音節）が確定する。

そこで、ユーザがボタンを押下して保持している時間をτとするとき、以下の式（２）により、判定ベクトルＰ（ｔ）を定義する。

図１２は、このような実施の形態１の変形例の入力文字の選択、変換、確定の処理を説明するためのフローチャートである。

図１２を参照して、文字入力が開始されると、ボタンが押下されているか検出され（ステップＳ３０２）、子音を選択するためのボタンであるテンキーが押下されていることが検知されると（ステップＳ３０４）、撮像部２で撮影される動画のフレームを特定するための変数τが１に初期化される（ステップＳ３０６）。

続いて、動きベクトル検出部４が、代表点マッチングにより動きベクトルｖ（ｔ）を検出する（ステップＳ３０８）。

文字入力制御部６２は、ステップＳ３０４で押下されていると判断されたテンキーの押下が維持されているかを判断し（ステップＳ３１２）、押下が維持されているのであれば、τの値を１だけインクリメントして（ステップＳ３１０）、処理はステップＳ３０８に復帰する。一方、ステップＳ３１２において、テンキーが解放されていると判断すると、文字入力制御部６２は、各フレームで検出される動きベクトルｖ（ｔ）に基づいて、上述した式（２）により、判定ベクトルＰ（ｔ）を積分して算出する（ステップＳ３１４）。

さらに、文字入力制御部６２は、判定ベクトルＰ（ｔ）と、検出範囲データ６４２に基づいて、母音のいずれが選択されたかを判定する（ステップＳ３１６）。

以上で、１つの母音と１つの子音が選択されたので、対応する音節が表示部１０に表示されるとともに（ステップＳ３１８）、傾け操作による母音の選択の誤認識の可能性を考慮して、他の文字列候補が表示されるとともに、必要に応じて他の文字列候補の選択が行なわれる（ステップＳ３２０）。このステップＳ３２０の処理は、図１０のステップＳ２１８と同様である。

続いて、文字入力制御部６２は、ユーザがさらに漢字変換のための特定の機能ボタンを押下したかを判定し（ステップＳ３２１）、押下していない場合、処理はステップＳ３０２に復帰する。

一方、ステップＳ３２１で、特定の機能ボタンの押下がされている場合、続いて、漢字への変換候補が表示される（ステップＳ３２２）。ここで、ユーザが確定処理を行なわない場合は（ステップＳ３２４）、処理はステップＳ３０２に復帰して、続きの文字が入力される。一方、ステップＳ３２４において、ユーザの十字選択キー１４による変換候補の選択と決定キー１２とによる確定処理に応じて、文字入力制御部６２は、入力された文字列の漢字への変換を確定する。さらに、文字入力の終了を指示するためのキー操作がなされていなければ（ステップＳ３２６）、文字入力制御部６２は、処理をステップＳ３０２に復帰させ、文字入力を続行し、一方、文字入力の終了が指示されると文字入力モードを終了する。

以上のような動作によっても、実施の形態１と同様の効果を奏することができる。
すなわち、携帯端末装置であって、操作キーとしてテンキーといくつかの機能キーしか存在しない場合であっても、１回のキー入力と１回のゼスチャー（傾け操作）で１つの文字を入力できる。

このため、乗り物の中や、どんな姿勢でも片手で簡単に文字入力が可能であり、基準位置を意識することなく、相対動作で入力できる。

さらに、携帯端末装置で、標準で装備されることが多いカメラ装置や動き検出回路の機能を利用することができるので、文字入力のためのコストの増加を最小限に押さえることができる。さらに、動画像について、携帯端末装置で動画撮影時の手ぶれ補正機能が標準装備されていれば、この機能も併せて利用すれば、一層、入力精度を向上させることもできる。

また、画像を利用するので、加速度センサを用いる方法と比べて、加速度の発生する移動体の中でも入力が可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明の実施の形態による携帯端末装置１００における文字入力機構を説明するための機能ブロック図である。 携帯端末装置１００の外観斜視図を示す。 動きベクトル検出部４の構成を示す機能ブロック図である。 判定ベクトルＰ（ｔ）の終点の軌跡を示す図である。 判定ベクトルＰ（ｔ）の変位方向への大きさの時間変化を示す図である。 キャリブレーション処理を説明するためのフローチャートである。 所定回数ずつ試行が完了した場合において、検出された判定ベクトルＰ（ｔ）の判定位置の分布の例を示す図である。 原点の周りに判定領域１０２，１０４，１０６，１０８，１１０をそれぞれ角度θだけ回転した状態を示す図である。 「全角かな」の文字入力モードに対応する文字選択テーブル情報６４４の具体例を示す図である。 入力文字の選択、変換、確定の処理を説明するためのフローチャートである。 ４音節まで入力した場合の表示部１０の表示態様を示す図である。 実施の形態１の変形例の入力文字の選択、変換、確定の処理を説明するためのフローチャートである。

符号の説明

２ 撮像部、４ 動きベクトル検出部、６ 文字入力処理部、８ キー操作部、１０ 表示部、１２ 検出範囲キャリブレーション部、６２ 文字入力制御部、６４ 記憶部、６４２ 検出範囲基準データ、６４４ 文字選択テーブル情報、６４６ 単語辞書、１００ 携帯端末装置。

Claims (3)

1. 複数のフレームからなる動画像を撮像する撮像部と、
   前記撮像部から出力される動画像信号から動きベクトルを検出する動きベクトル検出部と、
   複数の操作キーを有するキー操作部とを備え、
   前記複数の操作キーの各々には、複数の文字にそれぞれ対応する選択肢群が割り当てられており、
   検出された前記動きベクトルの複数のフレームわたる履歴に基づいて生成される判定ベクトルが前記動画像の動き方向のいずれの方向に対応するかを判定するための基準データと、前記動き方向と各前記操作キーに対応する選択肢群中の選択肢とを対応づけた文字選択テーブルとを格納する記憶部と、
   ユーザの前記操作キーの操作による前記選択肢群のいずれか１つの選択と、前記動き方向が前記選択肢群内の前記選択肢にそれぞれ対応する複数の方向のうちのいずれであるかを前記基準データに応じて判定した判定結果とに基づき、選択された当該選択肢群内の１つの選択肢に対応する前記文字を選択する文字入力処理部と、
   前記文字入力処理部で選択された前記文字を表示する表示部とを備える、携帯端末装置。
2. 前記基準データは、前記操作キーの所定の操作時点における前記判定ベクトルが、前記判定ベクトルの変位領域のうちのいずれの分割領域に対応するかを特定するための情報であり、
   前記動き方向を前記ユーザに提示した上で、前記ユーザによる前記携帯端末装置の前記動き方向への傾け操作に対応した前記判定ベクトルの前記変位領域内の分布を求める判定ベクトル分布獲得手段と、
   前記分布に基づいて、前記変位領域内の前記分割領域の配置を校正するための基準データ校正手段とをさらに備える、請求項１記載の携帯端末装置。
3. 前記記憶部は、選択された複数の文字からなる文字列に対応する単語データを格納し、
   前記文字入力処理部は、
   前記選択された文字からなる文字列のうち各１つの文字について、前記選択のために使用した前記動き方向以外の動き方向に応じた他の選択肢に対応する文字に置き換えた文字列であって、前記単語データ内に存在する文字列候補を前記表示部に併せて表示させる文字列候補表示制御手段と、
   前記表示された前記文字列候補のうちから、前記ユーザの操作に応じて、前記選択された文字からなる文字列を置き換える文字列の選択を受ける文字列候補選択手段とを含む、請求項１記載の携帯端末装置。

Images