JP2004318826A - 携帯端末装置および文字入力方法 - Google Patents

Abstract

【課題】 最小限のキー押下で確実な文字入力が可能で、文字入力操作性を向上させることができる携帯端末装置を提供する。
【解決手段】 この携帯端末装置１は、映像を撮像する撮像部３と、この撮像部３から出力される映像信号から動きベクトルを検出する動きベクトル検出部４と、複数のキーからなるキー操作部５と、文字入力確定部６と、表示部７とを備える。文字入力確定部６は、キー操作部５からの出力と、動きベクトル検出部４からの出力とに基づき、入力文字を選択、変換および確定する。表示部７は、文字入力確定部６で選択、変換および確定された文字を表示する。
【選択図】 図１

Description

この発明は、電話帳や電子メールの作成のための文字入力機能を備えた携帯電話機に代表される携帯端末装置に関する。

従来、携帯電話機などの携帯端末装置では、電話帳や電子メールなどを作成するための文字入力手段として、一般にキーパッドのテンキーと、マルチファンクションキーなどの機能キーとが用いられ、以下の操作により文字入力を行っている。先ずテンキーのトグル入力操作により入力すべき文字の読み仮名を入力し、次に機能キーを用いた変換操作により前記入力済み読み仮名に対応する複数の漢字変換候補を表示し、最後に機能キーを用いた確定操作により前記漢字変換候補の中から所望の漢字を選択し確定するようにしている。すなわち、前記文字入力手段では、文字入力操作のすべてをキー操作に頼っている。

具体例として、例えば一般的な携帯電話機では、前記読み仮名入力の方式として、テンキーを構成する「１」〜「０」キーのそれぞれに５０音の各行の仮名を割り当て、それらの中からいずれかのキーを選択して押下すると、そのキーに割り当てられた行の仮名がキーを押下した回数により順次変化して表示される方式が採用されている。

この場合、例えば「１」キーを５回押下すると、あ行の「お」が入力される。また、濁点付きの仮名入力では、例えば「か」を入力した後に、濁点を付けるキー入力操作を行うことにより、「が」が入力される。また拗音の入力では、濁点付きの仮名入力と同様に、先に通常の仮名を入力した後に、拗音用の特殊キーを押下して通常の仮名を拗音に切り替えるか、同じキーを６回押下する方式が採用される。

しかし、このような文字入力操作では、目的の文字を入力するために、テンキーの押下回数が多くなり、操作性が悪いという問題点を有する。

そこで、従来例におけるこのような操作性の悪さを解消するようにした携帯端末の一例として、５０音をマトリックス状に配置して、文字入力操作時のキーの押下回数を少なくしたものが提案されている（例えば特許文献１）。

また、他の例として、加速度センサを用いた加速度検出手段を設け、この加速度検出手段の検出出力に基づき、携帯端末装置に加えられた動きの移動軌跡を求めて表示器にその移動軌跡を表示し、その移動軌跡が表示された状態で確定操作が行われると、前記移動軌跡を入力文字として認識するようにした携帯端末装置も提案されている（例えば特許文献２）。この場合、あたかも手書き入力のように読み仮名を入力できる。また、この特許文献２では、動きの方向および移動量を検出することで、ファンクションキーの操作に頼ることなく、入力文字の選択や確定を行うことが提案されている。

特開２０００−１７２４１７号公報 特開２００２−１６９６４５号公報

しかしながら、上述した特許文献１の携帯端末装置の場合も、文字入力のために仮名１文字あたり最低２回のキー押下が必要となる。また、１回目のキー押下により、次のキー押下とそれにより入力される文字との対応一覧表を表示することで操作性を向上させようとすると、１回目の入力操作→表示→２回目の入力操作と、前後の入力処理の間に表示処理を入れる必要があり、処理が複雑になって入力操作の高速化に対応できないという問題がある。

また、特許文献２の携帯端末装置の場合には、本来の携帯端末装置には必要でない加速度センサを付加する必要があるばかりか、その出力を２回積分して移動方向および移動量を検出する機能も必要となり、この機能を精度良く実現するためには処理が複雑で高価になるという問題がある。

この発明は、上述の点に鑑みてなされたもので、最小限のキー押下で確実な文字入力が可能で、文字入力操作性を向上させることができる携帯端末装置を提供することを目的とする。

本発明に係る携帯端末装置は、
映像を撮像する撮像部と、
前記撮像部から出力される映像信号から動きベクトルを検出する動きベクトル検出部と、
複数のキーを有するキー操作部と、
前記キー操作部からの出力と、前記動きベクトル検出部からの出力とに基づき、入力文字を選択、変換、および確定する文字入力確定部と、
前記文字入力確定部で選択、変換、および確定された文字を表示する表示部と、
を備えている。

本発明に係る携帯端末装置によれば、映像を撮像する撮像部と、前記撮像部から出力される映像信号から動きベクトルを検出する動きベクトル検出部と、複数のキーを有するキー操作部と、前記キー操作部からの出力と、前記動きベクトル検出部からの出力とに基づき、入力文字を選択、変換、および確定する文字入力確定部と、前記文字入力確定部で選択、変換、および確定された文字を表示する表示部とを備えているので、携帯端末装置を上下左右に振るジェスチャー操作を動きベクトル検出手段で検出して、文字入力情報に用いることが可能となる。

実施の形態１．
図１はこの発明の実施の形態による携帯端末装置における文字入力機構の概略構成を示すブロック図であり、図２にはその携帯端末装置の外観斜視図を示す。この携帯端末装置１（図２）は撮像機能付きの携帯電話機であって、その文字入力機構２（図１）は、撮像部３、動きベクトル検出部４、キー操作部５、文字入力確定部６、および表示部７を備えている。

撮像部３は、静止画および動画を撮像する手段であって、光学レンズ、ＣＣＤやＣＭＯＳ等のイメージセンサ、駆動回路等で構成され、その映像出力は圧縮回路部（図示せず）によりＪＰＥＧやＭＰＥＧ等の各種フォーマットに圧縮される。

動きベクトル検出部４は、撮像部３の映像出力から動きベクトルを検出する手段であって、具体的には、前後のフレーム間の画像の相対関係を利用して前後のフレーム間でどの方向にどれだけ画像が移動したかを演算する。この動きベクトル検出部４には、動画を送信するときの動画圧縮のための符号化手段として用意された動きベクトル検出回路（画面における各マクロブロック単位の動きベクトルを検出する）が一部兼用される。

ここで、図３に示すブロック図を用いて動きベクトル検出部４の構成の一例を説明する。
撮像部３から出力される映像信号はＡ／Ｄコンバータ４１でＡ／Ｄ変換され、それらの信号が画面における各マクロブロック単位で前フレームブロックメモリ４２に記憶される。これと並行して、画素シフト回路４３は、各マクロブロックの画素位置（アドレス）からシフト方向およびシフト量の異なる各位置にシフトした画素の映像信号を取り込み、これらの信号が次段の絶対値総和回路４４に入力される。絶対値総和回路４４では、前フレームブロックメモリ４２から読み出された前フレームでの各マクロブロックの画素の絶対値と、画素シフタ４３で画素位置をシフトさせた次フレームの各マクロブロックの画素の絶対値との総和が、各マクロブロック単位で求められる。

次段の各ブロック最小検出回路４５では、各マクロブロックにおける絶対値総和の最小値を求めて動きベクトルを検出する。そして、次段の平均化回路４６では、マクロブロックごとの動きベクトル値を画面内で平均化することで、画面全体の動きベクトルとする。

この動きベクトル検出部４において、Ａ／Ｄコンバータ４１から絶対値総和回路４４にわたる部分は、動画圧縮のための符号化手段として動画機能付きの携帯電話機に備わっている回路を兼用した回路部分である。これにより、動きベクトル検出部４の構成を簡略化でき、コスト低減が可能となる。

また、図４に示すブロック図を用いて動きベクトル検出部４の他の構成例について説明する。なお、より具体的な説明は特許第２６４１５９９号にてなされているので、以下においては簡単な説明に止める。

この例では、手ぶれ補正に用いられるような代表点マッチング法により画面全体の動きベクトルを検出するようにしている。すなわち、代表点マッチング法とは、画面内に複数の代表点を設定し、前フレームの代表点の信号値を記憶するとともに、現フレームの代表点の周囲にあたる画素の信号値との差の絶対値を求め、当該絶対値に基づいて動きベクトルを検出する方法である。

より具体的には、図４に示すように、撮像部３から出力される映像信号はＡ／Ｄコンバータ４１でＡ／Ｄ変換され、前フレーム代表点メモリ４２Ａおよび絶対値回路４４Ａに与えられる。

前フレーム代表点メモリ４２Ａには１フレーム前の前フレームの代表点の信号値を記憶しておき、１フレーム後、すなわち現フレームの代表点から、累積加算テーブル４７と同じアドレス空間の距離にあたる各画素と、前フレームの代表点とのそれぞれの差の絶対値を絶対値回路４４Ａで求める。

そして、この絶対値を、累積加算テーブル４７の対応するアドレスに代表点の点数分だけ累積加算し、次段のテーブル比較回路４８では、累積加算値の一番小さいアドレスをもって１フレームで画像位置がどの方向にどれだけ移動したか、すなわち動きベクトル値を算出する。

このような構成を採用することで、より精度の高い動きベクトルの検出が可能となる。また、手ぶれ補正機能が動画機能付きの携帯電話機に備わっている場合には、回路を一部兼用することで動きベクトル検出部４の構成を簡略化でき、コスト低減が可能となる。

ここで、図２の説明に戻る。キー操作部５は、文字などの入力に用いられる入力手段であって、複数のキーからなり、テンキーを構成する「１」〜「０」キー、およびその他のファンクションキーを有しており、ユーザが押下したキー入力をコード化して文字入力確定部６に出力する。

文字入力確定部６は、所定の制御プログラムに従って、キー操作部５からの出力と、動きベクトル検出部４からの出力とに基づき、入力される文字の選択，変換，および確定の動作を制御する手段であって、制御部６１と記憶部６２とで構成される。制御部６１は、キー操作部５および動きベクトル検出部４からの入力に基づき、文字の入力モード，選択，変換，確定という各ステップを実行する。記憶部６２には、複数の文字入力モードに応じて予め用意された文字選択のためのテーブル情報（キー入力および検出動きベクトルと文字とを対応付けたマトリックス）が格納されている。

表示部７は、文字入力確定部６によって選択，変換，および確定されて行く各段階で選ばれるべき候補の文字等を表示する手段であり、これによりインタラクティブな文字入力操作が行われる。なお、撮像部３（図１）が設置される位置は、携帯端末装置１の本体におけるキー操作部５および表示部７が設置される操作面１ａ、または操作面１ａの背面のどちらでもよい。

次に、携帯端末装置１による文字入力操作を、図２を参照して説明する。
まず、撮像部３を動作させ、何らかの被写体Ｍを撮影するモードにして、映像信号を得る。なお、図２では、撮影された被写体Ｍを表示部７に表示させているが、入力される文字や、その変換操作を表示させることが目的であるので、被写体Ｍを表示させる必要はない。なお、この被写体Ｍは基本的に何でも良いが、人物等の個々に独立した動きを有する特定の被写体より、動きがほぼ固定している風景の方が望ましい。また、動きベクトル検出には前後のフレーム間の画像の相関関係を利用しているので、フォーカス等の調整も行わない方が良い。

ここで、図２において、矢印ａ〜ｄは、携帯端末装置１に加えられる物理的な動きの方向を示し、（Ａ）〜（Ｄ）の画像は、携帯端末装置１が静止した状態から矢印ａ〜ｄのように傾けられたときの、撮像部３による被写体Ｍの画像の動き（動きベクトル）を示している。矢印ａは携帯端末装置１の上部を背面側に傾ける場合を、矢印ｂは同装置１の右側部を背面側に傾ける場合を、矢印ｃは同装置１の下部を背面側に傾ける場合を、矢印ｄは同装置１の左側部を背面側に傾ける場合をそれぞれ示す。

矢印ａの動きに対応する（Ａ）の画像では、画像の動き（動きベクトル）が上方向となり、矢印ｂの動きに対応する（Ｂ）の画像では、動きベクトルが右方向となり、矢印ｃの動きに対応する（Ｃ）の画像では、動きベクトルが下方向となり、矢印ｄの動きに対応する（Ｄ）の画像では、動きベクトルが左方向となる。これらの動きベクトルを動きベクトル検出部４が検出する。

したがって、動きベクトル検出部４で検出する左右方向および上下方向の動きベクトル値が所定の範囲内にある場合、例えば右方向の動きベクトルが所定の値より大きく、上下方向の動きベクトルが所定の値より小さい場合には、動きベクトル検出部４の出力を受ける文字入力確定部６は、ユーザが携帯端末装置１に対して矢印ｂのジェスチャー入力を行ったと判定する。

同様に、左右方向および上下方向ともに動きベクトルが所定の値より小さい場合、文字入力確定部６は、携帯端末装置１が「静止」していると判定する。この「静止」の場合を動きベクトルが（Ｏ）の場合であるとすると、（Ａ），（Ｂ），（Ｃ），（Ｄ）にこの動きベクトル（Ｏ）を加えて５通りのジェスチャー入力を想定することができ、動きベクトル検出部４から文字入力確定部６には、この５通りの情報が出力される。

以下、図５〜図８を用いて、具体的な文字入力方法について説明する。
図５〜図８は、それぞれ「全角かな」、「半角カナ」、「半角英字」および「全角英字」の各文字入力モードに対応するテーブル情報の具体例を示す図である。

図５〜図８に示す各文字入力モードのマトリックスは、現在の携帯電話機で用いられている「２タッチ方式」のマトリックスを半分に分割し、２桁目の入力を（Ｏ），（Ａ），（Ｂ），（Ｃ），（Ｄ）に変えたものである。なお、文字入力モードの決定は、キー操作部５からの入力に基づき行われ、その入力モードが表示部７に表示される。

文字入力確定部６では、先ず第１ステップである入力モード切替えステップとして、その制御部６１が、キー操作部５からの入力に基づき文字入力モードを決定し、表示部７にその入力モードを表示する。次の第２ステップである入力文字選択ステップで制御部６１は、その入力モードにおけるテーブル情報（マトリックス）を記憶部６２から読み出し、このマトリックスに従って文字を選択する。そして、次の第３ステップである変換ステップにおいて、制御部６１は選択文字を漢字に変換し、第４ステップである確定ステップで、変換漢字候補の中から所望の漢字を選び確定する。

このように、文字入力確定部６の処理動作を多段階に分けることで、１回のキー入力と１回のジェスチャー入力、あるいはこれらを同時に行うことで、入力文字の選択が可能となり、文字入力の操作性をより向上させることができる。

次に、具体例として「変換」という漢字を入力する場合を以下に説明する。まず、キー操作部５のファンクションキーで文字入力モードを「全角かな」に設定する。「全角かな」モードでは、図５のマトリックスが記憶部６２から読み出されて入力待機状態となる。その状態で、図５のマトリックスに従って、「６」キーと（Ｃ）のジェスチャー入力で「へ」を選択、「０」キーと（Ｂ）のジェスチャー入力で「ん」を選択、「２」キーと（Ｏ）のジェスチャー入力で「か」を選択、「０」キーと（Ｂ）のジェスチャー入力で「ん」を選択すると、表示部７に「へんかん」と表示される。この場合、キー操作部５からの出力と、動きベクトル検出部４の出力とは互いに独立しているため、同時に入力することが可能である。この「へんかん」の入力に用いたキー押下回数は４回である。

次にファンクションキー（一般的には「下矢印キー」）で変換操作を行う。すると、「変換」以外にも「返還」など意図しない漢字が候補に上がることがあるので、意図した漢字を選択して確定するようにファンクションキーで確定操作を行う（一般的には「上下矢印」で選択し「決定」で確定）。

次に、濁音や小文字を含んだ例として「学校」という漢字を入力するために、「がっこう」を選択する場合を以下に説明する。前記例と同様に、先ず、ファンクションキーで文字入力モードを「全角かな」に設定する。その後、図５のマトリックスに従って、「２」キーと（Ｏ）のジェスチャー入力で「か」を選択、「０」キーと（Ｃ）のジェスチャー入力で濁音を付けて「が」に変更、「４」キーと（Ｂ）のジェスチャー入力で「つ」を選択、ファンクションキーで小文字「っ」に変更、「２」キーと（Ｄ）のジェスチャー入力で「こ」を選択、「１」キーと（Ｂ）のジェスチャー入力で「う」を選択する。この場合、６回のキー押下回数で「がっこう」の入力が可能である。

なお、半角カナモードの場合には、図６のマトリックスに従って入力する。この場合もファンクションキーを用いて大文字入力と小文字入力とを切り換えることができる。

次に、半角で「Hello」という文字を入力する場合について説明する。この場合は、まず、「半角英字」モードに設定し、図７のマトリックスに従って、「２」キーと（Ｂ）のジェスチャー入力で「H」を選択、「８」キーと（Ｄ）のジェスチャー入力で小文字入力モードに変更、「１」キーと（Ｄ）のジェスチャー入力で「e」を選択、「３」キーと（Ａ）のジェスチャー入力で「l」を選択、「３」キーと（Ａ）のジェスチャー入力で「l」を選択、「３」キーと（Ｄ）のジェスチャー入力で「o」を選択する。この場合も６回のキー押下回数で「Hello」の入力が可能である。

なお、全角英字モードの場合には、図８のマトリックスに従って入力する。この場合も「８」キーと（Ｄ）のジェスチャー入力、およびファンクションキーを用いて大文字入力と小文字入力とを切り換えることができる。

以上の動作を要約すれば、携帯端末装置１の被写体に対する角度を変えることで、被写体Ｍの撮像角度を変え、撮像角度の変化を被写体Ｍの移動に見なして動きベクトルを検出するものと言うことができ、携帯端末装置１の被写体に対する角度を変えること、すなわちジェスチャーでキー操作の代わりとすることができ、最小限のキー操作で確実な文字入力が可能となって、文字入力操作性を向上させることができる。

なお、以上の説明では、ジェスチャー入力を５通りとしたが、これは誤検出を少なくするために簡略化したものであり、静止，左右，上下のほか、斜め方向などの動きをジェスチャー入力の１つとして含めてジェスチャー入力の種類を増やしても良い。

また、以上の説明では、キー操作とジェスチャー操作を同時に行う場合について説明したが、同時でなく、例えばキー操作後にジェスチャー操作を行うようにしても良い。この場合は、キー操作後に、次のジェスチャー操作でどの文字が選択されるかを表示部７に表示することや、一定期間ジェスチャー入力が無い場合に、これを（Ｏ）のジェスチャーであると判定するためのタイムアウト時間を設定すること等を追加することも考えられる。

また、以上の説明では、キー操作とジェスチャー操作とで選択される文字のマトリックスとして、現在の携帯電話機で用いられている「２タッチ方式」を基にして作成した例を示したが、他のマトリックスを用いても良い。例えば、通常の文字入力に用いているように、「２」キーに「Ａ」「Ｂ」「Ｃ」、「３」キーに「Ｄ」「Ｅ」「Ｆ」というように英文字を割り当てると、通常入力の場合と同じキーが使え印刷表示が共用できる。

また、図２に示した携帯端末装置１では、撮像部３がキー操作部５および表示部７が設置される操作面１ａの背面側に設置される例を示したが、撮像部３を操作面１ａ側に設置しても良い。この場合、操作者自身を被写体Ｍとすることができ、携帯端末装置自身を動かさなくても操作者の顔を振る等の体の動きで文字入力操作を行うこともできる。

実施の形態２．
次に、本実施の形態では、動きベクトルの時系列的変化を検出して、動きベクトル検出の精度を向上させる方法について説明する。
実施の形態１で説明したように、撮像部３にて撮像する被写体Ｍとしては、個々に動きを有する人物や動物等の移動物体が存在する場面より、ほぼ動きが無く固定されている風景だけの場面の方が望ましい。この理由は、移動物体が撮像範囲にあると、その移動物体に対応する動きベクトルを検出してしまう場合があり、その結果、動きベクトルの誤検出が増え、検出精度が低くなるからである。しかし、風景だけの被写体を選択しても、人や動物等が撮像範囲を横切ることにより乱れが生じ、動きベクトルの誤検出が発生する場合がある。

図９は、動きベクトルの時間的変化を表す図であり、縦軸が動きベクトル、横軸が時間である。例えば、被写体として風景が選択されているとき、あるいは携帯端末装置１自体が静止しているときに、人等の移動物体が撮像部３の撮像範囲を横切った場合を想定する。この場合、動きベクトルの検出状態は、図９（Ａ）に示すように、（ａ）のタイミングで移動物体が撮像部３の撮像範囲に入り、（ｂ）のタイミングで撮像範囲から出る。このように、ほぼ動きのない風景の前を移動物体が横切った場合、検出される動きベクトルは一方向のみとなる。

一方、被写体として風景が選択されており、ユーザが文字入力操作のために、携帯端末装置１を図２の矢印ａ〜ｄのように動かした場合の動きベクトルの検出状態を図９（Ｂ）に示す。ユーザは、携帯端末装置１を例えば矢印ｂのように動かした後、文字入力や変換動作の状態が表示される表示部７を確認するため、さらに、矢印ｂとは逆の方向に携帯端末１を動かす。すなわち、（ｃ）のタイミングで携帯端末１を矢印ｂの方向に動かし始め、（ｄ）のタイミングでその動作が終了する。そして、（ｅ）のタイミングで矢印ｂとは逆の方向に携帯端末１を動かし始め、（ｆ）のタイミングでその動作が終了する。このように、文字入力を行う場合は、まず、ある方向の動きベクトルが検出され、その後、逆の動きベクトルが検出されることとなる。

したがって、図１０に示すフローにて動きベクトルの検出処理を行うことにより、外乱による誤検出とユーザによる文字入力操作とを判別することができるようになる。

まず、ステップ１にて所定量の動きベクトルを検出する。次に、ステップ２にて所定期間のタイマーを設定し、タイマーの期間内に、ステップ１にて検出された動きベクトルとは逆方向の動きベクトルを検出するか否かを判別する（ステップ３、ステップ４）。逆方向の動きベクトルが検出された場合は、ユーザによる文字入力操作と判断する（ステップ５）。

このように、一方向の動きベクトルが検出された後、所定期間内に逆方向の動きベクトルを検出した場合をユーザによる文字入力操作と判断することにより、動きベクトルの誤検出を減らすことができ、検出の精度を向上させることが可能となる。

なお、図１０に示した処理フローでは、ステップ１の動きベクトル検出後にステップ２にてタイマーを設定することとしている。しかし、携帯端末装置１を動かすジェスチャー入力と同時、またはジェスチャー入力の前に文字入力モードを決定するためのファンクションキーからの入力や、図５に示すマトリックスに対応するためのテンキーからの入力が存在する。したがって、これらのキー入力をトリガーとしてタイマーの設定を行ってもよい。

本実施の形態における携帯電話端末装置は、例えば、図１に示した文字入力確定部６の記憶部６２に、検出された動きベクトルを所定期間記憶させる機能を持たせることにより構成される。すなわち、図１０に示した処理フローに基づき、動きベクトル検出部４にて検出された動きベクトル、記憶部６２に格納されているテーブル情報、記憶されている動きベクトル、キー操作部５からの入力を用い、制御部６２にて文字の入力モード、選択、変換、確定の各ステップを実行する。なお、記憶部６２以外に、検出された動きベクトルを所定期間記憶させるため記憶部（図示せず）を設けてもよい。

実施の形態３．
本実施の形態では、フレームを複数の領域に分割し、領域毎に検出された動きベクトルの頻度分布を用いることにより、動きベクトルの検出精度を向上させる方法について説明する。

まず、フレームを複数の領域に分割する。図１１（Ａ）は、フレーム全体を示しており、図１１（Ｂ）は、図１１（Ａ）のフレームを例えば１６分割した状態を示している。なお、フレームの分割数は１６以外でもよく、また、分割された各領域の形状は、矩形以外でもよい。

次に、分割された領域毎に動きベクトルを検出する。図１２（Ａ）は、ジェスチャー入力の際、撮像範囲を移動物体が横切った場合における動きベクトルの検出状態を示している。また、図１２（Ｂ）は、ジェスチャー入力の際、撮像範囲に移動物体が存在しない場合における動きベクトルの検出状態を示している。図１２（Ａ）では、移動物体が左上の９つの領域を占めており、その他、残りの７つの領域が背景である。つまり、フレーム全体に占める割合は、背景よりも移動物体の方が高い。したがって、この場合、単に、動きベクトルの頻度分布から最も高いピークを検出する方法では、移動物体に対応する動きベクトルを検出してしまうこととなる。

しかし、図１２（Ａ）に示すような場合に、フレーム中に２つの動きベクトルが存在することを検出し、その２つの動きベクトルを、フレームを代表する動きベクトルの候補とする。そして、図１２（Ａ）に示すフレームの時間的に前、または後に存在するフレームが図１２（Ｂ）に示すようなフレームであれば、両者を比較することにより、図１２（Ａ）のフレームを代表する動きベクトルは、右方向の動きベクトルであると検出することが可能となる。すなわち、各フレームにおいて動きベクトルの頻度分布のピークを２つ検出し、時間的に前後にあるフレームと比較することにより、２つの動きベクトルのうち、どちらか一方を、フレームを代表する動きベクトルと判断する。この処理により、移動物体等が存在する場合でも、動きベクトルの誤検出が減り、検出精度が向上する。

図１３に、本実施の形態における動きベクトルの検出方法の処理フローを示す。まず、ステップ１１にて、フレームを分割した各領域において動きベクトルを検出する。次に、領域毎に検出された動きベクトルを用い、動きベクトルの頻度分布を検出する（ステップ１２）。さらに、動きベクトルの頻度分布のピークが１つであるか否かを検出し（ステップ１３）、１つである場合は、検出されたピークがフレームを代表する動きベクトルであると判定する（ステップ１４）。この場合、移動物体等による乱れ小さく、検出されたピークが背景に対応する動きベクトルと判断できるからである。

一方、ステップ１３にて、動きベクトルの頻度分布のピークが１つでないと判定された場合、次に、ピークが２つあるか否かを検出する（ステップ１５）。ピークが２つある場合は、処理の対象となっているフレームよりも時間的に前、または後に存在するフレームと比較し、どちらか一方のピークがフレームを代表する動きベクトルであると判定する（ステップ１６）。ピークが２つ存在する場合、一方が背景に対応する動きベクトルであり、他方が移動物体に対応する動きベクトルと考えられる。したがって、両者を候補としておき、時間的に前後に存在するフレームと比較して動きベクトルの判定を行うことにより、処理の対象となっているフレームに対して背景の占める割合が低くても、背景に対応する動きベクトルの検出が可能となる。この処理により、動きベクトルの誤検出が減り、検出精度が向上する。

ところで、ステップ１５にて動きベクトルの頻度分布のピークが２つ以上と検出された場合は、フレーム内の映像が乱れていると判断し、フレームを代表する動きベクトルは検出されなかったと判定する（ステップ１６）。

なお、ステップ１６では、比較のために用いるフレームとして、処理の対象となっている現フレームと時間的に前後にある画面を用いると説明したが、時間的に前にある前フレームだけと比較してもよく、また、時間的に後ろにある後フレームだけと比較してもよい。さらに、比較するフレームは、処理の対象となっている現フレームの直前、または直後に存在するフレームに限られず、所定時間前にある、または後にあるフレームでもよく、または、所定数のフレームの平均値でもよい。また、フレームを代表する動きベクトル同士、候補まで含めた動きベクトル同士、または動きベクトルの頻度分布自体を比較してもよい。

また、動きベクトルの頻度分布から検出するピークは２つであったが、２以上であってもよい。

本実施の形態における携帯電話端末装置は、例えば、図１に示した文字入力確定部６の記憶部６２に、検出された動きベクトルを所定期間記憶させる機能を持たせることにより構成される。すなわち、図１３に示した処理フローに基づき、動きベクトル検出部４にて検出された動きベクトル、記憶部６２に格納されているテーブル情報、記憶されている動きベクトル、キー操作部５からの入力を用い、制御部６２にて文字の入力モード、選択、変換、確定の各ステップを実行する。なお、記憶部６２以外に、検出された動きベクトルを所定期間記憶させるため記憶部（図示せず）を設けてもよい。

なお、本明細書では、日本語を例にとって本発明の説明を行ったが、本発明にかかる携帯電話および文字入力方法は、日本語のみならず他の言語にも適用可能である。

この発明の実施の形態１にかかる携帯端末装置における文字入力機構の概略構成を示すブロック図である。 同携帯端末装置のジェスチャー入力動作を示す説明図である。 同携帯端末装置の動きベクトル検出手段を構成する回路の一例を示すブロック図である。 同動きベクトル検出手段の他の回路例を示すブロック図である。 携帯端末装置における文字入力確定部の記憶部に格納される全角かな入力モードの文字マトリックスを示す図である。 同携帯端末装置における文字入力確定部の記憶部に格納される半角カナ入力モードの文字マトリックスを示す図である。 同携帯端末装置における文字入力確定部の記憶部に格納される半角英字入力モードの文字マトリックスを示す図である。 同携帯端末装置における文字入力確定部の記憶部に格納される全角英字入力モードの文字マトリックスを示す図である。 この発明の実施の形態２にかかる携帯端末装置が検出する動きベクトルの時系列変化を示す図である。 同携帯端末装置における動きベクトル検出方法の処理フローを示した図である。 この発明の実施の形態３にかかる携帯端末装置におけるフレームの分割状態を示す図である。 同携帯端末装置における動きベクトルの検出状態を示す図である。 同携帯端末装置における動きベクトル検出方法の処理フローを示した図である。

符号の説明

１ 携帯端末装置
２ 文字入力機構
３ 撮像部
４ 動きベクトル検出部
５ キー操作部
６ 文字入力確定部
７ 表示部

Claims (8)

1. 映像を撮像する撮像部と、
   前記撮像部から出力される映像信号から動きベクトルを検出する動きベクトル検出部と、
   複数のキーを有するキー操作部と、
   前記キー操作部からの出力と、前記動きベクトル検出部からの出力とに基づき、入力文字を選択、変換、および確定する文字入力確定部と、
   前記文字入力確定部で選択、変換、および確定された文字を表示する表示部と、を備えた携帯端末装置。
2. 前記動きベクトル検出部は、
   前記映像信号の圧縮に用いる動きベクトル検出回路を有する、請求項１記載の携帯端末装置。
3. 前記動きベクトル検出部は、
   画面内に複数の代表点を設定し、前フレームの前記代表点の信号値を記憶するとともに、現フレームの前記代表点の周囲にあたる画素の信号値との差の絶対値を求め、当該絶対値に基づいて動きベクトルを検出する代表点マッチング法により画面全体の動きベクトルを検出する動きベクトル検出回路を有する、請求項１記載の携帯端末装置。
4. 前記文字入力確定部は、制御部および記憶部を有し、
   前記制御部は、予め設定された複数の文字入力モードから１つのモードを選択する第１ステップと、
   前記各文字入力モードに対応する文字情報を記憶する前記記憶部から選択されたモードの文字情報を読み出し、前記文字情報に対応して予め定められた前記キー操作および検出した動きベクトルに基づいて対応する入力文字を選択する第２ステップと、
   選択した文字を変換する第３ステップと、
   変換した文字を確定する第４ステップとを実行する、請求項１記載の携帯端末装置。
5. 前記第２ステップは、
   前記携帯端末装置の被写体に対する角度を変えることで前記被写体の撮像角度を変え、撮像角度の変化を前記被写体の移動に見なして前記動きベクトルを検出するステップを含む、請求項４記載の携帯端末装置。
6. 映像を撮像する撮像ステップと、
   前記撮像ステップから出力される映像信号から動きベクトルを検出する動きベクトル検出ステップと、
   複数のキーを有するキー操作ステップと、
   前記キー操作ステップからの出力と、前記動きベクトルとに基づき、入力文字を選択、変換、および確定する文字入力確定ステップと、
   前記文字入力確定ステップで選択、変換、および確定された文字を表示する表示ステップと、を備えた文字入力方法。
7. 動きベクトルの時系列的変化を検出する時系列的変化検出ステップを備え、
   文字入力確定ステップは、
   当該時系列的変化検出ステップからの出力と、キー操作ステップからの出力とに基づいて、入力文字を選択、変換、および確定する請求項６に記載の文字入力方法。
8. フレームは複数の領域に分割され、
   現フレームの前記領域ごとに検出された動きベクトルの頻度分布を検出する頻度分布検出ステップと、
   当該動きベクトルの頻度分布から複数のピークを検出するピーク検出ステップと、
   現フレームの時間的に前の前フレーム、または／および当該現フレームの時間的に後の後フレームの情報に基づいて、当該複数のピークから現フレームを代表する動きベクトルを判定する判定ステップとを備え、
   文字入力確定ステップは、
   当該判定ステップからの出力と、キー操作ステップからの出力とに基づいて、入力文字を選択、変換、および確定する請求項６または７に記載の文字入力方法。

Images