JP2005309952A - テキスト入力装置 - Google Patents

Abstract

【課題】 キーの数が少ない携帯機器においても、１つのキーストロークで文章入力が可能なテキスト入力装置を提供する。
【解決手段】 テキスト入力装置１００では、カメラ１０２が、ユーザの口領域を含む対象画像領域内の画像を撮影する。入力キーパッド１０４は、各々が複数の入力文字候補に対応する複数のキーを有する。携帯電話機１１０のＣＰＵ１１０４は、対象画像領域内において、口形状を検出し、口腔面積と口腔のアスペクト比によりマッピングされたマッピング情報に基づいて、検出された口形状と指示（たとえば、押下）されたキーとの組合せに応じて、対応する複数の入力文字候補のうち、選択された文字データを生成する。
【選択図】 図１

Description

この発明は、携帯電話や携帯型のコンピュータ等の機器でテキスト入力を行なう際において、当該機器と人間との間でテキスト入力のためのインタフェースをとるテキスト入力装置の構成に関する。

デスクトップ型のコンピュータのユーザインタフェースにおいて、入力デバイスは、従来、たとえば、キーボードやマウスといった人間が手で操作するデバイスが用いられることが一般的である。

一方で、近年、インターネットやモバイルコミュニケーションの媒体が広く用いられることになったことで、文章の書き手や読み手の数は、爆発的に増加している。このときも、多くの文章は、手の動作によって生成される。

しかしながら、どのような人間の動作も、潜在的には文章入力（テキスト入力）のために使用することが可能である。自動音声認識および読唇術は、会話における口の運動をテキスト入力に用いるための研究と言える。しかし、十分に満足のいく音声認識による文章入力システムは実現されておらず、かつ、ロバストでリアルタイムの自動読唇術も、まだ実用段階にあるとは言えない。

そこで、目の動き、特に視線方向と口の形状認識とを組み合わせた文字入力装置などが提案されている（たとえば、特許文献１を参照）。
特開２００２−２６９５４４号公報明細書

しかしながら、視線の検出は、一般には、単に対象物を注視した状態と、装置に対する何らかの意図を持って見ているのかを判別することが難しい、などの問題がある。

本発明の目的は、キーの数が少ない携帯機器においても、１つのキー操作（たとえば、キーストローク）で文章入力が可能なテキスト入力装置を提供することである。

この発明のある局面に従うと、テキスト入力装置であって、ユーザの口領域を含む対象画像領域内の画像を撮影する撮影手段と、対象画像領域内において、口形状を検出する検出手段と、口形状の複数のパターンをマッピングしたマッピング情報を予め格納するための記憶手段とを備え、マッピング情報は、口腔面積と口腔のアスペクト比によりマッピングされており、各々が複数の入力文字候補に対応する複数のキーを有し、ユーザからの入力を受けるキー入力手段と、マッピング情報に基づいて、検出された口形状と指示されたキーとの組合せに応じて、対応する複数の入力文字候補のうち、選択された文字データを生成するためのテキスト変換手段と、選択された文字データに対応する文字を表示する表示手段とをさらに備える。

好ましくは、複数のキーの各々は、複数のアルファベットに対応しており、テキスト変換手段は、口形状のパターンに応じて、指示されたキーに対応する複数のアルファベットのうちの１つを選択する。

好ましくは、複数のキーは、日本語のかなの５０音表の異なる子音に行にそれぞれ対応しており、マッピング情報は、日本語の母音の発音時の口形状に基づいてマッピングされており、テキスト変換手段は、口形状のパターンに応じて、指示されたキーに対応するかなのうち、母音の口形状に対応する１つを選択する。

［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態にかかるテキスト入力装置について説明する。このテキスト入力装置は、中央演算処理ユニット（ＣＰＵ：Central Processing Unit）により制御される携帯機器上で実行されるソフトウェアにより実現されるものであって、人物の顔の映像から、口の部分のうちの口腔領域（空いた口の領域）を抽出して、テキスト入力制御のための信号を生成するものである。

すなわち、本発明では、手および口の協調した動作を使用することによる文字入力方法を実現する。開いた口の口腔の形状パラメータが測定され、その測定結果は、キーパッドからの入力と結び付けられて、入力状態の離散的な組としてマッピングされ、複数のシンボルの明瞭な入力を可能とする。このような方法は、アルファベットの文章入力システム（ローマ字アルファベット）および音節の文章入力システム（日本語のひらがな）として実装される。

図１は、本発明のテキスト入力装置１００の構成を示す概略ブロック図である。

特に限定されないが、このテキスト入力装置１００は、たとえば、携帯電話機などのユーザインタフェースとして実装される。そこで、以下の説明では、テキスト入力装置１００が携帯電話機に実装されるものとして説明する。

しかし、一般には、携帯機器において、仮にフルキーボードが搭載されている場合でも、片手入力が可能なことを利用して、携帯電話機の入力キーパッドに類似のキー割り当てを行ってテキスト入力を行なう場合や、ＰＤＡなどで、キーサイズが小さいためにキー操作が必ずしも快適といえない場合にも、本発明のテキスト入力装置を用いることが可能である。

図１を参照して、このテキスト入力装置１００は、携帯電話機１１０の表示装置としてのディスプレイ１０８と、携帯電話機１１０の入力装置の１つとしての入力キーパッド１０４と、携帯電話機１１０内において、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory)１１０６と、ＲＡＭ（Random Access Memory）１１０８と、入力装置からの信号を受け取り、またディスプレイ１０８との間でデータを授受するためのインタフェース部１１０２とを含んでいる。

なお、携帯電話機１１０の通話を行なうための構成については周知であるので、図１においては、その記載を省略している。携帯電話機などの携帯機器では、ＲＯＭ１１０６は、電気的にデータの書き換えの可能なフラッシュメモリなどの不揮発性メモリが用いられる。このＲＯＭ１１０６に格納されたソフトウエアは、たとえば、ＲＡＭ１１０８上に展開されてＣＰＵ１１０４で実行される。

さらに、インタフェース部１１０２は、ユーザ２の頭に装着されたヘッドセットから伸びたアームによりユーザ２の口付近の画像を取込むためのカメラ（以下、「ヘッドマウントカメラ」と呼ぶ）１０２からの画像を取り込む。この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いる。また、口の画像を確実に得るという観点からは、ヘッドマウントカメラが望ましいが、たとえば、携帯電話機に搭載されている静止画および動画の撮影用のカメラをヘッドマウントカメラの代わりに用いることも可能である。

なお、図示しないが、携帯電話機１１０には、メモリカードドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられていてもよい。

テキスト入力装置１００においてテキスト入力機能を実現する主要部は、ＣＰＵ１１０４等のハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは記憶媒体に格納されて流通し、記憶媒体から読取られてＲＯＭ１１０６に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ＲＯＭ１１０６にコピーされる。そうしてさらにＲＯＭ１１０６からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。

図１に示した携帯電話機のハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＲＯＭ１１０６等の記憶媒体に記憶されたソフトウェアである。

図２は、本発明に係るテキスト入力装置の使用状況を説明するための図である。

上述したとおり、ユーザ２の頭に装着されたヘッドセットにより支持されるヘッドマウントカメラ１０２が、口領域の画像を獲得するために用いられる。このことは、カメラ１０２が撮影した画像から、システム１００が頭を検出して追跡するという必要をなくすので、画像処理のタスクの複雑さを低減する。さらに、ユーザ２にとってみれば、携帯電話機１１０本体に実装されたカメラを使う場合に比べて、より動きやすくかつ快適であるという効果もある。

ヘッドマウントカメラ１０２は、一般的なマイクロフォン付きのヘッドセットにおいて、変形可能なアーム先端に装着されたマイクロフォンを、たとえば、ウェブカメラ等で置き換えたものである。この変形可能なアームは、ユーザに容易にカメラの位置を調整することを可能とする。また、ヘッドマウントカメラ１０２と携帯電話機１１０との間のデータの通信は、有線により行なってもよいが、無線により行なうことも可能である。

［ソフトウェア構成］
図３は、図１に示した携帯電話機１１０のＣＰＵ１１０４上で動作するソフトウェアの構成を説明するための機能ブロック図である。

ＣＰＵ１１０４上でテキスト入力のために動作するソフトウェアは、大きくは、口形状認識処理部１２００と、テキスト変換モジュール１３００とを含む。

図３を参照して、ヘッドマウントカメラ１０２から入力された画像信号は、口形状認識処理部１２００において、画像キャプチャ部１２０２により画像データ（画素ごとのデジタルデータ）として取り込まれ（キャプチャされ）た後、画像反転部１２０４において、垂直線に対して反転されて表示部１０８に表示される。このような反転処理により、ユーザ２によって、カメラの位置を直感的に調整することを可能にしている。なお、実際には、キャプチャされた画像データは、表示部１０８に対応する画像が表示されるとともに、ＲＡＭ１１０８の所定の領域に格納されて、その後の演算処理を受けることになる。

キャプチャされた画像データは、口領域抽出部１２０６において、画素（ピクセル）にそれぞれが対応している２値の数値アレイに変換され、この２値の数値アレイは、空いた口の部分（口腔に対応する部分）と他の部分とに分けられる。

空いた口の領域の面積は、口腔内の画素数を加算することによって計算される。このような空いた口の領域の面積は、出力正規化部１２０８により、テキスト入力を制御する信号とするために正規化され、テキスト変換モジュール１３００のようなアプリケーションプログラムに伝送される。

テキスト変換モジュール１３００は、口形状認識処理部１２００からの信号と、入力キーパッド１０４からの信号を受けて、対応する文字に変換する。

［口腔の色分割の処理］
以下では、図３に示した口領域抽出部１２０６の動作についてさらに説明する。

たとえば、顔の動きを認識するためのアルゴリズムに対しては、既に重要な技術の報告がある。但し、本発明においては、口の形状を認識するということがその目的とする作業ではなく、口の形状に基づいて、滑らかで再現性があり、かつユーザ２にとって直感的な操作を可能とするパラメータの抽出を可能とする処理を実現することにある。

口領域抽出部１２０６は、以下に説明するような、色に基づいた分割アルゴリズムを用いることで、画像中の口腔の領域（空いた口の領域）を抽出する。

はじめに、口腔の画素を検出するのに適切な入力画像の情報の表現として、各画素について、赤色成分および輝度Ｉ（Ｉ＝Ｒ＋Ｇ＋Ｂ；Ｒ：赤色信号，Ｇ：緑色信号，Ｂ：青色信号）とを決定する。輝度は、口腔が通常の照明条件においては影のように見えることから有益な情報を与える。口の内側は、また、相対的に高い赤色成分によって特徴付けられる。

口領域抽出部１２０６では、たとえば、口腔は、以下の条件を満たすものとして分割される。

Ｉ＜Ｉ_max， Ｒ＞Ｒ_min
ここで、値Ｉ_maxおよびＲ_minは、輝度Ｉと赤色信号成分Ｒのしきい値である。

なお、輝度と赤色成分のしきい値は、手動で調整することが可能である。また、適応的にこのようなしきい値を変更することが可能なソフトウェアを実装することもできる。さらに、画像処理は、開いた口に対応する抽出された領域を選択し、画像の変動および陰によって生じるノイズの除去を行なう。開いた状態の口の陰の領域は、領域抽出された部分の総ピクセル数として計算され、アスペクト比は、このような領域を囲む矩形の領域の高さと幅として計算される。このようなアルゴリズムは、ある照明環境下では、１秒間に３０フレームでロバストに動作する。

このような口腔領域の面積およびアスペクト比のパラメータの望ましい最大値および最小値は、キャリブレーションを行なうステップにおいてユーザにより入力される。

［文字入力システム］
このような口形状を用いた文字入力システムを用いると、入力されたＭ個の口の状態と押されたＫ個のキーの状態とに従って、シンボルが選択される。口によるｍ番目の入力状態とｋ番目のキーの状態とにより、トータルでＭ×Ｋ個のシンボルが、（ｍ，ｋ）の組合せとしてマッピングされる。

ローマ字のアルファベットあるいは日本語のひらがなを音節として入力するために使用するためのシステムが、以下で説明されるように実装されている。

［アルファベットのテキスト入力（英語の場合）］
アルファベットの入力システムでは、口の形状と文字のマッピングとは任意の組合せをとることができる。

たとえば、４つの口形状が、電話機のキーパッドにおける文字の順番をコードする。

図４は、このような口の形状と文字の順序との関係（図４（ａ））ならびに入力キーパッドのキー配置（図４（ｂ））を示す図である。

すなわち、キーパッドにおける各キーに対応した最初の文字（たとえば、ａ、ｄ、ｇ）が、それに対応したキーを押下することによって選択され、一方で、口は閉じた状態（１番目の状態）とされる。各キーの２番目の文字（たとえば、ｂ，ｅ，ｈ）は、やや開いた口の状態（２番目の状態）を用いることで選択される。

さらに、各キーの３番目の文字（たとえば、ｃ，ｆ，ｉ）は、開いた状態（３番目の状態）の口によって選択される。さらに、たとえば、“ｓ”または“ｚ”を入力するためには、唇はすぼまされた状態（４番目の状態）で、キーの“７”または“９”が押下される。

図５は、このような口形状を用いた入力システムによる文字“ｕ”の入力の概念を図示するものである。

数字キーの“８”を押下することで、入力マップにおいて文字の（ｔ，ｕ，ｖ）が選択される。キーから指を離すことが、その瞬間における口の陰の部分（口腔領域）の面積および口腔領域のアスペクト比に対応し文字を選択することになる。入力される領域のマッピングは、図５の右下に選択的に示されている。すなわち、横軸に口腔の領域面積をとり、縦軸にアスペクト比をとった場合に、各々、文字の（ｔ，ｕ，ｖ）に対応する領域がマッピングされており、このようなマッピングデータが予めＲＯＭ１１０６等にキャリブレーション処理を行なった結果として格納されている。他のキーについても同様のマッピングが可能である。

［音節のテキスト入力（日本語の場合）］
日本語は、周知のとおり、３つの文章システムを混合的に用いている。１つは、漢字であり、２つの類似の音節文字体系として「ひらがな」と「かたかな」とがある。このうち、ひらがなは、すべての３つの文字体系において、シンボルの入力のために用いることができる。

図６は、基本的なひらがなの音節文字体系（図６（ａ））と、入力キーパッドのキー配置（図６（ｂ））を示す図である。

日本語の音節の構造は、非常に簡単なものであって、ほとんど大多数の音節はＣＶという形態をとる（ここで、Ｃは、子音であり、Ｖは母音である）。さらに、母音は５つが存在するのみである（ａ，ｉ，ｕ，ｅ，ｏ）。

キーボードからの入力の場合でも、「かな」の子音および母音を入力するために、ローマ字のアルファベットが用いられることが多い。たとえば、ひらがなの“ｒａ”を入力するためには、“ｒ”およびその後に“ａ”が押下される。かなは、選択メニューによって、漢字に変換され、さらに、入力を支援するために、しばしば予測アルゴリズムが使用される。

携帯電話機においては、かなは、従来は「マルチタップ」を用いることで直接に入力される。すなわち、ここで、「マルチタップ」とは、５０音配列の各行に対応するキーについて、５つの可能な母音にわたって、キーを繰返し巡回的に押下することを意味している。

ところで、図６（ａ）に示すような日本語の音節文字体系の構造は、音声学的に（音声どおりに）動かされる口形状を用いた文字入力システムの入力スキームを可能とするものである。

すなわち、本発明のテキスト入力装置１００では、日本語のテキスト入力モードにおいては、口の領域とひらがなの母音のカテゴリのアスペクト比のマッピングは、５つの母音の発音する際の口の形状に基づいている。

図７は、ひらがなの母音を普通に発音する際の口腔領域とアスペクト比のマッピングを半定量的に示す図である。

図７において、２つの入力パラメータの境界の簡単な区分けは、それぞれ、図６（ａ）の列（母音方向）の区分の条件を満たす。そこで、本発明では、ひらがなの母音を普通に発音する際の口形状を、図６（ａ）の５０音表の母音方向の区分を示す入力として使用する。

図８は、ユーザが、ひらがなの「さ（ｓａ）」を入力する場合を示す概念図である。ユーザが口形状をあたかも母音の“ａ”を発音するような形状とし、一方で、数字キーパッド上の“３”キーを押す。キーを放す時点で、「さ（ｓａ）」が入力される。

さらに、同一のキーを押下した状態で、口の形状を“ｅ”母音の形状とすることで「せ（ｓｅ）」が選択される。また、同一の口形状において、“７”キーを押下することで、「め（ｍｅ）」が選択される。

ひらがなを完全にコードするためにはさらにいくつかのキーが必要となる。有声音のｇｅや撥音のｐａというような子音を発音上で区別するマークをコードするものが必要である。さらには、かなの音節体系の下の方に存在している「“っ”や“ゃ”」などに用いるキーが必要である。必要に応じて、携帯電話機のキーのうち、数字キー以外のキーをこのようなコードのためのキーに割り当てることができる。

漢字への変換は、従来と同様の変換方法を追加することで、このような機能を持たせることも可能である。

（比較結果）
以下では、一例としてマルチタップを用いた日本語の文字入力と、口形状を用いた文字入力システムとの比較結果について説明する。

それぞれマルチタップ（MultiTap）と本発明の入力方法（マウスタイプ（MouthType）と呼ぶ）を用いた場合において、各ブロックごとに８つのフレーズを持った２つのブロックの総計１０セッションについて実験を行なった。入力方法を、ブロックごとに変更している。

このテストでは、正確な文字入力が、要求されるテストとなっている。すなわち、ユーザは、入力ミスがあると、ビープ音により警告が発せられ、そのような誤記を削除することが要求される。入力を続けるためには、正しい文字の入力を行なわなければならない。マルチタップを用いた場合の冗長なキー押下についてはエラーとしてはカウントされていない。キー押下およびキーの解放はタイムスタンプとともにログがとられた。

（日本語の文章入力）
一人の被験者により実験を行なった。この被験者は、マルチタップと予測入力アルゴリズムを用いて、携帯電話によって文字入力を行なうという経験を有している。そして、５ないし１５の日本語のメッセージを１週間当たりに送信している。各１７個のかなのフレーズが、８０個の俳句の組から選択された。全体としての誤り率はマウスタイプに対しては８．７％であり、マルチタップに対しては１．２％である。

図９は、本発明のマウスタイプを用いた場合の母音ごとの誤り率を示す図である。図９に示すように、入力間でより内側（深い側）に存在する母音の方がより高い誤り率を記録している。しかし、誤り率は、このテストでも、１２．９％以下に抑えられている。

図１０は、キー入力速度の改善の様子をマルチタップとマウスタイプとを比較して示す図である。

すべてのセッションにおいて、マウスタイプの方がマルチタップよりも十分に速いスピードを達成している。

マウスタイプの使用を学習するということは、以下の２つの技能を獲得することを含んでいる。（ａ）口を、文字または母音を明瞭とするような形状とし、（ｂ）手動および口の動作を協調させることが必要である。どちらの技能も、熟練することには特に困難を要するものではない。さらに、マウスタイプは、マルチタップよりも英語入力および日本語入力のどちらにおいてもより速い入力を可能とするものである。特に、（ａ）の機能に関して言えば、日本人の話者に対しては、ほとんど新たな内容を学習する必要がない。なぜならば、このような口形状は、音声学的な発声にそのまま基づいたマッピングに対応しているからである。

以上のようなテキスト入力装置により、携帯機器に多く見られる小さなキーボードを用いた場合であっても１つのキーストロークでテキスト入力が可能になる。

さらに、このようなテキスト入力方法を行なうことにより、音節文字体系を有したシンボルのアルファベットによる入力に対して、不自然な要求を行なうことなく音節入力が可能なシステムを提供することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明のテキスト入力装置１００の構成を示す概略ブロック図である。 本発明に係るテキスト入力装置の使用状況を説明するための図である。 図１に示した携帯電話機１１０のＣＰＵ１１０４上で動作するソフトウェアの構成を説明するための機能ブロック図である。 口の形状と文字の順序との関係ならびに入力キーパッドのキー配置を示す図である。 口形状を用いた入力システムによる文字“ｕ”の入力の概念を図示するものである。 基本的なひらがなの音節文字体系と、入力キーパッドのキー配置を示す図である。 ひらがなの母音を普通に発音する際の口腔領域とアスペクト比のマッピングを半定量的に示す図である。 ユーザが、ひらがなの「さ（ｓａ）」を入力する場合を示す概念図である。 本発明のマウスタイプを用いた場合の母音ごとの誤り率を示す図である。 キー入力速度の改善の様子をマルチタップとマウスタイプとを比較して示す図である。

符号の説明

２ ユーザ、１００ テキスト入力装置、１０２ ヘッドマウントカメラ、１０４ 入力キーパッド、１０８ ディスプレイ、１１０ 携帯電話機、１１０２ インタフェース部、１１０４ ＣＰＵ、１１０６ ＲＯＭ、１１０８ ＲＡＭ。

Claims (3)

1. ユーザの口領域を含む対象画像領域内の画像を撮影する撮影手段と、
   前記対象画像領域内において、口形状を検出する検出手段と、
   前記口形状の複数のパターンをマッピングしたマッピング情報を予め格納するための記憶手段とを備え、
   前記マッピング情報は、口腔面積と口腔のアスペクト比によりマッピングされており、
   各々が複数の入力文字候補に対応する複数のキーを有し、ユーザからの入力を受けるキー入力手段と、
   前記マッピング情報に基づいて、前記検出された口形状と指示されたキーとの組合せに応じて、対応する前記複数の入力文字候補のうち、選択された文字データを生成するためのテキスト変換手段と、
   前記選択された文字データに対応する文字を表示する表示手段とをさらに備える、テキスト入力装置。
2. 前記複数のキーの各々は、複数のアルファベットに対応しており、
   前記テキスト変換手段は、前記口形状の前記パターンに応じて、指示された前記キーに対応する前記複数のアルファベットのうちの１つを選択する、請求項１記載のテキスト入力装置。
3. 前記複数のキーは、日本語のかなの５０音表の異なる子音に行にそれぞれ対応しており、
   前記マッピング情報は、日本語の母音の発音時の口形状に基づいてマッピングされており、
   前記テキスト変換手段は、前記口形状の前記パターンに応じて、指示された前記キーに対応するかなのうち、前記母音の口形状に対応する１つを選択する、請求項１記載のテキスト入力装置。