JP2019139584A - 文章入力装置、プログラム - Google Patents

Abstract

【課題】口唇の認識率が低下した場合であっても、スムーズに文章の入力を受け付けることのできる文章入力装置、およびそのプログラムを提供する。【解決手段】読唇による発話内容の検出手段と、読唇以外の手段による発話内容の検出手段を備える。通常時は読唇により発話内容を推定させ、口唇の認識率が一定以下に低下した場合は、読唇以外の手段による発話内容の検出に自装置の動作モードを切り替える。読唇以外の手段とは、たとえば、音声入力、文字入力などである。【選択図】図４

Description

本発明は、複数の手法で文章を入力することのできる文章入力装置、およびプログラムに関する。

通話等を行う場合に発話内容を入力する方法の一つとして、機械読唇技術による文章入力がある。カメラから口唇周辺部の画像を取得し、口唇画像を解析して会話内容を推定するものであり、実際に発声を行わなくとも、口唇部の動きのみで文章の入力を行うことができる。この方法によれば、ユーザの周囲がうるさくて音声認識が困難な場合や、発話障害者が通話を行う場合でも容易に発話内容を入力することができる。この読唇技術を用いる文章入力方法については、たとえば、以下のようなものがある。

下記引用文献１には、読唇技術で口唇画像から抽出した発話内容を音声に変換し、通信部で伝える方法が開示されている。この方法では、発話内容がＳＯＳなどの任意の意味を持つ場合、その発話に対応した別の宛先への通信に切り替えている。

引用文献２には、マイク入力音声が閾値より大きい場合、すなわち周囲がうるさくて音声による通話が困難な場合に、読唇通話モードを選択させる方法が開示されている。

特開２０１５−１１５９２６号公報 特開２０１５−２２０６８４号公報

しかし、機械読唇技術による通話中に時間経過等により周辺の明るさが変化した場合、特に夕方など暗くなる場合は、明度不足で画像が暗くなり通話途中に口唇画像の認識ができなくなり、再認識処理を繰り返すか、認識エラーを発生させてしまう。

引用文献１、２では、前述したような口唇の認識率の低下という問題に対応するものではない。

本発明は、上記の問題を解決しようとするものであり、口唇の認識率が低下した場合であっても、スムーズに文章の入力を受け付けることのできる文章入力装置、およびそのプログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］カメラ部と、
前記カメラ部が撮影して得た画像からユーザの口唇を検出する口唇検出部と、
前記口唇検出部が検出した口唇の形状から前記ユーザの発話内容を推定し文章化する読唇部と、
前記読唇部と異なる方法で文章の入力を受け付ける第２入力部と、
前記口唇検出部による前記口唇の検出が可能か否かを判断する判断部と、
前記口唇の検出が不可能であると前記判断部が判断した場合に、前記読唇部が文章化した文章の入力を受ける読唇モードから、前記第２入力部により文章の入力を受ける第２入力モードに自装置の動作モードを切り替える制御部と、
を備える
ことを特徴とする文章入力装置。

上記発明では、カメラ部が撮影して得た画像内の口唇の形状を解析することで、読唇による文章の入力を受ける。また、読唇が困難になった場合は、読唇と異なる方法で文章の入力を受けるように自装置の動作モードを切り替える。これにより、入力途中で読唇が困難になった場合でも、スムーズに文章の入力を受け付けることができる。

［２］前記口唇周辺の明度を取得する取得する明度取得部を更に備え、
前記判断部は、前記明度取得部が取得した明度の値が、所定の範囲外である場合は、前記口唇の検出が不可能であると判断する
ことを特徴とする［１］に記載の文章入力装置。

［３］前記明度取得部は、前記カメラ部が撮影して得た画像から前記明度を取得する
ことを特徴とする［２］に記載の文章入力装置。

［４］前記判断部が、前記口唇検出部による前記口唇の検出が不可能になったと判断した場合に、ユーザにその旨を報知する報知部をさらに備える
ことを特徴とする［１］乃至［３］のいずれか一つに記載の文章入力装置。

［５］前記口唇検出部は、前記口唇が前記カメラ部の撮影可能範囲から外れたことを検出し、
前記口唇が前記カメラ部の撮影可能範囲から外れたことを前記口唇検出部が検出した時に、前記撮影可能範囲内に前記口唇を戻すようユーザに指示する指示部をさらに備える
ことを特徴とする［１］乃至［４］のいずれか一つに記載の文章入力装置。

［６］前記指示部は、前記明度取得部が取得した明度の値が所定の範囲外である場合は、前記指示を行わない
ことを特徴とする［２］、［３］、または［２］、［３］を引用する［４］のいずれか一つを引用する［５］に記載の文章入力装置。

［７］前記明度取得部が取得した明度の値が一定値未満の場合に、前記口唇を照らす照明部を更に備える
ことを特徴とする［２］、［３］、［６］または［２］、［３］のいずれか一つを引用する［４］、［５］のいずれか一つに記載の文章入力装置。

［８］ユーザの発話中に前記読唇モードから前記第２入力モードへの切り替えが行われた場合に途切れることなく文章の入力を受け付ける
ことを特徴とする［１］乃至［７］のいずれか一つに記載の文章入力装置。

上記発明では、読唇モードから第２入力モードへの切り替え時に、文章入力の受け付けを中断することなく継続する。

［９］操作部と表示部を更に備え、
前記制御部は、動作モードを選択するよう前記表示部に表示させるとともに前記操作部で該選択を受け、その選択された動作モードに自装置の動作モードを切り替える
ことを特徴とする［１］乃至［７］のいずれか一つに記載の文章入力装置。

［１０］前記第２入力部は、文字入力によって文章の入力を受け付ける
ことを特徴とする［１］乃至［９］のいずれか一つに記載の文章入力装置。

［１１］前記第２入力部は、音声認識によって文章の入力を受け付ける
ことを特徴とする［１］乃至［１０］のいずれか一つに記載の文章入力装置。

上記発明では、文章の入力方法が、読唇から音声認識に切り替わる。ユーザが発話中に該切り替えが行われた場合でも、ユーザがそのまま発話を継続すれば、文章入力も継続される。

［１２］カメラ部からユーザの口唇の画像を取得可能な情報処理装置を、［１］乃至［１１］のいずれか一つに記載の文章入力装置として動作させる
ことを特徴とするプログラム。

本発明に係る文章入力装置およびプログラムによれば、口唇の認識率の低下等により読唇による文章入力が困難になった場合でも、スムーズに文章入力を継続することができる。

本発明の実施の形態に係る携帯端末と該携帯端末を使用するユーザを示す図である。 本発明に係る文章入力装置としての携帯端末の概略構成を示すブロック図である。 携帯端末が本発明の文章入力装置として動作する場合の処理の概略を示す流れ図である。 カメラ部が撮影して得られる画像を、４パターンに大別して示す図である。 携帯端末が行う処理の詳細を示す流れ図である。 図５の処理の続きを示す流れ図である。 図６の処理の続きを示す流れ図である。 切り替え処理Ａを示す流れ図である。 切り替え処理Ｂを示す流れ図である。 切り替え処理Ｃを示す流れ図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る文章入力装置としての機能を果たす携帯端末５０とユーザを示す図である。

携帯端末５０は、持ち運びが可能な携帯電話やスマートフォンなどの端末であり、ＬＡＮ（Local Area Network）などのネットワークに接続し、他の端末と文章のやり取りを行うことができる。

本発明の実施の形態では、携帯端末５０は以下に説明する複数の方法での文章入力が可能となっている。
（方法１、読唇による文章入力）
カメラ部６０が発話中のユーザを撮影して得た画像から、ユーザの口唇の形状に基づいて、発話内容を推定し文章化（読唇）する。この方法で文章入力を受ける携帯端末５０の動作モードを読唇モードとする。
（方法２、音声入力）
後述するマイク６２（図２参照）が、収音した音の中からユーザの音声を認識し、文章化する。この方法で文章入力を受ける携帯端末５０の動作モードを音声入力モードとする。
（方法３、テキスト入力）
後述する操作部５６（図２参照）が、ユーザの操作によるテキスト入力を受け付ける。本発明の実施の形態では、表示部５７（図２参照）の表示画面にキーボードやテンキーなどの操作ボタンを表示し、該操作ボタンに対する操作により文章入力を受けるものとする。この方法で文章入力を受ける携帯端末５０の動作モードをテキスト入力モードとする。

携帯端末５０は、読唇モードでの文章入力が困難になった場合、すなわち口唇の撮影が困難になった場合に、自装置の動作モード（入力モード）を他のモードに切り替える。たとえば、読唇モードで動作中に時間経過によって周囲が暗くなり、カメラ部６０が撮影する画像中の口唇の検出が困難になった場合に、文字入力モードなどの他の入力モードに切り替える。このように、読唇モードで文章入力の最中に、読唇による文章入力が困難になった場合であっても、ユーザはスムーズに文章入力を継続することができる。

図２は、携帯端末５０の概略構成を示すブロック図である。携帯端末５０は、当該携帯端末５０の動作を統括的に制御するＣＰＵ（Central Processing Unit）５１を有する。ＣＰＵ５１にはバスを通じてＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３、不揮発メモリ５４、ハードディスク装置５５、操作部５６、表示部５７、ネットワーク通信部５８、カメラ部６０、マイク６２が接続されている。

ＣＰＵ５１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ５２およびハードディスク装置５５には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ５１が各種処理を実行することで携帯端末５０の各機能が実現される。

ＲＡＭ５３は、ＣＰＵ５１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ５４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置５５は、大容量不揮発の記憶装置であり、画像データなどのほか各種のプログラムやデータが記憶される。

操作部５６は、スタートボタンなどのスイッチ部とタッチパネル部とを備えている。表示部５７は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。表示部５７が表示する表示内容の制御、操作部５６による操作の受け付けに関する制御はＣＰＵ５１が行う。前述したタッチパネル部は、表示部５７上に設けられている。タッチパネル部は、タッチペンや指などで押下された表示部上のタッチ位置（座標位置）や、フリック操作やドラッグ操作等を検出する。また、ＣＰＵ５１は、継続的に検出されるタッチ位置の変化（操作情報）から、ユーザによる手書き入力等も認識可能とする。

ネットワーク通信部５８は、ネットワークを通じて他の外部装置と通信する機能を果たす。

カメラ部６０は、表示部５７のディスプレイの上部に設けられており、該ディスプレイを視認中のユーザの顔を撮影する。また、本発明の実施の形態のカメラ部６０はライト６１を備えており、カメラ部６０の撮影可能範囲を照射する。

マイク６２は、ユーザが発声した内容を収音する役割を果たす。本発明の実施の形態では、収音した内容をＣＰＵ５１が文章化する。

さらに、本発明の実施の形態では、ＣＰＵ５１は、カメラ部６０が撮影して得た画像からユーザの口唇を検出する口唇検出部７０と、該口唇検出部７０が検出した口唇の形状から、ユーザの発話内容を推定し文章化する読唇部７１と、カメラ部６０が撮影して得た画像からユーザの口唇周辺の明度を取得する明度取得部７２と、口唇検出部７０による口唇の検出が可能か否かを判断する判断部７３としての役割を果たす。

図３は、本発明の文章入力装置として携帯端末５０が行う動作の概略フローを示す。まず、自端末の動作モードを読唇入力モードの状態で処理を開始する。カメラ部６０が撮影して得た画像から、口唇を検出可能か否かを調べる（ステップＳ１０１）。口唇を検出可能であれば（ステップＳ１０１；Ｙｅｓ）、本処理を終了する。

口唇を検出不可能である場合（ステップＳ１０１；Ｎｏ）、画像の明度が所定の範囲内に収まっているか否かを調べる（ステップＳ１０２）。所定の範囲は、明るすぎず、暗すぎない、口唇の検出が確実に可能な範囲とする。

明度が所定の範囲内であれば（ステップＳ１０２；Ｙｅｓ）、口唇の検出が不可である警告と（ステップＳ１０３）、カメラ部６０の撮影可能範囲内に口唇が収まるよう自端末の方向を修正する指示を（ステップＳ１０４）表示部５７に表示し、ステップＳ１０１に戻って本処理を継続する。

明度が所定の範囲外であれば（ステップＳ１０２；Ｎｏ）、音声入力モードやテキスト入力モードに自端末の動作モードを切り替えて（ステップＳ１０５）、本処理を終了する。

図３の処理では、カメラ部６０が撮影した画像から口唇が外れた場合に、明度レベルが所定範囲内であれば、口唇の検出が不可能である旨を警告し、撮影範囲に口唇が収まるよう自端末の方向の修正指示を出すが、明度レベルが所定範囲外であれば、前述の警告および指示は行わず、音声入力モードもしくはテキスト入力モードに切り替えるようにしている。

なお、図３は、携帯端末５０の動作の概略フローであり、音声入力モードとテキスト入力モードのいずれに切り替えるかを決定する処理を含めた全体の処理フローについては後述する。

図４は、カメラ部６０がユーザを撮影した場合に得られる画像を、４種類（Ａ〜Ｄ）に大別して示す。
（Ａ）の画像は、ユーザの顔全体が写っている。明度は所定の範囲内に収まっている。
（Ｂ）の画像は、ユーザの顔の半分が撮影範囲からはみ出している（口唇の検出は不可能）。明度は所定の範囲内に収まっている。
（Ｃ）の画像は、ユーザの顔全体が写っている。明るすぎて口唇部分は逆光の状態となっている（明度が所定の範囲外）。
（Ｄ）の画像は、ユーザの顔全体が写っている。暗すぎて画像全体が暗くなっている（明度が所定の範囲外）。

携帯端末５０は、カメラ部６０が取得した画像が（Ａ）〜（Ｄ）のいずれの状態であるかを判断し、その判断結果に対応した動作を行う。

たとえば、（Ａ）の場合は、読唇が可能なので読唇モードで動作する。（Ｂ）の場合は、カメラ部６０の撮影可能範囲にユーザの口唇が収まるように、自端末の方向を修正する指示を表示する。

（Ｃ）や（Ｄ）の場合は、音声入力モード、もしくはテキスト入力モードへの切り替えを行う。このように各状態に対応するよう自装置の動作モードを切り替えることで、ユーザが快適に文章入力を続けられるようにする。なお、（Ｄ）の場合は、ライト６１により、ユーザの口唇周辺を照らして読唇を試みるようにしてもよい。

本発明の実施の形態にて、携帯端末５０がユーザに警告、報知、指示等を行う場合は、表示部５７に表示する方法を採用するものとするが、他の方法で警告、報知、指示等を行ってもよい。たとえば、音声によって警告、報知、指示等を行うようにしてもよい。

図５〜図７は、携帯端末５０が実際に動作する場合に行う処理のフローを示す。まず、図５のステップＳ２０１にて、携帯端末５０は自装置の入力モードが音声入力モードであるか否かを調べる。

音声入力モードでない場合は（ステップＳ２０１；Ｎｏ）、図６のステップＳ２０５に進む。音声入力モードである場合は（ステップＳ２０１；Ｙｅｓ）、ユーザの周囲（外部）の音量レベルを調べる。ここでは、２つの所定値（第１所定値＜第２所定値）を使用して、外部の音量レベルが音声入力モードに適した値か否かを判断する。

ユーザの周囲が静かな場合、すなわち外部音量レベルが第１の所定値未満である場合は（ステップＳ２０２；Ｙｅｓ）、入力モード切替処理Ａを行い（ステップＳ２０４）、図６のステップＳ２０５に進む。

外部音量レベルが第１所定値以上であってかつ第２所定値未満である場合は（ステップＳ２０２；Ｎｏ、ステップＳ２０３；Ｎｏ）、図６のステップＳ２０５に進む。

ユーザの周囲がうるさい場合、すなわち外部音量レベルが第２所定値以上である場合は（ステップＳ２０２；Ｎｏ、ステップＳ２０３；Ｙｅｓ）、入力モード切替処理Ａを行い（ステップＳ２０４）、図６のステップＳ２０５に進む。

図６のステップＳ２０５では、自端末の入力モードが読唇モードであるか否かを調べる。読唇モードでない場合は（ステップＳ２０５；Ｎｏ）、図７のステップＳ２１０に進む。読唇モードである場合は（ステップＳ２０５；Ｙｅｓ）、カメラ部６０が撮影して得た画像の明度を調べる（ステップＳ２０６）。

明度レベルが所定の範囲外の場合は（ステップＳ２０６；Ｙｅｓ）、入力モード切替処理Ｂを行い（ステップＳ２０９）、図７のステップＳ２１０に進む。明度レベルが所定の範囲内である場合は（ステップＳ２０６；Ｎｏ）、画像から口唇が検出されているかを調べる（ステップＳ２０７）。

口唇が検出されていれば（ステップＳ２０７；Ｙｅｓ）、図７のステップＳ２１０に進む。口唇が検出されていなければ（ステップＳ２０７；Ｎｏ）、口唇の検出ができていないと表示部５７で警告表示を行い（ステップＳ２０８）、図７のステップＳ２１０に進む。

図７のステップＳ２１０では、自端末の入力モードがテキスト入力モード（図中では文字入力と記す）であるか否かを調べる（ステップＳ２１０）。テキスト入力モードでない場合は（ステップＳ２１０；Ｎｏ）、ステップＳ２１５に進む。テキスト入力モードである場合は（ステップＳ２１０；Ｙｅｓ）、カメラ部６０が撮影して得た画像の明度を調べる（ステップＳ２１１）。

明度レベルが所定の範囲外の場合は（ステップＳ２１１；Ｙｅｓ）、入力モード切替処理Ｃを行い（ステップＳ２１４）、ステップＳ２１５に進む。明度レベルが所定の範囲内である場合は（ステップＳ２１１；Ｎｏ）、画像から口唇が検出されているかを調べる（ステップＳ２１２）。

口唇が検出されていれば（ステップＳ２１２；Ｙｅｓ）、入力モードを読唇モードに変更して（ステップＳ２１３）ステップＳ２１５に進む。口唇が検出されていなければ（ステップＳ２１２；Ｎｏ）、ステップＳ２１５に進む。

ステップＳ２１５では、口唇が検出されているか否かを調べる。口唇が検出されていなければ（ステップＳ２１５；Ｎｏ）、本処理を終了する。口唇が検出されている場合は（ステップＳ２１５；Ｙｅｓ）、入力モードを変更することを報知し（ステップＳ２１６）、入力モードの初期設定を読唇モードに設定し（ステップＳ２１７）、本処理を終了する。

図８は、入力モード切替処理Ａにおける処理のフローを示す。まず、入力モードを変更することを報知したら（ステップＳ３０１）、カメラ部６０が撮影した画像から口唇を検出しているか否かを調べる（ステップＳ３０２）。

口唇を検出している場合は（ステップＳ３０２；Ｙｅｓ）、入力モードを読唇モードに変更し（ステップＳ３０７）、本処理を終了する。

口唇を検出していない場合は（ステップＳ３０２；Ｎｏ）、明度レベルを調べる（ステップＳ３０３）。明度レベルが所定の範囲内であれば（ステップＳ３０３；Ｎｏ）、ステップＳ３０６に進む。

明度レベルが所定の範囲外であれば（ステップＳ３０３；Ｙｅｓ）、タッチパネルへのユーザの操作を検出したか否かを調べる（ステップＳ３０４）。タッチパネルへのユーザの操作を検出した場合は（ステップＳ３０４；Ｙｅｓ）、入力モードをテキスト入力モードに変更して（ステップＳ３０５）、本処理を終了する。

タッチパネルへのユーザの操作を検出しなければ（ステップＳ３０４；Ｎｏ）、本処理の開始から一定時間が経過するまでは（ステップＳ３０６；Ｎｏ）、ステップＳ３０２に戻って処理を継続する。本処理の開始から一定時間が経過していれば（ステップＳ３０６；Ｙｅｓ）、本処理を終了する。

図８では、読唇が不可能であり、タッチパネルへの操作が無い場合は音声入力モードを維持、読唇が不可能であり、タッチパネルへの操作があればテキスト入力モードに変更、読唇が可能であれば読唇モードに変更している。

図９は、入力モード切替処理Ｂにおける処理のフローを示す。まず、入力モードを変更することを報知したら（ステップＳ４０１）、ユーザの周囲（外部）の音量レベルを調べる。ここでは、図５と同じく２つの所定値（第１所定値＜第２所定値）を使用して、外部の音量レベルが音声入力モードに適した値か否かを判断する。

ユーザの周囲が静かな場合、すなわち外部音量レベルが第１の所定値未満である場合は（ステップＳ４０２；Ｙｅｓ）、入力モードをテキスト入力モードに変更して（ステップＳ４０５）本処理を終了する。ユーザの周囲がうるさい場合、すなわち外部音量レベルが第２の所定値以上である場合も（ステップＳ４０２；Ｎｏ、ステップＳ４０３；Ｙｅｓ）入力モードをテキスト入力モードに変更して（ステップＳ４０５）本処理を終了する。

そして、外部音量レベルが第１の所定値以上であってかつ第２の所定値未満である場合は（ステップＳ４０２；Ｎｏ、ステップＳ４０３；Ｎｏ）、入力モードを音声入力モードに変更して（ステップＳ４０４）本処理を終了する。

図１０は、入力モード切替処理Ｃにおける処理のフローを示す。ユーザの周囲（外部）の音量レベルを調べる。ここでは、図５と同じく２つの所定値（第１所定値＜第２所定値）を使用して、外部の音量レベルが音声入力モードに適した値か否かを判断する。

ユーザの周囲が静かな場合、すなわち外部音量レベルが第１の所定値未満である場合は（ステップＳ５０１；Ｙｅｓ）、入力モードを変更することを報知し（ステップＳ５０４）、入力モードをテキスト入力モードに変更して（ステップＳ５０５）本処理を終了する。

ユーザの周囲がうるさい場合、すなわち外部音量レベルが第２の所定値以上である場合も（ステップＳ５０１；Ｎｏ、ステップＳ５０２；Ｙｅｓ）入力モードを変更することを報知し（ステップＳ５０４）、入力モードをテキスト入力モードに変更して（ステップＳ５０５）本処理を終了する。

外部音量レベルが第１の所定値以上であってかつ第２の所定値未満である場合は（ステップＳ５０１；Ｎｏ、ステップＳ５０２；Ｎｏ）、入力モードを音声入力モードに変更して（ステップＳ５０３）本処理を終了する。

図９、図１０では、読唇が不可能な場合に、周囲の音声レベルが一定の範囲内に収まっていれば音声入力モードに、収まっていなければテキスト入力モードに変更している。

このように携帯端末５０では、読唇モードによる文字入力が不可能になった場合に、周囲の音量レベルによって音声入力モードかテキスト入力モードのいずれかに、自端末の動作（入力）モードを切り替える。

たとえば、入力モードの切り替え時に一時的に文章入力受付を中断するような仕様の装置の場合、該中断によって発話内容の入力が無効となった場合はその内容の再入力が必要となる。読唇モードから音声入力モードへの切り替えが自動的に行われる場合は、途切れることなく文章入力を受け付けることができるので、そのような手間を省くことができる。

本発明の実施の形態では、入力モードの切り替えを自動で行うものとしていたが、読唇での文章入力が困難になった場合に入力モードの選択画面を表示部５７に表示して入力モードの選択を受け、その受け付けた入力モードに切り替えるようにしてもよい。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

本発明の実施の形態では、携帯端末５０が本発明の文章入力装置としての役割を果たしたが、文章入力装置はこれに限らない。たとえば、カメラ部６０や明度取得部７２等を別体に設けたシステムなどを本発明の文章入力装置としてもよい。また、カメラ部６０から画像を取得可能な情報処理装置を、実施の形態での携帯端末５０のように動作させるプログラムも本発明とする。

本発明の実施の形態では、読唇以外の第２の文章入力方法として、音声認識による入力方法と、テキスト入力による入力方法が挙げられていたが、第２の文章入力方法はこれに限らない。たとえば、手書き入力や、視線検出、外部機器による入力などであってもよい。

本発明の実施の形態では、カメラ部６０が撮影して得た画像を解析して明度を取得していたが、明度の取得手段はこれに限らない。センサ等を設けて検出するようにしてもよい。

本発明の実施の形態では、明度が所定範囲内で、画像から口唇が検出できない（口唇が撮影範囲から外れた）場合に、自端末の方向を修正するようユーザに指示していたが、口唇を撮影範囲内に戻すよう指示してもよい。

５０…携帯端末
５１…ＣＰＵ
５２…ＲＯＭ
５３…ＲＡＭ
５４…不揮発メモリ
５５…ハードディスク装置
５６…操作部
５７…表示部
５８…ネットワーク通信部
６０…カメラ部
６１…ライト
６２…マイク
７０…口唇検出部
７１…読唇部
７２…明度取得部
７３…判断部

Claims (12)

1. カメラ部と、
   前記カメラ部が撮影して得た画像からユーザの口唇を検出する口唇検出部と、
   前記口唇検出部が検出した口唇の形状から前記ユーザの発話内容を推定し文章化する読唇部と、
   前記読唇部と異なる方法で文章の入力を受け付ける第２入力部と、
   前記口唇検出部による前記口唇の検出が可能か否かを判断する判断部と、
   前記口唇の検出が不可能であると前記判断部が判断した場合に、前記読唇部が文章化した文章の入力を受ける読唇モードから、前記第２入力部により文章の入力を受ける第２入力モードに自装置の動作モードを切り替える制御部と、
   を備える
   ことを特徴とする文章入力装置。
2. 前記口唇周辺の明度を取得する取得する明度取得部を更に備え、
   前記判断部は、前記明度取得部が取得した明度の値が、所定の範囲外である場合は、前記口唇の検出が不可能であると判断する
   ことを特徴とする請求項１に記載の文章入力装置。
3. 前記明度取得部は、前記カメラ部が撮影して得た画像から前記明度を取得する
   ことを特徴とする請求項２に記載の文章入力装置。
4. 前記判断部が、前記口唇検出部による前記口唇の検出が不可能になったと判断した場合に、ユーザにその旨を報知する報知部をさらに備える
   ことを特徴とする請求項１乃至３のいずれか一つに記載の文章入力装置。
5. 前記口唇検出部は、前記口唇が前記カメラ部の撮影可能範囲から外れたことを検出し、
   前記口唇が前記カメラ部の撮影可能範囲から外れたことを前記口唇検出部が検出した時に、前記撮影可能範囲内に前記口唇を戻すようユーザに指示する指示部をさらに備える
   ことを特徴とする請求項１乃至４のいずれか一つに記載の文章入力装置。
6. 前記指示部は、前記明度取得部が取得した明度の値が所定の範囲外である場合は、前記指示を行わない
   ことを特徴とする請求項２、３または請求項２、３を引用する請求項４のいずれか一つを引用する請求項５に記載の文章入力装置。
7. 前記明度取得部が取得した明度の値が一定値未満の場合に、前記口唇を照らす照明部を更に備える
   ことを特徴とする請求項２、３、６または請求項２、３のいずれか一つを引用する請求項４、５のいずれか一つに記載の文章入力装置。
8. ユーザの発話中に前記読唇モードから前記第２入力モードへの切り替えが行われた場合に途切れることなく文章の入力を受け付ける
   ことを特徴とする請求項１乃至７のいずれか一つに記載の文章入力装置。
9. 操作部と表示部を更に備え、
   前記制御部は、動作モードを選択するよう前記表示部に表示させるとともに前記操作部で該選択を受け、その選択された動作モードに自装置の動作モードを切り替える
   ことを特徴とする請求項１乃至７のいずれか一つに記載の文章入力装置。
10. 前記第２入力部は、文字入力によって文章の入力を受け付ける
    ことを特徴とする請求項１乃至９のいずれか一つに記載の文章入力装置。
11. 前記第２入力部は、音声認識によって文章の入力を受け付ける
    ことを特徴とする請求項１乃至１０のいずれか一つに記載の文章入力装置。
12. カメラ部からユーザの口唇の画像を取得可能な情報処理装置を、請求項１乃至１１のいずれか一つに記載の文章入力装置として動作させる
    ことを特徴とするプログラム。