JP2004015250A

JP2004015250A - 携帯端末装置

Info

Publication number: JP2004015250A
Application number: JP2002163675A
Authority: JP
Inventors: Yuka Hayashi; 林　由加
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-06-05
Filing date: 2002-06-05
Publication date: 2004-01-15

Abstract

【課題】携帯電話機において、聴覚障害者同士の通話は勿論、聴覚障害者と健聴者との通話を可能とし、また繁雑なキー操作なく電子メールの送信電文を作成可能とする。
【解決手段】ビデオカメラ入部９からの画像を画像解析部８で解析し、それに対応した文字情報や音声情報に変換して表示部４やスピーカ６にて出力する。例えば、話者の唇の動きや形状から発された言葉を特定し、表示したりスピーカ出力したり、送信したりする。また、相手からの送信画像を解析して、文字情報や音声情報に変換して出力する機能を付加する。また、これ等変換出力を装置を制御するための制御データとして使用することもできる。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は携帯端末装置に関し、特にビデオカメラを有する携帯端末装置に関するものである。
【０００２】
【従来の技術】
最近の携帯電話機は多機能化が進んでおり、その機能の一つとして、ビデオカメラを搭載してこのビデオカメラにより得られる映像を相手先に送信することができるようになっている。従って、この機能を用いることにより、テレビ電話が可能となり、聴覚障害者でも、手話を使用すれば、通話をなすことができることになる。
【０００３】
【発明が解決しようとする課題】
しかしながら、手話を理解できる人は、視聴覚障害者以外では、非常に限られているので、手話を利用したテレビ電話機能による通話は、聴覚障害者同士にほぼ限られ、誰とでも通話ができないという問題がある。
【０００４】
また、携帯電話機を用いた電子メールも広く普及しており、電子メールを送信するユーザはそのメールの内容をキー操作することにより文字情報を一字づつ順次入力して作成する必要がある。この場合、携帯電話機は小型軽量化が進められているので、操作キーの種類が極めて限定されている。そのために、文字入力するには、一つのキーを何回も操作することが必要であり、極めて煩雑な操作がユーザに強いられており、よってキー操作なく、簡単に文字情報を生成することが要求されることになる。
【０００５】
本発明の目的は、聴覚障害者同士の通話は勿論のこと、聴覚障害者と健聴者との通話をも可能として、誰とでも通話できるようにした携帯端末装置を提供することである。
【０００６】
本発明の他の目的は、複雑なキー操作をなくして、極めて簡単に文字情報を生成することが可能な携帯端末装置を提供することである。
【０００７】
【課題を解決するための手段】
本発明による携帯端末装置は、ビデオカメラから得られる話者の唇の動きやその形状の映像を解析して文字情報及び（または）音声情報に変換する画像解析手段を含むことを特徴とする。
【０００８】
本発明による他の携帯端末装置は、ビデオカメラから得られる話者の手話映像を解析して文字情報及び（または）音声情報に変換する画像解析手段を含むことを特徴とする。
【０００９】
本発明による更に他の携帯端末装置は、ビデオカメラから得られる文字映像を解析して文字情報及び（または）音声情報に変換する画像解析手段を含むことを特徴とする。
【００１０】
更に、前記画像解析手段により得られた文字情報及び（または）音声情報をユーザに対して出力する出力手段を含むことを特徴とし、また前記画像解析手段により得られた文字情報及び（または）音声情報を送信する送信手段を含むことを特徴とする。
【００１１】
また、前記画像解析手段により得られた情報に基づき装置の制御をなすことを特徴とする。
【００１２】
更に、前記画像解析手段の活性制御をなす制御キーを含むことを特徴とし、前記制御キーは、既存の操作キーを兼用するよう構成されており、前記操作キーを予め定められた手順に従って操作することにより前記画像解析手段の活性制御をなすようにしたことを特徴とする。また、前記制御キーはライトペンのオンオフ操作で併用するようにしたことを特徴とする。
【００１３】
更に、前記画像解析手段は、外部から受信した受信映像を解析して文字情報及び（または）音声情報に変換する機能を有することを特徴とする。
【００１４】
本発明の作用を述べる。ビデオカメラからの画像を解析して文字及び（または）音声情報に変換して出力することができるようにする。例えば、話者の唇の動きや形状から、発された言葉を解析する（読唇）機能や、手話のパタン認識機能、手書き文字認識機能等を設け、ビデオカメラにより得られた画像が意味する言葉や文を文字情報や音声情報に変換して出力し、表示しまた送信するようにする。
【００１５】
また、これ等言葉を解析する機能や、手話のパタン認識機能、手書き文字認識機能で得られた文字情報や音声情報に基づいて、携帯端末装置の動作制御のための制御データを生成し、各種制御を行うようにすることもできる。更に、外部から受信した映像を解析して、文字情報や音声情報に変換するようにすることもできる。
【００１６】
【発明の実施の形態】
以下に、本発明の実施例について図面を用いて説明する。図１は本発明の第１の実施例の概略機能ブロック図である。図１において、本実施例による携帯電話機は、アンテナ１、無線回路２、制御回路３、表示部４、画像解析制御キー５、スピーカ６、マイク７、画像解析部８、カメラ（ビデオカメラ）入力部９を有する構成である。
【００１７】
ビデオカメラによるカメラ入力部９から入力される話者の映像は、画像解析部８において解析される、が画像解析制御キー５の押圧操作により画像解析部８での解析処理が活性制御されるようになっている。この画像解析部８は、話者の唇の動きや形状から、発された言葉を解析する機能（読唇機能）を有しており、その解析結果を文字情報や音声情報に変換して出力する機能を有する。
【００１８】
こうして変換された文字情報や音声情報は、表示部４に表示されたり、またスピーカ６により音声として出力される。この場合、文字の表示及び音声の出力は、両方行っても良いし、一方のみでも良いものである。また、変換された文字情報や音声情報に基づいて、制御回路３における制御データ（制御コマンド）に変換して、携帯電話機の各種動作制御を行うようにすることもできる。
【００１９】
図２は本発明の実施例の動作を示すフローチャートである。先ず、画像解析制御キー５の押圧操作に応答して（ステップＳ１）、画像解析部８は活性状態となってカメラ入力部９からの入力映像を解析し、言葉の特定を行う（ステップＳ２）。画像解析部８にて特定された言葉は、文字情報に変換され、制御回路３を介して表示部４へ出力され表示される。また、音声情報に変換され制御回路３を介してスピーカ６へ出力される。更に、制御回路３で使用される制御データとして出力される（ステップＳ３）。
【００２０】
画像解析制御キー５の押圧操作がなされると（ステップＳ４）、画像解析部８は不活性状態となり、初期状態に戻るが、押圧操作なければ、画像解析処理を続けることになる。なお、ステップＳ１にて、画像解析制御キーの押圧操作がなければ、通常状態に維持されることは勿論である（ステップＳ５）。
【００２１】
ステップＳ３において、制御データとして出力するには、画像解析部８からの出力情報が文字／音声情報であるのか、制御データであるのかを識別することが必要になる。そのために、現在映像解析部８にて解析されている映像が、制御データであることを示す識別用コードを、映像解析部８の出力に付加しておく様にする。この識別用コードの付加は、操作者（ユーザ）が予め定められた特定のキーを押圧する等の方法により、行うことができる。
【００２２】
本発明による第２の実施例について述べる。本実施例の構成は図１と同一であるが、画像解析部８の機能が、手話のパタン認識を行うものとなっている。すなわち、ビデオカメラによるカメラ入力部９から入力される話者の手話パタンの認識を行って、それに対応する文字情報や音声情報、更には制御データを生成するのである。
【００２３】
この実施例の動作も図２のフローと同一であるが、画像解析ステップＳ２で、手話パタン認識処理を行うようになっており、他の動作は先の第１の実施例と同じである。
【００２４】
本発明の第３の実施例について述べる。本実施例の構成は図１と同一であるが、画像解析部８の機能が文字認識を行うものとなっている。すなわち、ビデオカメラによるカメラ入力部９から入力される手書き文字パタンの認識を行って、それに対応する文字情報や音声情報、更には制御データを生成するのである。
【００２５】
この実施例の動作も図２のフローと同一であるが、画像解析ステップＳ２で、手書き文字認識処理を行うようになっており、他の動作は第１の実施例と同じである。
【００２６】
また、上記第１〜第３の各実施例において、唇の動きや形状、手話、手書き文字の画像解析を、特定話者（ユーザ）のみが可能な様に、登録すべきユーザの各パタンを予め登録しておくこともできる。
【００２７】
更に、上記第１〜第３の各実施例において、画像解析部８にて解析され、文字情報や音声情報に変換されたデータは、送信データとしても使用することができ、無線回路２を介して送信可能となる。更にはまた、相手から受信した映像情報を画像解析部８にて解析処理し、文字情報や音声情報に変換し、表示部４やスピーカ６へ出力することもできる。
【００２８】
こうすることにより、聴覚障害者同士のみならず、聴覚障害者と健聴者との通話が可能となる。また、無声で文字による通話が可能となるので、人が多く存在する場所での通話マナーが要求されるような所でも、通話ができ、他人に通話の内容が知られないので秘匿性も向上する。更にはまた、電子メール用の送信電文の作成時にも、煩雑なキー操作を必要とせず、簡単な操作で良いことになる。
【００２９】
図３は本発明の第４の実施例を示すブロック図であり、図１と同等部分は同一符号により示している。本例では、図１の画像解析制御キー５の代りに、キー入力部５のキー（既存のキー）を用いる構成である。例えば、携帯電話機のオンフック及び、オフフックのキーを画像解析８の活性制御用のキーに用いるようにしている。こうすることにより、キーの増設が必要なくなるという効果がある。
【００３０】
図４は本実施例の動作を示すフロー図であり、オンフックキー（ボタン）の押圧操作に応答して（ステップＳ１）、画像解析部８の解析処理が活性化されて開始される。オフフックキー（ボタン）の押圧操作に応答して（ステップＳ４）、当該解析処理が非活性化され終了することになる。他の動作は図２のそれと同じである。
【００３１】
画像解析制御キー５の代りに、既存のキー、例えばオンフック／オフフックキーを用いた場合を説明したが、それに限らず、他の既存のキー（複数でも単一でも良い）を、予め定められた手順に従って操作することで、画像解析制御キー５に代えても良いものである。
【００３２】
次に、図１に示した画像解析制御キーの代りに、手書き文字のためのライトペンを使用した場合について説明する。先の第３の実施例において、画像解析部８は手書き文字のパタン認識を行うものであったが、このとき、手書き文字をライトペンを使用して描画するものとする。すると、このライトペンのオン／オフにより、画像解析部８の活性制御を行うようにするのである。
【００３３】
図５はこの場合の動作フロー図である。ライトペンがオンのとき（ステップＳ１）、画像解析部８は活性化されてカメラ入力部９からの入力映像を解析し、手書き文字に従った文字情報や音声情報に変換する（ステップＳ３）。ライトペンがオフになると（ステップＳ４）、最初の状態に戻る。
【００３４】
上述した各実施例において、画像解析部８の構成及び処理は、従来の携帯電話機の制御回路３に含まれるＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を共用し、ＤＳＰで映像解析を行ったあとの結果をＣＰＵに渡して処理を行っても良いし、ＣＰＵのみでソフトウェア的に行っても良い。また、携帯電話機について述べたが、携帯型の情報処理端末についても同様に適用できることは明らかである。
【００３５】
【発明の効果】
以上述べた如く、本発明によれば、聴覚障害者同士の通話は勿論、聴覚障害者と健聴者との通話ができ、誰とでも通話が可能となるという効果がある。また電子メール用の通信電文の作成も、煩雑なキー操作を行う必要がなくなるという効果もある。更に、装置の動作制御様の制御データもキー操作なく生成できるので、操作の容易性やキーの削減が可能になるという効果がある。
【００３６】
更にはまた、通話中やデータ通信中にも、それを中断することなく、制御コマンドである制御データを生成する作業が行えると共に、音声の回路系統を用いる必要がないので、通話系の回路構成が簡略化できるという効果もある。
【図面の簡単な説明】
【図１】本発明の一実施例の概略ブロック図である。
【図２】図１の実施例の動作フロー図である。
【図３】本発明の他の実施例の概略ブロック図である。
【図４】図３の実施例の動作フロー図である。
【図５】本発明の更に他の実施例の動作フロー図である。
【符号の説明】
１　アンテナ
２　無線回路
３　制御回路
５　画像解析制御キー（キー入力部）
６　スピーカ
７　マイク
８　画像解析部
９　カメラ入力部

Claims

ビデオカメラを有する携帯端末装置であって、前記ビデオカメラから得られる話者の唇の動きやその形状の映像を解析して文字情報及び（または）音声情報に変換する画像解析手段を含むことを特徴とする携帯端末装置。
ビデオカメラを有する携帯端末装置であって、前記ビデオカメラから得られる話者の手話映像を解析して文字情報及び（または）音声情報に変換する画像解析手段を含むことを特徴とする携帯端末装置。
前記画像解析手段が解析する特定話者を予め登録するようにしたことを特徴とする請求項１または２記載の携帯端末装置。
ビデオカメラを有する携帯端末装置であって、前記ビデオカメラから得られる文字映像を解析して文字情報及び（または）音声情報に変換する画像解析手段を含むことを特徴とする携帯端末装置。
前記画像解析手段により得られた文字情報及び（または）音声情報をユーザに対して出力する出力手段を、更に含むことを特徴とする請求項１〜４いずれか記載の携帯端末装置。
前記画像解析手段により得られた文字情報及び（または）音声情報を送信する送信手段を、更に含むことを特徴とする請求項１〜５いずれか記載の携帯端末装置。
前記画像解析手段は、外部から受信した受信映像を解析して文字情報及び（または）音声情報に変換する機能を、更に有することを特徴とする請求項１〜６いずれか記載の携帯端末装置。
前記画像解析手段により得られた情報に基づき装置の制御をなすことを特徴とする請求項１〜７いずれか記載の携帯端末装置。
前記画像解析手段の活性制御をなす制御キーを、更に含むことを特徴とする請求項１〜８いずれか記載の携帯端末装置。
前記制御キーは、既存の操作キーを兼用するよう構成されており、前記操作キーを予め定められた手順に従って操作することにより前記画像解析手段の活性制御をなすようにしたことを特徴とする請求項９記載の携帯端末装置。
前記制御キーはライトペンのオンオフ操作で併用するようにしたことを特徴とする請求項９記載の携帯端末装置。
携帯電話機であることを特徴とする請求項１〜１１いずれか記載の携帯端末装置。