JP2008021058A - 翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体 - Google Patents

Abstract

【課題】マイクから入力される音声を文字変換した音声データにおける欠落部分や感情部分を補正して翻訳する翻訳機能付き携帯電話装置を提供する。
【解決手段】翻訳機能付き携帯電話装置を制御する制御部１０５として、ユーザの顔画像を撮影可能なカメラ部分１０１にて撮影したユーザの顔画像の目、眉、眉間、額、鼻、口唇のいずれか１ないし複数の各パーツ間の相対位置とその変化量を画像解析部２０４にて解析して、その解析結果に基づいて、表情データ抽出部２０５にて、マイク１０２から入力した音声を音声データ生成部２０１にて文字変換した音声データの欠落部分を抽出するとともに、当該ユーザの感情を示す表情データを生成して、文字変換した音声データの欠落部分や感情部分を音声データ補正部２０２にて補正した補正音声データを生成し、該補正音声データを音声データ翻訳部２０３にて通話相手の言語の翻訳文に翻訳して、通話相手に送信する動作を行う。
【選択図】図２

Description

本発明は、翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体に関する。

従来の翻訳機能付き携帯電話装置では、例えば、特許文献１の特開２００２−１１８６５９号公報「電話装置及び翻訳電話装置」にも記載されているように、図４のような構成により、通話相手の言語への音声データの翻訳を行っている。ここに、図４は、従来の翻訳機能付き携帯電話装置の音声データの翻訳部分の構成を示すブロック構成図である。図４に示すように、マイクより入力された通話者の音声は、音声データ生成部３０１にて音声データへと文字変換され、文字変換された音声データを基にして、音声データ翻訳部３０２にて通話相手の言語に翻訳変換されて、通話相手の携帯電話へと送られるように構成されている。
特開２００２−１１８６５９号公報（第４−６頁）

しかしながら、従来の翻訳機能付き携帯電話装置では、マイクから入力された音声を文字変換した音声データを通話相手の言語にたとえ正しく翻訳したとしても、文字変換された音声データの欠落部分や、さらには、マイクで入力した際の音声に含まれていた感情部分が表現されないという欠点があった。

本発明は、かかる問題に鑑みてなされたものであり、テレビ電話を用いることにより、通話者の顔画像から通話時における通話者の発声内容や感情を抽出することにより、文字変換された音声データの欠落部分や感情部分を補正し、補正後の文字変換された補正音声データを基にして通話相手の言語に翻訳を行って、通話相手に送信する翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体を提供することにある。

前述の課題を解決するため、本発明による翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体は、次のような特徴的な構成を採用している。

（１）ユーザの顔画像を撮影可能なカメラ部と、該ユーザの音声を文字変換して音声データを生成する音声データ生成部と、文字変換した前記音声データを通話相手の言語の翻訳文に翻訳する音声データ翻訳部と、翻訳した前記翻訳文を通話相手に送信する無線部とを備えた翻訳機能付き携帯電話装置において、前記カメラ部で撮影したユーザの顔画像から当該ユーザの表情データを抽出する表情データ抽出部と、該表情データ抽出部にて抽出したユーザの表情データに基づいて、当該ユーザの音声を文字変換した前記音声データの欠落部分や感情部分を補正して補正音声データとして出力する音声データ補正部と、をさらに備え、前記音声データ補正部にて補正した前記補正音声データを用いて、前記音声データ翻訳部にて通話相手の言語の翻訳文に翻訳する翻訳機能付き携帯電話装置。
（２）前記表情データ抽出部は、前記カメラ部で撮影した当該ユーザの顔画像の目、眉、眉間、額、鼻、口唇のいずれか１ないし複数の各パーツ間の相対位置とその変化量を特徴量として解析する表情解析部と、当該ユーザの表情の前記特徴量を表情パターンとしてあらかじめ登録している表情パターンデータベースとを含み、前記表情解析部において解析された当該ユーザの前記特徴量により前記表情パターンデータデースを参照することにより、当該ユーザの表情データを抽出する上記（１）の翻訳機能付き携帯電話装置。
（３）前記表情パターンデータベースに登録するユーザの前記表情パターンとして、あらかじめ定めた複数の感情それぞれに該当する当該ユーザの表情の特徴量をあらかじめ登録する上記（２）の翻訳機能付き携帯電話装置。
（４）前記表情データ抽出部が、前記表情パターンデータベースを参照してユーザの表情データを抽出する際に、前記表情パターンデータベースに前記表情パターンとして登録したユーザの複数の感情それぞれの前記特徴量との近似度を、当該ユーザのそれぞれの感情の度合いとして表情データに含めて出力する上記（３）の翻訳機能付き携帯電話装置。
（５）前記表情データ抽出部の前記表情パターンデータベースにあらかじめ登録するユーザの複数の感情として、少なくとも、怒り、悲しみ、喜び、平静の感情を含む上記（３）または（４）の翻訳機能付き携帯電話装置。
（６）前記音声データ補正部により、感情部分を補正した前記補正音声データを生成する際に、文字フォント、文字サイズ、文字色、アンダライン、太字、斜体のいずれか１ないし複数を用いて、ユーザの感情ごとに異なる書式で修飾した補正を行う上記（１）ないし（５）のいずれかの翻訳機能付き携帯電話装置。
（７）前記音声データ翻訳部は、前記補正音声データを通話相手の言語の翻訳文に翻訳する際に、ユーザの感情ごとに異なる書式で修飾した前記補正音声データに対応する前記通話相手の言語の書式に変換する上記（６）の翻訳機能付き携帯電話装置。
（８）前記音声データ補正部により、感情部分を補正した前記補正音声データを生成する際に、ユーザの感情に適合した言い回しの翻訳を行うように指示する付加情報を前記補正音声データに追加して出力する上記（１）ないし（７）のいずれかの翻訳機能付き携帯電話装置。
（９）前記音声データ翻訳部は、前記補正音声データを通話相手の言語の翻訳文に翻訳する際に、前記補正音声データに前記付加情報が追加されていた場合、該付加情報に指示されている言い回しに適合する表現を用いて翻訳する上記（８）の翻訳機能付き携帯電話装置。
（１０）ユーザの顔画像を撮影可能なカメラ部を備え、該ユーザの音声を文字変換して音声データを生成する音声データ生成ステップと、文字変換した前記音声データを通話相手の言語の翻訳文に翻訳する音声データ翻訳ステップとを有し、翻訳した前記翻訳文を通話相手に送信する翻訳機能付き携帯電話装置における音声データ翻訳方法において、前記カメラ部で撮影したユーザの顔画像から当該ユーザの表情データを抽出する表情データ抽出ステップと、該表情データ抽出ステップにて抽出したユーザの表情データに基づいて、当該ユーザの音声を文字変換した前記音声データの欠落部分や感情部分を補正して補正音声データとして出力する音声データ補正ステップと、をさらに有し、前記音声データ補正部にて補正した前記補正音声データを用いて、前記音声データ翻訳ステップにて通話相手の言語の翻訳文に翻訳する音声データ翻訳方法。
（１１）前記表情データ抽出ステップは、前記カメラ部で撮影した当該ユーザの顔画像の目、眉、眉間、額、鼻、口唇のいずれか１ないし複数の各パーツ間の相対位置とその変化量を特徴量として解析する表情解析ステップと、当該ユーザの表情の前記特徴量を表情パターンとしてあらかじめ登録している表情パターンデータベースとを含み、前記表情解析ステップにおいて解析された当該ユーザの前記特徴量により前記表情パターンデータデースを参照することにより、当該ユーザの表情データを抽出する上記（１０）の音声データ翻訳方法。
（１２）前記表情パターンデータベースに登録するユーザの前記表情パターンとして、あらかじめ定めた複数の感情それぞれに該当する当該ユーザの表情の特徴量をあらかじめ登録する上記（１１）の音声データ翻訳方法。
（１３）前記表情データ抽出ステップが、前記表情パターンデータベースを参照してユーザの表情データを抽出する際に、前記表情パターンデータベースに前記表情パターンとして登録したユーザの複数の感情それぞれの前記特徴量との近似度を、当該ユーザのそれぞれの感情の度合いとして表情データに含めて出力する上記（１２）の音声データ翻訳方法。
（１４）上記（１０）ないし（１３）のいずれかの音声データ翻訳方法をコンピュータにより実行可能なプログラムとして実現している音声データ翻訳プログラム。
（１５）上記（１４）の音声データ翻訳プログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体。

本発明による翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体においては、テレビ電話の通話時に、顔画像を取得することによって、マイクから入力される音声データの欠落部分や感情部分を補正して、翻訳することにより、文字変換された音声データの精度を上げることを可能としているので、テレビ電話の通話者同士の通話をより円滑に行うことができるという効果が得られる。

以下、本発明による翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体の好適実施形態例について添付図を参照して説明する。

（発明の特徴）
本発明は、翻訳機能付き携帯電話装置において、テレビ電話の通話中に、特に、ハンズフリーモードによるテレビ電話の通話中に、カメラ部により撮影されて取り込まれた通話者の顔画像データから通話者の表情データを生成し、通話者の表情データを基にして、マイクにて集音された通話者の音声から得られた文字変換後の音声データの欠落部分や感情部分を補正した後で、文字変換された補正後の音声データ（補正音声データ）の翻訳を実施することによって、音声データの欠落部分を補充するとともに、通話者の感情を含む翻訳を行うことが可能となり、翻訳した音声データの精度を向上させることを可能としている。以下の実施例においては、本発明の翻訳機能付き携帯電話装置の実施例について説明するが、本発明の音声データ翻訳方法、音声データ翻訳プログラム、プログラム記録媒体についても、全く同様の考え方で実現することができるので、これらの実施例の詳細についての説明は省略する。

本発明による翻訳機能付き携帯電話装置の構成例を、図１に示す。図１に示す翻訳機能付き携帯電話装置１００としては、通話者（ユーザ）の顔画像を取り込むカメラ部分１０１、通話者の音声を取り込むマイク１０２、マイク１０２にて集音された通話者の音声を音声データに文字変換した際に生じる、文字変換された音声データの欠落部分や感情部分を、カメラ部分１０１にて撮影された顔画像データを参照して、補正した補正音声データを生成した後、この補正音声データを基にして通話相手の言語に翻訳し、通話先相手へ無線部１０４、アンテナ１０３を介して伝える制御部１０５、通話先相手の音声をアンテナ１０３、無線部１０４、制御部１０５を介して出力するスピーカ１０６、通話者が操作する操作部１０７を少なくとも備えている。操作部１０７は、画像やテキストを画面表示するＬＣＤ表示部１０７Ａ、ユーザが任意の文字、数字を入力するテンキー１０７Ｂ、ユーザが操作する選択スイッチ１０７Ｃを少なくとも備えている。

図２は、図１に示す制御部１０５のうち通話先相手へ伝達する機能部分を中心にその一例を示すブロック構成図である。図２の制御部１０５に示すように、マイク１０２より入力された音声データは、音声データ生成部２０１において文字変換された音声データに変換される。また、カメラ部分１０１より入力された顔画像データを解析する画像解析部２０４の解析結果に基づいて、表情データ抽出部２０５にて表情データを抽出する。

さらに、表情データ抽出部２０５にて抽出された表情データに基づいて、音声データ生成部２０１にて文字変換された音声データの欠落部分や感情部分を音声データ補正部２０２にて補正した補正音声データを生成する。しかる後、音声データ補正部２０２にて補正されて文字変換された音声データを基にして音声データ翻訳部２０３にて通話相手の言語に翻訳変換する。なお、制御部１０５の前述したような各機能ブロックは、ハードウェア論理によって実現するようにしても良いし、プログラム論理によって実現するようにしても良いし、あるいは、両者を併用して実現するようにしても良い。

図２に示した表情データ抽出部２０５は、図３のような構成からなっている。図３は、図２における表情データ抽出部２０５の構成の一例を示すブロック構成図である。図３に示すように、表情データ抽出部２０５は、表情解析部２０５Ａと表情パターンＤＢ（データベース）２０５Ｂとにより構成されていて、カメラ部分１０１が撮影した通話者の顔画像から、当該通話者の発声時の唇の動きを解析した結果を基にして発声音声を推定するとともに、当該通話者の顔画像の各パーツの解析結果を基にして感情を自動判別し、推定した発声音声や判別した感情を表情データとして出力する機能を有している。

この場合に、表情データを抽出する方法としては、カメラ部分１０１により連続撮影された通話者の顔画像から、「目」、「眉」、「額」、「眉間」、「鼻」、「口唇」などの各パーツのうち、１ないし複数のパーツを用いて、各パーツ間の相対位置やその変化量を特徴量として画像解析部２０４にて抽出して、表情データ抽出部２０５に入力されてくる。表情データ抽出部２０５の表情解析部２０５Ａでは、画像解析部２０４にて抽出された口唇の動きに基づいて発声音声を推定するとともに、画像解析部２０４にて抽出された各パーツに関する特徴量を、表情パターンＤＢ２０５Ｂにあらかじめ登録されている通話者の表情パターンの特徴量と照合することによって、「怒り」、「悲しみ」、「喜び」、「平静」のうち、最も近似している感情を推定して、表情データとして出力する。ここに、表情パターンＤＢ２０５Ｂには、「怒り」、「悲しみ」、「喜び」、「平静」のあらかじめ定めた各場面での通話者の顔画像をあらかじめ撮影して、「目」、「眉」、「額」、「眉間」、「鼻」、「口唇」などの各パーツのうち１ないし複数のパーツについて、各パーツ間の相対位置やその変化量が、当該通話者の感情ごとの各場面における表情パターン（特徴量）としてあらかじめ登録されている。

なお、顔画像から表情データを抽出する方法としては、各パーツ間の相対位置やその変化量を特徴量として抽出する方法に限られるものではなく、各パーツの動き速度や変化方向などを解析したり、目からの涙や、口唇からこぼれる歯などの要素も加味して解析するなど他の方法を用いても良い。また、判別する感情の種類についても、「怒り」、「悲しみ」、「喜び」、「平静」の４つに限られるものではなく、４つより少なくしても良いし、逆に、「驚き」や「不満」などを加えて多くしても良いし、さらには、感情の種類の他に、表情パターンＤＢ２０５Ｂにあらかじめ登録した通話者（ユーザ）の複数の感情それぞれの場面における表情パターン（特徴量）との近似度を、その感情の度合いとして加えるようにしても良い。さらに、出力する感情は１つの感情のみに限らず、判別した複数の感情ごとに、その度合いを出力するようにしても良い。

また、表情データを生成する際に、マイク１０２から入力された音声データを併用することも可能である。例えば、通話者が発声した声の大きさ（音圧）や発話時間間隔、あるいは、韻律的な特徴量である基本周波数などを抽出することにより、通話者の感情（「怒り」、「悲しみ」、「喜び」、「平静」など）を判別して、顔画像から判別した表情データに反映するようにしても良い。

かくのごとき方法を用いて表情データ抽出部２０５が表情データとして検知した通話者の発声内容や通話者の感情に基づいて、文字変換された音声データの欠落部分や感情部分を補正する機能を有する音声データ補正部２０２では、表情データ抽出部２０５から入力されてくる表情データをキーにして、文字変換された音声データに対して関係付けられた修飾データを音声修飾データベース（図示していない）から読み出して補正を加える動作を行う。

ここで、修飾データとしては、文字フォントや文字サイズや文字の色やアンダライン、太字、斜体などの文字用の書式を用いて文字を修飾するようにしても良い。例えば、通話者が「怒り」の表情で発声していると判断した場合は、文字フォントとしてゴシック体（英語におけるＡｒｉａｌ）を使ったり、文字色を赤で表示したり、文字サイズを大きくするなどの１ないし複数の修飾（強調）を行うことにより、文字変換された音声データにその旨を追加補正して、補正音声データとして生成することができる。これにより、例えば、通話相手に対して、翻訳後の音声データを画面にも同時に表示して通知したい場合においても、そのまま、前記補正音声データに対応した修飾を施した翻訳後の音声データを通話相手の画面に表示することができるので、通話者の感情を含む音声データを画面に表示させることができる。

さらには、修飾データとして、通話者の感情にフィットした言い回しで翻訳するように付加情報を追加することも可能である。このようにして、欠落部分や感情部分を補正した文字変換された音声データは、音声データ翻訳部２０３へ入力され、通話者の音声の欠落部分や感情部分を反映した形で通話相手の言語に翻訳される。

（発明の実施例の動作説明）
次に、本発明の実施例の動作について、図１、図２を用いてさらに説明する。図１のマイク１０２より入力された通話者の音声は、図２の音声データ生成部２０１にて音声データとして文字変換される。この文字変換された音声データは、通話者の感情が除去されてしまっているのみならず、通話者の音声の欠落部分も生じている。そこで、音声データ補正部２０２において、音声データ生成部２０１にて文字変換された音声データに補正が加えられ、通話者の感情部分や欠落部分が補正される。

この音声データ補正部２０２において補正を行う処理は、表情データ抽出部２０５から入力されてくる通話者の表情データをキーにするものであり、さらに、表情データ抽出部２０５における通話者の表情データの生成処理は、前述したように、カメラ部分１０１より入力された通話者の顔画像データを解析する画像解析部２０４の解析結果を基にして行われる。音声データ補正部２０２にて補正した文字変換された音声データは、選択スイッチ１０７Ｃにて選択されている通話相手の言語に音声データ翻訳部２０３にて翻訳されて、通話相手の携帯電話へと送られる。

なお、音声データ翻訳部２０３にて通話相手の言語に翻訳する際に、音声データ補正部２０２にて補正音声データ用に音声データを補正するために用いた修飾データそれぞれに対応する通話相手の言語の修飾用データを用いて、翻訳後の音声データを補正する。例えば、日本語のＭＳゴシック体の文字フォントを用いて修飾した補正音声データを英語に翻訳する場合には、Ａｒａｉｌの文字フォントを用いて、補正変換される。さらに、通話者の感情を示す付加情報が補正音声データに付加されていた場合には、当該付加情報が示す感情にフィットした言い回しの音声データに翻訳する。

以上のように、図１の翻訳機能付き携帯電話装置１００では、カメラ部分１０１に入力された通話者の顔画像データから抽出された表情データを利用して、マイク１０２に入力された通話者の音声を文字変換した音声データの欠落部分や感情部分を補正し、翻訳するための文字変換された音声データの精度を向上させるようにした機能を有する制御部１０５を備えていることを特徴としている。

（効果の説明）
すなわち、本発明による一実施例の翻訳機能付き携帯電話装置１００においては、以下に記載するような効果が得られる。

翻訳機能付き携帯電話装置１００にてテレビ電話の通話時に、マイク１０２から入力される通話者の音声を文字変換した音声データの欠落部分や感情部分を補正した後の補正音声データを通話相手の言語に翻訳するようにしているので、通話相手に送信する音声データの精度を向上することができ、テレビ電話の通話者同士の通話をより円滑に行うことができるという効果が得られる。

なお、前述した実施例においては、通話者の音声を通話相手へ送信する場合の翻訳機能付き携帯電話の送信動作について説明したが、通話相手からの音声データを受け取って、スピーカ１０６から音声を出力する際には、通話相手から送信されてくる翻訳後の音声データ中に含まれている修飾データが意味する通話相手の感情（「怒り」、「悲しみ」、「喜び」、「平静」など）に応じて、音量や発話時間間隔やイントネーションなどで、受信した音声データを修飾した音声を生成して、スピーカ１０６を鳴動させるようにしている。これにより、通話相手の感情を、言い回しのみならず音量や発話時間間隔やイントネーションとして表現した音声を出力することができる。さらには、通話相手の感情により修飾された翻訳後の音声データを、画面に表示させる動作を行わせることも可能である。

以上、本発明の好適実施例の構成を説明した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることは、当業者には容易に理解できよう。

本発明による翻訳機能付き携帯電話装置の構成例を示すブロック構成図である。 図１に示す制御部のうち通話先相手へ伝達する機能部分を中心にその一例を示すブロック構成図である。 図２における表情データ抽出部の構成の一例を示すブロック構成図である。 従来の翻訳機能付き携帯電話装置の音声データの翻訳部分の構成を示すブロック構成図である。

符号の説明

１００ 翻訳機能付き携帯電話装置
１０１ カメラ部分
１０２ マイク
１０３ アンテナ
１０４ 無線部
１０５ 制御部
１０６ スピーカ
１０７ 操作部
１０７Ａ ＬＣＤ表示部
１０７Ｂ テンキー
１０７Ｃ 選択スイッチ
２０１ 音声データ生成部
２０２ 音声データ補正部
２０３ 音声データ翻訳部
２０４ 画像解析部
２０５ 表情データ抽出部
２０５Ａ 表情解析部
２０５Ｂ 表情パターンＤＢ（データベース）
３０１ 音声データ生成部
３０２ 音声データ翻訳部

Claims (15)

1. ユーザの顔画像を撮影可能なカメラ部と、該ユーザの音声を文字変換して音声データを生成する音声データ生成部と、文字変換した前記音声データを通話相手の言語の翻訳文に翻訳する音声データ翻訳部と、翻訳した前記翻訳文を通話相手に送信する無線部とを備えた翻訳機能付き携帯電話装置において、前記カメラ部で撮影したユーザの顔画像から当該ユーザの表情データを抽出する表情データ抽出部と、該表情データ抽出部にて抽出したユーザの表情データに基づいて、当該ユーザの音声を文字変換した前記音声データの欠落部分や感情部分を補正して補正音声データとして出力する音声データ補正部と、をさらに備え、前記音声データ補正部にて補正した前記補正音声データを用いて、前記音声データ翻訳部にて通話相手の言語の翻訳文に翻訳することを特徴とする翻訳機能付き携帯電話装置。
2. 前記表情データ抽出部は、前記カメラ部で撮影した当該ユーザの顔画像の目、眉、眉間、額、鼻、口唇のいずれか１ないし複数の各パーツ間の相対位置とその変化量を特徴量として解析する表情解析部と、当該ユーザの表情の前記特徴量を表情パターンとしてあらかじめ登録している表情パターンデータベースとを含み、前記表情解析部において解析された当該ユーザの前記特徴量により前記表情パターンデータデースを参照することにより、当該ユーザの表情データを抽出することを特徴とする請求項１に記載の翻訳機能付き携帯電話装置。
3. 前記表情パターンデータベースに登録するユーザの前記表情パターンとして、あらかじめ定めた複数の感情それぞれに該当する当該ユーザの表情の特徴量をあらかじめ登録することを特徴とする請求項２に記載の翻訳機能付き携帯電話装置。
4. 前記表情データ抽出部が、前記表情パターンデータベースを参照してユーザの表情データを抽出する際に、前記表情パターンデータベースに前記表情パターンとして登録したユーザの複数の感情それぞれの前記特徴量との近似度を、当該ユーザのそれぞれの感情の度合いとして表情データに含めて出力することを特徴とする請求項３に記載の翻訳機能付き携帯電話装置。
5. 前記表情データ抽出部の前記表情パターンデータベースにあらかじめ登録するユーザの複数の感情として、少なくとも、怒り、悲しみ、喜び、平静の感情を含むことを特徴とする請求項３または４に記載の翻訳機能付き携帯電話装置。
6. 前記音声データ補正部により、感情部分を補正した前記補正音声データを生成する際に、文字フォント、文字サイズ、文字色、アンダライン、太字、斜体のいずれか１ないし複数を用いて、ユーザの感情ごとに異なる書式で修飾した補正を行うことを特徴とする請求項１ないし５のいずれかに記載の翻訳機能付き携帯電話装置。
7. 前記音声データ翻訳部は、前記補正音声データを通話相手の言語の翻訳文に翻訳する際に、ユーザの感情ごとに異なる書式で修飾した前記補正音声データに対応する前記通話相手の言語の書式に変換することを特徴とする請求項６に記載の翻訳機能付き携帯電話装置。
8. 前記音声データ補正部により、感情部分を補正した前記補正音声データを生成する際に、ユーザの感情に適合した言い回しの翻訳を行うように指示する付加情報を前記補正音声データに追加して出力することを特徴とする請求項１ないし７のいずれかに記載の翻訳機能付き携帯電話装置。
9. 前記音声データ翻訳部は、前記補正音声データを通話相手の言語の翻訳文に翻訳する際に、前記補正音声データに前記付加情報が追加されていた場合、該付加情報に指示されている言い回しに適合する表現を用いて翻訳することを特徴とする請求項８に記載の翻訳機能付き携帯電話装置。
10. ユーザの顔画像を撮影可能なカメラ部を備え、該ユーザの音声を文字変換して音声データを生成する音声データ生成ステップと、文字変換した前記音声データを通話相手の言語の翻訳文に翻訳する音声データ翻訳ステップとを有し、翻訳した前記翻訳文を通話相手に送信する翻訳機能付き携帯電話装置における音声データ翻訳方法において、前記カメラ部で撮影したユーザの顔画像から当該ユーザの表情データを抽出する表情データ抽出ステップと、該表情データ抽出ステップにて抽出したユーザの表情データに基づいて、当該ユーザの音声を文字変換した前記音声データの欠落部分や感情部分を補正して補正音声データとして出力する音声データ補正ステップと、をさらに有し、前記音声データ補正部にて補正した前記補正音声データを用いて、前記音声データ翻訳ステップにて通話相手の言語の翻訳文に翻訳することを特徴とする音声データ翻訳方法。
11. 前記表情データ抽出ステップは、前記カメラ部で撮影した当該ユーザの顔画像の目、眉、眉間、額、鼻、口唇のいずれか１ないし複数の各パーツ間の相対位置とその変化量を特徴量として解析する表情解析ステップと、当該ユーザの表情の前記特徴量を表情パターンとしてあらかじめ登録している表情パターンデータベースとを含み、前記表情解析ステップにおいて解析された当該ユーザの前記特徴量により前記表情パターンデータデースを参照することにより、当該ユーザの表情データを抽出することを特徴とする請求項１０に記載の音声データ翻訳方法。
12. 前記表情パターンデータベースに登録するユーザの前記表情パターンとして、あらかじめ定めた複数の感情それぞれに該当する当該ユーザの表情の特徴量をあらかじめ登録することを特徴とする請求項１１に記載の音声データ翻訳方法。
13. 前記表情データ抽出ステップが、前記表情パターンデータベースを参照してユーザの表情データを抽出する際に、前記表情パターンデータベースに前記表情パターンとして登録したユーザの複数の感情それぞれの前記特徴量との近似度を、当該ユーザのそれぞれの感情の度合いとして表情データに含めて出力することを特徴とする請求項１２に記載の音声データ翻訳方法。
14. 請求項１０ないし１３のいずれかに記載の音声データ翻訳方法をコンピュータにより実行可能なプログラムとして実現していることを特徴とする音声データ翻訳プログラム。
15. 請求項１４に記載の音声データ翻訳プログラムを、コンピュータにより読み取り可能な記録媒体に記録していることを特徴とするプログラム記録媒体。
    

Images