JP2009251388A - 母国語発話装置 - Google Patents

Abstract

【課題】ユーザの母国語を特定し、特定した母国語で音声を出力する技術を提供する。
【解決手段】母国語発話装置が、ドライバーおよび同乗者の発した音声の国語種別を特定し（ステップ１３０）、特定した国語種別に対する当該音声の訛りの特徴に基づいて、ドライバーおよび同乗者の母国語を特定し（ステップ１４０）、音声出力装置に出力させる音声として、ドライバーの母国語と前記同乗者の母国語とを、切り替えて使用する（ステップ１６０）。
【選択図】図２

Description

本発明は、母国語発話装置および母国語発話装置用のプログラムに関するものである。

特許文献１には、ユーザが発した音声がどの国の国語に属するかを特定し、特定した国語の音声を出力する技術が開示されている。
特開２００１−８３９９１号公報

しかし、ユーザが発している言語が必ずユーザの母国語であるとは限らない。ユーザにしてみれば、現在発している言語よりも自分の母国語の音声出力を受けることの方が望ましい場合がある。

本発明は上記点に鑑み、ユーザの母国語を特定し、特定した母国語で音声を出力する技術を提供することを目的とする。

上記目的を達成するための請求項１に記載の発明は、母国語発話装置が、ユーザの母国語を特定し、また、音声出力装置（１４）に出力させる音声として、特定した母国語に属する音声を選択することである。このようになっていることで、ユーザの母国語を特定し、特定した母国語で音声を出力することができる。

また、請求項２に記載のように、母国語発話装置は車両に搭載されていてもよい。その場合、母国語発話装置は、ドライバーの母国語を特定すると共に同乗者の母国語を特定するようになっていてもよい。

さらに母国語発話装置は、音声出力装置（１４）に出力させる音声として、ドライバーの母国語と同乗者の母国語とを、（例えば出力する音声によって示す情報の種別に基づいて）切り替えて使用するようになっていてもよい。

このようになっていることで、ドライバーだけでなく、場合によってはドライバーと母国語が異なる同乗者に対しても、適切な母国語で状況を提供することが可能となる。また、発話する音声をドライバーの母国語と同乗者の母国語との間で適宜切り替えるので、状況に応じてドライバーの利便性を優先した音声出力および同乗者の利便性を優先した音声出力を使い分けることができる。

また、請求項３に記載のように、母国語発話装置は、ユーザの発した音声の国語種別を特定し、特定した国語種別に対する当該音声の訛りの特徴に基づいて、ユーザの母国語を特定し、音声出力装置（１４）に出力させる音声として、特定した母国語に属する音声を選択するようになっていてもよい。

このように、母国語発話装置は、ユーザの発した音声の国語種別と、その国語種別に対する当該音声の訛りの情報を利用して、ユーザの母国語を特定し、特定した母国語で音声を出力することができる。

また、請求項４に記載のように、母国語発話装置は車両に搭載されていてもよい。その場合、母国語発話装置は、車両内のドライバーが発したドライバー音声と、車両内のドライバー以外の同乗者が発した同乗者音声のそれぞれを区別し、それぞれの音声について国語種別を特定するようになっていてもよい。

さらに母国語発話装置は、特定されたドライバー音声の国語種別に対するドライバー音声の訛りの特徴に基づいて、ドライバーの母国語を特定すると共に、特定された同乗者音声の国語種別に対する同乗者音声の訛りの特徴に基づいて、同乗者の母国語を特定するようになっていてもよい。

さらに母国語発話装置は、音声出力装置（１４）に出力させる音声として、ドライバーの母国語と同乗者の母国語とを、（例えば出力する音声によって示す情報の種別に基づいて）切り替えて使用するようになっていてもよい。

このようになっていることで、ドライバーだけでなく、場合によってはドライバーと母国語が異なる同乗者に対しても、適切な母国語で状況を提供することが可能となる。また、発話する音声をドライバーの母国語と同乗者の母国語との間で適宜切り替えるので、状況に応じてドライバーの利便性を優先した音声出力および同乗者の利便性を優先した音声出力を使い分けることができる。

また、請求項５に記載のように、請求項１に記載の発明の特徴は、プログラムとしても捉えることができる。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

図１に、本実施形態に係る車両用ナビゲーション装置（母国語発話装置の一例に相当する）１のハードウェア構成を示す。この車両用ナビゲーション装置１は、位置検出器１１、画像表示装置１２、操作部１３、スピーカ１４、マイクロフォン１５、地図・音声データ取得部１６、および制御回路１７を有している。

位置検出器１１は、いずれも周知の図示しない加速度センサ、地磁気センサ、ジャイロセンサ、車速センサ、およびＧＰＳ受信機等のセンサを有しており、これらセンサの各々の性質に基づいた、車両の現在位置、向き、および速度を特定するための情報を制御回路１７に出力する。

画像表示装置１２は、制御回路１７から出力された映像信号に基づいた映像をユーザに表示する。表示映像としては、例えば現在地を中心とする地図等がある。

操作部１３は、車両用ナビゲーション装置１に設けられた複数のメカニカルスイッチ、画像表示装置１２の表示面に重ねて設けられたタッチパネル等の入力装置から成り、ユーザによるメカニカルスイッチの押下、タッチパネルのタッチに基づいた信号を制御回路１７に出力する。

マイクロフォン１５は、車両の複数の位置に設けられており、車両内の乗員（すなわち、ドライバーおよび同乗者）の発した音声を検出し、検出した音声を音声信号として制御回路１７に出力する。マイクロフォン１５の配置としては、例えば、ドライバー席、助手席後部座席左側端部、後部座席中央、後部座席右側端部等の直上の天井に配置されていてもよい。

地図・音声データ取得部１６は、ＤＶＤ、ＣＤ、ＨＤＤ等の不揮発性の記憶媒体およびそれら記憶媒体に対してデータの読み出し（および可能ならば書き込み）を行う装置から成る。当該記憶媒体は、制御回路１７が実行するプログラム、経路案内用の地図データ等を記憶している。

地図データは、道路データおよび施設データを有している。道路データは、リンクの位置情報、種別情報、ノードの位置情報、種別情報、および、ノードとリンクとの接続関係の情報等を含んでいる。施設データは、施設毎のレコードを複数有しており、各レコードは、対象とする施設の名称情報、所在位置情報、土地地番情報、施設種類情報等を示すデータを有している。

また、地図・音声データ取得部１６の記憶媒体は、音声データを含んでいる。音声データとしては、アナウンス用の発声データ、発声言語特定用の特徴情報データ、および、母国語特定用の特徴情報データがある。

アナウンス用の発声データは、例えば、（１）目的地に到着したことの通知、右折の指示等のための運転案内用音声、（２）施設の情報を通知するための施設案内音声、（３）車両が県境を越えた旨を示す県境案内音声、（４）操作部１３に対するメニュー選択操作を促すためのメニュー音声、および、（５）音声認識のために出力する音声認識用音声等を含んでいる。発声データは、これらの音声種別のそれぞれについて、複数の国語（例えば、日本語、英語、ドイツ語、中国語等）を用いたデータを有している。

発声言語特定用の特徴情報データは、複数国のそれぞれについて、その国の国語において代表的な複数の単語（例えば、当該国語において、使われる頻度が上位１００位までの複数の単語）の特徴情報を含んでいる。

母国語特定用の特徴情報データは、複数国の国語のそれぞれについて、その国語に対する他国の訛りの特徴情報を含んでいる。これら特徴情報は、実験および統計調査等によって得た情報に基づいてあらかじめ（例えば車両用ナビゲーション装置１の出荷時に）地図・音声データ取得部１６の記憶媒体に記録されている。

ここで、ある国語に対する「訛り」とは、標準的なネイティブスピーカーが当該国語を話す場合に比較した、当該国語を母国語としない者が当該国語を話す場合の、イントネーション、アクセント、言い回し（すなわち、単語の使用順序）等の特徴をいう。「訛り」は、発話者の母国語毎に特徴が異なっている。

例えば、フランス人は、英語、日本語等を話す場合でもＨを発音しない傾向にある。また例えば、日本人は、英語、フランス語、ドイツ語等を話す場合に、ＬとＲを区別して発音できない傾向にある。

また例えば、地名を英語で発話するとき、例えば、Ｌｉｖｅｒｐｏｏｌの場合、日本人は、ｐｏｏｌの位置にアクセントがあると思っているが、イギリス人の英語では、Ｌｉのところにアクセントがある。

また例えば、ファーストフードなどでの持ち帰りを英語で言い場合、日本人は、ｔａｋｅ ｏｕｔといい傾向があるが、アメリカ人は、ｔｏ ｇｏと言う。

なお、発声言語特定用の特徴情報データにおいては、１つの国語に対して、訛りの特徴情報は複数国分記録されている。例えば、英語に対する訛りの特徴情報としては、日本語訛り、ドイツ語訛り、中国語訛り等の特徴情報が含まれていてもよい。

ある国語Ａに対する国Ｂの訛りの特徴情報としては、例えば、上述の発声言語特定用の特徴情報データにおいて当該国語Ａについて記録されている単語のそれぞれについて、当該単語を当該国Ｂの訛りで発声した音声の特徴情報を使用してもよい。

制御回路（コンピュータに相当する）１７は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ等を有するマイコンである。ＣＰＵは、ＲＯＭまたは地図・音声データ取得部１６から読み出した車両用ナビゲーション装置１の動作のためのプログラムを実行し、その実行の際にはＲＡＭ、ＲＯＭ、および地図・音声データ取得部１６から情報を読み出し、ＲＡＭおよび（可能であれば）地図・音声データ取得部１６の記憶媒体に対して情報の書き込みを行い、位置検出器１１、画像表示装置１２、操作部１３、スピーカ１４、およびマイクロフォン１５と信号の授受を行う。

制御回路１７がプログラムを実行することによって行う具体的な処理としては、現在位置特定処理、地図表示処理、誘導経路算出処理、経路案内処理、出力言語選択処理等がある。

現在位置特定処理は、位置検出器１１からの信号に基づいて、周知のマップマッチング等の技術を用いて車両の現在位置や向きを特定する処理である。

地図表示処理は、車両の現在位置の周辺等の特定の領域の地図を、画像表示装置１２に表示させる処理である。この際、地図表示のために用いる情報は、地図データから取得する。

誘導経路算出処理は、操作部１３からユーザによる目的地の入力を受け付け、現在位置から当該目的地までの最適な誘導経路を算出する処理である。

経路案内処理は、誘導経路上の右左折交差点等の案内ポイントの手前に自車両が到達したときに、右折、左折等を指示する案内音声をスピーカ１４に出力させ、当該案内ポイントの拡大図を画像表示装置１２に表示させることで、誘導経路に沿った車両の運転を案内する処理である。

なお、上記の各処理において制御回路１７は、スピーカ１４に出力させる音声としては、地図・音声データ取得部１６中の発声データのうち、出力言語選択処理によって選択された国語に対応するアナウンス用の発声データを用いる。

発話言語選択処理は、車両の乗員（ユーザの一例に相当する）の発した音声から当該乗員の母国語を特定し、スピーカ１４に出力させる音声として、特定した母国語に属する音声を選択する処理である。

以下、この出力言語選択処理の詳細について説明する。制御回路１７は、この出力言語選択処理を実現するために、図２に示すプログラム１００を実行するようになっている。制御回路１７は、このプログラム１００を、車両が始動したとき（例えば、エンジンがオンとなったとき）に実行するようになっていてもよいし、乗員が操作部１３に対して所定の操作を行ったときに実行するようになっていてもよい。

このプログラム１００において制御回路１７は、まずステップ１１０で、車内の会話音声をマイクロフォン１５から取得する。そして続くステップ１２０では、取得した音声に基づいて車両内の乗員の人数および発話の主の乗車位置を特定する。

車両内の乗員の人数および発話の主の乗車位置の特定方法としては、以下のような方法を用いることができる。

例えば、マイクロフォン１５から受けた音声信号の信号波形を解析することで、乗員による発話において使用されている周波数帯域の種類の数を算出し、算出した数を乗員数とするようになっていてもよい。この方法は、発話に使用する周波数帯域は、発話者毎に異なるという性質を利用するものである。

また、特定の周波数帯域における信号強度（周波数成分）の種類の数を算出し、算出した数を乗員数とするようになっていてもよい。また、乗員による発話において使用されているイントネーションの種類の数を算出し、算出した数を乗員数とするようになっていてもよい。

また、発話の主の着座位置によって、それぞれのマイクロフォン１５までの音声の到達時間が変化するので、制御回路１７は、強度以外がほぼ同じである音声信号の各マイクロフォン１５における検出タイミングのずれに基づいて、その音声信号に対応する発話の主の着座位置を特定するようになっていてもよい。

また、マイクロフォン１５のそれぞれが上述のように各座席の着座位置の直上に配置されている場合は、所定の強度以上の音声信号を出力したマイクロフォンの数を乗員数とするようになっていてもよい。さらにこの場合は、同時期において、各マイクロフォン１５のうち最も大きな強度の信号を出力したマイクロフォンに対応する着座位置を、当該時期において発話した乗員であると特定するようになっていてもよい。

続いてステップ１３０では、マイクロフォン１５から受けた音声信号に基づいて、乗員（すなわちドライバーおよび同乗者）が会話に用いている言語の国語種別を特定する。具体的には、マイクロフォン１５から受けた音声信号と、上述の発声言語特定用の特徴情報データのそれぞれとを（例えば隠れマルコフモデルによる方法で）比較することで、単語の一致率、認識率を特定し、これら一致率、認識率に基づいて、会話に用いられている単語がどの国の代表的な単語と一致するかを判定する。この際、会話に用いられている言語は、必ずしも乗員の母国語であるとは限らない。

続いてステップ１４０では、ドライバーである特定した会話の波形データの訛りの特徴に基づいて、ドライバーの母国語を特定する。具体的には、マイクロフォン１５から受けた音声信号から、ドライバー席に着座する者が発した音声（例えば単語）に対応する部分を抽出する。そして、上述の母国語特定用の特徴情報データから、ステップ１３０で特定した会話国語種別に対応する特徴情報を取得する。例えば、特定した母国語が英語であれば、英語に対するフランス語訛りの特徴情報、英語に対するドイツ語訛りの特徴情報、英語に対する日本語訛りの特徴情報等を取得する。

さらにステップ１４０では、抽出したドライバーの音声信号と、会話国語種別に対する各国の訛りの特徴情報とを（例えば隠れマルコフモデルによる方法で）比較する。そしてその比較の結果、最も尤度が高くかつ当該尤度が基準値よりも高い特徴情報に対応する国語を、ドライバーの母国語として特定する。

続いてステップ１５０では、同乗者であると特定した会話の波形データの訛りの特徴に基づいて、ドライバーの母国語を特定する。具体的には、マイクロフォン１５から受けた音声信号から、ドライバー席以外の座席に着座する同乗者のそれぞれについて、その者が発した音声（例えば単語）に対応する部分を抽出する。そして、上述の母国語特定用の特徴情報データから、ステップ１３０で特定した会話国語種別に対応する特徴情報を取得する。

さらにステップ１５０では、抽出した各同乗者の音声信号と、会話国語種別に対する各国の訛りの特徴情報とを（例えば隠れマルコフモデルによる方法で）比較する。そしてその比較の結果、各同乗者について、最も尤度が高くかつ当該尤度が基準値よりも高い特徴情報に対応する国語を、当該同乗者の母国語として特定する。

なお、ステップ１４０および１５０では、尤度が基準値よりも高い訛りの特徴情報がない場合（すなわち、乗員の母国語を会話音声から特定できなかった場合）は、ステップ１３０で特定した会話国語種別を母国語として特定してもよい。このようにするのは、仮に乗員（ドライバーまたは同乗者）の母国語が会話言語とは異なっていたとしても、訛りを検出できなかったということは、会話で用いられている言語に乗員が堪能である可能性が非常に高いので、その会話の言語を乗員の母国語として判定しても、乗員の利便性を大きく損ねることはないからである。

また、ステップ１５０では、同乗者の母国語が複数特定された場合は、それら複数の母国語のうちに会話国語種別があれば、当該会話国語種別を、唯一の同乗者の母国語として確定するようになっていてもよい。

続いてステップ１６０では、ステップ１５０で特定した乗員の母国語を、スピーカ１４に出力させる音声として用いる国語種別に設定する。具体的には、スピーカ１４に出力させる音声によって示そうとする情報の種別に基づいて、案内言語として使用する国語種別（または使用する国語種別の優先順位）を、ドライバーの母国語と、同乗者の母国語とを切り替える。

例えば、運転案内用音声等の重要な案内音声については、ドライバーの母国語のみを使用するよう設定してもよいし、あるいは、案内のための音声出力の時間が十分ある場合は、ドライバーの母国語をまず選択してスピーカ１４に出力させ、その後同乗者の母国語を選択してスピーカ１４に出力させるようになっていてもよい。

また例えば、施設案内音声、県境案内音声、メニュー音声、音声認識用音声等については、同乗者の母国語をまず選択してスピーカ１４に出力させ、その後ドライバーの母国語を選択してスピーカ１４に出力させるようになっていてもよい。

以上説明した通り、車両用ナビゲーション装置１は、車内の乗員の会話音声を取得し（ステップ１１０参照）、取得した音声から乗員の人数および着座位置を特定する（ステップ１２０参照）。そして車両用ナビゲーション装置１は、乗員が会話のために発した音声の国語種別を特定し（ステップ１３０参照）、特定した国語種別に対する各乗員の音声の訛りの特徴に基づいて、各乗員の母国語を特定し（ステップ１４０、１５０参照）、スピーカ１４に出力させる音声として、特定した母国語に属する音声を選択するようになっている（ステップ１６０参照）。

このように、車両用ナビゲーション装置１は、乗員の発した音声の国語種別と、その国語種別に対する当該音声の訛りの情報を利用して、乗員の母国語を特定し、特定した母国語で音声を出力することができる。

また車両用ナビゲーション装置１は、特定されたドライバー音声の国語種別に対するドライバー音声の訛りの特徴に基づいて、ドライバーの母国語を特定すると共に、特定された同乗者音声の国語種別に対する同乗者音声の訛りの特徴に基づいて、同乗者の母国語を特定し、スピーカ１４に出力させる音声として、ドライバーの母国語と同乗者の母国語とを、出力する音声によって示す情報の種別に基づいて、切り替えて使用するようになっている。

このようになっていることで、ドライバーだけでなく、場合によってはドライバーと母国語が異なる同乗者に対しても、適切な母国語で状況を提供することが可能となる。また、発話する音声をドライバーの母国語と同乗者の母国語との間で適宜切り替えるので、状況に応じてドライバーの利便性を優先した音声出力および同乗者の利便性を優先した音声出力を使い分けることができる。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。

例えば、制御回路１７は、ステップ１２０において、各乗員の音声波形信号に基づいて、各乗員の性別を特定するようになっていてもよい。この場合、地図・音声データ取得部１６の記憶媒体には、女性用の音声の特徴情報と、男性用の音声の特徴情報とが記録されており、制御回路１７が、その特徴情報と各乗員の音声信号とを比較することで、各乗員の性別の特定を実現するようになっていてもよい。

そしてこの場合、制御回路１７は、ステップ１６０で、ドライバーの母国語をスピーカ１４に出力させる設定する場合は、ドライバーの性別と同じ性別のアナウンス用の発声データを使用する旨設定し、同乗者の母国語をスピーカ１４に出力させる設定する場合は、当該同乗者の性別と同じ性別のアナウンス用の発声データを使用する旨設定するようになっていてもよい。

また、制御回路１７は、上記実施形態においては、各乗員の母国語を、当該乗員の発した音声の信号に基づいて特定している。しかし、制御回路１７は、操作部１３に対する乗員による母国語指定のための操作に基づいて、ドライバーの母国語、および同乗者の母国語を特定するようになっていてもよい。

また、上記の実施形態において、制御回路１７がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。

また、上記実施形態においては、ナビゲーション装置は車載タイプのものであるが、ナビゲーション装置は、人が持ち運びできるタイプのものであってもよい。例えば、ナビゲーション装置の機能を有する携帯電話機やＰＤＡも、本発明の母国語発話装置に該当する。また、母国語発話装置は、必ずしもナビゲーション装置である必要はない。

本発明の一実施形態に係る車両用ナビゲーション装置１の構成図である。 制御回路１７が実行するプログラム１００のフローチャートである。

符号の説明

１ 車両用ナビゲーション装置
１１ 位置検出器
１２ 画像表示装置
１３ 操作部
１４ スピーカ
１５ マイクロフォン
１６ 地図・音声データ取得部
１７ 制御回路
１００ プログラム

Claims (5)

1. ユーザの母国語を特定する母国語特定手段（１４０、１５０）と、
   音声出力装置（１４）に出力させる音声として、特定された前記母国語に属する音声を選択する選択手段（１６０）と、を備えた母国語発話装置。
2. 当該母国語発話装置は車両に搭載され、
   前記母国語特定手段（１４０、１５０）は、前記車両のドライバーの母国語を特定すると共に、前記車両のドライバー以外の同乗者の母国語を特定し、
   前記選択手段（１６０）は、音声出力装置（１４）に出力させる音声として、前記ドライバーの母国語と前記同乗者の母国語とを、切り替えて使用することを特徴とする請求項１に記載の母国語発話装置。
3. ユーザの発した音声の国語種別を特定する国語種別特定手段（１３０）を備え、
   前記母国語特定手段（１４０、１５０）は、特定された前記国語種別に対する前記音声の訛りの特徴に基づいて、前記ユーザの母国語を特定することを特徴とする請求項１または２に記載の母国語発話装置。
4. 当該母国語発話装置は車両に搭載され、
   前記国語種別特定手段（１３０）は、前記車両内のドライバーが発したドライバー音声と、前記車両内の前記ドライバー以外の同乗者が発した同乗者音声のそれぞれを区別し、それぞれの音声について国語種別を特定し、
   前記母国語特定手段（１４０、１５０）は、特定された前記ドライバー音声の国語種別に対する前記ドライバー音声の訛りの特徴に基づいて、前記ドライバーの母国語を特定すると共に、特定された前記同乗者音声の国語種別に対する前記同乗者音声の訛りの特徴に基づいて、前記同乗者の母国語を特定し、
   前記選択手段（１６０）は、音声出力装置（１４）に出力させる音声として、前記ドライバーの母国語と前記同乗者の母国語とを、切り替えて使用することを特徴とする請求項３に記載の母国語発話装置。
5. ユーザの母国語を特定する母国語特定手段（１４０、１５０）、および
   音声出力装置（１４）に出力させる音声として、特定された前記母国語に属する音声を選択する選択手段（１６０）として、コンピュータを機能させるプログラム。

Images