JP2019124835A - 発話者推定装置 - Google Patents

Abstract

【課題】発話者を精度良く推定する。【解決手段】発話者推定装置は、ユーザに話題を提供する提供手段（１１０）と、話題に対するユーザの発話の内容及び音声の特徴の少なくとも一方を取得する取得手段（１２０）と、発話の内容及び音声の特徴の少なくとも一方に基づいて、ユーザの特徴量を解析する解析手段（１３０）と、特徴量に基づいて、ユーザの個人属性を推定する推定手段（１４０）とを備える。【選択図】図２

Description

本発明は、発話者を推定する発話者推定装置の技術分野に関する。

この種の装置として、音声認識によって発話者を推定するものが知られている。例えば特許文献１では、音声認識と音声認証とを並列に行うことで、発話内容の認識と発話者の特定を並列に行うという技術が開示されている。特許文献２では、発話内容に特定のキーワードが含まれているか否かによって発話者の本人性を確認するという技術が開示されている。

その他の関連技術として、特許文献３では、スピーカから出力された発話内容に対する応答時間に基づいて、発話内容への興味の有無を判定するという技術が開示されている。特許文献４では、会話から抽出されたキーワードと、会話内容が入力された時のユーザの精神状態とに基づいて、ユーザの興味を判定するという技術が開示されている。特許文献５では、車両における着座位置、発話者及び会話内容に基づいて、乗員構成を推定するという技術が開示されている。

特開２０１６−０７１０５０号公報 特開２０１０−１０９６１８号公報 特開２０１７−１１１４９３号公報 特開２００９−２９４７９０号公報 特開２０１２−１３３５３０号公報

上述した特許文献１に記載されている技術では、音声認証（例えば、声紋データを利用した認証）を利用して発話者を特定している。しかしながら、音声認証のみでは、発話者を正確に特定することが難しい場合がある。即ち、上述した特許文献１を含む従来技術には、発話者を正確に特定するという点で精度向上の余地が十分に残されている。

本発明は、例えば上記問題点に鑑みてなされたものであり、発話者を精度良く推定することが可能な発話者推定装置を提供することを課題とする。

本発明に係る発話者推定装置の一態様では、ユーザに話題を提供する提供手段と、前記話題に対する前記ユーザの発話の内容及び音声の特徴の少なくとも一方を取得する取得手段と、前記発話の内容及び音声の特徴の少なくとも一方に基づいて、前記ユーザの特徴量を解析する解析手段と、前記特徴量に基づいて、前記ユーザの個人属性を推定する推定手段とを備える。

本実施形態に係る発話者推定装置の構成を示すブロック図である。 本実施形態に係る発話者推定装置の動作の流れを示すフローチャートである。 ユーザの語尾のパターンを解析するためのルールの一例を示す表である。 ユーザの会話の長さのパターンを解析するためのルールの一例を示す表である。 ユーザの言いよどみのパターンを解析するためのルールの一例を示す表である。 ユーザの単語の繰り返しのパターンを解析するためのルールの一例を示す表である。 特徴的な趣味と単語の分類パターンを解析するためのルールの一例を示す表である。 ＰＯＩと単語の分類パターンを解析するためのルールの一例を示す表である。 レストランと単語の分類パターンを解析するためのルールの一例を示す表である。 ユーザの感情表現を表す単語とスコアとの関係の一例を示す表である。 ユーザの発話した文章とスコアとの関係の一例を示す表である。 ユーザ照合処理の具体的な方法の一例を示す表である。

以下、図面を参照して発話者推定装置の実施形態について説明する。

＜装置構成＞
まず、本実施形態に係る発話者推定装置の構成について、図１を参照して説明する。図１は、本実施形態に係る発話者推定装置の構成を示すブロック図である。

図１に示すように、本実施形態に係る発話者推定装置は、ＥＣＵ（Ｅｌｅｃｔｉｒｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１００と、スピーカ２００と、マイク３００とを備えて構成されている。なお、発話者推定装置は、図示せぬ車両に搭載されており、車両のドライバを推定（特定）するための処理を実行する。

ＥＣＵ１００は、その機能を実現するための処理ブロックとして、話題提供部１１０、発話取得部１２０、特徴量解析部１３０、及びユーザ照合部１４０を備えている。

話題提供部１１０は、スピーカ２００を介して、車両のドライバに対して話題を提供することが可能に構成されている。即ち、話題提供部１１０は、車両のドライバと会話する機能を有している。話題提供部１１０は、ドライバを推定できていない段階では、無作為に話題を提供すればよい。一方、話題提供部１１０は、ドライバを推定した後では、ユーザが興味のある話題を提供してもよい。話題提供部１１０は、後述する付記における「提供手段」の一具体例である。

発話取得部１２０は、マイク３００を介して、車両のドライバの発話を取得することが可能に構成されている。より具体的には、発話取得部１２０は、車両のドライバの発話内容（即ち、どんな内容の話をしているのか）、及び音声の特徴（例えば、音声の速さ、音声の高さ、抑揚等）を取得する。発話取得部１２０で取得された発話内容及び音声の特徴は、特徴量解析部に出力される構成となっている。発話取得部１２０は、後述する付記における「取得手段」の一具体例である。

特徴量解析部１３０は、発話取得部１２０で取得された発話内容及び音声の特徴に基づいて、ユーザを推定するための特徴量を解析することが可能に構成されている。なお、特徴量解析部１３０が解析する特徴量及び具体的な解析方法については、後に詳述する。特徴量解析部１３０で解析された特徴量は、ユーザ照合部１４０に出力される構成となっている。特徴量解析部１３０は、後述する付記における「解析手段」の一具体例である。

ユーザ照合部１４０は、特徴量解析部１３０で解析された特徴量に基づいて、ユーザ照合処理を実行することが可能に構成されている。即ち、ユーザ照合部１４０は、現在の車両のドライバが誰であるのかの推定（特定）する機能を有している。ユーザ照合部１４０による照合結果は、その後のドライバに対する車両内サービスの提供（例えば、提供する話題の内容等）を決定するために用いられる。ユーザ照合部１４０は、後述する付記における「推定手段」の一具体例である。

＜動作の流れ＞
次に、本実施形態に係る発話者推定装置の動作の流れについて、図２を参照して説明する。図２は、本実施形態に係る発話者推定装置の動作の流れを示すフローチャートである。

図２に示すように、本実施形態に係る発話者推定装置の動作時には、まずドライバが乗車したか否かを判定する（ステップＳ１１）。ドライバが乗車していないと判定された場合（ステップＳ１１：ＮＯ）、所定期間後に再びステップＳ１１の処理が実行される。

ドライバが乗車していると判定された場合（ステップＳ１１：ＹＥＳ）、話題提供部１１０によるドライバとの会話をスタートする（ステップＳ１２）。会話がスタートとすると、話題提供部１１０は、ドライバに対して無作為に話題を提供する（ステップＳ１３）。

続いて、発話取得部１２０が、提供された話題に対するドライバの発話内容を取得する（ステップＳ１４）。その後、発話取得部１２０は、解析に十分な量の発話内容を取得したか否かを判定する（ステップＳ１５）。解析に十分な量の発話内容を取得していないと判定された場合（ステップＳ１５：ＮＯ）、発話取得部１２０は、ドライバの発話内容を取得する処理を続行する。或いは、新たな発話内容を取得するために、話題提供部１１０が、ドライバに対して別の話題を提供するようにしてもよい。

解析に十分な量の発話内容を取得していると判定された場合（ステップＳ１５：ＹＥＳ）、特徴量解析部１３０が、取得した発話内容に基づいて、ドライバを推定するための特徴量を解析する。具体的には、特徴量解析部１３０は、ドライバが応答に使うフレーズの解析（ステップＳ１６）、ドライバ応答に使う単語の解析（ステップＳ１７）、話題に対するドライバの感情の解析（ステップＳ１８）をそれぞれ実行する。なお、上記特徴量の具体的な解析方法については、後に詳述する。

上述したドライバの発話内容に基づく処理（即ち、ステップＳ１４〜ステップＳ１８）を行う一方で、発話取得部１２０は、提供された話題に対するドライバの音声の特徴も取得する（ステップＳ１９）。その後、発話取得部１２０は、解析に十分な量の音声の特徴を取得したか否かを判定する（ステップＳ２０）。解析に十分な量の音声の特徴を取得していないと判定された場合（ステップＳ２０：ＮＯ）、発話取得部１２０は、ドライバの音声の特徴を取得する処理を続行する。或いは、新たな発話内容を取得するために、話題提供部１１０が、ドライバに対して別の話題を提供するようにしてもよい。

解析に十分な量の音声の特徴を取得していると判定された場合（ステップＳ２０：ＹＥＳ）、特徴量解析部１３０が、取得した音声の特徴に基づいて、ドライバを推定するための特徴量を解析する。具体的には、特徴量解析部１３０は、提供した話題に対するユーザの声のトーンを解析する（ステップＳ２１）。なお、上記特徴量の具体的な解析方法については、後に詳述する。

特徴量解析部１３０が特徴量の解析を終了した後は、ユーザ照合部１４０が、解析結果として得られる特徴量に基づいて、ユーザ照合処理を実行する（ステプＳ２２）。即ち、現在の車両のドライバが誰なのかを推定するための処理を実行する。ユーザ照合処理の具体的な内容については、後に詳述する。

＜応答に使うフレーズの解析＞
次に、ユーザが応答によく使うフレーズの解析（即ち、図２のステップＳ１６の処理）について、図３から図６を参照して具体的に説明する。図３は、ユーザの語尾のパターンを解析するためのルールの一例を示す表である。図４は、ユーザの会話の長さのパターンを解析するためのルールの一例を示す表である。図５は、ユーザの言いよどみのパターンを解析するためのルールの一例を示す表である。図６は、ユーザの単語の繰り返しのパターンを解析するためのルールの一例を示す表である。

なお、応答に使うフレーズを解析するためのルールは、所定の特徴を示すパターン毎に事前に作成されている。また、作成したルールを機械学習することでモデルを作成してもよい。例えば、サポートベクターマシンを使用して分類モデルを作成して、正解データとして所定のパターンを予め分類し、決まった分類の中から特徴量を自動的に判定するようにしてもよい。或いは、学習データをＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して自動的に特徴量を出力するようにしてもよい。

図３に示すように、応答に使うフレーズの解析では、語尾のパターンを特徴量として解析してもよい。具体的には、「〜です」、「〜ます」等の丁寧語を１分以内に３回以上使うか否か、「〜じゃん」「〜だべ」等の方言を１分以内に３回以上使うか否か、「〜でしょ」、「〜だろ」等の簡易的な表現を１分以内に３回以上使うか否かを判定すればよい。

図４に示すように、応答に使うフレーズの解析では、会話の長さのパターンを特徴量として解析してもよい。具体的には、一人で同じ話題をひたすら話すか否か（１時間以内に１回５分の話を２回以上するか否か）、一人で番う話題をひたすら話すか否か（１時間以内に１回５分の話を２回以上するか否か）、簡潔に話すか否か（１回の話が２０秒程度か否か）を判定すればよい。なお、上記条件以外の場合には、一般平均であると判定すればよい。

図５に示すように、応答に使うフレーズの解析では、言いよどみのパターンを特徴量として解析してもよい。具体的には、「え〜」、を１分以内に３回以上使うか否か、「あの〜」を１分以内に３回以上使うか否か、どもることが１分以内に３回以上あるか否かを判定すればよい。

図６に示すように、応答に使うフレーズの解析では、単語の繰り返しのパターンを特徴量として解析してもよい。具体的には、「あれ」、「それ」等の指示語を１分以内に３回以上使うか否か、固有名詞（例えば、野球選手の名前や場所の名前等）を１分以内に３回以上使うか否か、「あいつ」、「そいつ」等の代名詞を１分以内に３回以上使うか否かを判定すればよい。なお、上記条件以外の場合には、一般平均であると判定すればよい。

＜応答に使う単語の解析＞
次に、ユーザが応答によく使う単語の解析（即ち、図２のステップＳ１７の処理）について、図７から図９を参照して具体的に説明する。図７は、特徴的な趣味と単語の分類パターンを解析するためのルールの一例を示す表である。図８は、ＰＯＩと単語の分類パターンを解析するためのルールの一例を示す表である。図９は、レストランと単語の分類パターンを解析するためのルールの一例を示す表である。

なお、応答に使う単語を解析するためのルールは、所定ジャンルの単語ごとに事前に作成されている。また、作成したルールを機械学習することでモデルを作成してもよい。例えば、サポートベクターマシンを使用して分類モデルを作成して、正解データとして所定のパターンを予め分類し、決まった分類の中から特徴量を自動的に判定するようにしてもよい。

図７に示すように、応答に使う単語の解析では、趣味に関する単語の使用回数から特徴量である趣味を判定してもよい。具体的には、野球選手の名前やチームの名前を１時間以内に５回以上使っている場合には、野球が趣味であると判定すればよい。サッカー選手の名前やチームの名前を１時間以内に５回以上使っている場合には、サッカーが趣味であると判定すればよい。ハイキングによく使われる場所の名前を１時間以内に５回以上使っている場合には、ハイキングが趣味であると判定すればよい。本の作品名１時間以内に５回以上使っている場合には、読書が趣味であると判定すればよい。旅行によく使われる場所の名前や観光名所を１時間以内に５回以上使っている場合には、旅行が趣味であると判定すればよい。

図８に示すように、応答に使う単語の解析では、ＰＯＩ（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）に関する単語の使用回数から特徴量であるＰＯＩを判定してもよい。具体的には、映画館の名前を１時間以内に５回以上使っている場合には、映画館がＰＯＩであると判定すればよい。博物館に展示されている作品の名前や、展覧会のジャンル名を１時間以内に５回以上使っている場合には、博物館がＰＯＩであると判定すればよい。

図９に示すように、応答に使う単語の解析では、レストランに関する単語の使用回数から特徴量であるレストランを判定してもよい。具体的には、イタリアンのレストランの名前や料理名を１時間以内に５回以上使っている場合には、イタリアンのレストランを特徴量として判定すればよい。和食のレストランの名前や料理名を１時間以内に５回以上使っている場合には、和食のレストランを特徴量として判定すればよい。

＜話題に対する感情の解析＞
次に、話題に対するユーザの感情の解析（即ち、図２のステップＳ１８の処理）について、図１０及び図１１を参照して具体的に説明する。図１０は、ユーザの感情表現を表す単語とスコアとの関係の一例を示す表である。図１１は、ユーザの発話した文章とスコアとの関係の一例を示す表である。

図１０に示すように、話題に対する感情を判定する際には、感情を表す単語にスコアを付け、そのスコアの合計値または平均値を用いて判定すればよい。具体的には、「すばらしい」という単語を使った場合には“＋２”、「最悪だ」という単語を使った場合には“−２”、「まあまあだね」という単語を使った場合には“＋１”というスコアをつければよい。なお、“＋”はポジティブな感情に対するスコア、“−”はネガティブな感情に対するスコアである。

図１１に示すように、話題に対する感情を判定する際には、文章の特徴を機械学習により学習して判定してもよい。例えば、文章に対して感情の正解値を付け、その結果をもとに機械学習を行い、モデルを作成すればよい。この時の学習ロジックは、例えばサポートベクターマシンやＤＮＮを用いればよい。このようなモデルによれば、例えば「昨日の○○○はすごかったね」という文章を使った場合に、“＋２”のスコアが付けられる。「昨日食べたパスタは最悪だったわ」という文章を使った場合に、“−２”のスコアが付けられる。「今日の□□□はなかなかいいね」という文章を使った場合に、“＋１”のスコアが付けられる。

＜話題に対するトーンの解析＞
次に、話題に対するユーザの声のトーンの解析（即ち、図２のステップＳ２１の処理）について具体的に説明する。

なお、声のトーンを解析するためのルールは、音声の特徴に基づいて事前に作成されている。また、作成したルールを機械学習することでモデルを作成してもよい。例えば、サポートベクターマシンを使用して分類モデルを作成して、正解データとして所定のパターンを予め分類し、決まった分類の中から特徴量を自動的に判定するようにしてもよい。

より具体的には、話題に対するトーンの解析では、音声の速さ、音声の高さ（周波数）、抑揚等に基づいて、声のトーンがポジティブであるか又はネガティブであるかを判定すればよい。例えば、音声が速く、且つ高い場合には、ポジティブなトーンであると判定すればよい。また、音声が遅く、且つ低い場合には、ネガティブなトーンであると判定すればよい。

＜ユーザ照合処理＞
次に、ユーザ照合処理（即ち、図２のステップＳ２２の処理）について、図１２を参照して具体的に説明する。図１２は、ユーザ照合処理の具体的な方法の一例を示す表である。

ユーザ照合処理は、上述した解析処理の結果として得られた特徴量の組み合わせを利用して、判定器を作成して行えばよい。なお、判定器を作成する場合には機械学習を行ってもよい。

図１４に示す判定器を用いる場合には、よく使うフレーズのパターンが「丁寧語をよく使う」であり、よく話す話題が「野球」であり、よく話す単語が「野球選手名」であり、よく話す話題の感情が「ポジティブ」であり、話題のトーンが「ポジティブ」である場合に、ユーザパターンは“Ａ”であると判定される。よく話す話題が「サッカー」であり、よく話す単語が「サッカー選手名」であり、よく話す話題の感情が「ネガティブ」であり、話題のトーンが「ポジティブ」である場合には、ユーザパターンは“Ｂ”であると判定される。よく使うフレーズのパターンが「簡易表現が多い」であり、よく話す話題が「読書」であり、よく話す単語が「作品名」であり、よく話す話題の感情が「ポジティブ」であり、話題のトーンが「暗い（ネガティブ）」である場合には、ユーザパターンは“Ｃ”であると判定される。

以上説明したように、本実施形態に係る発話者推定装置によれば、ドライバの発話内容及び音声の特徴から解析された複数の特徴量に基づいて、ユーザパターン（即ち、ドライバが誰であるのか）が推定される。よって、現在の車両のドライバ（即ち、発話者）が誰であるのかを、極めて高い精度で推定することが可能である。

＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。

（付記１）
付記１に記載の発話者推定装置は、ユーザに話題を提供する提供手段と、前記話題に対する前記ユーザの発話の内容及び音声の特徴の少なくとも一方を取得する取得手段と、前記発話の内容及び音声の特徴の少なくとも一方に基づいて、前記ユーザの特徴量を解析する解析手段と、前記特徴量に基づいて、前記ユーザの個人属性を推定する推定手段とを備える。

付記１に記載の発話者推定装置によれば、提供した話題に対するユーザの発話の内容及び音声の特徴の少なくとも一方に基づいて、ユーザの特徴量が解析される。そして、解析された特徴量に基づいて、ユーザの個人属性が推定される。なお、「特徴量」とは、ユーザの個人属性を推定するためのパラメータであり、例えばユーザがよく使うフレーズや単語に関する情報、提供された話題に対するユーザの感情や声のトーン等を含んでいる。「個人属性」とは、ユーザ個人を特定するための属性情報であり、例えばユーザの本人性（本人らしさ）を示す情報である。

上述した構成によれば、ユーザ（即ち、発話者）の発話から解析される特徴量に基づいて個人属性が推定されるため、単に音声認証等でユーザの個人属性を推定する場合と比べると、より高い精度でユーザを推定（言い換えれば、特定）することが可能である。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う発話者推定装置もまた本発明の技術的範囲に含まれるものである。

１００ ＥＣＵ
１１０ 話題提供部
１２０ 発話取得部
１３０ 特徴量解析部
１４０ ユーザ照合部
２００ スピーカ
２００ マイク

Claims (1)

1. ユーザに話題を提供する提供手段と、
   前記話題に対する前記ユーザの発話の内容及び音声の特徴の少なくとも一方を取得する取得手段と、
   前記発話の内容及び音声の特徴の少なくとも一方に基づいて、前記ユーザの特徴量を解析する解析手段と、
   前記特徴量に基づいて、前記ユーザの個人属性を推定する推定手段と
   を備えることを特徴とする発話者推定装置。