JP2020160725A - 音声対話装置、入力装置及び出力装置 - Google Patents

Abstract

【課題】音声対話をスムーズなものとすることを可能にした音声対話装置、入力装置及び出力装置を提供する。【解決手段】音声対話装置１は、判定部１３と、ジェスチャ認識部１０と、停止部１４と、を含む。判定部１３は、ジェスチャ認識部１０の認識結果を基に、音声対話において音声入力や音声出力の一時停止のジェスチャを認識したか否かを判定する。停止部１４は、音声入力や音声出力の一時停止のジェスチャがあったと判定部１３によって判定された場合、音声入力や音声出力を一時停止する。【選択図】図１

Description

本発明は、音声によって対話する音声対話装置、入力装置及び出力装置に関する。

従来、人とコンピュータとが音声の対話を通じて意志を交換する音声対話装置が周知である（特許文献１等参照）。

特開２０１８−１８９９８４号公報

しかし、音声対話においての入力や出力は、一度開始されると途中で停止できない現状がある。このため、音声対話の利用者が音声対話とその他のタスクとを同時に実行している場合には、音声対話に必ずしも集中することができず、音声対話をスムーズなものとすることができない可能性があった。

本発明の目的は、音声対話をスムーズなものとすることを可能にした音声対話装置、入力装置及び出力装置を提供することにある。

前記問題点を解決する音声対話装置は、ユーザが身体を動かすことで示した動作の意図を認識する認識部の認識結果を基に、音声対話の動作を一時停止する旨の意思があったか否かを判定する判定部と、前記判定部での判定の結果、前記音声対話の動作を一時停止する旨の前記意思があったと判定された場合に、前記音声対話の動作を規定時間の間、停止する停止部とを備えた。

前記問題点を解決する入力装置は、ユーザが身体を動かすことで示した動作の意図を認識する認識部の認識結果を基に、音声対話の入力を一時停止する旨の意思があったか否かを判定する判定部と、前記判定部での判定の結果、前記音声対話の入力を一時停止する旨の前記意思があったと判定された場合に、前記音声対話の入力を規定時間の間、停止する停止部とを備えた。

前記問題点を解決する出力装置は、ユーザが身体を動かすことで示した動作の意図を認識する認識部の認識結果を基に、音声対話の出力を一時停止する旨の意思があったか否かを判定する判定部と、前記判定部での判定の結果、前記音声対話の出力を一時停止する旨の前記意思があったと判定された場合に、前記音声対話の出力を規定時間の間、停止する停止部とを備えた。

本発明によれば、ユーザの意思に沿った適切な音声対話を実行することができる。

一実施形態の音声対話装置の構成図。 カメラの配置例を示す例示図。 音声入力を一時停止する場合に実行されるフローチャート。 音声入力を一時停止するジェスチャを示す例示図。 音声出力を一時停止する場合に実行されるフローチャート。 音声出力を一時停止するジェスチャを示す例示図。 別例の検知部を示す例示図。 他の別例の入力装置の構成図。 他の別例の出力装置の構成図。

以下、音声対話装置、入力装置及び出力装置の一実施形態を図１〜図６に従って説明する。
図１に示すように、音声対話装置１は、運転者等の乗員と対話形式による意思交換を通じて、車両の運転を支援する。音声対話装置１は、運転者等の乗員と音声対話を通じて、運転に関する各種情報を音声提供したり、車載機器を制御したりするなどして、車両の運転を支援する。

音声対話装置１は、音声対話装置１の動作を制御するコントローラ２と、音を収音する集音部３と、音を出力する音出力部４とを備える。集音部３は、例えばマイクからなる。音出力部４は、例えば車載されたスピーカからなる。コントローラ２は、集音部３から入力した音声データＤａを基に、話し相手が話す内容を音声認識により理解し、それに対する応答として、音出力部４から音声ガイダンス等の音声出力を実行する。

コントローラ２は、集音部３から入力した音声データＤａを音声認識する音声認識部５と、音声認識の判定の際に用いる検索データが蓄積された検索データベース６と、音声認識の結果に応じた音声ガイダンスを出力するガイダンス出力部７とを備える。音声認識部５は、集音部３から音声データＤａを入力すると、この音声データＤａを検索データベース６に照らし合わせて音声データＤａを解析することにより、入力した音声を認識する。音声認識部５は、音声認識後、その音声認識結果をガイダンス出力部７に出力する。ガイダンス出力部７は、入力した音声認識結果を基に、それに応じた出力データＤｂを音出力部４に出力する。音出力部４は、入力した出力データＤｂを基に、音声認識結果に応じた音声ガイダンスを出力する。

音声対話装置１は、音声対話の機能を途中で停止させる機能、いわゆる動作一時停止機能を備える。これは、運転中の音声対話では、例えば運転に集中するあまり、音声ガイダンスを聞き逃したり、音声入力に詰まったりするなど、円滑な音声対話が難しい現状があるからである。

音声対話装置１は、運転者等の乗員が身体の一部を用いて行うジェスチャを認識するジェスチャ認識部１０を備える。ジェスチャ認識部１０は、コントローラ２に設けられている。ジェスチャ認識部１０は、運転者等の乗員の身体の動き検知可能な検知部１１から検知信号Ｓｔを入力し、この検知信号Ｓｔを基にジェスチャを認識する。

図２に示すように、検知部１１は、画像を撮影するカメラ１２を含む。カメラ１２は、例えば運転者を撮影し易い位置、例えば車両のインストルメントパネルの上面などに配置されることが好ましい。カメラ１２は、撮影した周囲の画像データＳｔ１をコントローラ２に出力する。ジェスチャ認識部１０は、例えばカメラ１２から入力する画像データＳｔ１を画像解析することにより、カメラ１２に写り込むジェスチャを認識する。

図１に戻り、音声対話装置１は、ユーザに音声対話の動作を一時停止する旨の意思があったか否かを判定する判定部１３を備える。判定部１３は、コントローラ２に設けられている。本例の判定部１３は、ユーザが身体を動かすことで示した動作の意図を認識する認識部１５の認識結果を基に、音声対話の動作を一時停止する旨の意思があったか否かを判定する。認識部１５は、ユーザの身体を通じた意思表示として身体の動きを認識するジェスチャ認識部１０であることが好ましい。また、判定部１３は、音声対話の入力と出力との両方において、これら動作を一時停止する旨のジェスチャがあったか否かを判定する。

音声対話装置１は、判定部１３の判定結果に基づき音声対話の動作を停止させる停止部１４を備える。停止部１４は、コントローラ２に設けられている。停止部１４は、判定部１３での判定の結果、音声対話の動作を一時停止する旨の意思があったと判定された場合に、音声対話の動作を規定時間の間、停止する。本例の停止部１４は、音声対話の入力と出力との両方において、これら動作を一時停止することが可能である。

停止部１４は、音声対話の動作を一時停止させている間、その停止の解除条件が満たされると、停止を解除する。音声入力の場合、停止の解除条件は、停止下における発話の再開であることが好ましい。また、音声出力の場合、停止の解除条件は、例えば音声ガイダンスを一時停止する際に行ったジェスチャと同じジェスチャの実行であることが好ましい。

次に、図３〜図６を用いて、本実施形態の音声対話装置１の作用について説明する。
図３に示すように、音声対話装置１は、システム起動の操作が実行されると、同図に示すフローチャートの実行を開始する。なお、システム起動は、例えば音声入力による開始指示や、運転席周辺に設けられたスイッチの操作や、カーナビゲーションシステムでの開始操作などがある。

ステップ１０１において、判定部１３は、発話を検知すると、音声対話の入力（以降、音声入力と記す）を一時停止すべきか否かの判定を開始する。なお、本例の判定部１３は、集音部３から入力する音声データＤａを基に発話を検知する。

ステップ１０２において、判定部１３は、ジェスチャ認識部１０の認識結果を基に、音声入力の一時停止のジェスチャを認識したか否かを判定する。本例の場合、ジェスチャ認識部１０は、例えば検知部１１としてのカメラ１２の画像データＳｔ１を監視することにより、運転者のジェスチャを認識する。そして、判定部１３は、この画像認識の認識結果を基に、音声入力の一時停止のジェスチャがあったか否かを監視する。

図４に示すように、音声入力の一時停止のジェスチャは、例えば「待って」と会話を遮る動作であることが好ましい。会話を遮る動作は、例えば手を広げて差し出す動作であることが好ましい。

図３に戻り、ステップ１０２において、音声入力の一時停止のジェスチャが認識されれば、ステップ１０３に移行する。一方、ステップ１０２において、音声入力の一時停止のジェスチャが認識されなければ、ステップ１０５に移行する。

ステップ１０３において、停止部１４は、音声入力の一時停止のジェスチャがあったと判定部１３によって判定された場合、音声入力を一時停止する。このため、運転に集中したいときなどの場合に、音声対話の入力を一時停止しておくことが可能となる。このとき、停止部１４は、集音部３であるマイクを起動させた状態を維持して、音声入力を一時停止する。こうすることで、音声入力の再検知を可能にする。

ステップ１０４において、停止部１４は、音声入力を一時停止している期間において発話を検知すると、音声入力の一時停止を解除する。すなわち、音声入力を一時停止している間に、運転者が音声入力を再開しようとして発話が行われると、音声入力の一時停止を解除する。これにより、音声入力を再開することが可能となる。なお、このときの発話は、音声入力を認識することができれば、どのような内容でもよい。

ステップ１０５において、音声対話装置１は、発話が終了したか否か、すなわち音声入力が終了したか否かを判定する。音声対話装置１は、発話終了と判定した場合、音声入力を終了し、発話がまだ終了していないと判定した場合、ステップ１０２に戻り、前述の処理を繰り返す。

音声認識部５は、音声入力された音声データＤａを基に検索データベース６を参照して、音声入力を解析する。そして、音声認識部５は、解析後の音声認識結果をガイダンス出力部７に出力する。ガイダンス出力部７は、音声認識部５から入力した音声認識結果を基に音出力部４を作動させて、音声ガイダンスを実行する。

図５に示すように、音声対話装置１は、音声ガイダンスの出力（以下、音声出力と記す）を音出力部４から実行する場合、同図に示すフローチャートの実行を開始する。
ステップ２０１において、判定部１３は、ジェスチャ認識部１０の認識結果を基に、音声出力の一時停止のジェスチャを認識したか否かを判定する。ジェスチャ認識部１０は、例えば検知部１１としてのカメラ１２の画像データＳｔ１を監視することにより、運転者のジェスチャを認識する。そして、判定部１３は、この画像認識の認識結果を基に、音声出力の一時停止のジェスチャがあったか否かを監視する。

図６に示すように、音声出力の一時停止のジェスチャは、例えば「静かに」と沈黙させることを促す動作であることが好ましい。沈黙させることを促す動作は、例えば人差し指を口元に立てる動作であることが好ましい。

図５に戻り、ステップ２０１において、音声出力の一時停止のジェスチャが認識されれば、ステップ２０２に移行する。一方、ステップ２０１において、音声出力の一時停止のジェスチャが認識されなければ、ステップ２０５に移行する。

ステップ２０２において、停止部１４は、音声出力の一時停止のジェスチャがあったと判定部１３によって判定された場合、音声ガイダンスを一時停止する。このため、運転に集中したいときなどの場合に、音声ガイダンスを一時停止しておくことが可能となる。

ステップ２０３において、判定部１３は、音声出力の一時停止解除のジェスチャを認識したか否かを判定する。一時停止解除のジェスチャは、例えば音声出力を一時停止したときと同様の動作であることが好ましい。判定部１３は、一時停止解除のジェスチャを認識した場合、ステップ２０４に移行する。一方、判定部１３は、一時停止解除のジェスチャを認識しなかった場合、ステップ２０２に戻り、音声出力を一時停止する状態を維持する。

ステップ２０４において、停止部１４は、音声出力の一時停止解除のジェスチャを認識した場合、音声ガイダンスを再開する。よって、途中で止めた音声ガイダンスの続きを再度聞くことが可能となる。

ステップ２０５において、音声対話装置１は、音声ガイダンスが終了したか否か、すなわち音声出力が終了したか否かを判定する。音声対話装置１は、音声ガイダンス終了と判定した場合、音声出力を終了し、音声ガイダンスがまだ終了していないと判定した場合、ステップ１０２に戻り、前述の処理を繰り返す。

上記実施形態の音声対話装置１によれば、以下のような効果を得ることができる。
音声対話装置１の判定部１３は、音声対話の動作時、ジェスチャ認識部１０の認識結果を基に、音声対話の動作を一時停止する旨の意思があったか否かを判定する。音声対話装置１の停止部１４は、動作を一時停止する旨の意思があったと判定部１３により判定された場合、音声対話の動作を規定時間の間、停止する。このため、運転者等のユーザが音声対話に集中できない場合には、音声対話をジェスチャによって一時停止し、その後、音声対話に集中できる環境が整った際に、音声対話の続きを実行することが可能となる。よって、音声対話をスムーズなものとすることができる。また、運転者は、運転の状況に応じた円滑な音声対話を実行することができる。運転者は、自身のペースに合わせて、音声対話の入力を行ったり、出力を聞いたりすることができる。

一時停止の対象とする音声対話の動作は、音声の入力である。停止部１４は、判定部１３での判定の結果、音声入力を停止する旨の意思があったと判定された場合に、音声の入力を規定時間の間、停止する。よって、ユーザの意思に沿って必要に応じ音声入力を一時停止の状態に適宜移行させることが可能となるので、音声入力時に他の作業に集中することができる。

一時停止の対象とする音声対話の動作は、音声の出力である。停止部１４は、判定部１３での判定の結果、音声出力を停止する旨の意思があったと判定された場合に、音声の出力を規定時間の間、停止する。よって、ユーザの意思に沿って必要に応じ音声出力を一時停止の状態に適宜移行させることが可能となるので、音声出力時に他の作業に集中することができる。

ジェスチャは、ユーザの身体の一部を用いた動きである。よって、ユーザの身体の動きを利用した分かり易い態様で、音声対話の動作を一時停止の状態に移行させることができる。

停止部１４は、音声対話の動作を一時停止させている期間に、停止の解除条件が満たされると、停止を解除する。よって、音声対話を規定のジェスチャにより停止状態としても、この停止状態を解除して、元の通常状態に復帰させることができる。

停止部１４は、判定部１３での判定の結果、音声対話の動作における停止を解除する意思があったと判定された場合を、停止の解除条件が満たされたものとする。よって、ユーザが身体を動かす簡便な操作により、一時停止した音声対話の動作を、元の状態に復帰させることができる。

なお、本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
［音声対話装置１について］
・図７に示すように、検知部１１は、車載されたステアリングホイール３１に設けられたタッチパッド３２でもよい。タッチパッド３２は、例えば静電容量方式や抵抗膜方式等の各種センサからなる。タッチパッド３２を用いたジェスチャには、例えばタッチパッド３２のタッチ操作の回数、タッチ操作のタイミング、タッチパッド３２の表面をなぞり操作する際の方向、及びこれらの組み合わせなどがある。このように、タッチパッド３２を指で操作する簡易的な手法により、音声対話の動作を一時停止させることができる。

・図８に示すように、動作一時停止機能は、例えば音声入力のみを実行する入力装置３５に適用されてもよい。入力装置３５は、例えば音声認識部５、検索データベース６、ジェスチャ認識部１０、判定部１３及び停止部１４を備える。また、この入力装置３５は、音声対話の入力装置に限定されず、他の機器や入力装置に使用されてもよい。このような入力装置３５にした場合、音声入力をユーザのジェスチャによって適宜一時停止できる入力装置３５を提供できるようになる。

・図９に示すように、動作一時停止機能は、例えば音声出力のみを実行する出力装置３６に適用されてもよい。出力装置３６は、例えばガイダンス出力部７、ジェスチャ認識部１０、判定部１３及び停止部１４を備える。また、この出力装置３６は、音声対話の出力装置に限定されず、他の機器や装置の出力装置に使用されてもよい。このような出力装置３６にした場合、音声出力をユーザのジェスチャによって適宜一時停止できる出力装置３６を提供できるようになる。

［音声対話について］
・音声対話は、音声のみをやり取りするコミュニケーションに限定されず、例えば身体の一部によるジェスチャを含んでもよい。

・音声対話は、既設の車載機器を用いてもよいし、車載品とは別の部品を用いた態様でもよい。
・音声対話は、例えばロボットと対話する形式としてもよい。このロボットは、擬人化されたもの、動物を模写したものなど、種々のデザインを適用できる。

［音声対話の動作を一時停止する意思について］
・音声対話の動作を一時停止するジェスチャは、顔の表情の変化や、頭部を左右に振るなど、種々の態様に変更してもよい。

・音声対話の動作を一時停止するジェスチャは、実施例に述べた形式に限定されず、一時停止を車両側に伝えることができる形式であればよい。
・音声対話の動作を一時停止するジェスチャは、音声を組み合わせた態様としてもよい。

・音声対話の動作を一時停止するジェスチャは、自由に登録や変更が可能な構成としてもよい。
［音声対話の一時停止について］
・音声対話を一時停止する規定時間は、一定時間に限定されず、一時停止からの復帰の方式に応じた種々の時間をとる。

・音声対話の一時停止は、音声対話の入力や出力を一旦停止する態様であればよく、音声対話装置１を構築する各種デバイスの動作状態を特に限定するものではない。
［一時停止の解除条件について］
・一時停止の解除条件は、例えば音声によって復帰を指示する態様でもよい。

・一時停止の解除条件は、例えば車両に設けられたスイッチ類を操作したり、車載されたセンサをタッチしたりする操作としてもよい。
・音声対話の一時停止は、規定時間の停止後、自動で元の通常状態に復帰してもよい。この場合、音声対話の動作を一時停止のまま放置してしまうことを防止することができる。

・音声対話が一時停止している際に、元の通常状態に復帰してもよいか音声等によりユーザにより確認し、ユーザが復帰を許可した場合に、元の通常状態に復帰するようにしてもよい。

［ユーザの身体を通じた意思表示について］
・ユーザの身体を通じた意思表示は、身体の身振り手振りであるジェスチャに限定されず、例えば音声による指示としてもよい。

・ユーザの身体を通じた意思表示は、例えば目線の動きなど、体自体には動きを持たせずに身体の一部を動かす態様を含む。
［認識部１５について］
・認識部１５は、ジェスチャ認識部１０に限定されず、例えば一時停止の条件として音声も監視する場合、音声認識部５を含んでもよい。

・認識部１５は、ジェスチャ認識部１０に代えて、音声認識部５としてもよい。
・認識部１５は、音声認識部５やジェスチャ認識部１０に限定されず、他の身体的な動きを認識できるものでもよい。

［その他］
・検知部１１は、車載された装置や部品に限定されず、例えば高機能携帯電話等の端末でもよい。この場合、例えば端末に設けられたカメラ機能やマイク機能を用いて、ユーザのジェスチャや音声を収集するとよい。

・音声対話装置１は、車両に使用されることに限定されず、他のシステムや機器に用いられてもよい。

１…音声対話装置、１０…ジェスチャ認識部、１３…判定部、１４…停止部、１５…認識部、３５…入力装置、３６…出力装置。

Claims (7)

1. ユーザが身体を動かすことで示した動作の意図を認識する認識部の認識結果を基に、音声対話の動作を一時停止する旨の意思があったか否かを判定する判定部と、
   前記判定部での判定の結果、前記音声対話の動作を一時停止する旨の前記意思があったと判定された場合に、前記音声対話の動作を規定時間の間、停止する停止部と
   を備えた音声対話装置。
2. 前記音声対話の動作は、音声の入力であり、
   前記停止部は、前記判定部での判定の結果、前記音声の入力を停止する旨の前記意思があったと判定された場合、前記音声の入力を規定時間の間、停止する
   請求項１に記載の音声対話装置。
3. 前記音声対話の動作は、音声の出力であり、
   前記停止部は、前記判定部での判定の結果、前記音声の出力を停止する旨の前記意思があったと判定された場合、前記音声の出力を規定時間の間、停止する
   請求項１又は２に記載の音声対話装置。
4. 前記停止部は、前記音声対話の動作を一時停止させている期間に、前記停止の解除条件が満たされると、前記停止を解除する
   請求項１〜３のうちいずれか一項に記載の音声対話装置。
5. 前記停止部は、前記判定部での判定の結果、前記音声対話の動作における停止を解除する前記意思があったと判定された場合を、前記停止の解除条件が満たされたものとする
   請求項４に記載の音声対話装置。
6. ユーザが身体を動かすことで示した動作の意図を認識する認識部の認識結果を基に、音声対話の入力を一時停止する旨の意思があったか否かを判定する判定部と、
   前記判定部での判定の結果、音声対話の入力を一時停止する旨の前記意思があったと判定された場合に、前記音声対話の入力を規定時間の間、停止する停止部と
   を備えた入力装置。
7. ユーザが身体を動かすことで示した動作の意図を認識する認識部の認識結果を基に、音声対話の出力を一時停止する旨の意思があったか否かを判定する判定部と、
   前記判定部での判定の結果、前記音声対話の出力を一時停止する旨の前記意思があったと判定された場合に、前記音声対話の出力を規定時間の間、停止する停止部と
   を備えた出力装置。