JP2020091636A - 音声対話装置の制御方法 - Google Patents

音声対話装置の制御方法 Download PDF

Info

Publication number
JP2020091636A
JP2020091636A JP2018228065A JP2018228065A JP2020091636A JP 2020091636 A JP2020091636 A JP 2020091636A JP 2018228065 A JP2018228065 A JP 2018228065A JP 2018228065 A JP2018228065 A JP 2018228065A JP 2020091636 A JP2020091636 A JP 2020091636A
Authority
JP
Japan
Prior art keywords
subject
voice
gaze
target person
voice interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018228065A
Other languages
English (en)
Inventor
加来 航
Ko Kako
航 加来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018228065A priority Critical patent/JP2020091636A/ja
Publication of JP2020091636A publication Critical patent/JP2020091636A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】対象者を驚かせたり不快にさせてしまったりする可能性を低減しつつ、対象者が推奨される行動を行うよう促すことができる音声対話装置を提供する。【解決手段】音声により対象者との対話を行う音声対話装置は、対象者の視線を検知する視線検知部と、視線検知部からの情報に基づいて、対象者が音声対話装置に対して視線を向けている程度の指標である注視度合いが所定の水準より高いか否かを判定する注視判定部と、注視度合いが所定の水準より高い場合、推奨される行動を対象者が実行するよう対象者に促し、注視度合いが所定の水準より低い場合、対象者に対して音声対話装置に注意を向けさせるための働きかけを行う注意喚起部と、を備える。【選択図】図2

Description

本発明は、音声対話装置の制御方法に関する。
音声認識や言語処理を行うことで対象者(ユーザ)と音声により対話を行う音声対話装置が知られている。特許文献1には、対象者のアクションを示すデータを取得し、対象者に対して出力される情報に向けられる注意度の期待値を算出し、これに基づき、対象者への応答や表示を介した情報提供を行う対話装置が開示されている。
特開2015−132878号公報
介護現場において、対象者に対して問いかけを行い、対象者が推奨される行動を行うよう促すことが、寝たきり状態になるのを防止する上で極めて有効であることが分かってきた。このため、介護現場において、上述した音声対話装置を導入し、当該音声対話装置により対象者に対して問いかけを行わせるようにする試みがなされている。しかしながら、音声対話装置が対象者に対して問いかけした際に、対象者の意識が音声対話装置には向いていない場合、不意に問いかけをされた対象者を驚かせてしまったり、不快にさせてしまったりする恐れがあった。
本発明は、以上の背景に鑑みなされたものであり、対象者を驚かせたり不快にさせてしまったりする可能性を低減しつつ、対象者が推奨される行動を行うよう促すことができる音声対話装置を提供することを目的とする。
本発明の一実施態様に係る音声対話装置の制御方法は、対象者の視線を検知する視線検知部を備え、前記対象者に対して問いかけを行い、前記対象者が推奨される行動を行うように促す音声対話装置の制御方法であって、前記視線検知部からの情報に基づいて、前記対象者が前記音声対話装置に対して視線を向けている程度の指標である注視度合いが所定の水準より高いか否かを判定する第1のステップと、前記注視度合いが前記所定の水準より高い場合、推奨される行動を前記対象者が実行するよう前記対象者に促し、前記注視度合いが前記所定の水準より低い場合、前記対象者に対して前記音声対話装置に注意を向けさせるための働きかけを行う第2のステップと、を有し、前記第2のステップの後、前記第1のステップを再度行うものである。
このように、対象者の注視度合いが高くなるように働きかけた後で再度、対象者の注視度合いを判定することで、対象者を驚かせたり不快にさせてしまったりする可能性を低減し、より効率的に対象者が推奨される行動を行うよう促すことができる。
本発明によれば、対象者を驚かせたり不快にさせてしまったりする可能性を低減しつつ、対象者が推奨される行動を行うよう促すことができる。
本実施の形態に係る音声対話装置の概観図である。 本実施の形態に係る音声対話装置のシステム構成図である。 本実施の形態に係る音声対話装置が対象者に対し声かけする方法について説明する模式図である。 対象者にとって推奨される行動の計画の一例を示す模式図である。 本実施の形態に係る音声対話装置における対象者に対し声かけする処理の流れを示すフローチャートである。 外部装置の構成の一例を示す模式図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図1は、本実施の形態に係る音声対話装置100の概観図である。音声対話装置100は、対象者(ユーザ)に対して問いかけを行い、対象者が推奨される行動を行うように促すロボットである。音声対話装置100は、キャラクターを具現化したキャラクター装置であり、対話に合わせて眼の表情や視線方向が変化する。
音声対話装置100は、外観として動物を模しており、胴体部110と頭部120を有する。胴体部110の内部には、モータ111が設けられており、頭部120は、モータ111の駆動により、胴体部110に対して向きが変化する。頭部120には、対象者が眼と認識できる位置に、眼球部122が設けられている。眼球部122の背後には、例えば液晶パネルや有機ELパネルである表示パネル106が設置されている。表示パネル106には、黒目画像161が映し出される。
音声対話装置100の鼻の位置には、カメラ102が目立たないように配置されている。カメラ102は、例えばCMOSセンサを含み、外部環境を認識するための画像を取得する撮像部として機能する。音声対話装置100の口の位置には、スピーカ109が隠されて配置されている。スピーカ109は、音声対話装置100が生成した音声を発する発話出力部として機能する。対象者は、口の位置から出力される音声に、音声対話装置100が喋っているような感覚を覚える。また、頭部120のいずれかの位置には、マイク101が隠されて配置されている。マイク101は、対象者の発話音声を検出する検出部としての機能を担う。
図2は、音声対話装置100のシステム構成図である。音声対話装置100は、主なシステム構成として、マイク101、カメラ102、表示パネル106、スピーカ109、モータ111、制御部200、および応答音声DB310を備えている。制御部200は、例えばCPUによって構成され、機能ごとの実行を担う機能実行部としても動作し、主に、発話認識部201、顔認識部202、視線制御部203、表示制御部204、モータ制御部205、音声選択部206、発話制御部207、視線検知部208、注視判定部209、及び注意喚起部210として動作する。
マイク101は、主な機能として、音声対話装置100が対話する相手である対象者の発話音声を集音する。マイク101は、集音した対象者の発話音声を音声信号に変換して、発話認識部201へ引き渡す。
発話認識部201は、マイク101から受け取った音声信号を解析して対象者の発話を認識する。発話認識部201は、マイク101と協働して、音声対話装置100へ向かって話しかける対象者の発話を取得する発話取得部としての機能を担う。発話認識部201は、具体的には、一般的な音声認識技術により対象者の発話内容を認識する。発話認識部201は、認識した発話内容を音声選択部206へ引き渡す。
音声選択部206は、発話認識部201で認識された対象者の発話内容に対して会話としてふさわしいセンテンスを選択し、選択したセンテンスに応じた発話データを応答音声DB310から収集して、発話制御部207へ引き渡す。また、音声選択部206は、注意喚起部210からの指示により、対象者に対し、対象者が推奨される行動を行うように促す“問いかけ”を行うためのセンテンスを選択する。さらに、音声選択部206は、注意喚起部210からの指示により、対象者に対して音声対話装置に注意を向けさせる“呼びかけ”を行うためのセンテンスを選択する。応答音声DB310は、音声選択部206に接続されている応答音声のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答音声DB310は、例えばコーパスとして体系化されており、個々の用語は、再生可能な発話データを伴って格納されている。
発話制御部207は、受け取った発話データを音声信号に変換してスピーカ109へ引き渡す。音声選択部206と発話制御部207は、互いに協働して、対象者の発話内容に基づいて応答音声を生成する音声生成部としての機能を担う。スピーカ109は、発話制御部207で変換された音声信号を受け取って、応答音声を音声出力する。
発話認識部201は、対象者が発話を始めたタイミングを視線制御部203へ引き渡す。また、発話制御部207は、応答音声を音声出力するタイミングを視線制御部203へ引き渡す。視線制御部203は、これらのタイミング情報に同期させて、視線方向の調整を実行する。
カメラ102は、主な機能として、音声対話装置100と対話を取る対象者を撮影する。カメラ102は、撮影した画像を画像信号に変換して、顔認識部202へ引き渡す。
顔認識部202は、カメラ102から受け取った画像信号を解析して対象者の顔を認識する。顔認識部202は、抽出した顔領域中から、対象者の基準方向を決定する。基準方向は、音声対話装置100から、例えば対象者の両目を結ぶ中点へ向かう方向である。基準方向は、三次元空間におけるベクトルで表されるので、基準方向を定めるためには、音声対話装置100から対象者の顔までの距離情報が必要である。距離情報は、例えばカメラ102がステレオカメラで構成される場合には画像間のズレ量から算出することができ、赤外線にも感度を有するカメラで構成される場合には投光した赤外線パターンの歪みから算出することができる。なお、距離情報を取得する手法は、音声対話装置100の仕様に応じて公知技術を任意に選択することができる。
視線制御部203は、発話認識部201、発話制御部207から受け取ったタイミング、あるいはその他のタイミングに同期して、視線方向を顔認識部202から受け取った基準方向へ向ける制御を行う。つまり、視線制御部203は、視線方向を基準方向に一致させるために、黒目画像161の位置を変化させる変化量と、頭部120の向きを変化させる変化量を決定し、それぞれを表示制御部204とモータ制御部205へ引き渡す。
表示制御部204は、視線制御部203から受け取った黒目画像161の位置の変化量に従って、表示パネル106上で黒目画像161の位置を移動させる。表示制御部204は、受け取った変化量の大きさ、すなわち黒目画像161を移動させる距離に応じて、中間的な表示画像を段階的に生成し、アニメーションとして黒目画像161を表示すると良い。モータ制御部205は、視線制御部203から受け取った頭部120の向きの変化量に従って、モータ111を駆動する。
視線検知部208は、対象者の視線を検知する。具体的には、顔認識部202においてカメラ102の撮像した画像の信号を解析することによって認識した対象者の顔から目を抽出し、対象者の視線方向を推定する。対象者の視線方向を推定する手法は、例えば、三次元眼球モデルに基づく手法や、眼球の見えに基づく手法などの公知技術を用いることができる。三次元眼球モデルに基づく手法では、楕円当てはめ、エッジ検出により虹彩や瞳孔の位置を推定し、三次元眼球モデルとのフィッティングを行うことによって視線方向を推定する。眼球の見えに基づく手法では、画像から眼の虹彩の検出は行わず、様々な方向を見ている眼領域の画像を大量に集め、その輝度値の分布を学習することで視線方向を推定する。輝度値の分布の学習には、例えばニューラルネットワークを用いる。
注視判定部209は、視線検知部208からの情報に基づいて注視度合い(Attention Level)が所定の水準より高いか否かを判定する。ここで、注視度合いは、対象者が音声対話装置に対して視線を向けている程度の指標であり、例えば、所定の期間に、対象者が音声対話装置に対して視線を向けている時間の長さである。つまり、所定の期間に、対象者が音声対話装置に対して視線を向けている時間の長さが、予め定めた閾値以上である場合に注視度合いが所定の水準より高いと判定し、予め定めた閾値未満である場合に注視度合いが所定の水準より低いと判定する。これにより、対象者の注視度合いを客観的に判断することができる。
注意喚起部210は、注視度合いが所定の水準より高い場合、対象者に対して”問いかけ“を行い、推奨される行動を実行するよう対象者に促し、注視度合いが所定の水準より低い場合、対象者に対してロボットに注意を向けさせるための働きかけを行う。ここで、対象者に対して音声対話装置に注意を向けさせるための働きかけは、例えば対象者に対して“呼びかけ”を行うことである。注意喚起部210は、推奨される行動を実行するよう対象者に促す“問いかけ”を行う場合、音声選択部206に対して、“問いかけ”を行うためのセンテンスを選択するよう指示する。また、注意喚起部210は、対象者に対して音声対話装置に注意を向けさせる“呼びかけ”を行う場合、音声選択部206に対して、“呼びかけ”を行うためのセンテンスを選択するよう指示する。
図3は、音声対話装置100が対象者に対し声かけする方法について説明する模式図である。ここで、“声かけ”には、対象者に対し、推奨される行動を前記対象者が実行するように即すための“問いかけ”と、対象者の注意を音声対話装置100に向けさせるための“呼びかけ”が含まれる。図3の上段に示すように、対象者Tは読書中であり、対象者Tの視線S1は、本に向けられており、音声対話装置100には向けられていない。このように、対象者Tの注視度合いが所定の水準より低い場合には、対象者Tに対し、いきなり問いかけを行わず、まず、「ねぇねぇ、Tさん。」といった呼びかけを行う。
そして、呼びかけを行うことにより、図3の下段に示すように、対象者Tの視線S2は、音声対話装置100に向けられる。図3の下段に示す状態のように、対象者Tの音声対話装置100に対する注視度合いが所定の水準よりも高い場合には、音声対話装置100は、「15:00からのレクリエーションに参加しませんか?」といった問いかけを行い、対象者Tが推奨される行動を行うように促す。対象者の注意が音声対話装置に向いていない場合に、対象者に対し呼びかけを行うと、対象者の注意を音声対話装置に向けさせることができる。これにより、音声対話装置に対する対象者の注視度合いを所定の水準より高くすることができる。
このように、音声対話装置100は、対象者に対して問いかけを行う前に、注視度合いが所定の水準より高いか低いかを判定する。そして、注視度合いが所定の水準より高い場合には、対象者に対し、推奨される行動を前記対象者が実行するように即すための問いかけを行う。一方、注視度合いが所定の水準より低い場合には、まず、対象者に対して呼びかけを行い、対象者の注視度合いが所定の水準より高くなってから上述した問いかけを行うようにする。これにより、対象者を驚かせたり不快にさせてしまったりする可能性を低減することができる。
音声対話装置100は、対象者が推奨される行動を行うように促す問いかけを行うために、対象者にとって推奨される行動の計画を把握している必要がある。図4は、対象者にとって推奨される行動の計画の一例を示す模式図である。図4に示すように、対象者のその日の予定が、時刻に推奨される行動が対応した一覧表になっている。例えば、時刻15:00における、対象者にとって推奨される行動は、レクリエーションまたは入浴である。なお、対象者にとって推奨される行動の計画は、音声対話装置100に内蔵されたメモリなどに予め格納され、注意喚起部210において適宜参照される。
次に、音声対話装置100における対象者に対し声かけする処理の流れについて説明する。なお、以下の説明では、図1についても適宜参照する。
図5は、音声対話装置100における対象者に対し声かけする処理の流れを示すフローチャートである。図5に示すように、まず、対象者にとって推奨される行動の計画の確認を行う(ステップS101)。ここで、対象者の推奨される行動とは、例えば、対象者が介護施設の入居者であれば、起床する、朝昼晩の食事をしに食堂へ行く、日課の体操を行う、レクリエーションに行く、入浴に行くなどである。対象者にとって推奨される行動の計画とは、例えば図4の一覧表に示されるような対象者のその日の予定である。続いて、現状把握を行う(ステップS102)。ここで、現状把握とは、現時刻の確認と対象者の状態の確認をすること、つまり、現時刻は昼寝時間など声かけしてはいけない時間に当たるか、対象者が電話中などの声かけをしてはいけない状態にあるか、を確認することである。
続いて、対象者の推奨される行動のうち、開始条件を満たす最優先の行動を選択する(ステップS103)。ここで、開始条件を満たすとは、行動の開始予定時刻(または、行動を行うのに推奨される時刻)と現時刻との時間差が所定時間以内であり、かつ、対象者が声かけしてもよい状態にある場合である。開始条件を満たす行動が複数ある場合は、対象者の推奨される行動の計画において予め定められた優先順位の最も高い(最優先の)行動を選択する。例えば、15:00において対象者の推奨される行動がレクリエーションまたは入浴である場合に、対象者の体調などの諸事情を考慮して、レクリエーションの方が推奨されるのであれば、レクリエーションを選択するようにする。
続いて、対象者が今、実行すべき行動があるかないかを判定する(ステップS104)。すなわち、ステップS103の処理で選択された行動があったか否かを判定する。ステップS104において、実行すべきタスクがないと判定された場合、サーボを停止して待機状態とし(ステップS105)、処理をステップS102に戻す。
ステップS104において、実行すべきタスクがあると判定された場合、対象者が音声対話装置100に対して視線を向けている程度の指標である注視度合いを取得する(ステップS106)。続いて、注視度合いが所定の水準より高いか否かを判定する(ステップS107)。ステップS107において、注視度合いが所定の水準より高い場合、対象者に対して推奨される行動を行うよう即す問いかけを行う(ステップS108)。ステップS107において、注視度合いが所定の水準より低い場合、前記対象者に対して音声対話装置に注意を向けさせるための働きかけを行い(ステップS109)、処理をステップS106に戻す。
[変形例1]
図2に示す注視判定部209において、注視度合いの判定は、音声対話装置100の外部にある外部装置に設置されたカメラによる撮像画像に基づいて行うようにしてもよい。図6は、外部装置500の構成の一例を示す模式図である。図6に示すように、外部装置500は居室の天井に設置されている。外部装置500には、カメラ510が設置されている。また、外部装置500と音声対話装置100とは、無線通信を行うための無線ルータ520、530を介して接続されている。カメラ510は、撮影した画像を画像信号に変換し、無線ルータ520、530を介して画像データを音声対話装置100(具体的には、図2に示す制御部200の顔認識部202)へ引き渡す。外部装置500は、音声対話装置100よりも設置の自由度が高い。例えば外部装置500を居室の天井に設置すれば、カメラ510は居室内の広い範囲の撮像が可能になる。このため、対象者Tが音声対話装置100のカメラ102の死角となる位置にいる場合でも、外部装置500のカメラ510により対象者Tの画像を良好に撮像することができる。このように、注視度合いの判定を、外部装置500に設置されたカメラ510による撮像画像に基づいて行うようにすると、音声対話装置100に内蔵されたカメラ102による撮像画像に基づいて行うよりも注視度合いの判定を精度良く行うことができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上記実施の形態では、対象者に対して音声対話装置に注意を向けさせるための働きかけを呼びかけにより行ったが、これに限るものではない。例えば、音声対話装置が、光を点滅させることが可能な発光部(例えばパトランプ)をさらに備え、対象者に対して音声対話装置に注意を向けさせるための働きかけを、発光部を点滅させることにより行うようにしてもよい。対象者の注意が音声対話装置に向いていない場合に、発光部を点滅させると、対象者の注意を音声対話装置に向けさせることができる。
本発明にかかる、対象者に対し声かけする処理は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、制御装置、音声対話装置、音声認識サーバのいずれか一つが備えるコンピュータにおいて、プログラムメモリに格納されたプログラムを主記憶装置にロードし、CPUの制御によって当該プログラムを実行して実現する。ここで、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
音声により対象者との対話を行う音声対話装置であって、
前記対象者の視線を検知する視線検知部と、
前記視線検知部からの情報に基づいて、前記対象者が前記音声対話装置に対して視線を向けている程度の指標である注視度合いが所定の水準より高いか否かを判定する注視判定部と、
前記注視度合いが前記所定の水準より高い場合、推奨される行動を前記対象者が実行するよう前記対象者に促し、前記注視度合いが前記所定の水準より低い場合、前記対象者に対して前記音声対話装置に注意を向けさせるための働きかけを行う注意喚起部と、を備える音声対話装置。
(付記2)
前記注視度合いは、所定の期間に、前記対象者が前記音声対話装置に対して視線を向けている時間の長さである、付記1に記載の音声対話装置。
(付記3)
前記対象者に対して前記音声対話装置に注意を向けさせるための働きかけは、前記対象者に対して呼びかけを行うことである、付記1に記載の音声対話装置。
(付記4)
光を点滅させることが可能な発光部をさらに備え、
前記対象者に対して前記音声対話装置に注意を向けさせるための働きかけは、前記発光部を点滅させることである、付記1に記載の音声対話装置。
(付記5)
前記注視判定部において、前記注視度合いの判定は、前記音声対話装置の外部にある外部装置に設置されたカメラによる撮像画像に基づいて行う、付記1に記載の音声対話装置。
(付記6)
対象者の視線を検知する視線検知部を備え、前記対象者に対して問いかけを行い、前記対象者が推奨される行動を行うように促す音声対話装置の制御プログラムであって、
前記視線検知部からの情報に基づいて、前記対象者が前記音声対話装置に対して視線を向けている程度の指標である注視度合いが所定の水準より高いか否かを判定するステップと、
前記注視度合いが前記所定の水準より高い場合、推奨される行動を前記対象者が実行するよう前記対象者に促し、前記注視度合いが前記所定の水準より低い場合、前記対象者に対して前記音声対話装置に注意を向けさせるための働きかけを行うステップと、をコンピュータに実行させる音声対話装置の制御プログラム。
付記1では、音声対話装置は、対象者に対して問いかけを行う前に、注視度合いが所定の水準より高いか低いかを判定する。そして、注視度合いが所定の水準より高い場合には、対象者に対し、推奨される行動を前記対象者が実行するように即すための問いかけを行う。一方、注視度合いが所定の水準より低い場合には、まず、対象者に対して音声対話装置に注意を向けさせるための働きかけを行い、対象者の注視度合いが所定の水準より高くなってから上述した問いかけを行うようにする。これにより、対象者を驚かせたり不快にさせてしまったりする可能性を低減することができる。
また、付記2により、対象者の注視度合いを客観的に判断することができる。
付記3により、対象者の注意が音声対話装置に向いていない場合に、対象者に対し「ねぇねぇ」といった呼びかけを行うと、対象者の注意を音声対話装置に向けさせることができる。これにより、音声対話装置に対する対象者の注視度合いを所定の水準より高くすることができる。
付記4により、対象者の注意が音声対話装置に向いていない場合に、発光部を点滅させると、対象者の注意を音声対話装置に向けさせることができる。これにより、音声対話装置に対する対象者の注視度合いを所定の水準より高くすることができる。
付記5について、外部装置は、音声対話装置よりも設置の自由度が高い。例えば外部装置を居室の天井に設置すれば、外部装置に設置されたカメラは居室内の広い範囲の撮像が可能になる。このため、対象者が音声対話装置に設けられたカメラの死角となる位置にいる場合でも、外部装置に設置されたカメラにより対象者の画像を良好に撮像することができる。付記5のように、注視度合いの判定を、外部装置に設置されたカメラによる撮像画像に基づいて行うようにすると、音声対話装置に設置されたカメラによる撮像画像に基づいて行うよりも注視度合いの判定を精度良く行うことができる可能性を高めることができる。
付記6により、対象者を驚かせたり不快にさせてしまったりする可能性を低減しつつ、対象者が推奨される行動を行うよう促すことができる。
100 音声対話装置
101 マイク
102、510 カメラ
106 表示パネル
109 スピーカ
110 胴体部
111 モータ
120 頭部
122 眼球部
161 黒目画像
200 制御部
201 発話認識部
202 顔認識部
203 視線制御部
204 表示制御部
205 モータ制御部
206 音声選択部
207 発話制御部
208 視線検知部
209 注視判定部
210 注意喚起部
500 外部装置
520、530 無線ルータ

Claims (1)

  1. 対象者の視線を検知する視線検知部を備え、前記対象者に対して問いかけを行い、前記対象者が推奨される行動を行うように促す音声対話装置の制御方法であって、
    前記視線検知部からの情報に基づいて、前記対象者が前記音声対話装置に対して視線を向けている程度の指標である注視度合いが所定の水準より高いか否かを判定する第1のステップと、
    前記注視度合いが前記所定の水準より高い場合、推奨される行動を前記対象者が実行するよう前記対象者に促し、前記注視度合いが前記所定の水準より低い場合、前記対象者に対して前記音声対話装置に注意を向けさせるための働きかけを行う第2のステップと、を有し、
    前記第2のステップの後、前記第1のステップを再度行う、音声対話装置の制御方法。
JP2018228065A 2018-12-05 2018-12-05 音声対話装置の制御方法 Withdrawn JP2020091636A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018228065A JP2020091636A (ja) 2018-12-05 2018-12-05 音声対話装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018228065A JP2020091636A (ja) 2018-12-05 2018-12-05 音声対話装置の制御方法

Publications (1)

Publication Number Publication Date
JP2020091636A true JP2020091636A (ja) 2020-06-11

Family

ID=71012873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018228065A Withdrawn JP2020091636A (ja) 2018-12-05 2018-12-05 音声対話装置の制御方法

Country Status (1)

Country Link
JP (1) JP2020091636A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017582A1 (ja) * 2021-08-11 2023-02-16 日本電信電話株式会社 音声生成方法、音声生成装置および音声生成プログラム
WO2023238339A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 音声生成方法、音声生成装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113875A (ja) * 2006-11-06 2008-05-22 Advanced Telecommunication Research Institute International コミュニケーション誘発システム
US20170242478A1 (en) * 2016-02-18 2017-08-24 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
JP2017204231A (ja) * 2016-05-13 2017-11-16 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113875A (ja) * 2006-11-06 2008-05-22 Advanced Telecommunication Research Institute International コミュニケーション誘発システム
US20170242478A1 (en) * 2016-02-18 2017-08-24 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
JP2017204231A (ja) * 2016-05-13 2017-11-16 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017582A1 (ja) * 2021-08-11 2023-02-16 日本電信電話株式会社 音声生成方法、音声生成装置および音声生成プログラム
WO2023238339A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 音声生成方法、音声生成装置及びプログラム

Similar Documents

Publication Publication Date Title
JP2018180523A (ja) マン・マシン・ダイアログにおけるエージェント係属の管理
CN110326261A (zh) 确定音频输入中的说话者改变
WO2017215297A1 (zh) 云端互动系统及其多感知型智能机器人和感知互动方法
JP2004310034A (ja) 対話エージェントシステム
US11682389B2 (en) Voice conversation system, control system for voice conversation system, and control program, and control method
JP2008509455A (ja) ユーザとシステムとの間の通信方法及びシステム
JP6544333B2 (ja) コミュニケーション装置
WO2020148920A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP5294315B2 (ja) 対話活性化ロボット
US20220084529A1 (en) Method and apparatus for awakening wearable device
CN111002303A (zh) 识别装置、机器人、识别方法和存储介质
CN110598611A (zh) 看护系统、基于看护系统的病人看护方法和可读存储介质
JP2020091636A (ja) 音声対話装置の制御方法
JP2016133557A (ja) エージェント対話システムおよびプログラム
JP5771998B2 (ja) 電子機器および電子機器の制御プログラム
JP2015210797A (ja) 表示装置
JP2015184597A (ja) コミュニケーション支援ロボットシステム
CN110587621A (zh) 机器人、基于机器人的病人看护方法和可读存储介质
WO2019215983A1 (ja) 情報処理システム、情報処理方法、および記録媒体
JP2016021259A (ja) 電子機器および電子機器の制御プログラム
JP2018149625A (ja) コミュニケーションロボット、プログラム及びシステム
WO2019187590A1 (ja) 情報処理装置、情報処理方法、プログラム
JP6515899B2 (ja) 音声対話装置及びその制御方法
JP2012146216A (ja) 電子機器および電子機器の制御プログラム
JP2004357915A (ja) センシング玩具

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20220829