JP2020119288A - 促し発話装置、促し発話方法及びプログラム - Google Patents

促し発話装置、促し発話方法及びプログラム Download PDF

Info

Publication number
JP2020119288A
JP2020119288A JP2019010050A JP2019010050A JP2020119288A JP 2020119288 A JP2020119288 A JP 2020119288A JP 2019010050 A JP2019010050 A JP 2019010050A JP 2019010050 A JP2019010050 A JP 2019010050A JP 2020119288 A JP2020119288 A JP 2020119288A
Authority
JP
Japan
Prior art keywords
utterance
prompting
evaluation
user
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019010050A
Other languages
English (en)
Other versions
JP7135887B2 (ja
Inventor
達朗 堀
Tatsuro Hori
達朗 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019010050A priority Critical patent/JP7135887B2/ja
Priority to CN202010046783.2A priority patent/CN111475606B/zh
Priority to US16/749,148 priority patent/US11361674B2/en
Publication of JP2020119288A publication Critical patent/JP2020119288A/ja
Application granted granted Critical
Publication of JP7135887B2 publication Critical patent/JP7135887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/04Speaking
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Abstract

【課題】適切なタイミングで促し発話を行うことができ、ユーザの活動量を上げることができること。【解決手段】促し発話装置は、促し発話に対するユーザの反応を検出する反応検出手段、および、促し発話のタイミング及び内容に対する評価者による評価を取得する評価取得手段、のうちの少なくとも一方と、反応検出手段により検出された反応、及び、評価取得手段により取得された評価、の少なくとも一方に基づいて、促し発話のタイミング及び内容の良否を判断する良否判断手段と、良否判断手段により良と判断された促し発話のタイミング及び内容と、該促し発話を行う際のトリガとなるトリガ情報と、を対応付けた学習データを学習する学習手段と、ユーザによるトリガ情報と、学習手段による学習結果と、に基づいて、前記促し発話を行う促し発話手段と、を備える。【選択図】図1

Description

本発明は、ユーザの行動を促す発話を行う促し発話装置、促し発話方法及びプログラムに関する。
ユーザの音声を認識し、その認識結果に基づいて応答を行う発話装置が知られている(例えば、特許文献1参照)。
特開2015−219583号公報
上記発話装置においては、言語情報のみに基づいて応答を行っている。このため、例えば、ユーザのスケジュール、時間帯、状態などによって応答のタイミングが悪いと、ユーザに対して迷惑となる促し発話になり得る。
本発明は、このような問題点を解決するためになされたものであり、適切なタイミングで促し発話を行うことができ、ユーザの活動量を上げることができる促し発話装置、促し発話方法及びプログラムを提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、
ユーザの介護又は医療に関連して、該ユーザの行動を促す促し発話を行う促し発話装置であって、
前記促し発話に対するユーザの反応を検出する反応検出手段、および、前記促し発話のタイミング及び内容に対する評価者による評価を取得する評価取得手段、のうちの少なくとも一方と、
前記反応検出手段により検出された反応、及び、前記評価取得手段により取得された評価、の少なくとも一方に基づいて、前記促し発話のタイミング及び内容の良否を判断する良否判断手段と、
前記良否判断手段により良と判断された前記促し発話のタイミング及び内容と、該促し発話を行う際のトリガとなるトリガ情報と、を対応付けた学習データを学習する学習手段と、
前記ユーザによるトリガ情報と、前記学習手段による学習結果と、に基づいて、前記促し発話を行う促し発話手段と、
を備える、ことを特徴とする促し発話装置
である。
この一態様において、前記学習データにおいて、前記トリガ情報と、該トリガ情報に対応付ける前記促し発話のタイミング及び内容と、は過去のユーザの行動履歴に基づいて、設定されていてもよい。
この一態様において、前記評価取得手段は、前記促し発話のタイミング及び内容に対する評価者毎の評価を取得し、前記良否判断手段は、前記評価取得手段により取得された評価者毎の評価に基づいて、前記促し発話のタイミング及び内容の良否を判断し、前記学習手段は、前記良否判断手段により良と判断された前記促し発話のタイミング及び内容と、該促し発話のトリガ情報と、を対応付けた学習データを前記評価者毎に学習し、前記促し発話手段は、前記学習手段による評価者毎の学習結果に基づいて、前記促し発話を夫々行ってもよい。
この一態様において、前記促し発話手段による促し発話に対する、ユーザの行動の変化量を算出する変化量算出手段と、前記変化量算出手段により算出されたユーザの行動の変化量に基づいて、前記学習データの元となった評価者を評価する評価手段と、を更に備えていてもよい。
この一態様において、前記評価取得手段は、前記評価手段による評価者の評価が所定値以下となる場合、該評価者による評価値に対する重み付け係数を低下させてもよい。
この一態様において、前記評価手段による各評価者の評価をユーザに対して提示する提示手段を更に備えていてもよい。
上記目的を達成するための本発明の一態様は、
ユーザの介護又は医療に関連して、該ユーザの行動を促す促し発話を行う促し発話方法であって、
前記促し発話に対するユーザの反応を検出する、および、前記促し発話のタイミング及び内容に対する評価者による評価を取得する、のうちの少なくとも一方を行うステップと、
前記検出された反応、及び、前記取得された評価、の少なくとも一方に基づいて、前記促し発話のタイミング及び内容の良否を判断するステップと、
前記良と判断された前記促し発話のタイミング及び内容と、該促し発話を行う際のトリガとなるトリガ情報と、を対応付けた学習データを学習するステップと、
前記ユーザによるトリガ情報と、前記学習の結果と、に基づいて、前記促し発話を行うステップと、
を含む、ことを特徴とする促し発話方法
であってもよい。
上記目的を達成するための本発明の一態様は、
ユーザの介護又は医療に関連して、該ユーザの行動を促す促し発話を行うためのプログラムであって、
前記促し発話に対するユーザの反応を検出する、および、前記促し発話のタイミング及び内容に対する評価者による評価を取得する、のうちの少なくとも一方を行う処理と、
前記検出された反応、及び、前記取得された評価、の少なくとも一方に基づいて、前記促し発話のタイミング及び内容の良否を判断する処理と、
前記良と判断された前記促し発話のタイミング及び内容と、該促し発話を行う際のトリガとなるトリガ情報と、を対応付けた学習データを学習する処理と、
前記ユーザによるトリガ情報と、前記学習の結果と、に基づいて、前記促し発話を行う処理と、
をコンピュータに実行させる、ことを特徴とするプログラム
であってもよい。
本発明によれば、適切なタイミングで促し発話を行うことができ、ユーザの活動量を上げることができる促し発話装置、促し発話方法及びプログラムを提供することができる。
本発明の実施形態1に係る促し発話装置の概略的なシステム構成を示すブロック図である。 本発明の実施形態1に係る促し発話方法のフローを示すフローチャートである。 本発明の実施形態2に係る促し発話装置の概略的なシステム構成を示すブロック図である。 本発明の実施形態2に係る促し発話装置による評価フローを示すフローチャートである。 評価取得部、良否判断部、記憶部、及び学習部が、外部サーバに設けられた構成を示す図である。
実施形態1
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の実施形態1に係る促し発話装置の概略的なシステム構成を示すブロック図である。本実施形態1に係る促し発話装置1は、ユーザの介護又は医療に関連して、該ユーザの行動を促す促し発話を行う。これにより、適切なタイミングでユーザの行動の促しを行うことができ、ユーザの活動量を上げることができ、例えば、ユーザのリハビリ効果を向上させることができる。
ユーザは、医療施設(病院等)の患者、介護施設や家庭の被介護者、老人ホームの高齢者などである。促し発話装置1は、ユーザに歩くように促す、食事に行くように促す、別の部屋に行くように促す、外出するように促す、などのようにユーザの活動量を上げる行動を促す促し発話を行う。促し発話装置1は、例えば、ロボット、PC(Personal Computer)、携帯端末(スマートフォン、タブレットなど)等に搭載され、ユーザと対話を行う。
ところで、従来の発話装置においては、言語情報のみに基づいて応答を行っている。このため、例えば、ユーザのスケジュール、時間帯、状態などによって応答のタイミングが悪いと、ユーザに対して迷惑となる促し発話になり得る。
これに対し、本実施形態1に係る促し発話装置1は、促し発話に対するユーザの反応及び促し発話に対する評価者による評価値のうちの少なくとも一方を用いて、促し発話のタイミング及び内容の良否を判断する。促し発話装置1は、促し発話のタイミング及び内容が良と判断された学習データを用いて学習を行い、その学習結果に基づいて、促し発話を行う。これにより、最適な促し発話のタイミング及び内容が反映された学習結果を用いて促し発話を行うことにより、適切なタイミングで促し発話を行うことができ、ユーザの活動量を上げることができる。
本実施形態1に係る促し発話装置1は、ユーザの反応を検出する反応検出部2と、評価者による促し発話に対する評価値を取得する評価取得部3と、促し発話のタイミング及び内容の良否を判断する良否判断部4と、促し発話と良否の判断結果とを対応付けて記憶する記憶部5と、良否の判断結果を学習する学習部6と、促し発話を行う促し発話部7と、を備えている。
なお、促し発話装置1は、例えば、演算処理等を行うCPU(Central Processing Unit)、CPUによって実行される演算プログラム等が記憶されたROM(Read Only Memory)やRAM(Random Access Memory)からなるメモリ、外部と信号の入出力を行うインターフェイス部(I/F)、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。CPU、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。
反応検出部2は、反応検出手段の一具体例である。反応検出部2は、例えば、カメラ、マイク、キネクト(Kinect)センサなどを用いて、ユーザの反応を検出する。また、反応検出部2は、促し発話部7から出力される促し発話に対するユーザの反応(行動や状態)を検出する。反応検出部2は、検出したユーザの反応を良否判断部4に出力する。
評価取得部3は、評価取得手段の一具体例である。評価取得部3は、促し発話のタイミング及び内容に対する評価者による評価値を取得する。評価者は、例えば、促し発話に対するユーザの反応を実際に観察して、その促し発話のタイミング及び内容に対して評価値をつける。評価値は、例えば、1〜5の点数であり、評価値が高いほど評価が高い。なお、評価値は、良及び否(1及び0)であってもよく、任意に設定できる。各促し発話の評価値は、促し発話部7が促し発話を行う毎に、評価者などによって、入力装置などを介して評価取得部3に入力される。各促し発話の評価値は、予め評価取得部3に記憶されていてもよい。評価取得部3は、取得した評価者による評価値を良否判断部4に出力する。
良否判断部4は、良否判断手段の一具体例である。良否判断部4は、促し発話のタイミング及び内容の良否を判断する。良否判断部4は、評価取得部3により取得された促し発話の評価値に基づいて、その促し発話のタイミング及び内容の良否を判断する。例えば、良否判断部4は、評価取得部3により取得された促し発話の評価値が所定値(4点など)以上である場合、その促し発話のタイミング及び内容を良と判断する。これにより、評価者による評価を用いて、促し発話のタイミング及び内容の良否を高精度に判断できる。所定値は、予め良否判断部4に設定されており、ユーザが任意に設定変更できる。
良否判断部4は、反応検出部2により検出された促し発話に対するユーザの反応に基づいて、その促し発話のタイミング及び内容の良否を判断してもよい。例えば、良否判断部4は、促し発話に対してユーザが肯定的反応を行った場合、その促し発話のタイミング及び内容を良と判断してもよい。これにより、反応検出部2により検出された反応を用いて、促し発話のタイミング及び内容の良否を自動的に判断できる。
肯定的反応とは、例えば、ユーザが促し発話に対応する行動を行う反応、ユーザのうなずく動作、肯定的な言動(はい等)などである。より具体的には、促し発話が「ユーザが歩くように促す発話」である場合、その肯定的反応は「ユーザが実際に歩く動作を行う」ことである。
良否判断部4は、反応検出部2により検出された促し発話に対するユーザの反応と、評価取得部3により取得された促し発話の評価値と、に基づいて、その促し発話のタイミング及び内容の良否を判断してもよい。例えば、良否判断部4は、評価取得部3により取得された促し発話の評価値が所定値以上であり、かつ、促し発話に対してユーザが肯定的反応を行った場合に、その促し発話のタイミング及び内容を良と判断する。これにより、反応検出部2による反応と、評価取得部3による評価者の評価値と、を用いて、促し発話のタイミング及び内容の良否をより高精度に判断できる。良否判断部4は、良と判断した促し発話のタイミング及び内容を判断結果として記憶部5に出力する。
記憶部5は、良否判断部4により良と判断された促し発話のタイミング及び内容と、その促し発話のトリガとなるトリガ情報と、を対応付けて学習データとして記憶する。記憶部5は、例えば、メモリによって構成されている。
ここで、トリガ情報について詳細に説明する。トリガ情報とは、ユーザに対し促し発話を行う際に契機となる情報である。
例えば、トリガ情報は、ユーザのスケジュール、ユーザの状態(同じ姿勢など)、時間帯などの情報を含む。より具体的には、トリガ情報として、ユーザが同じ姿勢(座った姿勢、立った姿勢、屈んだ姿勢など)を一定時間以上とっている。このトリガ情報に、立ち上がる内容や歩く内容の促し発話などが対応付けられている。
トリガ情報として、ユーザが所定時間以上寝た姿勢をとっていて、かつ昼時間帯である。このトリガ情報に、起こす内容の促し発話が対応付けられている。トリガ情報として、ユーザが所定時間以上立ち止まった姿勢をとっている。このトリガ情報に、歩くことを促す促し発話が対応付けられている。トリガ情報として、所定時間(30分など)毎にユーザを起こすスケジュールが設定されている。このトリガ情報に、所定時間毎にユーザを起こす内容の促し発話が対応付けられている。トリガ情報として、ユーザを起こした後、座らせ、立たせ、歩かせるスケジュールが設定されている。このトリガ情報に、ユーザを起こした後、座らせ、立たせ、歩かせる内容の促し発話が対応付けられている。トリガ情報として、ユーザが食事後、座り、歩くスケジュールが設定されている。このトリガ情報に、食事後、所定時間座らせ、歩かせる内容の促し発話が対応付けられている。
学習部6は、学習手段の一具体例である。学習部6は、記憶部5に記憶された学習データを用いて、学習する。学習部6は、促し発話のトリガとなるトリガ情報を入力とし、促し発話のタイミング及び内容を出力とし、トリガ情報と促し発話のタイミング及び内容との関係を学習する。
上述のような学習データのトリガ情報と、そのトリガ情報に対応付ける促し発話のタイミング及び内容とは、過去のユーザの行動履歴に基づいて、設定されているのが好ましい。これにより、過去のユーザの行動履歴を反映した学習結果が得えられ、その学習結果を用いて促し発話を行うことで、そのユーザに最適なタイミング及び内容の促し発話を行うことができる。
例えば、ユーザは、運動した後、通常疲れている。このため、このようなユーザの運動履歴などの行動履歴を考慮して、長めに休ませるような促し発話を行うのが好ましい。より具体的には、トリガ情報として、ユーザが運動をした後の状態である。そのトリガ情報に対して、長めに休ませるような促し発話のタイミング及び内容(ある程度時間を置いたタイミングで起こす内容の促し発話)を対応付ける。
また、ユーザが起きた後、所定時間経過している場合、通常座らせるのが好ましい。したがって、トリガ情報として、ユーザが起きた後、所定時間経過している状態である。そのトリガ情報に対して、ユーザ座らせるような促し発話のタイミング及び内容を対応付ける。
学習部6は、例えば、RNN(Recurrent neural Network)などのニューラルネットワークで構成されている。このRNNは、中間層にLSTM(Long Short Term Memory)を有している。学習部6は、ニューラルネットワークの代わりに、SVM(Support Vector Machine)などの他の学習器で構成されてもよい。
促し発話部7は、促し発話手段の一具体例である。促し発話部7は、学習部6により学習結果に基づいて促し発話を行う。反応検出部2は、ユーザのトリガ情報を検出し、学習部6に出力する。学習部6は、入力されたトリガ情報に応じて、促し発話のタイミング及び内容を出力する。促し発話部7は、学習部6から出力された促し発話のタイミング及び内容に基づいて、促し発話を行う。促し発話部7は、学習部6から出力された促し発話のタイミングで、スピーカなどから、その促し発話の内容の発話を出力させる。
図2は、本実施形態1に係る促し発話方法のフローを示すフローチャートである。本発明の実施形態1に係る促し発話装置1は、上述の如く、最初に、<学習工程>で、トリガ情報と促し発話のタイミング及び内容との学習データを学習する。その後、促し発話装置1は、<促し発話工程>で、その学習結果に基づいて、促し発話を行う。
<学習工程>
反応検出部2は、促し発話部7から出力される促し発話に対するユーザの反応を検出し、検出したユーザの反応を良否判断部4に出力する(ステップS101)。
評価取得部3は、促し発話部7から出力される促し発話のタイミング及び内容に対する評価者による評価値を取得し、取得した評価者による促し発話の評価値を良否判断部4に出力する(ステップS102)。
良否判断部4は、反応検出部2により検出された促し発話に対するユーザの反応と、評価取得部3により取得された評価者による促し発話の評価値と、に基づいて、その促し発話のタイミング及び内容の良否を判断する(ステップS103)。良否判断部4は、良と判断した促し発話のタイミング及び内容を判断結果として記憶部5に出力する。
記憶部5は、良否判断部4により良と判断された促し発話のタイミング及び内容と、その促し発話のトリガ情報と、を対応付けて学習データとして記憶する(ステップS104)。
学習部6は、記憶部5に記憶された学習データを用いて、促し発話のトリガ情報を入力とし、促し発話のタイミング及び内容を出力とし、トリガ情報と促し発話のタイミング及び内容との関係を学習する(ステップS105)。なお、上述した学習工程の処理は、例えば、所定時間毎に繰返し実行される。
<促し発話工程>
学習部6に、反応検出部2により検出されたトリガ情報が入力される。促し発話部7は、学習部6から出力された促し発話のタイミング及び内容(学習結果)に基づいて、促し発話を行う(ステップS106)。
以上、本実施形態1に係る促し発話装置1は、促し発話に対するユーザの反応を検出する反応検出部2、および、促し発話のタイミング及び内容に対する評価者による評価を取得する評価取得部3、のうちの少なくとも一方と、反応検出部2により検出された反応、及び、評価取得部3により取得された評価、の少なくとも一方に基づいて、促し発話のタイミング及び内容の良否を判断する良否判断部4と、良否判断部4により良と判断された促し発話のタイミング及び内容と、該促し発話を行う際のトリガとなるトリガ情報と、を対応付けた学習データを学習する学習部6と、ユーザによるトリガ情報と、学習部6による学習結果と、に基づいて、促し発話を行う促し発話部7と、を備えている。
これにより、最適な促し発話のタイミング及び内容が反映された学習結果を用いて促し発話を行うことにより、適切なタイミングで促し発話を行うことができ、ユーザの活動量を上げることができる。
実施形態2
図3は、本発明の実施形態2に係る促し発話装置の概略的なシステム構成を示すブロック図である。本実施形態2に係る促し発話装置20は、上記実施形態1に示す構成に加えて、ユーザの行動の変化量を算出する変化量算出部8と、評価者を評価する評価部9と、を更に備える。
各評価者を夫々評価することで、その評価を学習データに反映することができ、より高精度な学習データを生成できる。これにより、より適切なタイミングで促し発話を行うことができ、よりユーザの活動量を上げることができる。
評価取得部3は、促し発話のタイミング及び内容に対する評価者毎の評価を取得する。
良否判断部4は、評価取得部3により取得された評価者毎の評価に基づいて、促し発話のタイミング及び内容の良否を夫々判断する。学習部6は、良否判断部4により良と判断された促し発話のタイミング及び内容と、該促し発話のトリガ情報と、を対応付けた学習データを評価者毎に学習する。
促し発話部7は、学習部6による評価者毎の学習結果を用いて、夫々促し発話を行う。変化量算出部8は、変化量算出手段の一具体例である。変化量算出部8は、促し発話後に、反応検出部2により検出されたユーザの反応に基づいて、ユーザの行動量の変化量を算出する。
例えば、変化量算出部8は、促し発話後に、反応検出部2により検出されたユーザの反応に基づいて、促し発話前からのユーザの移動の変化量をユーザの行動の変化量として算出してもよい。また、変化量算出部8は、ユーザに取付けられた生体センサにより検出されたセンサ値に基づいて、促し発話前からのユーザの活動量、消費カロリー、歩数のなどの変化量をユーザの行動の変化量として算出してもよい。生体センサは、例えば、心拍計、歩数計などである。
評価部は、評価手段の一具体例である。評価部9は、変化量算出部8により算出されたユーザの行動の変化量に基づいて、学習データの元となった評価者を評価する。例えば、評価部9は、変化量算出部8により算出されたユーザの行動の変化量に応じて、評価者に対し評価値を付与する。評価者には、ユーザの行動の変化量が大きくなるに従って高い評価値が付与される。評価部9は、各評価者に対する評価値を記憶部5に出力する。
本実施形態2に係る促し発話装置20は、記憶部5により記憶された各評価者に対する評価値を、ユーザに提示する提示部11を更に備えていてもよい。提示部11は提示手段の一具体例である。ユーザは、提示部11に提示された各評価者に対する評価値を参照し、例えば、評価の高い評価者による促し発話のタイミングなどを参考にして、より高精度な学習データを生成できる。提示部11は、例えば、ディスプレイやプリンタなどである。
なお、本実施形態2において、上記実施形態1と同一部分には同一符号を付して詳細な説明は省略する。
図4は、本発明の実施形態2に係る促し発話装置による評価フローを示すフローチャートである。評価取得部3は、促し発話のタイミング及び内容に対する評価者毎の評価値を取得する(ステップS201)。
良否判断部4は、評価取得部3により取得された評価者毎の評価値に基づいて、促し発話のタイミング及び内容の良否をそれぞれ判断する(ステップS202)。学習部6は、良否判断部4により良と判断された促し発話のタイミング及び内容と、該促し発話のトリガ情報と、を対応付けた学習データを評価者毎に学習する(ステップS203)。
促し発話部7は、学習部6による評価者毎の学習結果を用いて、夫々促し発話を行う(ステップS204)。変化量算出部8は、促し発話後に、反応検出部2により検出されたユーザの反応に基づいて、ユーザの行動の変化量を算出する(ステップS205)。
評価部9は、変化量算出部8により算出されたユーザの行動の変化量に基づいて、学習データの元となった評価者を評価する(ステップS206)。評価部9は、各評価者に対する評価値を記憶部5に出力する。提示部11は、記憶部5により記憶された各評価者に対する評価値を、ユーザに提示する(ステップS207)。
実施形態3
本発明の実施形態3において、評価取得部3は、取得した評価者による評価値に対して重み付けを行ってもよい。評価取得部3は、評価部9による評価者に対する評価に基づいて、その評価者による評価値に対して重み付けを行う。評価取得部3は、評価部9による評価者対する評価値が所定値以下となり低い場合、その評価者による評価値に対する重み付け係数を低下させてもよい。このように、評価の低い評価者による評価値の影響を小さくすることができ、より高精度な学習データを生成できる。
なお、評価取得部3は、評価部9による評価者の評価値が所定値以上となる場合、その評価者による評価値に対する重み付け係数を増加させてもよい。評価取得部3は、評価部9による評価者の評価値が低くなるに従って、その評価者による評価値に対する重み付け係数を低下させてもよい。
例えば、評価者A及びBが、促し発話のタイミング及び内容に対して評価値X及びYを夫々つけたとする。評価取得部3は、評価部9による評価者Aに対する評価値が3以下となる場合、その評価者Aによる評価値Xに対する重み付け係数を0.5から、0.3に低下させる。一方、評価取得部3は、評価部9による評価者Bに対する評価値が3より大きい場合、その評価者Bによる評価値Yに対する重み付け係数を0.5から、0.7に増加させる。
評価取得部3は、促し発話のタイミング及び内容に対する最終的な評価値を、(0.5X+0.5Y)から(0.3X+0.7Y)へ変更して算出する。このように、評価の低い評価者Aによる評価値の影響を小さくし、評価の高い評価者Bによる評価値の影響を大きくして、促し発話のタイミング及び内容に対する評価値を算出することができる。
良否判断部4は、評価取得部3により調整された評価者の評価を反映した評価値に基づいて、その促し発話のタイミング及び内容の良否を高精度に判断できる。したがって、より高精度な学習結果を生成でき、その学習結果を用いて促し発話を行うことで、そのユーザに最適なタイミング及び内容の促し発話を行うことができる。
なお、本実施形態3において、上記実施形態1及び2と同一部分には同一符号を付して詳細な説明は省略する。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
上記実施形態1において、反応検出部2、評価取得部3、良否判断部4、記憶部5、学習部6、及び促し発話部7が一体で構成されているが、これに限定されない。評価取得部3、良否判断部4、記憶部5、及び学習部6のうちの少なくとも1つが、外部サーバなど外部装置に設けられてもよい。
例えば、図5に示す如く、反応検出部2及び促し発話部7が対話ロボット101に設けられ、評価取得部3、良否判断部4、記憶部5、及び学習部6が、外部サーバ100に設けられている。対話ロボット101と外部サーバ100とは、LTE(Long Term Evolution)などの通信網を介して通信接続され、相互にデータ通信を行ってもよい。このように、外部サーバ100と対話ロボット101とで処理を分担することで、対話ロボット101の処理を軽減し、対話ロボット101の小型軽量化を図ることができる。
本発明は、例えば、図2及び図4に示す処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 促し発話装置、2 反応検出部、3 評価取得部、4 良否判断部、5 記憶部、6 学習部、7 促し発話部、8 変化量算出部、9 評価部、11 提示部、20 促し発話装置

Claims (8)

  1. ユーザの介護又は医療に関連して、該ユーザの行動を促す促し発話を行う促し発話装置であって、
    前記促し発話に対するユーザの反応を検出する反応検出手段、および、前記促し発話のタイミング及び内容に対する評価者による評価を取得する評価取得手段、のうちの少なくとも一方と、
    前記反応検出手段により検出された反応、及び、前記評価取得手段により取得された評価、の少なくとも一方に基づいて、前記促し発話のタイミング及び内容の良否を判断する良否判断手段と、
    前記良否判断手段により良と判断された前記促し発話のタイミング及び内容と、該促し発話を行う際のトリガとなるトリガ情報と、を対応付けた学習データを学習する学習手段と、
    前記ユーザによるトリガ情報と、前記学習手段による学習結果と、に基づいて、前記促し発話を行う促し発話手段と、
    を備える、ことを特徴とする促し発話装置。
  2. 請求項1記載の促し発話装置であって、
    前記学習データにおいて、前記トリガ情報と、該トリガ情報に対応付ける前記促し発話のタイミング及び内容と、は過去のユーザの行動履歴に基づいて、設定されている、
    ことを特徴とする促し発話装置。
  3. 請求項1又は2記載の促し発話装置であって、
    前記評価取得手段は、前記促し発話のタイミング及び内容に対する評価者毎の評価を取得し、
    前記良否判断手段は、前記評価取得手段により取得された評価者毎の評価に基づいて、前記促し発話のタイミング及び内容の良否を判断し、
    前記学習手段は、前記良否判断手段により良と判断された前記促し発話のタイミング及び内容と、該促し発話のトリガ情報と、を対応付けた学習データを前記評価者毎に学習し、
    前記促し発話手段は、前記学習手段による評価者毎の学習結果に基づいて、前記促し発話を夫々行う、
    ことを特徴とする促し発話装置。
  4. 請求項3記載の促し発話装置であって、
    前記促し発話手段による促し発話に対する、ユーザの行動の変化量を算出する変化量算出手段と、
    前記変化量算出手段により算出されたユーザの行動の変化量に基づいて、前記学習データの元となった評価者を評価する評価手段と、
    を更に備える、
    ことを特徴とする促し発話装置。
  5. 請求項4記載の促し発話装置であって、
    前記評価取得手段は、前記評価手段による評価者の評価が所定値以下となる場合、該評価者による評価値に対する重み付け係数を低下させる、
    ことを特徴とする促し発話装置。
  6. 請求項4又は5記載の促し発話装置であって、
    前記評価手段による各評価者の評価をユーザに対して提示する提示手段を更に備える、
    ことを特徴とする促し発話装置。
  7. ユーザの介護又は医療に関連して、該ユーザの行動を促す促し発話を行う促し発話方法であって、
    前記促し発話に対するユーザの反応を検出する、および、前記促し発話のタイミング及び内容に対する評価者による評価を取得する、のうちの少なくとも一方を行うステップと、
    前記検出された反応、及び、前記取得された評価、の少なくとも一方に基づいて、前記促し発話のタイミング及び内容の良否を判断するステップと、
    前記良と判断された前記促し発話のタイミング及び内容と、該促し発話を行う際のトリガとなるトリガ情報と、を対応付けた学習データを学習するステップと、
    前記ユーザによるトリガ情報と、前記学習の結果と、に基づいて、前記促し発話を行うステップと、
    を含む、ことを特徴とする促し発話方法。
  8. ユーザの介護又は医療に関連して、該ユーザの行動を促す促し発話を行うためのプログラムであって、
    前記促し発話に対するユーザの反応を検出する、および、前記促し発話のタイミング及び内容に対する評価者による評価を取得する、のうちの少なくとも一方を行う処理と、
    前記検出された反応、及び、前記取得された評価、の少なくとも一方に基づいて、前記促し発話のタイミング及び内容の良否を判断する処理と、
    前記良と判断された前記促し発話のタイミング及び内容と、該促し発話を行う際のトリガとなるトリガ情報と、を対応付けた学習データを学習する処理と、
    前記ユーザによるトリガ情報と、前記学習の結果と、に基づいて、前記促し発話を行う処理と、
    をコンピュータに実行させる、ことを特徴とするプログラム。
JP2019010050A 2019-01-24 2019-01-24 促し発話装置、促し発話方法及びプログラム Active JP7135887B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019010050A JP7135887B2 (ja) 2019-01-24 2019-01-24 促し発話装置、促し発話方法及びプログラム
CN202010046783.2A CN111475606B (zh) 2019-01-24 2020-01-16 鼓励话语装置、鼓励话语方法和计算机可读介质
US16/749,148 US11361674B2 (en) 2019-01-24 2020-01-22 Encouraging speech system, encouraging speech method, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019010050A JP7135887B2 (ja) 2019-01-24 2019-01-24 促し発話装置、促し発話方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020119288A true JP2020119288A (ja) 2020-08-06
JP7135887B2 JP7135887B2 (ja) 2022-09-13

Family

ID=71731504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019010050A Active JP7135887B2 (ja) 2019-01-24 2019-01-24 促し発話装置、促し発話方法及びプログラム

Country Status (3)

Country Link
US (1) US11361674B2 (ja)
JP (1) JP7135887B2 (ja)
CN (1) CN111475606B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135886B2 (ja) * 2019-01-24 2022-09-13 トヨタ自動車株式会社 促し発話装置、促し発話方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030317A1 (en) * 2004-01-23 2008-02-07 Bryant Terry K Method of Improving Medical Apparatus in Order to Replace Ancillary Medical Assistance by Employing Audible Verbal Human Sounding Voices to Prompt Therapeutic Usage and Provide Guidance, Measurements, Encouragement and Response, As Needed, to the Patient, By Using Electronic Technology
WO2017168465A1 (ja) * 2016-03-30 2017-10-05 川崎重工業株式会社 鞍乗型車両用処理装置
JP2018108282A (ja) * 2017-01-04 2018-07-12 オムロン株式会社 ユーザ端末装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9009082B1 (en) * 2008-06-30 2015-04-14 Amazon Technologies, Inc. Assessing user-supplied evaluations
CA2748984C (en) * 2009-01-07 2017-01-03 Koninklijke Philips Electronics N.V. Intelligent controllable lighting networks and schemata therefore
SI23206A (sl) * 2009-11-06 2011-05-31 Univerza V Ljubljani Naprava za vadbo mišično skeletno živčnega sistema
CN102567179A (zh) * 2010-12-30 2012-07-11 上海量明科技发展有限公司 一种基于输入法的定时提醒信息方法及系统
KR101178310B1 (ko) * 2011-02-24 2012-08-29 포항공과대학교 산학협력단 대화 관리 방법 및 이를 실행하는 시스템
US9349100B2 (en) * 2012-08-30 2016-05-24 International Business Machines Corporation Method for providing a prompt for real-time cognitive assistance
CN105078479B (zh) * 2014-04-21 2021-05-28 麦克赛尔株式会社 脑功能障碍评价装置
JP2015219583A (ja) 2014-05-14 2015-12-07 日本電信電話株式会社 話題決定装置、発話装置、方法、及びプログラム
JP6573272B2 (ja) * 2014-12-19 2019-09-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 生成装置、生成方法、及び、プログラム
US9336268B1 (en) * 2015-04-08 2016-05-10 Pearson Education, Inc. Relativistic sentiment analyzer
CN106200976A (zh) * 2016-07-19 2016-12-07 深圳市金立通信设备有限公司 一种运动激励方法及终端
US9947319B1 (en) * 2016-09-27 2018-04-17 Google Llc Forming chatbot output based on user state
JP2018054850A (ja) * 2016-09-28 2018-04-05 株式会社東芝 情報処理システム、情報処理装置、情報処理方法、及びプログラム
CN107888653A (zh) * 2016-09-30 2018-04-06 本田技研工业株式会社 发话装置、沟通装置和移动体
US10147424B1 (en) * 2016-10-26 2018-12-04 Intuit Inc. Generating self-support metrics based on paralinguistic information
CN106921794B (zh) * 2017-02-09 2020-08-14 歌尔股份有限公司 一种智能设备上的闹钟实现方法和装置
DK201770431A1 (en) * 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
CN107909948A (zh) * 2017-12-15 2018-04-13 惠州市敦雅科技有限公司 一种健身专用语音鼓励设备
JP6400871B1 (ja) 2018-03-20 2018-10-03 ヤフー株式会社 発話制御装置、発話制御方法、および発話制御プログラム
US11301760B2 (en) * 2018-11-28 2022-04-12 International Business Machines Corporation Automated postulation thresholds in computer-based questioning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030317A1 (en) * 2004-01-23 2008-02-07 Bryant Terry K Method of Improving Medical Apparatus in Order to Replace Ancillary Medical Assistance by Employing Audible Verbal Human Sounding Voices to Prompt Therapeutic Usage and Provide Guidance, Measurements, Encouragement and Response, As Needed, to the Patient, By Using Electronic Technology
WO2017168465A1 (ja) * 2016-03-30 2017-10-05 川崎重工業株式会社 鞍乗型車両用処理装置
JP2018108282A (ja) * 2017-01-04 2018-07-12 オムロン株式会社 ユーザ端末装置

Also Published As

Publication number Publication date
US20200242966A1 (en) 2020-07-30
CN111475606B (zh) 2023-07-11
CN111475606A (zh) 2020-07-31
US11361674B2 (en) 2022-06-14
JP7135887B2 (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
US20200268141A1 (en) Voice Assistant in an Electric Toothbrush
US8886532B2 (en) Leveraging interaction context to improve recognition confidence scores
JP2004310034A (ja) 対話エージェントシステム
EP3923198A1 (en) Method and apparatus for processing emotion information
JP2017073125A (ja) 行動推奨のための会話生成
US20230046658A1 (en) Synthesized speech audio data generated on behalf of human participant in conversation
JP2017100221A (ja) コミュニケーションロボット
JP7136091B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20210076921A (ko) 음성 분석을 통한 폐 용적 추정
JP6407521B2 (ja) 診療支援装置
JP6258172B2 (ja) 音情報処理装置及びシステム
JP2020119288A (ja) 促し発話装置、促し発話方法及びプログラム
JP5799410B2 (ja) 会話支援装置および会話支援方法
JP2020126195A (ja) 音声対話装置、音声対話装置の制御装置及び制御プログラム
US11393462B1 (en) System to characterize vocal presentation
JP2006230548A (ja) 体調判定装置およびそのプログラム
JP7022921B2 (ja) 認知機能評価装置、認知機能評価システム、認知機能評価方法及びプログラム
US20200365172A1 (en) Storage medium, control device, and control method
JP2011221101A (ja) コミュニケーション装置
JP2023534799A (ja) 会話ベースの精神障害選別方法及びその装置
AU2021306718B2 (en) System to confirm identity of candidates
JP7131362B2 (ja) 制御装置、音声対話装置及びプログラム
JP6888860B2 (ja) 話かけのタイミング決定装置、話かけのタイミング決定方法、およびプログラム
JP7257846B2 (ja) 意思決定支援システムおよびプログラム
JP2021162928A (ja) 介護記録作成システム、介護記録作成方法、診療記録作成システム、診療記録作成方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7135887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151