JP2019017499A - Recuperation support system - Google Patents

Recuperation support system Download PDF

Info

Publication number
JP2019017499A
JP2019017499A JP2017136490A JP2017136490A JP2019017499A JP 2019017499 A JP2019017499 A JP 2019017499A JP 2017136490 A JP2017136490 A JP 2017136490A JP 2017136490 A JP2017136490 A JP 2017136490A JP 2019017499 A JP2019017499 A JP 2019017499A
Authority
JP
Japan
Prior art keywords
voice
subject
state
support system
biological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017136490A
Other languages
Japanese (ja)
Other versions
JP7265313B2 (en
JP2019017499A5 (en
Inventor
長岡 浩
Hiroshi Nagaoka
浩 長岡
宏暢 前澤
Hironobu Maesawa
宏暢 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paramount Bed Co Ltd
Original Assignee
Paramount Bed Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Paramount Bed Co Ltd filed Critical Paramount Bed Co Ltd
Priority to JP2017136490A priority Critical patent/JP7265313B2/en
Publication of JP2019017499A publication Critical patent/JP2019017499A/en
Publication of JP2019017499A5 publication Critical patent/JP2019017499A5/ja
Priority to JP2022034262A priority patent/JP7422797B2/en
Application granted granted Critical
Publication of JP7265313B2 publication Critical patent/JP7265313B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

To provide a recuperation support system capable of providing batter service.SOLUTION: A recuperation support system includes a biological sensor for detecting a biological state of an object person, and a voice sensor for detecting a voice of the object person. The recuperation support system provides output information including at least one of visual information and auditory information that vary according to an emotional state of the object person estimated based on at least one of the biological state and the voice.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、療養支援システムに関する。   Embodiments described herein relate generally to a medical treatment support system.

高齢者などの被介護者が、家、病院、または、介護施設などにおいて療養する。療養において、被介護者、家族、医療従事者及び介護スタッフなどに対して、より良いサービスが提供できる療養支援システムが望まれる。   A care recipient such as an elderly person takes care at a home, a hospital, or a care facility. In medical treatment, there is a demand for a medical treatment support system that can provide better services to care recipients, families, medical workers, and nursing staff.

特開2002−41671号公報JP 2002-41671 A

本発明の実施形態は、より良いサービスが提供できる療養支援システムを提供する。   Embodiment of this invention provides the medical treatment support system which can provide a better service.

実施形態によれば、療養支援システムは、対象者の生体状態を検出する生体センサと、前記対象者の声を検出する音センサと、を含む。前記療養支援システムは、前記生体状態及び前記声の少なくともいずれかに基づいて推定された前記対象者の感情状態に応じて変化する、視覚情報及び聴覚情報の少なくともいずれかを含む出力情報を提供する。   According to the embodiment, the medical treatment support system includes a biological sensor that detects a biological state of the subject and a sound sensor that detects the voice of the subject. The medical treatment support system provides output information including at least one of visual information and auditory information that changes according to the emotional state of the subject estimated based on at least one of the biological state and the voice. .

本発明の実施形態は、より良いサービスが提供できる療養支援システムを提供できる。   Embodiment of this invention can provide the medical treatment support system which can provide a better service.

図1(a)〜図1(d)は、第1実施形態に係る療養支援システムを例示する模式図である。FIG. 1A to FIG. 1D are schematic views illustrating the medical treatment support system according to the first embodiment. 図2は、実施形態に係る療養支援システムで用いられる情報を例示する模式図である。FIG. 2 is a schematic view illustrating information used in the medical treatment support system according to the embodiment. 図3(a)及び図3(b)は、第1実施形態に係る療養支援システムの動作を例示する模式図である。FIG. 3A and FIG. 3B are schematic views illustrating the operation of the medical treatment support system according to the first embodiment. 図4(a)〜図4(c)は、第2実施形態に係る療養支援システムを例示する模式図である。FIG. 4A to FIG. 4C are schematic views illustrating the medical treatment support system according to the second embodiment. 図5(a)〜図5(d)は、第3実施形態に係る療養支援システムを例示する模式図である。FIG. 5A to FIG. 5D are schematic views illustrating the medical treatment support system according to the third embodiment. 図6(a)〜図6(c)は、第4実施形態に係る療養支援システムを例示する模式図である。FIG. 6A to FIG. 6C are schematic views illustrating the medical treatment support system according to the fourth embodiment. 図7(a)〜図7(c)は、第5実施形態に係る療養支援システムを例示する模式図である。FIG. 7A to FIG. 7C are schematic views illustrating the medical treatment support system according to the fifth embodiment.

以下に、本発明の実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
Embodiments of the present invention will be described below with reference to the drawings.
In the present specification and drawings, the same elements as those described above with reference to the previous drawings are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.

(第1実施形態)
図1(a)〜図1(d)は、第1実施形態に係る療養支援システムを例示する模式図である。
図1(b)〜図1(d)は、療養支援システムにおける各種の情報(データまたは信号)を模式的に例示している。
(First embodiment)
FIG. 1A to FIG. 1D are schematic views illustrating the medical treatment support system according to the first embodiment.
FIG. 1B to FIG. 1D schematically illustrate various information (data or signals) in the medical treatment support system.

図1(a)に示すように、本実施形態に係る療養支援システム110は、生体センサ20と、音センサ11と、を含む。   As shown in FIG. 1A, the medical treatment support system 110 according to this embodiment includes a biological sensor 20 and a sound sensor 11.

生体センサ20は、対象者81の生体状態を検出する。   The biological sensor 20 detects the biological state of the target person 81.

対象者81は、療養者である。対象者81は、支援者80から支援を受ける。支援者80は、例えば、医師83、看護師82a、介護士82b及び家族等82cの少なくともいずれかを含む。看護師82a(または介護士82b)は、例えば、認識タグ82s(例えば、IDタグなど)を有している。   The subject 81 is a medical person. The target person 81 receives support from the supporter 80. The supporter 80 includes, for example, at least one of a doctor 83, a nurse 82a, a caregiver 82b, and a family member 82c. The nurse 82a (or caregiver 82b) has, for example, a recognition tag 82s (for example, an ID tag).

対象者81は、例えば、対象者81の家、病院、または、介護施設などにおいて、支援者80からの支援を受ける。対象者81は、例えば、被介護者である。   For example, the subject 81 receives support from the supporter 80 at the subject's 81 home, hospital, or care facility. The subject 81 is, for example, a care recipient.

実施形態に係る療養支援システム110により、例えば、対象者81及び支援者80の少なくともいずれかが、サービス(対象者81の療養に関するサービス)を受ける。   By the medical treatment support system 110 according to the embodiment, for example, at least one of the target person 81 and the supporter 80 receives a service (a service related to the medical treatment of the target person 81).

例えば、対象者81は、例えば、ベッド70の使用者である。ベッド70は、例えば、電動ベッドである。この例では、ベッド70は、ボトム71及びマットレス76を含む。ボトム71の上にマットレス76が置かれる。マットレス76の上において、対象者81が横になる。   For example, the target person 81 is a user of the bed 70, for example. The bed 70 is an electric bed, for example. In this example, the bed 70 includes a bottom 71 and a mattress 76. A mattress 76 is placed on the bottom 71. The subject 81 lies on the mattress 76.

この例では、生体センサ20は、ボトム71とマットレス76との間に設けられる。生体センサ20は、例えば、生体センサ20に加わる力(振動などを含む)を検出する。例えば、マットレス76の上に居る対象者81の状態に応じた力(振動など)が、生体センサ20により検出される。例えば、ベッド70に設けられる荷重センサなどにより、対象者81の生体状態の少なくとも一部が検出されても良い。   In this example, the biosensor 20 is provided between the bottom 71 and the mattress 76. For example, the biosensor 20 detects a force (including vibration) applied to the biosensor 20. For example, the biosensor 20 detects a force (vibration or the like) according to the state of the subject 81 on the mattress 76. For example, at least a part of the biological state of the subject 81 may be detected by a load sensor provided on the bed 70 or the like.

生体状態は、例えば、心拍数、脈拍数、呼吸数、体温、血圧、血液の酸素飽和度、体重、睡眠、覚醒、離床、起上り及び端座位の少なくともいずれかを含む。血液の酸素飽和度は、例えば、経皮的動脈血酸素飽和度(SpO2)を含む。生体状態は、例えば、連続的に、自動的に検出されても良い。   The biological state includes, for example, at least one of heart rate, pulse rate, respiratory rate, body temperature, blood pressure, blood oxygen saturation, body weight, sleep, awakening, getting out of bed, rising, and end sitting position. The oxygen saturation of blood includes, for example, percutaneous arterial oxygen saturation (SpO2). The biological state may be detected automatically, for example, continuously.

生体センサ20として、対象者81の体(または衣服)などに付着または装着されたセンサなどが用いられても良い。   As the biosensor 20, a sensor attached to or attached to the body (or clothes) of the subject 81 may be used.

生体センサ20で得られた信号(情報)は、例えば、通信装置25に送信される。この送信には、有線または無線の任意の方法が適用される。   A signal (information) obtained by the biological sensor 20 is transmitted to the communication device 25, for example. For this transmission, any wired or wireless method is applied.

音センサ11は、対象者81の声V0を検出する。音センサ11は、支援者80(例えば、看護師82a、介護士82b及び家族等82cの少なくともいずれか)の声をさらに検出しても良い。音センサ11は、例えば、マイクロフォンである。   The sound sensor 11 detects the voice V0 of the subject 81. The sound sensor 11 may further detect the voice of the supporter 80 (for example, at least one of a nurse 82a, a caregiver 82b, and a family member 82c). The sound sensor 11 is a microphone, for example.

音センサ11は、例えば、支援装置10に含まれる。支援装置10は、筐体14を含む。筐体14に音センサ11が設けられる。この例では、支援装置10において、音発生部12、近距離通信部15及び送受信部13がさらに設けられている。   The sound sensor 11 is included in the support device 10, for example. The support device 10 includes a housing 14. The sound sensor 11 is provided in the housing 14. In this example, the support device 10 is further provided with a sound generation unit 12, a short-range communication unit 15, and a transmission / reception unit 13.

音発生部12は、例えば、スピーカである。後述するように、音発生部12から、例えば、対象者81または支援者80(例えば、看護師82a、介護士82b及び家族等82cの少なくともいずれか)などに対しての音声が出力される。   The sound generator 12 is, for example, a speaker. As will be described later, for example, a sound for the subject 81 or a supporter 80 (for example, at least one of a nurse 82a, a caregiver 82b, and a family member 82c) is output from the sound generation unit 12.

近距離通信部15は、看護師82a(または介護士82bなど)の認識タグ82sを認識する。看護師82aの認識により、支援装置10の動作の少なくとも一部が制御されても良い。   The short-range communication unit 15 recognizes the recognition tag 82s of the nurse 82a (or a caregiver 82b or the like). At least a part of the operation of the support device 10 may be controlled by the recognition of the nurse 82a.

送受信部13は、例えば、通信装置25と、信号の送受信(通信)を行う。この通信には、有線または無線の任意の方法が適用される。   The transmission / reception unit 13 performs signal transmission / reception (communication) with the communication device 25, for example. For this communication, any wired or wireless method is applied.

音センサ11により検出された対象者81の声V0に関する信号(情報)が、通信装置25を介して、音声情報データベースDB1に供給される。一方、生体センサ20で得られた信号(情報)が、通信装置25を介して、生体情報データベースDB2に供給される。これらのデータベースは、例えば、クラウド上に設けられても良い。   A signal (information) related to the voice V0 of the subject 81 detected by the sound sensor 11 is supplied to the voice information database DB1 via the communication device 25. On the other hand, a signal (information) obtained by the biological sensor 20 is supplied to the biological information database DB2 via the communication device 25. These databases may be provided on the cloud, for example.

音声情報データベースDB1に基づいて、音声認識処理が行われる。対象者81の声V0に対応する音声が、物理的特徴量により解析される。物理的特徴量解析に基づいて、対象者81の感情が推定される。例えば、対象者81の音声データから、感情の傾向が解析される。物理的特徴量は、例えば、音声のスペクトルの概形、音声のスペクトルパワー、音声の音高F0、及び、音声のスペクトル平坦度SFMなどの少なくともいずれかを含む。感情は、例えば、複数の種類により分類される。複数の種類は、例えば、平常、喜び、怒り及び悲しみの少なくともいずれかを含む。対象者81の感情が、感情の種類に応じた数値(例えば、感情パラメータ)に変換される。例えば、感情の高まりが、感情パラメータ(数値)により表現される。例えば、感情は、Russellの円環モデルなどに基づいて解析されてもよい。解析の結果から数値が導出される。対象者81の感情に対応する感情パラメータの時間的な変化が導出される。   A voice recognition process is performed based on the voice information database DB1. The voice corresponding to the voice V0 of the subject 81 is analyzed by the physical feature amount. The emotion of the subject 81 is estimated based on the physical feature amount analysis. For example, the tendency of emotion is analyzed from the voice data of the target person 81. The physical feature amount includes, for example, at least one of an outline of a voice spectrum, a voice spectrum power, a voice pitch F0, a voice spectral flatness SFM, and the like. Emotions are classified by a plurality of types, for example. The plurality of types includes, for example, at least one of normality, joy, anger, and sadness. The emotion of the target person 81 is converted into a numerical value (for example, emotion parameter) corresponding to the type of emotion. For example, an increase in emotion is expressed by an emotion parameter (numerical value). For example, emotions may be analyzed based on Russell's ring model or the like. Numerical values are derived from the results of the analysis. A temporal change in the emotion parameter corresponding to the emotion of the subject 81 is derived.

一方、生体情報データベースDB2に基づいて、対象者81の生体状態の時間的な変化が導出される。例えば、心拍数、脈拍数、呼吸数、体温、血圧、血液の酸素飽和度、体重、睡眠、覚醒、離床、起上り及び端座位のそれぞれについて、生体情報パラメータD1が導出される。例えば、心拍数、脈拍数、呼吸数、体温、血圧、血液の酸素飽和度、体重、睡眠、覚醒、離床、起上り及び端座位のそれぞれの生体情報パラメータD1について、しきい値が設定される。生体情報パラメータD1の測定値がしきい値を超えると、異常状態であると、判断される。または、複数の生体情報パラメータD1の2つ以上の組み合わせについて、測定値がしきい値を超えた場合が、異常状態と判断されても良い。   On the other hand, a temporal change in the biological state of the subject 81 is derived based on the biological information database DB2. For example, the biological information parameter D1 is derived for each of heart rate, pulse rate, respiration rate, body temperature, blood pressure, blood oxygen saturation, body weight, sleep, awakening, getting out of bed, rising, and end sitting position. For example, threshold values are set for each of the biological information parameters D1 for heart rate, pulse rate, respiratory rate, body temperature, blood pressure, blood oxygen saturation, body weight, sleep, awakening, getting out of bed, rising and sitting position. . When the measured value of the biological information parameter D1 exceeds the threshold value, it is determined that the state is abnormal. Alternatively, regarding two or more combinations of the plurality of biological information parameters D1, a case where the measured value exceeds a threshold value may be determined as an abnormal state.

図1(b)は、対象者81の声V0に対応する音声信号V1の時間的な変化を模式的に例示している。図1(c)は、音声信号V1から導出される感情パラメータE1の時間的な変化を模式的に例示している。図1(d)は、対象者81の生体状態に対応する生体情報パラメータD1の時間的な変化を模式的に例示している。これらの図の横軸は、時間tである。   FIG. 1B schematically illustrates temporal changes in the audio signal V1 corresponding to the voice V0 of the subject 81. FIG. 1C schematically illustrates temporal changes in the emotion parameter E1 derived from the audio signal V1. FIG. 1D schematically illustrates a temporal change in the biological information parameter D1 corresponding to the biological state of the subject 81. The horizontal axis of these figures is time t.

例えば、図1(d)に示すように、生体情報パラメータD1がしきい値DL1を超えている状態(異常状態)が検出される。この例では、生体情報パラメータD1は、血圧である。この例では、第1時刻t1及び第2時刻t2において、異常状態が生じている。血圧の異常状態には、身体の異常の他に、感情の異常が影響を与えると、考えられる。   For example, as shown in FIG. 1D, a state (abnormal state) in which the biological information parameter D1 exceeds the threshold value DL1 is detected. In this example, the biological information parameter D1 is blood pressure. In this example, an abnormal state occurs at the first time t1 and the second time t2. It is considered that the abnormal state of blood pressure is affected by abnormalities of emotion in addition to abnormalities of the body.

本実施形態においては、音声信号V1の時間的な変化(図1(b)参照)に基づいて、感情パラメータE1が導出される(図1(c)参照)。この例では、第1時刻t1において、感情パラメータE1が大きく変化している。第2時刻t2においては、感情パラメータE1の変化は小さい。   In the present embodiment, the emotion parameter E1 is derived (see FIG. 1C) based on the temporal change of the audio signal V1 (see FIG. 1B). In this example, the emotion parameter E1 changes significantly at the first time t1. At the second time t2, the change in the emotion parameter E1 is small.

例えば、以下のような状況が考えられる。対象者81の孫がスポーツ競技会に出場した。第1時刻t1の前後に、テレビジョンで、そのスポーツ競技会が放映された。対象者81は、その放映を観戦した。このため、第1時刻t1において、対象者81の感情パラメータが大きく変化した。   For example, the following situations can be considered. The grandson of the subject 81 participated in the sports competition. Before and after the first time t1, the sports competition was broadcast on television. The subject 81 watched the broadcast. For this reason, the emotion parameter of the subject 81 has changed greatly at the first time t1.

第2時刻t2においては、感情パラメータE1は異常ではない。このため、第2時刻t2における、生体情報パラメータD1の異常状態(血圧の高い状態)は、身体の異常が原因していることが考えられる。例えば、第2時刻t2における生体情報パラメータD1の異常状態は、危険状態を示している可能性が高い。   At the second time t2, the emotion parameter E1 is not abnormal. For this reason, it is considered that the abnormal state of the biological information parameter D1 (high blood pressure state) at the second time t2 is caused by a physical abnormality. For example, the abnormal state of the biological information parameter D1 at the second time t2 is highly likely to indicate a dangerous state.

これに対して、第1時刻t1においては、感情パラメータE1が異常である。このため、第1時刻t1における生体情報パラメータD1の異常状態(血圧の高い状態)は、上記のテレビジョンの放映の影響によると考えられる。   On the other hand, the emotion parameter E1 is abnormal at the first time t1. For this reason, the abnormal state of the biological information parameter D1 (high blood pressure state) at the first time t1 is considered to be due to the influence of the television broadcast described above.

生体情報パラメータD1に加えて、感情パラメータE1に着目することで、対象者81の状態をより正確に把握することができると考えられる。例えば、医師83が、対象者81の生体状態を把握することで、対象者81の状態を把握する。このとき、生体状態とともに、対象者81の感情の変化を把握することで、対象者81の状態をより正確に把握することができる。   By focusing on the emotion parameter E1 in addition to the biological information parameter D1, it is considered that the state of the target person 81 can be grasped more accurately. For example, the doctor 83 grasps the state of the subject 81 by grasping the biological state of the subject 81. At this time, the state of the subject 81 can be grasped more accurately by grasping the change in the emotion of the subject 81 along with the biological state.

図1(a)に示すように、実施形態においては、例えば、医師83(支援者80)が使用する表示装置83D(例えば、提供部)に、生体情報パラメータD1に加えて、感情パラメータE1に対応する感情情報ES1が表示される。例えば、感情情報ES1として、感情パラメータE1に基づくピクトグラムなどが表示されても良い。これにより、医師83は、例えば、感情の影響を除いて、生体情報パラメータD1をより正確に把握することができる。   As shown in FIG. 1A, in the embodiment, for example, a display device 83D (for example, a providing unit) used by a doctor 83 (supporting person 80) adds an emotion parameter E1 in addition to the biological information parameter D1. Corresponding emotion information ES1 is displayed. For example, a pictogram based on the emotion parameter E1 may be displayed as the emotion information ES1. Thereby, the doctor 83 can grasp | ascertain the biometric information parameter D1 more correctly, for example except the influence of an emotion.

このように、実施形態に係る療養支援システム110は、例えば、対象者81の感情状態に対応する感情情報ES1を、対象者81の生体状態の少なくとも一部に基づく生体情報(例えば生体情報パラメータD1)と共に提供する。上記のように、この感情状態は、音センサ11により検出された、対象者81の声V0に基づいて推定される。例えば、声V0に基づく音声が音声認識処理されることで、対象者81の感情状態が推定される。   Thus, for example, the medical treatment support system 110 according to the embodiment uses the biological information (for example, the biological information parameter D1) based on at least a part of the biological state of the subject 81 using the emotion information ES1 corresponding to the emotional state of the subject 81. ). As described above, this emotional state is estimated based on the voice V 0 of the subject 81 detected by the sound sensor 11. For example, the emotional state of the target person 81 is estimated by performing voice recognition processing on the voice based on the voice V0.

実施形態によれば、支援者80(例えば医師83など)は、感情の変化の影響を除いて、生体状態をより正確に把握することができる。これにより、支援者80は、より適正な療養のための処置を、対象者81に提供できる。実施形態によれば、より良いサービスが提供できる療養支援システムが提供できる。   According to the embodiment, the supporter 80 (for example, the doctor 83) can more accurately grasp the biological state except for the influence of emotional changes. Thereby, the supporter 80 can provide the subject 81 with treatment for more appropriate medical treatment. According to the embodiment, a medical treatment support system that can provide a better service can be provided.

例えば、実施形態に係る療養支援システム110から表示装置83D(例えば、提供部)に出力情報OSが提供されることで、表示装置83Dにおいて、上記の表示が行われる。この場合の出力情報OSは、視覚情報VSに対応する。後述するように、療養支援システム110から、聴覚情報が提供されても良い。例えば、療養支援システム110は、視覚情報VS及び聴覚情報の少なくともいずれかを含む出力情報OSを提供する。この出力情報OSは、対象者81の感情状態に応じて変化する。対象者81の感情状態は、生体状態及び声V0の少なくともいずれかに基づいて推定されている。例えば、視覚情報VSは、画像信号(データ)、または、映像信号(データ)を含む。視覚情報VSを表示装置に供給することで、表示装置において、視覚情報VSに応じた表示が行われる。視覚情報VSは、表示された、画像または映像を含んでも良い。   For example, when the output information OS is provided from the medical treatment support system 110 according to the embodiment to the display device 83D (for example, a providing unit), the display is performed on the display device 83D. The output information OS in this case corresponds to the visual information VS. As will be described later, auditory information may be provided from the medical treatment support system 110. For example, the medical treatment support system 110 provides an output information OS including at least one of visual information VS and auditory information. This output information OS changes according to the emotional state of the target person 81. The emotional state of the subject 81 is estimated based on at least one of the biological state and the voice V0. For example, the visual information VS includes an image signal (data) or a video signal (data). By supplying the visual information VS to the display device, display according to the visual information VS is performed on the display device. The visual information VS may include a displayed image or video.

実施形態において、対象者81の感情状態に対応する感情情報ES1の導出は、例えば、処理部60により行われる。そして、対象者81の生体状態の少なくとも一部に基づく生体情報(例えば生体情報パラメータD1)の導出は、例えば、処理部60により行われる。処理部60は、例えば、クラウド上に設けられても良い。処理部60は、例えば、支援装置10に設けられても良い。処理部60は、例えば、表示装置83Dを含むコンピュータに設けられても良い。   In the embodiment, the derivation of the emotion information ES1 corresponding to the emotional state of the target person 81 is performed by the processing unit 60, for example. And the derivation | leading-out of the biometric information (for example, biometric information parameter D1) based on at least one part of the biometric state of the object person 81 is performed by the process part 60, for example. The processing unit 60 may be provided on a cloud, for example. For example, the processing unit 60 may be provided in the support device 10. The processing unit 60 may be provided in a computer including the display device 83D, for example.

実施形態においては、声V0の検出、または、声V0から得られる音声の音声認識、または、感情状態の推定の少なくともいずれかは、生体センサ20による検出結果に基づいて開始されても良い。例えば、音声認識が常時行われていると、処理部60において、高い処理能力(処理速度を含む)が要求される。さらに、処理部60との間の通信において、高い通信速度が要求される。このとき、必要なときに音声認識などを行うことで、処理部60及び通信速度に対する要求が緩和される。   In the embodiment, at least one of the detection of the voice V0, the voice recognition of the voice obtained from the voice V0, and the estimation of the emotional state may be started based on the detection result by the biological sensor 20. For example, when speech recognition is always performed, the processing unit 60 requires high processing capability (including processing speed). Furthermore, a high communication speed is required for communication with the processing unit 60. At this time, by performing voice recognition or the like when necessary, requirements for the processing unit 60 and the communication speed are alleviated.

例えば、生体センサ20により検出された生体状態が異常状態と判定されたら、声V0の検出が開始される。または、生体状態が異常状態と判定されたら、感情状態の推定が開始されても良い。感情状態の推定は、例えば、音声認識の処理の少なくとも一部を含む。これにより、より使いやすい療養支援システムが提供できる。   For example, when the biological state detected by the biological sensor 20 is determined to be an abnormal state, detection of the voice V0 is started. Alternatively, when the biological state is determined to be an abnormal state, estimation of the emotional state may be started. The estimation of the emotional state includes at least a part of voice recognition processing, for example. Thereby, an easier-to-use medical support system can be provided.

例えば、生体状態は、連続的に検出される。そして、生体状態が異常であると判断されたときをトリガにして、声V0に基づく感情状態が推定される。効率的な感情状態の推定が可能になる。   For example, the biological state is continuously detected. Then, the emotional state based on the voice V0 is estimated using the time when the biological state is determined to be abnormal as a trigger. Efficient estimation of emotional state is possible.

例えば、近距離通信部15により、看護師82a(または介護士82bなど)の認識タグ82sが認識されたら、声V0の検出、または、感情状態の推定(音声認識を含む)が開始されても良い。   For example, when the short-range communication unit 15 recognizes the recognition tag 82s of the nurse 82a (or caregiver 82b or the like), the detection of the voice V0 or the estimation of the emotional state (including voice recognition) is started. good.

例えば、支援装置10に、人感センサ16が設けられても良い。人感センサ16により、支援者80が対象者81に近づいたことが検出されたら、声V0の検出、または、感情状態の推定(音声認識を含む)が開始されても良い。   For example, the human sensor 16 may be provided in the support device 10. When the human sensor 16 detects that the supporter 80 has approached the subject 81, detection of the voice V0 or estimation of emotional state (including voice recognition) may be started.

例えば、音センサ11により、支援者80が対象者81に向けて声をかけたことが検出されたら、感情状態の推定(音声認識を含む)が開始されても良い。   For example, if it is detected by the sound sensor 11 that the support person 80 has made a voice toward the target person 81, estimation of emotional state (including voice recognition) may be started.

さらに、実施形態において、対象者81の要支援状態が推定されても良い。要支援状態は、例えば、生体状態及び声V0の少なくともいずれかに基づいて推定される。要支援状態は、対象者81の、健康状態の悪化、不穏、排泄、褥瘡、及び、転落可能性の少なくともいずれかを含む。例えば、対象者81の生体状態を検出することで、例えば、健康状態の悪化、不穏、排泄、褥瘡、及び、転落の少なくともいずれかの直前に、それらを把握(予測)することができる。例えば、対象者81の声V0を基にした音声認識処理により、例えば、健康状態の悪化、不穏、排泄、褥瘡、及び、転落の少なくともいずれかの直前に、それらを把握(予測)することができる。   Furthermore, in the embodiment, the support required state of the target person 81 may be estimated. The support-needed state is estimated based on, for example, at least one of the biological state and the voice V0. The support-needed state includes at least one of the deterioration of the health state, restlessness, excretion, pressure ulcer, and possibility of falling of the subject 81. For example, by detecting the biological state of the subject 81, it is possible to grasp (predict) them immediately before at least one of deterioration of health, restlessness, excretion, pressure sores, and falls, for example. For example, by voice recognition processing based on the voice V0 of the target person 81, for example, they can be grasped (predicted) immediately before at least any one of deterioration of health, restlessness, excretion, pressure ulcer, and fall. it can.

実施形態において、療養支援システム110は、このような、対象者81の要支援状態をさらに、支援者80に知らせても良い。例えば、支援装置10に設けられる音発生部12(スピーカ)またはランプなどにより、要支援状態が報知されても良い。例えば、対象者81が居る施設に設けられるナースステーションなどのディスプレイなどに、要支援状態であることを示す表示(または、音または振動の発生など)が行われても良い。支援者80(例えば、医師83、看護師82a、介護士82b及び家族等82c)などが所有する端末装置(例えば、表示装置83D等でも良い)に表示(または、音または振動の発生など)が行われても良い。   In the embodiment, the medical treatment support system 110 may further notify the supporter 80 of such a support required state of the target person 81. For example, the support required state may be notified by a sound generator 12 (speaker) or a lamp provided in the support device 10. For example, a display (or generation of sound or vibration, etc.) indicating that a support is required may be performed on a display such as a nurse station provided in a facility where the target person 81 is present. A display (or generation of sound or vibration, etc.) is displayed on a terminal device (for example, display device 83D etc.) owned by supporter 80 (for example, doctor 83, nurse 82a, caregiver 82b, family 82c, etc.). It may be done.

このように、要支援状態を知らせることで、より適正な支援を、適正な時期に、迅速に提供できる。   In this way, by notifying the state of support required, more appropriate support can be provided promptly at the appropriate time.

本実施形態において、音発生部12(例えばスピーカ)から、対象者81に向けた音声S1(例えば聴覚情報)が出力されても良い。例えば、音発生部12は、対象者81への質問及び呼びかけの少なくともいずれかの内容を含む音声S1を発生する(図1(a)参照)。この内容は、対象者81の健康安全状態に関係している。この内容は、対象者81の生体状態、及び、対象者の声V0の少なくともいずれかに基づいて定められる。   In the present embodiment, a sound S1 (for example, auditory information) directed toward the subject 81 may be output from the sound generation unit 12 (for example, a speaker). For example, the sound generator 12 generates a sound S1 including at least one of questions and calls to the subject 81 (see FIG. 1A). This content relates to the health and safety state of the subject 81. This content is determined based on at least one of the biological state of the subject 81 and the voice V0 of the subject.

例えば、対象者81の生体状態が体温である場合、体温が平熱よりも高いときに、音発生部12から「熱が高いようですよ。具合はいかがですか?」などの、質問の内容の音声S1が出力される。例えば、対象者81が苦しそうな声V0を発生している場合がある。このような場合に、音発生部12から「具合はいかがですか?」などの、質問の内容の音声S1が出力される。   For example, in the case where the biological state of the subject 81 is body temperature, when the body temperature is higher than normal heat, the sound generator 12 will ask the question content such as “It seems that the heat is high. How is it?” Audio S1 is output. For example, there is a case where a voice V0 that the subject 81 is likely to suffer is generated. In such a case, the sound generator 12 outputs a sound S1 of the question content such as “How is it?”.

そして、音センサ11は、この音声S1の発生の後の、対象者81の別の声をさらに検出しても良い。そして、感情状態は、その別の声にさらに基づいて推定されても良い。   Then, the sound sensor 11 may further detect another voice of the subject 81 after the generation of the voice S1. Then, the emotional state may be estimated further based on the other voice.

このように、生体状態が生体センサ20により検出され、検出された生体状態が異常であったときに、対象者の声V0の音声認識が開始され、感情状態が推定される。これに加えて、対象者81に健康安全状態に関する質問などの内容の音声S1が発生しても良い。そして、この音声S1に応じて生じた、対象者81の別の声(回答)がさらに音声処理され、感情状態が推定される。これにより、より正確に感情状態を推定することができる。   Thus, when the biological state is detected by the biological sensor 20, and the detected biological state is abnormal, voice recognition of the subject's voice V0 is started, and the emotional state is estimated. In addition to this, the subject 81 may generate a sound S1 having contents such as a question about the health and safety state. Then, another voice (answer) of the subject 81 generated in response to the voice S1 is further subjected to voice processing, and the emotional state is estimated. Thereby, an emotional state can be estimated more accurately.

療養支援システム110においては、例えば、音声から感情が推定され、一時的な感情による生体情報の異常値が除去される。これにより、生体情報について、異常値の検出の精度を向上できる。   In the medical treatment support system 110, for example, emotions are estimated from voice, and abnormal values of biological information due to temporary emotions are removed. Thereby, the precision of detection of an abnormal value can be improved about living body information.

音声S1(例えば聴覚情報)は、療養支援システム110から提供(出力)される出力情報OSの少なくとも一部に対応する。このように、療養支援システム110は、視覚情報VS及び聴覚情報(例えば音声S1)の少なくともいずれかを含む出力情報OSを提供する。出力情報OSは、生体状態及び声V0の少なくともいずれかに基づいて推定された対象者81の感情状態に応じて変化する。例えば、聴覚情報は、音声S1を生成するための信号(例えば電気信号)を含んでも良い。聴覚情報は、音発生部12(スピーカ)で発生する音波を含んでも良い。   The voice S1 (for example, auditory information) corresponds to at least a part of the output information OS provided (output) from the medical treatment support system 110. As described above, the medical treatment support system 110 provides the output information OS including at least one of the visual information VS and the auditory information (for example, the voice S1). The output information OS changes according to the emotional state of the subject 81 estimated based on at least one of the biological state and the voice V0. For example, the auditory information may include a signal (for example, an electric signal) for generating the voice S1. The auditory information may include sound waves generated by the sound generator 12 (speaker).

例えば、音声情報データベースDB1とケア情報データベースDB4とが関係づけられても良い。例えば、感情情報ES1及び生体情報(例えば生体情報パラメータD1)の提供の際に、ケア情報データベースDB4が参照されても良い。   For example, the voice information database DB1 and the care information database DB4 may be related to each other. For example, the care information database DB4 may be referred to when providing the emotion information ES1 and the biological information (for example, the biological information parameter D1).

ケア情報データベースDB4は、例えば、マスタデータベースである。ケア情報データベースDB4は、基本情報(対象者81を特定する情報、または、対象者81の状態に関する任意の情報)を含む。例えば、対象者81が居る施設などに応じて、ケアの詳細情報が変更可能でも良い。ケアの詳細情報が、ケア情報データベースDB4に保存される。このような場合に、ケア情報データベースDB4に基づいて、感情情報ES1が、生体情報(例えば生体情報パラメータD1)と共に提供されても良い。   The care information database DB4 is, for example, a master database. The care information database DB4 includes basic information (information for identifying the target person 81 or arbitrary information regarding the state of the target person 81). For example, the detailed information on care may be changeable according to the facility where the target person 81 is located. Detailed care information is stored in the care information database DB4. In such a case, emotion information ES1 may be provided together with biological information (for example, biological information parameter D1) based on the care information database DB4.

図2は、実施形態に係る療養支援システムで用いられる情報を例示する模式図である。 図2は、ケア情報の例として、ケアコードを例示している。
図2に示すように、ケアコードは、大分類CL1、中分類CL2、及び、小分類CL3などを含む。大分類CL1は、例えば、「入浴・清潔保持整容・更衣」などである。この他、大分類CL1は、「移動・移乗・体位交換」、「食事」、「排泄」、「生活自立支援」、「社会生活支援」、「行動上の問題」、「医療」、「機能訓練」、または、「対象者に直接関わらない業務」を含んでも良い。大分類CL1が、「入浴・清潔保持整容・更衣」の場合、中分類CL2は、例えば、「入浴」、及び、「清拭」などを含む。中分類CL2が、「清拭」である場合、小分類CL3は、「準備」、「言葉による働きかけ」、「介助」、「見守り等」、及び、「後始末」などを含む。複数の小分類CL3のそれぞれに、コードCNが定められている。
FIG. 2 is a schematic view illustrating information used in the medical treatment support system according to the embodiment. FIG. 2 illustrates a care code as an example of care information.
As shown in FIG. 2, the care code includes a large classification CL1, a medium classification CL2, a small classification CL3, and the like. The large classification CL1 is, for example, “bathing / cleanliness maintenance / change”. In addition, the major classification CL1 includes “movement / transfer / position change”, “meal”, “excretion”, “living independence support”, “social life support”, “behavioral problems”, “medicine”, “function” Training "or" operation not directly related to the target person "may be included. When the large classification CL1 is “bathing / cleanliness maintenance / changing clothes”, the middle classification CL2 includes, for example, “bathing”, “wiping”, and the like. When the middle classification CL2 is “cleaning”, the minor classification CL3 includes “preparation”, “working with words”, “help”, “watching etc.”, “cleaning up”, and the like. A code CN is defined for each of the plurality of small classifications CL3.

このようなコードCNに従って、対象者81の状態が表現され、記録される。   According to such a code CN, the state of the subject 81 is expressed and recorded.

療養支援システム110においては、生体情報、及び、音声認識情報に加えて、ケア情報データベースDB4に保存されたケアコード(ケア情報)を用いて、対象者81の状態が、より正確に把握される。   In the medical treatment support system 110, in addition to biological information and voice recognition information, the state of the subject 81 is more accurately grasped using a care code (care information) stored in the care information database DB4. .

療養支援システム110において、音声に関する情報が付加(学習)可能でも良い。例えば、ケア分類の1つの介助をすることにより対象者81が奇声を発する場合などがある。このような場合に、その奇声(音声)は、音声情報としては、ノイズ扱いとされる。このようなノイズ扱いとされる音声に関する情報が、付加(学習)可能でも良い。これにより、音声から、対象者81の状態をより正確に推定できる。   In the medical treatment support system 110, information related to voice may be added (learned). For example, there is a case where the target person 81 makes a strange voice by assisting one of the care classifications. In such a case, the strange voice (voice) is treated as noise as voice information. Such information regarding noise treated as noise may be added (learned). Thereby, the state of the subject 81 can be estimated more accurately from the voice.

図3(a)及び図3(b)は、第1実施形態に係る療養支援システムの動作を例示する模式図である。
図3(a)に例示するように、実施形態に係る療養支援システム110においては、例えば、医師83(支援者80)が使用する表示装置83D(例えば、提供部)に、問診内容の案I1が表示される。問診内容の案I1は、例えば、生体センサ20で検出された生体状態、及び、音センサ11で検出された声V0(すなわち、それの音声認識処理結果)の少なくともいずれかに基づいている。
FIG. 3A and FIG. 3B are schematic views illustrating the operation of the medical treatment support system according to the first embodiment.
As illustrated in FIG. 3A, in the medical treatment support system 110 according to the embodiment, for example, the display device 83D (for example, the providing unit) used by the doctor 83 (supporter 80) has a plan I1 of the contents of the inquiry. Is displayed. The plan I1 of the contents of the inquiry is based on, for example, at least one of the biological state detected by the biological sensor 20 and the voice V0 detected by the sound sensor 11 (that is, the voice recognition processing result thereof).

例えば、生体センサ20で検出された生体状態、及び、音センサ11で検出された声V0(または音声認識処理結果)の少なくともいずれかに基づいて、問診内容の案I1が導出される。例えば、問診内容に関するデータベースが設けられる。このデータベースから、問診内容の、いくつかの案が抽出される。抽出された案が、案I1として、医師83などに提案される。これにより、より適切な診察が支援できる。   For example, based on at least one of the biological state detected by the biological sensor 20 and the voice V0 (or the voice recognition processing result) detected by the sound sensor 11, the inquiry content plan I1 is derived. For example, a database relating to the contents of an inquiry is provided. From this database, several plans for the contents of the interview are extracted. The extracted plan is proposed to the doctor 83 or the like as the plan I1. Thereby, a more appropriate examination can be supported.

例えば、既に説明したように、図1(a)に例示した生体情報(生体情報パラメータD1)及び感情情報ES1が、医師83に提供される。このような情報が、問診の判断の材料、または、処方の判断の材料とされる。さらに、問診内容の案I1、及び、その案I1に対する対象者81の回答が、処方の判断の材料とされる。例えば、訪問医師による対象者81の状況の把握を、より適正に行うことを支援できる。   For example, as already described, the biometric information (biometric information parameter D1) and emotion information ES1 illustrated in FIG. Such information is used as a material for judging a medical inquiry or a material for judging a prescription. Further, the plan I1 of the contents of the interview and the answer of the subject 81 with respect to the plan I1 are used as the material for determining the prescription. For example, it is possible to support the visiting doctor to grasp the situation of the target person 81 more appropriately.

図3(b)に例示するように、表示装置82D(例えば、提供部)に、対象者81への質問または声かけの案I2を表示可能でも良い。表示装置82Dは、例えば、看護師82a、介護士82bまたは家族等82cなどが使用する表示装置(携帯型の端末など)である。この案I2は、例えば、生体センサ20で検出された生体状態、及び、音センサ11で検出された声V0(及びその音声認識処理)の少なくともいずれかに基づいている。   As illustrated in FIG. 3B, a question I / Voice plan I2 to the subject 81 may be displayed on the display device 82D (for example, a providing unit). The display device 82D is, for example, a display device (such as a portable terminal) used by a nurse 82a, a caregiver 82b, a family member 82c, or the like. This plan I2 is based on, for example, at least one of the biological state detected by the biological sensor 20 and the voice V0 (and its voice recognition process) detected by the sound sensor 11.

例えば、対象者81への質問または声かけの案I2が、支援者80(看護師82a、介護士82bまたは家族等82c)に提案される。例えば、案I2として、「痛いところはありますか?と訊いてみましょう」、「窓際の花が開いてきましたよ、と声をかけてみましょう」、または、「私が誰だかわかりますか?と訊いてみましょう」などの質問(または声かけ)の案が表示される。この案I2に基づいて支援者80が対象者81と会話する。これにより、対象者81の状態をより正確に知ることができる。   For example, a plan I2 for asking or speaking to the subject 81 is proposed to the supporter 80 (a nurse 82a, a caregiver 82b, or a family member 82c). For example, as plan I2, “Let's ask if there is a pain”, “Let's call out that the flower at the window has opened”, or “I know who I am. "Let's ask?" A proposal for a question (or voice call) is displayed. Based on the plan I2, the supporter 80 has a conversation with the subject 81. Thereby, the state of the subject 81 can be known more accurately.

例えば、対象者81のおける認知症による不穏行動の予兆が推定できる。例えば、痛みなどの状況の緩和のために医師83などへ相談するタイミングなどを、看護師82a、介護士82bまたは家族等82cなどに示唆できる。   For example, a sign of disturbing behavior due to dementia in the subject 81 can be estimated. For example, it is possible to suggest to the nurse 82a, the caregiver 82b, the family member 82c, or the like the timing of consultation with the doctor 83 or the like for the relief of the situation such as pain.

このように、実施形態に係る療養支援システム110は、対象者81との会話の内容(話題など)に関する案(案I1または案I2など)を提供可能である。この提供は、例えば、上記の表示装置83Dまたは表示装置82Dなどにより行われる。この案の提供は、音声などにより行われても良い。   As described above, the medical treatment support system 110 according to the embodiment can provide a plan (plan I1 or plan I2 or the like) related to the content (topic, etc.) of the conversation with the target person 81. This provision is performed by the display device 83D or the display device 82D, for example. This proposal may be provided by voice or the like.

対象者81との会話の内容は、例えば、対象者81の健康安全状態に関係している。提供される案(案I1または案I2など)は、検出された生体状態、及び、声V0の少なくともいずれかに基づいている。   The content of the conversation with the subject 81 is related to the health and safety state of the subject 81, for example. The provided plan (such as plan I1 or plan I2) is based on the detected biological condition and / or the voice V0.

このような案に基づいて、支援者80(医師83、看護師82a、介護士82bまたは家族等82c)が問診または会話を行う。そして、問診、または、会話に応じて、対象者81が回答する。この回答の声がさらに音声認識されても良い。   Based on such a plan, the supporter 80 (doctor 83, nurse 82a, care worker 82b, family 82c, etc.) conducts an inquiry or conversation. Then, the subject 81 answers in response to an inquiry or conversation. The voice of this answer may be further recognized.

例えば、音センサ11は、対象者81の支援者80の声(案I2等に基づく質問など)、及び、支援者80の声に応じて発生された対象者81の別の声(回答)をさらに検出する。支援者80のこの声は、上記の提供された案(案I1または案I2など)の少なくとも一部に基づく内容を含んでいる。そして、感情状態が、その別の声(回答)にさらに基づいて推定されても良い。   For example, the sound sensor 11 receives the voice of the supporter 80 of the target person 81 (question based on the plan I2 or the like) and another voice (answer) of the target person 81 generated according to the voice of the supporter 80. Further detect. This voice of the supporter 80 includes contents based on at least a part of the provided plan (such as plan I1 or plan I2). Then, the emotional state may be estimated further based on the other voice (answer).

さらに、対象者81の支援者80の声(案I2等に基づく質問など)、及び、支援者80の声に応じて発生された対象者81の別の声(回答)が、再生されて、医師83などに提供されても良い。例えば、対象者81の支援者80の声、及び、対象者81の別の声(回答)が音声認識処理されて、文章となって表示可能でも良い。この表示が、医師83などに提供されても良い。   Furthermore, the voice of the supporter 80 of the target person 81 (question based on the plan I2 etc.) and another voice (answer) of the target person 81 generated in response to the voice of the supporter 80 are reproduced, It may be provided to a doctor 83 or the like. For example, the voice of the supporter 80 of the target person 81 and another voice (answer) of the target person 81 may be voice-recognized and displayed as sentences. This display may be provided to the doctor 83 or the like.

例えば、図1(a)に例示した第2時刻t2において、生体状態が異常であると判断される。このとき、看護師82aが所有する表示装置82Dに、上記のような質問の案I2が表示される。看護師82aは、その案I2に基づいて、対象者81に質問する。その質問に対する、対象者81の回答の声が検出される。その回答の声が音声処理される。音声処理により、例えば、対象者81の痛みの状態が、情報として、音声情報データベースDB1などに保存される。その後、音声処理されて得られた対象者81の状態が、医師83などに提供される。このように、実施形態においては、上記の別の声(対象者81の回答)に対応する内容の少なくとも一部をさらに提供可能である。   For example, the biological state is determined to be abnormal at the second time t2 illustrated in FIG. At this time, the question plan I2 as described above is displayed on the display device 82D owned by the nurse 82a. The nurse 82a asks the subject 81 a question based on the plan I2. The voice of the answer of the subject 81 with respect to the question is detected. The answer voice is processed. By the voice processing, for example, the pain state of the subject 81 is stored as information in the voice information database DB1 or the like. Thereafter, the state of the subject 81 obtained by voice processing is provided to the doctor 83 and the like. Thus, in the embodiment, it is possible to further provide at least a part of the content corresponding to the other voice (answer of the subject 81).

例えば、1つの例では、生体状態が異常であると判定された後に時間が経過してから、医師83による診察が行われる。別の例では、医師83による診察が、1週に1回などのように定期的に行われ、医師83は、1週の間の生体状態の変化を知る。このとき、生体状態が異常であったときに、案I2等に基づく質問の声に応じた、対象者81の声から得られる情報を受け取ることで、対象者81の状態をより正確に知ることができる。支援者80(例えば医師83など)により、対象者81に、より良いサービスが提供できる。   For example, in one example, the doctor 83 performs a medical examination after a lapse of time after it is determined that the biological state is abnormal. In another example, a medical examination by the doctor 83 is periodically performed, such as once a week, and the doctor 83 knows a change in the biological state during one week. At this time, when the biological state is abnormal, by receiving information obtained from the voice of the subject 81 according to the voice of the question based on the plan I2 or the like, the state of the subject 81 can be known more accurately Can do. A better service can be provided to the target person 81 by a supporter 80 (for example, a doctor 83).

上記の案I1及び案I2は、出力情報OSの少なくとも一部に対応する。案I1及び案I2は、例えば、視覚情報VS及び聴覚情報(例えば音声S1)の少なくともいずれかに含まれても良い。この場合も、療養支援システム110は、出力情報OSを提供する。出力情報OSは、生体状態及び声V0の少なくともいずれかに基づいて推定された対象者81の感情状態に応じて変化する。   The above scheme I1 and scheme I2 correspond to at least a part of the output information OS. For example, the plan I1 and the plan I2 may be included in at least one of the visual information VS and the auditory information (for example, the voice S1). Also in this case, the medical treatment support system 110 provides the output information OS. The output information OS changes according to the emotional state of the subject 81 estimated based on at least one of the biological state and the voice V0.

(第2実施形態)
図4(a)〜図4(c)は、第2実施形態に係る療養支援システムを例示する模式図である。
図4(a)に示すように、本実施形態に係る療養支援システム120も、生体センサ20と、音センサ11と、を含む。この例でも、生体センサ20は、対象者81のベッド70に設けられる。以下、療養支援システム120について、療養支援システム110とは異なる部分について、説明する。
(Second Embodiment)
FIG. 4A to FIG. 4C are schematic views illustrating the medical treatment support system according to the second embodiment.
As shown in FIG. 4A, the medical treatment support system 120 according to the present embodiment also includes a biological sensor 20 and a sound sensor 11. Also in this example, the biosensor 20 is provided on the bed 70 of the subject 81. Hereinafter, the medical support system 120 will be described with respect to parts different from the medical support system 110.

療養支援システム120においては、対象者81との会話の内容に関する案(案I1または案I2など)は、検出された生体状態、及び、声V0の少なくともいずれか、に加えて、ケア情報に基づいている。ケア情報は、例えば、ケア情報データベースDB4に保存されている。   In the medical treatment support system 120, a plan (such as plan I1 or plan I2) regarding the content of the conversation with the subject 81 is based on care information in addition to at least one of the detected biological state and voice V0. ing. The care information is stored in the care information database DB4, for example.

例えば、生体センサ20で検出された生体状態、音センサ11で検出された声V0(及びその音声認識処理)、または、ケア情報に基づいて、問診内容の案I1が医師83などに提案される。例えば、生体センサ20で検出された生体状態、音センサ11で検出された声V0(及びその音声認識処理)、または、ケア情報に基づいて、対象者81への質問または声かけの案I2を提案可能である。   For example, based on the biological state detected by the biological sensor 20, the voice V0 detected by the sound sensor 11 (and its voice recognition processing), or care information, a plan I1 for the contents of the inquiry is proposed to the doctor 83 or the like. . For example, based on the biological state detected by the biological sensor 20, the voice V0 detected by the sound sensor 11 (and its voice recognition processing), or the care information, a question I or question I2 to the target person 81 is determined. Can be proposed.

療養支援システム120においては、生体情報、及び、音声認識情報に加えて、ケアコード(ケア情報)を用いて、対象者81の状態がより正確に把握される。   In the medical treatment support system 120, in addition to the biological information and the voice recognition information, the state of the target person 81 is grasped more accurately by using a care code (care information).

療養支援システム120において、音発生部12(スピーカ)からの音声S1は、生体情報、及び、音声認識情報に加えて、ケアコード(ケア情報)に基づいても良い。この音声S1は、対象者81への質問及び呼びかけの少なくともいずれかの内容(対象者81の健康安全状態に関係する内容)を含む。より適切な質問または呼びかけの音声S1が得られる。   In the medical treatment support system 120, the voice S1 from the sound generation unit 12 (speaker) may be based on a care code (care information) in addition to biological information and voice recognition information. This voice S1 includes at least one of questions and calls to the subject 81 (contents related to the health and safety state of the subject 81). A more appropriate question or call voice S1 is obtained.

療養支援システム120において、対象者81の感情状態に対応する感情情報(図1(a)に例示した感情情報ES1など)が、生体状態の少なくとも一部に基づく生体情報(例えば図1(a)に例示した生体情報パラメータD1)と共に提供されても良い。この感情情報は、声V0に加えて、ケア情報に基づいて推定されても良い。療養支援システム120においても、より良いサービスが提供できる。   In the medical treatment support system 120, emotion information (such as emotion information ES1 illustrated in FIG. 1A) corresponding to the emotional state of the subject 81 is biometric information (for example, FIG. May be provided together with the biological information parameter D1) exemplified in the above. This emotion information may be estimated based on care information in addition to the voice V0. The medical treatment support system 120 can also provide better services.

療養支援システム120において、例えば、認知症による不穏行動の予兆などが推定できる。例えば、適切な「ケア応対ナレッジ」を、瞬時に、看護師82a、介護士82b及び家族等82cなどに提案できる。例えば、問診などの判断の参考になる「ナレッジ」を医師83が用いる表示装置83D(例えば、提供部)に表示できる。例えば、訪問医師による患者状況の把握を支援できる。   In the medical treatment support system 120, for example, a sign of disturbing behavior due to dementia can be estimated. For example, an appropriate “care knowledge” can be instantly proposed to the nurse 82a, the caregiver 82b, the family 82c, and the like. For example, “knowledge” that is a reference for judgment such as an inquiry can be displayed on a display device 83D (for example, a providing unit) used by the doctor 83. For example, it is possible to support the grasp of the patient situation by the visiting doctor.

療養支援システム120において、日報情報データベースDB3が用いられても良い。例えば、療養支援システム120において、介護記録(例えば、日報情報など)がさらに利用される。例えば、介護記録は、対象者81の支援者80により、記録、または、入力される。支援者80は、例えば、看護師82a、介護士82bまたは家族等82cなどである。例えば、支援者80による対象者81への支援(作業)が記録(または入力)される。記録(または入力)された介護記録が、日報情報データベースDB3に供給される。   In the medical treatment support system 120, the daily report information database DB3 may be used. For example, in the medical treatment support system 120, care records (for example, daily report information) are further used. For example, the care record is recorded or inputted by the supporter 80 of the target person 81. The supporter 80 is, for example, a nurse 82a, a caregiver 82b, a family member 82c, or the like. For example, support (work) for the target person 81 by the support person 80 is recorded (or input). The recorded care record (or input) is supplied to the daily report information database DB3.

日報情報データベースDB3が用いられることで、さらにより良いサービスが提供できる。例えば、音声情報データベースDB1、日報情報データベースDB3及びケア情報データベースDB4は互いに関係づけられても良い。ケア情報データベースDB4に記憶された情報を用いることで、対象者81の状態が、より正確に把握される。さらにより良いサービスが提供できる。   By using the daily report information database DB3, an even better service can be provided. For example, the voice information database DB1, the daily report information database DB3, and the care information database DB4 may be related to each other. By using the information stored in the care information database DB4, the state of the subject 81 can be grasped more accurately. Even better service can be provided.

(第3実施形態)
図5(a)〜図5(d)は、第3実施形態に係る療養支援システムを例示する模式図である。
図5(b)〜図5(d)は、療養支援システムにおける各種の情報(データまたは信号)を模式的に例示している。
(Third embodiment)
FIG. 5A to FIG. 5D are schematic views illustrating the medical treatment support system according to the third embodiment.
FIG. 5B to FIG. 5D schematically illustrate various types of information (data or signals) in the medical treatment support system.

図5(a)に示すように、本実施形態に係る療養支援システム130は、生体センサ20を含む。療養支援システム130は、表示装置83D(提供部の例)をさらに含んでも良い。   As shown in FIG. 5A, the medical treatment support system 130 according to the present embodiment includes a biosensor 20. The medical treatment support system 130 may further include a display device 83D (an example of a providing unit).

この例においても、生体センサ20は、対象者81の生体状態を検出する。この例においても、生体センサ20は、対象者81のベッド70に設けられる。既に説明したように、生体センサ20は、対象者81の体(または衣服)などに、付着または装着されても良い。   Also in this example, the biological sensor 20 detects the biological state of the subject 81. Also in this example, the biosensor 20 is provided on the bed 70 of the subject 81. As already described, the biosensor 20 may be attached to or attached to the body (or clothes) of the subject 81.

本実施形態においても、療養支援システム130(例えば表示装置83Dなど)は、対象者81の感情状態に対応する感情情報(例えば感情パラメータE1)を、生体状態の少なくとも一部に基づく生体情報(例えば、生体情報パラメータD1)と共に提供する。本実施形態においては、感情情報は、生体状態の少なくとも一部に基づいて推定される。例えば、感情情報は、生体状態の少なくとも一部から導出された自律神経状態に基づいて推定される。   Also in the present embodiment, the medical treatment support system 130 (for example, the display device 83D) uses the emotion information (for example, the emotion parameter E1) corresponding to the emotional state of the target person 81 as biometric information (for example, based on at least a part of the biological state). And provided together with the biological information parameter D1). In the present embodiment, emotion information is estimated based on at least a part of the biological state. For example, emotion information is estimated based on an autonomic nerve state derived from at least a part of the biological state.

例えば、対象者81の生体状態(例えば、心拍数、脈拍数、呼吸数、体温、血圧、血液の酸素飽和度、体重、睡眠、覚醒、離床、起上り及び端座位)は、対象者81の自律神経状態と関連がある。自律神経状態は、交感神経の状態、及び、副交感神経の状態を含む。対象者81の自律神経状態は、対象者81の感情状態(平常、喜び、怒り及び悲しみの少なくともいずれかの状態)と関連がある。   For example, the biological state of the subject 81 (for example, heart rate, pulse rate, respiratory rate, body temperature, blood pressure, blood oxygen saturation, body weight, sleep, awakening, getting out of bed, rising and end sitting) Associated with autonomic state. The autonomic state includes a sympathetic state and a parasympathetic state. The autonomic state of the subject 81 is related to the emotional state of the subject 81 (at least one of normal, joy, anger, and sadness).

例えば、対象者81の生体状態が、生体センサ20により検出される。検出結果(生体情報であり、例えば、生体情報パラメータD1)が、通信装置25を介して、生体情報データベースDB2に供給される。生体情報(生体情報パラメータD1)から、対象者81の自律神経状態N1が導出される。自律神経状態N1は、自律神経解析部61に供給される。自律神経解析部61において、自律神経状態N1に基づいて、対象者81の感情状態(例えば、感情パラメータE1)が導出される。感情パラメータE1から、感情情報ES1が導出される。   For example, the biological state of the subject 81 is detected by the biological sensor 20. The detection result (biological information, for example, biometric information parameter D1) is supplied to the biometric information database DB2 via the communication device 25. The autonomic nervous state N1 of the subject 81 is derived from the biological information (biological information parameter D1). The autonomic nerve state N1 is supplied to the autonomic nerve analysis unit 61. In the autonomic nerve analysis unit 61, the emotional state (for example, the emotion parameter E1) of the subject 81 is derived based on the autonomic nervous state N1. Emotion information ES1 is derived from the emotion parameter E1.

図5(a)に示すように、例えば、表示装置83Dに、感情パラメータE1が、生体情報パラメータD1と共に表示される。これにより、医師83は、例えば、感情の変化の影響を除いて、生体情報パラメータD1をより正確に把握することができる。   As shown in FIG. 5A, for example, the emotion parameter E1 is displayed together with the biological information parameter D1 on the display device 83D. Thereby, the doctor 83 can grasp | ascertain the biometric information parameter D1 more correctly except the influence of the change of an emotion, for example.

本実施形態においては、例えば、音センサ11が省略できる。生体状態を検出する生体センサ20により、自律神経状態が導出される。この自律神経状態に基づいて、対象者81の感情状態が推定される。このため、療養支援システム130においては、構成が簡単になる。   In the present embodiment, for example, the sound sensor 11 can be omitted. The autonomic nerve state is derived by the biological sensor 20 that detects the biological state. Based on this autonomic state, the emotional state of the subject 81 is estimated. For this reason, in the medical treatment support system 130, a structure becomes simple.

療養支援システム130において、対象者81の要支援状態を知らせても良い。この場合、要支援状態は、生体状態、及び、自律神経状態の少なくともいずれかに基づいて推定される。要支援状態は、対象者81の、健康状態の悪化、不穏、排泄、褥瘡、及び、転落可能性の少なくともいずれかを含む。   In the medical treatment support system 130, the support status of the target person 81 may be notified. In this case, the support required state is estimated based on at least one of the biological state and the autonomic nerve state. The support-needed state includes at least one of the deterioration of the health state, restlessness, excretion, pressure ulcer, and possibility of falling of the subject 81.

例えば、生体センサ20から得られた生体状態に基づいて、対象者81の自律神経状態N1が導出される。例えば、生体状態(例えば、心拍数、脈拍数、呼吸数、体温、血圧、血液の酸素飽和度、体重、睡眠、覚醒、離床、起上り及び端座位)、及び、自律神経状態N1の少なくともいずれかに基づいて、対象者81の要支援状態の報知が行われても良い。報知は、例えば、対象者81が居る施設のナースステーションなどのディスプレイなどにより行われる。報知は、例えば、支援者80(例えば、医師83、看護師82a、介護士82b及び家族等82c)などが所有する端末装置により行われても良い。報知は、表示、音及び振動の少なくともいずれかを含んでも良い。   For example, based on the biological state obtained from the biological sensor 20, the autonomic nervous state N1 of the subject 81 is derived. For example, at least any of a biological state (for example, heart rate, pulse rate, respiratory rate, body temperature, blood pressure, blood oxygen saturation, body weight, sleep, awakening, getting out of bed, rising and sitting position), and autonomic state N1 On the basis of this, notification of the support required state of the target person 81 may be performed. The notification is performed by, for example, a display such as a nurse station of a facility where the target person 81 is present. For example, the notification may be performed by a terminal device owned by a supporter 80 (for example, a doctor 83, a nurse 82a, a caregiver 82b, a family member 82c, or the like). The notification may include at least one of display, sound, and vibration.

療養支援システム130においても、対象者81との会話の内容の案(案I1または案I2など、図2(a)及び図2(b)参照)が提供されても良い。その内容は、対象者81の健康安全状態に関係した内容である。その案は、例えば、生体状態、及び、自律神経状態N1の少なくともいずれかに基づいている。   Also in the medical treatment support system 130, the plan of the content of the conversation with the subject 81 (the plan I1 or the plan I2, such as FIG. 2A and FIG. 2B) may be provided. The content is related to the health and safety state of the subject 81. The plan is based on, for example, at least one of the biological state and the autonomic state N1.

療養支援システム130においては、例えば、生体情報(状態)から自律神経状態が導出され、感情が推定される。これにより、例えば、一時的な感情の変化による生体情報の異常値が除去される。例えば、生体情報の異常値の検出の精度が向上できる。これにより、対象者81の生体状況をより正確に把握できる。   In the medical treatment support system 130, for example, an autonomic nerve state is derived from biological information (state), and emotions are estimated. Thereby, for example, an abnormal value of biological information due to a temporary change in emotion is removed. For example, the accuracy of detection of abnormal values of biological information can be improved. Thereby, the biological condition of the subject 81 can be grasped more accurately.

例えば、生体情報(状態)に基づく自律神経状態は、例えば、人工知能などによるデータの分析に基づいて、導出されても良い。この場合、分析者が生体情報に関する波形または数値を見ながら自律神経の状態が推定される場合に比べて、より効率的に、より正確に、自律神経が導出できる。   For example, the autonomic nerve state based on biological information (state) may be derived based on, for example, analysis of data by artificial intelligence or the like. In this case, the autonomic nerve can be derived more efficiently and more accurately than when the analyst estimates the state of the autonomic nerve while looking at the waveform or numerical value related to the biological information.

本実施形態に係る療養支援システム130において、療養支援システム110のように、音センサ11(図1(a)参照)をさらに設けても良い。   In the medical treatment support system 130 according to the present embodiment, the sound sensor 11 (see FIG. 1A) may be further provided like the medical treatment support system 110.

この場合も、音センサ11は、対象者81の声V0を検出する。そして、感情情報ES1が、上記の自律神経状態N1に加えて、この声V0に基づいて推定されても良い。これにより、例えば、より正確に対象者81の感情状態を推定できる。   Also in this case, the sound sensor 11 detects the voice V0 of the subject 81. And emotion information ES1 may be estimated based on this voice V0 in addition to said autonomic nerve state N1. Thereby, for example, the emotional state of the subject 81 can be estimated more accurately.

さらに、音センサ11は、対象者81の支援者80の声、及び、支援者80の声に応じて発生された対象者81の声を検出しても良い。支援者80の声は、上記の案(案I1または案I2など)の少なくとも一部に基づく内容(例えば質問など)を含む。支援者80の声に応じて発生された対象者81の声は、質問などに応じた回答を含む。この場合、感情情報ES1は、上記の自律神経状態N1に加えて、対象者81の声(回答)に基づいてさらに推定されても良い。これにより、例えば、より正確に対象者81の感情状態を推定できる。   Furthermore, the sound sensor 11 may detect the voice of the supporter 80 of the subject 81 and the voice of the subject 81 generated according to the voice of the supporter 80. The voice of the supporter 80 includes content (for example, a question) based on at least a part of the above-mentioned plan (such as plan I1 or plan I2). The voice of the target person 81 generated according to the voice of the supporter 80 includes an answer according to a question or the like. In this case, the emotion information ES1 may be further estimated based on the voice (answer) of the subject 81 in addition to the autonomic nerve state N1. Thereby, for example, the emotional state of the subject 81 can be estimated more accurately.

例えば、対象者81の支援者80の声(案I2等に基づく質問など)、及び、支援者80の声に応じて発生された対象者81の別の声(回答)が、再生されて、医師83などに提供されても良い。例えば、これらの声が音声認識処理されて、文章となり、この文章が医師83などに提供されても良い。   For example, the voice of the supporter 80 of the target person 81 (question based on the plan I2 or the like) and another voice (answer) of the target person 81 generated in response to the voice of the supporter 80 are reproduced. It may be provided to a doctor 83 or the like. For example, these voices may be subjected to voice recognition processing to form a sentence, and this sentence may be provided to the doctor 83 or the like.

療養支援システム130において、療養支援システム130のように、音センサ11、及び、音発生部12(スピーカ、図1(a)参照)が設けられても良い。この場合、音発生部12は、対象者81への質問及び呼びかけの少なくともいずれかを含む内容を含む音声S1(図1(a)参照)を発生する。この内容は、対象者81の健康安全状態に関係した内容である。この内容は、生体状態、及び、自律神経状態N1の少なくともいずれかに基づいている。音センサ11は、音声S1の発生の後の対象者81の声(音声S1に対する回答)を検出する。感情状態は、対象者81のこの声(回答)に基づいてさらに推定されても良い。これにより、例えば、より正確に対象者81の感情状態を推定できる。   In the medical treatment support system 130, as in the medical treatment support system 130, the sound sensor 11 and the sound generator 12 (speaker, see FIG. 1A) may be provided. In this case, the sound generating unit 12 generates a sound S1 (see FIG. 1A) including contents including at least one of a question and a call to the target person 81. This content is related to the health and safety state of the subject 81. This content is based on at least one of the biological state and the autonomic nerve state N1. The sound sensor 11 detects the voice of the subject 81 after the generation of the voice S1 (answer to the voice S1). The emotional state may be further estimated based on this voice (answer) of the subject 81. Thereby, for example, the emotional state of the subject 81 can be estimated more accurately.

療養支援システム130において、対象者81の上記の声(回答)に対応する内容の少なくとも一部が、提供されても良い。例えば、音発生部12から発生された音声S1、及び、音声S1に応じて発生された対象者81の別の声(回答)が、再生されて、医師83などに提供されても良い。例えば、対象者81の別の声(回答)が音声認識処理されて、文章となり、この文章が、音声S1に対応する文章と共に、医師83などに提供されても良い。   In the medical treatment support system 130, at least a part of the content corresponding to the voice (answer) of the subject 81 may be provided. For example, the voice S1 generated from the sound generator 12 and another voice (answer) of the subject 81 generated in response to the voice S1 may be reproduced and provided to the doctor 83 or the like. For example, another voice (answer) of the target person 81 is subjected to voice recognition processing to become a sentence, and this sentence may be provided to the doctor 83 or the like together with a sentence corresponding to the voice S1.

(第4実施形態)
図6(a)〜図6(c)は、第4実施形態に係る療養支援システムを例示する模式図である。
本実施形態に係る療養支援システム140は、音センサ11と、提供部(例えば、表示装置83Dまたは表示装置82Dなど)と、を含む。
(Fourth embodiment)
FIG. 6A to FIG. 6C are schematic views illustrating the medical treatment support system according to the fourth embodiment.
The medical treatment support system 140 according to the present embodiment includes the sound sensor 11 and a providing unit (for example, the display device 83D or the display device 82D).

音センサ11は、例えば、対象者81の周辺の音声を収集する。例えば、音センサ11は、対象者81の声V0を検出する。提供部(例えば、表示装置83Dまたは表示装置82Dなど)は、音センサ11で収集した音声に基づいて、第1案を提供する。第1案は、例えば、対象者81の健康安全状態に関する回答を、その対象者81に促すための案である。例えば、提供部は、対象者81との会話の内容に関する第1案を提供する。対象者81との会話の内容は、対象者81の健康安全状態に関する内容である。この第1案は、音センサ11により検出された、対象者81の声V0に基づいている。   For example, the sound sensor 11 collects sounds around the subject 81. For example, the sound sensor 11 detects the voice V0 of the subject 81. The providing unit (for example, the display device 83D or the display device 82D) provides the first proposal based on the sound collected by the sound sensor 11. The first plan is, for example, a plan for prompting the subject 81 to answer the health / safety status of the subject 81. For example, the providing unit provides a first proposal related to the content of the conversation with the target person 81. The content of the conversation with the subject 81 is content related to the health and safety state of the subject 81. This first plan is based on the voice V 0 of the subject 81 detected by the sound sensor 11.

例えば、療養支援システム140を利用する支援者80が医師83である場合、上記の第1案として、問診内容の案I1が提供される(図6(b)参照)。例えば、療養支援システム140を利用する支援者80が看護師82a、介護士82bまたは家族等82cである場合、上記の第1案は、対象者81への質問または声かけの案I2である。   For example, when the supporter 80 who uses the medical treatment support system 140 is a doctor 83, a plan I1 of an inquiry content is provided as the first plan (see FIG. 6B). For example, when the supporter 80 using the medical care support system 140 is a nurse 82a, a caregiver 82b, or a family member 82c, the first plan is a plan I2 for asking a question or talking to the target person 81.

例えば、音センサ11により検出された、対象者81の声V0が音声認識処理される。音声認識処理の結果により、対象者81の状態(例えば、健康安全状態)が推定される。推定された、対象者81の状態に基づいて、対象者81との会話の内容に関する第1案が提供される。これにより、支援者80(医師83、看護師82a、介護士82bまたは家族等82cなど)により、より適切な支援が対象者81に提供できるようになる。   For example, the voice V0 of the subject 81 detected by the sound sensor 11 is subjected to voice recognition processing. Based on the result of the speech recognition process, the state of the subject 81 (for example, health and safety state) is estimated. Based on the estimated state of the target person 81, the first plan regarding the content of the conversation with the target person 81 is provided. Thereby, the supporter 80 (the doctor 83, the nurse 82a, the caregiver 82b, the family member 82c, or the like) can provide more appropriate support to the target person 81.

療養支援システム140においては、近距離通信部15により、看護師82a(または介護士82bなど)の認識タグ82sが認識されたら、声V0の検出、または、声V0の音声認識が開始されても良い。または、支援装置10などに設けられた人感センサ16により、支援者80が対象者81に近づいたことが検出されたら、声V0の検出、または、声V0の音声認識が開始されても良い。例えば、音センサ11により、支援者80が対象者81に向けて声をかけたことが検出されたら、音声認識が開始されても良い。   In the medical treatment support system 140, when the short-range communication unit 15 recognizes the recognition tag 82s of the nurse 82a (or the caregiver 82b or the like), even if detection of the voice V0 or voice recognition of the voice V0 is started. good. Alternatively, when the human sensor 16 provided in the support device 10 or the like detects that the supporter 80 has approached the subject 81, detection of the voice V0 or voice recognition of the voice V0 may be started. . For example, if it is detected by the sound sensor 11 that the support person 80 makes a voice toward the target person 81, the voice recognition may be started.

療養支援システム140においては、例えば、スタッフ(看護師82a、介護士82bまたは家族等82c)のICタグ(認識タグ82s)により、話者が識別される。療養支援システム140において、例えば、ICタグ(認識タグ82s)を検知することにより、音声認識の会話情報取得のトリガーとなる。   In the medical treatment support system 140, for example, a speaker is identified by an IC tag (recognition tag 82s) of a staff (a nurse 82a, a caregiver 82b, or a family member 82c). In the medical treatment support system 140, for example, by detecting an IC tag (recognition tag 82s), it becomes a trigger for acquiring conversation information for voice recognition.

療養支援システム140において、音センサ11は、対象者81の支援者80の声(質問または声かけ)、及び、支援者80の声に応じて発生された対象者81の別の声(回答)をさらに検出しても良い。支援者80のこの声は、上記の第1案(問診内容の案I1、または、対象者81への質問または声かけの案I2)の少なくとも一部に基づく内容を含む。   In the medical treatment support system 140, the sound sensor 11 uses the voice (question or voice) of the supporter 80 of the subject 81 and another voice (answer) of the subject 81 generated in response to the voice of the supporter 80. May be further detected. This voice of the supporter 80 includes contents based on at least a part of the above-mentioned first plan (plan I1 for the question content or plan I2 for asking or asking the subject 81).

このとき、療養支援システム140(例えば、提供部)は、上記の内容に関する第2案をさらに提供しても良い。例えば、この第2案は、上記の別の声(対象者81の回答)に基づいている。例えば、この第2案の内容は、対象者81の回答に基づいて、対象者81の状態をより詳しく聞き出すための内容である。   At this time, the medical treatment support system 140 (for example, a providing unit) may further provide the second plan related to the above contents. For example, the second plan is based on the above-mentioned another voice (the answer of the target person 81). For example, the contents of the second plan are contents for hearing the state of the subject person 81 in more detail based on the answer of the subject person 81.

例えば、療養支援システム140を利用する支援者80が医師83である場合、第1案により、対象者81の状態の概要が把握される。そして、第2案として、第1案の問診で得られた概要に基づいて、より詳しく聞き出すための案が提供される。   For example, when the supporter 80 using the medical care support system 140 is a doctor 83, the outline of the state of the target person 81 is grasped by the first plan. And as a 2nd plan, the plan for hearing in more detail based on the outline | summary obtained by the inquiry of a 1st plan is provided.

例えば、第1案に基づいて、医師83は、対象者81に、「家族に似たような症状はありませんでしたか?」と訊く。これが、支援者80の声(質問または声かけ)に対応する。この質問に対して、対象者81は、「父が似た病気でした」と回答する。この回答が上記の別の声(対象者81の回答)に対応する。このとき、第2案として、例えば、「お父さんには、他にも病気がありましたか?と訊いてみましょう」、または、「頭痛の他に、他の部分で痛いところはありませんか?と訊いてみましょう」などが提案される。例えば、表示装置83Dにこのような第2案が表示される。医師83は、このような第2案に基づいて、例えば、「他の部分で痛いところはありませんか?」と、対象者81にさらに質問する。このような案が、さらに繰り替えてして提案されても良い。   For example, based on the first plan, the doctor 83 asks the subject 81 “Did you have symptoms similar to your family?” This corresponds to the voice (question or voice) of the supporter 80. In response to this question, the subject 81 replies, “My father had a similar disease”. This answer corresponds to the other voice (the answer of the subject 81). At this time, as a second plan, for example, “Let me ask you if your father had any other illness?” Or “Are there any other painful parts besides the headache? Let ’s ask. ” For example, such a second plan is displayed on the display device 83D. Based on the second plan, the doctor 83 further asks the subject 81, for example, “Are there any pains in other parts?” Such a plan may be further repeated and proposed.

例えば、療養支援システム140を利用する支援者80が看護師82a、介護士82bまたは家族等82cである場合、第1案に基づいて、支援者80は、対象者81に、「どこが痛みますか?」と訊く。これが、支援者80の声(質問または声かけ)に対応する。この質問に対して、対象者81は、「頭が痛い」と回答する。この回答が上記の別の声(対象者81の回答)に対応する。このとき、第2案として、例えば、「いつからですか?と訊いてみましょう」、または、「だんだん酷くなっていますか?と訊いてみましょう」などが提案される。例えば、表示装置82Dにこのような第2案が表示される。支援者80(看護師82a、介護士82bまたは家族等82cなど)は、このような第2案に基づいて、例えば、「だんだん酷くなっていますか?」と、対象者81にさらに質問する。このような案が、さらに繰り替えてして提案されても良い。   For example, when the supporter 80 using the medical care support system 140 is a nurse 82a, a caregiver 82b, or a family member 82c, the supporter 80 asks the subject 81 “Where is it painful? Ask? This corresponds to the voice (question or voice) of the supporter 80. In response to this question, the subject 81 replies that “the head hurts”. This answer corresponds to the other voice (the answer of the subject 81). At this time, as the second plan, for example, “Let's ask when?” Or “Let's ask if it is getting worse” is proposed. For example, such a second plan is displayed on the display device 82D. The supporter 80 (such as a nurse 82a, a caregiver 82b, or a family member 82c) further asks the subject 81, for example, “is it getting worse?” Based on the second plan. Such a plan may be further repeated and proposed.

上記のように、第1案に基づく質問などに応じて、対象者81が回答する。対象者81の回答に基づいて、第2案が提供される。例えば、対象者81の回答により、対象者81の状態の概要が絞り込まれる。対象者81の、絞り込まれた状態に基づいて、さらに、第2案が提供される。第2案は、第1案よりも詳しい質問を含む。第2案は、第1案に含まれていなかった内容を含んでも良い。例えば、第2案の少なくとも一部は、第1案とは異なる。   As described above, the target person 81 answers in response to a question based on the first plan. Based on the answer of the subject 81, the second plan is provided. For example, the outline of the state of the target person 81 is narrowed down by the answer of the target person 81. The second plan is further provided based on the narrowed down state of the target person 81. The second plan contains more detailed questions than the first plan. The second plan may include contents that were not included in the first plan. For example, at least a part of the second plan is different from the first plan.

本実施形態においては、対象者81の声V0の音声認識処理は、対象者81の健康安全状態に関係するように、行われる。例えば、一般にコンピュータなどで行われる音声認識では、特定の言葉(例えば、そのコンピュータに付与された名前など)を発したときに、音声認識が行われる。そして、検出された声V0は、広い範囲の内容を含む。このため、声V0に基づく音声を音声認識処理する場合には、広い範囲の内容に適用できるように設計される。   In the present embodiment, the voice recognition process of the voice 81 of the subject 81 is performed so as to relate to the health and safety state of the subject 81. For example, in speech recognition generally performed by a computer or the like, speech recognition is performed when a specific word (for example, a name given to the computer or the like) is uttered. The detected voice V0 includes a wide range of contents. For this reason, when voice recognition processing is performed on voice based on the voice V0, it is designed to be applicable to a wide range of contents.

これに対して、実施形態においては、健康安全状態に関係した認識が優先して行われる。例えば、「痛い」、「苦しい」、「気分」、「熱」、または、「震える」などの意味の音声認識が、優先的に行われる。これに対して、「今流行しているファッションは?」などのように、健康安全状態に直接関係しない音声の認識率が低くなっても良い。例えば、音声認識で用いられる統計モデルにおいて、健康安全状態に関係する言葉などの優先度が高められても良い。例えば、音声認識で用いられる単語辞書に、健康安全状態に関係する言葉(及び発声)が優先的に登録されても良い。例えば、自動学習における学習モデルにおいて、健康安全に関係する言葉(及び発声)に高い重み付けが行われても良い。例えば、音声認識で用いられる言語モデルにおいて、健康安全状態に関係する単語の連鎖の記憶が優先的に行われても良い。   On the other hand, in the embodiment, recognition related to the health and safety state is preferentially performed. For example, speech recognition having a meaning such as “painful”, “stressed”, “mood”, “heat”, or “tremor” is preferentially performed. On the other hand, the speech recognition rate that is not directly related to the health and safety state may be lowered, such as “What fashion is popular now?”. For example, in a statistical model used in speech recognition, the priority of words related to health and safety conditions may be increased. For example, words (and utterances) related to health and safety may be preferentially registered in a word dictionary used for speech recognition. For example, in a learning model in automatic learning, words (and utterances) related to health and safety may be highly weighted. For example, in a language model used in speech recognition, storage of word chains related to health and safety conditions may be preferentially performed.

健康安全状態に関係した認識が優先して行われることにより、療養に関係する音声認識がより効率的に行われる。   By prioritizing recognition related to the health and safety state, speech recognition related to medical treatment is performed more efficiently.

(第5実施形態)
図7(a)〜図7(d)は、第5実施形態に係る療養支援システムを例示する模式図である。
本実施形態に係る療養支援システム150は、音センサ11と、提供部(例えば、表示装置83Dまたは表示装置82Dなど)と、を含む。音センサ11は、支援装置10に設けられる。療養支援システム150においては、支援装置10は、移動機構17を含む。療養支援システム150のこれ以外の構成は、療養支援システム140と同様とすることができる。
(Fifth embodiment)
FIG. 7A to FIG. 7D are schematic views illustrating the medical treatment support system according to the fifth embodiment.
The medical treatment support system 150 according to the present embodiment includes the sound sensor 11 and a providing unit (for example, the display device 83D or the display device 82D). The sound sensor 11 is provided in the support device 10. In the medical treatment support system 150, the support device 10 includes a moving mechanism 17. The rest of the configuration of the medical treatment support system 150 can be the same as that of the medical treatment support system 140.

移動機構17により、支援装置10は移動可能である。支援装置10は、自走式のロボットである。支援装置10は、音発生部12、送受信部13、筐体14、近距離通信部15及び人感センサ16を含んでも良い。療養支援システム150における支援装置10は、療養支援システム140における支援装置10と同様の動作を実施しても良い。   The support device 10 can be moved by the moving mechanism 17. The support device 10 is a self-propelled robot. The support device 10 may include a sound generation unit 12, a transmission / reception unit 13, a housing 14, a short-range communication unit 15, and a human sensor 16. The support device 10 in the treatment support system 150 may perform the same operation as the support device 10 in the treatment support system 140.

移動機構17により支援装置10は移動可能であるため、種々の動作がさらに可能になる。   Since the support device 10 can be moved by the moving mechanism 17, various operations can be further performed.

例えば、支援装置10は、コミュニケーションロボットとして機能しても良い。例えば、支援装置10は、対象者81の話相手となる。例えば、対象者81が、ベッド70から食堂のテーブルに移動する。対象者81は、食事が出るのを待つ。支援装置10は、対象者81が待っている間の話相手となる。支援装置10は、例えば、作業の合間を埋めるコミュニケーションロボットとなる。   For example, the support device 10 may function as a communication robot. For example, the support apparatus 10 becomes a talk partner of the target person 81. For example, the target person 81 moves from the bed 70 to the table in the dining room. The subject 81 waits for a meal to be served. The support device 10 becomes a conversation partner while the target person 81 is waiting. For example, the support device 10 is a communication robot that fills a gap between tasks.

例えば、対象者81がコミュニケーション障害を有する場合がある。例えば、脳卒中または他の病気、または、頭部外傷など原因で、コミュニケーション障害が生じる場合がある。支援装置10は、このような対象者81のリハビリテーションを支援できる。   For example, the target person 81 may have a communication disorder. For example, a communication disorder may occur due to a stroke or other illness, or a head injury. The support device 10 can support such rehabilitation of the subject 81.

支援装置10は、在宅の対象者81のリハビリテーションを支援可能でも良い。支援装置10は、例えば、トレーニング装置として機能しても良い。支援装置10は、対象者81のそれぞれに合わせたリハビリテーションの支援を提供できる。   The support device 10 may be able to support rehabilitation of the target person 81 at home. The support device 10 may function as a training device, for example. The support device 10 can provide rehabilitation support tailored to each of the target persons 81.

支援装置10は、例えば、言葉を思い出す訓練、または、自分の発語を聞きなおす訓練を支援できる。   The support device 10 can support, for example, training for remembering words or training for re-listening their own utterances.

支援装置10は、音センサ11、近距離通信部15及び人感センサ16などにより検出された情報に基づいて、支援装置10の位置を変更可能である。例えば、支援装置10は、対象となる対象者81の移動と連動して、自走により移動可能でも良い。   The support device 10 can change the position of the support device 10 based on information detected by the sound sensor 11, the short-range communication unit 15, the human sensor 16, and the like. For example, the support apparatus 10 may be movable by self-running in conjunction with the movement of the target person 81 as a target.

療養支援システム150によれば、より良いサービスが提供できる療養支援システムを提供できる。   The medical treatment support system 150 can provide a medical treatment support system that can provide better services.

(第6実施形態)
本実施形態に係る療養支援システムは、音センサ11と、生体センサ20と、提供部(例えば、表示装置83Dまたは表示装置82Dなど)と、を含む。この療養支援システムにおいて、音センサ11及び生体センサ20の一方が省略されても良い。
(Sixth embodiment)
The medical treatment support system according to the present embodiment includes the sound sensor 11, the biological sensor 20, and a providing unit (for example, the display device 83D or the display device 82D). In this medical treatment support system, one of the sound sensor 11 and the biological sensor 20 may be omitted.

療養支援システムにおいては、介護記録(例えば、日報情報など)がさらに利用される。これ以外は、上記の実施形態に係る任意の療養支援システム、と同様とすることができる。   In the medical treatment support system, care records (for example, daily report information) are further used. Except this, it can be the same as that of the arbitrary medical treatment support system which concerns on said embodiment.

例えば、介護記録は、対象者81の支援者80により、記録、または、入力される。支援者80は、例えば、看護師82a、介護士82bまたは家族等82cなどである。例えば、支援者80による対象者81への支援(作業)が記録(または入力)される。記録(または入力)された介護記録が、日報情報データベースDB3に供給される。   For example, the care record is recorded or inputted by the supporter 80 of the target person 81. The supporter 80 is, for example, a nurse 82a, a caregiver 82b, a family member 82c, or the like. For example, support (work) for the target person 81 by the support person 80 is recorded (or input). The recorded care record (or input) is supplied to the daily report information database DB3.

例えば、療養支援システム120においては、対象者81の声V0に関する音声情報データベースDB1、生体センサ20により検出された生体状態に関する生体情報データベースDB2、及び、日報情報データベースDB3などに基づいて、対象者81との会話の内容に関する案(例えば、案I1または案I2など)が提供される。案は、ケア情報にさらに基づいても良い。   For example, in the medical treatment support system 120, the subject 81 is based on the voice information database DB1 related to the voice V0 of the subject 81, the biological information database DB2 related to the biological state detected by the biological sensor 20, the daily report information database DB3, and the like. A plan (for example, plan I1 or plan I2) related to the content of the conversation with is provided. The plan may be further based on care information.

例えば、支援者80(看護師82a、介護士82bまたは家族等82cなど)において、例えば、対象者81のおける認知症による不穏行動の予兆が推定できる。例えば、痛みなどの状況の緩和のために医師83などへ相談するタイミングなどを、看護師82a、介護士82bまたは家族等82cなどに示唆できる。   For example, in a supporter 80 (such as a nurse 82a, a caregiver 82b, or a family member 82c), for example, a sign of disturbing behavior due to dementia in the subject 81 can be estimated. For example, it is possible to suggest to the nurse 82a, the caregiver 82b, the family member 82c, or the like the timing of consultation with the doctor 83 or the like for the relief of the situation such as pain.

例えば、支援者80(医師83)に、対象者81との会話の内容に関する案(問診内容の案I1など)が提供される。提供された案が、問診の判断の材料、または、処方の判断の材料とされる。さらに、問診内容の案I1及び、その案I1に対する対象者81の回答が、処方の判断の材料とされる。例えば、訪問医師による対象者81の状況の把握を、より適正に行うことを支援できる。   For example, the supporter 80 (doctor 83) is provided with a plan related to the content of the conversation with the target person 81 (such as a plan I1 for the contents of the interview). The provided plan is used as the material for the judgment of the interview or the material for the judgment of the prescription. Further, the plan I1 of the contents of the interview and the answer of the subject 81 to the plan I1 are used as the material for determining the prescription. For example, it is possible to support the visiting doctor to grasp the situation of the target person 81 more appropriately.

上記の実施形態及びその変形において、介護記録(例えば日報情報)が用いられても良い。例えば、音発生部12から生じる音声S1は、対象者81の声V0の他に、介護記録にさらに基づいても良い。音発生部12から生じる音声S1は、生体情報から導出された自律神経状態N1の他に、介護記録にさらに基づいても良い。例えば、提供される案(案I1、案I2、第1案または第2案)は、介護記録にさらに基づいても良い。   In the above embodiment and its modifications, care records (for example, daily report information) may be used. For example, the sound S1 generated from the sound generation unit 12 may be further based on care records in addition to the voice V0 of the subject 81. The voice S1 generated from the sound generator 12 may be further based on care records in addition to the autonomic nerve state N1 derived from the biological information. For example, the provided plan (plan I1, plan I2, plan 1 or plan 2) may be further based on care records.

(第6実施形態)
本実施形態においては、生体センサ20及び音センサ11の少なくともいずれかを含む組みが、複数設けられる。例えば、1つの施設に、複数の対象者81が入居し、複数の対象者81のそれぞれに、生体センサ20及び音センサ11の少なくともいずれかを含む組みが設けられる。または、例えば、複数の対象者81のそれぞれが自宅で療養している。複数の対象者81のそれぞれに、生体センサ20及び音センサ11の少なくともいずれかを含む組みが設けられる。このように、複数の組みは、複数の対象者81にそれぞれ対応して設けられる。
(Sixth embodiment)
In the present embodiment, a plurality of sets including at least one of the biological sensor 20 and the sound sensor 11 are provided. For example, a plurality of subjects 81 move into one facility, and a set including at least one of the biosensor 20 and the sound sensor 11 is provided for each of the subjects 81. Or, for example, each of a plurality of subjects 81 is being treated at home. Each of the plurality of subjects 81 is provided with a set including at least one of the biological sensor 20 and the sound sensor 11. Thus, the plurality of sets are provided corresponding to the plurality of subjects 81, respectively.

このような場合に、療養支援システムは、複数の対象者81に対する対応の優先順位を、複数の組みのそれぞれから得られる生体状態(または生体情報)及び感情状態(または感情情報)に基づいて提供しても良い。例えば、緊急度の高い対象者81に、支援者80(医師83、看護師82a、または、介護士82b)が、優先的に処置を行う。   In such a case, the medical treatment support system provides priorities for correspondence to the plurality of subjects 81 based on the biological state (or biological information) and emotional state (or emotional information) obtained from each of the plurality of sets. You may do it. For example, the supporter 80 (physician 83, nurse 82a, or caregiver 82b) preferentially treats the subject 81 with a high degree of urgency.

例えば、複数の対象者81を支援する際に、複数の支援者80(看護師82aまたは介護士82b)の適正な配置の案を提案できる。より効率的な支援が可能になる。   For example, when supporting a plurality of subjects 81, a proposal for proper arrangement of a plurality of supporters 80 (nurse 82a or caregiver 82b) can be proposed. More efficient support becomes possible.

実施形態によれば、より良いサービスが提供できる療養支援システムが提供できる。   According to the embodiment, a medical treatment support system that can provide a better service can be provided.

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、療養支援システムに含まれる、音センサ、生体センサ及び提供部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。   The embodiments of the present invention have been described above with reference to specific examples. However, the present invention is not limited to these specific examples. For example, regarding the specific configuration of each element included in the medical treatment support system, such as a sound sensor, a biosensor, and a providing unit, the present invention is similarly implemented by appropriately selecting from a well-known range by those skilled in the art. As long as the above effect can be obtained, it is included in the scope of the present invention.

各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。   Combinations of any two or more elements of each specific example within the technically possible range are also included in the scope of the present invention as long as they include the gist of the present invention.

その他、本発明の実施形態として上述した療養支援システムを基にして、当業者が適宜設計変更して実施し得る全ての療養支援システムも、本発明の要旨を包含する限り、本発明の範囲に属する。   In addition, any medical support system that can be implemented by a person skilled in the art based on the medical support system described above as an embodiment of the present invention is also within the scope of the present invention as long as it includes the gist of the present invention. Belongs.

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。   In addition, in the category of the idea of the present invention, those skilled in the art can conceive of various changes and modifications, and it is understood that these changes and modifications also belong to the scope of the present invention. .

10…支援装置、 11…音センサ、 12…音発生部、 13…送受信部、 14…筐体、 15…近距離通信部、 16…人感センサ、 17…移動機構、 20…生体センサ、 25…通信装置、 60…処理部、 61…自律神経解析部、 70…ベッド、 71…ボトム、 76…マットレス、 80…支援者、 81…対象者、 82D…表示装置、 82a…看護師、 82b…介護士、 82c…家族等、 82s…認識タグ、 83…医師、 83D…表示装置、 110、120、130、140、150…療養支援システム、 CL1…大分類、 CL2…中分類、 CL3…小分類、 D1…生体情報パラメータ、 DB1…音声情報データベース、 DB2…生体情報データベース、 DB3…日報情報データベース、 DB4…ケア情報データベース、 DL1…しきい値、 E1…感情パラメータ、 ES1…感情情報、 I1、I2…案、 N1…自律神経状態、 S1…音声(聴覚情報)、 OS…出力情報、 V0…声、 V1…音声信号、 VS…視覚情報、 t…時間、 t1、t2…第1、第2時刻   DESCRIPTION OF SYMBOLS 10 ... Support apparatus, 11 ... Sound sensor, 12 ... Sound generation part, 13 ... Transmission / reception part, 14 ... Housing | casing, 15 ... Short distance communication part, 16 ... Human sensor, 17 ... Movement mechanism, 20 ... Biosensor, 25 ... Communication device 60 ... Processing unit 61 ... Autonomic nerve analysis unit 70 ... Bed 71 ... Bottom 76 ... Mattress 80 ... Supporter 81 ... Subject 82D ... Display device 82a ... Nurse 82b ... Caregiver, 82c ... family, etc. 82s ... recognition tag, 83 ... doctor, 83D ... display device, 110, 120, 130, 140, 150 ... medical care support system, CL1 ... major classification, CL2 ... medium classification, CL3 ... minor classification D1 ... biometric information parameter, DB1 ... voice information database, DB2 ... biometric information database, DB3 ... daily report information database, DB4 ... care information Information database, DL1 ... threshold value, E1 ... emotion parameter, ES1 ... emotion information, I1, I2 ... plan, N1 ... autonomic state, S1 ... voice (auditory information), OS ... output information, V0 ... voice, V1 ... Audio signal, VS ... visual information, t ... time, t1, t2 ... first and second time

Claims (24)

対象者の生体状態を検出する生体センサと、
前記対象者の声を検出する音センサと、
を備え、
前記生体状態及び前記声の少なくともいずれかに基づいて推定された前記対象者の感情状態に応じて変化する、視覚情報及び聴覚情報の少なくともいずれかを含む出力情報を提供する療養支援システム。
A biological sensor for detecting the biological state of the subject,
A sound sensor for detecting the voice of the subject;
With
A medical treatment support system that provides output information including at least one of visual information and auditory information that changes according to the emotional state of the subject estimated based on at least one of the biological state and the voice.
前記対象者の感情状態に対応する感情情報を、前記生体状態の少なくとも一部に基づく生体情報と共に提供する、請求項1記載の療養支援システム。   The medical treatment support system according to claim 1, wherein emotion information corresponding to the emotional state of the subject is provided together with biological information based on at least a part of the biological state. 対象者の生体状態を検出する生体センサと、
前記対象者の声を検出する音センサと、
を備え、
前記対象者の感情状態に対応する感情情報を、前記生体状態の少なくとも一部に基づく生体情報と共に提供し、前記感情状態は、前記声に基づいて推定された、療養支援システム。
A biological sensor for detecting the biological state of the subject,
A sound sensor for detecting the voice of the subject;
With
A medical treatment support system that provides emotion information corresponding to an emotional state of the subject together with biological information based on at least a part of the biological state, and the emotional state is estimated based on the voice.
前記生体センサにより検出された前記生体状態が異常状態と判定されたら、前記声の検出が開始される、または、前記感情状態の推定が開始される、請求項2または3に記載の療養支援システム。   The medical assistance system according to claim 2 or 3, wherein when the biological state detected by the biological sensor is determined to be an abnormal state, detection of the voice is started or estimation of the emotional state is started. . 前記対象者の要支援状態をさらに知らせ、
前記要支援状態は、前記生体状態及び前記声の少なくともいずれかに基づいて推定され、
前記要支援状態は、前記対象者の、健康状態の悪化、不穏、排泄、褥瘡、及び、転落可能性の少なくともいずれかを含む、請求項2〜4のいずれか1つに記載の療養支援システム。
Further inform the support status of the subject,
The support required state is estimated based on at least one of the biological state and the voice,
The medical treatment support system according to any one of claims 2 to 4, wherein the support-needed state includes at least one of deterioration of health condition, restlessness, excretion, pressure ulcer, and possibility of falling of the subject. .
音発生部をさらに備え、
前記音発生部は、前記対象者への質問及び呼びかけの少なくともいずれかの内容を含む音声を発生し、前記内容は、前記対象者の健康安全状態に関係し、前記内容は、前記生体状態及び前記声の少なくともいずれかに基づいており、
前記音センサは、前記音声の前記発生の後の前記対象者の別の声をさらに検出し、
前記感情状態は、前記別の声にさらに基づいて推定された、請求項2〜5のいずれか1つに記載の療養支援システム。
A sound generator,
The sound generation unit generates a sound including at least one content of a question and a call to the subject, the content is related to a health and safety state of the subject, and the content is the biological state and Based on at least one of the voices,
The sound sensor further detects another voice of the subject after the occurrence of the sound;
The medical support system according to any one of claims 2 to 5, wherein the emotional state is further estimated based on the another voice.
前記対象者との会話の内容に関する案をさらに提供可能であり、
前記内容は、前記対象者の健康安全状態に関係し、
前記案は、前記生体状態及び前記声の少なくともいずれかに基づいている、請求項2〜5のいずれか1つに記載の療養支援システム。
Can further provide a proposal regarding the content of the conversation with the subject;
The content relates to the health and safety status of the subject,
The medical treatment support system according to any one of claims 2 to 5, wherein the plan is based on at least one of the biological state and the voice.
前記音センサは、前記対象者の支援者の声、及び、前記支援者の前記声に応じて発生された前記対象者の別の声をさらに検出し、前記支援者の前記声は、前記案の少なくとも一部に基づく内容を含み、
前記感情状態は、前記別の声にさらに基づいて推定された、請求項7記載の療養支援システム。
The sound sensor further detects a voice of the supporter of the target person and another voice of the target person generated according to the voice of the supporter, and the voice of the supporter is the draft Including content based on at least part of
The medical treatment support system according to claim 7, wherein the emotional state is further estimated based on the other voice.
前記別の声に対応する内容の少なくとも一部をさらに提供可能である、請求項6または7に記載の療養支援システム。   The medical treatment support system according to claim 6 or 7 which can further provide at least a part of contents corresponding to said another voice. 対象者の生体状態を検出する生体センサと、
提供部と、
を備え、
前記提供部は、前記対象者の感情状態に対応する感情情報を、前記生体状態の少なくとも一部に基づく生体情報と共に提供し、前記感情情報は、前記生体状態の少なくとも一部に基づいて推定された、療養支援システム。
A biological sensor for detecting the biological state of the subject,
A providing department;
With
The providing unit provides emotion information corresponding to the emotional state of the subject together with biological information based on at least a part of the biological state, and the emotion information is estimated based on at least a part of the biological state. Medical treatment support system.
前記感情情報は、前記生体状態の少なくとも一部から導出された自律神経状態に基づいて推定された、請求項10記載の療養支援システム。   The medical treatment support system according to claim 10, wherein the emotion information is estimated based on an autonomic nerve state derived from at least a part of the biological state. 前記対象者の要支援状態を知らせ、
前記要支援状態は、前記生体状態及び前記自律神経状態の少なくともいずれかに基づいて推定され、
前記要支援状態は、前記対象者の、健康状態の悪化、不穏、排泄、褥瘡、及び、転落可能性の少なくともいずれかを含む、請求項11記載の療養支援システム。
Inform the subject of the support needs,
The support state required is estimated based on at least one of the biological state and the autonomic state,
The medical support system according to claim 11, wherein the support-needed state includes at least one of health deterioration, restlessness, excretion, pressure ulcer, and fall possibility of the subject.
前記対象者との会話の内容の案を提供可能であり、
前記内容は、前記対象者の健康安全状態に関係し、
前記案は、前記生体状態及び前記自律神経状態の少なくともいずれかに基づいている、請求項11または12に記載の療養支援システム。
Can provide a draft content of the conversation with the subject;
The content relates to the health and safety status of the subject,
The medical treatment support system according to claim 11 or 12, wherein the plan is based on at least one of the biological state and the autonomic state.
音センサをさらに備え、
前記音センサは、前記対象者の支援者の声、及び、前記支援者の前記声に応じて発生された前記対象者の声を検出し、前記支援者の前記声は、前記案の少なくとも一部に基づく内容を含み、
前記感情状態は、前記対象者の前記声に基づいてさらに推定された、請求項13記載の療養支援システム。
A sound sensor,
The sound sensor detects the voice of the supporter of the subject and the voice of the subject generated in response to the voice of the supporter, and the voice of the supporter is at least one of the proposals Including content based on
The medical support system according to claim 13, wherein the emotional state is further estimated based on the voice of the subject.
音センサと、
音発生部と、
をさらに備え、
前記音発生部は、前記対象者への質問及び呼びかけの少なくともいずれかを含む内容を含む音声を発生し、前記内容は、前記対象者の健康安全状態に関係し、前記内容は、前記生体状態及び前記自律神経状態の少なくともいずれかに基づいており、
前記音センサは、前記音声の前記発生の後の前記対象者の声を検出し、
前記感情状態は、前記声に基づいてさらに推定された、請求項11〜14のいずれか1つに記載の療養支援システム。
A sound sensor;
A sound generator;
Further comprising
The sound generation unit generates a sound including content including at least one of a question and a call to the subject, the content is related to a health and safety state of the subject, and the content is the biological state And at least one of the autonomic nerve states,
The sound sensor detects a voice of the subject after the generation of the voice;
The medical treatment support system according to any one of claims 11 to 14, wherein the emotional state is further estimated based on the voice.
前記声に対応する内容の少なくとも一部をさらに提供可能である、請求項14または15に記載の療養支援システム。   The medical treatment support system according to claim 14, wherein at least a part of content corresponding to the voice can be further provided. 対象者の周辺の音声を収集する音センサと、
前記音センサで収集した前記音声から、前記対象者の健康安全状態に関する回答を前記対象者に促すための第1案を提供する提供部と、
を備えた、療養支援システム。
A sound sensor that collects sounds around the subject,
A providing unit for providing a first proposal for prompting the subject to answer about the health and safety status of the subject from the voice collected by the sound sensor;
Medical treatment support system with
前記音センサは、前記対象者の支援者の声、及び、前記支援者の前記声に応じて発生された前記対象者の別の声をさらに検出し、前記支援者の前記声は、前記第1案の少なくとも一部に基づく内容を含み、
前記提供部は、前記内容に関する第2案をさらに提供し、
前記第2案は、前記別の声に基づく、請求項17記載の療養支援システム。
The sound sensor further detects a voice of the supporter of the target person and another voice of the target person generated according to the voice of the supporter. Including content based on at least part of one proposal,
The providing unit further provides a second plan related to the content,
The medical treatment support system according to claim 17, wherein the second plan is based on the other voice.
前記音声は、介護記録にさらに基づく、請求項6または15に記載の療養支援システム。   The medical support system according to claim 6 or 15, wherein the voice is further based on a care record. 前記案は、介護記録にさらに基づく、請求項7、8、13または14に記載の療養支援システム。   The medical treatment support system according to claim 7, 8, 13, or 14, wherein the plan is further based on a care record. 前記第1案は、介護記録にさらに基づく、請求項17記載の療養支援システム。   The medical treatment support system according to claim 17, wherein the first plan is further based on a care record. 前記生体センサ及び前記音センサの少なくともいずれかを含む組みが、複数設けられ、
前記複数の組みは、複数の前記対象者にそれぞれ対応し、
前記複数の対象者に対する対応の優先順位を、前記複数の組みのそれぞれから得られる生体状態及び感情状態に基づいて提供可能である、請求項1〜16のいずれか1つに記載の療養支援システム。
A plurality of sets including at least one of the biological sensor and the sound sensor are provided,
The plurality of sets correspond to the plurality of subjects, respectively.
The medical treatment support system according to any one of claims 1 to 16, wherein the priority order of correspondence to the plurality of subjects can be provided based on a biological state and an emotional state obtained from each of the plurality of sets. .
前記生体状態は、前記対象者の、心拍、呼吸、体温、血圧、及び、経皮的動脈血酸素飽和度の少なくともいずれかを含む、請求項1〜22のいずれか1つに記載の療養支援システム。   The medical assistance system according to any one of claims 1 to 22, wherein the biological state includes at least one of heartbeat, respiration, body temperature, blood pressure, and percutaneous arterial oxygen saturation of the subject. . 前記生体センサは、前記対象者が使用するベッドに設けられた、請求項1〜23のいずれか1つに記載の療養支援システム。   The medical support system according to any one of claims 1 to 23, wherein the biological sensor is provided on a bed used by the subject.
JP2017136490A 2017-07-12 2017-07-12 medical support system Active JP7265313B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017136490A JP7265313B2 (en) 2017-07-12 2017-07-12 medical support system
JP2022034262A JP7422797B2 (en) 2017-07-12 2022-03-07 Medical treatment support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017136490A JP7265313B2 (en) 2017-07-12 2017-07-12 medical support system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022034262A Division JP7422797B2 (en) 2017-07-12 2022-03-07 Medical treatment support system

Publications (3)

Publication Number Publication Date
JP2019017499A true JP2019017499A (en) 2019-02-07
JP2019017499A5 JP2019017499A5 (en) 2020-02-06
JP7265313B2 JP7265313B2 (en) 2023-04-26

Family

ID=65353504

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017136490A Active JP7265313B2 (en) 2017-07-12 2017-07-12 medical support system
JP2022034262A Active JP7422797B2 (en) 2017-07-12 2022-03-07 Medical treatment support system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022034262A Active JP7422797B2 (en) 2017-07-12 2022-03-07 Medical treatment support system

Country Status (1)

Country Link
JP (2) JP7265313B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020161901A1 (en) * 2019-02-08 2020-08-13 日本電気株式会社 Device and method for processing biological information, and computer-readable recording medium
JP2020155099A (en) * 2019-03-15 2020-09-24 ダイキン工業株式会社 Environment control system
WO2022208581A1 (en) * 2021-03-29 2022-10-06 日本電気株式会社 Learning device, determination device, method for generating trained model, and recording medium
JP7349038B1 (en) 2022-04-08 2023-09-21 株式会社イトーキ Care robot control device and care robot system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296169A (en) * 2006-05-01 2007-11-15 Agi:Kk Mental condition judging apparatus, and program
JP2012000449A (en) * 2010-05-17 2012-01-05 Mitsuyoshi Kenkyusho:Kk Behavior analysis method and apparatus
JP2012502671A (en) * 2008-05-12 2012-02-02 アーリーセンス エルティディ Monitoring, prediction and treatment of clinical symptoms

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006017842A (en) 2004-06-30 2006-01-19 Keakomu:Kk Nurse call system
JP5550015B2 (en) 2010-05-17 2014-07-16 学校法人千葉工業大学 Interview system
JP5624509B2 (en) 2011-03-29 2014-11-12 日本光電工業株式会社 Alarm information processing apparatus and alarm information processing program
JP2014134922A (en) 2013-01-09 2014-07-24 Sony Corp Information processing apparatus, information processing method, and program
JP2017100221A (en) 2015-11-30 2017-06-08 パナソニックIpマネジメント株式会社 Communication robot

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296169A (en) * 2006-05-01 2007-11-15 Agi:Kk Mental condition judging apparatus, and program
JP2012502671A (en) * 2008-05-12 2012-02-02 アーリーセンス エルティディ Monitoring, prediction and treatment of clinical symptoms
JP2012000449A (en) * 2010-05-17 2012-01-05 Mitsuyoshi Kenkyusho:Kk Behavior analysis method and apparatus

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020161901A1 (en) * 2019-02-08 2020-08-13 日本電気株式会社 Device and method for processing biological information, and computer-readable recording medium
JPWO2020161901A1 (en) * 2019-02-08 2021-11-25 日本電気株式会社 Biometrics, methods, and programs
JP7238910B2 (en) 2019-02-08 2023-03-14 日本電気株式会社 Biological information processing device, method, and program
JP2020155099A (en) * 2019-03-15 2020-09-24 ダイキン工業株式会社 Environment control system
WO2020189529A1 (en) 2019-03-15 2020-09-24 ダイキン工業株式会社 Environment control system
WO2022208581A1 (en) * 2021-03-29 2022-10-06 日本電気株式会社 Learning device, determination device, method for generating trained model, and recording medium
JP7349038B1 (en) 2022-04-08 2023-09-21 株式会社イトーキ Care robot control device and care robot system
WO2023195425A1 (en) * 2022-04-08 2023-10-12 株式会社イトーキ Nursing-care robot system and nursing-care robot control device

Also Published As

Publication number Publication date
JP7422797B2 (en) 2024-01-26
JP2022095619A (en) 2022-06-28
JP7265313B2 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
JP7422797B2 (en) Medical treatment support system
US11937943B2 (en) Detection of physical abuse or neglect using data from ear-wearable devices
US9286442B2 (en) Telecare and/or telehealth communication method and system
KR101520524B1 (en) Alzheimers cognitive enabler
KR20200074951A (en) Machine learning-based system for identification and monitoring of nervous system disorders
JP2019527864A (en) Virtual health assistant to promote a safe and independent life
US20170344713A1 (en) Device, system and method for assessing information needs of a person
Do et al. Clinical screening interview using a social robot for geriatric care
JP2021052812A (en) Emotion analysis system
Tung et al. Everyday patient-care technologies for Alzheimer's disease
JP2022548473A (en) System and method for patient monitoring
US11594328B2 (en) Systems and methods for SeVa: senior's virtual assistant
Tsai et al. Design of an intelligent cognition assistant for people with cognitive impairment
US20190272466A1 (en) Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
Nie et al. Conversational ai therapist for daily function screening in home environments
US20220327954A1 (en) Expert-driven, technology-facilitated intervention system for improving interpersonal relationships
WO2022119810A1 (en) System and method for prevention, diagnosis, and treatment of health conditions
CN116419778A (en) Training system, training device and training with interactive auxiliary features
Cruz-Sandoval et al. Towards an adaptive conversational robot using biosignals
Keshmiri et al. Similarity of the impact of humanoid and in-person communications on frontal brain activity of older people
JP2021108021A (en) Emotion analysis system and emotion analysis method
WO2019155010A1 (en) Method, apparatus and system for providing a measure to resolve an uncomfortable or undesired physiological condition of a person
Moyle Social robotics in dementia care
Zhang et al. Evaluation of Smart Agitation Prediction and Management for Dementia Care and Novel Universal Village Oriented Solution for Integration, Resilience, Inclusiveness and Sustainability
JP2023155861A (en) Health control and safety watchout robot system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220307

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220314

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220315

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220520

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220524

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220902

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221118

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20230306

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230317

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230407

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230414

R150 Certificate of patent or registration of utility model

Ref document number: 7265313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150