JP2011255106A - Cognitive dysfunction danger computing device, cognitive dysfunction danger computing system, and program - Google Patents
Cognitive dysfunction danger computing device, cognitive dysfunction danger computing system, and program Download PDFInfo
- Publication number
- JP2011255106A JP2011255106A JP2010134403A JP2010134403A JP2011255106A JP 2011255106 A JP2011255106 A JP 2011255106A JP 2010134403 A JP2010134403 A JP 2010134403A JP 2010134403 A JP2010134403 A JP 2010134403A JP 2011255106 A JP2011255106 A JP 2011255106A
- Authority
- JP
- Japan
- Prior art keywords
- risk
- types
- feature quantities
- combination
- prosodic feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
本発明は、認知機能障害危険度算出装置、認知機能障害危険度算出システム、及びプログラムに係り、特に、音声データに基づいて、認知機能障害の危険度を算出する認知機能障害危険度算出装置、認知機能障害危険度算出システム、及びプログラムに関する。 The present invention relates to a cognitive dysfunction risk calculation device, a cognitive dysfunction risk calculation system, and a program, and in particular, a cognitive dysfunction risk calculation device that calculates the risk of cognitive dysfunction based on voice data, The present invention relates to a cognitive impairment risk calculation system and program.
従来より、認知症のスクリーニングは、HDS−R(改訂長谷川式簡易知能評価スケール)、MMSE(Mini‐MentalState Examination)、CDR(Clinical DementiaRating)などが、fMRI、FDG‐PET、CSFバイオマーカーなどの神経生理学に基づくテストと同様に広く用いられている。これらは一定のトレーニングを受けた医師、あるいは臨床心理士などにより、主として医療機関において実施されている。 Conventionally, screening for dementia includes HDS-R (revised Hasegawa simplified intelligence evaluation scale), MMSE (Mini-Mental State Examination), CDR (Clinical Dimensionia Rating), etc., and nerves such as fMRI, FDG-PET, and CSF biomarkers. It is widely used as well as physiologically based tests. These are implemented mainly in medical institutions by doctors who have received a certain amount of training or clinical psychologists.
また、患者の認知症の症状レベルを特定してそれに応じた質問と正解を生成し、患者の回答と正解とを比較して正誤の判定を行う認知症診断支援システムが知られている(特許文献1)。 There is also known a dementia diagnosis support system that identifies a patient's dementia symptom level, generates a question and a correct answer according to the symptom level, and compares the patient's answer with the correct answer to determine correctness (patent) Reference 1).
しかしながら、上記特許文献1に記載の技術では、繰り返し診断を行う場合、患者が質問に対する正解を覚えてしまう可能性があり、正しい判定ができなくなってしまう、という問題がある。
However, the technique described in
本発明は、上記の問題点を解決するためになされたもので、認知機能障害の危険度を精度良く算出することができる認知機能障害危険度算出装置、認知機能障害危険度算出システム、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and is a cognitive dysfunction risk calculating device, a cognitive dysfunction risk calculating system, and a program capable of accurately calculating the risk of cognitive dysfunction. The purpose is to provide.
上記の目的を達成するために第1の発明に係る認知機能障害危険度算出装置は、音声データから抽出される複数種類の韻律特徴量と、前記音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データに基づいて、前記複数種類の韻律特徴量から、前記危険度との相関が最も高くなる前記韻律特徴量の組み合わせを選択する特徴量選択手段と、前記複数の学習データの各々の前記選択された韻律特徴量の組み合わせと前記危険度とに基づいて、前記選択された韻律特徴量の組み合わせの各々に対する重み付けを決定する重み付け決定手段と、入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された前記韻律特徴量のうちの前記選択された韻律特徴量の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段と、を含んで構成されている。 In order to achieve the above object, a cognitive impairment risk calculating apparatus according to a first aspect of the present invention is a cognitive impairment calculated for a plurality of types of prosodic feature quantities extracted from speech data and a speaker of the speech data. Based on a plurality of learning data including the risk level, feature quantity selection means for selecting a combination of the prosodic feature quantities that has the highest correlation with the risk level from the plurality of types of prosodic feature quantities; Weight determination means for determining a weight for each combination of the selected prosodic feature values based on the combination of the selected prosodic feature values and the degree of risk of each of the learning data, and input speech data From the feature quantity extracting means for extracting the plurality of types of prosodic feature quantities, and the selected prosodic feature among the prosodic feature quantities extracted by the feature quantity extracting means. And combinations of quantities, based on the weighting and determined by the weighting determining section is configured to include a a risk calculation means for calculating the risk of cognitive impairment.
第2の発明に係るプログラムは、コンピュータを、音声データから抽出される複数種類の韻律特徴量と、前記音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データに基づいて、前記複数種類の韻律特徴量から、前記危険度との相関が最も高くなる前記韻律特徴量の組み合わせを選択する特徴量選択手段、前記複数の学習データの各々の前記選択された韻律特徴量の組み合わせと前記危険度とに基づいて、前記選択された韻律特徴量の組み合わせの各々に対する重み付けを決定する重み付け決定手段、入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段、及び前記特徴量抽出手段によって抽出された前記韻律特徴量のうちの前記選択された韻律特徴量の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段として機能させるためのプログラムである。 According to a second aspect of the present invention, there is provided a program for storing a plurality of pieces of learning data including a plurality of types of prosodic feature values extracted from speech data and a risk of cognitive impairment obtained for a speaker of the speech data. Based on the plurality of types of prosodic feature quantities, feature quantity selection means for selecting a combination of the prosodic feature quantities that has the highest correlation with the degree of risk, and the selected prosodic features of each of the plurality of learning data A weight determining means for determining a weight for each of the selected combinations of prosodic feature values based on a combination of amounts and the degree of risk, and a feature for extracting the plurality of types of prosodic feature values from input speech data A combination of the selected prosodic feature quantities among the prosodic feature quantities extracted by the quantity extracting means, the feature quantity extracting means, and the weight Only on the basis of the weighting and determined by the determining means, a program for functioning as a risk calculation means for calculating the risk of cognitive impairment.
第1の発明及び第2の発明によれば、特徴量選択手段によって、音声データから抽出される複数種類の韻律特徴量と、音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データに基づいて、複数種類の韻律特徴量から、危険度との相関が最も高くなる韻律特徴量の組み合わせを選択する。重み付け決定手段によって、複数の学習データの各々の選択された韻律特徴量の組み合わせと危険度とに基づいて、選択された韻律特徴量の組み合わせの各々に対する重み付けを決定する。 According to the first and second aspects of the present invention, the feature quantity selecting means extracts the plurality of types of prosodic feature quantities extracted from the speech data and the risk level of cognitive impairment determined for the speaker of the speech data. A combination of prosodic feature values having the highest correlation with the degree of risk is selected from a plurality of types of prosodic feature values based on the plurality of learning data included. The weight determination means determines the weight for each selected combination of prosodic feature values based on the selected combination of prosodic feature values and the degree of risk of each of the plurality of learning data.
そして、特徴量抽出手段によって、入力された音声データから、複数種類の韻律特徴量を抽出する。危険度算出手段によって、特徴量抽出手段によって抽出された韻律特徴量のうちの選択された韻律特徴量の組み合わせと、重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する。 Then, a plurality of types of prosodic feature quantities are extracted from the input voice data by the feature quantity extracting means. Based on the combination of the prosodic feature quantities selected from the prosody feature quantities extracted by the feature quantity extracting means and the weighting determined by the weight determining means by the risk calculating means, the risk degree of cognitive dysfunction is calculated. calculate.
このように、認知機能障害の危険度との相関が最も高くなる韻律特徴量の組み合わせと、韻律特徴量の組み合わせの各々に対して決定された重み付けとに基づいて、認知機能障害の危険度を精度良く算出することができる。 In this way, the risk level of cognitive dysfunction is determined based on the combination of prosodic feature values having the highest correlation with the risk level of cognitive dysfunction and the weight determined for each of the prosodic feature value combinations. It is possible to calculate with high accuracy.
第3の発明に係る認知機能障害危険度算出装置は、音声データから抽出される複数種類の韻律特徴量と、前記音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データの前記複数種類の韻律特徴量に対して分析処理を行って、前記複数種類の韻律特徴量を合成した合成変数を複数種類生成する合成変数生成手段と、前記複数の学習データと、前記生成された複数種類の合成変数とに基づいて、前記複数種類の合成変数から、前記危険度との相関が最も高くなる前記合成変数の組み合わせを選択する合成変数選択手段と、前記複数の学習データの各々について求められる前記合成変数の組み合わせと、前記複数の学習データの各々の前記危険度とに基づいて、前記選択された合成変数の組み合わせの各々に対する重み付けを決定する重み付け決定手段と、入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された前記韻律特徴量から求められる前記合成変数の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段と、を含んで構成されている。 A cognitive impairment risk calculating apparatus according to a third invention includes a plurality of types of prosodic feature quantities extracted from speech data, and a plurality of cognitive impairment risks determined for a speaker of the speech data. Analysis processing is performed on the plurality of types of prosodic feature values of the learning data to generate a plurality of types of composite variables obtained by combining the plurality of types of prosodic feature values, the plurality of learning data, Based on the plurality of types of generated synthetic variables, a combination variable selecting means for selecting a combination of the combined variables that has the highest correlation with the degree of risk from the plurality of types of combined variables, and the plurality of learning data Each of the selected combination variables based on the combination of the combination variables obtained for each of the plurality of learning data and the degree of risk of each of the plurality of learning data. Weighting determining means for determining a search, feature quantity extracting means for extracting the plurality of types of prosodic feature quantities from the input speech data, and the prosodic feature quantities extracted by the feature quantity extracting means And a risk degree calculating means for calculating the risk degree of cognitive impairment based on the combination of the composite variables and the weight determined by the weight determining means.
第4の発明に係るプログラムは、コンピュータを、音声データから抽出される複数種類の韻律特徴量と、前記音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データの前記複数種類の韻律特徴量に対して分析処理を行って、前記複数種類の韻律特徴量を合成した合成変数を複数種類生成する合成変数生成手段、前記複数の学習データと、前記生成された複数種類の合成変数とに基づいて、前記複数種類の合成変数から、前記危険度との相関が最も高くなる前記合成変数の組み合わせを選択する合成変数選択手段、前記複数の学習データの各々について求められる前記合成変数の組み合わせと、前記複数の学習データの各々の前記危険度とに基づいて、前記選択された合成変数の組み合わせの各々に対する重み付けを決定する重み付け決定手段、入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段、及び前記特徴量抽出手段によって抽出された前記韻律特徴量から求められる前記合成変数の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段として機能させるためのプログラムである。 According to a fourth aspect of the present invention, there is provided a program for storing a plurality of pieces of learning data including a plurality of types of prosodic feature quantities extracted from speech data and a risk level of cognitive impairment obtained for a speaker of the speech data. Analysis processing is performed on the plurality of types of prosodic feature values to generate a plurality of types of composite variables obtained by combining the plurality of types of prosodic feature values, the plurality of learning data, and the generated plurality of types Based on the synthetic variable of the type, the synthetic variable selection means for selecting the combination of the synthetic variable having the highest correlation with the degree of risk from the plurality of synthetic variables, each of the plurality of learning data is obtained. A weight for each of the selected combination of synthetic variables based on the combination of the synthetic variables and the risk of each of the plurality of learning data Weighting determining means for determining the input, feature quantity extracting means for extracting the plural types of prosodic feature quantities from the input speech data, and the composite variable obtained from the prosodic feature quantities extracted by the feature quantity extracting means And a weight calculating means for calculating the risk degree of cognitive impairment based on the weight determined by the weight determining means.
第3の発明及び第4の発明によれば、合成変数生成手段によって、音声データから抽出される複数種類の韻律特徴量と、音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データの複数種類の韻律特徴量に対して分析処理を行って、複数種類の韻律特徴量を合成した合成変数を複数種類生成する。そして、合成変数選択手段によって、複数の学習データと、生成された複数種類の合成変数とに基づいて、複数種類の合成変数から、危険度との相関が最も高くなる合成変数の組み合わせを選択する。重み付け決定手段によって、複数の学習データの各々について求められる合成変数の組み合わせと、複数の学習データの各々の前記危険度とに基づいて、選択された合成変数の組み合わせの各々に対する重み付けを決定する。 According to the third and fourth aspects of the present invention, the synthetic variable generation means obtains a plurality of types of prosodic feature quantities extracted from the speech data, and the cognitive dysfunction risk calculated for the speaker of the speech data. An analysis process is performed on a plurality of types of prosodic feature values of a plurality of learning data included to generate a plurality of types of synthetic variables by combining a plurality of types of prosodic feature values. Then, the combination variable selection means selects a combination of the combination variables having the highest correlation with the risk from the plurality of types of combination variables based on the plurality of learning data and the plurality of types of combination variables generated. . The weight determination means determines a weight for each selected combination of the composite variables based on the combination of the composite variables obtained for each of the plurality of learning data and the risk level of each of the plurality of learning data.
そして、特徴量抽出手段によって、入力された音声データから、複数種類の韻律特徴量を抽出する。危険度算出手段によって、特徴量抽出手段によって抽出された韻律特徴量から求められる合成変数の組み合わせと、重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する。 Then, a plurality of types of prosodic feature quantities are extracted from the input voice data by the feature quantity extracting means. The risk level calculation means calculates the risk level of cognitive dysfunction based on the combination of the synthetic variables obtained from the prosodic feature values extracted by the feature value extraction means and the weights determined by the weight determination means.
このように、認知機能障害の危険度との相関が最も高くなる、韻律特徴量の合成変数の組み合わせと、合成変数の組み合わせの各々に対して決定された重み付けとに基づいて、認知機能障害の危険度を精度良く算出することができる。 Thus, based on the combination of the prosodic feature variable that has the highest correlation with the risk of cognitive impairment and the weight determined for each combination of the combined variable, the cognitive impairment The degree of risk can be calculated with high accuracy.
上記の複数種類の韻律特徴量は、音声の周波数成分に関する特徴量、音声のフォルマント構造に関する特徴量、音声の大きさに関する特徴量、発話速度に関する特徴量、及び質問に回答するまでの反応時間に関する特徴量の少なくとも1つを含むようにすることができる。 The above-mentioned plural types of prosodic feature quantities relate to feature quantities related to frequency components of speech, feature quantities related to speech formant structure, feature quantities related to speech volume, feature quantities related to speech speed, and reaction time until answering a question. At least one of the feature amounts can be included.
上記の学習データの認知機能障害の危険度を、発話者に対する長谷川式簡易知能評価スケールによって求められたものとすることができる。 The degree of risk of cognitive dysfunction in the learning data can be determined by the Hasegawa simple intelligence evaluation scale for the speaker.
上記の特徴量抽出手段は、質問に対する回答として入力された音声データから、複数種類の韻律特徴量を抽出するようにすることができる。 The feature quantity extraction means can extract a plurality of types of prosodic feature quantities from voice data input as an answer to a question.
第5の発明に係る認知機能障害危険度算出システムは、音声データから抽出される複数種類の韻律特徴量と、前記音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データに基づいて、前記複数種類の韻律特徴量から、前記危険度との相関が最も高くなる前記韻律特徴量の組み合わせを選択する特徴量選択手段、及び前記複数の学習データの各々の前記選択された韻律特徴量の組み合わせと前記危険度とに基づいて、前記選択された韻律特徴量の組み合わせの各々に対する重み付けを決定する重み付け決定手段を含む特徴量選択装置と、入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段、及び前記特徴量抽出手段によって抽出された前記韻律特徴量のうちの前記選択された韻律特徴量の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段を含む危険度算出装置と、を含んで構成されている。 A cognitive dysfunction risk calculation system according to a fifth invention includes a plurality of types of prosodic feature quantities extracted from speech data, and a plurality of cognitive dysfunction risks determined for a speaker of the speech data. Based on learning data, feature quantity selection means for selecting a combination of the prosodic feature quantities having the highest correlation with the degree of risk from the plurality of types of prosodic feature quantities, and the selection of each of the plurality of learning data From the input speech data, a feature value selection device including weight determination means for determining a weight for each of the selected prosodic feature value combinations based on the prosodic feature value combination and the risk level, Feature quantity extraction means for extracting the plurality of types of prosodic feature quantities, and the selected prosody of the prosodic feature quantities extracted by the feature quantity extraction means A combination of symptoms amount, based on the weight determined by the weighting determining section is configured to include a a risk calculation device that includes a risk calculation means for calculating the risk of cognitive impairment.
第6の発明に係る認知機能障害危険度算出システムは、音声データから抽出される複数種類の韻律特徴量と、前記音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データの前記複数種類の韻律特徴量に対して主成分分析を行って、前記複数種類の韻律特徴量を合成した合成変数を複数種類生成する合成変数生成手段、前記複数の学習データと、前記生成された複数種類の合成変数とに基づいて、前記複数種類の合成変数から、前記危険度との相関が最も高くなる前記合成変数の組み合わせを選択する合成変数選択手段、及び前記複数の学習データの各々について求められる前記合成変数の組み合わせと、前記複数の学習データの各々の前記危険度とに基づいて、前記選択された合成変数の組み合わせの各々に対する重み付けを決定する重み付け決定手段を含む合成変数選択装置と、入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段、及び前記特徴量抽出手段によって抽出された前記韻律特徴量から求められる前記合成変数の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段を含む危険度算出装置と、を含んで構成されている。 A cognitive dysfunction risk calculation system according to a sixth invention includes a plurality of types of prosodic feature quantities extracted from voice data and a plurality of cognitive dysfunction risk levels obtained for a speaker of the voice data. Performing principal component analysis on the plurality of types of prosodic feature values of the learning data to generate a plurality of types of composite variables obtained by combining the plurality of types of prosodic feature values, the plurality of learning data, Based on a plurality of types of synthesized variables generated, a synthesized variable selection means for selecting a combination of the synthesized variables having the highest correlation with the degree of risk from the plurality of types of synthesized variables, and the plurality of learning data Each of the selected combination variables based on the combination of the combination variables obtained for each of the plurality of learning data and the degree of risk of each of the plurality of learning data. A synthetic variable selection device including weight determination means for determining the weight to be determined, feature quantity extraction means for extracting the plurality of types of prosodic feature quantities from the input speech data, and the prosody extracted by the feature quantity extraction means A risk calculating device including a risk calculating means for calculating the risk of cognitive impairment based on the combination of the composite variables obtained from the feature amount and the weight determined by the weight determining means. It is configured.
本発明のプログラムは、記録媒体に格納して提供することができる。 The program of the present invention can be provided by being stored in a recording medium.
以上説明したように、本発明の認知機能障害危険度算出装置、認知機能障害危険度算出システム、及びプログラムによれば、認知機能障害の危険度との相関が最も高くなる韻律特徴量の組み合わせと、韻律特徴量の組み合わせの各々に対して決定された重み付けとに基づいて、又は、認知機能障害の危険度との相関が最も高くなる、韻律特徴量の合成変数の組み合わせと、合成変数の組み合わせの各々に対して決定された重み付けとに基づいて、認知機能障害の危険度を精度良く算出することができる、という効果が得られる。 As described above, according to the cognitive dysfunction risk calculation device, the cognitive dysfunction risk calculation system, and the program of the present invention, the combination of prosodic feature quantities that has the highest correlation with the risk of cognitive dysfunction and Based on the weight determined for each combination of prosodic features, or a combination of synthetic variables of prosodic features and a combination of synthetic variables that have the highest correlation with the risk of cognitive impairment Based on the weights determined for each of the above, an effect is obtained that the risk of cognitive impairment can be calculated with high accuracy.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、危険度算出対象であるユーザの音声を入力して、認知機能障害の危険度を算出する認知機能障害危険度算出装置に、本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to a cognitive impairment risk calculation apparatus that inputs the voice of a user who is a risk calculation target and calculates the risk of cognitive impairment will be described as an example. To do.
図1に示すように、第1の発明の実施の形態に係る認知機能障害危険度算出装置10は、ユーザからの音声を入力するための音声入力部12と、音声を出力するスピーカ13と、入力された音声データに基づいて、認知機能障害の危険度を算出して、表示装置16に表示させるコンピュータ14とを備えている。
As shown in FIG. 1, a cognitive dysfunction risk
音声入力部12は、例えば、音声を入力するためのマイクロホンで構成されている。
The
コンピュータ14は、CPU、ROM、RAM、及びHDDを備え、HDDには、後述する学習処理ルーチン及び認知機能障害危険度算出処理ルーチンに対するプログラムが記憶されている。
The
コンピュータ14は、機能的には次に示すように構成されている。図1に示すように、コンピュータ14は、学習データ記憶部20、特徴量選択部22、重み付け決定部24、質問再生部25と、音声取得部26、特徴量抽出部28、危険度算出部30を備えている。
The
学習データ記憶部20には、学習データとして、音声データから得られた複数種類の音声韻律特徴量と、当該音声データの発話者に対して求められた認知機能障害の危険度とからなるデータが予め記憶されており、多数の発話者に対する学習データが予め記憶されている。
In the learning
本実施の形態では、学習データを得るために、口頭による質疑応答形式のテストとして改訂長谷川式簡易知能評価スケール(HDS−R)を実施したときの音声会話を記録した音声データを用いている。例えば、質疑応答の中から「見当識」と「数字逆唱」についての2問の回答音声を収集し、これに追加して、出身地、子供のころの遊び、学生時代、の3つのテーマについて雑談したものから任意の発話音声の冒頭1フレーズについても収集して、音声データを収集した。このように得られた音声データから得られた複数種類の音声韻律特徴量と、テストによって得られた、認知機能障害の危険度を表わすHDS−Rスコアとを学習データとして収集して、学習データ記憶部20に格納した。
In this embodiment, in order to obtain learning data, voice data in which voice conversation is recorded when the revised Hasegawa simplified intelligence evaluation scale (HDS-R) is implemented as a verbal Q & A test is used. For example, we collect voices of answers to two questions about “registration” and “number recitation” from questions and answers, and in addition to this, three themes of hometown, childhood play, and school days Voice data was collected by collecting even the first phrase of any utterance voice from those chatting. A plurality of types of speech prosodic features obtained from the speech data obtained in this way and HDS-R scores representing the risk of cognitive impairment obtained by the test are collected as learning data, and learning data is collected. Stored in the
複数種類の音声韻律特徴量として、例えば、以下に示す130種の音声韻律特徴量が用いられる。これらの特徴抽出の際には、量子化ビット数16およびサンプリング周波数44.1[KHz]のデジタル音声を用い、短時間分析におけるフレーム長を23[msec]、フレーム周期11[msec]とし、窓関数としてHamming窓(1024ポイント)を使用した。 For example, the following 130 types of speech prosody features are used as the plurality of types of speech prosody features. When extracting these features, digital speech having 16 quantization bits and a sampling frequency of 44.1 [KHz] is used, the frame length in the short-time analysis is 23 [msec], the frame period is 11 [msec], and the window A Hamming window (1024 points) was used as a function.
まず、音声の高さに関係するピッチ構造を反映させるために、基本周波数と基本周波数のn倍の周波数を持つn次高調波成分から得られる、以下に示す53種の音声韻律特徴量を用いた。ただし、基本周波数の時間変化の振幅とは、1事例の基本周波数のデータ列の上位25%と下位25%の値を無視したときの最大値と最小値の幅とする。 First, in order to reflect the pitch structure related to the pitch of speech, the following 53 types of speech prosodic features obtained from the fundamental frequency and n-order harmonic components having a frequency n times the fundamental frequency are used. It was. However, the amplitude of the time variation of the fundamental frequency is defined as the width between the maximum value and the minimum value when the upper 25% and lower 25% values of the data string of the basic frequency of one case are ignored.
F1−7. 発音開始直後t秒間の基本周波数の時間変化の振幅(t=0.05,0.10,・・・,0.35)
F8. 周波数重心(各高調波成分のパワー値を重みとする周波数の重みつき平均)
F10−48. 全高調波成分のパワー値の合計に対する基音からn次までの高調波成分のパワー値の合計の割合(n=2,3, ・・・,40)
F49. 奇数次の高調波成分(基音含む)と偶数次の高調波成分とのパワー値の合計の比
F50−53. 基本周波数の標準偏差、平均、最大、最小値(図2(A)参照)
F1-7. Amplitude of time change of fundamental frequency for t seconds immediately after the start of sound generation (t = 0.05, 0.10, ..., 0.35)
F8. Frequency centroid (weighted average of frequencies weighted by the power value of each harmonic component)
F10-48. Ratio of the total power value of the harmonic components from the fundamental to the nth order relative to the total power value of all harmonic components (n = 2, 3,..., 40)
F49. Ratio of sum of power values of odd-order harmonic components (including fundamental tone) and even-order harmonic components F50-53. Standard frequency standard deviation, average, maximum, minimum (see Fig. 2 (A))
また、音声の特徴を表すフォルマント構造を反映させるために、以下に示すフォルマント周波数(図2(B)参照)とフォルマント帯域幅を、音声韻律特徴量として56種類用いる。 In order to reflect the formant structure representing the features of speech, 56 types of formant frequencies (see FIG. 2B) and formant bandwidths shown below are used as speech prosodic feature values.
F54−57. 第nフォルマント周波数の標準偏差(n=1,・・・,4)
F58−61. 第nフォルマント周波数の平均値(n=1,・・・,4)
F62−65. 第nフォルマント周波数の最大値(n=1,・・・,4)
F66−69. 第nフォルマント周波数の最小値(n=1,・・・,4)
F70−73. 第nフォルマント周波数の中央値(n=1,・・・,4)
F74−77. 第nフォルマント周波数の最大値と最小値の差(n=1,・・・,4)
F78−81. 第nフォルマント周波数の線形近似直線の傾き(n=1,・・・,4)
F82−85. 第nフォルマント帯域幅の標準偏差(n=1,・・・,4)
F86−89. 第nフォルマント帯域幅の平均値(n=1,・・・,4)
F90−93. 第nフォルマント帯域幅の最大値(n=1,・・・,4)
F94−97. 第nフォルマント帯域幅の最小値(n=1,・・・,4)
F98−101. 第nフォルマント帯域幅の中央値(n=1,・・・,4)
F102−105. 第nフォルマント帯域幅の最大値と最小値の差(n=1,・・・,4)
F106−109. 第nフォルマント帯域幅の線形近似直線の傾き(n=1,・・・,4)
F54-57. Standard deviation of nth formant frequency (n = 1, ..., 4)
F58-61. Average value of nth formant frequency (n = 1,..., 4)
F62-65. Maximum value of the nth formant frequency (n = 1,..., 4)
F66-69. Minimum value of the nth formant frequency (n = 1,..., 4)
F70-73. Median value of nth formant frequency (n = 1,..., 4)
F74-77. Difference between the maximum value and minimum value of the nth formant frequency (n = 1,..., 4)
F78-81. The slope of the linear approximation line of the nth formant frequency (n = 1,..., 4)
F82-85. Standard deviation of the nth formant bandwidth (n = 1,..., 4)
F86-89. Average value of nth formant bandwidth (n = 1,..., 4)
F90-93. Maximum value of nth formant bandwidth (n = 1,..., 4)
F94-97. Minimum value of nth formant bandwidth (n = 1,..., 4)
F98-101. Median of the nth formant bandwidth (n = 1,..., 4)
F102-105. Difference between the maximum value and the minimum value of the nth formant bandwidth (n = 1,..., 4)
F106-109. The slope of the linear approximation line of the nth formant bandwidth (n = 1,..., 4)
更に、音声の大きさに関係する振幅構造を反映させるために、短時間パワーとその包絡線から得られる、以下に示す10種類の音声韻律特徴量を用いる。 Furthermore, in order to reflect the amplitude structure related to the volume of speech, the following 10 types of speech prosody features obtained from the short-time power and its envelope are used.
F110. パワー包絡線の線形最小二乗法による近似直線の傾き
F111−117. 発音開始直後t 秒間のパワー包絡線の微分係数の中央値(t=0.05,0.10,・・・,0.35)
F118−124. 最大パワー値と発音開始からt 秒後のときのパワー値の比(t=0.05,0.10,・・・,0.35)
F125−128. 短時間パワーの標準偏差、平均、最大、最小値(図3(A)参照)
F110. Inclination of approximate straight line by linear least square method of power envelope F111-117. Median value of the derivative of the power envelope for t seconds immediately after the start of sounding (t = 0.05, 0.10, ..., 0.35)
F118-124. Ratio of maximum power value and power value at t seconds after the start of sound generation (t = 0.05, 0.10, ..., 0.35)
F125-128. Standard deviation, average, maximum, and minimum values of short-time power (see Fig. 3 (A))
また、時間構造を反映させるために、2種類の韻律特徴量として、図3(B)に示すような、発話者が話す速さ、及び質問に回答するまでの反応時間を用いる。 In order to reflect the time structure, the speed of speaking by the speaker and the reaction time until the question is answered are used as two types of prosodic feature quantities, as shown in FIG.
F129. 1モーラあたりの発話継続時間
F130. 返答までの反応時間
F129. Speech duration per mora F130. Reaction time to reply
次に、韻律特徴量の組み合わせを選択する原理について説明する。 Next, the principle of selecting a combination of prosodic feature values will be described.
本実施の形態では、ユーザの音声データから音声韻律特徴を抽出し、解析することで認知機能障害(CI)と健常(NL)を判別することを目的としている。しかしながら、解析を行なう際に、音声データから抽出した韻律特徴量が多すぎると、その韻律特徴量の中には認知機能障害の判別に無関係な韻律特徴量が含まれる可能性があり、モデルの構築や判別の精度に悪影響を与えることが考えられる。また、韻律特徴量が多すぎるとモデルが複雑になりすぎたり、計算コストが高くなったりする短所もある。 The purpose of this embodiment is to discriminate between cognitive impairment (CI) and healthy (NL) by extracting and analyzing speech prosodic features from user speech data. However, when analyzing, if there are too many prosodic features extracted from speech data, the prosodic features may include prosodic features that are irrelevant to the discrimination of cognitive dysfunction. It is possible that the accuracy of construction and discrimination will be adversely affected. In addition, if there are too many prosodic feature quantities, the model becomes too complex and the calculation cost becomes high.
そこで、本実施の形態では、上記の130種類の音声韻律特徴に対して、特徴選択を行なう。特徴選択の手法としては、科学的理論や事前の知識によって適当な変数を指定する変数指定法や、全ての変数の組合せを計算し、最良と思われるものを選択する総当たり法、一定の規則にしたがって変数を逐次選択していく逐次選択法などがあげられる。現在のところ、高齢者の認知機能障害と因果関係の高い音声特徴は特定されておらず、特徴選択として有用な理論や事前の知識は存在しない。また、抽出した韻律特徴量のすべての組合せを計算することは計算コストが高くなる。そのため、一般的に多用されている逐次選択法として例えばフォワードステップワイズ法(FSW)を用いて特徴選択を行なう。なお、フォワードステップワイズ法は、より良い組み合わせとなるように、組み合わせを増減させて逐次選択していく方法であり、非特許文献(Draper,N. and Smith, H.: Applied Regression Analysis (3rd edition), John Wiley & Sons (1998))に記載の方法と同様であるため、詳細な説明を省略する。 Therefore, in the present embodiment, feature selection is performed on the 130 types of speech prosodic features described above. Feature selection methods include variable specification methods that specify appropriate variables based on scientific theory and prior knowledge, brute force methods that calculate combinations of all variables, and select the one that seems to be the best, and certain rules A sequential selection method that sequentially selects variables according to At present, speech features that are highly causally related to cognitive impairment in the elderly have not been identified, and there is no theory or prior knowledge useful for feature selection. In addition, calculating all combinations of the extracted prosodic feature values increases the calculation cost. Therefore, feature selection is performed using, for example, a forward stepwise method (FSW) as a commonly used sequential selection method. Note that the forward stepwise method is a method in which combinations are increased / decreased sequentially so as to obtain a better combination, and non-patent literature (Draper, N. and Smith, H .: Applied Regression Analysis (3rd edition) ), John Wiley & Sons (1998)), the detailed description is omitted.
本実施の形態では、特徴量選択部22によって、学習データ記憶部20に記憶された多数の学習データに基づいて、フォワードステップワイズ法に従って、認知機能障害の危険度(HDS−Rスコア)との相関が最も高くなる音声韻律特徴量の組み合わせを探索し、探索された音声韻律特徴量の組み合わせを、選択する音声韻律特徴量の組み合わせとする。
In the present embodiment, the feature
また、重み付け決定部24では、選択された韻律特徴量の組み合わせを入力とし、かつ、認知機能障害の危険度を出力する学習モデルを構築し、学習データ記憶部20に記憶された多数の学習データにおける、選択された韻律特徴量の組み合わせと認知機能障害の危険度(HDS−Rスコア)とに基づいて、例えば韻律特徴量の組み合わせを説明変数とし、かつ、HDS−Rスコアを目標属性とした重回帰分析を行うことによって、選択された各韻律特徴量に対する重み付けを学習する。ここで構築された学習モデルを、音声韻律に基づく認知機能障害評定(SPCIR: speech prosody−based cognitive impairmentrating)のモデルと称することとする。
In addition, the
質問再生部25では、予め設定された質問データをスピーカ25から再生する。例えば、質問データとして、「出身地はどちらですか?」などの日常的な会話における質問を用いている。
The
音声取得部26では、スピーカ25から質問が再生されたときに、質問に対する回答として、音声入力部12によって入力されたユーザの音声データを取得する。
The
特徴量抽出部28は、取得したユーザの音声データから、上記の130種類の音声韻律特徴量を抽出する。
The feature
危険度算出部30は、特徴量抽出部28によって抽出された音声韻律特徴量のうち、特徴量選択部22によって選択された韻律特徴量の組み合わせに対応するものを取り出し、重み付け決定部24によって決定された重み付けを適用した学習モデルに、取り出した韻律特徴量の組み合わせを入力して、認知機能障害の危険度を算出する。
The degree-of-
次に、本実施の形態に係る認知機能障害危険度算出装置10の作用について説明する。
Next, the operation of the cognitive dysfunction risk
まず、オペレータが、学習用の音声データから得られた複数種類の音声韻律特徴量とHDS−Rを、学習データとしてコンピュータ14に入力して、学習データ記憶部20に多数格納させる。
First, an operator inputs a plurality of types of speech prosodic features and HDS-R obtained from learning speech data to the
そして、コンピュータ14において、図4に示す学習処理ルーチンが実行される。
Then, a learning process routine shown in FIG. 4 is executed in the
まず、ステップ100で、学習データ記憶部20から学習データを読み出し、ステップ102において、上記ステップ100で読み出した学習データを用いて、フォワードステップワイズ法に従って、HDS−Rスコアとの相関が最も高くなる音声韻律特徴量の組み合わせを探索し、探索された音声韻律特徴量の組み合わせを、選択する音声韻律特徴量の組み合わせとする。
First, learning data is read from the learning
そして、ステップ104で、上記ステップ100で読み出した学習データを用いて、学習モデルにおける、上記ステップ102で選択された音声韻律特徴量の各々に対する重み付けを学習して、決定する。
In
次のステップ106では、上記ステップ102で選択された音声韻律特徴量の組み合わせと、上記ステップ104で学習された重み付けとを、メモリ(図示省略)に記憶させて、学習処理ルーチンを終了する。
In the
学習データが追加されるなど、学習データ記憶部20の学習データが更新されるたびに、コンピュータ14において、上記の学習処理ルーチンが再度実行される。
Each time the learning data in the learning
そして、操作部(図示省略)によって危険度の算出指示が入力されると、コンピュータ14において、図5に示す認知機能障害危険度算出処理ルーチンが実行される。
When a risk level calculation instruction is input through the operation unit (not shown), the
まず、ステップ118において、スピーカ13から質問データを再生し、ステップ120において、音声入力部12を介して質問の回答として入力された音声データを取得し、ステップ122で、取得した音声データから、130種類の音声韻律特徴量を抽出する。
First, in
そして、ステップ124において、上記ステップ122で抽出した音声韻律特徴量から、上記学習処理ルーチンで選択された音声韻律特徴量の組み合わせに対応する音声韻律特徴量を選択する。次のステップ126では、上記学習処理ルーチンで学習された重み付けを適用した学習モデルに、上記ステップ124で選択した音声韻律特徴量の組み合わせを入力して、認知機能障害の危険度を算出し、ステップ128において、表示装置16に算出結果を表示させて、認知機能障害危険度算出処理ルーチンを終了する。
In
以上説明したように、第1の発明の実施の形態に係る認知機能障害危険度算出装置によれば、HDS−Rスコアとの相関が最も高くなる音声韻律特徴量の組み合わせと、音声韻律特徴量の組み合わせの各々に対して学習された重み付けとに基づいて、認知機能障害の危険度を精度良く算出することができる。 As described above, according to the cognitive dysfunction risk degree calculating device according to the embodiment of the first invention, the combination of the speech prosody feature amount having the highest correlation with the HDS-R score, and the speech prosody feature amount. Based on the weights learned for each of the combinations, the risk level of cognitive impairment can be calculated with high accuracy.
また、従来の改訂長谷川式簡易知能評価スケールを用いた判定方法と比較した場合に、質問に対する回答の正しさや発音の正しさなど、言語の内容を考慮する必要がないため、客観的に、認知機能障害の危険度を判定することができる。また、繰り返し、認知機能障害の危険度を算出する場合であっても、認知機能障害の危険度を精度良く算出することができる。 In addition, when compared with the judgment method using the conventional revised Hasegawa simplified intelligence evaluation scale, it is not necessary to consider the contents of the language such as the correctness of the answer to the question and the correctness of the pronunciation, so objectively, The risk level of cognitive impairment can be determined. In addition, even when the risk level of cognitive dysfunction is repeatedly calculated, the risk level of cognitive dysfunction can be calculated with high accuracy.
次に、第2の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。 Next, a second embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第2の実施の形態では、複数種類の韻律特徴量から主成分分析によって得られた合成変数を用いて、認知機能障害の危険度を算出している点が、第1の実施の形態と主に異なっている。 In the second embodiment, the risk of cognitive impairment is calculated using a composite variable obtained by principal component analysis from a plurality of types of prosodic feature quantities. Is different.
図6に示すように、第2の実施の形態に係る認知機能障害危険度算出装置210のコンピュータ214は、学習データ記憶部20、変数合成部221、合成変数選択部222、重み付け決定部224、質問再生部25、音声取得部26、特徴量抽出部28、合成変数算出部229、危険度算出部230を備えている。
As shown in FIG. 6, the
変数合成部221は、学習データ記憶部20に記憶された学習データの例えば130種類の音声韻律特徴量に基づいて、主成分分析(PCA)による変数合成を行って、例えば130種類の主成分(合成変数)を生成する。また、変数合成部221は、各学習データについて、130種類の音声韻律特徴量から130種類の合成変数に変換する。
The
合成変数選択部222は、学習データ記憶部20に記憶された多数の学習データの合成変数及び認知機能障害の危険度(HDS−Rスコア)に基づいて、フォワードステップワイズ法に従って、認知機能障害の危険度との相関が最も高くなる合成変数の組み合わせを探索し、探索された合成変数の組み合わせを、選択する合成変数の組み合わせとする。
The synthetic
また、重み付け決定部224では、選択された合成変数の組み合わせを入力として、認知機能障害の危険度を出力する学習モデルを構築し、学習データ記憶部20に記憶された多数の学習データにおける、選択された合成変数の組み合わせと認知機能障害の危険度(HDS−Rスコア)とに基づいて、例えば合成変数の組み合わせを説明変数とし、かつ、HDS−Rスコアを目標属性とした重回帰分析を行うことによって、学習モデルにおける、各合成変数に対する重み付けを学習する。
In addition, the
合成変数算出部229は、特徴量抽出部28によって抽出された130種類の音声韻律特徴量に基づいて、変数合成部221で生成された130種類の合成変数を算出する。
The synthesis
危険度算出部230は、合成変数算出部229によって算出された合成変数のうち、合成変数選択部222によって選択された合成変数の組み合わせに対応するものを取り出し、重み付け決定部24によって重み付けが決定された学習モデルに、取り出した合成変数の組み合わせを入力して、認知機能障害の危険度を算出する。
The risk
次に、第2の実施の形態に係る学習処理ルーチンについて説明する。 Next, a learning processing routine according to the second embodiment will be described.
まず、学習データ記憶部20から学習データを読み出し、学習データの音声韻律特徴量に基づいて、主成分分析を行って、合成変数を生成するとともに、各学習データの音声韻律特徴量を合成変数に変換する。そして、学習データを用いて、フォワードステップワイズ法に従って、HDS−Rスコアとの相関が最も高くなる合成変数の組み合わせを探索し、探索された合成変数の組み合わせを、選択する合成変数の組み合わせとする。
First, the learning data is read from the learning
そして、学習データを用いて、学習モデルにおける、上記で選択された合成変数の各々に対する重み付けを学習して、決定する。次に、上記で選択された合成変数の組み合わせと、上記で学習された重み付けとを、メモリ(図示省略)に記憶させて、学習処理ルーチンを終了する。 Then, the learning data is used to learn and determine the weighting for each of the synthesis variables selected above in the learning model. Next, the combination of the synthesis variables selected above and the weighting learned above are stored in a memory (not shown), and the learning processing routine is terminated.
学習データが追加されるなど、学習データ記憶部20の学習データが更新されるたびに、コンピュータ14において、上記の学習処理ルーチンが再度実行される。
Each time the learning data in the learning
また、第2の実施の形態に係る認知機能障害危険度算出処理ルーチンについて説明する。 A cognitive impairment risk calculation processing routine according to the second embodiment will be described.
まず、スピーカ13から質問データを再生し、音声入力部12を介して質問の回答として入力された音声データを取得し、取得した音声データから、130種類の音声韻律特徴量を抽出する。そして、抽出した130種類の音声韻律特徴量から、学習処理ルーチンで生成された130種類の合成変数を算出する。
First, question data is reproduced from the
そして、上記で算出した合成変数から、上記学習処理ルーチンで選択された合成変数の組み合わせに対応する合成変数を選択する。次に、上記学習処理ルーチンで学習された重み付けを適用した学習モデルに、上記で選択した合成変数の組み合わせを入力して、認知機能障害の危険度を算出し、表示装置16に算出結果を表示させて、認知機能障害危険度算出処理ルーチンを終了する。
Then, a composite variable corresponding to the combination of the composite variables selected in the learning processing routine is selected from the composite variables calculated above. Next, the combination of the synthetic variables selected above is input to the learning model to which the weighting learned in the learning processing routine is applied, the risk level of cognitive impairment is calculated, and the calculation result is displayed on the
次に、上記の第1の実施の形態及び第2の実施の形態の手法を用いて認知機能障害の危険度を算出した結果について説明する。 Next, the result of calculating the risk of cognitive impairment using the techniques of the first and second embodiments will be described.
ここで、115名の高齢者(年齢38−99歳、男性32名、女性83名)から、総数319の音声データを収集して、認知機能障害の危険度を算出し、HDS−Rスコアとの相関性を求めた。図7〜図10では、第1の実施の形態で説明した認知機能障害危険度の算出方法による算出結果をSPCIRFSW−AICと表わし、第2の実施の形態で説明した認知機能障害危険度の算出方法による算出結果をSPCIRPCA−FSW−AICと表わす。 Here, a total of 319 audio data were collected from 115 elderly people (aged 38-99 years old, 32 men, 83 women), the risk of cognitive impairment was calculated, and the HDS-R score The correlation was calculated. 7 to 10, the calculation result obtained by the cognitive impairment risk calculation method described in the first embodiment is represented as SPCI FSW-AIC, and the cognitive impairment disorder risk described in the second embodiment. The calculation result obtained by the calculation method is represented as SPCI PCA-FSW-AIC .
図7、図8に示すように、第1の実施の形態の手法では、19個の韻律特徴量が選択され、そのうち、F129、F128、F118、F130、F57、F8、F101、F59、F110、F72、F69、F73が、有意な韻律特徴量であると判断された。このように、AIC規準を用いた特徴量選択により、有意な韻律特徴量が選択されていることがわかった。 As shown in FIG. 7 and FIG. 8, in the method of the first embodiment, 19 prosodic feature quantities are selected, of which F129, F128, F118, F130, F57, F8, F101, F59, F110, F72, F69, and F73 were determined to be significant prosodic feature values. Thus, it was found that a significant prosodic feature value was selected by feature value selection using the AIC criterion.
また、HDS−Rスコアとの相関Rが、0.67であり、補正済み決定係数(信頼度)がR2=0.41であった。図9に示すように、算出された認知機能障害の危険度とHDS−Rスコアとの間に、比較的有意な相関を持つことが分かった。 The correlation R with the HDS-R score was 0.67, and the corrected determination coefficient (reliability) was R 2 = 0.41. As shown in FIG. 9, it was found that there was a relatively significant correlation between the calculated risk of cognitive impairment and the HDS-R score.
また、第2の実施の形態の手法では、130種類の全特徴を適切に合成した55個の主成分(合成変数)が選択され、多くの合成変数が、有意であると判断された。高い固有値を持つ主成分(例えばPC2、PC7、PC4)のみならず、PC77、PC115、PC103などの低い固有値を持つ主成分も、HDS−Rスコアの推定に有用であることが示された。 In the method of the second embodiment, 55 principal components (synthetic variables) obtained by appropriately synthesizing all 130 types of features are selected, and many synthetic variables are determined to be significant. It was shown that principal components having low eigenvalues such as PC77, PC115, and PC103 as well as principal components having high eigenvalues (for example, PC2, PC7, PC4) are useful for HDS-R score estimation.
また、HDS−Rスコアとの相関Rが、0.77であり、図10に示すように、算出された認知機能障害の危険度とHDS−Rスコアとの間に強い相関を持つことが示唆された。また、補正済み決定係数R2=0.50であり、韻律特徴に基づく高齢者の発話音声解析の認知機能障害のスクリーニングへの応用可能性として有意義な結果となった。 Further, the correlation R with the HDS-R score is 0.77, and as shown in FIG. 10, it is suggested that there is a strong correlation between the calculated risk of cognitive impairment and the HDS-R score. It was done. Further, the corrected determination coefficient R 2 = 0.50, which is a significant result as an applicability to the screening of cognitive dysfunction in speech analysis of elderly people based on prosodic features.
以上説明したように、第2の実施の形態に係る認知機能障害危険度算出装置によれば、HDS−Rスコアとの相関が最も高くなる、音声韻律特徴量の合成変数の組み合わせと、合成変数の組み合わせの各々に対して学習された重み付けとに基づいて、認知機能障害の危険度を精度良く算出することができる。
なお、上記の実施の形態では、主成分分析を行って、音声韻律特徴量の合成変数を生成する場合を例に説明したが、これに限定されるものではなく、例えば、因子分析を行って、音声韻律特徴量の合成変数を生成するようにしてもよい。
As described above, according to the cognitive dysfunction risk calculation apparatus according to the second embodiment, the combination of the speech prosodic feature value synthesis variable and the synthesis variable that have the highest correlation with the HDS-R score. Based on the weights learned for each of the combinations, the risk level of cognitive impairment can be calculated with high accuracy.
In the embodiment described above, the case where the principal component analysis is performed to generate the synthesis variable of the speech prosody feature amount is described as an example. However, the present invention is not limited to this. For example, the factor analysis is performed. Alternatively, a synthesis variable of the speech prosody feature value may be generated.
次に、第3の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。 Next, a third embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第3の実施の形態では、学習データから韻律特徴量の選択及び重み付けの学習を行う装置と、認知機能障害の危険度を算出する装置とがネットワークを介して接続されている点が、第1の実施の形態と主に異なっている。 In the third embodiment, the first point is that a device for selecting prosody features and learning for weighting from learning data and a device for calculating the risk of cognitive impairment are connected via a network. This is mainly different from the embodiment.
図11に示すように、第3の実施の形態に係る認知機能障害危険度算出システム310は、学習データから韻律特徴量の選択及び重み付けの学習を行う特徴量学習装置311と、入力された音声データから、認知機能障害の危険度を算出する複数の認知機能障害危険度算出装置312とを備えており、特徴量学習装置311と、複数の認知機能障害危険度算出装置312とは、インターネットなどのネットワーク313で接続されている。
As shown in FIG. 11, the cognitive dysfunction
特徴量学習装置311は、例えばコンピュータサーバで構成され、機能的には次に示すように構成されている。上記図11に示すように、特徴量学習装置311は、学習データ記憶部20、特徴量選択部22、重み付け決定部24、及びパラメータ送信部324を備えている。
The feature
パラメータ送信部324は、特徴量選択部22によって選択された韻律特徴量の組み合わせ、及び重み付け決定部24によって決定された学習モデルの重み付けを示すパラメータを、ネットワーク313を介して複数の認知機能障害危険度算出装置312に送信する。
The
認知機能障害危険度算出装置312は、音声入力部12、スピーカ13、コンピュータ314、及び表示装置16を備えている。
The cognitive function disorder
コンピュータ314は、パラメータ受信部325、質問再生部25、音声取得部26、特徴量抽出部28、及び危険度算出部30を備えている。
The
パラメータ受信部325は、特徴量学習装置311から送信されたパラメータを受信し、メモリ(図示省略)に格納しておく。
The
危険度算出部30は、特徴量抽出部28によって抽出された音声韻律特徴量のうち、メモリに格納されたパラメータが示す韻律特徴量の組み合わせに対応するものを取り出し、メモリに格納されたパラメータが示す重み付けを適用した学習モデルに、取り出した韻律特徴量の組み合わせを入力して、認知機能障害の危険度を算出する。
The risk
次に、本実施の形態に係る認知機能障害危険度算出システム310の作用について説明する。
Next, the operation of the cognitive dysfunction
オペレータが、学習用の音声データから得られた複数種類の音声韻律特徴量とHDS−Rを、学習データとして特徴量学習装置311に入力して、学習データ記憶部20に記憶される学習データが追加される度に、上記の第1の実施の形態で説明した学習処理ルーチンが実行される。そして、特徴量学習装置311は、選択された音声韻律特徴量の組み合わせと、学習された重み付けとを示すパラメータを、ネットワーク313を介して認知機能障害危険度算出装置312に送信する。
The operator inputs a plurality of types of prosodic features and HDS-R obtained from the learning speech data to the
そして、認知機能障害危険度算出装置312では、上記のパラメータを受信して、メモリ(図示省略)に格納する。
The cognitive dysfunction risk
また、認知機能障害危険度算出装置312において、危険度の算出指示が入力されると、コンピュータ314において、上記の第1の実施の形態で説明した認知機能障害危険度算出処理ルーチンが実行される。
In addition, when a risk level calculation instruction is input to the cognitive function disorder risk
このように、HDS−Rスコアとの相関が最も高くなる音声韻律特徴量の組み合わせと、音声韻律特徴量の組み合わせの各々に対して学習された重み付けとを、特徴量学習装置で学習し、ネットワークを介して、学習結果を、複数の認知機能障害危険度算出装置に配布することにより、各認知機能障害危険度算出装置では、最新の学習結果を用いて、認知機能障害の危険度を算出することができる。 In this way, the combination of speech prosody features that has the highest correlation with the HDS-R score and the weights learned for each combination of speech prosody features are learned by the feature value learning device, and the network By distributing the learning results to a plurality of cognitive impairment risk calculators, each cognitive impairment risk calculator uses the latest learning results to calculate the risk of cognitive impairment. be able to.
なお、上記の第2の実施の形態の構成に、上記の実施の形態を適用するようにしてもよい。この場合には、認知機能障害危険度算出システムは、ネットワーク313で接続された、学習データから合成変数の選択及び重み付けの学習を行う合成変数学習装置と、複数の認知機能障害危険度算出装置とを備えており、合成変数学習装置は、学習データ記憶部20、変数合成部221、合成変数選択部222、重み付け決定部224、及びパラメータ送信部324を備える。また、認知機能障害危険度算出装置のコンピュータは、パラメータ受信部325、質問再生部25、音声取得部26、特徴量抽出部28、合成変数算出部229、及び危険度算出部30を備える。
Note that the above-described embodiment may be applied to the configuration of the above-described second embodiment. In this case, the cognitive dysfunction risk degree calculation system includes a synthetic variable learning apparatus that performs selection of a synthetic variable and learning of weighting from learning data, and a plurality of cognitive dysfunction risk risk calculation apparatuses connected by the
次に、第4の実施の形態について説明する。なお、第1の実施の形態及び第3の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。 Next, a fourth embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment and 3rd Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第4の実施の形態では、入出力端末と、認知機能障害危険度算出装置とがネットワークを介して接続されている点が、第3の実施の形態と主に異なっている。 The fourth embodiment is mainly different from the third embodiment in that the input / output terminal and the cognitive dysfunction risk calculating device are connected via a network.
図12に示すように、第4の実施の形態に係る認知機能障害危険度算出システム410では、複数の入出力端末412と認知機能障害危険度算出装置414とを備えており、複数の入出力端末412と、認知機能障害危険度算出装置414とは、ネットワーク313で接続されている。
As shown in FIG. 12, the cognitive dysfunction
入出力端末412は、音声入力部12、スピーカ13、表示装置16、質問再生部25、音声取得部26、及び通信部425を備えており、スピーカ13から再生された質問に対する回答として、音声入力部12を介してユーザから音声データが入力されると、通信部425によって、ネットワーク313を介して音声データを認知機能障害危険度算出装置414へ送信する。
The input /
認知機能障害危険度算出装置414は、通信部424によって音声データを受信すると、音声データに基づいて、認知機能障害の危険度を算出して、通信部424によって、算出結果を、ネットワーク313を介して入出力端末412へ送信する。
When the
入出力端末412は、通信部425によって、算出結果を受信すると、表示装置16に、算出された認知機能障害の危険度を表示する。
When the
なお、認知機能障害危険度算出装置414の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
In addition, since it is the same as that of 1st Embodiment about the other structure and effect | action of the cognitive function disorder
このように、複数の入出力端末と、認知機能障害危険度算出装置とをネットワークで接続し、音声データ及び算出結果を送受信することにより、各入出力端末で、認知機能障害の危険度を判定することができる。 In this way, multiple input / output terminals and a cognitive dysfunction risk calculation device are connected via a network, and voice data and calculation results are transmitted / received to determine the risk of cognitive dysfunction at each input / output terminal. can do.
なお、上記の第2の実施の形態の構成に、上記の実施の形態を適用するようにしてもよい。この場合には、認知機能障害危険度算出システムは、ネットワーク313で接続された、各入出力端末412と、認知機能障害危険度算出装置210と同様の機能を有する装置とを備えるようにすればよい。
Note that the above-described embodiment may be applied to the configuration of the above-described second embodiment. In this case, the cognitive dysfunction risk calculation system includes each input /
また、上記の第1の実施の形態〜第4の実施の形態では、130種類の音声韻律特徴量を用いる場合を例に説明したが、これに限定されるものではなく、他の種類の音声韻律特徴量を用いてもよく、また、より少ない又はより多い種類の音声韻律特徴量を用いてもよい。 In the first to fourth embodiments, the case where 130 types of speech prosody features are used has been described as an example. However, the present invention is not limited to this, and other types of speech prosody features are used. Prosodic feature quantities may be used, and fewer or more types of speech prosodic feature quantities may be used.
また、フォワードステップワイズ法(変数増減法)を用いて、最適な音声韻律特徴量又は合成変数の組み合わせを探索する場合を例に説明したが、これに限定されるものではなく、他の逐次選択法を用いて、最適な音声韻律特徴量又は合成変数の組み合わせを探索するようにしてもよい。例えば、変数増加法、変数減少法などを用いて、最適な音声韻律特徴量又は合成変数の組み合わせを探索するようにしてもよい。また、EMアルゴリズム、遺伝的アルゴリズム(GA)、粒子群最適化(Particle Swarm Optimization、PSO)などの同時選択法を用いて、最適な音声韻律特徴量又は合成変数の組み合わせを探索するようにしてもよい。 In addition, the case where the optimal speech prosodic feature value or combination of synthesis variables is searched using the forward stepwise method (variable increase / decrease method) has been described as an example, but the present invention is not limited to this, and other sequential selection A method may be used to search for an optimal speech prosodic feature value or combination of synthetic variables. For example, an optimal speech prosodic feature value or combination of synthesis variables may be searched using a variable increase method, a variable decrease method, or the like. In addition, an optimal speech prosodic feature value or combination of synthetic variables may be searched using a simultaneous selection method such as an EM algorithm, a genetic algorithm (GA), or particle swarm optimization (PSO). Good.
また、重回帰分析を用いて、当該学習モデルで用いる、各音声韻律特徴量又は各合成変数の重み付けを学習する場合を例に説明したが、これに限定されるものではなく、例えば、リッジ回帰、サポートベクトル回帰(SV回帰)、カーネル回帰などの手法を用いて、各音声韻律特徴量又は各合成変数の重み付けを学習するようにしてもよい。
また、上記の実施の形態では、長谷川式スコアなど認知機能テストの点数(0〜30)に相当する数値を、認知機能障害の危険度として算出する場合を例に説明したが、これに限定されるものではなく、例えば,健常(NL)、認知症疑い(MCI)、認知症(AD)の3分類で表わされる認知機能障害の危険度を求めるようにしてもよい。この場合には、ベイジアンネットワーク、正準判別分析、線形判別分析、ニューラルネットワーク、ナイーブベイズ法、サポートベクトルマシン(SVM)などの学習モデルを用いて、認知機能障害の危険度を算出するようにすればよい。また、当該学習モデルで用いる、各音声韻律特徴量又は各合成変数の重み付けを学習により決定するようにすればよい。
Moreover, although the case where the weighting of each speech prosodic feature amount or each synthetic variable used in the learning model is learned by using multiple regression analysis has been described as an example, the present invention is not limited to this, for example, ridge regression Further, the weight of each speech prosodic feature quantity or each synthesis variable may be learned using a method such as support vector regression (SV regression), kernel regression, or the like.
In the above embodiment, the case where a numerical value corresponding to the score (0 to 30) of the cognitive function test such as the Hasegawa formula score is calculated as the risk level of cognitive dysfunction is described as an example. For example, the risk of cognitive dysfunction represented by three categories of normal (NL), suspected dementia (MCI), and dementia (AD) may be obtained. In this case, the risk of cognitive impairment is calculated using a learning model such as Bayesian network, canonical discriminant analysis, linear discriminant analysis, neural network, naive Bayes method, support vector machine (SVM), etc. That's fine. Further, the weight of each speech prosody feature amount or each synthesis variable used in the learning model may be determined by learning.
また、質問をスピーカから再生する場合を例に説明したが、これに限定されるものではなく、表示装置によって質問を表示するようにしてもよい。
また、質問に対する回答として入力された音声データに基づいて、認知機能障害の危険度を算出する場合を例に説明したが、これに限定されるものではなく、音声モニタリングにより入力された音声データに基づいて、認知機能障害の危険度を算出するようにしてもよい。
Moreover, although the case where the question is reproduced from the speaker has been described as an example, the present invention is not limited to this, and the question may be displayed by a display device.
Moreover, although the case where the risk level of cognitive dysfunction is calculated based on the voice data input as an answer to the question has been described as an example, the present invention is not limited to this, but the voice data input by voice monitoring Based on this, the risk level of cognitive dysfunction may be calculated.
10、210、312、414 認知機能障害危険度算出装置
12 音声入力部
14、214、314 コンピュータ
20 学習データ記憶部
22 特徴量選択部
24、224 重み付け決定部
25 質問再生部
28 特徴量抽出部
30、230 危険度算出部
221 変数合成部
222 合成変数選択部
229 合成変数算出部
310、410 認知機能障害危険度算出システム
311 特徴量学習装置
10, 210, 312, 414 Cognitive
Claims (9)
前記複数の学習データの各々の前記選択された韻律特徴量の組み合わせと前記危険度とに基づいて、前記選択された韻律特徴量の組み合わせの各々に対する重み付けを決定する重み付け決定手段と、
入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された前記韻律特徴量のうちの前記選択された韻律特徴量の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段と、
を含む認知機能障害危険度算出装置。 Based on a plurality of types of prosodic feature quantities extracted from the voice data and a plurality of learning data including the risk level of cognitive impairment obtained for a speaker of the voice data, Feature quantity selection means for selecting a combination of the prosodic feature quantities that have the highest correlation with the risk,
Weight determination means for determining a weight for each of the selected combinations of prosodic feature quantities based on the combination of the selected prosodic feature quantities and the degree of risk of each of the plurality of learning data;
Feature quantity extraction means for extracting the plurality of types of prosodic feature quantities from the input voice data;
Based on the combination of the selected prosodic feature quantities of the prosodic feature quantities extracted by the feature quantity extracting means and the weights determined by the weight determining means, the risk level of cognitive dysfunction is calculated. Risk calculation means;
Cognitive impairment risk calculation device including
前記複数の学習データと、前記生成された複数種類の合成変数とに基づいて、前記複数種類の合成変数から、前記危険度との相関が最も高くなる前記合成変数の組み合わせを選択する合成変数選択手段と、
前記複数の学習データの各々について求められる前記合成変数の組み合わせと、前記複数の学習データの各々の前記危険度とに基づいて、前記選択された合成変数の組み合わせの各々に対する重み付けを決定する重み付け決定手段と、
入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された前記韻律特徴量から求められる前記合成変数の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段と、
を含む認知機能障害危険度算出装置。 Analysis processing on the plurality of types of prosodic feature quantities of the plurality of learning data including a plurality of types of prosodic feature quantities extracted from the speech data and a risk level of cognitive impairment obtained for a speaker of the speech data And a synthetic variable generating means for generating a plurality of synthetic variables obtained by synthesizing the plural types of prosodic feature quantities;
Based on the plurality of learning data and the plurality of types of generated synthetic variables, a synthetic variable selection that selects the combination of the synthetic variables that has the highest correlation with the degree of risk from the plurality of types of synthetic variables. Means,
Weighting determination for determining a weight for each of the selected combination of synthetic variables based on the combination of the synthetic variables obtained for each of the plurality of learning data and the risk of each of the plurality of learning data Means,
Feature quantity extraction means for extracting the plurality of types of prosodic feature quantities from the input voice data;
Risk calculation means for calculating the risk of cognitive impairment based on the combination of the synthetic variables obtained from the prosodic feature values extracted by the feature value extraction means and the weights determined by the weight determination means When,
Cognitive impairment risk calculation device including
前記複数の学習データの各々の前記選択された韻律特徴量の組み合わせと前記危険度とに基づいて、前記選択された韻律特徴量の組み合わせの各々に対する重み付けを決定する重み付け決定手段
を含む特徴量選択装置と、
入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段、及び
前記特徴量抽出手段によって抽出された前記韻律特徴量のうちの前記選択された韻律特徴量の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段
を含む危険度算出装置と、
を含む認知機能障害危険度算出システム。 Based on a plurality of types of prosodic feature quantities extracted from the voice data and a plurality of learning data including the risk level of cognitive impairment obtained for a speaker of the voice data, Based on the feature quantity selection means for selecting the combination of the prosodic feature quantities that has the highest correlation with the risk degree, and the risk degree and the combination of the selected prosodic feature quantities of each of the plurality of learning data , A feature amount selection device including weight determination means for determining a weight for each of the selected prosodic feature amount combinations;
A feature amount extracting means for extracting the plurality of types of prosodic feature quantities from the input speech data; and a combination of the selected prosodic feature quantities among the prosodic feature quantities extracted by the feature quantity extracting means; A risk calculating device including a risk calculating means for calculating a risk of cognitive impairment based on the weight determined by the weight determining means;
Cognitive impairment risk calculation system.
前記複数の学習データと、前記生成された複数種類の合成変数とに基づいて、前記複数種類の合成変数から、前記危険度との相関が最も高くなる前記合成変数の組み合わせを選択する合成変数選択手段、及び
前記複数の学習データの各々について求められる前記合成変数の組み合わせと、前記複数の学習データの各々の前記危険度とに基づいて、前記選択された合成変数の組み合わせの各々に対する重み付けを決定する重み付け決定手段
を含む合成変数選択装置と、
入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段、及び
前記特徴量抽出手段によって抽出された前記韻律特徴量から求められる前記合成変数の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段
を含む危険度算出装置と、
を含む認知機能障害危険度算出システム。 Analysis processing on the plurality of types of prosodic feature quantities of the plurality of learning data including a plurality of types of prosodic feature quantities extracted from the speech data and a risk level of cognitive impairment obtained for a speaker of the speech data And a synthetic variable generating means for generating a plurality of synthetic variables obtained by synthesizing the plural types of prosodic feature quantities,
Based on the plurality of learning data and the plurality of types of generated synthetic variables, a synthetic variable selection that selects the combination of the synthetic variables that has the highest correlation with the degree of risk from the plurality of types of synthetic variables. And a weight for each of the selected combination of synthesis variables is determined based on the combination of the combination variables obtained for each of the plurality of learning data and the risk of each of the plurality of learning data. A synthetic variable selection device including a weight determination means for
Feature quantity extraction means for extracting the plurality of types of prosodic feature quantities from the input speech data; a combination of the synthetic variables obtained from the prosodic feature quantities extracted by the feature quantity extraction means; and the weight determination means A risk level calculation device including a risk level calculation means for calculating a risk level of cognitive impairment based on the weight determined by
Cognitive impairment risk calculation system.
音声データから抽出される複数種類の韻律特徴量と、前記音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データに基づいて、前記複数種類の韻律特徴量から、前記危険度との相関が最も高くなる前記韻律特徴量の組み合わせを選択する特徴量選択手段、
前記複数の学習データの各々の前記選択された韻律特徴量の組み合わせと前記危険度とに基づいて、前記選択された韻律特徴量の組み合わせの各々に対する重み付けを決定する重み付け決定手段、
入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段、及び
前記特徴量抽出手段によって抽出された前記韻律特徴量のうちの前記選択された韻律特徴量の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段
として機能させるためのプログラム。 Computer
Based on a plurality of types of prosodic feature quantities extracted from the voice data and a plurality of learning data including the risk level of cognitive impairment obtained for a speaker of the voice data, Feature quantity selection means for selecting a combination of the prosodic feature quantities that has the highest correlation with the risk level;
Weight determination means for determining a weight for each of the selected combination of prosodic feature quantities based on the combination of the selected prosodic feature quantities and the degree of risk of each of the plurality of learning data;
A feature amount extracting means for extracting the plurality of types of prosodic feature quantities from the input speech data; and a combination of the selected prosodic feature quantities among the prosodic feature quantities extracted by the feature quantity extracting means; A program for functioning as a risk degree calculating means for calculating a risk degree of cognitive dysfunction based on the weight determined by the weight determining means.
音声データから抽出される複数種類の韻律特徴量と、前記音声データの発話者について求められた認知機能障害の危険度とを含む複数の学習データの前記複数種類の韻律特徴量に対して分析処理を行って、前記複数種類の韻律特徴量を合成した合成変数を複数種類生成する合成変数生成手段、
前記複数の学習データと、前記生成された複数種類の合成変数とに基づいて、前記複数種類の合成変数から、前記危険度との相関が最も高くなる前記合成変数の組み合わせを選択する合成変数選択手段、
前記複数の学習データの各々について求められる前記合成変数の組み合わせと、前記複数の学習データの各々の前記危険度とに基づいて、前記選択された合成変数の組み合わせの各々に対する重み付けを決定する重み付け決定手段、
入力された音声データから、前記複数種類の韻律特徴量を抽出する特徴量抽出手段、及び
前記特徴量抽出手段によって抽出された前記韻律特徴量から求められる前記合成変数の組み合わせと、前記重み付け決定手段によって決定された重み付けとに基づいて、認知機能障害の危険度を算出する危険度算出手段
として機能させるためのプログラム。 Computer
Analysis processing on the plurality of types of prosodic feature quantities of the plurality of learning data including a plurality of types of prosodic feature quantities extracted from the speech data and a risk level of cognitive impairment obtained for a speaker of the speech data And a synthetic variable generating means for generating a plurality of synthetic variables obtained by synthesizing the plural types of prosodic feature quantities,
Based on the plurality of learning data and the plurality of types of generated synthetic variables, a synthetic variable selection that selects the combination of the synthetic variables that has the highest correlation with the degree of risk from the plurality of types of synthetic variables. means,
Weighting determination for determining a weight for each of the selected combination of synthetic variables based on the combination of the synthetic variables obtained for each of the plurality of learning data and the risk of each of the plurality of learning data means,
Feature quantity extraction means for extracting the plurality of types of prosodic feature quantities from the input speech data; a combination of the synthetic variables obtained from the prosodic feature quantities extracted by the feature quantity extraction means; and the weight determination means A program for functioning as a risk level calculation means for calculating the risk level of cognitive impairment based on the weight determined by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010134403A JP4876207B2 (en) | 2010-06-11 | 2010-06-11 | Cognitive impairment risk calculation device, cognitive impairment risk calculation system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010134403A JP4876207B2 (en) | 2010-06-11 | 2010-06-11 | Cognitive impairment risk calculation device, cognitive impairment risk calculation system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011255106A true JP2011255106A (en) | 2011-12-22 |
JP4876207B2 JP4876207B2 (en) | 2012-02-15 |
Family
ID=45471949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010134403A Expired - Fee Related JP4876207B2 (en) | 2010-06-11 | 2010-06-11 | Cognitive impairment risk calculation device, cognitive impairment risk calculation system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4876207B2 (en) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013169375A (en) * | 2012-02-22 | 2013-09-02 | Jvc Kenwood Corp | Cerebral disorder diagnosis support apparatus and method for supporting cerebral disorder diagnosis |
JP2014008329A (en) * | 2012-07-02 | 2014-01-20 | National Center For Geriatrics & Gerontology | Diagnostic system for presence/absence of mild cognitive impairment, cognitive function testing terminal and cognitive function testing program |
JP2015096140A (en) * | 2013-11-15 | 2015-05-21 | 国立大学法人佐賀大学 | Mood guidance device, mood guidance program, and mood guidance method |
US9131889B2 (en) | 2011-05-31 | 2015-09-15 | Nagoya Institute Of Technology | Cognitive impairment determination apparatus, cognitive impairment determination system and program |
JP2017148431A (en) * | 2016-02-26 | 2017-08-31 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation system, cognitive function evaluation method, and program |
JP2017196115A (en) * | 2016-04-27 | 2017-11-02 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation method, and program |
JP6268628B1 (en) * | 2017-11-02 | 2018-01-31 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
JP2018050847A (en) * | 2016-09-27 | 2018-04-05 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation apparatus, cognitive function evaluation method, and program |
JP6337362B1 (en) * | 2017-11-02 | 2018-06-06 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation apparatus and cognitive function evaluation system |
CN108320734A (en) * | 2017-12-29 | 2018-07-24 | 安徽科大讯飞医疗信息技术有限公司 | Audio signal processing method and device, storage medium, electronic equipment |
JP2018149168A (en) * | 2017-03-14 | 2018-09-27 | 学校法人日本大学 | Score determination device of medical test on vital function, and program |
KR101894722B1 (en) * | 2018-03-12 | 2018-10-04 | 미디어젠(주) | Health anomaly prediction system using speech disorder diagnosis and Method |
TWI666633B (en) * | 2017-08-28 | 2019-07-21 | 日商松下知識產權經營股份有限公司 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
KR20190110834A (en) | 2018-03-21 | 2019-10-01 | 가톨릭대학교 산학협력단 | Prostate cancer pathologic step prediction method based on deep learning |
WO2019188405A1 (en) * | 2018-03-29 | 2019-10-03 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
JP2019198695A (en) * | 2019-08-21 | 2019-11-21 | 西日本電信電話株式会社 | Notification system, notification device, notification method, and program |
WO2020013296A1 (en) * | 2018-07-13 | 2020-01-16 | Pst株式会社 | Apparatus for estimating mental/neurological disease |
WO2020013302A1 (en) * | 2018-07-13 | 2020-01-16 | 株式会社生命科学インスティテュート | Mental/nervous system disorder estimation system, estimation program, and estimation method |
JP2020509498A (en) * | 2016-11-14 | 2020-03-26 | コグノア,インク. | Method and apparatus for assessing developmental diseases and providing control over coverage and reliability |
WO2020071015A1 (en) * | 2018-10-02 | 2020-04-09 | パナソニックIpマネジメント株式会社 | Sound data learning system, sound data learning method, and sound data learning device |
KR20200069665A (en) * | 2018-12-07 | 2020-06-17 | 서울대학교병원 | Prognostic score system predicting 3 month functoinal outcome following acute ischemic stroke |
JP2020127703A (en) * | 2018-07-24 | 2020-08-27 | 日本テクトシステムズ株式会社 | Estimation system of mild cognitive dysfunction and estimation device of mild cognitive dysfunction |
WO2020195929A1 (en) * | 2019-03-28 | 2020-10-01 | パナソニックIpマネジメント株式会社 | Recommended-product determination device, recommended-product determination system, and recommended-product determination method |
JP2021500209A (en) * | 2017-10-24 | 2021-01-07 | ケンブリッジ コグニション リミテッド | Systems and methods for determining physiological conditions |
JP6854554B1 (en) * | 2020-06-11 | 2021-04-07 | Pst株式会社 | Information processing equipment, information processing methods, information processing systems, and information processing programs |
JPWO2021132289A1 (en) * | 2019-12-26 | 2021-07-01 | ||
WO2021141088A1 (en) * | 2020-01-09 | 2021-07-15 | 株式会社生命科学インスティテュート | Method for extracting acoustic feature quantity in disease inference program, and disease inference program and device using said acoustic feature quantity |
JP2022505676A (en) * | 2018-10-23 | 2022-01-14 | ブラックソーン セラピューティクス インコーポレイテッド | Systems and methods for patient screening, diagnosis, and stratification |
CN114647992A (en) * | 2022-03-10 | 2022-06-21 | 北京航空航天大学 | Solid-liquid rocket engine fault diagnosis method based on improved Bayesian algorithm |
JP2023052224A (en) * | 2017-05-05 | 2023-04-11 | カナリー・スピーチ,エルエルシー | Selection of voice feature for establishing model for use in detection of symptom |
WO2023095942A1 (en) * | 2021-11-23 | 2023-06-01 | 주식회사 피디젠 | Method and platform for untact prediction of high-risk group for dementia development |
US11972336B2 (en) | 2015-12-18 | 2024-04-30 | Cognoa, Inc. | Machine learning platform and system for data analysis |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101503804B1 (en) * | 2014-10-16 | 2015-03-18 | (주)이투오피에스 | Big-data construction and using method which is made from trivial trigger of Human factor and is applicable to the dynamic system |
WO2020255127A1 (en) * | 2019-06-19 | 2020-12-24 | M.You Cognitive Technologies Ltd. | Systems and methods for detecting cognitive change based on voice and smartphone sensors |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005104950A1 (en) * | 2004-04-28 | 2005-11-10 | Electronic Navigation Research Institute, An Independent Administrative Institution | Cerebrum evaluation device |
JP2007282992A (en) * | 2006-04-19 | 2007-11-01 | Sky Kk | Dementia diagnostic support system |
JP2009116888A (en) * | 2003-02-24 | 2009-05-28 | Electronic Navigation Research Institute | Chaos theoretical exponent value calculation system |
JP2011502564A (en) * | 2007-11-02 | 2011-01-27 | シーグベルト ワーケンチン, | System and method for assessment of brain dysfunction induced by aging brain and brain disease by speech analysis |
-
2010
- 2010-06-11 JP JP2010134403A patent/JP4876207B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009116888A (en) * | 2003-02-24 | 2009-05-28 | Electronic Navigation Research Institute | Chaos theoretical exponent value calculation system |
WO2005104950A1 (en) * | 2004-04-28 | 2005-11-10 | Electronic Navigation Research Institute, An Independent Administrative Institution | Cerebrum evaluation device |
JP2007282992A (en) * | 2006-04-19 | 2007-11-01 | Sky Kk | Dementia diagnostic support system |
JP2011502564A (en) * | 2007-11-02 | 2011-01-27 | シーグベルト ワーケンチン, | System and method for assessment of brain dysfunction induced by aging brain and brain disease by speech analysis |
Cited By (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9131889B2 (en) | 2011-05-31 | 2015-09-15 | Nagoya Institute Of Technology | Cognitive impairment determination apparatus, cognitive impairment determination system and program |
JP2013169375A (en) * | 2012-02-22 | 2013-09-02 | Jvc Kenwood Corp | Cerebral disorder diagnosis support apparatus and method for supporting cerebral disorder diagnosis |
JP2014008329A (en) * | 2012-07-02 | 2014-01-20 | National Center For Geriatrics & Gerontology | Diagnostic system for presence/absence of mild cognitive impairment, cognitive function testing terminal and cognitive function testing program |
JP2015096140A (en) * | 2013-11-15 | 2015-05-21 | 国立大学法人佐賀大学 | Mood guidance device, mood guidance program, and mood guidance method |
US11972336B2 (en) | 2015-12-18 | 2024-04-30 | Cognoa, Inc. | Machine learning platform and system for data analysis |
JP2017148431A (en) * | 2016-02-26 | 2017-08-31 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation system, cognitive function evaluation method, and program |
JP2017196115A (en) * | 2016-04-27 | 2017-11-02 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation method, and program |
JP2018050847A (en) * | 2016-09-27 | 2018-04-05 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation apparatus, cognitive function evaluation method, and program |
JP2020509498A (en) * | 2016-11-14 | 2020-03-26 | コグノア,インク. | Method and apparatus for assessing developmental diseases and providing control over coverage and reliability |
JP7182554B2 (en) | 2016-11-14 | 2022-12-02 | コグノア,インク. | Methods and apparatus for assessing developmental diseases and providing control over coverage and reliability |
JP2018149168A (en) * | 2017-03-14 | 2018-09-27 | 学校法人日本大学 | Score determination device of medical test on vital function, and program |
JP2023052224A (en) * | 2017-05-05 | 2023-04-11 | カナリー・スピーチ,エルエルシー | Selection of voice feature for establishing model for use in detection of symptom |
CN110958859A (en) * | 2017-08-28 | 2020-04-03 | 松下知识产权经营株式会社 | Cognitive ability evaluation device, cognitive ability evaluation system, cognitive ability evaluation method, and program |
TWI666633B (en) * | 2017-08-28 | 2019-07-21 | 日商松下知識產權經營股份有限公司 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
JP2021500209A (en) * | 2017-10-24 | 2021-01-07 | ケンブリッジ コグニション リミテッド | Systems and methods for determining physiological conditions |
JP2019083902A (en) * | 2017-11-02 | 2019-06-06 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation apparatus and cognitive function evaluation system |
TWI680453B (en) * | 2017-11-02 | 2019-12-21 | 日商松下知識產權經營股份有限公司 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
JP2019083903A (en) * | 2017-11-02 | 2019-06-06 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation apparatus, cognitive function evaluation system, cognitive function evaluation method, and program |
JP6268628B1 (en) * | 2017-11-02 | 2018-01-31 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
CN111315302A (en) * | 2017-11-02 | 2020-06-19 | 松下知识产权经营株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and program |
US11918372B2 (en) | 2017-11-02 | 2024-03-05 | Panasonic Intellectual Property Management Co., Ltd. | Cognitive function evaluation system, method, and storage medium for dementia by analyzing voice of evaluatee for recognition, remembering or jugment capabilities |
US11826161B2 (en) | 2017-11-02 | 2023-11-28 | Panasonic Intellectual Property Management Co., Ltd. | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and non-transitory computer-readable storage medium |
TWI665657B (en) * | 2017-11-02 | 2019-07-11 | Panasonic Intellectual Property Management Co., Ltd. | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and recording medium |
WO2019087757A1 (en) * | 2017-11-02 | 2019-05-09 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
WO2019087758A1 (en) * | 2017-11-02 | 2019-05-09 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
CN111295141A (en) * | 2017-11-02 | 2020-06-16 | 松下知识产权经营株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and program |
JP6337362B1 (en) * | 2017-11-02 | 2018-06-06 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation apparatus and cognitive function evaluation system |
CN108320734A (en) * | 2017-12-29 | 2018-07-24 | 安徽科大讯飞医疗信息技术有限公司 | Audio signal processing method and device, storage medium, electronic equipment |
KR101894722B1 (en) * | 2018-03-12 | 2018-10-04 | 미디어젠(주) | Health anomaly prediction system using speech disorder diagnosis and Method |
WO2019177183A1 (en) * | 2018-03-12 | 2019-09-19 | 미디어젠 주식회사 | Health abnormality prediction system and prediction method using speech disorder occurance diagnosis |
KR102142754B1 (en) | 2018-03-21 | 2020-08-07 | 가톨릭대학교 산학협력단 | Prostate cancer pathologic step prediction method based on deep learning |
KR20190110834A (en) | 2018-03-21 | 2019-10-01 | 가톨릭대학교 산학협력단 | Prostate cancer pathologic step prediction method based on deep learning |
CN111867483B (en) * | 2018-03-29 | 2023-06-02 | 松下知识产权经营株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and recording medium |
CN111867483A (en) * | 2018-03-29 | 2020-10-30 | 松下知识产权经营株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and program |
WO2019188405A1 (en) * | 2018-03-29 | 2019-10-03 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
JP7022921B2 (en) | 2018-03-29 | 2022-02-21 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
JPWO2019188405A1 (en) * | 2018-03-29 | 2020-12-03 | パナソニックIpマネジメント株式会社 | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program |
JPWO2020013302A1 (en) * | 2018-07-13 | 2021-06-03 | 株式会社生命科学インスティテュート | Psychiatric and nervous system disease estimation system, estimation program and estimation method |
WO2020013296A1 (en) * | 2018-07-13 | 2020-01-16 | Pst株式会社 | Apparatus for estimating mental/neurological disease |
GB2590201B (en) * | 2018-07-13 | 2022-09-21 | Pst Inc Newco | Apparatus for estimating mental/neurological disease |
US12029579B2 (en) | 2018-07-13 | 2024-07-09 | Pst Inc. | Apparatus for estimating mental/neurological disease |
WO2020013302A1 (en) * | 2018-07-13 | 2020-01-16 | 株式会社生命科学インスティテュート | Mental/nervous system disorder estimation system, estimation program, and estimation method |
JPWO2020013296A1 (en) * | 2018-07-13 | 2021-08-05 | Pst株式会社 | A device for estimating mental and nervous system diseases |
GB2590201A (en) * | 2018-07-13 | 2021-06-23 | Pst Inc | Apparatus for estimating mental/neurological disease |
JP7389421B2 (en) | 2018-07-13 | 2023-11-30 | Pst株式会社 | Device for estimating mental and nervous system diseases |
JP2020127703A (en) * | 2018-07-24 | 2020-08-27 | 日本テクトシステムズ株式会社 | Estimation system of mild cognitive dysfunction and estimation device of mild cognitive dysfunction |
WO2020071015A1 (en) * | 2018-10-02 | 2020-04-09 | パナソニックIpマネジメント株式会社 | Sound data learning system, sound data learning method, and sound data learning device |
JP2022505676A (en) * | 2018-10-23 | 2022-01-14 | ブラックソーン セラピューティクス インコーポレイテッド | Systems and methods for patient screening, diagnosis, and stratification |
KR102216822B1 (en) | 2018-12-07 | 2021-02-18 | 서울대학교병원 | Method and system for predicting 3 month functoinal outcome following acute ischemic stroke |
KR20200069665A (en) * | 2018-12-07 | 2020-06-17 | 서울대학교병원 | Prognostic score system predicting 3 month functoinal outcome following acute ischemic stroke |
JPWO2020195929A1 (en) * | 2019-03-28 | 2021-10-28 | パナソニックIpマネジメント株式会社 | Recommended product determination device, recommended product determination system and recommended product determination method |
JP7246030B2 (en) | 2019-03-28 | 2023-03-27 | パナソニックIpマネジメント株式会社 | Recommended product determination device, recommended product determination system, and recommended product determination method |
WO2020195929A1 (en) * | 2019-03-28 | 2020-10-01 | パナソニックIpマネジメント株式会社 | Recommended-product determination device, recommended-product determination system, and recommended-product determination method |
JP2019198695A (en) * | 2019-08-21 | 2019-11-21 | 西日本電信電話株式会社 | Notification system, notification device, notification method, and program |
JP7307507B2 (en) | 2019-12-26 | 2023-07-12 | Pst株式会社 | Pathological condition analysis system, pathological condition analyzer, pathological condition analysis method, and pathological condition analysis program |
WO2021132289A1 (en) * | 2019-12-26 | 2021-07-01 | 株式会社生命科学インスティテュート | Pathological condition analysis system, pathological condition analysis device, pathological condition analysis method, and pathological condition analysis program |
JPWO2021132289A1 (en) * | 2019-12-26 | 2021-07-01 | ||
WO2021141088A1 (en) * | 2020-01-09 | 2021-07-15 | 株式会社生命科学インスティテュート | Method for extracting acoustic feature quantity in disease inference program, and disease inference program and device using said acoustic feature quantity |
JP6854554B1 (en) * | 2020-06-11 | 2021-04-07 | Pst株式会社 | Information processing equipment, information processing methods, information processing systems, and information processing programs |
WO2023095942A1 (en) * | 2021-11-23 | 2023-06-01 | 주식회사 피디젠 | Method and platform for untact prediction of high-risk group for dementia development |
CN114647992A (en) * | 2022-03-10 | 2022-06-21 | 北京航空航天大学 | Solid-liquid rocket engine fault diagnosis method based on improved Bayesian algorithm |
Also Published As
Publication number | Publication date |
---|---|
JP4876207B2 (en) | 2012-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4876207B2 (en) | Cognitive impairment risk calculation device, cognitive impairment risk calculation system, and program | |
CN101346758B (en) | Emotion recognizer | |
Wester et al. | Are we using enough listeners? No! An empirically-supported critique of Interspeech 2014 TTS evaluations | |
JP2017532082A (en) | A system for speech-based assessment of patient mental status | |
US10553240B2 (en) | Conversation evaluation device and method | |
CN101981612B (en) | Speech analyzing apparatus and speech analyzing method | |
Harrison | Making accurate formant measurements: An empirical investigation of the influence of the measurement tool, analysis settings and speaker on formant measurements | |
CN112992109B (en) | Auxiliary singing system, auxiliary singing method and non-transient computer readable recording medium | |
GB2579038A (en) | Language disorder diagnosis/screening | |
CN103403797A (en) | Speech synthesis device and speech synthesis method | |
Dahmani et al. | Vocal folds pathologies classification using Naïve Bayes Networks | |
Bone et al. | Classifying language-related developmental disorders from speech cues: the promise and the potential confounds. | |
WO2019044255A1 (en) | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and program | |
US11557287B2 (en) | Pronunciation conversion apparatus, pitch mark timing extraction apparatus, methods and programs for the same | |
Harrison | Variability of formant measurements | |
JP2013088552A (en) | Pronunciation training device | |
CN113780811A (en) | Musical instrument performance evaluation method, device, equipment and storage medium | |
RU2510954C2 (en) | Method of re-sounding audio materials and apparatus for realising said method | |
JP2008070650A (en) | Musical composition classification method, musical composition classification device and computer program | |
US11640831B2 (en) | Evaluation apparatus, training apparatus, methods and programs for the same | |
Janbakhshi et al. | Automatic pathological speech intelligibility assessment exploiting subspace-based analyses | |
US20230252971A1 (en) | System and method for speech processing | |
Omar et al. | Feature fusion techniques based training MLP for speaker identification system | |
JP2020204755A (en) | Speech processing device and speech processing method | |
JP2020204651A (en) | Speech processing device and speech processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
R150 | Certificate of patent or registration of utility model |
Ref document number: 4876207 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |