CN114596960A - 基于神经网络和自然对话的阿尔兹海默症风险预估方法 - Google Patents
基于神经网络和自然对话的阿尔兹海默症风险预估方法 Download PDFInfo
- Publication number
- CN114596960A CN114596960A CN202210196124.6A CN202210196124A CN114596960A CN 114596960 A CN114596960 A CN 114596960A CN 202210196124 A CN202210196124 A CN 202210196124A CN 114596960 A CN114596960 A CN 114596960A
- Authority
- CN
- China
- Prior art keywords
- neural network
- data set
- network model
- training
- alzheimer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 208000024827 Alzheimer disease Diseases 0.000 title claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 68
- 238000012360 testing method Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 2
- 239000002131 composite material Substances 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 238000013518 transcription Methods 0.000 claims 1
- 230000035897 transcription Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 8
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- HGBLNBBNRORJKI-WCABBAIRSA-N cyclacillin Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)C1(N)CCCCC1 HGBLNBBNRORJKI-WCABBAIRSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011534 incubation Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Acoustics & Sound (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开一种基于神经网络和自然对话的阿尔兹海默症风险预估方法，属于人工智能识别、语言学分析领域。其包括采集测试者的有效自由表达，使用语言处理软件ELAN对语料进行转写、切分和标注；利用Token embedding将处理内容转化为数据并建立多模态语料库；利用CNN神经网络模型与LSTM神经网络模型进行文本分析，作为预估阿尔兹海默症的数据。本发明采用Token embedding方法实现语料信息的特征提取，为识别模型增加多模态的语言标志物和语言模式作为输入因素；因此具有较高的识别准确率和抗人为因素干扰的能力。本发明可减轻患者检查时的身体和心理负担，缩短检查周期，降低实验成本，有利于大规模推广。
Description
技术领域
本发明涉及人工智能识别、语言学分析领域，更具体地，涉及一种基于神经网络和自然对话的阿尔兹海默症风险预估方法。
背景技术
阿尔兹海默症是一种起病隐匿的进行性发展的神经系统退行性疾病。年龄每增加五岁，阿尔兹海默症的患病率约增加一倍。随着人口的老龄化，阿尔兹海默症的发病率逐年上升，严重危害老年人的身心健康和生活质量，给患者及家人造成了深重的痛苦，也给家庭和社会带来负担，成为严重的社会问题。
但与此同时，阿尔兹海默症的潜伏期极长，且病因迄今未明，目前也没有确定的技术手段可以完全治愈该疾病。因此，阿尔兹海默症的预测成了控制该疾病的关键手段。
目前，针对阿尔兹海默症的预测方法主要有神经影像学检查、相关基因的检查预测等，但这些预测方法普遍检查周期长、工程量大而且可能会对患者造成严重的生理及心理负担，在大规模应用上具有一定的难度。
为减轻患者检查的生理及心里负担，进一步考虑低侵入性的手段。中国专利“CN113951834A基于视觉Transformer算法的阿尔兹海默症分类预测方法”通过对阿尔兹海默症患者的核磁共振成像的图像样本进行AC-PC矫正等预处理，进而通过训练好的卷积神经网络模型进行分类预测，实现了对阿尔兹海默症的分类预测，但其算法存在手动提取特征带来的主观性问题。
中国专利“CN113935330A基于语音的疾病预警方法、装置、设备及存储介质”，通过对收集的目标语音数据进行切片、编码、转换，实现对语义的提取，并通过统计学方法实现对早期的阿尔兹海默症潜在患者的筛查，但通过统计学方法进行处理，需要大量的实验样本，成本较大。
发明内容
为解决背景技术提出的问题，如针对手动提取特征可能带来的主观性问题和统计方法的高成本问题，本发明提出了一种基于神经网络和自然对话的阿尔兹海默症风险预估方法。
为实现上述目的，本发明的技术方案如下；
本发明基于神经网络和自然对话的阿尔兹海默症风险预估方法，包括采集阿尔兹海默症测试者的自由表达语料，使用语言处理软件ELAN对语料进行转写、切分和标注；利用目前通用的语音、图像识别文字转化系统和标记嵌入(Token embedding)将文本内容转化为数据并建立多模态语料库；利用卷积神经网络(CNN)模型与长短期记忆神经网络(LSTM)模型用于文本分析，作为预估阿尔兹海默症的数据。
上述基于神经网络和自然对话的阿尔兹海默症风险预估方法具体包括以下步骤：
S1.采集至少20名阿尔兹海默症测试者10分钟的有效自由表达语料，利用标记嵌入(Token embedding)将文本内容转化为数据；
S2.根据S1中的数据制成数据集，进行预处理及归一化得到特征数据集，将其按照3:1随机分配成训练数据集、测试数据集；
其中特征数据集规模为E个的一维张量，E为整数，表示语义、语法、顺序、句法等语言标志物和语言模式；
S3.根据数据集规模和输出要求构建CNN神经网络模型，应用S2中的训练数据集进行训练进一步应用测试数据集对此模型进行测试检验；
S4.将S1中的数据进行随机处理，得到含有时间序列的训练样本数据集、测试样本数据集，其中，数据集规模为F个二维张量，其中F为整数，表示包含有时间序列的语义、语法、顺序、句法等语言标志物和语言模式；
S5.根据数据集规模和输出要求构建LSTM神经网络模型，应用S4中的训练样本数据集进行训练，进一步应用测试样本数据集对此模型进行测试检验；
S6.将通过步骤S3中的CNN神经网络模型处理的输出值及通过步骤S5中的LSTM神经网络模型处理的输出值并列组成矩阵，作为输入值，进行一层全连接层处理，通过两层隐藏层，输出最终结果以one-hot形式表达，作为预估阿尔兹海默症的数据，辅助医生对阿尔兹海默症的诊断。
上述基于神经网络和自然对话的阿尔兹海默症风险预估方法的步骤S1中所述阿尔兹海默症测试者的要求是：老年和老年前期的人群，主要为60-65岁的老年群体，能够进行语言表达，身体状况基本良好，测试者男女基本比例为1：1。
另外所述采集到的有效自由表达语料，先利用目前通用的语音、图像识别文字转化系统转化得到多个包含语料信息的语言文本文档，再应用Token embedding方法将文本内容转化为数据。
所述应用Token embedding方法将文本内容转化为数据即应用Token embedding方法对语料信息进行特征提取，得到语言文本的矩阵，具体为包括：
S11.依据采集到的语料信息确定文本中的句子最大长度,对于文本中长度不同的文本句子进行长裁短补，生成词典；
S12.将词典的词做个词频排列，得到规模为n×1的单词组合，针对每个单词进行数值赋值，赋值保证每个单词对应不同的数字；
S13.将每个数字转化成规模为1×m浮点数组合，从而得到一个n×m形式的矩阵；将每个维度作为一个特征，其相应的强烈程度决定了小数的大小、正负；
S14.将句子的每个词对应的数字的行取出，按顺序转置为列，得到语言文本的矩阵。
上述基于神经网络和自然对话的阿尔兹海默症风险预估方法的步骤S3中所述构建CNN神经网络模型是:针对于步骤S2得到的数据及集规模构建多个卷积层，具体参数如下：卷积核为32个随机的m×1矩阵,步长为1,不进行插空卷积，通过如上卷积层得到32个二维张量，通过对每个张量进行比较得到每个的全局最大值，以全局最大值为依据设计全连接层的分配权重，将卷积后得到的二维张量通过全连接层和两层隐藏层处理，得到one-hot形式的输出结果。
上述基于神经网络和自然对话的阿尔兹海默症风险预估方法的步骤S3中所述训练CNN神经网络模型是将步骤S2中的训练数据集放入构建好的CNN神经网络模型中进行训练，通过梯度下降法不断调整权重和偏置，使代价函数最终波动在误差允许范围内，此时即生成了适宜的CNN神经网络模型。
上述基于神经网络和自然对话的阿尔兹海默症风险预估方法的步骤S3中所述测试是将测试数据集放入生成的CNN神经网络模型中进行检测，检验测试效果；若测试得到的误差，在训练误差周围波动，即测试效果良好；反之，则进一步调整CNN神经网络模型的结构或参数。
上述基于神经网络和自然对话的阿尔兹海默症风险预估方法的步骤S5中构建LSTM神经网络模型：对步骤S1中数据进行归一化如下处理：
其中，
是第i个平均值，σi是第i个标准差，形成训练样本数据集。
上述基于神经网络和自然对话的阿尔兹海默症风险预估方法的步骤S5中训练LSTM神经网络模型：将步骤S4中的训练样本数据集放入构建的LSTM神经网络模型中进行训练，最终生成LSTM神经网络模型；再将测试数据集放入训练LSTM神经网络模型中进行检测，若测试得到的误差，在训练误差周围波动，即测试效果良好；反之，则调整LSTM神经网络模型的结构或参数。
目前多数语音识别系统采用词袋方法将文字转化为数字，即在信息检索中，假定对于一个文档，忽略它的单词顺序和语法、句法等要素，将其仅仅看作是若干个词汇的集合，认为文档中每个单词的出现都是独立的，不依赖于其它单词是否出现。此方法虽然对文字内容的长度不限制，但由于无法判别文本单词顺序，难以进行文本分析。故为考虑阿尔兹海默症患者语言的连贯、语法、停顿等影响因素，本发明采用Token embedding，并基于此建立多模态语料库语料库，实现对阿尔兹海默症风险的初步预估。
与现有技术相比，本发明基于神经网络和自然对话的阿尔兹海默症风险预估方法具有如下优点及有益效果：
1、本发明基于神经网络和自然对话的阿尔兹海默症风险预估方法在自然对话过程的语音信息的基础上，经过多模态语料库和算法处理，对录音者进行阿尔兹海默症的定量风险评估。
2、本发明采用Token embedding，并基于此建立多模态语料库，考虑了阿尔兹海默症患者语言的连贯、语法、停顿等影响因素，实现对阿尔兹海默症风险的初步预估。
3、本发明相对于传统的阿尔兹海默症预测方法而言，可减轻患者检查时的身体和心理负担，缩短检查周期，降低实验成本，有利于大规模推广。
附图说明
图1为本发明基于神经网络和自然对话的阿尔兹海默症风险预估方法流程图；
图2为Token embedding流程示意图；
图3为CNN网络结构图；
图4为LSTM网络结构图；
图5为CNN-LSTM结合图；
图6为LSTM具体神经元图解；
图7为DNN网络结构。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
在本说明书中，对某些术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、步骤、方法或者特点可以在任一个或多个实施例或示例中以合适的方式结合。
下面结合图1至图7和实施例对本发明的技术方案做进一步的说明。
图1为本发明基于神经网络和自然对话的阿尔兹海默症风险预估方法流程图。
图2为Token embedding流程示意图；通过语音、图像识别文字转化系统得到的一个语言文本文档，对文本中长度不同的句子进行长裁短补，生成有词频排列的词典，将词典中的每个词转化成一串小数来表示，如在附图2中将like等词转化成了一串小数。
图3为CNN网络结构图；数据通过卷积层提取输入信号中的隐藏特征，再经过池化层压缩输入的特征，减小计算量，接着通过全连接层输出T个元素，再用softmax函数作为激活函数，把每一个元素的范围都限定在0～1内，且所有的元素之和为1，从而得到CNN神经网络模型，经过训练数据集的不断训练，根据训练误差判定模型构建是否合格，如果合格则用于测试集测试，如果不合格，则重新构建网络模型，重新进行CNN神经网络模型训练。
图4为LSTM网络结构图；将数据归一化得到样本数据，让样本数据经过LSTM模块中的遗忘门、输入门、输出门、细胞门进行训练，再经过全连接层通过softmax函数进行激活，得到相应的LSTM神经网络模型，训练误差如果合格，则模型建立成功，不合格则重新构建网络模型进行训练。
图5为CNN-LSTM结合图；对于经过从CNN神经网络模型中输出的结果与从LSTM神经网络模型中输出的结果，经过一层全连接层DNN处理，再用softmax函数激活，输出最终结果作为预测阿尔兹海默症的依据。
图6为LSTM具体神经元图解；LSTM具体神经元公式和图解：
it＝σ(Wxixt+Whiht-1+WciCt-1+bi)
ft＝σ(Wxfxt+Whfht-1+WcfCt-1+bf)
Ct＝ftCt-1+ittanh(Wxcxt+Whcht+bc)
ot＝σ(Wxoxt+Whoht-1+WcoCt+bo)
ht＝ottanh(Ct)
图7为DNN网络结构。
实施例1
本实施例基于神经网络和自然对话的阿尔兹海默症风险预估方法，主要包括以下步骤：
S1.采集至少20名阿尔兹海默症测试者10分钟的有效自由表达语料，利用标记嵌入(Token embedding)将文本内容转化为数据。
S2.根据S1中的数据制成数据集，进行预处理及归一化得到特征数据集，将其按照3：1随机分配成训练数据集、测试数据集；
其中特征数据集规模为E个的一维张量，E为整数，表示语义、语法、顺序、句法等语言标志物和语言模式。
S3.根据数据集规模和输出要求，构建CNN神经网络模型，作为阿尔兹海默症语料数据训练网络模型；并运用S2中的训练数据集进行训练，生成训练CNN神经网络模型，再应用测试数据集对此模型进行测试检验。
S4.将S1中的数据进行随机处理，得到含有时间序列的训练样本数据集、测试样本数据集，其中，数据集规模为F个二维张量，其中F为整数，表示包含有时间序列的语义、语法、顺序、句法等语言标志物和语言模式。
S5.根据数据集规模和输出要求，构建LSTM神经网络模型；并运用S4中的训练样本数据集进行训练，生成训练LSTM神经网络模型，再应用测试样本数据集对此模型进行测试检验。
构建LSTM神经网络模型：对步骤S1中数据进行归一化如下处理：
其中，
是第i个平均值，σi是第i个标准差，形成训练样本数据集。
进而进行LSTM神经网络模型处理：
it＝σ(Wxixt+Whiht-1+WciCt-1+bi)
ft＝σ(Wxfxt+Whfht-1+WcfCt-1+bf)
Ct＝ftCt-1+ittanh(Wxcxt+Whcht+bc)，
σ是sigmoid函数，Wxi、Whi、Wci分别遗忘门、输出门、细胞门与输出门之间的权重；Wxf、Whf、Wcf分别是输入门、输出门、细胞门与遗忘门之间的权重，Wxc、Whc是记忆细胞和其他门之间的权重，Ct-1是上一个细胞状态；bi、bf、bc分别为两个门及记忆细胞的偏置。
具体的，单个LSTM模块的输出ht由tanh函数确定，具体公式为：
ot＝σ(Wxoxt+Whoht-1+WcoCt+bo)
ht＝ottanh(Ct)
式中，Wxo为遗忘门和输出门的权重，Who为输出门和输出门的权重，Wco为细胞门和输出门的权重，bo是输出门和记忆细胞的偏置，下标o代指i、f、c。
得到的输出通过全连接层DNN处理(如图7)，并由softmax函数激活，将向量进行相同维度的压缩，且每个元素之和为1，范围均在(0，1)，最后输出结果
S6.将通过步骤S3中的CNN神经网络模型处理的输出值及通过步骤S5中的LSTM神经网络模型处理的输出值并列组成矩阵，作为输入值，进行一层全连接层处理，通过两层隐藏层，输出最终结果以one-hot形式表达，作为预估阿尔兹海默症的数据，辅助医生对阿尔兹海默症的诊断。
实施例2
在本实施例中，更具体提供一种基于神经网络和自然对话的阿尔兹海默症风险预估方法，其具体包括以下步骤：
S1:走访广东某老人院，在得到受访老年人允许的情况下，通过摄像机完整记录不少于10分钟的现场即席自然会话。在通过ELAN将多模态语料进行转写、切分、标注后，结合利用语音、图像识别文字转化系统得到的文本内容，采取Token embedding方法提取语义、语法、顺序、节律及停顿等语言标志物和语言模式，进一步应用矩阵保存数据。
S2：根据S1中的数据制成数据集，进行预处理及归一化得到特征数据集，归一化处理之后矩阵的数据范围比较接近，对于网络误差降低较有帮助；归一化之后数据结构和存储量大小不变。再将其按照3:1随机分配成训练数据集，测试数据集。
S3：根据输入矩阵规模和输出要求，构建CNN神经网络模型，作为阿尔兹海默症语料数据训练网络模型。
将S2中的训练数据集放入S3中的CNN神经网络模型中进行训练，通过梯度下降法不断调整权重和偏置，当最终误差达到特征数目的1/10000或者训练次数超过10000次,停止训练。对训练后的网络利用训练样本集进行正确率交叉检验，在训练样本随机抽取20％的数据进行交叉验证，训练集正确率越接近100％，理论分类效果越好。若未达到90％，则修改网络参数重新训练。
将测试数据集放入生成的CNN网络模型中进行检测，检验测试效果。若测试得到的误差，在训练误差周围波动，即测试效果良好；反之，则需要进一步调整CNN神经网络模型的结构或参数，可相应地增加卷积层的数目，调整卷积核的大小、步长等。
S4：进一步考虑录音时的时间序列，利用embedding方法提取将时间、语义、语法、顺序、节律、停顿等语言标志物和语言模式，进一步应用矩阵保存数据。将得到的数据进行预处理及归一化得到特征数据集，再将其按照3:1随机分配成训练数据集，测试数据集。
S5：根据数据集规模和输出要求构建多层LSTM神经网络模型作为阿尔兹海默症风险预估的训练模型。
将S4中的训练样本数据集放入多层LSTM神经网络模型中进行训练，当最终误差达到特征数目的1/10000或者训练次数超过1000次,停止训练。对训练后的网络利用训练样本集进行正确率交叉检验，在训练样本随机抽取20％的数据进行交叉验证，训练集正确率越接近100％，理论分类效果越好。若未达到90％，则修改网络参数重新训练。最终生成多层LSTM神经网络模型。
将测试数据集放入LSTM神经网络模型中进行检测。若测试得到的误差，在训练误差周围波动，即测试效果良好；反之，则需要进一步调整LSTM神经网络模型的结构或参数，可相应地增加LSTM的时间步长，修改的LSTM单元的公式等。
S6：把S3输出值及S5输出值作为输入值，进行一层全连接层处理，通过两层隐藏层，输出one-hot形式的最终结果，作为预估阿尔兹海默症风险的定量数据，辅助医生对阿尔兹海默症的诊断。
实施例3
本实施例在实施例1的基础上，应用Token embedding方法对语料信息进行特征提取，得到语言文本的矩阵，具体为包括：
应用Token embedding方法对语料信息进行特征提取。依据采集到的信息确定文本中的句子最大长度,对于文本中长度不同的文本句子进行长裁短补，生成词典，将所有文档的词做个词频排列，得到规模为n×1的单词组合，针对每个单词进行数值赋值，赋值仅需要保证每个单词对应不同的数字即可，进一步将每个数字转化成规模为1×m浮点数组合，从而得到一个n×m形式的矩阵。将每个维度作为一个特征，其相应的强烈程度决定了小数的大小、正负。将句子的每个词对应的数字的行取出，按顺序转置为列，得到语言文本的矩阵表示,如图2所示。
此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
值得说明的是，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.基于神经网络和自然对话的阿尔兹海默症风险预估方法，其特征在于：采集阿尔兹海默症测试者的有效自由表达语料，使用语言处理软件ELAN对语料进行转写、切分和标注；利用目前通用的语音、图像识别文字转化系统和标记嵌入(Token embedding)将文本内容转化为数据并建立多模态语料库；利用卷积神经网络(CNN)模型与长短期记忆神经网络(LSTM)模型的复合模型进行文本分析，作为预估阿尔兹海默症的数据。
2.根据权利要求1所述的方法，其特征在于：具体包括以下步骤：
S1.采集至少20名阿尔兹海默症测试者10分钟的有效自由表达语料，将语料载入ELAN，进行话语转写、切分和标注，利用Token embedding将文本内容转化为数据，形成多模态语料库；
S2.根据S1中的数据制成数据集，进行预处理及归一化得到特征数据集，将其按照3:1随机分配成训练数据集、测试数据集；
其中特征数据集规模为E个的一维张量，E为整数，表示语言标志物和语言模式；
S3.根据数据集规模和输出要求构建CNN神经网络模型，应用S2中的训练数据集进行训练进一步应用测试数据集对此模型进行测试检验；
S4.将S1中的数据进行随机处理，得到含有时间序列的训练样本数据集、测试样本数据集，其中，数据集规模为F个二维张量，其中F为整数，表示包含有时间序列的语言标志物和语言模式；
S5.根据数据集规模和输出要求构建LSTM神经网络模型，应用S4中的训练样本数据集进行训练，进一步应用测试样本数据集对此模型进行测试检验；
S6.将通过步骤S3中的CNN神经网络模型处理的输出值及通过步骤S5中的LSTM神经网络模型处理的输出值并列组成矩阵，作为输入值，进行一层全连接层处理，通过两层隐藏层，输出最终结果以热点分布(one-hot)形式表达，作为预估阿尔兹海默症的数据，辅助医生对阿尔兹海默症的诊断。
3.根据权利要求2所述的方法，其特征在于：步骤S1中所述阿尔兹海默症测试者的要求是：老年和老年前期的人群，主要为60-65岁的老年群体，能够进行语言表达，身体状况基本良好，测试者男女基本比例为1：1。
4.根据权利要求2所述的方法，其特征在于：步骤S1中所述采集到的有效自由表达语料，先利用目前通用的语音、图像识别文字转化系统转化得到多个包含语料信息的语言文本文档，再应用Token embedding方法将文本内容转化为数据。
5.根据权利要求4所述的方法，其特征在于：所述应用Token embedding方法将文本内容转化为数据即应用Token embedding方法对语料信息进行特征提取，得到语言文本的矩阵，具体为包括：
S11.依据采集到的语料信息确定文本中的句子最大长度,对于文本中长度不同的文本句子进行长裁短补，生成词典；
S12.将词典的词做个词频排列，得到规模为n×1的单词组合，针对每个单词进行数值赋值，赋值保证每个单词对应不同的数字；
S13.将每个数字转化成规模为1×m浮点数组合，从而得到一个n×m形式的矩阵；将每个维度作为一个特征，其相应的强烈程度决定了小数的大小、正负；
S14.将句子的每个词对应的数字的行取出，按顺序转置为列，得到语言文本的矩阵。
6.根据权利要求2所述的方法，其特征在于：步骤S3中所述构建CNN神经网络模型是:针对于步骤S2得到的数据及集规模构建多个卷积层，具体参数如下：卷积核为32个随机的m×1矩阵,步长为1,不进行插空卷积，通过如上卷积层得到32个二维张量，通过对每个张量进行比较得到每个的全局最大值，以全局最大值为依据设计全连接层的分配权重，将卷积后得到的二维张量通过全连接层和两层隐藏层处理，得到one-hot形式的输出结果。
7.根据权利要求2所述的方法，其特征在于：步骤S3中所述训练CNN神经网络模型是将步骤S2中的训练数据集放入构建好的CNN神经网络模型中进行训练，通过梯度下降法不断调整权重和偏置，使代价函数最终波动在误差允许范围内，此时即生成了适宜的CNN神经网络模型。
8.根据权利要求2所述的方法，其特征在于：步骤S3中所述测试是将测试数据集放入生成的CNN神经网络模型中进行检测，检验测试效果；若测试得到的误差，在训练误差周围波动，即测试效果良好；反之，则进一步调整CNN神经网络模型的结构或参数。
9.根据权利要求2所述的方法，其特征在于：步骤S5中构建LSTM神经网络模型：对步骤S1中数据进行归一化如下处理：
其中，
是第i个平均值，σi是第i个标准差，形成训练样本数据集。
10.根据权利要求2所述的方法，其特征在于：步骤S5中训练LSTM神经网络模型：将步骤S4中的训练样本数据集放入构建的LSTM神经网络模型中进行训练，最终生成LSTM神经网络模型；再将测试数据集放入LSTM神经网络模型中进行检测，若测试得到的误差，在训练误差周围波动，即测试效果良好；反之，则调整LSTM神经网络模型的结构或参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210196124.6A CN114596960B (zh) | 2022-03-01 | 2022-03-01 | 基于神经网络和自然对话的阿尔兹海默症风险预估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210196124.6A CN114596960B (zh) | 2022-03-01 | 2022-03-01 | 基于神经网络和自然对话的阿尔兹海默症风险预估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114596960A true CN114596960A (zh) | 2022-06-07 |
| CN114596960B CN114596960B (zh) | 2023-08-08 |
Family
ID=81808166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210196124.6A Active CN114596960B (zh) | 2022-03-01 | 2022-03-01 | 基于神经网络和自然对话的阿尔兹海默症风险预估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114596960B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115064262A (zh) * | 2022-06-08 | 2022-09-16 | 华侨大学 | 一种基于长短时记忆的阿尔兹海默症病程预测方法 |
| CN115346657A (zh) * | 2022-07-05 | 2022-11-15 | 深圳市镜象科技有限公司 | 利用迁移学习提升老年痴呆的识别效果的训练方法及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170270100A1 (en) * | 2016-03-18 | 2017-09-21 | International Business Machines Corporation | External Word Embedding Neural Network Language Models |
| JP2018015139A (ja) * | 2016-07-26 | 2018-02-01 | ヤンマー株式会社 | 認知症検査システム |
| CN108320734A (zh) * | 2017-12-29 | 2018-07-24 | 安徽科大讯飞医疗信息技术有限公司 | 语音信号处理方法及装置、存储介质、电子设备 |
| CN109754822A (zh) * | 2019-01-22 | 2019-05-14 | 平安科技（深圳）有限公司 | 建立阿兹海默症检测模型的方法和装置 |
| CN111488914A (zh) * | 2020-03-17 | 2020-08-04 | 哈尔滨工业大学 | 一种基于多任务学习的阿尔茨海默症分类及预测系统 |
| CN112470143A (zh) * | 2018-09-12 | 2021-03-09 | 株式会社Ｆｒｏｎｔｅｏ | 痴呆症预测装置、预测模型生成装置及痴呆症预测用程序 |
| EP3809411A1 (en) * | 2019-10-18 | 2021-04-21 | LangAware, Inc. | Multi-lingual system for early detection of alzheimer's disease |
| US20210118465A1 (en) * | 2019-10-18 | 2021-04-22 | LangAware, Inc. | Multi-lingual system for early detection of alzheimer's disease |
| US20210118329A1 (en) * | 2018-04-25 | 2021-04-22 | Ninispeech Ltd. | Diagnosis and treatment of speech and language pathologies by speech to text and natural language processing |
| CN113076741A (zh) * | 2021-03-09 | 2021-07-06 | 山西三友和智慧信息技术股份有限公司 | 一种基于多语言文本数据分析方法 |
| US11194972B1 (en) * | 2021-02-19 | 2021-12-07 | Institute Of Automation, Chinese Academy Of Sciences | Semantic sentiment analysis method fusing in-depth features and time sequence models |
| CN113808620A (zh) * | 2021-08-27 | 2021-12-17 | 西藏大学 | 一种基于cnn和lstm的藏语语音情感识别方法 |
| WO2022010282A1 (ko) * | 2020-07-10 | 2022-01-13 | 서울대학교산학협력단 | 음성 특성 기반 알츠하이머병 예측 방법 및 장치 |
| CN113935330A (zh) * | 2021-10-22 | 2022-01-14 | 平安科技（深圳）有限公司 | 基于语音的疾病预警方法、装置、设备及存储介质 |
| CN113940634A (zh) * | 2021-11-18 | 2022-01-18 | 江西希尔康泰制药有限公司 | 一种基于高电位治疗的阿尔茨海默症分类诊断系统 |
-
2022
- 2022-03-01 CN CN202210196124.6A patent/CN114596960B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170270100A1 (en) * | 2016-03-18 | 2017-09-21 | International Business Machines Corporation | External Word Embedding Neural Network Language Models |
| JP2018015139A (ja) * | 2016-07-26 | 2018-02-01 | ヤンマー株式会社 | 認知症検査システム |
| CN108320734A (zh) * | 2017-12-29 | 2018-07-24 | 安徽科大讯飞医疗信息技术有限公司 | 语音信号处理方法及装置、存储介质、电子设备 |
| US20210118329A1 (en) * | 2018-04-25 | 2021-04-22 | Ninispeech Ltd. | Diagnosis and treatment of speech and language pathologies by speech to text and natural language processing |
| CN112470143A (zh) * | 2018-09-12 | 2021-03-09 | 株式会社Ｆｒｏｎｔｅｏ | 痴呆症预测装置、预测模型生成装置及痴呆症预测用程序 |
| CN109754822A (zh) * | 2019-01-22 | 2019-05-14 | 平安科技（深圳）有限公司 | 建立阿兹海默症检测模型的方法和装置 |
| EP3809411A1 (en) * | 2019-10-18 | 2021-04-21 | LangAware, Inc. | Multi-lingual system for early detection of alzheimer's disease |
| US20210118465A1 (en) * | 2019-10-18 | 2021-04-22 | LangAware, Inc. | Multi-lingual system for early detection of alzheimer's disease |
| CN111488914A (zh) * | 2020-03-17 | 2020-08-04 | 哈尔滨工业大学 | 一种基于多任务学习的阿尔茨海默症分类及预测系统 |
| WO2022010282A1 (ko) * | 2020-07-10 | 2022-01-13 | 서울대학교산학협력단 | 음성 특성 기반 알츠하이머병 예측 방법 및 장치 |
| US11194972B1 (en) * | 2021-02-19 | 2021-12-07 | Institute Of Automation, Chinese Academy Of Sciences | Semantic sentiment analysis method fusing in-depth features and time sequence models |
| CN113076741A (zh) * | 2021-03-09 | 2021-07-06 | 山西三友和智慧信息技术股份有限公司 | 一种基于多语言文本数据分析方法 |
| CN113808620A (zh) * | 2021-08-27 | 2021-12-17 | 西藏大学 | 一种基于cnn和lstm的藏语语音情感识别方法 |
| CN113935330A (zh) * | 2021-10-22 | 2022-01-14 | 平安科技（深圳）有限公司 | 基于语音的疾病预警方法、装置、设备及存储介质 |
| CN113940634A (zh) * | 2021-11-18 | 2022-01-18 | 江西希尔康泰制药有限公司 | 一种基于高电位治疗的阿尔茨海默症分类诊断系统 |
Non-Patent Citations (5)
| Title |
|---|
| MINNI JAIN: "Exploring the Effects of Different Embedding Algorithms and Neural Architectures on Early Detection of Alzheimer’s Disease", CEUR WORKSHOP PROCEEDINGS (CEUR-WS.ORG), pages 376 - 383 * |
| 李洋;董红斌;: "基于CNN和BiLSTM网络特征融合的文本情感分析", 计算机应用, vol. 38, no. 11, pages 3075 - 3080 * |
| 林雪峰;李炜;: "基于深度学习的阿尔兹海默症多模态辅助诊断研究", 工业控制计算机, vol. 33, no. 03, pages 58 - 60 * |
| 林颖;何啸峰;陈灵娜;陈俊熹;: "结合DCGAN与LSTM的阿兹海默症分类算法", 计算机应用研究, vol. 37, no. 05, pages 1574 - 1577 * |
| 肖亚洲: "基于文本和语音的阿尔兹海默症预测模型研究", 中国硕士学位论文电子期刊, no. 2021, pages 1 - 64 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115064262A (zh) * | 2022-06-08 | 2022-09-16 | 华侨大学 | 一种基于长短时记忆的阿尔兹海默症病程预测方法 |
| CN115346657A (zh) * | 2022-07-05 | 2022-11-15 | 深圳市镜象科技有限公司 | 利用迁移学习提升老年痴呆的识别效果的训练方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114596960B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Atila et al. | Attention guided 3D CNN-LSTM model for accurate speech based emotion recognition | |
| Rejaibi et al. | MFCC-based recurrent neural network for automatic clinical depression recognition and assessment from speech | |
| CN112818892B (zh) | 基于时间卷积神经网络的多模态抑郁症检测方法及系统 | |
| CN114596960B (zh) | 基于神经网络和自然对话的阿尔兹海默症风险预估方法 | |
| CN110335653B (zh) | 基于openEHR病历格式的非标准病历解析方法 | |
| Wu et al. | Automatic depression recognition by intelligent speech signal processing: A systematic survey | |
| Deng et al. | Speech-based diagnosis of autism spectrum condition by generative adversarial network representations | |
| Ilias et al. | Detecting dementia from speech and transcripts using transformers | |
| AI-Atroshi et al. | RETRACTED ARTICLE: Automated speech based evaluation of mild cognitive impairment and Alzheimer’s disease detection using with deep belief network model | |
| Liu et al. | Detecting Alzheimer’s disease from speech using neural networks with bottleneck features and data augmentation | |
| Lu et al. | Speech depression recognition based on attentional residual network | |
| CN113111151A (zh) | 一种基于智能语音问答的跨模态抑郁症检测方法 | |
| CN114373452A (zh) | 基于深度学习的嗓音异常识别和评价的方法及系统 | |
| Kaushik et al. | SLINet: Dysphasia detection in children using deep neural network | |
| JabaSheela et al. | A hybrid model for detecting linguistic cues in alzheimer’s disease patients | |
| Özkanca et al. | Multi-lingual depression-level assessment from conversational speech using acoustic and text features | |
| CN117497140B (zh) | 一种基于细粒度提示学习的多层次抑郁状态检测方法 | |
| CN117877660A (zh) | 基于语音识别的医学报告获取方法及系统 | |
| CN114881668A (zh) | 一种基于多模态的欺骗检测方法 | |
| CN115153547A (zh) | 基于多模态数据融合的抑郁症筛查方法、系统及存储介质 | |
| Bhavya et al. | Machine learning applied to speech emotion analysis for depression recognition | |
| CN113486657A (zh) | 一种基于知识辅助的情感-原因对抽取系统 | |
| CN114170997A (zh) | 发音技巧检测方法、装置、存储介质及电子设备 | |
| CN118098289B (zh) | 一种结合精准模型与轻量级模型的抑郁症识别方法及系统 | |
| CN115346657B (zh) | 利用迁移学习提升老年痴呆的识别效果的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |