CN112000837A - 一种飞行员听觉注意反应时测量及预测方法 - Google Patents

一种飞行员听觉注意反应时测量及预测方法 Download PDF

Info

Publication number
CN112000837A
CN112000837A CN202010695284.6A CN202010695284A CN112000837A CN 112000837 A CN112000837 A CN 112000837A CN 202010695284 A CN202010695284 A CN 202010695284A CN 112000837 A CN112000837 A CN 112000837A
Authority
CN
China
Prior art keywords
voice command
flight
flight voice
auditory attention
pilot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010695284.6A
Other languages
English (en)
Other versions
CN112000837B (zh
Inventor
于薇薇
王海洋
蔡闻峰
姜民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010695284.6A priority Critical patent/CN112000837B/zh
Publication of CN112000837A publication Critical patent/CN112000837A/zh
Application granted granted Critical
Publication of CN112000837B publication Critical patent/CN112000837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种飞行员听觉注意反应时测量及预测方法，飞行员在完整接收到飞行语音指令的时间到下一个注视点开始形成的时间认为是飞行员对相应飞行语音指令的听觉注意反应时。飞行员听觉注意反应时预测方法包括利用飞行语音指令语音识别方法识别飞行语音指令的文本信息，建立并训练听觉注意反应时预测模型，对于新输入的待检测的飞行语音指令，先通过飞行语音指令语音识别和飞行语音指令模型向量化，生成对应的指令模型向量，再输入训练完成的听觉注意反应时预测模型，得到听觉注意反应时。本发明可以对飞行语音指令预测听觉注意反应时，揭示飞行员对飞行语音指令的听觉注意力分配的规律。

Description

一种飞行员听觉注意反应时测量及预测方法
技术领域
本发明涉及听觉注意力分配领域，特别是用于飞行员听觉注意反应时测量及预测方法。
背景技术
听觉注意反应时为飞行员从接收飞行语音指令到做出反应的时间，对飞行员听觉注意反应时的测量及预测可以揭示飞行员对语音指令的听觉注意力分配规律。目前对飞行员听觉注意反应时的测量一般方法为给出相应的指令，被试根据指令进行相对应的操作，由给出指令到被试做出相应操作的时间被认为是听觉注意反应时。
发明内容
我们发现，对于飞行员而言，基于传统的时间间隔研究其听觉注意力分配规律是不合理的，实际上这样得出的反应时间会大于飞行员真实的反应时间，因为飞行员在接收到飞行语音指令后需要获取与操控、飞行状态、态势等相关的视觉信息，综合地做出判断，进而执行相应的操控。而实际上，在对飞行语音指令进行信息处理加工的过程中，飞行员在视觉通道信息的获取以及对信息的加工会形成视觉注视点，出现视觉转移，即视觉注意会转移到与飞行语音指令相关的操控或飞行信息上，通过视觉注视点采集设备可以采集到视觉注意转移和新的注视点形成的相关信息，因此通过捕获视觉注视点来测量飞行员的听觉注意反应时更加合理、准确。
语音识别相关的算法已经相当成熟，而且近年来随着互联网技术、智能硬件设备的快速发展，语音识别、声纹识别、声源检测等语音智能交互技术开始从实验室走向用户。由于语音识别技术是基于语音的人机交互系统最核心的技术，目前识别率已经达到可用的准确率，能够满足一些特定场景特定需求应用的要求。
对飞行员听觉注意反应时的预测是很重要的，这可以作为一种评价人机交互系统与飞行员的指标，进而对人机交互系统的效能增强提供依据，而且可以对系统进行人机工效的验证，然而目前对听觉注意反应时间预测的相关研究设计甚少。听觉注意反应时预测算法需要指令模型向量化，因为直接从文字信息难以判断出反应时间，因而需要对由飞行语音指令识别得到的文本信息进行再次处理，受自然语言处理的LDA主题模型启发，我们从飞行语音指令中提取出一些关键词，并将这些词划分为不同的主题，每一个主题作为特征向量的一个维度，从而得到飞行语音指令对应的特征向量。那么就可以将听觉注意反应时的判别问题转化为一个预测问题，即给定每个飞行语音指令的指令向量，得到对应的听觉注意反应时，相应的可以采用有监督的学习算法如双隐层的神经网络来解决该问题。
本发明的技术方案为：
所述一种飞行员听觉注意反应时测量方法，其特征在于：对于某一飞行语音指令，记录飞行语音指令结束时刻为飞行员完整接收到飞行语音指令的时刻T1；采用视觉注视点采集设备采集飞行员的注视点，得到飞行员在完整接收到飞行语音指令后发生视觉转移后下一个注视点的开始时刻T2，以T2-T1作为对于该条飞行语音指令的飞行员听觉注意反应时。
进一步的，可以通过对相应飞行语音指令多次重复试验测量平均值得到飞行员的听觉注意反应时。
所述一种飞行员听觉注意反应时预测方法，其特征在于：包括以下步骤：
步骤1：利用飞行语音指令语音识别方法识别飞行语音指令的文本信息：
步骤1.1：将预设的飞行语音指令字词音频文件进行分帧处理得到帧矢量时间序列，再对其中出现的字、词进行特征提取，生成的特征矢量时间序列作为一个模板，所有在飞行语音指令字词音频文件中出现过的字、词生成的模板组成最终的飞行语音指令模板库；
步骤1.2：根据飞行语音指令中不同字、词包含的信息量，将模板库分成不同的词表，通过分析飞行语音指令的文法规则建立语义依存关系；
步骤1.3：基于飞行语音指令模板库和语义依存关系，通过动态时间伸缩匹配方法对输入的飞行语音指令进行识别，识别得到飞行语音指令的文本信息；
步骤2：建立并训练听觉注意反应时预测模型：
步骤2.1：从所有预设的飞行语音指令中提取出关键词，并将这些关键词划分为不同的主题，每一个主题作为指令模型向量的一个维度；
步骤2.2：对于某个飞行语音指令，通过步骤1识别得到文本信息后，选择能够表征这条飞行语音指令的关键词，将这些关键词在指令模型向量所对应主题的维度元素赋值为1，其余没有出现的主题维度元素赋值为0，得到了该飞行语音指令的指令模型向量；
步骤2.3：通过指令模型向量，将从飞行语音指令中识别的文本转化为听觉注意反应时预测模型的输入样本，利用输入样本以及样本对应的测量得到的听觉注意力反应时间训练听觉注意反应时预测模型；
步骤3：对于新输入的待检测的飞行语音指令，先通过飞行语音指令语音识别和飞行语音指令模型向量化，生成对应的指令模型向量，再输入训练完成的听觉注意反应时预测模型，得到听觉注意反应时。
进一步的，在步骤1.3进行识别前，对输入的飞行语音指令进行滑窗分帧、特征提取处理，得到输入的飞行语音指令的特征矢量时间序列，然后基于输入的飞行语音指令的特征矢量时间序列，通过动态时间伸缩匹配方法进行识别。
进一步的，步骤1中，飞行语音指令特征提取的特征参数采用标准的梅尔频率倒谱系数MFCC，并对MFCC参数进行一阶差分求得ΔMFCC，将ΔMFCC与MFCC组合作为特征矢量。
进一步的，听觉注意反应时预测模型采用双隐层的神经网络，采用有监督的学习算法进行训练。
有益效果
本发明可以从飞行语音指令中提取需要的文本信息，并从识别的文本信息中依靠飞行语音指令模型将文本转化为判别模型的输入样本，进而依据输入样本预测听觉注意反应时，揭示飞行员对飞行语音指令的听觉注意力分配的规律。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为飞行语音指令测量示例
图2为飞行语音指令识别方法
图3为飞行语音指令字词音频文件示例
图4为飞行语音指令模板示例
图5为飞行语音指令词表示例
图6为飞行语音指令主题词示例
图7为飞行语音指令向量化示例
图8为用于预测听觉注意反应时的神经网络结构图
具体实施方式
本发明的目的是对飞行员听觉注意反应时进行测量及预测，揭示飞行员对飞行语音指令的听觉注意力分配规律，可以作为一种评价人机交互系统和飞行员的指标，进而对人机交互系统的效能增强提供依据，而且可以对系统进行人机工效的验证。
本发明主要包括两个部分，第一部分为听觉注意力反应时间的测量方法，第二部分为基于测量的听觉注意力反应时间以及识别的飞行语音指令而建立的听觉注意力的预测算法。
听觉注意反应时的测量是指，飞行员在接收到飞行语音指令后对信息进行加工，在形成决策和操控之前会收集相关信息，在视觉通道上的信息收集形成新的注视点及出现视觉转移，即视觉注意会转移到与飞行语音指令相关的操控或飞行信息上，通过视觉注视点采集设备可以采集到视觉注意转移和新的注视点形成的相关信息。听觉注意反应时的测量值是飞行员在完整接收到飞行语音指令(即飞行语音指令结束的时间)到下一个注视点开始形成的时间间隔，对相应飞行语音指令多次重复试验测量的平均值就是飞行员的听觉注意反应时。
如图1所示，图中红色的点为某次实验中通过视觉注视点采集设备得到的注视点，蓝色的点为试验过程中某时刻得到的某条飞行语音指令(试验后添加以可视化)，黑色的箭头为飞行员在接收到飞行语音指令后做出相应反应而形成的视觉转移。(a,b)为该条飞行语音指令的开始时间和结束时间，(c,d)为飞行员在完整接收到飞行语音指令后发生视觉转移的下一个注视点的开始时间和结束时间，于是听觉注意反应时(Auditory attentionresponse time，AARTime)的计算公式为：AARTime＝c-b。
对于各种飞行语音指令，都可以通过上述过程，测得对应的听觉注意力反应时间。
接下来是基于测量的听觉注意力反应时间以及识别的飞行语音指令而建立听觉注意力的预测模型，利用预测模型预测飞行语音指令的听觉注意反应时。
如图2所示，飞行语音指令语音识别方法首先建立飞行语音指令模板库：通过将如图3所示的预设的飞行语音指令字词音频文件进行分帧处理得到帧矢量时间序列，再对其中出现的字、词进行特征提取，生成的特征矢量时间序列作为一个模板，所有在飞行语音指令字词音频文件中出现过的字、词生成的模板组成最终的飞行语音指令模板库，如图4所示。
根据飞行语音指令中不同字、词包含的信息量，将模板库分成不同的词表，如图5所示，通过分析飞行语音指令的文法规则建立语义依存关系。
基于飞行语音指令模板库和语义依存关系，通过动态时间伸缩匹配方法对输入的飞行语音指令进行识别，识别得到飞行语音指令的文本信息。当然，在进行识别前，需要对输入的飞行语音指令进行滑窗分帧、特征提取等处理，得到输入的飞行语音指令的特征矢量时间序列，基于输入的飞行语音指令的特征矢量时间序列进行识别。
具体到本实施例中，飞行语音指令特征提取的特征参数采用标准的梅尔频率倒谱系数(MFCC)，其反映了飞行语音指令参数的静态特性，同时由于人耳对动态的特征更加敏感，对MFCC参数进行一阶差分求得ΔMFCC，可以将ΔMFCC与MFCC组合作为特征矢量使用来判断相似性。飞行语音指令模板匹配需要进行时间伸缩处理，飞行语音指令识别采用动态时间伸缩算法(DTW)进行模板匹配，DTW不断地计算两特征矢量的距离以寻找最优的匹配路径，得到的两特征矢量匹配是累计距离最小的规整函数，这就保证了它们之间存在最大的声学相似特性。
DTW是采用动态规划技术(DP)来加以具体实现的。通常，规整函数ω(i)被限制在一个平行四边形内，它的一条边的斜率为2，另一条边的斜率为1/2。规整函数的起始点为(1,1)，终止点为(I,J)。ω(i)的斜率为0、1或2；否则就为1或2。总代价函数是该点本身的代价与带到该点的最佳路径的代价之和，总代价函数的计算式为：
D[c(k)]＝d[c(k)]+minD[c(k-1)]
式中，d[c(k)]为匹配点c(k)本身的代价，minD[c(k-1)]是在以前所有允许值(由路径限制而定)中最小的一个。进行时间规整时，计算输入飞行语音指令音频的每一帧与飞行语音指令模板库中的每个模板的DTW距离，以DTW距离最小的模板作为初始检测结果，通过加入阈值和后期处理得到最终的飞行语音指令识别结果，包括飞行语音指令的文本信息，同时叠加飞行语音指令的开始、结束时间。
在建立听觉注意反应时预测模型时，需要将飞行语音指令模型向量化。通过对所有预设的飞行语音指令中提取出关键词，并将这些关键词划分为不同的主题，每一个主题作为指令模型向量的一个维度，如图6所示；当出现一个新的飞行语音指令识别结果，选择能够表征这条飞行语音指令的关键词，将这些关键词在指令模型向量所对应主题的维度元素赋值为1，其余没有出现的主题维度元素赋值为0，得到了该飞行语音指令的指令模型向量，如图7所示。
通过指令模型向量，将从飞行语音指令中识别的文本转化为听觉注意反应时预测模型的输入样本，利用输入样本以及样本对应的测量得到的听觉注意力反应时间训练听觉注意反应时预测模型。
听觉注意反应时预测模型采用双隐层的神经网络，如图8所示，利用有监督的学习算法进行训练，输入向量记为x，根据之前飞行语音指令向量化的结果，以16维的行向量为例。隐含层包含18个神经元。输出层包含一个神经元。
第i个样本xi,输入之后得隐含层的输入，即输入层的输出为：
Figure BDA0002590808040000061
隐含层的输出为：
Figure BDA0002590808040000062
记输出为oh，则隐含层的输出，即输出层的输入为：
Figure BDA0002590808040000071
输出层的输出为：
Figure BDA0002590808040000072
记作y，再代入到均方差公式里计算均方差。
隐含层误差：
Figure BDA0002590808040000073
输出层误差：
Figure BDA0002590808040000074
最后根据梯度下降法更新权值。
对于新输入的待检测的飞行语音指令，先通过飞行语音指令语音识别和飞行语音指令模型向量化，生成对应的指令模型向量，再输入训练完成的听觉注意反应时预测模型，得到听觉注意反应时，进而揭示飞行员对飞行语音指令的听觉注意力分配的规律。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种飞行员听觉注意反应时测量方法，其特征在于：对于某一飞行语音指令，记录飞行语音指令结束时刻为飞行员完整接收到飞行语音指令的时刻T1；采用视觉注视点采集设备采集飞行员的注视点，得到飞行员在完整接收到飞行语音指令后发生视觉转移后下一个注视点的开始时刻T2，以T2-T1作为对于该条飞行语音指令的飞行员听觉注意反应时。
2.根据权利要求1所述一种飞行员听觉注意反应时测量方法，其特征在于：通过对相应飞行语音指令多次重复试验测量平均值得到飞行员的听觉注意反应时。
3.一种飞行员听觉注意反应时预测方法，其特征在于：包括以下步骤：
步骤1：利用飞行语音指令语音识别方法识别飞行语音指令的文本信息：
步骤1.1：将预设的飞行语音指令字词音频文件进行分帧处理得到帧矢量时间序列，再对其中出现的字、词进行特征提取，生成的特征矢量时间序列作为一个模板，所有在飞行语音指令字词音频文件中出现过的字、词生成的模板组成最终的飞行语音指令模板库；
步骤1.2：根据飞行语音指令中不同字、词包含的信息量，将模板库分成不同的词表，通过分析飞行语音指令的文法规则建立语义依存关系；
步骤1.3：基于飞行语音指令模板库和语义依存关系，通过动态时间伸缩匹配方法对输入的飞行语音指令进行识别，识别得到飞行语音指令的文本信息；
步骤2：建立并训练听觉注意反应时预测模型：
步骤2.1：从所有预设的飞行语音指令中提取出关键词，并将这些关键词划分为不同的主题，每一个主题作为指令模型向量的一个维度；
步骤2.2：对于某个飞行语音指令，通过步骤1识别得到文本信息后，选择能够表征这条飞行语音指令的关键词，将这些关键词在指令模型向量所对应主题的维度元素赋值为1，其余没有出现的主题维度元素赋值为0，得到了该飞行语音指令的指令模型向量；
步骤2.3：通过指令模型向量，将从飞行语音指令中识别的文本转化为听觉注意反应时预测模型的输入样本，利用输入样本以及样本对应的测量得到的听觉注意力反应时训练听觉注意反应时预测模型；
步骤3：对于新输入的待检测的飞行语音指令，先通过飞行语音指令语音识别和飞行语音指令模型向量化，生成对应的指令模型向量，再输入训练完成的听觉注意反应时预测模型，得到听觉注意反应时。
4.根据权利要求3所述一种飞行员听觉注意反应时预测方法，其特征在于：利用权利要求1所述测量方法得到样本对应的听觉注意力反应时。
5.根据权利要求3所述一种飞行员听觉注意反应时预测方法，其特征在于：在步骤1.3进行识别前，对输入的飞行语音指令进行滑窗分帧、特征提取处理，得到输入的飞行语音指令的特征矢量时间序列，然后基于输入的飞行语音指令的特征矢量时间序列，通过动态时间伸缩匹配方法进行识别。
6.根据权利要求3所述一种飞行员听觉注意反应时预测方法，其特征在于：步骤1中，飞行语音指令特征提取的特征参数采用标准的梅尔频率倒谱系数MFCC，并对MFCC参数进行一阶差分求得ΔMFCC，将ΔMFCC与MFCC组合作为特征矢量。
7.根据权利要求3所述一种飞行员听觉注意反应时预测方法，其特征在于：听觉注意反应时预测模型采用双隐层的神经网络，采用有监督的学习算法进行训练。
CN202010695284.6A 2020-07-19 2020-07-19 一种飞行员听觉注意反应时测量及预测方法 Active CN112000837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010695284.6A CN112000837B (zh) 2020-07-19 2020-07-19 一种飞行员听觉注意反应时测量及预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010695284.6A CN112000837B (zh) 2020-07-19 2020-07-19 一种飞行员听觉注意反应时测量及预测方法

Publications (2)

Publication Number Publication Date
CN112000837A true CN112000837A (zh) 2020-11-27
CN112000837B CN112000837B (zh) 2022-12-06

Family

ID=73466614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010695284.6A Active CN112000837B (zh) 2020-07-19 2020-07-19 一种飞行员听觉注意反应时测量及预测方法

Country Status (1)

Country Link
CN (1) CN112000837B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090202966A1 (en) * 2004-08-24 2009-08-13 The Mclean Hospital Corporation Method For Assessing Auditory Attention And Vigilance
US20120032817A1 (en) * 2010-08-03 2012-02-09 Lc Technologies Inc. Systems and methods for aiding traffic controllers and/or pilots
US20120197153A1 (en) * 2006-05-11 2012-08-02 Nina Kraus Systems and methods for measuring complex auditory brainstem response
US20150139441A1 (en) * 2013-11-18 2015-05-21 Honeywell International Inc. System and method for minimizing active speech disruptions and assuring task level continuity on a flight deck
CN108615110A (zh) * 2018-04-23 2018-10-02 吉林大学 基于视觉特性的驾驶风险评估系统
CN111429013A (zh) * 2020-03-30 2020-07-17 西北工业大学 基于注意力分配和个体状态的飞行员情境觉知评测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090202966A1 (en) * 2004-08-24 2009-08-13 The Mclean Hospital Corporation Method For Assessing Auditory Attention And Vigilance
US20120197153A1 (en) * 2006-05-11 2012-08-02 Nina Kraus Systems and methods for measuring complex auditory brainstem response
US20120032817A1 (en) * 2010-08-03 2012-02-09 Lc Technologies Inc. Systems and methods for aiding traffic controllers and/or pilots
US20150139441A1 (en) * 2013-11-18 2015-05-21 Honeywell International Inc. System and method for minimizing active speech disruptions and assuring task level continuity on a flight deck
CN108615110A (zh) * 2018-04-23 2018-10-02 吉林大学 基于视觉特性的驾驶风险评估系统
CN111429013A (zh) * 2020-03-30 2020-07-17 西北工业大学 基于注意力分配和个体状态的飞行员情境觉知评测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JOSEF SCHLITTENLACHER等: "Simple reaction time to the onset of time-varying sounds", 《ATTENTION,PERCEPTION&PSYCHOPHYSICS》 *
SEBASTIEN SCANNELLA等: "Effects of the audiovisual conflict on auditory early processes", 《INTERNATIONAL JOURNAL OF PSYCHOPHYSIOLOGY》 *
孙玉莉: "不同背景声音下自闭症谱系障碍儿童听觉持续性注意特征研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *
李响: "铁路机车司机驾驶疲劳评测方法与在线检测技术的研究", 《中国博士学位论文全文数据库工程科技Ⅱ辑》 *
陈雪莹: "视觉和听觉加工中的跨通道注意转移研究", 《中国博士学位论文全文数据库哲学与人文科学辑》 *

Also Published As

Publication number Publication date
CN112000837B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
KR101988222B1 (ko) 대어휘 연속 음성 인식 장치 및 방법
Bhakre et al. Emotion recognition on the basis of audio signal using Naive Bayes classifier
CN108597541A (zh) 一种增强愤怒与开心识别的语音情感识别方法及系统
KR102221513B1 (ko) 음성 감정 인식 방법 및 시스템
CN110853654B (zh) 一种模型生成方法、声纹识别方法及对应装置
TWI395201B (zh) 情緒語音辨識方法及系統
CN105895078A (zh) 动态选择语音模型的语音识别方法及装置
CN107886968B (zh) 语音评测方法及系统
CN111128128B (zh) 一种基于互补模型评分融合的语音关键词检测方法
CN111583965A (zh) 一种语音情绪识别方法、装置、设备及存储介质
CN116580706B (zh) 一种基于人工智能的语音识别方法
Gupta et al. Speech emotion recognition using SVM with thresholding fusion
CN116741148A (zh) 一种基于数字孪生的语音识别系统
JP2008146054A (ja) 話者の音声特徴情報を利用した話者情報獲得システム及びその方法
CN116050419B (zh) 一种面向科学文献知识实体的无监督识别方法及系统
CN113571095A (zh) 基于嵌套深度神经网络的语音情感识别方法和系统
Paul et al. Automated speech recognition of isolated words using neural networks
CN112000837B (zh) 一种飞行员听觉注意反应时测量及预测方法
Sawakare et al. Speech recognition techniques: a review
Jadhav et al. An Emotion Recognition from Speech using LSTM
Kamble et al. Spontaneous emotion recognition for Marathi spoken words
CN108242239A (zh) 一种声纹识别方法
CN111506757A (zh) 基于增量迭代的语音标记装置及方法
Manor et al. Voice trigger system using fuzzy logic
CN115482837B (zh) 一种基于人工智能的情绪分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant