CN109119095B - 疲劳等级识别方法、装置、计算机设备及存储介质 - Google Patents
疲劳等级识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109119095B CN109119095B CN201811010974.2A CN201811010974A CN109119095B CN 109119095 B CN109119095 B CN 109119095B CN 201811010974 A CN201811010974 A CN 201811010974A CN 109119095 B CN109119095 B CN 109119095B
- Authority
- CN
- China
- Prior art keywords
- fatigue
- target
- standard
- voice data
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims description 13
- 230000004044 response Effects 0.000 claims abstract description 61
- 230000008909 emotion recognition Effects 0.000 claims description 25
- 230000004399 eye closure Effects 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 210000000056 organ Anatomy 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 206010016256 fatigue Diseases 0.000 description 322
- 230000006870 function Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 238000001228 spectrum Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010019345 Heat stroke Diseases 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000007180 Sunstroke Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000028327 extreme fatigue Diseases 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Epidemiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种疲劳等级识别方法、装置、设备及介质，该方法包括基于待识别语音数据获取对应的目标疲劳强度等级、目标音量和响应时间；采用与用户帐户标识对应的语音偏离值公式，对目标疲劳强度等级、目标音量和响应时间进行计算，获取第一疲劳度指标；基于待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值；采用与用户帐号标识对应的视频偏离值公式，对目标闭合次数和目标PERCLOS值进行计算，获取第二疲劳度指标；采用疲劳度公式对第一疲劳度指标和第二疲劳度指标进行计算，获取目标疲劳度；根据目标疲劳度查找数据库，获取目标疲劳等级，解决无法快速获取疲劳等级的问题。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种疲劳等级识别方法、装置、计算机设备及存储介质。
背景技术
目前，越来越多的人处于极度疲劳而不自知，或自知而不休息。例如，司机疲劳驾驶是引发交通事故的一个重要因素，驾驶人睡眠质量差、睡眠不足和长时间驾驶车辆，会出现生理机能和心理机能的失调，从而出现驾驶技能下降的现象。再例如，夏天出行，人们处于极度疲劳导致中暑倒地。因此，无法快速获取到自身的疲劳等级，导致意外发生。
发明内容
本发明实施例提供一种疲劳等级识别方法、装置、计算机设备及存储介质，以解决无法快速获取到自身的疲劳等级的问题。
一种疲劳等级识别方法，包括：
基于用户帐户标识获取待识别语音数据，基于所述待识别语音数据获取对应的目标疲劳强度等级、目标音量和响应时间；
采用与所述用户帐户标识对应的语音偏离值公式，对所述目标疲劳强度等级、所述目标音量和所述响应时间进行计算，获取第一疲劳度指标；所述语音偏离值公式为P1 2＝(x-a)2*d+(y-b)2*e+(z-c)2*f，P1为第一疲劳度指标，x为待识别语音数据的响应时间，a为标准响应时间，d为标准响应时间对应的预设权重，y为待识别语音数据的目标音量，b为标准音量，e为标准音量对应的预设权重，z为目标疲劳强度等级，c为标准疲劳强度等级，f为标准疲劳强度等级对应的预设权重；
基于所述用户帐户标识获取待识别视频数据，基于所述待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值；
采用与所述用户帐号标识对应的视频偏离值公式，对所述目标闭合次数和所述目标PERCLOS值进行计算，获取第二疲劳度指标；所述视频偏离值公式为P2 2＝(m-n)2*q+(o-r)2*s，P2为第二疲劳度指标，m为目标PERCLOS值，n为标准PERCLOS值，q为标准PERCLOS值对应的预设权重，o为目标闭合次数，r为标准闭合次数，s为标准闭合次数对应的预设权重；
采用疲劳度公式对所述第一疲劳度指标和所述第二疲劳度指标进行计算，获取目标疲劳度；所述疲劳度公式为D＝U*W1+V*W2，D为目标疲劳度，U为第一疲劳度指标，W1为第一疲劳度指标对应的预设权重，V为第二疲劳度指标，W2为第二疲劳度指标对应的预设权重；
根据所述目标疲劳度查找数据库，获取目标疲劳等级。
一种疲劳等级识别装置，包括：
第一数据获取模块，用于基于用户帐户标识获取待识别语音数据，基于所述待识别语音数据获取对应的目标疲劳强度等级、目标音量和响应时间；
第一疲劳度指标获取模块，用于采用与所述用户帐户标识对应的语音偏离值公式，对所述目标疲劳强度等级、所述目标音量和所述响应时间进行计算，获取第一疲劳度指标；所述语音偏离值公式为P1 2＝(x-a)2*d+(y-b)2*e+(z-c)2*f，P1为第一疲劳度指标，x为待识别语音数据的响应时间，a为标准响应时间，d为标准响应时间对应的预设权重，y为待识别语音数据的目标音量，b为标准音量，e为标准音量对应的预设权重，z为目标疲劳强度等级，c为标准疲劳强度等级，f为标准疲劳强度等级对应的预设权重；
第二数据获取模块，用于基于所述用户帐户标识获取待识别视频数据，基于所述待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值；
第二疲劳度指标获取模块，用于采用与所述用户帐号标识对应的视频偏离值公式，对所述目标闭合次数和所述目标PERCLOS值进行计算，获取第二疲劳度指标；所述视频偏离值公式为P2 2＝(m-n)2*q+(o-r)2*s，P2为第二疲劳度指标，m为目标PERCLOS值，n为标准PERCLOS值，q为标准PERCLOS值对应的预设权重，o为目标闭合次数，r为标准闭合次数，s为标准闭合次数对应的预设权重；
目标疲劳度获取模块，用于采用疲劳度公式对所述第一疲劳度指标和所述第二疲劳度指标进行计算，获取目标疲劳度；所述疲劳度公式为D＝U*W1+V*W2，D为目标疲劳度，U为第一疲劳度指标，W1为第一疲劳度指标对应的预设权重，V为第二疲劳度指标，W2为第二疲劳度指标对应的预设权重；
目标疲劳等级获取模块，用于根据所述目标疲劳度查找数据库，获取目标疲劳等级。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述疲劳等级识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述疲劳等级识别方法的步骤。
上述疲劳等级识别方法、装置、计算机设备及存储介质，该方法根据待识别语音数据，以获取到与用户帐户标识对应的目标疲劳强度等级、目标音量和响应时间。采用与所述用户帐户标识对应的语音偏离值公式，对所述目标疲劳强度等级、所述目标音量和所述响应时间进行计算，获取第一疲劳度指标，以实现通过用户的语音数据对用户的疲劳度进行判断。然后，根据待识别视频数据，以获取到与用户帐户标识对应的目标闭合次数和目标PERCLOS值。采用与所述用户帐号标识对应的视频偏离值公式，对所述目标闭合次数和所述目标PERCLOS值进行计算，获取第二疲劳度指标，以实现通过用户的视频数据对用户的疲劳度进行判断。通过采用疲劳度公式对所述第一疲劳度指标和所述第二疲劳度指标进行计算，使得获取到的目标疲劳度更加精准，提高用户疲劳度的准确度，使得后续根据所述目标疲劳度查找数据库，快速获取到目标疲劳等级，获取到的目标疲劳等级更真实地反馈用户的疲劳程度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中疲劳等级识别方法的一应用环境示意图；
图2是本发明一实施例中疲劳等级识别方法的一流程图；
图3是本发明一实施例中疲劳等级识别方法的一流程图；
图4是本发明一实施例中疲劳等级识别方法的一流程图；
图5是本发明一实施例中疲劳等级识别方法的一流程图；
图6是本发明一实施例中疲劳等级识别方法的一流程图；
图7是本发明一实施例中疲劳等级识别方法的一流程图；
图8是本发明一实施例中疲劳等级识别方法的一流程图；
图9是本发明一实施例中疲劳等级识别装置的一原理框图；
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的疲劳等级识别方法，可应用在如图1的应用环境中，其中，用户端通过网络与服务端进行通信，该网络可以是有线网络或者无线网络，用户端向服务端发送语音数据和视频数据，服务端对语音数据和视频数据进行处理，并进行偏离值计算，从而快速获取到疲劳度，并根据疲劳度确定疲劳等级，从而实现快速获取目标疲劳等级。其中，用户端可以但不限于个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务端或者是多个服务端组成的服务端集群来实现。
在一实施例中，如图2所示，提供一种疲劳等级识别方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10：基于用户帐户标识获取待识别语音数据，基于待识别语音数据获取对应的目标疲劳强度等级、目标音量和响应时间。
其中，待识别语音数据是指用户端基于服务端提问问题所回答的语音数据。目标疲劳强度等级是指从待识别语音数据获取到的与用户对应的疲劳强度等级。于本实施例中，疲劳强度等级可分为第一疲劳强度等级、第二疲劳强度等级、......、第五疲劳强度等级这五个疲劳强度等级，用户不同时间段所处的疲劳强度等级不同，例如，刚睡醒时，用户精神饱满，处于第一疲劳强度等级。目标音量是指接收到待识别语音数据对应的音量。响应时间是指服务端向用户端发送提问问题后，用户端发送回复的待识别语音数据之间的时间。用户账号标识是指与待识别语音数据对应的用户标识，通过该用户账号标识可确定对应的用户。
具体地，每一用户通过服务端进行疲劳等级判定时，需预先在服务端中注册一用户账户标识。当用户端登录该用户账号标识，以登录时间为基准时间，基于该基准时间，服务端可根据预设时间期限向用户端进行提问。例如，服务端基于基准时间每间隔两小时向用户端发出提问，其提问问题为预先存储的与用户账号标识对应生活相关的问题。用户端根据提问问题进行回答，并向服务端发送待识别语音数据，服务端将待识别语音数据与用户账号标识进行对应。其中，服务端基于该待识别语音数据，可获取到用户端基于提问问题回答待识别语音数据时的响应时间和待识别语音数据对应的音量，并通过预先训练的情绪识别模型对待识别语音数据进行识别处理，可获取目标疲劳强度等级。
S20：采用与用户帐户标识对应的语音偏离值公式，对目标疲劳强度等级、目标音量和响应时间进行计算，获取第一疲劳度指标；语音偏离值公式为P1 2＝(x-a)2*d+(y-b)2*e+(z-c)2*f，P1为第一疲劳度指标，x为待识别语音数据的响应时间，a为标准响应时间，d为标准响应时间对应的预设权重，y为待识别语音数据的目标音量，b为标准音量，e为标准音量对应的预设权重，z为目标疲劳强度等级，c为标准疲劳强度等级，f为标准疲劳强度等级对应的预设权重。
其中，标准响应时间是指用户正常情况下回复某一提问问题的响应时间。标准音量是指用户正常情况下回复某一提问问题的音量。标准疲劳强度等级是指用户在正常情况下所处的疲劳强度等级。其中，提问问题可为预先设定好的问题。
具体地，数据库中存储有与每一用户账号标识对应的标准疲劳强度等级、标准音量、标准响应时间以及与标准疲劳强度等级、标准音量和标准响应时间对应的权重。服务端基于用户账号标识查找数据库，获取与用户账号标识对应的语音偏离值值公式，采用语音偏离值公式对目标疲劳强度等级、目标音量和响应时间进行计算，获取第一疲劳度指标。其中，语音偏离值公式为P1 2＝(x-a)2*d+(y-b)2*e+(z-c)2*f，通过将获取的目标疲劳强度等级、目标音量和响应时间输入至语音偏离值公式，并将根据用户账号标识查找到标准疲劳强度等级、标准音量、标准响应时间以及与标准疲劳强度等级、标准音量和标准响应时间对应的权重输入至语音偏离值公式，通过语音偏离值公式进行计算，以获取到第一疲劳度指标。
S30：基于用户帐户标识获取待识别视频数据，基于待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值。
其中，待识别视频数据是指实时采集的预设时间段内的视频数据，可以是用户端基于提问问题发送待识别语音数据时的视频数据，还可以是用户端基于提问问题发送待识别语音数据之前或之后的视频数据。PERCLOS值(Percentage of EyeIid CIosure overthe PupiI，over Time，简称PERCLOS)其定义为单位时间内(一般取1分钟或者30秒)眼睛闭合一定比例(70％或80％)所占的时间，通过目标PERCLOS值可反映用户疲劳程度。
具体地，服务端可获取与用户账号标识对应的待识别视频数据。例如，用户端基于提问问题发送待识别语音数据时，服务端实时采集的一分钟与用户账号标识对应的待识别视频数据，其中，待识别视频数据中包括与用户图像。服务端获取到待识别视频数据后，将待识别视频数据与用户账号标识进行对应，并对待识别视频数据进行人脸检测，以获取到预设时间段内用户眼睛闭合次数和预设时间段内眼睛闭合时间占总时间的比值，将预设时间段内的用户眼睛闭合次数作为目标闭合次数，并将预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值。
S40：采用与用户帐号标识对应的视频偏离值公式，对目标闭合次数和目标PERCLOS值进行计算，获取第二疲劳度指标；视频偏离值公式为P2 2＝(m-n)2*q+(o-r)2*s，P2为第二疲劳度指标，m为目标PERCLOS值，n为标准PERCLOS值，q为标准PERCLOS值对应的预设权重，o为目标闭合次数，r为标准闭合次数，s为标准闭合次数对应的预设权重。
具体地，服务端基于用户账号标识查找数据库，获取与用户账号标识对应的视频偏离值值公式，采用视频偏离值公式对目标闭合次数和目标PERCLOS值进行计算，获取第二疲劳度指标。其中，数据库中存储有与每一用户账号标识对应的标准闭合次数和标准PERCLOS值，以及与标准闭合次数和标准PERCLOS值对应的权重。其中，视频偏离值公式为P2 2＝(m-n)2*q+(o-r)2*s，通过将获取的目标闭合次数和目标PERCLOS值输入至语音偏离值公式，并将根据用户账号标识查找到标准闭合次数、标准PERCLOS值以及与标准闭合次数和标准PERCLOS值对应的权重输入至视频偏离值公式，通过视频偏离值公式进行计算，以获取到第二疲劳度指标。
S50：采用疲劳度公式对第一疲劳度指标和第二疲劳度指标进行计算，获取目标疲劳度；疲劳度公式为D＝U*W1+V*W2，D为目标疲劳度，U为第一疲劳度指标，W1为第一疲劳度指标对应的预设权重，V为第二疲劳度指标，W2为第二疲劳度指标对应的预设权重。
具体地，服务端基于第一疲劳度指标和第二疲劳度指标，获取疲劳度公式D＝U*W1+V*W2，疲劳度公式中预设有与第一疲劳度指标对应的预设权重W1和第二疲劳度指标对应的预设权重W2，将第一疲劳度指标代入疲劳度公式中的U，将第二疲劳度指标代入疲劳度公式中的V，以获取目标疲劳度D。例如，第一疲劳度指标为70％，第二疲劳度指标为50％，W1为40％，W2为60％，那么目标疲劳度D为58％。
S60：根据目标疲劳度查找数据库，获取目标疲劳等级。
其中，数据库中存储有疲劳度与疲劳等级对应关系，本实施例中，疲劳等级为轻度疲劳、中度疲劳和重度疲劳。例如，轻度疲劳对应的疲劳度为50％以下，中度疲劳对应的疲劳度为50％-80％，重度疲劳对应的疲劳度为80％以上。服务端根据计算出的目标疲劳度查找数据库，获取与用户账号标识对应的目标疲劳等级，例如，步骤S50中，目标疲劳度为58％，那么通过查找数据库，可获得的目标疲劳等级为中度疲劳。
步骤S10-S60中，通过用户端发送的待识别语音数据，以获取到与用户帐户标识对应的目标疲劳强度等级、目标音量和响应时间。采用与用户帐户标识对应的语音偏离值公式，对目标疲劳强度等级、目标音量和响应时间进行计算，获取第一疲劳度指标，以实现通过用户的语音数据对用户的疲劳度进行判断。通过用户端发送的待识别视频数据，以获取到与用户帐户标识对应的目标闭合次数和目标PERCLOS值。采用与用户帐号标识对应的视频偏离值公式，对目标闭合次数和目标PERCLOS值进行计算，获取第二疲劳度指标，以实现通过用户的视频数据对用户的疲劳度进行判断。通过采用疲劳度公式对第一疲劳度指标和第二疲劳度指标进行计算，使得获取到的目标疲劳度更加精准，提高用户疲劳度的准确度；使得后续根据目标疲劳度查找数据库，获取到的目标疲劳等级更真实地反馈用户的疲劳程度，实现方法快速而方便。
在一实施例中，如图3所示，步骤S10之前，即在基于用户帐户标识获取待识别语音数据的步骤之前，疲劳等级识别方法还包括如下步骤：
S101：采集用户账号标识在不同时间段的原始语音数据，对原始语音数据进行预处理，获取预处理语音数据。
其中，原始语音数据是指采集的与用户账号标识对应的进行训练的语音数据。预处理语音数据是指对原始语音数据进行预加重、分帧、加窗和静默音分离等预处理操作之后获得的语音数据。
具体地，通过录音设备采集与用户账号标识不同时间段的原始语音数据，可以是凌晨、上午、下午和晚上的原始语音数据，并对原始语音数据进行预处理，以获取到预处理语音数据，并对原始语音数据标注疲劳强度等级，将与每一用户账号标识对应的每一原始语音数据作为训练样本。其中，对原始语音数据进行预处理具体包括如下步骤：
(1)对原始语音数据进行预加重处理，获取预加重语音数据。其中，通过对原始语音数据进行预加重处理，能够消除发声过程中声带和嘴唇等造成的干扰，可以有效补偿原始语音数据被压抑的高频部分，并且能够突显原始语音数据中高频的共振峰，加强原始语音数据的信号幅度，有助于提取原始语音数据的特征。
(2)采用分帧和加窗的方式对预加重语音数据进行处理，获取语音帧。其中，采用分帧和加窗的方式对预加重语音数据进行处理，可以细分预加重语音数据，便于原始语音数据的特征的提取，并通过加窗的方式进行处理，使得分帧后的信号变得连续，每一帧表现出周期函数的特征，便于原始语音数据的特征的提取，其中，可采用汉明窗和汉宁窗来进行处理。
(3)对语音帧进行静默音分离处理，获取预处理语音数据。其中，对语音帧进行静默音分离处理，使得获取的目标语音帧为有效的语音帧，将无效的语音帧进行滤除，将有效的语音帧作为用户的预处理语音数据。
S102：基于预处理语音数据，提取与预处理语音数据对应的MFCC特征。
具体地，MFCC(Mel-scale Frequency Cepstral Coefficients，梅尔倒谱系数)是在Mel标度频率域提取出来的倒谱参数，Mel标度描述了人耳频率的非线性特性，采用MFCC算法对预处理语音数据进行声纹特征提取，获取到的MFCC特征。其中，采用MFCC算法对预处理语音数据进行声纹特征提取，具体包括如下步骤：
(1)对预处理语音数据作快速傅里叶变换，获取原始语音数据的频谱，并根据频谱获取原始语音数据的功率谱。实现将预处理语音数据从时域上的信号幅度转换为在频域上的信号幅度(频谱)。
(2)采用梅尔刻度滤波器组处理原始语音数据的功率谱，获取原始语音数据的梅尔功率谱，通过对原始语音数据的功率谱进行梅尔频率分析，使得其分析后获取的梅尔功率谱保留着与人耳特性密切相关的频率部分，该频率部分能够很好地反映出原始语音数据的特征。
(3)在梅尔功率谱上进行倒谱分析，获取原始语音数据的梅尔频率倒谱系数(MFCC特征)。
S103：基于预处理语音数据，提取与预处理语音数据对应的LPCC特征。
其中，LPCC(Linear Prediction Cepstrum Coefficient，线性预测倒谱系数)，该LPCC特征是基于预处理语音数据，利用线性预测分析获得线性预测倒谱系数，可以理解地，基于预处理语音数据，可通过Levinson-Durbin算法求出线性预测系数，再对线性预测系数求倒谱系数，获取到线性预测倒谱系数，即获取到LPCC特征，通过LPCC特征能够很好反映预处理语音数据中的有用信息。其中，Levinson-Durbin算法利用了自相关矩阵中特殊的对称性，求解正则方程组中的线性预测系数的有效算法。
S104：采用基于贝叶斯规则的概率神经网络，计算LPCC特征和MFCC特征的后验概率，并根据后验概率对LPCC特征和MFCC特征进行分类，获取与用户帐号标识对应的情绪识别模型。
其中，概率神经网络(Probabilistic Neural Network)是由D.F.Specht博士在1990年提出，是径向基函数网络的变形，适合用于解决分类问题。
具体地，每一原始语音数据标注有疲劳强度等级，将LPCC特征和MFCC特征输入到基于贝叶斯规则的概率神经网络中，基于贝叶斯规则估计每一MFCC特征和LPCC特征属于每一疲劳强度等级的后验概率，将属于同一疲劳强度等级的MFCC特征和LPCC特征进行分类，将最大后验概率对应的疲劳强度等级作为与该MFCC特征和LPCC特征对应的疲劳强度等级。基于贝叶斯规则的概率神经网络对每一MFCC特征和LPCC特征进行训练，将每一MFCC特征和LPCC特征对应一目标类(疲劳强度等级)，获取情绪识别模型。其中，贝叶斯规则中后验概率P(ci|x)为先验类别概率πi和概率密度函数fi(x)的乘积。后验概率P(ci|x)∝πi·fi(x)，P(ci|x)为后验类别的概率，ci为类别，即疲劳强度等级，x为识别样本(即MFCC特征和LPCC特征)，πi为先验概率，fi(x)为galvanized密度函数。其中，后验概率(Probability ofoutcomes of an experiment after it has been performed and a certain event hasoccured)是指在考虑了一个事实之后的条件概率。先验概率是指在缺乏某个事实的情况下描述一个变量的概率。
πi由下式表示：
c为样本总数量，ki为类别i中训练样本的数量，kj为类别j中训练样本的数量，先验概率πi为未知向量属于每个类别i的比例。
fi(x)由下式表示：
其中，x是属于类别i的第j个训练样本，fi(x)为概率密度函数，即类别i的第j个训练样本的初始概率，p是各样本的维数，σ是平滑参数，通常取σ＝0.1的高斯函数，ki是类别i中训练样本的数量，xij是神经网络中的权值，/>
是训练样本与标准样本间的相似度。
步骤S101-S104中，采集用户账号标识在不同时间段的原始语音数据，对原始语音数据进行预处理，获取预处理语音数据，便于后续提取特征。基于预处理语音数据，提取与预处理语音数据对应的MFCC特征和LPCC特征，通过MFCC特征和LPCC特征反映用户疲劳度，为后续情绪识别模型的构建提供技术支持。采用基于贝叶斯规则的概率神经网络，计算LPCC特征和MFCC特征的后验概率，并根据后验概率对LPCC特征和MFCC特征进行分类，以快速获取到与用户帐号标识对应的情绪识别模型，以便后续根据情绪识别模型对待识别语音数据进行识别，其情绪识别模型可重复利用，提高模型使用率。
在一实施例中，如图4所示，步骤S103中，即基于预处理语音数据，提取与预处理语音数据对应的LPCC特征，具体包括如下步骤：
S1031：基于预处理语音数据，采用Levinson-Durbin算法求解线性预测系数。
具体地，预处理语音数据是由人声道发出的声音，把声道看成是由多个不同截面积的管子串联而成的系统。假设在一个“短时”期间声道形状无变化时，而且声波在声道内是沿管轴无损传播的平面波。则由P个短管组成的声道模型的传递函数可以表示为一个P阶的全极点函数，其传递函数为
p为线性预测系数的阶数，i为预处理语音数据的采样点，ai为LPC系数(即线性预测系数)，z-i为逆滤波器，G为增益常数；通过Levinson-Durbin算法对传递函数进行迭代，获取线性预测系数，即本实施例中的ai，即可获得，
S1032：基于线性预测系数，对线性预测系数进行转换获取LPCC特征。
具体地，基于线性预测系数，对线性预测系数
进行倒谱转换，获取线性预测倒谱系数，即获取到LPCC特征。其中，获取到的LPCC特征可为C(1)＝a1，
Ci为LPCC特征，p是参数的个数，i为为预处理语音数据的采样点。
步骤S1031-S1032中，基于预处理语音数据，采用Levinson-Durbin算法求解线性预测系数，并对线性预测系数进行倒谱转换，获取线性预测倒谱系数，实现快速获取LPCC特征，通过LPCC特征来反映用户情绪，以便根据用户情绪判断用户的疲劳度。
在一实施例中，如图5所示，步骤S10中，基于待识别语音数据获取对应的目标疲劳强度等级，具体包括如下步骤：
S11：提取待识别语音数据的目标MFCC特征和目标LPCC特征。
具体地，服务端获取待识别语音数据，提取待识别语音数据对应的目标MFCC特征和目标PLCC特征的过程与步骤S101-S103类似，为避免重复，在此不一一赘述。
S12：将目标MFCC特征和目标LPCC特征输入至与用户账号标识对应的情绪识别模型中，获取与目标MFCC特征和目标LPCC特征对应的后验概率。
具体地，每一用户账号标识对应有预先训练好的情绪识别模型，根据用户账号标识获取对应的情绪识别模型，将从待识别语音数据中提取的目标MFCC特征和目标LPCC特征输入至该情绪识别模型中，通过该情绪识别模型获取与目标MFCC特征和目标LPCC特征对应的后验概率。服务端通过用户账号标识查找到对应的情绪识别模型进行识别，使得获取到的后验类别概率更加精准。
S13：选取与目标MFCC特征和目标LPCC特征对应的最大后验概率，将最大后验概率对应的疲劳强度等级作为目标疲劳强度等级。
其中，目标疲劳强度等级是指与通过情绪识别模型获取的与待识别语音数据对应的疲劳强度等级。
具体地，通过情绪识别模型获取目标MFCC特征和目标LPCC特征对应的后验概率，并根据每一后验概率获取与目标MFCC特征和目标LPCC特征组合存在一个最大后验概率，将最大后验概率对应的疲劳强度等级作为目标疲劳强度等级。
步骤S11-S13中，通过提取待识别语音数据的目标MFCC特征和目标LPCC特征，以便于后续提取目标疲劳强度等级。将目标MFCC特征和目标LPCC特征输入至与用户账号标识对应的情绪识别模型中，获取与目标MFCC特征和目标LPCC特征对应的后验概率，以实现通过情绪识别模型对目标MFECC特征和目标LPCC特征进行分类，选取与目标MFCC特征和目标LPCC特征对应的最大后验概率，将最大后验概率对应的疲劳强度等级作为目标疲劳强度等级，以实现快速获取到目标疲劳强度等级，且每一用户账号标识对应有情绪识别模型，使得获取到的目标疲劳强度等级更加精准。
在一实施例中，待识别视频数据包括至少两帧图像，其中，每帧图像中包含人脸图像。
如图6所示，步骤S30中，即基于待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值，具体包括如下步骤：
S31：基于肤色的阈值分割法对待识别视频数据中的每一帧图像进行处理，获取二值化图像。
具体地，待识别视频数据中每帧图像包含有与用户账号标识对应的人脸，可根据人脸检测模型对每帧图像进行人脸检测，判断每帧图像中是否包含人脸图像。其中，人脸检测是指对于任意一帧给定的图像，采用一定的策略对其进行搜索以确定图像中是否含有人脸。可根据人脸检测模型对每帧图像进行人脸检测。人脸检测模型是预先训练好的用于检测每一帧图像是否包含人的面部区域的模型。
服务端在获取每一包含人脸图像的图像且该图像可为RGB空间图像时，先将包含人脸图像的图像从RGB空间线性转换为YCbCr空间。其中，YCbCr空间图像是指对待识别视频数据中图像进行处理后获取的图像。RGB空间是是工业界的一种颜色标准，是通过对红、绿和蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色，RGB即是代表红、绿和蓝三个通道的颜色。YCbCr空间是色彩空间的一种，通常会用于影片中的影像连续处理或是数字摄影系统中。Y为颜色的亮度(luma)成分，CB和CR则为蓝色和红色的浓度偏移量成份。然后，经过非线性色彩变化和基于肤色的阈值分割法，获取包含人脸图像的二值化图像，即通过将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。其中，转换至YCbCr空间，会形成蓝色和红色两者颜色的图像，基于YCbCr空间的肤色的阈值分割法可屏蔽背景，并能提取出人脸的大概轮廓。人脸图像在YCbCr色彩空间的肤色分布通过公式
进行描述，其中，
Cb为非线性色彩变化后的蓝色分量，Cr非线性色彩变化后的红色分量，Cx为在横坐标上图像像素的分布，Cy为在纵坐标上图像像素的分布。
S32：通过投影法对二值化图像进行积分投影，获取五官坐标的分布。
具体地，投影法是一种快速而有效的的图像特征提取方法。服务端采用投影法对二值化图像进行积分投影，可快速确定人脸边界。可理解地，通过将二值化图像水平积分投影到y轴，可确定人脸的上下边界y1和yr，通过垂直积分投影到x轴，可确定人脸的左右边界x1和xr，水平积分投影公式为
垂直积分投影公式为/>
M和N为原始图像的的大小，x和y为像素横坐标和纵坐标，f(x,y)为像素值，px(y)为二值化图像在水平方向的灰度累加值，py(x)为二值化图像在垂直方向的灰度累加值。通过人脸的长宽比公式/>
获取人脸区域，即获取到五官坐标的分布。其中，xr为人脸的右边界，x1为人脸的左边界，y1为人脸的上边界，yr为人脸的下边界。进一步地，服务端获取到人脸五官坐标分布后，可通过卡尔曼滤波和Mean shift结合的算法进行人脸跟踪。
S33：通过五官坐标的分布确定眼睛的垂直坐标，以垂直坐标为中心，获取预设宽度的条形区域，将条形区域对应的二值化图像作为眼睛二值化图像。
具体地，服务端根据五官坐标的分布确定眼睛的垂直坐标，通常将五官坐标的分布中将最少分布数量的坐标确定为眼睛的坐标。本实施例中是对二值化图像进行水平积分投影，获得的五官坐标的分布上确定眼睛的垂直坐标，并以该垂直坐标为中心，获取预设宽度的条形区域，则该条形区域为眼睛坐标的分布，将条形区域对应的二值化图像作为眼睛二值化图像。
S34：通过投影法对眼睛二值化图像进行水平积分投影，获取眼睛睁开和眼睛闭合的水平投影。
具体地，投影法可分为水平积分投影和垂直积分投影，条形区域中的眼睛二值化图像包括眼睛睁开的二值化图像和眼睛闭合的二值化图像，服务端获取到眼睛二值化图像后，眼睛长度相同，而眼睛睁开时和眼睛闭合时宽度不同，则将眼睛二值化图像旋转九十度，对该眼睛二值化图像进行水平积分投影，以获取到眼睛睁开的水平投影和眼睛闭合的水平投影。其中，通过旋转九十度，再进行水平积分投影，使得眼睛二值化图像投影到y轴，在y轴上可获取到眼睛二值化图像的灰度累加值。
S35：基于眼睛睁开和眼睛闭合的水平投影，获取眼睛开合状态。
具体地，服务端基于获取的眼睛睁开的水平投影和眼睛闭合的水平投影，将眼睛睁开的水平投影和眼睛闭合的水平投影进行归一化，因眼睛睁开时和眼睛闭合时，其眼睛的长度相同，并旋转九十度后，则获取到的归一化坐标中纵坐标(眼睛的长度)相同，而眼睛睁开时和眼睛闭合时的宽度不一样，则对应的横坐标不同。通过眼睛闭合公式确定眼睛开合状态，眼睛闭合公式为
K为眼睛开合状态，d为预先训练所获得的与用户账号标识对应的眼睛完全睁开时的波谷宽度，N是需要判断的眼睛睁开和眼睛闭合的水平投影的宽度，通常，0≤k≤0.3时眼睛闭合，0.3≤k≤1时眼睛睁开。其中，波谷宽度为眼睛完全睁开时，获取纵坐标百分之八十的点，并基于该点做射线，获取到与该点相交的对应的x轴的两个值，基于两个值的差获取波谷宽度d。例如，预先训练获得用户眼睛完全睁开时的波谷宽度d为10，某一水平投影上横坐标最大值为20，即N为20，那么通过眼睛闭合公式可获取到K为0.5时，则眼睛睁开。
S36：基于眼睛开合状态，获取预设时间段内眼睛闭合次数作为目标闭合次数。
具体地，基于预设时间段内眼睛开合状态，获取预设时间段内眼睛闭合次数，将该眼睛闭合次数作为目标闭合次数。例如，预设时间为1分钟，获取1分钟内眼睛闭合的次数，将眼睛闭合次数为目标闭合次数。其中，通常每分钟眼睛闭合次数10-15次，若少于该次数，则用户可能处于疲劳。
S37：基于眼睛开合状态，获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值。
其中，PERCLOS值测量结果是卡内基梅隆研究所经过反复实验和论证，提出了度量疲劳/瞌睡的物理量，在具体试验中有P70和P80两种测量方式。其中，P80被认为最能反映人的疲劳程度，即单位时间内眼睑闭合程度大于80％时，检测效果最好。P80是指眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在预设时间内眼睛闭合时所占的时间比例。P7O是指眼睑遮住瞳孔的面积超过70％就计为眼睛闭合，统计在预设时间内眼睛闭合时所占的时间比例。
具体地，本实施例中，采用P80的计算公式对预设时间段内眼睛闭合时间占总时间进行测量，以获取到目标PERCLOS值，其中，P80的计算公式为
PERCLOS为预设时间段内眼睛闭合时间占总时间的比值，t1为眼睛完全睁开到闭合20％的时间，t2为眼睛完全睁开到闭合80％的时间，t3为眼睛完全睁开到下一次睁开20％的时间，t4为眼睛完全睁开到下一次睁开80％的时间。
步骤S31-S37中，通过基于肤色的阈值分割法对待识别视频数据中的每一帧图像进行处理，可获取到待识别视频数据中人脸的大概轮廓。通过投影法对二值化图像进行水平积分投影，快速获取到五官坐标的分布，以便于后续提取眼睛坐标的分布。通过五官坐标的分布确定眼睛的垂直坐标，以垂直坐标为中心，获取预设宽度的条形区域，将条形区域对应的二值化图像作为眼睛二值化图像，以实现对待识别视频数据中人脸的眼睛进行定位。通过投影法对眼睛二值化图像进行水平积分投影，获取眼睛睁开和眼睛闭合的水平投影，并根据眼睛睁开和眼睛闭合的水平投影，以获取眼睛开合状态。基于眼睛开合状态，以快速获取预设时间段内眼睛闭合次数，以实现根据眼睛闭合次数判断用户的疲劳度。基于眼睛开合状态，以快速获取预设时间段内眼睛闭合时间占总时间的比值，实现根据该比值判断用户的疲劳度，通过眼睛闭合次数和PERCLOS值使得判断出的用户的疲劳度更加精准。
在一实施例子中，如图7所示，在步骤S60之后，即在获取目标疲劳等级的步骤之后，疲劳等级识别方法还具体包括如下步骤：
S601：基于目标疲劳等级，判断目标疲劳等级是否达到预设疲劳等级。
其中，预设疲劳等级是指根据预设规则预先设定的疲劳等级，本实施例中，预设疲劳等级为重度疲劳。
具体地，服务端中预设有每一疲劳等级对应的处理方法，基于目标疲劳等级，判断目标疲劳等级是否达到预设疲劳等级。例如，预设疲劳等级为重度疲劳时，判断目标疲劳等级是否为重度疲劳。
S602：若目标疲劳等级达到预设疲劳等级，则根据预设规则发出提醒消息。
具体地，目标疲劳等级达到预设疲劳等级时，向与用户账号标识对应的用户发送提醒消息。例如，当目标疲劳等级为重度疲劳时，则向用户发送提醒消息，提醒用户注意休息。
进一步地，当用户休息时间达到预设时间时，则重复执行步骤S10的步骤。例如，预设时间为15分钟，当用户根据提醒消息进行休息，若休息时间达到15分钟，则可每隔两个小时，执行步骤S10。
更进一步地，若用户休息时间越长，则预设时间间隔越长，并根据预设时间间隔重复执行获取待识别语音数据的步骤。例如，若用户休息达到三十分钟，则可间隔二个小时执行获取待识别语音数据的步骤，若用户休息十五分钟，则可间隔一个半小时执行获取待识别语音数据的步骤。
S603：若目标疲劳等级未达到预设疲劳等级，则按预设时间间隔重复执行获取待识别语音数据的步骤。
具体地，目标疲劳等级未达到预设疲劳等级时，则根据预设时间间隔重复执行步骤S10。例如，当目标疲劳等级为轻度疲劳和中度疲劳时，则目标疲劳等级未达到预设疲劳等级，则按预设时间间隔重复执行步骤S10，可以是每隔两个小时重复执行步骤S10。
进一步地，若目标疲劳等级未达到预设疲劳等级时，用户休息时间达到预设时间，则按预设时间间隔重复执行获取待识别语音数据的步骤。需要说明的是，目标疲劳等级越低，则预设时间间隔越长。
步骤S601-S603中，目标疲劳等级达到预设疲劳等级，则根据预设规则发出提醒消息，以实现对达到预设疲劳等级的用户进行预警，减少用户因过度疲劳而导致意外的情况。目标疲劳等级未达到预设疲劳等级，则按预设时间间隔重复执行步骤S10，以实现对用户的疲劳等级进行实时监控。
在一实施例中，如图8所示，在步骤S10之前，即在基于用户帐户标识获取待识别语音数据的步骤之前，疲劳等级识别方法还包括如下步骤：
S1011：获取配置请求，配置请求中包括用户账号标识。
其中，在获取待识别语音数据之前，预先对每一用户账号标识进行配置，获取用户端发送的配置请求，配置请求中包括用户账号标识。
S1021：获取与用户账号标识对应的标准语音数据和标准视频数据。
其中，标准语音数据是用户正常情况下回复某一提问问题的的语音数据，标准视频数据是用户正常情况下回复某一提问问题的时采集的一分钟的视频数据。其中，提问问题是预先设定的问题，与获取待识别语音数据时的提问问题相同。获取与用户账号标识对应的标准语音数据和标准视频数据。进一步地，为保证标准语音数据和标准视频数据的准确性，可获取多组与用户账号标识对应的标准语音数据和标准视频数据。
S1031：基于标准语音数据，获取标准响应时间、标准音量和标准疲劳强度等级，对标准响应时间、标准音量和标准疲劳强度等级进行权重配置，获取与用户帐户标识对应的语音偏离值公式。
具体地，通过服务端与用户端进行人机交互，获取用户正常情况下与用户账号标识对应的标准语音数据，并获取标准语音数据中的标准响应时间、标准音量和标准疲劳强度等级，并根据标准响应时间、标准音量和标准疲劳强度等级配置对应的权重。
进一步地，预先根据人正常情况下的标准响应时间、标准音量和标准疲劳强度等级配置对应的权重，以形成权重表。例如，响应时间为0.2秒-0.3秒的权重为30％，响应时间为0.3秒到0.4秒的权重为30％等，音量为40-50分贝对应的权重为50％，音量为50-60分贝对应的权重为30％等，疲劳强度等级为1级对应的权重为20％、疲劳强度等级为2级对应的权重为30％、.....、疲劳强度等级为5级对应的权重为10％。通过标准响应时间、标准音量和标准疲劳强度等级查找权重表，获取与之对应的权重，并根据标准响应时间、标准音量和标准疲劳强度等级和对应权重，获取与用户账号标识对应的语音偏离值公式。
S1041：基于标准视频数据，获取标准闭合次数和标准PERCLOS值，对标准闭合次数和标准PERCLOS值进行权重配置，获取与用户帐号标识对应的视频偏离值公式。
具体地，服务端获取预设时间段内的标准视频数据，通过标准视频数据获取标准闭合次数和标准PERCLOS值，并根据标准闭合次数和标准PERCLOS值配置对应的权重。
进一步地，预先根据人正常情况下的标准眼睛闭合次数和标准PERCLOS值配置对应的权重，以形成权重表。例如，人正常情况下一分钟内眨眼10-15次，那么闭合次数为10-15次时对应的权重为40％，PERCLOS值小于40％对应的权重为50％，PERCLOS值大于40％对应的权重为50％。通过标准闭合次数和标准PERCLOS值查找权重表，获取与之对应的权重，并根据标准闭合次数和标准PERCLOS值和对应的权重，获取与用户账号标识对应视频偏离值公式。
步骤S1011-S1041中，获取配置请求，配置请求中包括用户账号标识，以便后续对每一用户账号标识配置对应的语音偏离值公式和视频偏离值公式。获取与用户账号标识对应的标准语音数据和标准视频数据，基于标准语音数据获取标准响应时间、标准音量和标准疲劳强度等级，对标准响应时间、标准音量和标准疲劳强度等级进行权重配置，以快速获取与用户帐户标识对应的语音偏离值公式，实现与用户账号标识对应的语音偏离值公式的配置。基于标准视频数据获取标准闭合次数和标准PERCLOS值，对标准闭合次数和标准PERCLOS值进行权重配置，以快速获取与用户帐号标识对应的视频偏离值公式，实现与用户账号标识对应的视频偏离值公式的配置。通过对每一用户账号标识配置对应的语音偏离值公式和视频偏离值公式，使得获取到的第一疲劳度指标和第二疲劳度指标更加精准。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种疲劳等级识别装置，该疲劳等级识别装置与上述实施例中疲劳等级识别方法一一对应。如图9所示，该疲劳等级识别装置包括第一数据获取模块10、第一疲劳度指标获取模块20、第二数据获取模块30、第二疲劳度指标获取模块40、目标疲劳度获取模块50和目标疲劳等级获取模块60。各功能模块详细说明如下：
第一数据获取模块10，用于基于用户帐户标识获取待识别语音数据，基于待识别语音数据获取对应的目标疲劳强度等级、目标音量和响应时间。
第一疲劳度指标获取模块20，用于采用与用户帐户标识对应的语音偏离值公式，对目标疲劳强度等级、目标音量和响应时间进行计算，获取第一疲劳度指标。语音偏离值公式为P1 2＝(x-a)2*d+(y-b)2*e+(z-c)2*f，P1为第一疲劳度指标，x为待识别语音数据的响应时间，a为标准响应时间，d为标准响应时间对应的预设权重，y为待识别语音数据的目标音量，b为标准音量，e为标准音量对应的预设权重，z为目标疲劳强度等级，c为标准疲劳强度等级，f为标准疲劳强度等级对应的预设权重。
第二数据获取模块30，用于基于用户帐户标识获取待识别视频数据，基于待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值。
第二疲劳度指标获取模块40，用于采用与用户帐号标识对应的视频偏离值公式，对目标闭合次数和目标PERCLOS值进行计算，获取第二疲劳度指标。视频偏离值公式为P2 2＝(m-n)2*q+(o-r)2*s，P2为第二疲劳度指标，m为目标PERCLOS值，n为标准PERCLOS值，q为标准PERCLOS值对应的预设权重，o为目标闭合次数，r为标准闭合次数，s为标准闭合次数对应的预设权重。
目标疲劳度获取模块50，用于采用疲劳度公式对第一疲劳度指标和第二疲劳度指标进行计算，获取目标疲劳度。疲劳度公式为D＝U*W1+V*W2，D为目标疲劳度，U为第一疲劳度指标，W1为第一疲劳度指标对应的预设权重，V为第二疲劳度指标，W2为第二疲劳度指标对应的预设权重。
目标疲劳等级获取模块60，用于根据目标疲劳度查找数据库，获取目标疲劳等级。
在一实施例中，在第一数据获取模块10之前，疲劳等级识别装置还包括预处理语音数据获取单元、MFCC特征提取单元、LPCC特征提取单元和情绪识别模型获取单元。
预处理语音数据获取单元，用于采集用户账号标识在不同时间段的原始语音数据，对原始语音数据进行预处理，获取预处理语音数据。
MFCC特征提取单元，用于基于预处理语音数据，提取与预处理语音数据对应的MFCC特征。
LPCC特征提取单元，用于基于预处理语音数据，提取与预处理语音数据对应的LPCC特征。
情绪识别模型获取单元，用于采用基于贝叶斯规则的概率神经网络，计算LPCC特征和MFCC特征的后验概率，并根据后验概率对LPCC特征和MFCC特征进行分类，获取与用户帐号标识对应的情绪识别模型。
在一实施例中，LPCC特征提取单元包括线性预测系数获取子单元和LPCC特征获取子单元。
线性预测系数获取子单元，用于基于预处理语音数据，采用Levinson-Durbin算法求解线性预测系数。
LPCC特征获取子单元，用于基于线性预测系数，对线性预测系数进行转换获取LPCC特征。
在一实施例中，第一数据获取模块10包括特征提取单元、后验概率获取单元和目标疲劳强度等级获取单元。
特征提取单元，用于提取待识别语音数据的目标MFCC特征和目标LPCC特征。
后验概率获取单元，用于将目标MFCC特征和目标LPCC特征输入至与用户账号标识对应的情绪识别模型中，获取与目标MFCC特征和目标LPCC特征对应的后验概率。
目标疲劳强度等级获取单元，用于选取与目标MFCC特征和目标LPCC特征对应的最大后验概率，将最大后验概率对应的疲劳强度等级作为目标疲劳强度等级。
在一实施例中，待识别视频数据包括至少两帧图像。
第二数据获取模块30包括二值化图像获取单元、五官坐标获取单元、眼睛二值化图像获取单元、眼睛投影单元、眼睛开合状态获取单元、目标闭合次数获取单元和目标PERCLOS值获取单元。
二值化图像获取单元，用于基于肤色的阈值分割法对待识别视频数据中的每一帧图像进行处理，获取二值化图像。
五官坐标获取单元，用于通过投影法对二值化图像进行积分投影，获取五官坐标的分布。
眼睛二值化图像获取单元，用于通过五官坐标的分布确定眼睛的垂直坐标，以垂直坐标为中心，获取预设宽度的条形区域，将条形区域对应的二值化图像作为眼睛二值化图像。
眼睛投影单元，用于通过投影法对眼睛二值化图像进行水平积分投影，获取眼睛睁开和眼睛闭合的水平投影。
眼睛开合状态获取单元，用于基于眼睛睁开和眼睛闭合的水平投影，获取眼睛开合状态。
目标闭合次数获取单元，用于基于眼睛开合状态，获取预设时间段内眼睛闭合次数作为目标闭合次数。
目标PERCLOS值获取单元，用于基于眼睛开合状态，获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值。
在一实施例中，在目标疲劳等级获取模块60之后，疲劳等级识别装置还包括判断单元、第一判定单元和第二判定单元。
判断单元，用于基于目标疲劳等级，判断目标疲劳等级是否达到预设疲劳等级。
第一判定单元，用于若目标疲劳等级达到预设疲劳等级，则根据预设规则发出提醒消息。
第二判定单元，用于若目标疲劳等级未达到预设疲劳等级，则按预设时间间隔重复执行获取待识别语音数据的步骤。
在一实施例中，在第一数据获取模块10之前，疲劳等级识别装置还包括配置单元、数据获取单元、第一配置单元和第二配置单元。
配置单元，用于获取配置请求，配置请求中包括用户账号标识。
数据获取单元，用于获取与用户账号标识对应的标准语音数据和标准视频数据。
第一配置单元，用于基于标准语音数据，获取标准响应时间、标准音量和标准疲劳强度等级，对标准响应时间、标准音量和标准疲劳强度等级进行权重配置，获取与用户帐户标识对应的语音偏离值公式。
第二配置单元，用于基于标准视频数据，获取标准闭合次数和标准PERCLOS值，对标准闭合次数和标准PERCLOS值进行权重配置，获取与用户帐号标识对应的视频偏离值公式。
关于疲劳等级识别装置的具体限定可以参见上文中对于疲劳等级识别方法的限定，在此不再赘述。上述疲劳等级识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储疲劳度和疲劳等级的对应关系等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种疲劳等级识别方法。
在一实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中疲劳等级识别方法的步骤，例如，图2所示的步骤S10至步骤S60，或者，处理器执行计算机程序时实现上述实施例中疲劳等级识别装置中的各模块/单元/子单元的功能，例如，图9所示模块10至模块60的功能。为避免重复，此处不再赘述。
在一实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中疲劳等级识别方法的步骤，例如，图2所示的步骤S10至步骤S60，或者，该计算机程序被处理器执行时实现上述装置中疲劳等级识别装置中的各模块/单元/子单元的功能，例如，图9所示模块10至模块60的功能。为避免重复，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (9)
1.一种疲劳等级识别方法，其特征在于，包括：
基于用户帐户标识获取待识别语音数据，基于所述待识别语音数据获取对应的目标疲劳强度等级、目标音量和响应时间；其中，所述基于所述待识别语音数据获取对应的目标疲劳强度等级，包括：提取所述待识别语音数据的目标MFCC特征和目标LPCC特征；将所述目标MFCC特征和所述目标LPCC特征输入至预先训练的与所述用户账号标识对应的情绪识别模型中，获取与所述目标MFCC特征和所述目标LPCC特征对应的后验概率；选取与所述目标MFCC特征和所述目标LPCC特征对应的最大后验概率，将所述最大后验概率对应的疲劳强度等级作为目标疲劳强度等级；
采用与所述用户帐户标识对应的语音偏离值公式，对所述目标疲劳强度等级、所述目标音量和所述响应时间进行计算，获取第一疲劳度指标；所述语音偏离值公式为P1 2＝(x-a)2*d+(y-b)2*e+(z-c)2*f，P1为第一疲劳度指标，x为待识别语音数据的响应时间，a为标准响应时间，d为标准响应时间对应的预设权重，y为待识别语音数据的目标音量，b为标准音量，e为标准音量对应的预设权重，z为目标疲劳强度等级，c为标准疲劳强度等级，f为标准疲劳强度等级对应的预设权重；
基于所述用户帐户标识获取待识别视频数据，基于所述待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值；
采用与所述用户帐号标识对应的视频偏离值公式，对所述目标闭合次数和所述目标PERCLOS值进行计算，获取第二疲劳度指标；所述视频偏离值公式为P2 2＝(m-n)2*q+(o-r)2*s，P2为第二疲劳度指标，m为目标PERCLOS值，n为标准PERCLOS值，q为标准PERCLOS值对应的预设权重，o为目标闭合次数，r为标准闭合次数，s为标准闭合次数对应的预设权重；
采用疲劳度公式对所述第一疲劳度指标和所述第二疲劳度指标进行计算，获取目标疲劳度；所述疲劳度公式为D＝U*W1+V*W2，D为目标疲劳度，U为第一疲劳度指标，W1为第一疲劳度指标对应的预设权重，V为第二疲劳度指标，W2为第二疲劳度指标对应的预设权重；
根据所述目标疲劳度查找数据库，获取目标疲劳等级。
2.如权利要求1所述的疲劳等级识别方法，其特征在于，在所述基于用户帐户标识获取待识别语音数据的步骤之前，所述疲劳等级识别方法还包括：
采集用户账号标识在不同时间段的原始语音数据，对所述原始语音数据进行预处理，获取预处理语音数据；
基于所述预处理语音数据，提取与所述预处理语音数据对应的MFCC特征；
基于所述预处理语音数据，提取与所述预处理语音数据对应的LPCC特征；
采用基于贝叶斯规则的概率神经网络，计算所述LPCC特征和所述MFCC特征的后验概率，并根据所述后验概率对所述LPCC特征和所述MFCC特征进行分类，获取与所述用户帐号标识对应的情绪识别模型。
3.如权利要求2所述的疲劳等级识别方法，其特征在于，所述基于所述预处理语音数据，提取与所述预处理语音数据对应的LPCC特征，包括：
基于所述预处理语音数据，采用Levinson-Durbin算法求解线性预测系数；
基于所述线性预测系数，对所述线性预测系数进行转换获取LPCC特征。
4.如权利要求1的疲劳等级识别方法，其特征在于，所述待识别视频数据包括至少两帧图像；
所述基于所述待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值，包括：
基于肤色的阈值分割法对所述待识别视频数据中的每一帧图像进行处理，获取二值化图像；
通过投影法对所述二值化图像进行积分投影，获取五官坐标的分布；
通过所述五官坐标的分布确定眼睛的垂直坐标，以垂直坐标为中心，获取预设宽度的条形区域，将所述条形区域对应的二值化图像作为眼睛二值化图像；
通过投影法对所述眼睛二值化图像进行水平积分投影，获取眼睛睁开和眼睛闭合的水平投影；
基于所述眼睛睁开和眼睛闭合的水平投影，获取眼睛开合状态；
基于所述眼睛开合状态，获取预设时间段内眼睛闭合次数作为目标闭合次数；
基于所述眼睛开合状态，获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值。
5.如权利要求1所述的疲劳等级识别方法，其特征在于，在所述获取第二疲劳度指标的步骤之后，所述疲劳等级识别方法还包括：
基于所述目标疲劳等级，判断所述目标疲劳等级是否达到预设疲劳等级；
若所述目标疲劳等级达到预设疲劳等级，则根据预设规则发出提醒消息；
若所述目标疲劳等级未达到预设疲劳等级，则按预设时间间隔重复执行所述获取待识别语音数据的步骤。
6.如权利要求1所述的疲劳等级识别方法，其特征在于，在所述基于用户帐户标识获取待识别语音数据的步骤之前，所述疲劳等级识别方法还包括：
获取配置请求，所述配置请求中包括用户账号标识；
获取与所述用户账号标识对应的标准语音数据和标准视频数据；
基于所述标准语音数据，获取标准响应时间、标准音量和标准疲劳强度等级，对所述标准响应时间、所述标准音量和所述标准疲劳强度等级进行权重配置，获取与所述用户帐户标识对应的语音偏离值公式；
基于所述标准视频数据，获取标准闭合次数和标准PERCLOS值，对所述标准闭合次数和所述标准PERCLOS值进行权重配置，获取与所述用户帐号标识对应的视频偏离值公式。
7.一种疲劳等级识别装置，其特征在于，包括：
第一数据获取模块，用于基于用户帐户标识获取待识别语音数据，基于所述待识别语音数据获取对应的目标疲劳强度等级、目标音量和响应时间；其中，所述基于所述待识别语音数据获取对应的目标疲劳强度等级，包括：提取所述待识别语音数据的目标MFCC特征和目标LPCC特征；将所述目标MFCC特征和所述目标LPCC特征输入至预先训练的与所述用户账号标识对应的情绪识别模型中，获取与所述目标MFCC特征和所述目标LPCC特征对应的后验概率；选取与所述目标MFCC特征和所述目标LPCC特征对应的最大后验概率，将所述最大后验概率对应的疲劳强度等级作为目标疲劳强度等级；
第一疲劳度指标获取模块，用于采用与所述用户帐户标识对应的语音偏离值公式，对所述目标疲劳强度等级、所述目标音量和所述响应时间进行计算，获取第一疲劳度指标；所述语音偏离值公式为P1 2＝(x-a)2*d+(y-b)2*e+(z-c)2*f，P1为第一疲劳度指标，x为待识别语音数据的响应时间，a为标准响应时间，d为标准响应时间对应的预设权重，y为待识别语音数据的目标音量，b为标准音量，e为标准音量对应的预设权重，z为目标疲劳强度等级，c为标准疲劳强度等级，f为标准疲劳强度等级对应的预设权重；
第二数据获取模块，用于基于所述用户帐户标识获取待识别视频数据，基于所述待识别视频数据，获取预设时间段内眼睛闭合次数作为目标闭合次数，并获取预设时间段内眼睛闭合时间占总时间的比值作为目标PERCLOS值；
第二疲劳度指标获取模块，用于采用与所述用户帐号标识对应的视频偏离值公式，对所述目标闭合次数和所述目标PERCLOS值进行计算，获取第二疲劳度指标；所述视频偏离值公式为P2 2＝(m-n)2*q+(o-r)2*s，P2为第二疲劳度指标，m为目标PERCLOS值，n为标准PERCLOS值，q为标准PERCLOS值对应的预设权重，o为目标闭合次数，r为标准闭合次数，s为标准闭合次数对应的预设权重；
目标疲劳度获取模块，用于采用疲劳度公式对所述第一疲劳度指标和所述第二疲劳度指标进行计算，获取目标疲劳度；所述疲劳度公式为D＝U*W1+V*W2，D为目标疲劳度，U为第一疲劳度指标，W1为第一疲劳度指标对应的预设权重，V为第二疲劳度指标，W2为第二疲劳度指标对应的预设权重；
目标疲劳等级获取模块，用于根据所述目标疲劳度查找数据库，获取目标疲劳等级。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述疲劳等级识别方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述疲劳等级识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811010974.2A CN109119095B (zh) | 2018-08-31 | 2018-08-31 | 疲劳等级识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811010974.2A CN109119095B (zh) | 2018-08-31 | 2018-08-31 | 疲劳等级识别方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109119095A CN109119095A (zh) | 2019-01-01 |
| CN109119095B true CN109119095B (zh) | 2023-06-06 |
Family
ID=64861386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811010974.2A Active CN109119095B (zh) | 2018-08-31 | 2018-08-31 | 疲劳等级识别方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109119095B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111243624B (zh) * | 2020-01-02 | 2023-04-07 | 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） | 人员状态评估的方法和系统 |
| CN111767885A (zh) * | 2020-07-07 | 2020-10-13 | 歌尔科技有限公司 | 疲劳状态识别方法、装置、设备、可读存储介质及系统 |
| CN112992352A (zh) * | 2021-03-10 | 2021-06-18 | 广州云从鼎望科技有限公司 | 员工健康预警方法、装置及介质 |
| CN113469023A (zh) * | 2021-06-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 确定警觉度的方法、装置、设备和存储介质 |
| CN114098732A (zh) * | 2022-01-26 | 2022-03-01 | 中国民航大学 | 基于cff的人员疲劳快速测量装置及方法 |
| CN115809799B (zh) * | 2022-07-05 | 2023-08-01 | 中南民族大学 | 基于事件驱动的文物建筑消防安全分级预警方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225420A (zh) * | 2015-09-30 | 2016-01-06 | 中国民用航空总局第二研究所 | 基于主成分分析的空中交通管制员疲劳检测方法、装置和系统 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017086524A (ja) * | 2015-11-11 | 2017-05-25 | セイコーエプソン株式会社 | 疲労度管理装置、疲労度管理システムおよび疲労度判定方法 |
-
2018
- 2018-08-31 CN CN201811010974.2A patent/CN109119095B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225420A (zh) * | 2015-09-30 | 2016-01-06 | 中国民用航空总局第二研究所 | 基于主成分分析的空中交通管制员疲劳检测方法、装置和系统 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种应用语音多特征检测驾驶疲劳的方法;李响等;《仪器仪表学报》;20131015;第34卷(第10期);2231-2237 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109119095A (zh) | 2019-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109119095B (zh) | 疲劳等级识别方法、装置、计算机设备及存储介质 | |
| US10685329B2 (en) | Model-driven evaluator bias detection | |
| WO2019223139A1 (zh) | 一种风险预测方法、装置、存储介质和服务器 | |
| CN111563422B (zh) | 基于双模态情绪识别网络的服务评价获取方法及其装置 | |
| CN113724695B (zh) | 基于人工智能的电子病历生成方法、装置、设备及介质 | |
| WO2019232851A1 (zh) | 语音区分模型训练方法、装置、计算机设备及存储介质 | |
| CN110175526A (zh) | 狗情绪识别模型训练方法、装置、计算机设备及存储介质 | |
| CN110930989B (zh) | 语音意图识别方法、装置、计算机设备和存储介质 | |
| KR102314572B1 (ko) | 인공지능 기반의 언어 능력 평가 방법 및 시스템 | |
| US20200237290A1 (en) | System and method for detection of cognitive and speech impairment based on temporal visual facial feature | |
| WO2019237518A1 (zh) | 模型库建立方法、语音识别方法、装置、设备及介质 | |
| CN111933185A (zh) | 基于知识蒸馏的肺音分类方法、系统、终端及存储介质 | |
| CN108922561A (zh) | 语音区分方法、装置、计算机设备及存储介质 | |
| CN112017671A (zh) | 一种基于多特征的面谈内容可信度评价方法和系统 | |
| Gold et al. | Issues and opportunities: The application of the numerical likelihood ratio framework to forensic speaker comparison | |
| Bhamare et al. | Deep neural networks for lie detection with attention on bio-signals | |
| US11238289B1 (en) | Automatic lie detection method and apparatus for interactive scenarios, device and medium | |
| CN113080907A (zh) | 脉搏波信号处理方法及装置 | |
| CN110598607B (zh) | 非接触式与接触式协同的实时情绪智能监测系统 | |
| CN111932056A (zh) | 客服质量评分方法、装置、计算机设备和存储介质 | |
| CN116884149A (zh) | 多模态信息分析的方法、装置、电子设备和介质 | |
| CN111222374A (zh) | 测谎数据处理方法、装置、计算机设备和存储介质 | |
| CN113017634B (zh) | 情绪评估方法、装置、电子设备和计算机可读存储介质 | |
| Szekrényes et al. | Classification of formal and informal dialogues based on turn-taking and intonation using deep neural networks | |
| CN114492579A (zh) | 情绪识别方法、摄像装置、情绪识别装置及存储装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |