CN115861980A - 一种集成多种特征信号的驾驶疲劳检测方法、装置与系统 - Google Patents
一种集成多种特征信号的驾驶疲劳检测方法、装置与系统 Download PDFInfo
- Publication number
- CN115861980A CN115861980A CN202211469755.7A CN202211469755A CN115861980A CN 115861980 A CN115861980 A CN 115861980A CN 202211469755 A CN202211469755 A CN 202211469755A CN 115861980 A CN115861980 A CN 115861980A
- Authority
- CN
- China
- Prior art keywords
- user
- social
- abnormal
- data
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及驾驶监测技术领域，具体公开了一种集成多种特征信号的驾驶疲劳检测方法、装置与系统，所述方法包括接收用户发送的疲劳监测请求，获取驾驶室采集设备的访问权限；定时获取用户的在预设的时间范围内的操作信息，确定用户的异常值；当所述异常值达到预设的异常阈值时，获取用户的社交数据；根据所述社交数据对修正异常值，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据；根据所述监控数据确定用户的疲劳程度。本发明接收检测请求，获取检测权限，基于各个采集设备获取不同层次的多种特征信号，根据这些特征信号对用户的驾驶疲劳程度进行层级式的检测，检测结果全面，计算资源的利用率高。
Description
技术领域
本发明涉及驾驶监测技术领域，具体是一种集成多种特征信号的驾驶疲劳检测方法、装置与系统。
背景技术
驾驶疲劳，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆，容易出现疲劳。驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面。
可以想到，随着驾驶时间的增加，驾驶人的疲劳程度一直上升，中间遇到一些烦心事，会加大疲劳程度，进而影响驾驶安全。基于此，如何检测驾驶人的疲劳程度是本发明技术方案想要解决的技术问题。
发明内容
本发明的目的在于提供一种集成多种特征信号的驾驶疲劳检测方法、装置与系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种集成多种特征信号的驾驶疲劳检测方法，所述方法包括：
接收用户发送的疲劳监测请求，获取驾驶室采集设备的访问权限；所述采集设备包括智能移动终端；
定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值；其中，所述历史行为信息是所述操作信息的函数；
将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据；其中，所述社交数据包括文本信息和语音信息；
根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据；
根据所述监控数据确定用户的疲劳程度。
作为本发明进一步的方案：所述定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值的步骤包括：
基于所述访问权限根据预设的采集频率在预设的时间范围采集操作信息，得到操作表；所述操作表包括操作类型项和操作次数项；所述操作类型至少包括油门踩踏次数和刹车踩踏次数；
将所述操作表输入训练好的可逆分析转换模型，得到以时间范围为索引的行为信息；其中，所述行为信息为文本数据；
根据所述行为信息遍历预设的历史行为信息，实时计算相似度；
提取所述相似度大于预设的相似度阈值的历史行为信息，根据所述可逆分析转换模型将提取到的历史行为信息转换为目标操作表；
根据所述目标操作表计算用户的异常值。
作为本发明进一步的方案：所述将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据的步骤包括：
读取用户的异常值，将所述异常值与预设的异常阈值进行比对；
当所述异常值达到预设的异常阈值时，基于所述访问权限定位智能移动终端中社交类App；
获取所述社交类App中含有时间信息的社交数据，根据时间信息实时筛选所述社交数据。
作为本发明进一步的方案：所述根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据的步骤包括：
读取筛选后的社交数据，统计所述社交数据的参与方，根据所述参与方对所述社交数据进行分类；
计算同类社交数据的社交特征，所述社交特征包括数据发送方的顺序及每条社交数据的数据量；其中，当社交数据为语音信息时，将语音信息转换为文本信息；
根据社交特征确定该类社交数据的社交平和度；
统计所有类社交数据的社交平和度，计算用户平和度；
根据所述用户平和度对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据。
作为本发明进一步的方案：所述根据所述监控数据确定用户的疲劳程度的步骤包括：
获取多帧人脸图像，依次提取每一帧人脸图像的局部纹理特征和深度特征；
将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；
根据所述微表情确定该帧人脸图像的疲劳程度；
统计多帧人脸图像的疲劳程度，计算用户的疲劳程度。
作为本发明进一步的方案：所述方法还包括：
读取筛选后的社交数据，提取社交数据中用户发送的社交数据；
对用户发送的社交数据进行类型识别，当所述社交数据含有图像时，对所述疲劳程度进行放大式修正。
本发明技术方案还提供了一种集成多种特征信号的驾驶疲劳检测系统，所述系统包括：
访问权限获取模块，用于接收用户发送的疲劳监测请求，获取驾驶室采集设备的访问权限；所述采集设备包括智能移动终端；
异常值计算模块，用于定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值；其中，所述历史行为信息是所述操作信息的函数；
社交数据获取模块，用于将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据；其中，所述社交数据包括文本信息和语音信息；
监控数据获取模块，用于根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据；
疲劳程度确定模块，用于根据所述监控数据确定用户的疲劳程度。
作为本发明进一步的方案：所述异常值计算模块包括：
操作表确定单元，用于基于所述访问权限根据预设的采集频率在预设的时间范围采集操作信息，得到操作表；所述操作表包括操作类型项和操作次数项；所述操作类型至少包括油门踩踏次数和刹车踩踏次数；
行为信息生成单元，用于将所述操作表输入训练好的可逆分析转换模型，得到以时间范围为索引的行为信息；其中，所述行为信息为文本数据；
相似度计算单元，用于根据所述行为信息遍历预设的历史行为信息，实时计算相似度；
逆转换单元，用于提取所述相似度大于预设的相似度阈值的历史行为信息，根据所述可逆分析转换模型将提取到的历史行为信息转换为目标操作表；
处理执行单元，用于根据所述目标操作表计算用户的异常值。
作为本发明进一步的方案：所述社交数据获取模块包括：
异常比对单元，用于读取用户的异常值，将所述异常值与预设的异常阈值进行比对；
App定位单元，用于当所述异常值达到预设的异常阈值时，基于所述访问权限定位智能移动终端中社交类App；
社交数据筛选单元，用于获取所述社交类App中含有时间信息的社交数据，根据时间信息实时筛选所述社交数据。
本发明技术方案还提供了一种集成多种特征信号的驾驶疲劳检测装置，所述物联网数据的处理装置包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述集成多种特征信号的驾驶疲劳检测方法。
与现有技术相比，本发明的有益效果是：本发明接收检测请求，获取检测权限，基于各个采集设备获取不同层次的多种特征信号，根据这些特征信号对用户的驾驶疲劳程度进行层级式的检测，检测结果全面，计算资源的利用率高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为集成多种特征信号的驾驶疲劳检测方法的流程框图。
图2为集成多种特征信号的驾驶疲劳检测方法的第一子流程框图。
图3为集成多种特征信号的驾驶疲劳检测方法的第二子流程框图。
图4为集成多种特征信号的驾驶疲劳检测方法的第三子流程框图。
图5为集成多种特征信号的驾驶疲劳检测方法的第四子流程框图。
图6为集成多种特征信号的驾驶疲劳检测系统的组成结构框图。
图7为集成多种特征信号的驾驶疲劳检测系统中异常值计算模块的组成结构框图。
图8为集成多种特征信号的驾驶疲劳检测系统中社交数据获取模块的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
图1为集成多种特征信号的驾驶疲劳检测方法的流程框图，本发明实施例中，一种集成多种特征信号的驾驶疲劳检测方法，所述方法包括步骤S100至步骤S500：
步骤S100：接收用户发送的疲劳监测请求，获取驾驶室采集设备的访问权限；所述采集设备包括智能移动终端；
在用户的疲劳检测过程中，会采集很多与用户相关的数据，这些数据的保密性较高，需要一定的权限才能够获取。
步骤S200：定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值；其中，所述历史行为信息是所述操作信息的函数；
操作信息有很多，比如，一分钟内踩多少次油门、踩多少次刹车、方向盘一共转动了多少度或音乐切换次数等等；这些都能反映用户的心情状态，而且这些数据都是数值形式，对这些数值进行运算，可以得到一个异常值。
步骤S300：将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据；其中，所述社交数据包括文本信息和语音信息；
异常值确定之后，异常值就可以作为后续数据的获取条件，异常值达到某个程度时，就认为用户很有可能是疲劳的；具体是否疲劳由他的社交数据进一步确定；
步骤S400：根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据；
社交数据可有可无，社交数据能够更加真实的反映用户状态，如果没有社交数据的话，以异常值就默认不改变；此外，修正过程主要是降低异常值，如果不改变，那么异常值依旧是高于所述异常阈值的，紧接着便是获取用户的监控数据。
步骤S500：根据所述监控数据确定用户的疲劳程度；
用户的监控数据是最能反映用户状态的数据，但是它的隐私性较高，获取处理过程所需的计算资源较多。因此，本发明技术方案在监控数据的获取过程之前，设置了一些由其它参数确定的条件。
图2为集成多种特征信号的驾驶疲劳检测方法的第一子流程框图，所述定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值的步骤包括步骤S201至步骤S205：
步骤S201：基于所述访问权限根据预设的采集频率在预设的时间范围采集操作信息，得到操作表；所述操作表包括操作类型项和操作次数项；所述操作类型至少包括油门踩踏次数和刹车踩踏次数；
步骤S202：将所述操作表输入训练好的可逆分析转换模型，得到以时间范围为索引的行为信息；其中，所述行为信息为文本数据；
步骤S203：根据所述行为信息遍历预设的历史行为信息，实时计算相似度；
步骤S204：提取所述相似度大于预设的相似度阈值的历史行为信息，根据所述可逆分析转换模型将提取到的历史行为信息转换为目标操作表；
步骤S205：根据所述目标操作表计算用户的异常值。
操作表是一张数据表，含有操作类型项和操作次数项，表格与表格之间的比对较为困难。因此，将操作表转换为文本数据，也就是行为信息；转换过程需要是可逆的，最简单的方式就是直接复制连接，得到行为信息，进行保存，统计保存的行为信息可以得到历史行为信息。
将行为信息与历史行为信息进行比对，并实时计算相似度，读取相似的历史行为信息，可以对采集到的新的行为信息进行扩充，再将扩充好的行为信息再逆转换为操作表，得到目标操作表；所述目标操作表中的数据更加充分，计算出的异常值更加准确。
图3为集成多种特征信号的驾驶疲劳检测方法的第二子流程框图，所述将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据的步骤包括步骤S301至步骤S303：
步骤S301：读取用户的异常值，将所述异常值与预设的异常阈值进行比对；
步骤S302：当所述异常值达到预设的异常阈值时，基于所述访问权限定位智能移动终端中社交类App；
步骤S303：获取所述社交类App中含有时间信息的社交数据，根据时间信息实时筛选所述社交数据。
步骤S301至步骤S303对社交数据的获取过程进行了具体的描述，获取过程非常容易，分为两步，一是定位，二是筛选，定位过程需要具备权限，并且用户是可以随时叫停的。筛选过程的目的是提取刚发生的社交数据，比如10分钟或半小时内的社交数据，太久远的社交数据对于异常值的影响不大。
图4为集成多种特征信号的驾驶疲劳检测方法的第三子流程框图，所述根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据的步骤包括步骤S401至步骤S405：
步骤S401：读取筛选后的社交数据，统计所述社交数据的参与方，根据所述参与方对所述社交数据进行分类；
步骤S402：计算同类社交数据的社交特征，所述社交特征包括数据发送方的顺序及每条社交数据的数据量；其中，当社交数据为语音信息时，将语音信息转换为文本信息；
步骤S403：根据社交特征确定该类社交数据的社交平和度；
具体的，步骤S403包括如下步骤：
S4031、确定每条社交数据的发送端接收端类型，以及每条社交数据的数据量，所述发送端接收端类型包括第一端至第二端，以及第二端至第一端；
S4032、根据每条社交数据的数据量计算确定得到每条社交数据对应的社交数据情感值；
其中，每条社交数据对应的社交数据情感值的计算公式表示为：
其中，ea→b表示第一端发送至第二端的每条社交数据的社交数据情感值，γ表示情感校正因子，
表示第一端发送至第二端的单条社交数据中第i个字对应的单位情感值，n1表示第一端发送至第二端的单条社交数据中的词汇总量，n0表示单条社交数据中的基准词汇量，i∈(1，n1]。
同理，存在如下公式：
其中，eb→a表示第二端发送至第一端的每条社交数据的社交数据情感值，
表示第二端发送至第一端的单条社交数据中第j个字对应的单位情感值，n2表示第二端发送至第一端的单条社交数据中的词汇总量。
S4033、基于所述每条社交数据对应的社交数据情感值，计算得到该类社交数据的社交平和度。
单类社交数据的社交平和度的计算公式表示为：
其中，p表示单类社交数据的社交平和度，p0表示单类社交数据的基准社交平和度。
步骤S404：统计所有类社交数据的社交平和度，计算用户平和度；
步骤S405：根据所述用户平和度对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据。
上述内容对社交数据的分析过程进行了具体的描述，首先，统计用户与多少人进行社交，在驾驶时，用户有可能同时与多个人进行社交，不同社交双方的社交数据需要进行分类；当然，这个分类过程可以发生在数据读取阶段；然后，根据社交特征确定社交平和度，其中，所述社交特征就是发送消息的双方的交互特征，比如，甲和乙聊天，甲发了10条数据，而且都是“长篇大论”，然后，乙回了一句简单的话语，比如“对”、“好的”，或者单独一个表情，那么甲存在情绪的可能性就会很高；最后，统计用户和不同社交对方之间的所有社交平和度，可以计算出一个平均社交平和度，作为用户平和度。
图5为集成多种特征信号的驾驶疲劳检测方法的第四子流程框图，所述根据所述监控数据确定用户的疲劳程度的步骤包括步骤S501至步骤S504：
步骤S501：获取多帧人脸图像，依次提取每一帧人脸图像的局部纹理特征和深度特征；
步骤S502：将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；
步骤S503：根据所述微表情确定该帧人脸图像的疲劳程度；
步骤S504：统计多帧人脸图像的疲劳程度，计算用户的疲劳程度。
监控数据的目的是获取用户的人脸图像，然后对所述人脸图像进行微表情识别，这一技术在现有技术中也有提及，根据识别到的微表情，可以确定用户的疲劳程度。
值得一提的是，如果用户是过于兴奋的状态，我们也认为用户属于疲劳驾驶。
作为本发明技术方案的一个优选实施例，所述方法还包括：
读取筛选后的社交数据，提取社交数据中用户发送的社交数据；
对用户发送的社交数据进行类型识别，当所述社交数据含有图像时，对所述疲劳程度进行放大式修正。
需要说明的是，如果社交数据中，存在驾驶人发送的图像数据，那么就需要将疲劳程度放大，本发明技术方案最终获取的是疲劳程度，根据疲劳程度会制定一些提醒措施，如果驾驶人在驾驶过程中，发送图片，那他肯定是处于不认真驾驶的状态，这时候，对疲劳程度进行放大式修正，可以更加快速的触发提醒措施。
实施例2
图6为集成多种特征信号的驾驶疲劳检测系统的组成结构框图，本发明实施例中，一种集成多种特征信号的驾驶疲劳检测系统，所述系统10包括：
访问权限获取模块11，用于接收用户发送的疲劳监测请求，获取驾驶室采集设备的访问权限；所述采集设备包括智能移动终端；
异常值计算模块12，用于定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值；其中，所述历史行为信息是所述操作信息的函数；
社交数据获取模块13，用于将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据；其中，所述社交数据包括文本信息和语音信息；
监控数据获取模块14，用于根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据；
疲劳程度确定模块15，用于根据所述监控数据确定用户的疲劳程度。
图7为集成多种特征信号的驾驶疲劳检测系统中异常值计算模块的组成结构框图，所述异常值计算模块12包括：
操作表确定单元121，用于基于所述访问权限根据预设的采集频率在预设的时间范围采集操作信息，得到操作表；所述操作表包括操作类型项和操作次数项；所述操作类型至少包括油门踩踏次数和刹车踩踏次数；
行为信息生成单元122，用于将所述操作表输入训练好的可逆分析转换模型，得到以时间范围为索引的行为信息；其中，所述行为信息为文本数据；
相似度计算单元123，用于根据所述行为信息遍历预设的历史行为信息，实时计算相似度；
逆转换单元124，用于提取所述相似度大于预设的相似度阈值的历史行为信息，根据所述可逆分析转换模型将提取到的历史行为信息转换为目标操作表；
处理执行单元125，用于根据所述目标操作表计算用户的异常值。
图8为集成多种特征信号的驾驶疲劳检测系统中社交数据获取模块的组成结构框图，所述社交数据获取模块13包括：
异常比对单元131，用于读取用户的异常值，将所述异常值与预设的异常阈值进行比对；
App定位单元132，用于当所述异常值达到预设的异常阈值时，基于所述访问权限定位智能移动终端中社交类App；
社交数据筛选单元133，用于获取所述社交类App中含有时间信息的社交数据，根据时间信息实时筛选所述社交数据。
所述集成多种特征信号的驾驶疲劳检测方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述集成多种特征信号的驾驶疲劳检测方法的功能。
处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(Read-Only Memory，ROM)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种集成多种特征信号的驾驶疲劳检测方法，其特征在于，所述方法包括：
接收用户发送的疲劳监测请求，获取驾驶室采集设备的访问权限；所述采集设备包括智能移动终端；
定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值；其中，所述历史行为信息是所述操作信息的函数；
将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据；其中，所述社交数据包括文本信息和语音信息；
根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据；
根据所述监控数据确定用户的疲劳程度。
2.根据权利要求1所述的集成多种特征信号的驾驶疲劳检测方法，其特征在于，所述定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值的步骤包括：
基于所述访问权限根据预设的采集频率在预设的时间范围采集操作信息，得到操作表；所述操作表包括操作类型项和操作次数项；所述操作类型至少包括油门踩踏次数和刹车踩踏次数；
将所述操作表输入训练好的可逆分析转换模型，得到以时间范围为索引的行为信息；其中，所述行为信息为文本数据；
根据所述行为信息遍历预设的历史行为信息，实时计算相似度；
提取所述相似度大于预设的相似度阈值的历史行为信息，根据所述可逆分析转换模型将提取到的历史行为信息转换为目标操作表；
根据所述目标操作表计算用户的异常值。
3.根据权利要求1所述的集成多种特征信号的驾驶疲劳检测方法，其特征在于，所述将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据的步骤包括：
读取用户的异常值，将所述异常值与预设的异常阈值进行比对；
当所述异常值达到预设的异常阈值时，基于所述访问权限定位智能移动终端中社交类App；
获取所述社交类App中含有时间信息的社交数据，根据时间信息实时筛选所述社交数据。
4.根据权利要求3所述的集成多种特征信号的驾驶疲劳检测方法，其特征在于，所述根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据的步骤包括：
读取筛选后的社交数据，统计所述社交数据的参与方，根据所述参与方对所述社交数据进行分类；
计算同类社交数据的社交特征，所述社交特征包括数据发送方的顺序及每条社交数据的数据量；其中，当社交数据为语音信息时，将语音信息转换为文本信息；
根据社交特征确定该类社交数据的社交平和度；
统计所有类社交数据的社交平和度，计算用户平和度；
根据所述用户平和度对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据。
5.根据权利要求1所述的集成多种特征信号的驾驶疲劳检测方法，其特征在于，所述根据所述监控数据确定用户的疲劳程度的步骤包括：
获取多帧人脸图像，依次提取每一帧人脸图像的局部纹理特征和深度特征；
将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；
根据所述微表情确定该帧人脸图像的疲劳程度；
统计多帧人脸图像的疲劳程度，计算用户的疲劳程度。
6.根据权利要求1所述的集成多种特征信号的驾驶疲劳检测方法，其特征在于，所述方法还包括：
读取筛选后的社交数据，提取社交数据中用户发送的社交数据；
对用户发送的社交数据进行类型识别，当所述社交数据含有图像时，对所述疲劳程度进行放大式修正。
7.一种集成多种特征信号的驾驶疲劳检测系统，其特征在于，所述系统包括：
访问权限获取模块，用于接收用户发送的疲劳监测请求，获取驾驶室采集设备的访问权限；所述采集设备包括智能移动终端；
异常值计算模块，用于定时获取用户的在预设的时间范围内的操作信息，比对所述操作信息与预设的历史行为信息，根据比对结果确定用户的异常值；其中，所述历史行为信息是所述操作信息的函数；
社交数据获取模块，用于将所述异常值与预设的异常阈值进行比对，当所述异常值达到预设的异常阈值时，获取用户的社交数据；其中，所述社交数据包括文本信息和语音信息；
监控数据获取模块，用于根据所述社交数据对所述异常值进行修正，当修正后的异常值仍未低于所述异常阈值时，基于所述采集设备获取用户的监控数据；
疲劳程度确定模块，用于根据所述监控数据确定用户的疲劳程度。
8.根据权利要求7所述的集成多种特征信号的驾驶疲劳检测系统，其特征在于，所述异常值计算模块包括：
操作表确定单元，用于基于所述访问权限根据预设的采集频率在预设的时间范围采集操作信息，得到操作表；所述操作表包括操作类型项和操作次数项；所述操作类型至少包括油门踩踏次数和刹车踩踏次数；
行为信息生成单元，用于将所述操作表输入训练好的可逆分析转换模型，得到以时间范围为索引的行为信息；其中，所述行为信息为文本数据；
相似度计算单元，用于根据所述行为信息遍历预设的历史行为信息，实时计算相似度；
逆转换单元，用于提取所述相似度大于预设的相似度阈值的历史行为信息，根据所述可逆分析转换模型将提取到的历史行为信息转换为目标操作表；
处理执行单元，用于根据所述目标操作表计算用户的异常值。
9.根据权利要求7所述的集成多种特征信号的驾驶疲劳检测系统，其特征在于，所述社交数据获取模块包括：
异常比对单元，用于读取用户的异常值，将所述异常值与预设的异常阈值进行比对；
App定位单元，用于当所述异常值达到预设的异常阈值时，基于所述访问权限定位智能移动终端中社交类App；
社交数据筛选单元，用于获取所述社交类App中含有时间信息的社交数据，根据时间信息实时筛选所述社交数据。
10.一种集成多种特征信号的驾驶疲劳检测装置，其特征在于，所述集成多种特征信号的驾驶疲劳检测装置包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至6任一项权利要求所述的集成多种特征信号的驾驶疲劳检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211469755.7A CN115861980A (zh) | 2022-11-22 | 2022-11-22 | 一种集成多种特征信号的驾驶疲劳检测方法、装置与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211469755.7A CN115861980A (zh) | 2022-11-22 | 2022-11-22 | 一种集成多种特征信号的驾驶疲劳检测方法、装置与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861980A true CN115861980A (zh) | 2023-03-28 |
Family
ID=85665095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211469755.7A Pending CN115861980A (zh) | 2022-11-22 | 2022-11-22 | 一种集成多种特征信号的驾驶疲劳检测方法、装置与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861980A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117672003A (zh) * | 2023-11-23 | 2024-03-08 | 北京悟空出行科技有限公司 | 一种租车公司用车辆远程监控系统 |
-
2022
- 2022-11-22 CN CN202211469755.7A patent/CN115861980A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117672003A (zh) * | 2023-11-23 | 2024-03-08 | 北京悟空出行科技有限公司 | 一种租车公司用车辆远程监控系统 |
| CN117672003B (zh) * | 2023-11-23 | 2024-05-14 | 北京悟空出行科技有限公司 | 一种租车公司用车辆远程监控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11631039B2 (en) | Generating priorities for support tickets | |
| WO2019222742A1 (en) | Real-time content analysis and ranking | |
| US20160149941A1 (en) | Security log mining devices, methods, and systems | |
| US8458193B1 (en) | System and method for determining active topics | |
| WO2017133615A1 (zh) | 一种业务参数获取方法及装置 | |
| CN110688454A (zh) | 咨询对话处理的方法、装置、设备及存储介质 | |
| WO2016209213A1 (en) | Recommending analytic tasks based on similarity of datasets | |
| JP6748710B2 (ja) | データ分析システム、その制御方法、プログラム、及び、記録媒体 | |
| US20170185913A1 (en) | System and method for comparing training data with test data | |
| US20200241494A1 (en) | Locking error alarm device and method | |
| US9760767B1 (en) | Rating applications based on emotional states | |
| US10740536B2 (en) | Dynamic survey generation and verification | |
| CN115861980A (zh) | 一种集成多种特征信号的驾驶疲劳检测方法、装置与系统 | |
| CN109447694B (zh) | 一种用户特征分析方法及其系统 | |
| CN113568934B (zh) | 一种数据查询方法、装置、电子设备和存储介质 | |
| US20240020459A1 (en) | Using machine learning to predict performance of secure documents | |
| US10846619B2 (en) | Using machine learning system to dynamically modify device parameters | |
| CN107122464B (zh) | 一种辅助决策系统及方法 | |
| Liao et al. | Tail behavior and limit distribution of maximum of logarithmic general error distribution | |
| CN109145115B (zh) | 产品舆情发现方法、装置、计算机设备和存储介质 | |
| US10467258B2 (en) | Data categorizing system, method, program software and recording medium therein | |
| CN113780580B (zh) | 基于机器学习的数据分析方法、装置、设备及存储介质 | |
| Bradshaw | Zeroes and ones: Investigating with data | |
| CN114493853A (zh) | 信用等级评价方法、装置、电子设备及存储介质 | |
| WO2018015986A1 (ja) | 顧客評価データ分類システム、方法、プログラムおよびその記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |