CN111195133A - 一种能够实时检测疲劳的装置及方法 - Google Patents

一种能够实时检测疲劳的装置及方法 Download PDF

Info

Publication number
CN111195133A
CN111195133A CN201911355614.0A CN201911355614A CN111195133A CN 111195133 A CN111195133 A CN 111195133A CN 201911355614 A CN201911355614 A CN 201911355614A CN 111195133 A CN111195133 A CN 111195133A
Authority
CN
China
Prior art keywords
blood spectrum
fatigue
human face
analysis
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911355614.0A
Other languages
English (en)
Inventor
俞杰
石旭刚
朱伟平
俞江峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ob Telecom Electronics Co ltd
Original Assignee
Ob Telecom Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ob Telecom Electronics Co ltd filed Critical Ob Telecom Electronics Co ltd
Priority to CN201911355614.0A priority Critical patent/CN111195133A/zh
Publication of CN111195133A publication Critical patent/CN111195133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Abstract

一种能够实时检测疲劳的装置，包括视频输入装置、人脸采集装置、血谱分析装置、疲劳分析装置、告警装置以及存储装置；所述人脸采集装置与视频输入装置以及血谱分析装置电性连接；所述疲劳分析装置与血谱分析装置、告警装置以及存储装置电性连接；所述视频输入模块包括镜头、光学传感器、图像处理器、编码器、控制器、红外灯以及红外滤波片；所述红外灯以及红外滤波片设置于镜头以及光学传感器之间；所述红外控制器与红外灯以及红外滤波片电性连接；本发明提出的装置及方法采用的是非接触式的采集观测，能够做到被监测人员无感知，因此也不会对被监测人员产生心理负担。

Description

一种能够实时检测疲劳的装置及方法
技术领域
本发明涉及图像检测领域，特别是涉及一种能够实时检测疲劳的装置及方法。
背景技术
在日常生活中，常常会出现因为疲劳而出现的过失，当人类进入疲劳状态后，会出现精力无法集中，反应迟钝，甚至在无知觉的情况下进入睡眠状态。因此疲劳状态，轻则工作效率降低，影响工作，重则引发各种事故，甚至会危机自己以及他人的生命。因此疲劳检测技术是十分必要的，目前的疲劳检测技术多用于汽车、火车、飞机、轮船等驾驶员的的监测，往往采用监测人员的眨眼率来判断是否为疲劳状态，但是该种方法会受到人员以及环境的影响，辨识的准确率低，效果不理想。
发明内容
本发明的目的是解决现有技术的不足，提供一种能够实时检测疲劳的装置及方法，结构简单，使用方便。
一种能够实时检测疲劳的装置，包括视频输入装置、人脸采集装置、血谱分析装置、疲劳分析装置、告警装置以及存储装置；所述人脸采集装置与视频输入装置以及血谱分析装置电性连接；所述疲劳分析装置与血谱分析装置、告警装置以及存储装置电性连接；所述视频输入模块包括镜头、光学传感器、图像处理器、编码器、控制器、红外灯以及红外滤波片；所述红外灯以及红外滤波片设置于镜头以及光学传感器之间；所述红外控制器与红外灯以及红外滤波片电性连接。
一种能够实时检测疲劳的方法，所述方法依赖于上述装置，包括如下步骤：
步骤1：视频输入装置获取非压缩视频流以及编码视频流，将非压缩视频流传输给人脸采集装置；将编码视频流传输给存储装置；
步骤2：人脸采集装置接收非压缩视频流，将视频流数据转化为帧图像并进行初步处理，获得人脸血谱信息，进行打包，发送给血谱分析装置；
步骤3：血谱分析装置接收打包的人脸血谱信息，对人脸血谱信息进行生理指标分析，获得生理指标分析结果，将生理指标分析结果传输给疲劳分析装置；
步骤4：疲劳分析装置接收生理指标分析结果，进行疲劳分析，获得疲劳分析的结果，并根据劳分析的结果控制告警装置，将疲劳分析的结果传输到存储装置。
进一步的，所述步骤1中，视频输入装置获取非压缩视频流以及编码视频流的步骤包括：
步骤1.1：红外控制器根据操作人员输入的控制指令判断是否打开红外模式；若打开红外模块，则打开红外灯，开启红外滤波片；若不打开红外模式，则关闭红外灯，关闭红外滤波片；
步骤1.2：光学传感器接收自然光或红外波段光，将感应到的光学信号转换为电信号发送给图像处理器；
步骤1.3：图像处理器接收电信号，将电信号数字化生成YUV或者RGB的帧图像，将帧图像持续输出给编码装置以及人脸检测装置；
步骤1.4：编码器接收帧图像，并根据H.264/H.265编码协议进行编码，形成编码视频流，将编码视频流发送给存储装置。
进一步的，所述步骤2中，非压缩视频流数据包括实时视频以及录制视频；所述人脸检测装置进行初步处理的步骤包括：
步骤2.1：根据时间顺序选择一帧图像，对图像进行人脸跟踪检测，得到人脸特征点；
步骤2.2：根据人脸特征点的分布定位人脸区块；
步骤2.3：提取各个人脸区块的区块信息，得到该帧图像的人脸血谱信息；
步骤2.4：对其余每一帧图像进行步骤2.1～2.3的处理，得到一段时间的人脸血谱信息并进行打包；
步骤2.5：将打包后的人脸血谱信息传输至血谱分析装置。
进一步的，所述步骤2.4中，人脸血谱信息的打包包括如下步骤：
步骤2.41：获取每一帧每一个特定区块的平均值序列，{(区块编号，帧序号i，Ri,Gi,Bi)}，其中1≤i≤s*v，s表示设定的打包人脸血谱信息的时长，v 表示视频每秒包含的帧图像数量，R、G、B表示人脸区块的RGB信息；
步骤2.42：将步骤1.41中获得的特定区块的平均值序列根据区块编号进行排序得到帧图像序列，{(k1,1,R1,G1,B1),…,(k1,s*v,RS*V,GS*V,BS*V)}；将s*v 个帧图像序列按时间排序的得到k1区块的序列；
步骤2.43：分别得到k2、…kj区块的序列；其中j表示该帧图像中人脸特征点的个数；
步骤2.44：获取人脸编号以及第一帧图像的时间戳；所述人脸编号为图像采集装置采集的人脸数据的编号；
步骤2.45：根据{人脸编号，第1帧的时间戳，打包帧数，k1区块序列，k2 区块序列…kj区块序列}的顺序，对s秒时长的人脸血谱信息进行打包；所述第1 帧的时间戳表示该s时长范围内的第1帧图像的时间戳。
进一步的，所述步骤3中，所述生理指标分析包括心率、呼吸、血压的分析；
血谱分析装置的分析过程包括如下步骤：
步骤3.1：接收人脸血谱信息压缩包，并解压得到人脸血谱信息；
步骤3.2：对特定区块分别按照时序组合人脸血谱信息；其中组合人脸血谱信息为根据生理指标的分析要求将一个及以上的人脸血谱信息压缩包的内容按时间顺序拼接组成设定时长的人脸血谱信息；所述特定区块根据检测目标进行确定；
步骤3.3：进行生理指标分析，所述生理指标分析包括如下步骤：
步骤3.31：将步骤3.2中获得的设定时长的人脸血谱信息进行小波函数滤波处理；
步骤3.32：将滤波后的人脸血谱信息按照设定的时间长度进行切片；
步骤3.33：对每一块切片后的人脸血谱信息进行傅里叶变换得到与切片对应的目标频谱；
步骤3.34：将每一块目标频谱求平均值，并按照时间顺序进行排序得到目标变动曲线；
步骤3.4：从特定区块的目标变动曲线中挑选信号质量最好的作为最终的生理指标分析结果；
步骤3.5：将步骤3.4获得的生理指标分析结果发送给疲劳分析装置。
进一步的，所述疲劳分析装置设置有三种输入，分别为训练好的疲劳模型数据、模型配置数据以及生理指标分析结果。
进一步的，所述步骤4中，疲劳分析的步骤包括：
步骤4.1：采集设定时长的基准生理指标；基准生理指标以及派生指标形成基准特征指标；
步骤4.2：接收血谱分析装置发出的生理指标分析结果并采集设定时长的生理指标分析结果；采集的生理指标分析结果以及派生指标形成实时特征指标；
步骤4.3：用疲劳特征指标集与模型数据进行匹配，得到疲劳判断概率估计值；所述疲劳特征指标集包括基准特征指标以及实时特征指标；
步骤4.4：判断疲劳判断概率估计值是否超过设定阈值，若超过设定阈值则向告警装置发送告警指令；若未超过阈值则返回步骤4.1；
所述步骤4.1中的派生指标包括心率变异性、呼吸变异性。
进一步的，所述告警装置包括闪烁灯以及发声装置。
采用本发明的有益效果是：
本发明提出的装置及方法采用的是非接触式的采集观测，能够做到被监测人员无感知，因此也不会对被监测人员产生心理负担。
本发明的判断过程结合多项生理指标进行相互作证验证，使得模型的准确率能够得到提升。
附图说明
图1为本发明的结构框图；
图2为本发明的视频输入装置的连接关系图；
图3为本发明的疲劳分析装置输入输出关系图；
图4为本发明的人脸采集装置流程框图；
图5为本发明的血谱分析装置的流程框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
如图1所示，一种能够实时检测疲劳的装置，包括视频输入装置、人脸采集装置、血谱分析装置、疲劳分析装置、告警装置以及存储装置。所述人脸采集装置与视频输入装置以及血谱分析装置电性连接；所述疲劳分析装置与血谱分析装置、告警装置以及存储装置电性连接。
如图2所示，所述视频输入模块包括镜头、光学传感器、图像处理器、编码器、控制器、红外灯以及红外滤波片。所述红外灯以及红外滤波片设置于镜头以及光学传感器之间。所述红外控制器与红外灯以及红外滤波片电性连接，红外控制器能够控制红外灯以及红外滤波片的打开和关闭，当红外灯以及红外滤波片关闭的时候，光学传感器接收自然光波段，形成彩色的图像；当红外灯以及红外滤波片打开的时候，光学传感器接收红外光波段，形成黑白的图像。所述光学传感器能够接收的自然光波段或者红外光波段，并且将接收到的光波段信号转换为电信号。所述图像处理器能够接收电信号并将接收的电信号转换为YUV或者RGB 的帧图像，并转换成的帧图像按照接收时间顺序进行排序，形成非压缩视频流，并将非压缩视频流发送给编码装置以及人脸采集装置。所述编码器能够接收非压缩视频流，并对非压缩视频流进行H.264/H.265编码形成编码视频流传输到存储装置。
一种能够实时检测疲劳的方法，包括如下步骤：
步骤1：视频输入装置获取非压缩视频流以及编码视频流，将非压缩视频流传输给人脸采集装置；将编码视频流传输给存储装置；
步骤2：人脸采集装置接收非压缩视频流，将视频流数据转化为帧图像并进行初步处理，获得人脸血谱信息，进行打包，发送给血谱分析装置；
步骤3：血谱分析装置接收打包的人脸血谱信息，对人脸血谱信息进行生理指标分析，获得生理指标分析结果，将生理指标分析结果传输给疲劳分析装置；
步骤4：疲劳分析装置接收生理指标分析结果，进行疲劳分析，获得疲劳分析的结果，并根据劳分析的结果控制告警装置，将疲劳分析的结果传输到存储装置。
在步骤1中，所述视频输入装置获取非压缩视频流以及编码视频流的步骤包括：
步骤1.1：红外控制器根据操作人员输入的控制指令判断是否打开红外模式；若打开红外模块，则打开红外灯，开启红外滤波片；若不打开红外模式，则关闭红外灯，关闭红外滤波片；
步骤1.2：光学传感器接收自然光或红外波段光，将感应到的光学信号转换为电信号发送给图像处理器；
步骤1.3：图像处理器接收电信号，将电信号数字化生成YUV或者RGB的帧图像，将帧图像持续输出给编码装置以及人脸检测装置；
步骤1.4：编码器接收帧图像，并根据H.264/H.265编码协议进行编码，形成编码视频流，将编码视频流发送给存储装置。
所述步骤1.3中图像处理器将帧图像持续输出过程中，将帧图像按时序排序，按时序排序的帧图像序列形成了非压缩视频流。
如图4所示，在步骤2中，所述非压缩视频流数据可以为每秒25帧、30帧、 50帧等，在本实施例中为每秒30帧图像，视频流包括实时视频以及录制视频。所述人脸检测装置进行初步处理的步骤包括：
步骤2.1：根据时间顺序选择一帧图像，对图像进行人脸跟踪检测，得到人脸特征点；
步骤2.2：根据人脸特征点的分布定位人脸区块；
步骤2.3：提取各个人脸区块的区块信息，得到该帧图像的人脸血谱信息；
步骤2.4：对其余每一帧图像进行步骤2.1～2.3的处理，得到一段时间的人脸血谱信息并进行打包；
步骤2.5：将打包后的人脸血谱信息传输至血谱分析装置。
在步骤2.1中，所述人脸跟踪检测为对图像中的人脸进行检测、跟踪，获得图像中的人脸转动角度以及人脸检测框。在步骤2.2中，所述人脸特征点包括嘴唇、鼻子、眼眶、眉毛、额头、人脸轮廓。获得人脸特征点j个，j≥1，根据人脸特征点在人脸检测框中的坐标值来划分人脸区块。在步骤2.3中，区块信息包括人脸区块的RGB或灰度值信息，不同的生理指标对应不同区块的区块信息，其中对于彩色图像，提取人脸区块的RGB信息；对于黑白图像，提取人脸图像的灰度值信息，并且R＝G＝B＝灰度值。在本实施例中，为了提升准确度，对于待检测的生理/心理指标可以同时采集多个相关的区块信息。在步骤2.4中，进行打包的人脸血谱信息的时间范围能够根据设定进行调节。设定每s秒打包一次，视频每秒包含v帧图像，根据每帧图像中人脸特征点的个数，将图像划分为j个人脸区块，对人脸区块进行编号，分别标记为k1、k2、…kj。人脸血谱信息的打包包括如下步骤：
步骤2.41：获取每一帧每一个特定区块的平均值序列，{(区块编号，帧序号i，Ri,Gi,Bi)}，1≤i≤s*v；
步骤2.42：将步骤1.41中获得的特定区块的平均值序列根据区块编号进行排序得到帧图像序列，{(k1,1,R1,G1,B1),…,(k1,s*v,RS*V,GS*V,BS*V)}；将s*v个帧图像序列按时间排序的得到k1区块的序列；
步骤2.43：分别得到k2、…kj区块的序列；
步骤2.44：获取人脸编号以及第一帧图像的时间戳；所述人脸编号为图像采集装置采集的人脸数据的编号，比如第1份s秒时长人脸视频的人脸编号为1；
步骤2.45：根据{人脸编号，第1帧的时间戳，打包帧数，k1区块序列，k2 区块序列…kj区块序列}的顺序，对s秒时长的人脸血谱信息进行打包；所述第1 帧的时间戳表示该s时长范围内的第1帧图像的时间戳。
如图5所示，在步骤3中，所述血谱分析装置从人脸采集装置接收打包的人脸血谱信息，对人脸血谱信息进行生理指标分析，所述生理指标分析包括心率、呼吸、血压的分析。
血谱分析装置的分析过程包括如下步骤：
步骤3.1：接收人脸血谱信息压缩包，并解压得到人脸血谱信息；
步骤3.2：对特定区块分别按照时序组合人脸血谱信息；其中组合人脸血谱信息为根据生理指标的分析要求将一个及以上的人脸血谱信息压缩包的内容按时间顺序拼接组成设定时长的人脸血谱信息；所述特定区块根据检测目标进行确定，比如心率检测对应区块k1、k4；
步骤3.3：进行生理指标分析，所述生理指标分析包括如下步骤：
步骤3.31：将步骤3.2中获得的设定时长的人脸血谱信息进行小波函数滤波处理；目的是过滤掉非目标频段的信息，以心率的分析为例，进行小波函数滤波能够过滤掉非心率频段的信息；
步骤3.32：将滤波后的人脸血谱信息按照设定的时间长度进行切片；
步骤3.33：对每一块切片后的人脸血谱信息进行傅里叶变换得到与切片对应的目标频谱，比如心率频谱；
步骤3.34：将每一块目标频谱求平均值，并按照时间顺序进行排序得到目标变动曲线，比如心率变动曲线；
步骤3.4：从特定区块的目标变动曲线中挑选信号质量最好的作为最终的生理指标分析结果；
步骤3.5：将步骤3.4获得的生理指标分析结果发送给疲劳分析装置。
其中，在步骤3.32中切片后的人脸血谱信息可以重叠或部分重叠。在步骤 3.4中，根据信噪比来判断特定区块的信号质量，信噪比越高，则认为信号质量越好。在步骤3.3实施过程中，以k1区块RGB信息中G信号的心率分析为例，设定按照每秒30帧采样，采样时长为60秒，得到1800个采样数据，采样数据构成采样集{G1,…,Gi,….G1800}；将这1800个采样数据送入小波变换滤波器，得到频率范围在0.67-2.33Hz频率信息段的x个数据，其中x≤1800，而0.67-2.33Hz 为正常情况下人体的心率范围；采用150个采样点的离散傅里叶变换公式，以 150个点作为切片长度；计算每个采样点的平均心率，以第5秒的心率为例：第 5秒的采样点是第150号，选取前后各75个采样点，即第76号采样点～225号采样点形成150个采样数据，输入离散傅里叶变换公式得到150个{频率点，幅度} 数据；从150个{频率点，幅度}数据中选择幅度最大采样数据，将该采样数据中的频率点*60作为第5秒的平均心率；将每个采样点的平均心率按照时间顺序构成心率变动曲线。
如图3所示，在步骤4中，所述疲劳分析装置设置有三种输入，分别为训练好的疲劳模型数据、模型配置数据以及生理指标分析结果。所述训练好的疲劳模型数据为经过样本收集和训练形成的模型数据。所述模型配置数据包括输入的生理指标种类、疲劳分析模型类型、疲劳判断概率估计预设阀值、疲劳分析数据时长、基准生理指标、疲劳分析结论输出时间间隔。所述基准生理指标为非疲劳状态下的生理指标，包括心率、呼吸、血压的指标。
所述疲劳分析的步骤包括：
步骤4.1：采集设定时长的基准生理指标；基准生理指标以及派生指标形成基准特征指标；
步骤4.2：接收血谱分析装置发出的生理指标分析结果并采集设定时长的生理指标分析结果；采集的生理指标分析结果以及派生指标形成实时特征指标；
步骤4.3：用疲劳特征指标集与模型数据进行匹配，得到疲劳判断概率估计值；所述疲劳特征指标集包括基准特征指标以及实时特征指标；
步骤4.4：判断疲劳判断概率估计值是否超过设定阈值，若超过设定阈值则向告警装置发送告警指令；若未超过阈值则返回步骤4.1。
所述步骤4.1中的派生指标包括心率变异性、呼吸变异性等。
所述告警装置包括闪烁灯以及发声装置。告警装置根据疲劳分析装置发出的指令判断是否发出告警，如果是疲劳状态则触发疲劳告警，通过声音、灯光进行疲劳警示。
以上所述，只是本发明的具体实施例，并非对本发明做出任何形式上的限制，在不脱离本发明的技术方案基础上，所做出的简单修改、等同变化或修饰，均落入本发明的保护范围。

Claims (9)

1.一种能够实时检测疲劳的装置，其特征在于，包括视频输入装置、人脸采集装置、血谱分析装置、疲劳分析装置、告警装置以及存储装置；所述人脸采集装置与视频输入装置以及血谱分析装置电性连接；所述疲劳分析装置与血谱分析装置、告警装置以及存储装置电性连接；所述视频输入模块包括镜头、光学传感器、图像处理器、编码器、控制器、红外灯以及红外滤波片；所述红外灯以及红外滤波片设置于镜头以及光学传感器之间；所述红外控制器与红外灯以及红外滤波片电性连接。
2.一种能够实时检测疲劳的方法，其特征在于，所述方法依赖于权利要求1所述的装置，包括如下步骤：
步骤1：视频输入装置获取非压缩视频流以及编码视频流，将非压缩视频流传输给人脸采集装置；将编码视频流传输给存储装置；
步骤2：人脸采集装置接收非压缩视频流，将视频流数据转化为帧图像并进行初步处理，获得人脸血谱信息，进行打包，发送给血谱分析装置；
步骤3：血谱分析装置接收打包的人脸血谱信息，对人脸血谱信息进行生理指标分析，获得生理指标分析结果，将生理指标分析结果传输给疲劳分析装置；
步骤4：疲劳分析装置接收生理指标分析结果，进行疲劳分析，获得疲劳分析的结果，并根据劳分析的结果控制告警装置，将疲劳分析的结果传输到存储装置。
3.根据权利要求2所述的一种能够实时检测疲劳的方法，其特征在于，所述步骤1中，视频输入装置获取非压缩视频流以及编码视频流的步骤包括：
步骤1.1：红外控制器根据操作人员输入的控制指令判断是否打开红外模式；
若打开红外模块，则打开红外灯，开启红外滤波片；若不打开红外模式，则关闭红外灯，关闭红外滤波片；
步骤1.2：光学传感器接收自然光或红外波段光，将感应到的光学信号转换为电信号发送给图像处理器；
步骤1.3：图像处理器接收电信号，将电信号数字化生成YUV或者RGB的帧图像，将帧图像持续输出给编码装置以及人脸检测装置；
步骤1.4：编码器接收帧图像，并根据H.264/H.265编码协议进行编码，形成编码视频流，将编码视频流发送给存储装置。
4.根据权利要求2所述的一种能够实时检测疲劳的方法，其特征在于，所述步骤2中，非压缩视频流数据包括实时视频以及录制视频；所述人脸检测装置进行初步处理的步骤包括：
步骤2.1：根据时间顺序选择一帧图像，对图像进行人脸跟踪检测，得到人脸特征点；
步骤2.2：根据人脸特征点的分布定位人脸区块；
步骤2.3：提取各个人脸区块的区块信息，得到该帧图像的人脸血谱信息；
步骤2.4：对其余每一帧图像进行步骤2.1～2.3的处理，得到一段时间的人脸血谱信息并进行打包；
步骤2.5：将打包后的人脸血谱信息传输至血谱分析装置。
5.根据权利要求4所述的一种能够实时检测疲劳的方法，其特征在于，所述步骤2.4中，人脸血谱信息的打包包括如下步骤：
步骤2.41：获取每一帧每一个特定区块的平均值序列，{(区块编号，帧序号i，Ri,Gi,Bi)}，其中1≤i≤s*v，s表示设定的打包人脸血谱信息的时长，v表示视频每秒包含的帧图像数量，R、G、B表示人脸区块的RGB信息；
步骤2.42：将步骤1.41中获得的特定区块的平均值序列根据区块编号进行排序得到帧图像序列，{(k1,1,R1,G1,B1),…,(k1,s*v,RS*V,GS*V,BS*V)}；将s*v个帧图像序列按时间排序的得到k1区块的序列；
步骤2.43：分别得到k2、…kj区块的序列；其中j表示该帧图像中人脸特征点的个数；
步骤2.44：获取人脸编号以及第一帧图像的时间戳；所述人脸编号为图像采集装置采集的人脸数据的编号；
步骤2.45：根据{人脸编号，第1帧的时间戳，打包帧数，k1区块序列，k2区块序列…kj区块序列}的顺序，对s秒时长的人脸血谱信息进行打包；所述第1帧的时间戳表示该s时长范围内的第1帧图像的时间戳。
6.根据权利要求2所述的一种能够实时检测疲劳的方法，其特征在于，所述步骤3中，所述生理指标分析包括心率、呼吸、血压的分析；
血谱分析装置的分析过程包括如下步骤：
步骤3.1：接收人脸血谱信息压缩包，并解压得到人脸血谱信息；
步骤3.2：对特定区块分别按照时序组合人脸血谱信息；其中组合人脸血谱信息为根据生理指标的分析要求将一个及以上的人脸血谱信息压缩包的内容按时间顺序拼接组成设定时长的人脸血谱信息；所述特定区块根据检测目标进行确定；
步骤3.3：进行生理指标分析，所述生理指标分析包括如下步骤：
步骤3.31：将步骤3.2中获得的设定时长的人脸血谱信息进行小波函数滤波处理；
步骤3.32：将滤波后的人脸血谱信息按照设定的时间长度进行切片；
步骤3.33：对每一块切片后的人脸血谱信息进行傅里叶变换得到与切片对应的目标频谱；
步骤3.34：将每一块目标频谱求平均值，并按照时间顺序进行排序得到目标变动曲线；
步骤3.4：从特定区块的目标变动曲线中挑选信号质量最好的作为最终的生理指标分析结果；
步骤3.5：将步骤3.4获得的生理指标分析结果发送给疲劳分析装置。
7.根据权利要求2所述的一种能够实时检测疲劳的方法，其特征在于，所述疲劳分析装置设置有三种输入，分别为训练好的疲劳模型数据、模型配置数据以及生理指标分析结果。
8.根据权利要求7所述的一种能够实时检测疲劳的方法，其特征在于，所述步骤4中，疲劳分析的步骤包括：
步骤4.1：采集设定时长的基准生理指标；基准生理指标以及派生指标形成基准特征指标；
步骤4.2：接收血谱分析装置发出的生理指标分析结果并采集设定时长的生理指标分析结果；采集的生理指标分析结果以及派生指标形成实时特征指标；
步骤4.3：用疲劳特征指标集与模型数据进行匹配，得到疲劳判断概率估计值；
所述疲劳特征指标集包括基准特征指标以及实时特征指标；
步骤4.4：判断疲劳判断概率估计值是否超过设定阈值，若超过设定阈值则向告警装置发送告警指令；若未超过阈值则返回步骤4.1；
所述步骤4.1中的派生指标包括心率变异性、呼吸变异性。
9.根据权利要求2所述的一种能够实时检测疲劳的方法，其特征在于，所述告警装置包括闪烁灯以及发声装置。
CN201911355614.0A 2019-12-25 2019-12-25 一种能够实时检测疲劳的装置及方法 Pending CN111195133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911355614.0A CN111195133A (zh) 2019-12-25 2019-12-25 一种能够实时检测疲劳的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911355614.0A CN111195133A (zh) 2019-12-25 2019-12-25 一种能够实时检测疲劳的装置及方法

Publications (1)

Publication Number Publication Date
CN111195133A true CN111195133A (zh) 2020-05-26

Family

ID=70741649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911355614.0A Pending CN111195133A (zh) 2019-12-25 2019-12-25 一种能够实时检测疲劳的装置及方法

Country Status (1)

Country Link
CN (1) CN111195133A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103583050A (zh) * 2011-06-08 2014-02-12 皇家Kpn公司 空间分段的内容的递送
CN110001652A (zh) * 2019-03-26 2019-07-12 深圳市科思创动科技有限公司 驾驶员状态的监测方法、装置及终端设备
CN110420011A (zh) * 2019-08-07 2019-11-08 杭州泽铭睿股权投资有限公司 一种具有血谱光学图像成像功能的摄像机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103583050A (zh) * 2011-06-08 2014-02-12 皇家Kpn公司 空间分段的内容的递送
CN110001652A (zh) * 2019-03-26 2019-07-12 深圳市科思创动科技有限公司 驾驶员状态的监测方法、装置及终端设备
CN110420011A (zh) * 2019-08-07 2019-11-08 杭州泽铭睿股权投资有限公司 一种具有血谱光学图像成像功能的摄像机

Similar Documents

Publication Publication Date Title
Bartlett et al. Automatic decoding of facial movements reveals deceptive pain expressions
CN107979985B (zh) 一种车载健康安全驾驶辅助装置
CN110001652B (zh) 驾驶员状态的监测方法、装置及终端设备
CN102499664A (zh) 基于视频图像的非接触式生命体征的检测方法及检测系统
CN106691474A (zh) 融合脑电信号与生理信号的疲劳检测系统
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
CN104068868A (zh) 一种基于机器视觉的驾驶人疲劳监测方法及装置
CN110751051A (zh) 一种基于机器视觉的异常驾驶行为检测方法
CN109009125B (zh) 基于移动终端音频的驾驶员细粒度呼吸监测方法及系统
CN104537806A (zh) 一种基于摄像头的疲劳驾驶实时检测系统
CN109528217A (zh) 一种基于生理振动分析的情绪检测和预警方法
CN107392153B (zh) 人体疲劳度判定方法
CN208969808U (zh) 基于人脸检测和声音检测的婴儿监护器
CN109567832A (zh) 一种基于智能手环的检测愤怒驾驶状态的方法及系统
CN112401857A (zh) 一种驾驶员酒驾检测方法
CN112188164A (zh) 一种基于ai视觉的违规行为实时监测系统及方法
CN209962386U (zh) 一种驾驶员疲劳监测系统
CN114999643A (zh) 一种基于WiFi的老人智能监护方法
CN111598868A (zh) 一种肺部超声图像识别方法和系统
CN203287910U (zh) 基于人脸识别的搜索系统
Xu et al. Ivrr-PPG: An illumination variation robust remote-PPG algorithm for monitoring heart rate of drivers
CN111195133A (zh) 一种能够实时检测疲劳的装置及方法
CN110693508A (zh) 多通道协同的心理生理主动感知方法及服务机器人
CN108090410B (zh) 一种非接触式面部心率监测动感单车及监测方法
CN113598741B (zh) 一种房颤评价模型训练方法、房颤评价方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526