CN112389444A - 基于驾驶员心率检测的车辆预警方法及装置 - Google Patents
基于驾驶员心率检测的车辆预警方法及装置 Download PDFInfo
- Publication number
- CN112389444A CN112389444A CN202011109994.2A CN202011109994A CN112389444A CN 112389444 A CN112389444 A CN 112389444A CN 202011109994 A CN202011109994 A CN 202011109994A CN 112389444 A CN112389444 A CN 112389444A
- Authority
- CN
- China
- Prior art keywords
- driver
- heart rate
- image
- pixel information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 42
- 230000001815 facial effect Effects 0.000 claims abstract description 33
- 238000012880 independent component analysis Methods 0.000 claims abstract description 17
- 238000001228 spectrum Methods 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 24
- 230000002159 abnormal effect Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种基于驾驶员心率检测的车辆预警方法及装置,包括:获取驾驶员的面部图像信息,根据面部图像信息中包含的面部关键点提取面部图像信息中包含的目标区域,获取与目标区域相对应的图像像素信息;针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息;通过独立成分分析算法对分析后的图像像素信息进行处理,根据处理结果提取频谱信号特征值;根据提取出的频率信号特征值确定与信号峰值相对应的频率,根据与信号峰值相对应的频率计算驾驶员的心率,根据驾驶员的心率判断是否触发车辆预警信号。该方式能够引入多种算法以消除识别过程中的误差影响,从而能够在行车过程中以非接触方式检测驾驶员心率并预警。
Description
技术领域
本发明涉及电子信息领域,具体涉及一种基于驾驶员心率检测的车辆预警方法及装置。
背景技术
心率是指每分钟心脏跳动的次数,作为一项重要的生命体征,是评估人类健康状况的最直接和最有效的指标之一。目前,心率检测的方法很多,按照是否与人体接触可以分为接触式心率检测和非接触式心率检测。接触式心率检测主要依靠和人体直接或间接接触的传感器、电极等来获取有关信息。非接触式方式在检测心率时不需要与人体接触,因此在检测过程中不会引起人体的不适。
但是,由于非接触式心率检测方法的精度受环境光线、动态误差等影响很大,因此,无法适用于车内驾驶环境。相应的,现阶段的车内驾驶员心率检测主要依赖于接触式的心率检测。然而接触式心率检测操作不便,可能会干扰驾驶员的正常驾驶过程。由此可见,亟需一种能够在车内驾驶环境下,以非接触方式检测心率的方法,以便于提升行车过程的安全性。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于驾驶员心率检测的车辆预警方法及装置。
根据本发明的一个方面,提供了一种基于驾驶员心率检测的车辆预警方法,包括:
获取驾驶员的面部图像信息,根据所述面部图像信息中包含的面部关键点提取所述面部图像信息中包含的目标区域,获取与所述目标区域相对应的图像像素信息;
针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息;
通过独立成分分析算法对所述分析后的图像像素信息进行处理,根据处理结果提取频谱信号特征值;
根据提取出的频率信号特征值确定与信号峰值相对应的频率,根据所述与信号峰值相对应的频率计算驾驶员的心率,根据所述驾驶员的心率判断是否触发车辆预警信号。
依据本发明的再一方面,提供了一种基于驾驶员心率检测的车辆预警装置,包括:
面部图像获取模块,适于获取驾驶员的面部图像信息,根据所述面部图像信息中包含的面部关键点提取所述面部图像信息中包含的目标区域,获取与所述目标区域相对应的图像像素信息;
波动分析模块,适于针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息;
信号特征提取模块,适于通过独立成分分析算法对所述分析后的图像像素信息进行处理,根据处理结果提取频谱信号特征值;
预警模块,适于根据提取出的频率信号特征值确定与信号峰值相对应的频率,根据所述与信号峰值相对应的频率计算驾驶员的心率,根据所述驾驶员的心率判断是否触发车辆预警信号。
依据本发明的再一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上述的基于驾驶员心率检测的车辆预警方法对应的操作。
依据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述的基于驾驶员心率检测的车辆预警方法对应的操作。
在本发明提供的基于驾驶员心率检测的车辆预警方法及装置中,能够根据面部图像信息检测驾驶员的心率,从而以非接触方式实现检测过程,避免了对驾驶员的干扰。另外,在本实施例中,通过独立成分分析算法、去趋势波动分析算法等处理过程,能够有效克服车辆动态运动过程中造成的光线敏感、鲁棒性差等问题,从而提升心率识别的准确性。由此可见,本实施例中的方式能够引入多种算法以消除识别过程中的误差影响,从而能够在行车过程中以非接触方式检测驾驶员心率并预警。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例一提供的一种基于驾驶员心率检测的车辆预警方法的流程图;
图2示出了本发明实施例二提供的一种基于驾驶员心率检测的车辆预警方法的流程图;
图3示出了本发明实施例三提供的一种基于驾驶员心率检测的车辆预警装置的结构图;
图4示出了本发明实施例五提供的一种电子设备的结构示意图;
图5示出了一个示例提供的基于视觉的驾驶员心率检测方法的流程图;
图6示出了心率异常的判断流程的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
图1示出了本发明实施例一提供的一种基于驾驶员心率检测的车辆预警方法的流程图。如图1所示,该方法包括:
步骤S110:获取驾驶员的面部图像信息,根据面部图像信息中包含的面部关键点提取面部图像信息中包含的目标区域,获取与目标区域相对应的图像像素信息。
具体的,通过安装在车辆中的摄像头实时采集驾驶员的面部图像信息,对面部图像信息进行关键点提取,从而根据提取到的面部关键点确定面部图像信息中包含的目标区域。其中,目标区域主要是指:面部表情活动较少、因而受表情影响较小的区域。为了避免面部表情对识别结果的影响,在本实施例中,将受表情影响较小的区域确定为目标区域。相应的,在后续过程中,仅针对目标区域的图像信息进行处理,从而能够规避因面部表情导致的识别误差。
步骤S120:针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息。
具体的,为了消除环境光的变化对成像结果的影响,通过去趋势波动分析对获取到的图像像素信息进行分析处理,从而得到分析后的图像像素信息。其中,本领域技术人员能够灵活选择各类去趋势波动分析算法,只要能够实现消除环境光影响的目的即可,本发明对去趋势波动分析算法的具体类型不作限定。
步骤S130:通过独立成分分析算法对分析后的图像像素信息进行处理,根据处理结果提取频谱信号特征值。
具体的,为了进一步优化处理结果,避免相关性不大的信号成分对识别结果造成干扰,在本步骤中,通过独立成分分析算法对分析后的图像像素信息进行处理,以便根据处理结果提取频谱信号特征值。由于经过了独立成分分析处理,因而能够使最终提取的频谱信号特征值更加准确。其中,频谱信号特征值主要用于描述图像信号的频谱特征,具体包括波峰、波谷等内容。
步骤S140:根据提取出的频率信号特征值确定与信号峰值相对应的频率,根据与信号峰值相对应的频率计算驾驶员的心率,根据驾驶员的心率判断是否触发车辆预警信号。
具体实施时,通过对提取出的频率信号特征值进行分析,能够提取其中的各个信号峰值,从而确定与信号峰值相对应的频率。由于通过摄像头采集的面部视频中包含与心率相关的光电容积脉搏波描记信号等信号特征,因此,根据信号峰值所对应的频率能够确定驾驶员的心率。具体的,由于心脏跳动将导致人体的血管状态发生改变,这种变化能够通过分析人脸的图像像素而获得,进而能够借此计算人体的心率。另外,频率是指单位时间内完成周期性变化的次数,相应的,当频率所对应的单位时间为秒时,若心率所对应的单位时间为分钟,则将确定的与信号峰值相对应的频率乘以60即得到驾驶员的心率数值。若驾驶员心率异常,则需要触发车辆预警信号,以确保行车安全。
由此可见,在本发明提供的基于驾驶员心率检测的车辆预警方法中,能够根据面部图像信息检测驾驶员的心率,从而以非接触方式实现检测过程,避免了对驾驶员的干扰。另外,在本实施例中,通过独立成分分析算法、去趋势波动分析算法等处理过程,能够有效克服车辆动态运动过程中造成的光线敏感、鲁棒性差等问题,从而提升心率识别的准确性。由此可见,本实施例中的方式能够引入多种算法以消除识别过程中的误差影响,从而能够在行车过程中以非接触方式检测驾驶员心率并预警。
实施例二
图2示出了本发明实施例二提供的一种基于驾驶员心率检测的车辆预警方法的流程图。如图2所示,该方法包括:
步骤S210:获取驾驶员的面部图像信息,根据面部图像信息中包含的面部关键点提取面部图像信息中包含的目标区域。
具体的,通过安装在车辆中的摄像头实时采集驾驶员的面部图像信息,对面部图像信息进行关键点提取,从而根据提取到的面部关键点确定面部图像信息中包含的目标区域。其中,目标区域主要是指:面部表情活动较少、因而受表情影响较小的区域。为了避免面部表情对识别结果的影响,在本实施例中,将受表情影响较小的区域确定为目标区域。相应的,在后续过程中,仅针对目标区域的图像信息进行处理,从而能够规避因面部表情导致的识别误差。
在本实施例中,面部图像信息中包含的目标区域包括:额部区域和/或鼻部区域。由于额头和鼻子受表情影响较小,因而,提取额头和鼻子对应的图像信息进行处理能够提升准确性。
步骤S220:获取与目标区域相对应的图像像素信息。
具体的,当面部图像信息包含多个图像通道时,从多个图像通道所对应的图像像素信息中提取与预设图像通道相对应的图像像素信息。其中,将面部图像信息转换为RGB图像格式的信息。RGB图像格式的信息中包含三个图像通道,分别为与红色相对应的R通道、与绿色相对应的G通道以及与蓝色相对应的B通道。在本实施例中,预设图像通道为G通道,相应的,提取目标区域对应于G通道的图像像素信息。具体原因在于,发明人在实现本发明的过程中发现,G通道对光的反射最为敏感,因此,通过提取G通道的图像像素信息,并剔除其他两个通道的图像像素信息能够显著提升计算准确性。
另外,考虑到面部图像信息是动态更新的,因此,为了便于对实时获取到的面部图像进行及时处理,借助预设像素集合对图像信息进行存储。具体的,分别针对面部图像信息中包含的各个图像帧,计算各个图像帧对应于预设图像通道的像素统计结果;将多个连续的图像帧对应于预设图像通道的像素统计结果添加到预设像素集合中,根据该预设像素集合获取与目标区域相对应的图像像素信息。其中,像素统计结果可以为各种统计方式所获得的结果,既可以是计算像素平均值的方式,也可以是计算像素最大值或最小值的方式。在本实施例中,像素统计结果包括:像素平均值。其中,预设像素集合用于存储与实时获取的当前图像帧相对应的多个连续的图像帧,且预设像素集合能够根据实时获取的面部图像信息进行动态更新。
步骤S230:针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息。
具体的,为了消除环境光的变化对成像结果的影响,通过去趋势波动分析对获取到的图像像素信息进行分析处理,从而得到分析后的图像像素信息。具体实施时,通过HP滤波算法对获取到的图像像素信息执行去趋势波动分析后,进一步通过巴特沃斯带通滤波算法滤除噪声信息,以得到分析后的图像像素信息。
步骤S240:通过独立成分分析算法对分析后的图像像素信息进行处理,根据处理结果提取频谱信号特征值。
具体的,为了进一步优化处理结果,避免相关性不到的信号成分对识别结果造成干扰,在本步骤中,通过独立成分分析算法对分析后的图像像素信息进行处理,以便根据处理结果提取频谱信号特征值。由于经过了独立成分分析处理,因而能够使最终提取的频谱信号特征值更加准确。其中,频谱信号特征值主要用于描述图像信号的频谱特征,具体包括波峰、波谷等内容。
步骤S250:根据提取出的频率信号特征值确定与信号峰值相对应的频率,根据与信号峰值相对应的频率计算驾驶员的心率,根据驾驶员的心率判断是否触发车辆预警信号。
具体的,通过时序差分算法对提取出的频率信号特征值执行时序差分处理,得到时序差分处理后的频率信号特征值;针对时序差分处理后的频率信号特征值进行傅里叶变换,根据变换结果提取最大峰值对应的频率。由于通过摄像头采集的面部视频中包含与心率相关的光电容积脉搏波描记信号等信号特征,因此,根据信号峰值所对应的频率能够确定驾驶员的心率。
若驾驶员心率异常,则需要触发车辆预警信号,以确保行车安全。具体的,将实时获取的驾驶员的心率与驾驶员的历史平均心率进行对比计算,根据对比计算结果判断是否触发车辆预警信号。例如,若实时获取的驾驶员的心率与驾驶员的历史平均心率相差较大,则说明驾驶员心率异常,需要触发车辆预警信号。
为了便于理解,下面以一个具体示例为例,详细描述本发明实施例二的具体实现细节:
本示例主要提供了一种非接触式的基于视觉的驾驶员心率检测算法,不会影响到驾驶员的车辆行驶。该算法只需要利用车内摄像头便可以较高精度的实时获取驾驶员心率,无需借助其它传感器设备。其中,在传统视觉方案的基础上引入独立成分分析算法、去趋势滤波算法和时域差分算法等,能够有效克服动态运动伪影误差、光线敏感、鲁棒性差等缺点。
其中,用于实施该方法的设备主要包括以下单元:
检测单元:首先检测车辆驾驶员是否存在,如果存在就直接获取驾驶员的面部特征信息,并将面部特征信息传给计算单元,否则计算单元将不会计算车辆驾驶员的心率。检测单元所需要的传感器可以是车载的摄像头。
计算单元:通过算法对检测单元采集到的驾驶员面部区域信息进行分析,获得车辆驾驶员的实时心率,计算单元可以是独立的汽车ECU单元,比如运行在车机、仪表等硬件系统上的软件算法模块。
控制单元:根据算法模块得到的车辆驾驶员的心率结果,并结合车内外环境、车速、驾驶员状态等因素,控制车内的报警模块为打开/关闭状态。
存储单元:用以存储车内摄像头检测到的驾驶员人脸信息、驾驶员的实时心率数据、车内外环境信息、紧急联系人或者110报警电话信息、车辆驾驶员是否激活心率异常报警功能的信息。
报警单元:根据控制单元的指令进行异常提醒或者远程拨打电话报警。
本示例提供的基于视觉的驾驶员心率检测方法主要包括以下步骤:
步骤一、车辆驾驶员启动车辆正常行驶。
步骤二、利用检测单元获取到驾驶员的实时人脸数据。
步骤三、把实时人脸数据传递给计算单元。
步骤四、分析实时人脸数据的区域像素信息,计算获得驾驶员的实时心率。
步骤五、将实时心率传递给控制单元,首先判断实时心率是否发生异常,如果没有发生异常则返回步骤二。
步骤六、如果发现异常,触发控制指令以打开报警单元,实时对驾驶员进行报警提醒。
步骤七、如果驾驶员及时做出调整(比如,减速慢行、停车休息、服用药物、辅助治疗等),则回到步骤二。
步骤八、如果长时间心率异常,并且驾驶员没有调整行为,报警单元会自动拨打紧急联系电话和110报警电话。
其中,上述的步骤四描述的“分析实时人脸数据的区域像素信息,计算获得驾驶员的实时心率”的过程为本实施例中的核心内容,因此,下面针对步骤四的具体实现细节进行描述:
首先,获取摄像头像素信息,若获取到的不是RGB图像格式则转换成RGB图像格式。然后,利用Haar人脸特征提取算法检测驾驶员人脸并提取关键点,根据关键点确定额头和鼻子为ROI区域,获取这两个区域的RGB图像像素信息。其中,需要获取ROI区域的G通道像素信息。接下来,计算同一帧里ROI区域的G通道平均像素为ai,记录每一帧的时间为ti。累积获取连续视频信息的ROI区域的G通道像素集合A={ai},对应的时间信息为T={ti}。当累积到i=N(N根据硬件质量可调,建议范围300-600)时进行下述的计算操作:引入HP滤波算法对G通道像素集合A进行去趋势波动分析,消除环境光变化对成像结果的影响,并使用巴特沃斯带通滤波算法滤除ROI区域的噪声信息(保留区域为0.5—5HZ),得到A’。然后,使用ICA独立成分分析算法处理A’,进一步优化提取频谱信号特征值为A”。接下来,引入时序差分算法,对A”进行时序差分处理,可以消除运动伪影,得到A”’。对A”’进行傅里叶变换,提取最大峰值对应的频率Fmax。心率HR=60*Fmax。
其中,当i=N+1时,将a0、t0剔除,所有的i=i-1,从而更新上述的G通道像素集合A,如此便可实时检测驾驶员心率。为了便于理解,图5示出了本示例提供的基于视觉的驾驶员心率检测方法的流程图。另外,图6示出了心率异常的判断流程的示意图。具体的,在判断驾驶员心率是否异常时,通过以下步骤实现:
步骤一、获取实时心率HR0;
步骤二、判断实时心率心率是否在正常范围(安静状态下,成人正常心率为60~100次/分钟,理想心率应为55~70次/分钟。运动员的心率较普通成人偏慢,一般为每分钟50次左右);
步骤三、实时心率若不在正常范围,系统则进行警报,若心率正常进入步骤四;
步骤四:将HR0与历史平均心率HR1进行对比计算:K=(HR0-HR1)/HR1;
步骤五:若K小于30%,则跳转到步骤一,若K大于30%,系统进行警报。
综上可知,本发明实施例只需要车内的摄像头,成本低廉,并且能够较好克服司机在行车途中的复杂车内环境、运动噪声等干扰。实时评估驾驶员的行车健康状态,若心率一旦出现异常,可以及时采取对应的提醒措施,预防意外发生。本发明提出的驾驶员心率检测方法能够非接触式的实时获取驾驶员心率,不会影响驾驶员的行车状态;成本低廉,只需要利用车内摄像头便可以完成检测;算法稳定性好,可以有效克服车辆行驶过程中的光线变化、运动噪声等干扰;可以实时评估驾驶员的行车健康状态,若心率一旦出现异常,可以及时采取对应的提醒措施,防止意外发生。
实施例三
图3示出了本发明实施例三提供的一种基于驾驶员心率检测的车辆预警装置的结构示意图,具体包括:
面部图像获取模块31,适于获取驾驶员的面部图像信息,根据所述面部图像信息中包含的面部关键点提取所述面部图像信息中包含的目标区域,获取与所述目标区域相对应的图像像素信息;
波动分析模块32,适于针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息;
信号特征提取模块33,适于通过独立成分分析算法对所述分析后的图像像素信息进行处理,根据处理结果提取频谱信号特征值;
预警模块34,适于根据提取出的频率信号特征值确定与信号峰值相对应的频率,根据所述与信号峰值相对应的频率计算驾驶员的心率,根据所述驾驶员的心率判断是否触发车辆预警信号。
可选的,所述面部图像信息中包含的目标区域包括:额部区域和/或鼻部区域,且所述面部图像获取模块具体适于:
从多个图像通道所对应的图像像素信息中提取与预设图像通道相对应的图像像素信息;其中,所述预设图像通道包括G通道。
可选的,所述面部图像获取模块具体适于:
分别针对所述面部图像信息中包含的各个图像帧,计算各个图像帧对应于预设图像通道的像素统计结果;
将多个连续的图像帧对应于预设图像通道的像素统计结果添加到预设像素集合中,根据所述预设像素集合获取与所述目标区域相对应的图像像素信息。
可选的,所述像素统计结果包括:像素平均值;
并且,所述预设像素集合用于存储与实时获取的当前图像帧相对应的多个连续的图像帧,且所述预设像素集合根据实时获取的面部图像信息进行动态更新。
可选的,所述波动分析模块具体适于:
通过HP滤波算法对获取到的图像像素信息执行去趋势波动分析后,进一步通过巴特沃斯带通滤波算法滤除噪声信息,以得到分析后的图像像素信息。
可选的,所述预警模块具体适于:
通过时序差分算法对提取出的频率信号特征值执行时序差分处理,得到时序差分处理后的频率信号特征值;
针对所述时序差分处理后的频率信号特征值进行傅里叶变换,根据变换结果提取最大峰值对应的频率。
可选的,所述预警模块具体适于:
将实时获取的驾驶员的心率与驾驶员的历史平均心率进行对比计算,根据对比计算结果判断是否触发车辆预警信号。
上述各个模块的具体实现原理可参照方法实施例中相应部分的描述,此次不再赘述。
实施例四
本申请实施例四提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的基于驾驶员心率检测的车辆预警方法。可执行指令具体可以用于使得处理器执行上述方法实施例中对应的各个操作。
实施例五
图4示出了根据本发明实施例五的一种电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)406、存储器(memory)404、以及通信总线408。
其中:
处理器402、通信接口406、以及存储器404通过通信总线408完成相互间的通信。
通信接口406,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402,用于执行程序410,具体可以执行上述基于驾驶员心率检测的车辆预警方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(Application Spec如果ic Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器404,用于存放程序410。存储器404可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述方法实施例中对应的各个操作。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种基于驾驶员心率检测的车辆预警方法,其特征在于,包括:
获取驾驶员的面部图像信息,根据所述面部图像信息中包含的面部关键点提取所述面部图像信息中包含的目标区域,获取与所述目标区域相对应的图像像素信息;
针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息;
通过独立成分分析算法对所述分析后的图像像素信息进行处理,根据处理结果提取频谱信号特征值;
根据提取出的频率信号特征值确定与信号峰值相对应的频率,根据所述与信号峰值相对应的频率计算驾驶员的心率,根据所述驾驶员的心率判断是否触发车辆预警信号。
2.根据权利要求1所述的方法,其特征在于,所述面部图像信息中包含的目标区域包括:额部区域和/或鼻部区域,且所述获取与所述目标区域相对应的图像像素信息包括:
从多个图像通道所对应的图像像素信息中提取与预设图像通道相对应的图像像素信息;其中,所述预设图像通道包括G通道。
3.根据权利要求1所述的方法,其特征在于,所述获取与所述目标区域相对应的图像像素信息包括:
分别针对所述面部图像信息中包含的各个图像帧,计算各个图像帧对应于预设图像通道的像素统计结果;
将多个连续的图像帧对应于预设图像通道的像素统计结果添加到预设像素集合中,根据所述预设像素集合获取与所述目标区域相对应的图像像素信息。
4.根据权利要求3所述的方法,其特征在于,所述像素统计结果包括:像素平均值;
并且,所述预设像素集合用于存储与实时获取的当前图像帧相对应的多个连续的图像帧,且所述预设像素集合根据实时获取的面部图像信息进行动态更新。
5.根据权利要求1所述的方法,其特征在于,所述针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息包括:
通过HP滤波算法对获取到的图像像素信息执行去趋势波动分析后,进一步通过巴特沃斯带通滤波算法滤除噪声信息,以得到分析后的图像像素信息。
6.根据权利要求1所述的方法,其特征在于,所述根据提取出的频率信号特征值确定与信号峰值相对应的频率包括:
通过时序差分算法对提取出的频率信号特征值执行时序差分处理,得到时序差分处理后的频率信号特征值;
针对所述时序差分处理后的频率信号特征值进行傅里叶变换,根据变换结果提取最大峰值对应的频率。
7.根据权利要求1-6任一所述的方法,其特征在于,所述根据所述驾驶员的心率判断是否触发车辆预警信号包括:
将实时获取的驾驶员的心率与驾驶员的历史平均心率进行对比计算,根据对比计算结果判断是否触发车辆预警信号。
8.一种基于驾驶员心率检测的车辆预警装置,包括:
面部图像获取模块,适于获取驾驶员的面部图像信息,根据所述面部图像信息中包含的面部关键点提取所述面部图像信息中包含的目标区域,获取与所述目标区域相对应的图像像素信息;
波动分析模块,适于针对获取到的图像像素信息执行去趋势波动分析,得到分析后的图像像素信息;
信号特征提取模块,适于通过独立成分分析算法对所述分析后的图像像素信息进行处理,根据处理结果提取频谱信号特征值;
预警模块,适于根据提取出的频率信号特征值确定与信号峰值相对应的频率,根据所述与信号峰值相对应的频率计算驾驶员的心率,根据所述驾驶员的心率判断是否触发车辆预警信号。
9.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于驾驶员心率检测的车辆预警方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于驾驶员心率检测的车辆预警方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011109994.2A CN112389444B (zh) | 2020-10-16 | 2020-10-16 | 基于驾驶员心率检测的车辆预警方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011109994.2A CN112389444B (zh) | 2020-10-16 | 2020-10-16 | 基于驾驶员心率检测的车辆预警方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112389444A true CN112389444A (zh) | 2021-02-23 |
CN112389444B CN112389444B (zh) | 2022-04-12 |
Family
ID=74596623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011109994.2A Active CN112389444B (zh) | 2020-10-16 | 2020-10-16 | 基于驾驶员心率检测的车辆预警方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112389444B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012239661A (ja) * | 2011-05-20 | 2012-12-10 | Fujitsu Ltd | 心拍数・呼吸数検出装置,方法およびプログラム |
CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
CN108135534A (zh) * | 2015-08-26 | 2018-06-08 | 瑞思迈传感器技术有限公司 | 监测和管理慢性疾病的系统与方法 |
CN108154095A (zh) * | 2017-12-14 | 2018-06-12 | 北京汽车集团有限公司 | 一种确定疲劳驾驶的方法、装置和车辆 |
TW201922168A (zh) * | 2017-11-20 | 2019-06-16 | 金寶電子工業股份有限公司 | 可偵測睡眠呼吸中止的穿戴式裝置及其偵測方法 |
CN109993950A (zh) * | 2019-04-14 | 2019-07-09 | 杭州拓深科技有限公司 | 一种基于消防报警设备的大数据火灾预测方法 |
CN110077414A (zh) * | 2019-04-04 | 2019-08-02 | 合肥思艾汽车科技有限公司 | 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 |
CN110930641A (zh) * | 2019-11-28 | 2020-03-27 | 同济大学 | 一种基于生理信息分析的疲劳驾驶预警系统及方法 |
CN111657889A (zh) * | 2020-06-03 | 2020-09-15 | 大连理工大学 | 一种基于毫米波雷达的非接触式驾驶员疲劳检测方法 |
-
2020
- 2020-10-16 CN CN202011109994.2A patent/CN112389444B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012239661A (ja) * | 2011-05-20 | 2012-12-10 | Fujitsu Ltd | 心拍数・呼吸数検出装置,方法およびプログラム |
CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
CN108135534A (zh) * | 2015-08-26 | 2018-06-08 | 瑞思迈传感器技术有限公司 | 监测和管理慢性疾病的系统与方法 |
TW201922168A (zh) * | 2017-11-20 | 2019-06-16 | 金寶電子工業股份有限公司 | 可偵測睡眠呼吸中止的穿戴式裝置及其偵測方法 |
CN108154095A (zh) * | 2017-12-14 | 2018-06-12 | 北京汽车集团有限公司 | 一种确定疲劳驾驶的方法、装置和车辆 |
CN110077414A (zh) * | 2019-04-04 | 2019-08-02 | 合肥思艾汽车科技有限公司 | 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 |
CN109993950A (zh) * | 2019-04-14 | 2019-07-09 | 杭州拓深科技有限公司 | 一种基于消防报警设备的大数据火灾预测方法 |
CN110930641A (zh) * | 2019-11-28 | 2020-03-27 | 同济大学 | 一种基于生理信息分析的疲劳驾驶预警系统及方法 |
CN111657889A (zh) * | 2020-06-03 | 2020-09-15 | 大连理工大学 | 一种基于毫米波雷达的非接触式驾驶员疲劳检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112389444B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107427242B (zh) | 脉波检测装置、以及脉波检测程序 | |
CN107427233B (zh) | 脉波检测装置、以及脉波检测程序 | |
EP2457499B1 (en) | Line-of-sight estimation device | |
CN114648749A (zh) | 一种生理状态检测方法、装置、电子设备及存储介质 | |
US8503737B2 (en) | Visual line estimating apparatus | |
CN112389444B (zh) | 基于驾驶员心率检测的车辆预警方法及装置 | |
CN115349865A (zh) | 驾驶员心电信号分析方法、装置及存储介质 | |
JP3012226B2 (ja) | 居眠り運転防止装置 | |
JP2024518677A (ja) | Rgb画像から心拍数を抽出するための方法及びシステム | |
Lee et al. | Video analytic based health monitoring for driver in moving vehicle by extracting effective heart rate inducing features | |
JP7393537B2 (ja) | 融合センサ測定値を判定する方法及び融合センサ測定値を用いる車両安全システム | |
JP6796525B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP7420000B2 (ja) | 状態判定装置、状態判定システム、および制御方法 | |
WO2017154477A1 (ja) | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 | |
CN110584650A (zh) | 一种基于hrv的驾驶舒适度量化方法、装置和存储介质 | |
KR101988581B1 (ko) | 운전자 상태 추정 방법 | |
CN106725322B (zh) | 确定处于睡眠临界区的方法及装置 | |
US10307082B2 (en) | Method and apparatus for herpes zoster diagnosis and recording medium using the method | |
WO2023103295A1 (zh) | 生理状态检测方法、装置、电子设备、存储介质和计算机程序产品 | |
CN113561989B (zh) | 基于心电信号的危险驾驶状态检测方法、设备及存储介质 | |
WO2024184985A1 (ja) | 眠気判定装置及び眠気判定方法 | |
US20240324926A1 (en) | Driver abnormality sign detection method, device and circuit therefor | |
WO2022168246A1 (ja) | 生体情報検出装置及び生体情報検出方法 | |
JP2023115492A (ja) | 生体情報推定方法および生体情報推定装置 | |
CN118830842A (zh) | 一种基于智能手表结合dms的疲劳驾驶监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PP01 | Preservation of patent right |
Effective date of registration: 20230131 Granted publication date: 20220412 |
|
PP01 | Preservation of patent right | ||
PD01 | Discharge of preservation of patent |
Date of cancellation: 20240108 Granted publication date: 20220412 |
|
PD01 | Discharge of preservation of patent | ||
PP01 | Preservation of patent right |
Effective date of registration: 20240428 Granted publication date: 20220412 |
|
PP01 | Preservation of patent right |