CN113454645B - 驾驶状态检测方法及装置、设备、存储介质、系统、车辆 - Google Patents
驾驶状态检测方法及装置、设备、存储介质、系统、车辆 Download PDFInfo
- Publication number
- CN113454645B CN113454645B CN202180002001.8A CN202180002001A CN113454645B CN 113454645 B CN113454645 B CN 113454645B CN 202180002001 A CN202180002001 A CN 202180002001A CN 113454645 B CN113454645 B CN 113454645B
- Authority
- CN
- China
- Prior art keywords
- data
- driving state
- driver
- state
- confidence interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 136
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 50
- 230000002159 abnormal effect Effects 0.000 claims description 147
- 238000009826 distribution Methods 0.000 claims description 90
- 230000007246 mechanism Effects 0.000 claims description 47
- 230000005856 abnormality Effects 0.000 claims description 29
- 230000006399 behavior Effects 0.000 claims description 25
- 230000035790 physiological processes and functions Effects 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000008844 regulatory mechanism Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 57
- 230000008451 emotion Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 23
- 230000014509 gene expression Effects 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000002996 emotional effect Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000036387 respiratory rate Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 230000036760 body temperature Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000035565 breathing frequency Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000000341 volatile oil Substances 0.000 description 2
- 235000004936 Bromus mango Nutrition 0.000 description 1
- 235000005976 Citrus sinensis Nutrition 0.000 description 1
- 240000002319 Citrus sinensis Species 0.000 description 1
- 244000178870 Lavandula angustifolia Species 0.000 description 1
- 235000010663 Lavandula angustifolia Nutrition 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002763 arrhythmic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000001102 lavandula vera Substances 0.000 description 1
- 235000018219 lavender Nutrition 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 235000002020 sage Nutrition 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Landscapes
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种驾驶状态检测方法及装置、设备、存储介质、系统、车辆。本申请一实施例的驾驶状态检测方法中,先获取驾驶员的状态数据,再通过判断状态数据中的至少两种指标数据中落入置信区间的数量是否大于第一预定值来确定驾驶员的驾驶状态。本申请的技术方案可以用于智能汽车领域,能够以较低的计算复杂度准确、高效并实时地检测驾驶员的驾驶状态。
Description
技术领域
本发明涉及智能汽车领域,尤其涉及一种驾驶状态检测方法及装置、设备、存储介质、系统、车辆。
背景技术
车辆驾驶员的状态直接影响车辆行驶的安全。驾驶员的情绪波动、疲劳、注意力分散等都可能直接引起交通事故的发生。
目前,驾驶员状态的检测技术多依赖于监督学习模型或图像识别模型,其对不同人的驾驶状态、同一人在不同时期的驾驶状态检测准确性差异较大,且计算复杂度高,导致硬件成本高、优化难。
发明内容
鉴于以上问题,本申请提供一种驾驶状态检测方法及装置、设备、存储介质、系统、车辆,能够以较低的计算复杂度准确、高效、实时地检测驾驶员的驾驶状态。
为达到上述目的,本申请第一方面提供一种驾驶状态检测方法,包括:
获取驾驶员的状态数据,状态数据包括至少两种指标数据;
在至少两种指标数据中,落入第一置信区间的指标数据的数量大于第一预定值时,将第一置信区间对应的驾驶状态确定为驾驶员的驾驶状态。
通过获取包括至少两种指标数据的状态数据,判断落入第一置信区间的指标数据的数量是否大于第一预定值,可直接确定驾驶员的驾驶状态,不受采集环境影响,数据的处理、传输等对算力、带宽的要求较低,并且通过使用个性化的第一置信区间便可实现个性化的驾驶状态检测,由此,能够以较低的计算复杂度准确、高效并实时地检测特定用户的驾驶状态,同时提升用户体验和降低应用成本。
作为第一方面的一种可能的实现方式,至少两种指标数据用于指示生理状态和/或驾驶行为。由此,通过指示生理状态和/或驾驶行为的至少两种指标,可以全面、准确地感知用户的人体状况,便于综合考虑驾驶员驾车时的各项人体特征来确定其驾驶状态,可进一步提高驾驶状态检测的准确性。
作为第一方面的一种可能的实现方式,驾驶状态包括正常驾驶状态或异常驾驶状态,第一置信区间对应于正常驾驶状态或异常驾驶状态。由此,通过对应于正常驾驶状态或异常驾驶状态的第一置信区间,即可直接确定驾驶状态是正常或异常,无需借助诸如表情、情绪等中间特征,降低计算复杂度的同时减少了误识别或漏识别。
作为第一方面的一种可能的实现方式,第一置信区间包括与至少两种指标数据一一对应的置信区间。由此,通过在第一置信区间中包含对应各个指标数据的置信区间,便于综合考虑驾驶员驾车时的各项人体特征来确定其驾驶状态,可进一步提高驾驶状态检测的准确性。
作为第一方面的一种可能的实现方式,第一置信区间是通过如下方式获得的:
基于驾驶员的状态数据库进行聚类以形成对应于驾驶状态的数据集,驾驶员的状态数据库中包含预先获得的驾驶员的状态数据;
对数据集进行数据分布拟合,以确定数据集的数据分布属于正态分布或偏态分布;
根据数据集的数据分布,确定对应于驾驶状态的第一置信区间。
由此,通过对用户的状态数据进行聚类便可获得用户自己的第一置信区间,实现第一置信区间的因人而异,进而实现驾驶状态检测的个性化,进一步提高了驾驶状态检测的准确性,同时减少了因检测标准统一而带来的漏识别或误识别。
作为第一方面的一种可能的实现方式,对数据集进行数据分布拟合,具体包括:
对数据集中的状态数据进行切分,得到多个数据切片,多个数据切片中的每个数据切片的宽度相同;
以多个数据切片中数据量最大的数据切片作为数据集的中位区间;
数据集在第一区间的数据量与数据集在第二区间的数据量相等时,数据集的数据分布为正态分布;
数据集在第一区间的数据量与数据集在第二区间的数据量不相等时,数据集的数据分布为偏态分布;
其中,第一区间和第二区间是根据中位区间分割数据集的数据区间而得到的。
由此,通过区间切分与数据计数、中位区间左右半边数据个数比较,来判断数据集是正态分布还是偏态分布,兼具了复杂度低和数据分布拟合准确的效果,可以进一步降低硬件成本、提升用户驾驶状态检测的准确性。
作为第一方面的一种可能的实现方式,驾驶状态检测方法还包括:在状态数据的至少两种指标数据中,落入第一置信区间的指标数据的数量小于或等于第一预定值时,根据状态数据与第一数据中心的距离确定驾驶员的驾驶状态。由此,通过状态数据到第一数据中心的距离确定驾驶状态,能够在第一置信区间无法确定驾驶状态时,辅助性地完成用户驾驶状态的检测,进而以较低的计算复杂度实现用户驾驶状态的实时、高效和准确的检测。
作为第一方面的一种可能的实现方式,驾驶状态包括正常驾驶状态或异常驾驶状态,第一数据中心对应于正常驾驶状态或异常驾驶状态。由此,通过对应于正常驾驶状态或异常驾驶状态的第一数据中心,便可直接确定驾驶状态是正常还是异常,无需借助诸如表情、情绪等中间特征,降低计算复杂度的同时减少了误识别或漏识别。
作为第一方面的一种可能的实现方式,根据状态数据与第一数据中心的距离确定驾驶员的驾驶状态,包括:
在两个第一数据中心中,将更靠近状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态;或者,
在三个或三个以上的第一数据中心中,将最靠近状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态。
通过确定更靠近或最靠近状态数据的第一数据中心,便可直接确定驾驶状态,能够以较低的计算复杂度实现用户驾驶状态的实时、高效和准确的检测。
作为第一方面的一种可能的实现方式,根据状态数据与第一数据中心的距离确定驾驶员的驾驶状态,包括:第一距离与第二距离之间差值的绝对值大于第一距离和第二距离的均值时,确定驾驶状态为正常驾驶状态;第一距离与第二距离之间差值的绝对值小于或等于第一距离和第二距离的均值时,确定驾驶状态为异常驾驶状态;第一距离是状态数据与对应正常驾驶状态的第一数据中心的距离,第二距离是状态数据与对应异常驾驶状态的第一数据中心的距离。由此,通过比较距离之间的差值和均值来确定更靠近或最靠近状态数据的第一数据中心,计算复杂度低,易于实现。
作为第一方面的一种可能的实现方式,驾驶状态检测方法还包括:在驾驶员的状态数据落入率大于或等于第三预定值时,将落入第一置信区间的指标数据的数量小于或等于第一预定值的状态数据添加至驾驶员的状态数据库中。
在状态数据落入率较高的情况下,将落入第一置信区间的指标数据数量小于或等于第一预定值的状态数据添加到状态数据库中,由此,能够在完善用户数据画像的同时,减少进入状态数据库的冗余数据,进一步降低数据计算量和计算复杂度。
作为第一方面的一种可能的实现方式,驾驶状态检测方法还包括:驾驶状态为异常驾驶状态的持续时长大于或等于第二预定值时,采用包含有如下模态的一种或多种调节机制调节驾驶状态:视觉模态、听觉模态、嗅觉模态、触觉模态。
由此,能够在异常驾驶状态持续一段时间的情况下采用多模态调节机制进行驾驶状态的调节,实现了用户异常驾驶状态的及时有效干预。
作为第一方面的一种可能的实现方式,调节机制根据驾驶员的异常等级确定,异常等级根据状态数据和对应于驾驶状态的第一置信区间确定。由此,通过状态数据和第一置信区间来确定异常等级,以及通过异常等级确定调节机制,能够针对不同异常程度采用相适应的方式进行状态调节,显著提升异常驾驶状态干预的效果。
作为第一方面的一种可能的实现方式,驾驶状态检测方法还包括:在第一时间间隔之后重新确定驾驶员的第一异常等级,第一时间间隔与第一异常等级相对应。由此,针对不同的异常程度采用不同时间间隔重新评估,更符合用户驾驶状态改善的实际情况,能够显著提升异常驾驶状态干预的效果。
作为第一方面的一种可能的实现方式,调节机制中的模态是随机选定的。由此,通过随机选定调节机制中的模态,能够有效提升调节机制的抗耐受性。
本申请第二方面提供一种驾驶状态检测装置,包括:
获取单元,用于获取驾驶员的状态数据,状态数据包括至少两种指标数据;
确定单元,用于在至少两种指标数据中,落入第一置信区间的指标数据的数量大于第一预定值时,将第一置信区间对应的驾驶状态确定为驾驶员的驾驶状态。
由此,通过获取包括至少两种指标数据的状态数据,判断落入第一置信区间的指标数据的数量是否大于第一预定值,便可直接确定驾驶员的驾驶状态,不受采集环境影响,数据的处理、传输等对算力、带宽的要求较低,并且通过使用个性化的第一置信区间便可实现个性化的驾驶状态检测,由此,能够以较低的计算复杂度准确、高效并实时地检测特定用户的驾驶状态,同时提升用户体验和降低应用成本。
作为第二方面的一种可能的实现方式,至少两种指标数据用于指示生理状态和/或驾驶行为。由此,通过指示生理状态和/或驾驶行为的至少两种指标,可以全面、准确地感知用户的人体状况,便于综合考虑驾驶员驾车时的各项人体特征来确定其驾驶状态,可进一步提高驾驶状态检测的准确性。
作为第二方面的一种可能的实现方式,驾驶状态包括正常驾驶状态和异常驾驶状态,第一置信区间对应于正常驾驶状态或异常驾驶状态。由此,通过对应于正常驾驶状态或异常驾驶状态的第一置信区间,即可直接确定驾驶状态是正常还是异常,无需借助诸如表情、情绪等中间特征,降低计算复杂度的同时减少了误识别或漏识别。
作为第二方面的一种可能的实现方式,驾驶状态检测装置还包括:计算单元,计算单元用于:
基于驾驶员的状态数据库进行聚类以形成对应于驾驶状态的数据集,驾驶员的状态数据库中包含预先获得的驾驶员的状态数据;
对数据集进行数据分布拟合,以确定数据集的数据分布属于正态分布或偏态分布;
根据数据集的数据分布,确定对应于驾驶状态的第一置信区间。
由此,通过对用户的状态数据进行聚类便可获得用户自己的第一置信区间,实现第一置信区间的因人而异,进而实现驾驶状态检测的个性化,进一步提高了驾驶状态检测的准确性,同时减少了因检测标准统一而带来的漏识别或误识别。
作为第二方面的一种可能的实现方式,计算单元具体用于:
对数据集中的状态数据进行切分,得到多个数据切片,多个数据切片中的每个数据切片的宽度相同;
以多个数据切片中数据量最大的数据切片作为数据集的中位区间;
数据集在第一区间的数据量与数据集在第二区间的数据量相等时,数据集的数据分布为正态分布;
数据集在第一区间的数据量与数据集在第二区间的数据量不相等时,数据集的数据分布为偏态分布;
其中,第一区间和第二区间是根据中位区间分割数据集的数据区间而得到的。
由此,通过区间切分与数据计数、中位区间左右半边数据个数比较,来判断数据集是正态分布还是偏态分布,兼具了复杂度低和数据分布拟合准确的效果,可以进一步降低硬件成本、提升用户驾驶状态检测的准确性。
作为第二方面的一种可能的实现方式,确定单元,还用于在至少两种指标数据中,落入第一置信区间的指标数据的数量小于或等于第一预定值时,根据状态数据与第一数据中心的距离确定驾驶员的驾驶状态。由此,通过状态数据到第一数据中心的距离确定驾驶状态,能够在第一置信区间无法确定驾驶状态时,辅助性地完成用户驾驶状态的检测,进而以较低的计算复杂度实现用户驾驶状态的实时、高效和准确的检测。
作为第二方面的一种可能的实现方式,确定单元,具体用于在两个第一数据中心中,将更靠近状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态;或者,在三个或三个以上的第一数据中心中,将最靠近状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态。由此,通过对应于正常驾驶状态或异常驾驶状态的第一数据中心,便可直接确定驾驶状态是正常还是异常,无需借助诸如表情、情绪等中间特征,降低计算复杂度的同时减少了误识别或漏识别。
作为第二方面的一种可能的实现方式,确定单元,具体用于:
第一距离与第二距离之间差值的绝对值大于第一距离和第二距离的均值时,确定驾驶状态为正常驾驶状态;
第一距离与第二距离之间差值的绝对值小于或等于第一距离和第二距离的均值时,确定驾驶状态为异常驾驶状态;
第一距离是状态数据与对应正常驾驶状态的第一数据中心的距离,第二距离是状态数据与对应异常驾驶状态的第一数据中心的距离。
由此,通过比较距离之间的差值和均值来确定更靠近或最靠近状态数据的第一数据中心,计算复杂度低,易于实现。
作为第二方面的一种可能的实现方式,驾驶状态检测装置还包括:数据库更新单元,用于在驾驶员的状态数据落入率大于或等于第三预定值时,将落入第一置信区间的指标数据的数量小于或等于第一预定值的状态数据添加至驾驶员的状态数据库中。由此,在状态数据落入率较高的情况下,将落入第一置信区间的指标数据数量小于或等于第一预定值的状态数据添加到状态数据库中,能够在完善用户数据画像的同时,减少进入状态数据库的冗余数据,进一步降低数据计算量和计算复杂度。
作为第二方面的一种可能的实现方式,驾驶状态检测装置还包括:调节单元,用于在驾驶状态为异常驾驶状态的持续时长大于或等于第二预定值时,采用包含有如下模态的一种或多种调节机制调节驾驶状态:视觉模态、听觉模态、嗅觉模态、触觉模态。由此,能够在异常驾驶状态持续一段时间的情况下采用多模态调节机制进行驾驶状态的调节,实现了用户异常驾驶状态的及时有效干预。
作为第二方面的一种可能的实现方式,调节机制根据驾驶员的异常等级确定,异常等级根据状态数据和对应于驾驶状态的第一置信区间确定。由此,通过状态数据和第一置信区间来确定异常等级,以及通过异常等级确定调节机制,能够针对不同异常程度采用相适应的方式进行状态调节,显著提升异常驾驶状态干预的效果。
作为第二方面的一种可能的实现方式,调节单元,还用于在第一时间间隔之后重新确定驾驶员的第一异常等级,第一时间间隔与第一异常等级相对应。由此,可以针对不同的异常程度采用不同时间间隔重新评估,更符合用户驾驶状态改善的实际情况,能够显著提升异常驾驶状态干预的效果。
作为第二方面的一种可能的实现方式,调节机制中的模态是由调节单元随机选定的。由此,通过随机选定调节机制中的模态,能够有效提升调节机制的抗耐受性。
本申请第三方面提供一种计算设备,包括:一个或多个处理器和存储器,存储器存储有程序指令,程序指令当被所述一个或多个处理器执行时使得处理器执行第一方面及可能的实现方式中的驾驶状态检测方法。
上述计算设备可以较低的计算复杂度准确、高效并实时地检测特定用户的驾驶状态,同时提升用户体验和降低应用成本。
本申请第四方面提供一种计算机可读存储介质,其上存储有程序指令,程序指令当被计算机执行时使得计算机执行第一方面及可能的实现方式中的驾驶状态检测方法。
本申请第五方面提供一种驾驶员监测系统,包括第二方面及可能的实现方式中的驾驶状态检测装置或第三方面中的计算设备。
本申请第六方面提供一种车辆,包括第二方面及可能的实现方式中的驾驶状态检测装置、第三方面中的计算设备、或第五方面中的驾驶员监测系统。
本申请实施例只需获取驾驶员当前的状态数据,便可通过置信区间直接确定驾驶员的驾驶状态,无需运行复杂模型即可实现,更为高效、准确。并且,无需借助诸如表情、情绪类型等中间特征,降低计算复杂度的同时可以进一步地减少误识别或漏识别。
附图说明
以下参照附图来进一步说明本发明的各个特征和各个特征之间的联系。附图均为示例性的,一些特征并不以实际比例示出,并且一些附图中可能省略了本申请所涉及领域的惯常的且对于本申请非必要的特征,或是额外示出了对于本申请非必要的特征,附图所示的各个特征的组合并不用以限制本申请。另外,在本说明书全文中,相同的附图标记所指代的内容也是相同的。具体的附图说明如下:
图1是一种基于情绪识别的智能刹车方法的流程示意图;
图2是一种基于生理与操控信息的驾驶员情绪状态车载识别交互系统示意图;
图3是本申请实施例提供的驾驶状态检测方法的流程示意图;
图4是本申请实施例提供的驾驶状态检测装置的结构示意图;
图5是本申请一示例性实施例中驾驶状态检测的实现流程示意图;
图6是本申请一示例性示例中将状态数据添加到状态数据库的的实现流程示意图;
图7是本申请一示例性实施例中聚类的流程示意图;
图8是本申请一示例性实施例中聚类结果的示例图;
图9是本申请一示例性实施例中确定用户是否异常的流程示意图;
图10是本申请一示例性实施例中状态数据相对于数据中心的空间位置示意图;
图11是本申请一示例性实施例中通过距离确定驾驶状态的原理示意图;
图12是本申请一示例性实施例中拟合数据分布的流程示意图;
图13是本申请一示例性实施例中调节用户驾驶状态的流程示意图;
图14是本申请一示例性实施例中各调节机制的模态结构示意图;
图15是本申请另一示例性实施例中驾驶状态检测的实现流程示意图;
图16是本申请一示例性实施例中驾驶状态检测系统的架构示意图;
图17是本申请实施例提供的计算设备的架构示意图。
具体实施方式
说明书和权利要求书中的词语第一、第二、第三等类似用语,仅用于区别类似的对象,不代表针对对象的特定排序,可以理解地,在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在以下的描述中,所涉及的表示步骤的标号,如S301、S302……等,并不表示一定会按此步骤执行,在允许的情况下可以互换前后步骤的顺序,或同时执行。
说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容;它不排除其它的组成部分或步骤。因此,其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在,但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此,表述“包括A单元和B单元的装置”不应局限为仅由A单元和B单元组成的设备。
本说明书中提到的“一些实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本发明的至少一些实施例中。因此,在本说明书各处出现的用语“一些实施例中”或“在实施例中”并不一定都指同一实施例,但可以指同一实施例。此外,在一个或多个实施例中,能够以任何适当的方式组合各特定特征、结构或特性,如从本公开对本领域的普通技术人员显而易见的那样。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。如有不一致,以本说明书中所说明的含义或者根据本说明书中记载的内容得出的含义为准。另外,本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
为了准确地对本申请中的技术内容进行叙述,以及为了准确地理解本发明,在对具体实施方式进行说明之前先对本说明书中所使用的术语给出如下的解释说明或定义。
抬头显示(Head Up Display,HUD),又称抬头显示系统,能够将时速、发动机转速、电池电量、导航等重要行车信息投影到驾驶员前面的挡风玻璃上,使驾驶员不低头、不转头就能看到时速、导航等车辆参数和驾驶信息。
监督学习,如果机器学习的目标是建模样本的特征和标签之间的关系,并且训练集中每个样本都有标签,那么这类机器学习称为监督学习。
支持向量机(support vector machine,SVM),一种二分类算法,是监督学习中的方法之一,基于线性函数,只输出类别。
无监督学习,是指从不包含目标标签的训练样本中自动学习到数据的内在性质及规律。
聚类,将数据集划分为若干个通常是不相交的子集,每个子集称为一个簇,通过这样的划分,每个簇可能对应于一些潜在的概念或类别。
中位数,是按顺序排列的一组数据中居于中间位置的数,代表一个样本、种群或概率分布中的一个数值,其可将数值集合划分为相等的上下两部分。
曼哈顿距离,也称为街区距离或出租车距离,用于标明两个点的绝对轴距总和,其只需做加减法,可使得计算机在大量计算过程中代价更低,而且可以消除诸如开方等运算需取近似值而带来的误差。
数据分布,也即频数分布。
正态分布,也称为高斯分布,多数频数集中在中央位置,两端的频数分布大致对称,分布曲线呈钟形。
偏态分布,频数分布不对称,集中位置偏向一侧,其分布曲线左右不对称。
置信区间,表示样本估计总体平均值误差范围的区间,选定某一个置信区间[a,b],那么a与b之间包含总体平均值的结果的概率为预先设定的置信水平。以95%的置信水平为例,假设做100次抽样,则有95次置信区间[a,b]包含了总体均值。
中位区间,用于将一数据集划分为两个部分的区间值。如果数据集的数据分布为正态分布,以中位区间划分该数据集而得到的两部分,数据量相等。如果数据集的数据分布为偏态分布,以中位区间划分该数据集而得到的两部分,数据量不相等。
数据集的数据区间是数据集中数据的数值范围。例如,归一化后,数据集中数据的数值范围是区间(0,1),那么,数据集的数据区间可以为区间(0,1)。
正态分布的置信区间,可通过如下式(1)计算:
其中,P表示样本满足正态分布时的置信区间,表示样本的均值,σ表示样本的方差,n表示样本大小,α表示显著性水平,是预先确定的,例如可以取0.05或0.1,置信水平为1-α或者100×(1-α)%,zα/2为对应的标准分数,又称为z分数;z=(x-μ)/σ,是将原始分数与团体的平均数之差除以标准差所得的商数,是以标准差为单位度量原始分数离开其平均数的分数之上多少个标准差,可通过查表得到。
偏态分布的置信区间,可以通过切比雪夫定理计算。例如,可基于下式(2)计算:
驾驶员监测系统,一种基于图像处理技术和/或语音处理技术监测车内驾驶员状态的系统,主要用于保障驾驶安全和提升驾驶体验感。
心率变异性,是指逐次心跳周期差异的变化情况,可以作为预测心脏性猝死和心律失常性事件的一个指标。通常,心率变异性可以基于脉搏或心率计算得到。
下面先对相关技术的情况做简要说明。
图1示出了一种基于情绪识别的智能刹车方法,该方法包括如下步骤:S1、通过预置在座舱内的摄像头,实时拍摄驾驶员的脸部图像;S2、将驾驶员的脸部图像上传至云端服务器;S3、云端服务器通过脸部识别模块采取线性反投影(linear back projection,LBP)算法识别并计算出瞳孔的大小值A、眉毛之间的舒展值B和脸部的扭曲值C,记录驾驶员的瞳孔的大小值A、眉毛之间的舒展值B和脸部的扭曲值C;S4、计算当前驾驶员的情绪平均值D,由瞳孔的大小值A、眉毛之间的舒展值B、脸部的扭曲值C三个值相加除以3计算当前驾驶员的情绪平均值D。S5、根据当前驾驶员的情绪平均值D确定驾驶员状态是否不利于驾驶安全,如果不利于驾驶安全,则通过车速调节器将车速设置成标准车速值。由此,可以避免驾驶员由于情绪问题导致的驾驶安全隐患。
图1所示技术方案存在如下问题:
1)不同人在同一种情绪状态下的表情差异较大,同一人在不同年龄时期在同一种情绪状态下表情差异也会比较大。因此,将表情作为驾驶员情绪状态判断的唯一依据或关键依据,至少对部分用户是不合适的。
2)通过脸部图像识别表情,这对素材质量、采集环境、硬件性能等多方面的要求都相对更高。
3)需要将驾驶员的脸部图像上传至云端服务器,因此,对带宽延迟要求高,且离线状态下无法使用。
4)由于个体差异的原因,不同人同一种情绪的跨度差异是比较大的,同一人不同阶段的同一情绪跨度也会动态变化。因此,使用固定分值的情绪打分方式,不符合人情绪状态变化的实际情况。
图2示出了一种考虑生理与操控信息的驾驶员情绪状态车载识别交互系统,包括生理信息监测模块、侧向操作监测模块、纵向操作监测模块、情绪状态识别模块,生理信息监测模块获得驾驶员生理信号的动态数据,侧向操作监测模块实时监测用于表征驾驶员异常情绪下的侧向操作指标特征,纵向操作监测模块监测用于表征驾驶员异常情绪下的纵向操作指标,情绪状态识别模块采用SVM构建驾驶员异常情绪的离线训练与在线识别模型,并将在线识别模型嵌入车载控制单元进行驾驶员异常情绪的在线识别。
其中,情绪状态识别模块采用SVM构建驾驶员异常情绪的离线训练与在线识别模型包括:将驾驶员生理信号的动态数据、侧向操作指标数据、纵向操作指标数据作为识别特征,统计固定时间间隔内的各个特征值的均值,同时统计该时间间隔内车辆的急加速次数、急刹车次数,以此构建识别模型的样本特征向量X={x1,x2,……xn};离线采集驾驶员自然驾驶状态下的生理信号的动态数据、侧向操作指标数据、纵向操作指标数据,抽取异常情绪下与正常情绪下的指标数据构建训练样本库;训练样本库包含正样本集合与负样本集合:异常情绪下利用提取的驾驶员生理与行为特征向量构建正样本集合,正常驾驶状态下利用提取的驾驶员生理与行为特征向量构建负样本集合;设计基于SVM的情绪在线识别模型并进行离线测试优化模型参数。
尽管图2所示技术方案能够在驾驶过程中实时检测驾驶人的情绪状态,适时做出预警响应,缓解驾驶员异常情绪并提醒周围司机。但该技术方案仍存在如下问题:
1)SVM属于监督学习的分类方法,只能做二分类,对情绪状态的识别没有中间状态,不符合驾驶员实际状态的变化规律。
2)需要预先构建离线的指标数据样本库,离线训练模型并调参之后才可加载在车辆上进行识别。由于某个或某些人的相关数据不一定在指标数据样本库中,甚至可能与指标数据样本库中的样本存在较大差异,这导致利用该指标数据样本库训练得到的模型对这部分人情绪状态的误判率较高。
3)由于路况多变与各种车辆本身底盘车身调教属性不同,因此,使用车辆状态(例如,车辆的纵向速度、纵向加速度、横向速度、横向加速度)作为驾驶员情绪状态的判定指标,容易产生误判。
4)模型结构固化、优化难,无法实时学习驾驶员在不同时间段因性格、驾驶方式、驾驶技术娴熟程度等因素的变化而引起的情绪状态动态变化,对于特定用户来说,该技术方案实际使用时间越长反而越容易发生误判。
基于前述问题,本申请提供了一种驾驶状态检测方法及装置、设备、计算机可读存储介质,通过用户的状态数据及其置信区间即可判定用户的驾驶状态,计算复杂度低,能够以较低的计算复杂度准确、高效并实时地检测特定用户的驾驶状态,离线、在线均可用,各类车辆、各种座舱环境中均适用,通过准确检测用户驾驶状态以确保驾驶安全的同时提升了用户体验、降低了应用成本。
本申请实施例的技术方案适用于各种交通工具,包括但不限于:燃油车、混动车、电动车、氢动力车辆、轿车、运动型多用途车辆、大客车、大货车、有轨车、无轨车、地面行驶车、悬浮行驶车、各种舟艇、船只、可飞行车、航空器等。混动车可以是任何具有两种或更多种动力源的车辆,例如具有汽油和电力两种动力源的车辆。本申请中的“车”或“车辆”包括任何可以实施本申请中方案的交通工具。本申请实施例的技术方案适用于驾驶车辆过程中人的各类状态的检测,包括但不限于驾车过程中的情绪状态、疲劳状态、健康状态、注意力状态(也可称为分心状态)等。此外,本申请实施例的技术方案不仅限于人员驾驶状态的检测,更可适用于任何可以实施本申请中方案的相关人员(例如,道路上的行人、建筑物的施工人员、各类工作人员等)的状态检测,以确保相关人员的安全。也即,本申请实施例的用户不限于驾驶员,可以是诸如行人、施工人员或工作人员等各类需实时监测其状态的人员。
下面以驾驶员为例来详细说明本申请实施例的实施方式。
图3示出了本申请实施例中驾驶状态检测方法的示例性流程。参见图3所示,本申请实施例驾驶状态检测方法可以包括:
步骤S301,获取驾驶员的状态数据,所述状态数据包括至少两种指标数据;
指标数据所对应的指标可以表征驾驶员驾驶车辆过程中的一项人体特征,该人体特征可以包括但不限于生理状态特征、驾驶行为特征、语言特征或与驾驶车辆过程中人的状态相关的其他任何特征。实际应用中,可以结合具体应用场景的需求、车辆状况、驾驶员的需求、检测准确度的要求、安全行驶的规定、路况、天气、环境或其他各种因素,预先配置、实时选取或响应于驾驶员操作而选定该指标。例如,在路况复杂且天气恶劣的情况下可以选较多指标以准确地检测驾驶员的驾驶状态,确保行驶安全。再例如,针对手动档或自动挡的车辆,因驾驶员驾驶车辆时的行为不同,需要根据驾驶员驾驶行为的不同而调整指标。
指标数据可以是通过实时采集的指标信号进行诸如实时清洗、归一化等预处理后获得的数据。一些示例中,如果置信区间是[0,1]的概率值,指标数据可以是基于实时采集的指标信号而获得的归一化值,该归一化值的取值在[0,1]之间。这样,不仅利于设备(例如,下文的计算设备)高效判断指标数据是否落入了置信区间,而且数据量小,计算复杂度低。其他示例中,指标数据也可以是基于实时采集的指标信号而获得的整型数值。这样,不仅利于高效判断指标数据是否落入了相应置信区间,而且对诸如处理器等硬件性能的要求较低,可进一步降低硬件成本。
指标信号可通过传感器实时采集。指标信号可以是但不限于数值信号、模拟信号或其他类似的信号,这些信号本身数据量小且不受采集环境影响,数据的处理、传输等对算力、带宽的要求较低,不仅可降低计算复杂度,同时还可降低本实施例中方法的应用成本。
至少一些实施例中,指标可以包括但不限于生理状态指标、驾驶行为指标等。该实施例中,通过多种指标可以全面、准确地感知驾驶员的人体特征,获得能够反映驾驶员人体综合特征的状态数据,从而高效准确地确定驾驶员的驾驶状态。
生理状态指标可指示驾车相关的生理状况。一些实现方式中,生理状态指标可以包括但不限于呼吸频率、皮肤电阻、体温、脉搏或心率等,生理状态指标信号可以包括但不限于呼吸频率信号、皮肤电阻信号、体温信号、脉搏或心率等,生理状态指标的数据可以包括但不限于呼吸频率值、皮肤电阻值、体温值、脉搏值或心率值等。
生理状态指标信号可通过生理检测传感器采集。这里,生理检测传感器可通过各种无线通信方式向设备(例如,下文的计算设备)提供这些信号,也可以通过与设备的有线连接以电信号的形式向设备(例如,下文的计算设备)提供这些信号。
生理检测传感器可以包括但不限于呼吸频率传感器、皮肤电阻传感器、心率传感器、脉搏传感器、体温传感器等。其中,呼吸频率传感器可用于实时采集驾驶员驾驶车辆过程中的呼吸频率信号,皮肤电阻传感器可用于实时采集驾驶员驾驶车辆过程中的皮肤电阻信号,体温传感器可用于实时采集驾驶员驾驶车辆过程中的体温信号,心率传感器可用于实时采集驾驶员驾驶车辆过程中的心率信号,脉搏传感器可用于实时采集驾驶员驾驶车辆过程中的脉搏信号。通常,心率和脉搏可二选一。
为便于采集驾驶员的生理状态指标信号,可以采用无接触式的生理检测传感器(例如毫米波雷达、红外传感器等),或在车辆座舱内合适的位置(例如,驾驶员座椅、安全带、方向盘、转向机构等位置)安装接触式的生理检测传感器,或者采用可穿戴式的生理检测传感器(例如,智能手环等)。
驾驶行为指标可指示驾驶员的驾驶动作执行状况。一些实现方式中,驾驶行为指标可以包括但不限于方向盘转速、方向盘转角、油门踏板深度、油门踏板速度、制动踏板力、制动踏板速度、制动踏板深度等,驾驶行为的指标数据可以包括但不限于方向盘转速值、方向盘转角值、油门踏板深度值、油门踏板速度值、制动踏板力值、制动踏板深度值、制动踏板速度值等,驾驶行为的指标信号可以包括但不限于方向盘转速信号、油门踏板深度信号、制动踏板力信号等。
驾驶行为的指标信号可通过驾驶行为传感器采集。驾驶行为传感器可通过各种无线通信方式向设备(例如,下文的计算设备)提供自身实时采集到的信号,也可以通过与设备的有线连接以电信号的形式向设备(例如,下文的计算设备)提供自身实时采集到的信号。
驾驶行为传感器包括但不限于转矩传感器、转向角度传感器、油门踏板位置传感器、制动力传感器、制动踏板位置传感器等。其中,转矩传感器可用于采集方向盘转速,转向角度传感器可用于采集方向盘转角,油门踏板位置传感器可用于采集油门踏板的行程,根据油门踏板的行程可获知油门踏板深度和油门踏板速度。制动力传感器可用于采集制动踏板的制动力,制动踏板位置传感器可用于采集制动踏板的行程,由制动踏板的行程可获得制动踏板深度和制动踏板速度。这些传感器均可以安装在车辆中。例如,转矩传感器和转向角度传感器可以安装在转向机构上(例如,转向柱上),油门踏板传感器可以安装在车辆的油门踏板附近或油门踏板内部,制动踏板位置传感器可以安装在制动踏板附近或制动踏板内部,制动力传感器可附装在制动踏板上。
可以理解的是,本申请实施例中的指标类型并非仅不限于上述的驾驶行为、生理状态,还可包括能够表征驾驶员驾驶车辆时人体状况的其他类型,例如与语音、瞳孔等相关的指标。比如,驾驶员的指标还可以包括语言指标,语音的指标数据可以包括语言指标的频率值、振幅值等,语言的指标信号可以通过诸如麦克风阵列等语音传感器采集。
状态数据是同一时刻的各类指标数据的集合,状态数据具有至少两个维度,其维度与指标一一对应,其可反映某一时刻驾驶员的人体综合特征。比如,以预先选定6种指标为例,该6种指标包括呼吸频率、皮肤电阻、脉搏(或者,心率)、方向盘转速、油门踏板深度、制动踏板力,相应的状态数据可具有6个维度,这6个维度分别代表上述6种指标,第i时刻的状态数据可以表示为{ai,bi,ci,di,ei,fi},ai代表第i时刻的呼吸频率值,bi代表第i时刻的皮肤电阻值,ci代表第i时刻的脉搏值或者心率值,di代表第i时刻的方向盘转速值,ei代表第i时刻的油门踏板深度值,fi代表第i时刻的制动踏板力值。需要说明的是,这里的“同一时刻”不仅包含严格的时间同步,还可包含采集时间间隔小于预定阈值的情况,该预定阈值可以由各传感器的性能参数决定。实际应用中,该阈值可以是经验值或设定值。
步骤S302,在状态数据的至少两种指标数据中,落入第一置信区间的指标数据的数量大于第一预定值时,将第一置信区间对应的驾驶状态确定为驾驶员的驾驶状态。
这里,第一置信区间泛指单类置信区间,单类置信区间可用于指示单种驾驶状态,单类置信区间可以包括与各项指标数据一一对应的置信区间,其中,各项指标数据一一对应的各置信区间也称为第一置信区间(这里即单类置信区间)的各子置信区间。详细技术细节可参见下文描述,此处不再赘述。
驾驶状态可指示与车辆驾驶相关的人体状态。本申请实施例中,驾驶状态可以包括两种或更多种。如此,通过划分多种驾驶状态,便于驾驶员直观了解自身状态是否适宜驾驶车辆,同时可以减少状态检测过程对监督类机器学习模型的依赖,在提升准确性的同时有效降低了计算复杂度。
至少一些实施例中,驾驶状态可以包括至少两种,相应的,每一驾驶员可以有对应各驾驶状态的至少两类置信区间,每一第一置信区间对应于其中的一种驾驶状态。该实施例中,驾驶员的各类置信区间与各驾驶状态直接相关,通过至少两类置信区间即可直接确定其驾驶状态,无需借助诸如表情、情绪类型等中间特征,在降低计算复杂度的同时减少了误识别或漏识别,提高了驾驶状态检测的准确性。
一些实现方式中,驾驶状态可以包括正常驾驶状态、轻度异常驾驶状态、中度异常驾驶状态和重度异常驾驶状态,每一驾驶员可以有分别对应这四种驾驶状态的四类置信区间,也即四个第一置信区间,这四个第一置信区间分别对应于正常驾驶状态、轻度异常驾驶状态、中度异常驾驶状态和重度异常驾驶状态。该示例中,通过多类置信区间即可直接确定驾驶员的驾驶状态,无需借助诸如表情、情绪类型等中间特征,降低计算复杂度的同时可以进一步地减少误识别或漏识别。
一些实现方式中,驾驶状态可以包括正常驾驶状态和异常驾驶状态,驾驶员的置信区间可以包括对应正常驾驶状态的一类置信区间和对应异常驾驶状态的一类置信区间,也即两个第一置信区间,这两个第一置信区间分别对应于正常驾驶状态和异常驾驶状态。该示例中,通过两类置信区间即可直接确定驾驶员的驾驶状态是正常还是异常,无需借助诸如表情、情绪类型等中间特征,降低计算复杂度的同时减少了误识别或漏识别的可能性。
至少一些实施例中,每类置信区间中可以包括与指标数据一一对应的置信区间,也即第一置信区间中可以包括与指标数据一一对应的置信区间,其中,各项指标数据一一对应的各置信区间也称为第一置信区间的各子置信区间。由此,可以综合考虑驾驶员驾车时的各项人体特征来确定其驾驶状态,可进一步提高驾驶员驾驶状态检测的准确性。
以预先选定6种指标为例,该6种指标包括呼吸频率、皮肤电阻、脉搏(或,心率)、方向盘转速、油门踏板深度、制动踏板力,假设驾驶状态包括正常驾驶状态和异常驾驶状态,相应的置信区间分为两类,一类置信区间对应正常驾驶状态,另一类置信区间对应异常驾驶状态,该示例中,每一类置信区间中包括6个置信区间,这6个置信区间分别对应呼吸频率、皮肤电阻、脉搏(或,心率)、方向盘转速、油门踏板深度、制动踏板力,每一类置信区间可以表示为P={(La,Ua),(Lb,Ub),(Lc,Uc),(Ld,Ud),(Le,Ue),(Lf,Uf)},L表示下限,U表示上限,下标a代表呼吸频率,下标b代表皮肤电阻,下标c代表脉搏或心率,下标d代表方向盘转速,下标e代表油门踏板深度,下标f代表制动踏板力。
步骤S302中,状态数据中指标数据的数值属于第一置信区间中相应指标所对应的置信区间,即可认为该指标数据落入第一置信区间。如果一状态数据中落入第一置信区间的指标数据的数量大于第一预定值,可认为该状态数据落入驾驶员的第一置信区间。该实施例中,通过判断具体数值是否属于相应的数值区间即可确定驾驶员的驾驶状态,算法简单易实现,硬件成本低,同时效率高、误差小。
经分析发现,即使驾驶员驾驶状态正常,其部分指标数据也可能落入对应异常驾驶状态的第一置信区间,同理,驾驶员驾驶状态异常时其部分指标数据也可能落在对应正常驾驶状态的第一置信区间。因此,本申请实施例的方法中通过设置第一预定值来结合置信区间判定驾驶员的驾驶状态,这更符合实际情况,判定结果更准确。
实际应用中,可以根据具体应用场景的不同、车辆情况、检测准确度的需求、安全行驶的要求、路况、天气、周边环境和/或其他因素,采用预先配置、实时选取或响应于驾驶员操作而选定等多种方式来确定第一预定值。一些实施例中,第一预定值可以是默认值,该默认值可以是通过统计分析而得到的经验值。一些实施例中,第一预定值可以取固定值或以上述各因素以及当前的指标总数为变量的自定义函数的函数值。例如,第一预定值可以设定为指标总数的二分之一、三分之二或四分之三。以预先选定6种指标为例,第一预定值可以设定为3或者4。
至少一些实施例中,图3的示例性驾驶状态检测方法中还可以包括:步骤S303,在状态数据的至少两种指标数据中,落入第一置信区间的指标数据的数量小于或等于第一预定值时,根据状态数据与第一数据中心的距离确定驾驶员的驾驶状态。由此,可通过状态数据到对应于不同驾驶状态的第一数据中心的距离来辅助完成驾驶状态的检测,进一步以较低的计算复杂度实现了驾驶员驾驶状态的实时、高效和准确的检测。
第一数据中心泛指对应单一驾驶状态的一个数据中心,也就是说,单类置信区间可以对应一个数据中心,也即一第一置信区间对应一第一数据中心。一些实现方式中,与置信区间相似地,每个第一数据中心可以对应一驾驶状态,第一数据中心具有与至少两种指标一一对应的至少两个值,也即第一数据中心可以通过一多维数据来表示,该多维数据的维数等于指标数量。具体地,第一数据中心的每一维度对应一项指标,其每一维度的取值可以作为相应指标的中位值,由此,利用数据中心各维度上的取值和驾驶员的状态数据中各指标数据即可准确估算出状态数据到数据中心的距离。该实现方式中,通过多维数据之间的距离来确定驾驶员的驾驶状态,能够通过驾驶员驾车的人体综合特征来判定驾驶员的驾驶状态,在降低计算复杂度的同时提高了驾驶状态检测的准确性。
一些实施例中,与第一置信区间类似地,第一数据中心可以包括两个或多个,每个第一数据中心对应一种驾驶状态。以驾驶状态包括正常驾驶状态和异常驾驶状态为例,驾驶员的数据中心可以包括对应正常驾驶状态的一数据中心和对应异常驾驶状态的一数据中心,也即可以设置一个或两个第一数据中心,这两个第一数据中心分别对应于正常驾驶状态和异常驾驶状态,或者说,第一数据中心可以对应于正常驾驶状态或异常驾驶状态。由此,通过状态数据与第一数据中心的距离便可确定驾驶员的驾驶状态,无需借助诸如表情、情绪类型等中间特征,降低计算复杂度的同时可以进一步减少误识别或漏识别的可能性。
一些实施例中,步骤S303中,在两个所述第一数据中心中,将更靠近所述状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态。或者,在三个或三个以上的所述第一数据中心中,将最靠近所述状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态。该实施例中,通过状态数据与数据中心的距离获知状态数据最靠近的数据中心,再以状态数据最靠近的数据中心所对应的驾驶状态作为驾驶员的驾驶状态,计算复杂度低且误差小。
一些实施例中,若存在多个第一置信区间,步骤S303中,在状态数据的至少两种指标数据中落入每个第一置信区间的指标数据的数量均小于或等于第一预定值时,根据状态数据与第一数据中心的距离确定驾驶员的驾驶状态。如此,可通过优先使用第一置信区间、第一数据中心为辅助手段的方式来确定驾驶状态,有利于提高效率和准确性。
一些实现方式中,状态数据与第一数据中心的距离可以是但不限于欧式距离、曼哈顿距离等。一些示例中,状态数据与第一数据中心的距离可以为曼哈顿距离,这样可使计算代价更低,同时消除诸如开方等运算取近似值而带来的误差。
一些实现方式中,步骤S303中根据状态数据与第一数据中心的距离确定驾驶员的驾驶状态,可以包括:步骤a1,第一距离与第二距离之间差值的绝对值大于所述第一距离和所述第二距离的均值时,确定所述驾驶状态为正常驾驶状态;步骤a2,第一距离与第二距离之间差值的绝对值小于或等于所述第一距离和所述第二距离的均值时,确定所述驾驶状态为异常驾驶状态;第一距离是述状态数据与对应正常驾驶状态的第一数据中心的距离,第二距离是状态数据与对应异常驾驶状态的第一数据中心的距离。由此,通过求均值和差值这样的简单算法即可确定状态数据与第一数据中心的距离,计算复杂度低且误差小,可进一步减低硬件成本,同时可提升驾驶状态的检测准确。
一些实现方式中,对驾驶状态检测准确性要求相对较低的情况下,估算状态数据到第一数据中心的距离之后,可以将距离最小的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态。该实现方式计算复杂度更低,硬件开销相对较低。
至少一些实施例中,第一置信区间和第一数据中心可以通过各种可适用的算法同步获得。例如,可以采用诸如聚类或其他无监督学习算法确定驾驶员的置信区间和数据中心。再例如,第一置信区间和第一数据中心可以通过数据分析、统计的相关算法确定。对于确定第一置信区间和第一数据中心的具体算法,本申请实施例不予限制。
一些实现方式中,第一置信区间及其对应的第一数据中心可以通过无监督学习算法确定。该无监督学习算法可以是但不限于聚类、密度估计、自编码等。使用无监督聚类算法,相较于相关技术中SVM等监督分类算法而言,具有因人而异的可行性,即可以因人而异地确定置信区间和数据中心,从而提升驾驶状态个性化检测的准确度,解决相关技术中驾驶状态检测对所有人同一标准的问题。
一些实现方式中,第一置信区间和第一数据中心可以基于该驾驶员自己的状态数据库而获得,状态数据库中包含了预先获得的驾驶员的状态数据。一种实现方式中,可以通过对驾驶员状态数据库中已有的状态数据进行聚类来确定第一置信区间和第一数据中心。具体来说,第一置信区间可以通过如下方式获得:步骤b1,基于驾驶员的状态数据库进行聚类以形成对应于驾驶状态的数据集,所述驾驶员的状态数据库中包含预先获得的驾驶员的状态数据;步骤b2,对数据集进行数据分布拟合,以确定所述数据集的数据分布属于正态分布或偏态分布;步骤b3,根据数据集的数据分布,确定对应于驾驶状态的第一置信区间。该实现方式中,对应于驾驶状态的数据集的数据中心即为第一置信区间对应的第一数据中心,可以在步骤b1的聚类中确定。如此,基于驾驶员自己的状态数据库进行聚类来获得驾驶员的第一置信区间和第一数据中心,不仅实现了第一置信区间和第一数据中心的因人而异,进而实现了驾驶状态检测的个性化或定制化,提高了驾驶状态检测的准确性,而且可以减少漏识别或误识别。
一些实现方式中,对数据集进行数据分布拟合可以是通过如下步骤实现的:步骤c1,对所述数据集中的状态数据进行切分,得到多个数据切片,所述多个数据切片中的每个数据切片的宽度相同;步骤c2,以所述多个数据切片中数据量最大的数据切片作为所述数据集的中位区间,所述数据集在第一区间的数据量与所述数据集在第二区间的数据量相等时,所述数据集的数据分布为正态分布;所述数据集在第一区间的数据量与所述数据集在第二区间的数据量不相等时,所述数据集的数据分布为偏态分布;其中,第一区间和第二区间是根据中位区间分割数据集的数据区间而得到的。该实现方式中,通过区间切分与数据计数、中位区间左右半边数据个数比较,来判断数据集是正态分布还是偏态分布,兼具复杂度低和数据分布拟合准确的效果,可以进一步降低硬件成本、提升驾驶员驾驶状态检测的准确性。
同一人在不同时期(例如,不同年龄段),驾驶方式可能存在较大差异。针对类似的情况或其他情况,至少一些实施例中,可以根据需要实时调整第一置信区间和第一数据中心,以使得第一置信区间和第一数据中心能够随驾驶员自身的变化而动态变化,从而提升同一驾驶员不同时期驾驶状态检测的准确性,也即实现驾驶状态检测的因时而异。
一些实现方式中,调整第一置信区间和第一数据中心的过程可以包括:根据新获取到的状态数据更新驾驶员的状态数据库,利用更新后的状态数据库中未分类的状态数据重新确定第一置信区间。这里,未分类的状态数据是指未划分到各驾驶状态的数据集中的状态数据,也即未落入驾驶员的第一置信区间的状态数据。这里,重新确定第一置信区间和第一数据中心所采用的算法与上文相关算法相同,不再赘述。该实施例中,使用未分类的状态数据实现第一置信区间和第一数据中心的调整,无需对驾驶员的所有状态数据重复处理,可以较少的运算量和较低的计算复杂度完成第一置信区间和第一数据中心的更新,实现第一置信区间和第一数据中心的动态调整,也即可以较低的硬件成本实现驾驶状态检测的因时而异。
一些实现方式中,驾驶员的状态数据可以以时间数据序列的形式存储在驾驶员的状态数据库中,状态数据库可以通过验证预设信息进行读写,该预设信息可以包括与识别特定驾驶员相关的任何信息,本申请对预设信息的类型不作限定。此外,驾驶员的置信区间和数据中心也可存储在驾驶员的状态数据库中。如此,通过驾驶员的预设信息即可实时查询驾驶员的第一置信区间和第一数据中心、更新驾驶员的状态数据,实现了驾驶员驾驶状态的随时随地检测,不受通信状况、地域、设备、车辆等使用条件的限制,租车、换车、借车均可用,脱机、在线均可测。
本申请实施例中,状态数据库可通过各种可适用的方式进行更新。
一些实现方式中,每获取到一新的状态数据,即可直接将该新的状态数据添加到驾驶员的状态数据库中。此示例性实现方式,有利于快速形成驾驶员的状态数据库。在驾驶员的状态数据落入率较低、驾驶员的状态数据库创建初期等情况下,适用该示例性实现方式。
一些实现方式中,在驾驶员的状态数据落入率大于或等于第三预定值时,将落入所述第一置信区间的指标数据的数量小于或等于所述第一预定值的状态数据添加至所述驾驶员的状态数据库中。由此,在驾驶员的第一置信区间和第一数据中心相对稳定时,可以通过增加状态数据进入数据库的判断机制,减少无效或重复的数据,避免不必要的重复计算,同时提升驾驶员状态数据库的数据完整度,能够在不断完善用户画像的同时减少状态数据库中的冗余数据、降低数据计算量和计算复杂度。
上述实现方式中,状态数据落入率是指:落入第一置信区间中的状态数据占所有状态数据的比例,落入第一置信区间的状态数据是指落入第一置信区间的指标数据的数量大于第一预定值的状态数据。实际应用中,可以通过对落入第一置信区间的状态数据进行计数来实时计算驾驶员的状态数据落入率。
实际应用中,可以根据具体应用场景的需求、检测精度的要求、安全驾驶的相关规定、驾驶员的需求、车辆的情况等一种或多种因素,预先配置、动态确定或响应于驾驶员操作而选定第三预定值的具体取值。一些实施例中,第三预定值可以取经验值、以上述各因素为变量的预定义函数的函数值等。第三预定值可以是一固定值,也可是区间值或可变值。一些示例中,第三预定值可以是0到1之间的百分数,例如可以为90%、80%、70%等。以状态数据落入率为90%为例,每10个状态数据中有9个落入已有的置信区间内,即可将状态数据库的进入策略变更为“只有未落入置信区间的状态数据才可进入状态数据库”。
至少一些实施例中,第一置信区间和第一数据中心的计算、更新等可以在车载端本地实现,也可通过云端服务器来执行。一些实现方式中,第一置信区间和第一数据中心的计算、更新等可以通过云端服务器获得后提供给车载端。该实现方式中,第一置信区间和第一数据中心的计算在云端服务器执行,驾驶状态的检测在车载端本地进行,通过云端协同可以实现脱机可识别,驾驶员换新车、借车、使用共享汽车或其他类似场景下均可用,解决了相关技术中驾驶状态识别模型换车不易迁移的问题。
至少一些实施例中,第一置信区间和第一数据中心可以与驾驶员的预设信息关联,以通过预设信息方便地本地查询或向云端服务器获取特定驾驶员的第一置信区间和第一数据中心。驾驶员的预设信息可以通过具有指纹识别功能、声纹识别功能和/或人脸识别功能的传感器获取,也可通过诸如移动设备(例如,手机、平板电脑、智能手环)、便携式计算机或其他类似的设备获取,还可通过车辆座舱内的智能设备获取,这些智能设备可以是但不限于可采集驾驶员信息的图像传感器、生物识别安全带、生物识别方向盘、HUD等。驾驶员的预设信息可以通过以太网、蓝牙(Bluetooth)、无线保真(wireless fidelity,WiFi)网络、蜂窝网络、控制器局域网络(Controller Area Network,CAN)总线、局部互联网络(local interconnect network,LIN)总线等各种通信方式传送到车载端设备(例如,下文的计算设备),由该车载端设备通过预设信息向云端服务器获取驾驶员的置信区间和数据中心。
至少一些实施例中,本申请实施例的方法还可包括驾驶状态调节的步骤。在检测到驾驶员处于异常驾驶状态之后,可以通过单模态或多模态的信号调节驾驶员的驾驶状态,从而及时有效地改善驾驶员的异常驾驶状态。
一些实现方式中,本申请实施例的上述方法还可包括:步骤S304,在驾驶状态为异常驾驶状态的持续时长达到第二预定值时,采用包含有如下模态的一种或多种调节机制调节所述驾驶状态:视觉模态、听觉模态、嗅觉模态、触觉模态。该实现方式中,在持续一定时间之后触发调节机制,不仅可实现异常驾驶状态的及时有效干预,同时还可避免调节机制的误触发,提升驾驶员的用户体验。
实际应用中,可以根据具体应用场景的需求、检测精度的要求、安全驾驶的相关规定、驾驶员的需求、车辆的情况等一种或多种因素,预先配置、动态确定或响应于驾驶员操作而选定第二预定值的具体取值。一些实施例中,第二预定值可以取经验值、以上述各因素为变量的预定义函数的函数值等。第二预定值可以是一固定值,也可是区间值或可变值。例如,第二预定值可以取5秒,也即在驾驶员的驾驶状态为异常驾驶状态的持续时长大于或等于5秒的情况下,即触发针对驾驶员驾驶状态的调节机制。需要说明的时,此处的“5秒”仅作为示例,实际应用中该第二预定值可以取10秒以后、一分钟以上或者更长,可自由设定。
一些实现方式中,调节机制可以根据驾驶员的异常等级确定,驾驶员的异常等级可以根据驾驶员的状态数据和对应于其驾驶状态的第一置信区间确定。针对不同异常等级,可以在不同的时间间隔之后重新确定驾驶员的异常等级。也即,在第一时间间隔之后重新确定驾驶员的第一异常等级,第一时间间隔与第一异常等级相对应。这样,对不同异常程度采用相适应的方式进行状态调节,能够显著提升异常驾驶状态干预的效果。
这里,第一异常等级泛指单一异常等级,第一时间间隔泛指与单一异常等级相对应或相关联的时间间隔。
一些示例中,可以将驾驶员的第一置信区间划分为多个子区间,每个子区间对应不同的异常等级,对应每个异常等级配置不同的调节机制。驾驶员的状态数据落入第一置信区间的子区间所对应的异常等级即为驾驶员的异常等级,可以利用该异常等级对应的调节机制对驾驶员的驾驶状态进行调节。
一些实现方式中,调节机制中的模态可以是随机选定的。也即,可以采用单模态的调节机制或多模态的调节机制,而调节时所采用的具体模态可随机选定,这可有效提升调节机制的抗耐受性。
本申请实施例的驾驶状态检测方法,获取驾驶员的状态数据,通过判断状态数据的至少两种指标数据中落入置信区间的指标数据数量即可直接确定该驾驶员的驾驶状态,运算量少、算法易于实现,能够以较低的计算复杂度准确、高效并实时地检测驾驶员的驾驶状态,同时以提升驾驶员体验和降低应用成本。
本申请实施例的驾驶状态检测方法,具有高度复用性,可用于检测驾驶员驾驶车辆时的各种状态。相同方法和装置可以复用检测情绪状态、疲劳状态、健康状态、驾驶在环状态,同时可辅助用于对行车安全、驾驶员健康检测、自动驾驶的驾驶权交还等解决方案。
图4示出了本申请实施例提供的驾驶状态检测装置的示例性结构。参见图4所示申请实施例中一示例性的驾驶状态检测装置可包括:
获取单元41,用于获取驾驶员的状态数据,状态数据包括至少两种指标数据;
确定单元42,用于在至少两种指标数据中,落入第一置信区间的指标数据的数量大于第一预定值时,将第一置信区间对应的驾驶状态确定为驾驶员的驾驶状态。
本申请实施例的驾驶状态检测装置,获取驾驶员的状态数据,通过判断状态数据的至少两种指标数据中落入置信区间的指标数据数量即可直接确定该驾驶员的驾驶状态,运算量少、算法易于实现,能够以较低的计算复杂度准确、高效并实时地检测驾驶员的驾驶状态,同时以提升驾驶员体验和降低应用成本。
一些实现方式中,至少两种指标数据用于指示生理状态和/或驾驶行为。换言之,指标数据对应的指标包括生理状态指标和/或驾驶行为指标。由此,通过多种指标可以全面、准确地感知驾驶员的人体状况,从而高效准确地确定驾驶员的驾驶状态。
一些实现方式中,驾驶状态包括正常驾驶状态和异常驾驶状态,第一置信区间对应于正常驾驶状态或异常驾驶状态。由此,通过驾驶员的两类置信区间即可直接确定驾驶员驾驶状态是正常还是异常,无需借助诸如表情、情绪等中间特征,降低计算复杂度的同时减少了误识别或漏识别。
一些实现方式中,每类置信区间即每个第一置信区间,可以包括与指标数据所对应指标一一对应的置信区间。由此,能够综合驾驶员驾车时的各项人体特征来确定驾驶员的驾驶状态。
一些实现方式中,本申请实施例的驾驶状态检测装置还可以包括:计算单元43。第一置信区间是通过计算单元43确定的,计算单元43可配置通过如下步骤获得第一置信区间:基于驾驶员的状态数据库进行聚类以形成对应于驾驶状态的数据集,驾驶员的状态数据库中包含预先获得的驾驶员的状态数据;对数据集进行数据分布拟合,以确定数据集的数据分布属于正态分布或偏态分布;根据数据集的数据分布,确定对应于驾驶状态的第一置信区间。由此,实现了置信区间和数据中心的因人而异,同时减少了漏识别或误识别。
一些实现方式中,计算单元43还可配置通过如下步骤对所述数据集进行数据分布拟合:对所述数据集中的状态数据进行切分,得到多个数据切片,所述多个数据切片中的每个数据切片的宽度相同;以所述多个数据切片中数据量最大的数据切片作为所述数据集的中位区间;所述数据集在第一区间的数据量与所述数据集在第二区间的数据量相等时,所述数据集的数据分布为正态分布;所述数据集在第一区间的数据量与所述数据集在第二区间的数据量不相等时,所述数据集的数据分布为偏态分布;其中,所述第一区间和所述第二区间是根据所述中位区间分割所述数据集的数据区间而得到的。由此,本申请实施例的驾驶状态检测装置通过区间切分与数据计数、中位区间左右半边数据个数比较,来判断数据集是正态分布还是偏态分布,兼具复杂度低和数据分布拟合准确的效果,可以进一步降低硬件成本、提升驾驶员驾驶状态检测的准确性。
一些实现方式中,确定单元42还可用于在所述状态数据的至少两种指标数据中,落入所述第一置信区间的指标数据的数量小于或等于所述第一预定值时,根据所述状态数据与第一数据中心的距离确定驾驶员的驾驶状态。
一些实施例中,第一数据中心可以包括两个或多个,且每个第一数据中心对应一种所述驾驶状态。确定单元42具体用于在两个所述第一数据中心中,将更靠近状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态;或者,在三个或三个以上的所述第一数据中心中,将最靠近状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态。由此,通过驾驶员的状态数据到其数据中心的距离即可辅助完成驾驶员驾驶状态的检测,以较低的计算复杂度实现驾驶员驾驶状态的实时、高效和准确的检测。
一些实现方式中,确定单元42可以具体用于:第一距离与第二距离的差值大于所述第一距离和所述第二距离的均值时,确定所述驾驶状态为正常驾驶状态;第一距离与第二距离的差值小于或等于第一距离和第二距离的均值时,确定驾驶状态为异常驾驶状态;所述第一距离是状态数据与对应正常驾驶状态的第一数据中心的距离,第二距离是状态数据与对应异常驾驶状态的第一数据中心的距离。如此,能够以较低的计算复杂度基于距离确定驾驶员驾驶状态检测。
一些实现方式中,本申请实施例的驾驶状态检测装置还可以包括:数据库更新单元44,用于在驾驶员的状态数据落入率大于或等于第三预定值时,将落入所述第一置信区间的指标数据的数量小于或等于所述第一预定值的状态数据添加至所述驾驶员的状态数据库中。由此,可以显著减少进入状态数据库的冗余数据,降低数据计算量和计算复杂度。
一些实现方式中,本申请实施例的驾驶状态检测装置还可以包括:调节单元45,用于在所述驾驶状态为异常驾驶状态的持续时长大于或等于第二预定值时,采用包含有如下模态的一种或多种调节机制调节所述驾驶状态:视觉模态、听觉模态、嗅觉模态、触觉模态。由此,可实现驾驶员异常驾驶状态的及时有效干预,同时避免调节机制的误触发。
一些实现方式中,调节机制可以根据驾驶员的异常等级确定的,异常等级可以根据驾驶员的状态数据和对应于驾驶状态的第一置信区间确定。这样,针对不同异常程度采用相适应的方式进行状态调节,能够显著提升异常驾驶状态干预的效果。
一些实现方式中,调节单元45还可用于在第一时间间隔之后重新确定驾驶员的第一异常等级,第一时间间隔与第一异常等级相对应。这样,针对不同的异常程度采用不同时间间隔重新评估,更符合驾驶员驾驶状态改善的实际情况,能够显著提升异常驾驶状态干预的效果。
一些实现方式中,调节机制中的模态可以是由调节单元45随机选定的。如此,可有效提升调节机制的抗耐受性。
下面对本申请实施例的一些示例性具体实施方式进行详细说明。下述各实施方式之间可任意相互结合,并且各实施方式的各种示例性实现方式也可根据需要任意结合。需要说明的是,下述各实施方式及其各示例性实现方式的任意结合仅作为本申请实施例上述方法或装置的示例,并非用于限制本申请实施例。
图5示出了本申请实施例中驾驶状态检测的一种示例性流程。参见图5所示,该示例性流程可以包括如下步骤:
步骤S501,驾驶员驾车过程中,安装在车辆上的车载端设备获取驾驶员的预设信息及其各项生理状态指标和驾驶行为指标的数值信号;
步骤S502,车载端设备对驾驶员的各项数值信号进行本地预处理,得到驾驶员当前时刻的状态数据;
这里,状态数据中包括与指标一一对应的指标数据,该指标数据为归一化值,该归一化值是通过对相应指标的数值信号进行预处理而得到的,该归一化值在[0,1]之间。
步骤S503,车载端设备在本地查询与驾驶员的预设信息相匹配的置信区间(即,上文的第一置信区间)和数据中心(即,上文的第一数据中心);
步骤S504,车载端设备根据驾驶员的置信区间和数据中心及当前时刻的状态数据,确定驾驶员当前时刻的驾驶状态是否异常,如果异常则继续步骤S505,否则继续下一时刻的处理,返回步骤S501;
步骤S505,车载端设备调节驾驶员的异常驾驶状态。
步骤S506,判断车载端设备当前是否在线;
步骤S507,如果离线,车载端设备本地存储驾驶员当前时刻的状态数据。
步骤S508,如果在线,车载端设备通过其车载通讯模块将本地存储的驾驶员的状态数据及其预设信息上传给云端服务器;
步骤S509,云端服务器根据驾驶员的预设信息将其状态数据存入驾驶员的状态数据库;
步骤S510,云端服务器通过对驾驶员的状态数据库中未分类的状态数据进行聚类,调整驾驶员的置信区间和数据中心并返回给车载端设备。
其中,步骤S506~步骤S510可以与步骤S501~S505同步进行,也可在步骤S502之后执行。
图6示出了将状态数据添加到状态数据库的示例性实现过程。
一种实现方式中,参见图6所示,驾驶员的生理状态指标包括但不限于呼吸频率(次/分钟)、皮肤电阻(微欧姆)、心率变异性。驾驶员的驾驶行为指标包括但不限于方向盘转速(rad/s)、油门踏板深度(%)、制动踏板力(N)。
一种实现方式中,参见图6所示,驾驶员的预设信息可以通过如下之一或多种方式获取:面部识别、声纹识别、手机识别、指纹识别、虹膜识别等。
一种实现方式中,参见图6所示,步骤S502中的本地预处理可以包括数据预处理(例如,数据清洗)、统一采样、数据归一化等。相应获得的状态数据中包括与指标一一对应的指标数据,每一指标数据包括归一化值,该归一化值的取值是通过对应指标的数值信号进行本地预处理而得到的,该归一化值在[0,1]之间。
一种实现方式中,参见图6所示,步骤S509中可以包括信息验证和数据库对应的步骤,这里,信息验证可以包括验证驾驶员的预设信息是否合法(例如,是否有合法的驾驶证等)或是否存在。数据库对应的步骤可以包括:找到与驾驶员的预设信息相对应的状态数据库。在找到驾驶员的状态数据库之后,便可将驾驶员的状态数据存入其状态数据库中。
一种实现方式中,驾驶员的状态数据库中可以采用时间数据序列的形式存储驾驶员的状态数据,该时间数据序列中的每条记录中包含一状态数据的时间信息及该状态数据对应各个驾驶指标的归一化值。
一个示例中,上述时间数据序列可以表示为如下表1,其中,a、b、c、d、e、f依次对应呼吸频率、皮肤电阻、心率变异性、方向盘转速、油门踏板深度和制动踏板力。第i(i=1.2.3……)秒的状态数据中,ai、bi、ci、di、ei、fi分别表示呼吸频率第i秒的归一化值、皮肤电阻第i秒的归一化值、心率变异性第i秒的归一化值、方向盘转速第i秒的归一化值、油门踏板深度第i秒的归一化值和制动踏板力第i秒的归一化值。其中,心率变异性是基于脉搏或心率计算得到的。
表1
时间(第i秒,i=1,2,3……) | 状态数据 |
1 | [a1,b1,c1,d1,e1,f1,……] |
2 | [a2,b2,c2,d2,e2,f2,……] |
3 | [a3,b3,c3,d3,e3,f3,……] |
…… | …… |
本实施例,通过多种指标的数值信号得到多维的状态数据,并根据多维的状态数据实时确定驾驶员的驾驶状态,对采集环境要求低,数据量小,数据的处理、传输等对算力、带宽的要求较低,驾驶员体验更好且使用成本更低。
本实施例通过云端服务器的协同,实现了脱机在线可检测,驾驶员换新车、借车、使用共享汽车或其他类似场景下均可用,解决了相关技术中驾驶状态识别模型换车不易迁移的问题。
图7出了本申请实施例中聚类的示例性具体流程图。参见图7示,本申请实施例中聚类的示例性流程可以包括如下步骤:
步骤S701,创建两个数据集,分别作为正常数据集K1和异常数据集K2,正常数据集K1对应正常驾驶状态,异常数据集K2对应异常驾驶状态;
步骤S702,从驾驶员的状态数据库中未分类的状态数据中随机选择两个状态数据作为正常数据集K1的数据中心X1和异常数据集K2的数据中心X2;
步骤S703,计算已有未分类的状态数据中每个状态数据与数据中心X1和数据中心X2的曼哈顿距离;
一种实现方式中,可以通过下式(3)和式(4)计算曼哈顿距离:
D1=|ax-ax1|+|bx-bx1|+|cx-cx1|+|dx-dx1|+|ex-ex1|+|fx-fx1|+…(3)
D2=|ax-ax2|+|bx-bx2|+|cx-cx2|+|dx-dx2|+|ex-ex2|+|fx-fx2|+…(4)
其中,D1表示状态数据{ax,bx,cx,dx,ex,……}与第一数据中心X1{ax1,bx1,cx1,dx1,ex1,……}的曼哈顿距离,D2表示状态数据{ax,bx,cx,dx,ex,……}与第二数据中心X2{ax2,bx2,cx2,dx2,ex2,……}的曼哈顿距离,ax表示状态数据中对应驾驶指标a(例如,呼吸频率)的归一化值,ax1表示数据中心X1中对应驾驶指标a(例如,呼吸频率)的归一化值,ax2表示数据中心X2中对应驾驶指标a(例如,呼吸频率)的归一化值,
其他与此类似,不再赘述。
步骤S704,判断D1是否小于D2,以确定状态数据属于正常数据集K1和异常数据集K2中的哪个数据集,如果是则继续步骤S705,否则继续步骤S707;
步骤S705,将状态数据划分到正常数据集K1中;
步骤S706,重新计算正常数据集K1的中位数,以正常数据集K1的中位数作为新的数据中心X1’,继续步骤S709;
步骤S707,将状态数据划分到异常数据集K2中;
步骤S708,重新计算异常数据集K2的中位数作为新的数据中心X2’;
步骤S709,判断新的数据中心和原来的数据中心是否重合,即正常数据集K1的新数据中心X1’与其原来的数据中心X1是否重合,异常数据集K1的新数据中心X2’与其原来的数据中心X2是否重合,如果重合则继续步骤S711,如果有任一数据中心不重合则继续步骤S710;
步骤S710,如果有任一数据中心不重合则进行赋值替换,x1=x1’,x2=x2’,返回步骤S703,再次聚类,直到逐渐聚类到数据集的中位数中心不再移动。
步骤S711,聚类结束,输出驾驶员的正常数据集及其数据中心、异常数据集及其数据中心。
至少一些实施例中,通过聚类获得两个数据集可以表示为如下式(5)和式(6):
K1={xk11,xk12,xk13,…,xk1j,…},其中,xk1j=[ak1j,bk1j,ck1j,dk1j,ek1j,fk1j,…] (5)
K2={xk21,xk22,xk23,…,xk2j,…},其中,xk2j=[ak2j,bk2j,ck2j,dk2j,ek2j,fk2j,…] (6)
其中,xk1j表示正常数据集K1中第j个状态数据,ak1j表示状态数据xk1j中对应驾驶指标a(例如,呼吸频率)的归一化值,xk2j表示异常数据集K2中第j个状态数据,ak2j表示状态数据xk2j中对应驾驶指标a(例如,呼吸频率)的归一化值,其他依次类推,不再赘述。
图8示出了聚类结果的示例图,该示例中指标有三项分别为指标1、指标2、指标3,相应的多维空间即为三维空间。参见图8所示,状态数据可以是一多维空间的点,该多维空间的维数与驾驶员指标总量相同,也即该多维空间中的每一维度表征驾驶员的一项指标,该多维空间中的点在各个维度上的坐标即为相应状态数据中的各个指标数据,通过聚类获得的两个数据集K1、K2即为该多维空间中多个点形成的簇。需要说明的是,尽管图8是以三维为例,但可以理解的是,聚类结果的维度数与指标项数是相同,如上文中的六项指标,其多维空间即为六维空间,每个维度代表一项指标。
图7的示例性流程是初次聚类的处理流程,也即驾驶员的正常数据集和异常数据集均不存在的情况下进行聚类的过程。可以理解,若驾驶员的正常数据集和异常数据集均已存在,聚类则以前一次聚类结果为基础,即以前一次聚类获得的正常数据集K1、异常数据集K2、数据中心X1和数据中心X2为基础,从步骤S703~步骤S711的过程。
本实施例使用多维数据聚类法,非分类法,可以避免数据维度较高情况下的线性不可分的问题,并且聚类结果不直接作用于情绪、表情等中间特征的分类,而是通过聚类后的数据集来直接表征驾驶员的驾驶状态,如此,使用聚类所得数据集的置信区间和数据中心即可直接确定驾驶员的驾驶状态,无需借助诸如表情、情绪等中间特征,在降低计算复杂度的同时减少了误识别或漏识别,提高了驾驶员驾驶状态检测的准确性。
图9示出了步骤S504中确定驾驶员是否异常的示例性具体流程。参见图9所示,步骤S504中确定驾驶员是否异常的示例性具体流程可以包括如下步骤:
步骤S901,依次验证当前时刻的状态数据中各指标数据(例如,第一实施例中的归一化值)是否落入相同指标的置信区间M1或置信区间M2中,以确定第一指标数据的数量和第二指标数据的数量,置信区间M1属于对应正常驾驶状态的一类置信区间(即,M1属于对应于正常驾驶状态的第一置信区间),置信区间M2属于对应异常驾驶状态的另一类置信区间(即,M2属于对应于异常驾驶状态的第一置信区间),第一指标数据是指数值落入置信区间M1的指标数据,第二指标数据是指数值落入置信区间M2的指标数据。
步骤S902,判断当前时刻的状态数据中第一指标数据的数量或第二指标数据的数量中是否大于预先设定的第一预定值,如果是则继续步骤S903,否则继续步骤S906;
如上文所述,第一预定值可以由指标总数来决定。本实施例中,第一预定值取指标总数的二分之一。
步骤S903,判断当前时刻的状态数据中第一指标数据的数量是否大于第一预定值,如果是则继续步骤S904,否则继续步骤S905;
步骤S904,确定驾驶员当前时刻为正常驾驶状态,当前流程结束。
步骤S905,确定驾驶员当前时刻为异常驾驶状态,当前流程结束。
步骤S906,计算第一曼哈顿距离d1和第二曼哈顿距离d2,第一曼哈顿距离d1是当前时刻的状态数据到第一数据中心的曼哈顿距离,第二曼哈顿距离d2是当前时刻的状态数据与第二数据中心之间的曼哈顿距离,第一数据中心是正常数据集的数据中心,对应驾驶员的正常驾驶状态;第二数据中心是异常数据集的数据中心,对应驾驶员的异常驾驶状态。
步骤S907,判断第一曼哈顿距离d1与第二曼哈顿距离d2之间差值的绝对值是否小于或等于两者之和的一半,即|d1-d2|>(d1+d2)/2是否成立,如果是则跳转至步骤S905,否则跳转至步骤S904。
图10示出了当前时刻的状态数据相对于两个数据中心的空间位置,图11示出了步骤S907的判断原理,图11中点X2表示第二数据中心,X1表示第一数据中心,X0表示当前时刻的状态数据,图11仅示出一平面,是为了清楚说明步骤S907的判断原理,可以理解,实际应用中这些数据点属于多维空间(该多维空间的维度数与指数项数相同,参见图10所示),第一曼哈顿距离d1和第二曼哈顿距离d2是该多维空间中的曼哈顿距离。参见图10和图11可知,如果第一曼哈顿距离d1与第二曼哈顿距离d2之间的差值大于两者之和的一半,说明当前时刻的状态数据更靠近正常数据集,如果第一曼哈顿距离d1与第二曼哈顿距离d2之间的差值小于或等于两者之和的一半,说明当前时刻的状态数据更靠近异常数据集或恰好位于两个数据集的中间。
本实施例中,通过置信区间和数据中心即可直接判定驾驶员的驾驶状态是否异常,无需借助情绪类型、表情等中间特征,复杂度低,准确性更高。
图12示出了拟合数据分布的示例性流程图。参见图12所示,本实施例中拟合数据分布的示例性流程可以包括如下步骤:
步骤S1201,对数据集中的所有状态数据整体进行等区间宽度切片,得到多个宽度相同的切片;
例如,数据集切片为100份,每份切片的区间宽度为0.01。
步骤S1202,对切分得到的各切片按照数据量大小进行快速排序,找到数据量最大的切片,假设数据量最大的切片的区间为[u,u+0.01],数据集的数据区间为(0,1)。
步骤S1203,判断数据集中在第一区间(0,u)的数据量和在第二区间(u+0.01,1)的数据量是否相等,如果是继续步骤S1204,否则跳转到步骤S1205;
步骤S1204,确定数据集的数据分布为正态分布;
步骤S1205,确定数据集的数据分布为偏态分布。
如果状态数据中的指标数据在本地预处理过程中已做过归一化处理,状态数据中的每个指标数据的值将分布在[0,1]之间,本流程中便无需在步骤S1201之前再做归一化处理。如果指标数据的值并非是分布在[0,1]之间的归一化值,则需在步骤S1201之前增加对数据集中各状态数据归一化的步骤。
一些实现方式中,如果正常数据集或异常数据集属于正态分布,则其置信区间可以通过如下式(7)计算。
其中,P表示置信区间,表示数据集中各状态数据对应驾驶指标a的归一化值的均值,σ表示数据集中各状态数据对应驾驶指标a的归一化值的方差,n表示数据集中各状态数据对应驾驶指标a的归一化值的数量,α表示显著性水平,是预先确定的,例如可以取0.05或0.1,置信水平为1-α或者100×(1-α)%,zα/2为对应的标准分数,其他依次类推,不再赘述。
一些实现方式中,如果正常数据集或异常数据集属于正态分布,则其置信区间可以通过如下式(8)计算。
其中,P表示置信区间,表示数据集中各状态数据对应驾驶指标a的归一化值的均值,表示数据集中各状态数据对应驾驶指标b的归一化值的均值,表示数据集中各状态数据对应驾驶指标c的归一化值的均值,表示数据集中各状态数据对应驾驶指标b的归一化值的均值,表示数据集中各状态数据对应驾驶指标e的归一化值的均值,表示数据集中各状态数据对应驾驶指标f的归一化值的均值,β表示任意大于等于1的固定值,其取值可通过预先设置的显著水平(例如,可以取0.9或者0.95或其他设定值)确定,表示总体标准差,为已知值,可通过实验确定,对于不同指标的取值可以不同,但也可能是相同的。
本实施例中,通过切分数据来实现数据分布的拟合,针对不同类型的数据分布采用不同的方式计算置信区间,从而获得能够准确表征驾驶员各种驾驶状态边界的各类置信区间,为驾驶员驾驶状态的准确检测提供了准确的判定依据。
本实施例对调节驾驶员驾驶状态的示例性实现方式进行详细说明。
一些实现方式中,调节驾驶员驾驶状态的触发过程可以包括:判断驾驶员处在异常驾驶状态的持续时长是否达到了预先设定的第二预定值,如果是,则触发对驾驶员驾驶状态的调节,否则无需对驾驶员的驾驶状态进行干预。该实现方式在驾驶员的驾驶状态持续一段时间之后才对其进行调节,可以避免调节机制的误触发,提升驾驶员体验。
图13示出了调节驾驶员驾驶状态的示例性具体实现流程。参见图13所示,调节驾驶员驾驶状态的示例性具体流程可以包括如下步骤:
步骤S1301,确定驾驶员驾驶状态的异常程度;
步骤S1302,按照预先设定的三级调节机制对驾驶员的驾驶状态进行调节,预定的第三时长(例如300s)之后重新确定驾驶员驾驶状态的异常程度,如果异常程度下降,则继续步骤S1303,如果异常程度仍属于高档则跳转至步骤S1305;
步骤S1303,按照预先设定的二级调节机制对驾驶员的驾驶状态进行调节,预定的第二时长(例如60s)之后重新确定驾驶员驾驶状态的异常程度,如果异常程度下降,则继续步骤S1304,如果异常程度仍属于中档或者异常程度升为高档则跳转至步骤S1302;
步骤S1304,按照预先设定的一级调节机制对驾驶员的驾驶状态进行调节,预定的第一时长(例如15s)之后重新确定驾驶员驾驶状态的异常程度,如果异常程度下降,则不再干预,如果异常程度仍属于低档或升为中档则跳转至步骤S1303;
步骤S1305,按照预先设定的四级调节机制对驾驶员的驾驶状态进行调节,预定的第三时长(例如300s)之后重新确定驾驶员驾驶状态的异常程度,如果异常程度下降,则返回步骤S1303,如果异常程度仍属于高档可重复执行本步骤。
一般情况下,异常程度越高越需要较长时间才可对驾驶员的状态起到调节作用。因此,至少一些实施例中,可以采用阶梯式时长阈值,即第一时长小于第二时长、第二时长小于第三时长。第一时长、第二时长和第三时长的具体取值可以为经验值或动态变化的值,可依据驾驶员的特点进行调整。
一些实现方式中,确定异常程度的过程可以是:预先将对应异常驾驶状态的一类置信区间中各个置信区间划分为多个子区间,这多个子区间分别代表异常程度高低不等的多个档位,通过判断当前调节周期内所有状态数据中指标数据的均值落入相应置信区间中的哪个子区间即可确定驾驶员当前异常程度的档位。例如,将对应异常驾驶状态中的一类置信区间中每个置信区间均等分为三个子区间,这三个子区间分别代表异常程度的高档、中档和低档,如果第一时长内所有状态数据的同一指标数据的均值落入相应子区间,则确定驾驶员当前异常程度为该子区间所对应的档位。
一些实现方式中,图14示出了各级调节机制的模态结构示意图。一级调节机制可以是单模态干预,即采用一种模态(例如,模态1)的信号进行驾驶员状态的干预;二级调节机制可以是双模态干预,即采用两种模态(例如,模态1和模态2)的信号进行驾驶员状态的干预;三级调节机制可以是三模态干预,即采用三种模态(例如,模态1、模态2和模态3)的信号进行驾驶员状态的干预;四级调节机制可以是四模态干预,即采用四种模态(例如,模态1、模态2、模态3和模态4)的信号进行驾驶员状态的干预。需要说明的是,这里的模态1、模态2、模态3和模态4中的编号“1~4”仅用于区分模态类型,而非用于限制具体模态。
一些实现方式中,各种调节机制中模态是随机确定的。也即,从如下的四种模态中随机选取的一种或多种:听觉、视觉、嗅觉、触觉。通过随机选定的模态来对驾驶员驾驶状态进行调节,可以有效预防长时间使用同一种或多种模态的信号而使驾驶员产生耐受性,可显著提升调节机制的抗耐受性。
本实施例中,通过一调节机制对驾驶员驾驶状态进行调节可以包括:控制车辆上的人机交互设备(例如,视频设备、音频设备、气味播放器、智能座椅)发出调节机制中所指定模态的信号,以降低驾驶员驾驶状态的异常程度。
一些实现方式中,视觉模态的信号可以包括但不限于:针对人机交互界面的调整信号,例如HUD等设备中人机交互界面的色调调整信号、图形调整信号、亮度调整信号等。举例来说,可以将人机交互界面调整为冷色调、圆润形的图像界面,以改善驾驶员驾驶状态的异常状况。
一些实现方式中,听觉模态的信号可以包括但不限于音乐信号、节拍信号、正念引导音频信号等。举例来说,可以播放每分钟节拍数(Beat Per Minute,BPM)在35~40的节拍音乐,以改善驾驶员驾驶状态的异常状况。
一些实现方式中,嗅觉模态的信号可以包括但不限于:播放可缓解人精神状态紧张程度的气味,例如玫瑰、薰衣草、芒果、鼠尾草、甜橙等单方精油气味或其复方精油气味等。
一些实现方式中,触觉模态的信号可以包括但不限于车辆座舱环境的温度调整信号、驾驶员座椅的调整信号,例如驾驶员座椅的形状、工作模式、温度等的调整信号等。举例来说,可以将车辆座舱环境的温度调整至20℃~22℃,调整驾驶员座椅进入按摩模式,以改善驾驶员驾驶状态的异常状况。
本实施例的调节方法具有调节抗耐受性。
图15示出了本申请实施例中方法的另一示例性流程。
参见图15所示,该示例性流程除包括图5所示流程中的基本步骤之外,在步骤S506之前,还包括:
步骤S511,判断当前时刻驾驶员的状态数据落入率是否达到了预先设定的第三预定值(例如,90%),如果是则继续步骤S512,否则直接进入步骤S506。
步骤S512,确定驾驶员当前时刻的状态数据是否满足“第一指标数据的数量和第二指标数据的数量均未超出第一预定值”,如果是则继续步骤S506~步骤S509,将该状态数据上传至云端服务器,以由云端服务器将该状态数据更新到驾驶员的状态数据库中,否则,可以直接将该状态数据丢弃。
这里,关于第一指标数据的数量、第二指标数据的数量、第一预定值,可参照上文相关描述,不再赘述。
本实施例中,当全新产生的状态数据落入率大于一定值时,改变状态数据进入状态数据库的策略,从原来直接将状态数据送入状态数据库的方式,改变为“只选没有落入置信区间维数大于一半的点进入数据库”,由此,可以在不断完善驾驶员状态的数据画像的同时,减少进入状态数据库的冗余数据,从而减少数据运算量、降低计算复杂度。
图16示出了本申请实施例中驾驶状态检测系统的示例性架构。参见图16所示,示例性的驾驶状态检测系统可包括:车载传感器(图中未示出)、车载通讯模块1601、车载计算模块1602、车载调节模块1603、云端服务器1604,车载通讯模块1601能够与云端服务器1604通信,车载传感器、车载通讯模块1601、车载计算模块1602、车载调节模块1603均部署在车辆中。
本申请实施例中,车载端设备,也称为车载单元(on-board unit,OBU),是指集成或安装在车辆上的设备。例如,车载端设备可以包括车载计算机、车载音响、车载麦克风、车载显示器等。
车载传感器可以包括但不限于生物识别方向盘、生物识别安全带、驾驶员摄像头等,其可负责采集驾驶员的指标信号和预设信息,例如,指标信号可以包括但不限于呼吸频率信号、皮肤电阻信号(即皮电信号)、体温信号(图中未示出)、心率信号或脉搏信号、方向盘转速信号、油门踏板深度信号、制动踏板力信号等。
车载通讯模块1601可以为通信盒子(T-Box,Telematics box)等车载通信设备。至少一些实现方式中,车载通讯模块1601可负责将车载传感器检测到的预设信息上传到云端服务器1604,接收云端服务器1604返回的与该预设信息匹配的置信区间与数据中心并送至车载计算模块1602。其他实现方式中,车载通讯模块1601还可负责将车载计算模块1602中的状态数据上传至云端服务器1604,以便云端服务器1604更新驾驶员的状态数据库。
车载计算模块1602可通过一个或多个处理器来实现。至少一些实现方式中,车载计算模块1602可负责利用驾驶员的状态数据及其置信区间和数据中心实时地确定驾驶员的驾驶状态。此外,车载计算模块1602还可用于对各个车载传感器采集的指标信号进行本地预处理(例如,实时清洗、归一化等)得到相应的指标数据,以形成驾驶员的状态数据。
至少一些实现方式中,车载计算模块1602可用于通过车载通讯模块1601接收来自云端服务器1604的驾驶员的置信区间和数据中心,根据驾驶员的置信区间和数据中心以及实时获得的状态数据判定驾驶员的驾驶状态。如果车载通讯模块1601处于脱机状态,车载计算模块1602可以从本地查询之前获取的驾驶员的置信区间和数据中心。
至少一些实现方式中,车载计算模块1602可用于通过车载通讯模块1601向云端服务器1604上传驾驶员的状态数据。如果车载通讯模块1601处于脱机状态,车载计算模块1602可以在本地暂存驾驶员的状态数据,待车载通讯模块1601上线后,通过车载通讯模块1601将驾驶员的状态数据上传至云端服务器1604。如果车载通讯模块1601处于脱机状态,车载计算模块1602可以将驾驶员的状态数据直接上传至云端服务器1604。
车载调节模块1603可负责对驾驶员的异常驾驶状态做进一步异常程度分析,采取相应调节机制对驾驶员的驾驶状态进行干预。一些实现方式中,车载调节模块1603可以通过视觉、听觉、触觉和/或嗅觉等模态的调节方式实现上述干预。具体应用中,车载调节模块1603可以包括但不限于音频组件(例如,扬声器)、视频组件(例如,显示器、触摸屏、AR-HUD(augmented reality HUD))、气味播放器等。
云端服务器1604可用于创建、维护和更新各驾驶员的状态数据库,每一驾驶员的状态数据库与其预设信息关联,云端服务器1604接收驾驶员的预设信息,对预设信息进行验证之后,向驾驶员的状态数据库中读取相应的置信区间和数据中心并返回给车载通讯模块,和/或,向驾驶员的状态数据库中存入来自车载计算模块1602的状态数据。这里,预设信息的验证包括但不限于预设信息是否合法、预设信息是否存在或其他相关的验证操作。
除用于创建和维护驾驶员的状态数据库之外,云端服务器1604还可用于确定和/或调整驾驶员的置信区间和数据中心。一些实现方式中,云端服务器1604可通过对状态数据库中的状态数据进行聚类形成对应各驾驶状态的数据集,对各数据集求取数据中心、拟合分布、求取置信区间以最终获得驾驶员的置信区间和数据中心(即驾驶员状态判定数据)并保存。
本实施例提供的系统应用成本低,使用非视觉手段采集驾驶员的指标数据,由这些指标信号均为数值信号,其数据量小,且不受车舱环境(例如,车舱明暗)、安装位置等环境因素的影响。
本实施例提供的系统具有脱机使用性。在线时,车载通讯模块1601下载置信区间与数据中心,上传驾驶员的状态数据。离线时,依旧可以通过缓存的置信区间与数据中心实时判定驾驶员的驾驶状态,重新连线后上传驾驶员的状态数据、下载新的置信区间与数据中心。如此,可节省本地算力,云端算力也便于动态规划。
本实施例提供的系统具有灵活的迁移性。由于驾驶员的状态数据库在云端,不受车型限制,驾驶员更换车辆(例如,驾驶他人车辆、驾驶共享汽车、更换新车等)可随即生效。
本实施例提供的系统中,驾驶员的置信区间和数据中心可随驾驶员状态数据的更新而动态调整,不仅提升了驾驶员驾驶状态的检测精度,而且可因人而异、因时而异地对的驾驶员驾驶状态进行动态检测,更符合驾驶员驾驶车辆的实际情况。
图17是本申请实施例提供的一种计算设备1700的结构性示意性图。该计算设备1700包括:一个或多个处理器1710和存储器1720。
应理解,图17所示的计算设备1700中还可包括通信接口1730,该通信接口1730可以用于与其他设备之间进行通信。
其中,处理器1710可以与存储器1720连接。存储器1720可以用于存储程序代码和数据。因此,该存储器1720可以是处理器1710内部的存储单元,也可以是与处理器1710独立的外部存储单元,还可以是包括处理器1710内部的存储单元和与处理器1710独立的外部存储单元的部件。
可选的,计算设备1700还可以包括总线1740。其中,存储器1720、通信接口1730可以通过总线1740与处理器1710连接。为便于表示,图17中仅用一条线表示,但并不表示仅有一根总线或一种类型的总线。
应理解,在本申请实施例中,该处理器1710可以采用中央处理单元(centralprocessing unit,CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1710采用一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
该存储器1720可以包括只读存储器和随机存取存储器,并向处理器1710提供指令和数据。处理器1710的一部分还可以包括非易失性随机存取存储器。例如,处理器1710还可以存储设备类型的信息。
在计算设备1700运行时,所述处理器1710执行所述存储器1720中的计算机执行指令执行上述驾驶状态检测方法的操作步骤。
应理解,根据本申请实施例的计算设备1700可以对应于执行根据本申请各实施例的方法中的相应主体,并且计算设备1700中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供了一种驾驶员监测系统,包括上文所述的驾驶状态检测装置或上文所述的计算设备1700。一些实施例中,该驾驶员监测系统可以包括图16所示的驾驶状态检测系统。
本申请实施例还提供了一种车辆,该车辆包括上文所述的驾驶状态检测装置、上文所述的计算设备1700或上文所述的驾驶员监测系统。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行一种驾驶状态检测方法,该方法包括上述各个实施例所描述的方案中的至少之一。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是,但不限于,电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
注意,上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明的构思的情况下,还可以包括更多其他等效实施例,均属于本发明的保护范畴。
Claims (26)
1.一种驾驶状态检测方法,其特征在于,包括:
获取驾驶员的状态数据,所述状态数据包括至少两种指标数据;
在所述至少两种指标数据中,落入第一置信区间的指标数据的数量大于第一预定值时,将所述第一置信区间对应的驾驶状态确定为驾驶员的驾驶状态,其中,所述第一置信区间用于指示驾驶状态,所述第一置信区间为两个或两个以上;每个所述第一置信区间包括与所述至少两种指标数据分别对应的至少两个子置信区间,所述落入第一置信区间的指标数据是指落入所述第一置信区间包括的该指标数据的子置信区间的指标数据;
在所述至少两种指标数据中,落入所述第一置信区间的指标数据的数量小于或等于所述第一预定值时,根据所述状态数据与第一数据中心的距离确定驾驶员的驾驶状态,其中,将最靠近所述状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态,所述第一数据中心为两个或两个以上,每个所述第一数据中心与一个所述第一置信区间对应,每个所述第一数据中心包括与所述至少两种指标分别对应的至少两个值。
2.根据权利要求1所述的驾驶状态检测方法,其特征在于,所述至少两种指标数据用于指示生理状态和/或驾驶行为。
3.根据权利要求1所述的驾驶状态检测方法,其特征在于,所述驾驶状态包括正常驾驶状态或异常驾驶状态,所述第一置信区间对应于所述正常驾驶状态或所述异常驾驶状态。
4.根据权利要求1~3任一项所述的驾驶状态检测方法,其特征在于,所述第一置信区间通过如下方式获得:
基于驾驶员的状态数据库进行聚类以形成对应于所述驾驶状态的数据集和第一数据中心,所述驾驶员的状态数据库中包含预先获得的驾驶员的状态数据;
对所述数据集进行数据分布拟合,以确定所述数据集的数据分布属于正态分布或偏态分布;
根据所述数据集的数据分布,确定对应于所述驾驶状态的第一置信区间。
5.根据权利要求4所述的驾驶状态检测方法,其特征在于,所述对所述数据集进行数据分布拟合,具体包括:
对所述数据集中的状态数据进行切分,得到多个数据切片,所述多个数据切片中的每个数据切片的宽度相同;
以所述多个数据切片中数据量最大的数据切片作为所述数据集的中位区间;
所述数据集在第一区间的数据量与所述数据集在第二区间的数据量相等时,所述数据集的数据分布为正态分布;
所述数据集在第一区间的数据量与所述数据集在第二区间的数据量不相等时,所述数据集的数据分布为偏态分布;
其中,所述第一区间和所述第二区间是根据所述中位区间分割所述数据集的数据区间而得到的。
6.根据权利要求1所述的驾驶状态检测方法,其特征在于,所述根据所述状态数据与第一数据中心的距离确定驾驶员的驾驶状态,包括:
第一距离与第二距离之间差值的绝对值大于所述第一距离和所述第二距离的均值时,确定所述驾驶状态为正常驾驶状态;
第一距离与第二距离之间差值的绝对值小于或等于所述第一距离和所述第二距离的均值时,确定所述驾驶状态为异常驾驶状态;
所述第一距离是所述状态数据与对应所述正常驾驶状态的第一数据中心的距离,所述第二距离是所述状态数据与对应所述异常驾驶状态的第一数据中心的距离。
7.根据权利要求1所述的驾驶状态检测方法,其特征在于,还包括:
在驾驶员的状态数据落入率大于或等于第三预定值时,将落入所述第一置信区间的指标数据的数量小于或等于所述第一预定值的状态数据添加至所述驾驶员的状态数据库中。
8.根据权利要求3或6所述的驾驶状态检测方法,其特征在于,还包括:
所述驾驶状态为异常驾驶状态的持续时长大于或等于第二预定值时,采用包含有如下模态的一种或多种调节机制调节所述驾驶状态:视觉模态、听觉模态、嗅觉模态、触觉模态。
9.根据权利要求8所述的驾驶状态检测方法,其特征在于,所述调节机制根据驾驶员的异常等级确定,所述异常等级根据所述状态数据和对应于所述驾驶状态的第一置信区间确定。
10.根据权利要求9所述的驾驶状态检测方法,其特征在于,还包括:在第一时间间隔之后重新确定驾驶员的第一异常等级,所述第一时间间隔与所述第一异常等级相对应。
11.根据权利要求8所述的驾驶状态检测方法,其特征在于,所述调节机制中的模态是随机选定的。
12.一种驾驶状态检测装置,其特征在于,包括:
获取单元,用于获取驾驶员的状态数据,所述状态数据包括至少两种指标数据;
确定单元,用于在所述至少两种指标数据中,落入第一置信区间的指标数据的数量大于第一预定值时,将所述第一置信区间对应的驾驶状态确定为驾驶员的驾驶状态,其中,所述第一置信区间用于指示驾驶状态,所述第一置信区间为两个或两个以上;每个所述第一置信区间包括与所述至少两种指标数据分别对应的至少两个子置信区间,所述落入第一置信区间的指标数据是指落入所述第一置信区间包括的该指标数据的子置信区间的指标数据;
所述确定单元还用于在所述至少两种指标数据中,落入所述第一置信区间的指标数据的数量小于或等于所述第一预定值时,根据所述状态数据与第一数据中心的距离确定驾驶员的驾驶状态,其中,将最靠近所述状态数据的第一数据中心对应的驾驶状态确定为驾驶员的驾驶状态,所述第一数据中心为两个或两个以上,每个所述第一数据中心与一个所述第一置信区间对应,每个所述第一数据中心包括与所述至少两种指标分别对应的至少两个值。
13.根据权利要求12所述的驾驶状态检测装置,其特征在于,所述至少两种指标数据用于指示生理状态和/或驾驶行为。
14.根据权利要求12所述的驾驶状态检测装置,其特征在于,所述驾驶状态包括正常驾驶状态和异常驾驶状态,所述第一置信区间对应于所述正常驾驶状态或所述异常驾驶状态。
15.根据权利要求12~14任一项所述的驾驶状态检测装置,其特征在于,还包括:计算单元,所述计算单元用于:
基于驾驶员的状态数据库进行聚类以形成对应于所述驾驶状态的数据集和第一数据中心,所述驾驶员的状态数据库中包含预先获得的驾驶员的状态数据;
对所述数据集进行数据分布拟合,以确定所述数据集的数据分布属于正态分布或偏态分布;
根据所述数据集的数据分布,确定对应于所述驾驶状态的第一置信区间。
16.根据权利要求15所述的驾驶状态检测装置,其特征在于,所述计算单元具体用于:
对所述数据集中的状态数据进行切分,得到多个数据切片,所述多个数据切片中的每个数据切片的宽度相同;
以所述多个数据切片中数据量最大的数据切片作为所述数据集的中位区间;
所述数据集在第一区间的数据量与所述数据集在第二区间的数据量相等时,所述数据集的数据分布为正态分布;
所述数据集在第一区间的数据量与所述数据集在第二区间的数据量不相等时,所述数据集的数据分布为偏态分布;
其中,所述第一区间和所述第二区间是根据所述中位区间分割所述数据集的数据区间而得到的。
17.根据权利要求16所述的驾驶状态检测装置,其特征在于,所述确定单元,具体用于:
第一距离与第二距离之间差值的绝对值大于所述第一距离和所述第二距离的均值时,确定所述驾驶状态为正常驾驶状态;
第一距离与第二距离之间差值的绝对值小于或等于所述第一距离和所述第二距离的均值时,确定所述驾驶状态为异常驾驶状态;
所述第一距离是所述状态数据与对应所述正常驾驶状态的第一数据中心的距离,所述第二距离是所述状态数据与对应所述异常驾驶状态的第一数据中心的距离。
18.根据权利要求12所述的驾驶状态检测装置,其特征在于,还包括:
数据库更新单元,用于:在驾驶员的状态数据落入率大于或等于第三预定值时,将落入所述第一置信区间的指标数据的数量小于或等于所述第一预定值的状态数据添加至所述驾驶员的状态数据库中。
19.根据权利要求14所述的驾驶状态检测装置,其特征在于,还包括:调节单元,用于在所述驾驶状态为异常驾驶状态的持续时长大于或等于第二预定值时,采用包含有如下模态的一种或多种调节机制调节所述驾驶状态:视觉模态、听觉模态、嗅觉模态、触觉模态。
20.根据权利要求19所述的驾驶状态检测装置,其特征在于,所述调节机制根据驾驶员的异常等级确定,所述异常等级根据所述状态数据和对应于所述驾驶状态的第一置信区间确定。
21.根据权利要求20所述的驾驶状态检测装置,其特征在于,所述调节单元,还用于在第一时间间隔之后重新确定驾驶员的第一异常等级,所述第一时间间隔与所述第一异常等级相对应。
22.根据权利要求19所述的驾驶状态检测装置,其特征在于,所述调节机制中的模态是由所述调节单元随机选定的。
23.一种计算设备,其特征在于,包括:一个或多个处理器和存储器,所述存储器存储有程序指令,所述程序指令当被所述处理器执行时使得所述一个或多个处理器执行如权利要求1~11任一项所述的驾驶状态检测方法。
24.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令当被计算机执行时使得所述计算机执行如权利要求1~11任一所述的驾驶状态检测方法。
25.一种驾驶员监测系统,其特征在于,包括权利要求12~22任一项所述的驾驶状态检测装置或权利要求23所述的计算设备。
26.一种车辆,其特征在于,包括权利要求12~22任一项所述的驾驶状态检测装置、权利要求23所述的计算设备或权利要求25所述的驾驶员监测系统。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/096551 WO2022246770A1 (zh) | 2021-05-27 | 2021-05-27 | 驾驶状态检测方法及装置、设备、存储介质、系统、车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113454645A CN113454645A (zh) | 2021-09-28 |
CN113454645B true CN113454645B (zh) | 2022-08-09 |
Family
ID=77819436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180002001.8A Active CN113454645B (zh) | 2021-05-27 | 2021-05-27 | 驾驶状态检测方法及装置、设备、存储介质、系统、车辆 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113454645B (zh) |
WO (1) | WO2022246770A1 (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485191A (zh) * | 2015-09-02 | 2017-03-08 | 腾讯科技(深圳)有限公司 | 一种驾驶员疲劳状态检测方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102961126B (zh) * | 2012-11-16 | 2014-08-13 | 福建工程学院 | 基于脉象诊断模式的驾驶预警方法 |
CN104794856B (zh) * | 2014-01-22 | 2018-06-22 | 径卫视觉科技(上海)有限公司 | 驾驶员注意力综合测评系统 |
CN105282502B (zh) * | 2015-09-30 | 2018-11-20 | 中国民用航空总局第二研究所 | 基于置信区间的空中交通管制员疲劳检测方法、装置和系统 |
DE102016201531A1 (de) * | 2016-02-02 | 2017-08-03 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von Müdigkeit eines Fahrers |
CN105719431A (zh) * | 2016-03-09 | 2016-06-29 | 深圳市中天安驰有限责任公司 | 一种疲劳驾驶检测系统 |
CN112494044B (zh) * | 2020-11-09 | 2024-06-14 | 沈阳东软智能医疗科技研究院有限公司 | 疲劳驾驶检测方法、装置、可读存储介质及电子设备 |
CN112381015A (zh) * | 2020-11-19 | 2021-02-19 | 联通智网科技有限公司 | 疲劳度识别方法、装置和设备 |
-
2021
- 2021-05-27 WO PCT/CN2021/096551 patent/WO2022246770A1/zh active Application Filing
- 2021-05-27 CN CN202180002001.8A patent/CN113454645B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485191A (zh) * | 2015-09-02 | 2017-03-08 | 腾讯科技(深圳)有限公司 | 一种驾驶员疲劳状态检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113454645A (zh) | 2021-09-28 |
WO2022246770A1 (zh) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12032730B2 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
Xing et al. | Identification and analysis of driver postures for in-vehicle driving activities and secondary tasks recognition | |
Khodairy et al. | Driving behavior classification based on oversampled signals of smartphone embedded sensors using an optimized stacked-LSTM neural networks | |
EP2111796B1 (en) | Awake state judging model making device, awake state judging device, and warning device | |
US10877444B1 (en) | System and method for biofeedback including relevance assessment | |
Kashevnik et al. | Multimodal corpus design for audio-visual speech recognition in vehicle cabin | |
US20220402517A1 (en) | Systems and methods for increasing the safety of voice conversations between drivers and remote parties | |
WO2021067380A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
Manawadu et al. | Estimating driver workload with systematically varying traffic complexity using machine learning: Experimental design | |
Zardosht et al. | Identifying Driver Behavior in Preturning Maneuvers Using In‐Vehicle CANbus Signals | |
US20210323559A1 (en) | Data processing device, human-machine interface system including the device, vehicle including the system, method for evaluating user discomfort, and computer-readable medium for carrying out the method | |
CN113454645B (zh) | 驾驶状态检测方法及装置、设备、存储介质、系统、车辆 | |
JP2010271794A (ja) | 運転行動誘導システム | |
CN114564110B (zh) | 基于脑电数据的驾驶学习能力检测方法及系统 | |
CN116204806A (zh) | 一种脑状态确定方法及装置 | |
CN115485779A (zh) | 用于向用户提供用户适配的服务的技术 | |
Zhang et al. | Classification of Driving Modes Based on Driving Styles under Natural Environment | |
Ding et al. | Finite mixture of the hidden Markov model for driving style analysis | |
CN118035691B (zh) | 智能驾驶感知质量的量化评价方法、设备和存储介质 | |
CN118474957B (zh) | 一种车内氛围灯的控制方法、装置和计算机设备 | |
Heidecker et al. | Novelty based driver identification on rr intervals from ecg data | |
CN118323165B (zh) | 一种基于驾驶人驾驶压力反馈的车辆控制方法及系统 | |
CN118277835B (zh) | 一种基于大模型的驾驶疲劳识别方法及系统 | |
CN118529068A (zh) | 疲劳驾驶检测方法、装置、计算机设备、可读存储介质和程序产品 | |
Dababneh et al. | Driver vigilance level detection systems: A literature survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |