CN117842022A - 人因智能座舱的驾驶安全控制方法、装置、车辆及介质 - Google Patents
人因智能座舱的驾驶安全控制方法、装置、车辆及介质 Download PDFInfo
- Publication number
- CN117842022A CN117842022A CN202311869135.7A CN202311869135A CN117842022A CN 117842022 A CN117842022 A CN 117842022A CN 202311869135 A CN202311869135 A CN 202311869135A CN 117842022 A CN117842022 A CN 117842022A
- Authority
- CN
- China
- Prior art keywords
- driver
- state
- vehicle
- driving
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000009471 action Effects 0.000 claims abstract description 140
- 230000008921 facial expression Effects 0.000 claims abstract description 91
- 230000001815 facial effect Effects 0.000 claims abstract description 77
- 238000013473 artificial intelligence Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 239000003205 fragrance Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 235000006679 Mentha X verticillata Nutrition 0.000 description 1
- 235000002899 Mentha suaveolens Nutrition 0.000 description 1
- 235000001636 Mentha x rotundifolia Nutrition 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 235000019634 flavors Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种人因智能座舱的驾驶安全控制方法、装置、车辆和介质,人因智能座舱的驾驶安全控制方法包括:采集驾驶员的面部图像,并根据所述面部图像识别所述驾驶员的实际面部表情;根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,并判断所述当前驾驶状态是否满足预设安全控制条件;如果所述当前驾驶状态满足所述预设安全控制条件,则根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,并控制所述车辆执行所述至少一个安全动作。本申请实施例可以基于面部表情确定驾驶员的驾驶状态,且在状态满足安全控制条件下,自动匹配车辆的安全动作,保证车辆行驶的安全性,避免出现安全事故,保证人身安全。
Description
技术领域
本申请涉及安全驾驶技术领域,特别涉及一种人因智能座舱的驾驶安全控制方法、装置、车辆和介质。
背景技术
相关技术中,驾驶状态监测方法有基于摄像头的DMS系统、基于车辆的动态数据、生物传感信息等。例如,基于车辆的动态数据,如车速、转向角度等,可以判断驾驶员是否有疲劳的迹象,但可能受到外部环境的影响,如路况、天气等;基于生物传感信息的方法,如心率、血压、脑电波等,可以更直接地判断驾驶员的生理状态,但这种方法需要额外的生理仪器,佩戴比较复杂且容易受到环境噪音的影响,同时可能受到其他因素的干扰,如驾驶员的情绪、健康状况等。
然而,相关技术中的安全控制方式主要依据车辆数据和生物传感信息,无法准确区分用户的当下状态,且受各种因素影响较大,预警和干预方式均过于简单,降低安全控制的准确性和有效性,且适用性较低,无法满足用户的实际安全需求,亟待改进。
发明内容
本申请提供一种人因智能座舱的驾驶安全控制方法、装置、车辆及介质,以解决相关技术中的安全控制方式主要依据车辆数据和生物传感信息,无法准确区分用户的当下状态,且受各种因素影响较大,预警和干预方式均过于简单,降低安全控制的准确性和有效性,且适用性较低,无法满足用户的实际安全需求等问题。
本申请第一方面实施例提供一种人因智能座舱的驾驶安全控制方法,包括以下步骤:采集驾驶员的面部图像,并根据所述面部图像识别所述驾驶员的实际面部表情;根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,并判断所述当前驾驶状态是否满足预设安全控制条件;如果所述当前驾驶状态满足所述预设安全控制条件,则根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,并控制所述车辆执行所述至少一个安全动作。
通过上述技术方案,可以根据采集到的驾驶员的面部表情匹配驾驶员的当前驾驶状态,并以此判断是否满足一定的安全控制条件,一旦当前驾驶状态满足一定的安全控制条件,表示车辆需要进行安全干预,那么匹配并控制执行车辆的至少一个安全动作,提高安全控制的准确性和有效性,保证安全控制的适用性和可靠性,有效满足用户的实际安全需求,提高使用体验,保证客户粘性,有效避免安全事故的发生,保证人身安全。
示例性地,所述根据所述面部图像识别所述驾驶员的实际面部表情,包括:根据所述面部图像定位所述驾驶员的多个脸部特征的坐标信息,以确定所述驾驶员的至少一个面部特征;根据所述至少一个面部特征确定所述实际面部表情。
通过上述技术方案,可以根据利用面部图像定位驾驶员的多个脸部特征的坐标信息,由此确定驾驶员的至少一个面部特征,进而确定驾驶的实际面部表情,提高面部表情识别的准确度和可靠性,进而保证驾驶状态识别的准确性,简单易实现。
示例性地,所述根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,包括:将所述实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,输出所述驾驶员的愤怒状态值、驾驶分心状态值和驾驶疲劳状态值;根据所述愤怒状态值、所述驾驶分心状态值和所述驾驶疲劳状态值确定所述当前驾驶状态。
通过上述技术方案,可以将驾驶员的实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,再由模型输出所述驾驶员的愤怒状态值、驾驶分心状态值和驾驶疲劳状态值,进而根据愤怒状态值、驾驶分心状态值和驾驶疲劳状态值确定当前驾驶状态,利用不同的模型得到的不同数据值确定驾驶员的当前驾驶状态,由此增加了驾驶员的驾驶状态识别的可靠性和精准性,且利用预先训练的方式,有效保证模型的收敛性,有效满足使用需求,可靠易实现。
示例性地,在输入至所述预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型之前,还包括:采集所述驾驶员的身份标识;根据所述身份标识确定所述预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型。
通过上述技术方案,可以先采集驾驶员的身份标识,根据身份标识去匹配适用的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,为不同的驾驶员适配不同的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,提高识别的准确性,满足了不同用户的个性化需求,提升了识别的适用性。
示例性地,所述根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,包括:在所述当前驾驶状态为疲劳状态的情况下,生成所述车辆的语音报警装置的报警动作、香氛系统的开启动作、车辆座椅的调节动作、车载空调的温控动作和智能驾驶模块的接管动作中的至少一个安全动作;在所述当前驾驶状态为分心状态的情况下,生成所述车辆的语音报警装置的报警动作和灯光提示装置的提示动作中的至少一个安全动作;在所述当前驾驶状态为愤怒状态的情况下,生成所述车辆的语音报警装置的报警动作和灯光提示装置的提示动作中的至少一个安全动作。
通过上述技术方案,安全动作可以多维度、多样化,如可以分别在驾驶员为疲劳状态下、分心状态下、愤怒状态下生成车辆的不同的至少一个安全动作;安全动作各不相同,为驾驶员不同的状态分别对应设置不同的安全动作,安全控制动作不再具有单一性,而是满足用户的多方面需求,保证了客户的粘性和个性化需求,同时保证车辆的安全性,避免事故的发生。
示例性地,所述根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,包括:识别所述车辆的当前行驶场景;根据所述当前驾驶状态和所述当前行驶场景匹配所述至少一个安全动作。
通过上述技术方案,可以基于当前驾驶状态和当前行驶场景结合得到至少一个安全动作,在驾驶状态的基础上增加行驶场景的识别,进一步提升安全控制的实用性,满足用户在不同行驶场景的实际需求,增加了车辆安全控制的适用度。
示例性地,所述根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,包括:采集所述车辆的实际车辆数据;根据所述实际车辆数据和所述实际面部表情匹配所述驾驶员的当前驾驶状态。
通过上述技术方案,为保证安全控制的准确性,可以采集车辆的实际车辆数据,并结合实际车辆数据和实际面部表情确定驾驶员的当前驾驶状态,在面部表情识别的基础上增加实际车辆数据的采集,综合判断驾驶员的当前驾驶状态,有效的提高了驾驶员的驾驶状态识别的准确性和可靠性,避免因为场景的复杂性而产生的误识别。
本申请第二方面实施例提供一种人因智能座舱的驾驶安全控制装置,包括:第一采集模块,用于采集驾驶员的面部图像,并根据所述面部图像识别所述驾驶员的实际面部表情;匹配模块,用于根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,并判断所述当前驾驶状态是否满足预设安全控制条件;控制模块,用于在所述当前驾驶状态满足所述预设安全控制条件的情况下,根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,并控制所述车辆执行所述至少一个安全动作。
通过上述技术方案,第一采集模块可以根据采集的驾驶员的面部图像识别驾驶员的实际面部表情;匹配模块能够根据实际面部表情匹配驾驶员的当前驾驶状态,并判断当前驾驶状态是否满足一定的安全控制条件;控制模块则是在当前驾驶状态满足一定的安全控制条件的情况下,根据当前驾驶状态匹配并控制车辆执行至少一个安全动作;提高安全控制的准确性和有效性,保证安全控制的适用性和可靠性,有效满足用户的实际安全需求,提高使用体验,保证客户粘性,有效避免安全事故的发生,保证人身安全。
示例性地,所述第一采集模块包括:第一确定单元,用于根据所述面部图像定位所述驾驶员的多个脸部特征的坐标信息,以确定所述驾驶员的至少一个面部特征;第二确定单元,用于根据所述至少一个面部特征确定所述实际面部表情。
通过上述技术方案,第一确定单元可以利用面部图像定位驾驶员的多个脸部特征的坐标信息,以确定驾驶员的至少一个面部特征;第二确定单元又可以根据至少一个面部特征确定实际面部表情,提高面部表情识别的准确度和可靠性,进而保证驾驶状态识别的准确性,简单易实现。
示例性地,所述匹配模块包括:计算单元,用于将所述实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,输出所述驾驶员的愤怒状态值、驾驶分心状态值和驾驶疲劳状态值;第三确定单元,用于根据所述愤怒状态值、所述驾驶分心状态值和所述驾驶疲劳状态值确定所述当前驾驶状态。
通过上述技术方案,计算单元可以将实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,并输出驾驶员的愤怒状态值、驾驶分心状态值和驾驶疲劳状态值;第三确定单元则可根据愤怒状态值、驾驶分心状态值和驾驶疲劳状态值确定当前驾驶状态;利用不同的模型得到的不同数据值确定驾驶员的当前驾驶状态,由此增加了驾驶员的状态识别的可靠性和精准性,且利用预先训练的方式,有效保证模型的收敛性,有效满足使用需求,可靠易实现。
示例性地,本申请实施例的装置还包括:第二采集模块,用于在输入至所述预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型之前,采集所述驾驶员的身份标识;确定模块,用于根据所述身份标识确定所述预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型。
通过上述技术方案,第二采集模块可以在将实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型之前先采集驾驶员的身份标识;确定模块可根据身份标识匹配适用的的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型;为不同的驾驶员适配不同的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,提高识别的准确性,满足了不同用户的个性化需求,提升了识别的适用性。
示例性地,所述控制模块包括:第一生成单元,用于在所述当前驾驶状态为疲劳状态的情况下,生成所述车辆的语音报警装置的报警动作、香氛系统的开启动作、车辆座椅的调节动作、车载空调的温控动作和智能驾驶模块的接管动作中的至少一个安全动作;第二生成单元,用于在所述当前驾驶状态为分心状态的情况下,生成所述车辆的语音报警装置的报警动作和灯光提示装置的提示动作中的至少一个安全动作;第三生成单元,用于在所述当前驾驶状态为愤怒状态的情况下,生成所述车辆的语音报警装置的报警动作和所述智能驾驶模块的接管动作中的至少一个安全动作。
通过上述技术方案,第一生成单元能够在当前驾驶状态为疲劳状态的情况下,生成至少一个安全动作;第二生成单元能够在当前驾驶状态为分心状态的情况下,生成至少一个安全动作;第三生成单元则能够在当前驾驶状态为愤怒状态的情况下,生成至少一个安全动作;安全动作各不相同,为驾驶员不同的驾驶状态分别对应设置不同的安全动作,安全控制动作不再具有单一性,而是多维度、多样化,满足用户的多方面需求,保证了客户的粘性和个性化需求,同时保证车辆的安全性,避免事故的发生。
示例性地,所述控制模块包括:识别单元,用于识别所述车辆的当前行驶场景;第一匹配单元,用于根据所述当前驾驶状态和所述当前行驶场景匹配所述至少一个安全动作。
通过上述技术方案,识别单元可以识别车辆的当前行驶场景;第一匹配单元可以根据当前驾驶状态和当前行驶场景结合得到至少一个安全动作;在驾驶状态的基础上增加行驶场景的识别,进一步提升安全控制的实用性,进而再匹配安全动作,满足用户在不同行驶场景的实际需求,增加了车辆安全控制的有效性。
示例性地,所述匹配模块包括:采集单元,用于采集所述车辆的实际车辆数据;第二匹配单元,用于根据所述实际车辆数据和所述实际面部表情匹配所述驾驶员的当前驾驶状态。
通过上述技术方案,为保证安全控制的准确性,采集单元能够采集车辆的实际车辆数据;第二匹配单元则能够结合实际车辆数据和实际面部表情确定驾驶员的当前驾驶状态;在面部表情识别的基础上增加实际车辆数据的采集,进而综合判断得到驾驶员的当前驾驶状态,有效的提高了驾驶员的驾驶状态识别的准确性和可靠性,避免因为场景的复杂性而产生的误识别。
本申请第三方面提供一种人因智能座舱,其特征在于,包括:上述实施例所述的人因智能座舱的驾驶安全控制装置
本申请第四方面实施例提供一种车辆,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的人因智能座舱的驾驶安全控制方法。
本申请第五方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,该程序被处理器执行时实现如上的人因智能座舱的驾驶安全控制方法。
上述实施方式中,采集驾驶员的面部图像,并根据所述面部图像识别所述驾驶员的实际面部表情;根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,并判断所述当前驾驶状态是否满足预设安全控制条件;在所述当前驾驶状态满足所述预设安全控制条件时,则根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,并控制所述车辆执行所述至少一个安全动作。本申请提高了驾驶状态识别的准确性及安全控制的有效性,有效地满足了用户不同场景下的使用需求,提升了本申请的适用度与客户粘性。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请一个实施例的车辆的结构示意图;
图2为根据本申请实施例提供的一种人因智能座舱的驾驶安全控制方法的流程图;
图3为本申请一个实施例的面部表情识别的示意图;
图4为本申请一个实施例的驾驶状态识别的示意图;
图5为本申请一个实施例的面部状态识别的示意图;
图6为本申请一个实施例的生成安全动作的示意图;
图7为本申请一个实施例的安全动作匹配的示意图;
图8为本申请一个实施例的驾驶状态匹配方法的流程示意图;
图9为根据本申请实施例的人因智能座舱的驾驶安全控制装置的结构示意图;
图10为根据本申请实施例的车辆的结构示意图。
附图说明:
10-人因智能座舱的驾驶安全控制装置;100-第一采集模块、200-第一匹配模块和300-控制模块;1001-存储器、1002-处理器和1003-通信接口;1-数据采集模块:4-面部表情校准和5-面部表情采集;2-面部状态识别模块:6-疲劳状态、7-分心状态和8-愤怒状态;3-驾驶预警干预模块:9-语音模块、10-座椅、11-灯光、12-温度和13-车辆控制。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的人因智能座舱的驾驶安全控制方法及装置。针对上述背景技术中提到的相关技术中的安全控制方式主要依据车辆数据和生物传感信息,无法准确区分用户的当下状态,且受各种因素影响较大,预警和干预方式均过于简单,降低安全控制的准确性和有效性,且适用性较低,无法满足用户的实际安全需求的问题,本申请提供了一种人因智能座舱的驾驶安全控制方法,在该方法中,可以根据驾驶的面部图像识别出驾驶员的的实际面部面部表情,进而识别出驾驶员的当前驾驶状态,并在当前驾驶状态满足一定的安全控制条件时,匹配并控制车辆执行至少一个安全动作,保证了车辆行驶的安全性,避免出现安全事故,保证用户人身安全。由此,解决了相关技术中的安全控制方式主要依据车辆数据和生物传感信息,无法准确区分用户的当下状态,且受各种因素影响较大,预警和干预方式均过于简单,降低安全控制的准确性和有效性,且适用性较低,无法满足用户的实际安全需求等问题。
接下来将对本申请实施例的应用场景或系统架构予以示例说明。如图1所示,为本申请一个实施例的车辆的结构示意图。
其中,1-数据采集模块包括:4-面部表情校准和5-面部表情采集;2-面部状态识别模块包括:6-疲劳状态、7-分心状态和8-愤怒状态;3-驾驶预警干预模块包括:9-语音模块、10-座椅、11-灯光、12-温度和13-车辆控制。
具体地,数据采集模块1通过车辆传感器采集车辆数据和面部表情数据;面部状态识别模块2是对采集数据进行处理分析建模后,得到不同驾驶状态的分类;驾驶预警干预模块3可以通过语音、灯光、香氛、温度、座椅调节、车辆控制等方式对驾驶员进行预警或干预。
其中,数据采集模块1实时采集数据并传输到面部状态识别模块2,面部状态识别模块2对数据在线处理和融合,通过深度学习算法得到状态分类结果并传输至驾驶预警干预模块3,驾驶预警干预模块3基于状态分类输出结果给出反馈调节。
具体而言,图2为本申请实施例所提供的一种人因智能座舱的驾驶安全控制方法的流程图。
如图2所示,该人因智能座舱的驾驶安全控制方法包括以下步骤:
在步骤S201中,采集驾驶员的面部图像,并根据所述面部图像识别所述驾驶员的实际面部表情;
可以理解的是,实际面部表情在此处指的是驾驶员在驾驶时的实时面部表情,而非提前采集或是预先输入的面部表情,例如,在驾驶员行驶二十分钟后对于驾驶员的面部图像通过车内摄像头进行拍摄。
示例性地,识别驾驶员的实际面部表情,需要先采集驾驶员的面部图像,而在采集完驾驶员的面部图像之后,就可以根据实时采集到的面部图像再进行驾驶员实际面部表情的识别,例如,是面无表情还是较为兴奋,又或是愤怒等。
需要注意的是,采集过程中需要采集驾驶员五官重要点位置、人脸俯仰角、人脸横摆角、人脸侧倾角等不同数据,采样率为10Hz;面部图像采集方式可以通过车内后视镜上摄像头,或是通过方向盘上的摄像头,也可通过其他方式进行采集,此处仅作示例性说明,不做具体限制。
本申请实施例可以通过先采集驾驶员的面部图像,再进行驾驶员的实际面部表情的识别,减少了面部表情识别错误的概率,同时为驾驶员的驾驶状态识别做相关准备,有效地增加了驾驶状态识别的准确度。
作为一个示例,如图3所示,根据所述面部图像识别所述驾驶员的实际面部表情,包括S301-S302。
S301,根据面部图像定位驾驶员的多个脸部特征的坐标信息,以确定驾驶员的至少一个面部特征。
S302,根据所述至少一个面部特征确定所述实际面部表情。
可以理解的是,定位在此处指的是关于确定驾驶员面部某一特征在驾驶员面部某一位置所进行的一种标定,例如,眼睛在面部的定位;而脸部特征在此处则可以理解为面部的重要器官,例如,眉毛、眼睛、等;坐标信息在此处可以理解为将整个面部看成一个坐标系,分为纵向Y轴和横向X轴,器官在横向和纵向交汇的某一个或某一些点上,即可由X轴和Y轴的坐标进行标定得到,例如,以嘴巴为坐标系原点,左眼睛位于面部坐标系(-5,6)处,右眼睛位于面部坐标系(5,6)处。
示例性地,根据面部图像定位驾驶员的多个脸部特征的坐标信息,以确定驾驶员的至少一个面部特征,例如,可先通过车内摄像头采集面部图像,在进行面部表情识别的过程中可先执行面部表情校准,即利用坐标系和相关算法定位出驾驶员的面部特征的二维坐标,其中,面部特征包括但不限于眉毛、眼睛、瞳孔、鼻子、嘴巴、耳朵,由此确定驾驶员的至少一个面部特征。
示例性地,根据所述至少一个面部特征确定所述实际面部表情,例如,获取驾驶员的面部图像,以驾驶员的嘴巴为坐标系原点设定坐标系后,定位到驾驶员的左眉毛位置为(-5,7)处,右眉毛位置为(5,7)处,左眼睛位置为(-5,6)处,右眼睛位置为(5,6)处,当检测到驾驶员的眉毛明显皱起,瞳孔明显放大时,确定此时的实际面部表情为愤怒表情。
需要注意的是,坐标系及坐标单位的设定、定位算法、由面部特征得到面部表情的算法皆可由本领域专业技术人员设定,此处仅作示例性说明,而不做具体限制。
本申请实施例可以根据面部图像定位驾驶员的多个面部特征的坐标信息,再由至少一个面部特征确定实际面部表情,提高了面部特征定位的精确度,进而提高了实际面部表情确定的准确度,增加了实际面部表情结果的可信度。
在步骤S202中,根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,并判断所述当前驾驶状态是否满足预设安全控制条件。
可以理解的是,当前驾驶状态在此处指的是驾驶员驾驶时的心情及注意力对驾驶产生了影响的实际驾驶状态,例如,当驾驶员在单手持电话接听时,此时的注意力不集中,当前驾驶状态即为分心驾驶;预设安全控制条件在此处可以理解为预先设置好的可触发车辆安全控制的一定的条件,例如,驾驶员此时在愤怒驾驶状态,即非正常驾驶状态,不具有一定的自控能力,则满足了安全控制的条件,可开启相关的安全控制。
示例性地,如上述实施例中根据驾驶员的实际面部表情“皱眉和瞳孔放大”确定为愤怒表情后,可进一步匹配到驾驶员的当前驾驶状态,即在愤怒表情下的驾驶状态,从而再对驾驶员的当前驾驶状态是否满足一定的安全控制条件进行判定,例如,由愤怒表情确定驾驶员的当前驾驶状态为愤怒驾驶状态,此时驾驶员可能有驾驶速度过高或是用力转动方向盘等危险动作,可能造成一定的安全风险,没有足够的自控能力,那么可以判定当前的驾驶状态已经满足了一定的安全控制条件,即需要进行安全控制;若驾驶员此时的驾驶状态为正常驾驶,有足够的自控能力,就不需要进行安全控制。
本申请实施例可以在识别到驾驶员的实际面部表情后匹配驾驶员的当前驾驶状态,以此判断驾驶员的当前驾驶状态是否满足一定的安全控制条件,是否需要进行安全控制,如在具有自控力的驾驶状态下,判定不满足安全控制条件,而在不具有自控力的驾驶状态下,如愤怒、分心等,判定满足安全控制条件,从而及时为保证驾驶员的安全驾驶做准备,有效预防安全事故的发生。
作为一个示例,如图4所示,根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,包括S401-S402。
S401,将实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,输出驾驶员的愤怒状态值、驾驶分心状态值和驾驶疲劳状态值。
S402,根据驾驶愤怒状态值、驾驶分心状态值和驾驶疲劳状态值确定当前驾驶状态。
示例性地,此处的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型为提前经过训练建立的模型,且可以提前建立相关数据库以记录模型训练所需数据,驾驶员的愤怒状态值、驾驶分心状态值和驾驶疲劳状态值在此处则可以理解为由驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型所得到的一个值,具体如下所述。
例如,在离线的模型构建阶段,即实验阶段,首先记录驾驶员相关身份信息数据,如年龄、性别、升高、体重;接着记录驾驶员在观看诱发愤怒情绪视频时的面部表情视频共5分钟,标记为愤怒;继而记录请驾驶员模仿在打电话、发短信、谈话、吃东西等分心动作的面部表情视频共5分钟,标记为分心;最后记录驾驶员在连续驾驶2小时后的疲劳驾驶的面部表情视频共5分钟,标记为疲劳;接着分别建立三个分类的面部表情数据库。
示例性地,将数据库中数据作为训练集,提取数据库中的面部表情的面部特征:提取愤怒视频中的人脸面部特征,将面部特征放入卷积神经网络训练驾驶愤怒状态模型;提取分心视频中的人脸面部特征,将面部特征放入随机森林模型训练驾驶分心状态模型;提取疲劳视频中的人脸面部特征,将面部特征放入卷积神经网络训练驾驶疲劳状态模型。
示例性地,如图5所示,在结束上述相关模型训练后,即可将实时采集驾驶员的面部表情图像发送至面部状态识别模块,面部状态识别系统继而分别发送至愤怒状态识别系统、分心状态识别系统和疲劳状态识别系统,再分别利用卷积神经网络训练得到的驾驶愤怒状态模型、随机森林模型训练得到的驾驶分心状态模型和卷积神经网络训练得到的驾驶疲劳状态模型对采集到的驾驶员的实际面部表情进行检测,得到驾驶愤怒状态值、驾驶分心状态值和驾驶疲劳状态值,最终确定驾驶员是否满足状态条件及其当前驾驶状态。
例如,在实时采集驾驶员的面部图像后,可以选取一个10s、重叠50%的滑动窗口,每秒提取1帧图像,一个图片序列具有10张图片,得到驾驶员面部图像序列;再设定一阈值为3,利用以上三种模型对面部图像序列中的每一张图片进行状态识别,由输出的驾驶愤怒状态值、驾驶分心状态值和驾驶疲劳状态值确定当前驾驶状态。
举例而言,驾驶分心状态模型设定驾驶分心状态阈值为3,那么,当连续3张以上图像被驾驶分心状态模型识别,则可以输出驾驶分心状态值为3,已满足驾驶分心状态阈值,则可以判定驾驶员的当前驾驶状态为分心驾驶;同样的,若被驾驶愤怒状态模型和驾驶疲劳状态模型判定为愤怒状态和疲劳状态中的某一个状态的图片超过该模型设定阈值,则判断驾驶员正在愤怒状态或疲劳状态下驾驶;若都不是疲劳状态、分心状态和愤怒状态则视为正常状态。
需要注意的是,驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,驾驶状态阈值判定的阈值等皆可以由本领域专业技术人员进行设定,在此处仅作示例性说明,而不做具体限制。
本申请实施例可以将实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,根据输出的驾驶愤怒状态值、驾驶分心状态值和驾驶疲劳状态值确定当前驾驶状态,模型皆可经预先训练得到,经由不同的模型确定驾驶员的当前驾驶状态,有效地提升了驾驶员的驾驶状态识别结果的可信度,增加了本申请的适用性。
在步骤S203中,如果所述当前驾驶状态满足所述预设安全控制条件,则根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,并控制所述车辆执行所述至少一个安全动作。
可以理解的是,安全动作在此处指的是在驾驶员进行疲劳驾驶、分心驾驶或是愤怒驾驶时,为了避免因驾驶员状态影响可能产生安全事故而控制车辆进行的一定的预警动作或者干预动作,甚至两者相结合,在不作具体限制。
示例性地,当驾驶员满足一定的安全控制条件,例如,驾驶员此时正在疲劳驾驶状态或是分心驾驶状态又或是愤怒驾驶状态时,不具有自控力,可能会导致产生安全事故,此时就可以根据驾驶员的当前驾驶状态匹配车辆的至少一个安全动作且控制车辆执行,例如,驾驶员在愤怒驾驶状态时,此时的安全动作为控制车辆停下并打开警示灯,就可以控制车辆寻找合适的地方进行靠边停车并打开警示灯警示来往的行人和车辆。
本申请实施例可以在驾驶员满足一定的安全控制条件时,根据驾驶员的当前驾驶状态匹配车辆的至少一个安全动作且控制车辆执行,如在具有自控力的驾驶状态下,判定不满足安全控制条件,而在不具有自控力的驾驶状态下,如愤怒、分心等,判定满足安全控制条件,就可以匹配车辆的至少一个安全动作且控制车辆执行,从而避免可能因驾驶员驾驶状态较差而产生安全事故,有力的保证了用户的安全。
作为一个示例,在输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型之前,还包括:采集驾驶员的身份标识;根据身份标识确定预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型。
可以理解的是,驾驶员的身份标识指的是车辆基于车外人员的可以证明其身份的相关信息的收录生成的凭证,例如,车辆在内部后视镜上设置的摄像头对于相关的驾驶员会有面部图像信息记录,或是相关传感器采集驾驶员的指纹信息进行记录保存,并可以为其设置相关的用户标识,例如:姓名:XXX,身份:驾驶员,年龄:30岁等。
示例性地,在将驾驶员的面部图像输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型前,可以先采集驾驶员的身份标识,例如,通过方向盘摄像头采集驾驶员的面部图像信息,识别到该名驾驶员身份标识为:姓名:XXX,年龄:30岁,性别:男;由于不同驾驶员的面部表情特征不同,相应的预先训练的驾驶状态模型也不同,因此可以根据驾驶员的身份标识为驾驶员匹配预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型。
本申请实施例可以为不同的驾驶员预先训练不同的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,在识别到驾驶员的身份标识时再进行模型的确定,满足不同用户的需求,提高了本申请的适用性。
作为一个示例,如图6所示,根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,包括步骤S601-步骤S603。
步骤S601,在所述当前驾驶状态为疲劳状态的情况下,生成所述车辆的语音报警装置的报警动作、香氛系统的开启动作、车辆座椅的调节动作、车载空调的温控动作和智能驾驶模块的接管动作中的至少一个安全动作。
步骤S602,在所述当前驾驶状态为分心状态的情况下,生成所述车辆的语音报警装置的报警动作和灯光提示装置的提示动作中的至少一个安全动作。
步骤S603,在所述当前驾驶状态为愤怒状态的情况下,生成所述车辆的语音报警装置的报警动作和所述智能驾驶模块的接管动作中的至少一个安全动作。
基于其他相关实施例的说明可以理解到的是,在驾驶员当前不同的驾驶状态下,匹配到的车辆的至少一个安全动作也不相同。
示例性地,在当前驾驶状态为疲劳状态的情况下,可以生成车辆的语音报警装置的报警动作,即通过车内喇叭语音播报:“驾驶员您好,检测到当前您已连续驾驶超过3小时,继续驾驶可能造成疲劳驾驶,请注意休息!”;和/或是香氛系统的开启动作:由香氛系统释放一些薄荷或是能够提神醒脑的相关的其他香氛味道,帮助驾驶员保持精神清醒;和/或车辆座椅的调节动作:由于驾驶员的日常座椅都会调节到一个较为舒服的角度,故可以将车辆座椅靠背稍微抬高15度,以提醒驾驶员;和/或车载空调的温控动作:温暖的环境下会让人更加松弛,因此可以将车内温度适当调低,帮助驾驶员保持注意力;和/或智能驾驶模块的接管动作:在行驶场景和车辆情况均可以进行智能驾驶的情况下,可以利用智能驾驶模块对车辆进行接管。
示例性地,在当前驾驶状态为分心状态的情况下,生成车辆的语音报警装置的报警动作,即通过车内喇叭语音播报:“驾驶员您好,检测到当前您正在接听电话,请保持注意力集中,安全行驶!”;和/或灯光提示装置的提示动作中的至少一个安全动作:通过车内灯光的不同亮度与色调的调节对正在分心驾驶的驾驶员进行一定的提醒。
示例性地,在当前驾驶状态为愤怒状态的情况下,生成车辆的语音报警装置的报警动作,即通过车内喇叭语音播报:“驾驶员您好,检测到当前行车速度过高,驾驶动作幅度过大,请立即调整以保障行车安全!”;和/或智能驾驶模块的接管动作中的至少一个安全动作:由于愤怒驾驶状态中,驾驶员的驾驶动作可能会不自觉用力,例如,脚踩油门或是脚踩刹车又或是转弯时,可能都会由于动作幅度过大而导致安全事故,故此时可以由智能驾驶模块进行接管,根据不同的行驶场景进行不同的接管,例如,在城市道路上适当松开油门放低速度,又或是在停车点缓慢停车等,避免驾驶员在愤怒状态下再度行驶。
需要注意的是,不同的安全动作皆可以由本领域专业技术人员进行设定,在此处仅作示例性说明,而不做具体限制。
本申请实施例可以根据驾驶员当前不同的驾驶状态匹配车辆的不同的安全动作,且可以综合行车场景对安全动作进行更加适合的设定,在有效保证用户行车安全的同时,提升用户的体验,满足用户不同场景和不同状态下的实际使用需求。
作为一个示例,如图7所示,根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,包括步骤S701-步骤S702。
步骤S701,识别车辆的当前行驶场景。
步骤S702,根据当前驾驶状态和当前行驶场景匹配至少一个安全动作。
可以理解的是,当前行驶场景在此处可以理解为驾驶员前所行驶的路段情况或是当前所行驶的驾驶情况等,例如,驾驶员正在高速道路上行驶,或是驾驶员当前即将左转等。
示例性地,在为驾驶员的当前驾驶状态匹配车辆的至少一个安全动作前,要先识别当前车辆的行驶场景。例如,当前驾驶员正在城市道路上或是狭窄道路上行驶,此时的驾驶员为愤怒驾驶状态,不具有自控能力,需要进行安全控制,安全动作为控制车辆靠边停车或是控制速度,由于城市道路禁止随处停放车辆或是狭窄道路停止行驶可能导致交通堵塞等,此时就应该进行控制车辆安全减速而非靠边停车。
本申请实施例可以根据识别到的驾驶员的当前驾驶状态的基础上,增加对车辆的行驶场景的识别,进而综合匹配至少一个安全动作,在不同的行驶场景和不同的驾驶状态下匹配不同的安全动作,增加了本申请的适用性,满足用户在实际场景中的使用需求。
作为一个示例,如图8所示,根据实际面部表情匹配驾驶员的当前驾驶状态,包括步骤S801-步骤S802。
步骤S801,采集车辆的实际车辆数据。
步骤S802,根据实际车辆数据和实际面部表情匹配驾驶员的当前驾驶状态。
可以理解的是,此处的实际车辆数据可以理解为车辆本身的部分参数,例如,车辆的扭矩大小和方向盘的尺寸大小,汽车转向系统参数等。
示例性地,除去驾驶员本身的状态可能影响驾驶员的面部表情和驾驶状态外,车辆的实际车辆数据也可能对驾驶员的面部表情和驾驶状态具有一定的影响,例如,当方向盘的尺寸大小相同时,车辆的扭矩越大,驾驶员转动方向盘用的力越大,则驾驶员的面部表情也会有相应变化;又如,当汽车转向系统出现转向器或转向柱的轴承损坏故障、转向器小齿轮与齿条啮合间隙太小时,会造成转向沉重,驾驶员在转弯驾驶时面部表情可能会大幅度变化;此时则需要结合车辆的实际数据和实际面部表情去匹配驾驶员的当前驾驶状态,例如,是正常行驶,或是因车辆本身原因用力过度而不是非正常状态驾驶等。
本申请实施例可以在根据驾驶员的实际面部表情识别驾驶员的当前驾驶状态基础上,增加对车辆的实际车辆数据的采集,综合二者对驾驶员的当前驾驶状态进行匹配,极大地降低了驾驶员的当前驾驶状态识别错误的概率,进而提高了人因智能座舱的驾驶安全控制的准确性和有效性。
根据本申请实施例提出的人因智能座舱的驾驶安全控制方法,可以采集驾驶员的面部图像、身份标识输入到预先训练完成的驾驶状态模型中,进而综合车辆的实际车辆数据确定驾驶员的当前驾驶状态,进而在驾驶员的当前驾驶状态非正常情况下,结合驾驶员的当前驾驶状态和当前行驶场景,匹配车辆的至少一个安全动作并控制车辆执行,提高了驾驶状态识别的准确性及安全控制的有效性,有效地满足了用户不同场景下的使用需求,提升了本申请的适用度与客户粘性。由此,解决了相关技术中的安全控制方式主要依据车辆数据和生物传感信息,无法准确区分用户的当下状态,且受各种因素影响较大,预警和干预方式均过于简单,降低安全控制的准确性和有效性,且适用性较低,无法满足用户的实际安全需求的技术问题。
其次参照附图描述根据本申请实施例提出的人因智能座舱的驾驶安全控制装置。
图9是本申请实施例的人因智能座舱的驾驶安全控制装置的结构示意图。
如图9所示,该人因智能座舱的驾驶安全控制装置10包括:第一采集模块100、第一匹配模块200和控制模块300。
其中,第一采集模块100,用于采集驾驶员的面部图像,并根据面部图像识别驾驶员的实际面部表情;
匹配模块200,用于根据实际面部表情匹配驾驶员的当前驾驶状态,并判断当前驾驶状态是否满足预设安全控制条件;
控制模块300,用于在当前驾驶状态满足预设安全控制条件的情况下,根据当前驾驶状态匹配车辆的至少一个安全动作,并控制车辆执行至少一个安全动作。
示例性地,第一采集模块100包括:第一确定单元和第二确定单元。
其中,第一确定单元,用于根据面部图像定位驾驶员的多个脸部特征的坐标信息,以确定驾驶员的至少一个面部特征;
第二确定单元,用于根据至少一个面部特征确定实际面部表情。
示例性地,匹配模块200包括:输出单元和第三确定单元。
其中,输出单元,用于将实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,输出驾驶员的愤怒状态值、驾驶分心状态值和驾驶疲劳状态值;
第三确定单元,用于根据愤怒状态值、驾驶分心状态值和驾驶疲劳状态值确定当前驾驶状态。
示例性地,匹配模块200包括:采集单元和第一匹配单元。
其中,采集单元,用于采集车辆的实际车辆数据;
第一匹配单元,用于根据实际车辆数据和实际面部表情匹配驾驶员的当前驾驶状态。
示例性地,控制模块300包括:第一生成单元、第二生成单元和第三生成单元。
其中,第一生成单元,用于在当前驾驶状态为疲劳状态的情况下,生成车辆的语音报警装置的报警动作、香氛系统的开启动作、车辆座椅的调节动作、车载空调的温控动作和智能驾驶模块的接管动作中的至少一个安全动作;
第二生成单元,用于在当前驾驶状态为分心状态的情况下,生成车辆的语音报警装置的报警动作和灯光提示装置的提示动作中的至少一个安全动作;
第三生成单元,用于在当前驾驶状态为愤怒状态的情况下,生成车辆的语音报警装置的报警动作和智能驾驶模块的接管动作中的至少一个安全动作。
示例性地,控制模块300包括:识别单元和第二匹配单元。
其中,识别单元,用于识别车辆的当前行驶场景;
第二匹配单元,用于根据当前驾驶状态和当前行驶场景匹配至少一个安全动作。
示例性地,本申请实施例中的装置10还包括:第二采集模块和确定模块。
其中,第二采集模块,用于在输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型之前,采集驾驶员的身份标识。
确定模块,用于根据身份标识确定预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型。
需要说明的是,前述对人因智能座舱的驾驶安全控制方法实施例的解释说明也适用于该实施例的人因智能座舱的驾驶安全控制装置,此处不再赘述。
根据本申请实施例提出的人因智能座舱的驾驶安全控制装置,可以采集驾驶员的面部图像、身份标识输入到预先训练完成的驾驶状态模型中,进而综合车辆的实际车辆数据确定驾驶员的当前驾驶状态,进而在驾驶员的当前驾驶状态非正常情况下,结合驾驶员的当前驾驶状态和当前行驶场景,匹配车辆的至少一个安全动作并控制车辆执行,提高了驾驶状态识别的准确性及安全控制的有效性,有效地满足了用户不同场景下的使用需求,提升了本申请的适用度与客户粘性。由此,解决了相关技术中的安全控制方式主要依据车辆数据和生物传感信息,无法准确区分用户的当下状态,且受各种因素影响较大,预警和干预方式均过于简单,降低安全控制的准确性和有效性,且适用性较低,无法满足用户的实际安全需求的技术问题。
本申请实施例还提供一种人因智能座舱,其包括:上述实施例的人因智能座舱的驾驶安全控制装置。该人因智能座舱可以采集驾驶员的面部图像、身份标识输入到预先训练完成的驾驶状态模型中,进而综合车辆的实际车辆数据确定驾驶员的当前驾驶状态,进而在驾驶员的当前驾驶状态非正常情况下,结合驾驶员的当前驾驶状态和当前行驶场景,匹配车辆的至少一个安全动作并控制车辆执行,提高了驾驶状态识别的准确性及安全控制的有效性,有效地满足了用户不同场景下的使用需求,提升了本申请的适用度与客户粘性。由此,解决了相关技术中的安全控制方式主要依据车辆数据和生物传感信息,无法准确区分用户的当下状态,且受各种因素影响较大,预警和干预方式均过于简单,降低安全控制的准确性和有效性,且适用性较低,无法满足用户的实际安全需求的技术问题。
图10为本申请实施例提供的车辆的结构示意图。该车辆可以包括:
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行程序时实现上述实施例中提供的人因智能座舱的驾驶安全控制方法。
进一步地,车辆还包括:
通信接口1003,用于存储器1001和处理器1002之间的通信。
存储器1001,用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器1001、处理器1002和通信接口1003独立实现,则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent Interconnect,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,在具体实现上,如果存储器1001、处理器1002及通信接口1003,集成在一块芯片上实现,则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的人因智能座舱的驾驶安全控制方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种人因智能座舱的驾驶安全控制方法,其特征在于,包括以下步骤:
采集驾驶员的面部图像,并根据所述面部图像识别所述驾驶员的实际面部表情;
根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,并判断所述当前驾驶状态是否满足预设安全控制条件;以及
如果所述当前驾驶状态满足所述预设安全控制条件,则根据所述当前驾驶状态匹配车辆的至少一个安全动作,并控制所述车辆执行所述至少一个安全动作。
2.根据权利要求1所述的人因智能座舱的驾驶安全控制方法,其特征在于,所述根据所述面部图像识别所述驾驶员的实际面部表情,包括:
根据所述面部图像定位所述驾驶员的多个脸部特征的坐标信息,以确定所述驾驶员的至少一个面部特征;
根据所述至少一个面部特征确定所述实际面部表情。
3.根据权利要求1所述的人因智能座舱的驾驶安全控制方法,其特征在于,所述根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,包括:
将所述实际面部表情输入至预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型,输出所述驾驶员的驾驶愤怒状态值、驾驶分心状态值和驾驶疲劳状态值;
根据所述驾驶愤怒状态值、所述驾驶分心状态值和所述驾驶疲劳状态值确定所述当前驾驶状态。
4.根据权利要求3所述的人因智能座舱的驾驶安全控制方法,其特征在于,在输入至所述预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型之前,还包括:
采集所述驾驶员的身份标识;
根据所述身份标识确定所述预先训练的驾驶愤怒状态模型、驾驶分心状态模型和驾驶疲劳状态模型。
5.根据权利要求1所述的人因智能座舱的驾驶安全控制方法,其特征在于,所述根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,包括:
在所述当前驾驶状态为疲劳状态的情况下,生成所述车辆的语音报警装置的报警动作、香氛系统的开启动作、车辆座椅的调节动作、车载空调的温控动作和智能驾驶模块的接管动作中的至少一个安全动作;
在所述当前驾驶状态为分心状态的情况下,生成所述车辆的语音报警装置的报警动作和灯光提示装置的提示动作中的至少一个安全动作;
在所述当前驾驶状态为愤怒状态的情况下,生成所述车辆的语音报警装置的报警动作和所述智能驾驶模块的接管动作中的至少一个安全动作。
6.根据权利要求1所述的人因智能座舱的驾驶安全控制方法,其特征在于,所述根据所述当前驾驶状态匹配所述车辆的至少一个安全动作,包括:
识别所述车辆的当前行驶场景;
根据所述当前驾驶状态和所述当前行驶场景匹配所述至少一个安全动作。
7.根据权利要求1所述的人因智能座舱的驾驶安全控制方法,其特征在于,所述根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,包括:
采集所述车辆的实际车辆数据;
根据所述实际车辆数据和所述实际面部表情匹配所述驾驶员的当前驾驶状态。
8.一种人因智能座舱的驾驶安全控制装置,其特征在于,包括:
采集模块,用于采集驾驶员的面部图像,并根据所述面部图像识别所述驾驶员的实际面部表情;
匹配模块,用于根据所述实际面部表情匹配所述驾驶员的当前驾驶状态,并判断所述当前驾驶状态是否满足预设安全控制条件;以及
控制模块,用于在所述当前驾驶状态满足所述预设安全控制条件的情况下,根据所述当前驾驶状态匹配车辆的至少一个安全动作,并控制所述车辆执行所述至少一个安全动作。
9.一种人因智能座舱,其特征在于,包括:如权利要求8所述的人因智能座舱的驾驶安全控制装置。
10.一种车辆,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311869135.7A CN117842022A (zh) | 2023-12-29 | 2023-12-29 | 人因智能座舱的驾驶安全控制方法、装置、车辆及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311869135.7A CN117842022A (zh) | 2023-12-29 | 2023-12-29 | 人因智能座舱的驾驶安全控制方法、装置、车辆及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117842022A true CN117842022A (zh) | 2024-04-09 |
Family
ID=90543313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311869135.7A Pending CN117842022A (zh) | 2023-12-29 | 2023-12-29 | 人因智能座舱的驾驶安全控制方法、装置、车辆及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117842022A (zh) |
-
2023
- 2023-12-29 CN CN202311869135.7A patent/CN117842022A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10908677B2 (en) | Vehicle system for providing driver feedback in response to an occupant's emotion | |
US11383721B2 (en) | System and method for responding to driver state | |
CN106462027B (zh) | 控制机动车辆中的车辆系统的方法 | |
CN110395260B (zh) | 车辆、安全驾驶方法和装置 | |
MX2013009434A (es) | Sistema y método de respuesta al comportamiento del conductor. | |
CN112735440A (zh) | 车载智能机器人交互方法、机器人及车辆 | |
US20190295400A1 (en) | Driving assistance device | |
JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
WO2020039994A1 (ja) | カーシェアリングシステム、運転制御調整装置、および車両の嗜好適合化方法 | |
CN113516015B (zh) | 情绪识别方法、辅助驾驶装置以及应用 | |
CN117842022A (zh) | 人因智能座舱的驾驶安全控制方法、装置、车辆及介质 | |
CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
US11383640B2 (en) | Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems | |
JP6648788B1 (ja) | 運転制御調整装置および運転制御調整方法 | |
WO2021262166A1 (en) | Operator evaluation and vehicle control based on eyewear data | |
US20230020786A1 (en) | System for a motor vehicle and method for assessing the emotions of a driver of a motor vehicle | |
CN116098622A (zh) | 疲劳检测方法、装置和车辆 | |
JP2021189704A (ja) | 制御装置およびプログラム | |
CN114360241A (zh) | 一种车辆交互方法、车辆交互装置及存储介质 | |
CN116946160A (zh) | 车辆控制方法、装置、存储介质及车辆 | |
CN115593396A (zh) | 车辆的自动泊车控制方法、装置、车辆及存储介质 | |
CN118144795A (zh) | 一种车内乘客状态提醒方法、系统、介质及车辆 | |
KR20200080376A (ko) | 차량 및 그 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |