CN117864147A - 驾驶状态检测方法及相关设备 - Google Patents
驾驶状态检测方法及相关设备 Download PDFInfo
- Publication number
- CN117864147A CN117864147A CN202211263508.1A CN202211263508A CN117864147A CN 117864147 A CN117864147 A CN 117864147A CN 202211263508 A CN202211263508 A CN 202211263508A CN 117864147 A CN117864147 A CN 117864147A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- driver
- vehicle
- data
- driving state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 206
- 238000000034 method Methods 0.000 claims abstract description 93
- 230000002159 abnormal effect Effects 0.000 claims abstract description 63
- 230000001960 triggered effect Effects 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 71
- 230000006854 communication Effects 0.000 claims description 71
- 230000008451 emotion Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 19
- 230000035939 shock Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 5
- 230000001976 improved effect Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 29
- 230000000875 corresponding effect Effects 0.000 description 28
- 206010048232 Yawning Diseases 0.000 description 27
- 241001282135 Poromitra oscitans Species 0.000 description 25
- 238000007405 data analysis Methods 0.000 description 18
- 230000009471 action Effects 0.000 description 17
- 238000007726 management method Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 14
- 238000010191 image analysis Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 11
- 230000004399 eye closure Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 206010013954 Dysphoria Diseases 0.000 description 1
- 241000234435 Lilium Species 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种驾驶状态检测方法及相关设备,通过移动终端(例如带有摄像头的手机)和车机结合来实现驾驶状态检测,用户可以将移动终端放置到车辆的某一个固定位置,移动终端可以采集驾驶员的图像数据(例如人脸图像),车机可以采集车辆数据(例如打火状态、行车速度、档位等),移动终端与车机之间可以进行数据同步,之后,移动终端/车机可以基于已采集的上述驾驶员的图像数据和车辆数据来判断驾驶员的驾驶状态是否异常,若是,则可以触发相应的提醒。这样,可以实现驾驶状态检测不强依赖于原车配置,可以做到终端随人走,不需要专业人员即可安装、使用、更换,使用方法简单方便,提高用户体验。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种驾驶状态检测方法及相关设备。
背景技术
随着汽车工业的快速发展,汽车逐渐成为了人们生活中不可或缺的交通工具之一,在车辆驾驶过程中,驾驶员状态不好是导致很多交通事故发生的主要原因,因此,驾驶状态检测工作显得尤为重要。
目前,驾驶状态检测主要是通过随车传感器或车载终端来实现,强依赖于原车配置,使用范围较为受限,用户体验差。
发明内容
本申请实施例提供了一种驾驶状态检测方法及相关设备,可以实现驾驶状态检测不强依赖于原车配置,可以做到终端随人走,不需要专业人员即可安装、使用、更换,使用方法简单方便,提高用户体验。
第一方面,本申请实施例提供了一种驾驶状态检测方法,应用于第一电子设备,第一电子设备包括摄像头,该方法包括:响应于第一电子设备被放置于车辆内部的第一位置,摄像头的拍摄范围至少覆盖驾驶员注视车辆正前方时的人脸部分;在满足启动驾驶状态检测的第一条件时,第一电子设备通过摄像头采集第一图像数据,第一条件是系统预设的或用户自主设置的,第一图像数据为驾驶员的图像数据;第一电子设备接收第二电子设备发送的第一车辆数据;若第一电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常,触发第一提醒。
通过实施第一方面提供的方法,可以充分利用移动终端的硬件资源,对于当前市面上的大量中低端硬件配置的车辆来说,只需要支持车辆数据采集和同步功能,即可以移动终端为主体来实现驾驶状态检测,不强依赖于原车配置,不需要其他额外开销,即可解决广大车主安全行车保障的问题,简单方便,提高用户体验。
在一种可能的实现方式中,第一条件为下述条件中的任意一项:车辆移动速度达到第一预设速度、第一电子设备检测到用户主动启动驾驶状态检测的操作、第一电子设备或第二电子设备开启导航。
这样,在满足上述任一项条件的情况下,可以启动驾驶状态检测,灵活便捷,满足用户需求,提高用户体验。
在一种可能的实现方式中,第一电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常,具体包括:第一电子设备基于第一图像数据、第一校准数据确定驾驶员的视角偏移出第一预设视角范围,或,驾驶员的人脸朝向偏移出第一预设人脸朝向范围;和,第一电子设备基于第一车辆数据确定车辆处于行驶状态;其中,第一预设视角范围或第一预设人脸朝向范围是基于第一校准数据确定的。
这样,可以通过进行驾驶员的专注度检测(包括视角检测或人脸朝向检测),并结合车辆的行驶状态来判断驾驶员的驾驶状态是否异常。
在一种可能的实现方式中,第一校准数据中包括注视摄像头时的视角数据或人脸朝向数据,和,驾驶员注视车辆正前方时的视角数据或人脸朝向数据。
在一种可能的实现方式中,在第一条件被触发之前,该方法还包括:第一电子设备显示引导用户注视摄像头的提示,在第一电子设备检测到用户持续注视摄像头第一预设时长之后,第一电子设备生成并保存驾驶员注视摄像头时的视角数据或人脸朝向数据;第一电子设备显示引导用户注视车辆正前方的提示,在第一电子设备检测到用户持续注视车辆正前方第二预设时长之后,第一电子设备生成并保存驾驶员注视车辆正前方时的视角数据或人脸朝向数据。
这样,电子设备可以通过引导驾驶员注视摄像头和车辆正前方来采集驾驶员的校准数据,以便用于后续进行驾驶员的专注度检测。
在一种可能的实现方式中,该方法还包括:第一电子设备显示第一用户界面;第一电子设备检测到用户针对第一用户界面的第一操作;响应于第一操作,第一电子设备确定使用第一校准数据。
这样,电子设备可以支持用户选择将哪一项历史保存的校准数据作为本次驾驶员的专注度检测过程中使用的校准数据。
在一种可能的实现方式中,第一电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常,具体包括:第一电子设备基于第一图像数据确定驾驶员处于疲劳状态;和,第一电子设备基于第一车辆数据确定车辆处于行驶状态。
这样,可以通过进行驾驶员的疲劳状态检测,并结合车辆的行驶状态来判断驾驶员的驾驶状态是否异常。
在一种可能的实现方式中,第一电子设备基于第一图像数据确定驾驶员处于疲劳状态,具体包括:第一电子设备基于第一图像数据确定在第一预设时间段内驾驶员的闭眼程度的参数值,在驾驶员的闭眼程度的参数值在第一预设范围的情况下,第一电子设备确定驾驶员处于疲劳状态,其中,驾驶员的闭眼程度的参数值包括以下一项或多项:闭眼持续时长、闭眼频率、闭眼次数,第一预设范围包括以下一项或多项:闭眼持续时长大于或等于第一预设闭眼时长、闭眼频率大于或等于第一预设闭眼频率、闭眼次数大于或等于第一预设闭眼次数;和/或,第一电子设备基于第一图像数据确定在第二预设时间段内驾驶员的打哈欠程度的参数值,在驾驶员的打哈欠程度的参数值在第二预设范围的情况下,第一电子设备确定驾驶员处于疲劳状态,其中,驾驶员的打哈欠程度的参数值包括以下一项或多项:打哈欠频率、打哈欠次数,第二预设范围包括以下一项或多项:打哈欠频率大于或等于第一预设打哈欠频率、打哈欠次数大于或等于第一预设打哈欠次数。
这样,可以通过驾驶员的闭眼程度的参数值、驾驶员的打哈欠程度的参数值来确定驾驶员是否处于疲劳状态。
在一种可能的实现方式中,第一电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常,具体包括:第一电子设备基于第一图像数据确定驾驶员的情绪为负面情绪;和,第一电子设备基于第一车辆数据确定车辆处于行驶状态。
这样,可以通过进行驾驶员的情绪检测,并结合车辆的行驶状态来判断驾驶员的驾驶状态是否异常。
在一种可能的实现方式中,第一车辆数据包括以下一项或多项:打火状态、车速、档位。
这样,可以通过车辆数据判断车辆是否处于行驶状态。
在一种可能的实现方式中,第一提醒包括以下一项或多项:界面显示提醒、语音提醒、震动提醒。
这样,在驾驶员的驾驶状态异常的情况下,电子设备可以触发相应的提醒来对驾驶员进行提示,避免出现安全问题。
在一种可能的实现方式中,震动提醒是第一电子设备通过第二电子设备来通知车辆触发的,震动提醒包括以下一项或多项:车辆的座椅震动提醒、车辆的方向盘震动提醒。
这样,在驾驶员的驾驶状态异常的情况下,电子设备可以触发车辆的座椅或方向盘的震动提醒来对驾驶员进行提示,避免出现安全问题。
在一种可能的实现方式中,该方法还包括:若第一电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态正常,则第一电子设备通过摄像头采集驾驶员的第二图像数据,并向第二电子设备发送第一消息,第一消息用于指示第二电子设备采集第二车辆数据。
这样,在驾驶员的驾驶状态正常的情况下,可以继续采集驾驶员的图像数据和车辆数据,以便后续继续进行驾驶状态检测。
在一种可能的实现方式中,在第一条件被触发之前,该方法还包括:第一电子设备与第二电子设备建立第一通信连接。
这样,第一电子设备与第二电子设备之间可以基于该第一通信连接进行数据同步。
在第一方面中,第一电子设备可以是电子设备100(即移动终端,例如手机),第二电子设备可以是电子设备200(例如车机),第一位置可以为车辆内部的某一个位置,在该位置时,第一电子设备的摄像头的拍摄范围可以至少覆盖驾驶员注视车辆正前方时的人脸部分,第一条件可以是启动驾驶状态检测的条件,第一用户界面可以是图5D示例性所示的用户界面,第一操作可以是点击图5D示例性所示的选项541或543的操作,第二图像数据可以是采集第一图像数据之后又采集的驾驶员的图像数据,第二车辆数据可以是采集第一车辆数据之后又采集的车辆数据,第一消息可以是图10所示的消息1,第一通信连接可以是图10所示的通信连接1。
第二方面,本申请实施例提供了一种驾驶状态检测方法,应用于第二电子设备,该方法包括:第二电子设备接收第一电子设备发送的第一图像数据,其中,第一图像数据为第一电子设备在满足启动驾驶状态检测的第一条件被触发时通过摄像头采集的驾驶员的图像数据,第一条件是系统预设的或用户自主设置的,第一电子设备被放置于车辆内部的第一位置,摄像头的拍摄范围至少覆盖驾驶员注视车辆正前方时的人脸部分;第二电子设备采集第一车辆数据;若第二电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常,则第二电子设备触发第一提醒。
通过实施第二方面提供的方法,移动终端可以采集驾驶员的图像数据,并把该图像数据同步至车机,车机可以基于该驾驶员的图像数据、采集的车辆数据来判断驾驶员的驾驶状态是否异常,若是,则可以触发相应的提醒。这样,图像采集工作可以由移动终端来进行,不需要随车配置图像采集装置,灵活方便,此外,移动终端可以提供驾驶状态检测过程中需要的交互界面,方便用户操作,提供用户体验。
在一种可能的实现方式中,第一条件为下述条件中的任意一项:车辆移动速度达到第一预设速度、第一电子设备检测到用户主动启动驾驶状态检测的操作、第一电子设备或第二电子设备开启导航。
这样,在满足上述任一项条件的情况下,可以启动驾驶状态检测,灵活便捷,满足用户需求,提高用户体验。
在一种可能的实现方式中,该方法还包括:第二电子设备接收第一电子设备发送的第一校准数据;第二电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常,具体包括:第二电子设备基于第一图像数据、第一校准数据确定驾驶员的视角偏移出第一预设视角范围,或,驾驶员的人脸朝向偏移出第一预设人脸朝向范围;和,第二电子设备基于第一车辆数据确定车辆处于行驶状态;其中,第一预设视角范围或第一预设人脸朝向范围是基于第一校准数据确定的。
这样,可以通过进行驾驶员的专注度检测(包括视角检测或人脸朝向检测),并结合车辆的行驶状态来判断驾驶员的驾驶状态是否异常。
在一种可能的实现方式中,第二电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常,具体包括:第二电子设备基于第一图像数据确定驾驶员处于疲劳状态;和,第二电子设备基于第一车辆数据确定车辆处于行驶状态。
这样,可以通过进行驾驶员的疲劳状态检测,并结合车辆的行驶状态来判断驾驶员的驾驶状态是否异常。
在一种可能的实现方式中,第二电子设备基于第一图像数据确定驾驶员处于疲劳状态,具体包括:第二电子设备基于第一图像数据确定在第一预设时间段内驾驶员的闭眼程度的参数值,在驾驶员的闭眼程度的参数值在第一预设范围的情况下,第二电子设备确定驾驶员处于疲劳状态,其中,驾驶员的闭眼程度的参数值包括以下一项或多项:闭眼持续时长、闭眼频率、闭眼次数,第一预设范围包括以下一项或多项:闭眼持续时长大于或等于第一预设闭眼时长、闭眼频率大于或等于第一预设闭眼频率、闭眼次数大于或等于第一预设闭眼次数;和/或,第二电子设备基于第一图像数据确定在第二预设时间段内驾驶员的打哈欠程度的参数值,在驾驶员的打哈欠程度的参数值在第二预设范围的情况下,第二电子设备确定驾驶员处于疲劳状态,其中,驾驶员的打哈欠程度的参数值包括以下一项或多项:打哈欠频率、打哈欠次数,第二预设范围包括以下一项或多项:打哈欠频率大于或等于第一预设打哈欠频率、打哈欠次数大于或等于第一预设打哈欠次数。
这样,可以通过驾驶员的闭眼程度的参数值、驾驶员的打哈欠程度的参数值来确定驾驶员是否处于疲劳状态。
在一种可能的实现方式中,第二电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常,具体包括:第一电子设备基于第一图像数据确定驾驶员的情绪为负面情绪;和,第一电子设备基于第一车辆数据确定车辆处于行驶状态。
这样,可以通过进行驾驶员的情绪检测,并结合车辆的行驶状态来判断驾驶员的驾驶状态是否异常。
在一种可能的实现方式中,第一车辆数据包括以下一项或多项:打火状态、车速、档位。这样,可以通过车辆数据判断车辆是否处于行驶状态。
在一种可能的实现方式中,第一提醒包括以下一项或多项:界面显示提醒、语音提醒、震动提醒。
这样,在驾驶员的驾驶状态异常的情况下,电子设备可以触发相应的提醒来对驾驶员进行提示,避免出现安全问题。
在一种可能的实现方式中,震动提醒是第二电子设备通知车辆触发的,震动提醒包括以下一项或多项:车辆的座椅震动提醒、车辆的方向盘震动提醒。
这样,在驾驶员的驾驶状态异常的情况下,电子设备可以触发车辆的座椅或方向盘的震动提醒来对驾驶员进行提示,避免出现安全问题。
在一种可能的实现方式中,在第二电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态异常的情况下,该方法还包括:第二电子设备触发避险操作;其中,避险操作包括以下一项或多项:减速、刹车、熄火、开启自动驾驶模式。
这样,在驾驶员的驾驶状态异常的情况下,电子设备也可以触发避险操作,避免出现交通事故。
在一种可能的实现方式中,该方法还包括:若第二电子设备基于第一图像数据、第一车辆数据确定驾驶员的驾驶状态正常,则第二电子设备采集第二车辆数据,并向第一电子设备发送第一消息,第一消息用于指示第一电子设备通过摄像头采集驾驶员的第二图像数据。
这样,在驾驶员的驾驶状态正常的情况下,可以继续采集驾驶员的图像数据和车辆数据,以便后续继续进行驾驶状态检测。
在一种可能的实现方式中,在第一条件被触发之前,该方法还包括:第二电子设备与第一电子设备建立第一通信连接。
这样,第一电子设备与第二电子设备之间可以基于该第一通信连接进行数据同步。
在第二方面中,第一电子设备可以是电子设备100(即移动终端,例如手机),第二电子设备可以是电子设备200(例如车机),第一位置可以为车辆内部的某一个位置,在该位置时,第一电子设备的摄像头的拍摄范围可以至少覆盖驾驶员注视车辆正前方时的人脸部分,第一条件可以是启动驾驶状态检测的条件,第二图像数据可以是采集第一图像数据之后又采集的驾驶员的图像数据,第二车辆数据可以是采集第一车辆数据之后又采集的车辆数据,第一消息可以是图2所示的消息1,第一通信连接可以是图2所示的通信连接1。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;其中,一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述第一方面或第二方面任一项可能的实现方式中的方法。
第四方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,计算机程序包括程序指令,当程序指令在电子设备上运行时,使得电子设备执行上述第一方面或第二方面任一项可能的实现方式中的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第一方面或第二方面任一项可能的实现方式中的方法。
附图说明
图1是本申请实施例提供的一种通信系统的示意图;
图2是本申请实施例提供的一种驾驶状态检测方法的流程示意图;
图3是本申请实施例提供的具备驾驶状态检测功能的应用程序的一个用户界面示意图;
图4A-图4B是本申请实施例提供的用户进行检测配置的过程涉及的一系列用户界面示意图;
图5A-图5F是本申请实施例提供的用户进行校准配置的过程涉及的一系列用户界面示意图;
图6是本申请实施例提供的驾驶状态检测启动后的一个用户界面示意图;
图7是本申请实施例提供的一种驾驶员的视角(或人脸朝向)的坐标系示意图;
图8A是本申请实施例提供的驾驶员的视角(或人脸朝向)在正常范围内的场景示意图;
图8B是本申请实施例提供的驾驶员的视角(或人脸朝向)不在正常范围内的场景示意图;
图9是本申请实施例提供的电子设备200(例如车机)触发提醒的一种用户界面示意图;
图10是本申请实施例提供的另一种驾驶状态检测方法的流程示意图;
图11是本申请实施例提供的电子设备100(例如手机)触发提醒的一种用户界面示意图;
图12是本申请实施例提供的一种在执行驾驶状态检测方法过程中涉及的电子设备100的内部模块与电子设备200的内部模块之间的可能的协作方式示意图;
图13是本申请实施例提供的另一种在执行驾驶状态检测方法过程中涉及的电子设备100的内部模块与电子设备200的内部模块之间的可能的协作方式示意图;
图14是本申请实施例提供的一种电子设备100的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请以下实施例中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
目前,驾驶状态检测(即车辆驾驶员的状态检测)主要使用图像处理和模式识别的方法,例如,采集驾驶员头部和眼睛区域的图像,基于驾驶员的眼睛的视角、开合程度、一定的预设值来判断驾驶员的状态是否异常,若是,则通过发出声音或震动等来告警提醒驾驶员。
然而,当前市面上的产品主要通过随车传感器或车载终端来进行驾驶状态检测。
例如,有一些产品是检测模块和车辆终端通过总线连接的一体化的检测系统,即该检测系统需要车辆支持才能实现驾驶状态检测,如果车辆未安装检测模块则无法使用该检测系统,从而无法实现驾驶状态检测。
又例如,有一些产品需要将采集驾驶员图像的摄像头固定在车辆内部,不可移动或拆卸,也即是说,车辆内部固定的图像采集装置需要随车支持。还有一些图像采集装置需要后期专业人员安装,一旦故障或损坏,更换成本较高,非专业人员不能维修。
可以看出,当前市面上的驾驶状态检测系统通常需要强依赖于原车配置,一般只在中高端车型中随车携带,使用范围较为受限,用户体验差。
基于上述问题,本申请实施例提供了一种驾驶状态检测方法,通过移动终端(例如带有摄像头的手机)和车机结合来实现驾驶状态检测,用户可以将移动终端放置到车辆的某一个固定位置,移动终端可以采集驾驶员的图像数据(例如人脸图像),车机可以采集车辆数据(例如打火状态、行车速度、档位等),移动终端与车机之间可以进行数据同步,之后,移动终端/车机可以基于已采集的上述驾驶员的图像数据和车辆数据来判断驾驶员的驾驶状态是否异常,若是,则可以触发相应的提醒。这样,可以实现驾驶状态检测不强依赖于原车配置,可以做到终端随人走,不需要专业人员即可安装、使用、更换,使用方法简单方便,使用范围较广,提高用户体验。
本申请实施例提供的驾驶状态检测方法可以通过驾驶状态检测系统来实现,该驾驶状态检测系统包括移动终端和车机,主要分为以下两个实施例:
实施例一、以车机为主,移动终端为辅
该实施例适用于车机配置较高的车辆(即中高端车辆),驾驶状态检测系统以车机为主,移动终端为辅,由车机作为整个系统的核心,移动终端可以将采集的驾驶员图像数据同步至车机,车机可以基于该驾驶员图像数据、采集的车辆数据来判断驾驶员的驾驶状态是否异常,若是,则可以触发相应的提醒或避险操作。
实施例二、以移动终端为主,车机为辅
该实施例适用于车机配置较低的车辆(即低端车辆),驾驶状态检测系统以移动终端为主,车机为辅,由移动终端作为整个系统的核心,车机可以将采集的车辆数据同步至移动终端,移动终端可以基于该车辆数据、采集的驾驶员图像数据来判断驾驶员的驾驶状态是否异常,若是,则可以触发相应的提醒。
后续会详细介绍在上述两种实施例下的驾驶状态检测的具体实现过程,在此先不展开。
下面介绍本申请实施例提供的一种通信系统。
图1示例性示出了本申请实施例提供的一种通信系统。
如图1所示,该通信系统可以包括:电子设备100、电子设备200。其中,电子设备100和电子设备200均为智能终端设备,可以为各种类型。
在本申请实施例中,电子设备100可以是带有摄像头(例如前置摄像头)的移动终端,例如,手机、平板电脑等等。
在本申请实施例中,电子设备200可以是车机(也可以称为车载终端,即安装在汽车里的车载信息娱乐设备,可以实现人与车、车与其他设备之间的信息通讯)。
该通信系统中的电子设备100和电子设备200之间可以通过登录相同的账号进行连接。例如,电子设备100和电子设备200可以登录同一华为账号,并通过服务器来远程连接并通信。账号可以是手机号,电子邮箱号,自定义的用户名,APP服务器分配的用户名,电子设备中某个APP中的登录使用的用户名等。
该通信系统中的电子设备100和电子设备200也可以登录不同账号,但通过绑定的方式进行连接。例如,电子设备100登录账号后,可以在设备管理应用中,绑定登录不同账号或未登录的电子设备200,之后电子设备100和电子设备200之间可以通过该设备管理应用通信。
该通信系统中的电子设备100和电子设备200还可以通过扫描二维码、近场通信(near field communication,NFC)碰一碰、搜索蓝牙设备等方式建立连接,这里不做限制。
总的来说,该通信系统中的电子设备100和电子设备200之间建立的通信连接可以包括但不限于:有线连接、无线连接例如蓝牙(bluetooth,BT)连接、无线局域网(wirelesslocal area networks,WLAN)例如无线保真点对点(wireless fidelity point to point,Wi-Fi P2P)连接、近距离无线通信(near field communication,NFC)连接,红外技术(infrared,IR)连接,以及远程连接(例如通过服务器建立的连接)等等。
此外,该通信系统中的电子设备100和电子设备200也可以结合上述任意几种方式来连接并通信,本申请实施例对此不做限制。也即是说,该通信系统中的电子设备100和电子设备200可以按照一定的通信协议和组网策略组建网络(即组网),实现电子设备100和电子设备200之间可以互相通信。
该通信系统中的电子设备100和电子设备200可以配置不同的软件操作系统(OperatingSystem,OS),包括但不限于等等。其中,/>为华为的鸿蒙系统。电子设备100和电子设备200也可以配置相同的软件操作系统,例如可以均配置在电子设备100和电子设备200的软件操作系统均为/>时,该通信系统可以看作一个超级终端。
实施例一、以车机为主,移动终端为辅
图2示例性示出了本申请实施例提供的一种驾驶状态检测方法的具体流程。
如图2所示,该方法可以应用于包括电子设备100(例如手机)、电子设备200(例如车机)的通信系统。在本申请实施例中,电子设备100可以是以带有摄像头和触摸屏的手机为例,电子设备200可以是以车机为例,下面详细介绍该方法的具体步骤:
S201、电子设备100被放置于车辆内部的某一个位置,该位置可以使得电子设备100的前置摄像头拍摄角度范围覆盖驾驶员正常注视车辆前方时的人脸角度。
在本申请实施例中,车辆内部可以设置有一个用于固定放置电子设备100的位置,可以支持用户随时取放电子设备100,方便快捷。该位置可以使得电子设备100的前置摄像头拍摄角度范围覆盖驾驶员正常注视车辆前方时的人脸角度,本申请实施例对该位置具体是车辆内部的哪个位置不作限定。
S202、电子设备100与电子设备200建立通信连接1。
具体地,在启动驾驶状态检测之前,电子设备100与电子设备200之间需要建立通信连接1,这样,电子设备100与电子设备200之间在驾驶状态检测过程中可以基于该通信连接1来进行数据交互(例如后续步骤中电子设备100向电子设备200同步采集的驾驶员的图像数据、校准数据;等等)。
其中,上述通信连接1可以是电子设备100与电子设备200之间通过有线连接或无线连接的方式建立的通信连接。其中,无线连接的方式可以包括蓝牙连接、WiFi连接、NFC连接、IR连接中的一种或多种。
S203-S204、电子设备100检测到用户进行校准配置的操作,响应于该操作,电子设备100生成并保存校准数据1,该数据为驾驶员1进行校准配置生成的数据。
在本申请实施例中,电子设备100可以提供一个具备驾驶状态检测功能的应用程序,该应用程序可以提供一系列用户界面来供用户进行操作,例如,供用户进行检测配置的操作、校准配置的操作、启动驾驶状态检测的操作等等。
参阅图3,图3示例性示出了上述具备驾驶状态检测功能的应用程序提供的一个用户界面310,该用户界面中可以包括一个或多个选项,例如,选项311、选项312、选项313。
其中,选项311可以用于触发进行检测配置。
其中,选项312可以用于触发进行校准配置。
其中,选项313可以用于启动驾驶状态检测。
下面结合图4A-图4B介绍用户进行检测配置的过程。
图4A-图4B示例性示出了用户进行检测配置的过程涉及的一系列用户界面。
继续参阅图3,如果用户想要进行检测配置,那么,电子设备100可以检测到用户针对图3示例性所示的选项311的操作(例如点击操作),响应于该操作,电子设备100可以显示图4A示例性所示用户界面410。
参阅图4A,用户界面410可以供用户进行检测配置。用户界面410中可以包括一个或多个选项(例如选项411、选项412、选项413、选项414)。
从图4A中可以看出,选项411、选项412、选项413是驾驶状态检测的触发方式(例如自动检测、主动检测、跟随导航)对应的配置选项。
其中,选项411可以为“自动检测”这一触发方式对应的配置选项,可以用于用户开启或关闭自动触发进行驾驶状态检测的功能。也即是说,在选项411处于开启状态下,电子设备100可以自动启动驾驶状态检测(例如电子设备100的移动速度达到某一预设速度之后即可自动启动驾驶状态检测,或,用户在完成校准配置的操作之后即可自动启动驾驶状态检测),无需用户主动触发;在选项411处于关闭状态下,电子设备100无法自动启动驾驶状态检测,可能需要用户主动触发(例如用户主动点击图3示例性所示的选项313)或跟随导航启动驾驶状态检测。
其中,选项412可以为“主动检测”这一触发方式对应的配置选项,可以用于用户开启或关闭主动触发进行驾驶状态检测的功能。也即是说,在选项412处于开启状态下,电子设备100需要用户主动触发(例如用户主动点击图3示例性所示的选项313)才可以启动驾驶状态检测;在选项412处于关闭状态下,电子设备100不需要用户主动触发驾驶状态检测,可能需要自动触发驾驶状态检测或跟随导航启动驾驶状态检测。
其中,选项413可以为“跟随导航”这一触发方式对应的配置选项,可以用于用户开启或关闭跟随导航进行驾驶状态检测的功能。也即是说,在选项413处于开启状态下,电子设备100可以在电子设备100开启导航(或电子设备200开启导航)的情况下启动驾驶状态检测;在选项413处于关闭状态下,电子设备100无法跟随导航进行驾驶状态检测,可能需要自动触发驾驶状态检测或主动触发驾驶状态检测。
容易理解,在跟随电子设备200的导航进行驾驶状态检测的情况下,电子设备200在开启导航之后,可以向电子设备100发送消息,以通知电子设备200开启了导航,这样,电子设备100可以跟随电子设备200的导航启动驾驶状态检测。
在一些示例中,电子设备100可以默认将上述三种驾驶状态检测的触发方式均关闭,也可以默认开启上述三种驾驶状态检测的触发方式中的其中一种,例如,如图4A所示,默认开启“主动检测”这一触发方式。
上述三种驾驶状态检测的触发方式仅仅是示例性的,不限于此,驾驶状态检测的触发方式还可以包括其他,本申请实施例对此不作限定。
继续参阅图4A,可以看出,选项412处于开启状态,也即是说,当前驾驶状态检测的触发方式为“主动检测”这一触发方式,用户也可以切换其它触发方式,以切换到“自动检测”这一触发方式为例,电子设备100可以检测到用户针对选项411的操作(例如点击操作),响应于该操作,参阅图4B,电子设备100可以将选项411置为开启状态。这样,当前驾驶状态检测的触发方式则由“主动检测”这一触发方式切换为“自动检测”这一触发方式了。
容易理解,上述三种触发方式只可以开启其中一种,因此,在用户由“主动检测”这一触发方式切换为其他触发方式之后,“主动检测”这一触发方式对应的选项412可以自动置为关闭状态。
容易理解,在用户完成检测配置的操作之后,电子设备100可以保存检测配置的设置信息。例如,用户将驾驶状态检测的触发方式设置为“自动检测”之后,电子设备100可以保存该设置信息,以便在达到预设条件(例如车辆移动速度达到某一预设速度)之后可以自动启动驾驶状态检测。“主动检测”、“跟随导航”这两种触发方式同理,在此不再赘述。
在实际应用中,由于在开启“主动检测”这一触发方式的情况下,才需要用户主动触发驾驶状态检测(例如用户主动点击图3示例性所示的选项313),因此,电子设备100在开启“主动检测”这一触发方式的情况下,才需要显示图3示例性所示的选项313,电子设备100在开启“自动检测”这一触发方式,或,开启“跟随导航”这一触发方式的情况下,可以不显示或灰度显示图3示例性所示的选项313。
在本申请实施例中,驾驶状态检测可以包括但不限于以下任意一项或多项:驾驶员专注度检测(也可以称为分心状态检测)、驾驶员疲劳状态检测、驾驶员分心动作检测(例如打电话动作;发消息动作;饮食动作;玩游戏、唱歌等娱乐动作;等等)。
在一些示例中,上述驾驶状态检测中还可以新增驾驶员情绪检测,继续参阅图4A,选项414可以为“情绪检测”对应的配置选项,可以用于用户开启或关闭进行驾驶员情绪检测的功能。也即是说,在选项414处于开启状态下,驾驶状态检测中可以包括驾驶员情绪检测,其中,驾驶员情绪可以包括但不限于以下任意一项或多项:伤心、平静、暴躁、发困(即困倦)。部分情绪可能会对驾驶员驾驶过程中的专注度造成一定的影响,例如,发困,如果驾驶员在一定时间段内都被检测出发困(例如多次打哈欠等),则可以认为与专注度异常情况等同。
容易理解,驾驶员情绪检测可以是通过对摄像头采集的驾驶员的图像数据进行分析来实现的。
在一些示例中,上述驾驶员情绪中的“发困”检测也可以是通过驾驶员疲劳状态检测来实现的,也即是说,“发困”可以是驾驶员疲劳状态的一种体现。
下面结合图5A-图5F介绍用户进行校准配置的过程。
图5A-图5F示例性示出了用户进行校准配置的过程涉及的一系列用户界面。
继续参阅图3,如果用户想要进行校准配置,那么,电子设备100可以检测到用户针对图3示例性所示的选项312的操作(例如点击操作),响应于该操作,电子设备100可以显示图5A示例性所示用户界面510。
参阅图5A,用户界面510中可以包括一个或多个选项(例如选项511、选项512)。
其中,选项511可以为新增校准数据对应的选项,可以用于用户触发电子设备100增加新的校准数据。
其中,选项512可以为管理历史校准数据对应的选项,可以用于用户触发电子设备100对历史保存的校准数据进行管理(例如使用、删除)。
1、新增校准数据
继续参阅图5A,如果用户想要新增校准数据,那么,电子设备100可以检测到用户针对图5A示例性所示的选项511的操作(例如点击操作),响应于该操作,电子设备100可以显示图5B示例性所示的用户界面520。
参阅图5B,用户界面520可以是电子设备100提供的用于指导用户完成校准配置的一个用户界面。用户界面520中可以包括预览框521,其中,预览框521中可以包括驾驶员注视电子设备100的摄像头时的图像(图中未示出),该图像可以是电子设备100的前置摄像头实时采集的图像。
可选地,用户界面520中还可以包括用于提示用户注视摄像头的相关信息,例如,提示信息522(例如“注视摄像头5s-10s”),从该提示信息中可以看出,电子设备100提示用户做出的动作是注视摄像头,以及该动作持续的时长是5s-10s。
在一些示例中,上述提示信息522可以不是以界面显示的方式传达给用户,而是以其他方式传达给用户,例如,可以以语音播报的方式传达给用户。
电子设备100在检测到用户注视摄像头一定时长(例如5s-10s)之后,电子设备100可以生成并保存用户注视摄像头的校准数据,同时,还可以显示图5C示例性所示的用户界面530。
参阅图5C,用户界面530可以是电子设备100提供的用于指导用户完成校准配置的另一个用户界面。用户界面530中可以包括预览框531,其中,预览框531中可以包括驾驶员注视车辆正前方时的图像(图中未示出),该图像可以是电子设备100的前置摄像头实时采集的图像。
可选地,用户界面530中还可以包括用于提示用户注视车辆正前方的相关信息,例如,提示信息532(例如“注视正前方5s-10s”),从该提示信息中可以看出,电子设备100提示用户做出的动作是注视正前方,以及该动作持续的时长是5s-10s。
在一些示例中,上述提示信息532可以不是以界面显示的方式传达给用户,而是以其他方式传达给用户,例如,可以以语音播报的方式传达给用户。
电子设备100在检测到用户注视正前方一定时长(例如5s-10s)之后,电子设备100可以生成并保存用户注视正前方的校准数据。
在一些示例中,电子设备100在检测到用户针对图5A示例性所示的选项511的操作(例如点击操作)之后,也可以先显示图5C所示的用户界面530,电子设备100在检测到用户注视正前方一定时长(例如5s-10s)之后,可以再显示图5B示例性所示的用户界面520。
容易理解,由于电子设备100在完成图5B和图5C所示的校准配置的过程之后,可以保存校准数据(例如图2所示的步骤S204中的校准数据1),因此,用户可以进入管理历史校准数据的界面中对该校准数据进行管理(例如使用、删除)。
2、管理历史校准数据
继续参阅图5A,如果用户想要管理历史校准数据,那么,电子设备100可以检测到用户针对图5A示例性所示的选项512的操作(例如点击操作),响应于该操作,电子设备100可以显示图5D示例性所示的用户界面540。
参阅图5D,用户界面540中可以包括一项或多项历史保存的校准数据,每一项历史保存的校准数据均可以表示一个用户的校准数据(例如Lily的校准数据、Lisa的校准数据等)。其中,每一项历史保存的校准数据都对应有一个或多个管理选项,例如,Lily的校准数据对应的管理选项为选项541、选项542,其中,选项541可以用于使用Lily的校准数据作为本次驾驶过程中进行驾驶状态检测的校准数据,选项542可以用于删除Lily的校准数据;又例如,Lisa的校准数据对应的管理选项为选项543、选项544,其中,选项543可以用于使用Lisa的校准数据作为本次驾驶过程中进行驾驶状态检测的校准数据,选项544可以用于删除Lisa的校准数据。
继续参阅图5D,如果用户想要使用图5D示例性所示的某一项历史保存的校准数据作为本次驾驶过程中进行驾驶状态检测的校准数据,那么,用户可以点击选项541或选项543。以使用Lily的校准数据作为本次驾驶过程中进行驾驶状态检测的校准数据为例,电子设备100可以检测到用户针对图5D示例性所示的选项541的操作(例如点击操作),响应于该操作,电子设备100可以使用Lily的校准数据作为本次驾驶过程中进行驾驶状态检测的校准数据,同时,电子设备100还可以更新选项541的显示状态(例如将选项541更新为图5E示例性所示的“使用中”的状态),以便用户可以获知此时正在使用Lily的校准数据作为本次驾驶过程中进行驾驶状态检测的校准数据。
可选地,参阅图5E,电子设备100也可以更新选项542的显示状态,例如,将选项542置为图5E示例性所示的灰度化状态(即不可选状态),以便提示用户由于此时正在使用Lily的校准数据作为本次驾驶过程中进行驾驶状态检测的校准数据,因此当前不可删除该校准数据。
继续参阅图5D,如果用户想要删除图5D示例性所示的一项或多项历史保存的校准数据,那么,用户可以点击选项542和/或选项544。以删除Lily的校准数据为例,电子设备100可以检测到用户针对选项542的操作(例如点击操作),响应于该操作,电子设备100可以删除Lily的校准数据,同时,如图5F示例性所示,电子设备100还可以取消显示历史保存的Lily的校准数据,而只显示未被删除的历史保存的校准数据(例如Lisa的校准数据)。
在一些示例中,如果用户新增了校准数据,那么,电子设备100可以将该新增的校准数据保存下来,并可以在图5D示例性所示的用户界面中显示,例如,该新增的校准数据也可以对应显示有一个或多个管理选项(例如“使用”选项、“删除”选项),在这种情况下,用户需要主动选择本次使用哪一项校准数据(例如主动点击其中一项校准数据对应的“使用”选项)作为本次驾驶过程中进行驾驶状态检测的校准数据。
在另一些示例中,如果用户新增了校准数据,那么,电子设备100也可以默认直接使用该新增的校准数据作为本次驾驶过程中进行驾驶状态检测的校准数据,简化用户操作。举例来说,假设图5D示例性所示的Lily的校准数据为用户新增的校准数据,那么,在电子设备100保存完该校准数据之后,可以直接使用该校准数据,并将选项541置为图5E示例性所示的“使用中”的状态。
容易理解,在图2所示的步骤S203中“用户进行校准配置的操作”包括用户新增校准数据的操作的情况下,电子设备100可以执行图2所示的步骤S204,生成并保存校准数据;在图2所示的步骤S203中“用户进行校准配置的操作”不包括用户新增校准数据的操作,而是用户直接使用历史校准数据的操作的情况下,电子设备100则无需执行图2所示的步骤S204。
S205-S206、电子设备100检测到启动驾驶状态检测的条件被触发,电子设备100采集驾驶员1的图像数据1。
具体地,电子设备100在检测到启动驾驶状态检测的条件被触发之后,可以通过电子设备100的摄像头实时采集当前车辆内的驾驶员的图像数据,例如,驾驶员1的图像数据1。
其中,上述“启动驾驶状态检测的条件”可以包括但不限于:电子设备100的移动速度达到某一预设速度(即通过“自动检测”这一触发方式启动驾驶状态检测)、用户启动驾驶状态检测的操作(即通过“主动检测”这一触发方式启动驾驶状态检测)、电子设备100或电子设备200的导航开启(即通过“跟随导航”这一触发方式启动驾驶状态检测)。
其中,上述电子设备100的摄像头可以是电子设备100的前置摄像头。在一些示例中,该摄像头可以是具备常开(Always-on)特性的摄像头,以便可以实时采集当前车辆内的驾驶员的图像数据。在另一些示例中,该摄像头可以是低功耗摄像头,这样,可以节省电子设备100的功耗,增加电子设备100的续航时间。
其中,上述驾驶员1的图像数据1可以是电子设备100通过摄像头采集的当前时间点前某一预设时长(例如30秒、60秒等)的驾驶员1的图像数据。
示例性地,在通过“主动检测”这一触发方式启动驾驶状态检测的情况下,“用户启动驾驶状态检测的操作”可以是用户针对上述图3所示的选项313的操作(例如点击操作)。
在一些示例中,在启动驾驶状态检测之后,电子设备100可以更新上述图3所示的选项313的显示状态,例如,选项313可以由图3示例性所示的显示状态切换为图6示例性所示的显示状态(例如“检测中”),这样,便于让用户获知已经成功开启驾驶状态检测。
在一些示例中,在启动驾驶状态检测之前,可以根据用户的使用习惯来确定以可视化形式(例如前台运行的形式)还是无感知形式(例如后台运行的形式)来进行驾驶状态检测,或者,可以由用户自主选择以哪种形式来进行驾驶状态检测,这样,可以最大程度地满足用户的需求。
S207、电子设备100向电子设备200发送驾驶员1的图像数据1、校准数据1。
具体地,电子设备100可以实时地将采集的驾驶员的图像数据同步发送给电子设备200,以便后续电子设备200可以基于该数据来进行驾驶状态检测。
示例性地,电子设备100在采集完驾驶员1的图像数据1之后,可以向电子设备200发送驾驶员1的图像数据1、校准数据1,其中,校准数据1可以为驾驶员1本次驾驶过程中进行驾驶状态检测使用的校准数据。
容易理解,上述校准数据1可以是电子设备100在电子设备100首次向电子设备200同步发送驾驶员1的图像数据的时候发送给电子设备200的,电子设备200可以保存下来,无需电子设备100每次向电子设备200同步发送驾驶员1的图像数据的时候,也将校准数据发送给电子设备200。
S208、电子设备200采集车辆数据1。
具体地,电子设备200在启动之后,可以实时地采集车辆数据(例如车辆数据1),以便后续可以将该车辆数据用于进行驾驶状态检测。
其中,上述车辆数据可以包括但不限于以下一项或多项:车速、档位、打火状态、转向灯状态、方向盘转角。
可以理解的是,为了与电子设备100采集上述驾驶员1的图像数据1的时间段相对应,上述车辆数据1可以是电子设备200采集的当前时间点前某一预设时长(例如30秒、60秒等)的车辆数据,其中,上述当前时间点可以是电子设备100采集上述驾驶员1的图像数据1的时间点,上述预设时长可以是电子设备100采集上述驾驶员1的图像数据1的时长。
S209-S211、电子设备200基于车辆数据1、驾驶员1的图像数据1、校准数据1判断驾驶员1的驾驶状态是否异常,若是,则电子设备200触发相应的提醒和/或避险动作,若否,则电子设备200向电子设备100发送消息1,该消息用于指示电子设备100继续采集驾驶员1的图像数据,同时,电子设备200也可以继续采集车辆数据。
在本申请实施例中,在驾驶状态检测过程中,电子设备200在驾驶员的图像数据的基础上,可以进一步结合车辆数据来综合判断驾驶员的驾驶状态,这样,可以避免因仅仅基于驾驶员的图像数据来判断驾驶员的驾驶状态而产生的各种误判、误报警现象(例如车辆处于停止状态时,驾驶员可能正处于停车休息状态,如果只基于驾驶员的图像数据来确定驾驶员处于闭眼或低头状态而进一步触发驾驶状态异常的提醒,则会打扰驾驶员休息),增加驾驶状态检测的准确性,提高用户体验。
具体地,电子设备200可以基于驾驶员1的图像数据1、校准数据1来生成驾驶员图像数据分析结果1,进一步地,电子设备200可以将车辆数据1与驾驶员图像数据分析结果1进行整合,并综合判断驾驶员1的驾驶状态,进一步地,电子设备200可以基于驾驶员1的驾驶状态来确定下一步要执行什么动作。
在本申请实施例中,进行驾驶员图像数据分析可以包括但不限于以下一项或多项:驾驶员的专注度检测分析(例如视角检测、人脸朝向检测)、驾驶员的疲劳状态检测分析(例如闭眼检测、哈欠检测)、驾驶员的情绪检测分析(例如基于采集的驾驶员的人脸图像进行情绪检测)。
一、驾驶员的专注度检测分析
具体地,在进行驾驶员的专注度检测分析过程中,首先可以基于驾驶员的图像数据和校准数据进行视角(即视线方向)检测,和/或,人脸朝向检测,从而得到视角信息,和/或,人脸朝向信息,进一步地,可以基于一段时间内(即采集上述驾驶员的图像数据的时间段内)的视角信息,和/或,人脸朝向信息来确定用于表征驾驶员的专注度的指标的参数值,进一步地,可以基于用于表征驾驶员的专注度的指标的参数值来生成驾驶员图像数据分析结果。
其中,上述视角信息可以用于确定驾驶员的视角是否在正常视角范围内。
其中,上述人脸朝向信息可以用于确定驾驶员的人脸朝向是否在正常人脸朝向范围内。
参阅图7,图7示例性示出了驾驶员的正常视角范围(或正常人脸朝向范围),其中,驾驶员的正常视角范围(或正常人脸朝向范围)可以是基于注视正前方的视角(或人脸朝向)、注视摄像头的视角(或人脸朝向)确定的,驾驶员的正常视角范围(或正常人脸朝向范围)的取值可以根据实际情况进行设置,本申请实施例对此不作限定。
容易理解,图7所示的注视正前方的视角(或人脸朝向)、注视摄像头的视角(或人脸朝向)是基于上述校准数据(例如上述校准数据1)得到的。其中,上述视角信息可以是驾驶员的视角与图7所示的注视正前方的视角(或注视摄像头的视角)之间的夹角,上述人脸朝向信息可以是驾驶员的人脸朝向与与图7所示的注视正前方的人脸朝向(或注视摄像头的人脸朝向)之间的夹角。示例性地,参阅图8A,图8A可以是驾驶员的视角(或人脸朝向)在正常范围内的场景,参阅图8B,图8B可以是驾驶员的视角(或人脸朝向)不在正常范围内的场景。
其中,上述用于表征驾驶员的专注度的指标可以包括但不限于以下一项或多项:驾驶员的视线偏移程度(即偏移正常视角范围的程度)、驾驶员的人脸朝向偏移程度(即偏移正常人脸朝向范围的程度)。
其中,上述驾驶员的视线偏移程度的参数值可以包括但不限于以下一项或多项:视线方向偏移角度、视线方向偏移时长、视线方向偏移频率。
其中,上述驾驶员的人脸朝向偏移程度的参数值可以包括但不限于以下一项或多项:人脸朝向偏移角度、人脸朝向偏移时长、人脸朝向偏移频率。
其中,上述驾驶员图像数据分析结果可以包括:驾驶员专注度正常(即驾驶员处于专注的状态)、驾驶员专注度异常(即驾驶员处于不专注的状态);或,驾驶员的专注度级别(例如专注度正常、专注度轻度异常、专注度中度异常、专注度重度异常等)。其中,驾驶员的专注度级别可以通过用于表征驾驶员的专注度的指标的参数值所满足的预设条件来确定。例如,若视线方向(或人脸朝向)未偏移出正常视角范围(或正常人脸朝向范围),则可以表示驾驶员专注度正常;若视线偏移角度(或人脸朝向偏移角度)大于或等于预设偏移角度1,且偏移时长小于或等于预设偏移时长1,则可以表示驾驶员专注度轻度异常;若视线偏移角度(或人脸朝向偏移角度)大于或等于预设偏移角度1,且偏移时长大于预设偏移时长1并小于或等于预设偏移时长2,则可以表示驾驶员专注度中度异常;若视线偏移角度(或人脸朝向偏移角度)大于或等于预设偏移角度1,且偏移时长大于预设偏移时长2,则可以表示驾驶员专注度重度异常。
在实际应用中,可以根据实际情况对驾驶员的专注度级别进行更细化或更粗略的设置,本申请实施例对此不作限定。
可以理解的是,视角检测和人脸朝向检测需要用到校准数据,在一些示例中,如果不进行视角检测和人脸朝向检测,那么,则可以不进行上述校准配置的操作,无需校准数据。
在一些示例中,还可以通过检测驾驶员的分心动作(例如打电话动作;发消息动作;饮食动作;玩游戏、唱歌等娱乐动作;等等)来确定驾驶员的专注度。例如,可以通过神经网络模型来检测出预设的目标对象(例如手部、嘴部、食物、电子设备等),并基于检测出的预设的目标对象来确定驾驶员出现的分心动作,进一步地,可以基于一段时间内该分心动作的出现次数、持续时长、频率等来生成驾驶员图像数据分析结果。
二、驾驶员的疲劳状态检测分析
具体地,在进行驾驶员的疲劳状态检测分析过程中,可以基于驾驶员的图像数据进行驾驶员的人脸区域(例如人脸的部分区域或人脸的全部区域)检测,从而得到一段时间内(即采集上述驾驶员的图像数据的时间段内)驾驶员的人脸区域的状态信息(例如驾驶员的眼睛开合状态信息、驾驶员的嘴部开合状态信息),进一步地,可以基于上述一段时间内的驾驶员的人脸区域的状态信息来确定用于表征驾驶员的疲劳状态的指标的参数值,进一步地,可以基于用于表征驾驶员的疲劳状态的指标的参数值来生成驾驶员图像数据分析结果。
其中,上述驾驶员的人脸区域可以包括:驾驶员的人脸的部分区域(例如眼部区域、嘴部区域)、驾驶员的人脸的全部区域。
其中,上述驾驶员的人脸区域的状态信息可以包括但不限于以下一项或多项:驾驶员的眼睛开合状态信息、驾驶员的嘴巴开合状态信息。
其中,上述驾驶员的眼睛开合状态信息可以用于对驾驶员进行闭眼检测,例如,可以检测驾驶员是否闭眼、闭眼持续时长、闭眼幅度(例如半闭眼,即未完全闭眼的状态)、闭眼频率等。其中,获取驾驶员的眼睛开合状态信息的实现方式可以有多种,本申请实施例对此不作限定。在一种可能的实现方式中,可以先基于驾驶员的图像数据来检测驾驶员的人脸关键点,进一步地,可以利用人脸关键点中的眼睛关键点来定位驾驶员的眼睛从而可以确定驾驶员的眼睛图像,进一步地,可以基于驾驶员的眼睛图像获得上眼睑线和下眼睑线,进一步地,可以通过基于上眼睑线和下眼睑线的距离来确定驾驶员的眼睛开合状态信息。
其中,上述驾驶员的嘴巴开合状态信息可以用于对驾驶员进行哈欠检测,例如,可以检测驾驶员是否打哈欠、打哈欠频率等。其中,获取驾驶员的嘴巴开合状态信息的实现方式可以有多种,本申请实施例对此不作限定。在一种可能的实现方式中,可以先基于驾驶员的图像数据来检测驾驶员的人脸关键点,进一步地,可以利用人脸关键点中的嘴巴关键点来定位驾驶员的嘴巴从而可以确定驾驶员的嘴巴图像,进一步地,可以基于驾驶员的嘴巴图像获得上唇线和下唇线,进一步地,可以通过基于上唇线和下唇线的距离来确定驾驶员的嘴巴开合状态信息。
其中,上述用于表征驾驶员的疲劳状态的指标可以包括但不限于以下一项或多项:驾驶员的闭眼程度、驾驶员的打哈欠程度。
其中,上述驾驶员的闭眼程度的参数值可以包括但不限于以下一项或多项:闭眼持续时长、闭眼幅度、闭眼频率、闭眼次数。
其中,上述驾驶员的打哈欠程度的参数值可以包括但不限于以下一项或多项:打哈欠频率、打哈欠次数。
其中,上述驾驶员图像分析结果可以包括:驾驶员非疲劳状态、驾驶员疲劳状态;或,驾驶员的疲劳状态级别(例如非疲劳状态、轻度疲劳状态、中度疲劳状态、重度疲劳状态等)。其中,驾驶员的疲劳状态级别可以通过用于表征驾驶员的疲劳状态的指标的参数值所满足的预设条件来确定。例如,若驾驶员在一段时间内未出现闭眼行为和打哈欠行为,则可以表示驾驶员处于非疲劳状态;若驾驶员出现闭眼行为和/或打哈欠行为,且在一段时间内闭眼和/或打哈欠的次数小于预设次数1(或,在一段时间内闭眼和/或打哈欠的频率小于预设频率1),和/或,在一段时间内闭眼时长小于预设闭眼时长1,则可以表示驾驶员处于轻度疲劳状态;若驾驶员出现闭眼行为和/或打哈欠行为,且在一段时间内闭眼和/或打哈欠的次数大于或等于预设次数1并小于预设次数2(或,在一段时间内闭眼和/或打哈欠的频率大于或等于预设频率1并小于预设频率2),和/或,在一段时间内闭眼时长大于或等于预设闭眼时长1并小于预设闭眼时长2,则可以表示驾驶员处于中度疲劳状态;若驾驶员出现闭眼行为和/或打哈欠行为,且在一段时间内闭眼和/或打哈欠的次数大于或等于预设次数2(或,在一段时间内闭眼和/或打哈欠的频率大于或等于预设频率2),和/或,在一段时间内闭眼时长大于或等于预设闭眼时长2,则可以表示驾驶员处于重度疲劳状态。
在实际应用中,可以根据实际情况对驾驶员的疲劳状态级别进行更细化或更粗略的设置,本申请实施例对此不作限定。
三、驾驶员的情绪检测分析
具体地,在进行驾驶员的疲劳状态检测分析过程中,可以基于驾驶员的图像数据来获取到驾驶员的人脸图像,进一步地,可以基于驾驶员的人脸图像利用神经网络模型来检测驾驶员的情绪。
其中,上述驾驶员的情绪可以包括:正面情绪(例如兴奋、喜悦、开心等)、中性情绪(例如平静、放松等)、负面情绪(例如伤心、生气、害怕、暴躁等)。
容易理解,在驾驶过程中,驾驶员的负面情绪可能会对驾驶过程造成一定的负面影响,因此,在驾驶过程中检测到驾驶员出现负面情绪的情况下,可以给驾驶员相应的提示(例如提示驾驶员播放歌曲)来尽快消除驾驶员的负面情绪。
电子设备200在生成上述驾驶员图像分析结果1(例如通过进行驾驶员的专注度检测分析,和/或,驾驶员的疲劳状态检测分析,和/或,驾驶员的情绪检测分析生成驾驶员图像分析结果1)之后,可以将上述车辆数据1与驾驶员图像数据分析结果1进行整合,并综合判断驾驶员1的驾驶状态。示例性地,具体过程可以如下:
在一种可能的实现方式中,以车辆数据1中的打火状态、档位、车速为例,电子设备200可以先基于打火状态的信息检测车辆处于点火状态还是熄火状态,若车辆处于熄火状态,则电子设备100可以继续采集驾驶员1的图像数据,电子设备200可以继续采集车辆数据,以便后续继续进行驾驶状态检测,若车辆处于点火状态,则电子设备200可以继续基于档位的信息检测车辆当前的档位是否为D档(即前进档),若否(即车辆处于点火状态,但车辆当前的档位不是D档),则电子设备100可以继续采集驾驶员1的图像数据,电子设备200可以继续采集车辆数据,以便后续继续进行驾驶状态检测,若是(即车辆处于点火状态,且车辆当前的档位是D档),则电子设备200可以继续基于车速的信息检测车速是否大于0,若否(即车辆处于点火状态,车辆当前的档位是D档,且车速等于0),则电子设备100可以继续采集驾驶员1的图像数据,电子设备200可以继续采集车辆数据,以便后续继续进行驾驶状态检测,若是(即车辆处于点火状态,车辆当前的档位是D档,且车速大于0),则电子设备200可以基于驾驶员图像分析结果1中显示的驾驶员的自身状态来确定驾驶员的驾驶状态是否异常,若驾驶员的自身状态异常,则可以确定驾驶员的驾驶状态异常,进一步地,可以触发相应的提醒或避险操作,否则,可以确定驾驶员的驾驶状态正常,进一步地,电子设备100可以继续采集驾驶员1的图像数据,电子设备200可以继续采集车辆数据,以便后续继续进行驾驶状态检测。
也即是说,在本申请实施例中,在车辆处于停止状态的情况下,无论驾驶员图像分析结果1中显示的驾驶员的自身状态是否异常(例如是否专注、是否疲劳等),最后得到的驾驶员的驾驶状态均为正常状态;在车辆处于行驶状态的情况下,若驾驶员图像分析结果1中显示的驾驶员的自身状态异常,则可以确定驾驶员的驾驶状态异常,若驾驶员图像分析结果1中显示的驾驶员的自身状态正常,则可以确定驾驶员的驾驶状态正常。
可以理解的是,由于车辆数据可以包括多项(例如车速、档位、打火状态等),在实际应用中,可以根据实际场景要求的细化程度来灵活确定需要结合多少项车辆数据来综合判断驾驶员的驾驶状态,本申请实施例对此不作限定。
电子设备200在基于上述车辆数据1与驾驶员图像数据分析结果1综合确定驾驶员1的驾驶状态异常的情况下,可以触发相应的提醒和/或避险操作。
其中,触发相应的提醒可以包括但不限于以下一项或多项:触发界面显示提醒(例如显示图9示例性所示的提醒信息)、触发语音提醒、触发车内灯光亮度提醒、触发车辆座椅震动提醒、触发方向盘震动提醒。
其中,避险操作可以包括但不限于以下一项或多项:减速、刹车、熄火。
容易理解,利用车辆来实现的提醒(例如车内灯光亮度提醒、车辆座椅震动提醒、方向盘震动提醒)以及避险操作可以是电子设备200通知车辆触发的。
在一些示例中,上述提醒的强烈程度可以与驾驶员的驾驶状态的异常程度成正相关,也即是说,异常程度越大,提醒的强烈程度也可以越大,异常程度越小,提醒的强烈程度也可以越小。举例来说,以触发车辆座椅震动提醒为例,针对不同的异常程度,车辆可以控制座椅以不同的震动参数进行震动提醒,其中,震动参数可以包括但不限于以下一项或多项:震动时间、震动强度、震动频率。在驾驶员的驾驶状态为轻度异常状态的情况下,车辆可以控制座椅以震动参数1进行震动提醒,在驾驶员的驾驶状态为中度异常状态的情况下,车辆可以控制座椅以震动参数2进行震动提醒,在驾驶员的驾驶状态为重度异常状态的情况下,车辆可以控制座椅以震动参数3进行震动提醒。其中,震动参数1(例如震动时间1、震动强度1、震动频率1)小于震动参数2(例如震动时间2、震动强度2、震动频率2),震动参数2小于震动参数3(例如震动时间3、震动强度3、震动频率3)。
在一些示例中,电子设备100也可以先基于驾驶员1的图像数据1、校准数据1来生成驾驶员图像数据分析结果1,之后,电子设备100可以将该驾驶员图像数据分析结果发送给电子设备200,电子设备200可以再结合车辆数据1、电子设备100发送的驾驶员图像数据分析结果来判断驾驶员1的驾驶状态是否异常,从而进一步确定是否需要触发相应的提醒或避险动作。
通过实施上述图2所示实施例提供的方法,移动终端(即电子设备100)可以采集驾驶员的图像数据,并把该图像数据同步至车机(即电子设备200),车机可以基于该驾驶员的图像数据、采集的车辆数据来判断驾驶员的驾驶状态是否异常,若是,则可以触发相应的提醒或避险操作。这样,图像采集工作可以由移动终端来进行,不需要随车配置图像采集装置,灵活方便,此外,移动终端可以提供驾驶状态检测过程中需要的交互界面,方便用户操作,提供用户体验。
实施例二、以移动终端为主,车机为辅
图10示例性示出了本申请实施例提供的一种驾驶状态检测方法的具体流程。
如图10所示,该方法可以应用于包括电子设备100(例如手机)、电子设备200(例如车机)的通信系统。在本申请实施例中,电子设备100可以是以带有摄像头和触摸屏的手机为例,电子设备200可以是以车机为例,下面详细介绍该方法的具体步骤:
S1001、电子设备100被放置于车辆内部的某一个位置,该位置可以使得电子设备100的前置摄像头拍摄角度范围覆盖驾驶员正常注视车辆前方时的人脸角度。
S1002、电子设备100与电子设备200建立通信连接1。
S1003-S1004、电子设备100检测到用户进行校准配置的操作,响应于该操作,电子设备100生成并保存校准数据1,该数据为驾驶员1进行校准配置生成的数据。
S1005-S1006、电子设备100检测到启动驾驶状态检测的条件被触发,电子设备100采集驾驶员1的图像数据1。
其中,上述步骤S1001-步骤S1006与前述图2所示的步骤S201-步骤S206类似,上述步骤S1001-步骤S1006的具体执行过程可以参照前述图2所示的步骤S201-步骤S206中的相关文字描述,在此不再赘述。
S1007、电子设备200采集车辆数据1。
具体地,电子设备200在启动之后,可以实时地采集车辆数据(例如车辆数据1),以便后续可以将该车辆数据用于进行驾驶状态检测。
其中,上述车辆数据可以包括但不限于以下一项或多项:车速、档位、打火状态、转向灯状态、方向盘转角。
S1008、电子设备200向电子设备100发送车辆数据1。
具体地,电子设备200可以实时地将采集的车辆数据同步发送给电子设备100,以便后续电子设备100可以基于该数据来进行驾驶状态检测。
示例性地,电子设备200在采集完车辆数据1之后,可以向电子设备100发送车辆数据1。
可以理解的是,为了与电子设备100采集上述驾驶员1的图像数据1的时间段相对应,上述车辆数据1可以是电子设备200采集的当前时间点前某一预设时长(例如30秒、60秒等)的车辆数据,其中,上述当前时间点可以是电子设备100采集上述驾驶员1的图像数据1的时间点,上述预设时长可以是电子设备100采集上述驾驶员1的图像数据1的时长。
S1009-S1011、电子设备100基于车辆数据1、驾驶员1的图像数据1、校准数据1判断驾驶员1的驾驶状态是否异常,若是,则电子设备100触发相应的提醒,若否,则电子设备100向电子设备200发送消息1,该消息用于指示电子设备200继续采集车辆数据,同时,电子设备100也可以继续采集驾驶员1的图像数据。
其中,“电子设备100基于车辆数据1、驾驶员1的图像数据1、校准数据1判断驾驶员1的驾驶状态是否异常”的具体执行过程与前述图2所示的步骤S209类似,可以参照前述图2所示的步骤S209的相关文字描述,在此不再赘述。
其中,“电子设备100触发相应的提醒”可以包括但不限于以下一项或多项:触发界面显示提醒(例如显示图11示例性所示的提醒信息)、触发语音提醒、触发车内灯光亮度提醒、触发车辆座椅震动提醒、触发方向盘震动提醒。
可以理解的是,利用车辆来实现的提醒(例如车内灯光亮度提醒、车辆座椅震动提醒、方向盘震动提醒)可以是电子设备100通过电子设备200来通知车辆触发的。
在一些示例中,上述提醒的强烈程度可以与驾驶员的驾驶状态的异常程度成正相关,也即是说,异常程度越大,提醒的强烈程度也可以越大,异常程度越小,提醒的强烈程度也可以越小。
通过实施上述图10所示实施例提供的方法,车机(即电子设备200)可以采集车辆数据,并把该车辆数据同步至移动终端(即电子设备100),移动终端可以采集驾驶员的图像数据,并基于驾驶员的图像数据、车辆数据来判断驾驶员的驾驶状态是否异常,若是,则可以触发相应的提醒。这样,可以充分利用移动终端的硬件资源,对于当前市面上的大量中低端硬件配置的车辆来说,只需要支持车辆数据采集和同步功能,即可以移动终端为主体来实现驾驶状态检测,不强依赖于原车配置,不需要其他额外开销,即可解决广大车主安全行车保障的问题,简单方便,提高用户体验。
下面介绍本申请实施例提供的一种在执行驾驶状态检测方法过程中涉及的电子设备100的内部模块与电子设备200的内部模块之间的可能的协作方式。
图12示例性示出了本申请实施例提供的一种在执行驾驶状态检测方法过程中涉及的电子设备100的内部模块与电子设备200的内部模块之间可能的协作方式。
如图12所示,电子设备100可以包括图像采集模块1201、图像校准模块1202、数据同步模块1203、图像分析模块1204、数据整合模块1205、驾驶状态计算模块1206、告警提示模块1207;电子设备200可以包括车辆数据采集模块1208、数据同步模块1209。
图像采集模块1201可以用于采集驾驶员的图像数据。例如,图像采集模块1201可以是电子设备100的前置摄像头。
图像校准模块1202可以用于进行图像校准。例如,可以基于图像采集模块1201(例如电子设备100的前置摄像头)放置在车辆内部的位置和角度,校准与驾驶员的相对位置和角度,以便后续可以用于判断驾驶员的自身状态(例如驾驶员的专注度、疲劳状态等)。
数据同步模块1203可以用于与电子设备200进行数据同步,例如,接收电子设备200同步过来的车辆数据(例如打火状态、行驶速度、档位等数据)。
图像分析模块1204可以用于进行数据分析。例如,可以基于图像校准后的数据和采集的驾驶员的图像数据进行数据分析,输出数据分析结果(例如人眼状态、人眼视线角度、人眼视线偏移正常角度的时间等)。
数据整合模块1205可以用于将车辆数据和图像分析模块1204输出的数据分析结果进行整合,以便后续基于整合后的数据来判断驾驶员的驾驶状态(例如异常状态、正常状态)。
驾驶状态计算模块1206可以用于基于数据整合模块1205输出的整合后的数据计算驾驶员的驾驶状态。例如,车辆在处于行驶状态时,驾驶员视线偏移正常角度超过某一预设时长,则可以确定驾驶员的驾驶状态为异常状态;又例如,车辆处于停止状态时,驾驶员视线偏移正常角度超过某一预设时长,则可以确定驾驶员的驾驶状态为正常状态,也即是说,在车辆处于停止状态时,即使驾驶员的自身状态异常(例如不专注状态、疲劳状态等),也依然会将驾驶员的驾驶状态输出为正常状态。
告警提示模块1207可以用于在驾驶状态计算模块1206输出驾驶员处于异常状态的结果时,输出告警提示(例如声音提示、震动提示等)。
车辆数据采集模块1208可以用于采集车辆数据(例如打火状态、行驶速度、档位等数据)。
数据同步模块1209可以用于与电子设备100进行数据同步,例如,将车辆数据采集模块1208采集的车辆数据同步到电子设备100。
关于电子设备100和电子设备200各个内部模块功能的更多细节,可以参照上述各个实施例中的相关内容,在此不再赘述。
可以理解的是,图12示意的结构并不构成对电子设备100和电子设备200的具体限定。在本申请另一些实施例中,电子设备100和电子设备200可以具有比图12中所示的更多或更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面介绍本申请实施例提供的另一种在执行驾驶状态检测方法过程中涉及的电子设备100的内部模块与电子设备200的内部模块之间的可能的协作方式。
图13示例性示出了本申请实施例提供的另一种在执行驾驶状态检测方法过程中涉及的电子设备100的内部模块与电子设备200的内部模块之间可能的协作方式。
如图13所示,电子设备100可以包括图像采集模块1301、图像校准模块1302、数据同步模块1303;电子设备200可以包括车辆数据采集模块1304、数据同步模块1305、图像分析模块1306、数据整合模块1307、驾驶状态计算模块1308、告警提示模块1309。
图像采集模块1301可以用于采集驾驶员的图像数据。例如,图像采集模块1201可以是电子设备100的前置摄像头。
图像校准模块1302可以用于进行图像校准。例如,可以基于图像采集模块1201(例如电子设备100的前置摄像头)放置在车辆内部的位置和角度,校准与驾驶员的相对位置和角度,以便后续可以用于判断驾驶员的自身状态(例如驾驶员的专注度、疲劳状态等)。
数据同步模块1303可以用于与电子设备200进行数据同步,例如,将图像采集模块1301采集的驾驶员的图像数据、图像校准模块1302输出的校准数据同步到电子设备200。
车辆数据采集模块1304可以用于采集车辆数据(例如打火状态、行驶速度、档位等数据)。
数据同步模块1305可以用于与电子设备100进行数据同步,例如,接收电子设备100同步过来的驾驶员的图像数据、校准数据。
图像分析模块1306可以用于进行数据分析。例如,可以基于图像校准后的数据和采集的驾驶员的图像数据进行数据分析,输出数据分析结果(例如人眼状态、人眼视线角度、人眼视线偏移正常角度的时间等)。
数据整合模块1307可以用于将车辆数据和图像分析模块1306输出的数据分析结果进行整合,以便后续基于整合后的数据来判断驾驶员的驾驶状态(例如异常状态、正常状态)。
驾驶状态计算模块1308可以用于基于数据整合模块1307输出的整合后的数据计算驾驶员的驾驶状态。例如,车辆在处于行驶状态时,驾驶员视线偏移正常角度超过某一预设时长,则可以确定驾驶员的驾驶状态为异常状态;又例如,车辆处于停止状态时,驾驶员视线偏移正常角度超过某一预设时长,则可以确定驾驶员的驾驶状态为正常状态,也即是说,在车辆处于停止状态时,即使驾驶员的自身状态异常(例如不专注状态、疲劳状态等),也依然会将驾驶员的驾驶状态输出为正常状态。
告警提示模块1309可以用于在驾驶状态计算模块1308输出驾驶员处于不专注状态的结果时,输出告警提示(例如声音提示、震动提示等),和/或,可以根据情况触发刹车等避险操作。
可选地,车辆支持自动驾驶模式的情况下,在驾驶状态计算模块1308输出驾驶员的驾驶状态处于异常状态的结果时,可以自动切换到自动驾驶模式来接管驾驶员异常状态下的驾驶行为。
关于电子设备100和电子设备200各个内部模块功能的更多细节,可以参照上述各个实施例中的相关内容,在此不再赘述。
可以理解的是,图13示意的结构并不构成对电子设备100和电子设备200的具体限定。在本申请另一些实施例中,电子设备100和电子设备200可以具有比图13中所示的更多或更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面介绍本申请实施例提供的一种电子设备100的结构示意图。
图14示例性示出了本申请实施例中提供的一种电子设备100的结构。
如图14所示,电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他终端设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
应当理解的是,图14所示电子设备100仅是一个范例,并且电子设备100可以具有比图14中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图14中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solidstate disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (21)
1.一种驾驶状态检测方法,应用于第一电子设备,所述第一电子设备包括摄像头,其特征在于,所述方法包括:
响应于所述第一电子设备被放置于车辆内部的第一位置,所述摄像头的拍摄范围至少覆盖驾驶员注视所述车辆正前方时的人脸部分;
在满足启动驾驶状态检测的第一条件时,所述第一电子设备通过所述摄像头采集第一图像数据,所述第一条件是系统预设的或用户自主设置的,所述第一图像数据为驾驶员的图像数据;
所述第一电子设备接收第二电子设备发送的第一车辆数据;
若所述第一电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态异常,触发第一提醒。
2.根据权利要求1所述的方法,其特征在于,所述第一条件为下述条件中的任意一项:所述车辆移动速度达到第一预设速度、所述第一电子设备检测到用户主动启动驾驶状态检测的操作、所述第一电子设备或所述第二电子设备开启导航。
3.根据权利要求1或2所述的方法,其特征在于,所述第一电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态异常,具体包括:
所述第一电子设备基于所述第一图像数据、第一校准数据确定所述驾驶员的视角偏移出第一预设视角范围,或,所述驾驶员的人脸朝向偏移出第一预设人脸朝向范围;
和,
所述第一电子设备基于所述第一车辆数据确定所述车辆处于行驶状态;
其中,所述第一预设视角范围或所述第一预设人脸朝向范围是基于所述第一校准数据确定的。
4.根据权利要求3所述的方法,其特征在于,所述第一校准数据中包括注视所述摄像头时的视角数据或人脸朝向数据,和,所述驾驶员注视所述车辆正前方时的视角数据或人脸朝向数据。
5.根据权利要求4所述的方法,其特征在于,在所述第一条件被触发之前,所述方法还包括:
所述第一电子设备显示引导用户注视所述摄像头的提示,在所述第一电子设备检测到用户持续注视所述摄像头第一预设时长之后,所述第一电子设备生成并保存所述驾驶员注视所述摄像头时的视角数据或人脸朝向数据;
所述第一电子设备显示引导用户注视所述车辆正前方的提示,在所述第一电子设备检测到用户持续注视所述车辆正前方第二预设时长之后,所述第一电子设备生成并保存所述驾驶员注视所述车辆正前方时的视角数据或人脸朝向数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述第一电子设备显示第一用户界面;
所述第一电子设备检测到用户针对所述第一用户界面的第一操作;
响应于所述第一操作,所述第一电子设备确定使用所述第一校准数据。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述第一电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态异常,具体包括:
所述第一电子设备基于所述第一图像数据确定所述驾驶员处于疲劳状态;
和,
所述第一电子设备基于所述第一车辆数据确定所述车辆处于行驶状态。
8.根据权利要求7所述的方法,其特征在于,所述第一电子设备基于所述第一图像数据确定所述驾驶员处于疲劳状态,具体包括:
所述第一电子设备基于所述第一图像数据确定在第一预设时间段内所述驾驶员的闭眼程度的参数值,在所述驾驶员的闭眼程度的参数值在第一预设范围的情况下,所述第一电子设备确定所述驾驶员处于疲劳状态,其中,所述驾驶员的闭眼程度的参数值包括以下一项或多项:闭眼持续时长、闭眼频率、闭眼次数,所述第一预设范围包括以下一项或多项:所述闭眼持续时长大于或等于第一预设闭眼时长、所述闭眼频率大于或等于第一预设闭眼频率、所述闭眼次数大于或等于第一预设闭眼次数;
和/或,
所述第一电子设备基于所述第一图像数据确定在第二预设时间段内所述驾驶员的打哈欠程度的参数值,在所述驾驶员的打哈欠程度的参数值在第二预设范围的情况下,所述第一电子设备确定所述驾驶员处于疲劳状态,其中,所述驾驶员的打哈欠程度的参数值包括以下一项或多项:打哈欠频率、打哈欠次数,所述第二预设范围包括以下一项或多项:所述打哈欠频率大于或等于第一预设打哈欠频率、所述打哈欠次数大于或等于第一预设打哈欠次数。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述第一电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态异常,具体包括:
所述第一电子设备基于所述第一图像数据确定所述驾驶员的情绪为负面情绪;
和,
所述第一电子设备基于所述第一车辆数据确定所述车辆处于行驶状态。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述第一车辆数据包括以下一项或多项:打火状态、车速、档位。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述第一提醒包括震动提醒,所述震动提醒是所述第一电子设备通过所述第二电子设备来通知所述车辆触发的,所述震动提醒包括以下一项或多项:所述车辆的座椅震动提醒、所述车辆的方向盘震动提醒。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述方法还包括:
若所述第一电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态正常,则所述第一电子设备通过所述摄像头采集所述驾驶员的第二图像数据,并向所述第二电子设备发送第一消息,所述第一消息用于指示所述第二电子设备采集第二车辆数据。
13.根据权利要求1-12任一项所述的方法,其特征在于,在所述第一条件被触发之前,所述方法还包括:
所述第一电子设备与所述第二电子设备建立第一通信连接。
14.一种驾驶状态检测方法,应用于第二电子设备,其特征在于,所述方法包括:
所述第二电子设备接收第一电子设备发送的第一图像数据,其中,所述第一图像数据为所述第一电子设备在满足启动驾驶状态检测的第一条件被触发时通过摄像头采集的驾驶员的图像数据,所述第一条件是系统预设的或用户自主设置的,所述第一电子设备被放置于车辆内部的第一位置,所述摄像头的拍摄范围至少覆盖所述驾驶员注视所述车辆正前方时的人脸部分;
所述第二电子设备采集第一车辆数据;
若所述第二电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态异常,则所述第二电子设备触发第一提醒。
15.根据权利要求14所述的方法,其特征在于,所述第一条件为下述条件中的任意一项:所述车辆移动速度达到第一预设速度、所述第一电子设备检测到用户主动启动驾驶状态检测的操作、所述第一电子设备或所述第二电子设备开启导航。
16.根据权利要求14或15所述的方法,其特征在于,所述方法还包括:所述第二电子设备接收所述第一电子设备发送的第一校准数据;
所述第二电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态异常,具体包括:
所述第二电子设备基于所述第一图像数据、所述第一校准数据确定所述驾驶员的视角偏移出第一预设视角范围,或,所述驾驶员的人脸朝向偏移出第一预设人脸朝向范围;
和,
所述第二电子设备基于所述第一车辆数据确定所述车辆处于行驶状态;
其中,所述第一预设视角范围或所述第一预设人脸朝向范围是基于所述第一校准数据确定的。
17.根据权利要求14-16任一项所述的方法,其特征在于,所述第一提醒包括震动提醒,所述震动提醒是所述第二电子设备通知所述车辆触发的,所述震动提醒包括以下一项或多项:所述车辆的座椅震动提醒、所述车辆的方向盘震动提醒。
18.根据权利要求14-17任一项所述的方法,其特征在于,在所述第二电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态异常的情况下,所述方法还包括:
所述第二电子设备触发避险操作;
其中,所述避险操作包括以下一项或多项:减速、刹车、熄火、开启自动驾驶模式。
19.根据权利要求14-18任一项所述的方法,其特征在于,所述方法还包括:
若所述第二电子设备基于所述第一图像数据、所述第一车辆数据确定所述驾驶员的驾驶状态正常,则所述第二电子设备采集第二车辆数据,并向所述第一电子设备发送第一消息,所述第一消息用于指示所述第一电子设备通过所述摄像头采集所述驾驶员的第二图像数据。
20.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-13或14-19中任一项所述的方法。
21.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,当所述程序指令在电子设备上运行时,使得所述电子设备执行如权利要求1-13或14-19中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211263508.1A CN117864147A (zh) | 2022-10-11 | 2022-10-11 | 驾驶状态检测方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211263508.1A CN117864147A (zh) | 2022-10-11 | 2022-10-11 | 驾驶状态检测方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117864147A true CN117864147A (zh) | 2024-04-12 |
Family
ID=90579869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211263508.1A Pending CN117864147A (zh) | 2022-10-11 | 2022-10-11 | 驾驶状态检测方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117864147A (zh) |
-
2022
- 2022-10-11 CN CN202211263508.1A patent/CN117864147A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114467297B (zh) | 一种应用于电子设备的视频通话的显示方法及相关装置 | |
CN111666119B (zh) | Ui组件显示的方法及电子设备 | |
CN115866121B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
CN114125130B (zh) | 控制通信服务状态的方法、终端设备和可读存储介质 | |
CN117014859A (zh) | 基于通讯录的设备发现方法、音视频通信方法及电子设备 | |
CN111580671A (zh) | 视频图像处理方法及相关装置 | |
CN117093068A (zh) | 基于穿戴设备的振动反馈方法、系统、穿戴设备和电子设备 | |
CN117009005A (zh) | 一种显示方法、汽车和电子设备 | |
CN117864147A (zh) | 驾驶状态检测方法及相关设备 | |
CN115706916A (zh) | 一种基于位置信息的Wi-Fi连接方法及装置 | |
CN114765768A (zh) | 一种网络选择方法及设备 | |
CN110737916A (zh) | 通信终端及处理方法 | |
CN115792431B (zh) | 一种异常位置检测方法和电子设备 | |
CN116233599B (zh) | 一种录像模式推荐方法和电子设备 | |
CN115495716B (zh) | 一种本地鉴权方法和电子设备 | |
CN116048831B (zh) | 一种目标信号处理方法和电子设备 | |
CN114500725B (zh) | 目标内容传输方法、主设备、从设备和存储介质 | |
CN115022807B (zh) | 快递信息提醒方法和电子设备 | |
CN116346982B (zh) | 处理音频的方法、电子设备及可读存储介质 | |
CN116382728B (zh) | 传播名显示方法和终端设备 | |
CN114329595B (zh) | 应用程序的检测方法、设备、存储介质和程序产品 | |
CN114077323B (zh) | 电子设备的触摸屏防误触方法、电子设备及芯片系统 | |
CN114520870B (zh) | 一种显示方法及终端 | |
CN118113187A (zh) | 悬浮窗显示的方法和电子设备 | |
CN117666820A (zh) | 鼠标连接方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |