CN109747656A - 人工智能车辆辅助驾驶方法、装置、设备及存储介质 - Google Patents
人工智能车辆辅助驾驶方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109747656A CN109747656A CN201810968287.5A CN201810968287A CN109747656A CN 109747656 A CN109747656 A CN 109747656A CN 201810968287 A CN201810968287 A CN 201810968287A CN 109747656 A CN109747656 A CN 109747656A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- driver
- information
- facial expression
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 230000008921 facial expression Effects 0.000 claims abstract description 43
- 230000005856 abnormality Effects 0.000 claims abstract description 25
- 206010048232 Yawning Diseases 0.000 claims abstract description 7
- 241001282135 Poromitra oscitans Species 0.000 claims abstract description 4
- 210000003128 head Anatomy 0.000 claims description 45
- 230000004886 head movement Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 210000000744 eyelid Anatomy 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000004397 blinking Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请实施例提供了一种人工智能车辆辅助驾驶方法、装置、设备及存储介质。该方法包括：控制检测装置检测驾驶员的面部表情变化(如眨眼、打瞌睡、打哈欠、接电话、不看驾驶方向路面)、车辆行驶方向和路况信息；根据面部表情变化和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。本申请实施例可为驾驶员提供疲劳驾驶警告、注意力分散警告和路况信息警示；为车辆运营后台机构提供驾驶状态信息和路况信息；为管理部门提供危险驾驶车辆信息、车辆位置信息、路况信息；相关部门可以这些信息为依据采取相应措施以提高交通运营系统的整体安全性。
Description
技术领域
本申请涉及智能交通技术领域，具体而言，本申请涉及一种人工智能车辆辅助驾驶方法、装置、设备及存储介质。
背景技术
随着现代交通和汽车工业的快速发展，近年来汽车保有量持续上升，进而也带来了一系列的交通问题，例如交通拥堵、交通事故等。
在目前的车辆驾驶过程中，驾驶员通常只能依靠自身的感觉来判断当前的驾驶状态，以及观察路况信息，当驾驶员处于一些异常状态(如疲劳状态或注意力不集中)时，便不能进行判断，也无法实时观察路况，在这种状态下驾驶，安全性不高，很容易发生事故。
发明内容
本申请针对现有方式的缺点，提出一种人工智能车辆辅助驾驶方法、装置、设备及存储介质，用以解决现有技术存在的仅依靠人为观察信息并做出信息判断安全性不高的技术问题。
第一方面，本申请实施例提供了一种人工智能车辆辅助驾驶方法，包括：
控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；
根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当驾驶状态为异常状态时，发出报警信息；
根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。
第二方面，本申请实施例提供了一种人工智能车辆辅助驾驶装置，包括：
数据检测模块，用于控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；
状态判断模块，用于根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态；
报警提示模块，用于当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。
第三方面，本申请实施例提供了一种人工智能车辆辅助驾驶设备，包括：电连接的处理器和检测装置，检测装置固定于车辆的前车窗处；
处理器用于：检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
可通过检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息，根据该面部特征、头部移动方向、车辆行驶方向和路况信息可判断驾驶员的驾驶状态，并发出相应的驾驶提示信息供驾驶员查看，通过这种方式，驾驶员可更便捷的了解当前的驾驶状态和路况，而无需依赖人为的注意力，可有效提高驾驶的安全性。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种人工智能车辆辅助驾驶方法的流程示意图；
图2为本申请实施例提供的一种人工智能车辆辅助驾驶装置的结构框架示意图；
图3为本申请实施例提供的一种人工智能车辆辅助驾驶设备的结构框架示意图；
图4为本申请实施例提供的一种人工智能车辆辅助驾驶设备的在车辆内部的位置示意图。
具体实施方式
下面详细描述本申请，本申请实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
本申请实施例一提供了一种人工智能车辆辅助驾驶方法，该方法的流程示意图如图1所示，包括：
S101，控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息。
可选地，控制检测装置中的人脸检测单元获取驾驶员的面部表情变化和头部移动方向；控制检测装置中的后置摄像机检测车辆行驶方向。
进一步地，可通过内部陀螺仪检测车辆是否转弯，通过加速度传感器检测车辆是否在换车道；其中，内部陀螺仪和加速度传感器可设置在检测装置中，或设置在车辆中检测装置以外的部分。
可选地，控制检测装置中的后置摄像机，检测车辆所处的道路环境中的交通信号灯、交通标志、道路车辆距离、过路行人距离中的至少一个，根据所述交通信号灯、交通标志、道路车辆距离、过路行人距离中的至少一个识别路况并生成相应的路况信息。其中，道路车辆距离具体指本车辆与后方车辆的距离，过路行人距离具体指过路行人与本车的距离。
例如，若检测到交通信号灯中的直行信号灯为红灯，则可识别出当前位于交叉路口且禁止通过路口；若检测到前方有停车标志，则可识别出当前的道路为禁止通行的路段，需要减速停车。
S102，根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态；若是，则执行S103，若否，则执行S101。
可选地，车辆行驶方向包括车辆换道方向和车辆拐弯方向中的至少一个。
可选地，判断头部移动方向是否与车辆换道方向或车辆拐弯方向一致；根据面部表情变化，判断驾驶员是否处于疲劳状态；若头部移动方向与车辆行驶方向一致，和/或，驾驶员处于疲劳状态，则确定驾驶状态为异常状态。
可选地，确定驾驶员的头部运动方向的原理如下：通过人脸检测单元可测出头部各点与该人脸检测单元的距离，当驾驶员的头部发生转动时，该距离也随之变化；因此可通过测量头部任意一个部位与人脸检测单元的距离来确定驾驶员的头部运动方向。
进一步地，当人脸检测单元为VCSEL(Vertical Cavity Surface EmittingLaser，垂直腔面发射激光器)阵列时，可通过测量头部任意一个部位与VCSEL阵列的距离来确定驾驶员的头部运动方向。
例如，以驾驶员正视前方时左眼与VCSEL阵列的距离为基准距离，当左眼与确定驾驶员的头部运动方向发生变化，且变化后的距离明显大于该基准距离时，可确定出驾驶员的头部运动方向为左侧，即驾驶员的头部在向左转动，也即驾驶员的视觉注意力在车辆的左侧。
又如，当前车辆行驶方向为向右转弯，而驾驶员的头部明显远离右侧后视镜所在的方位，且远离的时间超过预设的时间阈值，则可确定头部运动方向与车辆行驶方向不一致。
可选地，驾驶员的头部移动方向还可以通过内部陀螺仪、加速度计、倾斜和角度传感器、磁传感器、照相机、红外摄像机、泛光照射器、点阵投射传感器、VCSEL激光发射器等的组合来获取。
可选地，面部表情变化包括以下至少一种：眨眼、眼皮动作、打瞌睡、打哈欠、接电话和不看驾驶方向路面；以及，根据所述面部表情变化，判断所述驾驶员是否处于疲劳状态，包括：根据眨眼、眼皮动作、打瞌睡、打哈欠、接电话、不看驾驶方向路面中的至少一种面部表情变化，判断所述驾驶员是否处于疲劳状态。
可选地，根据面部表情变化，判断驾驶员是否处于疲劳状态，可以包括：通过VCSEL阵列，测量眼部或嘴部各点与VCSEL阵列的距离，根据该距离来确定眼睑或嘴唇的移动，进而确定驾驶员是否存在眨眼、眼皮动作、打瞌睡、打哈欠、接电话和不看驾驶方向路面中的至少一种动作，若存在且该动作的频率大于预设的频率阈值，则可确定出驾驶员处于疲劳状态。其中，频率阈值可根据实际需求设置。
可选地，还可以通过红外摄像机和摄像机来监控驾驶员驾驶员是否存在眨眼、眼皮动作、打瞌睡、打哈欠、接电话和不看驾驶方向路面中的至少一种动作，从而判断驾驶是否处于疲劳状态。
S103，发出报警信息。
当通过步骤S102确定驾驶员的驾驶状态为异常状态时，需要发出报警信息警示危险。
可选地，步骤S103包括：控制显示装置显示报警信息，和/或，向远程控制中心发送报警信息。其中，报警信息可以是文字信息，也可以颜色或图像信息。
可选地，向远程控制中心发送报警信息之后，还包括：接收远程控制中心反馈的控制指令，根据控制指令控制车辆减速或停止行驶。在危险情形下，通过该方式可及时控制车辆，避免因驾驶员恶意驾驶造成的事故，如恐怖袭击，该方式可适用对租借车辆进行远程管理的情形。
S104，根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。
可选地，驾驶提示信息包括：车辆行驶方向的提示信息，基于车辆行驶方向生成的车辆转弯或换道的提示信息，以及根据检测到的交通信号灯或交通标志生成的路况提示信息等信息中的任意一种或多种。
可选地，控制显示装置显示驾驶提示信息。向驾驶员显示上述各种提示信息，便于驾驶员直观地了解当前的行驶状态以及路况，以使驾驶员能够针对当前的行驶状态和路况做出相应的驾驶操作。
本申请实施例所示的人工智车辆辅助驾驶方法可适用于出租车、危险大卡车、租赁车等车辆，还可适用于飞机，以辅助飞行员进行驾驶。
应用本申请的实施例一，至少可以实现如下有益效果：
1)可通过检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息，根据该面部表情变化、头部移动方向、车辆行驶方向和路况信息可判断驾驶员的驾驶状态，并发出相应的驾驶提示信息供驾驶员查看，通过这种方式，驾驶员可更便捷的了解当前的驾驶状态和路况，而无需依赖人为的注意力，可有效提高驾驶的安全性；
2)通过人脸检测单元以及后置摄像头，可准确检测驾驶员的面部表情变化、头部移动方向和车辆行驶方向；通过将VCSEL和接近传感器、环境光传感器等器件的结合，可进一步提高面部表情变化检测的准确性；
3)可在异常状态下发出报警信息，向驾驶员报告危险情况，使驾驶员能够及时做出应对，从而提高驾驶的安全性；
4)可在向远程控制中心发出报警信息后，接收远程控制中心反馈的控制指令，并根据该控制指令控制车辆减速或停止行驶，以避免可能出现的事故，减小人力物力损失；
5)本申请实施例可为驾驶员提供疲劳驾驶警告，驾驶员注意力分散警告，提供路况信息警示；为车辆运营后台机构提供驾驶员驾驶状态信息和路况信息；为公安管理部门提供实时危险驾驶车辆信息、车辆位置信息、路况信息；相关部门也可以以这些信息为依据采取装置警示、电话警示、拦截和熄火控制危险车辆等等措施以提高交通运营系统的整体安全性。
实施例二
基于同一发明构思，本申请实施例二提供了一种人工智能车辆辅助驾驶装置，该装置的结构框架示意图如图2所示，包括：数据检测模块201、状态判断模块202以及报警提示模块203。
数据检测模块201用于控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息。
可选地，该数据检测模块201具体用于：控制检测装置中的人脸检测单元获取驾驶员的面部表情变化和头部移动方向；控制检测装置中的后置摄像机检测车辆行驶方向。
可选地，该数据检测模块201具体用于：控制检测装置中的后置摄像机，检测车辆所处的道路环境中的交通信号灯和/或交通标志，根据交通信号灯和/或交通标志识别路况并生成相应的路况信息。
状态判断模块202用于根据面部表情变化和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态。
可选地，该状态判断模块202具体用于：判断头部移动方向是否与车辆行驶方向一致；根据面部表情变化，判断驾驶员是否处于疲劳状态；若头部移动方向与车辆行驶方向一致，和/或，驾驶员处于疲劳状态，则确定驾驶状态为异常状态。
报警提示模块203，用于当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。
可选地，该报警提示模块203具体用于：控制显示装置显示报警信息，和/或，向远程控制中心发送报警信息。
本实施例的车辆辅助驾驶装置200可执行本申请实施例一所提供的车辆辅助驾驶方法，其实现原理及有益效果相类似，此处不再赘述。
实施例三
基于同一发明构思，本申请实施例三提供了一种人工智能车辆辅助驾驶设备，如图3所示，图3所示的车辆辅助驾驶设备包括：电连接的处理器310和检测装置320，检测装置320固定于车辆的前车窗处。
处理器310用于：控制检测装置320检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；根据面部表情变化、头部移动方向和车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当驾驶状态为异常状态时，发出报警信息；根据车辆行驶方向和/或路况信息发出相应的驾驶提示信息。
可选地，检测装置320包括：人脸检测单元321和后置摄像机322，均与处理器310电连接(图3中未示出该连接)；人脸检测单元321设置于检测装置320的正对驾驶员的一侧，后置摄像机322设置于检测装置320的正对车辆前车窗的一侧，。基于该人脸检测单元321和后置摄像机322，处理器310用于：控制人脸检测单元321获取驾驶员的面部表情变化；控制后置摄像机322检测车辆行驶方向。
进一步地，人脸检测单元321可以包括：VCSEL阵列。通过VCSEL阵列发出的激光，可测出头部各点与VCSEL阵列的距离，当驾驶员的头部发生转动时，该距离也随之变化；因此可通过测量头部任意一个部位与VCSEL阵列的距离来确定驾驶员的头部运动方向。
进一步地，基于传感器融合技术，检测装置320还可以包括：前置摄像机(Frontcamera)、红外摄像机(Infrared camera)、泛光照射器(Flood illuminator，或称泛光感应元件)、近距离传感器(Proximity sensor，或称接近传感器)、环境光传感器(Ambientlight sensor)、点阵投射器(Dot projector)等中的至少一个器件(图3中未示出该至少一个器件)，该至少一个器件可以与VCSEL阵列配合使用，以便更精确地识别驾驶员的面部表情变化和头部移动方向。
进一步地，检测装置320还可以包括内部陀螺仪(internal gyro)、加速度传感器(accelerometers)、倾斜和角度传感器(tilt and angle sensors)、磁传感器(magneticsensors)中的至少一个，分别用于判断车辆是否转弯、是否变道，还可与红外摄像机、泛光照射器和点阵投射传感器、VCSEL等结合，共同监控驾驶者的头部是否远离车辆的运动方向，以及这些运动的时间。
可选地，处理器310还用于：控制后置摄像机322，检测车辆所处的道路环境中的交通信号灯和/或交通标志，根据交通信号灯和/或交通标志识别路况并生成相应的路况信息。
可选地，后置摄像机322包括两个摄像头，其中一个摄像头的拍摄范围为车辆前方较短的距离范围，另一个摄像头的拍摄范围为车辆前方较长的距离范围，以实现对多个距离范围的监控。两个距离范围的具体数值可根据实际需求设置。
可选地，本申请实施例提供的车辆辅助驾驶设备300还包括：显示装置，显示装置与处理器310电连接；处理器310用于：控制显示装置显示报警信息，和/或，向远程控制中心发送报警信息。例如，如果驾驶员驾驶的是卡车或出租车，可以向车队运营商的控制中心无线发送道路信息、警告和报警信息等。
可选地，显示装置还用于显示地图信息、车辆行驶方向中的至少一个。
可选地，本申请实施例提供的车辆辅助驾驶设备300还包括以下至少一种传感器：激光雷达、红外相机、可见光相机以及距离传感器；其中，距离传感器包括以下至少一种：雷达、超声、激光雷达、红外相机、光扫描器、可见光相机以及红外相机。通过激光雷达、红外相机、可见光相机以及距离传感器等可实现对人脸的追踪、定位以及采集监测数据等。
可选地，本申请实施例中的显示装置可根据用户指令或预设的控制规则自动切换显示内容。例如，显示装置可由显示地图信息自动切换为显示车辆行驶方向或显示报警信息。
可选地，可选地，本申请实施例提供的车辆辅助驾驶设备300还包括扬声器(Speaker)和/或麦克风(Microphone)，其中，扬声器与处理器310电连接，当报警信息为声音信息时，处理器310控制该扬声器发出报警信息。
本申请实施例中的处理器310可以是CPU(Central Processing Unit，中央处理器)、通用处理器、DSP(Digital Signal Processor，数据信号处理器)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)、FPGA(Field－Programmable GateArray，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器310也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
本申请实施例三提供的车辆辅助驾驶设备300集成度较高，可根据实际需求灵活调整其在车辆内部的位置，如图4所示，可设置于车辆内部的前车窗处。
在一个可选的实施方式中，车辆辅助驾驶设备300可以是具有VCSEL激光雷达的智能手机或平板电脑(如IPAD)，智能手机或平板电脑中的应用程序(APP)调用VCSEL激光雷达以检测驾驶员的面部表情变化和头部移动方向。本申请实施例通过具有VCSEL激光雷达的智能手机或平板电脑以及智能手机或平板电脑的APP即可实现对驾驶员驾驶状态的监测、对道路路况的监测以及增强对车辆周边环境的感知，而无需额外设置专用设置，成本更低，普适性更强，可直接应用于现有的各种型号的车辆中，更适合大众使用。
可选地，智能手机中的应用程序可用于调用内部的地图信息，该应用程序具有与地图信息相结合的界面。
可选地，智能手机可与车载电源或充电宝电连接，车载电源或充电宝用于为智能手机中的VCSEL激光雷达供电。
采用具有VCSEL激光雷达的智能手机或平板电脑及其中的APP即可实现相应的功能，可有效减少成本，适用范围更广，如需使用智能手机中的APP，须提前打开对应的APP。
本申请实施例三提供的车辆辅助驾驶设备300，与前面的方法实施例具有相同的发明构思及相同的有益效果，其具体原理可参照前面所述的方法实施例，在此不再赘述。
实施例四
基于同一发明构思，本申请实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例所提供的车辆辅助驾驶方法。
计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本申请实施例四提供的计算机可读存储介质，与前面所述的各实施例具有相同的发明构思及相同的有益效果，在此不再赘述。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (22)
1.一种人工智能车辆辅助驾驶方法，其特征在于，包括：
控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；
根据所述面部表情变化、所述头部移动方向和所述车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当所述驾驶状态为异常状态时，发出报警信息；
根据所述车辆行驶方向和/或所述路况信息发出相应的驾驶提示信息。
2.根据权利要求1所述的方法，其特征在于，所述控制检测装置检测驾驶员的面部表情变化、车辆行驶方向，包括：
控制所述检测装置中的人脸检测单元获取驾驶员的面部表情变化和头部移动方向；
控制所述检测装置中的后置摄像机检测车辆行驶方向。
3.根据权利要求2所述的方法，其特征在于，所述根据所述面部表情变化、所述头部移动方向和所述车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，包括：
判断所述头部移动方向是否与所述车辆换道方向或车辆拐弯方向一致；
根据所述面部表情变化，判断所述驾驶员是否处于疲劳状态；
若所述头部移动方向与所述车辆行驶方向一致，和/或，所述驾驶员是否处于疲劳状态，则确定所述驾驶状态为异常状态。
4.根据权利要求3所述的方法，其特征在于，所述面部表情变化包括以下至少一种：眨眼、眼皮动作、打瞌睡、打哈欠、接电话和不看驾驶方向路面；
以及，所述根据所述面部表情变化，判断所述驾驶员是否处于疲劳状态，包括：
根据眨眼、眼皮动作、打瞌睡、打哈欠、接电话、不看驾驶方向路面中的至少一种面部表情变化，判断所述驾驶员是否处于疲劳状态。
5.根据权利要求1所述的方法，其特征在于，控制检测装置获取路况信息，包括：
控制所述检测装置中的后置摄像机，检测车辆所处的道路环境中的交通信号灯、交通标志、道路车辆距离、过路行人距离中的至少一个；根据所述交通信号灯、交通标志、道路车辆距离、过路行人距离中的至少一个，识别路况并生成相应的路况信息。
6.根据权利要求1所述的方法，其特征在于，所述发出报警信息；包括：控制显示装置显示报警信息，和/或，向远程控制中心发送报警信息。
7.根据权利要求6所述的方法，其特征在于，所述向远程控制中心发送报警信息之后，还包括：
接收所述远程控制中心反馈的控制指令，根据所述控制指令控制车辆减速或停止行驶。
8.一种人工智能车辆辅助驾驶装置，其特征在于，包括：
数据检测模块，用于控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；
状态判断模块，用于根据所述面部表情变化、头部移动方向，和所述车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态；
报警提示模块，用于当所述驾驶状态为异常状态时，发出报警信息；根据所述车辆行驶方向和/或所述路况信息发出相应的驾驶提示信息。
9.一种人工智能车辆辅助驾驶设备，其特征在于，包括：电连接的处理器和检测装置，所述检测装置固定于车辆的前车窗处；
所述处理器用于：控制检测装置检测驾驶员的面部表情变化、头部移动方向、车辆行驶方向和路况信息；根据所述面部表情变化、头部移动方向和所述车辆行驶方向，判断驾驶员的驾驶状态是否为异常状态，当所述驾驶状态为异常状态时，发出报警信息；根据所述车辆行驶方向和/或所述路况信息发出相应的驾驶提示信息。
10.根据权利要求9所述的设备，其特征在于，所述检测装置包括：人脸检测单元和后置摄像机，均与处理器电连接；所述人脸识别单元设置于所述设备的正对驾驶员的一侧，所述后置摄像机设置于所述设置的正对车辆前车窗的一侧；
所述处理器用于：控制所述人脸检测单元获取驾驶员的面部表情变化和头部移动方向；控制所述后置摄像机检测车辆行驶方向。
11.根据权利要求10所述的设备，其特征在于，所述人脸检测单元包括VCSEL阵列。
12.根据权利要求10所述的设备，其特征在于，所述处理器用于：控制所述后置摄像机，检测车辆所处的道路环境中的交通信号灯和/或交通标志，根据所述交通信号灯和/或交通标志识别路况并生成相应的路况信息。
13.根据权利要求10所述的设备，其特征在于，所述检测装置还包括：前置摄像机、红外摄像机、泛光照射器、近距离传感器、环境光传感器、点阵投射器等中的至少一个器件，用于识别驾驶员的面部表情变化。
14.根据权利要求10所述的设备，其特征在于，所述检测装置还包括：内部陀螺仪、加速度传感器、倾斜和角度传感器、磁传感器中的至少一个，用于判断车辆是否转弯、是否变道，或用于与与红外摄像机、泛光照射器和点阵投射传感器、VCSEL等结合，共同监控驾驶者的头部是否远离车辆的运动方向以及向所述运动方向运动的时间。
15.根据权利要求9所述的设备，其特征在于，所述设备还包括：显示装置，所述显示装置与所述处理器电连接；
所述处理器用于：控制所述显示装置显示报警信息，和/或，向远程控制中心发送报警信息。
16.根据权利要求15所述的设备，其特征在于，所述显示装置还用于显示地图信息、所述车辆行驶方向中的至少一个。
17.根据权利要求15所述的设备，其特征在于，所述还包括以下至少一种传感器：激光雷达、红外相机、可见光相机以及距离传感器；所述距离传感器包括以下至少一种：雷达、超声、激光雷达、红外相机、光扫描器、可见光相机以及红外相机。
18.根据权利要求15所述的设备，其特征在于，所述设备还包括：扬声器和/或麦克风，其中，扬声器与处理器电连接，当报警信息为声音信息时，所述处理器控制所述扬声器发出报警信息。
19.根据权利要求9所述的设备，其特征在于，所述设备为具有VCSEL激光雷达的智能手机或平板电脑，所述智能手机或所述平板电脑中的应用程序调用所述VCSEL激光雷达以检测驾驶员的面部表情变化。
20.根据权利要求19所述的设备，其特征在于，所述智能手机或所述平板电脑中的应用程序用于调用内部的地图信息，所述应用程序具有与所述地图信息相结合的界面。
21.根据权利要求19所述的设备，其特征在于，所述智能手机或所述平板电脑与车载电源或充电宝电连接，所述车载电源或充电宝用于为所述智能手机中的VCSEL激光雷达供电。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762707434P | 2017-11-02 | 2017-11-02 | |
| USUS62/707,434 | 2017-11-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109747656A true CN109747656A (zh) | 2019-05-14 |
Family
ID=66401884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810968287.5A Pending CN109747656A (zh) | 2017-11-02 | 2018-08-23 | 人工智能车辆辅助驾驶方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109747656A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427850A (zh) * | 2019-07-24 | 2019-11-08 | 中国科学院自动化研究所 | 驾驶员高速道路换道意图预测方法、系统、装置 |
| CN110435665A (zh) * | 2019-08-14 | 2019-11-12 | 东风汽车有限公司 | 一种驾驶员检测装置及汽车 |
| CN110588666A (zh) * | 2019-10-09 | 2019-12-20 | 北京百度网讯科技有限公司 | 用于控制车辆行驶的方法及装置 |
| CN110696834A (zh) * | 2019-11-20 | 2020-01-17 | 东风小康汽车有限公司重庆分公司 | 驾驶员状态监测方法、装置、系统和控制器 |
| CN111645694A (zh) * | 2020-04-15 | 2020-09-11 | 南京航空航天大学 | 一种基于姿态估计的驾驶员驾驶状态监测系统及方法 |
| CN112141119A (zh) * | 2020-09-23 | 2020-12-29 | 上海商汤临港智能科技有限公司 | 智能驾驶控制方法及装置、车辆、电子设备和存储介质 |
| CN112455461A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 自动驾驶车辆的人车交互的方法、自动驾驶系统 |
| CN113096401A (zh) * | 2021-04-08 | 2021-07-09 | 重庆交通职业学院 | 一种交通事故预警系统和方法 |
| CN113147389A (zh) * | 2020-01-22 | 2021-07-23 | 四川物软网联科技有限公司 | 一种车辆安损系统、车辆及车辆控制方法 |
| CN113370990A (zh) * | 2020-03-10 | 2021-09-10 | 华为技术有限公司 | 驾驶辅助方法和驾驶辅助装置 |
| CN113741035A (zh) * | 2021-09-06 | 2021-12-03 | 京东方科技集团股份有限公司 | Hud的显示方法、装置、电子设备及存储介质 |
| TWI753419B (zh) * | 2020-02-28 | 2022-01-21 | 英華達股份有限公司 | 以視線追蹤達成駕駛習慣養成的裝置及方法 |
| CN114550415A (zh) * | 2022-01-28 | 2022-05-27 | 交通运输部公路科学研究所 | 一种基于车路协同的大型车辆车道级精准管控方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102026850A (zh) * | 2008-05-16 | 2011-04-20 | 皇家飞利浦电子股份有限公司 | 包括自混合激光传感器的安全系统以及驱动这种安全系统的方法 |
| CN102881116A (zh) * | 2011-07-13 | 2013-01-16 | 上海库源电气科技有限公司 | 一种疲劳驾驶预警系统及方法 |
| CN102975721A (zh) * | 2011-09-02 | 2013-03-20 | 沃尔沃汽车公司 | 用于改善车辆驾驶员的表现估计的系统和方法 |
| CN204360520U (zh) * | 2014-11-19 | 2015-05-27 | 湖南工学院 | 疲劳驾驶预警处理系统 |
| CN105096528A (zh) * | 2015-08-05 | 2015-11-25 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN105590410A (zh) * | 2014-10-22 | 2016-05-18 | 鸿富锦精密工业(武汉)有限公司 | 安全驾驶监控系统及安全驾驶监控方法 |
| CN105788028A (zh) * | 2016-03-21 | 2016-07-20 | 上海仰笑信息科技有限公司 | 具有疲劳驾驶预警功能的行车记录仪 |
| CN106274693A (zh) * | 2016-09-26 | 2017-01-04 | 惠州Tcl移动通信有限公司 | 一种驾车行驶中进行提醒的方法、系统及电子设备 |
| CN106710307A (zh) * | 2017-01-06 | 2017-05-24 | 汽-大众汽车有限公司 | 一种车辆辅助驾驶方法和装置 |
| WO2017122099A1 (en) * | 2016-01-17 | 2017-07-20 | Vocalzoom Systems Ltd. | Laser-based device utilizing multiple laser beams |
-
2018
- 2018-08-23 CN CN201810968287.5A patent/CN109747656A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102026850A (zh) * | 2008-05-16 | 2011-04-20 | 皇家飞利浦电子股份有限公司 | 包括自混合激光传感器的安全系统以及驱动这种安全系统的方法 |
| CN102881116A (zh) * | 2011-07-13 | 2013-01-16 | 上海库源电气科技有限公司 | 一种疲劳驾驶预警系统及方法 |
| CN102975721A (zh) * | 2011-09-02 | 2013-03-20 | 沃尔沃汽车公司 | 用于改善车辆驾驶员的表现估计的系统和方法 |
| CN105590410A (zh) * | 2014-10-22 | 2016-05-18 | 鸿富锦精密工业(武汉)有限公司 | 安全驾驶监控系统及安全驾驶监控方法 |
| CN204360520U (zh) * | 2014-11-19 | 2015-05-27 | 湖南工学院 | 疲劳驾驶预警处理系统 |
| CN105096528A (zh) * | 2015-08-05 | 2015-11-25 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| WO2017122099A1 (en) * | 2016-01-17 | 2017-07-20 | Vocalzoom Systems Ltd. | Laser-based device utilizing multiple laser beams |
| CN105788028A (zh) * | 2016-03-21 | 2016-07-20 | 上海仰笑信息科技有限公司 | 具有疲劳驾驶预警功能的行车记录仪 |
| CN106274693A (zh) * | 2016-09-26 | 2017-01-04 | 惠州Tcl移动通信有限公司 | 一种驾车行驶中进行提醒的方法、系统及电子设备 |
| CN106710307A (zh) * | 2017-01-06 | 2017-05-24 | 汽-大众汽车有限公司 | 一种车辆辅助驾驶方法和装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427850A (zh) * | 2019-07-24 | 2019-11-08 | 中国科学院自动化研究所 | 驾驶员高速道路换道意图预测方法、系统、装置 |
| CN110435665A (zh) * | 2019-08-14 | 2019-11-12 | 东风汽车有限公司 | 一种驾驶员检测装置及汽车 |
| CN112455461B (zh) * | 2019-09-06 | 2022-10-28 | 华为技术有限公司 | 自动驾驶车辆的人车交互的方法、自动驾驶系统 |
| CN112455461A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 自动驾驶车辆的人车交互的方法、自动驾驶系统 |
| CN110588666A (zh) * | 2019-10-09 | 2019-12-20 | 北京百度网讯科技有限公司 | 用于控制车辆行驶的方法及装置 |
| CN110696834A (zh) * | 2019-11-20 | 2020-01-17 | 东风小康汽车有限公司重庆分公司 | 驾驶员状态监测方法、装置、系统和控制器 |
| CN110696834B (zh) * | 2019-11-20 | 2022-01-14 | 东风小康汽车有限公司重庆分公司 | 驾驶员状态监测方法、装置、系统和控制器 |
| CN113147389A (zh) * | 2020-01-22 | 2021-07-23 | 四川物软网联科技有限公司 | 一种车辆安损系统、车辆及车辆控制方法 |
| TWI753419B (zh) * | 2020-02-28 | 2022-01-21 | 英華達股份有限公司 | 以視線追蹤達成駕駛習慣養成的裝置及方法 |
| CN113370990A (zh) * | 2020-03-10 | 2021-09-10 | 华为技术有限公司 | 驾驶辅助方法和驾驶辅助装置 |
| CN111645694B (zh) * | 2020-04-15 | 2021-08-06 | 南京航空航天大学 | 一种基于姿态估计的驾驶员驾驶状态监测系统及方法 |
| CN111645694A (zh) * | 2020-04-15 | 2020-09-11 | 南京航空航天大学 | 一种基于姿态估计的驾驶员驾驶状态监测系统及方法 |
| CN112141119A (zh) * | 2020-09-23 | 2020-12-29 | 上海商汤临港智能科技有限公司 | 智能驾驶控制方法及装置、车辆、电子设备和存储介质 |
| CN112141119B (zh) * | 2020-09-23 | 2022-03-11 | 上海商汤临港智能科技有限公司 | 智能驾驶控制方法及装置、车辆、电子设备和存储介质 |
| CN113096401A (zh) * | 2021-04-08 | 2021-07-09 | 重庆交通职业学院 | 一种交通事故预警系统和方法 |
| CN113741035A (zh) * | 2021-09-06 | 2021-12-03 | 京东方科技集团股份有限公司 | Hud的显示方法、装置、电子设备及存储介质 |
| CN113741035B (zh) * | 2021-09-06 | 2023-10-17 | 京东方科技集团股份有限公司 | Hud的显示方法、装置、电子设备及存储介质 |
| CN114550415A (zh) * | 2022-01-28 | 2022-05-27 | 交通运输部公路科学研究所 | 一种基于车路协同的大型车辆车道级精准管控方法及系统 |
| CN114550415B (zh) * | 2022-01-28 | 2022-09-06 | 交通运输部公路科学研究所 | 一种基于车路协同的大型车辆车道级精准管控方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109747656A (zh) | 人工智能车辆辅助驾驶方法、装置、设备及存储介质 | |
| US11205348B2 (en) | Drive assist device | |
| CN107004362B (zh) | 驾驶辅助装置及驾驶辅助方法 | |
| US20150268665A1 (en) | Vehicle communication using audible signals | |
| JP4719590B2 (ja) | 車載周辺状況提示装置 | |
| KR20120127830A (ko) | 차량용 단말을 위한 사용자 인터페이스 방법 및 장치 | |
| CN106023628A (zh) | 一种用于车辆的限速辅助系统及限速辅助方法 | |
| US20200148382A1 (en) | Aerial vehicle, communication terminal and non-transitory computer-readable medium | |
| CN104599443A (zh) | 一种基于信息融合的驾驶行为预警车载终端及其预警方法 | |
| CN103818385B (zh) | 汽车中用于输出信息的方法和装置 | |
| CN104271382B (zh) | 将滑触位置传达至操作人员的显示 | |
| CN106143308B (zh) | 基于智能后视镜的车道偏离预警系统 | |
| CN109285372A (zh) | 用于运行驾驶员辅助系统的方法和设备和驾驶员辅助系统 | |
| US11862018B2 (en) | Driving assistance apparatus | |
| JP2016177722A (ja) | 安全運転支援装置及び自動運転車 | |
| KR20160092963A (ko) | 과속 및 신호위반에 의한 교차로 교통사고 예방 방법 및 그 시스템 | |
| CN111660923B (zh) | 汽车警示装置及汽车 | |
| KR20160011342A (ko) | 이륜차의 후방 또는 측방 감시시스템, 및 글라스형 웨어러블 디바이스를 이용한 이륜차의 후방 또는 측방 감시방법 | |
| CN109866686A (zh) | 基于视频实时分析的智能主动安全辅助驾驶系统及方法 | |
| CN109541243A (zh) | 一种基于汽车方向盘的酒驾自动检测系统及其方法 | |
| CN206441349U (zh) | 一种弯道防碰撞预警系统 | |
| JP2014044458A (ja) | 車載機器、及び、危険報知方法 | |
| US11807264B2 (en) | Driving assistance apparatus, driving assistance method, and medium | |
| CN107958604A (zh) | 一种输出路况的方法、装置及监测设备 | |
| JP6729958B1 (ja) | 表示制御システム、表示制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230417 Address after: No. 19014, 19th Floor, Building 1, No. 18 Danling Street, Haidian District, Beijing, 100080 Applicant after: Beijing Zhigan Technology Co.,Ltd. Address before: 100080 301-041, 3rd floor, block a, building 1, No.3 Haidian Street, Haidian District, Beijing Applicant before: Luo Ximing |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |