CN108229345A - 一种驾驶员检测系统 - Google Patents

一种驾驶员检测系统 Download PDF

Info

Publication number
CN108229345A
CN108229345A CN201711379562.1A CN201711379562A CN108229345A CN 108229345 A CN108229345 A CN 108229345A CN 201711379562 A CN201711379562 A CN 201711379562A CN 108229345 A CN108229345 A CN 108229345A
Authority
CN
China
Prior art keywords
driver
information
detecting system
driving
dimensional geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711379562.1A
Other languages
English (en)
Inventor
鲁明刚
刘伟
邱聪雨
梁登宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Geely Automobile Research Institute Ningbo Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN201711379562.1A priority Critical patent/CN108229345A/zh
Publication of CN108229345A publication Critical patent/CN108229345A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本发明提供了一种驾驶员检测系统，涉及汽车技术领域。驾驶员检测系统包括双摄像头成像单元、信息处理单元和控制单元。双摄像头成像单元能够模拟人类视觉原理，获取驾驶员的三维几何信息。信息处理单元接收三维几何信息后将其与数据库中的预设信息进行比对，当三维几何信息与预设信息的相似度超过预设阈值时，信息处理单元判定驾驶员的操作意图和/或驾驶状态并发出与之对应的信号给控制单元。控制单元根据信息处理单元发出的信号执行与信号相对应的操作。采用双摄像头成像单元，可以获得包含物体深度信息在内的3D信息以提高识别的准确率，在降低成本的基础上同时实现疲劳监控和手势识别功能。

Description

一种驾驶员检测系统
技术领域
本发明涉及汽车技术领域，特别是涉及一种驾驶员检测系统。
背景技术
随着汽车越来越智能化，人机交流朝着更加简捷、有效的方式发展；用户的一些个性化设置往往和ID绑定，包含深度信息的3D人脸识别、复杂的3D手势识别、眼球追踪、表情识别等功能市场需求的声音日渐高涨。
目前市场上的疲劳驾驶模块和手势识别模块都是独立的。疲劳驾驶模块采用了一颗摄像头+红外灯，所采集到的物体信息仅为2D的，无法获得深度信息，在人脸识别，表情识别和眼球追踪等方面都存在准确度不足的问题。而简单的手势识别模块也仅能识别一些简单的手势，无法市场需求。如果需要同时实现疲劳监控和手势识别，则需要配备两套系统，成本大大提高。
所以，无论从成本还是性能上，目前的产品均不能使消费者满意。
发明内容
本发明的一个目的是要提供一种驾驶员检测系统，以解决现有技术中驾驶员监测系统不能同时实现疲劳监控和手势识别且系统成本高的问题。
本发明的另一个目的是用户可以主动通过检测系统输入预先设定的三维几何信息，增加用户体验。
本发明提供了一种驾驶员检测系统，用于检测驾驶员的驾驶状态，包括：
双摄像头成像单元，用于获取驾驶员的三维几何信息；
信息处理单元，其配置成将所述三维几何信息与数据库中的预设信息进行比对并输出比对结果，根据所述比对结果判断所述驾驶员的操作意图和/或驾驶状态；和
控制单元，根据所述驾驶员的操作意图和/或驾驶状态执行与所述驾驶员的操作意图和/或驾驶状态相对应的操作。
可选地，还包括信息采集单元，其配置成将预设的三维几何信息作为预设信息存储到所述数据库中。
可选地，所述三维几何信息包括3D动作信息，所述3D动作信息包括3D手势信息和头部动作信息。
可选地，所述三维几何信息包括3D人脸信息，所述3D人脸信息包括面部信息、眼球信息和表情信息。
可选地，所述驾驶状态包括专注驾驶、非专注驾驶和疲劳驾驶；
所述驾驶员检测系统通过所述眼球信息区分所述专注驾驶和非专注驾驶，通过所述表情信息判断驾驶员是否处于疲劳驾驶状态。
可选地，所述控制单元包括报警单元，其配置成在所述信息处理单元判断所述驾驶员处于非专注驾驶和/疲劳驾驶状态时发出报警信号，所述报警信号为视觉报警、听觉报警或触觉报警中一种或多种。
可选地，所述操作意图包括开启车辆设备意图和/或驾驶意图；
所述驾驶员检测系统通过所述3D手势信息和所述头部动作信息判断驾驶员是否具有开启车辆设备意图和/或驾驶意图。
可选地，所述双摄像头成像单元包括两个摄像头，所述摄像头为红外摄像头或/和彩色摄像头。
可选地，所述双摄像头成像单元还包括红外补光装置。
可选地，所述双摄像头成像单元还包括雷达探测装置，所述雷达探测装置用于探测驾驶员的深度信息。
本发明的驾驶员检测系统，包括双摄像头成像单元、信息处理单元和控制单元。双摄像头成像单元，能够模拟人类视觉原理，从两个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取驾驶员的三维几何信息。信息处理单元接收三维几何信息后将其与数据库中的预设信息进行比对，当三维几何信息与预设信息的相似度超过预设阈值时，信息处理单元判定驾驶员的操作意图和/或驾驶状态并发出与之对应的信号给控制单元。控制单元根据信息处理单元发出的信号执行与信号相对应的操作。采用双摄像头成像单元，可以获得包含物体深度信息在内的3D信息以提高识别的准确率，在降低成本的基础上同时实现疲劳监控和手势识别功能。
进一步地，本发明的检测系统还包括信息采集单元，驾驶员可以通过信息采集单元将预设的三维几何信息作为预设信息存储到所述数据库中，用户可以设计自己独有的信息，增强用户体验。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本发明一个实施例的驾驶员检测系统的示意性装置图；
图2是根据本发明又一个实施例的驾驶员检测系统的示意性装置图。
具体实施方式
目前，在车辆上已有的驾驶员监测系统，其仅仅具有人脸识别功能和疲劳驾驶检测功能。为了满足市场需求，进一步完善驾驶员监测系统，研发人员希望将TOF技术应用于车辆上。TOF是飞行时间(Time of Flight)技术的缩写，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。TOF相机所获得的深度图像有以下的缺陷：深度图像的分辨率较低，远不及彩色图像的分辨率；深度图像的深度值容易受到显著的噪声干扰；深度图像在物体的边缘处的深度值易出现误差。由于存在上述缺陷，TOF相机无法直接应用到需要较高分辨率的人脸识别上，且无法分别出左右手，使用功能大受限制。除此之外，TOF相机通常价格不菲。为解决上述问题，申请人设计了一种新的驾驶员检测系统。
图1是根据本发明一个实施例的驾驶员检测系统的示意性装置图。如图1所示，一种用于检测驾驶员驾驶状态的检测系统包括双摄像头成像单元1、信息处理单元2和控制单元3。
双摄像头成像单元1用于获取驾驶员的三维几何信息，包括两个摄像头和一个红外补光装置。两个摄像头既可以都为红外摄像头，又可以都为彩色摄像头，还可以是一个红外摄像头和一个彩色摄像头。红外补光装置可以为红外灯发射器，还可以是其他本领域技术人员熟知的装置。当两个摄像头均为彩色摄像头时，可以不设置红外灯发射器。双摄像头成像单元1能够模拟人类视觉原理，从两个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取驾驶员的三维几何信息。
双摄像头成像单元1采用深度图像获取原理，其主要基于结构光。结构光是具有特定模式的光，其具有例如点、线、面等模式图案。基于结构光的深度图像获取原理具体为：将结构光投射至场景，并由图像传感器捕获相应的带有结构光的图案。由于结构光的模式图案会因为物体的形状发生变形，因此通过模式图像在捕捉得到的图像中的位置以及形变程度利用三角原理计算即可得到场景中各点的深度信息。采用双摄像头成像单元1获得的三维几何信息结合了深度图像和彩色图像，其更加清晰，分辨率较高，可以应用到3D人脸识别和3D动作识别上。双摄像头成像单元1生成的三维几何信息通过MIPI或LVDS等方式传输到信息处理单元2。
信息处理单元2配置成将三维几何信息与数据库中的预设信息进行比对并输出比对结果，基于比对结果发出与之对应的信号。信息处理单元2为车载电子控制单元3(ECU)其内设置有数据库，数据库中的预设信息可以通过互联网从其它数据库中下载。每个预设信息均对应一个信号，当双摄像头成像单元1实时获取的三维几何信息与任一预设信息相似度超过预设阈值时，信息处理单元2将发出与之对应的信号，信号通过CAN总线接口传输给控制单元3。控制单元3在接收信息处理单元2发出的信号后根据信号执行与信号相对应的操作。由于双摄像头成像单元1采集的三维几何信息更加准确，通过比对，信息处理单元2能更加精准的分析出驾驶员的驾驶状态或/和驾驶意图。
在一具体实施例中，ECU分别与控制单元3和双摄像头成像单元1相连。红外摄像头和/或彩色摄像头采集驾驶员的三维几何信息，三维几何信息包括3D人脸信息和3D动作信息，其中，3D人脸信息包括面部信息、眼球信息和表情信息，3D动作信息包括3D手势信息和头部动作信息。红外灯发射器发射特定波长的红外线，使得摄像头在夜间等光线不足的情况下仍然能正常工作。ECU为双摄像头成像单元1提供电力，并接收其获取的三维几何信息。三维几何信息传输到ECU后，ECU通过特征点比对后发出信号，通过CAN将信号传输给汽车上控制单元3，控制单元3作出相应的响应。
本发明的驾驶员检测系统，采用双摄像头成像单元1可获取具有深度信息的三维几何信息，信息处理单元2将三维几何信息与预设信息进行比对，精准的分析出驾驶员的驾驶状态或/和驾驶意图，向控制单元3发出信号，在降低成本的基础上同时实现疲劳监控和手势识别功能。
图2是根据本发明又一个实施例的驾驶员检测系统的示意性装置图。如图2所示，为了增加用户体验，驾驶员检测系统还包括信息采集单元4。信息采集单元4与ECU相连，其配置成将预设的三维几何信息作为预设信息存储到数据库中。例如：用户可以把一个固定手势作为预设信息存储到数据库内，并设定与之对应的响应。用户在进入信息采集模式后，在摄像头范围内摆出“嘘”的手势(即左/右手食指放在嘴前)1秒中不变，确认采集成功后将该手势作为预设信息保存在数据库内，并设定与之对应的信号，信号响应为降低媒体音量或直接关闭媒体。设定好预设信息后，用户在媒体打开的情况下，在摄像头的范围内保持“嘘”的手势超过1秒，ECU即判定用户希望关闭降低媒体音量或直接关闭媒体，发信号给控制单元3，控制单元3控制媒体降低音量或直接关闭媒体。
在行驶过程中，驾驶员的操作意图和/或驾驶状态非常重要，信息处理单元2会根据比对结果判断驾驶员的操作意图和/或驾驶状态，在确定驾驶员的操作意图和/或驾驶状态后发出与之对应的信号。
驾驶状态包括专注驾驶、非专注驾驶和疲劳驾驶。驾驶员检测系统通过眼球追踪区分专注驾驶和非专注驾驶。对于眼球追踪，可以采用角膜反射光进行眼球视线跟踪。角膜能反射落在它表面上的光，这就是角膜反光。如果整个眼球是个标准的球体，且随圆心自转，那么反光点是固定不动的。但是角膜是从眼球表面凸出的，因此当眼球运动时光以变化的角度射到角膜，得到不同方向的反光。这种变化是分析眼球运动特征的一种精确变量。通过角膜反射光的方向角度变化，从而确定目光注视方向，实现眼球的跟踪。当驾驶员的眼球在预设时间内没有转动或眼睛在一定时间段内没有眨动，驾驶员可能在想事情，可以判定驾驶员为非专注驾驶，控制单元3可以报警单元发出声音提醒，或使方向盘或座椅发生轻微震动，已提醒驾驶员。当驾驶员的眼球频繁朝向左后视镜或右后视镜，判定驾驶员可能具有转向意图，控制单元3可以自动开启转向灯。
驾驶员检测系统通过表情信息判断驾驶员是否处于疲劳驾驶状态。该功能通过检测驾驶员眼睛开合度、是否打哈欠和眨眼频率等，并结合车上其他传感器的信号，如转向信息，刹车信号，进行判断驾驶员是否疲劳驾驶。对于面部识别，双摄像头成像单元1检测面部并提取眉毛，眼睛，鼻子，嘴巴，轮廓等特征，并描绘出多个特征点进行不同人脸的表征。再把这些特征点进行脸型的三维建模，模型与数据库的模型进行比对，从而完成人脸，身份的识别。表情识别与面部识别类似，可以分为人脸图像获取、特征提取和人脸情感分类三个核心环节。双摄像头成像单元1获取人脸图像并进行特征点的提取，通过对比特征点与表情库，将人脸情感进行分类，ECU根据驾驶员的情感发出相应的信号，控制单元3在接收到相应信号后做出相应的响应。当判定驾驶员为疲劳驾驶时，控制单元3控制报警单元发出报警信号，报警信号可以为视觉报警、听觉报警或触觉报警中一种或多种。
驾驶员操作意图包括开启车辆设备意图和/或驾驶意图。驾驶员检测系统通过3D手势信息和头部动作信息判断驾驶员是否具有开启车辆设备意图和/或驾驶意图。对于手势识别，双摄像头成像单元1将采集到的手部信息并进行关节手掌的特征提取，特征提取完成后进行特征跟踪。然后将特征与数据库中预先建立好的手势库进行比对，识别并确定手势的含义。驾驶员检测系统通过上述特征提取后，可以根据手掌和手指的弯曲形状准确判断左右手。
该驾驶员检测系统中的双摄像头成像单元1的视野既能覆盖驾驶员头部，也能覆盖进行手势操控范围的位置，如车辆中控中间。从而仅用一套系统即可涵盖3D人脸识别、3D手势识别、眼球追踪、表情识别、疲劳驾驶功能。
在本发明的一个实施例中，双摄像头成像单元1还包括雷达探测装置，雷达探测装置用于探测驾驶员的深度信息，与两个摄像头配合获取驾驶员的三维几何信息，使获取的三维几何信息更加精准，从而使驾驶员检测系统能够准确的判断驾驶员的操作意图和/或驾驶状态。
该驾驶员检测系统还可以对驾驶员和副驾驶位人员的手势操控进行分级响应，优先执行驾驶员发出的指令。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种驾驶员检测系统，用于检测驾驶员的驾驶状态，其特征在于，包括：
双摄像头成像单元，用于获取驾驶员的三维几何信息；
信息处理单元，其配置成将所述三维几何信息与数据库中的预设信息进行比对并输出比对结果，根据所述比对结果判断所述驾驶员的操作意图和/或驾驶状态；和
控制单元，根据所述驾驶员的操作意图和/或驾驶状态执行与所述驾驶员的操作意图和/或驾驶状态相对应的操作。
2.根据权利要求1所述的驾驶员检测系统，其特征在于，还包括信息采集单元，其配置成将预设的三维几何信息作为预设信息存储到所述数据库中。
3.根据权利要求1所述的驾驶员检测系统，其特征在于，所述三维几何信息包括3D动作信息，所述3D动作信息包括3D手势信息和头部动作信息。
4.根据权利要求1所述的驾驶员检测系统，其特征在于，所述三维几何信息包括3D人脸信息，所述3D人脸信息包括面部信息、眼球信息和表情信息。
5.根据权利要求4所述的驾驶员检测系统，其特征在于，所述驾驶状态包括专注驾驶、非专注驾驶和疲劳驾驶；
所述驾驶员检测系统通过所述眼球信息区分所述专注驾驶和非专注驾驶，通过所述表情信息判断驾驶员是否处于疲劳驾驶状态。
6.根据权利要求5所述的驾驶员检测系统，其特征在于，所述控制单元包括报警单元，其配置成在所述信息处理单元判断所述驾驶员处于非专注驾驶和/疲劳驾驶状态时发出报警信号，所述报警信号为视觉报警、听觉报警或触觉报警中一种或多种。
7.根据权利要求3所述的驾驶员检测系统，其特征在于，所述操作意图包括开启车辆设备意图和/或驾驶意图；
所述驾驶员检测系统通过所述3D手势信息和所述头部动作信息判断驾驶员是否具有开启车辆设备意图和/或驾驶意图。
8.根据权利要求1所述的驾驶员检测系统，其特征在于，所述双摄像头成像单元包括两个摄像头，所述摄像头为红外摄像头或/和彩色摄像头。
9.根据权利要求8所述的驾驶员检测系统，其特征在于，所述双摄像头成像单元还包括红外补光装置。
10.根据权利要求9所述的驾驶员检测系统，其特征在于，所述双摄像头成像单元还包括雷达探测装置，所述雷达探测装置用于探测驾驶员的深度信息。
CN201711379562.1A 2017-12-15 2017-12-15 一种驾驶员检测系统 Pending CN108229345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711379562.1A CN108229345A (zh) 2017-12-15 2017-12-15 一种驾驶员检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711379562.1A CN108229345A (zh) 2017-12-15 2017-12-15 一种驾驶员检测系统

Publications (1)

Publication Number Publication Date
CN108229345A true CN108229345A (zh) 2018-06-29

Family

ID=62649940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711379562.1A Pending CN108229345A (zh) 2017-12-15 2017-12-15 一种驾驶员检测系统

Country Status (1)

Country Link
CN (1) CN108229345A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921135A (zh) * 2018-07-27 2018-11-30 合肥市智信汽车科技有限公司 一种疲劳驾驶检测系统及其使用方法
CN109165578A (zh) * 2018-08-08 2019-01-08 盎锐（上海）信息科技有限公司 基于拍摄装置的表情检测装置及数据处理方法
CN109291794A (zh) * 2018-09-28 2019-02-01 上汽通用五菱汽车股份有限公司 驾驶员状态监测方法、汽车以及存储介质
CN109614953A (zh) * 2018-12-27 2019-04-12 华勤通讯技术有限公司 一种基于图像识别的控制方法、车载设备及存储介质
CN109875584A (zh) * 2019-03-01 2019-06-14 广东轻工职业技术学院 驾驶员生理疲劳的检测方法及其警报系统
CN109895781A (zh) * 2019-03-18 2019-06-18 百度在线网络技术（北京）有限公司 用于控制车辆的方法和装置
CN110182211A (zh) * 2019-05-23 2019-08-30 河南德力新能源汽车有限公司 基于驾驶员状态监测系统的车辆智能避险控制方法
CN110435662A (zh) * 2019-07-30 2019-11-12 上海思致汽车工程技术有限公司 一种汽车驾乘人员监测系统
CN110758237A (zh) * 2018-07-27 2020-02-07 深圳富泰宏精密工业有限公司 电子装置及行车安全提醒方法
CN110857064A (zh) * 2018-08-24 2020-03-03 上海汽车集团股份有限公司 一种驾驶意图指令生成的装置和方法
CN111762193A (zh) * 2019-03-28 2020-10-13 本田技研工业株式会社 车辆用驾驶辅助系统
CN114120484A (zh) * 2020-08-31 2022-03-01 比亚迪股份有限公司 一种面部识别系统及车辆
CN114155592A (zh) * 2021-12-21 2022-03-08 清华大学苏州汽车研究院（吴江） 一种多源融合视觉感知座舱系统
CN115013386A (zh) * 2022-05-30 2022-09-06 燕山大学 基于视觉识别的液压系统防护装置控制方法及其控制装置
CN115359532A (zh) * 2022-08-23 2022-11-18 润芯微科技(江苏)有限公司 一种基于3d传感人脸情绪捕捉输出装置

Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080741A1 (en) * 2006-09-28 2008-04-03 Takata Corporation Occupant detection system
CN101530329A (zh) * 2009-03-06 2009-09-16 北京理工大学 半实物驾驶疲劳视景仿真系统平台
CN101941425A (zh) * 2010-09-17 2011-01-12 上海交通大学 对驾驶员疲劳状态的智能识别装置与方法
CN102262720A (zh) * 2010-05-31 2011-11-30 华创车电技术中心股份有限公司 具有安全驾驶机制的车用计算机系统及其操作方法
CN102855754A (zh) * 2011-06-30 2013-01-02 由田新技股份有限公司 车辆管理监控系统及其方法
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN103000000A (zh) * 2012-11-28 2013-03-27 广东欧珀移动通信有限公司 一种防止疲劳驾驶的方法、装置和一种移动终端
CN103455144A (zh) * 2013-08-22 2013-12-18 深圳先进技术研究院 车载人机交互系统及方法
CN104077568A (zh) * 2014-06-23 2014-10-01 北京理工大学珠海学院 一种高精度的驾驶员行为识别与监控方法及系统
CN104077559A (zh) * 2013-03-29 2014-10-01 现代自动车株式会社 具有手势检测系统及方法的车辆
CN104182742A (zh) * 2013-05-20 2014-12-03 比亚迪股份有限公司 头部姿态识别方法及系统
CN104574376A (zh) * 2014-12-24 2015-04-29 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN104866106A (zh) * 2015-06-03 2015-08-26 深圳市光晕网络科技有限公司 一种结合hud与红外识别的人机交互方法和系统
CN105095852A (zh) * 2014-05-23 2015-11-25 上海通用汽车有限公司 一种车载手势指令识别系统
CN105334960A (zh) * 2015-10-22 2016-02-17 四川膨旭科技有限公司 车载智能手势识别系统
CN105354986A (zh) * 2015-11-12 2016-02-24 熊强 汽车司机驾驶状态监测系统及方法
US20160091978A1 (en) * 2014-09-25 2016-03-31 Hyundai Motor Company Gesture recognition apparatus, vehicle having the same and method for controlling the same
CN105527710A (zh) * 2016-01-08 2016-04-27 北京乐驾科技有限公司 一种智能抬头显示系统
CN105522968A (zh) * 2015-12-21 2016-04-27 浙江大学 一种汽车后视镜自动调整系统
CN105573505A (zh) * 2016-01-28 2016-05-11 异视科技（北京）有限公司 车载平视显示器、空间定位方法及汽车
CN205263746U (zh) * 2015-12-15 2016-05-25 深圳市航盛电子股份有限公司 一种基于3d手势识别的车载娱乐系统
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN105677206A (zh) * 2016-01-08 2016-06-15 北京乐驾科技有限公司 一种基于视觉的抬头显示器控制系统及方法
CN105905116A (zh) * 2016-04-27 2016-08-31 乐视控股（北京）有限公司 一种人车互动装置及互动方法
CN106274693A (zh) * 2016-09-26 2017-01-04 惠州Tcl移动通信有限公司 一种驾车行驶中进行提醒的方法、系统及电子设备
CN106347351A (zh) * 2016-09-28 2017-01-25 奇瑞汽车股份有限公司 一种带有自动紧急制动的自适应巡航方法及系统
CN106382918A (zh) * 2016-08-31 2017-02-08 胡钊政 一种三维视觉传感器
CN107126224A (zh) * 2017-06-20 2017-09-05 中南大学 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统
CN107194381A (zh) * 2017-07-06 2017-09-22 重庆邮电大学 基于Kinect的驾驶员状态监测系统
CN107403554A (zh) * 2017-09-01 2017-11-28 北京壹卡行科技有限公司 双目集成驾驶员行为分析设备与方法
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法

Patent Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080741A1 (en) * 2006-09-28 2008-04-03 Takata Corporation Occupant detection system
CN101530329A (zh) * 2009-03-06 2009-09-16 北京理工大学 半实物驾驶疲劳视景仿真系统平台
CN102262720A (zh) * 2010-05-31 2011-11-30 华创车电技术中心股份有限公司 具有安全驾驶机制的车用计算机系统及其操作方法
CN101941425A (zh) * 2010-09-17 2011-01-12 上海交通大学 对驾驶员疲劳状态的智能识别装置与方法
CN102855754A (zh) * 2011-06-30 2013-01-02 由田新技股份有限公司 车辆管理监控系统及其方法
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN103000000A (zh) * 2012-11-28 2013-03-27 广东欧珀移动通信有限公司 一种防止疲劳驾驶的方法、装置和一种移动终端
CN104077559A (zh) * 2013-03-29 2014-10-01 现代自动车株式会社 具有手势检测系统及方法的车辆
CN104182742A (zh) * 2013-05-20 2014-12-03 比亚迪股份有限公司 头部姿态识别方法及系统
CN103455144A (zh) * 2013-08-22 2013-12-18 深圳先进技术研究院 车载人机交互系统及方法
CN105095852A (zh) * 2014-05-23 2015-11-25 上海通用汽车有限公司 一种车载手势指令识别系统
CN104077568A (zh) * 2014-06-23 2014-10-01 北京理工大学珠海学院 一种高精度的驾驶员行为识别与监控方法及系统
US20160091978A1 (en) * 2014-09-25 2016-03-31 Hyundai Motor Company Gesture recognition apparatus, vehicle having the same and method for controlling the same
CN104574376A (zh) * 2014-12-24 2015-04-29 重庆大学 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN104866106A (zh) * 2015-06-03 2015-08-26 深圳市光晕网络科技有限公司 一种结合hud与红外识别的人机交互方法和系统
CN105334960A (zh) * 2015-10-22 2016-02-17 四川膨旭科技有限公司 车载智能手势识别系统
CN105354986A (zh) * 2015-11-12 2016-02-24 熊强 汽车司机驾驶状态监测系统及方法
CN205263746U (zh) * 2015-12-15 2016-05-25 深圳市航盛电子股份有限公司 一种基于3d手势识别的车载娱乐系统
CN105522968A (zh) * 2015-12-21 2016-04-27 浙江大学 一种汽车后视镜自动调整系统
CN105677206A (zh) * 2016-01-08 2016-06-15 北京乐驾科技有限公司 一种基于视觉的抬头显示器控制系统及方法
CN105527710A (zh) * 2016-01-08 2016-04-27 北京乐驾科技有限公司 一种智能抬头显示系统
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN105573505A (zh) * 2016-01-28 2016-05-11 异视科技（北京）有限公司 车载平视显示器、空间定位方法及汽车
CN105905116A (zh) * 2016-04-27 2016-08-31 乐视控股（北京）有限公司 一种人车互动装置及互动方法
CN106382918A (zh) * 2016-08-31 2017-02-08 胡钊政 一种三维视觉传感器
CN106274693A (zh) * 2016-09-26 2017-01-04 惠州Tcl移动通信有限公司 一种驾车行驶中进行提醒的方法、系统及电子设备
CN106347351A (zh) * 2016-09-28 2017-01-25 奇瑞汽车股份有限公司 一种带有自动紧急制动的自适应巡航方法及系统
CN107126224A (zh) * 2017-06-20 2017-09-05 中南大学 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统
CN107194381A (zh) * 2017-07-06 2017-09-22 重庆邮电大学 基于Kinect的驾驶员状态监测系统
CN107403554A (zh) * 2017-09-01 2017-11-28 北京壹卡行科技有限公司 双目集成驾驶员行为分析设备与方法
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110758237A (zh) * 2018-07-27 2020-02-07 深圳富泰宏精密工业有限公司 电子装置及行车安全提醒方法
CN108921135A (zh) * 2018-07-27 2018-11-30 合肥市智信汽车科技有限公司 一种疲劳驾驶检测系统及其使用方法
CN109165578A (zh) * 2018-08-08 2019-01-08 盎锐（上海）信息科技有限公司 基于拍摄装置的表情检测装置及数据处理方法
CN110857064A (zh) * 2018-08-24 2020-03-03 上海汽车集团股份有限公司 一种驾驶意图指令生成的装置和方法
CN109291794A (zh) * 2018-09-28 2019-02-01 上汽通用五菱汽车股份有限公司 驾驶员状态监测方法、汽车以及存储介质
CN109614953A (zh) * 2018-12-27 2019-04-12 华勤通讯技术有限公司 一种基于图像识别的控制方法、车载设备及存储介质
CN109875584A (zh) * 2019-03-01 2019-06-14 广东轻工职业技术学院 驾驶员生理疲劳的检测方法及其警报系统
CN109895781A (zh) * 2019-03-18 2019-06-18 百度在线网络技术（北京）有限公司 用于控制车辆的方法和装置
CN111762193A (zh) * 2019-03-28 2020-10-13 本田技研工业株式会社 车辆用驾驶辅助系统
CN111762193B (zh) * 2019-03-28 2023-08-01 本田技研工业株式会社 车辆用驾驶辅助系统
CN110182211A (zh) * 2019-05-23 2019-08-30 河南德力新能源汽车有限公司 基于驾驶员状态监测系统的车辆智能避险控制方法
CN110435662A (zh) * 2019-07-30 2019-11-12 上海思致汽车工程技术有限公司 一种汽车驾乘人员监测系统
CN114120484A (zh) * 2020-08-31 2022-03-01 比亚迪股份有限公司 一种面部识别系统及车辆
CN114155592A (zh) * 2021-12-21 2022-03-08 清华大学苏州汽车研究院（吴江） 一种多源融合视觉感知座舱系统
CN115013386A (zh) * 2022-05-30 2022-09-06 燕山大学 基于视觉识别的液压系统防护装置控制方法及其控制装置
CN115013386B (zh) * 2022-05-30 2023-06-23 燕山大学 基于视觉识别的液压系统防护装置控制方法及其控制装置
CN115359532A (zh) * 2022-08-23 2022-11-18 润芯微科技(江苏)有限公司 一种基于3d传感人脸情绪捕捉输出装置

Similar Documents

Publication Publication Date Title
CN108229345A (zh) 一种驾驶员检测系统
CN109643366B (zh) 用于监控车辆驾驶员的状况的方法和系统
US10867195B2 (en) Systems and methods for monitoring driver state
US11535280B2 (en) Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
CN110167823B (zh) 用于驾驶员监测的系统和方法
CN106687037B (zh) 用于检测瞬时睡眠的设备、方法和计算机程序
CN113056390A (zh) 情境驾驶员监控系统
EP1320830B1 (en) Facial image processing system
US20080285801A1 (en) Visual Tracking Eye Glasses In Visual Head And Eye Tracking Systems
CN103870802A (zh) 使用指谷操作车辆内的用户界面的系统和方法
EP2338416A1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
García et al. Driver monitoring based on low-cost 3-D sensors
CN104461005A (zh) 一种车载屏幕开关控制方法
Borghi et al. Hands on the wheel: a dataset for driver hand detection and tracking
JP5367037B2 (ja) 顔向き検出装置
CN104751600A (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
US20180204078A1 (en) System for monitoring the state of vigilance of an operator
US20210061287A1 (en) Method and system for determining awareness data
Jha et al. Probabilistic estimation of the driver's gaze from head orientation and position
CN109415018A (zh) 用于数字后视镜的方法和控制单元
Martin et al. Real time driver body pose estimation for novel assistance systems
CN112690794B (zh) 驾驶员状态检测方法、系统和装置
Debnath et al. Detection and controlling of drivers' visual focus of attention
JP7412514B1 (ja) キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム
JP7348005B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629

RJ01 Rejection of invention patent application after publication