CN110163037A - 监测驾驶员状态的方法、设备、系统、处理器及存储介质 - Google Patents

监测驾驶员状态的方法、设备、系统、处理器及存储介质 Download PDF

Info

Publication number
CN110163037A
CN110163037A CN201810210707.3A CN201810210707A CN110163037A CN 110163037 A CN110163037 A CN 110163037A CN 201810210707 A CN201810210707 A CN 201810210707A CN 110163037 A CN110163037 A CN 110163037A
Authority
CN
China
Prior art keywords
driver
image
feature
parameter
current state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810210707.3A
Other languages
English (en)
Other versions
CN110163037B (zh
Inventor
余贵珍
雷傲
王云鹏
胡哲华
胡超伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810210707.3A priority Critical patent/CN110163037B/zh
Publication of CN110163037A publication Critical patent/CN110163037A/zh
Application granted granted Critical
Publication of CN110163037B publication Critical patent/CN110163037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Abstract

本发明公开了一种监测驾驶员状态的方法、设备、系统、处理器及存储介质。其中，该方法包括：获取驾驶员的脸部图像和俯视状态下的驾驶员图像；从所述图像提取特征；基于所提取的特征，判定驾驶员的当前状态；以及基于所判定的当前状态发出警报。本发明解决了传统驾驶员状态监测装置监测内容较为单一，且易受车辆类型、驾驶环境等因素影响，无法大面积推广的技术问题。

Description

监测驾驶员状态的方法、设备、系统、处理器及存储介质
技术领域
本发明涉及驾驶员状态监测领域，具体而言，涉及一种监测驾驶员状态的方法、设备、系统、处理器及存储介质。
背景技术
2016年，我国道路交通事故造成死亡人数达6.3万人，其中超过60％的事故由疲劳驾驶、接打电话、玩手机等危险或不良驾驶习惯造成。因此，为确保道路交通安全，有必要对驾驶员的驾驶状态进行实时的监测预警。
在实际使用中，驾驶员状态监测装置与方法应具有成本低、体积小、方便性好、检测内容丰富、鲁棒性强等优点。眼动仪、心率手环等设备，其检测内容较为单一，且易受车辆类型、驾驶环境等因素影响，因此无法大面积推广。并且，现有技术中通常都是通过脸部图像采集机器来获取脸部图像，从而提取特征获得驾驶员的驾驶状态，因此获取图像的手段单一，不能充分利用多个角度的特征判定驾驶员的驾驶状态。
而随着图像视觉技术的飞速发展，利用驾驶员丰富的面部与手部信息，提取驾驶状态参数，设计一个低成本高鲁棒性的驾驶员状态监测装置与方法，对于保障道路交通安全，减少交通事故发生具有极其重要的意义。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种监测驾驶员状态的方法、设备、系统、处理器及存储介质，以至少解决关键的技术问题。
根据本发明实施例的一个方面，提供了一种监测驾驶员状态的方法，包括：获取驾驶员的脸部图像；从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；以及基于所判定的当前状态发出警报。其中，特征包脸部图像上的多个特征点的位置信息。
根据本发明实施例的另一方面，还提供了一种监测驾驶员状态的方法，包括：获取从驾驶员上方拍摄的俯视图图像；基于俯视图图像确定驾驶员的手部以及手机位置；以及基于手部以及手机的位置，判定驾驶员的当前状态。
根据本发明实施例的另一个方面，提供了一种存储介质。存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上面任意一项所述的方法。
根据本发明实施例的另一个方面，提供了一种处理器。处理器用于运行程序，其中，程序运行时执行上面任意一项所述的方法。
根据本发明实施例的另一个方面，还提供一种监测驾驶员状态的设备。设备包括：面部图像采集器，用于获取驾驶员的脸部图像；以及处理器，处理器用于运行程序。其中，程序运行时对于从面部图像采集器输出的数据执行如下处理步骤：从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；以及基于所判定的当前状态发出警报，其中特征包括脸部图像上的多个特征点的位置信息。
根据本发明实施例的另一个方面，还提供一种监测驾驶员状态的设备。设备包括：俯视图像采集器，设置于驾驶员的上方，用于从驾驶员上方拍摄俯视图图像；以及处理器。处理器用于运行程序，其中，程序运行时对于从俯视图像采集器输出的数据执行如下处理步骤：基于俯视图图像确定驾驶员的手部以及手机位置；以及基于手部以及手机的位置，判定驾驶员的当前状态。
根据本发明实施例的另一个方面，还提供一种监测驾驶员状态的系统。系统包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取驾驶员的脸部图像；从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；以及基于所判定的当前状态发出警报。其中，特征包括脸部图像上的多个特征点的位置信息。
根据本发明实施例的另一个方面，还提供一种监测驾驶员状态的系统。系统包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取从驾驶员上方拍摄的俯视图图像；基于俯视图图像确定驾驶员的手部以及手机位置；以及基于手部以及手机的位置，判定驾驶员的当前状态。
在本发明实施例中，通过两个图像采集装置和处理器存储器的使用，实现了多内容同时监测的技术效果，进而解决了传统监测设备监测内容较为单一，且易受车辆类型、驾驶环境等因素影响，因此无法大面积推广的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种车体截面的示意图；
图2是根据本发明实施例的一种车载终端的示意图；
图3是根据本发明实施例所述的监测驾驶员状态的方法的流程图；
图4是面部特征点位置信息图；
图5是根据本实施例的另一个方面的监测驾驶员状态的方法的流程图；
图6是依据本发明实施例处理面部图像信息的监测驾驶员状态的设备的结构图：
图7是依据本发明实施例处理俯视图像信息的监测驾驶员状态的设备的结构图；
图8是依据本发明实施例处理面部图像信息的监测驾驶员状态的系统的结构图；
图9是依据本发明实施例处理俯视图像信息的监测驾驶员状态的系统的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1
根据本发明实施例，提供了一种监测驾驶员行驶状态的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在车载终端、移动终端、计算机终端或者类似的运算装置中执行。
图1示出了根据本发明实施例的一种车体截面的示意图。参考图1所示，所述车体内设置有用于采集驾驶员面部图像的面部图像采集器11、用于采集俯视图像的俯视图像采集器12以及与面部图像采集器11和俯视图像采集器12通信连接的车载终端10。
图2示出了一种用于实现本发明方法的车载终端10的硬件结构框图。如图2所示，车载终端10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，车载终端10还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到车载终端10中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与车载终端10的用户界面进行交互。
在上述运行环境下，本申请提供了如图3所示的方法。图3是根据本发明实施例一的监测驾驶员状态的方法流程图。所述方法包括：
S302：获取驾驶员的脸部图像；
S304：从脸部图像提取特征；
S306：基于所提取的特征，判定驾驶员的当前状态；以及
S308：基于所判定的当前状态发出警报。
其中，判定驾驶员当前状态的操作包括：根据所述多个特征点位置信息，计算脸部各区域参数；将所计算参数与预设参数进行比对，判定当前驾驶员驾驶状态。
参考图1和图2所示，本实施例的方法通过车载终端10从面部图像采集器11获取驾驶员脸部图像信息。优选地，面部图像采集器11中配置有红外补光光源，用于在不同道路环境下的图像获取。面部图像采集器11从驾驶员前方采集驾驶员的面部信息。获取的图像信息根据驾驶环境可分为三通道彩色图像，例如RGB，而在低照度情况下，则可利用红外补光光源为面部图像采集器11提供红外补光，得到红外二值图。
然后车载终端10从获取的驾驶员脸部图像信息中提取特征。所述特征包括脸部图像信息中的多个特征点的位置信息。图4示出了面部特征点位置信息图。车载终端10从面部图像信息中提取图4中所示的多个特征点F1～F37。
然后车载终端10基于提取的特征点的位置以及图像信息判定驾驶员的当前状态，并且基于所述判定的当前状态发出警报。
综上所述，本发明提取脸部图像上多个特征点位置信息，并且基于所述多个特征点位置以及图像信息判定驾驶员的状态。由于使用了多个特征点的位置信息，因此所提取的特征内容丰富。如图4所示，可以包括脸部上的多个位置(例如，眼部、鼻部、口部等多个特征点的位置信息)。传统驾驶员状态监测装置存在监测内容较为单一(如眼动仪只能用于记录人在处理视觉信息时的眼动轨迹特征，心率手环只能监测心跳)的问题，而本发明方案综合使用脸部多个位置点信息，即使在个别位置点信息出现误差的情况下，也可以通过基于多个位置点信息的综合判定，将这种误差的影响限制在最小，从而不影响最终的判定结果，改变了传统监测方法因监测对象单一易受车辆类型、驾驶环境等因素影响的技术问题。
其中，可以通过以下方式得到上述特征点的位置信息：
根据人脸的几何分布，所需人脸特征点的初始位置均为其中i为特征点编号。
当驾驶员在驾驶车辆时，车载终端10首先从面部图像采集器11中获取的脸部图像里定位驾驶员的脸部区域。再将人脸特征点初始位置带入脸部区域中，并计算每个特征点Fi坐标周围8个像素点之间的梯度差，如公式1：
Gi x＝(P(m-1,n+1)+1.5×P(m,n+1)+P(m+1,n+1))
-(P(m-1,n-1)+1.5×P(m,n-1)+P(m+1,n-1))
Gi y＝(P(m+1,n-1)+1.5×P(m+1,n)+P(m+1,n+1))
-(P(m-1,n-1)+1.5×P(m-1,n)+P(m-1,n+1))
Gi＝|Gi x|+|Gi y| (1)
其中，P(m,n)表示特征点Fi其脸部区域坐标点的像素值，Gi x表示Fi横向梯度，Gi y表示Fi纵向梯度，Gi表示特征点Fi当前梯度差。
在得到梯度差后，将梯度差与回归阈值Ri作比较，根据比较结果更新特征点在脸部区域的坐标点位置，实现精确的特征点定位。经过j次循环，最终可得到N个面部特征点的精准位置信息如公式2：
其中，αi为回归系数。
得到面部区域精确特征点位置信息后即可得到左眼区域(F17～F24)、右眼区域(F9～F16)、嘴部区域(F25～F32)、左耳区域(F5～F8)、右耳区域(F1～F4)、下巴区域(F33～F37)等脸部关键区域以及区域特征点位置信息。
可选地，判定所述驾驶员的当前状态的操作包括：根据所述多个特征点的位置信息以及区域图像信息，计算脸部各区域的参数；以及将所计算的参数与预设的参数进行比对，判定当前驾驶员驾驶状态。
正如前面所述，参考图4所示，所述多个特征点F1～F37位于面图图像的多个区域，因此可以通过多个特征点的位置信息以及区域图像信息，计算脸部各区域的参数。进一地，本发明方案综合使用脸部多个位置点信息参数与预设参数比对，即使在个别位置点信息出现误差的情况下，也可以通过多个位置点信息的综合判定，将这种误差的影响限制在最小，从而不影响最终的判定结果。
例如，驾驶状态计算参数特征包括但不限于以下列举的例子，眼部区域特征：闭眼时长、眨眼频率，耳部区域特征：耳部中手部存在时长，嘴部区域特征：打呵欠频率、嘴部被遮挡频率，下巴区域特征：特征点位置抖动频率，这些脸部多个位置点信息状态参数可以综合使用，能够用于判断驾驶状态，即使个别位置点信息出现误差，也可以通过综合判断减小误差，而不影响最终结果。
可选地，计算的参数包括以下各参数中的至少一个参数：闭眼时长、眨眼频率、手部在耳部区域中存在的时长、嘴部被遮挡的频率、打呵欠的频率、下巴运动的频率。这些位置参数比较有代表性，能够较为准确的识别。从而，可以利用上述参数综合判定驾驶员的驾驶状态。当然，可运用的参数包括但不限于上述参数。
可选地，通过以下操作计算所述闭眼时长：计算预定时间内眼睛闭合的时间长度，其中所述眼睛的闭合是根据眼部区域图像来确定的。具体地，眼部区域由左眼区域与右眼区域组合而成，主要参数包括闭眼时长与眨眼频率，这两个参数依靠眼睛闭合情况求取。根据得到的眼部图像信息，以左眼为例，对左眼区域眼睛闭合程度进行判断，如公式3：
其中，为左眼闭合程度，为输入的左眼区域图像信息，为左眼闭合判断函数。对应的，右眼为与其中，左眼区域图像信息是通过特征点F17～F24确定的图像区域的信息，右眼区域图像信息是通过特征点F9～F16确定的图像区域的信息，均为矩形框图像。
具体的，左眼闭合判断函数计算方法如公式3-1所示：
其中，回归参数与偏置参数通过训练数据求得，共计i层，用于与区域图像信息进行计算，f代表激活函数：f(x)＝max(0,x)。
在计算时，将第l层的回归参数与中的原始像素点数值相乘得到然后加上对应的偏置参数以此类推，最终得到的值，往往的，i＝3。最后利用公知的softmax函数，将闭合判断结果划分到0-1区间，以此得到左眼闭合程度
与类似，只是输入的图像变为回归参数为偏置参数为
在得到双眼的闭合程度后，将其放入分类器σe中，得到眼部区域总体闭合程度CE，如公式4：
具体的，分类器σe计算方法如公式4-1所示：
其中，通过人工标注的训练数据，可得到分类参数与具体值。将其与对应的闭合程度进行乘法运算，然后离散归一化操作，最终可得到眼部区域的总体闭合程度CE，其取值范围(0-1)。
若CE大于闭眼阈值TE，则认为在此帧图像中驾驶员的眼睛是闭合的，反之则认为非闭合。进而，在连续时段t内，可得到眼部区域闭眼时长如公式5：
t为图像计算周期，建议取值为1min。若当前图像中，CE>TE，则αe(Ce)＝1，反之等于0。
通过监测到的设定时间内眼睛闭合时间长度与正常状态的眼睛闭合时间长度做对比，监测到的时间内眼睛闭合时间长度长于正常状态，则认为驾驶员处于疲劳驾驶状态，监测到的时间内眼睛闭合时间长度小于等于正常状态，则认为驾驶员状态正常。预定时间内眼睛闭合时间是比较容易得到的参数，易于应用于驾驶员状态监测。将预定时间取为1min，在结果准确与监测效率中较为平衡。
可选地，通过以下操作计算所述眨眼频率：计算预定时间内眼睛闭合的次数，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
具体地，参数眨眼频率则是计算在t时间段内闭眼时段的次数。所述的闭眼时段是指一次从闭眼到睁眼的过程，如公式6：
通过监测到的设定时间内眼睛闭合次数与正常状态的眼睛闭合时间长度做对比，监测到的时间内眼睛闭合次数近似于正常状态，则认为驾驶员驾驶状态正常，检测到的时间内眼睛闭合次数高于或低于正常状态，则认为驾驶员状态异常。预定时间内眼睛闭合次数是比较容易得到的参数，易于应用于驾驶员状态监测。
可选地，还包括通过以下操作计算手部在耳部区域中存在的时长：计算预定时间内手部在耳部区域中存在的时间长度，其中耳部区域中是否存在手部是根据耳部区域的图像确定的。
具体地，耳部区域也由左耳区域与右耳区域组成，主要用于判断驾驶员是否在接打电话。由于驾驶员接打电话的姿势各异，所以直接检测手机容易出现漏检与误检等问题，因此通过判断耳部区域是否出现驾驶员的手部更加合理、鲁棒。以左耳为例，首先对左耳区域是否存在人手进行判断，如公式7：
其中，为左耳存在手的概率，为输入的左耳区域图像信息，为左耳闭合判断函数。对应的，右耳为与其中左耳区域图像信息是通过特征点F5～F8确定的区域的图像信息，右耳区域图像信息是通过特征点F1～F4确定的区域的图像信息。
与计算方式与类似，如公式7-1：
其中，其中，回归参数与偏置参数通过训练数据求得，共计m层，用于与区域图像信息进行计算，f代表激活函数：f(x)＝max(0,x)。
m往往取4，以此可得到(范围0-1)。计算方式与之类似，不再累述。
若大于耳部区域有手阈值Tear，即则 此时认为左耳图像中存在手部，反之则不存在，右耳同理。最终，在一段连续t内图像中，可得到左耳区域手部存在时长如公式8：
同理可得到右耳区域手部存在时长，
若预定时间内手部在耳部区域存在时长大于阈值，则认为驾驶员在打电话。预定时间手部出现在耳部区域的时长是比较容易得到的参数，易于应用于驾驶员状态监测。
可选地，包括通过以下操作计算嘴部被遮挡的频率：计算预定时间内嘴部被遮挡的次数，其中在脸部其他区域被检测但是不能获取嘴部区域的特征点的情况下，确定嘴部被遮挡。
具体地，在实际的特征点精确计算过程中，若某部位被遮挡，则此部位的特征点位置信息将无法获取。因此，当脸部其他区域均被检测到，但嘴部区域特征点无法获取时，则可认为嘴部区域可能被遮挡，此时Cm＝1，否则Cm＝0。若连续n帧图像中，Cm均为1，则可认为嘴部被遮挡，如公式9：
建议的n为10。
若预定时间内嘴部持续出现被遮挡，则认为驾驶员可能在吃东西，还需与下巴运动频率结合。预定时间嘴部被遮挡时长是比较容易得到的参数，易于应用于驾驶员状态监测。
可选地，包括通过以下操作计算下巴运动的频率：计算预定时间内下巴区域特征点坐标变化超过预定阈值的次数。
具体地，对于下巴区域参数，则利用图4特征点F33～F37来获取。当驾驶员处于吃东西的状态时，其眼部区域特征点位置往往不会发生剧烈变化，但下巴区域特征点的位置坐标会出现剧烈的抖动。因此，如公式11，可利用前后两帧之间的关系，计算单个特征点位置抖动情况：
其中，i表示特征点编号，n表示当前时刻，n-1表示前一时刻。若特征点F33～F37的抖动值均大于相应阈值，且F9～F11与F17～F19的抖动值小于阈值，则可认为反之为0。若连续出现n帧图像中均为1，则可认为下巴区域在抖动，如公式12：
下巴区域特征点坐标变化是比较容易得到的参数，易于应用于驾驶员状态监测。若嘴部持续出现被遮挡后，下巴区域开始抖动，即可认为驾驶员在吃东西。
可选地，包括通过以下操作计算打哈欠的频率：计算预定时间内嘴部特征点位置变化超过预定阈值的次数。
具体地，打呵欠频次的计算则可通过嘴部区域特征点的位置信息来实现。如图4所示，特征点F26～F28可表示驾驶员上嘴唇，F29～F31为驾驶员下嘴唇。F1与F5表示人脸顶部坐标，F35表示底部坐标。当驾驶员打呵欠时，上下嘴唇纵坐标变化幅度BM通过公式10进行求解：
其中，PF31.y表示特征点31的y坐标值，以此类推。
若BM超过阈值TM，则认为驾驶员嘴部区域张开幅度较大，正在打呵欠。进而，计算打呵欠的频次CMH。所述的打呵欠，是指从BM大于TM到BM小于TM的过程，所述频次就是在单位t内，打呵欠的次数。嘴部区域张开幅度是比较容易得到的参数，易于应用于驾驶员状态监测。可选地，还包括获取从驾驶员上方拍摄的俯视图图像；从俯视图图像提取特征，以及判定驾驶员的当前状态的操作包括从俯视图图像提取的特征判定驾驶员的当前状态。
参考图1和图2所示，本实施例的方法通过车载终端10从俯视图像采集器12获取俯视状态下驾驶员驾驶图像信息。优选地，俯视图像采集器12中配置有红外补光光源，用于在不同道路环境下的图像获取。从而车载终端10基于从面部图像采集器11采集的脸部图像提取的特征和从俯视图像采集器12采集的俯视图图像提取的特征判定驾驶员的当前状态。从而本发明可以利用脸部图像信息以及俯视图图像信息来综合判定驾驶员的状态，使得判定结果更加稳定和准确。
可选地，从俯视图图像提取的特征包括驾驶员的手部以及手机的位置。
在驾驶席俯视图像中，需要从中检测是否有驾驶员手部以及是否存在手机，以及两者对应的位置坐标信息，进而得到驾驶员手部与手机的相对位置CHP。
具体的，可将驾驶席俯视图像Ff输入到目标检测器Od中，得到手机与手部的图像位置CH与CP，如公式13：
(CH,CP)＝Od(Ff) (13)
目标检测器Od的计算方法与左眼闭合判断函数类似，具体的，在使用目标检测器Od时，首先需要对图像Ff的分辨率进行调整，令图像宽高Fw、FH均为224个像素，然后依靠目标检测器Od中的N层卷积特征提取器从调整后的Ff中提取特征，以得到各层的多个卷积特征图，如公式13-1所示：
其中，代表第l层的第j个特征图数值，代表第l层的第j个卷积参数，b代表对应的偏置，f代表激活函数。实际的，N可以取值为14。然后，在N＝8，10，12，14时，利用大小为nf的滑动窗口，从特征图像中截取出部分区域作为潜在需求目标OP，根据经验，在N＝8层时，nf＝92，N＝10时，nf＝64，N＝12时，nf＝48。N＝14时，nf＝24。同时，根据放大缩小的比例关系，需求目标0P可通过其在特征图中的位置与Ff图像建立一对一位置映射。
最后，利用softmax函数，可对需求目标OP的类别进行划分，如公式13-2：
其中，为目标分类参数。为需求目标OP的最大可能类别与对应类别置信概率，其中，可选类别有：手部、手机、无关背景。最后，利用公知的非极大值抑制算法，从所有的需求目标OP中获知图像Ff是否含有手部与手机，以及其在特征图中的位置信息，再根据放大缩小的映射关系，可得到手部与手机在图像Ff的精准位置信息CH、CP。
最终，可得到相对CHP，如公式13-3：
驾驶状态参数均有与之对应的初始阈值。由于驾驶初期时间段t0内驾驶员处于正常驾驶状态，所以初始阈值的求取方法与上述方法一致，此时计算得到的参数即为阈值。
从而，通过本发明的技术方案，可以将上述中的眼部区域闭眼时长眨眼频率左耳区域存在手部时长右耳区域存在手部时长嘴部被遮挡CM、打呵欠频次CMH，下巴区域抖动CX，手部与手机相对位置CHP等驾驶状态参数输入车载终端10中，对参数进行整合，并对驾驶员状态进行判定。
疲劳驾驶判断准则：CMH中有2个及其以上的参数超过相应阈值，则认为驾驶员处于疲劳驾驶状态；
接打电话：与中任一值超过其阈值，则认为驾驶员在接打电话；
玩手机：CHP低于阈值，则认为驾驶员手部与手机过分接近，驾驶员在玩手机；
吃东西：出现CM＝1后，在接下来t时段内，CX＝1则认为驾驶员在吃东西。
当然，所述的驾驶员状态判定中并不仅只有以上所举的例子，其他能够对驾驶员状态进行判定的情况也都属于本发明专利的保护范围当中。
在得到驾驶员状态后，将其输入到驾驶检测预警模块中。
根据不同的驾驶状态，预警设备可输出不同的音频提醒或文字提示。在疲劳驾驶状态下给予对应的声音等提示信息。如“请勿疲劳驾驶”等相似的语音信息。
按照本发明实施例所提供的方法与装置，可以方便的对驾驶员状态进行监测，且方法清晰，结构简单，运行可靠。
此外，参考图5所示，根据本实施例的另一个方面，提供了一种监测驾驶员状态的方法。图5示出了根据本实施例的另一个方面的监测驾驶员状态的方法的流程图，如图5所示，该方法包括：
S502：获取从驾驶员上方拍摄的俯视图图像；
S504：基于俯视图图像确定驾驶员的手部以及手机位置；以及
S506：基于手部以及手机的位置，判定所述驾驶员的当前状态。
参考图1所示，本实施例的方法运用俯视图像采集器12获取俯视驾驶员图像，从中检测是否有驾驶员手部以及是否存在手机，以及两者对应的位置坐标信息。进而根据本发明实施例的另一个方面，提供了一种通过俯视图图像获取驾驶员的驾驶状态的方式。现有技术中，都是通过脸部图像采集机器11来获取脸部图像，从而提取特征获得驾驶员的驾驶状态。但是发明人创造性地利用设置于驾驶员上方的图像采集器12获得俯视图图像，从而利用俯视图图像得到驾驶员手部与手机的相对位置，并进而判定驾驶员的驾驶状态，从而提供了一种新的判定驾驶状态的方式。从而解决了现有技术中存在的获取图像的手段单一，不能充分利用多个角度的特征判定驾驶员的驾驶状态的技术问题。
具体的，可将驾驶席俯视图像Ff输入到目标检测器Od中，得到手机与手部的图像位置CH与CP，如公式13：
(CH,CP)＝Od(Ff) (13)
目标检测器Od的计算方法与左眼闭合判断函数类似，具体的，在使用目标检测器Od时，首先需要对图像Ff的分辨率进行调整，令图像宽高Fw、FH均为224个像素，然后依靠目标检测器Od中的N层卷积特征提取器从调整后的Ff中提取特征，以得到各层的多个卷积特征图，如公式13-1所示：
其中，代表第l层的第j个特征图数值，代表第l层的第j个卷积参数，b代表对应的偏置，f代表激活函数。实际的，N取值为14。然后，在N＝8，10，12，14时，利用大小为nf的滑动窗口，从特征图像中截取出部分区域作为潜在需求目标OP，根据经验，在N＝8层时，nf＝92，N＝10时，nf＝64，N＝12时，nf＝48。N＝14时，nf＝24。同时，根据放大缩小的比例关系，需求目标OP可通过其在特征图中的位置与Ff图像建立一对一位置映射。
最后，利用softmax函数，可对需求目标OP的类别进行划分，如公式13-2：
其中，为目标分类参数。为需求目标OP的最大可能类别与对应类别置信概率，其中，可选类别有：手部、手机、无关背景。最后，利用公知的非极大值抑制算法，从所有的需求目标OP中获知图像Ff是否含有手部与手机，以及其在特征图中的位置信息，再根据放大缩小的映射关系，可得到手部与手机在图像Ff的精准位置信息CH、CP。
最终，可得到相对CHP，如公式13-3：
若存在接打手机现象，在得到驾驶员状态后，将其输入到驾驶检测预警模块中。根据不同的驾驶状态，预警设备可输出不同的音频提醒或文字提示。在接打手机状态下给予对应的声音等提示信息。如“请勿在驾驶时使用手机”等相似的语音信息。
按照本发明实施例所提供的方法与装置，可以方便的对驾驶员状态进行监测，且方法清晰，结构简单，运行可靠。
此外，参考图2所示，本实施例还提供了一种存储介质(例如，图2中所示的存储器104)。该存储介质包括存储的程序，其中在程序运行时控制处理器102执行上述任意一项所述的方法。
可选地，程序所执行的方法包括：获取驾驶员的脸部图像；从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；基于所判定的当前状态发出警报。其中，判定驾驶员当前状态的操作包括:根据所述多个特征点位置信息，计算脸部各区域参数；将所计算参数与预设参数进行比对，判定当前驾驶员驾驶状态。
可选地，判定所述驾驶员的当前状态的操作包括：根据所述多个特征点的位置信息，计算脸部各区域的参数；将所计算的参数与预设的参数进行比对，判定当前驾驶员驾驶状态。
可选地，计算的参数包括以下各参数中的至少一个参数：闭眼时长、眨眼频率、手部在耳部区域中存在的时长、嘴部被遮挡的频率、打呵欠的频率、下巴运动的频率。
可选地，程序所执行的方法还包括通过以下操作计算所述闭眼时长：计算预定时间内眼睛闭合的时间长度，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程序所执行的方法还包括通过以下操作计算所述眨眼频率：计算预定时间内眼睛闭合的次数，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程序所执行的方法还包括通过以下操作所述手部在耳部区域中存在的时长：计算预定时间内所述手部在所述耳部区域中存在的时间长度，其中所述耳部区域中是否存在手部是根据耳部区域的图像确定的。
可选地，程序所执行的方法还包括通过以下操作计算嘴部被遮挡的频率：计算预定时间内嘴部被遮挡的次数，其中在脸部其他区域被检测但是不能获取嘴部区域的特征点的情况下，确定嘴部被遮挡。
可选地，程序所执行的方法还包括通过以下操作计算打哈欠的频率：计算预定时间内嘴部特征点位置变化超过预定阈值的次数。
可选地，程序所执行的方法还包括通过以下操作计算下巴运动的频率：计算预定时间内下巴区域特征点坐标变化超过预定阈值的次数。
可选地，程序所执行的方法还包括：获取从驾驶员上方拍摄的俯视图图像；从所述俯视图图像提取特征，以及判定所述驾驶员的当前状态的操作包括基于从所述脸部图像提取的特征和从所述俯视图图像提取的特征判定所述驾驶员的当前状态。
可选地，从所述俯视图图像提取的特征包括驾驶员的手部以及手机的位置。
此外，可选地，程序所执行的方法包括：获取从驾驶员上方拍摄的俯视图图像；基于所述俯视图图像确定驾驶员的手部以及手机位置；以及基于所述手部以及所述手机的位置，判定所述驾驶员的当前状态。
此外，参考图2所示，本实施例还提供了一种处理器(例如，图2中所示处理器102)。所述处理器用于运行程序，其中程序运行时执行上述任意一项所述的方法。
可选地，程序所执行的方法包括：获取驾驶员的脸部图像；从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；基于所判定的当前状态发出警报。其中，判定驾驶员当前状态的操作包括:根据所述多个特征点位置信息，计算脸部各区域参数；将所计算参数与预设参数进行比对，判定当前驾驶员驾驶状态。
可选地，判定所述驾驶员的当前状态的操作包括：根据所述多个特征点的位置信息，计算脸部各区域的参数；将所计算的参数与预设的参数进行比对，判定当前驾驶员驾驶状态。
可选地，计算的参数包括以下各参数中的至少一个参数：闭眼时长、眨眼频率、手部在耳部区域中存在的时长、嘴部被遮挡的频率、打呵欠的频率、下巴运动的频率。
可选地，程序所执行的方法还包括通过以下操作计算所述闭眼时长：计算预定时间内眼睛闭合的时间长度，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程序所执行的方法还包括通过以下操作计算所述眨眼频率：计算预定时间内眼睛闭合的次数，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程序所执行的方法还包括通过以下操作所述手部在耳部区域中存在的时长：计算预定时间内所述手部在所述耳部区域中存在的时间长度，其中所述耳部区域中是否存在手部是根据耳部区域的图像确定的。
可选地，程序所执行的方法还包括通过以下操作计算嘴部被遮挡的频率：计算预定时间内嘴部被遮挡的次数，其中在脸部其他区域被检测但是不能获取嘴部区域的特征点的情况下，确定嘴部被遮挡。
可选地，程序所执行的方法还包括通过以下操作计算打哈欠的频率：计算预定时间内嘴部特征点位置变化超过预定阈值的次数。
可选地，程序所执行的方法还包括通过以下操作计算下巴运动的频率：计算预定时间内下巴区域特征点坐标变化超过预定阈值的次数。
可选地，程序所执行的方法还包括：获取从驾驶员上方拍摄的俯视图图像；从所述俯视图图像提取特征，以及判定所述驾驶员的当前状态的操作包括基于从所述脸部图像提取的特征和从所述俯视图图像提取的特征判定所述驾驶员的当前状态。
可选地，从所述俯视图图像提取的特征包括驾驶员的手部以及手机的位置。
此外，可选地，程序所执行的方法包括：获取从驾驶员上方拍摄的俯视图图像；基于所述俯视图图像确定驾驶员的手部以及手机位置；以及基于所述手部以及所述手机的位置，判定所述驾驶员的当前状态。
此外，根据本实施例的另一个方面，提供一种监测驾驶员状态的设备，参考图6所示，该设备包括：面部图像采集器11，用于获取驾驶员的脸部图像；以及处理器102，处理器102运行程序。其中，程序运行时对于从面部图像采集器11输出的数据执行如下处理步骤：从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；以及基于所判定的当前状态发出警报，其中提取的特征包括脸部图像上的多个特征点的位置信息。
可选地，程序所执行的方法包括：获取驾驶员的脸部图像；从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；基于所判定的当前状态发出警报。其中，判定驾驶员当前状态的操作包括:根据所述多个特征点位置信息，计算脸部各区域参数；将所计算参数与预设参数进行比对，判定当前驾驶员驾驶状态。
可选地，判定所述驾驶员的当前状态的操作包括：根据所述多个特征点的位置信息，计算脸部各区域的参数；将所计算的参数与预设的参数进行比对，判定当前驾驶员驾驶状态。
可选地，计算的参数包括以下各参数中的至少一个参数：闭眼时长、眨眼频率、手部在耳部区域中存在的时长、嘴部被遮挡的频率、打呵欠的频率、下巴运动的频率。
可选地，程序所执行的方法还包括通过以下操作计算所述闭眼时长：计算预定时间内眼睛闭合的时间长度，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程序所执行的方法还包括通过以下操作计算所述眨眼频率：计算预定时间内眼睛闭合的次数，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程序所执行的方法还包括通过以下操作所述手部在耳部区域中存在的时长：计算预定时间内所述手部在所述耳部区域中存在的时间长度，其中所述耳部区域中是否存在手部是根据耳部区域的图像确定的。
可选地，程序所执行的方法还包括通过以下操作计算嘴部被遮挡的频率：计算预定时间内嘴部被遮挡的次数，其中在脸部其他区域被检测但是不能获取嘴部区域的特征点的情况下，确定嘴部被遮挡。
可选地，程序所执行的方法还包括通过以下操作计算打哈欠的频率：计算预定时间内嘴部特征点位置变化超过预定阈值的次数。
可选地，程序所执行的方法还包括通过以下操作计算下巴运动的频率：计算预定时间内下巴区域特征点坐标变化超过预定阈值的次数。
可选地，程序所执行的方法还包括：获取从驾驶员上方拍摄的俯视图图像；从所述俯视图图像提取特征，以及判定所述驾驶员的当前状态的操作包括基于从所述脸部图像提取的特征和从所述俯视图图像提取的特征判定所述驾驶员的当前状态。
可选地，从所述俯视图图像提取的特征包括驾驶员的手部以及手机的位置。
此外，可选地，程序所执行的方法包括：获取从驾驶员上方拍摄的俯视图图像；基于所述俯视图图像确定驾驶员的手部以及手机位置；以及基于所述手部以及所述手机的位置，判定所述驾驶员的当前状态。
根据本发明实施例的另一个方面，提供了一种监测驾驶员状态的设备，如图7所示，包括：俯视图像采集器12，用于获取俯视状态下的驾驶员的脸部图像；以及处理器102。处理器102运行程序，其中，程序运行时对于从俯视图像采集器12输出的数据执行如下处理步骤：基于所述俯视图图像确定驾驶员的手部以及手机位置；以及基于所述手部以及所述手机的位置，判定所述驾驶员的当前状态。
根据本发明实施例的另一个方面，提供了一种监测驾驶员状态的系统，如图8所示，包括：
处理器102；以及存储器104，与处理器102通信连接，用于为处理器102提供处理以下处理步骤的指令：获取驾驶员的脸部图像；从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；以及基于所判定的当前状态发出警报，其中特征包括所述脸部图像上的多个特征点的位置信息。
可选地，程序所执行的方法包括：获取驾驶员的脸部图像；从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；基于所判定的当前状态发出警报。其中，判定驾驶员当前状态的操作包括:根据所述多个特征点位置信息，计算脸部各区域参数；将所计算参数与预设参数进行比对，判定当前驾驶员驾驶状态。
可选地，判定所述驾驶员的当前状态的操作包括：根据所述多个特征点的位置信息，计算脸部各区域的参数；将所计算的参数与预设的参数进行比对，判定当前驾驶员驾驶状态。
可选地，计算的参数包括以下各参数中的至少一个参数：闭眼时长、眨眼频率、手部在耳部区域中存在的时长、嘴部被遮挡的频率、打呵欠的频率、下巴运动的频率。
可选地，程序所执行的方法还包括通过以下操作计算所述闭眼时长：计算预定时间内眼睛闭合的时间长度，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程序所执行的方法还包括通过以下操作计算所述眨眼频率：计算预定时间内眼睛闭合的次数，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程序所执行的方法还包括通过以下操作所述手部在耳部区域中存在的时长：计算预定时间内所述手部在所述耳部区域中存在的时间长度，其中所述耳部区域中是否存在手部是根据耳部区域的图像确定的。
可选地，程序所执行的方法还包括通过以下操作计算嘴部被遮挡的频率：计算预定时间内嘴部被遮挡的次数，其中在脸部其他区域被检测但是不能获取嘴部区域的特征点的情况下，确定嘴部被遮挡。
可选地，程序所执行的方法还包括通过以下操作计算打哈欠的频率：计算预定时间内嘴部特征点位置变化超过预定阈值的次数。
可选地，程序所执行的方法还包括通过以下操作计算下巴运动的频率：计算预定时间内下巴区域特征点坐标变化超过预定阈值的次数。
可选地，程序所执行的方法还包括：获取从驾驶员上方拍摄的俯视图图像；从所述俯视图图像提取特征，以及判定所述驾驶员的当前状态的操作包括基于从所述脸部图像提取的特征和从所述俯视图图像提取的特征判定所述驾驶员的当前状态。
可选地，从所述俯视图图像提取的特征包括驾驶员的手部以及手机的位置。
此外，可选地，程序所执行的方法包括：获取从驾驶员上方拍摄的俯视图图像；基于所述俯视图图像确定驾驶员的手部以及手机位置；以及基于所述手部以及所述手机的位置，判定所述驾驶员的当前状态。
此外，根据本实施例的另一个方面，提供了一种监测驾驶员状态的系统，如图9所示，包括：处理器102；以及存储器104，与处理器102通信连接，用于为处理器102提供处理以下处理步骤的指令：获取从驾驶员上方拍摄的俯视图图像；基于俯视图图像确定驾驶员的手部以及手机位置；以及基于手部以及手机的位置，判定驾驶员的当前状态。
可选地，存储器还提供处理以下处理步骤的指令：获取驾驶员的脸部图像；从脸部图像提取特征；基于所提取的特征，判定驾驶员的当前状态；基于所判定的当前状态发出警报。其中，判定驾驶员当前状态的操作包括:根据所述多个特征点位置信息，计算脸部各区域参数；将所计算参数与预设参数进行比对，判定当前驾驶员驾驶状态。
可选地，判定所述驾驶员的当前状态的操作包括：根据所述多个特征点的位置信息，计算脸部各区域的参数；将所计算的参数与预设的参数进行比对，判定当前驾驶员驾驶状态。
可选地，计算的参数包括以下各参数中的至少一个参数：闭眼时长、眨眼频率、手部在耳部区域中存在的时长、嘴部被遮挡的频率、打呵欠的频率、下巴运动的频率。
可选地，存储器还提供处理以下处理步骤的指令：通过以下操作计算所述闭眼时长：计算预定时间内眼睛闭合的时间长度，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，程存储器还提供处理以下处理步骤的指令：通过以下操作计算所述眨眼频率：计算预定时间内眼睛闭合的次数，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
可选地，存储器还提供处理以下处理步骤的指令：通过以下操作所述手部在耳部区域中存在的时长：计算预定时间内所述手部在所述耳部区域中存在的时间长度，其中所述耳部区域中是否存在手部是根据耳部区域的图像确定的。
可选地，存储器还提供处理以下处理步骤的指令：通过以下操作计算嘴部被遮挡的频率：计算预定时间内嘴部被遮挡的次数，其中在脸部其他区域被检测但是不能获取嘴部区域的特征点的情况下，确定嘴部被遮挡。
可选地，存储器还提供处理以下处理步骤的指令：通过以下操作计算打哈欠的频率：计算预定时间内嘴部特征点位置变化超过预定阈值的次数。
可选地，存储器还提供处理以下处理步骤的指令：通过以下操作计算下巴运动的频率：计算预定时间内下巴区域特征点坐标变化超过预定阈值的次数。
可选地，存储器还提供处理以下处理步骤的指令：获取从驾驶员上方拍摄的俯视图图像；从所述俯视图图像提取特征，以及判定所述驾驶员的当前状态的操作包括基于从所述脸部图像提取的特征和从所述俯视图图像提取的特征判定所述驾驶员的当前状态。
可选地，从所述俯视图图像提取的特征包括驾驶员的手部以及手机的位置。
综上所述，在本发明实施例中，通过两个图像采集装置和处理器存储器的使用，实现了多内容同时监测的技术效果，进而解决了传统监测设备监测内容较为单一，且易受车辆类型、驾驶环境等因素影响，因此无法大面积推广的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种监测驾驶员状态的方法，其特征在，包括
获取驾驶员的脸部图像；
从所述脸部图像提取特征；
基于所提取的特征，判定所述驾驶员的当前状态；以及
基于所判定的当前状态发出警报，其中
所述特征包括所述脸部图像上的多个特征点的位置信息。
2.根据权利要求1所述的方法，其特征在于，判定所述驾驶员的当前状态的操作包括：
根据所述多个特征点的位置信息，计算脸部各区域的参数；
将所计算的参数与预设的参数进行比对，判定当前驾驶员驾驶状态。
3.根据权利要求2所述的方法，其特征在于，所述计算的参数包括以下各参数中的至少一个参数：闭眼时长、眨眼频率、手部在耳部区域中存在的时长、嘴部被遮挡的频率、打呵欠的频率、下巴运动的频率。
4.根据权利要求3所述的方法，其特征在于，还包括通过以下操作计算所述闭眼时长：
计算预定时间内眼睛闭合的时间长度，其中所述眼睛的闭合是根据眼部区域中的图像来确定的。
5.根据权利要求3或4所述的方法，其特征在于，还包括
获取从驾驶员上方拍摄的俯视图图像；
从所述俯视图图像提取特征，以及
判定所述驾驶员的当前状态的操作还包括从所述俯视图图像提取的特征判定所述驾驶员的当前状态。
6.一种监测驾驶员状态的方法，其特征在，包括
获取从驾驶员上方拍摄的俯视图图像；
基于所述俯视图图像确定驾驶员的手部以及手机位置；以及
基于所述手部以及所述手机的位置，判定所述驾驶员的当前状态。
7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的方法。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的方法。
9.一种监测驾驶员状态的设备，其特征在于，包括：
面部图像采集器(11)，用于获取驾驶员的脸部图像；以及
处理器(102)，所述处理器(102)用于运行程序，其中，所述程序运行时对于从所述面部图像采集器(11)输出的数据执行如下处理步骤：
从所述脸部图像提取特征；
基于所提取的特征，判定所述驾驶员的当前状态；以及
基于所判定的当前状态发出警报，其中
所述特征包括所述脸部图像上的多个特征点的位置信息。
10.一种监测驾驶员状态的设备，其特征在于，包括：
俯视图像采集器(12)，设置于驾驶员的上方，用于从驾驶员上方拍摄俯视图图像；以及
处理器(102)，所述处理器(102)用于运行程序，其中，所述程序运行时对于从所述俯视图像采集器(12)输出的数据执行如下处理步骤：
基于所述俯视图图像确定驾驶员的手部以及手机位置；以及
基于所述手部以及所述手机的位置，判定所述驾驶员的当前状态。
CN201810210707.3A 2018-03-14 2018-03-14 监测驾驶员状态的方法、设备、系统、处理器及存储介质 Active CN110163037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810210707.3A CN110163037B (zh) 2018-03-14 2018-03-14 监测驾驶员状态的方法、设备、系统、处理器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810210707.3A CN110163037B (zh) 2018-03-14 2018-03-14 监测驾驶员状态的方法、设备、系统、处理器及存储介质

Publications (2)

Publication Number Publication Date
CN110163037A true CN110163037A (zh) 2019-08-23
CN110163037B CN110163037B (zh) 2022-03-04

Family

ID=67636002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810210707.3A Active CN110163037B (zh) 2018-03-14 2018-03-14 监测驾驶员状态的方法、设备、系统、处理器及存储介质

Country Status (1)

Country Link
CN (1) CN110163037B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4360967A1 (fr) * 2022-10-31 2024-05-01 ALSTOM Holdings Dispositif de veille pour conducteur de véhicule et procédé de veille d'un conducteur de véhicule ferroviaire

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201337458Y (zh) * 2009-01-10 2009-11-04 山西智济电子科技有限公司 人员疲劳状态实时监测装置
JP2011043961A (ja) * 2009-08-20 2011-03-03 Toyota Motor Corp 運転者監視装置
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
US20120219189A1 (en) * 2009-10-30 2012-08-30 Shenzhen Safdao Technology Corporation Limited Method and device for detecting fatigue driving and the automobile using the same
CN202875355U (zh) * 2012-11-13 2013-04-17 成都迪特福科技有限公司 驾驶员精神状态实时监测装置
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子系统集成有限公司 实时检测疲劳并提醒的方法
CN104751663A (zh) * 2015-02-28 2015-07-01 北京壹卡行科技有限公司 驾驶员安全驾驶辅助系统和方法
CN104952209A (zh) * 2015-04-30 2015-09-30 广州视声光电有限公司 一种驾驶预警方法及装置
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
CN105139584A (zh) * 2015-09-30 2015-12-09 宇龙计算机通信科技(深圳)有限公司 一种疲劳驾驶处理方法及装置
CN105354986A (zh) * 2015-11-12 2016-02-24 熊强 汽车司机驾驶状态监测系统及方法
CN106295600A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 驾驶员状态实时检测方法和装置
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN106682601A (zh) * 2016-12-16 2017-05-17 华南理工大学 一种基于多维信息特征融合的驾驶员违规通话检测方法
CN107545225A (zh) * 2016-06-23 2018-01-05 杭州海康威视数字技术股份有限公司 一种检测车载驾驶员违规行为的方法、装置及电子设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201337458Y (zh) * 2009-01-10 2009-11-04 山西智济电子科技有限公司 人员疲劳状态实时监测装置
JP2011043961A (ja) * 2009-08-20 2011-03-03 Toyota Motor Corp 運転者監視装置
US20120219189A1 (en) * 2009-10-30 2012-08-30 Shenzhen Safdao Technology Corporation Limited Method and device for detecting fatigue driving and the automobile using the same
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN202875355U (zh) * 2012-11-13 2013-04-17 成都迪特福科技有限公司 驾驶员精神状态实时监测装置
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子系统集成有限公司 实时检测疲劳并提醒的方法
CN104751663A (zh) * 2015-02-28 2015-07-01 北京壹卡行科技有限公司 驾驶员安全驾驶辅助系统和方法
CN104952209A (zh) * 2015-04-30 2015-09-30 广州视声光电有限公司 一种驾驶预警方法及装置
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
CN105139584A (zh) * 2015-09-30 2015-12-09 宇龙计算机通信科技(深圳)有限公司 一种疲劳驾驶处理方法及装置
CN105354986A (zh) * 2015-11-12 2016-02-24 熊强 汽车司机驾驶状态监测系统及方法
CN107545225A (zh) * 2016-06-23 2018-01-05 杭州海康威视数字技术股份有限公司 一种检测车载驾驶员违规行为的方法、装置及电子设备
CN106295600A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 驾驶员状态实时检测方法和装置
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN106682601A (zh) * 2016-12-16 2017-05-17 华南理工大学 一种基于多维信息特征融合的驾驶员违规通话检测方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHAO YAN 等: "Driving posture recognition by convolutional neural networks", 《IET COMPUTER》 *
KEYOU GUO 等: "An New Algorithm for Analyzing Driver"s Attention State", 《2009 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
赵浩宇: "基于ARM的汽车图像监控系统研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
郭克友 等: "驾驶人面部器官位置快速定位算法", 《计算机工程与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4360967A1 (fr) * 2022-10-31 2024-05-01 ALSTOM Holdings Dispositif de veille pour conducteur de véhicule et procédé de veille d'un conducteur de véhicule ferroviaire

Also Published As

Publication number Publication date
CN110163037B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN108319953B (zh) 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN107704805B (zh) 疲劳驾驶检测方法、行车记录仪及存储装置
JP4668978B2 (ja) 火炎検出方法及びその装置
US20200380279A1 (en) Method and apparatus for liveness detection, electronic device, and storage medium
CN108846365A (zh) 视频中打架行为的检测方法、装置、存储介质及处理器
WO2020103892A1 (zh) 车道线检测方法、装置、电子设备及可读存储介质
JP2020078058A (ja) 画像処理装置、監視システム、画像処理方法、及びプログラム
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
US11403879B2 (en) Method and apparatus for child state analysis, vehicle, electronic device, and storage medium
WO2019126908A1 (zh) 图像数据处理方法、装置及设备
CN110103820A (zh) 一种检测车辆中人员的异常行为的方法、装置及终端设备
CN112819068B (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN106295474A (zh) 船舶驾驶员的疲劳检测方法、系统和服务器
JP2019106193A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
CN106611165B (zh) 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置
Devi et al. Fuzzy based driver fatigue detection
Ribarić et al. A neural-network-based system for monitoring driver fatigue
CN111639582A (zh) 活体检测方法及设备
CN110163037A (zh) 监测驾驶员状态的方法、设备、系统、处理器及存储介质
Gupta et al. Posture recognition for safe driving
CN109685083A (zh) 驾驶员开车违规使用手机的多尺度检测方法
JP2019106149A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
CN114140746A (zh) 一种箱内摄像头遮挡检测方法、电梯运行控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230630

Address after: 100176 901, 9th floor, building 2, yard 10, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee after: BEIJING TAGE IDRIVER TECHNOLOGY CO.,LTD.

Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road

Patentee before: BEIHANG University

TR01 Transfer of patent right