CN111860098A - 一种疲劳驾驶的检测方法、装置、电子设备和介质 - Google Patents
一种疲劳驾驶的检测方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN111860098A CN111860098A CN202010319240.3A CN202010319240A CN111860098A CN 111860098 A CN111860098 A CN 111860098A CN 202010319240 A CN202010319240 A CN 202010319240A CN 111860098 A CN111860098 A CN 111860098A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- service provider
- detection model
- degree
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 141
- 230000001815 facial effect Effects 0.000 claims abstract description 81
- 238000012544 monitoring process Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 78
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 210000000744 eyelid Anatomy 0.000 description 12
- 238000005286 illumination Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种疲劳驾驶的检测方法、装置、电子设备和介质，其中，该方法包括：将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点；根据所述面部特征点的位置，从所述驾驶监控图像中截取特征区域图片；将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度。在本申请中所用到的面部特征点检测模型确定出来的面部特征点是不需要特别的精确，只是用面部特征点做一个参考位置来截取特征区域图片，将截取的特征图片输入至疲劳检测模型就可以得到服务提供方的疲劳程度，因此，提高了当获取到的驾驶监控图像不是标准图像时确定服务提供方疲劳程度的准确性。
Description
技术领域
本申请涉及信号处理技术领域，具体而言，涉及一种疲劳驾驶的检测方法、装置、电子设备和介质。
背景技术
目前，随着互联网的飞速发展，人们的生活节奏也越来越快，越来越多的人选择开车出行，来提高出行效率，但是，司机长时间驾驶会出现疲劳驾驶的情况，为了提高司机与乘客的出行安全，需要对司机的疲劳情况进行监控，并及时给司机发出提醒。
一般对司机的疲劳情况进行监控，需要在司机的正前方设置一个摄像头，用来实时的获取司机的图像，并用一个检测模型在驾驶监控图像中确定出左眼上眼皮的点、左眼下眼皮的点、右眼上眼皮的点、右眼下眼皮的点、上嘴唇的点和下嘴唇的点，进而根据两个眼睛的上眼皮的点与下眼皮的点之间的距离、上嘴唇的点与下嘴唇的点之间的距离来确定司机的疲劳情况。但是，这种确定司机疲劳情况的方式，摄像头需要获取到司机的正面的驾驶监控图像，在司机的驾驶监控图像出现偏差的情况下，得到的司机的疲劳检测结果是不准确的。
发明内容
有鉴于此，本申请的目的在于提供一种疲劳驾驶的检测方法、装置、电子设备和介质，提高了当获取到的驾驶监控图像不是标准图像时确定服务提供端疲劳程度的准确性。
根据本申请的一个方面，提供一种电子设备，可以包括存储介质和与存储介质通信的处理器。存储介质存储有处理器可执行的机器可读指令。当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行所述机器可读指令，以执行以下操作：
第一方面，本申请实施例提供了一种疲劳驾驶的检测方法，包括：
将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点；
根据所述面部特征点的位置，从所述驾驶监控图像中截取特征区域图片；
将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度。
在一些实施例中，将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点，包括：
针对每个时刻，将该时刻的服务提供方的驾驶监控图像输入到面部特征确定模型，以得到该时刻所对应的面部特征点；
根据面部特征点的位置，从驾驶监控图像中截取特征区域图片，包括：
针对每个时刻，根据所对应的面部特征点，从该时刻的驾驶监控图像中截取出该时刻的特征区域图片。
在一些实施例中，将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度，包括：
针对每个时刻，将截取到的特征区域图片输入至疲劳检测模型，以得到该时刻的参考疲劳值；
根据每个时刻的参考疲劳值，确定所述服务提供方的疲劳程度。
在一些实施例中，所述面部特征点包括以下位置中的一个或多个：
左眼特征点、右眼特征点和嘴巴特征点；
所述左眼特征点包括：左眼的中心点的位置、左眼眼尾的位置和左眼眼角的位置；
所述右眼特征点包括：右眼的中心点的位置、右眼眼尾的位置和右眼眼角的位置；
所述嘴巴特征点包括：嘴巴中心点的位置、左嘴角的位置和右嘴角的位置。
在一些实施例中，所述特征区域图片包括以下图片中的任意一个或多个：
左眼区域图片、右眼区域图片和嘴巴区域图片。
在一些实施例中，当截取到多个特征区域图片时，将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度，包括：
针对每一个特征区域图片，将该特征区域图片输入至对应的疲劳检测模型，以确定该特征区域图片所对应的疲劳参考值；
若至少一个区域特征图片所对应的疲劳参考值超过预设数值，则确定所述服务提供方的疲劳程度为疲劳状态。
在一些实施例中，还包括：
根据所述服务提供方的疲劳程度，确定处理策略。
在一些实施例中，所述处理策略包括以下处理方式中的一种或多种：
生成针对所述服务提供方的提示指令、停止向所述服务提供方派发服务订单。
在一些实施例中，所述提示指令包括以下指令中的任意一种或多种：
语音提示指令、方向盘抖动指令和座椅抖动指令。
在一些实施例中，根据所述服务提供方的疲劳程度，确定处理策略，包括：
当所述疲劳程度大于第一预设值，以及所述疲劳程度小于或等于第二预设值时，执行第一处理策略；其中，所述第一处理策略采用非强制处理方式使所述服务提供方休息；
当所述疲劳程度大于第二预设值时，执行第二处理策略；其中，所述第一处理策略采用强制处理方式使所述服务提供方休息。
在一些实施例中，所述第一处理策略包括生成针对所述服务提供方的提示指令；
所述第二处理策略包括停止向所述服务提供方派发服务订单。
在一些实施例中，当所述疲劳检测模型包括多种模型时，将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度，包括：
将所述特征区域图片分别输入至强光疲劳检测模型和暗光疲劳检测模型，以得每一种疲劳检测模型的输出结果；
根据每一种疲劳检测模型的输出结果和每个输出结果所对应的权重值进行加权求和，以得到所述服务提供方的疲劳程度。
在一些实施例中，每个输出结果所对应的权重值是根据当前时刻确定的；或，每个输出结果所对应的权重值是根据输出结果所对应的疲劳检测模型的训练样本数据量确定的。
第二方面，本申请实施例提供了一种疲劳驾驶的检测装置，包括：
确定模块，用于将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点；
截取模块，用于根据所述面部特征点的位置，从所述驾驶监控图像中截取特征区域图片；
疲劳程度确定模块，用于将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度。
在一些实施例中，所述确定模块，包括：
第一确定子单元，针对每个时刻，用于将该时刻的服务提供方的驾驶监控图像输入到面部特征确定模型，以得到该时刻所对应的面部特征点；
所述截取模块，包括：
第一截取子单元，针对每个时刻，用于根据所对应的面部特征点，从该时刻的驾驶监控图像中截取出该时刻的特征区域图片。
在一些实施例中，所述疲劳程度确定模块，包括：
第一参考疲劳值确定单元，针对每个时刻，用于将截取到的特征区域图片输入至疲劳检测模型，以得到该时刻的参考疲劳值；
第一疲劳程度确定子单元，用于根据每个时刻的参考疲劳值，确定所述服务提供方的疲劳程度。
在一些实施例中，所述面部特征点包括以下位置中的一个或多个：
左眼特征点、右眼特征点和嘴巴特征点；
所述左眼特征点包括：左眼的中心点的位置、左眼眼尾的位置和左眼眼角的位置；
所述右眼特征点包括：右眼的中心点的位置、右眼眼尾的位置和右眼眼角的位置；
所述嘴巴特征点包括：嘴巴中心点的位置、左嘴角的位置和右嘴角的位置。
在一些实施例中，所述特征区域图片包括以下图片中的任意一个或多个：
左眼区域图片、右眼区域图片和嘴巴区域图片。
在一些实施例中，当截取到多个特征区域图片时，所述疲劳程度确定模块，包括：
第二参考疲劳值确定单元，针对每一个特征区域图片，用于将该特征区域图片输入至对应的疲劳检测模型，以确定该特征区域图片所对应的疲劳参考值；
第二疲劳程度确定子单元，用于若至少一个区域特征图片所对应的疲劳参考值超过预设数值，则确定所述服务提供方的疲劳程度为疲劳状态。
在一些实施例中，还包括：
处理模块，用于根据所述服务提供方的疲劳程度，确定处理策略。
在一些实施例中，所述处理策略包括以下处理方式中的一种或多种：
生成针对所述服务提供方的提示指令、停止向所述服务提供方派发服务订单。
在一些实施例中，所述提示指令包括以下指令中的任意一种或多种：
语音提示指令、方向盘抖动指令和座椅抖动指令。
在一些实施例中，所述处理模块，包括：
第一处理子单元，用于当所述疲劳程度大于第一预设值，以及所述疲劳程度小于或等于第二预设值时，执行第一处理策略；其中，所述第一处理策略采用非强制处理方式使所述服务提供方休息；
第二处理子单元，用于当所述疲劳程度大于第二预设值时，执行第二处理策略；其中，所述第一处理策略采用强制处理方式使所述服务提供方休息。
在一些实施例中，所述第一处理策略包括生成针对所述服务提供方的提示指令；
所述第二处理策略包括停止向所述服务提供方派发服务订单。
在一些实施例中，当所述疲劳检测模型包括多种模型时，所述疲劳程度确定模块，包括：
输出结果单元，用于将所述特征区域图片分别输入至强光疲劳检测模型和暗光疲劳检测模型，以得每一种疲劳检测模型的输出结果；
第三疲劳程度确定子单元，用于根据每一种疲劳检测模型的输出结果和每个输出结果所对应的权重值进行加权求和，以得到所述服务提供方的疲劳程度。
在一些实施例中，每个输出结果所对应的权重值是根据当前时刻确定的；或，每个输出结果所对应的权重值是根据输出结果所对应的疲劳检测模型的训练样本数据量确定的。
第三方面，本申请实施例提供了一种车载设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述疲劳驾驶的检测方法的步骤。
第四方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述疲劳驾驶的检测方法的步骤。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述疲劳驾驶的检测方法的步骤。
本申请实施例提供的疲劳驾驶的检测方法、装置、电子设备和介质，首先，将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点；然后，根据所述面部特征点的位置，从所述驾驶监控图像中截取特征区域图片；最后，将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度。
在某种实施方式下，本申请所提供的方法中，面部特征点检测模型确定出来的面部特征点是不需要特别的精确，只是用面部特征点做一个参考位置来截取特征区域图片，将截取的特征图片输入至疲劳检测模型就可以得到服务提供方的疲劳程度，因此，提高了当获取到的驾驶监控图像不是标准图像时确定服务提供端疲劳程度的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种疲劳驾驶的检测方法的基本流程示意图；
图2示出了本申请实施例提供的一种确定服务提供方的疲劳程度的基本流程图；
图3示出了本申请实施例提供的一些实施例的疲劳驾驶的检测方法所在的服务系统的框图；
图4示出了本申请实施例提供的一种疲劳驾驶的检测装置的结构示意图；
图5示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
为了提高出行效率，一般用户会选择网约车、私家车、共享汽车等交通工具出行，但是使用上述交通工具时，司机的驾驶时间过长，司机会出现疲劳驾驶的情况，司机的疲劳驾驶可能会降低司机和乘客的人身安全。为了提高司机与乘客的出行安全，需要对司机的疲劳情况进行监控，并及时给司机发出提醒。
以网约车为例，对服务提供方(司机)监控，并确定服务提供方的疲劳程度包括以下几个步骤：
步骤1，获取服务提供方的驾驶监控图像；
步骤2，将获取到的驾驶监控图像输入至检测模型，以确定出左眼上眼皮的点、左眼下眼皮的点、右眼上眼皮的点、右眼下眼皮的点、上嘴唇的点和下嘴唇的点；
步骤3，根据两个眼睛的上眼皮的点与下眼皮的点之间的距离，以及上嘴唇的点与下嘴唇的点之间的距离，确定出服务提供方的疲劳程度。
根据确定出的服务提供方的疲劳程度，确定是否向服务提供方发出提醒，以使服务提供方增加清醒时长，提高了服务提供方以及乘客的人身安全。
在确定服务提供方的疲劳程度的过程中，获取服务提供方的驾驶监控图像时，需要摄像头与服务提供方的面部保持相对的关系，以使摄像头获取到的驾驶监控图像是标准的(标准的驾驶监控图像通常是服务提供方的正面图像)，通常，只有在标准的驾驶监控图像中才能精准的找到面部特征点，面部特征点可以包括以下位置中的一个或多个：左眼特征点、右眼特征点和嘴巴特征点；左眼特征点包括：左眼的中心点的位置、左眼眼尾的位置和左眼眼角的位置；右眼特征点包括：右眼的中心点的位置、右眼眼尾的位置和右眼眼角的位置；嘴巴特征点包括：嘴巴中心点的位置、左嘴角的位置和右嘴角的位置。但是，在上述获取驾驶监控图像时，可能会因为服务提供方的驾驶动作导致获取到服务提供方的侧面驾驶监控图像、因为摄像头的安装位置导致获取到服务提供方的侧面驾驶监控图像等，由于获取到的驾驶监控图像是不标准的，因此根据不标准的驾驶监控图像确定出的服务提供方的疲劳程度是不准确的。
因此，本申请的发明人认为，可以利用面部特征点检测模型来获取位置不太精确的面部特征点，通过面部特征点来获取特征区域图片，利用疲劳检测模型来确定特征区域图片所对应的服务提供方的疲劳程度，因此，一些不标准的驾驶监控图像也可以准确的确定出服务提供方的疲劳程度，提高了确定服务提供方的疲劳程度的准确度。
基于此，如图1所示，本申请提供了一种疲劳驾驶的检测方法，包括：
S101，将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点；
S102，根据面部特征点的位置，从驾驶监控图像中截取特征区域图片；
S103，将特征区域图片输入至疲劳检测模型，以得到服务提供方的疲劳程度。
在步骤S101中，服务提供方可以是司机(驾驶员)，如驾驶网约车的人。驾驶监控图像可以是驾驶区域所在的图像，驾驶监控图像可以是包含有服务提供方的人脸图像，或不包含有服务提供方的人脸图像，驾驶监控图像可以是通过拍摄设备获取的，其中，拍摄设备可以是车载摄像头(桔式记录仪)、手机摄像头等，拍摄设备的设置位置可以是能够拍摄到处于驾驶区域内的服务提供方的面部的位置。面部特征点检测模型可以用户检测出驾驶监控图像中的面部特征点，面部特征点存在于驾驶监控图像中的人脸图像中，面部特征点可以包括以下位置中的一个或多个：左眼特征点、右眼特征点和嘴巴特征点；左眼特征点包括：左眼的中心点的位置、左眼眼尾的位置和左眼眼角的位置；右眼特征点包括：右眼的中心点的位置、右眼眼尾的位置和右眼眼角的位置；嘴巴特征点包括：嘴巴中心点的位置、左嘴角的位置和右嘴角的位置。
具体的，服务器获取服务提供方的驾驶监控图像，为了在驾驶监控图像中确定出面部特征点，需要将获取到的驾驶监控图像输入至面部特征点检测模型，只有在确定出面部特征点之后才能执行后续步骤S102和步骤S103。
在步骤S102中，特征区域图片可以是能够作为判断服务提供端的疲劳程度的特征的图片，能够作为判断服务提供端的疲劳程度的特征可以包括以下任意一种或多种：左眼、右眼和嘴巴，因此特征区域图片可以包括以下图片中的任意一个或多个：左眼区域图片、右眼区域图片和嘴巴区域图片。
具体的，可以以左眼眼尾的位置和左眼眼角的位置之间的距离为边长，以左眼的中心点的位置为中心，做一个正方形，用该正方形在驾驶监控图像中截取左眼区域图片；或，可以以右眼眼尾的位置和右眼眼角的位置之间的距离为边长，以右眼的中心点的位置为中心，做一个正方形，用该正方形在驾驶监控图像中截取右眼区域图片；或，可以以左嘴角的位置和右嘴角的位置之间的距离为边长，以嘴巴中心点的位置为中心，做一个正方形，用该正方形在驾驶监控图像中截取嘴巴区域图片。面部特征点仅仅是作为一个参考位置来截取特征区域图像，不需要获取比较精确的值，减少了因获取的值不准确，而导致确定的服务提供方疲劳程度不准确的情况。
在步骤S103中，疲劳检测模型可以是用来检测特征区域图片所对应的服务提供方的疲劳程度。疲劳程度可以是用来表征服务提供方疲劳情况的标准，疲劳程度可以是数值、等级等。其中，疲劳程度的等级可以是正常状态(未疲劳)、轻度疲劳、重度疲劳等，可以根据实际情况确定。在疲劳检测模型中是根据眼睛的开合程度或者是嘴巴的开合程度来确定疲劳程度的。眼睛睁的越大，说明服务提供方的疲劳程度越小，眼睛睁的越小，说明服务提供方的疲劳程度越大，嘴巴张开的越大，说明服务提供方的疲劳程度越大，嘴巴张开的越小，说明服务提供方的疲劳程度越小。
具体的，将特征区域图片输入至疲劳检测模型后，疲劳检测模型会得到特征区域图片所对应的值，可以将这个值作为服务提供方的疲劳程度，也可以确定出该值所对应的等级，确定出的疲劳程度等级就是服务提供方的疲劳程度。通过疲劳检测模型对特征区域图片进行检测，进而确定服务提供方的疲劳程度，不需要获取特别精确的数值(比如，眼睛睁开的距离)，就可以准确的确定出服务提供方的疲劳程度，减少了因驾驶监控图像不是标准图像，无法获取到精确数值时，无法准确的确定出服务提供方的疲劳程度。
本申请的实施例中通过三个步骤，首先，使用面部特征点检测模型来确定出驾驶监控图像中的多个面部特征点的位置，然后，根据确定出的面部特征点的位置在驾驶监控图像中截取出特征区域图片，最后，将截取出来的特征区域图片输入至疲劳驾驶检测模型，进而确定出服务提供方的疲劳程度。在本申请中所用到的面部特征点检测模型确定出来的面部特征点是不需要特别的精确，只是用面部特征点做一个参考位置来截取特征区域图片，将截取的特征图片输入至疲劳检测模型就可以得到服务提供方的疲劳程度，因此，提高了当获取到的驾驶监控图像不是标准图像时确定服务提供端疲劳程度的准确性。
通过一张驾驶监控图像确定出的服务提供方的疲劳程度，仅仅是在某一个时刻该服务提供方的疲劳程度，如果在这一时刻正好抓拍到了服务提供方闭眼时的照片，且特征区域图片是截取的服务提供方的眼睛区域图片，则此时就可能会认定为服务提供方处于疲劳程度较大，因此仅通过一张驾驶监控图像就确定出服务提供方的疲劳程度就有些太片面。为了提高确定服务提供方的疲劳程度的准确性，可以采用多张且连续的驾驶监控图像来确定服务提供方的疲劳程度，即步骤S101，包括：
步骤1011，针对每个时刻，将该时刻的服务提供方的驾驶监控图像输入到面部特征确定模型，以得到该时刻所对应的面部特征点；
步骤S102，包括：
步骤1021，针对每个时刻，根据所对应的面部特征点，从该时刻的驾驶监控图像中截取出该时刻的特征区域图片；
步骤S103，包括：
步骤1031，针对每个时刻，将截取到的特征区域图片输入至疲劳检测模型，以得到该时刻的参考疲劳值；
步骤1032，根据每个时刻的参考疲劳值，确定服务提供方的疲劳程度。
在步骤1011中，每个时刻是每一次获取到驾驶监控图像的时刻，相邻的两个时刻之间的时间间隔是预先设置好的，两个时刻之间的时间间隔可以是1秒、2秒、3秒等。
具体的，针对每一个时刻获取到的驾驶监控图像都需要输入到面部特征确定模型中，来得到每一个时刻所对应的面部特征点，只有获取每一个时刻所对应的面部特征点，才能执行后续步骤1021、步骤1031、步骤1032。
在步骤1021中，针对每个时刻都需要确定出服务提供方的疲劳程度，因此，针对每个时刻所对应的驾驶监控图像都需要根据面部特征点来截取特征区域图片。为了提高服务提供方和乘坐服务提供端的乘客的安全性，需要时刻对服务提供方的疲劳程度进行监控，通过时刻对服务提供方进行监控，可以提高服务提供方的注意力，进而提高了服务提供方和乘坐服务提供端的安全性。
在步骤1031中，一个时刻的疲劳参考值可以是表征在该时刻服务提供方所对应的疲劳程度的值。
具体的，针对每一个时刻，将该时刻所截取到的特征区域图片输入至疲劳检测模型，就可以确定出表征服务提供方在该时刻所对应的疲劳程度的参考疲劳值。
在步骤1032中，根据一个时间段内每一个时刻所对应的参考疲劳值，就可以确定出在该时间段内服务提供方的疲劳程度。
具体的，可以根据一个时间段内每一个时刻所对应的参考疲劳值计算在该时间段内参考疲劳值的平均值，则计算得到的平均值就可以用来表征在该时间段内服务提供方的疲劳程度。一个时刻的参考疲劳值并不能代表服务提供方在那一段时间内的疲劳程度，服务提供方可能在某一个时刻因为必要的生理反应进行与疲劳时相似度的动作(如，正常闭眼、咳嗽等)，仅因为此时确定的参考疲劳值就确定服务提供方的疲劳程度是不准确的，因此，通过多个时刻的参考疲劳值确定服务提供方的疲劳程度，可以减少因异常参考疲劳值而导致的确定的疲劳程度不准确的情况。
比如，将服务提供方的正常状态用数值0表示、轻度疲劳状态用数值1表示、重度疲劳状态用数值2表示。获取到了服务提供方在2秒内所有的驾驶监控图像，且拍摄驾驶监控图像的时间间隔为0.2秒，则在2秒内共获取了10张驾驶监控图像，10张连续的驾驶监控图像分别对应的疲劳参考值为：2、2、0、2、2、2、1、0、2、0。经过计算得到10张连续的驾驶监控图像对应的平均参考疲劳值为1.3，则在2秒内服务提供方所对应的疲劳程度为1.3。
在一个驾驶监控图像中可以包含有两个眼睛和一个嘴巴，因此，在一个驾驶监控图像中可以获取到多个面部特征点，根据多个面部特征点还可以获取到多个区域特征图片。如果仅通过一个区域特征图片就确定出服务提供方的疲劳程度，可能会存在确定出的疲劳程度出现偏差的情况，比如，某一个服务提供方的眼睛是比较大的，仅用一个眼睛所在的区域作为区域特征图片，在该服务提供方打哈欠时，眼睛的开合程度并不会减小，此时，根据眼睛所对应的特征区域图片确定出来的服务提供方的疲劳程度为正常状态，与真实情况出现了偏差。因此，可以用多个特征的组合来确定服务提供方的疲劳程度，当截取到多个特征区域图片时，步骤S103包括：
步骤1033，针对每一个特征区域图片，将该特征区域图片输入至对应的疲劳检测模型，以确定该特征区域图片所对应的疲劳参考值；
步骤1034，若至少一个区域特征图片所对应的疲劳参考值超过预设数值，则确定服务提供方的疲劳程度为疲劳状态。
在步骤1033中，由于每一个特征区域所对应的特征是不同的，因此，针对每一个特征区域都有对应的疲劳检测模型，每一个特征区域图片只有输入到该特征区域图片所对应的疲劳检测模型中，才能得到该特征区域图片对应的疲劳参考值。
例如，当特征区域图片为左眼的特征区域图片时，该特征区域图片所对应的模型是左眼疲劳检测模型；当特征区域图片为右眼的特征区域图片时，该特征区域图片所对应的模型是右眼疲劳检测模型；当特征区域图片为嘴巴的特征区域图片时，该特征区域图片所对应的模型是嘴巴疲劳检测模型。
在步骤1032中，将每一个特征区域图片所对应的疲劳参考是都与预设数值进行比较，当所有的特征区域图片所对应的疲劳参考都未超过预设数值，则说明服务提供方并没有出现疲劳状态，当至少一个特征区域图片所对应的疲劳参考超过了预设数值，则说明服务提供方是疲劳状态。因为服务提供方的疲劳程度与服务提供方的人身安全是息息相关的，因此，只要有一个特征区域图片检测出服务提供方是疲劳状态，就可以认为服务提供方此时就是处于疲劳状态的。通过在驾驶监控图像中获取到的多个不同的特征区域图片来共同确定服务提供方疲劳程度，减少了仅通过一个特征区域图片确定服务提供方的疲劳程度时，出现无法检测出服务提供方出现疲劳的情况。
在上文中可知，疲劳程度可以包括正常状态、轻度疲劳状态和重度疲劳状态，因此在本申请中通过疲劳检测模型确定出服务提供方的疲劳程度后，根据不同的疲劳程度，可以确定出针对服务提供方的不同的处理方式，包括：
步骤104，根据服务提供方的疲劳程度，确定处理策略。
在步骤104中，处理策略可以是减轻服务提供方的疲劳情况的处理方法，处理策略可以包括以下处理方式中的一种或多种：生成针对服务提供方的提示指令、停止向服务提供方派发服务订单。其中，提示指令可以用于产生提示服务提供方的提示动作，提示指令可以直接作用于服务提供方的客户端(如手机、平板电脑等)，也可以通过服务提供方的客户端发送至服务提供端(在服务提供方的客户端与服务提供端通过蓝牙或者数据线连接时，提示指令可以通过服务提供方的客户端发送至服务提供端)。提示指令可以包括以下指令中的任意一种或多种：语音提示指令、方向盘抖动指令和座椅抖动指令。语音提示指令可以控制服务提供方的客户端发出语音提示信息，或者控制控制服务提供端的声音播放设备(车载音响)发出语音提示信息。方向盘抖动指令可以控制服务提供端的方向盘在不影响正常行驶的情况下进行抖动。座椅抖动指令可以控制服务提供端的座椅(服务提供方所坐的座椅)在不影响正常行驶的情况下进行抖动。服务订单可以是网约车所接收到的订单，服务订单是服务请求方(乘客)通过客户端所发起，服务请求方的客户端将该服务订单发送至服务器，服务器再将服务订单派发给网约车。停止向服务提供方派发服务订单就可以减少服务提供方的工作时间，让服务提供方能够保持足够的休息，减少服务提供方的疲劳状态。
具体的，服务提供方的疲劳程度可以分为正常状态、轻度疲劳状态和重度疲劳状态，那根据疲劳程度的实际情况，可以对应不同的处理策略。不同的处理策略可以不同程度的提高了服务提供方的工作效率。当疲劳程度为正常状态时，可以不对服务提供方进行任何的处理；当疲劳程度为轻度疲劳状态时，可以选择对服务提供方较为缓和的处理方式，及时的对服务提供方进行提醒，让服务提供方尽快清醒，提高工作效率；当疲劳程度为重度疲劳状态时，可以选择对服务提供方较为严格的处理方式，可以直接让服务提供方直接休息，以使服务提供方在休息过后以更高效的工作效率来工作。
疲劳程度可以是以数值的形式来表示的，因此，步骤104，包括：
步骤1041，当疲劳程度大于第一预设值，且小于或等于第二预设值时，执行第一处理策略；其中，第一处理策略采用非强制处理方式使所述服务提供方休息；
步骤1042，当疲劳程度大于第二预设值时，执行第二处理策略；其中，第一处理策略采用强制处理方式使所述服务提供方休息。
具体的，疲劳程度可以是以数值的形式来表示时，当疲劳程度小于或等于第一预设值时，疲劳程度为正常状态；当疲劳程度大于第一预设值，且小于或等于第二预设值，疲劳程度为轻度疲劳状态；当疲劳程度大于第二预设值时，疲劳程度为重度疲劳状态。第一处理策略与第二处理策略的处理方式是不同的，第一地理方式与第二处理方式相比处理手段较为缓和。第一处理策略可以包括生成针对服务提供方的提示指令；第二处理策略可以包括停止向服务提供方派发服务订单。
在步骤1041中，当疲劳程度大于第一预设值，且小于或等于第二预设值时，疲劳程度为轻度疲劳状态，此时就可以选择较为缓和的处理方式，即选择生成针对服务提供方的提示指令，以使服务提供方的客户端或者服务提供端的声音播放设备播放能够提醒服务提供方的语音信息，或者使服务提供端的方向盘或者服务提供方所坐的座椅进行抖动，以使服务提供方更加清醒一些。第一处理策略可以在不影响服务提供端的行驶效率的情况下，使服务提供方变得更加清醒，既不会降低服务提供端的行驶效率，还能提高服务提供方的安全性。
在步骤1042中，当疲劳程度大于第二预设值时，疲劳程度为重度疲劳状态，此时服务提供方是极度缺少休息的，因此，为了增加服务提供方的休息时间，服务器可以停止向服务提供方派发服务订单。第二处理策略可以让服务提供方能够有足够的休息时间，减少了疲劳驾驶的情况，提高了服务提供方的安全性。
虽然可以实时的获取到服务提供方所对应特征区域图片，但是，因为光照因素的影响获取到的特征区域图片是存在差异的，为了提高确定服务提供方的疲劳程度的准确度，可以针对不同的光照强度，设置对应的疲劳检测模型，如图2所示，当疲劳检测模型包括多种模型时，步骤S103，包括：
S201，将特征区域图片分别输入至强光疲劳检测模型和暗光疲劳检测模型，以得每一种疲劳检测模型的输出结果；
S202，根据每一种疲劳检测模型的输出结果和每个输出结果所对应的权重值进行加权求和，以得到服务提供方的疲劳程度。
在步骤S201中，强光疲劳检测模型和暗光疲劳检测模型是可以根据光照强度的不同区分的，强光疲劳检测模型是基于强光下的驾驶监控图像训练得到的，暗光疲劳检测模型是基于暗光下的驾驶监控图像训练得到的，疲劳检测模型除了上述所描述的强光疲劳检测模型和暗光疲劳检测模型之外，还可以包括综合光照疲劳检测模型，综合光照疲劳检测模型是基于强光下的驾驶监控图像和暗光下的驾驶监控图像训练得到的。输出结果可以是表征每一种疲劳状态的概率值，疲劳状态可以包括上文中所提到的正常状态、轻度疲劳状态和重度疲劳状态。
具体的，将一个区域特征图像输入至多个不同的疲劳检测模型后，每个疲劳检测模型会输出针对该区域特征图像所对应的输出结果。
例如，共有三个疲劳检测模型，分别为强光疲劳检测模型、暗光疲劳检测模型和综合光照疲劳检测模型，有一个嘴巴的特征区域图片，将该特征区域图片分别输入至三个疲劳检测模型后，每一个疲劳检测模型都会得到正常状态、轻度疲劳状态和重度疲劳状态分别对应的概率值，即强光疲劳检测模型得到的输出结果分别为0.3、0.5、0.2，暗光疲劳检测模型得到的输出结果分别为0.1、0.6、0.3，综合光照疲劳检测模型得到的输出结果分别为0.15、0.7、0.15。
在步骤S202中，每个输出结果所对应的权重值可以表征每个输出结果所对应的疲劳检测模型的重要程度，权重值越高，则疲劳检测模型越重要，权重值越低，则疲劳检测模型越次要。由于光照强度可以根据时间的变化而变化，因此每个输出结果所对应的权重值可以是根据当前时刻确定的；或，在对疲劳检测模型进行训练时，每个训练模型所对应的样本个数是不同的，因此每个输出结果所对应的权重值可以是根据输出结果所对应的疲劳检测模型的训练样本数据量确定的。
具体的，为了使确定出的服务提供方的疲劳程度更准确，则需要根据每个疲劳检测模型所对应的权重值以及每个疲劳检测模型所对应的输出结果来确定服务提供方的疲劳程度。即将每个疲劳检测模型的输出结果乘上对应的权重值，并将相对应的疲劳状态的结果进行相加，在相加后的结果中确定出最大值，最大值或者是最大值所对应的疲劳状态就是服务提供方的疲劳程度。通过不同的光照强度对应的疲劳检测模型输出的结果来计算疲劳程度，可以减少光照强度对疲劳程度的影响，提高了确定服务提供方疲劳程度的准确度。
延续上述三个疲劳检测模型的输出结果的示例，强光疲劳检测模型、暗光疲劳检测模型和综合光照疲劳检测模型分别对应的权重值为0.25、0.25、0.5。正常状态所对应的疲劳程度的值为0.25*0.3+0.25*0.1+0.5*0.15＝1.075，轻度疲劳状态所对应的疲劳程度的值为0.25*0.5+0.25*0.6+0.5*0.7＝1.925，重度疲劳状态所对应的疲劳程度的值为0.25*0.2+0.25*0.3+0.5*0.15＝1.25。轻度疲劳状态所对应的值最大，则确定出当前服务提供方位轻度疲劳状态。
本申请提供了一种车载设备，该车载设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，当车载设备运行时，执行上文中所提到的疲劳驾驶的检测方法的步骤。其中，车载设备可以是安装在服务提供端上，用来获取驾驶监控图像的设备，车载设备可以安装在车辆内部的后视镜上、安装在方向盘左侧的空调口处、安装在方向盘的右侧的空调口处、安装在服务提供方的斜上方的车顶处等，车载设备的安装位置可以能够获取到服务提供方的面部图像的且不妨碍服务提供方正常驾驶的任何位置，车载设备可以包括车载记录仪、摄像机、手机、平白电脑等可以获取图像的设备。
如图3所示，示出了是本申请一些实施例的疲劳驾驶的检测方法所在的服务系统100的框图。例如，服务系统100可以是用于诸如出租车、代驾服务、快车、拼车、公共汽车服务、驾驶员租赁、或班车服务之类的运输服务、或其任意组合的在线运输服务平台。服务系统100可以包括服务器110(本申请所提供方法的执行主体的一种)、网络120、服务请求端130(服务请求方)、服务提供端140(服务提供方)和数据库150中的一种或多种，服务器110中可以包括执行指令操作的处理器。
在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式系统)。在一些实施例中，服务器110相对于终端，可以是本地的、也可以是远程的。例如，服务器110可以经由网络120访问存储在服务请求端130、服务提供端140、或数据库150、或其任意组合中的信息和/或数据。作为另一示例，服务器110可以直接连接到服务请求端130、服务提供端140和数据库150中至少一个，以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。在一些实施例中，服务器110可以在具有本申请中图3所示的一个或多个组件的电子设备1000上实现。
网络120可以用于信息和/或数据的交换。在一些实施例中，服务系统100中的一个或多个组件(例如，服务器110，服务请求端130，服务提供端140和数据库150)可以向其他组件发送信息和/或数据。例如，服务器110可以经由网络120从服务请求端130获取服务请求。在一些实施例中，网络120可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络120可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication,NFC)网络等，或其任意组合。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线或无线网络接入点，例如基站和/或网络交换节点，服务系统100的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。
在一些实施例中，服务请求端130的服务请求方可以是除服务实际需求者之外的其他人。例如，服务请求端130的服务请求方A可以使用服务请求端130来为服务实际需求者B发起服务请求(比如，服务请求方A可以为自己的朋友B叫车)，或者从服务器110接收服务信息或指令等。在一些实施例中，服务提供端140的服务请求方可以是服务实际提供者，也可以是除服务实际提供者之外的其他人。例如，服务提供端140的服务请求方C可以使用服务提供端140接收由服务实际提供者D提供服务的服务请求(比如服务请求方C可以为自己雇用的服务提供方D接单)，和/或来自服务器110的信息或指令。在一些实施例中，“服务请求方”和“服务请求端”可以互换使用，“服务提供方”和“服务提供端”可以互换使用。
在一些实施例中，服务请求端130可以包括移动设备、平板计算机、膝上型计算机、或机动车辆中的内置设备等，或其任意组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机、或对讲机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等、或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏设备、导航设备、或销售点(point of sale，POS)设备等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。在一些实施例中，机动车辆中的内置设备可以包括车载计算机、车载电视等。在一些实施例中，服务请求端130可以是具有用于定位服务请求方和/或服务请求端的位置的定位技术的设备。
在一些实施例中，服务提供端140可以是与服务请求端130类似或相同的设备。在一些实施例中，服务提供端140可以是具有定位技术的设备，用于定位服务提供方和/或服务提供端的位置。在一些实施例中，服务请求端130和/或服务提供端140可以与其他定位设备通信以确定服务请求方、服务请求端130、服务提供方、或服务提供端140、或其任意组合的位置。在一些实施例中，服务请求端130和/或服务提供端140可以将定位信息发送给服务器110。
数据库150可以存储数据和/或指令。在一些实施例中，数据库150可以存储从服务请求端130和/或服务提供端140获得的数据。在一些实施例中，数据库150可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中，数据库150可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory,ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(Random Access Memory,RAM)；RAM可以包括动态RAM(Dynamic Random AccessMemory,DRAM)，双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM,DDRSDRAM)；静态RAM(Static Random-Access Memory,SRAM)，晶闸管RAM(Thyristor-BasedRandom Access Memory,T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-Only Memory,MROM)、可编程ROM(Programmable Read-Only Memory,PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory,PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read only memory,EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中，数据库150可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等，或其任意组合。
基于同一发明构思，本申请实施例中还提供了与上述疲劳驾驶的检测方法对应的开锁进度的确定装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述疲劳驾驶的检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，本申请实施例提供了一种疲劳驾驶的检测装置，包括：
确定模块401，用于将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点；
截取模块402，用于根据面部特征点的位置，从驾驶监控图像中截取特征区域图片；
疲劳程度确定模块403，用于将特征区域图片输入至疲劳检测模型，以得到服务提供方的疲劳程度。
在一些实施例中，确定模块401，包括：
第一确定子单元，针对每个时刻，用于将该时刻的服务提供方的驾驶监控图像输入到面部特征确定模型，以得到该时刻所对应的面部特征点；
截取模块402，包括：
第一截取子单元，针对每个时刻，用于根据所对应的面部特征点，从该时刻的驾驶监控图像中截取出该时刻的特征区域图片。
在一些实施例中，疲劳程度确定模块403，包括：
第一参考疲劳值确定单元，针对每个时刻，用于将截取到的特征区域图片输入至疲劳检测模型，以得到该时刻的参考疲劳值；
第一疲劳程度确定子单元，用于根据每个时刻的参考疲劳值，确定服务提供方的疲劳程度。
在一些实施例中，面部特征点包括以下位置中的一个或多个：
左眼特征点、右眼特征点和嘴巴特征点；
左眼特征点包括：左眼的中心点的位置、左眼眼尾的位置和左眼眼角的位置；
右眼特征点包括：右眼的中心点的位置、右眼眼尾的位置和右眼眼角的位置；
嘴巴特征点包括：嘴巴中心点的位置、左嘴角的位置和右嘴角的位置。
在一些实施例中，特征区域图片包括以下图片中的任意一个或多个：
左眼区域图片、右眼区域图片和嘴巴区域图片。
在一些实施例中，当截取到多个特征区域图片时，疲劳程度确定模块403，包括：
第二参考疲劳值确定单元，针对每一个特征区域图片，用于将该特征区域图片输入至对应的疲劳检测模型，以确定该特征区域图片所对应的疲劳参考值；
第二疲劳程度确定子单元，用于若至少一个区域特征图片所对应的疲劳参考值超过预设数值，则确定服务提供方的疲劳程度为疲劳状态。
在一些实施例中，还包括：
处理模块，用于根据服务提供方的疲劳程度，确定处理策略。
在一些实施例中，处理策略包括以下处理方式中的一种或多种：
生成针对服务提供方的提示指令、停止向服务提供方派发服务订单。
在一些实施例中，提示指令包括以下指令中的任意一种或多种：
语音提示指令、方向盘抖动指令和座椅抖动指令。
在一些实施例中，处理模块，包括：
第一处理子单元，用于当疲劳程度大于第一预设值，以及疲劳程度小于或等于第二预设值时，执行第一处理策略；其中，第一处理策略采用非强制处理方式使所述服务提供方休息；
第二处理子单元，用于当疲劳程度大于第二预设值时，执行第二处理策略；其中，第一处理策略采用强制处理方式使所述服务提供方休息。
在一些实施例中，第一处理策略包括生成针对服务提供方的提示指令；
第二处理策略包括停止向服务提供方派发服务订单。
在一些实施例中，当疲劳检测模型包括多种模型时，疲劳程度确定模块403，包括：
输出结果单元，用于将特征区域图片分别输入至强光疲劳检测模型和暗光疲劳检测模型，以得每一种疲劳检测模型的输出结果；
第三疲劳程度确定子单元，用于根据每一种疲劳检测模型的输出结果和每个输出结果所对应的权重值进行加权求和，以得到服务提供方的疲劳程度。
在一些实施例中，每个输出结果所对应的权重值是根据当前时刻确定的；或，每个输出结果所对应的权重值是根据输出结果所对应的疲劳检测模型的训练样本数据量确定的。
与上述方法相对应的，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如疲劳驾驶的检测方法的步骤。
如图5所示，为本申请实施例所提供的电子设备示意图，该电子设备1000包括：处理器1001、存储器1002和总线1003，存储器1002存储有执行指令，当电子设备运行时，处理器1001与存储器1002之间通过总线1003通信，处理器1001执行存储器1002中存储的疲劳驾驶的检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，上述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (17)
1.一种疲劳驾驶的检测方法，其特征在于，包括：
将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点；
根据所述面部特征点的位置，从所述驾驶监控图像中截取特征区域图片；
将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度。
2.根据权利要求1所述的方法，其特征在于，将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点，包括：
针对每个时刻，将该时刻的服务提供方的驾驶监控图像输入到面部特征确定模型，以得到该时刻所对应的面部特征点；
根据面部特征点的位置，从驾驶监控图像中截取特征区域图片，包括：
针对每个时刻，根据所对应的面部特征点，从该时刻的驾驶监控图像中截取出该时刻的特征区域图片。
3.根据权利要求1所述的方法，其特征在于，将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度，包括：
针对每个时刻，将截取到的特征区域图片输入至疲劳检测模型，以得到该时刻的参考疲劳值；
根据每个时刻的参考疲劳值，确定所述服务提供方的疲劳程度。
4.根据权利要求1所述的方法，其特征在于，所述面部特征点包括以下位置中的一个或多个：
左眼特征点、右眼特征点和嘴巴特征点；
所述左眼特征点包括：左眼的中心点的位置、左眼眼尾的位置和左眼眼角的位置；
所述右眼特征点包括：右眼的中心点的位置、右眼眼尾的位置和右眼眼角的位置；
所述嘴巴特征点包括：嘴巴中心点的位置、左嘴角的位置和右嘴角的位置。
5.根据权利要求1所述的方法，其特征在于，所述特征区域图片包括以下图片中的任意一个或多个：
左眼区域图片、右眼区域图片和嘴巴区域图片。
6.根据权利要求1所述的方法，其特征在于，当截取到多个特征区域图片时，将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度，包括：
针对每一个特征区域图片，将该特征区域图片输入至对应的疲劳检测模型，以确定该特征区域图片所对应的疲劳参考值；
若至少一个区域特征图片所对应的疲劳参考值超过预设数值，则确定所述服务提供方的疲劳程度为疲劳状态。
7.根据权利要求1所述的方法，其特征在于，还包括：
根据所述服务提供方的疲劳程度，确定处理策略。
8.根据权利要求7所述的方法，其特征在于，所述处理策略包括以下处理方式中的一种或多种：
生成针对所述服务提供方的提示指令、停止向所述服务提供方派发服务订单。
9.根据权利要求8所述的方法，其特征在于，所述提示指令包括以下指令中的任意一种或多种：
语音提示指令、方向盘抖动指令和座椅抖动指令。
10.根据权利要求7所述的方法，其特征在于，根据所述服务提供方的疲劳程度，确定处理策略，包括：
当所述疲劳程度大于第一预设值，以及所述疲劳程度小于或等于第二预设值时，执行第一处理策略；其中，所述第一处理策略采用非强制处理方式使所述服务提供方休息；
当所述疲劳程度大于第二预设值时，执行第二处理策略；其中，所述第一处理策略采用强制处理方式使所述服务提供方休息。
11.根据权利要求10所述的方法，其特征在于，所述第一处理策略包括生成针对所述服务提供方的提示指令；
所述第二处理策略包括停止向所述服务提供方派发服务订单。
12.根据权利要求1所述的方法，其特征在于，当所述疲劳检测模型包括多种模型时，将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度，包括：
将所述特征区域图片分别输入至强光疲劳检测模型和暗光疲劳检测模型，以得每一种疲劳检测模型的输出结果；
根据每一种疲劳检测模型的输出结果和每个输出结果所对应的权重值进行加权求和，以得到所述服务提供方的疲劳程度。
13.根据权利要求11所述的方法，其特征在于，每个输出结果所对应的权重值是根据当前时刻确定的；或，每个输出结果所对应的权重值是根据输出结果所对应的疲劳检测模型的训练样本数据量确定的。
14.一种疲劳驾驶的检测装置，其特征在于，包括：
确定模块，用于将获取到的服务提供方的驾驶监控图像输入到面部特征点检测模型，以确定面部特征点；
截取模块，用于根据所述面部特征点的位置，从所述驾驶监控图像中截取特征区域图片；
疲劳程度确定模块，用于将所述特征区域图片输入至疲劳检测模型，以得到所述服务提供方的疲劳程度。
15.一种车载设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-13中任一所述方法的步骤。
16.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至13任一所述方法的步骤。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至13任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010319240.3A CN111860098A (zh) | 2020-04-21 | 2020-04-21 | 一种疲劳驾驶的检测方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010319240.3A CN111860098A (zh) | 2020-04-21 | 2020-04-21 | 一种疲劳驾驶的检测方法、装置、电子设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860098A true CN111860098A (zh) | 2020-10-30 |
Family
ID=72985063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010319240.3A Pending CN111860098A (zh) | 2020-04-21 | 2020-04-21 | 一种疲劳驾驶的检测方法、装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860098A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875642A (zh) * | 2018-06-21 | 2018-11-23 | 长安大学 | 一种多指标融合的驾驶员疲劳检测的方法 |
| CN109697831A (zh) * | 2019-02-25 | 2019-04-30 | 湖北亿咖通科技有限公司 | 疲劳驾驶监测方法、装置及计算机可读存储介质 |
| CN110263663A (zh) * | 2019-05-29 | 2019-09-20 | 南京师范大学 | 一种基于多维面部特征的驾驶员多级疲劳度识别方法 |
| WO2020024395A1 (zh) * | 2018-08-02 | 2020-02-06 | 平安科技（深圳）有限公司 | 疲劳驾驶检测方法、装置、计算机设备及存储介质 |
| CN110826521A (zh) * | 2019-11-15 | 2020-02-21 | 爱驰汽车有限公司 | 驾驶员疲劳状态识别方法、系统、电子设备和存储介质 |
| CN110855934A (zh) * | 2018-08-21 | 2020-02-28 | 北京嘀嘀无限科技发展有限公司 | 疲劳驾驶识别方法、装置、系统、车载终端及服务器 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
-
2020
- 2020-04-21 CN CN202010319240.3A patent/CN111860098A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875642A (zh) * | 2018-06-21 | 2018-11-23 | 长安大学 | 一种多指标融合的驾驶员疲劳检测的方法 |
| WO2020024395A1 (zh) * | 2018-08-02 | 2020-02-06 | 平安科技（深圳）有限公司 | 疲劳驾驶检测方法、装置、计算机设备及存储介质 |
| CN110855934A (zh) * | 2018-08-21 | 2020-02-28 | 北京嘀嘀无限科技发展有限公司 | 疲劳驾驶识别方法、装置、系统、车载终端及服务器 |
| CN109697831A (zh) * | 2019-02-25 | 2019-04-30 | 湖北亿咖通科技有限公司 | 疲劳驾驶监测方法、装置及计算机可读存储介质 |
| CN110263663A (zh) * | 2019-05-29 | 2019-09-20 | 南京师范大学 | 一种基于多维面部特征的驾驶员多级疲劳度识别方法 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
| CN110826521A (zh) * | 2019-11-15 | 2020-02-21 | 爱驰汽车有限公司 | 驾驶员疲劳状态识别方法、系统、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 任强;姚海敏;: "一种车载疲劳驾驶检测方法", 信息通信, no. 12 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6933668B2 (ja) | 運転状態監視方法及び装置、運転者監視システム、並びに車両 | |
| KR102672040B1 (ko) | 정보 처리 장치 및 정보 처리 방법 | |
| KR102599937B1 (ko) | 정보 처리 장치 및 정보 처리 방법 | |
| US20230202485A1 (en) | Systems And Methods For Detecting And Dynamically Mitigating Driver Fatigue | |
| US20170343375A1 (en) | Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions | |
| US20170234691A1 (en) | Interface selection in navigation guidance systems | |
| JP2022526932A (ja) | 車両ユーザの安全性 | |
| JP2020525334A (ja) | 運転管理方法及びシステム、車載スマートシステム、電子機器並びに媒体 | |
| US9932000B2 (en) | Information notification apparatus and information notification method | |
| CN107415938A (zh) | 基于乘员位置和注意力控制自主车辆功能和输出 | |
| JP2020525884A (ja) | 車両制御方法及びシステム、車載インテリジェントシステム、電子機器並びに媒体 | |
| CN107818694A (zh) | 报警处理方法、装置及终端 | |
| CN111656423A (zh) | 信息处理装置、移动装置、方法以及程序 | |
| CN110782111B (zh) | 一种风险评估方法和系统 | |
| WO2021068595A1 (zh) | 一种驾驶员身份验证方法、装置及电子设备 | |
| WO2021248301A1 (zh) | 自动驾驶系统的自学习方法、装置、设备及存储介质 | |
| US20180229654A1 (en) | Sensing application use while driving | |
| WO2019208450A1 (ja) | 運転支援装置、運転支援方法及びプログラム | |
| CN114340970A (zh) | 信息处理设备、移动设备、信息处理系统、方法和程序 | |
| CN111818160A (zh) | 一种车机设备 | |
| CN110766908A (zh) | 报警方法、装置、电子设备及计算机可读存储介质 | |
| CN112689587A (zh) | 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法 | |
| JP2022047580A (ja) | 情報処理装置 | |
| JP2019171903A (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム | |
| US20190180532A1 (en) | Systems And Methods For Calculating Reaction Time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |