CN109993065A - 基于深度学习的驾驶员行为检测方法和系统 - Google Patents

基于深度学习的驾驶员行为检测方法和系统 Download PDF

Info

Publication number
CN109993065A
CN109993065A CN201910168786.0A CN201910168786A CN109993065A CN 109993065 A CN109993065 A CN 109993065A CN 201910168786 A CN201910168786 A CN 201910168786A CN 109993065 A CN109993065 A CN 109993065A
Authority
CN
China
Prior art keywords
data
sample
doubtful
mark
sample database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910168786.0A
Other languages
English (en)
Other versions
CN109993065B (zh
Inventor
左思
张世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kai Yi (beijing) Technology Co Ltd
Original Assignee
Kai Yi (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kai Yi (beijing) Technology Co Ltd filed Critical Kai Yi (beijing) Technology Co Ltd
Priority to CN201910168786.0A priority Critical patent/CN109993065B/zh
Publication of CN109993065A publication Critical patent/CN109993065A/zh
Application granted granted Critical
Publication of CN109993065B publication Critical patent/CN109993065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开一种基于深度学习的驾驶员行为检测方法和系统,其中方法包括如下步骤:对所采集的目标样本数据库中的样本数据添加数据标注,其中,数据标注用于标注目标样本数据库中样本数据的目标部位所在的位置,然后根据数据标注对目标样本数据库中疑似异常的样本数据添加疑似异常标签;再采用深度学习算法对添加数据标注和疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型;基于该行为检测模型检测所输入的待检测数据的数据类型。采用本发明,通过添加数据标注,细化疑似异常数据的类型,可以提高检测出异常行为的准确率。

Description

基于深度学习的驾驶员行为检测方法和系统
技术领域
本发明涉及目标检测技术领域,尤其涉及一种基于深度学习的驾驶员行为检测方法和系统。
背景技术
驾驶员异常行为是造成道路交通事故的主要原因之一,因此在高级驾驶辅助系统(ADAS)中,对驾驶员异常驾驶行为的监控是一项重要任务。现有技术中,通过明确的手部动作、表情或者其他物品可以直接确定驾驶员的异常行为(例如,抽烟、打电话、吃东西、喝水等异常行为),但当驾驶员出现一些疑似异常的动作,例如,捂嘴、摸脸、揉眼睛等动作时,会影响对异常行为的判断,导致误检或者漏检。
发明内容
本发明实施例提供一种基于深度学习的驾驶员行为检测方法和系统,通过添加数据标注,细化疑似异常数据的类型,可以提高检测出异常行为的准确率。
本发明实施例第一方面提供了一种基于深度学习的驾驶员行为检测方法,可包括:
对所采集的目标样本数据库中的样本数据添加数据标注,所述数据标注用于标注所述目标样本数据库中样本数据的目标部位所在的位置;
根据所述数据标注对所述目标样本数据库中疑似异常的样本数据添加疑似异常标签;
采用深度学习算法对添加所述数据标注和所述疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型;
基于所述行为检测模型检测所输入的待检测数据的数据类型,所述数据类型包括异常和疑似异常。
在一种可能的设计中,上述行为检测方法还包括:
采集源样本数据组成源样本数据库;
筛选掉所述源样本数据库中数据类型确定为正常的样本数据,得到目标样本数据库。
在一种可能的设计中,在对所采集的目标样本数据库中的样本数据添加数据标注时,上述检测方法还包括:
对所采集的目标样本数据库中的样本数据进行数据增量处理;
对所述数据增量处理后的目标样本数据库中的样本数据添加数据标注。
在一种可能的设计中:
所述数据增量处理包括随机旋转、镜像翻转、添加随机噪声以及基于ROI的图像裁剪中的一个或多个。
在一种可能的设计中,上述检测方法还包括:
提取所述目标样本数据库中样本数据的人脸框;
采用预设扩展函数在所述目标样本数据库的样本数据中以所述人脸框为基准,扩展出包含所述目标部位的扩展框。
在一种可能的设计中,上述检测方法还包括:
对所述扩展框所包含的样本数据进行预处理,所述预处理包括特征提取和图像增强;
采用深度学习算法对预处理后的样本数据进行模型训练,得到行为检测模型。
在一种可能的设计中,在基于所述行为检测模型检测所输入的待检测数据的数据类型时,上述检测方法还包括:
对所输入的待检测数据添加数据标注;
基于所述行为检测模型检测添加所述数据标注后的待检测数据的数据类型。
在一种可能的设计中:
所述疑似异常标签对应的疑似动作至少包括揉眼、喝水、摸脸、摸耳朵、捂嘴以及其他。
本发明实施例第二方面提供了一种基于深度学习的驾驶员行为检测系统,可包括:
标注添加模块,用于对所采集的目标样本数据库中的样本数据添加数据标注,所述数据标注用于标注所述目标样本数据库中样本数据的目标部位所在的位置;
标签添加模块,用于根据所述数据标注对所述目标样本数据库中疑似异常的样本数据添加疑似异常标签;
模型训练模块,用于采用深度学习算法对添加所述数据标注和所述疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型;
数据检测模块,用于基于所述行为检测模型检测所输入的待检测数据的数据类型,所述数据类型包括异常和疑似异常。
在一种可能的设计中,上述检测系统还包括:
源数库采集模块,用于采集源样本数据组成源样本数据库;
数据库筛选模块,用于筛选掉所述源样本数据库中数据类型确定为正常的样本数据,得到目标样本数据库。
在一种可能的设计中,所述标注添加模块包括:
增量处理单元,用于对所采集的目标样本数据库中的样本数据进行数据增量处理;
第一标注添加单元,用于对所述数据增量处理后的目标样本数据库中的样本数据添加数据标注。
在一种可能的设计中:
所述数据增量处理包括随机旋转、镜像翻转、添加随机噪声以及基于ROI的图像裁剪中的一个或多个。
在一种可能的设计中,上述检测系统还包括:
人脸框提取模块,用于提取所述目标样本数据库中样本数据的人脸框;
人脸框扩展模块,用于采用预设扩展函数在所述目标样本数据库的样本数据中以所述人脸框为基准,扩展出包含所述目标部位的扩展框。
在一种可能的设计中,上述检测系统还包括:
预处理模块,用于对所述扩展框所包含的样本数据进行预处理,所述预处理包括特征提取和图像增强;
模型训练模块,还用于采用深度学习算法对预处理后的样本数据进行模型训练,得到行为检测模型。
在一种可能的设计中,上述数据检测模块还包括:
第二标注添加单元,用于对所输入的待检测数据添加数据标注;
数据检测单元,用于基于所述行为检测模型检测添加所述数据标注后的待检测数据的数据类型。
在一种可能的设计中:
所述疑似异常标签对应的疑似动作至少包括揉眼、喝水、摸脸、摸耳朵、捂嘴以及其他。
在本发明实施例中,通过对所采集的目标样本数据库中的样本数据添加数据标注,再根据数据标注对目标样本数据库中疑似异常的样本数据添加疑似异常标签,然后采用深度学习算法对添加数据标注和疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型,最后基于行为检测模型检测所输入的待检测数据的数据类型。通过添加数据标注,细化疑似异常数据的类型,提高检测出异常行为的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种基于深度学习的驾驶员行为检测方法的流程示意图;
图2是本发明实施例提供的一种疑似异常动作的样本图像的显示示意图;
图3是本发明实施例提供的一种正常动作的样本图像的显示示意图;
图4是本发明实施例提供的疑似动作划分示意图;
图5是本发明实施例提供的人脸框扩展示意图;
图6是本发明实施例提供的另一种基于深度学习的驾驶员行为检测方法的流程示意图;
图7是本发明实施例提供的一种基于深度学习的驾驶员行为检测系统的结构示意图;
图8是本发明实施例提供的标注添加模块的结构示意图;
图9是本发明实施例提供的数据检测模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供的基于深度学习的驾驶员行为检测方法可以应用于判断驾驶员是否出现异常驾驶行为的应用场景中。
本发明实施例涉及的基于深度学习的驾驶员行为检测系统可以应用在是智能车载终端、智能手机、掌上电脑以及移动互联网设备(MID)等其他具备图像采集功能的终端设备上。
下面将结合附图1-附图6,对本发明实施例提供的基于深度学习的驾驶员行为检测方法进行详细介绍。
请参见图1,为本发明实施例提供了一种基于深度学习的驾驶员行为检测方法的流程示意图。如图1所示,本发明实施例的所述方法可以包括以下步骤S101-步骤S104。
S101,对所采集的目标样本数据库中的样本数据添加数据标注。
可以理解的是,上述行为检测系统可以采集源样本数据组成源样本数据库,上述源样本数据可以是面向大众采集的包含驾驶人员驾驶状态的图像数据。例如,可以包含图2所示的3种图像。
进一步的,行为检测系统可以筛选掉上述源样本数据库中数据类型确定为正常的样本数据,得到目标样本数据库。可以理解的是,上述数据类型确定为正常的样本数据可以驾驶人员正常驾驶时的图像数据,正常驾驶对应的样本数据可以只包含头部和部分上半身图像而不包含手部图像,例如图3所示的正常类型的样本数据。
具体实现中,检测系统可以对上述目标样本数据库中的样本数据添加数据标注,可以理解的是,上述数据标注可以用于标注目标样本数据库中样本数据的目标部位所在的位置,该当样本数据中出现目标部位时,可以认为驾驶员驾驶行为处于非正常状态,该目标部位可以是手部。可选的,上述数据标注可以是一个标注框,用于标注目标部位,例如图2中三个样本数据中的矩形框与小圆框的组合。
在可选实施例中,上述检测系统可以对所采集的目标样本数据库中的样本数据进行数据增量处理,该增量处理可以包括随机旋转、镜像翻转、添加随机噪声以及基于ROI的图像裁剪中的一个或多个。具体实现中,随机旋转可以在(0,θ)之间随机选择一个角度进行旋转,改变图像内容的朝向;镜像翻转可以0.5的概率对图片进行左右翻转;添加随机噪声可以从正态分布N(0,0.1)中采样一个系数,添加高斯噪声;基于ROI的图像裁剪可以随机以[3/4,4/3]为长度比、[8%,100%]为比例裁剪矩形区域,然后再缩放为W*W的方图。进一步的,上述检测系统可以对数据增量处理后的目标样本数据库中的样本数据添加数据标注。通过数据增量可以增加目标样本库中的样本数量,确保为后续模型训练提供丰富的样本数据,进而使训练的模型检测数据的准确率得到提升。
S102,根据数据标注对目标样本数据库中疑似异常的样本数据添加疑似异常标签。
可以理解的是,通过对目标样本库中的样本数据添加数据标注可以将标准的异常样本数据识别出来,对于疑似异常的样本数据,可以对其添加疑似异常标签,使之区别于标准的异常数据,上述标准的异常数据可以是打电话、吃东西等明显异常的数据。
需要说明的是,从深度学习的特征表达来看,目标检测方法中,相比单纯的背景检测,独立类别的疑似动作特征表达性、代表性更强。若没有疑似异常标签,真正的疑似动作很容易被表达为异常动作(如抽烟或者打电话等)。另外,手势特征具备多样性、多义性,很难通过简单的分类涵盖齐全,在强调真实异常行为的同时,特别增加疑似异常这一标签,从数据的角度可以尽量覆盖驾驶员所有的手部动作。再者从特征可视化的角度出发,真实异常动作与疑似异常动作共享相同的浅层特征,例如:摸嘴巴的动作和抽烟的动作其手型几乎一致。而不共享的特征,主要是相应物品、嘴型、表情等高层语义特征,也可以通过添加疑似异常标签得到强化。
在本发明实施例的具体实现方式中,疑似动作可以细分为如图4所示的六个子类别:揉眼、摸脸、摸耳朵、喝水、捂嘴及其它,进一步的,可以对应上述六个类别的疑似动作设置对应的六个疑似异常标签。通过上述对疑似动作的细分,一方面可以更加细粒度的探究不同子类别的疑似动作对异常行为检测结果的影响,另一方面可以更灵活的适配业务场景,针对不同的产品需求进行定制化开发。
在本发明实施例中,可以参考驾驶员的常见驾驶行为,常见异常行为数据标签集合为:
N={Smoke|s,Phone|p,Eat|e}
由于数据集采样不充分、模型能力弱等原因,深度学习检测中常出现误检(FP)和漏检(FN),尤其在人的手部动作检测上FP数量过多。但在增加了疑似异常的标签后,异常行为数据标签集合扩充为N′=N∪{Analogous|o}。
S103,采用深度学习算法对添加数据标注和疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型。
具体的,上述检测系统可以采用深度学习算法对添加数据标注和疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型。可以理解的是,上述深度学习算法可以是ROI的目标检测融合算法、YOLO算法以及SSD算法等,优选的可以是给予ROI的目标检测融合算法。
在可选实施例中,上述检测系统可以利用Dlib提取目标样本数据库中样本数据的人脸框,进一步的,可以采用预设扩展函数在目标样本数据库的样本数据中以上述人脸框为基准,扩展出包含目标部位的扩展框。可以理解的是,通过上述扩展所得的扩展框可以是ROI框,由于扩展后包含目标部位(例如,手部)可以覆盖贴近脸部的抽烟、打电话等动作。优选的,上述预设扩展函数可以是:
x′=x-w
y′=y-0.2*w
w′=3*w
h′=3*w
其中,(x,y,w,h)表示人脸框的坐标,(x′,y′,w′,h′)表示扩充后的ROI框的坐标,x,y是左上角点的坐标,w为宽,h为高。具体的,扩展前后的人脸框和ROI框可以如图5所示,其中,细实线框是人脸框,粗实线框是扩展后的ROI框。
在可选实施例中,检测系统可以对上述扩展框所包含的样本数据进行预处理,其中,该预处理的过程可以包括特征提取(即ROI提取)和图像增强,进一步的,可以采用深度学习算法对预处理后的样本数据进行模型训练,得到行为检测模型。
S104,基于所述行为检测模型检测所输入的待检测数据的数据类型。
具体的,上述检测系统可以基于行为检测模型检测所输入的待检测数据的数据类型,可以理解的是,待检测数据可以是表征待检测的驾驶员当前驾驶状态的图像数据。
在可选实施例中,上述检测系统可以对所输入的待检测数据添加数据标注,再基于行为检测模型检测添加数据标注后的待检测数据的数据类型。
在本发明实施例中,通过对所采集的目标样本数据库中的样本数据添加数据标注,再根据数据标注对目标样本数据库中疑似异常的样本数据添加疑似异常标签,然后采用深度学习算法对添加数据标注和疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型,最后基于行为检测模型检测所输入的待检测数据的数据类型。通过添加数据标注,细化疑似异常数据的类型,提高检测出异常行为的准确率。
在本发明实施例的一种具体实现方式中,基于深度学习的驾驶员行为检测方法的实现过程可以如图6所示,包括步骤S201-步骤S206。
S201,数据采集。
S202,数据标注。
S203,ROI提取。
S204,图像增强。
S205,模型训练。
S206,模型检测。
步骤S201-步骤S206的实现过程可以参见上述方法实施例的具体描述,此处不再赘述。
下面将结合附图7-附图9,对本发明实施例提供的基于深度学习的驾驶员行为检测系统进行详细介绍。需要说明的是,附图7-附图9所示的检测系统,用于执行本发明图1-图6所示实施例的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明图1-图6所示的实施例。
请参见图7,为本发明实施例提供了一种基于深度学习的驾驶员行为检测系统的结构示意图。如图7所示,本发明实施例的所述检测系统10可以包括:标注添加模块101、标签添加模块102、模型训练模块103、数据检测模块104、源数库采集模块105、数据库筛选模块106、人脸框提取模块107、人脸框扩展模块108、预处理模块109和模型训练模块110。
标注添加模块101,用于对所采集的目标样本数据库中的样本数据添加数据标注。
可以理解的是,源数库采集模块105可以采集源样本数据组成源样本数据库,上述源样本数据可以是面向大众采集的包含驾驶人员驾驶状态的图像数据。例如,可以包含图2所示的3种图像。
进一步的,数据库筛选模块106可以筛选掉上述源样本数据库中数据类型确定为正常的样本数据,得到目标样本数据库。可以理解的是,上述数据类型确定为正常的样本数据可以驾驶人员正常驾驶时的图像数据,正常驾驶对应的样本数据可以只包含头部和部分上半身图像而不包含手部图像,例如图3所示的正常类型的样本数据。
具体实现中,标注添加模块101可以对上述目标样本数据库中的样本数据添加数据标注,可以理解的是,上述数据标注可以用于标注目标样本数据库中样本数据的目标部位所在的位置,该当样本数据中出现目标部位时,可以认为驾驶员驾驶行为处于非正常状态,该目标部位可以是手部。可选的,上述数据标注可以是一个标注框,用于标注目标部位,例如图2中三个样本数据中的矩形框与小圆框的组合。
在可选实施例中,上述标注添加模块101可以包括如图8所示的增量处理单元1011和第一标注添加单元1012。
具体实现中,增量处理单元1011可以对所采集的目标样本数据库中的样本数据进行数据增量处理,该增量处理可以包括随机旋转、镜像翻转、添加随机噪声以及基于ROI的图像裁剪中的一个或多个。需要说明的是,随机旋转可以在(0,θ)之间随机选择一个角度进行旋转,改变图像内容的朝向;镜像翻转可以0.5的概率对图片进行左右翻转;添加随机噪声可以从正态分布N(0,0.1)中采样一个系数,添加高斯噪声;基于ROI的图像裁剪可以随机以[3/4,4/3]为长度比、[8%,100%]为比例裁剪矩形区域,然后再缩放为W*W的方图。进一步的,第一标注添加单元1012可以对数据增量处理后的目标样本数据库中的样本数据添加数据标注。通过数据增量可以增加目标样本库中的样本数量,确保为后续模型训练提供丰富的样本数据,进而使训练的模型检测数据的准确率得到提升。
标签添加模块102,用于根据数据标注对目标样本数据库中疑似异常的样本数据添加疑似异常标签。
可以理解的是,标签添加模块102通过对目标样本库中的样本数据添加数据标注可以将标准的异常样本数据识别出来,对于疑似异常的样本数据,可以对其添加疑似异常标签,使之区别于标准的异常数据,上述标准的异常数据可以是打电话、吃东西等明显异常的数据。
需要说明的是,从深度学习的特征表达来看,目标检测方法中,相比单纯的背景检测,独立类别的疑似动作特征表达性、代表性更强。若没有疑似异常标签,真正的疑似动作很容易被表达为异常动作(如抽烟或者打电话等)。另外,手势特征具备多样性、多义性,很难通过简单的分类涵盖齐全,在强调真实异常行为的同时,特别增加疑似异常这一标签,从数据的角度可以尽量覆盖驾驶员所有的手部动作。再者从特征可视化的角度出发,真实异常动作与疑似异常动作共享相同的浅层特征,例如:摸嘴巴的动作和抽烟的动作其手型几乎一致。而不共享的特征,主要是相应物品、嘴型、表情等高层语义特征,也可以通过添加疑似异常标签得到强化。
在本发明实施例的具体实现方式中,疑似动作可以细分为如图4所示的六个子类别:揉眼、摸脸、摸耳朵、喝水、捂嘴及其它,进一步的,可以对应上述六个类别的疑似动作设置对应的六个疑似异常标签。通过上述对疑似动作的细分,一方面可以更加细粒度的探究不同子类别的疑似动作对异常行为检测结果的影响,另一方面可以更灵活的适配业务场景,针对不同的产品需求进行定制化开发。
在本发明实施例中,可以参考驾驶员的常见驾驶行为,常见异常行为数据标签集合为:
N={Smoke|s,Phone|p,Eat|e}
由于数据集采样不充分、模型能力弱等原因,深度学习检测中常出现误检(FP)和漏检(FN),尤其在人的手部动作检测上FP数量过多。但在增加了疑似异常的标签后,异常行为数据标签集合扩充为N′=N∪{Analogous|o}。
模型训练模块103,用于采用深度学习算法对添加数据标注和疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型。
具体实现中,模型训练模块103可以采用深度学习算法对添加数据标注和疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型。可以理解的是,上述深度学习算法可以是ROI的目标检测融合算法、YOLO算法以及SSD算法等,优选的可以是给予ROI的目标检测融合算法。
在可选实施例中,人脸框提取模块107可以利用Dlib提取目标样本数据库中样本数据的人脸框,进一步的,人脸框扩展模块108可以采用预设扩展函数在目标样本数据库的样本数据中以上述人脸框为基准,扩展出包含目标部位的扩展框。可以理解的是,通过上述扩展所得的扩展框可以是ROI框,由于扩展后包含目标部位(例如,手部)可以覆盖贴近脸部的抽烟、打电话等动作。优选的,上述预设扩展函数可以是:
x′=x-w
y′=y-0.2*w
w′=3*w
h′=3*w
其中,(x,y,w,h)表示人脸框的坐标,(x′,y′,w′,h′)表示扩充后的ROI框的坐标,x,y是左上角点的坐标,w为宽,h为高。具体的,扩展前后的人脸框和ROI框可以如图5所示,其中,细实线框是人脸框,粗实线框是扩展后的ROI框。
在可选实施例中,预处理模块109可以对上述扩展框所包含的样本数据进行预处理,其中,该预处理的过程可以包括特征提取(即ROI提取)和图像增强,进一步的,模型训练模块103还可以采用深度学习算法对预处理后的样本数据进行模型训练,得到行为检测模型。
数据检测模块104,用于基于所述行为检测模型检测所输入的待检测数据的数据类型。
具体实现中,数据检测模块104可以基于行为检测模型检测所输入的待检测数据的数据类型,可以理解的是,待检测数据可以是表征待检测的驾驶员当前驾驶状态的图像数据。
在可选实施例中,上述数据检测模块104可以包括如图9所示的第二标注添加单元1041和数据检测单元1042。
具体实现中,第二标注添加单元1041可以对所输入的待检测数据添加数据标注,数据检测单元1042可以基于行为检测模型检测添加数据标注后的待检测数据的数据类型。
在本发明实施例中,通过对所采集的目标样本数据库中的样本数据添加数据标注,再根据数据标注对目标样本数据库中疑似异常的样本数据添加疑似异常标签,然后采用深度学习算法对添加数据标注和疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型,最后基于行为检测模型检测所输入的待检测数据的数据类型。通过添加数据标注,细化疑似异常数据的类型,提高检测出异常行为的准确率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种基于深度学习的驾驶员行为检测方法,其特征在于,包括:
对所采集的目标样本数据库中的样本数据添加数据标注,所述数据标注用于标注所述目标样本数据库中样本数据的目标部位所在的位置;
根据所述数据标注对所述目标样本数据库中疑似异常的样本数据添加疑似异常标签;
采用深度学习算法对添加所述数据标注和所述疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型;
基于所述行为检测模型检测所输入的待检测数据的数据类型,所述数据类型包括异常和疑似异常。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采集源样本数据组成源样本数据库;
筛选掉所述源样本数据库中数据类型确定为正常的样本数据,得到目标样本数据库。
3.根据权利要求1所述的方法,其特征在于,在对所采集的目标样本数据库中的样本数据添加数据标注时,所述方法还包括:
对所采集的目标样本数据库中的样本数据进行数据增量处理;
对所述数据增量处理后的目标样本数据库中的样本数据添加数据标注。
4.根据权利要求3所述的方法,其特征在于:
所述数据增量处理包括随机旋转、镜像翻转、添加随机噪声以及基于ROI的图像裁剪中的一个或多个。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
提取所述目标样本数据库中样本数据的人脸框;
采用预设扩展函数在所述目标样本数据库的样本数据中以所述人脸框为基准,扩展出包含所述目标部位的扩展框。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
对所述扩展框所包含的样本数据进行预处理,所述预处理包括特征提取和图像增强;
采用深度学习算法对预处理后的样本数据进行模型训练,得到行为检测模型。
7.根据权利要求1所述的方法,其特征在于,在基于所述行为检测模型检测所输入的待检测数据的数据类型时,所述方法还包括:
对所输入的待检测数据添加数据标注;
基于所述行为检测模型检测添加所述数据标注后的待检测数据的数据类型。
8.根据权利要求1所述的方法,其特征在于:
所述疑似异常标签对应的疑似动作至少包括揉眼、喝水、摸脸、摸耳朵、捂嘴以及其他。
9.一种基于深度学习的驾驶员行为检测系统,其特征在于,包括:
标注添加模块,用于对所采集的目标样本数据库中的样本数据添加数据标注,所述数据标注用于标注所述目标样本数据库中样本数据的目标部位所在的位置;
标签添加模块,用于根据所述数据标注对所述目标样本数据库中疑似异常的样本数据添加疑似异常标签;
模型训练模块,用于采用深度学习算法对添加所述数据标注和所述疑似异常标签的目标样本数据库进行模型训练,得到行为检测模型;
数据检测模块,用于基于所述行为检测模型检测所输入的待检测数据的数据类型,所述数据类型包括异常和疑似异常。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括:
人脸框提取模块,用于提取所述目标样本数据库中样本数据的人脸框;
人脸框扩展模块,用于采用预设扩展函数在所述目标样本数据库的样本数据中以所述人脸框为基准,扩展出包含所述目标部位的扩展框。
CN201910168786.0A 2019-03-06 2019-03-06 基于深度学习的驾驶员行为检测方法和系统 Active CN109993065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910168786.0A CN109993065B (zh) 2019-03-06 2019-03-06 基于深度学习的驾驶员行为检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910168786.0A CN109993065B (zh) 2019-03-06 2019-03-06 基于深度学习的驾驶员行为检测方法和系统

Publications (2)

Publication Number Publication Date
CN109993065A true CN109993065A (zh) 2019-07-09
CN109993065B CN109993065B (zh) 2022-08-23

Family

ID=67129309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910168786.0A Active CN109993065B (zh) 2019-03-06 2019-03-06 基于深度学习的驾驶员行为检测方法和系统

Country Status (1)

Country Link
CN (1) CN109993065B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723695A (zh) * 2020-06-05 2020-09-29 广东海洋大学 基于改进的Yolov3驾驶员关键子区域识别和定位方法
CN111770266A (zh) * 2020-06-15 2020-10-13 北京世纪瑞尔技术股份有限公司 一种智能视觉感知系统
CN112528824A (zh) * 2020-12-02 2021-03-19 创新奇智(深圳)技术有限公司 防止幼儿食用异物的方法及装置、电子设备、存储介质
CN112651326A (zh) * 2020-12-22 2021-04-13 济南大学 一种基于深度学习的驾驶员手部检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
CN106875630A (zh) * 2017-03-13 2017-06-20 中国科学院计算技术研究所 一种基于层次分类的可穿戴跌倒检测方法及系统
CN107346448A (zh) * 2016-05-06 2017-11-14 富士通株式会社 基于深度神经网络的识别装置、训练装置及方法
EP3399465A1 (en) * 2017-05-05 2018-11-07 Dassault Systèmes Forming a dataset for fully-supervised learning
CN109034134A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 基于多任务深度卷积神经网络的异常驾驶行为检测方法
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技(深圳)有限公司 数据异常检测方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346448A (zh) * 2016-05-06 2017-11-14 富士通株式会社 基于深度神经网络的识别装置、训练装置及方法
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
CN106875630A (zh) * 2017-03-13 2017-06-20 中国科学院计算技术研究所 一种基于层次分类的可穿戴跌倒检测方法及系统
EP3399465A1 (en) * 2017-05-05 2018-11-07 Dassault Systèmes Forming a dataset for fully-supervised learning
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技(深圳)有限公司 数据异常检测方法、装置、计算机设备及存储介质
CN109034134A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 基于多任务深度卷积神经网络的异常驾驶行为检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723695A (zh) * 2020-06-05 2020-09-29 广东海洋大学 基于改进的Yolov3驾驶员关键子区域识别和定位方法
CN111770266A (zh) * 2020-06-15 2020-10-13 北京世纪瑞尔技术股份有限公司 一种智能视觉感知系统
CN111770266B (zh) * 2020-06-15 2021-04-06 北京世纪瑞尔技术股份有限公司 一种智能视觉感知系统
CN112528824A (zh) * 2020-12-02 2021-03-19 创新奇智(深圳)技术有限公司 防止幼儿食用异物的方法及装置、电子设备、存储介质
CN112528824B (zh) * 2020-12-02 2022-11-25 创新奇智(深圳)技术有限公司 防止幼儿食用异物的方法及装置、电子设备、存储介质
CN112651326A (zh) * 2020-12-22 2021-04-13 济南大学 一种基于深度学习的驾驶员手部检测方法及系统

Also Published As

Publication number Publication date
CN109993065B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN109993065A (zh) 基于深度学习的驾驶员行为检测方法和系统
JP6950692B2 (ja) 人流推定装置、人流推定方法およびプログラム
CN111414813A (zh) 一种危险驾驶行为的识别方法、装置、设备及存储介质
CN110675407B (zh) 一种图像实例分割方法、装置、电子设备及存储介质
JP4061379B2 (ja) 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
CN111785085B (zh) 视觉感知以及感知网络训练方法、装置、设备和存储介质
WO2020096941A1 (en) Systems and methods for evaluating perception system quality
CN109117838B (zh) 应用于无人船感知系统的目标检测方法及装置
CN112464797B (zh) 一种吸烟行为检测方法、装置、存储介质及电子设备
CN111027545A (zh) 卡证图片标志检测方法、装置、计算机设备及存储介质
CN109508576A (zh) 一种异常驾驶行为检测方法、装置及电子设备
CN106650644A (zh) 驾驶员危险行为识别方法及系统
CN109684990B (zh) 一种基于视频的打电话行为检测方法
CN111753610A (zh) 天气识别方法及装置
CN115471824A (zh) 眼部状态检测方法、装置、电子设备和存储介质
Mori et al. Flow-based rip current detection and visualization
JP2005215927A (ja) 行動認識システム
CN103295238A (zh) 安卓平台上基于roi运动检测的视频实时定位方法
CN111260607A (zh) 可疑物品自动检测方法、终端设备、计算机设备及介质
Pech et al. Real time recognition of non-driving related tasks in the context of highly automated driving
CN110163032A (zh) 一种人脸检测方法及装置
CN114758326A (zh) 一种交通岗位工作行为状态实时检测系统
Muller-Schneiders et al. Performance evaluation of a real time traffic sign recognition system
CN116368545A (zh) 一种车辆预警方法、系统、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant