CN113051959A - 基于深度学习的驾驶员状态检测方法、系统、设备及介质 - Google Patents

基于深度学习的驾驶员状态检测方法、系统、设备及介质 Download PDF

Info

Publication number
CN113051959A
CN113051959A CN201911363106.7A CN201911363106A CN113051959A CN 113051959 A CN113051959 A CN 113051959A CN 201911363106 A CN201911363106 A CN 201911363106A CN 113051959 A CN113051959 A CN 113051959A
Authority
CN
China
Prior art keywords
driver
image
target roi
feature map
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911363106.7A
Other languages
English (en)
Inventor
段兴
陈荡荡
朱力
吕方璐
汪博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Guangjian Technology Co Ltd
Original Assignee
Shenzhen Guangjian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Guangjian Technology Co Ltd filed Critical Shenzhen Guangjian Technology Co Ltd
Priority to CN201911363106.7A priority Critical patent/CN113051959A/zh
Publication of CN113051959A publication Critical patent/CN113051959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

本发明提供了一种基于深度学习的驾驶员状态检测方法、系统、设备及介质，包括如下步骤：获取驾驶员图像；驾驶员图像为在驾驶员处于驾驶状态时采集；对于驾驶员图像依次进行人脸检测、关键点检测，以获取驾驶员图像中人脸区域的多个目标ROI区域；对驾驶员图像卷积处理，生成特征图，进而根据目标ROI区域对特征图进行池化处理，以提取多个目标ROI区域在特征图中对应的部分特征图；对多个目标ROI区域对应的部分特征图进行拼接处理生成目标ROI拼接特征图，进而根据目标ROI拼接特征图确定驾驶员图像中的驾驶员状态。本发明中将特征图中多个目标ROI区域对应部分拼接生成目标ROI拼接特征图，然后对目标ROI拼接特征图进行识别，提高了驾驶员图像的识别准确度。

Description

基于深度学习的驾驶员状态检测方法、系统、设备及介质
技术领域
本发明涉及驾驶员状态检测系统，具体地，涉及一种基于深度学习的驾驶员状态检测方法、系统、设备及介质。
背景技术
根据中国公安部的最新数据显示，2018年中国机动车保有量已达3.27亿辆，机动车驾驶员则达到了4.09亿人。驾驶员疲劳驾驶是造成交通事故的重要原因之一，并且随着驾驶员人数的激增，这一危害的严重性愈加突显。研究驾驶员疲劳检测方法，监测驾驶员状态，在其疲劳时进行提醒或干预，对于保护驾驶员及行人的安全具有重大意义。因此驾驶员状态检测系统(Driver Monitoring System，DMS)成为了重要的研究领域，为公安部及各大汽车产商所关注。其主要流程为利用红外摄像头所拍摄的驾驶员位置图像，通过人脸检测等方法进行驾驶员状态的识别。
在其发展过程中，通过机器视觉的手段对驾驶员面部特征进行检测并判别疲劳状态是目前最具发展前景的检测方法。但是受驾驶员个体差异、复杂的驾驶环境、传统特征提取的局限性等因素的影响，这一方法仍存在许多技术瓶颈。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的驾驶员状态检测方法、系统、设备及介质。
根据本发明提供的基于深度学习的驾驶员状态检测方法，包括如下步骤：
步骤S1：获取驾驶员图像；所述驾驶员图像为在驾驶员处于驾驶状态时采集，展示驾驶员的驾驶状态的图像；
步骤S2：对于所述驾驶员图像依次进行人脸检测、关键点检测，以获取所述驾驶员图像中人脸区域的多个目标ROI区域；
步骤S3：对所述驾驶员图像卷积处理，生成特征图，进而根据所述目标ROI区域对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图；
步骤S4：对多个所述目标ROI区域对应的部分特征图进行拼接处理生成目标ROI拼接特征图，进而根据所述目标ROI拼接特征图确定所述驾驶员图像中的驾驶员状态。
优选地，所述步骤S2包括如下步骤：
步骤S201：对所述驾驶员图像进行人脸检测，确定所述驾驶员图像中的人脸区域；
步骤S202：对所述人脸区域进行关键点检测，确定所述人脸区域中的多个目标ROI区域的位置；
步骤S203：对检测出人脸区域和目标ROI区域的位置的所述驾驶员图像进行归一化处理至预设定的尺寸以生成所述待检测图像。
优选地，所述步骤S3包括如下步骤：
步骤S301：对所述驾驶员图像卷积处理，生成特征图；
步骤S302：根据所述目标ROI区域生成对应的ROI标签；
步骤S303：根据所述ROI标签对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图。
优选地，所述目标ROI区域包括眼部ROI区域和嘴部ROI区域；
所述驾驶员状态包括闭眼状态和打哈欠状态。
优选地，所述步骤S1包括如下步骤：
步骤S101：采集驾驶员处于驾驶状态的视频流；
步骤S102：获取所述视频流，将所述视频流分解为若干依次按时间顺序依次排列的图像帧；
步骤S103：获取每一所述图像帧，所述图像帧为所述驾驶员图像。
根据本发明提供的基于深度学习的驾驶员状态检测系统，其特征在于，包括如下模块：
图像获取模块，用于获取驾驶员图像；所述驾驶员图像为在驾驶员处于驾驶状态时采集，展示驾驶员的驾驶状态的图像；
人脸检测模块，用于对于所述驾驶员图像依次进行人脸检测、关键点检测，以获取所述驾驶员图像中人脸区域的多个目标ROI区域；
特征提取模块，用于对所述驾驶员图像卷积处理，生成特征图，进而根据所述目标ROI区域对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图；
拼接识别模块，用于对多个所述目标ROI区域进行拼接处理生成目标ROI拼接特征图，进而根据所述目标ROI拼接特征图确定所述驾驶员图像中的驾驶员状态。
根据本发明提供的基于深度学习的驾驶员状态检测系统，包括如下模块：
图像获取模块，用于获取驾驶员图像；所述驾驶员图像为在驾驶员处于驾驶状态时采集，展示驾驶员的驾驶状态的图像；
人脸检测模块，用于对于所述驾驶员图像依次进行人脸检测、关键点检测，以获取所述驾驶员图像中人脸区域的多个目标ROI区域；
状态识别模块，用于对所述驾驶员图像卷积处理，生成特征图，进而根据所述目标ROI区域对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图，对多个所述目标ROI区域对应的部分特征图进行拼接处理生成目标ROI拼接特征图，进而根据所述目标ROI拼接特征图确定所述驾驶员图像中的驾驶员状态。
根据本发明提供的基于深度学习的驾驶员状态检测设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述基于深度学习的驾驶员状态检测方法的步骤。
根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述基于深度学习的驾驶员状态检测方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明通过不断获取驾驶员图像的，将驾驶员图像进行人脸检测后获取人脸区域和位于人脸区域的目标ROI区域，通过对所述驾驶员图像和目标ROI区域进行识别确定所述驾驶员图像中的驾驶员状态，从而能够及时对处于危险驾驶状态的驾驶员进行提醒，实现对可能发生的交通事故进行预防；
本发明中将特征图中多个目标ROI区域对应部分拼接生成目标ROI拼接特征图，然后对目标ROI拼接特征图进行识别，提高了驾驶员图像的识别准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中基于深度学习的驾驶员状态检测方法的步骤流程图；
图2为本发明实施例中获取驾驶员图像的步骤流程图；
图3为本发明实施例中生成待检测图像的步骤流程图；
图4为本发明实施例中提取目标ROI区域的特征图的步骤流程图；
图5为本发明实施例中人脸分类模型的训练示意图；
图6为本发明实施例中眼部ROI区域和嘴部ROI区域的拼接过程示意图；
图7为本发明实施例中人脸分类模型的另一种网络结构示意图；
图8为本发明实施例中目标ROI区域的池化示意图；
图9为本发明实施例中闭眼识别模型和打哈欠识别模型中迭代次数与误差的曲线图；
图10为本发明实施例中闭眼识别模型和打哈欠识别模型中迭代次数与测试精度的曲线图；
图11为本发明实施例中基于深度学习的驾驶员状态检测方法的使用状态示意图；
图12为本发明实施例中基于深度学习的驾驶员状态检测系统的模块示意图；
图13为本发明实施例中基于深度学习的驾驶员状态检测设备的结构示意图；以及
图14为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供的基于深度学习的驾驶员状态检测方法，旨在解决现有技术中存在的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1为本发明实施例中基于深度学习的驾驶员状态检测方法的步骤流程图，如图1所示，本发明提供的基于深度学习的驾驶员状态检测方法，包括如下步骤：
步骤S1：获取驾驶员图像；所述驾驶员图像为在驾驶员处于驾驶状态时采集，展示驾驶员的驾驶状态的图像；
图2为本发明实施例中获取驾驶员图像的步骤流程图，如图2所示，在本发明实施例中，所述步骤S1包括如下步骤：
步骤S101：采集驾驶员处于驾驶状态的视频流；
步骤S102：获取所述视频流，将所述视频流分解为若干依次按时间顺序依次排列的图像帧；
步骤S103：获取每一所述图像帧，所述图像帧为所述驾驶员图像。
步骤S2：对于所述驾驶员图像进行人脸检测和关键点检测，确定所述驾驶员图像中的人脸区域和目标ROI区域以生成待检测图像；
图3为本发明实施例中生成待检测图像的步骤流程图，如图3所示，在本发明实施例中，所述步骤S2包括如下步骤：
步骤S201：对所述驾驶员图像进行人脸检测，确定所述驾驶员图像中的人脸区域；
步骤S202：对所述人脸区域进行关键点检测，确定所述人脸区域中的多个目标ROI区域的位置；
步骤S203：对检测出人脸区域和目标ROI区域的位置的所述驾驶员图像进行归一化处理至预设定的尺寸以生成所述待检测图像。
步骤S3：对所述驾驶员图像卷积处理，生成特征图，进而根据所述目标ROI区域对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图。
在本发明实施例中，所述目标ROI区域包括眼部ROI区域和嘴部ROI区域。
图4为本发明实施例中提取目标ROI区域的特征图的步骤流程图，如图4所示，所述步骤S3包括如下步骤：
步骤S301：对所述驾驶员图像卷积处理，生成特征图；
步骤S302：根据所述目标ROI区域生成对应的ROI标签；
步骤S303：根据所述ROI标签对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图。
在本发明实施例中，将所述目标ROI区域截取为矩形ROI图像，表示为[x_1,y_1,x_2,y_2]。所述矩形ROI图像经过python数据层的处理，输出ROI标签；所述ROI标签的格式为1×5的行矢量，具体为ROI＝[batch_index,x_1,y_1,x_2,y_2]，其中batch_index为当前ROI对应矩形ROI图像在该轮batch中的索引，x_1,y_1,x_2,y_2为ROI区域对应的坐标。所述ROI标签将作为参数输入到第一ROI池化层和第二ROI池化层中。
步骤S4：对多个所述目标ROI区域对应的部分特征图进行拼接处理生成目标ROI拼接特征图，进而根据所述目标ROI拼接特征图确定所述驾驶员图像中的驾驶员状态。
在本发明实施例中，在对闭眼状态的判断时，为了进一步的优化效果，可以先在所述驾驶员图像中进行眼部ROI区域的提取，然后再针对眼部ROI区域进行闭眼的判断。图14为本发明实施例中眼部ROI区域和嘴部ROI区域的拼接过程示意图，如图14所示，在所述闭眼识别模型和所述打哈欠识别模型中眼部ROI区域和嘴部ROI区域提取时，从卷积神经网络输出的特征图中利用ROI池化方法提取出眼部ROI区域对应的部分特征图和嘴部ROI区域对应的部分特征图。将眼部ROI区域对应的部分特征图和嘴部区域ROI区域对应的部分特征图利用拼接层拼接生产眼部嘴部ROI拼接特征图。
在本发明实施例中，所述步骤S3和步骤S4通过预先设置的人脸分类模型实现，所述人脸分类模型预先训练生成。
图5为本发明实施例中人脸分类模型的训练示意图；如图5所示，在本发明实施例中，所述人脸分类模型的训练包括如下步骤：
步骤M1：采集训练图像，所述训练图像包括闭眼训练图像、打哈欠训练图像以及正常驾驶图像；
步骤M2：对于所述训练图像进行人脸检测和关键点检测后归一化处理至预设定的尺寸；
步骤M3：将归一化处理后的所述训练图像由长、宽、通道数的格式转化为通道数、长、宽的格式；
步骤M4：将格式转化后的所述训练图像中每一类型的训练图像分为训练集和测试集后分别输入预设置的神经网络模型进行训练生成所述人脸分类模型。
在本发明实施例中，所述人脸分类模型包括闭眼识别模型和打哈欠识别模型，将所述训练图像按照9:1的比例划分为训练集和测试集。
图7为本发明实施例中人脸分类模型的网络结构示意图，如图7所示，所述人脸分类模型的网络结构为顺次设置的第三卷积层、第三归一化层、第三非线性激活层、第三池化层、第四卷积层、第四归一化层、第四非线性激活层、第四池化层、第五卷积层、第五非线性激活层、第六卷积层、第六非线性激活层，与所述第六非线性激活层的输出端连接的第一ROI池化层、第二ROI池化层以及与第一ROI池化层、第二ROI池化层的输出端顺次连接的拼接层、第三全连接层、第七非线性激活层、第四全连接层以及第二softmax层。
在本发明实施例中，对于驾驶员图像是否为处于闭眼状态的图像、处于打哈欠状态的图像判断时，需要分别根据驾驶员图像的眼部区域和嘴部区域的局部特征来进行判断。因此本发明实施例中，所述眼部区域和所述嘴部区域均为ROI(Region of interest,ROI)区域。
在本发明实施例中，如图7所示，每个卷积层后面都级联归一化层(BN层)和非线性激活层(ReLU)，第三卷积层、第四卷积层以及第五卷积层的级联用于从驾驶员图像中提取特征，并获得统一大小的第一目标特征图。经过第三卷积层、第四卷积层以及第五卷积层之后的驾驶员图像由1×220×180特征图变为64×11×9的第一目标特征图。第五卷积层输出的第一目标特征图需要经过第一池化层和第二池化层。所述第一池化层和所述第二池化层的用于提取驾驶员图像中眼部ROI区域或者嘴部ROI区域在第一目标特征图上对应区域。
图8为本发明实施例中目标ROI区域的池化示意图，如图8所示。所述第一ROI池化层和所述第二ROI池化层的输入为64×11×9的第一目标特征图以及对应的ROI标签。所述第一ROI池化层和所述第二ROI池化层的spatial_scale参数设置为0.05，即单层数据尺寸为(11×9)为所述驾驶员图像的尺寸(220×180)的1/20，通过所述驾驶员图像的ROI坐标与spatial_scale参数定位到所述第一目标特征图上的ROI坐标，从而分别将眼部ROI区域和嘴部ROI区域对应的特征提取出，其余部分置零，然后输出为64×11×9的第二目标特征图和第三目标特征图。
图9为本发明实施例中闭眼识别模型和打哈欠识别模型中迭代次数与误差的曲线图，在图9中，横坐标为迭代次数，实线表示训练误差的变化，虚线表示测试误差的变化。
图10为本发明实施例中闭眼识别模型和打哈欠识别模型中迭代次数与测试精度的曲线图，在图10中，横坐标为迭代次数，表示随着迭代次数的增加，测试精度的变化情况。
图11为本发明实施例中基于深度学习的驾驶员状态检测方法的使用状态示意图，如图11所示，当采集到一驾驶员图像，首先对驾驶员图像进行人脸检测，检测得到人脸区域之后进行人脸关键点的位置的检测确定目标ROI区域，即所述眼部ROI区域和所述嘴部ROI区域，并通过相似变换将驾驶员图像归一化为统一的尺寸。将归一化后的所述驾驶员图像以及所述眼部ROI区域和所述嘴部ROI区域分别输入到对应的人脸分类模型中就能够将所述驾驶员图像分为处于抽烟状态的图像、处于分神状态的图像、处于打电话状态的图像、处于闭眼状态的图像以及处于打哈欠状态的图像，即能够检测出图像中的驾驶员的是否处于闭眼，打哈欠，打电话，吸烟，分神这五种状态中。
图12为本发明实施例中基于深度学习的驾驶员状态检测系统的模块示意图，如图12所示，本发明提供的基于深度学习的驾驶员状态检测系统，用于实现所述的基于深度学习的驾驶员状态检测方法，包括：
图像获取模块，用于获取驾驶员图像；所述驾驶员图像为在驾驶员处于驾驶状态时采集，展示驾驶员的驾驶状态的图像；
人脸检测模块，用于对于所述驾驶员图像进行人脸检测，确定所述驾驶员图像中的人脸区域和目标ROI区域以生成待检测图像；
状态识别模块，用于根据预设置的人脸分类模型对所述待检测图像进行识别，以确定所述驾驶员图像中的驾驶员状态。
在本发明实施例中，所述状态识别模块包括特征提取模块和拼接识别模块；
所述特征提取模块，用于对所述驾驶员图像卷积处理，生成特征图，进而根据所述目标ROI区域对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图；
拼接识别模块，用于对多个所述目标ROI区域进行拼接处理生成目标ROI拼接特征图，进而根据所述目标ROI拼接特征图确定所述驾驶员图像中的驾驶员状态。
本发明实施例中还提供一种基于深度学习的驾驶员状态检测像设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于深度学习的驾驶员状态检测像方法的步骤。
如上，该实施例能够通过将特征图中多个目标ROI区域对应部分拼接生成目标ROI拼接特征图，然后对目标ROI拼接特征图进行识别，提高了驾驶员图像的识别准确度。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图13是本发明实施例中的基于深度学习的驾驶员状态检测像设备的结构示意图。下面参照图13来描述根据本发明的这种实施方式的电子设备600。图13显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如19所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述基于深度学习的驾驶员状态检测像方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管19中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于深度学习的驾驶员状态检测像方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述基于深度学习的驾驶员状态检测像方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明通过将特征图中多个目标ROI区域对应部分拼接生成目标ROI拼接特征图，然后对目标ROI拼接特征图进行识别，提高了驾驶员图像的识别准确度。
图14是本发明实施例中的计算机可读存储介质的结构示意图。参考图14所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明实施例中，本发明通过不断获取驾驶员图像的，将驾驶员图像进行人脸检测后获取人脸区域和目标ROI区域，通过对所述人脸区域和目标ROI区域进行识别确定所述驾驶员图像中的驾驶员状态，从而能够及时对处于危险驾驶状态的驾驶员进行提醒，实现对可能发生的交通事故进行预防。本发明中将特征图中多个目标ROI区域对应部分拼接生成目标ROI拼接特征图，然后对目标ROI拼接特征图进行识别，提高了驾驶员图像的识别准确度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于深度学习的驾驶员状态检测方法，其特征在于，包括如下步骤：
步骤S1：获取驾驶员图像；所述驾驶员图像为在驾驶员处于驾驶状态时采集，展示驾驶员的驾驶状态的图像；
步骤S2：对于所述驾驶员图像依次进行人脸检测、关键点检测，以获取所述驾驶员图像中人脸区域的多个目标ROI区域；
步骤S3：对所述驾驶员图像卷积处理，生成特征图，进而根据所述目标ROI区域对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图；
步骤S4：对多个所述目标ROI区域对应的部分特征图进行拼接处理生成目标ROI拼接特征图，进而根据所述目标ROI拼接特征图确定所述驾驶员图像中的驾驶员状态。
2.根据权利要求1所述的基于深度学习的驾驶员状态检测方法，其特征在于，所述步骤S2包括如下步骤：
步骤S201：对所述驾驶员图像进行人脸检测，确定所述驾驶员图像中的人脸区域；
步骤S202：对所述人脸区域进行关键点检测，确定所述人脸区域中的多个目标ROI区域的位置；
步骤S203：对检测出人脸区域和目标ROI区域的位置的所述驾驶员图像进行归一化处理至预设定的尺寸以生成待检测图像。
3.根据权利要求1所述的基于深度学习的驾驶员状态检测方法，其特征在于，所述步骤S3包括如下步骤：
步骤S301：对所述驾驶员图像卷积处理，生成特征图；
步骤S302：根据所述目标ROI区域生成对应的ROI标签；
步骤S303：根据所述ROI标签对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图。
4.根据权利要求3所述的基于深度学习的驾驶员状态检测方法，其特征在于，所述目标ROI区域包括眼部ROI区域和嘴部ROI区域；
所述驾驶员状态包括闭眼状态和打哈欠状态。
5.根据权利要求1所述的基于深度学习的驾驶员状态检测方法，其特征在于，所述步骤S1包括如下步骤：
步骤S101：采集驾驶员处于驾驶状态的视频流；
步骤S102：获取所述视频流，将所述视频流分解为若干依次按时间顺序依次排列的图像帧；
步骤S103：获取每一所述图像帧，所述图像帧为所述驾驶员图像。
6.一种基于深度学习的驾驶员状态检测系统，其特征在于，包括如下模块：
图像获取模块，用于获取驾驶员图像；所述驾驶员图像为在驾驶员处于驾驶状态时采集，展示驾驶员的驾驶状态的图像；
人脸检测模块，用于对于所述驾驶员图像依次进行人脸检测、关键点检测，以获取所述驾驶员图像中人脸区域的多个目标ROI区域；
特征提取模块，用于对所述驾驶员图像卷积处理，生成特征图，进而根据所述目标ROI区域对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图；
拼接识别模块，用于对多个所述目标ROI区域进行拼接处理生成目标ROI拼接特征图，进而根据所述目标ROI拼接特征图确定所述驾驶员图像中的驾驶员状态。
7.一种基于深度学习的驾驶员状态检测系统，其特征在于，包括如下模块：
图像获取模块，用于获取驾驶员图像；所述驾驶员图像为在驾驶员处于驾驶状态时采集，展示驾驶员的驾驶状态的图像；
人脸检测模块，用于对于所述驾驶员图像依次进行人脸检测、关键点检测，以获取所述驾驶员图像中人脸区域的多个目标ROI区域；
状态识别模块，用于对所述驾驶员图像卷积处理，生成特征图，进而根据所述目标ROI区域对所述特征图进行池化处理，以提取多个目标ROI区域在所述特征图中对应的部分特征图，对多个所述目标ROI区域对应的部分特征图进行拼接处理生成目标ROI拼接特征图，进而根据所述目标ROI拼接特征图确定所述驾驶员图像中的驾驶员状态。
8.一种基于深度学习的驾驶员状态检测设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至5中任意一项所述基于深度学习的驾驶员状态检测方法的步骤。
9.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至5中任意一项所述基于深度学习的驾驶员状态检测方法的步骤。
CN201911363106.7A 2019-12-26 2019-12-26 基于深度学习的驾驶员状态检测方法、系统、设备及介质 Pending CN113051959A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911363106.7A CN113051959A (zh) 2019-12-26 2019-12-26 基于深度学习的驾驶员状态检测方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911363106.7A CN113051959A (zh) 2019-12-26 2019-12-26 基于深度学习的驾驶员状态检测方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN113051959A true CN113051959A (zh) 2021-06-29

Family

ID=76505278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911363106.7A Pending CN113051959A (zh) 2019-12-26 2019-12-26 基于深度学习的驾驶员状态检测方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN113051959A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
CN107832746A (zh) * 2017-12-01 2018-03-23 北京小米移动软件有限公司 表情识别方法及装置
CN108664947A (zh) * 2018-05-21 2018-10-16 五邑大学 一种基于表情识别的疲劳驾驶预警方法
CN108791299A (zh) * 2018-05-16 2018-11-13 浙江零跑科技有限公司 一种基于视觉的驾驶疲劳检测及预警系统及方法
CN110110662A (zh) * 2019-05-07 2019-08-09 济南大学 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
CN110321872A (zh) * 2019-07-11 2019-10-11 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
CN107832746A (zh) * 2017-12-01 2018-03-23 北京小米移动软件有限公司 表情识别方法及装置
CN108791299A (zh) * 2018-05-16 2018-11-13 浙江零跑科技有限公司 一种基于视觉的驾驶疲劳检测及预警系统及方法
CN108664947A (zh) * 2018-05-21 2018-10-16 五邑大学 一种基于表情识别的疲劳驾驶预警方法
CN110110662A (zh) * 2019-05-07 2019-08-09 济南大学 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
CN110321872A (zh) * 2019-07-11 2019-10-11 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统

Similar Documents

Publication Publication Date Title
US20200110965A1 (en) Method and apparatus for generating vehicle damage information
Qin et al. Traffic-sign recognition using deep learning
CN114170516B (zh) 一种基于路侧感知的车辆重识别方法、装置及电子设备
US11250279B2 (en) Generative adversarial network models for small roadway object detection
CN114970705B (zh) 基于多传感数据的行驶状态分析方法、装置、设备及介质
CN112132216B (zh) 车型识别方法、装置、电子设备及存储介质
CN111523489A (zh) 年龄分类网络的生成方法、车载人员检测方法、装置
AG Development of portable automatic number plate recognition (ANPR) system on Raspberry Pi
CN113051958A (zh) 基于深度学习的驾驶员状态检测方法、系统、设备及介质
CN111274937A (zh) 摔倒检测方法、装置、电子设备及计算机可读存储介质
CN114373189A (zh) 一种行为检测方法、装置、终端设备及存储介质
CN110728287A (zh) 图像识别方法及装置、电子设备、存储介质
CN112712005B (zh) 识别模型的训练方法、目标识别方法及终端设备
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
CN111325078A (zh) 一种人脸识别方法、装置及存储介质
CN110909578A (zh) 一种低分辨率图像识别方法、装置和存储介质
CN113051959A (zh) 基于深度学习的驾驶员状态检测方法、系统、设备及介质
CN113850686B (zh) 投保概率确定方法、装置、存储介质及电子设备
CN116894317A (zh) 数据处理方法、装置、电子设备和介质
CN112633089B (zh) 一种视频行人重识别方法、智能终端及存储介质
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN115223157A (zh) 一种基于循环神经网络的电网设备铭牌光学字符识别方法
CN111612714B (zh) 图像修复方法、装置和电子设备
CN114708498A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113139561B (zh) 一种垃圾分类方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination