CN111274881A - 驾驶安全的监控方法、装置、计算机设备及存储介质 - Google Patents

驾驶安全的监控方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111274881A
CN111274881A CN202010027457.7A CN202010027457A CN111274881A CN 111274881 A CN111274881 A CN 111274881A CN 202010027457 A CN202010027457 A CN 202010027457A CN 111274881 A CN111274881 A CN 111274881A
Authority
CN
China
Prior art keywords
score
driving
target
early warning
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010027457.7A
Other languages
English (en)
Other versions
CN111274881B (zh
Inventor
付园园
顾青山
王宏鸿
李晓琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202010027457.7A priority Critical patent/CN111274881B/zh
Priority claimed from CN202010027457.7A external-priority patent/CN111274881B/zh
Publication of CN111274881A publication Critical patent/CN111274881A/zh
Application granted granted Critical
Publication of CN111274881B publication Critical patent/CN111274881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种驾驶安全的监控方法、装置、计算机设备及存储介质，所述方法包括：通过获取驾驶过程中的实时视频流，并采集驾驶场景数据，进而根据实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据实时视频流对驾驶行为进行分析，得到异常行为分值，实现高效获取实时数据，提高驾驶安全监控的及时性，同时，基于驾驶场景数据和驾驶场景风险预警模型，确定驾驶场景数据对应的驾驶风险分值，再基于辅助识别分值、异常行为分值和驾驶风险分值，确定目标行为分值，将目标行为分值与预设预警阈值进行对比，若目标行为分值超过预设预警阈值，则发送预警提示信息，并执行实时预警措施，确保驾驶安全监控的准确性和效率。

Description

驾驶安全的监控方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种驾驶安全的监控方法、装置、计算机设备及存储介质。
背景技术
随着人民生活水平的不断提高，越来越多的人选择使用汽车作为出行工具，马路车辆的快速增长，使得汽车驾驶安全已成为社会焦点之一。为了提高行驶安全，汽车制造商会在汽车上安装各种安全装置，例如，在汽车上安装安全气囊，当汽车发生碰撞时弹出安全气囊以保护驾驶员的安全。然而，很多情况下，驾驶员在驾驶汽车时，并未认识到自己的驾驶行为风险，而驾驶员的管理方也无法掌握驾驶员的驾驶行为风险。
在当前，主要通过疲劳驾驶预警系统DMS和汽车驾驶的速度进行监控，在汽车驾驶速度过快时进行预警，单纯的利用姿态识别，人脸识别等技术，来对驾驶用户的异常行为(抽烟，打电话，左顾右盼等)和疲劳状态(打哈欠，闭眼等)进行检测监控，提供给驾驶员的一种驾驶状态监控系统。
发明人在实现本发明的过程中，发现现有的这种方式对驾驶安全的监控和判定都不够丰富和准确，比如驾驶员偏头看后视镜的情况，也会被认为是左顾右盼，驾驶员戴眼镜的时候，闭眼和眨眼的检测都会很不准确，对疲劳状态的判定也会不准确，这使得驾驶安全的监控效率不够高。
发明内容
本发明实施例提供一种驾驶安全的监控方法、装置、计算机设备和存储介质，以提高驾驶安全的监控效率。
为了解决上述技术问题，本申请实施例提供一种驾驶安全的监控方法，包括：
获取驾驶过程中的实时视频流，并采集驾驶场景数据；
根据所述实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据所述实时视频流对驾驶行为进行分析，得到异常行为分值；
将所述驾驶场景数据输入到驾驶场景风险预警模型中，所述驾驶场景风险预警模型为第一卷积神经网络模型，所述第一卷积神经网络模型包括输入层、卷积层、全连接层和输出层，所述输出层预设有M个类别标签，以及每个类别标签对应一个分值，通过所述输出层接收所述全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为所述驾驶场景数据对应的驾驶风险分值，其中，M为大于1的正整数；
基于所述辅助识别分值、所述异常行为分值和所述驾驶风险分值，确定目标行为分值。
将所述目标行为分值与预设预警阈值进行对比，若所述目标行为分值超过所述预设预警阈值，则发送预警提示信息，并执行实时预警措施。
可选地，所述根据所述实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值包括:
按照预设的时间间隔，从所述实时视频流中，抽取基础视频帧；
对每个所述基础视频帧进行人脸检测，将每个包含人脸图像的基础视频帧，作为目标视频帧；
对每个所述目标视频帧进行人脸特征检测，得到每个所述目标视频帧对应的目标人脸特征；
根据所有所述目标人脸特征，确定所述辅助识别分值。
可选地，所述对每个所述目标视频帧进行人脸特征检测，得到每个所述目标视频帧对应的目标人脸特征包括:
通过第二卷积神经网络模型，对所述目标视频帧进行人脸特征单元识别，得到每个所述目标视频帧中包含的待识别单元集合；
根据预设的特征单元组合集合中，每个预设的特征单元组合与每个人脸特征之间的映射关系，确定所述目标视频帧中包含的所述待识别单元集合对应的特征单元组合，作为目标人脸特征。
可选地，所述根据所述实时视频流对驾驶行为进行分析，得到异常行为分值包括：
按照预设的时间间隔，从所述实时视频流中，抽取所述基础视频帧；
采用疲劳驾驶预警系统DMS，对所述基础视频帧进行异常行为分析，得到分析结果；
根据所述分析结果中包含的异常行为种类，以及每种异常行为对应的次数，确定异常行为分值。
可选地，所述全连接层包括n个预设的分类器，所述输出层输出所述驾驶风险分值，其中，n为大于1的正整数；
所述将所述驾驶场景数据输入到驾驶场景风险预警模型中，通过所述输出层接收所述全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为所述驾驶场景数据对应的驾驶风险分值包括：
通过输入层从所述驾驶场景数据中提取多通道数据，并将所述多通道数据传递给所述卷积层；
在所述卷积层对所述多通道数据进行卷积处理，得到卷积后的卷积数据；
对所述卷积数据进行特征提取，得到特征数据；
使用所述全连接层的n个分类器对所述特征数据进行相似度计算，得到所述特征数据属于该分类器对应的类别标签的概率，共得到n个所述概率，其中，每个分类器对应一种驾驶风险类别的类别标签，n-1个分类器对应的驾驶风险类别的类别标签为异常行为类别的类别标签，1个分类器对应的驾驶风险类别的类别标签为正常行为类别的类别标签；
通过所述输出层接收n个所述概率，并从n个所述概率中，选取概率最大的类别标签作为所述驾驶场景数据对应的驾驶环境预测结果；
通过所述输出层，根据预设的每个所述类别标签对应的分值，确定所述驾驶环境预测结果对应的评分，作为所述驾驶风险分值。
可选地，所述基于所述辅助识别分值、所述异常行为分值和所述驾驶风险分值，确定目标行为分值包括：
采用如下公式计算所述目标行为分值：
Final_Score＝α*(FacekydScore/100)*DMSScore+β*DriveEnvScore
其中，Final_Score为所述目标行为分值，Facekyd_Score为所述辅助识别分值，DMSScore为所述异常行为分值，DriveEnv_Score为所述驾驶风险分值，其中，α和β为预设的加权参数，且α和β的取值范围均为(0，1)。
为了解决上述技术问题，本申请实施例还提供一种驾驶安全的监控装置，包括：
数据获取模块，用于获取驾驶过程中的实时视频流，并采集驾驶场景数据；
视频流分析模块，用于根据所述实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据所述实时视频流对驾驶行为进行分析，得到异常行为分值；
场景分析模块，用于将所述驾驶场景数据输入到驾驶场景风险预警模型中，所述驾驶场景风险预警模型为第一卷积神经网络模型，所述第一卷积神经网络模型包括输入层、卷积层、全连接层和输出层，所述输出层预设有M个类别标签，以及每个类别标签对应一个分值，通过所述输出层接收所述全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为所述驾驶场景数据对应的驾驶风险分值，其中，M为大于1的正整数；
分值确定模块，用于基于所述辅助识别分值、所述异常行为分值和所述驾驶风险分值，确定目标行为分值。
实时预警模块，用于将所述目标行为分值与预设预警阈值进行对比，若所述目标行为分值超过所述预设预警阈值，则发送预警提示信息，并执行实时预警措施。
可选地，视频流分析模块包括:
第一帧图像获取单元，用于按照预设的时间间隔，从所述实时视频流中，抽取基础视频帧；
目标帧确定单元，用于对每个所述基础视频帧进行人脸检测，将每个包含人脸图像的基础视频帧，作为目标视频帧；
人脸特征检测单元，用于对每个所述目标视频帧进行人脸特征检测，得到每个所述目标视频帧对应的目标人脸特征；
辅助识别分值确定单元，用于根据所有所述目标人脸特征，确定所述辅助识别分值。
可选地，人脸特征检测单元包括:
特征提取子单元，用于通过第二卷积神经网络模型，对所述目标视频帧进行人脸特征单元识别，得到每个所述目标视频帧中包含的待识别单元集合；
特征确定子单元，用于根据预设的特征单元组合集合中，每个预设的特征单元组合与每个人脸特征之间的映射关系，确定所述目标视频帧中包含的所述待识别单元集合对应的特征单元组合，作为目标人脸特征。
可选地，所述视频流分析模块还包括：
第二帧图像获取单元，用于按照预设的时间间隔，从所述实时视频流中，抽取所述基础视频帧；
异常行为分析单元，用于采用疲劳驾驶预警系统DMS，对所述基础视频帧进行异常行为分析，得到分析结果；
异常行为分值确定单元，用于根据所述分析结果中包含的异常行为种类，以及每种异常行为对应的次数，确定异常行为分值。
可选地，所述场景分析模块包括：
多通道数据提取单元，用于通过输入层从所述驾驶场景数据中提取多通道数据，并将所述多通道数据传递给所述卷积层；
数据卷积单元，用于在所述卷积层对所述多通道数据进行卷积处理，得到卷积后的卷积数据；
特征提取单元，用于对所述卷积数据进行特征提取，得到特征数据；
类别判断单元，用于使用所述全连接层的n个分类器对所述特征数据进行相似度计算，得到所述特征数据属于该分类器对应的类别标签的概率，共得到n个所述概率，其中，每个分类器对应一种驾驶风险类别的类别标签，n-1个分类器对应的驾驶风险类别的类别标签为异常行为类别的类别标签，1个分类器对应的驾驶风险类别的类别标签为正常行为类别的类别标签；
结果获取单元，用于通过所述全连接层，从n个所述概率中，选取概率最大的的类别标签作为所述驾驶场景数据对应的驾驶环境预测结果；
驾驶风险分值确定单元，用于通过所述输出层，根据预设的每个的类别标签对应的分值，确定所述驾驶环境预测结果对应的评分，作为所述驾驶风险分值。
可选地，所述分值确定模块包括：
分值计算单元，用于采用如下公式计算所述目标行为分值：
Final_Score＝α*(FacekydScore/100)*DMSScore+β*DriveEnvScore
其中，Final_Score为所述目标行为分值，Facekyd_Score为所述辅助识别分值，DMSScore为所述异常行为分值，DriveEnv_Score为所述驾驶风险分值，其中，α和β为预设的加权参数，且α和β的取值范围均为(0，1)。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述驾驶安全的监控方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述驾驶安全的监控方法的步骤。
本发明实施例提供的驾驶安全的监控方法、装置、计算机设备及存储介质，通过获取驾驶过程中的实时视频流，并采集驾驶场景数据，进而根据实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据实时视频流对驾驶行为进行分析，得到异常行为分值，实现高效获取实时数据，提高驾驶安全监控的及时性，同时，基于驾驶场景数据和驾驶场景风险预警模型，确定驾驶场景数据对应的驾驶风险分值，再基于辅助识别分值、异常行为分值和驾驶风险分值，确定目标行为分值，将目标行为分值与预设预警阈值进行对比，若目标行为分值超过预设预警阈值，则发送预警提示信息，并执行实时预警措施，确保驾驶安全监控的准确性和效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的驾驶安全的监控方法的一个实施例的流程图；
图3是根据本申请的驾驶安全的监控装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureE界面显示perts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的驾驶安全的监控方法由服务器执行，相应地，驾驶安全的监控装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
请参阅图2，图2示出本发明实施例提供的一种驾驶安全的监控方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S201：获取驾驶过程中的实时视频流，并采集驾驶场景数据。
具体地，基于汽车上搭载的摄像设备，获取驾驶过程中的实时视频流，并通过车载传感器，采集驾驶过程中的驾驶场景数据，并将实时视频流和驾驶场景数据发送给服务端。
其中，实时视频流的视频帧中，至少包括驾驶员上半身预设区域的图像。
优选地，本实施例中，摄像设备为车载红外摄像头，其拍摄条件为日间光照度不低于2001x,夜间光照度不低于501x。
其中，驾驶场景数据具体包括但不限于：驾驶速度、驾驶时间、驾驶经纬度、驾驶海拔和驾驶方向等，也可根据实际情况进行设定，此处不做具体限定。
在一具体实施方式中，通过GPS设备，以KM为单位对行程做划分，行程多段行程，每段行程每隔1S的时间采集驾驶过程中的经纬度、海拔、速度和方向等驾驶场景数据。
S202：根据实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据实时视频流对驾驶行为进行分析，得到异常行为分值。
具体地，服务端在获取到实时视频流后，对实时视频流进行人脸特征检测，并对检测到的人脸特征进行分析，确定检测到的人脸特征对驾驶风险的影响，得到对应的辅助识别分值，与此同时，根据实时视频流对驾驶行为进行分析，得到异常行为分值。
其中，辅助识别分值是用于标识人脸特征可能带来的驾驶风险的大小评估。
其中，异常行为分值是指根据驾驶行为中，出现异常行为的次数和类别，来对驾驶安全进行评估的分值。
本实施例中，人脸特征检测的具体实现方式，以及根据实时视频流对驾驶行为进行分析的具体手段，可参考后续实施例的描述，为避免重复，此处不再赘述。
S203：将驾驶场景数据输入到驾驶场景风险预警模型中，驾驶场景风险预警模型为第一卷积神经网络模型，该第一卷积神经网络模型包括输入层、卷积层、全连接层和输出层，输出层预设有M个类别标签，以及每个类别标签对应一个分值，通过输出层接收全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为驾驶场景数据对应的驾驶风险分值，其中，M为大于1的正整数。
具体地，服务端预设有训练好的驾驶场景风险预警模型，该模型根据驶场景数据，确定当前驾驶场景数据对应的风险类别，并获取该类别对应的分值，作为驾驶场景数据对应的驾驶风险分值，具体实施方式可参考后续实施例的描述，为避免重复，此处不再赘述。
其中，驾驶场景风险预警模型具体为第一卷积神经网络模型，将采集到的驾驶场景数据输入该模型中，经过卷积层，池化层，全连接层，输出层，作为一种优选方式，本实施例中的第一卷积神经网络模型，全连接层预设有101种类别标签，输出为第0类至第100类类别标签的概率，选取最高概率的类别标签作为当前驾驶场景数据对应的风险类别，并获取该类别对应的分值，作为驾驶风险分值。
需要说明的是，步骤S202与步骤S203之间，没有必然的先后逻辑关系，其具体也可以是并列执行，此处不作更多限定。
S204：基于辅助识别分值、异常行为分值和驾驶风险分值，确定目标行为分值。
具体地，服务端以秒为单位，实时对驾驶安全进行监控，每秒钟预警分数由3部分的分数加权综合得到，具体加权方式可根据实际需求进行设定，也可参考后续具体实施例的描述，此处不再赘述。
S205：将目标行为分值与预设预警阈值进行对比，若目标行为分值超过预设预警阈值，则发送预警提示信息，并执行实时预警措施。
具体地，服务端预设有预警阈值，将得到的目标行为分值与预设预警阈值进行对比，在目标行为分值超过预设预警阈值，则发送预警提示信息，并执行实时预警措施，确保驾驶安全。
优选地，可根据实际需求，设置多个等级的预警，以及每个等级的预警对应一种或多种可选实时预警措施。
在本实施例中，通过获取驾驶过程中的实时视频流，并采集驾驶场景数据，进而根据实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据实时视频流对驾驶行为进行分析，得到异常行为分值，实现高效获取实时数据，提高驾驶安全监控的及时性，同时，基于驾驶场景数据和驾驶场景风险预警模型，确定驾驶场景数据对应的驾驶风险分值，再基于辅助识别分值、异常行为分值和驾驶风险分值，确定目标行为分值，将目标行为分值与预设预警阈值进行对比，若目标行为分值超过预设预警阈值，则发送预警提示信息，并执行实时预警措施，确保驾驶安全监控的准确性和效率。
在本实施例的一些可选的实现方式中，步骤S202中，根据实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，包括：
按照预设的时间间隔，从实时视频流中，抽取基础视频帧；
对每个基础视频帧进行人脸检测，将每个包含人脸图像的基础视频帧，作为目标视频帧；
对每个目标视频帧进行人脸特征检测，得到每个目标视频帧对应的目标人脸特征；
根据所有目标人脸特征，确定辅助识别分值。
具体地，具体地，按照预设的频率，从实时视频流中提取预设数量的视频帧图像，作为基础视频帧，进而进行人脸识别，获取包含人脸图像的目标视频帧，再从目标视频中进行特征提取，得到目标人脸特征，确定辅助识别分值。
其中，预设的频率可以是预设的时间频率，即多长时间间隔进行一次视频帧图像提取，比如，间隔0.1秒提取一个视频帧图像，也可以是预设的视频帧频率，即间隔多少个视频帧进行一次视频帧图像的提取，比如，每间隔3个视频帧图像，提取一个视频帧图像。
优选地，本发明实施例采用预设的视频帧频率来进行视频帧提取。
例如，在一具体实施方式中，获取到的连续视频流包括128个连续的视频帧图像，预设数量为8，预设的视频帧频率为8，即每间隔8个视频帧图像，进行一次视频帧图像提取，按照先后顺序，将出现次序分别为1、9、17、25、33、41、49、57、65、73、81、89、97、105、113、121的视频帧图像提取出来，共计得到16个视频帧图像，由于视频采样数据的视频帧图像预设数量为8，因而，将前8个视频帧图像作为一个视频采样数据，后8个视频帧图像作为一个视频帧图像。
值得说明的是，本发明实施例中的实时视频流是采用H.264编码格式的基本码流(Elementary Stream，ES)，服务端通过快速MPEG视频编码(Fast Forward Mpeg，FFMPEG)框架对实时视频流进行解码，得到YUV编码格式的YUV码流，再将YUV码流转换为RGB格式的RGB码流，即得到连续的实时视频帧。
应理解，本发明实施例中的异常行为的监控是针对驾驶员的驾驶行为识别的监控，因而，在得到视频采样数据后，需对视频中的数据进行行为人检测，若视频采样数据中不存在行为人，则确定该视频采样数据为无效采样数据，而无需对无效采样数据进行后续处理。
其中，行为人检测的方法包括但不限于：基于梯度方向直方图的行人检测算法(Histograms ofOriented Gradients for Human Detection)、基于小边特征的人体检测算法(Edgelet Feature Boosting for Human Detection)和基于轮廓线索的实时人体检测(Real-Time Human Detection Using Contour Cues)等。
其中，辅助识别分值是用于根据人脸的特征对驾驶安全进行评估的分值。
在本实施例中，通过从实时视频流中提取人脸图像并进行目标人脸特征的确定，有利于提高目标人脸特征的获取效率和准确性，进而根据目标人脸特征对辅助识别分值进行评估，有利于提高后续驾驶安全的评估的准确性，提高驾驶安全监控的效率。
在本实施例的一些可选的实现方式中，对每个目标视频帧进行人脸特征检测，得到每个目标视频帧对应的目标人脸特征，包括:
通过第二卷积神经网络模型，对目标视频帧进行人脸特征单元识别，得到每个目标视频帧中包含的待识别单元集合；
根据预设的特征单元组合集合中，每个预设的特征单元组合与每个人脸特征之间的映射关系，确定目标视频帧中包含的待识别单元集合对应的特征单元组合，作为目标人脸特征。
具体地，第二卷积神经网络模型为通用卷积神经网络模型，本实施例中，将得到的目标视频帧作为输入图像，输入到训练好的第二卷积神经网络中进行识别，在该卷积神经网络的全连接层，预设有若干个分类器，每个分类器对应一种预设的人脸特征单元，经过分类器的识别，得到该目标视频帧中包含的多个人脸特征单元，进而将目标视频帧得到的所有人脸特征单元，作为一个待识别单元集合，并选取与预设的特征单元组合集合中最接近的预设的特征单元组合，作为目标人脸特征。
需要说明的是，目标图像帧为包含人脸图像的帧图像，人脸具有多个识别特征，例如，鼻子、眼睛、眉毛和嘴巴等，每种特征又具有多种形态，不同特征不同形态的组合，得到的特征组合体现出驾驶员在驾驶时的状态，因而，本实施例确定目标人脸特征，并在后续作为辅助评估，有利于提高驾驶安全评估的准确率。
值得说明的是，现有技术主要运用时空局部纹理特征(Local Binary Patternsfrom Three Orthogonal Planes，以下简称LBP-TOP)算子对面部特征进行识别，但在本实施例中，是通过获取实时视频流来得到面部图像，获取到的面部图像中当前用户的面部倾斜角度，以及在驾驶过程中，驾驶员的一些不规范行为导致拍摄的面部不全，甚至是侧脸的面部图像，因而，LBP-TOP算子对标准人脸图像进行识别具有较高的准确率，但在实施例中，却并不适用，因而，本实施例采用卷积神经网络对目标图像帧中的人脸特征单元进行识别，并根据识别到的特征单元来执行后续处理，本实施例所采用卷积神经网络进行人脸特征提取的方法，相对于LBP-TOP算子，运算速度更快，且识别精度更高。
进一步地，选取与目标视频帧中包含的待识别单元集合最接近的预设的特征单元组合，具体可以是通过计算待识别单元集合与预设的特征单元组合集合中每个预设的特征单元组合的相似度，进而从得到的相似度值中选取值最大的相似度值作为目标相似度值，进而将目标相似度值对应的预设的特征单元组合作为与待识别单元集合最接近的预设的特征单元组合。
在本实施例中，通过采用卷积神经网络的方式，提高了人脸特征提取的准确性和效率，有利于后续辅助识别分值评估的准确性。
在本实施例的一些可选的实现方式中，步骤S202中，根据实时视频流对驾驶行为进行分析，得到异常行为分值，包括：
按照预设的时间间隔，从实时视频流中，抽取基础视频帧；
采用疲劳驾驶预警系统DMS，对基础视频帧进行异常行为分析，得到分析结果；
根据分析结果中包含的异常行为种类，以及每种异常行为对应的次数，确定异常行为分值。
具体地，按照预设的时间间隔，从实时视频流中，抽取基础视频帧，并采用疲劳驾驶预警系统DMS，对基础视频帧进行异常行为分析，根据分析得到的驾驶员的行为数据确定驾驶员在驾驶过程中的异常行为种类和每种异常行为种类的次数，继而确定异常行为分值。
应理解，异常行为种类越多，每种种类对应的次数越多，异常行为分值将越高，对应的风险系数也更大，异常行为种类可根据实际场景需要进行设定，此处不做限制。
其中，DMS(Driver Monitor Status)疲劳驾驶预警系统，是利用摄像头获取的图像，并通过视觉跟踪、目标检测、动作识别等技术对驾驶员的驾驶行为及生理状态进行检测，当驾驶员发生疲劳、分心、打电话、抽烟、未系安全带等危险情况时在系统设定时间内报警以避免事故发生。DSM系统能有效规范驾驶员的驾驶行为、大大降低交通事故发生的几率。
DMS系统监测的异常行为包括但不限于：抽烟监测、接打电话监测、分心驾驶监测、未系安全带监测、喝水监测、打哈欠监测、闭眼监测、异常状态监测等。
在本实施例中，通过DMS对实时视频流中驾驶员的行为进行分析监控，得到驾驶过程中的异常行为分值，提高驾驶过程在风险监控预警的实时性和准确性，有利于提高驾驶安全监控的效率。
在本实施例的一些可选的实现方式中，步骤S203中，全连接层包括n个预设的分类器，输出层输出驾驶风险分值，其中，n为大于1的正整数，将驾驶场景数据输入到驾驶场景风险预警模型中，通过输出层接收全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为述驾驶场景数据对应的驾驶风险分值包括：
通过输入层从驾驶场景数据中提取多通道数据，并将多通道数据传递给卷积层；
在卷积层对多通道数据进行卷积处理，得到卷积后的卷积数据；
对卷积数据进行特征提取，得到特征数据；
使用全连接层的n个分类器对特征数据进行相似度计算，得到特征数据属于该分类器对应的类别标签的概率，共得到n个概率，其中，每个分类器对应一种驾驶风险类别的类别标签，n-1个分类器对应的驾驶风险类别的类别标签为异常行为类别的类别标签，1个分类器对应的驾驶风险类别的类别标签为正常行为类别的类别标签；
通过输出层接收n个概率，并从n个概率中，选取概率最大的类别标签作为驾驶场景数据对应的驾驶环境预测结果；
通过输出层，根据预设的每个类别标签对应的分值，确定驾驶环境预测结果对应的评分，作为驾驶风险分值。
具体地，通过输入层提取驾驶场景数据中每项多通道数据，并将多通道数据传递给卷积层，并通过卷积层进行卷积和特征提取，进而采用全连接层的分类器对特征数据进行和相似度计算，确定该驾驶场景数据对应的驾驶风险类别的类别标签，并根据预设的每个类别标签对应的分值，确定驾驶风险分值。
其中，多通道数据是指每个通道的数据，通道个数可根据实际情况进行设置，此处不作具体限制，优选地，本发明实施例通道个数设置为3。
其中，卷积层(Convolutional layer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积处理的目的是得到表示不同特征的卷积数据，即方便后续提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，越深层级的网路能从低级特征中迭代提取更复杂的特征。
值得说明的是，在本发明实施例中，存在预设层数的卷积层，具体预设的数量可根据实际情况进行确定，作为一种优选方式，本发明实施例预设的卷积层为8层。
在本发明实施例中，特征提取是通过池化层来实现，池化层紧跟在卷积层之后，用于压缩数据和参数的量，使得对行为预测无关的信息和重复的信息被去掉，同时，池化层还可以减小过拟合，有利于提高识别精度。
其中，分类器对应的行为类别可根据实际需要进行训练，分类器的数量n也可根据需要进行设置，此处不作具体限制，例如，n设置为14，即包括13种异常行为类型和1个正常行为类型。
其中，分类器实现方法包括但不限于：逻辑回归(Logistic Regression，LR)、支持向量机((Support Vector Machine，SVM)、交叉熵(Corss Entropy)和softmax回归等。
优选地，本发明实施例采用softmax回归来实现多个分类器的分类识别。
其中，异常行为类型包括但不限于：雪地驾驶、山路驾驶、超时驾驶和大雾驾驶等，具体可依据实现情况进行设置，此处不作限制。
在本实施例中，通过采用卷积神经网络作为驾驶场景风险预警模型，对驾驶场景数据进行快速评估，确定场景对应的风险信息，提高场景风险评估的准确性和效率，同时，也有利于提高后续驾驶安全评估的准确性。
在本实施例的一些可选的实现方式中，步骤S204中，基于辅助识别分值、异常行为分值和驾驶风险分值，确定目标行为分值，包括：
采用如下公式计算目标行为分值：
Final_Score＝α*(FacekydScore/100)*DMSScore+β*DriveEnvScore
其中，Final_Score为目标行为分值，Facekyd_Score为辅助识别分值，DMSScore为异常行为分值，DriveEnv_Score为驾驶风险分值，其中，α和β为预设的加权参数，且α和β的取值范围均为(0，1)。
其中，预设的加权参数为根据历史数据与驾驶安全的实际情况进行计算得出，优选地，本实施例中α为0.75，β为0.25。
其中，Facekyd_Score就是当前驾驶员的驾驶安全的辅助识别分数，会影响Final_Score中DMS_Score的分值比例，如果facekyd_socre越高，表示现在异常行为的报警等级更高，如果facekyd_score越低，表示现在驾驶员的异常行为的报警等级越低，因为结合人脸驾驶风险辅助识别模型，有利于提高对异常行为的预警的准确率；
其中，DriveEnv_Score是当前的场景建模输出的驾驶风险分值，驾驶速度，驾驶地区的海拔，驾驶的时间(白天或者夜晚)都会影响到驾驶风险分值，该分值越高，会导致DMS_Score报警等级越高，该分值降低时，对DMS_Score的影响变小，本实施例提供的加权方式，使得环境的因素对异常行为的预警等级影响也会加入进来，有利于提高预警的准确度。
在本实施例中，通过预设的加权参数进行加权，计算目标行为分值，使得得到的目标行为分值对驾驶安全的表现程度更为准确。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3示出与上述实施例驾驶安全的监控方法一一对应的驾驶安全的监控装置的原理框图。如图3所示，该驾驶安全的监控装置包括数据获取模块31、视频流分析模块32、场景分析模块33、分值确定模块34和实时预警模块35。
各功能模块详细说明如下：
数据获取模块31，用于获取驾驶过程中的实时视频流，并采集驾驶场景数据；
视频流分析模块32，用于根据实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据实时视频流对驾驶行为进行分析，得到异常行为分值；
场景分析模块33，用于将驾驶场景数据输入到驾驶场景风险预警模型中，驾驶场景风险预警模型为第一卷积神经网络模型，第一卷积神经网络模型包括输入层、卷积层、全连接层和输出层，输出层预设有M个类别标签，以及每个类别标签对应一个分值，通过输出层接收全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为驾驶场景数据对应的驾驶风险分值，其中，M为大于1的正整数；
分值确定模块34，用于基于辅助识别分值、异常行为分值和驾驶风险分值，确定目标行为分值。
实时预警模块35，用于将目标行为分值与预设预警阈值进行对比，若目标行为分值超过预设预警阈值，则发送预警提示信息，并执行实时预警措施。
可选地，视频流分析模块32包括：
第一帧图像获取单元，用于按照预设的时间间隔，从实时视频流中，抽取基础视频帧；
目标帧确定单元，用于对每个基础视频帧进行人脸检测，将每个包含人脸图像的基础视频帧，作为目标视频帧；
人脸特征检测单元，用于对每个目标视频帧进行人脸特征检测，得到每个目标视频帧对应的目标人脸特征；
辅助识别分值确定单元，用于根据所有目标人脸特征，确定辅助识别分值。
可选地，人脸特征检测单元包括：
特征提取子单元，用于通过第二卷积神经网络模型，对目标视频帧进行人脸特征单元识别，得到每个目标视频帧中包含的待识别单元集合；
特征确定子单元，用于根据预设的特征单元组合集合中，每个预设的特征单元组合与每个人脸特征之间的映射关系，确定目标视频帧中包含的待识别单元集合对应的特征单元组合，作为目标人脸特征。
可选地，视频流分析模块32还包括：
第二帧图像获取单元，用于按照预设的时间间隔，从实时视频流中，抽取基础视频帧；
异常行为分析单元，用于采用疲劳驾驶预警系统DMS，对基础视频帧进行异常行为分析，得到分析结果；
异常行为分值确定单元，用于根据分析结果中包含的异常行为种类，以及每种异常行为对应的次数，确定异常行为分值。
可选地，场景分析模块33包括：
多通道数据提取单元，用于通过输入层从驾驶场景数据中提取多通道数据，并将多通道数据传递给卷积层；
数据卷积单元，用于在卷积层对多通道数据进行卷积处理，得到卷积后的卷积数据；
特征提取单元，用于对卷积数据进行特征提取，得到特征数据；
类别判断单元，用于使用全连接层的n个分类器对特征数据进行相似度计算，得到特征数据属于该分类器对应的类别标签的概率，共得到n个概率，其中，每个分类器对应一种驾驶风险类别的类别标签，n-1个分类器对应的驾驶风险类别的类别标签为异常行为类别的类别标签，1个分类器对应的驾驶风险类别的类别标签为正常行为类别的类别标签；
结果获取单元，用于通过输出层接收n个概率，并从n个概率中，选取概率最大的类别标签作为驾驶场景数据对应的驾驶环境预测结果；
驾驶风险分值确定单元，用于通过输出层，根据预设的每个类别标签对应的分值，确定驾驶环境预测结果对应的评分，作为驾驶风险分值。
可选地，分值确定模块34包括：
分值计算单元，用于采用如下公式计算目标行为分值：
Final_Score＝α*(FacekydScore/100)*DMSScore+β*DriveEnvScore
其中，Final_Score为目标行为分值，Facekyd_Score为辅助识别分值，DMSScore为异常行为分值，DriveEnv_Score为驾驶风险分值，其中，α和β为预设的加权参数，且α和β的取值范围均为(0，1)。
关于驾驶安全的监控装置的具体限定可以参见上文中对于驾驶安全的监控方法的限定，在此不再赘述。上述驾驶安全的监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的驾驶安全的监控方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种驾驶安全的监控方法，其特征在于，所述驾驶安全的监控方法包括：
获取驾驶过程中的实时视频流，并采集驾驶场景数据；
根据所述实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据所述实时视频流对驾驶行为进行分析，得到异常行为分值；
将所述驾驶场景数据输入到驾驶场景风险预警模型中，所述驾驶场景风险预警模型为第一卷积神经网络模型，所述第一卷积神经网络模型包括输入层、卷积层、全连接层和输出层，所述输出层预设有M个类别标签，以及每个类别标签对应一个分值，通过所述输出层接收所述全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为所述驾驶场景数据对应的驾驶风险分值，其中，M为大于1的正整数；
基于所述辅助识别分值、所述异常行为分值和所述驾驶风险分值，确定目标行为分值；
将所述目标行为分值与预设预警阈值进行对比，若所述目标行为分值超过所述预设预警阈值，则发送预警提示信息，并执行实时预警措施。
2.如权利要求1所述的驾驶安全的监控方法，其特征在于，所述根据所述实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值包括:
按照预设的时间间隔，从所述实时视频流中，抽取基础视频帧；
对每个所述基础视频帧进行人脸检测，将每个包含人脸图像的基础视频帧，作为目标视频帧；
对每个所述目标视频帧进行人脸特征检测，得到每个所述目标视频帧对应的目标人脸特征；
根据所有所述目标人脸特征，确定所述辅助识别分值。
3.如权利要求2所述的驾驶安全的监控方法，其特征在于，所述对每个所述目标视频帧进行人脸特征检测，得到每个所述目标视频帧对应的目标人脸特征包括:
通过第二卷积神经网络模型，对所述目标视频帧进行人脸特征单元识别，得到每个所述目标视频帧中包含的待识别单元集合；
根据预设的特征单元组合集合中，每个预设的特征单元组合与每个人脸特征之间的映射关系，确定所述目标视频帧中包含的所述待识别单元集合对应的特征单元组合，作为目标人脸特征。
4.如权利要求1所述的驾驶安全的监控方法，其特征在于，所述根据所述实时视频流对驾驶行为进行分析，得到异常行为分值包括：
按照预设的时间间隔，从所述实时视频流中，抽取所述基础视频帧；
采用疲劳驾驶预警系统DMS，对所述基础视频帧进行异常行为分析，得到分析结果；
根据所述分析结果中包含的异常行为种类，以及每种异常行为对应的次数，确定异常行为分值。
5.如权利要求1所述的驾驶安全的监控方法，其特征在于，所述全连接层包括n个预设的分类器，所述输出层输出所述驾驶风险分值，其中，n为大于1的正整数；
所述将所述驾驶场景数据输入到驾驶场景风险预警模型中，通过所述输出层接收所述全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为所述驾驶场景数据对应的驾驶风险分值包括：
通过输入层从所述驾驶场景数据中提取多通道数据，并将所述多通道数据传递给所述卷积层；
在所述卷积层对所述多通道数据进行卷积处理，得到卷积后的卷积数据；
对所述卷积数据进行特征提取，得到特征数据；
使用所述全连接层的n个分类器对所述特征数据进行相似度计算，得到所述特征数据属于该分类器对应的类别标签的概率，共得到n个所述概率，其中，每个分类器对应一种驾驶风险类别的类别标签，n-1个分类器对应的驾驶风险类别的类别标签为异常行为类别的类别标签，1个分类器对应的驾驶风险类别的类别标签为正常行为类别的类别标签；
通过所述输出层接收n个所述概率，并从n个所述概率中，选取概率最大的类别标签作为所述驾驶场景数据对应的驾驶环境预测结果；
通过所述输出层，根据预设的每个所述类别标签对应的分值，确定所述驾驶环境预测结果对应的评分，作为所述驾驶风险分值。
6.如权利要求1至5任一项所述的驾驶安全的监控方法，其特征在于，所述基于所述辅助识别分值、所述异常行为分值和所述驾驶风险分值，确定目标行为分值包括：
采用如下公式计算所述目标行为分值：
Final_Score＝α*(FacekydScore/100)*DMSScore+β*DriveEnvScore
其中，Final_Score为所述目标行为分值，Facekyd_Score为所述辅助识别分值，DMSScore为所述异常行为分值，DriveEnv_Score为所述驾驶风险分值，其中，α和β为预设的加权参数，且α和β的取值范围均为(0，1)。
7.一种驾驶安全的监控装置，其特征在于，所述驾驶安全的监控装置包括：
数据获取模块，用于获取驾驶过程中的实时视频流，并采集驾驶场景数据；
视频流分析模块，用于根据所述实时视频流进行人脸特征检测，确定检测到的人脸特征对应的辅助识别分值，并根据所述实时视频流对驾驶行为进行分析，得到异常行为分值；
场景分析模块，用于将所述驾驶场景数据输入到驾驶场景风险预警模型中，所述驾驶场景风险预警模型为第一卷积神经网络模型，所述第一卷积神经网络模型包括输入层、卷积层、全连接层和输出层，所述输出层预设有M个类别标签，以及每个类别标签对应一个分值，通过所述输出层接收所述全连接层输出的每个类别标签的概率，并将概率最大的类别标签对应的分值，确定为所述驾驶场景数据对应的驾驶风险分值，其中，M为大于1的正整数；
分值确定模块，用于基于所述辅助识别分值、所述异常行为分值和所述驾驶风险分值，确定目标行为分值；
实时预警模块，用于将所述目标行为分值与预设预警阈值进行对比，若所述目标行为分值超过所述预设预警阈值，则发送预警提示信息，并执行实时预警措施。
8.如权利要求7所述的驾驶安全的监控装置，其特征在于，所述视频流分析模块包括：
第一帧图像获取单元，用于按照预设的时间间隔，从所述实时视频流中，抽取基础视频帧；
目标帧确定单元，用于对每个所述基础视频帧进行人脸检测，将每个包含人脸图像的基础视频帧，作为目标视频帧；
人脸特征检测单元，用于对每个所述目标视频帧进行人脸特征检测，得到每个所述目标视频帧对应的目标人脸特征；
辅助识别分值确定单元，用于根据所有所述目标人脸特征，确定所述辅助识别分值。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的驾驶安全的监控方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的驾驶安全的监控方法。
CN202010027457.7A 2020-01-10 驾驶安全的监控方法、装置、计算机设备及存储介质 Active CN111274881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010027457.7A CN111274881B (zh) 2020-01-10 驾驶安全的监控方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010027457.7A CN111274881B (zh) 2020-01-10 驾驶安全的监控方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111274881A true CN111274881A (zh) 2020-06-12
CN111274881B CN111274881B (zh) 2024-05-31

Family

ID=

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111830924A (zh) * 2020-08-04 2020-10-27 郑州信大先进技术研究院 建筑工程内部设施的统一管理与联动控制系统及方法
CN112070442A (zh) * 2020-09-14 2020-12-11 恒瑞通（福建）信息技术有限公司 一种食品安全方面的运输过程监管方法及终端
CN112099629A (zh) * 2020-09-11 2020-12-18 河北冀联人力资源服务集团有限公司 一种提供工作操作指引的方法和系统
CN112100857A (zh) * 2020-09-17 2020-12-18 燕山大学 一种分心驾驶行为的风险评估方法
CN112232259A (zh) * 2020-10-27 2021-01-15 南京领行科技股份有限公司 一种网约车驾驶员行为监测的方法和装置及设备
CN112677981A (zh) * 2021-01-08 2021-04-20 浙江三一装备有限公司 用于作业机械安全驾驶的智能辅助方法及装置
CN112989307A (zh) * 2021-04-21 2021-06-18 北京金和网络股份有限公司 业务信息处理方法、装置及终端
CN113313087A (zh) * 2021-07-28 2021-08-27 江西科技学院 无人驾驶汽车的乘客行为监督方法与装置
CN113313012A (zh) * 2021-05-26 2021-08-27 北京航空航天大学 一种基于卷积生成对抗网络的危险驾驶行为识别方法
CN113361086A (zh) * 2021-05-31 2021-09-07 重庆长安汽车股份有限公司 一种智能驾驶行车安全约束方法及系统、车辆
CN113516080A (zh) * 2021-07-16 2021-10-19 上海高德威智能交通系统有限公司 一种行为检测方法和装置
CN113610006A (zh) * 2021-08-09 2021-11-05 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法
CN113850198A (zh) * 2021-09-27 2021-12-28 平安科技（深圳）有限公司 基于边缘计算的行为检测方法、装置、介质及计算机设备
WO2022036624A1 (zh) * 2020-08-20 2022-02-24 关健强 监控方法、装置、电子设备以及存储介质
WO2022078077A1 (zh) * 2020-10-15 2022-04-21 腾讯科技（深圳）有限公司 驾驶风险的预警方法、装置、计算设备及存储介质
CN114386763A (zh) * 2021-12-10 2022-04-22 斑马网络技术有限公司 一种车辆交互方法、车辆交互装置及存储介质
CN115512511A (zh) * 2021-06-07 2022-12-23 中移物联网有限公司 一种预警方法、装置、移动终端及可读存储介质
CN115565354A (zh) * 2022-11-18 2023-01-03 深圳智者行天下科技有限公司 一种基于人工智能的商用车驾驶员安全监测系统
CN117671594A (zh) * 2023-12-08 2024-03-08 中化现代农业有限公司 安全监控方法、装置、电子设备和存储介质
CN113850198B (zh) * 2021-09-27 2024-06-07 平安科技（深圳）有限公司 基于边缘计算的行为检测方法、装置、介质及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788176A (zh) * 2016-05-25 2016-07-20 厦门理工学院 疲劳驾驶监测提醒方法及系统
US20170132521A1 (en) * 2015-11-06 2017-05-11 Leauto Intelligent Technology (Beijing) Co. Ltd. Driving behavior evaluating method and device
WO2017193272A1 (zh) * 2016-05-10 2017-11-16 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN108860162A (zh) * 2018-07-18 2018-11-23 平安科技（深圳）有限公司 电子装置、基于用户驾驶行为的安全预警方法及存储介质
CN109409259A (zh) * 2018-10-11 2019-03-01 百度在线网络技术（北京）有限公司 驾驶监控方法、装置、设备及计算机可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132521A1 (en) * 2015-11-06 2017-05-11 Leauto Intelligent Technology (Beijing) Co. Ltd. Driving behavior evaluating method and device
WO2017193272A1 (zh) * 2016-05-10 2017-11-16 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
CN105788176A (zh) * 2016-05-25 2016-07-20 厦门理工学院 疲劳驾驶监测提醒方法及系统
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN108860162A (zh) * 2018-07-18 2018-11-23 平安科技（深圳）有限公司 电子装置、基于用户驾驶行为的安全预警方法及存储介质
CN109409259A (zh) * 2018-10-11 2019-03-01 百度在线网络技术（北京）有限公司 驾驶监控方法、装置、设备及计算机可读介质

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111830924A (zh) * 2020-08-04 2020-10-27 郑州信大先进技术研究院 建筑工程内部设施的统一管理与联动控制系统及方法
CN111830924B (zh) * 2020-08-04 2021-06-11 郑州信大先进技术研究院 建筑工程内部设施的统一管理与联动控制系统及方法
WO2022036624A1 (zh) * 2020-08-20 2022-02-24 关健强 监控方法、装置、电子设备以及存储介质
CN112099629A (zh) * 2020-09-11 2020-12-18 河北冀联人力资源服务集团有限公司 一种提供工作操作指引的方法和系统
CN112099629B (zh) * 2020-09-11 2024-04-16 河北冀联人力资源服务集团有限公司 一种提供工作操作指引的方法和系统
CN112070442A (zh) * 2020-09-14 2020-12-11 恒瑞通（福建）信息技术有限公司 一种食品安全方面的运输过程监管方法及终端
CN112100857A (zh) * 2020-09-17 2020-12-18 燕山大学 一种分心驾驶行为的风险评估方法
CN112100857B (zh) * 2020-09-17 2022-04-12 燕山大学 一种分心驾驶行为的风险评估方法
WO2022078077A1 (zh) * 2020-10-15 2022-04-21 腾讯科技（深圳）有限公司 驾驶风险的预警方法、装置、计算设备及存储介质
CN112232259A (zh) * 2020-10-27 2021-01-15 南京领行科技股份有限公司 一种网约车驾驶员行为监测的方法和装置及设备
CN112232259B (zh) * 2020-10-27 2022-06-07 南京领行科技股份有限公司 一种网约车驾驶员行为监测的方法和装置及设备
CN112677981A (zh) * 2021-01-08 2021-04-20 浙江三一装备有限公司 用于作业机械安全驾驶的智能辅助方法及装置
CN112989307B (zh) * 2021-04-21 2022-02-11 北京金和网络股份有限公司 业务信息处理方法、装置及终端
CN112989307A (zh) * 2021-04-21 2021-06-18 北京金和网络股份有限公司 业务信息处理方法、装置及终端
CN113313012A (zh) * 2021-05-26 2021-08-27 北京航空航天大学 一种基于卷积生成对抗网络的危险驾驶行为识别方法
CN113361086B (zh) * 2021-05-31 2024-05-28 重庆长安汽车股份有限公司 一种智能驾驶行车安全约束方法及系统、车辆
CN113361086A (zh) * 2021-05-31 2021-09-07 重庆长安汽车股份有限公司 一种智能驾驶行车安全约束方法及系统、车辆
CN115512511A (zh) * 2021-06-07 2022-12-23 中移物联网有限公司 一种预警方法、装置、移动终端及可读存储介质
CN113516080A (zh) * 2021-07-16 2021-10-19 上海高德威智能交通系统有限公司 一种行为检测方法和装置
CN113313087A (zh) * 2021-07-28 2021-08-27 江西科技学院 无人驾驶汽车的乘客行为监督方法与装置
CN113610006B (zh) * 2021-08-09 2023-09-08 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法
CN113610006A (zh) * 2021-08-09 2021-11-05 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法
CN113850198A (zh) * 2021-09-27 2021-12-28 平安科技（深圳）有限公司 基于边缘计算的行为检测方法、装置、介质及计算机设备
CN113850198B (zh) * 2021-09-27 2024-06-07 平安科技（深圳）有限公司 基于边缘计算的行为检测方法、装置、介质及计算机设备
CN114386763A (zh) * 2021-12-10 2022-04-22 斑马网络技术有限公司 一种车辆交互方法、车辆交互装置及存储介质
CN114386763B (zh) * 2021-12-10 2023-05-23 斑马网络技术有限公司 一种车辆交互方法、车辆交互装置及存储介质
CN115565354A (zh) * 2022-11-18 2023-01-03 深圳智者行天下科技有限公司 一种基于人工智能的商用车驾驶员安全监测系统
CN115565354B (zh) * 2022-11-18 2023-03-10 深圳智者行天下科技有限公司 一种基于人工智能的商用车驾驶员安全监测系统
CN117671594A (zh) * 2023-12-08 2024-03-08 中化现代农业有限公司 安全监控方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111310562B (zh) 基于人工智能的车辆驾驶风险管控方法及其相关设备
Omerustaoglu et al. Distracted driver detection by combining in-vehicle and image data using deep learning
CN110766912B (zh) 驾驶预警方法、设备及计算机可读存储介质
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
CN110866427A (zh) 一种车辆行为检测方法及装置
CN109766755B (zh) 人脸识别方法及相关产品
CN111488855A (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN112744174B (zh) 车辆碰撞监测方法、装置、设备及计算机可读存储介质
CN110781872A (zh) 一种双模态特征融合的驾驶员疲劳等级识别系统
CN111950348A (zh) 安全带的佩戴状态识别方法、装置、电子设备和存储介质
CN105117096A (zh) 一种基于图像识别的反跟踪方法及装置
CN112818839A (zh) 驾驶员违章行为识别方法、装置、设备及介质
CN111062319B (zh) 一种基于主动红外图像的驾驶员打电话检测方法
CN114373189A (zh) 一种行为检测方法、装置、终端设备及存储介质
CN110705416B (zh) 一种基于驾驶员面部图像建模的安全驾驶预警方法及系统
CN116597516A (zh) 训练方法、分类方法、检测方法、装置、系统及设备
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN111274881A (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN115019242A (zh) 一种交通场景的异常事件检测方法、装置和处理设备
CN114283361A (zh) 状态信息的确定方法和装置、存储介质及电子装置
CN111191603B (zh) 车内人员识别方法、装置、终端设备及介质
KR20190023362A (ko) 핸드폰을 이용한 차량운전 중 휴대폰 사용 경고장치 및 그 제어방법
CN111368590B (zh) 一种情绪识别方法、装置、电子设备及存储介质
CN113139488A (zh) 训练分割神经网络的方法及装置
CN112733722A (zh) 姿态识别方法、装置、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant