CN113887286A - 基于在线视频理解网络的驾驶员行为监控方法 - Google Patents
基于在线视频理解网络的驾驶员行为监控方法 Download PDFInfo
- Publication number
- CN113887286A CN113887286A CN202111012860.3A CN202111012860A CN113887286A CN 113887286 A CN113887286 A CN 113887286A CN 202111012860 A CN202111012860 A CN 202111012860A CN 113887286 A CN113887286 A CN 113887286A
- Authority
- CN
- China
- Prior art keywords
- image data
- feature extraction
- online video
- extraction result
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于在线视频理解网络的驾驶员行为监控方法，包括：获取在线视频数据；将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到当前帧图像数据的特征提取结果；以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的图像数据的特征提取结果，得到当前帧图像数据的组合特征提取结果；将组合特征提取结果输入在线视频理解网络中的目标预测网络，得到当前帧图像数据的事件监控任务得分；根据事件监控任务得分，得出驾驶员行为监控结果。本发明通在不过多耗费计算资源的前提下，将每一帧的特征与全部历史帧的特征相结合，并基于结合后的特征进行目标预测，从而实现了轻量化、高效率、快速迭代、延续性好的驾驶员行为监控。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于在线视频理解网络的驾驶员行为监控方法。
背景技术
座舱内驾驶员行为识别是保证驾驶员安全的关键，算法需要对驾驶员行为进行实时的监控识别，并且进行适时的报警，减少驾驶员的不安全驾驶行为，例如抽烟、打电话、疲劳闭眼、打哈欠、摄像头遮挡、注意力分散、阳光直射、摄像头角度是否正确、驾驶员是否位于摄像头内等行为。
为了实现舱内驾驶员行为监控的目的，现有技术提供了一些利用人脸关键点、抽烟检测/分类或者手机检测/分类的算法，结合后处理逻辑进行行为的判断与识别。
但现有技术中存在着后处理的逻辑调整复杂、计算资源需求高的问题，使得车辆移动设备端的驾驶员行为监控模型部署困难，无法兼顾监控结果的准确率和处理速度。
因此，如何提供一种轻量化的驾驶员行为监控方法，以实现低计算资源需求、快速处理、准确率高的车载移动设备监控，成为业内亟需解决的问题。
发明内容
本发明提供一种基于在线视频理解网络的驾驶员行为监控方法，用以解决现有技术中车辆移动设备端的驾驶员行为监控模型部署困难，无法兼顾监控结果的准确率和处理速度的缺陷，实现低计算资源需求、快速处理、准确率高的驾驶员行为监控。
本发明提供一种基于在线视频理解网络的驾驶员行为监控方法，包括：
获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；
将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；
以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；
将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；
根据所述事件监控任务得分，得出驾驶员行为监控结果；
所述在线视频理解网络是通过在线视频样本训练得到的。
根据本发明提供的一种基于在线视频理解网络的驾驶员行为监控方法，所述以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果的步骤包括：
确定当前帧的序号i为1，则通过所述特征提取网络获取基准图像的特征提取结果，作为历史特征集合；所述基准图像为尺寸与所述图像数据相同的全黑图像；
确定当前帧的序号i不为1，则通过所述特征提取网络获取第i-1帧图像数据的特征提取结果，作为历史特征集合；
以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果。
根据本发明提供的一种基于在线视频理解网络的驾驶员行为监控方法，所述以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果的步骤包括：
以第一组合历史特征集合覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果；
所述第一组合历史特征包括所述历史特征集合中的第j个子特征；所述第j个子特征为所述特征提取网络的第j个特征提取层输出的结果；其中，j为组合序号集合中元素，且所述组合序号集合为特征提取层序号集合的真子集。
根据本发明提供的一种基于在线视频理解网络的驾驶员行为监控方法，所述以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果的步骤包括：
以第二组合历史特征集合覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果；
所述第二组合历史特征包括所述历史特征集合中子特征的设定部分；所述子特征为所述特征提取网络中单个特征提取层输出的结果。
根据本发明提供的一种基于在线视频理解网络的驾驶员行为监控方法，所述事件监控任务包括驾驶员吸烟监控任务、驾驶员拨打手持电话监控任务、驾驶员注意力分散监控任务、驾驶员疲劳监控任务、阳光直射监控任务、视频采集设备遮挡监控任务以及视频采集设备角度异常监控任务。
根据本发明提供的一种基于在线视频理解网络的驾驶员行为监控方法，所述根据所述事件监控任务得分，得出驾驶员行为监控结果的步骤包括：
判断所述事件监控任务得分，若设定数量的连续帧的所述事件监控任务得分均大于阈值，则将事件发生作为驾驶员行为监控结果；否则，则将事件未发生作为驾驶员行为监控结果。
本发明还提供一种基于在线视频理解网络的驾驶员行为监控系统，包括：
数据获取模块，用于获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；
特征提取模块，用于将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；
特征覆盖模块，用于以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；
目标预测模块，用于将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；
监控结果模块，用于根据所述事件监控任务得分，得出驾驶员行为监控结果；
所述在线视频理解网络是通过在线视频样本训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于在线视频理解网络的驾驶员行为监控方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于在线视频理解网络的驾驶员行为监控方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于在线视频理解网络的驾驶员行为监控方法的步骤。
本发明提供的基于在线视频理解网络的驾驶员行为监控方法，通过将历史帧特征提取结果的一部分覆盖到当前帧的特征提取结果，在不过多耗费计算资源的前提下，将每一帧的特征与全部历史帧的特征相结合，并基于结合后的特征进行目标预测，从而实现了轻量化、高效率、快速迭代、延续性好的舱内驾驶员行为监控。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于在线视频理解网络的驾驶员行为监控方法的流程示意图；
图2是本发明实施例提供的在线视频理解网络的结构示意图；
图3是本发明实施例提供的基于通道的特征组合示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的基于在线视频理解网络的驾驶员行为监控方法。
如图1所示，本发明实施例提供一种基于在线视频理解网络的驾驶员行为监控方法，包括
步骤101，获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；
步骤103，将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；
步骤105，以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；
步骤107，将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；
步骤109，根据所述事件监控任务得分，得出驾驶员行为监控结果；
图2示出了本实施例提供的在线视频理解网络的结构示意图，所述在线视频理解网络是通过在线视频样本训练得到的。
本实施例的执行主体可以为车辆端移动设备中运行的监控程序；步骤101中获取的在线视频数据是指车辆移动端实时获取的舱内驾驶员视频。
本实施例中的所述在线视频数据包括至少两个相连帧的图像数据可以理解为，本实施例的方法至少需要以车辆移动端实时获取的舱内驾驶员视频中的当前帧和当前帧的前一帧这两帧数据为基础，进行基于特征组合的驾驶员行为监控。
实际使用中，在视频采集设备已经开启的前提下，由于第i帧图像数据的组合特征提取结果包括第i-1帧的图像数据特征提取结果的一部分，而第i-1帧的图像数据特征提取结果同样为组合特征提取结果，即第i-1帧的图像数据特征提取结果同样包括第i-2帧的图像数据特征提取结果的一部分，以此类推可知，本实施例中每一帧图像数据得出的事件监控任务得分，都是基于该帧图像和该帧图像前的全部帧的特征组合，输入目标预测网络得出的。
通过这种设置，结合了历史帧数据得到的目标预测结果，可以显著减少由单帧图像数据的噪声等不利原因影响造成的误判。
同时，距离当前帧越远的历史帧特征提取结果在当前帧的组合特征提取结果中所占比例越小，这使得较早帧的特征被稀释，能够避免历史帧对当前帧判定结果的不利影响。
值得一提的是，虽然基于相邻帧融合的特征提取同样能够达到类似的减少误判的效果，但相邻帧融合方案(即直接融合历史帧特征和当前帧特征)相比于本实施例具有如下两个缺点：
1、较早帧的特征稀释效应相对更弱，可能造成历史帧对当前帧目标预测结果的不利影响；
2、历史帧特征与当前帧特征融合过程所需的计算量远大于本实施例的方法(即以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果)，从而使得相邻帧融合方案在车载移动端的部署更为困难，更难权衡监控结果的准确率和处理速度。
本实施例的有益效果在于：
本实施例通过将历史帧特征提取结果的一部分覆盖到当前帧的特征提取结果，在不过多耗费计算资源的前提下，将每一帧的特征与全部历史帧的特征相结合，并基于结合后的特征进行目标预测，从而实现了轻量化、高效率、快速迭代、延续性好的舱内驾驶员行为监控。
根据上述实施例，在本实施例中：
所述以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果的步骤包括：
确定当前帧的序号i为1，则通过所述特征提取网络获取基准图像的特征提取结果，作为历史特征集合；所述基准图像为尺寸与所述图像数据相同的全黑图像；
确定当前帧的序号i不为1，则通过所述特征提取网络获取第i-1帧图像数据的特征提取结果，作为历史特征集合；
以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果。
以上提供了第一帧的特征组合步骤。
本实施例中，特征的组合可以通过如下两种方式实现。
第一种方式中，所述以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果的步骤包括：
以第一组合历史特征集合覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果；
所述第一组合历史特征包括所述历史特征集合中的第j个子特征；所述第j个子特征为所述特征提取网络的第j个特征提取层输出的结果；其中，j为组合序号集合中元素，且所述组合序号集合为特征提取层序号集合的真子集。
第一种方式可以简单理解为：
首先，根据特征提取网络中特征提取层的数量和连接关系，选定部分序号的特征提取层作为组合基础层，并将组合基础层的序号集合作为组合序号集合；
随后，将第i-1帧在组合基础层的特征提取结果覆盖至第i帧的特征提取结果中，对应组合基础层的部分。
也就是说，第一种方式选取了一部分特征提取层用作特征组合。
在本实施例的一个优选方案中，特征提取层的选择应当同时考虑深层特征和浅层特征，以达到更佳的特征组合效果，有利于提升最终的目标预测准确率。例如，对于包括12个特征提取层的特征提取网络，选取第3至第10这8个特征提取层作为组合基础层，组合序号集合包括3至10这8个元素。
如图3所示，第二种方式中，所述以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果的步骤包括：
以第二组合历史特征集合覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果；
所述第二组合历史特征包括所述历史特征集合中子特征的设定部分；所述子特征为所述特征提取网络中单个特征提取层输出的结果。
第二种方式可以简单理解为：
首先，将第i-1帧的特征提取结果中，针对每个特征提取层的输出特征，选取部分作为组合基础特征；
随后，针对第i帧的特征提取结果中的每个特征提取层的输出特征，以对应的第i-1帧的该特征提取层的输出特征的选取部分进行覆盖。
也就是说，第二种方式中，选取了每个特征提取层的输出特征中的一部分用作特征组合。
在本实施例的一个优选方案中，每个特征提取层的输出特征选取可以基于通道进行，选取每个特征提取层的部分通道，例如1/4比例的通道输出的特征，用作特征组合。
上述两种方式既可以分别使用，也可以组合使用。
本实施例的有益效果在于：
(1)利用深度学习算法，可以广泛利用大规模返回的真实报警数据，对cornercase泛化能力更好；
(2)减少了后处理逻辑调整的繁杂，单模型符合高内聚的设计，迭代快速；
(3)在线视频理解模型占用的计算量很低，与普通2D分类网络计算量相近，所以非常适合部署到设备端侧。
根据上述任一实施例，在本实施例中：
所述事件监控任务包括驾驶员吸烟监控任务、驾驶员拨打手持电话监控任务、驾驶员注意力分散监控任务、驾驶员疲劳监控任务、阳光直射监控任务、视频采集设备遮挡监控任务以及视频采集设备角度异常监控任务。
所述根据所述事件监控任务得分，得出驾驶员行为监控结果的步骤包括：
判断所述事件监控任务得分，若设定数量的连续帧的所述事件监控任务得分均大于阈值，则将事件发生作为驾驶员行为监控结果；否则，则将事件未发生作为驾驶员行为监控结果。
本实施例中，多个事件监控任务分别由目标预测网络的多个分支进行预测；驾驶员行为监控结果的得出也是基于每个事件监控任务分别得出的。
例如，设定连续20帧d额所述事件监控任务得分均大于阈值，则将事件发生作为驾驶员行为监控结果，以本实施例方法监控在线视频数据，第1至第20帧的驾驶员吸烟监控任务得分均大于阈值、驾驶员注意力分散监控任务均大于阈值，其余监控任务的得分不均大于阈值，则第20帧时，输出的驾驶员行为监控结果为驾驶员吸烟事件发生、驾驶员注意力分散事件发生、其余事件未发生。
本实施例的有益效果在于：
通过多任务分支，实现了单个模型下的多任务预测，有效减少了特征提取过程耗费的计算资源和时间，实现了高内聚的驾驶员行为监控。
下面对本发明提供的基于在线视频理解网络的驾驶员行为监控装置进行描述，下文描述的基于在线视频理解网络的驾驶员行为监控装置与上文描述的基于在线视频理解网络的驾驶员行为监控方法可相互对应参照。
本发明实施例提供了一种基于在线视频理解网络的驾驶员行为监控系统，其特征在于，包括：
数据获取模块，用于获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；
特征提取模块，用于将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；
特征覆盖模块，用于以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；
目标预测模块，用于将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；
监控结果模块，用于根据所述事件监控任务得分，得出驾驶员行为监控结果；
所述在线视频理解网络是通过在线视频样本训练得到的。
进一步地，所述特征覆盖模块包括：
初始帧子模块，用于确定当前帧的序号i为1，则通过所述特征提取网络获取基准图像的特征提取结果，作为历史特征集合；所述基准图像为尺寸与所述图像数据相同的全黑图像；
非初始帧子模块，用于确定当前帧的序号i不为1，则通过所述特征提取网络获取第i-1帧图像数据的特征提取结果，作为历史特征集合；
帧特征覆盖子模块，用于以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果。
所述帧特征覆盖子模块包括第一组合单元或者第二组合单元；
第一组合单元，用于以第一组合历史特征集合覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果；所述第一组合历史特征包括所述历史特征集合中的第j个子特征；所述第j个子特征为所述特征提取网络的第j个特征提取层输出的结果；其中，j为组合序号集合中元素，且所述组合序号集合为特征提取层序号集合的真子集。
第二组合单元，用于以第二组合历史特征集合覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果；所述第二组合历史特征包括所述历史特征集合中子特征的设定部分；所述子特征为所述特征提取网络中单个特征提取层输出的结果。
所述事件监控任务包括驾驶员吸烟监控任务、驾驶员拨打手持电话监控任务、驾驶员注意力分散监控任务、驾驶员疲劳监控任务、阳光直射监控任务、视频采集设备遮挡监控任务以及视频采集设备角度异常监控任务。
所述监控结果模块包括：
判断子模块，用于判断所述事件监控任务得分，若设定数量的连续帧的所述事件监控任务得分均大于阈值，则将事件发生作为驾驶员行为监控结果；否则，则将事件未发生作为驾驶员行为监控结果。
本实施例的有益效果在于：
通过将历史帧特征提取结果的一部分覆盖到当前帧的特征提取结果，在不过多耗费计算资源的前提下，将每一帧的特征与全部历史帧的特征相结合，并基于结合后的特征进行目标预测，从而实现了轻量化、高效率、快速迭代、延续性好的舱内驾驶员行为监控。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于在线视频理解网络的驾驶员行为监控方法，该方法包括：获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；根据所述事件监控任务得分，得出驾驶员行为监控结果；所述在线视频理解网络是通过在线视频样本训练得到的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于在线视频理解网络的驾驶员行为监控方法，该方法包括：获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；根据所述事件监控任务得分，得出驾驶员行为监控结果；所述在线视频理解网络是通过在线视频样本训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于在线视频理解网络的驾驶员行为监控方法，该方法包括：获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；根据所述事件监控任务得分，得出驾驶员行为监控结果；所述在线视频理解网络是通过在线视频样本训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于在线视频理解网络的驾驶员行为监控方法，其特征在于，包括：
获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；
将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；
以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；
将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；
根据所述事件监控任务得分，得出驾驶员行为监控结果；
所述在线视频理解网络是通过在线视频样本训练得到的。
2.根据权利要求1所述的基于在线视频理解网络的驾驶员行为监控方法，其特征在于，所述以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果的步骤包括：
确定当前帧的序号i为1，则通过所述特征提取网络获取基准图像的特征提取结果，作为历史特征集合；所述基准图像为尺寸与所述图像数据相同的全黑图像；
确定当前帧的序号i不为1，则通过所述特征提取网络获取第i-1帧图像数据的特征提取结果，作为历史特征集合；
以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果。
3.根据权利要求2所述的基于在线视频理解网络的驾驶员行为监控方法，其特征在于，所述以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果的步骤包括：
以第一组合历史特征集合覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果；
所述第一组合历史特征包括所述历史特征集合中的第j个子特征；所述第j个子特征为所述特征提取网络的第j个特征提取层输出的结果；其中，j为组合序号集合中元素，且所述组合序号集合为特征提取层序号集合的真子集。
4.根据权利要求2所述的基于在线视频理解网络的驾驶员行为监控方法，其特征在于，所述以历史特征集合中的设定部分覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果的步骤包括：
以第二组合历史特征集合覆盖第i帧所述图像数据的特征提取结果，得到第i帧所述图像数据的组合特征提取结果；
所述第二组合历史特征包括所述历史特征集合中子特征的设定部分；所述子特征为所述特征提取网络中单个特征提取层输出的结果。
5.根据权利要求1至4中任一项所述的基于在线视频理解网络的驾驶员行为监控方法，其特征在于，所述事件监控任务包括驾驶员吸烟监控任务、驾驶员拨打手持电话监控任务、驾驶员注意力分散监控任务、驾驶员疲劳监控任务、阳光直射监控任务、视频采集设备遮挡监控任务以及视频采集设备角度异常监控任务。
6.根据权利要求5所述的基于在线视频理解网络的驾驶员行为监控方法，其特征在于，所述根据所述事件监控任务得分，得出驾驶员行为监控结果的步骤包括：
判断所述事件监控任务得分，若设定数量的连续帧的所述事件监控任务得分均大于阈值，则将事件发生作为驾驶员行为监控结果；否则，则将事件未发生作为驾驶员行为监控结果。
7.一种基于在线视频理解网络的驾驶员行为监控系统，其特征在于，包括：
数据获取模块，用于获取在线视频数据；所述在线视频数据包括至少两个相连帧的图像数据；
特征提取模块，用于将当前帧图像数据输入在线视频理解网络中的特征提取网络，得到所述当前帧图像数据的特征提取结果；
特征覆盖模块，用于以历史帧图像数据的特征提取结果中的设定部分覆盖当前帧的所述图像数据的特征提取结果，得到所述当前帧图像数据的组合特征提取结果；
目标预测模块，用于将所述组合特征提取结果输入在线视频理解网络中的目标预测网络，得到所述当前帧图像数据的事件监控任务得分；
监控结果模块，用于根据所述事件监控任务得分，得出驾驶员行为监控结果；
所述在线视频理解网络是通过在线视频样本训练得到的。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于在线视频理解网络的驾驶员行为监控方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于在线视频理解网络的驾驶员行为监控方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于在线视频理解网络的驾驶员行为监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012860.3A CN113887286A (zh) | 2021-08-31 | 2021-08-31 | 基于在线视频理解网络的驾驶员行为监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012860.3A CN113887286A (zh) | 2021-08-31 | 2021-08-31 | 基于在线视频理解网络的驾驶员行为监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113887286A true CN113887286A (zh) | 2022-01-04 |
Family
ID=79011963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111012860.3A Pending CN113887286A (zh) | 2021-08-31 | 2021-08-31 | 基于在线视频理解网络的驾驶员行为监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113887286A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116170638A (zh) * | 2023-02-01 | 2023-05-26 | 山东大学 | 用于在线动作检测任务的自注意力视频流压缩方法及系统 |
-
2021
- 2021-08-31 CN CN202111012860.3A patent/CN113887286A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116170638A (zh) * | 2023-02-01 | 2023-05-26 | 山东大学 | 用于在线动作检测任务的自注意力视频流压缩方法及系统 |
| CN116170638B (zh) * | 2023-02-01 | 2024-04-30 | 山东大学 | 用于在线动作检测任务的自注意力视频流压缩方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11182592B2 (en) | Target object recognition method and apparatus, storage medium, and electronic device | |
| US20200380279A1 (en) | Method and apparatus for liveness detection, electronic device, and storage medium | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| CN112446352A (zh) | 行为识别方法、装置、介质及电子设备 | |
| KR102476022B1 (ko) | 얼굴검출 방법 및 그 장치 | |
| CN110503149B (zh) | 一种图像中局部特征分类方法及系统 | |
| CN112637568B (zh) | 基于多节点边缘计算设备的分布式安全监控方法和系统 | |
| CN110991385A (zh) | 一种识别船只行驶轨迹的方法、装置及电子设备 | |
| CN112712498A (zh) | 移动终端执行的车辆定损方法、装置、移动终端、介质 | |
| CN111047088A (zh) | 预测图像获取方法、装置、计算机设备和存储介质 | |
| CN110913209B (zh) | 摄像头遮挡检测方法、装置、电子设备及监控系统 | |
| CN113688820A (zh) | 频闪条带信息识别方法、装置和电子设备 | |
| CN113887286A (zh) | 基于在线视频理解网络的驾驶员行为监控方法 | |
| CN116758493B (zh) | 基于图像处理的隧道施工监测方法、装置及可读存储介质 | |
| CN110837760A (zh) | 目标检测方法、用于目标检测的训练方法和装置 | |
| CN111476060A (zh) | 人脸清晰度分析方法、装置、计算机设备及存储介质 | |
| CN113591647B (zh) | 人体动作识别方法、装置、计算机设备和存储介质 | |
| CN113283286B (zh) | 一种驾驶员异常行为检测方法和装置 | |
| CN112329729B (zh) | 小目标船只检测方法、装置及电子设备 | |
| CN114692757A (zh) | 一种异常驾驶行为的监测方法、装置及电子设备 | |
| CN114881103A (zh) | 一种基于通用扰动贴纸的对抗样本检测方法及装置 | |
| CN114612907A (zh) | 一种车牌识别方法及装置 | |
| CN114596638A (zh) | 人脸活体检测方法、装置及存储介质 | |
| WO2019228195A1 (zh) | 空间环境的感知方法及装置 | |
| CN113887292A (zh) | 基于离线视频理解网络的驾驶员行为二次监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |