CN110443219B - 驾驶行为异常检测方法、装置及工业设备 - Google Patents

Abstract

本发明实施例提供的驾驶行为异常检测方法、装置及工业设备，涉及工业控制技术领域。该方法及装置通过获取驾驶员的视频信息以及工业设备的工况信息，并根据视频信息获取驾驶员的操作行为特征，根据工况信息获取工业设备的工作流程特征，然后对操作行为特征及工作流程特征进行特征融合得到驾驶员的驾驶行为特征，从而根据驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。从而，本发明通过结合驾驶员的操作行为以及工业设备的工况信息来监测驾驶员的驾驶状态，有助于规范驾驶员的驾驶行为，保障施工安全，提高工作效率。

Description

驾驶行为异常检测方法、装置及工业设备

技术领域

本发明涉及工业控制技术领域，具体而言，涉及一种驾驶行为异常检测方法、装置及工业设备。

背景技术

在现代施工作业过程中，几乎都会使用到各式各样的机械设备，像挖掘机、泵机、运输车等。不同机械设备在作业过程中都会面临不同工况，针对不同工况下的机械设备，其驾驶员所使用的操作流程也不相同。因此，在施工过程中，驾驶员能够及时地采用与当前工作流程相符合的操作对于机械设备的运作安全起着至关重要的作用，也能大大提高作业的生产效率。

目前，对于规范施工现场的驾驶员驾驶行为主要通过驾驶员自觉维护，辅助以现场监督人员检查。但是自觉维护的方式很大程度上依靠驾驶员自身的素质，这有很大不确定性。同时，人工检查的方式往往不能进行大批量人员监督，容易产生时间上的滞后性。

发明内容

有鉴于此，本发明的目的在于提供一种驾驶行为异常检测方法、装置及工业设备，以解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种驾驶行为异常检测方法，所述驾驶行为异常检测方法包括：

获取驾驶员的视频信息以及工业设备的工况信息；

根据所述视频信息获取所述驾驶员的操作行为特征；

根据所述工况信息获取所述工业设备的工作流程特征；

对所述操作行为特征及所述工作流程特征进行特征融合得到所述驾驶员的驾驶行为特征；

根据所述驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。

第二方面，本发明实施例还提供了一种驾驶行为异常检测装置，所述驾驶行为异常检测装置包括：

信息获取模块，用于获取驾驶员的视频信息以及工业设备的工况信息；

特征提取模块，用于根据所述视频信息获取所述驾驶员的操作行为特征；

所述特征提取模块还用于根据所述工况信息获取所述工业设备的工作流程特征；

特征融合模块，用于对所述操作行为特征及所述工作流程特征进行特征融合得到所述驾驶员的驾驶行为特征；

处理模块，用于根据所述驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。

第三方面，本发明实施例还提供了一种工业设备，包括处理器、视频采集模块以及工况信息采集模块，所述处理器与所述视频采集模块以及所述工况信息采集模块均电连接；

所述视频采集模块用于采集驾驶员的视频信息，并将所述视频信息传输至所述处理器；

所述工况信息采集模块用于采集所述工业设备的工况信息，并将所述工况信息传输至所述处理器；

所述处理器用于接收所述视频信息及所述工况信息；

所述处理器还用于根据所述视频信息获取所述驾驶员的操作行为特征；

所述处理器还用于根据所述工况信息获取所述工业设备的工作流程特征；

所述处理器还用于对所述操作行为特征及所述工作流程特征进行特征融合得到所述驾驶员的驾驶行为特征；

所述处理器还用于根据所述驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。

本发明实施例提供的驾驶行为异常检测方法、装置及工业设备，通过获取驾驶员的视频信息以及工业设备的工况信息，并根据视频信息获取驾驶员的操作行为特征，根据工况信息获取工业设备的工作流程特征，然后对操作行为特征及工作流程特征进行特征融合得到驾驶员的驾驶行为特征，从而根据驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。从而，本发明通过结合驾驶员的操作行为以及工业设备的工况信息来监测驾驶员的驾驶状态，有助于规范驾驶员的驾驶行为，保障施工安全，提高工作效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明提供的工业设备的电路结构框图。

图2为本发明提供的驾驶行为异常检测方法的流程图。

图3为图2中S202的具体流程图。

图4为图2中S203的具体流程图。

图5为本发明提供的驾驶行为异常检测方法进一步的流程图。

图6为本发明提供的驾驶行为异常检测装置的功能模块图。

图标：100-工业设备；110-处理器；120-视频采集模块；130-工况信息采集模块；200-驾驶行为异常检测装置；210-信息获取模块；220-特征提取模块；230-特征融合模块；240-处理模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明提供了一种工业设备100，能够自动检测驾驶员的驾驶行为。请参阅图1，为本发明提供的工业设备100的电路结构框图。工业设备100包括处理器110、视频采集模块120以及工况信息采集模块130，处理器110与视频采集模块120以及工况信息采集模块130均电连接。

视频采集模块120用于采集驾驶员的视频信息，并将视频信息传输至处理器110。

在一种可选的实施方式中，视频采集模块120包括摄像头、照相机等设备。

工况信息采集模块130用于采集工业设备100的工况信息，并将工况信息传输至处理器110。

具体地，工况信息包括但不限于电机转速、转轴方向、负载信息等等。对应地，工况信息采集模块130也包括但不仅限于转速传感器、陀螺仪、重量传感器等等。

处理器110用于接收视频采集模块120传输的视频信息，以及工况信息采集模块130采集的工况信息，并利用视频信息及工况信息得到驾驶行为检测结果，从而以此判断驾驶员的驾驶状态是否异常。

需要说明的是，本发明所述的工业设备100包括但不仅限于挖掘机、吊机等等。

本发明还提供了一种驾驶行为异常检测方法，应用于上述的工业设备100。请参阅图2，为本发明提供的驾驶行为异常检测方法的流程图。该驾驶行为异常检测方法包括：

S201，获取驾驶员的视频信息以及工业设备100的工况信息。

其中，视频信息包含了驾驶员当前的操作状态。具体地，视频信息为视频采集模块120采集并传输的。

工况信息用于反映工业设备100当前的运行状态。具体地，工况信息为工况信息采集模块130采集并传输的，且工况信息包括电机转速、转轴方向、负载信息等信息。

S202，根据视频信息获取驾驶员的操作行为特征。

请参阅图3，为S202的具体流程图。该S202包括：

S2021，对视频信息进行分帧操作得到多个视频帧。

具体地，将视频信息分割成n个连续的视频帧。

S2022，利用预建立的第二卷积神经网络提取每个视频帧的特征向量。

其中，特征向量可表征当前视频帧的包含的对象。特征向量是静态的，只能定格至当前帧中对象所处的状态。

S2023，利用预建立的第三卷积神经网络提取每个视频帧的光流特征。

光流特征是动态的，光流特征表征每个视频帧包含的对象的运行特征，如速度大小、方向等。

S2024，依据时序对多个光流特征及多个特征向量进行拼接得到操作行为特征。

因而，按照时序将光流特征和特征向量拼接后得到的操作行为特征，能表征驾驶员在一段时间内的驾驶行为，而非对某一瞬间的动作的定格。

S203，根据工况信息获取工业设备100的工作流程特征。

请参阅图4，为S203的具体流程图。其中，S203包括：

S2031，根据工况信息确定工业设备100的实际工况特征质心。

在一种可选的实施方式中，处理器110利用KNN算法，并根据工况信息确定工业设备100的实际工况特征质心。

需要说明的是，预先建立的工况特征质心库中包含工业设备100可能存在的所有的工况特征质心。在KNN算法中，需要根据工况信息计算目标与每种类型的工况特征质心的距离作为对象之间的非相似性指标，并以此确定目标对象的实际类别。其中，距离可以为欧氏距离或曼哈顿距离。

S2032，根据实际工况特征质心查找得到对应的神经网络。

具体地，当预建立的工况特征质心库中包含与实际工况特征质心匹配的工况特征质心时，将工况特征质心对应的神经网络确定为实际工况特征质心对应的神经网络。

例如，预建立的工况特征质心库中包含A、B、C三类工况特征质心，且A、B、C三类工况特征质心分别对应有一个神经网络。则若实际工况特征质心为B类，那么根据实际工况特征质心查找得到对应的神经网络即为B类工况特征质心对应的神经网络。

在一种可选的实施方式中，神经网络可以通过自编码器(AutoEncoder)实现。同时，不同的神经网络的参数不同。

S2033，利用神经网络从工况信息中提取得到工作流程特征。

可以理解地，该工作流程特征便反应了工业设备100当前的工作状态。

S204，对操作行为特征及工作流程特征进行特征融合得到驾驶员的驾驶行为特征。

特征融合的目的在于将工况信息和视频信息进行整合，经过特征融合后的驾驶行为特征同时包含驾驶员的操作行为特征以及工业设备100的工作流程特征，更易于分析。

具体地，可利用特征融合算法对操作行为特征及工作流程特征进行特征融合。常见的特征融合算法包括但不限于基于贝叶斯决策理论的算法、基于稀疏表示理论的算法或是基于深度学习理论的算法等等。

S205，根据驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。

实际上，预建立的第一神经网络用于对驾驶行为特征进行分类并得到分类结果，该分类结果即为驾驶行为检测结果。

在一种可选的实施方式中，若驾驶行为检测结果为异常驾驶，则获取驾驶员的身份信息，并将驾驶行为检测结果及身份信息传输至监控终端。

通过将驾驶行为检测结果及身份信息传输至监控终端，可对驾驶员的异常驾驶状态进行监控。

在另一种可选的实施方式中，若驾驶行为检测结果为异常驾驶，还会生成异常提示信息，以提示驾驶员当前的驾驶行为不当，及时更正。

此外，在S201之前，本发明提供的驾驶行为异常检测方法还包括如何建立工况特征质心库的流程。请参阅图5，本发明提供的驾驶行为异常检测方法还包括：

S501，获取测试工况信息。

S502，根据测试工况信息，并利用预先设定的聚类算法确定工业设备100包含的所有的工况特征质心。

在一种可选的实施方式中，利用K-means聚类算法对测试工况信息进行分析，可得到工业设备100包含的所有的工况特征质心。

从而，以工业设备100为挖掘机为例。挖掘机工作一般包含挖掘、转向、卸载以及回转四个流程。其中，转向流程和回转流程除转轴方向不一致以外，其他工况信息都类似，因此可以归为同一类型。从而，根据K-means聚类算法，就可以将挖掘机的工作流程分为三类，且每个工作流程对应有不同的工况特征质心。也就是说，利用K-means聚类算法即可获得三类不同的工况特征质心。

S503，根据所有的工况特征质心生成工况特征质心库。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种驾驶行为异常检测装置200的实现方式，可选地，该驾驶行为异常检测装置200可以采用上述图1所示的处理器110的器件结构。

进一步地，请参阅图6，图6为本发明提供的驾驶行为异常检测装置200的功能模块图。需要说明的是，本实施例所提供的驾驶行为异常检测装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该驾驶行为异常检测装置200包括：信息获取模块210、特征提取模块220、特征融合模块230以及处理模块240。

其中，信息获取模块210用于获取驾驶员的视频信息以及工业设备100的工况信息。

可以理解地，在一种可选的实施方式中，信息获取模块210可用于执行S201。

特征提取模块220用于根据视频信息获取驾驶员的操作行为特征。

具体地，特征提取模块220用于对视频信息进行分帧操作得到多个视频帧，并利用预建立的第二卷积神经网络提取每个视频帧的特征向量，以及利用预建立的第三卷积神经网络提取每个视频帧的光流特征，从而依据时序对多个光流特征及多个特征向量进行拼接得到操作行为特征。

可以理解地，在一种可选的实施方式中，特征提取模块220可用于执行S202、S2021、S2022、S2023以及S2024。

特征提取模块220还用于根据工况信息获取工业设备100的工作流程特征。

具体地，特征提取模块220用于根据工况信息确定工业设备100的实际工况特征质心，并根据实际工况特征质心查找得到对应的神经网络，最后利用神经网络从工况信息中提取得到工作流程特征。

可以理解地，在一种可选的实施方式中，特征提取模块220可用于执行S203、S2031、S2032、S2033。

特征融合模块230用于对操作行为特征及工作流程特征进行特征融合得到驾驶员的驾驶行为特征。

可以理解地，在一种可选的实施方式中，特征融合模块230可用于执行S204。

处理模块240用于根据驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。

可以理解地，在一种可选的实施方式中，处理模块240可用于执行S205。

综上所述，本发明实施例提供的驾驶行为异常检测方法、装置及工业设备，通过获取驾驶员的视频信息以及工业设备的工况信息，并根据视频信息获取驾驶员的操作行为特征，根据工况信息获取工业设备的工作流程特征，然后对操作行为特征及工作流程特征进行特征融合得到驾驶员的驾驶行为特征，从而根据驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。从而，本发明通过结合驾驶员的操作行为以及工业设备的工况信息来监测驾驶员的驾驶状态，有助于规范驾驶员的驾驶行为，保障施工安全，提高工作效率。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种驾驶行为异常检测方法，其特征在于，所述驾驶行为异常检测方法包括：

获取驾驶员的视频信息以及工业设备的工况信息；

根据所述视频信息获取所述驾驶员的操作行为特征；

根据所述工况信息获取所述工业设备的工作流程特征；

对所述操作行为特征及所述工作流程特征进行特征融合得到所述驾驶员的驾驶行为特征；

根据所述驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果；

所述根据所述工况信息获取所述工业设备的工作流程特征的步骤包括：

根据所述工况信息确定所述工业设备的实际工况特征质心；

根据所述实际工况特征质心查找得到对应的神经网络；

利用所述神经网络从所述工况信息中提取得到所述工作流程特征。

2.根据权利要求1所述的驾驶行为异常检测方法，其特征在于，所述根据所述实际工况特征质心查找得到对应的神经网络的步骤包括：

当预建立的工况特征质心库中包含与所述实际工况特征质心匹配的工况特征质心时，将所述工况特征质心对应的神经网络确定为所述实际工况特征质心对应的神经网络。

3.根据权利要求2所述的驾驶行为异常检测方法，其特征在于，在所述根据所述工况信息获取所述工业设备的工作流程特征的步骤之前，所述方法还包括：

获取测试工况信息；

根据所述测试工况信息，并利用预先设定的聚类算法确定所述工业设备包含的所有的工况特征质心；

根据所述所有的工况特征质心生成所述工况特征质心库。

4.根据权利要求1所述的驾驶行为异常检测方法，其特征在于，所述根据所述视频信息获取所述驾驶员的操作行为特征的步骤包括：

对所述视频信息进行分帧操作得到多个视频帧；

利用预建立的第二卷积神经网络提取每个所述视频帧的特征向量；

利用预建立的第三卷积神经网络提取每个所述视频帧的光流特征；

依据时序对所述多个光流特征及所述多个特征向量进行拼接得到所述操作行为特征。

5.根据权利要求1-3任意一项所述的驾驶行为异常检测方法，其特征在于，所述方法还包括：

若所述驾驶行为检测结果为异常驾驶，则获取所述驾驶员的身份信息，并将所述驾驶行为检测结果及所述身份信息传输至监控终端。

6.一种驾驶行为异常检测装置，其特征在于，所述驾驶行为异常检测装置包括：

信息获取模块，用于获取驾驶员的视频信息以及工业设备的工况信息；

特征提取模块，用于根据所述视频信息获取所述驾驶员的操作行为特征；

所述特征提取模块还用于根据所述工况信息获取所述工业设备的工作流程特征；

所述特征提取模块还具体用于根据所述工况信息确定所述工业设备的实际工况特征质心；根据所述实际工况特征质心查找得到对应的神经网络；利用所述神经网络从所述工况信息中提取得到所述工作流程特征；

特征融合模块，用于对所述操作行为特征及所述工作流程特征进行特征融合得到所述驾驶员的驾驶行为特征；

处理模块，用于根据所述驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。

7.根据权利要求6所述的驾驶行为异常检测装置，其特征在于，所述特征提取模块用于当预建立的工况特征质心库中包含与所述实际工况特征质心匹配的工况特征质心时，将所述工况特征质心对应的神经网络确定为所述实际工况特征质心对应的神经网络。

8.一种工业设备，其特征在于，包括处理器、视频采集模块以及工况信息采集模块，所述处理器与所述视频采集模块以及所述工况信息采集模块均电连接；

所述视频采集模块用于采集驾驶员的视频信息，并将所述视频信息传输至所述处理器；

所述工况信息采集模块用于采集所述工业设备的工况信息，并将所述工况信息传输至所述处理器；

所述处理器用于接收所述视频信息及所述工况信息；

所述处理器还用于根据所述视频信息获取所述驾驶员的操作行为特征；

所述处理器还用于根据所述工况信息获取所述工业设备的工作流程特征；

所述处理器还具体用于根据所述工况信息确定所述工业设备的实际工况特征质心；根据所述实际工况特征质心查找得到对应的神经网络；利用所述神经网络从所述工况信息中提取得到所述工作流程特征；

所述处理器还用于对所述操作行为特征及所述工作流程特征进行特征融合得到所述驾驶员的驾驶行为特征；

所述处理器还用于根据所述驾驶行为特征，并利用预建立的第一神经网络得到驾驶行为检测结果。

Images