CN114596239A - 装卸货事件检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种装卸货事件检测方法、装置、计算机设备和存储介质。所述方法包括：获取采集的事件图像序列；对事件图像序列中的各事件图像分别进行目标检测，确定各事件图像中事件目标的目标位置，得到事件图像对应的目标位置图像；对事件图像序列进行光流处理，得到各事件图像的光流信息图像；将各事件图像分别与对应的目标位置图像和光流信息图像进行融合，得到融合图像；根据融合后的各融合图像进行装卸货事件检测。采用本方法能够提高检测的准确性。

Description

装卸货事件检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种装卸货事件检测方法、装置、计算机设备和存储介质。

背景技术

在物流行业中，为了能够提高物流运转效率，通常需要对中转场的装卸货事件进行监控。通过监控以便精准了解到每个货箱的物流状况，例如装卸货开始时间与结束时间，从而统计分析物流各环节耗时来提高物流运转效率。为了提高效率和降低人力消耗，现有已采用通过判断目标移动的轨迹判断事件的方式来取缔传统的人工记录事件的方式。轨迹判断主要是通过判断目标移动的轨迹是否与特定的动线重合来确定所属于的事件。

然而，现有以轨迹来判断事件不仅需要制定复杂的轨迹信息，还需要限制摄像固定不抖动以及限制目标移动的路线。一旦摄像抖动或搬运路线偏差过大，都会降低检测的准确率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高检测的准确率的装卸货事件检测方法、装置、计算机设备和存储介质。

一种装卸货事件检测方法，所述方法包括：

获取事件图像序列；

对所述事件图像序列中的各事件图像分别进行目标检测，确定各所述事件图像中事件目标的目标位置，得到所述事件图像对应的目标位置图像；

对所述事件图像序列进行光流处理，得到各所述事件图像的光流信息图像；

将各所述事件图像分别与对应的所述目标位置图像和所述光流信息图像进行融合，得到融合图像；

根据融合后的各所述融合图像进行装卸货事件检测。

在其中一个实施例中，所述对所述事件图像序列中的各事件图像分别进行目标检测，确定各所述事件图像中事件目标的目标位置，得到所述事件图像对应的目标位置图像，包括：

将各所述事件图像分别输入训练好的目标检测网络中进行目标检测，输出所述事件图像中各事件目标的目标坐标框；

将所述事件图像中，各所述事件目标的所述目标坐标框的中心像素点坐标作为各所述事件目标的目标位置；

将所述事件图像中各所述事件目标的目标位置标记在空白图像上，得到所述事件图像对应的目标位置图像。

在其中一个实施例中，所述将所述事件图像中各所述事件目标的目标位置标记在空白图像上，得到所述事件图像对应的目标位置图像，包括：

新建单通道灰度图像，得到空白图像；

获取各所述事件目标的目标类别标识；

在所述空白图像上，将与各所述事件目标的目标位置相同的位置的像素值修改为各所述事件目标对应的所述目标类别标识，得到所述事件图像对应的目标位置图像。

在其中一个实施例中，所述对所述事件图像序列进行光流处理，得到各所述事件图像的光流信息图像，包括：

将所述事件图像序列输入光流算法接口进行光流计算，得到各所述事件图像的光流信息；所述光流信息包括像素在水平方向上的运动信息和所述像素在垂直方向上的运动信息；

将所述光流信息进行可视化，得到光流信息图像；所述光流信息图像包括水平方向对应的第一光流信息图像和垂直方向对应的第二光流信息图像。

在其中一个实施例中，所述将各所述事件图像分别与对应的所述目标位置图像和所述光流信息图像进行融合，得到融合图像，包括：

将所述事件图像以及对应的所述目标位置图像和所述光流信息图像进行图像处理；

按照预设顺序，将图像处理后的所述事件图像以及对应的所述目标位置图像和所述光流信息图像进行叠加合并，得到融合图像。

在其中一个实施例中，所述将所述事件图像以及对应的所述目标位置图像和所述光流信息图像进行图像处理，包括：

将所述事件图像转化为灰度图像后缩放到预设尺寸；

将所述事件图像对应的所述目标位置图像和所述光流信息图像分别缩放到所述预设尺寸。

在其中一个实施例中，所述光流信息图像包括第一光流信息图像和第二光流信息图像；

按照预设顺序，将图像处理后的所述事件图像以及对应的所述目标位置图像和所述光流信息图像进行叠加合并，得到融合图像，包括：

将图像处理后的所述事件图像作为第一层，将图像处理后的所述目标位置图像作为第二层，以及将图像处理后的所述第一光流信息图像和所述第二光流信息图像分别作为第三层和第四层；

按照从小到大的层数，将图像处理后的所述事件图像以及对应的所述目标位置图像和所述光流信息图像叠加合并为图层，得到融合图像。

在其中一个实施例中，根据融合后的各所述融合图像进行装卸货事件检测，包括：

调用训练好的神经网络模型，所述神经网络模型的输入通道数为四通道；

将所述融合图像输入至输入通道数为四通道的所述神经网络模型进行装卸货事件检测，得到检测结果；所述检测结果包括无事件、装货事件或卸货事件。

一种装卸货事件检测装置，所述装置包括：

获取模块，用于获取事件图像序列；

目标检测模块，用于对所述事件图像序列中的各事件图像分别进行目标检测，确定各所述事件图像中事件目标的目标位置，得到所述事件图像对应的目标位置图像；

光流处理模块，用于对所述事件图像序列进行光流处理，得到各所述事件图像的光流信息图像；

融合模块，用于将各所述事件图像分别与对应的所述目标位置图像和所述光流信息图像进行融合，得到融合图像；

事件检测模块，用于根据融合后的各所述融合图像进行装卸货事件检测。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述的装卸货事件检测方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的装卸货事件检测方法的步骤。

上述装卸货事件检测方法、装置、计算机设备和存储介质，在获取到事件图像序列之后，分别对事件图像序列中的各事件图像进行目标检测和光流处理，从而得到对应的目标位置图像和光流信息图像；进而在将各事件图像分别与对应的目标位置图像和光流信息进行图像融合，以得到的融合图像进行装卸货事件检测。该方法通过结合光学图像信息、光流信息和目标位置信息实现自动的装卸货事件检测，从而无需要制定复杂的轨迹信息，也不受摄像和目标移动路线的限值，从而提高了检测的准确性。

附图说明

图1为一个实施例中装卸货事件检测方法的应用环境图；

图2为一个实施例中装卸货事件检测方法的流程示意图；

图3为一个实施例中对事件图像序列中的各事件图像分别进行目标检测，确定各事件图像中事件目标的目标位置，得到事件图像对应的目标位置图像步骤的流程示意图；

图4为一个实施例中目标矩形框可视化示意图；

图5为一个实施例中空白图像标记事件目标的示意图；

图6a-6b为一个实施例中光流信息图像的示意图；

图7为一个实施例中将各事件图像分别与对应的目标位置图像和光流信息图像进行融合，得到融合图像步骤的流程示意图；

图8为一个实施例中融合图像的示意图；

图9为一个实施例中装卸货事件检测装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的装卸货事件检测方法，可以应用于如图1所示的应用环境中，包括摄像设备102，终端104和服务器106。其中，摄像设备102通过网络与终端104进行通信，终端104与服务器106通过网络进行通信。当摄像设备102采集到事件图像序列之后发送给终端104，可以有终端104根据事件图像序列单独实现装卸货事件检测方法。也可以由终端104将事件图像序列发送给服务器106，由服务器106实现装卸货事件检测方法。

具体地，以服务器106为例，服务器106从终端104获取摄像设备102采集的事件图像序列；服务器106对事件图像序列中的各事件图像分别进行目标检测，确定各事件图像中事件目标的目标位置，得到事件图像对应的目标位置图像；服务器106对事件图像序列进行光流处理，得到各事件图像的光流信息图像；服务器106将各事件图像分别与对应的目标位置图像和光流信息图像进行融合，得到融合图像；服务器106根据融合后的各融合图像进行装卸货事件检测。其中，摄像设备102可以但不限于是照相机、摄像机、以及带有摄像头的各种设备。终端104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种装卸货事件检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，获取采集的事件图像序列。

其中，事件图像序列是指包括多张连续事件图像的序列，各事件图像中包括事件对应的事件目标。不同的事件图像中包括的事件目标不相同，假设该事件图像中包括的事件为装卸货事件，则该事件图像中包括的事件目标不限于有运输交通工具(货车、飞机等)、板箱、装卸员、拖车、平台车等。

具体地，在事件发生地设置相应的摄像设备，通过摄像设备对事件发生地进行连续的图像采集，采集得到事件图像序列。然后，摄像设备将事件图像序列发送给终端设备，终端设备发送至服务器。应当理解的是，摄像设备也可以对事件发生地进行摄像，进而发送给终端的可能是摄像得到的视频流。终端可以对视频流进行处理得到包括连续事件图像的事件图像序列后发送给服务器。也可以直接将视频流作为事件图像序列发送给服务器，服务器接收到视频流之后自行处理视频流得到相应的事件图像序列。另外，对于没有与摄像设备通信的终端来说，也可以由人工上传的方式或者由与摄像设备通信的终端设备发送的方式获取到事件图像序列。

步骤S204，对事件图像序列中的各事件图像分别进行目标检测，确定各事件图像中事件目标的目标位置，得到事件图像对应的目标位置图像。

其中，目标检测是指对事件图像进行目标的检测和提取，得到该事件图像中事件目标的目标位置。

具体地，当服务器获取到事件图像序列之后，调用训练好用于进行目标检测网络。将事件图像序列中的各事件图像分别输入至目标检测网络进行目标检测，由目标检测网络输出事件图像所包括的事件目标的目标位置，得到已经标注出事件目标的目标位置的图像，即得到目标位置图像。

目标检测网络是预先训练好用于检测某种特定事件的事件目标的神经网络。由于本实施例用于检测装卸货事件，所以该目标检测网络是对装卸货事件中的事件目标进行检测的神经网络，包括但不限于YOLO(You Only Look Once，统一的实时目标检测)，R-CNN(Region-Convolutional Neural Networks，卷积神经网络目标检测)等模型。也就是说，本实施例以装卸货事件的事件目标为网络训练目标，对YOLO，RCNN等模型进行训练，得到本实施例中所需要的目标检测网络。用于训练神经网络的训练集以矩形框的方式标注出事件目标的位置和事件目标的所属类别。假设，以装卸货事件的事件目标为例，需要标注的目标类别包括装卸货事件的所有参与人员或实体，通常包括运输交通工具(货车、飞机)、货箱、装卸员、平台车、拖车等。

步骤S206，对事件图像序列进行光流处理，得到各事件图像的光流信息图像。

其中，光流处理是指利用光流算法对图像进行处理的过程，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

具体地，由于光流法是利用图像序列进行处理，所以当服务器获取到事件图像序列之后，利用光流算法对事件图像序列进行光流处理，得到各事件图像的光流信息图像。光流算法可以采用现有任意一种，本实施例优选TVL1(Total Variation L1，基于L1范数的全变分)光流算法。

步骤S208，将各事件图像分别与对应的目标位置图像和光流信息图像进行融合，得到融合图像。

具体地，当服务器通过目标检测、光流处理分别得到各事件图像对应的目标位置图像和光流信息图像之后，结合光学图像信息、光流信息和目标位置信息。将事件图像与对应的目标位置图像和光流信息图像进行图像融合。例如，将事件图像与对应的目标位置图像和光流信息图像进行合并或者相加，得到融合后的融合图像。

步骤S210，根据融合后的各融合图像进行装卸货事件检测。

具体地，当服务器得到融合后的融合图像之后，由于该融合图像同时结合了光学图像信息、光流信息和目标位置信息。因此，以该融合图像进行装卸货事件的检测，从而提高检测的准确性。装卸货事件的检测同样可以采用训练好的神经网络，将融合图像输入至该神经网络进行事件检测。由该神经网络输出检测结果，例如该事件图像中不包括装卸货事件，或者包括装货事件/卸货事件。

上述装卸货事件检测方法，在获取到事件图像序列之后，分别对事件图像序列中的各事件图像进行目标检测和光流处理，从而得到对应的目标位置图像和光流信息图像；进而在将各事件图像分别与对应的目标位置图像和光流信息进行图像融合，以得到的融合图像进行装卸货事件检测。该方法通过结合光学图像信息、光流信息和目标位置信息实现自动的装卸货事件检测，从而无需要制定复杂的轨迹信息，也不受摄像和目标移动路线的限值，从而提高了检测的准确性。

在一个实施例中，如图3所示，步骤S204包括以下步骤：

步骤S302，将各事件图像分别输入训练好的目标检测网络中进行目标检测，输出事件图像中各事件目标的目标坐标框。

其中，目标坐标框是以事件目标所在图像区域的坐标构成的矩形框，通过目标矩形框标记出事件目标在事件图像中的位置。

具体地，将各事件图像分别输入训练好的目标检测网络中进行目标检测，得由目标检测网络输出事件图像中各事件目标的目标检测框。参考图4，提供一种目标矩形框可视化示意图。图4即为将目标检测网络的检测结果可视化后的图像，其中的黑色矩形框即为各事件目标的目标矩形框。

步骤S304，将事件图像中，各事件目标的目标坐标框的中心像素点坐标作为各事件目标的目标位置。

其中，中心像素点坐标是指目标坐标框的中心像素点的坐标。

具体地，当经过目标检测得到事件图像中各事件目标的目标坐标框之后，由于目标坐标框之间通常避免不了区域重合，尤其是事件目标距离近的情况下。比如图4中飞机的目标坐标框与货箱的目标坐标框完全重合，而图像右边区域的装卸人员的目标坐标框与货箱的目标坐标框部分重叠。因此，为了避免目标坐标框区域重叠而降低检测的准确性，由各个事件目标的目标坐标框的中心像素点坐标作为各事件目标的目标位置。

步骤S306，将事件图像中各事件目标的目标位置标记在空白图像上，得到事件图像对应的目标位置图像。

其中，空白图像是指不包括任何对象的图像。具体地，新建空白图像，然后将确定的各事件目标的目标位置在空白图像中对应的位置标记出来，以在空白图像中表示各个事件目标。

在一个实施例中，步骤S306，包括：新建单通道灰度图像，得到空白图像；获取各事件目标的目标类别标识；在空白图像上，将与各事件目标的目标位置相同的位置的像素值修改为各事件目标对应的目标类别标识，得到事件图像对应的目标位置图像。

具体地，首先新建单通道灰度图像，即新建像素值全为0的图像，得到空白图像。而如果只是单纯的在空白图像中对应的位置标注出事件目标，并不能足以区分各个事件目标的类别。因此，在空白图像上标记之前，获取各个事件目标所属的目标类别标识。例如，0表示无目标，1表示运输交通工具，2表示货箱，3表示装卸员等等，具体地标识可以根据实际情况进行设定。然后，在空白图像上，将与各事件目标的目标位置对应的位置的像素值修改为该事件目标的目标类别标识。

如图5所示，提供一种空白图像标记事件目标的示意图。图5是以图4为例的示意图，图4中包括的事件目标有一架飞机、两个货箱和两个装卸员。以及交通工具的目标类别标识为1，货箱为2，装卸员为3。因此，图5中相应的有五个像素点的像素值被修改为目标类别标识。按照图4中各事件目标的目标位置，从左往右这五个被修改像素值的像素位置分别为3、1、2、2、3。至此，目标检测的结果信息即完整的保存在了一个单通道图像中。应当理解的是，为了便于图5示意，图中每个有值的像素均是用一个圆圈表示，圈中的数字表示该像素点的像素值。而除了像素值被修改为目标类别标识的像素之外，其他部分的像素值均为0。

本实施例中，通过以中心点作为事件目标的目标位置后，以修改像素值的方式将各事件目标标记在空白图像对应的位置上，不仅可以避免目标重叠还可以避免与事件无关的目标的影响，从而提高检测的准确性。

在一个实施例中，步骤S206包括：将事件图像序列输入光流算法接口进行光流计算，得到各事件图像的光流信息；光流信息包括像素在水平方向上的运动信息和像素在垂直方向上的运动信息；将光流信息进行可视化，得到光流信息图像；光流信息图像包括水平方向对应的第一光流信息图像和垂直方向对应的第二光流信息图像。

其中，光流算法接口是指封装了光流算法的接口，通过该接口即可调用光流算法进行光流计算的处理。

具体地，服务器将事件图像序列输入光流算法接口，由光流算法接口对应的光流算法对事件图像序列中各事件图像进行光流计算的处理，从而得到各个事件图像对应的光流信息。然后，为了以图像表示出事件图像的光流信息，将光流信息进行可视化后得到光流信息图像。然而，由于光流是计算出相邻帧之间物体的运动信息的方法。以及对于图像而言，像素的运动分为水平方向和垂直方向。因此，光流计算得到的光流信息包括两部分，一部分是U通道，表示像素在水平方向上的运动信息。另一部分是V通道，表示像素在垂直方向上的运动信息。所以，可视化后得到的光流信息图像包括水平方向对应的第一光流信息图像和垂直方向对应的第二光流信息图像。

如图6a-6b所示，提供一种光流信息图像的示意图，图6a-6b中，均匀灰色部分表示图像中的物体基本静止。图6a为U通道，表示图像中各区域在水平方向上的运动信息，即第一光流信息图像。图6a中比均值暗的部分表示此位置的物体在向左运动，比均值亮的部分表示此位置的物体在向右运动。图6b为V通道，即第二光流信息图像。图6b中比均值暗的部分表示此位置的物体在向上运动，比均值亮的部分表示此位置的物体在向下运动。本实施例中图6a-6b也是图4对应的光流信息图像，参考图4，由于图4中飞机舱附近的货箱在向右方运动，因此，图6a中与飞机舱门相对应的U通道对应区域像素值较亮。同样因为在垂直方向上基本无运动，所以在U通道对应区域无明显规律，只有一些干扰信息。

在一个实施例中，如图7所示，步骤S208，包括以下步骤：

步骤S702，将事件图像以及对应的目标位置图像和光流信息图像进行图像处理。

具体地，为了使得待融合的各事件图像，以及事件图像对应的目标位置图像和光流信息图像能够融合的更贴合。统一对事件图像以及对应的目标位置图像和光流信息图像进行图像处理，图像处理可采用现有任意一种或多种图像处理方法。

在一个实施例中，步骤S702包括：将事件图像转化为灰度图像后缩放到预设尺寸；将事件图像对应的目标位置图像和光流信息图像分别缩放到预设尺寸。

具体地，由于目标位置图像和光流信息图像为灰度图像，而事件图像是摄像设备直接拍摄的彩色图像，因此将事件图像统一转换为灰度图像。然后，将都为灰度图像的事件图像、目标位置图像和光流信息图像进行统一的尺寸缩放，得到大小一致的事件图像、目标位置图像和光流信息图像。例如，统一将事件图像、目标位置图像和光流信息图像的宽度和高度缩放为预设尺寸W*H，预设的宽度W和高度H可以视具体任务按照需求进行设定，在此不作限定。

步骤S704，按照预设顺序，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像进行叠加合并，得到融合图像。

具体地，当对事件图像、目标位置图像和光流信息图像进行图像处理之后，按照设定的预设顺序，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像进行叠加合并，得到融合图像。预设顺序可以是按照实际需求进行设定，比如从下往上分别可以是事件图像、目标位置图像和光流信息图像

在一个实施例中，步骤S704包括：将图像处理后的事件图像作为第一层，将图像处理后的目标位置图像作为第二层，以及将图像处理后的第一光流信息图像和第二光流信息图像分别作为第三层和第四层；按照从小到大的层数，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像叠加合并为图层，得到融合图像。

具体地，由于本实施例中融合图像是叠加合并得到，所以融合图像可以理解为是一个图层。当进行叠加合并时，按照预设顺序，将图像处理后的事件图像作为第一层，即叠加合并后的图层1。将图像处理后的目标位置图像作为第二层，即叠加合并后的图层2。以及，由于光流信息图像包括第一光流信息图像和第二光流信息图像，可以分别作为第三层和第四层，即叠加合并后的图层3和图层4。然后，根据从小到大的顺序，将第一层、第二层、第三层、第四层依次叠加，得到本实施例的融合图像，本实施例中的融合图像如图8所示。参考图8，事件图像作为第一层在最底下，然后依次是目标位置图像、第一光流信息图像和第二光流信息图像。

本实施例中，在进行装卸货检测之前，对事件图像、目标位置图像和光流信息图像叠加合并，保证进行装卸货检测的图像为同时结合了光学图像信息、光流信息和目标位置信息的图像，从而提高检测的准确性。

在一个实施例中，步骤S210包括：调用训练好的神经网络模型，神经网络模型的输入通道数为四通道；将融合图像输入至输入通道数为四通道的神经网络模型进行装卸货事件检测，得到检测结果；检测结果包括无事件、装货事件或卸货事件。

具体地，当服务器得到融合图像之后，调用训练好用于进行装卸货事件检测分类的神经网络。将融合图像输入至该神经网络得到事件的检测结果，包括无事件、装货事件和卸货事件。无事件表示该图像中没有装货事件也没有卸货事件。其中，本实施例中的神经网络可以是Resnet、EfficientNet等神经网络模型中的任意一种或多种。然而，由于本实施例中采用的融合图像是叠加合并了四张图像，因此在选择神经网络之后，应当将该神经网络的输入通道数更改为4通道，以适应融合图像。本实施例中，通过神经网络对融合图像进行事件检测，能够提高检测的准确性。

应该理解的是，虽然图2、3、7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种装卸货事件检测装置，包括：获取模块902、目标检测模块904、光流处理模块906、融合模块908和事件检测模块910，其中：

获取模块902，用于获取事件图像序列。

目标检测模块904，用于对事件图像序列中的各事件图像分别进行目标检测，确定各事件图像中事件目标的目标位置，得到事件图像对应的目标位置图像。

光流处理模块906，用于对事件图像序列进行光流处理，得到各事件图像的光流信息图像。

融合模块908，用于将各事件图像分别与对应的目标位置图像和光流信息图像进行融合，得到融合图像。

事件检测模块910，用于根据融合后的各融合图像进行装卸货事件检测。

在一个实施例中，目标检测模块904还用于将各事件图像分别输入训练好的目标检测网络中进行目标检测，输出事件图像中各事件目标的目标坐标框；将事件图像中，各事件目标的目标坐标框的中心像素点坐标作为各事件目标的目标位置；将事件图像中各事件目标的目标位置标记在空白图像上，得到事件图像对应的目标位置图像。

在一个实施例中，目标检测模块904还用于新建单通道灰度图像，得到空白图像；获取各事件目标的目标类别标识；在空白图像上，将与各事件目标的目标位置相同的位置的像素值修改为各事件目标对应的目标类别标识，得到事件图像对应的目标位置图像。

在一个实施例中，光流处理模块906还用于将事件图像序列输入光流算法接口进行光流计算，得到各事件图像的光流信息；光流信息包括像素在水平方向上的运动信息和像素在垂直方向上的运动信息；将光流信息进行可视化，得到光流信息图像；光流信息图像包括水平方向对应的第一光流信息图像和垂直方向对应的第二光流信息图像。

在一个实施例中，融合模块908还用于将事件图像以及对应的目标位置图像和光流信息图像进行图像处理；按照预设顺序，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像进行叠加合并，得到融合图像。

在一个实施例中，融合模块908还用于将事件图像转化为灰度图像后缩放到预设尺寸；将事件图像对应的目标位置图像和光流信息图像分别缩放到预设尺寸。

在一个实施例中，融合模块908还用于将图像处理后的事件图像作为第一层，将图像处理后的目标位置图像作为第二层，以及将图像处理后的第一光流信息图像和第二光流信息图像分别作为第三层和第四层；按照从小到大的层数，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像叠加合并为图层，得到融合图像。

在一个实施例中，事件检测模块910还用于调用训练好的神经网络模型，神经网络模型的输入通道数为四通道；将融合图像输入至输入通道数为四通道的神经网络模型进行装卸货事件检测，得到检测结果；检测结果包括无事件、装货事件或卸货事件。

关于装卸货事件检测装置的具体限定可以参见上文中对于装卸货事件检测方法的限定，在此不再赘述。上述装卸货事件检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种装卸货事件检测方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取采集的事件图像序列；

对事件图像序列中的各事件图像分别进行目标检测，确定各事件图像中事件目标的目标位置，得到事件图像对应的目标位置图像；

对事件图像序列进行光流处理，得到各事件图像的光流信息图像；

将各事件图像分别与对应的目标位置图像和光流信息图像进行融合，得到融合图像；

根据融合后的各融合图像进行装卸货事件检测。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将各事件图像分别输入训练好的目标检测网络中进行目标检测，输出事件图像中各事件目标的目标坐标框；将事件图像中，各事件目标的目标坐标框的中心像素点坐标作为各事件目标的目标位置；将事件图像中各事件目标的目标位置标记在空白图像上，得到事件图像对应的目标位置图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：新建单通道灰度图像，得到空白图像；获取各事件目标的目标类别标识；在空白图像上，将与各事件目标的目标位置相同的位置的像素值修改为各事件目标对应的目标类别标识，得到事件图像对应的目标位置图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将事件图像序列输入光流算法接口进行光流计算，得到各事件图像的光流信息；光流信息包括像素在水平方向上的运动信息和像素在垂直方向上的运动信息；将光流信息进行可视化，得到光流信息图像；光流信息图像包括水平方向对应的第一光流信息图像和垂直方向对应的第二光流信息图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将事件图像以及对应的目标位置图像和光流信息图像进行图像处理；按照预设顺序，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像进行叠加合并，得到融合图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将事件图像转化为灰度图像后缩放到预设尺寸；将事件图像对应的目标位置图像和光流信息图像分别缩放到预设尺寸。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将图像处理后的事件图像作为第一层，将图像处理后的目标位置图像作为第二层，以及将图像处理后的第一光流信息图像和第二光流信息图像分别作为第三层和第四层；按照从小到大的层数，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像叠加合并为图层，得到融合图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：调用训练好的神经网络模型，神经网络模型的输入通道数为四通道；将融合图像输入至输入通道数为四通道的神经网络模型进行装卸货事件检测，得到检测结果；检测结果包括无事件、装货事件或卸货事件。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取采集的事件图像序列；

对事件图像序列中的各事件图像分别进行目标检测，确定各事件图像中事件目标的目标位置，得到事件图像对应的目标位置图像；

对事件图像序列进行光流处理，得到各事件图像的光流信息图像；

将各事件图像分别与对应的目标位置图像和光流信息图像进行融合，得到融合图像；

根据融合后的各融合图像进行装卸货事件检测。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将各事件图像分别输入训练好的目标检测网络中进行目标检测，输出事件图像中各事件目标的目标坐标框；将事件图像中，各事件目标的目标坐标框的中心像素点坐标作为各事件目标的目标位置；将事件图像中各事件目标的目标位置标记在空白图像上，得到事件图像对应的目标位置图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：新建单通道灰度图像，得到空白图像；获取各事件目标的目标类别标识；在空白图像上，将与各事件目标的目标位置相同的位置的像素值修改为各事件目标对应的目标类别标识，得到事件图像对应的目标位置图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将事件图像序列输入光流算法接口进行光流计算，得到各事件图像的光流信息；光流信息包括像素在水平方向上的运动信息和像素在垂直方向上的运动信息；将光流信息进行可视化，得到光流信息图像；光流信息图像包括水平方向对应的第一光流信息图像和垂直方向对应的第二光流信息图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将事件图像以及对应的目标位置图像和光流信息图像进行图像处理；按照预设顺序，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像进行叠加合并，得到融合图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将事件图像转化为灰度图像后缩放到预设尺寸；将事件图像对应的目标位置图像和光流信息图像分别缩放到预设尺寸。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将图像处理后的事件图像作为第一层，将图像处理后的目标位置图像作为第二层，以及将图像处理后的第一光流信息图像和第二光流信息图像分别作为第三层和第四层；按照从小到大的层数，将图像处理后的事件图像以及对应的目标位置图像和光流信息图像叠加合并为图层，得到融合图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：调用训练好的神经网络模型，神经网络模型的输入通道数为四通道；将融合图像输入至输入通道数为四通道的神经网络模型进行装卸货事件检测，得到检测结果；检测结果包括无事件、装货事件或卸货事件。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种装卸货事件检测方法，其特征在于，所述方法包括：

获取事件图像序列；

对所述事件图像序列中的各事件图像分别进行目标检测，确定各所述事件图像中事件目标的目标位置，得到所述事件图像对应的目标位置图像；

对所述事件图像序列进行光流处理，得到各所述事件图像的光流信息图像；

将各所述事件图像分别与对应的所述目标位置图像和所述光流信息图像进行融合，得到融合图像；

根据融合后的各所述融合图像进行装卸货事件检测。

2.根据权利要求1所述的方法，其特征在于，所述对所述事件图像序列中的各事件图像分别进行目标检测，确定各所述事件图像中事件目标的目标位置，得到所述事件图像对应的目标位置图像，包括：

将各所述事件图像分别输入训练好的目标检测网络中进行目标检测，输出所述事件图像中各事件目标的目标坐标框；

将所述事件图像中，各所述事件目标的所述目标坐标框的中心像素点坐标作为各所述事件目标的目标位置；

将所述事件图像中各所述事件目标的目标位置标记在空白图像上，得到所述事件图像对应的目标位置图像。

3.根据权利要求2所述的方法，其特征在于，所述将所述事件图像中各所述事件目标的目标位置标记在空白图像上，得到所述事件图像对应的目标位置图像，包括：

新建单通道灰度图像，得到空白图像；

获取各所述事件目标的目标类别标识；

在所述空白图像上，将与各所述事件目标的目标位置相同的位置的像素值修改为各所述事件目标对应的所述目标类别标识，得到所述事件图像对应的目标位置图像。

4.根据权利要求1所述的方法，其特征在于，所述对所述事件图像序列进行光流处理，得到各所述事件图像的光流信息图像，包括：

将所述事件图像序列输入光流算法接口进行光流计算，得到各所述事件图像的光流信息；所述光流信息包括像素在水平方向上的运动信息和所述像素在垂直方向上的运动信息；

将所述光流信息进行可视化，得到光流信息图像；所述光流信息图像包括水平方向对应的第一光流信息图像和垂直方向对应的第二光流信息图像。

5.根据权利要求1所述的方法，其特征在于，所述将各所述事件图像分别与对应的所述目标位置图像和所述光流信息图像进行融合，得到融合图像，包括：

将所述事件图像以及对应的所述目标位置图像和所述光流信息图像进行图像处理；

按照预设顺序，将图像处理后的所述事件图像以及对应的所述目标位置图像和所述光流信息图像进行叠加合并，得到融合图像。

6.根据权利要求5所述的方法，其特征在于，所述将所述事件图像以及对应的所述目标位置图像和所述光流信息图像进行图像处理，包括：

将所述事件图像转化为灰度图像后缩放到预设尺寸；

将所述事件图像对应的所述目标位置图像和所述光流信息图像分别缩放到所述预设尺寸。

7.根据权利要求5所述的方法，其特征在于，所述光流信息图像包括第一光流信息图像和第二光流信息图像；

按照预设顺序，将图像处理后的所述事件图像以及对应的所述目标位置图像和所述光流信息图像进行叠加合并，得到融合图像，包括：

将图像处理后的所述事件图像作为第一层，将图像处理后的所述目标位置图像作为第二层，以及将图像处理后的所述第一光流信息图像和所述第二光流信息图像分别作为第三层和第四层；

按照从小到大的层数，将图像处理后的所述事件图像以及对应的所述目标位置图像和所述光流信息图像叠加合并为图层，得到融合图像。

8.根据权利要求1所述的方法，其特征在于，根据融合后的各所述融合图像进行装卸货事件检测，包括：

调用训练好的神经网络模型，所述神经网络模型的输入通道数为四通道；

将所述融合图像输入至输入通道数为四通道的所述神经网络模型进行装卸货事件检测，得到检测结果；所述检测结果包括无事件、装货事件或卸货事件。

9.一种装卸货事件检测装置，其特征在于，所述装置包括：

获取模块，用于获取事件图像序列；

目标检测模块，用于对所述事件图像序列中的各事件图像分别进行目标检测，确定各所述事件图像中事件目标的目标位置，得到所述事件图像对应的目标位置图像；

光流处理模块，用于对所述事件图像序列进行光流处理，得到各所述事件图像的光流信息图像；

融合模块，用于将各所述事件图像分别与对应的所述目标位置图像和所述光流信息图像进行融合，得到融合图像；

事件检测模块，用于根据融合后的各所述融合图像进行装卸货事件检测。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images