CN111314652B - 视频结构化分析处理方法、装置、设备及其存储介质 - Google Patents

Abstract

本申请公开了视频结构化分析处理方法、装置、设备及其存储介质。该装置包括：接收单元，用于接收视频流，该视频流携带功能标识，该功能标识用于指示视频流的输出对象；结构化处理单元，用于基于功能标识对视频流进行结构化处理，得到事件消息和与事件消息对应的图像帧或视频片段。根据本申请实施例的技术方案，通过对接收的视频流进行视频结构化分析，即通过人工智能算法自动地实现视频流的分析，以提高物流场景视频的处理效率，降低人工成本。

Description

视频结构化分析处理方法、装置、设备及其存储介质

技术领域

本申请一般涉及图像处理技术领域，尤其涉及视频结构化分析处理方法、装置、设备及其存储介质。

背景技术

随着科学技术的进步和计算机网络的传输与存储技术、视频编解码技术的发展，视频监控系统在各个行业得到了广泛的应用。

面对大量的视频信息、非结构化的数据形式和内容的多样化，如果采用人工调阅方式，耗时耗力，大量视频未经梳理而被流失，导致监控系统的资源利用率极低。例如，物流行业中，物流场景较为复杂，物流场景内监测目标众多，针对物流行业的视频监控系统的研究，有着极其重要的意义。目前，物流行业的监控视频的理解分析主要依靠人工查看，当视频通道增加时，人工筛查效率极低，成本较高。

因此，亟待提出一种智能化的视频分析方案来解决上述问题。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种物流场景视频结构化分析装置、处理装置及系统，通过对物流场景的视频流数据进行结构化处理，从而降低人工成功，提升业务运转效率。

第一方面，本申请实施例提供了一种物流场景视频结构化分析装置，该装置包括：

接收单元，用于接收视频流，该视频流携带功能标识，该功能标识用于指示视频流的输出对象；

结构化处理单元，用于基于功能标识对视频流进行结构化处理，得到事件消息和与事件消息对应的图像帧或视频片段。

第二方面，本申请实施例提供了一种物流场景视频结构化处理装置，该装置包括：

网关模块，用于从至少一个边界服务器接收事件消息、与事件消息对应的图像帧和/或视频片段，对事件消息、图像帧和/或视频片段进行鉴权，以及基于事件消息、图像帧和/或视频片段的消息类型，转发事件消息、图像帧和/或视频片段，其中事件消息、与事件消息对应的图像帧和/或视频片段是边界服务器基于功能标识对接收的视频流进行结构化处理得到的，功能标识用于指示视频流的输出对象，其被携带在视频流中。

第三方面，本申请实施例还提供了一种物流场景视频结构化分析系统，该系统包括：

至少一个边界服务器和云服务器，其中，边界服务器包括本申请实施例描述的视频结构化分析装置；

云服务器包括如本申请实施例描述的视频结构化处理装置。

第四方面，本申请实施例提供了一种物流场景视频结构化分析方法，该方法包括：

接收视频流，视频流携带功能标识，功能标识用于指示视频流的输出对象；

基于功能标识对视频流进行结构化处理，得到事件消息和与事件消息对应的图像帧或视频片段。

第五方面，本申请实施例提供了一种物流场景视频结构化处理方法，该方法包括：

从至少一个边界服务器接收事件消息、与事件消息对应的图像帧和/或视频片段；

对事件消息、图像帧和/或视频片段进行鉴权；

以及基于事件消息、图像帧和/或视频片段的消息类型，转发事件消息、图像帧和/或视频片段，其中事件消息、与事件消息对应的图像帧和/或视频片段是边界服务器基于功能标识对接收的视频流进行结构化处理得到的，功能标识用于指示视频流的输出对象，其被携带在视频流中。

第六方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。

第七方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：

该计算机程序被处理器执行时实现如本申请实施例描述的方法。

本申请实施例提供的物流场景视频结构化分析装置，通过对接收的视频流进行视频结构化分析，即通过人工智能算法自动地实现视频流的分析，以提高物流场景视频的处理效率，降低人工成本。

进一步地，将视频结构化分析的结果提供给云服务器，由云服务器进行处理，存储，从而提高物流场景视频的处理效率。

进一步地，通过云服务器基于消息分类处理，还可以有效地提高系统的吞吐量。

进一步地，将视频结构化分析结果进行可视化展示和/或推送给管理对象，以提高视频结构化分析系统的用户使用满意度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了可以应用本申请实施例的示例性系统结构框图；

图2示出了本申请实施例提供的物流场景视频结构化分析装置200的示例性结构框图；

图3示出了本申请又一实施例提供的物流场景视频结构化处理装置300的示意性结构框图；

图4示出了本申请又一实施例提供的物流场景视频结构化分析系统400的示意性结构框图；

图5示出了本申请实施例提供的物流场景视频结构化分析方法的流程示意图；

图6示出了本申请又一实施例提供的物流场景视频结构化处理方法的流程示意图；

图7示出了本申请又一实施例提供的物流场景视频结构化分析方法的流程示意图；

图8示出了适于用来实现本申请实施例的服务器的计算机系统800的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，图1示出了可以应用本申请实施例的示例性系统结构框图。

如图1所示，该系统包括至少一个图像采集设备101，至少一个边界服务器102，以及云服务器103。其中云服务器103例如可以包括网关服务装置103-1，控制消息服务装置103-2，事件消息服务装置103-3，图片服务装置103-4，视频服务装置103-5、后台管理服务装置103-6等。

其中，图像采集装置101可以是摄像机和/或录像机。

边界服务器102与图像采集设备101之间可以通过信号传输设备，例如交换机实现连接。

边界服务器102与云服务器103之间可以通过网关服务装置103-1实现连接，其中，网关服务装置103-1可以通过互联网或专网与边界服务器102实现连接。优选地，还可以配置防火墙以提高访问的安全性。

网关服务装置103-1，主要用于各类消息的接入，鉴权，负责均衡、流量控制等。其负责从边界服务器102接收边界服务器102对图像采集装置采集的多媒体数据进行结构化分析的结果，并将该结果按照其类型转发至相应的服务器(或服务器内的功能模块)进行处理。例如，控制消息服务装置103-2，事件消息服务器103-3，图片服务器103-4，视频服务器103-5等。

其中，控制消息服务器103-2，主要用于处理控制消息，该控制消息可以采用TCP(Transmission Control Protocol)传输控制协议来实现。控制消息可以是后台管理服务装置103-6发送的运维控制消息、系统配置消息、设备管理消息，权限管理消息、用户管理消息、场地设置消息等等。

事件消息服务器103-3，主要用于处理边界服务器发送的事件消息。事件消息可以采用超文本传输协议(HTTP，HyperText Transfer Protocol)来实现。事件消息，例如可以是第一事件消息或第二事件消息。第一事件消息例如可以是基于物流行业的装卸口场景的视频结构化分析结果，如装卸口的业务状态，装卸口内的运输工具的装载率估算结果，运输工具的车牌识别结果，装卸口内装/卸行为的判定结果。第二事件消息例如可以是基于物流行业的作业场景的视频结构化分析结果。作业场景，例如可以是分派拣货作业场景、装卸货作业场景等。第二事件消息例如可以是暴力分拣行为的分析结果、作业不规范的分析结果、以及其他违规处理结果，如6S管理、防火防盗等监控视频的分析结果。

图片服务器103-4，用于处理图片数据。该图片数据是与边界服务器发送的事件消息相关的图像帧。该图像帧可以是包含装卸口内的运输工具的图像。

视频服务器103-5，用于处理视频数据。该视频数据是边界服务器发送的事件消息相关的视频片段。该视频片段，可以是包含监测对象违规行为的动态的图像。

该系统还可以包括：文件存储服务装置、缓存服务装置、数据库服务装置、消息队列服务装置、应用服务装置等。

其中，文件存储服务装置，用于文件的存储，文件例如可以是图片、视频、升级程序等。

缓存服务装置，用于存储用户或系统经常访问的数据。为了提高响应处理速度，通常将这些数据存储在内存中，例如Redis、Memcached等缓存服务。

数据库服务装置，用于对数据持久化存储，便于后续查询及数据挖掘分析等。

消息队列服务装置，用于将接收的消息及相关数据的分发、订阅处理，为其他系统访问数据提供接口。消息队列服务装置例如可以使用Kafka等消息中间件。

应用服务装置，用于向指定的管理对象发送事件消息，与事件消息相关的图像数据等。例如可以向网页端、APP客户端、后台管理系统等推送。

本申请实施例，通过在边界服务器上实现不同场景的结构化分析结果，并将结构化分析结果提供给云服务器，通过对视频流的结构化分析，降低了人工成本，提高了业务运转效率。

进一步地，请参考图2，图2示出了本申请实施例提供的物流场景视频结构化分析装置200的示例性结构框图。该装置200可以设置在边界服务器中，或者由边界服务器来实现。

如图2所示，该装置200包括：

接收单元201，用于接收视频流。

本申请实施例中，图像采集装置101将采集的视频流发送给边界服务器102。视频流中携带功能标识，该功能标识用于指示视频流的输出对象。功能标识，例如可以是文字、数字等字符标识的信息来指示。例如F11标识该视频流送入装卸口分析子单元，F12标识该视频流送入动作分析子单元。

结构化处理单元202，用于基于功能标识对视频流进行结构化处理，得到事件消息和与事件消息对应的图像帧或视频片段。

本申请实施例中，根据接收的视频流的功能标识可以确定如何对视频流进行结构化分析。例如可以通过结构化处理单元对视频流进行装卸口场景的业务状态分析、运输工具的装载率估算、运输工具的车牌识别、装卸口内装卸行为的判定等等。还可以通过结构化处理单元对视频流进行动作检测，例如对监控对象(如快递人员、物流工作人员)接触包裹的行为、分拣包裹的行为进行检测。或者对物流场景中其他作业规范的监控、如6S管理、防火防盗等监控。

结构化处理单元在接收到视频流时，自动地将视频流送至相应的子单元、子模块或子程序中进行结构化分析，并有效地提取结构化分析结果中异常数据。例如，暴力分拣行为事件，以及与暴力分拣行为事件相关视频片段。

自动地结构化分析，可以采用不同的神经网络、深度学习等人工智能算法来实现对视频流的分类、检测、分割、跟踪、计数、时序理解、三维感知等内容描述信息。

本申请实施例中，结构化处理单元，还可以包括：

功能标识判断单元，用于基于功能标识判断是将视频流输入到装卸口分析子单元或者动作分析子单元；

装卸口分析子单元，用于对视频流进行第一结构化处理，得到第一事件消息和对应的图像帧。第一事件消息用于指示图像帧中装卸口的状态结果。其中，装卸口分析子单元也可称为LPSS(Loading Procedure Structuring System)子系统。

动作分析子单元，用于对视频流进行第二结构化处理，得到第二事件消息和对应的视频片段。第二事件消息用于指示视频片段中目标检测对象的违规行为。其中，动作分析子单元，也可称为VAPD(Violated Action Pattern Detection)子系统。

该装置200还包括：

消息收发单元203，用于将事件消息和与事件消息对应的图像帧和/或视频片段发送至云服务器；和/或用于接收云服务器发送的控制消息。

本申请实施例中，将事件消息和与事件消息对应的图像帧和/或视频片段发送至云服务器，以便云服务器对图像帧和视频片段进行相应的处理，例如将图像帧、视频片段提供给其他的业务系统进行大数据分析、或者将图像帧、视频片段按类进行存储等。

消息收发单元，还可以接收云服务器发送的控制消息，该控制消息用于对图像采集装置进行配置，或数据访问权限进行管理等。例如，控制消息中携带配置参数，该配置参数用于配置图像采集装置中某些用于采集与第一事件相关的视频流，某些用于采集与第二时间相关的视频流。

本申请实施例，通过结构化处理单元自动地对接收的视频流进行结构化分析，有效地降低了人工识别图像导致成本，提高了业务运转效率。

请参考图3，图3示出了本申请又一实施例提供的物流场景视频结构化处理装置300的示意性结构框图。该装置300可以设置在云服务器中，或者由云服务器来实现。

如图3所示，该装置300包括：

网关模块301，用于从至少一个边界服务器接收事件消息、与事件消息对应的图像帧和/或视频片段，对事件消息、图像帧和/或视频片段进行鉴权，以及基于事件消息、图像帧和/或视频片段的消息类型，转发事件消息、图像帧和/或视频片段。

本申请实施例中，从至少一个边界服务器接收其结构化处理得到的结果。该结果例如可以是事件消息、与事件消息对应的图像帧和/或视频片段。边界服务器对接收的视频流按照其视频流的功能标识，确定该视频流是需要进行LPSS分析还是进行VAPD分析，如果是LPSS分析，则分析后生成事件消息，提取与该事件消息对应的图像帧，即图片。如果是VAPD分析，则分析后生成事件消息，提取与该事件消息对应的视频片段。然后将事件消息采用HTTP协议进行封装后发送网关模块。

其中，事件消息、与事件消息对应的图像帧和/或视频片段是边界服务器基于功能标识对接收的视频流进行结构化处理得到的，功能标识用于指示视频流的输出对象，其被携带在视频流中。

可选地，该装置300还可以包括：

事件消息处理模块302，用于接收网关模块转发的事件消息，并对事件消息进行处理。

图像帧处理模块303，用于接收网关模块转发的图像帧，并将图像帧存储至图像存储装置。

视频处理模块304，用于接收网关模块转发的视频片段，并将视频片段存储至视频存储装置。

网关模块301在接收到事件消息、图像帧、视频片段时，根据消息类型将事件消息、图像帧、视频片段分别转发至事件消息处理模块、图像帧处理模块、视频处理模块。

本申请实施例中，接收网关模块转发的事件消息，并对事件消息进行处理，例如可以对事件消息的完整性、合法性进行校验。完整性例如可以是必填字段是否为空。合法性例如边界服务器提供的相关设备的编码是否正确。例如边界服务器的设备编号，图像采集装置的设备编号等。

如果事件消息处理模块对事件消息的判断结果为不完整或者不合法时，可以向边界服务器返回错误提示信息。

如果事件消息处理模块对事件消息的判断结果为完整或者合法时，则在事件消息中增加相关信息。相关信息，例如可以是判断结果的标识符号、事件消息待发送的管理对象的信息。待发送的管理对象的信息，例如可以是管理对象的员工号等。然后，将增加相关信息后的事件消息存储至相关的存储装置中，例如数据库服务装置、缓存服务装置等。

该装置300还可以包括：

后台管理模块305，用于基于控制消息对边界服务器进行运维管理；

控制消息处理模块306，用于将从后台管理模块接收的控制消息转发至网关模块，从网关模块接收与控制消息对应的响应消息，并对响应消息进行处理；

网关模块301，还用于向边界服务器发送控制消息。

本申请实施例中，云服务器还可以对边界服务器进行运维管理控制。运维管理控制，例如可以是设备注册、秘钥分发、设备初始化、参数配置、程序升级、模型更新、指令控制等。例如，云服务器中通过后台管理模块对边界服务器处理数据进行配置。后台管理模块将配置参数发送给控制消息处理模块，经由控制消息处理模块将控制消息转发至网关模块，再经由网关模块将控制消息发送相应的边界服务器。其中控制消息可以采用TCP协议来实现。如后台管理模块将配置参数包含在TCP请求消息中。

配置参数，例如可以是配置某边界服务器接收某图像采集装置。如A_LPSS(camerl：camer10)，B_VAPD(camer11，camer20)。其中A_LPSS用于接收camer1到camer10的摄像头采集的图像数据；B_VAPD用于接收camer1到camer10的摄像头采集的图像数据。

该装置还可以包括：

Web展示模块307，用于将边界服务器发送的事件消息、图像帧和/或视频片段进行展示；和/或，

应用程序模块308，用于向管理对象推送事件消息、图像帧和/或视频片段。

本申请实施例中，云服务器还可以提供Web展示模块和/或应用程序模块，其中Web展示模块可以展示边界服务器发送事件消息、图像帧、视频片段等，也可以展示系统监控的其他数据，如全景地图、数据报表等。展示方式，例如可以实时地对事件消息、图像帧、视频片段等方式进行展示，也可以在设置的时间点对历史累计的信息进行展示。例如，可以通过人机交互接口设置时间范围。

应用程序模块可以根据预先配置的参数向管理对象推送事件消息、图像帧、视频片段等。预先配置的参数，例如可以通过后台管理模块设置应用程序模块推送消息的推送条件。例如，当云服务器接收到边界服务器提供的事件消息后，对于VAPD事件消息累计达到预设次数或者VAPD事件消息的置信度达到阈值时，才向管理对象发送VAPD事件消息。预设次数，例如3次，阈值，例如可以是90％等。

推送事件消息还可以根据后台管理模块设置确定机制。例如，拍摄到某员工的暴力分拣行为的事件消息，并提取该事件消息发生的视频片段。在满足上述任一推送条件时，将事件消息推送给该员工的上级确认，例如场地负责人。在场地负责人确认后，再将事件消息和相关视频片段推送给场地负责人的上级确认，例如区域负责人。在区域负责人确认后，再将事件消息和相关视频片段推送给区域负责人的上级确认，例如全国负责人。

管理对象，例如可以是场地负责人、区域负责人、全国负责人、或者其他需知情的业务管理者。

推送的方式，例如可以采用短信、邮件、即时通讯等方式。

本申请实施例中，云服务器还可以在接收事件消息和与事件消息相关的图像帧、视频片段时，对事件消息和与事件消息相关的图像帧、视频片段进行相应的处理，然后将处理后的事件消息发布到消息队列装置，例如kafka装置，和/或将处理后的消息存储到缓存装置，和/或将处理后的消息持久化到数据库。

本申请实施例中，通过在云服务器接收边界服务器的事件消息、与事件消息相对应的图像帧、视频片段，并由云服务器进行相应的处理，提高了视频处理的效率。

进一步地，通过分布式处理各类消息，提升了系统的吞吐量。还通过可视化结果的展示和消息推送提高了用户的满意度。

请参考图4，图4示出了本申请又一实施例提供的物流场景视频结构化分析系统400的示意性结构框图。

该系统400，可以包括至少一个如图2描述的边界服务器401，和如图3描述的云服务器402。

请参考图5，图5示出了本申请实施例提供的物流场景视频结构化分析方法的流程示意图。该方法可以由边界服务器来实现。

如图5所示，该方法包括：

步骤501，接收视频流。

本申请实施例中，图像采集装置101将采集的视频流发送给边界服务器102。视频流中携带功能标识，该功能标识用于指示视频流的输出对象。功能标识，例如可以是文字、数字等字符标识的信息来指示。例如F11标识该视频流送入装卸口分析子单元，F12标识该视频流送入动作分析子单元。

步骤502，基于功能标识对视频流进行结构化处理，得到事件消息和与事件消息对应的图像帧或视频片段。

本申请实施例中，根据接收的视频流的功能标识可以确定如何对视频流进行结构化分析。例如可以通过结构化处理单元对视频流进行装卸口场景的业务状态分析、运输工具的装载率估算、运输工具的车牌识别、装卸口内装卸行为的判定等等。还可以通过结构化处理单元对视频流进行动作检测，例如对监控对象(如快递人员、物流工作人员)接触包裹的行为、分拣包裹的行为进行检测。或者对物流场景中其他作业规范的监控、如6S管理、防火防盗等监控。

结构化处理单元在接收到视频流时，自动地将视频流送至相应的子单元、子模块或子程序中进行结构化分析，并有效地提取结构化分析结果中异常数据。例如，暴力分拣行为事件，以及与暴力分拣行为事件相关视频片段。

自动地结构化分析，可以采用不同的神经网络、深度学习等人工智能算法来实现对视频流的分类、检测、分割、跟踪、计数、时序理解、三维感知等内容描述信息。

本申请实施例中，基于功能标识对视频流进行结构化处理还可以包括：

基于功能标识判断是对视频流进行第一结构化处理或者第二结构化处理；

对视频流进行第一结构化处理，得到第一事件消息和对应的图像帧。第一事件消息用于指示图像帧中装卸口的状态结果。其中，装卸口分析子单元也可称为LPSS(LoadingProcedure Structuring System)子系统。

对视频流进行第二结构化处理，得到第二事件消息和对应的视频片段。第二事件消息用于指示视频片段中目标检测对象的违规行为。其中，动作分析子单元，也可称为VAPD(Violated Action Pattern Detection)子系统。

该方法还可以包括：

步骤503，将事件消息和与事件消息对应的图像帧和/或视频片段发送至云服务器；和/或

步骤504，接收云服务器发送的控制消息。

本申请实施例中，将事件消息和与事件消息对应的图像帧和/或视频片段发送至云服务器，以便云服务器对图像帧和视频片段进行相应的处理，例如将图像帧、视频片段提供给其他的业务系统进行大数据分析、或者将图像帧、视频片段按类进行存储等。

接收云服务器发送的控制消息，该控制消息用于对图像采集装置进行配置，或数据访问权限进行管理等。例如，控制消息中携带配置参数，该配置参数用于配置图像采集装置中某些用于采集与第一事件相关的视频流，某些用于采集与第二时间相关的视频流。

本申请实施例，通过结构化处理单元自动地对接收的视频流进行结构化分析，有效地降低了人工识别图像导致成本，提高了业务运转效率。

请参考图6，图6示出了本申请又一实施例提供的物流场景视频结构化处理方法的流程示意图。该方法可以由云服务器来实现。

如图6所示，该方法包括：

步骤601，从至少一个边界服务器接收事件消息、与事件消息对应的图像帧和/或视频片段。

步骤602，对事件消息、图像帧和/或视频片段进行鉴权。

步骤603，基于事件消息、图像帧和/或视频片段的消息类型，转发事件消息、图像帧和/或视频片段。

本申请实施例中，从至少一个边界服务器接收其结构化处理得到的结果。该结果例如可以是事件消息、与事件消息对应的图像帧和/或视频片段。边界服务器对接收的视频流按照其视频流的功能标识，确定该视频流是需要进行LPSS分析还是进行VAPD分析，如果是LPSS分析，则分析后生成事件消息，提取与该事件消息对应的图像帧，即图片。如果是VAPD分析，则分析后生成事件消息，提取与该事件消息对应的视频片段。然后将事件消息采用HTTP协议进行封装后发送网关模块。

其中，事件消息、与事件消息对应的图像帧和/或视频片段是边界服务器基于功能标识对接收的视频流进行结构化处理得到的，功能标识用于指示视频流的输出对象，其被携带在视频流中。

可选地，该方法还可以包括：

步骤604，接收事件消息，并对事件消息进行处理。

步骤605，接收图像帧，并将图像帧存储至图像存储装置。

步骤606，接收视频片段，并将视频片段存储至视频存储装置。

在接收到事件消息、图像帧、视频片段时，根据消息类型将事件消息、图像帧、视频片段分别转发至事件消息处理模块、图像帧处理模块、视频处理模块。

本申请实施例中，接收网关模块转发的事件消息，并对事件消息进行处理，例如可以对事件消息的完整性、合法性进行校验。完整性例如可以是必填字段是否为空。合法性例如边界服务器提供的相关设备的编码是否正确。例如边界服务器的设备编号，图像采集装置的设备编号等。

如果事件消息处理模块对事件消息的判断结果为不完整或者不合法时，可以向边界服务器返回错误提示信息。

如果事件消息处理模块对事件消息的判断结果为完整或者合法时，则在事件消息中增加相关信息。相关信息，例如可以是判断结果的标识符号、事件消息待发送的管理对象的信息。待发送的管理对象的信息，例如可以是管理对象的员工号等。然后，将增加相关信息后的事件消息存储至相关的存储装置中，例如数据库服务装置、缓存服务装置等。

可选地，在步骤601之前，该方法还可以包括：

步骤601a，基于控制消息对边界服务器进行运维管理；

步骤601b，将从后台管理模块接收的控制消息转发至网关模块，从网关模块接收与控制消息对应的响应消息，并对响应消息进行处理；

步骤601c，向边界服务器发送控制消息。

本申请实施例中，云服务器还可以对边界服务器进行运维管理控制。运维管理控制，例如可以是设备注册、秘钥分发、设备初始化、参数配置、程序升级、模型更新、指令控制等。例如，云服务器中通过后台管理模块对边界服务器处理数据进行配置。后台管理模块将配置参数发送给控制消息处理模块，经由控制消息处理模块将控制消息转发至网关模块，再经由网关模块将控制消息发送相应的边界服务器。其中控制消息可以采用TCP协议来实现。如后台管理模块将配置参数包含在TCP请求消息中。

配置参数，例如可以是配置某边界服务器接收某图像采集装置。如A_LPSS(camer1：camer10)，B_VAPD(camer11，camer20)。其中A_LPSS用于接收camer1到camer10的摄像头采集的图像数据；B_VAPD用于接收camer1到camer10的摄像头采集的图像数据。

可选地，该方法还可以包括：

步骤607，将边界服务器发送的事件消息、图像帧和/或视频片段进行展示；和/或，

步骤608，向管理对象推送事件消息、图像帧和/或视频片段。

本申请实施例中，云服务器还可以提供Web展示模块和/或应用程序模块，其中Web展示模块可以展示边界服务器发送事件消息、图像帧、视频片段等，也可以展示系统监控的其他数据，如全景地图、数据报表等。展示方式，例如可以实时地对事件消息、图像帧、视频片段等方式进行展示，也可以在设置的时间点对历史累计的信息进行展示。例如，可以通过人机交互接口设置时间范围。

应用程序模块可以根据预先配置的参数向管理对象推送事件消息、图像帧、视频片段等。预先配置的参数，例如可以通过后台管理模块设置应用程序模块推送消息的推送条件。例如，当云服务器接收到边界服务器提供的事件消息后，对于VAPD事件消息累计达到预设次数或者VAPD事件消息的置信度达到阈值时，才向管理对象发送VAPD事件消息。预设次数，例如3次，阈值，例如可以是90％等。

推送事件消息还可以根据后台管理模块设置确定机制。例如，拍摄到某员工的暴力分拣行为的事件消息，并提取该事件消息发生的视频片段。在满足上述任一推送条件时，将事件消息推送给该员工的上级确认，例如场地负责人。在场地负责人确认后，再将事件消息和相关视频片段推送给场地负责人的上级确认，例如区域负责人。在区域负责人确认后，再将事件消息和相关视频片段推送给区域负责人的上级确认，例如全国负责人。

管理对象，例如可以是场地负责人、区域负责人、全国负责人、或者其他需知情的业务管理者。

推送的方式，例如可以采用短信、邮件、即时通讯等方式。

本申请实施例中，云服务器还可以在接收事件消息和与事件消息相关的图像帧、视频片段时，对事件消息和与事件消息相关的图像帧、视频片段进行相应的处理，然后将处理后的事件消息发布到消息队列装置，例如kafka装置，和/或将处理后的消息存储到缓存装置，和/或将处理后的消息持久化到数据库。

本申请实施例中，通过在云服务器接收边界服务器的事件消息、与事件消息相对应的图像帧、视频片段，并由云服务器进行相应的处理，提高了视频处理的效率。

进一步地，通过分布式处理各类消息，提升了系统的吞吐量。还通过可视化结果的展示和消息推送提高了用户的满意度。

请参考图7，图7示出了本申请又一实施例提供的物流场景视频结构化分析方法的流程示意图。该方法可以由边界服务器和云服务器交互实现。

步骤701，边界服务器接收视频流。视频流携带功能标识，功能标识用于指示视频流的输出对象。

步骤702，边界服务器基于功能标识判断是对视频流进行第一结构化处理或者第二结构化处理。

步骤703，边界服务器对视频流进行第一结构化处理，得到第一事件消息和对应的图像帧。第一事件消息用于指示图像帧中装卸口的状态结果。第一事件消息采用HTTP协议封装。

步骤704，边界服务器对视频流进行第二结构化处理，得到第二事件消息和对应的视频片段。第二事件消息用于指示视频片段中目标检测对象的违规行为。第二事件消息采用HTTP协议封装。

步骤705，边界服务器将事件消息和与事件消息对应的图像帧和/或视频片段发送至云服务器。

步骤706，云服务器接收事件消息、与事件消息对应的图像帧和/或视频片段；

步骤707，云服务器对事件消息、图像帧和/或视频片段进行鉴权；

步骤708，云服务器基于事件消息、图像帧和/或视频片段的消息类型，转发事件消息、图像帧和/或视频片段。

步骤709，云服务器接收事件消息，则对事件消息进行处理；

步骤710，云服务器接收图像帧，则将图像帧存储至图像存储装置；

步骤711，云服务器接收视频片段，则将视频片段存储至视频存储装置。

可选地，在步骤706之前，该方法还可以包括：

步骤706a，云服务器基于控制消息对边界服务器进行运维管理；

步骤706b，云服务器将控制信息转发至边界服务器；

步骤706c，边界服务器接收云服务器发送的控制消息；

步骤706d，云服务器接收边界服务器发送的与控制消息对应的响应消息，并对响应消息进行处理。

步骤712，云服务器将从边界服务器接收的事件消息、图像帧和/或视频片段进行展示；

步骤713，云服务器向管理对象推送事件消息、图像帧和/或视频片段。

本申请实施例中，云服务器还可以在接收事件消息和与事件消息相关的图像帧、视频片段时，对事件消息和与事件消息相关的图像帧、视频片段进行相应的处理，然后将处理后的事件消息发布到消息队列装置，例如kafka装置，和/或将处理后的消息存储到缓存装置，和/或将处理后的消息持久化到数据库。

本申请实施例中，通过在边界服务器应用物流场景的视频结构化分析方法，来提高视频处理效率，降低人工成本。并通过云服务器接收边界服务器的事件消息、与事件消息相对应的图像帧、视频片段，然后对其进行相应的处理，进一步提高视频处理的效率。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多去其他个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，装置200-300中记载的诸单元或模块与参考图5-6描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置200-300及其中包含的单元，在此不再赘述。装置200-300可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置200-300中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

下面参考图8，图8示出了适于用来实现本申请实施例的服务器的计算机系统800的结构示意图。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施例，上文参考流程图图5-6描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元和结构化处理单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，接收单元还可以被描述为“用于用于接收视频流的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的物流场景视频结构化分析、处理方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种物流场景视频结构化分析装置，其特征在于，该装置包括：

接收单元，用于接收视频流，所述视频流携带功能标识，所述功能标识用于指示所述视频流需进行何种结构化分析；

结构化处理单元，用于基于所述功能标识对所述视频流进行结构化处理，得到事件消息和与所述事件消息对应的图像帧或视频片段，所述事件消息用于指示视频结构化分析结果，

其中，所述结构化处理单元，包括：

功能标识判断单元，用于基于所述功能标识判断是将所述视频流输入到装卸口分析子单元或者动作分析子单元；

所述装卸口分析子单元，用于对视频流进行第一结构化处理，得到第一事件消息和对应的图像帧，所述第一事件消息用于指示所述图像帧中装卸口的状态结果；

所述动作分析子单元，用于对所述视频流进行第二结构化处理，得到第二事件消息和对应的视频片段，所述第二事件消息用于指示所述视频片段中目标检测对象的违规行为。

2.根据权利要求1所述的物流场景视频结构化分析装置，其特征在于，该装置还包括：

消息收发单元，用于将所述事件消息和与所述事件消息对应的图像帧和/或所述视频片段发送至云服务器；和/或用于接收所述云服务器发送的控制消息。

3.一种物流场景视频结构化处理装置，其特征在于，该装置包括：

网关模块，用于从至少一个边界服务器接收事件消息、与事件消息对应的图像帧和/或视频片段，对所述事件消息、所述图像帧和/或所述视频片段进行鉴权，以及基于所述事件消息、所述图像帧和/或所述视频片段的消息类型，转发所述事件消息、所述图像帧和/或所述视频片段，所述事件消息、与事件消息对应的图像帧和/或视频片段是所述边界服务器基于功能标识对接收的视频流进行结构化处理得到的，所述功能标识用于指示所述视频流需进行何种结构化分析，其被携带在所述视频流中，所述事件消息用于指示视频结构化分析结果，所述事件消息包括第一事件消息及第二事件消息，所述第一事件消息用于指示所述图像帧中装卸口的状态结果，所述第二事件消息用于指示所述视频片段中目标检测对象的违规行为。

4.根据权利要求3所述的物流场景视频结构化处理装置，其特征在于，该装置还包括：

事件消息处理模块，用于接收所述网关模块转发的所述事件消息，并对所述事件消息进行处理；

图像帧处理模块，用于接收所述网关模块转发的所述图像帧，并将所述图像帧存储至图像存储装置；

视频处理模块，用于接收所述网关模块转发的所述视频片段，并将所述视频片段存储至视频存储装置。

5.根据权利要求4所述的物流场景视频结构化处理装置，其特征在于，所述装置还包括：

后台管理模块，用于基于控制消息对所述边界服务器进行运维管理；

控制消息处理模块，用于将从所述后台管理模块接收的所述控制消息转发至所述网关模块，从所述网关模块接收与所述控制消息对应的响应消息，并对所述响应消息进行处理；

所述网关模块，还用于向所述边界服务器发送控制消息。

6.根据权利要求4所述的物流场景视频结构化处理装置，其特征在于，所述装置还包括：

Web展示模块，用于将所述边界服务器发送的所述事件消息、所述图像帧和/或所述视频片段进行展示；和/或，

应用程序模块，用于向管理对象推送所述事件消息、所述图像帧和/或所述视频片段。

7.一种物流场景视频结构化分析系统，其特征在于，该系统包括：

至少一个边界服务器和云服务器，其中，所述边界服务器包括如权利要求1或2所述视频结构化分析装置；

所述云服务器包括如权利要求3-6中任一项所述视频结构化处理装置。

8.一种物流场景视频结构化分析方法，其特征在于，该方法包括：

接收视频流，所述视频流携带功能标识，所述功能标识用于指示所述视频流需进行何种结构化分析；

基于所述功能标识对所述视频流进行结构化处理，得到事件消息和与所述事件消息对应的图像帧或视频片段，所述事件消息用于指示视频结构化分析结果，

其中，基于所述功能标识对所述视频流进行结构化处理包括：

基于所述功能标识判断是对所述视频流进行第一结构化处理或者第二结构化处理；

对视频流进行第一结构化处理，得到第一事件消息和对应的图像帧，所述第一事件消息用于指示所述图像帧中装卸口的状态结果；

对所述视频流进行第二结构化处理，得到第二事件消息和对应的视频片段，所述第二事件消息用于指示所述视频片段中目标检测对象的违规行为。

9.根据权利要求8所述的物流场景视频结构化分析方法，其特征在于，该方法还包括：

将所述事件消息和与所述事件消息对应的图像帧和/或所述视频片段发送至云服务器；和/或

接收所述云服务器发送的控制消息。

10.一种物流场景视频结构化处理方法，其特征在于，该方法包括：

从至少一个边界服务器接收事件消息、与事件消息对应的图像帧和/或视频片段，所述事件消息用于指示视频结构化分析结果；

对所述事件消息、所述图像帧和/或所述视频片段进行鉴权；

以及基于所述事件消息、所述图像帧和/或所述视频片段的消息类型，转发所述事件消息、所述图像帧和/或所述视频片段，所述事件消息、与事件消息对应的图像帧和/或视频片段是所述边界服务器基于功能标识对接收的视频流进行结构化处理得到的，所述功能标识用于指示所述视频流需进行何种结构化分析，其被携带在所述视频流中，所述事件消息包括第一事件消息及第二事件消息，所述第一事件消息用于指示所述图像帧中装卸口的状态结果，所述第二事件消息用于指示所述视频片段中目标检测对象的违规行为。

11.根据权利要求10所述的物流场景视频结构化处理方法，其特征在于，该方法还包括：

接收所述事件消息，则对所述事件消息进行处理；

接收所述图像帧，则将所述图像帧存储至图像存储装置；

接收所述视频片段，则将所述视频片段存储至视频存储装置。

12.根据权利要求10所述的物流场景视频结构化处理方法，其特征在于，在所述从至少一个边界服务器接收事件消息、与事件消息对应的图像帧和/或视频片段之前，该方法还包括：

基于控制消息对所述边界服务器进行运维管理；

接收所述控制消息并将所述控制消息转发至所述边界服务器；

接收所述边界服务器发送的与所述控制消息对应的响应消息，并对所述响应消息进行处理。

13.根据权利要求10所述的物流场景视频结构化处理方法，其特征在于，所述方法还包括：

将从所述边界服务器接收的所述事件消息、所述图像帧和/或所述视频片段进行展示；和/或，

向管理对象推送所述事件消息、所述图像帧和/或所述视频片段。

14.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求8或9所述的方法或者如权利要求10-13中任一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求8或9所述的方法或者如权利要求10-13中任一项所述的方法。

Images