CN112132120B - 用于视频结构化的方法及装置 - Google Patents

Abstract

本申请公开了一种用于视频结构化的方法及装置。方法的一具体实施方式包括：接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型；将待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息，从而基于引擎化结构，通过至少一个引擎链可以得到所需的至少一种结构化信息，提高了结构化信息的处理效率。

Description

用于视频结构化的方法及装置

技术领域

本申请实施例涉及计算机技术领域，具体涉及一种用于视频结构化的方法及装置。

背景技术

视频结构化是一种基于视频内容的信息提取技术，将视频源解码成图像原始帧，并对原始帧进行分析，组织成可供后续流程理解的结构化信息。视频结构化信息通常可用于智慧园区场景，对视频内容进行描述后，提供“人脸、人体、车辆、物品、行为”等多种结构化信息，以供后续监控业务应用系统进行分析。

发明内容

本申请实施例提出了一种用于视频结构化的方法及装置。

第一方面，本申请实施例提供了一种用于视频结构化的方法，包括：接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型；将待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

在一些实施例中，上述方法还包括：针对于至少一条引擎链中的每条引擎链，基于用户对该引擎链的数据流转配置操作，确定该引擎链所包括的各引擎和各引擎的数据流转顺序。

在一些实施例中，上述方法还包括：针对于至少一条引擎链中的每条引擎链中的每个引擎，从该引擎对应的消息队列中，获取待处理数据，并将所生成的数据作为下一个引擎的待处理数据，传输至下一个引擎对应的消息队列。

在一些实施例中，引擎链中的各引擎在系统级芯片上运行；上述将待处理视频输入至少一条引擎链，得到至少一种结构化信息，包括：针对于至少一条引擎链中的每条引擎链，执行如下操作：在系统级芯片中，确定该引擎链中的各引擎一一对应的目标单元；基于该引擎链所包括的设置于所对应的目标单元中的各引擎，处理待处理视频，得到该引擎链对应的结构化信息。

在一些实施例中，上述基于该引擎链所包括的设置于所对应的目标单元中的各引擎，处理待处理视频，得到该引擎链对应的结构化信息，包括：通过设置于图像处理单元中的解码引擎，对待处理视频进行硬解码，得到原始帧数据；通过设置于嵌入式神经网络处理器中的检测引擎，检测原始帧数据中是否存在该引擎链对应的结构化信息；响应于确定原始帧数据中存在该引擎链对应的结构化信息，通过设置于片上控制中央处理器中的确定引擎，确定原始帧数据中存在结构化信息的目标区域；通过设置于嵌入式神经网络处理器中的关键点引擎确定目标区域中的结构化信息的关键点信息；根据关键点信息，通过设置于片上控制中央处理器中的调整引擎调整目标区域；通过设置于嵌入式神经网络处理器中的特征提取引擎对调整后的目标区域进行特征提取，得到该引擎链对应的结构化信息。

在一些实施例中，上述对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息，包括：对原始帧数据，进行图像编码，得到编码后图像数据；根据编码后图像数据，对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

在一些实施例中，编码后图像数据以及至少一种结构化信息中的每种结构化信息分别通过对应的存储队列进行存储；上述根据编码后图像数据，对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息，包括：针对于各存储队列，将标识信息相匹配的数据进行对齐，得到待处理视频对应的目标结构化信息。

第二方面，本申请实施例提供了一种用于视频结构化的装置，包括：确定单元，被配置成接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型；处理单元，被配置成将待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；对齐单元，被配置成对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

在一些实施例中，上述装置还包括：数据流转配置单元，被配置成针对于至少一条引擎链中的每条引擎链，基于用户对该引擎链的数据流转配置操作，确定该引擎链所包括的各引擎和各引擎的数据流转顺序。

在一些实施例中，上述装置还包括：传输单元，被配置成针对于至少一条引擎链中的每条引擎链中的每个引擎，从该引擎对应的消息队列中，获取待处理数据，并将所生成的数据作为下一个引擎的待处理数据，传输至下一个引擎对应的消息队列。

在一些实施例中，引擎链中的各引擎在系统级芯片上运行；处理单元，进一步被配置成：针对于至少一条引擎链中的每条引擎链，执行如下操作：在系统级芯片中，确定该引擎链中的各引擎一一对应的目标单元；基于该引擎链所包括的设置于所对应的目标单元中的各引擎，处理待处理视频，得到该引擎链对应的结构化信息。

在一些实施例中，处理单元，进一步被配置成：通过设置于图像处理单元中的解码引擎，对待处理视频进行硬解码，得到原始帧数据；通过设置于嵌入式神经网络处理器中的检测引擎，检测原始帧数据中是否存在该引擎链对应的结构化信息；响应于确定原始帧数据中存在该引擎链对应的结构化信息，通过设置于片上控制中央处理器中的确定引擎，确定原始帧数据中存在结构化信息的目标区域；通过设置于嵌入式神经网络处理器中的关键点引擎确定目标区域中的结构化信息的关键点信息；根据关键点信息，通过设置于片上控制中央处理器中的调整引擎调整目标区域；通过设置于嵌入式神经网络处理器中的特征提取引擎对调整后的目标区域进行特征提取，得到该引擎链对应的结构化信息。

在一些实施例中，对齐单元，进一步被配置成：对原始帧数据，进行图像编码，得到编码后图像数据；根据编码后图像数据，对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

在一些实施例中，编码后图像数据以及至少一种结构化信息中的每种结构化信息分别通过对应的存储队列进行存储；对齐单元，进一步被配置成：针对于各存储队列，将标识信息相匹配的数据进行对齐，得到待处理视频对应的目标结构化信息。

第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面任一实现方式描述的方法。

第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一实现方式描述的方法。

本申请实施例提供的用于视频结构化的方法及装置，通过接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型；将待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息，从而基于引擎化结构设计，通过至少一个引擎链可以得到所需的至少一种结构化信息，提高了结构化信息的处理效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请用于视频结构化的方法的一个实施例的流程图；

图3是根据本实施例的用于视频结构化的方法的应用场景的示意图；

图4是根据本申请的用于视频结构化的方法的又一个实施例的流程图；

图5是根据本申请的用于视频结构化的装置的一个实施例的结构图；

图6是适于用来实现本申请实施例的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于视频结构化的方法及装置的示例性架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于摄像头、智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如接收终端设备101、102、103的发送的待处理视频，进行视频结构化的后台处理服务器。后台处理服务器基于所需的视频结构化信息类型，通过与视频结构化信息类型相对应的引擎链对待处理视频进行视频结构化。作为示例，服务器105可以是云端服务器。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块（例如用来提供分布式服务的软件或软件模块），也可以实现成单个软件或软件模块。在此不做具体限定。

还需要说明的是，本公开的实施例所提供的用于视频结构化的方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，用于视频结构化的装置包括的各个部分（例如各个单元、子单元、模块、子模块）可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当用于视频结构化的方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括用于视频结构化的方法运行于其上的电子设备（例如服务器或终端设备）。

继续参考图2，示出了用于视频结构化的方法的一个实施例的流程200，包括以下步骤：

步骤201，接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型。

本实施例中，用于视频结构化的方法的执行主体（例如图1中的服务器）可以通过有线连接方式或无线连接方式从远程，或从本地获取待处理视频，并确定针对于待处理视频的至少一个结构化信息类型。

其中，待处理视频可以是包括任意内容的视频。作为示例，待处理视频可以是监控设备获取的特定场景中的监控视频。具体的，待处理视频可以是摄像头实时获取的表征道路交通情况的视频。

结构化信息类型表征视频结构化信息所属的类型。需要说明的是，根据不同的划分标准，所得到的结构化信息类型可能不同。作为示例，以具体的目标对象作为划分标准，结构化信息类型可以分为人、动物、车辆、建筑物、交通设施等。作为又一示例，以人物的关键部位作为划分标准，结构化信息类型可以分为人脸、人体等。作为又一示例，以人物的行为动作作为划分标准，结构化信息类型可以分为行走、奔跑等。

本实施例中，至少一个结构化信息类型可以是根据实际需求所预先设置的结构化信息类型。作为示例，当存在对待处理视频的人物的识别需求时，至少一种结构化信息类型例如可以人脸、人体等类型。需要说明的是，至少一个结构化信息类型可以包括基于不同的划分标准得到的结构化信息类型。作为示例，当存在对待处理视频中的人物的行为动作的识别需求时，至少一种结构化信息例如可以人脸、特定动作等结构化信息类型。

步骤202，将待处理视频输入至少一条引擎链，得到至少一种结构化信息。

本实施例中，上述执行主体可以将待处理视频输入至少一条引擎链，得到至少一种结构化信息。其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应。

作为示例，引擎链中包括针对人体信息进行视频结构化的引擎链，该引擎链需要得到出待处理视频中的每个人体的人体信息。具体的，在针对于待处理视频中的人体信息的检测过程中，针对于待处理视频中的每一帧待处理图像，首先，进行对象检测任务：确定该待处理图像中是否存在人体对象；当确定该待处理图像中包括人体对象时，进行检测框任务：确定该待处理图像中存在人体对象的检测框；然后，进行关键点确定任务：针对于检测框中的人体对象，确定人体对象的关键点信息；然后，进行调整任务：根据关键点信息，调整检测框；最后，进行特征提取任务：根据调整后的检测框进行特征提取，得到人体信息。

本实施例中，针对于结构化信息的处理过程中涉及的每个任务，通过对应的引擎实现该任务。作为示例，针对于上述人体信息的检测过程，对应于上述对象检测任务、检测框任务、关键点确定任务、调整任务、特征提取任务，依次设置对象检测引擎、检测框引擎、关键点确定引擎、调整引擎和特征提取引擎。依据各引擎之间的数据处理顺序进行连接，可以得到对应的引擎链。

本实施例中，针对于各引擎链的性能需求，可以将各引擎链部署于异构设备上，以实现各引擎链数据处理性能的最优化。作为示例，当引擎链的数据运算需求比较大时，可以将引擎链部署于以NPU（Neural network Processing Unit，神经网络处理器）或GPU（Graphics Processing Unit，图形处理器）为主的设备上；当引擎链的数据交互需求比较大时，可以将引擎链部署于以CPU（central processing unit，中央处理器）。

本实施例中，同一引擎链中的不同引擎基于性能需求也可以设置于异构设备中。继续以上述人体信息的结构化过程为例，可以将对象检测引擎、关键点确定引擎和特征提取引擎设置于GPU设备中，将检测框引擎和调整引擎设置于CPU设备中。

在本实施例的一些可选的实现方式中，引擎链中的各引擎在SOC（System onChip，系统级芯片）上运行。上述执行主体可以通过如下方式执行上述步骤201：

针对于至少一条引擎链中的每条引擎链，执行如下操作：

第一，在系统级芯片中，确定该引擎链中的各引擎一一对应的目标单元。

在系统级芯片中，可以在满足引擎链中的各引擎的性能需求的基础上，进一步减少不同异构设备之间的数据交互而造成的延迟，提高结构化信息的处理速度。

作为示例，对应于上述将对象检测引擎、关键点确定引擎和特征提取引擎设置于GPU设备中，将检测框引擎和调整引擎设置于CPU设备中，在系统级芯片中，可以将对象检测引擎、关键点确定引擎和特征提取引擎设置于SOC中的GPU中，将检测框引擎和调整引擎设置于SOC中的CPU中，从而引擎链中的各引擎设置于同一SOC中，从而减小数据在异构设备中进行数据交互造成的延迟。

第二，基于该引擎链所包括的设置于所对应的目标单元中的各引擎，处理待处理视频，得到该引擎链对应的结构化信息。

在本实施例的一些可选的实现方式中，SOC为以NPU为主的SOC。上述执行主体通过设置于图像处理单元中的解码引擎，对待处理视频进行硬解码，得到原始帧数据；通过设置于嵌入式神经网络处理器中的检测引擎，检测原始帧数据中是否存在该引擎链对应的结构化信息；响应于确定原始帧数据中存在该引擎链对应的结构化信息，通过设置于片上控制中央处理器中的确定引擎，确定原始帧数据中存在结构化信息的目标区域；通过设置于嵌入式神经网络处理器中的关键点引擎确定目标区域中的结构化信息的关键点信息；根据关键点信息，通过设置于片上控制中央处理器中的调整引擎调整目标区域；通过设置于嵌入式神经网络处理器中的特征提取引擎对调整后的目标区域进行特征提取，得到该引擎链对应的结构化信息。

作为示例，上述结构化信息为人脸信息，上述执行主体可以逐帧进行上述处理，以得到原始帧图像中的每帧待处理图像的结构化信息。

步骤203，对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

本实施例中，上述执行主体对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

其中，对齐用于表征将属于同一帧待处理图像的至少一种结构化信息进行对齐。例如，将属于同一帧待处理图像的人脸信息和人体信息进行对齐。

作为示例，针对于每个引擎链中的每个引擎，接收上一个引擎传输的待处理图像与处理后得到的数据的对应关系，并根据上一个引擎处理后的数据进行进一步处理，得到该引擎处理后的数据，以及确定该引擎处理后的数据与待处理图像的对应关系，并将该引擎处理后的数据与待处理图像的关系传输至下一个引擎。如此，将使得每个引擎链的最后一个引擎可以确定所得到的结构化信息与待处理图像的对应关系，从而可以将属于同一待处理图像的结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

在本实施例的一些可选的实现方式中，上述执行主体可以对原始帧数据，进行图像编码，得到编码后图像数据；根据编码后图像数据，对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

具体的，编码后图像数据以及至少一种结构化信息中的每种结构化信息分别通过对应的存储队列进行存储。上述执行主体针对于各存储队列，将标识信息相匹配的数据进行对齐，得到待处理视频对应的目标结构化信息。

进一步的，针对于各存储队列，上述执行主体可以确定各数据的生成时间，响应于确定该数据始于生成时间的预设时间长度内未确定出与该数据匹配的数据，将该数据删除。其中，预设时间长度可以根据实际情况具体设置，例如可以为1分钟。

继续参见图3，图3是根据本实施例的用于视频结构化的方法的应用场景的一个示意图300。在图3的应用场景中，摄像头301实时获取监控视频302（即待处理视频），并将所获取的监控视频302传输至服务器303。针对于监控视频302，需要对其中的人物进行识别，从而确定出结构化信息类型为人脸类型结构化信息和人体类型结构化信息。服务器303接收监控视频302，以及确定出结构化信息类型为人脸类型结构化信息和人体类型结构化信息。服务器302确定对应于人脸类型结构化信息的第一引擎链304，将监控视频302输入第一引擎链304；并确定对应于人体类型结构化信息的第二引擎链305，将监控视频302输入第二引擎链305。

其中，第一引擎链304包括人脸对象检测引擎3041、人脸检测框引擎3042、人脸关键点确定引擎3043、人脸调整引擎3044和人脸特征提取引擎3045。服务器303通过第一引擎链304得到监控视频的人脸结构化信息306。第二引擎链305包括人体对象检测引擎3051、人体检测框引擎3052、人体关键点确定引擎3053、人体调整引擎3054和人体特征提取引擎3055。服务器303通过第一引擎链305得到监控视频的人体结构化信息307。最后，服务器303对人脸结构化信息和人体结构化信息进行对齐，得到待处理视频对应的目标结构化信息308。

本公开的上述实施例提供的方法，通过接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型；将待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息，从而提供了一种用于视频结构化的引擎化结构设计，通过至少一个引擎链可以得到所需的至少一种结构化信息，提高了结构化信息的处理效率。

在本实施例的一些可选的实现方式中，上述执行主体还可以针对于至少一条引擎链中的每条引擎链，基于用户对该引擎链的数据流转配置操作，确定该引擎链所包括的各引擎和各引擎的数据流转顺序。

作为示例，上述执行主体可以基于用户的数据配置操作，确定每个引擎的输入接口、输出接口与其他引擎的接口的连接关系，从而确定该引擎链所包括的各引擎和各引擎的数据流转顺序。如此，本实现方式提高了引擎链配置的灵活性。

在本实施例的一些可选的实现方式中，针对于至少一条引擎链中的每条引擎链中的每个引擎，上述执行主体从该引擎对应的消息队列中，获取待处理数据，并将所生成的数据作为下一个引擎的待处理数据，传输至下一个引擎对应的消息队列。

由于各引擎的信息处理速度不同，采用异步处理方式，提高了各引擎之间的信息处理速度。

继续参考图4，示出了根据本申请的用于视频结构化的方法的另一个实施例的示意性流程400，包括以下步骤：

步骤401，接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型。

步骤402，针对于与至少一个结构化信息类型一一对应的至少一天引擎链中的每条引擎链，执行如下操作：

步骤4021，通过设置于图像处理单元中的解码引擎，对待处理视频进行硬解码，得到原始帧数据。

步骤4022，通过设置于嵌入式神经网络处理器中的检测引擎，检测原始帧数据中是否存在该引擎链对应的结构化信息。

步骤4023，响应于确定原始帧数据中存在该引擎链对应的结构化信息，通过设置于片上控制中央处理器中的确定引擎，确定原始帧数据中存在结构化信息的目标区域。

步骤4024，通过设置于嵌入式神经网络处理器中的关键点引擎确定目标区域中的结构化信息的关键点信息。

步骤4025，根据关键点信息，通过设置于片上控制中央处理器中的调整引擎调整目标区域。

步骤4026，通过设置于嵌入式神经网络处理器中的特征提取引擎对调整后的目标区域进行特征提取，得到该引擎链对应的结构化信息。

本实施例中，引擎链中的各引擎在系统级芯片上运行，系统级芯片为一NPU为主的系统级芯片。

步骤403，对原始帧数据，进行图像编码，得到编码后图像数据。

步骤404，针对于各存储队列，将标识信息相匹配的数据进行对齐，得到待处理视频对应的目标结构化信息。

其中，编码后图像数据以及至少一种结构化信息中的每种结构化信息分别通过对应的存储队列进行存储。

从本实施例中可以看出，与图2对应的实施例相比，本实施例中的用于视频结构化的方法的流程400具体说明了引擎链中的各引擎在系统级芯片中的部署，从而使得引擎链中的各引擎在系统级芯片中实现性能优化，进一步提高了针对于结构化信息的信息处理速度。

继续参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于视频结构化的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，用于视频结构化的装置包括：包括：确定单元501，被配置成接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型；处理单元502，被配置成将待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；对齐单元503，被配置成对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

在一些实施例中，上述装置还包括：数据流转配置单元（图中未示出），被配置成针对于至少一条引擎链中的每条引擎链，基于用户对该引擎链的数据流转配置操作，确定该引擎链所包括的各引擎和各引擎的数据流转顺序。

在一些实施例中，上述装置还包括：传输单元（图中未示出），被配置成针对于至少一条引擎链中的每条引擎链中的每个引擎，从该引擎对应的消息队列中，获取待处理数据，并将所生成的数据作为下一个引擎的待处理数据，传输至下一个引擎对应的消息队列。

在一些实施例中，引擎链中的各引擎在系统级芯片上运行；处理单元502，进一步被配置成：针对于至少一条引擎链中的每条引擎链，执行如下操作：在系统级芯片中，确定该引擎链中的各引擎一一对应的目标单元；基于该引擎链所包括的设置于所对应的目标单元中的各引擎，处理待处理视频，得到该引擎链对应的结构化信息。

在一些实施例中，处理单元502，进一步被配置成：通过设置于图像处理单元中的解码引擎，对待处理视频进行硬解码，得到原始帧数据；通过设置于嵌入式神经网络处理器中的检测引擎，检测原始帧数据中是否存在该引擎链对应的结构化信息；响应于确定原始帧数据中存在该引擎链对应的结构化信息，通过设置于片上控制中央处理器中的确定引擎，确定原始帧数据中存在结构化信息的目标区域；通过设置于嵌入式神经网络处理器中的关键点引擎确定目标区域中的结构化信息的关键点信息；根据关键点信息，通过设置于片上控制中央处理器中的调整引擎调整目标区域；通过设置于嵌入式神经网络处理器中的特征提取引擎对调整后的目标区域进行特征提取，得到该引擎链对应的结构化信息。

在一些实施例中，对齐单元503，进一步被配置成：对原始帧数据，进行图像编码，得到编码后图像数据；根据编码后图像数据，对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

在一些实施例中，编码后图像数据以及至少一种结构化信息中的每种结构化信息分别通过对应的存储队列进行存储；对齐单元503，进一步被配置成：针对于各存储队列，将标识信息相匹配的数据进行对齐，得到待处理视频对应的目标结构化信息。

本实施例中，用于视频结构化的装置中的确定单元接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型；处理单元将待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；对齐单元对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息，从而提供了一种引擎化结构设计，通过至少一个引擎链可以得到所需的至少一种结构化信息，提高了结构化信息的处理效率。

下面参考图6，其示出了适于用来实现本申请实施例的设备（例如图1所示的设备101、102、103、105）的计算机系统600的结构示意图。图6示出的设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括处理器（例如CPU，中央处理器）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。处理器601、ROM602以及RAM603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在客户计算机上执行、部分地在客户计算机上执行、作为一个独立的软件包执行、部分在客户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到客户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括确定单元、处理单元和对齐单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，处理单元还可以被描述为“将待处理视频输入至少一条引擎链，得到至少一种结构化信息的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该计算机设备：接收待处理视频，并确定针对于待处理视频的至少一个结构化信息类型；将待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，至少一条引擎链与至少一个结构化信息类型一一对应，至少一条引擎链中的每条引擎链用于处理待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；对至少一种结构化信息进行对齐，得到待处理视频对应的目标结构化信息。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种用于视频结构化的方法，包括：

接收待处理视频，并确定针对于所述待处理视频的至少一个结构化信息类型；

将所述待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，所述至少一条引擎链与所述至少一个结构化信息类型一一对应，所述至少一条引擎链中的每条引擎链用于处理所述待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；

对所述至少一种结构化信息进行对齐，得到所述待处理视频对应的目标结构化信息。

2.根据权利要求1所述的方法，其中，还包括：

针对于所述至少一条引擎链中的每条引擎链，基于用户对该引擎链的数据流转配置操作，确定该引擎链所包括的各引擎和各引擎的数据流转顺序。

3.根据权利要求1所述的方法，其中，还包括：

针对于所述至少一条引擎链中的每条引擎链中的每个引擎，从该引擎对应的消息队列中，获取待处理数据，并将所生成的数据作为下一个引擎的待处理数据，传输至下一个引擎对应的消息队列。

4.根据权利要求1所述的方法，其中，引擎链中的各引擎在系统级芯片上运行；

所述将所述待处理视频输入至少一条引擎链，得到至少一种结构化信息，包括：

针对于所述至少一条引擎链中的每条引擎链，执行如下操作：

在所述系统级芯片中，确定该引擎链中的各引擎一一对应的目标单元；

基于该引擎链所包括的设置于所对应的目标单元中的各引擎，处理所述待处理视频，得到该引擎链对应的结构化信息。

5.根据权利要求4所述的方法，其中，所述基于该引擎链所包括的设置于所对应的目标单元中的各引擎，处理所述待处理视频，得到该引擎链对应的结构化信息，包括：

通过设置于图像处理单元中的解码引擎，对所述待处理视频进行硬解码，得到原始帧数据；

通过设置于嵌入式神经网络处理器中的检测引擎，检测所述原始帧数据中是否存在该引擎链对应的结构化信息；

响应于确定所述原始帧数据中存在该引擎链对应的结构化信息，通过设置于片上控制中央处理器中的确定引擎，确定所述原始帧数据中存在所述结构化信息的目标区域；

通过设置于所述嵌入式神经网络处理器中的关键点引擎确定所述目标区域中的结构化信息的关键点信息；

根据所述关键点信息，通过设置于所述片上控制中央处理器中的调整引擎调整所述目标区域；

通过设置于所述嵌入式神经网络处理器中的特征提取引擎对调整后的目标区域进行特征提取，得到该引擎链对应的结构化信息。

6.根据权利要求5所述的方法，其中，所述对所述至少一种结构化信息进行对齐，得到所述待处理视频对应的目标结构化信息，包括：

对所述原始帧数据，进行图像编码，得到编码后图像数据；

根据所述编码后图像数据，对所述至少一种结构化信息进行对齐，得到所述待处理视频对应的目标结构化信息。

7.根据权利要求6所述的方法，其中，所述编码后图像数据以及所述至少一种结构化信息中的每种结构化信息分别通过对应的存储队列进行存储；

所述根据所述编码后图像数据，对所述至少一种结构化信息进行对齐，得到所述待处理视频对应的目标结构化信息，包括：

针对于各存储队列，将标识信息相匹配的数据进行对齐，得到所述待处理视频对应的目标结构化信息。

8.一种用于视频结构化的装置，包括：

确定单元，被配置成接收待处理视频，并确定针对于所述待处理视频的至少一个结构化信息类型；

处理单元，被配置成将所述待处理视频输入至少一条引擎链，得到至少一种结构化信息，其中，所述至少一条引擎链与所述至少一个结构化信息类型一一对应，所述至少一条引擎链中的每条引擎链用于处理所述待处理视频，得到与该引擎链对应的结构化信息类型下的结构化信息，该引擎链中的各引擎与该引擎链所对应的结构化信息的处理过程所涉及的各任务一一对应；

对齐单元，被配置成对所述至少一种结构化信息进行对齐，得到所述待处理视频对应的目标结构化信息。

9.根据权利要求8所述的装置，其中，还包括：

数据流转配置单元，被配置成针对于所述至少一条引擎链中的每条引擎链，基于用户对该引擎链的数据流转配置操作，确定该引擎链所包括的各引擎和各引擎的数据流转顺序。

10.根据权利要求8所述的装置，其中，还包括：

传输单元，被配置成针对于所述至少一条引擎链中的每条引擎链中的每个引擎，从该引擎对应的消息队列中，获取待处理数据，并将所生成的数据作为下一个引擎的待处理数据，传输至下一个引擎对应的消息队列。

11.根据权利要求8所述的装置，其中，引擎链中的各引擎在系统级芯片上运行；

所述处理单元，进一步被配置成：

针对于所述至少一条引擎链中的每条引擎链，执行如下操作：在所述系统级芯片中，确定该引擎链中的各引擎一一对应的目标单元；基于该引擎链所包括的设置于所对应的目标单元中的各引擎，处理所述待处理视频，得到该引擎链对应的结构化信息。

12.根据权利要求11所述的装置，其中，所述处理单元，进一步被配置成：

通过设置于图像处理单元中的解码引擎，对所述待处理视频进行硬解码，得到原始帧数据；通过设置于嵌入式神经网络处理器中的检测引擎，检测所述原始帧数据中是否存在该引擎链对应的结构化信息；响应于确定所述原始帧数据中存在该引擎链对应的结构化信息，通过设置于片上控制中央处理器中的确定引擎，确定所述原始帧数据中存在所述结构化信息的目标区域；通过设置于所述嵌入式神经网络处理器中的关键点引擎确定所述目标区域中的结构化信息的关键点信息；根据所述关键点信息，通过设置于所述片上控制中央处理器中的调整引擎调整所述目标区域；通过设置于所述嵌入式神经网络处理器中的特征提取引擎对调整后的目标区域进行特征提取，得到该引擎链对应的结构化信息。

13.根据权利要求12所述的装置，其中，所述对齐单元，进一步被配置成：

对所述原始帧数据，进行图像编码，得到编码后图像数据；根据所述编码后图像数据，对所述至少一种结构化信息进行对齐，得到所述待处理视频对应的目标结构化信息。

14.根据权利要求13所述的装置，其中，所述编码后图像数据以及所述至少一种结构化信息中的每种结构化信息分别通过对应的存储队列进行存储；

所述对齐单元，进一步被配置成：针对于各存储队列，将标识信息相匹配的数据进行对齐，得到所述待处理视频对应的目标结构化信息。

15.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

16.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

Images