CN113992493A - 视频处理方法、系统、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种视频处理方法、系统、设备及存储介质。在本申请实施例的视频处理系统中，各计算单元之间实现互联协议，对视频处理中比较耗资源的结构化处理进行分布式调度，当一个计算单元的结构化任务较重时可将部分结构化任务提供给其它相对空闲的计算单元进行结构化处理，从而充分利用整个视频处理系统中的资源，降低在视频流检测目标突发时导致局部资源出现瓶颈的概率，而且通过这种削峰填谷模式，在大规模视频处理过程中，可以使得各个计算单元的资源利用率达到接近满负荷工作，从而提升整个系统资源的利用率，降低整体实现成本。

Description

视频处理方法、系统、设备及存储介质

技术领域

本申请涉及视频处理技术领域，尤其涉及一种视频处理方法、系统、设备及存储介质。

背景技术

在基于人工智能(AI)的视频处理系统中，通常部署有多个计算单元，每个计算单元采用视频AI算法对所负责的视频流进行结构化处理。其中，每个计算单元可以支持若干路视频流的结构化处理。

视频结构化处理通常包括视频解码、目标检测、目标跟踪和结构化处理，这些处理比较消耗CPU、GPU、内存等硬件资源。如果计算单元负责处理的若干路视频流中目标数量突增，计算单元的硬件资源可能出现性能瓶颈，导致结构化处理失败。

发明内容

本申请的多个方面提供一种视频处理方法、系统、设备及存储介质，用以提高视频处理资源的利用率，降低出现资源瓶颈的概率。

本申请实施例提供一种视频处理系统，包括：多个计算单元，用于从其负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；在所述多个计算单元中存在其结构化任务量大于设定阈值的第一计算单元和其结构化任务量不大于设定阈值的第二计算单元的情况下：

所述第一计算单元，还用于在识别出其结构化任务大于设定阈值的情况下，从待结构化的图像中选择目标图像，向所述第二计算单元提供所述目标图像的摘要信息；

所述第二计算单元，还用于在识别出其结构化任务量不大于设定阈值的情况下，根据所述摘要信息从所述第一计算单元获取所述目标图像，并利用本地资源对所述目标图像进行结构化处理。

本申请实施例还提供一种视频处理方法，适用于视频处理系统中的第一计算单元，所述方法包括：从所负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；以及在识别出其结构化任务大于设定阈值的情况下，从待结构化的图像中选择目标图像；向所述视频处理系统中结构化任务量不大于设定阈值的第二计算单元提供所述目标图像的摘要信息，以供所述第二计算单元利用本地资源对所述目标图像进行结构化处理。

本申请实施例还提供一种视频处理方法，适用于视频处理系统中的第二计算单元，所述方法包括：从所负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；以及在识别出其结构化任务量不大于设定阈值的情况下，获取所述视频处理系统中其结构化任务量大于设定阈值的第一计算单元提供的摘要信息；根据所述摘要信息从所述第一计算单元获取目标图像，所述目标图像是所述第一计算单元中待结构化的图像；利用本地资源对所述目标图像进行结构化处理。

本申请实施例还提供一种计算单元，可作为视频处理系统中的第一计算单元实现，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序，以用于：从所负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；以及在识别出结构化任务大于设定阈值的情况下，从待结构化的图像中选择目标图像；向所述视频处理系统中结构化任务量不大于设定阈值的第二计算单元提供所述目标图像的摘要信息，以供所述第二计算单元利用本地资源对所述目标图像进行结构化处理。

本申请实施例还提供一种计算单元，可作为视频处理系统中的第二计算单元实现，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序，以用于：从所负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；以及在识别出结构化任务量不大于设定阈值的情况下，获取所述视频处理系统中结构化任务量大于设定阈值的第一计算单元提供的摘要信息；根据所述摘要信息从所述第一计算单元获取目标图像，所述目标图像是所述第一计算单元中待结构化的图像；利用本地资源对所述目标图像进行结构化处理。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时，致使所述处理器实现本申请实施例提供的视频处理方法中的各步骤。

在本申请实施例的视频处理系统中，各计算单元之间实现互联协议，对视频处理中比较耗资源的结构化处理进行分布式调度，当一个计算单元的结构化任务较重时可将部分结构化任务提供给其它相对空闲的计算单元进行结构化处理，从而充分利用整个视频处理系统中的资源，降低在视频流检测目标突发时导致局部资源出现瓶颈的概率，而且通过这种削峰填谷模式，在大规模视频处理过程中，可以使得各个计算单元的资源利用率达到接近满负荷工作，从而提升整个系统资源的利用率，降低整体实现成本。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本申请示例性实施例提供的一种视频处理系统的结构示意图；

图1b为本申请示例性实施例提供的另一种视频处理系统的结构示意图；

图1c为本申请示例性实施例提供的又一种视频处理系统的结构示意图；

图2为本申请示例性实施例提供的一种计算单元内部的逻辑结构示意图；

图3为本申请示例性实施例提供的一种视频处理方法的流程示意图；

图4为本申请示例性实施例提供的另一种视频处理方法的流程示意图；

图5为本申请示例性实施例提供的一种计算单元的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有视频处理系统中，某个计算单元的硬件资源可能出现性能瓶颈，导致结构化处理失败。面对该技术问题，在本申请实施例的视频处理系统中，各计算单元之间实现互联协议，对视频处理中比较耗资源的结构化处理进行分布式调度，当一个计算单元的结构化任务较重时可将部分结构化任务提供给其它相对空闲的计算单元进行结构化处理，从而充分利用整个视频处理系统中的资源，降低在局部视频流检测目标突发时导致局部资源出现瓶颈的概率，而且通过这种削峰填谷模式，在大规模视频处理过程中，可以使各个计算单元的资源利用率达到接近满负荷工作，从而提升整个系统资源的利用率，降低整体实现成本。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1a为本申请示例性实施例提供的一种视频处理系统的结构示意图。如图1a所示，该视频处理系统100包括：多个计算单元10。其中，计算单元10是视频处理系统100中对视频流进行处理的单元，不同计算单元10负责对不同视频流进行视频处理，同一计算单元10可以对一路或多路视频流进行视频处理。在本申请实施例中，各计算单元10可基于AI算法对视频流进行处理，相应地，各计算单元10包括AI算法所需的计算资源和存储资源等硬件资源，还包括对视频流进行处理所需的AI算法，其中，AI算法运行在计算单元10的硬件资源上。其中，计算资源可以包括CPU核和GPU卡等中至少一种；存储资源可以包括若干内存、磁盘等存储介质。每个计算单元10包含的硬件资源量和资源类型是可配置的，当然一旦配置好，该计算单元10所包含的硬件资源就固定了，除非重新配置计算单元10所包含的硬件资源量和资源类型。另外，不同计算单元10所包含的硬件资源量和资源类型可以相同，也可以不相同。

在本实施例中，AI算法是指应用于视频处理领域中，具备一定推理能力，可以让计算单元以某种方式模仿人类分析视频流的行为的智能算法。例如，在视频检测过程中，视频AI算法会推理视频流中是否有目标存在，具体可以通过特征提取，基于提取的特征推理出目标、发现目标等。可选地，视频AI算法可以采用机器学习的方式实现，进一步，可以采用机器学习中的深度学习算法进行模型训练，得到用于视频AI算法的网络模型，如神经网络模型。在本申请实施例中，并不对计算单元10采用的AI算法进行限定，根据视频流处理需求的不同，计算单元10基于AI算法对视频流处理的过程也会有所差异。

在本实施例中，计算单元10通过执行AI算法对视频流进行处理，该处理主要包括从所负责的视频流中提取待结构化的图像，并利用本地资源对待结构化的图像进行结构化处理，对待结构化的图像进行结构化处理主要是指形成待结构化的图像中包含的待结构化目标对应的结构化数据的过程，可选地，该结构化数据可以包括对目标特征的向量化结果和/或从待结构化图像中提取的目标的属性数据。其中，计算单元10从其所负责的视频流中提取待结构化的图像的过程可以包括：视频解码、目标检测和目标跟踪等处理。例如，计算单元10在接收到需要进行AI分析的视频流后，可以先对视频流进行解码，然后对解码后的视频流进行目标检测，得到待结构化目标；之后，针对每个待结构化目标，在视频流中跟踪包含待结构化目标的图像作为待结构化的图像并跟踪待结构化目标在待结构化的图像中的位置等信息。进一步，根据待结构化目标的信息利用本地资源对待结构化的图像进行结构化处理，得到待结构化目标对应的结构化数据。其中，视频解码是指通过对应的解码算法将经过压缩的视频流(例如压缩格式为H264等)还原为YUV视频流的过程。目标检测是指从视频流中找出感兴趣的对象的过程，例如从视频流中找出机动车辆、特定用户、非机动车辆或特定物体等。目标跟踪是指在视频流所包含的连续图像中定位检测出的目标并从定位出的多张图像中选择较佳的图像作为待结构化的图像的过程。例如，可以选择目标较清晰或最清晰的图像，或者选择包含目标上指定部位(例如正脸)的图像，作为待结构化的图像。

其中，每个计算单元10可以对一路或多路视频流进行处理，例如可以进行机动车、非机动车、人体目标的检测、跟踪并进行结构化处理，最终得到视频流中检测到的目标的结构化数据。其中，机动车、非机动车、人体等都属于从视频流中检测出的目标。需要说明的是，根据应用场景的不同，从视频流中检测出的目标会有所不同，目标对应的结构化数据也会有所不同，但无论是何种应用场景下的视频流，计算单元10基于AI算法对视频流进行处理的过程是相同或类似的。

在本实施例中，可以将一路视频流作为调度粒度将其调度到一个计算单元10中进行处理。当然，一个计算单元10可以负责处理一路视频流，也可以同时负责处理多路视频流。其中，调度给计算单元10的视频流路数可根据该计算单元10的硬件资源量而定。对计算单元10来说，无论是处理一路视频流还是处理多路视频流，都是通过在其硬件资源上运行AI算法对视频流进行处理，例如依次对其负责的视频流进行视频解码、目标检测、目标跟踪和结构化处理等。当计算单元10负责处理的视频流中检测出的目标数量突发时，计算单元10需要对大量目标进行结构化处理，结构化处理是比较耗费GPU、CPU等硬件资源的，有可能导致该计算单元10中的硬件资源出现性能瓶颈，进而导致对目标的结构化处理失败。

为了避免出现上述问题，在本实施例中，在各计算单元10之间实现互联协议，对视频处理中比较耗资源的结构化处理进行分布式调度，即当一个计算单元10本地的结构化任务较重时可将部分结构化任务提供给其它相对空闲的计算单元10进行结构化处理，从而充分利用整个视频处理系统100中的硬件资源，降低在局部视频流检测目标突发时导致局部资源出现瓶颈的概率。另外，通过这种削峰填谷的模式，在大规模视频流处理过程中，还可以使各个计算单元10的资源利用率达到接近满负荷工作，有利于提升整个系统资源的利用率，降低整体实现成本。

在实际应用中，随着每个计算单元10所处理的视频流路数的不同以及各路视频流中检测出的目标数量的不同，不同计算单元10的结构化任务量可能会有所差异。其中，计算单元10待结构化处理的图像(或目标)数量的多少与其结构化任务量相关；一般来说，计算单元10待结构化处理的图像(或目标)数量越多，其结构化任务量就越重；反之，计算单元10待结构化处理的图像(或目标)数量越少，其结构化任务量就越轻。在本实施例中，通过设定阈值，各计算单元10可利用该设定阈值来判断其结构化任务是否较重。每个计算单元10，可将其结构化任务量与设定阈值进行比较；若其结构化任务量大于设定阈值，则说明其结构化任务较重，可能会导致其硬件资源出现性能瓶颈；若其结构化任务量不大于(即小于或等于)设定阈值，则说明其硬件资源利用率不太高，相对较为空闲。为了便于描述和区分，将多个计算单元10中结构化任务量大于设定阈值的计算单元记为第一计算单元，将多个计算单元10中结构化任务量不大于设定阈值的计算单元记为第二计算单元。当然，在实际应用中，在多个计算单元10中，有可能只存在第一计算单元，也有可能只存在第二计算单元，也有可能同时存在第一计算单元和第二计算单元。在本申请实施例中，重点关注在多个计算单元10中同时存在第一计算单元和第二计算单元的情况。

对于第一计算单元，除了从其负责的视频流中提取待结构化的图像，并利用本地资源对待结构化的图像进行结构化处理之外，还可识别其结构化任务量是否大于设定阈值；在识别出其结构化任务量大于设定阈值的情况下，可以从待结构化的图像中选择目标图像，向相对空闲的第二计算单元提供所选择的目标图像的摘要信息，以供第二计算单元利用本地资源对目标图像进行结构化处理。其中，对任一计算单元而言，其本地资源是指该计算单元上的资源，而不是其他计算单元上的资源。例如，对第一计算单元来说，其本地资源是指第一计算单元上的资源。待结构化的图像是指包含需要进行结构化处理的目标的图像。例如，假设需要对视频流中的机动车辆进行结构化处理，则计算单元10从视频流中检测出的包含机动车辆的一张或多张图像即为待结构化的图像。其中，目标图像是第一计算单元中待结构化的部分图像，其数量可以是一个，也可以是多个。目标图像的摘要信息可以包含任何能够让第二计算单元找到目标图像并对其进行结构化处理所需的信息，例如可以包括但不限于：目标图像的标识、目标图像的存储位置、目标图像中待结构化目标的信息等。

对第二计算单元，除了从其负责的视频流中提取待结构化的图像，并利用本地资源对待结构化的图像进行结构化处理之外，还可识别其结构化任务量是否大于设定阈值；在识别出其结构化任务量不大于设定阈值的情况下，可根据第一计算单元提供的摘要信息从第一计算单元获取目标图像，并利用本地资源对目标图像进行结构化处理。其中，第一计算单元和第二计算单元相互配合，可实现目标图像在视频处理系统100内的分布式调度，既可以解决第一计算单元遇到的资源瓶颈问题，又可以提升结构化处理的效率和整个视频处理系统100的资源利用率。在此说明，随着时间的推移，第一计算单元中和第二计算单元中待结构化的图像数量(即结构化任务量)是动态变化的，这意味着，对任一计算单元来说，其角色状态可能是动态变化的，即在其结构化任务量大于设定阈值的时间段内会成为第一计算单元，在其结构化任务量不大于设定阈值的时间段内会成为第二计算单元。

需要说明的是，在本申请实施例中，计算单元10的结构化任务量可以有多种表达方式，根据结构化任务量的表达方式的不同，设定阈值的具体实现方式也会有所不同。下面举例说明：

在可选实施方式A1中，利用计算单元10本地用于结构化处理的计算资源的利用率来反应其结构化任务量。一般来说，如果结构化任务量较重，那么用于结构化处理的计算资源的利用率就会高；反之，用于结构化处理的计算资源的利用率就会低。在该实施方式A1中，设定阈值可以实现为用于结构化处理的计算资源的利用率阈值。基于此，各计算资源10可以监控本地用于结构化处理的计算资源的利用率；当本地用于结构化处理的计算资源的利用率大于设定利用率阈值时，确定其结构化任务量大于设定阈值，同时可以判断其属于第一计算单元；反之，当本地用于结构化处理的计算资源的利用率小于或等于设定利用率阈值时，确定其结构化任务量不大于设定阈值，同时可以判断其属于第二计算单元。其中，用于本地结构化处理的计算资源可以是GPU资源，但不限于此。

在可选实施方式A2中，各计算单元10会在本地维护一个结构化队列，该结构化队列用于存储本地待结构化的图像中包含的待结构化目标的信息。在实际使用时，计算单元10可以将从视频流中检测出的待结构化目标的信息存储到本地结构化队列。可选地，可以按照先进先出的顺序向本地结构化队列中存储待结构化目标的信息，但不限于先进先出这一种策略。待结构化目标的信息可以是任何能够描述待结构化目标的信息，例如可以包括待结构化目标的ID、待结构化目标在图像中的位置等；其中，在检测到待结构化目标时，计算单元10会为检测到的待结构化目标分配一个具有唯一性的ID。一般来说，本地结构化队列的长度越长，意味着待结构化目标的数量越多，对应计算单元的结构化任务量就越重；反之，本地结构化队列的长度越短，意味着待结构化目标的数量越少，对应计算单元的结构化任务量就越轻。在该实施方式A2中，设定阈值可以实现为本地结构化队列对应的长度阈值。基于此，各计算资源10可以监控本地结构化队列的长度是否大于设定长度阈值；当本地结构化队列的长度大于设定长度阈值时，确定其结构化任务量大于设定阈值，同时可以判断其属于第一计算单元；反之，当本地结构化队列的长度小于或等于设定长度阈值时，确定其结构化任务量不大于设定阈值，同时可以判断其属于第二计算单元。

在可选实施方式A3中，利用计算单元10从其所负责的视频流中检测到待结构化目标的速率来反应其结构化任务量。其中，对任一计算单元10而言，可以将其所负责的一路或多路视频流简称为本地视频流。结构化任务是指计算单元10对从本地视频流中检测到待结构化目标进行结构化处理的过程，所以如果从本地视频流中检测到待结构化目标的速率越快，说明需要结构化处理的目标数量越多，其结构化任务量越重；反之，如果从本地视频流中检测到待结构化目标的速率越慢，说明需要结构化处理的目标数量相对较少，其结构化任务量相对较轻。在该实施方式A3中，设定阈值可以实现为从本地视频流中检测到待结构化目标的速率阈值。基于此，各计算资源10可以监控从本地视频流中检测到待结构化目标的速率是否大于设定速率阈值；当从本地视频流中检测到待结构化目标的速率大于设定速率阈值时，确定其结构化任务量大于设定阈值，同时可以判断其属于第一计算单元；反之，当从本地视频流中检测到待结构化目标的速率小于或等于设定速率阈值时，确定其结构化任务量不大于设定阈值，同时可以判断其属于第二计算单元。

需要说明的是，上述实施方式A1-A3可以择一使用，也可以以任意方式组合使用。在组合使用的情况下，设定阈值可以包括多个具体的阈值。例如，实施方式A1和A2组合使用，则设定阈值包括设定的利用率阈值和设定的速率阈值；相应地，各计算单元10可以一方面监控本地用于结构化处理的计算资源的利用率是否大于设定利用率阈值，另一方面监控本地结构化队列的长度是否大于设定长度阈值；当本地用于结构化处理的计算资源的利用率大于设定利用率阈值，且本地结构化队列的长度大于设定长度阈值时，确定其结构化任务量大于设定阈值，同时可以判断其属于第一计算单元；反之，若本地用于结构化处理的计算资源的利用率不大于设定利用率阈值，或者本地结构化队列的长度不大于设定长度阈值，则确定其结构化任务量不大于设定阈值，同时可以判断其属于第二计算单元。对于其它组合方式，与实施方式A1和A2组合使用的情况相同，不再赘述。

对任一计算单元10来说，在判断出其属于第一计算单元之后，可以从待结构化的图像中选择目标图像，即希望其它计算单元协助进行结构化处理的图像。在本实施例中，并不限定第一计算单元选择目标图像的实施方式。可选地，第一计算单元可以随机地从待结构化的图像中选择一个或多个图像作为目标图像。或者，第一计算单元也可以从待结构化的图像中选择最新被检测到的一个或多个图像作为目标图像。进一步，在第一计算单元维护有本地结构化队列的情况下，第一计算单元可以获取最新加入本地结构化队列中的至少一个待结构化目标的信息，将至少一个待结构化目标的信息对应的待结构化的图像作为所述目标图像。其中，与待结构化目标的信息对应的待结构化的图像是指包含待结构化目标的图像，其可以是一张或多张。优选地，与待结构化目标的信息对应的待结构化的图像可以是一张，例如可以从视频流中选择包含待结构化目标的质量较佳图像作为该结构化的图像。更进一步，在本地结构化队列采用先进先出的策略的情况下，第一计算单元可以获取本地结构化队列中位于队尾的待结构化目标的信息，将包含该信息对应的待结构化目标的图像作为目标图像。

在得到目标图像之后，第一计算单元可生成目标图像的摘要信息。例如，可以将目标图像中包含的待结构化目标的信息以及目标图像在第一计算单元中的存储地址等信息作为目标图像的摘要信息。其中，在摘要信息中包含目标图像在第一计算单元中的存储地址，用于供第二计算单元从第一计算单元中获取目标图像；在摘要信息中包含目标图像中包含的待结构化目标的信息，用于供第二计算单元确定其需要进行结构化处理的目标以及该目标在目标图像中的位置等信息。在生成目标图像的摘要信息之后，第一计算单元可向第二计算单元提供该摘要信息，以借助第二计算单元的资源由第二计算单元协助第一计算单元对目标图像进行结构化处理。在本申请实施例中，并不对协助第一计算单元对目标图像进行结构化处理的第二计算单元进行限定，可以是任何本地结构化任务相对较轻(较为空闲)的计算单元。另外，在本申请实施例中，也不限定第一计算单元向第二计算单元提供摘要信息的实施方式。下面进行举例说明：

在可选实施方式B1中，各计算单元10之间可以相互通信，对彼此的结构化任务状态进行通告。鉴于此，第一计算单元可以根据其它计算单元通告的结构化任务状态，从中选择结构化任务量较少相对空闲的计算单元(即结构化任务量不大于设定阈值的计算单元)作为第二计算单元；然后，将目标图像的摘要信息发送给第二计算单元，以供第二计算单元利用本地资源协助第一计算单元对目标图像进行结构化处理。进一步可选地，第一计算单元在选择出第二计算单元之后，向第二计算单元发送目标图像的摘要信息之前，还可以与第二计算单元就是否同意协助第一计算单元对目标图像进行结构化处理进行协商。若协商结果是第二计算单元不同意协助第一计算单元对目标图像进行结构化处理，第一计算单元可以继续选择其它计算单元作为新的第二计算单元并进行新一轮协商，直至找到同意协助第一计算单元对目标图像进行结构化处理的第二计算单元为止。

在可选实施方式B2中，如图1b所示，该视频处理系统100还包括：消息系统20。消息系统20与多个计算单元10通信连接，可看作是多个计算单元10之间共享的存储介质，既可以接收并存储各计算单元10上传的摘要信息，也可以向各计算单元10提供要读取的摘要信息。对各计算单元10来说，可以向消息系统20上传需要其它计算单元10协助进行结构化处理的目标图像的摘要信息，也可以从消息系统20读取想要协助处理的目标图像的摘要信息，以便对目标图像进行结构化处理。由此可知，在消息系统20的基础上，第一计算单元在选择出目标图像之后，可以将目标图像的摘要信息上传至消息系统20，以供第二计算单元从消息系统20读取目标图像的摘要信息。对第二计算单元来说，可在识别出其结构化任务量不大于设定阈值的情况下，从消息系统20中读取目标图像的摘要信息，之后，根据该摘要信息从第一计算单元获取目标图像，并利用本地资源对目标图像进行结构化处理。

在本实施例中，并不限定消息系统20的实现形式，例如可以是任何支持读写并具有通知机制的消息系统，例如可以是kafka消息队列。以消息系统20是kafka消息队列为例，每个计算单元10可以作为kafka消息队列的生产者(producer)和消费者(consumer)，具体地，在判断出自身成为第一计算单元时，可以作为生产者将需要其它计算单元协助进行结构化处理的目标图像的摘要信息发送至kafka消息队列中；在判断出自身成为第二计算单元时，可以作为消费者尝试从kafka消息队列中拉取目标图像的摘要信息，以利用本地资源对拉取到的摘要信息对应的目标图像进行结构化处理。

无论采用上述哪种实施方式，第二计算单元在获取到第一计算单元提供的目标图像的摘要信息之后，可以根据该摘要信息从第一计算单元获取目标图像。在本申请实施例中，并不限定第二计算单元从第一计算单元获取目标图像的实施方式。下面举例说明：

在可选实施方式C1中，目标图像的摘要信息中包含目标图像的标识信息或者包含目标图像中包含的待结构化目标的信息，第二计算单元向第一计算单元发送获取请求，并在获取请求中携带目标图像的标识信息或目标图像中包含的待结构化目标的信息，以供第一计算单元据此返回目标图像；第一计算单元还可以接收第二计算单元发送的获取请求，并根据该获取请求中携带的目标图像的标识信息或目标图像中包含的待结构化目标的信息向第二计算单元返回目标图像。

在可选实施方式C2中，目标图像的摘要信息中包含目标图像在第一计算单元上的访问地址，该访问地址可以是目标图像对应的URL或者存储地址。据此，第二计算单元可以直接根据该访问地址，从第一计算单元上相应的存储位置读取目标图像。

进一步，在一些可选实施例中，为了降低目标图像传输所消耗的带宽资源，降低传输成本，第一计算单元可在选择目标图像之后，且在第二计算单元获取目标图像之前，对目标图像进行压缩，得到压缩后的目标图像。可选地，可以采用无损压缩方式对目标图像进行压缩，可以保证解压缩出的目标图像不失真，进而保证结构化数据的准确度和精度。其中，无损压缩的图像格式可以是PNG、GIF等。

需要说明的是，第一计算单元可以利用其计算资源对目标图像进行无损压缩。例如，若第一计算单元包含的计算资源是CPU，则可以利用CPU对目标图像进行无损压缩；若第一计算单元包含的计算资源是GPU，则可以利用GPU对目标图像进行无损压缩；若第一计算单元同时包含多种类型的计算资源，则可以利用任意一种计算资源或综合利用多种计算资源对目标图像进行无算压缩。例如，在一可选实施例中，各计算单元10同时包括CPU和GPU两种计算资源，GPU资源主要用于执行AI算法，对视频流进行解码、目标检测、目标追踪以及结构化处理等；其它操作可由CPU资源完成，例如图像压缩操作可由CPU完成。基于此，第一计算单元在选择目标图像之后，可将目标图像从GPU内存中拷贝到CPU内存中，利用CPU对目标图像进行无损压缩并保存。其中，利用CPU对目标图像进行无损压缩的过程包括：根据待结构化目标在目标图像中的位置、扩边位置信息对目标图像进行截图；将截图后的目标图像进行无损压缩，并在本地磁盘中保存该无损压缩后的目标图像。

在第一计算单元对目标图像进行无损压缩的情况下，第二计算单元可以根据目标图像的摘要信息从第一计算单元获取无损压缩后的目标图像，进而对无损压缩后的目标图像进行解码，得到目标图像；之后，可利用本地资源对目标图像进行结构化处理，得到目标图像的结构化数据。

进一步，如图1c所示，视频处理系统100还包括：数据中心30。数据中心30相当于视频处理系统100的存储系统，主要负责存储各计算单元10输出的待结构化目标对应的结构化数据。数据中心30仅为存储系统的一种实现方式，并不限于此，例如还可以是块存储系统、数据库、数据仓库等。

进一步，如图1c所示，视频处理系统100还包括：任务中心40、计算调度引擎50和视频接入引擎60。

任务中心40面向用户，负责接收各个用户(如用户1-用户n)提交的视频流计算任务，将视频流计算任务提交到计算调度引擎50，并将视频流计算任务的状态反馈给用户。计算调度引擎50与任务中心40通信连接，用于接收任务中心40提交的视频流计算任务，并负责按照用户需求，将视频流计算任务合理地调度到各个计算单元10。计算调度引擎50可将实时流传输协议(Real Time Streaming Protocol，RTSP)URL地址携带在启动视频流AI分析指令中提供给计算单元10，以指示计算单元10对该URL地址对应的视频流进行AI分析。计算调度引擎50会将视频接入引擎60负责与各类视频采集设备的协议对接，并根据计算调度引擎50的调度结果，将视频采集设备采集到的视频流转发给相应计算单元10，供各计算单元10对视频流计算任务对应的视频流进行AI分析。其中，视频采集设备可以是网络摄像头(IP Camera，IPC)、电子眼等。关于计算单元10对

在本申请上述实施例中，并未对计算单元10内部的逻辑结构做限定，凡是能够与其它计算单元10实现互联协议，相互配合完成结构化处理任务的内部逻辑结构均适用于本申请实施例。下面给出计算单元10内部逻辑结构的一种实现方式，如图2所示，计算单元10包括：解码模块11、检测模块12、跟踪模块13、结构化模块14、结构化管理模块15、编解码模块16、任务量感知模块17以及接入总线模块18。如图2所示，各计算单元10内部具有相同或类似的实现结构。

其中，各计算单元10中的结构化管理模块15是对图像进行结构化处理过程中的调度中心，负责根据整个系统中的资源情况对待结构化的图像合理地进行分布式调度，从而充分利用各个计算单元10的本地资源，达到削峰填谷的目的，提高整个系统资源的利用率以及结构化处理的效率。各计算单元10中的接入总线模块18与消息系统20(如kafka消息队列)对接，负责将摘要信息发送到消息系统20(如kafka消息队列)或从消息系统20(如kafka消息队列)读取摘要信息。各计算单元10中的编解码模块16负责将目标图像进行无损编码压缩，保障在结构化时，目标图像中待结构化目标的信息不被损失。

如图2所示，视频采集设备采集到的视频流接入解码模块11，解码模块11对视频流进行解码处理并从视频流中抽取部分图像送入检测模块12；检测模块12根据解码模块11送来的图像对视频流进行目标检测，并将检测到待结构化目标送入跟踪模块13；跟踪模块13针对检测模块12检测出的待结构化目标进行跟踪，得到视频流中包含待结构化目标的图像作为待结构化的图像以及待结构化目标在待结构化图像中的位置等信息，并将待结构化目标的信息以及待结构化的图像提供给结构化管理模块15。结构化管理模块15一方面存储待结构化的图像，例如可以存储到GPU内存中，一方面将待结构化目标的信息添加到本地结构化队列中，以等待结构化模块14根据该待结构化目标的信息对待结构化的图像进行结构化处理。在该过程中，任务量感知模块17可采用上述可选实施方式A1-A3及其任一组合方式中的任一方式感知计算单元10的结构化任务量，并会将感知到的结构化任务量的信息提供给结构化管理模块15；若结构化管理模块15据此判断出本地结构化任务较重，需要其它计算单元10协助，则将最新加入本地结构化队列中的待结构化目标的信息对应的待结构化的图像作为目标图像，将目标图像送入编解码模块16；编解码模块16对目标图像进行无损压缩，并将无损压缩后的目标图像存储到本地磁盘中，之后通知结构化管理模块15图像压缩完成。结构化管理模块15接收到图像压缩完成的通知消息后，通过接入总线模块18将目标图像的访问地址(如URL)以及最新加入本地结构化队列中的待结构化目标的信息打包成目标图像的摘要信息；将摘要信息上传至消息系统20，以等待其它相对空闲的计算单元10读取后对目标图像进行结构化处理。最后，结构化管理模块15将目标图像等资源进行释放。

对于图2中示出的另一计算单元10来说，若其结构化管理模块15判断出其结构化任务较轻，相对空闲，可以协助其它计算单元10进行结构化处理，可以通过接入总线模块18从消息系统20中拉取摘要信息，提取摘要信息中的访问地址(如URL)，向输出该摘要信息的计算单元10发起获取请求(如Http请求)，以请求获取目标图像。在获取目标图像之后，结构化管理模块15将无损压缩后的目标图像输出到本地的编解码模块16；编解码模块16将无损压缩后的目标图像进行解码，将解码得到的目标图像拷贝到GPU内存中，并发送解码完成消息给结构化管理模块15；结构化管理模块15收到解码完成消息后，将所拉取的摘要信息中待结构化目标的信息加入本地结构化队列中，以等待本地结构化模块14据此对目标图像进行结构化处理。其中，对结构化模块14来说，可按照顺序依次读取本地结构化队列中存储的待结构化目标的信息，根据所读取的待结构化目标的信息，对相应待结构化的图像中包含的待结构化目标的特征进行向量化并对待结构化目标进行属性提取，以形成待结构化目标的结构化数据。其中，对本地结构化任务较轻的计算单元来说，其结构化模块14不仅可以对本地待结构化的图像进行结构化处理之外，还可以协助本地结构化任务相对较重的计算单元进行图像或目标的结构化处理。

进一步，如图2所示，计算单元10还包括：预处理模块19，用于在视频流进入解码模块11之前，对视频流进行预处理。该预处理模块19可以运行程序ffmpeg对视频流进行预处理，例如可以采用RTP方式将视频流传送给支持RTSP的解码模块。

通过上述流程，即完成目标图像在整个视频处理系统100内的分布式调度，实现一种分布式的结构化处理方案，充分利用系统中各计算单元的资源，提高结构化处理的效率，提升整个系统的资源利用率。另外，在上述各实施例中，第一计算单元通过对外提供目标图像的摘要信息，一方面可以让第二计算单元基于该摘要信息成功获取目标图像，另一方面，该摘要信息包含了目标图像以及目标图像中包含的待结构化目标的信息，这些信息可以体现出目标图像与其所属视频流中其它待结构化图像之间的关联关系，这样第二计算单元对目标图像进行结构化处理后可基于摘要信息或部分摘要信息(例如对标识结构化数据与目标图像或待结构化目标之间关联关系有用的部分信息)对目标图像对应的结构化数据进行存储，即在结构化数据存储系统(如数据中心30)中，可体现目标图像、其对应的结构化数据以及摘要信息或部分摘要信息之间的对应关系，基于该对应关系可以体现出目标图像与目标图像所属视频流中其它待结构化图像之间的关联性。进一步，在结构化数据存储系统(如数据中心30)中，可以以视频流或待结构化目标为存储维度，对结构化数据进行存储管理，而基于目标图像的摘要信息或部分摘要信息，可以轻松地确定出目标图像对应的结构化数据在结构化数据存储系统(如数据中心30)中的存储位置，例如可以轻松地确定出目标图像对应的结构化数据属于哪个数据流或者对应哪个待结构化目标，进而将其存储到所属数据流或对应待结构化目标的存储空间中。从而，在实现分布式调度过程中，保持了同一视频流中各待结构化图像以及待结构化目标之间的关联性，符合视频流处理的要求。

在此说明，本申请实施例提供的视频处理系统100是一个分布式系统，其中各单元或模块可分布部署在多台物理设备上，也可以部署在多个虚拟机或容器等实体中实现，对此不做限定。在一实现方式中，本实施例的视频处理系统100可以采用Kubernetes实现，Kubernetes简称K8s，是用8代替8个字符“ubernete”而成的缩写，是一个开源的，用于管理云平台中多个主机上的容器化的应用。在基于K8s实现的视频处理系统中，可将AI算法所需的若干CPU核、一张GPU卡、若干内存等资源硬件资源以及AI算法组成一个Pod，或者简称计算单元(compute unit)或计算Pod，Pod是可以创建和管理Kubernetes计算的最小可部署单元，也是视频处理系统中GPU资源的最小分配单元。假设一台主机上有8张GPU卡，每张GPU卡创建一个Pod，则共可以创建出8个Pod。这里的Pod相当于前述实施例中的计算单元，其内部逻辑结构如图2所示，工作原理可参见前述实施例中对计算单元的描述，在此不再赘述。

图3为本申请示例性实施例提供的一种视频处理方法的流程示意图。该方法是从视频处理系统中的第一计算单元的角度进行的描述，主要描述对结构化任务进行分布式调度时的输出流程。如图3所示，该方法包括：

31、从所负责的视频流中提取待结构化的图像，并利用本地资源对待结构化的图像进行结构化处理。

32、在识别出结构化任务量大于设定阈值的情况下，从待结构化的图像中选择目标图像。

33、向视频处理系统中结构化任务量不大于设定阈值的第二计算单元提供目标图像的摘要信息，以供第二计算单元根据所述摘要信息获取目标图像并利用本地资源对目标图像进行结构化处理。

在一可选实施例中，识别结构化任务是否大于设定阈值，包括执行以下至少一种监控操作：

监控本地用于结构化处理的计算资源的利用率是否大于设定利用率阈值；

监控本地结构化队列的长度是否大于设定长度阈值，本地结构化队列用于存储待结构化的图像中包含的待结构化目标的信息；

监控从所负责的视频流中检测到待结构化目标的速率是否大于设定速率阈值；

若至少一种监控操作的结果均为是，确定结构化任务量大于设定阈值。这些监控操作的详细描述，可参见前述实施例，在此不再赘述。

在一可选实施例中，第一计算单元可维护本地结构化队列，本地结构化队列用于存储本地待结构化目标的信息，该结构化目标是待结构化的图像中包含的目标。基于此，从本地待结构化的图像中选择目标图像，包括：获取最新加入本地结构化队列中的至少一个待结构化目标的信息，将至少一个待结构化目标的信息对应的待结构化的图像作为目标图像。之后，可根据目标图像的访问地址以及目标图像中包含的待结构化目标的信息生成目标图像的摘要信息，向第二计算单元提供该摘要信息。其中，目标图像的访问地址是指目标图像在第一计算节点上的存储地址，根据该访问地址可以访问到目标图像。

在一可选实施例中，在第二计算单元获取目标图像之前，所述方法还包括：对目标图像进行无损压缩，并保存无损压缩后的目标图像，以供第二计算单元根据摘要信息获取无损压缩后的目标图像。在对目标图像进行无损压缩的情况下，摘要信息中包含的是无损压缩后的目标图像在第一计算单元上的存储访问地址。

进一步可选地，第一计算单元中的计算资源同时包含GPU和CPU，GPU资源主要用来对视频流进行AI分析，例如视频解码、目标检测、目标跟踪和结构化处理等，CPU资源可负责执行其它一些操作，例如对目标图像进行无损压缩。基于此，对目标图像进行无损压缩，包括：将目标图像从GPU内存中读取到CPU内存中，利用CPU对目标图像进行无损压缩并保存。

在一可选实施例中，视频处理系统还包括消息系统，消息系统是视频处理系统中各计算单元之间交互的桥梁，负责存储各计算单元上传的摘要信息。基于此，向第二计算单元提供目标图像的摘要信息，包括：将摘要信息上传至视频处理系统中的消息系统，以供第二计算单元从消息系统读取所述摘要信息。

在本实施例中，在视频处理系统中，各计算单元之间实现互联协议，当一个计算单元的结构化任务较重时可将部分结构化任务提供给其它相对空闲的计算单元进行结构化处理，从而充分利用整个视频处理系统中的资源，降低在局部视频流检测目标突发时导致局部资源出现瓶颈的概率，而且通过这种削峰填谷模式，在大规模视频处理过程中，可以使得各个计算单元的资源利用率达到接近满负荷工作，从而提升整个系统资源的利用率，降低整体实现成本。

图4为本申请示例性实施例提供的另一种视频处理方法的流程示意图。该方法是从视频处理系统中的第二计算单元的角度进行的描述，主要描述对结构化任务进行分布式调度时的输入流程。如图3所示，该方法包括：

41、从所负责的视频流中提取待结构化的图像，并利用本地资源对待结构化的图像进行结构化处理。

42、在识别出结构化任务量不大于设定阈值的情况下，获取视频处理系统中结构化任务量大于设定阈值的第一计算单元提供的摘要信息。

43、根据所述摘要信息从第一计算单元获取目标图像，所述目标图像是第一计算单元中待结构化的图像。

44、利用本地资源对目标图像进行结构化处理。

在一可选实施例中，识别结构化任务是否大于设定阈值，包括执行以下至少一种监控操作：

监控本地用于结构化处理的计算资源的利用率是否大于设定利用率阈值；

监控本地结构化队列的长度是否大于设定长度阈值，本地结构化队列用于存储待结构化的图像中包含的待结构化目标的信息；

监控从所负责的视频流中检测到待结构化目标的速率是否大于设定速率阈值；

若至少一种监控操作的结果均为是，确定结构化任务量大于设定阈值。这些监控操作的详细描述，可参见前述实施例，在此不再赘述。

在一可选实施例中，视频处理系统还包括消息系统，消息系统是视频处理系统中各计算单元之间交互的桥梁，负责存储各计算单元上传的摘要信息。基于此，获取第一计算单元提供的摘要信息，包括：从视频处理系统中的消息系统，读取第一计算单元上传的所述摘要信息。

在一可选实施例中，根据所述摘要信息从第一计算单元获取目标图像，包括：根据所述摘要信息，从第一计算单元获取无损压缩后的目标图像；对无损压缩后的目标图像进行解码，得到目标图像。可选地，摘要信息中包含目标图像的访问地址，则可以根据摘要信息中包含目标图像的访问地址，从第一计算单元获取无损压缩后的目标图像。

在一可选实施例中，摘要信息包括目标图像中包含的待结构化目标的信息。基于此，利用本地资源对目标图像进行结构化处理，包括：基于待结构化目标的信息，利用本地资源对目标图像中包含的待结构化目标的特征进行向量化并对所述待结构化目标进行属性提取，以形成所述待结构化目标的结构化数据。即，待结构化目标的结构化数据包括待结构化目标的特征向量化数据和其属性数据。

进一步可选地，还可以将待结构化目标的结构化数据输出至视频处理系统包含的数据中心中进行存储。

在本实施例中，在视频处理系统中，各计算单元之间实现互联协议，当一个计算单元的结构化任务较重时可将部分结构化任务提供给其它相对空闲的计算单元进行结构化处理，从而充分利用整个视频处理系统中的资源，降低在局部视频流检测目标突发时导致局部资源出现瓶颈的概率，而且通过这种削峰填谷模式，在大规模视频处理过程中，可以使得各个计算单元的资源利用率达到接近满负荷工作，从而提升整个系统资源的利用率，降低整体实现成本。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤41至步骤43的执行主体可以为设备A；又比如，步骤41和42的执行主体可以为设备A，步骤43的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如41、42等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图5为本申请示例性实施例提供的一种计算单元的结构示意图。该计算单元可作为基于AI的视频处理系统中的第一计算单元实现，如图5所示，该计算单元包括：存储器51和处理器52。

存储器51，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算单元上的操作。这些数据的示例包括用于在计算单元上操作的任何应用程序或方法的指令，图片，视频等。

存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器52，与存储器51耦合，用于执行存储器51中的计算机程序，以用于：从所负责的视频流中提取待结构化的图像，并利用本地资源对待结构化的图像进行结构化处理；以及在识别出结构化任务量大于设定阈值的情况下，从待结构化的图像中选择目标图像；向视频处理系统中结构化任务量不大于设定阈值的第二计算单元提供目标图像的摘要信息，以供第二计算单元根据所述摘要信息获取目标图像并利用本地资源对目标图像进行结构化处理。

在一可选实施例中，处理器52在识别结构化任务是否大于设定阈值时，具体用于执行以下至少一种监控操作：

监控本地用于结构化处理的计算资源的利用率是否大于设定利用率阈值；

监控本地结构化队列的长度是否大于设定长度阈值，本地结构化队列用于存储待结构化的图像中包含的待结构化目标的信息；

监控从所负责的视频流中检测到待结构化目标的速率是否大于设定速率阈值；

若至少一种监控操作的结果均为是，确定结构化任务量大于设定阈值。这些监控操作的详细描述，可参见前述实施例，在此不再赘述。

在一可选实施例中，本实施例提供的计算单元可维护本地结构化队列，本地结构化队列用于存储本地待结构化目标的信息，该结构化目标是待结构化的图像中包含的目标。基于此，处理器52在从待结构化的图像中选择目标图像时，用于：获取最新加入本地结构化队列中的至少一个待结构化目标的信息，将至少一个待结构化目标的信息对应的待结构化的图像作为目标图像。之后，可根据目标图像的访问地址以及目标图像中包含的待结构化目标的信息生成目标图像的摘要信息，向第二计算单元提供该摘要信息。其中，目标图像的访问地址是指目标图像在第一计算节点上的存储地址，根据该访问地址可以访问到目标图像。

在一可选实施例中，处理器52还用于：在第二计算单元获取目标图像之前，对目标图像进行无损压缩，并保存无损压缩后的目标图像，以供第二计算单元根据摘要信息获取无损压缩后的目标图像。在对目标图像进行无损压缩的情况下，摘要信息中包含的是无损压缩后的目标图像在第一计算单元上的存储访问地址。

进一步可选地，本实施例提供的计算单元中的计算资源同时包含GPU和CPU，GPU资源主要用来对视频流进行AI分析，例如视频解码、目标检测、目标跟踪和结构化处理等，CPU资源可负责执行其它一些操作，例如对目标图像进行无损压缩。基于此，处理器52在对目标图像进行无损压缩时，用于：将目标图像从GPU内存中读取到CPU内存中，利用CPU对目标图像进行无损压缩并保存。

在一可选实施例中，视频处理系统还包括消息系统，消息系统是视频处理系统中各计算单元之间交互的桥梁，负责存储各计算单元上传的摘要信息。基于此，处理器52在向第二计算单元提供目标图像的摘要信息时，用于：将摘要信息上传至视频处理系统中的消息系统，以供第二计算单元从消息系统读取所述摘要信息。

进一步，如图5所示，该计算单元还包括：通信组件53、显示器54、电源组件55、音频组件56等其它组件。图5中仅示意性给出部分组件，并不意味着计算单元只包括图5所示组件。另外，图5中虚线框内的组件为可选组件，而非必选组件，具体可视计算单元的产品形态而定。本实施例的计算单元可以实现为台式电脑、笔记本电脑、智能手机或IOT设备等终端设备，也可以是常规服务器、云服务器或服务器阵列等服务端设备。若本实施例的计算单元实现为台式电脑、笔记本电脑、智能手机等终端设备，可以包含图5中虚线框内的组件；若本实施例的计算单元实现为常规服务器、云服务器或服务器阵列等服务端设备，则可以不包含图5中虚线框内的组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现图3所示方法实施例中的各步骤。

除上述计算单元之外，本申请实施例还提供一种计算单元，该计算单元可作为基于AI的视频处理系统中的第二计算单元实现，该计算单元的实现结构与图5所示计算单元的实现结构相同或类似，可参照图5所示计算单元的结构实现。本实施例提供的计算单元与图5所示实施例中计算单元的区别主要在于：处理器执行存储器中存储的计算机程序所实现的功能不同。对本实施例的计算单元来说，其处理器执行存储器中存储的计算机程序，可用于：

从所负责的视频流中提取待结构化的图像，并利用本地资源对待结构化的图像进行结构化处理；以及在识别出结构化任务量不大于设定阈值的情况下，获取视频处理系统中结构化任务量大于设定阈值的第一计算单元提供的摘要信息；根据所述摘要信息从第一计算单元获取目标图像，所述目标图像是第一计算单元需要结构化的图像；利用本地资源对目标图像进行结构化处理。

在一可选实施例中，处理器在识别结构化任务是否大于设定阈值，具体用于执行以下至少一种监控操作：

监控本地用于结构化处理的计算资源的利用率是否大于设定利用率阈值；

监控本地结构化队列的长度是否大于设定长度阈值，本地结构化队列用于存储待结构化的图像中包含的待结构化目标的信息；

监控从所负责的视频流中检测到待结构化目标的速率是否大于设定速率阈值；

若至少一种监控操作的结果均为是，确定结构化任务量大于设定阈值。这些监控操作的详细描述，可参见前述实施例，在此不再赘述。

在一可选实施例中，视频处理系统还包括消息系统，消息系统是视频处理系统中各计算单元之间交互的桥梁，负责存储各计算单元上传的摘要信息。基于此，处理器在获取第一计算单元提供的摘要信息时，用于：从视频处理系统中的消息系统，读取第一计算单元上传的所述摘要信息。

在一可选实施例中，处理器在根据所述摘要信息从第一计算单元获取目标图像时，用于：根据所述摘要信息，从第一计算单元获取无损压缩后的目标图像；对无损压缩后的目标图像进行解码，得到目标图像。可选地，摘要信息中包含目标图像的访问地址，则可以根据摘要信息中包含目标图像的访问地址，从第一计算单元获取无损压缩后的目标图像。

在一可选实施例中，摘要信息包括目标图像中包含的待结构化目标的信息。基于此，处理器在利用本地资源对目标图像进行结构化处理时，用于：基于待结构化目标的信息，利用本地资源对目标图像中包含的待结构化目标的特征进行向量化并对所述待结构化目标进行属性提取，以形成所述待结构化目标的结构化数据。

进一步可选地，处理器还可以将待结构化目标的结构化数据输出至视频处理系统包含的数据中心中进行存储。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现图4所示方法实施例中的各步骤。

上述各实施例中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还可以包括近场通信(NFC)模块，射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术等。

上述各实施例中的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

上述各实施例中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述各实施例中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (21)

1.一种视频处理系统，其特征在于，包括：多个计算单元，用于从其负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；

在所述多个计算单元中存在结构化任务量大于设定阈值的第一计算单元和结构化任务量不大于设定阈值的第二计算单元的情况下：

所述第一计算单元，还用于在识别出其结构化任务量大于设定阈值的情况下，从待结构化的图像中选择目标图像，向所述第二计算单元提供所述目标图像的摘要信息；

所述第二计算单元，还用于在识别出其结构化任务量不大于设定阈值的情况下，根据所述摘要信息从所述第一计算单元获取所述目标图像，并利用本地资源对所述目标图像进行结构化处理。

2.根据权利要求1所述的系统，其特征在于，还包括：消息系统；

所述第一计算单元，用于将所述目标图像的摘要信息上传至所述消息系统，以供所述第二计算单元从所述消息系统读取所述摘要信息；

所述第二计算单元，用于在识别出其结构化任务量不大于设定阈值的情况下，从所述消息系统中读取所述摘要信息。

3.根据权利要求1所述的系统，其特征在于，所述第一计算单元或所述第二计算单元在识别其结构化任务量是否大于设定阈值时，具体用于执行以下至少一种监控操作：

监控本地用于结构化处理的计算资源的利用率是否大于设定利用率阈值；

监控本地结构化队列的长度是否大于设定长度阈值，本地结构化队列用于存储待结构化的图像中包含的待结构化目标的信息；

监控从其负责的视频流中检测到待结构化目标的速率是否大于设定速率阈值；

若所述至少一种监控操作的结果均为是，确定其结构化任务量大于设定阈值。

4.根据权利要求1所述的系统，其特征在于，所述第一计算单元在选择目标图像时，具体用于：

获取最新加入本地结构化队列中的至少一个待结构化目标的信息，将所述至少一个待结构化目标的信息对应的待结构化的图像作为所述目标图像；其中，本地结构化队列用于存储本地待结构化的图像中包含的待结构化目标的信息。

5.根据权利要求1-4任一项所述的系统，其特征在于，所述第一计算单元还用于：在所述第二计算单元获取所述目标图像之前，对所述目标图像进行无损压缩并保存；

所述第二计算单元具体用于：根据所述摘要信息从所述第一计算单元获取无损压缩后的目标图像，并对所述无损压缩后的目标图像进行解码，得到所述目标图像。

6.根据权利要求5所述的系统，其特征在于，所述第一计算单元还用于：将所述目标图像从GPU内存中读取到CPU内存中，利用CPU对所述目标图像进行无损压缩并保存。

7.一种视频处理方法，其特征在于，适用于视频处理系统中的第一计算单元，所述方法包括：

从所负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；以及

在识别出结构化任务量大于设定阈值的情况下，从待结构化的图像中选择目标图像；

向所述视频处理系统中结构化任务量不大于设定阈值的第二计算单元提供所述目标图像的摘要信息，以供所述第二计算单元利用本地资源对所述目标图像进行结构化处理。

8.根据权利要求7所述的方法，其特征在于，识别结构化任务是否大于设定阈值，包括执行以下至少一种监控操作：

监控本地用于结构化处理的计算资源的利用率是否大于设定利用率阈值；

监控本地结构化队列的长度是否大于设定长度阈值，本地结构化队列用于存储待结构化的图像中包含的待结构化目标的信息；

监控从所负责的视频流中检测到待结构化目标的速率是否大于设定速率阈值；

若所述至少一种监控操作的结果均为是，确定结构化任务量大于设定阈值。

9.根据权利要求7所述的方法，其特征在于，从待结构化的图像中选择目标图像，包括：

获取最新加入本地结构化队列中的至少一个待结构化目标的信息，将所述至少一个待结构化目标的信息对应的待结构化的图像作为所述目标图像；其中，本地结构化队列用于存储本地待结构化的图像中包含的待结构化目标的信息。

10.根据权利要求7所述的方法，其特征在于，在所述第二计算单元获取所述目标图像之前，所述方法还包括：

对所述目标图像进行无损压缩，并保存无损压缩后的目标图像，以供所述第二计算单元根据所述摘要信息获取所述无损压缩后的目标图像。

11.根据权利要求10所述的方法，其特征在于，对所述目标图像进行无损压缩，包括：

将所述目标图像从GPU内存中读取到CPU内存中，利用CPU对所述目标图像进行无损压缩并保存。

12.根据权利要求7-11任一项所述的方法，其特征在于，向所述视频处理系统中结构化任务量不大于设定阈值的第二计算单元提供所述目标图像的摘要信息，包括：

将所述摘要信息上传至所述视频处理系统中的消息系统，以供所述第二计算单元从所述消息系统读取所述摘要信息。

13.根据权利要求12所述的方法，其特征在于，所述摘要信息包括所述目标图像的访问地址和所述目标图像中包含的待结构化目标的信息。

14.一种视频处理方法，其特征在于，适用于视频处理系统中的第二计算单元，所述方法包括：

从所负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；以及

在识别出其结构化任务量不大于设定阈值的情况下，获取所述视频处理系统中结构化任务量大于设定阈值的第一计算单元提供的摘要信息；

根据所述摘要信息从所述第一计算单元获取目标图像，所述目标图像是所述第一计算单元中待结构化的图像；

利用本地资源对所述目标图像进行结构化处理。

15.根据权利要求14所述的方法，其特征在于，识别结构化任务是否大于设定阈值，包括执行以下至少一种监控操作：

监控本地用于结构化处理的计算资源的利用率是否大于设定利用率阈值；

监控本地结构化队列的长度是否大于设定长度阈值，本地结构化队列用于存储待结构化的图像中包含的待结构化目标的信息；

监控从所负责的视频流中检测到待结构化目标的速率是否大于设定速率阈值；

若所述至少一种监控操作中任一监控操作的结果为否，确定结构化任务量不大于设定阈值。

16.根据权利要求14所述的方法，其特征在于，获取所述视频处理系统中结构化任务量大于设定阈值的第一计算单元提供的摘要信息，包括：

从所述视频处理系统中的消息系统，读取所述第一计算单元上传的所述摘要信息。

17.根据权利要求14-16任一项所述的方法，其特征在于，根据所述摘要信息从所述第一计算单元获取目标图像，包括：

根据所述摘要信息，从所述第一计算单元获取无损压缩后的目标图像；

对所述无损压缩后的目标图像进行解码，得到所述目标图像。

18.根据权利要求14-16任一项所述的方法，其特征在于，所述摘要信息包括所述目标图像中包含的待结构化目标的信息；

利用本地资源对所述目标图像进行结构化处理，包括：

基于所述待结构化目标的信息，利用本地资源对所述待结构化目标的特征进行向量化并对所述待结构化目标进行属性提取，以形成所述待结构化目标的结构化数据。

19.一种计算单元，可作为视频处理系统中的第一计算单元实现，其特征在于，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序，以用于：

从所负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；以及

在识别出结构化任务大于设定阈值的情况下，从待结构化的图像中选择目标图像；

向所述视频处理系统中结构化任务量不大于设定阈值的第二计算单元提供所述目标图像的摘要信息，以供所述第二计算单元利用本地资源对所述目标图像进行结构化处理。

20.一种计算单元，可作为视频处理系统中的第二计算单元实现，其特征在于，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序，以用于：

从所负责的视频流中提取待结构化的图像，并利用本地资源对所述待结构化的图像进行结构化处理；以及

在识别出结构化任务量不大于设定阈值的情况下，获取所述视频处理系统中结构化任务量大于设定阈值的第一计算单元提供的摘要信息；

根据所述摘要信息从所述第一计算单元获取目标图像，所述目标图像是所述第一计算单元需要结构化的图像；利用本地资源对所述目标图像进行结构化处理。

21.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求7-18任一项所述方法中的各步骤。

Images