CN111310694B - 基于预测的低帧延迟行为识别方法 - Google Patents

Abstract

本发明涉及一种基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光，图像生成和视觉计算三个阶段，所述感光、图像生成构成前端，所述视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算。由此，通过本发明的方法，构建基于预测机制的低帧延迟行为识别系统。借助连续帧预测模块，缩短了视觉处理流水线的前端成像阶段的帧延迟。利用硬件异构性，最小化了视觉处理，便于流水线的后端计算阶段的帧延迟。

Description

基于预测的低帧延迟行为识别方法

技术领域

本发明涉及一种基于人工智能的视觉处理系统的数据处理方法，尤其涉及一种基于预测的低帧延迟行为识别方法。

背景技术

随着人工智能的不断发展，新兴的移动嵌入式视觉处理系统，如智能城市感知(Smart City Sensing)、自动驾驶(Autonomous Driving)不断取得进步。具体来说，这些视觉处理系统依赖图像传感器持续地捕捉视觉信息，再通过视觉算法从视觉信息中提取隐含信息，从而指导系统做出相应的决策。因此，连续视觉处理技术(Continuous Vision)是这类系统的基石。

但是，当前的连续视觉处理通常采用流水线技术，虽然这能提高吞吐量，但增加了单个帧从产生到计算完成整个过程的延迟，即端到端的帧延迟。为此，对实时系统而言，降低连续视觉处理中端到端的帧延迟对提高系统的敏捷性、可靠性至关重要。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种基于预测的低帧延迟行为识别方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于预测的低帧延迟行为识别方法。

本发明的基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光，图像生成和视觉计算三个阶段，其特征在于：所述感光、图像生成构成前端，所述视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算；

通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算，

所述连续帧预测模块基于第一个实际帧得到了若干个预测帧，预测帧一经产生便可直接被调度执行计算阶段的行为识别任务；

当感光和成像阶段执行完得到实际帧时，对预测帧进行检测，若预测帧通过检验，则说明预测帧和实际帧较为相似，预测帧可代替实际帧进行行为识别的计算，否则需要用实际帧重新进行计算。

进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述预测帧和实际帧通过结构相似性指数对相似度进行量化，计算出每个预测帧对应的SSIM指数，并设置一个相似度阈值T，若SSIM index>T,则该帧检验合格；否则用实际帧重新进行行为识别计算；

依据预测帧产生的时间顺序，将n个预测帧划分为K个免检预测帧，n-K个检查预测帧，其中，0≤K≤n，n＝10；

通过准确性控制模块来对准确率进行控制，准确性控制模块通过调整K，T两个参数来对预测帧的准确性进行直接控制。

更进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述连续帧预测模块根据当前获得的实际帧以及之前预测过程中积累的信息来预测一系列连续帧。

更进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述预测帧产生后，被调度算法调度到片上系统的不同计算单元上作为行为识别算法的输入数据进行计算；当预测帧和实际帧之间存在较大偏差，即预测不准确时，调度算法会用实际帧替换掉预测帧，再将替换后的实际帧作为行为识别算法的输入，重新用实际帧进行行为识别的计算。

更进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述调度算法采用贪心策略，通过控制器依据实时获得的计算单元的计算耗时信息和计算功耗信息来对帧进行调度。具体来说，这个控制器是本领域常规采纳的microcontroller unit，就是业内常用的MCU(微控制单元)。

再进一步地，上述的基于预测的低帧延迟行为识别方法，其中，所述行为识别算法采用TSN网络。

借由上述方案，本发明至少具有以下优点：

1、可以通过本发明的方法，构建基于预测机制的低帧延迟行为识别系统。

2、借助连续帧预测模块，缩短了视觉处理流水线的前端成像阶段的帧延迟。

3、利用硬件异构性，最小化了视觉处理，便于流水线的后端计算阶段的帧延迟。

4、通过有效的帧调度算法和预测检查机制，有效地降低了端到端帧延迟，并保证了较低的能耗以及维持了较高的行为识别准确率。

5、可用于对帧延迟要求较高的实时行为识别系统，满足各类移动嵌入式视觉处理系统的应用需要。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是视觉处理流水执行的模型示意图。

图2是一个预测周期中图像帧的划分示意图。

图3是本发明应用到软件后的系统构架结构示意图(箭头表示数据流)。

图4是本发明的整体构架示意图。

图5是本发明方法的逻辑示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1至5的基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光(Sensing)，图像生成(Imaging)和视觉计算(Vision Computation)三个阶段，其与众不同之处在于：感光、图像生成构成前端，视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算。这样，打破了感光、成像、计算三个阶段必须顺序执行的串行模式，因此端到端的帧延迟得到了优化。在此期间，通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算。其原因在于，目前连续帧预测模块的预测准确性的有限，预测出的帧相较视觉流水线前端生成的实际帧必然存在一定的偏差，这会影响后端行为识别算法的结果，造成行为识别准确率的下降。

具体来说，连续帧预测模块基于第一个实际帧得到了若干个(至少两个)预测帧，预测帧一经产生便可直接被调度执行计算阶段的行为识别任务，当这两个预测帧对应的实际帧产生后，只需再进行检验即可。在实施期间，当感光和成像阶段执行完得到实际帧时，对预测帧进行检测。若预测帧通过检验，则说明预测帧和实际帧较为相似，预测帧可代替实际帧进行行为识别的计算，否则需要用实际帧重新进行计算。由此可见，本发明能够对端到端帧延迟实现优化的关键在于，连续帧预测模块使得不需等待前端产生实际帧便可开始后端的计算，这打破了传统视觉处理流水线的顺序执行模式，因此降低了端到端的帧延迟。

结合本发明一较佳的实施方式来看，本发明采用的预测帧和实际帧通过结构相似性指数(Structural Similarity index，SSIM index)对相似度进行量化，计算出每个预测帧对应的SSIM指数，并设置一个相似度阈值T，若SSIM index>T,则该帧检验合格；否则用实际帧重新进行行为识别计算。同时，依据预测帧产生的时间顺序，将n个预测帧划分为K个免检预测帧，n-K个检查预测帧，其中，0≤K≤n，n＝10。并且，通过准确性控制模块(或是采用MCU)来对准确率进行控制。具体来说，准确性控制模块是微型控制器MCU上面运行的软件，通过调整K，T两个参数来对预测帧的准确性进行直接控制，从而实现了对行为识别准确率的间接控制。

结合实际实施来看，先预测出的K个帧由于准确性较高，为降低帧延迟，这部分帧可不经检查直接用于行为识别计算，也不会对结果造成太大的影响，因此称之为免检预测帧。同时，后预测出的(n-K)个帧由于准确性不高，若不经检查直接用于行为识别计算，可能会带来较大的识别误差。因此，这部分需要检查才能确定其对应的行为识别结果是否有效的预测帧叫做检查预测帧。这里，K定义为不检查程度，K越大，n个预测帧中不需要检查的帧越多；K通过用户设置程序进行初始化。

进一步来看，连续帧预测模块根据当前获得的实际帧以及之前预测过程中积累的信息来预测一系列连续帧。实施期间，本发明对原始预测算法进行适当调整，使之能使用当前的1个实际帧来预测未来连续的10帧。即图2中的m＝1，n＝10；由于图像预测算法的自身特性，预测帧和实际帧的相似度，会随着n的增大而降低，即随着一次性预测的帧数的逐渐增多，预测的准确性逐渐下降。

将本发明的帧预测算法用于预测图像帧之后，在预测帧产生后，被调度算法调度到片上系统的不同计算单元(CPU、GPU、NPU等)上作为行为识别算法的输入数据进行计算。当预测帧和实际帧之间存在较大偏差，即预测不准确时，调度算法会用实际帧替换掉预测帧，再将替换后的实际帧作为行为识别算法的输入，重新用实际帧进行行为识别的计算。具体来说，调度算法采用贪心策略，通过控制器依据实时获得的计算单元的计算耗时信息和计算功耗信息来对帧进行调度。由此，在满足能耗限制的前提下最小化了端到端的帧延迟。同时，为了提升识别算法的处理效率，行为识别算法采用TSN网络(Temporal SegmentNetworks)。

结合图3来看，将本发明应用到软件后，现提供一种软件系统的构架，其实施过程如下：

首先，系统运行前用户需要通过运行用户设置程序来完成对整个系统的设置，包括参数的初始化等方面的设置。系统运行后，图像传感器(Image Sensor)将光信号转换成电信号，图像信号处理器(ImageSignal Processor)再通过运行图像信号处理程序，将电信号转化为实际图像帧。

同时，用户设置程序中对两个用于控制行为识别准确率的参数——不检查程度K和相似度阈值T进行了初始化，系统在运行过程中还可根据行为识别的准确率实时地对K，T的数值进行在线调整，来限制由于预测引起的行为识别准确率下降，这一在线调整参数的功能便由在线准确率控制算法来完成。

如图4所示，依据本发明的方法，可以构成一种行为识别系统的整体构架，借助连续帧预测模块(Frame Predictor)预测若干连续帧，再将预测出的帧直接调度到计算单元(CPU、GPU等)上进行行为识别计算，从而节省了前端视觉感知阶段(Sensing)和图像生成阶段(Imaging)的延迟，最终减少了端到端的帧延迟。由此，在原有架构的基础上增设了若干功能模块。具体来说，本发明在实施期间可采用如下标准：

相似度标准(Similarity Metric)：基于相似度标准，我们可以对预测帧的准确性进行量化，从而对预测帧和实际帧的相似度进行度量。本发明采用结构相似性指数(Structural Similarity index，SSIM index)作为相似度标准，计算出每个预测帧对应的SSIM指数，并将其和相似度阈值T比较；SSIM的计算较为简单，本系统采用了一个六路SIMD乘数累加器进行运算。

准确率标准(Accuracy Metric)：准确率标准即行为识别准确率的度量标准。本发明用所有行为种类的平均识别准确率作为行为识别的准确率。

准确率目标(AccuracyTarget)：由于预测会造成的行为识别准确率的下降，通过设定一个准确率目标，我们设定了一个可接受的最大准确率下降幅度，以保证行为识别的结果的准确性。

连续帧预测模块(FramePredicor)：本发明采用基于卷积神经网络的图像预测算法PREDNET作为帧预测器。基于图像传感器获得的当前时刻的真实图像帧以及之前帧中隐含的运动信息，PREDNET能够预测若干连续的未来帧。

数据缓冲区(DataBuffer)：为简化设计，本发明直接保留了两块主存区域作为数据缓冲区。其中，帧缓冲区(Pending Frame Buffer，PFB)中暂存未被用于计算的预测帧。在结果缓冲区(Pending Result Buffer,PRB)中暂存行为识别算法产生的结果。

结合实际实施来看，由于目前连续帧预测模块的预测准确性的有限，预测出的帧相较视觉流水线前端生成的实际帧必然存在一定的偏差，因此会影响后端行为识别算法的结果，容易造成行为识别准确率的下降。为此，本发明增加了准确性控制模块来对准确率进行控制，准确性控制模块通过调整K，T两个参数来对预测帧的准确性进行直接控制。

同时，在实际处理期间，连续帧预测模块会在一次预测中产生多个预测帧，这增加了片上系统计算资源的竞争，若不能很好的解决计算资源的竞争问题。并且，即便预测机制减少了视觉处理流水线前端的延迟，但在计算阶段由于多个帧竞争计算资源，引入了更多的等待延迟。为此，最终整个端到端帧延迟不仅不会得到优化，反而可能变得更差。

由此，本发明在实施期间增加了帧延迟优化模块以减缓计算资源的竞争：目前行业内最先进的片上系统如Apple A13都带有CPU、GPU、NPU多个不同的运算单元，为充分利用片上系统的硬件异构性以缓解计算资源竞争，本发明通过调度算法，遵循最小化帧端到端帧延迟的调度原则，将多个帧调度到这些不同的运算单元上进行行为识别的计算。

如图5所示，本发明的实施逻辑如下：

用户设定控制目标：通过设定准确率目标，用户确定了一个可接受的最大准确率下降幅度，以保证行为识别的结果的准确性。

调整预测算法判断：根据当前执行的行为识别任务的特殊性，判断是否需要据此对图像预测算法进行微调，以通过更准确的预测获得更好的行为识别效果。

调整预测算法：通过输入行为识别任务的一组样例数据，对图像预测算法进行细微调整。

初始化准确率控制参数：通过输入行为识别任务的一组样例数据，确定合适的准确率控制参数的初始值，即对不检查程度K和相似度阈值T赋初始值。

产生预测图像帧：运行图像预测算法产生预测帧。

调度帧执行计算：在最小化端到端帧延迟的调度原则下，调度算法将预测帧调度到不同的计算单元上作为行为识别算法的输入数据进行计算。

预测帧准确性判断：将每个预测帧的SSIM指数与相似度阈值T进行比较，从而判断预测帧和实际帧的相似度是否满足要求。

实际帧替换预测帧重新计算：用实际帧代替不够准确的预测帧并重新进行这部分帧的行为识别计算。

输出结果：得到行为识别结果并输出，流程结束。

简单来说，本发明的工作原理如下：实现了基于预测的连续视觉处理模型，能够满足参数初始化、在线参数调整、图像帧的预测和检查，实现对预测算法进行微调。同时，可以实现图像帧的调度，实现不同任务类型下，各计算单元的单帧计算能耗的测量方法，不同任务类型下，各计算单元的单帧计算耗时的测量方法。

通过上述的文字表述并结合附图可以看出，采用本发明后，拥有如下优点：

1、可以通过本发明的方法，构建基于预测机制的低帧延迟行为识别系统。

2、借助连续帧预测模块，缩短了视觉处理流水线的前端成像阶段的帧延迟。

3、利用硬件异构性，最小化了视觉处理，便于流水线的后端计算阶段的帧延迟。

4、通过有效的帧调度算法和预测检查机制，有效地降低了端到端帧延迟，并保证了较低的能耗以及维持了较高的行为识别准确率。

5、可用于对帧延迟要求较高的实时行为识别系统，满足各类移动嵌入式视觉处理系统的应用需要。

此外，本发明所描述的指示方位或位置关系，均为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或构造必须具有特定的方位，或是以特定的方位构造来进行操作，因此不能理解为对本发明的限制。

术语“主”、“副”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“主”、“副”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“若干”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“设置”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通或两个组件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。并且它可以直接在另一个组件上或者间接在该另一个组件上。当一个组件被称为是“连接于”另一个组件，它可以是直接连接到另一个组件或间接连接至该另一个组件上。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (1)

1.基于预测的低帧延迟行为识别方法，包括将帧从产生到计算完成的整个过程划分为感光，图像生成和视觉计算三个阶段，其特征在于：所述感光、图像生成构成前端，所述视觉计算构成后端，在感光、图像生成过程中生成实际帧，在视觉计算阶段将实际帧作为行为识别算法的输入数据进行计算；

通过连续帧预测模块，感光和成像阶段尚未执行完毕期间，得到预测的未来帧，采用调度算法为多个预测帧分配不同的计算单元，进行行为识别的运算，通过连续帧预测模块令不需等待前端产生实际帧便开始后端计算，

所述连续帧预测模块基于第一个实际帧得到了若干个预测帧，预测帧一经产生便可直接被调度执行计算阶段的行为识别任务；

当感光和成像阶段执行完得到实际帧时，对预测帧进行检测，若预测帧通过检验，则说明预测帧和实际帧较为相似，预测帧代替实际帧进行行为识别的计算，否则需要用实际帧重新进行计算；

所述预测帧和实际帧通过结构相似性指数对相似度进行量化，计算出每个预测帧对应的SSIM指数，并设置一个相似度阈值T，若SSIM index>T,则该帧检验合格；否则用实际帧重新进行行为识别计算；

依据预测帧产生的时间顺序，将n个预测帧划分为K个免检预测帧，n-K个检查预测帧，其中，0≤K≤n，n＝10；

通过准确性控制模块来对准确率进行控制，准确性控制模块通过调整K，T两个参数来对预测帧的准确性进行直接控制；

所述连续帧预测模块根据当前获得的实际帧以及之前预测过程中积累的信息来预测一系列连续帧；

所述预测帧产生后，被调度算法调度到片上系统的不同计算单元上作为行为识别算法的输入数据进行计算；当预测帧和实际帧之间存在较大偏差，即预测不准确时，调度算法会用实际帧替换掉预测帧，再将替换后的实际帧作为行为识别算法的输入，重新用实际帧进行行为识别的计算，所述调度算法采用贪心策略，通过控制器依据实时获得的计算单元的计算耗时信息和计算功耗信息来对帧进行调度；

所述行为识别算法采用TSN网络。

Images