CN121600379A - 一种基于npu的轻量化神经网络目标检测定位跟踪系统 - Google Patents

Abstract

本发明属于计算机视觉与人工智能应用技术领域，具体说是一种基于NPU的轻量化神经网络目标检测定位跟踪系统。其实现方法包括以下步骤：1）获取场景图像，并对其进行预处理，将其转换为NPU可识别格式；2）对预处理后的图像进行数据增强；3）使用部署在NPU上的轻量化神经网络对增强后的图像进行目标分类与定位，得到目标位置信息与类别信息；4）使用历史跟踪数据对神经网络的检测结果进行稳定性判断，并根据判断结果，调整神经网络的参数，对神经网络进行优化。该系统适用于对设备体积、能耗及响应效率有明确限制的应用场景，通用性较强，可广泛应用于智能监控、便携式设备、车载辅助等场景，为多样化场景下的目标检测定位跟踪提供可靠解决方案。

Description

一种基于NPU的轻量化神经网络目标检测定位跟踪系统

技术领域

本发明属于计算机视觉与人工智能应用技术领域，具体说是一种基于 NPU（神经网络处理单元）的轻量化神经网络目标检测定位跟踪系统。

背景技术

在计算机视觉技术的实际应用中，目标检测定位跟踪是实现场景感知、智能决策的关键环节，已在安防、消费电子、交通等领域广泛应用。然而，传统目标检测定位跟踪系统在落地过程中，仍面临诸多技术瓶颈，难以满足多样化场景的需求。

传统系统主要依赖通用处理器（CPU）或图形处理器（GPU）进行运算。基于 CPU 的系统虽兼容性强，但针对神经网络的并行运算支持不足，处理复杂检测任务时，往往无法达到实时响应效果，且长时间运行功耗较高，难以适配便携式、小型化设备。基于 GPU 的系统运算速度有所提升，但硬件体积大、成本高，同时能耗问题未得到根本解决，同样不适用于对体积和能耗敏感的场景，如微型监控、可穿戴设备等。

随着轻量化神经网络技术的发展，部分系统尝试通过压缩模型参数降低硬件依赖，但现有技术多聚焦于软件层面的模型优化，未充分结合专用硬件的运算特性，导致模型性能无法充分发挥。此外，传统系统在复杂场景下（如光照突变、目标遮挡、背景干扰）的稳定性较差，缺乏自适应调整机制；数据样本多依赖离线采集与标注，覆盖范围有限，模型泛化能力不足；能耗控制方面，未形成硬件与软件协同优化方案，无法满足低功耗运行需求。

因此，当前亟需一种整合专用硬件优势、优化模型架构、具备自适应能力，且满足小型化、低功耗、实时性要求的目标检测定位跟踪系统，以突破现有技术局限，推动目标检测技术在更多场景的实际应用。

发明内容

本发明旨在提供一种基于 NPU 的轻量化神经网络目标检测定位跟踪系统，通过硬件选型与软件架构的协同设计，整合强化学习功能与数据增强技术，解决传统系统部署受限、功耗高、响应慢、复杂场景适应性差的问题，实现系统小型化、智能化、低功耗运行，并满足实时性需求。

本发明为实现上述目的所采用的技术方案是：

一种基于NPU的轻量化神经网络目标检测定位跟踪方法，包括以下步骤：

1）获取场景图像，并对其进行预处理，将其转换为NPU可识别格式；

2）对预处理后的图像进行数据增强；

3）使用部署在NPU上的轻量化神经网络对增强后的图像进行目标分类与定位，得到目标位置信息与类别信息；

4）使用历史跟踪数据对神经网络的检测结果进行稳定性判断，并根据判断结果，调整神经网络的参数，对神经网络进行优化。

所述步骤2）具体为：

从水平翻转、旋转和亮度调整中随机选择一种对预处理后的图像进行增强处理。

在进行检测之前，需要对轻量化神经网络进行包括剪枝、层融合在内的优化操作。

所述轻量化神经网络对输入图像依次进行目标特征提取、分类与定位计算，得到初步的目标位置信息以及类别信息。

所述步骤4）具体为：

根据历史跟踪数据，判断当前检测结果中的目标边界框变化幅度和类别置信度，若目标边界框变化幅度和类别置信度均满足阈值条件，则将其作为有效结果；否则，通过强化学习调整神经网络中的模型检测阈值与跟踪框更新策略，使其输出的检测结果满足目标边界框变化幅度和类别置信度的阈值条件，进而实现对检测结果的优化。

一种基于NPU的轻量化神经网络目标检测定位跟踪系统，包括：

图像采集和预处理模块，用于获取场景图像，并对其进行预处理，将其转换为NPU可识别格式；

数据增强模块，用于对预处理后的图像进行数据增强；

NPU核心单元，用于使用部署在NPU上的轻量化神经网络对增强后的图像进行目标分类与定位，得到目标位置信息与类别信息；

强化学习模块，用于使用历史跟踪数据对神经网络的检测结果进行稳定性判断，并根据判断结果，调整神经网络的参数，对神经网络进行优化。

还包括由通信模块与显示模块组成的结果输出单元，用于检测结果的呈现与交互。

还包括存储单元，用于存储程序、模型参数及历史数据。

本发明具有以下有益效果及优点：

1.小型化：依托 NPU 的紧凑硬件设计与轻量化神经网络的低资源需求，系统整体硬件体积较传统 GPU 方案缩小 60% 以上，可部署于便携式设备、微型监控装置等小型化场景；

2.低功耗：NPU 针对神经网络运算的高效性，配合软件层面的运算优化，系统能耗较传统 CPU 方案降低 50% 以上，延长设备续航时间（如便携式设备单次充电可连续运行8 小时以上）；

3.实时性：硬件运算加速与软件流程精简结合，系统端到端响应延迟控制在实际应用可接受范围内，满足实时交互需求（如动态目标跟踪时，画面更新无明显卡顿）；

4.智能化：强化学习模块使系统具备自主适应复杂场景的能力，数据增强模块提升模型泛化能力，两者结合让系统在强光、弱光、目标遮挡等场景下，均能保持稳定的检测跟踪性能；

5.通用性：系统硬件与软件模块具备兼容性，可根据不同应用场景（如监控、车载、终端设备）调整模型参数与硬件配置（如更换不同分辨率的图像采集模块），适用范围广泛。

附图说明

图1 一种基于 NPU 的轻量化神经网络目标检测定位跟踪系统结构框图；

图2 一种基于 NPU 的轻量化神经网络目标检测定位跟踪系统流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

一种基于 NPU 的轻量化神经网络目标检测定位跟踪系统从硬件架构、软件模型、功能模块三个维度展开，具体如下：

（1）硬件架构设计

以 NPU 作为系统核心运算单元，替代传统 CPU 或 GPU。NPU 专为神经网络运算设计，具备并行处理能力，可高效处理轻量化神经网络中的卷积、池化等核心运算，在提升运算速度的同时，大幅降低系统功耗。搭配小型化外围硬件：采用微型图像采集模块（如微型摄像头）获取场景图像，选用低功耗存储模块存储程序与数据，配置紧凑式供电模块（如小型锂电池），整体控制硬件体积，满足小型化部署需求。

（2）轻量化神经网络优化

选用适配 NPU 运算特性的轻量化神经网络架构（如 MobileNet 系列、YOLO-Lite系列等）作为基础模型，通过模型剪枝（移除冗余卷积核）、层融合（合并相邻运算层）等优化手段，减少模型冗余参数，降低运算复杂度。优化后的模型在保证检测定位精度的前提下，可快速适配 NPU 的运算逻辑，减少数据传输与运算耗时，为系统实时性提供支撑。

（3）核心功能模块整合

数据增强模块：设置在线数据增强功能，系统运行时，针对实时采集的图像数据，自动执行图像翻转、角度旋转、亮度与对比度调整等操作，动态扩充样本类型，提升模型对不同光照、角度场景的适应能力，解决传统离线样本覆盖不足的问题。

强化学习模块：引入强化学习机制，以目标检测定位的准确率（如类别置信度）、跟踪的连续性（如边界框变化幅度）作为奖励信号，实时调整模型的检测阈值（如置信度阈值）、跟踪框更新策略（如插值更新、预测更新）。当遇到目标遮挡、光照突变等复杂情况时，系统通过强化学习自主优化决策，保证跟踪稳定性，提升智能化水平。

实时性优化模块：通过 NPU 运算任务调度优化（如优先处理核心检测层）、数据传输路径简化（如减少中间缓存环节），降低运算与数据处理延迟；同时精简模型推理流程，优先处理图像中的关键检测区域（如目标可能出现的区域），进一步缩短响应时间，确保系统满足实时性需求。

如图1 结构框图所示，本发明提供的一种基于 NPU 的轻量化神经网络目标检测定位跟踪系统，主要包括图像采集单元、预处理模块、数据增强模块、NPU 核心单元（轻量化神经网络）、强化学习模块、结果输出单元、存储单元、电源模块。

各部分单元模块的功能如下：

图像采集单元：实时采集场景图像，为系统提供原始数据，核心部件为微型图像传感器；

预处理模块：对原始图像进行归一化、标准化处理，转换为 NPU 可识别格式，消除数据差异对检测的影响；

数据增强模块：通过动态增强操作扩充样本类型，提升模型泛化能力，可根据场景灵活启停；

NPU 核心单元：系统核心运算单元，运行轻量化神经网络完成目标检测定位，依托并行运算提升效率、降低功耗；

强化学习模块：根据检测结果与历史数据优化策略，解决复杂场景下的跟踪稳定性问题，提升智能化水平；

结果输出单元：由通信模块（无线传输）与显示模块（外部设备）组成，实现检测结果的呈现与交互；

存储单元：存储程序、模型参数及历史数据，为系统运行与优化提供数据支撑；

电源模块：为各模块提供稳定供电，通过动态功率调整降低能耗，延长设备续航。

如图2 系统流程图所示，本系统整体流程为：系统启动→硬件自检与初始化→图像采集→图像预处理→在线数据增强→NPU 模型推理→强化学习策略优化→输出检测跟踪结果→记录结果数据→循环图像采集。

具体的流程为：系统启动后，先通过硬件自检确保各模块正常，再加载参数完成初始化，为后续运行奠定基础；在图像采集与预处理环节，将原始图像转换为标准化数据，适配 NPU 运算需求，保证数据质量；在线数据增强环节，动态扩充样本类型，平衡效率与多样性，提升模型对不同场景的适应能力；

在图像信息处理完毕后，NPU 模型推理是核心运算环节，通过轻量化神经网络直接输出目标位置与类别，是检测定位的关键；在强化学习策略优化环节，结合历史数据调整策略，解决复杂场景下的跟踪问题，确保结果稳定，该计算结果反馈给NPU，基于梯度下降算法进行参数更新，实现模型迭代；最后是结果输出与记录环节，实现数据交互与后续优化参考，同时系统进入循环，持续完成检测跟踪任务。

实施例

1. 系统硬件组成与选型

系统硬件由五大核心单元组成，各单元的组成与选型如下：

（1）NPU 核心单元：选用专用低功耗 NPU 芯片，支持常见轻量化神经网络（如MobileNetV3、YOLOv5-Lite）的运算加速，具备多通道数据并行处理能力，硬件尺寸控制在20mm×20mm 以内，适配小型化部署需求；

（2）图像采集单元：采用微型图像传感器（尺寸≤10mm×10mm），具备自动对焦与光线调节功能，可实时采集分辨率为 1080P 的场景图像，并通过高速MIPI接口将数据传输至NPU 核心单元；

（3）存储单元：选用低功耗闪存模块，存储容量根据应用需求配置（8GB～32GB），用于存储系统程序、模型参数及临时图像数据，数据读写速度≥100MB/s，满足实时处理要求；

（4）供电单元：采用可充电锂电池或外部直流供电（5V/2A）模式，搭配低功耗电源管理模块，可根据系统运行状态（待机、检测、跟踪）动态调整供电功率，进一步降低能耗；

（5）通信单元：集成小型化无线通信模块（蓝牙5.0、Wi-Fi 6），体积≤8mm×8mm，用于将检测定位跟踪结果传输至外部显示设备（手机屏幕、终端显示器等）或后端管理系统，实现数据交互。

2. 软件系统实现流程

（1）系统初始化

系统启动后，首先完成硬件自检：检测 NPU、图像采集单元、通信单元的工作状态（如是否正常通电、接口是否连接正常）；若硬件无异常，加载轻量化神经网络模型权重文件参数与强化学习策略初始参数（初始奖励阈值、检测阈值），完成初始化配置，进入待运行状态。

（2）图像采集与预处理

图像采集单元按照设定帧率（30FPS）实时采集场景图像，将采集到的RGB格式图像数据传输至预处理模块。预处理模块对图像进行尺寸归一化、像素值标准化（映射至 0～1范围），消除图像尺寸与亮度差异对检测结果的影响；同时将处理后的图像数据转换为 NPU可识别的格式，传输至下一模块。

（3）数据增强与模型推理

预处理后的图像数据进入数据增强模块，模块随机选择 3种增强操作之一（水平翻转、旋转、亮度调整），生成增强后的图像样本；若当前场景光照稳定、目标无明显角度变化，也可跳过增强操作，直接输出原始预处理图像，平衡处理效率与样本多样性。

增强样本（或原始预处理图像）被输入至 NPU 核心单元，NPU 按照轻量化神经网络的运算逻辑，依次完成目标特征提取（通过卷积层、池化层）、分类（通过全连接层）与定位计算（通过回归层），输出初步的目标位置信息（边界框的 x、y 坐标及宽、高）与类别信息（“行人”“车辆”等）。

（4）强化学习优化与跟踪

强化学习模块接收 NPU 输出的检测结果，结合历史跟踪数据，判断当前检测结果的稳定性：若目标边界框变化幅度≤10%、类别置信度≥0.7，则将其作为有效结果；若遇到目标遮挡、光照突变，模块以 “跟踪连续性”、“定位误差”为指标，调整模型检测阈值与跟踪框更新策略（如采用历史位置预测当前位置），优化检测结果，确保目标跟踪不中断。

（5）结果输出与反馈

优化后的目标检测定位跟踪结果（包括目标位置、类别、跟踪状态，如 “正常跟踪”“遮挡跟踪”）通过通信单元传输至外部显示设备，以图文形式呈现（在图像中标记目标边界框，并标注类别）；同时传输至后端系统，用于后续分析统计目标数量、轨迹等。

系统会记录每次检测跟踪的结果数据（检测时间、置信度、跟踪状态），存储至存储单元，作为后续强化学习策略优化的参考依据（调整奖励函数权重）。

本发明提出的基于 NPU 的轻量化神经网络目标检测定位跟踪系统，通过硬件与软件的协同设计，有效解决了传统目标检测系统部署受限、功耗高、响应慢、复杂场景适应性差的问题。系统以 NPU 为核心运算单元，搭配轻量化神经网络与强化学习、数据增强功能，实现了小型化、智能化、低功耗及实时性的核心需求，可广泛应用于智能监控、便携式设备、车载辅助等场景。

从技术层面来看，系统通过硬件选型（NPU + 小型化外围模块）与软件优化（模型剪枝、策略动态调整）的结合，突破了 “性能 - 功耗 - 体积” 的平衡难题；从应用层面来看，系统具备场景适应性与通用性，可根据不同需求调整配置，满足多样化场景的检测跟踪需求。

后续可进一步优化方向：一是探索更高效的轻量化神经网络架构，在保证精度的前提下进一步降低模型体积与运算量；二是优化强化学习算法，缩短策略调整时间，提升复杂场景下的响应速度；三是拓展硬件兼容性，适配更多类型的 NPU 芯片与外围模块，扩大系统应用范围。

Claims (8)

1.一种基于NPU的轻量化神经网络目标检测定位跟踪方法，其特征在于，包括以下步骤：

1）获取场景图像，并对其进行预处理，将其转换为NPU可识别格式；

2）对预处理后的图像进行数据增强；

3）使用部署在NPU上的轻量化神经网络对增强后的图像进行目标分类与定位，得到目标位置信息与类别信息；

4）使用历史跟踪数据对神经网络的检测结果进行稳定性判断，并根据判断结果，调整神经网络的参数，对神经网络进行优化。

2.根据权利要求1所述的一种基于NPU的轻量化神经网络目标检测定位跟踪方法，其特征在于，所述步骤2）具体为：

从水平翻转、旋转和亮度调整中随机选择一种对预处理后的图像进行增强处理。

3.根据权利要求1所述的一种基于NPU的轻量化神经网络目标检测定位跟踪方法，其特征在于，在进行检测之前，需要对轻量化神经网络进行包括剪枝、层融合在内的优化操作。

4.根据权利要求1所述的一种基于NPU的轻量化神经网络目标检测定位跟踪方法，其特征在于，所述轻量化神经网络对输入图像依次进行目标特征提取、分类与定位计算，得到初步的目标位置信息以及类别信息。

5.根据权利要求1所述的一种基于NPU的轻量化神经网络目标检测定位跟踪方法，其特征在于，所述步骤4）具体为：

根据历史跟踪数据，判断当前检测结果中的目标边界框变化幅度和类别置信度，若目标边界框变化幅度和类别置信度均满足阈值条件，则将其作为有效结果；否则，通过强化学习调整神经网络中的模型检测阈值与跟踪框更新策略，使其输出的检测结果满足目标边界框变化幅度和类别置信度的阈值条件，进而实现对检测结果的优化。

6.一种基于NPU的轻量化神经网络目标检测定位跟踪系统，其特征在于，包括：

图像采集和预处理模块，用于获取场景图像，并对其进行预处理，将其转换为NPU可识别格式；

数据增强模块，用于对预处理后的图像进行数据增强；

NPU核心单元，用于使用部署在NPU上的轻量化神经网络对增强后的图像进行目标分类与定位，得到目标位置信息与类别信息；

强化学习模块，用于使用历史跟踪数据对神经网络的检测结果进行稳定性判断，并根据判断结果，调整神经网络的参数，对神经网络进行优化。

7.根据权利要求6所述的一种基于NPU的轻量化神经网络目标检测定位跟踪系统，其特征在于，还包括由通信模块与显示模块组成的结果输出单元，用于检测结果的呈现与交互。

8.根据权利要求6所述的一种基于NPU的轻量化神经网络目标检测定位跟踪系统，其特征在于，还包括存储单元，用于存储程序、模型参数及历史数据。