CN116406056A - 基于ia-yolo目标检测的路灯控制方法及装置 - Google Patents

Abstract

本申请涉及的基于IA‑YOLO目标检测的路灯控制方法及装置，该方法包括：获取目标区域对应的夜间图像，其中，所述夜间图像用于表征所述目标区域在预设路灯开启时间内的环境信息；对所述夜间图像进行预处理，并在预处理后的所述夜间图像中确定对应的边界包围盒；利用图像自适应Image‑Adaptive YOLO目标检测模型，在所述边界包围盒中进行移动目标识别，并根据识别结果，对位于所述目标区域内的预设路灯进行亮度控制。通过本申请，解决了相关技术中智能路灯控制系统无法根据夜间环境调节路灯亮度、造成电能浪费的问题，实现在夜间根据周围是否存在移动目标对路灯进行智能亮度调节亮度的有益效果。

Description

基于IA-YOLO目标检测的路灯控制方法及装置

技术领域

本申请涉及智能路灯控制技术领域，特别是涉及基于IA-YOLO目标检测的路灯控制方法及装置，以及电子装置及存储介质。

背景技术

智慧城市，是指通过网络把无处不在的被植入城市各种建筑体内的智能化传感器连接起来形成物联网，实现对物理城市的全面感知；智慧城市需要通过运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对于各种需求做出智能的响应，在此过程中，需要一个信息采集、信息处理、信息发布的载体。

路灯作为城市中密度最大、数量最多的载体之一；相关技术中，普通路灯照明不能根据电网波动、照明需求以及照明时段等情况进行实时调整，使的现行城市路灯照明的电能利用率低下，能耗高、电能浪费严重；同时，相关技术中，城市路灯照明的控制还差存在不能进行分时、分路段及分区域的控制，路灯的控制无法实时、准确及全面的监控全域内的路灯的运行，智能控制效果差，能耗浪费大；再者，相关技术中，应用于智慧城市的智能路灯控制系统，存在在夜间场景下对移动目标检测的识别率低、精准度低、抗干扰能力弱的问题，使的智能路灯控制系统无法根据环境是否存在移动目标而智能调节路灯亮度，造成电能浪费。

针对相关技术中智能路灯控制系统无法根据夜间环境调节路灯亮度、造成电能浪费的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于IA-YOLO目标检测的路灯控制方法、装置、电子装置及存储介质，以至少解决相关技术中智能路灯控制系统无法根据夜间环境调节路灯亮度、造成电能浪费的问题。

第一方面，本申请实施例提供了一种基于IA-YOLO目标检测的路灯控制方法，包括：获取目标区域对应的夜间图像，其中，所述夜间图像用于表征所述目标区域在预设路灯开启时间内的环境信息；对所述夜间图像进行预处理，并在预处理后的所述夜间图像中确定对应的边界包围盒；利用图像自适应Image-Adaptive YOLO目标检测模型，在所述边界包围盒中进行移动目标识别，并根据识别结果，对位于所述目标区域内的预设路灯进行亮度控制。

第二方面，本申请实施例提供了一种基于IA-YOLO目标检测的路灯控制装置，包括：

获取模块，用于获取目标区域对应的夜间图像，其中，所述夜间图像用于表征所述目标区域在预设路灯开启时间内的环境信息；

确定模块，用于对所述夜间图像进行预处理，并在预处理后的所述夜间图像中确定对应的边界包围盒；

处理模块，用于利用图像自适应Image-Adaptive YOLO目标检测模型，在所述边界包围盒中进行移动目标识别，并根据识别结果，对位于所述目标区域内的预设路灯进行亮度控制。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于IA-YOLO目标检测的路灯控制方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于IA-YOLO目标检测的路灯控制方法。

相比于相关技术，本申请实施例提供的基于IA-YOLO目标检测的路灯控制方法、装置、电子装置和存储介质，通过获取目标区域对应的夜间图像，其中，所述夜间图像用于表征所述目标区域在预设路灯开启时间内的环境信息；对所述夜间图像进行预处理，并在预处理后的所述夜间图像中确定对应的边界包围盒；利用图像自适应Image-Adaptive YOLO目标检测模型，在所述边界包围盒中进行移动目标识别，并根据识别结果，对位于所述目标区域内的预设路灯进行亮度控制；解决了相关技术中智能路灯控制系统无法根据夜间环境调节路灯亮度、造成电能浪费的问题，实现了基于对夜间环境中的目标的检测，产生的不同指令控制路灯的光照强度，以节省电能、提高城市照明效率和提升智慧城市的智慧管理能力的有益效果。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于IA-YOLO目标检测的路灯控制方法的终端的硬件结构框图；

图2是根据本申请实施例的基于IA-YOLO目标检测的路灯控制方法的流程图；

图3是根据本申请实施例的路灯控制系统的逻辑框图；

图4是为本申请实施例IA-YOLO目标检测模型的训练效果示意图；

图5是根据本申请实施例的TensorRT推理加速效率对比图；

图6是根据本申请实施例所采集的暗光图片一；

图7是根据本申请实施例暗光图片一所对应的补强图片；

图8是根据本申请实施例所采集的暗光图片二；

图9是根据本申请实施例暗光图片二所对应的补强图片；

图10是根据本申请实施例的IA-YOLO目标检测模型的构建流程图；

图11是根据本申请优选实施例的基于IA-YOLO目标检测的路灯控制方法的流程图；

图12是根据本申请实施例的基于IA-YOLO目标检测的路灯控制装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本申请实施例的基于IA-YOLO目标检测的路灯控制方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于IA-YOLO目标检测的路灯控制方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例提供了一种运行于上述终端的基于IA-YOLO目标检测的路灯控制方法，图2是根据本申请实施例的基于IA-YOLO目标检测的路灯控制方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取目标区域对应的夜间图像，其中，夜间图像用于表征目标区域在预设路灯开启时间内的环境信息。

在本实施例中，执行本申请实施例的路灯控制方法是针对夜间场景下的应用，当然，在非夜间时段，当环境光照亮度弱且开启路灯的情况下，本申请实施例的路灯控制方法也适用。

在本实施例中，通过获取待检测的目标图像，也就是目标区域对应的夜间图像，将实际的环境信息转换成计算机可识别处理的图像数据，以便后续对图像数据进行人为先验的感应区域(Region of Interest,简称ROI)初步筛选，也就是被处理图像中以方款、圆、椭圆、不规则多边形等形式勾勒出需要处理的区域，以及进一步利用IA-YOLO目标检测模型对图像数据进行处理计算，是实现识别行人或车辆等移动目标的基础，并最终提高相关目标识别的精度和效率。由于实施例的应用场景在于夜间的街道，对于街道首尾检测到移动目标，很大概率也将出现在街道中间，因此考虑到计算消耗，避免重复的识别带来的不必要的计算量，在本实施例中，对夜间图像的采集只在目标区域(例如：街道)的首尾安装对应的摄像头采集夜间图像。

步骤S202，对夜间图像进行预处理，并在预处理后的夜间图像中确定对应的边界包围盒。

在本实施例中，边界包围盒是是在夜间图像中对应的感兴趣区域，也就是ROI；在其中一些可选实施方式中，对夜间图像进行预处理，包括：对夜间图像至少进行以下其中之一的处理：图像对比度调整、图像裁剪、图像透明度变换、图像去噪、图像剪切、图像重组。

步骤S203，利用图像自适应Image-Adaptive YOLO目标检测模型，在边界包围盒中进行移动目标识别，并根据识别结果，对位于目标区域内的预设路灯进行亮度控制。

在本实施例中，通过利用IA-YOLO目标检测模型处理夜间图像对应的边界包围盒；在本实施例中，IA-YOLO目标检测模型是根据目标图像数据集和对应的数据标签训练生成，IA-YOLO目标检测模型分为预处理模型和Yolov5检测模型，预处理模型通过输入的图像预测其可微分的图像处理(DIP)模块的参数,该DIP模块为一个卷积核，通过DIP模块对图像进行卷积操作达到图像增强的目的，增强暗光下的目标特征，再将预处理后的图像输入Yolov5检测模型中进行移动目标(例如：行人、车辆)识别。

在本实施例中，若识别结果为检测到移动目标，则产生一个点亮信号，该点亮信号为通过串口发出的高电平，若识别结果为未检测到移动目标，则产生一个休眠信号，该休眠信号为低电平；产生的点亮信号或休眠信号通过串口发送至对应的路灯驱动控制板。

在本实施例中，路灯驱动控制板将会按照以下逻辑控制路灯亮度：

当前路灯为亮灯状态，若收到点亮信号，则保持路灯驱动控制板输出高电平，维持路灯亮灯状态；若收到休眠信号，则将路灯驱动控制板的输出改为低电平，降低路灯的亮度，进入休眠状态；

当前路灯为休眠状态：若收到点亮信号，则将路灯驱动控制板的输出改为高电平，提高路灯的亮度，进入亮灯状态；若收到休眠信号，则保持路灯驱动控制板输出低电平，维持路灯休眠状态。

通过上述步骤S201至步骤S203，采用获取目标区域对应的夜间图像，其中，夜间图像用于表征目标区域在预设路灯开启时间内的环境信息；对夜间图像进行预处理，并在预处理后的夜间图像中确定对应的边界包围盒；利用图像自适应Image-Adaptive YOLO目标检测模型，在边界包围盒中进行移动目标识别，并根据识别结果，对位于目标区域内的预设路灯进行亮度控制；解决了相关技术中智能路灯控制系统无法根据夜间环境调节路灯亮度、造成电能浪费的问题，实现了基于对夜间环境中的目标的检测，产生的不同指令控制路灯的光照强度，以节省电能、提高城市照明效率和提升智慧城市的智慧管理能力的有益效果。

需要说明的是，本申请实施例的路灯控制方法是结合传感器与摄像头，对环境中光强进行感知，综合YOLO算法和传统图像增强，实现夜间图像特征放大，对车辆和人群进行识别，在深夜等弱光环境下根据车辆和人群的往来密度，自动控制不同路灯的开闭与亮度，达到“灯随车亮”和“灯随人亮”的效果，即当车辆和人群到来之前提前一段距离打开数盏路灯，并延迟至车辆和人群离开后降低亮度直至关闭，以减少能源的损耗，提高城市照明效率。

需要说明的是，本申请实施例的路灯控制方法还具有以下有益效果：本申请实施例是基于目标区域的首尾的摄像头采集图像，使用图像增强和深度学习，能够在短时间内较为精确地识别行人和车辆等移动目标，根据识别的结果通过串通信的方式控制路灯的亮度，达到节能的目的；进一步的，本申请实施例采用深度学习目标检测技术，泛化能力较高，适应复杂的场景；本申请实施例采用JetsonNano结合TensorRT技术来部署模型，提高了深度神经网络的推理速度，符合该场景下对实时性的要求；在本申请实施例所采用的图像增强算法参数由轻量的卷积神经网络(CNN-PP)给出，在算法训练过程中该卷积神经网络和YOLOV5模型可同时进行训练，在缩短算法开发的周期的同时也简化算法开发的难度；本申请实施例的ROI筛选添加了人类的先验知识，使得算法能够更精确地识别行人和车辆等目标。

需要进一步说明的是，本申请实施例采用基于机器视觉和数字图像处理技术对夜间环境图像进行自动识别，实时检测环境中是否存在相关目标，并将收集的图像回传服务器进行算法优化，使目标检测模型在当前环境下能够更好地工作；在本实施例中，通过采用CNN-PP模块预测适宜的DIP参数对图像进行增强，在消除图像噪声干扰的同时将突出检测对象的特征，简化图像增强算法，优化后续Yolov5的检测效果，满足对在对应的应用场景下对实时性的要求；在本实施例中，只在目标区域的首尾处部署摄像头，在目标检测模块检测到目标后产生的信号不仅发送至目标区域的首尾的路灯，也会沿着目标区域发送至每一个路灯，籍以降低不必要的计算量，提高工作效率，在保证路灯的正常照明的同时也实现节能。

在其中一些实施例中，利用图像自适应Image-Adaptive YOLO目标检测模型，在边界包围盒中进行移动目标识别，包括如下步骤：

步骤21、利用Image-Adaptive YOLO目标检测模型，对边界包围盒进行移动目标检测，得到出现移动目标的候选包围盒及每个候选包围盒对应的置信度。

在本实施例中，利用Image-Adaptive YOLO目标检测模型对图像进行处理，得到移动目标的候选包围盒(移动目标出现的区域)及其置信度，具体包括：

步骤211、将所获取并进行过增强处理的夜间图像转化为张量数据，进行归一化操作得到待检测图像。

步骤212、通过Image-Adaptive YOLO目标检测模型对待检测图像进行处理分析，得到移动目标的候选包围盒及其置信度。

通过上述步骤中的所获取并进行过增强处理的夜间图像转化为张量数据，进行归一化操作得到待检测图像；通过Image-Adaptive YOLO目标检测模型对待检测图像进行处理分析，得到移动目标的候选包围盒及其置信度，实现了移动目标所在的目标区域的快速识别，同时，推理速度和精度在预设阈值范围区间，检测效率得到提升。

步骤22、判断置信度是否大于预设置信度阈值，得到判断结果。

步骤23、在判断结果为置信度大于预设置信度阈值时，确定识别结果包括检测到移动目标。

步骤24、在判断结果为置信度不大于预设置信度阈值时，确定识别结果包括未检测到移动目标。

通过上述步骤中的利用Image-Adaptive YOLO目标检测模型，对边界包围盒进行移动目标检测，得到出现移动目标的候选包围盒及每个候选包围盒对应的置信度；判断置信度是否大于预设置信度阈值，得到判断结果；在判断结果为置信度大于预设置信度阈值时，确定识别结果包括检测到移动目标；在判断结果为置信度不大于预设置信度阈值时，确定识别结果包括未检测到移动目标，实现了快速精准的进行移动目标检测，提高在对应的应用场景的实时性。

在其中一些实施例中，根据识别结果，对位于目标区域内的预设路灯进行亮度控制，通过如下步骤实现：

步骤31、根据是否检测到移动目标的识别结果，生成对应的亮灯控制信号，其中，亮灯控制信号包括以下其中之一：点亮信号、休眠信号。

在本实施例中，采用Image-Adaptive YOLO目标检测模型进行移动目标检测，会得到检测到移动目标和未检测到移动目标两种结果，对应的，会生成对应的两种亮灯控制信号，也就是点亮信号和休眠信号。

步骤32、获取位于目标区域内的预设路灯所对应的当前亮灯状态，并基于亮灯控制信号，控制切换当前亮灯状态。

在本实施例中，通过对比路灯的当前亮灯状态与亮度控制信号对应的亮灯状态对比，进而对路灯进行状态切换控制。

通过上述步骤中的根据是否检测到移动目标的识别结果，生成对应的亮灯控制信号，其中，亮灯控制信号包括以下其中之一：点亮信号、休眠信号；获取位于目标区域内的预设路灯所对应的当前亮灯状态，并基于亮灯控制信号，控制切换当前亮灯状态，实现在夜间根据环境变化智能调节路灯亮度。

在其中一些实施例中，基于亮灯控制信号，控制切换当前亮灯状态，通过如下步骤实现：

步骤41、确定响应亮灯控制信号后所对应的亮灯响应状态。

在本实施例中，亮灯响应状态是指在基于亮灯控制信号对路灯进行控制后，路灯所对应的状态，例如：当亮灯控制信号为点亮信号，则对路灯的控制为点亮，也就是在不考虑路灯当前亮灯状态的情况下，对应的亮灯响应状态为点亮状态。

步骤42、判断当前亮灯状态是否与亮灯响应状态匹配。

在本实施例中，判断亮度响应状态是否为当前亮灯状态相同，例如：当前亮灯状态为点亮状态，亮度响应状态为休眠状态，则两种状态不匹配，需要切换至亮灯响应状态。

步骤43、在判断到当前亮灯状态与亮灯响应状态匹配的情况下，控制位于目标区域内的预设路灯处于当前亮灯状态。

步骤44、在判断到当前亮灯状态与亮灯响应状态不匹配的情况下，控制位于目标区域内的预设路灯从当前亮灯状态切换至亮灯控制信号所对应的亮灯响应状态。

在本实施例中，产生的点亮信号或休眠信号通过串口发送至对应的路灯驱动控制板；在本实施例中，路灯驱动控制板将会按照以下逻辑控制路灯亮度：当前路灯为亮灯状态，若收到点亮信号，则保持路灯驱动控制板输出高电平，维持路灯亮灯状态；若收到休眠信号，则将路灯驱动控制板的输出改为低电平，降低路灯的亮度，进入休眠状态；当前路灯为休眠状态：若收到点亮信号，则将路灯驱动控制板的输出改为高电平，提高路灯的亮度，进入亮灯状态；若收到休眠信号，则保持路灯驱动控制板输出低电平，维持路灯休眠状态。

通过上述步骤中的确定响应亮灯控制信号后所对应的亮灯响应状态；判断当前亮灯状态是否与亮灯响应状态匹配；在判断到当前亮灯状态与亮灯响应状态匹配的情况下，控制位于目标区域内的预设路灯处于当前亮灯状态；在判断到当前亮灯状态与亮灯响应状态不匹配的情况下，控制位于目标区域内的预设路灯从当前亮灯状态切换至亮灯控制信号所对应的亮灯响应状态，实现了在夜间路灯亮灯的切换，及在夜间根据环境变化智能调节路灯亮度。

在其中一些实施例中，在对夜间图像进行预处理之前，还实施如下步骤：利用预设的自适应滤波器，对夜间图像进行图像增强处理，其中，图像增强处理至少包括以下其中一种：图像锐化、图像增亮。

在本实施例中，采用小型卷积神经网络(CNN-PP)的可微分的图像处理(DIP)模块的参数，并使用DIP模块实现图像增强，具体包括：由CNN-PP预测DIP模块中的滤波器参数；使用得到的滤波器参数对图像进行包括图像锐化、图像增亮的图像增强操作。

下面通过优选实施例对本申请实施例进行进一步描述和说明。

图3是根据本申请实施例的路灯控制系统的逻辑框图，参考图3，本申请实施例的路灯控制方法所对应的控制系统主要分为三个模块：摄像头采样模块、目标检测模块和路灯控制模块，其中，

摄像头采样模块，用于在不间断地采集目标区域内夜间周围环境的图像信息，也就是采集夜间图像。

在本实施例中，摄像头采用模块在路灯控制系统工作过程中不断采集环境图像，通过人为施加的先验知识对图像进行ROI的筛选，再将其输入目标检测模块进行移动目标的检测，并且将该图像回传至服务器进行算法优化。

目标检测模块，使用IA-YOLO目标检测算法，用于在摄像头获取的夜间图像中识别移动目标(包括行人、车辆)，并根据识别结果产生亮灯控制信号，以控制路灯控制模块。

在本实施例中，目标检测模块包括图像预处理子模块和YOLO目标检测子模块，其中，图像预处理子模块，用于在接收到采集的图像信息后，使用自适应的滤波器对图像进行图像增强，滤波器参数由一个轻量的深度卷积神经网络给出，将暗光环境下的图像转变为光照充足的图像，再将其作为YOLO目标检测的输入；YOLO目标检测子模块中，使用事先训练好的Yolov5s模型对输入的图像进行检测，若该模型图像中检测到移动目标时，会产生一个点亮信号，若未在图像中检测到移动目标，则会产生一个休眠信号，并将产生的信号通过串口告知路灯控制模块，使路灯做出相应的改变或维持现状。

路灯控制模块，用于结合路灯的当前亮灯状态和目标检测模块发来的亮灯控制信号来调节路灯的亮度。

本申请实施例的路灯控制系统内置了图像回传功能，采用将采集的夜间图像回传至服务器，在服务器端对算法模型进行迭代优化，使路灯控制系统更好得在对应的夜间环境工作。

本申请实施例还使用TensorRT实现对深度神经网络的推理加速，用以部署到边端设备进行推理计算，提升整个智能路灯系统的执行效率，满足该场景下对实时性的要求。

本申请实施例的使用场景是夜间的街道，在街道的首尾两头各安装一个摄像头采集环境图片，构成整个路灯控制系统的摄像头采样模块；对摄像头采集的图像进行目标检测后产生指令去控制路灯控制模块，使得该街道上的所有路灯做出相应的反应。

本申请优选实施例的路灯控制包括如下步骤：

步骤1，收集夜间场景下行人和车辆运动对应的数据集。

在本实施例中，在收集数据集之前，需要调度摄像头采样模块；在本实施例中。考虑到应用场景和成本问题，只在调度对应的街道(目标区域)的首尾的摄像头，在运行工作过程中，摄像头不间断地采集周围环境的图像数据，并对采集的图像数据进行初步的ROI筛选，得到对应的数据集，其中，数据集共包含129876张图片，其中分出100000张作为训练集，20000张作为测试集，9876张作为验证集，并对标签进行筛选，得到仅包含行人和车辆的标签。

在本实施例中，基于训练集训练出符合使用标准的YOLO目标检测模型和CNN-PP参数预测模型，实现夜间场景下的行人和车辆等目标的检测。

在本实施例中，IA-YOLO目标检测模型的训练步骤：

1、使用先验知识处理好的数据集进行标注。

2、配置训练文件。

3、调参，通过调整学习率、训练轮次、batchsize、图像尺寸等关键超参数使模型逼近最优解。

4、对训练结果进行分析。

在本实施例中，参考图4，通过初步的训练确定了在速度上表现最好的yolov5s的模型结构，并且对采集的数据进行随机对比度调整、随机裁剪、透明度变换、图像剪切与重组等图像预处理方式后，对前期的初步训练模型进行增强训练，通过调整学习率、训练轮次、batchsize等关键超参数使模型逼近最优解，最终得到在测试集上识别率达到97％、mAP0.5达到0.86的模型。

步骤2：将目标检测模型部署至JetsonNano开发板上，为了加快模型推理的速度，提高算法执行效率，本申请实施例结合了TensorRT技术，籍以在NVIDIA图形处理单元(GPU)上进行高性能推理，用于对目标检测模型进行加速推理；参考图5，依据TensorRT技术流程，本申请实施例使用了cuda编程重新实现了模型结构，并对得到的模型权重进行了测试，在推理速度上有了明显的提升。

步骤3算法优化策略，由于每个固定在路灯上的摄像头的探测画面的范围有限，每个摄像头能够获得的图像画面内容也是有限的，本申请实施例利用这一特性，参考图6至图9，本申请实施例中，将摄像头获得的白天画面、路面没有行人与车辆的画面回传给服务器，基于采集的白天图像使用深度学习算法优化CNN-PP模块，使其预测的DIP参数能使暗光下的图片(参考图6和图8)经DIP转换后更接近白天的场景(参考图7和图9)，使算法更加适应路灯所处的暗光环境，能够更好地检测出行人和车辆等目标。

以下将介绍IA-YOLO目标检测模型的构建与训练方法，图10是根据本申请实施例的IA-YOLO目标检测模型的构建流程图，如图10所示，包括以下步骤：

步骤S10-1，收集夜景行人和车辆数据集。

在本实施例中，数据集共包含129876张图片，其中分出100000张作为训练集，20000张作为测试集，9876张作为验证集，并对标签进行筛选，得到仅包含行人和车辆的标签。

步骤S10-2，使用深度学习方法对IA-YOLO目标检测模型进行训练。

在本实施例中，使用数据集对IA-YOLO目标检测模型进行初步的训练，并对其在测试集上进行测试，对测试结果中发现的缺点进行训练策略的针对性调整，在多次调整后在模型训练时加入透明度变换，图像裁切与重组、随机对比度调整等数据增强操作，并调试学习率、训练轮次以及batchsize等关键超参，最终得到在测试集上识别率达到97％的IA-YOLO目标检测模型。

在本实施例中，对于YOLO目标检测子模块，采用yolov5网络，通过动量梯度下降法来训练yolo算法，使用batch_size＝32,即在训练集中每次迭代处理32个样本，并进行了1000次训练；训练时的学习率决定了目标函数是否以及收敛到局部最小值，合适的学习率可以使目标函数再合适的时间内收敛到局部最小值。参考VOC训练集数量和训练集比例，在本申请实施例中，将迭代次数设置为1000，动量设置为0.85，采用0.00055的学习率衰减率；在损失函数中，权重衰减是一个放在正则化项前面的系数，正则化项通常表示模型的复杂性，因此，权重衰减的作用是调整模型复杂度对损失函数的影响，如果权重衰减过大，复杂模型损失函数的值会很大。基于此，在本申请实施例中，权重衰减设置为0.00036；在本实施例中，考虑到模型推理的速率对实时检测的影响，对模型使用TensorRT技术加以优化，根据TensorRT的技术流程，使用CUDA编程重构YOLO模型结构，并部署到开发板上进行边端推理，将检测推理的速度提高了66％。

需要说明的是，通过上述训练得到的目标检测模型，并利用该模型对采集到的二维图像进行下采样操作，得到图像的特征图，再经过模型尾部的检测头输出目标对象，实现对目标的初始定位；本申请实施例的路灯控制方法只需要输入图像，输出即为算法流程所要求的形式，属于端到端的算法模型，简化了开发难度；同时结合了TensorRT技术，在保证精度的同时也提高了速度。

图11是根据本申请优选实施例的基于IA-YOLO目标检测的路灯控制方法的流程图。如图11所示，该方法包括如下步骤：

步骤S111，收集夜景行人和车辆数据集。

在本实施例中，收集的数据集共包含129876张图片，其中分出100000张作为训练集，20000张作为测试集，9876张作为验证集，并对标签进行筛选，得到仅包含行人和车辆的标签。

步骤S112，构建IA-YOLO目标检测模型，并使用深度学习方法进行模型训练。

在本实施例中，使用数据集对模型进行初步的训练，并对其在测试集上进行测试，对测试结果中发现的缺点进行训练策略的针对性调整，在多次调整后在模型训练时加入透明度变换，图像裁切与重组、随机对比度调整等数据增强操作，并调试学习率、训练轮次以及batchsize等关键超参，最终得到在测试集上识别率达到97％的目标检测模型；对YOLO目标检测模型进行模型评估，得到识别效果最优的YOLO目标检测模型；使用验证集对目标检测模型进行模型的评估，得到模型的评分，根据模型评分来确定识别效果最好的模型并保存。

步骤S113，进行硬件部署。

在本实施例中所对应的使用场景下，应将摄像头模块对应的摄像头部署在街道的首尾两端的路灯下，并将每个路灯与路灯控制驱动板、处理器以及将整个路灯控制系统的路灯控制电路相连，完成整个硬件部署。

步骤S114，获取待测的目标图像。

在本实施例中，摄像头不间断地获取周围环境地图像信息，并进行初步的ROI筛选，再将其输入到目标检测模块的IA-YOLO目标检测模型中。

步骤S115，通过IA-YOLO目标检测模型处理目标图像，得到可能出现行人和车辆的目标区域及其置信度。

在本实施例中，IA-YOLO目标检测模型关于目标区域及其置信度的计算公式如下所示：

Φ(x)＝r(x，y，w，h，id，p)式中:Φ(X)代表目标检测模型；r代表模型输出；x代表目标区域的左上角点的横坐标；y代表目标区域的左上角点的纵坐标；w代表目标区域的宽；h代表目标区域的高，id代表可能出现的目标类别，p代表置信度。

步骤S116，根据IA-YOLO目标检测模型的输出，生成对应的亮灯控制信号。

在本实施例中，若存在置信度高于阈值，则认为检测到移动目标，并根据结果产生一个控制信号，并通过串口发送到路灯控制模块，若检测到目标，则产生一个亮灯信号，否则产生一个休眠信号。

步骤S117，根据当前路灯亮灯状态和收到的控制信号调整路灯的亮度。

本实施例还提供了基于IA-YOLO目标检测的路灯控制装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图12是根据本申请实施例的基于IA-YOLO目标检测的路灯控制装置的结构框图，如图12所示，该装置包括：获取模块121、确定模块122和处理模块123，其中，

获取模块121，用于获取目标区域对应的夜间图像，其中，夜间图像用于表征目标区域在预设路灯开启时间内的环境信息。

确定模块122，与获取模块121耦合连接，用于对夜间图像进行预处理，并在预处理后的夜间图像中确定对应的边界包围盒。

处理模块123，与确定模块122耦合连接，用于利用图像自适应Image-AdaptiveYOLO目标检测模型，在边界包围盒中进行移动目标识别，并根据识别结果，对位于目标区域内的预设路灯进行亮度控制。

通过本申请实施例提供的基于IA-YOLO目标检测的路灯控制装置，采用获取目标区域对应的夜间图像，其中，夜间图像用于表征目标区域在预设路灯开启时间内的环境信息；对夜间图像进行预处理，并在预处理后的夜间图像中确定对应的边界包围盒；利用图像自适应Image-Adaptive YOLO目标检测模型，在边界包围盒中进行移动目标识别，并根据识别结果，对位于目标区域内的预设路灯进行亮度控制；解决了相关技术中智能路灯控制系统无法根据夜间环境调节路灯亮度、造成电能浪费的问题，实现了基于对夜间环境中的目标的检测，产生的不同指令控制路灯的光照强度，以节省电能、提高城市照明效率和提升智慧城市的智慧管理能力的有益效果。

在其中一些实施例中，该处理模块123进一步包括：

检测单元，用于利用Image-Adaptive YOLO目标检测模型，对边界包围盒进行移动目标检测，得到出现移动目标的候选包围盒及每个候选包围盒对应的置信度；

判断单元，与检测单元耦合连接，用于判断置信度是否大于预设置信度阈值，得到判断结果；

确定单元，与判断单元耦合连接，用于在判断结果为置信度大于预设置信度阈值时，确定识别结果包括检测到移动目标，以及在判断结果为置信度不大于预设置信度阈值时，确定识别结果包括未检测到移动目标。

在其中一些实施例中，该处理单元123还用于：根据是否检测到移动目标的识别结果，生成对应的亮灯控制信号，其中，亮灯控制信号包括以下其中之一：点亮信号、休眠信号；获取位于目标区域内的预设路灯所对应的当前亮灯状态，并基于亮灯控制信号，控制切换当前亮灯状态。

在其中一些实施例中，该处理单元123还用于：确定响应亮灯控制信号后所对应的亮灯响应状态；判断当前亮灯状态是否与亮灯响应状态匹配；在判断到当前亮灯状态与亮灯响应状态匹配的情况下，控制位于目标区域内的预设路灯处于当前亮灯状态，以及在判断到当前亮灯状态与亮灯响应状态不匹配的情况下，控制位于目标区域内的预设路灯从当前亮灯状态切换至亮灯控制信号所对应的亮灯响应状态。

在其中一些实施例中，在对夜间图像进行预处理之前，该基于IA-YOLO目标检测的路灯控制装置还用于利用预设的自适应滤波器，对夜间图像进行图像增强处理。

在其中一些实施例中，该确定模块122还用于对夜间图像至少进行以下其中之一的处理：图像对比度调整、图像裁剪、图像透明度变换、图像去噪、图像剪切、图像重组。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取目标区域对应的夜间图像，其中，夜间图像用于表征目标区域在预设路灯开启时间内的环境信息。

S2，对夜间图像进行预处理，并在预处理后的夜间图像中确定对应的边界包围盒。

S3，利用图像自适应Image-Adaptive YOLO目标检测模型，在边界包围盒中进行移动目标识别，并根据识别结果，对位于目标区域内的预设路灯进行亮度控制。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的基于IA-YOLO目标检测的路灯控制方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于IA-YOLO目标检测的路灯控制方法。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于IA-YOLO目标检测的路灯控制方法，其特征在于，包括：

获取目标区域对应的夜间图像，其中，所述夜间图像用于表征所述目标区域在预设路灯开启时间内的环境信息；

对所述夜间图像进行预处理，并在预处理后的所述夜间图像中确定对应的边界包围盒；

利用图像自适应Image-Adaptive YOLO目标检测模型，在所述边界包围盒中进行移动目标识别，并根据识别结果，对位于所述目标区域内的预设路灯进行亮度控制。

2.根据权利要求1所述的方法，其特征在于，利用图像自适应Image-Adaptive YOLO目标检测模型，在所述边界包围盒中进行移动目标识别，包括：

利用所述Image-Adaptive YOLO目标检测模型，对所述边界包围盒进行移动目标检测，得到出现所述移动目标的候选包围盒及每个所述候选包围盒对应的置信度；

判断所述置信度是否大于预设置信度阈值，得到判断结果；

在判断结果为所述置信度大于预设置信度阈值时，确定所述识别结果包括检测到移动目标；

在判断结果为所述置信度不大于预设置信度阈值时，确定所述识别结果包括未检测到移动目标。

3.根据权利要求2所述的方法，其特征在于，根据所述识别结果，对位于所述目标区域内的预设路灯进行亮度控制，包括：

根据是否检测到所述移动目标的所述识别结果，生成对应的亮灯控制信号，其中，所述亮灯控制信号包括以下其中之一：点亮信号、休眠信号；

获取位于所述目标区域内的预设路灯所对应的当前亮灯状态，并基于所述亮灯控制信号，控制切换所述当前亮灯状态。

4.权利要求3所述的方法，其特征在于，基于所述亮灯控制信号，控制切换所述当前亮灯状态，包括：

确定响应所述亮灯控制信号后所对应的亮灯响应状态；

判断所述当前亮灯状态是否与所述亮灯响应状态匹配；

在判断到所述当前亮灯状态与所述亮灯响应状态匹配的情况下，控制位于所述目标区域内的预设路灯处于所述当前亮灯状态。

5.根据权利要求4所述的方法，其特征在于，在判断到所述当前亮灯状态与所述亮灯响应状态不匹配的情况下，控制位于所述目标区域内的预设路灯从所述当前亮灯状态切换至所述亮灯控制信号所对应的所述亮灯响应状态。

6.根据权利要求2所述的方法，其特征在于，在对所述夜间图像进行预处理之前，所述方法还包括：利用预设的自适应滤波器，对所述夜间图像进行图像增强处理，其中，所述图像增强处理至少包括以下其中一种：图像锐化、图像增亮。

7.根据权利要求1所述的方法，其特征在于，对所述夜间图像进行预处理，包括：对所述夜间图像至少进行以下其中之一的处理：图像对比度调整、图像裁剪、图像透明度变换、图像去噪、图像剪切、图像重组。

8.一种基于IA-YOLO目标检测的路灯控制装置，其特征在于，包括：

获取模块，用于获取目标区域对应的夜间图像，其中，所述夜间图像用于表征所述目标区域在预设路灯开启时间内的环境信息；

确定模块，用于对所述夜间图像进行预处理，并在预处理后的所述夜间图像中确定对应的边界包围盒；

处理模块，用于利用图像自适应Image-Adaptive YOLO目标检测模型，在所述边界包围盒中进行移动目标识别，并根据识别结果，对位于所述目标区域内的预设路灯进行亮度控制。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于IA-YOLO目标检测的路灯控制方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于IA-YOLO目标检测的路灯控制方法。

Images