CN114943986A - 基于摄像头画面分割的分区域行人检测照明方法及系统 - Google Patents

基于摄像头画面分割的分区域行人检测照明方法及系统 Download PDF

Info

Publication number
CN114943986A
CN114943986A CN202210609735.9A CN202210609735A CN114943986A CN 114943986 A CN114943986 A CN 114943986A CN 202210609735 A CN202210609735 A CN 202210609735A CN 114943986 A CN114943986 A CN 114943986A
Authority
CN
China
Prior art keywords
module
picture
feature map
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210609735.9A
Other languages
English (en)
Inventor
郑庆祥
金积德
张逸凡
郭金铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202210609735.9A priority Critical patent/CN114943986A/zh
Publication of CN114943986A publication Critical patent/CN114943986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于摄像头画面分割的分区域行人检测照明方法及系统，首先开发板调用监控摄像头获取实时监控摄像头画面；将实时监控画面输入到YOLOv5目标检测模型，由开发板执行检测算法并获得单帧画面分割成五个区域后的行人检测结果信息，包括行人的坐标信息，检测概率信息等，同时输出检测结果的数字信号；单片机处理数字信号并对五个画面区域相应的继电器进行控制，以控制相应的五组照明灯线路的通断，最终实现分区域行人检测照明。本发明检测结果稳定、实时性和准确率均较优，能够实现跟随照明，节约电能，便于使用。

Description

基于摄像头画面分割的分区域行人检测照明方法及系统
技术领域
本发明涉及计算机视觉目标检测和智慧城市照明技术领域，具体涉及一种基于摄像头画面分割的分区域行人检测照明方法及系统。
背景技术
路灯是城市照明系统中必不可少的设施，随着城市化水平的不断提高，城市的路灯照明系统也不断扩大和完善，路灯照明系统已经不仅仅是提供路面照明、方便出行的设施，它已经成为城市重要基础设施的组成部分，在城市的交通安全、节能环保、人民生活和市容风貌中居于举足轻重的地位。近几年来，国家着重发展建设智慧城市，路灯照明系统作为城市发展不可缺少的一部分，智慧路灯系统方案也已经成为工业和高校研究的热点之一。但是当前城市的人行道路灯照明系统依然只是在传统照明系统上的灯芯材料的改善，材料的更换虽然一定程度上提高了节能效率，却未能达到智慧路灯系统的要求。面对这些新的机遇，有些城市已经开展了云联网智慧路灯建设规划，这些方案很大一部分是根据外界环境条件对城市路灯系统的集体控制，具有一定的智能程度，但在人少、偏僻等一些环境中使用效果不好，节能程度也不是最优。
目标检测算法发展至今已有二十余年，随着深度神经网络概念的提出，目标检测算法的实时性和准确率都有着突飞猛进的变化，当前最为常用的目标检测算法有两种，一种是基于two-stage的R-CNN系列，另一种则是基于one-stage的YOLO系列。因为YOLOv5的实时性和准确率都较高，因此其在工业界的使用最为广泛。但是目前的很多YOLOv5检测算法在调用USB摄像头读取每一帧图像时，只能实现单帧图像，单个区域，若要实现单帧图像多个区域可能会需要调用其它的监控摄像头，因此对于实现分区域检测控制十分不方便。
发明内容
为解决现有技术存在的问题，本发明提出了一种能够根据摄像头的监控画面来判断是否亮灯的基于摄像头画面分割的分区域行人检测照明方法及系统。
本发明的方法所采用的技术方案是：一种基于摄像头画面分割的分区域行人检测照明方法，包括以下步骤：
步骤1：实时获取监控摄像头监控画面；
步骤2：采用YOLOv5目标检测网络，从视频流中获得单帧图像画面，并将单帧图像画面等比例行分割成N个区域，每个区域均可以对行人进行检测，得到行人在画面像素上的坐标信息和检测概率；
所述YOLOv5目标检测网络，包括Backbone模块、Neck模块和Output模块；
所述Backbone模块，其包括Focus模块、CBA模块、CSP模块和SPP模块，用于将图像的特征谱图多次进行下采样操作，获得不同细粒度的图像信息，并以三条途径输入到Neck模块；
所述Focus模块，是将输入图片进行切片操作，对图像进行一次下采样操作，同时增加特征图的通道数；
所述CBA模块，是将输入的特征图进行下采样操作，同时增加特征图的通道数，保留更多的图像信息；
所述CSP模块，是对输入的特征图进行下采样操作，并增加了残差结构以增加层与层之间反向传播的梯度值，以避免因神经网络加深而造成的梯度损失；
所述SPP模块，是将输入的特征图通道数减半，再分别以卷积核3*3、5*5、7*7做最大池化操作，最对结果进行拼接，得到新的特征图；
所述Neck模块，其包括Concat模块、Upsample模块、CBA模块和CSP模块，用于混合所获得的图像信息，增强模型对不同尺度对象的检测能力，并以三条途径输入Output模块；
所述Upsample模块，是特征图进行上采样操作，以获得合适的尺寸；
所述的Concat模块，是将上采样得到的特征图与Backbone模块输出的特征图进行拼接，获得更广泛信息的特征图；
所述CBA模块和CSP模块，作用同Backbone模块中的CBA模块和CSP模块相同；
所述Output模块，其包括CONV模块，用于在征图上锚框，并输出最终带有类别概率、对象的分和预测框信息的特征图；
所述CONV模块是将Neck模块三条途径输出的特征图进行卷积操作，以获得最终大小为80*80*255、40*40*255、20*20*255的特征图；
步骤3：通过控制照明电路，控制N个画面区域所对应的继电器，控制N组照明灯路线的通断，实现分区域行人检测照明控制；
所述控制照明电路，包括Arduino单片机、N路继电器、N组照明灯、外接电源和24V变压器；所述Arduino单片机上的N个数字引脚与所述N个继电器连接，用于来传递控制信号；所述N个继电器对应与N组照明灯连接，以实现对照明灯的控制。
本发明的系统所采用的技术方案是：一种基于摄像头画面分割的分区域行人检测照明系统，包括以下模块：
模块1，用于实时获取监控摄像头监控画面；
模块2，用于采用YOLOv5目标检测网络，从视频流中获得单帧图像画面，并将单帧图像画面等比例行分割成N个区域，每个区域均可以进行行人检测，得到行人在画面像素上的坐标信息和检测概率；
所述YOLOv5目标检测网络，包括Backbone模块、Neck模块和Output模块；
所述Backbone模块，其包括Focus模块、CBA模块、CSP模块和SPP模块，用于将图像的特征谱图多次进行下采样操作，获得不同细粒度的图像信息，并以三条途径输入到Neck模块；
所述Focus模块，是将输入图片进行切片操作，对图像进行一次下采样操作，同时增加特征图的通道数；
所述CBA模块，是将输入的特征图进行下采样操作，同时增加特征图的通道数，保留更多的图像信息；
所述CSP模块，是对输入的特征图进行下采样操作，并增加了残差结构以增加层与层之间反向传播的梯度值，以避免因神经网络加深而造成的梯度损失；
所述SPP模块，是将输入的特征图通道数减半，再分别以卷积核3*3、5*5、7*7做最大池化操作，最对结果进行拼接，得到新的特征图；
所述Neck模块，其包括Concat模块、Upsample模块、CBA模块和CSP模块，用于混合所获得的图像信息，增强模型对不同尺度对象的检测能力，并以三条途径输入Output模块；
所述Upsample模块，是特征图进行上采样操作，以获得合适的尺寸；
所述的Concat模块，是将上采样得到的特征图与Backbone模块输出的特征图进行拼接，获得更广泛信息的特征图；
所述CBA模块和CSP模块，作用同Backbone模块中的CBA模块和CSP模块相同；
所述Output模块，其包括CONV模块，用于在征图上锚框，并输出最终带有类别概率、对象的分和预测框信息的特征图；
所述CONV模块是将Neck模块三条途径输出的特征图进行卷积操作，以获得最终大小为80*80*255、40*40*255、20*20*255的特征图；
模块3，用于通过控制照明电路，控制N个画面区域所对应的继电器，控制N组照明灯路线的通断，实现分区域行人检测照明控制；
所述控制照明电路，包括Arduino单片机、N路继电器、N组照明灯、外接电源和24V变压器；所述Arduino单片机上的N个数字引脚与所述N个继电器连接，用于来传递控制信号；所述N个继电器对应与N组照明灯连接，以实现对照明灯的控制。
本发明提供的一种基于摄像头画面分割的分区域行人检测照明方法及系统，涉及计算机视觉目标检测和智慧城市照明技术领域。首先开发板调用监控摄像头获取实时监控摄像头画面；将实时监控画面输入到YOLOv5目标检测模型，由开发板执行检测算法并获得单帧画面行分割成五个区域后的行人检测结果信息，包括行人的坐标信息，检测概率信息等，同时输出检测结果的数字信号；单片机处理数字信号并对五个画面区域相应的继电器进行控制，以控制相应的五组照明灯线路的通断，若监控摄像头的某个画面区域检测到行人时，则该画面区域所对应的照明灯可进行照明，若监控摄像头的某个画面区域检测不到行人时，则照明灯不进行照明，若监控摄像头画面的五个区域都可以检测到行人，则五组照明灯全亮以提供充分的照明，若监控摄像头的五个画面区域都检测不到行人时，则五组灯均不亮以节约电能，最终实现分区域行人检测照明和跟随照明。
附图说明
图1是本发明实施例的检测方法原理图；
图2是本发明实施例的YOLOv5目标检测网络结构；
图3是本发明实施例的YOLOv5目标检测网络实现效果图；
图4是本发明实施例的控制照明电路图；
其中：1、Arduino单片机；2、五路继电器；3.1、照明灯；3.2、照明灯；3.3、照明灯；3.4、照明灯；3.5照明灯；4、220V外接电源和24V变压器。
图5是本发明实施例的系统原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提出了一种基于摄像头画面分割的分区域行人检测照明方法及系统，涉及计算机视觉目标检测和智慧城市照明技术领域。首先开发板调用监控摄像头获取实时监控摄像头画面；将实时监控画面输入到YOLOv5目标检测模型，由开发板执行检测算法并获得单帧画面行分割成五个区域后的行人检测结果信息，包括行人的坐标信息，检测概率信息等，同时输出检测结果的数字信号；单片机处理数字信号并对五个画面区域相应的继电器进行控制，以控制相应的五组照明灯线路的通断，若监控摄像头的某个画面区域检测到行人时，则该画面区域所对应的照明灯可进行照明，若监控摄像头的某个画面区域检测不到行人时，则照明灯不进行照明，若监控摄像头画面的五个区域都可以检测到行人，则五组照明灯全亮以提供充分的照明，若监控摄像头的五个画面区域都检测不到行人时，则五组灯均不亮以节约电能，最终实现分区域行人检测照明和跟随照明。
请见图1，本发明提供的一种基于摄像头画面分割的分区域行人检测照明方法，包括以下步骤：
步骤1：Jetson Nano开发板调用监控摄像头获取实时监控摄像头画面。
本实施例中，监控摄像头位于路灯的支架上，获取路灯周围的行人信息，监控摄像头获得的是实时的视频流数据，视频流数据里包含监控摄像头能够捕捉到的目标，YOLOv5目标检测算法能够将该视频流数据处理成单帧图像画面，作为YOLOv5目标检测网络的输入，并在所有目标中只对行人进行检测。
本实施例中，监控摄像头通过USB线与Jetson Nano开发板连接，以向开发板传递实时监控数据，作为YOLOv5目标检测网络的输入图像。
步骤2：采用YOLOv5目标检测网络，从视频流中获得尺寸为640*640的单帧图像画面，并将单帧图像画面等比例行分割成五个128*640个画面区域，五个区域同行并列，每个区域均可以通过Jetson Nano开发板执行的YOLOv5目标检测算法对并行进行行人检测，得到行人在画面像素上的坐标信息和检测概率，并输出对应的数字信号“1”或“0”；
请见图2，本实施例中采用的YOLOv5目标检测网络，用于对行人进行检测；
本实施例采用的YOLOv5目标检测网络，包括Backbone模块、Neck模块和Output模块；
本实施例采用的Backbone模块，其包括Focus模块、CBA模块、CSP模块和SPP模块，用于将图像的特征谱图多次进行下采样操作，获得不同细粒度的图像信息，并以三条途径输入到Neck模块；
本实施例采用的Focus模块，是将输入图片进行切片操作，对图像进行一次下采样操作，同时增加特征图的通道数；
本实施例采用的CBA模块，是将输入的特征图进行下采样操作，同时增加特征图的通道数，保留更多的图像信息；
本实施例采用的CSP模块，是对输入的特征图进行下采样操作，并增加了残差结构以增加层与层之间反向传播的梯度值，以避免因神经网络加深而造成的梯度损失；
本实施例采用的SPP模块，是将输入的特征图通道数减半，再分别以卷积核3*3、5*5、7*7做最大池化操作，最对结果进行拼接，得到新的特征图；
本实施例采用的Neck模块，其包括Concat模块、Upsample模块、CBA模块和CSP模块，用于混合所获得的图像信息，增强模型对不同尺度对象的检测能力，并以三条途径输入Output模块；
本实施例采用的Upsample模块，是特征图进行上采样操作，以获得合适的尺寸；
本实施例采用的Concat模块，是将上采样得到的特征图与Backbone模块输出的特征图进行拼接，获得更广泛信息的特征图；
本实施例采用的CBA模块和CSP模块，作用同Backbone模块中的CBA模块和CSP模块相同；
本实施例采用的Output模块，其包括CONV模块，用于在征图上锚框，并输出最终带有类别概率、对象的分和预测框信息的特征图；
本实施例采用的CONV模块是将Neck模块三条途径输出的特征图进行卷积操作，以获得最终大小为80*80*255、40*40*255、20*20*255的特征图；
本实施例中，图像在经过一系列数据增强处理之后，会被送入到YOLOv5目标检测网络的backbone模块，原始输入图像尺寸为640*640*3，Focus结构则会对该图像进行切片操作，增加图像的通道数，改变为合适尺寸的特征图；CBL结构由卷积层、批量归一化和激活函数组成，该结构对特征图进行下采样操作，会再次改变特征图的尺寸和通道数，以获取图像信息特征；CSP结构是多个CBL结构、X个残差组件和卷积层拼接而成，能够对输入的特征图进行下采样操作，同时能够增加神经网络的深度，提高检测准确率，获得更多的特征图信息；在backbone模块中会通过三条路径进入neck模块，neck模块采用了FPN和PAN结构，通过上采样和卷积凭借，能够加强神经网络特征融合的能力；Output模块通过三个卷积层输出尺寸为80*80*255、40*40*255、20*20*255的特征图，每个输出的特征图都对应原始输入图像上不同的感受野，分别用于检测小目标、中目标和大目标。
本实施例采用的YOLOv5目标检测网络，是训练好的YOLOv5目标检测网络；检测过程中，利用其在COCO数据集上已经训练好的权重文件进行检测，因为该权重文件能够帮助检测算法快速准确地对80个类别地目标进行检测，所以在检测算法中需设置检测类别为“0”(即“person”)只对行人进行检测。
本实施例采用的YOLOv5目标检测算法在图像画面中建立像素X-Y坐标系，并将步骤1中获得的实时视频流数据解码成单帧图像序列，单帧视频图像的尺寸被设置为640*640作为YOLOv5目标检测算法的输入，通过YOLOv5目标检测网络获取单帧图像特征，同时检测算法会对单帧图像等比例行分割成五个128*640区域，最终得到每个区域的行人坐标信息和检测概率，并输出相应的数字信号。
本实施例采用的YOLOv5目标检测算法在对单帧图像的特征进行处理并能够检测到图像的目标信息之后，会对每一帧图像上所检测到的行人进行锚框，再根据置信度阈值0.25和IOU阈值0.45通过NMS对所有的锚框进行筛选，选择出IOU最大的锚框作为行人的检测框；通过调用Annotator类对行人进行标注(包括类别和概率)以及绘制锚框；通过调用xyxy2xyw函数获取行人的检测框的坐标信息xyxy[0]、xyxy[1]、xyxy[2]和xyxy[3](即行人的位置信息)，其中xyxy[0]表示行人矩形检测框的左上角坐标，xyxy[1]表示行人矩形检测框的右上角坐标，xyxy[2]表示行人矩形检测框的左下角坐标，xyxy[3]表示行人矩形检测框的右下角坐标。
本实施例采用的YOLOv5目标检测算法根据行人的位置信息的左上角坐标xyxy[0]和右下角坐标xyxy[2]确定了行人在整个画面中的位置区域；将元始画面尺寸为640*640，且画面等比例分割成五个区域，原图像的宽度不变(仍为640)，长度将等比例分割成[0,128]、[128,256]、[256,384]、[384,512]和[512,640]五个区域；每个区域均可以根据行人的坐标xyxy[0]和xyxy[2]来判断该区域内是否有行人。
本实施例采用的YOLOv5目标检测算法对视频画面的五个区域及进行行人检测，若某个区域检测到行人，则会输出行人的位置信息、概率和数字信号“1”；若某个区域没有检测到行人，则会输出数字信号“0”。
请见图3，为本发明实施例的YOLOv5目标检测网络实现效果图，视频图像为街道监控摄像头获得的监控画面，YOLOv5目标检测网络对视频中的某一帧画面进行检测，可看到绝大部分行人都能够被精确地检测出来，YOLOv5目标检测网络的作用效果明显，能够达到本发明对行人检测部分快速而准确的要求。
步骤3：通过控制照明电路，控制五个画面区域所对应的五个继电器，控制五组照明灯路线的通断，实现分区域行人检测照明控制；
请见图4，本实施例的控制照明电路，包括Arduino单片机、五路继电器、五组照明灯、外接电源和24V变压器；Arduino单片机上的五个数字引脚与所述五个继电器连接，用于来传递控制信号；五个继电器对应与五组照明灯连接，以实现对照明灯的控制。
本实施例中照明灯3.1由五路继电器2的输入引脚5所接收的信号控制；照明灯3.2由五路继电器2的输入引脚4所接收的信号控制；照明灯3.3由五路继电器2的输入引脚3所接收的信号控制；照明灯3.4由五路继电器2的输入引脚2所接收的信号控制；照明灯3.5由五路继电器2的输入引脚1所接收的信号控制。
本实施例中Arduino单片机输出引脚2与五路继电器2的输入引脚1连接传递信号；Arduino单片机输出引脚4与五路继电器2的输入引脚2连接传递信号；Arduino单片机输出引脚6与五路继电器2的输入引脚3连接传递信号；Arduino单片机输出引脚8与五路继电器2的输入引脚4连接传递信号；Arduino单片机输出引脚10与五路继电器2的输入引脚5连接传递信号。
本实施例中Arduino单片机的5V“+”极接入五路继电器输入端的“DC+”端，“GND”极接入5路继电器输入端的“DC-”端，同时Arduino单片机的数字引脚分别接入5路继电器输入端对应的5个引脚接口，分别为引脚1、引脚2、引脚3、引脚4、引脚5。
本实施例中五路继电器的输出端接入照明灯组，因为本发明的路灯照明系统是处于常灭状态(即继电器输出端为常开状态)，因此继电器输出端的“NO”常开端分别连接照明灯的“-”极，五路继电器输出端的“COM”端分别连接变压器的“-”极。
本实施例中外接电源接变压器，变压器将220V交流电转换为24V直流电，变压器的“+”极连接照明灯组的“+”极，变压器的“-”极连接照明灯组的“-”极。
本实施例中，Arduino单片机通过数据线与开发板连接，用来为Arduino单片机提供电源，并向Arduino单片机传递数字信号；Arduino单片机能够通过控制算法处理数字信号，定义readSerial函数获取检测目标的数字信号，定义if判断语句，若某一区域的检测程序输出“person”类，则该区域通过调用readSerial函数会获得数字信号“1”，否则为“0”；定义ReceData函数读取数字信号“1”或“0”，定义虚拟信号“LEDON”或“LEDOFF”，调用digitalWrite库将数字信号“1”或“0”与虚拟信号“LEDON”或“LEDOFF”相配置，以实现协调控制；定义LED_Show函数，设置默认五个区域的数字信号全为“0”，再根据各个区域所接收到的数字信号“1”或“0”转换成虚拟信号“LEDON”或“LEDOFF”，以实现对相应继电器通断的控制。
本实施例中，Arduino单片机根据控制算法能够对监控画面五个区域相应的继电器进行控制，继电器的输出端连接五组照明灯，分别于五个区域画面相对应，以实现对五组照明灯的控制，最终实现分区域行人检测照明和跟随照明。
请见图5，本发明提供的一种基于摄像头画面分割的分区域行人检测照明系统，包括以下模块：
视频采集模块，监控摄像头通过USB线与Jetson Nano开发板连接，以向开发板传递实时监控数据，作为YOLOv5目标检测算法的输入图像；监控摄像头位于路灯的支架上，获取路灯周围的行人信息，监控摄像头获得的是实时的视频流数据，视频流数据里包含监控摄像头能够捕捉到的目标，YOLOv5目标检测算法能够将该视频流数据处理成单帧图像画面，作为深度神经网络的输入，并在所有目标中只对行人进行检测。
行人检测模块，Jetson Nano开发板执行YOLOv5目标检测算法在图像画面中建立像素X-Y坐标系，并将视频检测模块401获得的实时视频流数据解码成单帧图像序列，单帧视频图像的尺寸被设置为640*640作为YOLOv5目标检测算法的输入，通过深度神经网络获取单帧图像特征，同时检测算法会对单帧图像等比例行分割成五个128*640区域，每个区域均可以通过行人的坐标信息对行人进行检测，最终得到每个区域的行人坐标信息和检测概率，并输出相应的数字信号。
控制照明模块，Jetson Nano开发板向Arduino单片机传递数字信号，Arduino单片机处理数字信号，并根据处理后的虚拟信号对五组照明灯进行相应的控制。
本实施例将摄像头监控画面等比例行分割成五个区域，每个区域均可以进行行人检测，且可得到行人的类别信息、检测概率、位置信息和数字信号，控制程序会将处理后的信号传递给各个区域所对应的照明灯组，从而实现分区域行人检测照明。同时，根据本发明所采用的监控摄像头画面分割方法，当行人由远及近走过时，该系统能够做到跟随照亮，人来灯亮，人走灯灭，人多全亮，便于在人群活动密集的地方使用，也可以在人少偏僻的地方使用，不仅节约电能，也能够满足最基本的照明需求。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于摄像头画面分割的分区域行人检测及照明方法，其特征在于，包括以下步骤：
步骤1：实时获取监控摄像头监控画面；
步骤2：采用YOLOv5目标检测网络，从视频流中获得单帧图像画面，并将单帧图像画面等比例行分割成N个区域，每个区域均可以对行人进行检测，得到行人在画面像素上的坐标信息和检测概率；
所述YOLOv5目标检测网络，包括Backbone模块、Neck模块和Output模块；
所述Backbone模块，其包括Focus模块、CBA模块、CSP模块和SPP模块，用于将图像的特征谱图多次进行下采样操作，获得不同细粒度的图像信息，并以三条途径输入到Neck模块；
所述Focus模块，是将输入图片进行切片操作，对图像进行一次下采样操作，同时增加特征图的通道数；
所述CBA模块，是将输入的特征图进行下采样操作，同时增加特征图的通道数，保留更多的图像信息；
所述CSP模块，是对输入的特征图进行下采样操作，并增加了残差结构以增加层与层之间反向传播的梯度值，以避免因神经网络加深而造成的梯度损失；
所述SPP模块，是将输入的特征图通道数减半，再分别以卷积核3*3、5*5、7*7做最大池化操作，最对结果进行拼接，得到新的特征图；
所述Neck模块，其包括Concat模块、Upsample模块、CBA模块和CSP模块，用于混合所获得的图像信息，增强模型对不同尺度对象的检测能力，并以三条途径输入Output模块；
所述Upsample模块，是特征图进行上采样操作，以获得合适的尺寸；
所述的Concat模块，是将上采样得到的特征图与Backbone模块输出的特征图进行拼接，获得更广泛信息的特征图；
所述CBA模块和CSP模块，作用同Backbone模块中的CBA模块和CSP模块相同；
所述Output模块，其包括CONV模块，用于在征图上锚框，并输出最终带有类别概率、对象的分和预测框信息的特征图；
所述CONV模块是将Neck模块三条途径输出的特征图进行卷积操作，以获得最终大小为80*80*255、40*40*255、20*20*255的特征图；
步骤3：通过控制照明电路，控制N个画面区域所对应的继电器，控制N组照明灯路线的通断，实现分区域行人检测照明控制；
所述控制照明电路，包括Arduino单片机、N路继电器、N组照明灯、外接电源和24V变压器；所述Arduino单片机上的N个数字引脚与所述N个继电器连接，用于来传递控制信号；所述N个继电器对应与N组照明灯连接，以实现对照明灯的控制。
2.根据权利要求1所述的基于摄像头画面分割的分区域行人检测照明方法，其特征在于：步骤2中，单帧图像画面等比例行分割成N个区域，与同行排列的N组照明灯相对应，每个画面区域对应一组照明灯。
3.根据权利要求1-2任意一项所述的基于摄像头画面分割的分区域行人检测照明方法，其特征在于，步骤3的具体实现过程是：若画面中N个同行别列区域中的某个区域检测到行人时，向Arduino单片机传递数字信号“1”，Arduino单片机将其转换成虚拟信号“LEDON”，并通过数字引脚控制该区域相对应的继电器接通，实现该区域相对应的照明灯照明；若画面中N个同行别列区域中的某个区域检测到行人时，向Arduino单片机传递数字信号“0”，Arduino单片机将其转换成虚拟信号“LEDOFF”，并通过数字引脚控制该区域相对应的继电器断开，实现该区域相对应的照明灯不照明。
4.一种基于摄像头画面分割的分区域行人检测照明系统，其特征在于，包括以下模块：
模块1，用于实时获取监控摄像头监控画面；
模块2，用于采用YOLOv5目标检测网络，从视频流中获得单帧图像画面，并将单帧图像画面等比例行分割成N个区域，每个区域均可以进行行人检测，得到行人在画面像素上的坐标信息和检测概率；
所述YOLOv5目标检测网络，包括Backbone模块、Neck模块和Output模块；
所述Backbone模块，其包括Focus模块、CBA模块、CSP模块和SPP模块，用于将图像的特征谱图多次进行下采样操作，获得不同细粒度的图像信息，并以三条途径输入到Neck模块；
所述Focus模块，是将输入图片进行切片操作，对图像进行一次下采样操作，同时增加特征图的通道数；
所述CBA模块，是将输入的特征图进行下采样操作，同时增加特征图的通道数，保留更多的图像信息；
所述CSP模块，是对输入的特征图进行下采样操作，并增加了残差结构以增加层与层之间反向传播的梯度值，以避免因神经网络加深而造成的梯度损失；
所述SPP模块，是将输入的特征图通道数减半，再分别以卷积核3*3、5*5、7*7做最大池化操作，最对结果进行拼接，得到新的特征图；
所述Neck模块，其包括Concat模块、Upsample模块、CBA模块和CSP模块，用于混合所获得的图像信息，增强模型对不同尺度对象的检测能力，并以三条途径输入Output模块；
所述Upsample模块，是特征图进行上采样操作，以获得合适的尺寸；
所述的Concat模块，是将上采样得到的特征图与Backbone模块输出的特征图进行拼接，获得更广泛信息的特征图；
所述CBA模块和CSP模块，作用同Backbone模块中的CBA模块和CSP模块相同；
所述Output模块，其包括CONV模块，用于在征图上锚框，并输出最终带有类别概率、对象的分和预测框信息的特征图；
所述CONV模块是将Neck模块三条途径输出的特征图进行卷积操作，以获得最终大小为80*80*255、40*40*255、20*20*255的特征图；
模块3，用于通过控制照明电路，控制N个画面区域所对应的继电器，控制N组照明灯路线的通断，实现分区域行人检测照明控制；
所述控制照明电路，包括Arduino单片机、N路继电器、N组照明灯、外接电源和24V变压器；所述Arduino单片机上的N个数字引脚与所述N个继电器连接，用于来传递控制信号；所述N个继电器对应与N组照明灯连接，以实现对照明灯的控制。
5.根据权利要求4所述的基于摄像头画面分割的分区域行人检测照明系统，其特征在于：所述模块2，用于将单帧图像画面等比例行分割成N个区域，与同行排列的N组照明灯相对应，每个画面区域对应一组照明灯。
6.根据权利要求4-5任意一项所述的基于摄像头画面分割的分区域行人检测照明系统，其特征在于：所述模块3，用于若画面中N个同行别列区域中的某个区域检测到行人时，向Arduino单片机传递数字信号“1”，Arduino单片机将其转换成虚拟信号“LEDON”，并通过数字引脚控制该区域相对应的继电器接通，实现该区域相对应的照明灯照明；若画面中N个同行别列区域中的某个区域检测到行人时，向Arduino单片机传递数字信号“0”，Arduino单片机将其转换成虚拟信号“LEDOFF”，并通过数字引脚控制该区域相对应的继电器断开，实现该区域相对应的照明灯不照明。
CN202210609735.9A 2022-05-31 2022-05-31 基于摄像头画面分割的分区域行人检测照明方法及系统 Pending CN114943986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210609735.9A CN114943986A (zh) 2022-05-31 2022-05-31 基于摄像头画面分割的分区域行人检测照明方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210609735.9A CN114943986A (zh) 2022-05-31 2022-05-31 基于摄像头画面分割的分区域行人检测照明方法及系统

Publications (1)

Publication Number Publication Date
CN114943986A true CN114943986A (zh) 2022-08-26

Family

ID=82908192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210609735.9A Pending CN114943986A (zh) 2022-05-31 2022-05-31 基于摄像头画面分割的分区域行人检测照明方法及系统

Country Status (1)

Country Link
CN (1) CN114943986A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN202033568U (zh) 照明系统
CN103716955A (zh) 一种针对大学晚自修的教室分区域智能照明系统
CN114943986A (zh) 基于摄像头画面分割的分区域行人检测照明方法及系统
CN106096603A (zh) 一种融合多特征的动态火焰检测方法及装置
CN104039058B (zh) 路灯控制系统及方法
CN110969647B (zh) 一种整合车辆的识别跟踪与车灯检测的方法
CN112393186B (zh) 一种具有人流密度监测报警功能的智能led路灯
CN111712021A (zh) 一种美术馆灯光智能调节方法、装置和系统
CN104363673A (zh) 一种基于人体识别的按需照明节能控制系统
CN111951576A (zh) 一种基于车辆识别的交通灯控制系统及其方法
CN109472767B (zh) 舞台灯具缺失状态分析系统
CN114158163A (zh) 船舶智能照明控制方法、装置、设备及存储介质
WO2022257807A1 (zh) 基于被动红外标签的定位装置
CN113101155A (zh) 一种基于机器视觉的红绿灯路口导盲方法及导盲装置
CN205491376U (zh) 一种基于环境的道路照明和智能预警系统
CN109001206B (zh) 一种基于图像识别的水果缺陷检测方法以及检测系统
CN113658437A (zh) 一种交通信号灯控制系统
CN110488828B (zh) 基于大数据和人工智能的航行灯控制方法和机器人系统
Yaman et al. New approach for intelligent street lights using computer vision and wireless sensor networks
CN116721095A (zh) 一种航拍式的道路照明故障检测方法及装置
CN110708831B (zh) 城市中央照明控制方法及系统
CN211090086U (zh) 一种智慧照明控制系统
CN105574499B (zh) 一种基于soc的人数检测统计方法及系统
CN111667699B (zh) 智慧城市实时管控方法
CN209343713U (zh) 一种公共厕所智能标识牌

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination