CN108647637A - 一种基于人群识别的视频采集分析装置和方法 - Google Patents

一种基于人群识别的视频采集分析装置和方法 Download PDF

Info

Publication number
CN108647637A
CN108647637A CN201810438375.4A CN201810438375A CN108647637A CN 108647637 A CN108647637 A CN 108647637A CN 201810438375 A CN201810438375 A CN 201810438375A CN 108647637 A CN108647637 A CN 108647637A
Authority
CN
China
Prior art keywords
crowd
dsp controller
crowd density
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810438375.4A
Other languages
English (en)
Other versions
CN108647637B (zh
Inventor
陈劲全
田菁
余卫宇
林俊科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Elon Technology Co.,Ltd.
Original Assignee
Guangzhou Feiyu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Feiyu Intelligent Technology Co Ltd filed Critical Guangzhou Feiyu Intelligent Technology Co Ltd
Priority to CN201810438375.4A priority Critical patent/CN108647637B/zh
Publication of CN108647637A publication Critical patent/CN108647637A/zh
Application granted granted Critical
Publication of CN108647637B publication Critical patent/CN108647637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明的基于人群识别的视频采集分析装置，包括报警装置和采集装置；采集装置包括人群密度计算模块；人群密度计算模块包括神经网络单元、数据准备单元、全卷积网络数据准备单元、三个卷积神经网络数据准备单元、全卷积网络预训练单元、三个卷积网络预训练单元、优化训练单元和人群计数单元；采集装置采集视频信息并计算视频内的人群密度；报警装置发出报警信号；DSP控制器预设第一目标移动距离、第一目标旋转角度和第一目标人群密度；DSP控制器发送命令控制第一摄像头和第二摄像头拍摄视频获取人群密度；DSP控制器发送报警命令控制报警装置进行报警；DSP控制器控制采集装置在水平方向转动和在竖直方向上转动。

Description

一种基于人群识别的视频采集分析装置和方法
技术领域
本发明涉及人工智能计算机视觉分析技术领域，具体涉及一种基于人群识别的视频采集分析装置和方法。
背景技术
在公共场合，需要对人群进行实时准确的监控和分析；传统的人工智能计算机视觉分析设备只是进行图像的采集，并不可以对采集的图像进行有效分析以获取图像中人群密度，需要通过人工进行分析，其监控效果较差。
基于视频和图片的人群计数有很广泛的应用价值。无论各种商场、超市、广场等的广告机，零售机的投放效果分析，还是各种城市道路、居民小区的安防监控，或者是车站、景区的人流监控，基于视频和图片的人群计数技术都是值得推广应用的。传统的人群计数方法大多依靠人工提取特征，如行人检测法、轨迹聚类法、特征回归法、人群密度回归法等需要较强的专业领域的相关知识，通用性，大规模开发与应用的难度较大。
因此，需要提供一种基于人群识别的视频采集分析装置，可以对采集到的视频进行人群密度分析，提高监控的准确性。
发明内容
本发明的目的在于提供一种基于人群识别的视频采集分析装置和方法，用以解决现有监控设备不可以对人群密度进行分析，监控效果较差的问题。
为实现上述目的，本发明的技术方案为
一种基于人群识别的视频采集分析装置，包括报警装置和采集装置；
所述采集装置包括人群密度计算模块；所述人群密度计算模块包括神经网络单元、数据准备单元、全卷积网络数据准备单元、三个卷积神经网络数据准备单元、全卷积网络预训练单元、三个卷积网络预训练单元、优化训练单元和人群计数单元；
所述采集装置采集视频信息并计算视频内的人群密度，根据计算得到的人群密度发送报警命令到所述报警装置；
所述报警装置用于根据接收到的报警命令发出相应的报警信号。
其中，所述采集装置包括机箱，于所述机箱内用螺栓固定有电机，于所述电机的上侧通过螺纹旋接有传动轴，所述传动轴穿设于所述机箱内；
于所述传动轴的上端用螺纹旋接有支撑板；于所述支撑板的两侧的边缘处分别用螺栓固定有第一直线电机和第二直线电机；于所述第一直线电机上螺纹旋接有第一伸缩轴，所述第一伸缩轴垂直于所述支撑板；于所述第二直线电机上螺纹旋接有第二伸缩轴，所述第二伸缩轴垂直于所述支撑板；
于所述支撑板的上侧的中部卡接有固定架，于所述固定架的上端卡接有安装筒；于所述安装筒内卡接有DSP控制器，于所述安装筒的一端螺纹旋接有第一摄像头，于所述安装筒的另一端螺纹旋接有第二摄像头；所述第一摄像头和所述第二摄像头均与所述DSP控制器电连接；
所述第一伸缩轴通过螺纹旋接于所述安装筒的一端的下侧，所述第二伸缩轴通过螺纹旋接于所述安装筒的另一端的下侧；于所述安装筒上卡接有位移传感器，所述位移传感器与所述DSP控制器电连接。
其中，所述固定架包括圆筒状的外旋转筒，沿着所述外旋转筒的轴向于其内枢设有圆筒状的内旋转筒，所述外旋转筒和所述内旋转筒同心；
于所述外旋转筒的内壁上均匀的卡接有多个第一卡接牙；所述第一卡接牙的第一侧壁为内凹曲面，其第二侧壁为平面；于所述内旋转筒的外壁上均匀的卡接有多个第二卡接牙；所述第二卡接牙的第三侧壁为向外凸起的曲面，其第四侧壁平面；所述第三侧壁压紧于所述第一侧壁上；所述第四侧壁压紧于所述第二侧壁上；所述第一卡接牙和所述第二卡接牙的个数一致；于所述外旋转筒的外壁上卡接有角度传感器，所述角度传感器与所述DSP控制器电连接。
其中，所述神经网络单元包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和全卷积网络；
所述第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均包括4层卷积层；所述全卷积网络用于分割背景和人群以减少图片背景带来的影响；
所述数据准备单元包括切片单元和组合单元；
所述切片单元用于把数据集中每一个图片切片为四个子图片，每一个所述子图片的长度和宽度均是所述图片的四分之一，每一个所述子图片与另一所述子图片有三分之二的重叠区；
所述组合单元用于将所述子图片扩大为所述图片的尺寸，将四个所述子图片和所述图片组合在一起得到组合数据集，所述组合数据集的数据量是原数据集的数据量的五倍；
所述全卷积网络数据准备单元用于对所述组合数据集中的人群图片按照第一预设算法生成所述组合数据集中对应人群图片的人与背景的二值分类器的数据标签。
其中，所述三个卷积神经网络数据准备单元用于对所述组合数据集中的人群图片按照第二预设算法生成所述组合数据集中对应人群图片的人群密度图，把生成的人群密度图作为数据标签，数据标签人群密度图中所有像素点的值求和结果为人群人数；
所述全卷积网络预训练单元用于采用caffe深度学习框架进行训练，训练过程采用随机梯度下降，当全卷积网络收敛之后保存模型以达到最优效果；
所述三个卷积网络预训练单元包括调整结构参数单元、层调整单元和输出单元；所述调整结构参数单元用于调整三个卷积网络的网络结构参数；所述层调整单元用于将每个所述卷积网络最后的全连接层替换为1x1的卷积层或者caffe深度学习框架中的concat层；所述输出单元用于输出三个所述卷积网络的融合最终输出结果，所述最终输出结果为一张原来原始输入图片大小四分之一的人群计数密度图；
所述优化训练单元用于把训练好的两个模型融合在一起；
所述人群计数单元用于对密度图进行求和，求和的结果即为人群中人的数目。
一种采集方法，用于所述基于人群识别的视频采集分析装置，包括步骤：
步骤1：所述DSP控制器预设第一目标移动距离、第一目标旋转角度和第一目标人群密度；
步骤2：所述DSP控制器发送命令控制所述第一摄像头和所述第二摄像头拍摄视频获取人群密度；
步骤3：所述DSP控制器发送报警命令控制所述报警装置进行报警；
步骤4：所述DSP控制器控制所述采集装置在水平方向转动和在竖直方向上转动，之后转到步骤2。
其中，所述DSP控制器发送命令控制所述第一摄像头和所述第二摄像头拍摄视频获取人群密度包括：
步骤2.1：所述DSP控制器发送拍摄命令到所述第一摄像头，所述第一摄像头拍摄第一视频并发送所述DSP控制器；
步骤2.2：所述DSP控制器通过所述人群密度计算模块计算所述第一视频内的第一人群密度；
步骤2.3：所述DSP控制器发送拍摄命令到所述第二摄像头，所述第二摄像头拍摄第二视频并发送所述DSP控制器；
步骤2.4：所述DSP控制器通过所述人群密度计算模块计算所述第二视频内的第二人群密度；
步骤2.5：所述DSP控制器计算所述第一人群密度和所述第二人群密度的平均值得到人群密度均值。
其中，所述DSP控制器发送报警命令控制所述报警装置进行报警包括：
步骤3.1：所述DSP控制器将所述人群密度均值与所述第一目标人群密度进行比较；
步骤3.2：如果，所述人群密度均值小于等于所述第一目标人群密度，则所述DSP控制器不发送报警命令；
步骤3.3：如果,所述人群密度均值是第一目标人群密度的1到1.5倍，则所述DSP控制器发送第一报警命令到所述报警装置；
步骤3.4：如果,所述人群密度均值是第一目标人群密度的1.5到2倍，则所述DSP控制器发送第二报警命令到所述报警装置；
步骤3.5：如果,所述人群密度均值是第一目标人群密度的2到3倍，则所述DSP控制器发送第三报警命令到所述报警装置；
步骤3.6：如果,所述人群密度均值大于所述第一目标人群密度的3倍，则所述DSP控制器发送第四报警命令到所述报警装置；
所述报警装置包括红灯、绿灯、黄灯和喇叭；
所述第一报警命令控制所述绿灯发光；所述第二报警命令控制所述黄灯发光；所述第三报警命令控制所述红灯发光；所述第二报警命令控制所述喇叭发出声音预警。
其中，所述DSP控制器控制所述采集装置在水平方向转动和在竖直方向上转动，之后转到步骤2包括：
步骤4.1：所述DSP控制器发送第一旋转命令到所述电机，所述电机转动并带动所述传动轴、固定架、安装筒、第一摄像头和第二摄像头在水平方向旋转；所述角度传感器实时检测第一实际旋转角度；
步骤4.2：当所述第一实际旋转角度大于等于所述第一目标旋转角度时，所述DSP控制器发送停止旋转命令到所述电机；否则，DSP控制器发送继续旋转命令到所述电机；
步骤4.3：所述DSP控制器发送第一移动命令到所述第一直线电机，所述第一直线电机驱动所述第一伸缩轴在竖直方向上移动，带动所述安装筒、所述第一摄像头和所述第二摄像头在竖直方向上移动；所述位移传感器采集所述安装筒的第一实际移动距离并发送DSP控制器；
步骤4.4：当所述第一实际移动距离大于等于所述第一目标移动距离时，所述DSP控制器发送停止移动命令到所述第一直线电机和所述第二直线电机。
本发明具有如下优点：
本发明的基于人群识别的视频采集分析装置，包括报警装置和采集装置；所述采集装置包括人群密度计算模块；所述人群密度计算模块包括神经网络单元、数据准备单元、全卷积网络数据准备单元、三个卷积神经网络数据准备单元、全卷积网络预训练单元、三个卷积网络预训练单元、优化训练单元和人群计数单元；所述采集装置采集视频信息并计算视频内的人群密度，根据计算得到的人群密度发送报警命令到所述报警装置；所述报警装置用于根据接收到的报警命令发出相应的报警信号；
本发明的采集方法，用于所述基于人群识别的视频采集分析装置，包括步骤：步骤1：所述DSP控制器预设第一目标移动距离、第一目标旋转角度和第一目标人群密度；步骤2：所述DSP控制器发送命令控制所述第一摄像头和所述第二摄像头拍摄视频获取人群密度；步骤3：所述DSP控制器发送报警命令控制所述报警装置进行报警；步骤4：所述DSP控制器控制所述采集装置在水平方向转动和在竖直方向上转动，之后转到步骤2；
通过所述第一摄像头和所述第二摄像头获取监控视频，通过所述人群密度计算模块计算人群密度，根据计算得到的人群密度；所述人群密度计算模块通过对视频中人群密度的计算，实现对被监控环境的内的人群的精确掌控，当人群超出预设安全阈值时可以及时进行报警提示，提高监控效果。
附图说明
图1是本发明的基于人群识别的视频采集分析装置的功能模块图。
图2是本发明的采集装置的结构示意图。
图3是本发明的固定架的结构示意图。
1-报警装置；2-采集装置；21-安装筒；22-DSP控制器；23-固定架；231-外旋转筒；232-第一卡接牙；233-第二卡接牙；234-内旋转筒；235-角度传感器；24-第一摄像头；25-第一伸缩轴；26-第一直线电机；27-传动轴；28-电机；29-机箱；210-支撑板；211-第二直线电机；212-第二伸缩轴；213-第二摄像头；214-位移传感器。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
本实施例1的基于人群识别的视频采集分析装置，包括报警装置1和采集装置2；所述采集装置2包括人群密度计算模块；所述人群密度计算模块包括神经网络单元、数据准备单元、全卷积网络数据准备单元、三个卷积神经网络数据准备单元、全卷积网络预训练单元、三个卷积网络预训练单元、优化训练单元和人群计数单元；
所述采集装置2采集视频信息并计算视频内的人群密度，根据计算得到的人群密度发送报警命令到所述报警装置1；所述报警装置1用于根据接收到的报警命令发出相应的报警信号。
所述采集装置2包括机箱29，于所述机箱29内用螺栓固定有电机28，于所述电机28的上侧通过螺纹旋接有传动轴27，所述传动轴27穿设于所述机箱29内；于所述传动轴27的上端用螺纹旋接有支撑板210；于所述支撑板210的两侧的边缘处分别用螺栓固定有第一直线电机26和第二直线电机211；于所述第一直线电机26上螺纹旋接有第一伸缩轴25，所述第一伸缩轴25垂直于所述支撑板210；于所述第二直线电机211上螺纹旋接有第二伸缩轴212，所述第二伸缩轴212垂直于所述支撑板210；
于所述支撑板210的上侧的中部卡接有固定架23，于所述固定架23的上端卡接有安装筒21；于所述安装筒21内卡接有DSP控制器22，于所述安装筒21的一端螺纹旋接有第一摄像头24，于所述安装筒21的另一端螺纹旋接有第二摄像头213；所述第一摄像头24和所述第二摄像头213均与所述DSP控制器22电连接；所述第一伸缩轴25通过螺纹旋接于所述安装筒21的一端的下侧，所述第二伸缩轴212通过螺纹旋接于所述安装筒21的另一端的下侧；于所述安装筒21上卡接有位移传感器214，所述位移传感器214与所述DSP控制器22电连接。
所述固定架23包括圆筒状的外旋转筒231，沿着所述外旋转筒231的轴向于其内枢设有圆筒状的内旋转筒234，所述外旋转筒231和所述内旋转筒234同心；
于所述外旋转筒231的内壁上均匀的卡接有多个第一卡接牙232；所述第一卡接牙232的第一侧壁为内凹曲面，其第二侧壁为平面；于所述内旋转筒234的外壁上均匀的卡接有多个第二卡接牙233；所述第二卡接牙233的第三侧壁为向外凸起的曲面，其第四侧壁平面；所述第三侧壁压紧于所述第一侧壁上；所述第四侧壁压紧于所述第二侧壁上；所述第一卡接牙232和所述第二卡接牙233的个数一致；于所述外旋转筒231的外壁上卡接有角度传感器235，所述角度传感器235与所述DSP控制器22电连接。
通过所述第一摄像头24和所述第二摄像头213获取监控视频，通过所述人群密度计算模块计算人群密度，根据计算得到的人群密度；所述人群密度计算模块通过对视频中人群密度的计算，实现对被监控环境的内的人群的精确掌控，当人群超出预设安全阈值时可以及时进行报警提示，提高监控效果。
实施例2
进一步，在实施例1的基础上：
所述神经网络单元包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和全卷积网络；
所述第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均包括4层卷积层；所述全卷积网络用于分割背景和人群减少图片背景带来的影响；
所述数据准备单元包括切片单元和组合单元；
所述切片单元用于把数据集中每一个图片切片为四个子图片，每一个所述子图片长宽均是所述图片的四分之一，每一个所述子图片与另一所述子图片有三分之二的重叠区；
所述组合单元用于将所述子图片扩大为所述图片的尺寸，将四个所述子图片和所述图片组合在一起得到组合数据集，所述组合数据集是原数据集的五倍；
所述全卷积网络数据准备单元用于对所述组合数据集中的人群图片按照第一预设算法生成所述组合数据集中对应人群图片的人与背景的二值分类器的数据标签。所述第一预设算法公式1如下：
其中δ(x-xi)是冲激响应函数，U(x)是固定取值区间的的均匀分布函数。数据标签中，对应像素点为人的像素点，则为1，对应像素点为背景则为0。为了使数据标签有一点的容错率，使人的像素点周围3个像素点的值也为1。
所述三个卷积神经网络数据准备单元用于对所述组合数据集中的人群图片按照第二预设算法生成所述组合数据集中对应人群图片的人群密度图，把生成的人群密度图作为数据标签，数据标签人群密度图中所有像素点的值求和结果为人群人数；
所述第二预设算法的公式2如下：
其中，δ(x-xi)是冲激响应函数，是以σi为方差和μi为均值的高斯函数。
所述全卷积网络预训练单元用于采用caffe深度学习框架进行训练，训练过程采用随机梯度下降，当全卷积网络收敛之后保存模型以达到最优效果；所述三个卷积网络预训练单元包括调整结构参数单元、层调整单元和输出单元；所述调整结构参数单元用于调整三个卷积网络的网络结构参数；所述层调整单元用于将每个所述卷积网络最后的全连接层替换为1x1的卷积层或者caffe深度学习框架中的concat层；所述输出单元用于输出三个所述卷积网络的融合最终输出结果，所述最终输出结果为一张原来原始输入图片大小四分之一的人群计数密度图；
所述优化训练单元用于把训练好的两个模型融合在一起；所述人群计数单元用于对密度图进行求和，求和的结果即为人群中人的数目。
实施例3
进一步，在实施例2的基础上：
本实施例2的采集方法，用于所述基于人群识别的视频采集分析装置，包括步骤：
步骤1：所述DSP控制器22预设第一目标移动距离、第一目标旋转角度和第一目标人群密度；
步骤2：所述DSP控制器22发送命令控制所述第一摄像头24和所述第二摄像头213拍摄视频获取人群密度；
步骤3：所述DSP控制器22发送报警命令控制所述报警装置1进行报警；
步骤4：所述DSP控制器22控制所述采集装置2在水平方向转动和在竖直方向上转动，之后转到步骤2。
所述DSP控制器22发送命令控制所述第一摄像头24和所述第二摄像头213拍摄视频获取人群密度包括：
步骤2.1：所述DSP控制器22发送拍摄命令到所述第一摄像头24，所述第一摄像头24拍摄第一视频并发送所述DSP控制器22；
步骤2.2：所述DSP控制器22通过所述人群密度计算模块计算所述第一视频内的第一人群密度；
步骤2.3：所述DSP控制器22发送拍摄命令到所述第二摄像头213，所述第二摄像头213拍摄第二视频并发送所述DSP控制器22；
步骤2.4：所述DSP控制器22通过所述人群密度计算模块计算所述第二视频内的第二人群密度；
步骤2.5：所述DSP控制器22计算所述第一人群密度和所述第二人群密度的平均值得到人群密度均值。
所述DSP控制器22发送报警命令控制所述报警装置1进行报警包括：
步骤3.1：所述DSP控制器22将所述人群密度均值与所述第一目标人群密度进行比较；
步骤3.2：如果，所述人群密度均值小于等于所述第一目标人群密度，则所述DSP控制器22不发送报警命令；
步骤3.3：如果,所述人群密度均值是第一目标人群密度的1到1.5倍，则所述DSP控制器22发送第一报警命令到所述报警装置1；
步骤3.4：如果,所述人群密度均值是第一目标人群密度的1.5到2倍，则所述DSP控制器22发送第二报警命令到所述报警装置1；
步骤3.5：如果,所述人群密度均值是第一目标人群密度的2到3倍，则所述DSP控制器22发送第三报警命令到所述报警装置1；
步骤3.6：如果,所述人群密度均值大于所述第一目标人群密度的3倍，则所述DSP控制器22发送第四报警命令到所述报警装置1；
所述报警装置1包括红灯、绿灯、黄灯和喇叭；
所述第一报警命令控制所述绿灯发光；所述第二报警命令控制所述黄灯发光；所述第三报警命令控制所述红灯发光；所述第二报警命令控制所述喇叭发出声音预警。
所述DSP控制器22控制所述采集装置2在水平方向转动和在竖直方向上转动，之后转到步骤2包括：
步骤4.1：所述DSP控制器22发送第一旋转命令到所述电机28，所述电机28转动并带动所述传动轴27、固定架23、安装筒21、第一摄像头24和第二摄像头213在水平方向旋转；所述角度传感器235实时检测第一实际旋转角度；
步骤4.2：当所述第一实际旋转角度大于等于所述第一目标旋转角度时，所述DSP控制器22发送停止旋转命令到所述电机28；否则，DSP控制器22发送继续旋转命令到所述电机28；
步骤4.3：所述DSP控制器22发送第一移动命令到所述第一直线电机26，所述第一直线电机26驱动所述第一伸缩轴25在竖直方向上移动，带动所述安装筒21、所述第一摄像头24和所述第二摄像头213在竖直方向上移动；所述位移传感器214采集所述安装筒21的第一实际移动距离并发送DSP控制器22；
步骤4.4：当所述第一实际移动距离大于等于所述第一目标移动距离时，所述DSP控制器22发送停止移动命令到所述第一直线电机26和所述第二直线电机211。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种基于人群识别的视频采集分析装置，其特征在于，包括报警装置(1)和采集装置(2)；
所述采集装置(2)包括人群密度计算模块；所述人群密度计算模块包括神经网络单元、数据准备单元、全卷积网络数据准备单元、三个卷积神经网络数据准备单元、全卷积网络预训练单元、三个卷积网络预训练单元、优化训练单元和人群计数单元；
所述采集装置(2)采集视频信息并计算视频内的人群密度，根据计算得到的人群密度发送报警命令到所述报警装置(1)；
所述报警装置(1)用于根据接收到的报警命令发出相应的报警信号。
2.根据权利要求1所述基于人群识别的视频采集分析装置，其特征在于，所述采集装置(2)包括机箱(29)，于所述机箱(29)内用螺栓固定有电机(28)，于所述电机(28)的上侧通过螺纹旋接有传动轴(27)，所述传动轴(27)穿设于所述机箱(29)内；
于所述传动轴(27)的上端用螺纹旋接有支撑板(210)；于所述支撑板(210)的两侧的边缘处分别用螺栓固定有第一直线电机(26)和第二直线电机(211)；于所述第一直线电机(26)上螺纹旋接有第一伸缩轴(25)，所述第一伸缩轴(25)垂直于所述支撑板(210)；于所述第二直线电机(211)上螺纹旋接有第二伸缩轴(212)，所述第二伸缩轴(212)垂直于所述支撑板(210)；
于所述支撑板(210)的上侧的中部卡接有固定架(23)，于所述固定架(23)的上端卡接有安装筒(21)；于所述安装筒(21)内卡接有DSP控制器(22)，于所述安装筒(21)的一端螺纹旋接有第一摄像头(24)，于所述安装筒(21)的另一端螺纹旋接有第二摄像头(213)；所述第一摄像头(24)和所述第二摄像头(213)均与所述DSP控制器(22)电连接；
所述第一伸缩轴(25)通过螺纹旋接于所述安装筒(21)的一端的下侧，所述第二伸缩轴(212)通过螺纹旋接于所述安装筒(21)的另一端的下侧；于所述安装筒(21)上卡接有位移传感器(214)，所述位移传感器(214)与所述DSP控制器(22)电连接。
3.根据权利要求2所述基于人群识别的视频采集分析装置，其特征在于，所述固定架(23)包括圆筒状的外旋转筒(231)，沿着所述外旋转筒(231)的轴向于其内枢设有圆筒状的内旋转筒(234)，所述外旋转筒(231)和所述内旋转筒(234)同心；
于所述外旋转筒(231)的内壁上均匀的卡接有多个第一卡接牙(232)；所述第一卡接牙(232)的第一侧壁为内凹曲面，其第二侧壁为平面；于所述内旋转筒(234)的外壁上均匀的卡接有多个第二卡接牙(233)；所述第二卡接牙(233)的第三侧壁为向外凸起的曲面，其第四侧壁平面；所述第三侧壁压紧于所述第一侧壁上；所述第四侧壁压紧于所述第二侧壁上；所述第一卡接牙(232)和所述第二卡接牙(233)的个数一致；于所述外旋转筒(231)的外壁上卡接有角度传感器(235)，所述角度传感器(235)与所述DSP控制器(22)电连接。
4.根据权利要求3所述基于人群识别的视频采集分析装置，其特征在于，所述神经网络单元包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和全卷积网络；
所述第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均包括4层卷积层；所述全卷积网络用于分割背景和人群以减少图片背景带来的影响；
所述数据准备单元包括切片单元和组合单元；
所述切片单元用于把数据集中每一个图片切片为四个子图片，每一个所述子图片的长度和宽度均是所述图片的四分之一，每一个所述子图片与另一所述子图片有三分之二的重叠区；
所述组合单元用于将所述子图片扩大为所述图片的尺寸，将四个所述子图片和所述图片组合在一起得到组合数据集，所述组合数据集的数据量是原数据集的数据量的五倍；
所述全卷积网络数据准备单元用于对所述组合数据集中的人群图片按照第一预设算法生成所述组合数据集中对应人群图片的人与背景的二值分类器的数据标签。
5.根据权利要求4所述基于人群识别的视频采集分析装置，其特征在于，所述三个卷积神经网络数据准备单元用于对所述组合数据集中的人群图片按照第二预设算法生成所述组合数据集中对应人群图片的人群密度图，把生成的人群密度图作为数据标签，数据标签人群密度图中所有像素点的值求和结果为人群人数；
所述全卷积网络预训练单元用于采用caffe深度学习框架进行训练，训练过程采用随机梯度下降，当全卷积网络收敛之后保存模型以达到最优效果；
所述三个卷积网络预训练单元包括调整结构参数单元、层调整单元和输出单元；所述调整结构参数单元用于调整三个卷积网络的网络结构参数；所述层调整单元用于将每个所述卷积网络最后的全连接层替换为1x1的卷积层或者caffe深度学习框架中的concat层；所述输出单元用于输出三个所述卷积网络的融合最终输出结果，所述最终输出结果为一张原来原始输入图片大小四分之一的人群计数密度图；
所述优化训练单元用于把训练好的两个模型融合在一起；
所述人群计数单元用于对密度图进行求和，求和的结果即为人群中人的数目。
6.一种采集方法，用于权利要求5所述基于人群识别的视频采集分析装置，其特征在于，包括步骤：
步骤1：所述DSP控制器(22)预设第一目标移动距离、第一目标旋转角度和第一目标人群密度；
步骤2：所述DSP控制器(22)发送命令控制所述第一摄像头(24)和所述第二摄像头(213)拍摄视频获取人群密度；
步骤3：所述DSP控制器(22)发送报警命令控制所述报警装置(1)进行报警；
步骤4：所述DSP控制器(22)控制所述采集装置(2)在水平方向转动和在竖直方向上转动，之后转到步骤2。
7.根据权利要求6所述采集方法，其特征在于，所述DSP控制器(22)发送命令控制所述第一摄像头(24)和所述第二摄像头(213)拍摄视频获取人群密度包括：
步骤2.1：所述DSP控制器(22)发送拍摄命令到所述第一摄像头(24)，所述第一摄像头(24)拍摄第一视频并发送所述DSP控制器(22)；
步骤2.2：所述DSP控制器(22)通过所述人群密度计算模块计算所述第一视频内的第一人群密度；
步骤2.3：所述DSP控制器(22)发送拍摄命令到所述第二摄像头(213)，所述第二摄像头(213)拍摄第二视频并发送所述DSP控制器(22)；
步骤2.4：所述DSP控制器(22)通过所述人群密度计算模块计算所述第二视频内的第二人群密度；
步骤2.5：所述DSP控制器(22)计算所述第一人群密度和所述第二人群密度的平均值得到人群密度均值。
8.根据权利要求7所述采集方法，其特征在于，所述DSP控制器(22)发送报警命令控制所述报警装置(1)进行报警包括：
步骤3.1：所述DSP控制器(22)将所述人群密度均值与所述第一目标人群密度进行比较；
步骤3.2：如果，所述人群密度均值小于等于所述第一目标人群密度，则所述DSP控制器(22)不发送报警命令；
步骤3.3：如果,所述人群密度均值是第一目标人群密度的1到1.5倍，则所述DSP控制器(22)发送第一报警命令到所述报警装置(1)；
步骤3.4：如果,所述人群密度均值是第一目标人群密度的1.5到2倍，则所述DSP控制器(22)发送第二报警命令到所述报警装置(1)；
步骤3.5：如果,所述人群密度均值是第一目标人群密度的2到3倍，则所述DSP控制器(22)发送第三报警命令到所述报警装置(1)；
步骤3.6：如果,所述人群密度均值大于所述第一目标人群密度的3倍，则所述DSP控制器(22)发送第四报警命令到所述报警装置(1)；
所述报警装置(1)包括红灯、绿灯、黄灯和喇叭；
所述第一报警命令控制所述绿灯发光；所述第二报警命令控制所述黄灯发光；所述第三报警命令控制所述红灯发光；所述第二报警命令控制所述喇叭发出声音预警。
9.根据权利要求8所述采集方法，其特征在于，所述DSP控制器(22)控制所述采集装置(2)在水平方向转动和在竖直方向上转动，之后转到步骤2包括：
步骤4.1：所述DSP控制器(22)发送第一旋转命令到所述电机(28)，所述电机(28)转动并带动所述传动轴(27)、固定架(23)、安装筒(21)、第一摄像头(24)和第二摄像头(213)在水平方向旋转；所述角度传感器(235)实时检测第一实际旋转角度；
步骤4.2：当所述第一实际旋转角度大于等于所述第一目标旋转角度时，所述DSP控制器(22)发送停止旋转命令到所述电机(28)；否则，DSP控制器(22)发送继续旋转命令到所述电机(28)；
步骤4.3：所述DSP控制器(22)发送第一移动命令到所述第一直线电机(26)，所述第一直线电机(26)驱动所述第一伸缩轴(25)在竖直方向上移动，带动所述安装筒(21)、所述第一摄像头(24)和所述第二摄像头(213)在竖直方向上移动；所述位移传感器(214)采集所述安装筒(21)的第一实际移动距离并发送DSP控制器(22)；
步骤4.4：当所述第一实际移动距离大于等于所述第一目标移动距离时，所述DSP控制器(22)发送停止移动命令到所述第一直线电机(26)和所述第二直线电机(211)。
CN201810438375.4A 2018-05-09 2018-05-09 一种基于人群识别的视频采集分析装置和方法 Active CN108647637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810438375.4A CN108647637B (zh) 2018-05-09 2018-05-09 一种基于人群识别的视频采集分析装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810438375.4A CN108647637B (zh) 2018-05-09 2018-05-09 一种基于人群识别的视频采集分析装置和方法

Publications (2)

Publication Number Publication Date
CN108647637A true CN108647637A (zh) 2018-10-12
CN108647637B CN108647637B (zh) 2020-06-30

Family

ID=63753842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810438375.4A Active CN108647637B (zh) 2018-05-09 2018-05-09 一种基于人群识别的视频采集分析装置和方法

Country Status (1)

Country Link
CN (1) CN108647637B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105179894A (zh) * 2015-05-15 2015-12-23 浙江工业大学 一种双目视觉云台
CN105528589A (zh) * 2015-12-31 2016-04-27 上海科技大学 基于多列卷积神经网络的单张图像人群计数算法
CN105791768A (zh) * 2016-03-12 2016-07-20 谭鑫 一种面向大型公共场所的人群密度监管系统
US20160353022A1 (en) * 2012-02-27 2016-12-01 oVio Technologies, LLC Rotatable imaging system
CN106326937A (zh) * 2016-08-31 2017-01-11 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
CN107657226A (zh) * 2017-09-22 2018-02-02 电子科技大学 一种基于深度学习的人数估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160353022A1 (en) * 2012-02-27 2016-12-01 oVio Technologies, LLC Rotatable imaging system
CN105179894A (zh) * 2015-05-15 2015-12-23 浙江工业大学 一种双目视觉云台
CN105528589A (zh) * 2015-12-31 2016-04-27 上海科技大学 基于多列卷积神经网络的单张图像人群计数算法
CN105791768A (zh) * 2016-03-12 2016-07-20 谭鑫 一种面向大型公共场所的人群密度监管系统
CN106326937A (zh) * 2016-08-31 2017-01-11 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
CN107657226A (zh) * 2017-09-22 2018-02-02 电子科技大学 一种基于深度学习的人数估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINGYING ZHANG等: ""Single-Image Crowd Counting via Multi-Column Convolutional Neural Network"", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
付敏: ""基于卷积神经网络的人群密度估计"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN108647637B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
WO2022188379A1 (zh) 服务于电力机器人的人工智能系统及方法
CN103780837B (zh) 一种运动检测和定位拍摄的方法及其装置
CN100531373C (zh) 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN109872483B (zh) 一种入侵警戒光电监测系统及方法
CN108090458A (zh) 人体跌倒检测方法和装置
CN111242025B (zh) 一种基于yolo的动作实时监测方法
CN109376637A (zh) 基于视频监控图像处理的人数统计系统
CN110287907B (zh) 一种对象检测方法和装置
CN113221865A (zh) 单摄像头双眼虹膜图像采集方法及装置
CN104820995A (zh) 一种面向大型公共场所的人流密度监测预警方法
KR20130114899A (ko) 듀얼 카메라를 이용한 화상 감지 방법 및 장치
Chen et al. An intelligent sewer defect detection method based on convolutional neural network
CN116403377A (zh) 一种公共场所异常行为与隐患检测装置
JPH09130783A (ja) 分散映像監視装置
CN108647637A (zh) 一种基于人群识别的视频采集分析装置和方法
CN111654668B (zh) 监控设备同步方法、装置及计算机终端
CN104392201B (zh) 一种基于全向视觉的人体跌倒识别方法
CN109218587A (zh) 一种基于双目摄像头的图像采集方法及系统
CN103455998B (zh) 视频图像中阴影的检测方法及装置
CN113743380B (zh) 一种基于视频图像动态监测的主动跟踪方法
CN104794445A (zh) 一种基于arm平台的动态人脸虹膜采集方法
CN108259843B (zh) 即时拍摄图像现场识别平台
CN112601021A (zh) 一种网络摄像机监控视频的处理方法及系统
CN106408613A (zh) 一种适用于虚拟导诉员系统的立体视觉建立方法
CN111427038A (zh) 车库环境下基于视觉与77GHz雷达的目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220908

Address after: 510725 Shop 1308-G2, No. 3889 Huangpu East Road, Huangpu District, Guangzhou, Guangdong, China

Patentee after: Guangzhou Elon Technology Co.,Ltd.

Address before: A401, No. 471, Dashi Section, 105 National Road, Dashi Street, Panyu District, Guangzhou City, Guangdong Province, 511430

Patentee before: GUANGZHOU FEEYY INTELLIGENT TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right