CN110049216A - 一种可实时识别降水类型的网络摄像机 - Google Patents

一种可实时识别降水类型的网络摄像机 Download PDF

Info

Publication number
CN110049216A
CN110049216A CN201910311957.0A CN201910311957A CN110049216A CN 110049216 A CN110049216 A CN 110049216A CN 201910311957 A CN201910311957 A CN 201910311957A CN 110049216 A CN110049216 A CN 110049216A
Authority
CN
China
Prior art keywords
layer
web camera
precipitation
neural networks
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910311957.0A
Other languages
English (en)
Inventor
史剑波
汤友宇
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Zhonglian Rui Technology Co Ltd
Original Assignee
Anhui Zhonglian Rui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Zhonglian Rui Technology Co Ltd filed Critical Anhui Zhonglian Rui Technology Co Ltd
Priority to CN201910311957.0A priority Critical patent/CN110049216A/zh
Publication of CN110049216A publication Critical patent/CN110049216A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种可实时识别降水类型的网络摄像机，属于网络摄像机领域，包括摄像机驱动云台、图像采集系统、卷积神经网络识别模型系统、服务终端，摄像机驱动云台的两侧外表面设置有网络摄像机，且网络摄像机的外表面留有数据端口，网络摄像机通过数据端口上的数据线与图像采集系统电性连接，图像采集系统通过数据线与卷积神经网络识别模型系统电性连接，卷积神经网络识别模型系统通过数据线与服务终端电性连接。本发明收集不同场景、不同环境下的降水图片，采用卷积神经网络结合机器学习，将降水识别模型和网络摄像机整合到一起，将获取的摄像机实时视频帧传递给降水识别模型进行分析识别，标签化处理将收集的图片进行分类。

Description

一种可实时识别降水类型的网络摄像机
技术领域
本发明涉及网络摄像机领域，特别涉及一种可实时识别降水类型的网络摄像机。
背景技术
网络摄像机是传统摄像机与网络视频技术相结合的新一代产品，摄像机传送来的视频信号数字化后由高效压缩芯片压缩，通过网络总线传送到Web服务器，网络上用户可以直接用浏览器观看Web服务器上的摄像机图像，授权用户还可以控制摄像机云台镜头的动作或对系统配置进行操作，网络摄像机能更简单的实现监控特别是远程监控、更简单的施工和维护、更好的支持音频、更好的支持报警联动、更灵活的录像存储、更丰富的产品选择、更高清的视频效果和更完美的监控管理，另外，IPC支持WIFI无线接入、3G接入、POE供电（网络供电）和光纤接入。
现有的网络摄像机在使用时存在一定的弊端，安装环境要求高，目前降水检测设备都需要放到室外场地进行安装，无法满足任何地方的简单安装，无法做到实时，基础收集的历史降水量得出降水类型，如过去一分钟累积雨量达到某个值，然后根据这个值来显示过去一分钟的降水类型，需要进一步的完善。
发明内容
本发明的目的就在于提供一种可实时识别降水类型的网络摄像机，可以有效解决背景技术中的问题。
本发明通过以下技术方案来实现上述目的，一种可实时识别降水类型的网络摄像机，包括摄像机驱动云台、图像采集系统、卷积神经网络识别模型系统、服务终端，所述摄像机驱动云台的两侧外表面设置有网络摄像机，且所述网络摄像机的外表面留有数据端口，所述网络摄像机通过数据端口上的数据线与图像采集系统电性连接，所述图像采集系统通过数据线与卷积神经网络识别模型系统电性连接，所述卷积神经网络识别模型系统通过数据线与服务终端电性连接。
优选的，所述卷积神经网络识别模型系统包含3D含卷积层、池化层、全连接层和Softmax层，3D卷积层根据2D卷积神经网络的基础，对卷积神经网络维度进行拓展，网络结构中的每一层的卷积核尺寸、池化层过滤器尺寸均提升到三维，3D最大池化层同样选取最大池化方法，接受的卷积层输出为一个立方体数据，全连接层中，神经元与邻接层所有神经元相连，全连接层的输入，将特征空间到一个神经元向量，接下来利用矩阵乘法将输入的特征向量，前一层的输入将卷积的3D特征向量压平到一个神经元向量，最后输出层是Softmax层，最后一个神经向量将计算每个分类的概率。
优选的，所述摄像机驱动云台包括有控制器、横向驱动机构、竖向驱动机构，控制器接收控制信号利用横向驱动机构与竖向驱动机构调整网络摄像机所拍摄记录的范围。
优选的，所述卷积神经网络识别模型系统的模型的网络结构由神经层和下采样层交替实现，神经层包含3D卷积层，卷积核的尺寸为三维立方体，下采样层包含3D池化层，输入层数据一般由特征图按时序堆叠而成，主要包括输入层、卷积层、池化层、全连接层，搭建包含3层3D卷积层、3层3D池化层的卷积神经网络模型，使用线性整流函数作为激活函数。
优选的，所述服务终端包括有处理器、存储器、以太网协议模块。
优选的，所述图像采集系统为图像转存处理设备。
与现有技术相比，本发明的有益效果是：本发明卷积神经网络识别模型系统4包含3D含卷积层、池化层、全连接层和Softmax层，3D卷积层根据2D卷积神经网络的基础，对卷积神经网络维度进行拓展，网络结构中的每一层的卷积核尺寸、池化层过滤器尺寸均提升到三维，3D最大池化层同样选取最大池化方法，接受的卷积层输出为一个立方体数据，全连接层中，神经元与邻接层所有神经元相连，全连接层的输入，将特征空间到一个神经元向量，接下来利用矩阵乘法将输入的特征向量，前一层的输入将卷积的3D特征向量压平到一个神经元向量，最后输出层是Softmax层，最后一个神经向量将计算每个分类的概率，训练集的样本是从共计71天的网络摄像机2中调取的，每次间隔6天采集数据样本，每份样本对当前t时刻的前15个时次(每个时次提取4个不同高度)，以及4小时内的所有41个时次(每个时次提取6个不同高度)进行样本提取，共计8215份训练样本，测试集间隔7天采集数据样本，同理提取相同时序和高度的2720份测试样本，通过对生成的数据集的标签数值进行归纳，降雨量的分布在0~70 mm/m2的范围内，数据集的样本降雨量分布多数在0~60 mm/m2范围内，2mm/m2的降水量样本量最多达到1500份，20~60 mm/m2区间内样本量呈现逐渐减少的趋势，整体的降雨量分布较均衡，测试集的样本在以上的所有样本中随机分配的，共计2720份样本分布在0~60 mm/m2的各个区间中，本发明收集了不同场景、不同环境下的降水图片，采用卷积神经网络结合机器学习，将降水识别模型和网络摄像机整合到一起，将获取的摄像机实时视频帧传递给降水识别模型进行分析识别，标签化处理将收集的图片进行分类。
附图说明
图1为本发明的网络摄像机结构图。
图2为本发明的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2所示，一种可实时识别降水类型的网络摄像机，包括摄像机驱动云台1、图像采集系统3、卷积神经网络识别模型系统4、服务终端5，摄像机驱动云台1的两侧外表面设置有网络摄像机2，且网络摄像机2的外表面留有数据端口，网络摄像机2通过数据端口上的数据线与图像采集系统3电性连接，图像采集系统3通过数据线与卷积神经网络识别模型系统4电性连接，卷积神经网络识别模型系统4通过数据线与服务终端5电性连接。
卷积神经网络识别模型系统4包含3D含卷积层、池化层、全连接层和Softmax层，3D卷积层根据2D卷积神经网络的基础，对卷积神经网络维度进行拓展，网络结构中的每一层的卷积核尺寸、池化层过滤器尺寸均提升到三维，3D最大池化层同样选取最大池化方法，接受的卷积层输出为一个立方体数据，全连接层中，神经元与邻接层所有神经元相连，全连接层的输入，将特征空间到一个神经元向量，接下来利用矩阵乘法将输入的特征向量，前一层的输入将卷积的3D特征向量压平到一个神经元向量，最后输出层是Softmax层，最后一个神经向量将计算每个分类的概率；摄像机驱动云台1包括有控制器、横向驱动机构、竖向驱动机构，控制器接收控制信号利用横向驱动机构与竖向驱动机构调整网络摄像机2所拍摄记录的范围；卷积神经网络识别模型系统4的模型的网络结构由神经层和下采样层交替实现，神经层包含3D卷积层，卷积核的尺寸为三维立方体，下采样层包含3D池化层，输入层数据一般由特征图按时序堆叠而成，主要包括输入层、卷积层、池化层、全连接层，搭建包含3层3D卷积层、3层3D池化层的卷积神经网络模型，使用线性整流函数作为激活函数，服务终端5包括有处理器、存储器、以太网协议模块；图像采集系统3为图像转存处理设备。
本发明的工作原理：摄像机驱动云台1包括有控制器、横向驱动机构、竖向驱动机构，控制器接收控制信号利用横向驱动机构与竖向驱动机构调整网络摄像机2所拍摄记录的范围，图像采集系统3为图像转存处理设备将所有的图像信息传递给卷积神经网络识别模型系统4，卷积神经网络识别模型系统4包含3D含卷积层、池化层、全连接层和Softmax层，3D卷积层根据2D卷积神经网络的基础，对卷积神经网络维度进行拓展，网络结构中的每一层的卷积核尺寸、池化层过滤器尺寸均提升到三维，3D最大池化层同样选取最大池化方法，接受的卷积层输出为一个立方体数据，全连接层中，神经元与邻接层所有神经元相连，全连接层的输入，将特征空间到一个神经元向量，接下来利用矩阵乘法将输入的特征向量，前一层的输入将卷积的3D特征向量压平到一个神经元向量，最后输出层是Softmax层，最后一个神经向量将计算每个分类的概率，卷积神经网络识别模型系统4的模型的网络结构由神经层和下采样层交替实现，神经层包含3D卷积层，卷积核的尺寸为三维立方体，下采样层包含3D池化层，输入层数据一般由特征图按时序堆叠而成，主要包括输入层、卷积层、池化层、全连接层，搭建包含3层3D卷积层、3层3D池化层的卷积神经网络模型，使用线性整流函数作为激活函数，以3D卷积层的第一层C1为例，C1的卷积核大小为2 × 7 × 7，卷积层的过滤器节点数为32，即为32个卷积核，通过内积运算得到一个特征体上对应位置的一个值，通过特征提取生成32个特征体，池化操作时，每张图按池化方式下采样，各特征图间不影响，即池化前有32张特征图，池化后还是32张，池化操作将高分辨的特征图像转化为分辨率较低的特征图像，通过池化层的处理，减少了最后全连接层的节点个数，3D池化层P1使用2 × 2× 2的最大池化尺寸，则卷积层的输出矩阵维度变为32 × 7 × 25 × 25，后续卷积池化以此类推，训练集的样本是从共计71天的网络摄像机2中调取的，每次间隔6天采集数据样本，每份样本对当前t时刻的前15个时次(每个时次提取4个不同高度)，以及4小时内的所有41个时次(每个时次提取6个不同高度)进行样本提取，共计8215份训练样本，测试集间隔7天采集数据样本，同理提取相同时序和高度的2720份测试样本，通过对生成的数据集的标签数值进行归纳，降雨量的分布在0~70 mm/m2的范围内，数据集的样本降雨量分布多数在0~60 mm/m2范围内，2 mm/m2的降水量样本量最多达到1500份，20~60 mm/m2区间内样本量呈现逐渐减少的趋势，整体的降雨量分布较均衡，测试集的样本在以上的所有样本中随机分配的，共计2720份样本分布在0~60 mm/m2的各个区间中。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种可实时识别降水类型的网络摄像机，其特征在于：包括摄像机驱动云台（1）、图像采集系统（3）、卷积神经网络识别模型系统（4）、服务终端（5），所述摄像机驱动云台（1）的两侧外表面设置有网络摄像机（2），且所述网络摄像机（2）的外表面留有数据端口，所述网络摄像机（2）通过数据端口上的数据线与图像采集系统（3）电性连接，所述图像采集系统（3）通过数据线与卷积神经网络识别模型系统（4）电性连接，所述卷积神经网络识别模型系统（4）通过数据线与服务终端（5）电性连接。
2.根据权利要求1所述的一种可实时识别降水类型的网络摄像机，其特征在于：所述卷积神经网络识别模型系统（4）包含3D含卷积层、池化层、全连接层和Softmax层，3D卷积层根据2D卷积神经网络的基础，对卷积神经网络维度进行拓展，网络结构中的每一层的卷积核尺寸、池化层过滤器尺寸均提升到三维，3D最大池化层同样选取最大池化方法，接受的卷积层输出为一个立方体数据，全连接层中，神经元与邻接层所有神经元相连，全连接层的输入，将特征空间到一个神经元向量，接下来利用矩阵乘法将输入的特征向量，前一层的输入将卷积的3D特征向量压平到一个神经元向量，最后输出层是Softmax层，最后一个神经向量将计算每个分类的概率。
3.根据权利要求1所述的一种可实时识别降水类型的网络摄像机，其特征在于：所述摄像机驱动云台（1）包括有控制器、横向驱动机构、竖向驱动机构，控制器接收控制信号利用横向驱动机构与竖向驱动机构调整网络摄像机（2）所拍摄记录的范围。
4.根据权利要求1所述的一种可实时识别降水类型的网络摄像机，其特征在于：所述卷积神经网络识别模型系统（4）的模型的网络结构由神经层和下采样层交替实现，神经层包含3D卷积层，卷积核的尺寸为三维立方体，下采样层包含3D池化层，输入层数据一般由特征图按时序堆叠而成，主要包括输入层、卷积层、池化层、全连接层，搭建包含3层3D卷积层、3层3D池化层的卷积神经网络模型，使用线性整流函数作为激活函数。
5.根据权利要求1所述的一种可实时识别降水类型的网络摄像机，其特征在于：所述服务终端（5）包括有处理器、存储器、以太网协议模块。
6.根据权利要求1所述的一种可实时识别降水类型的网络摄像机，其特征在于：所述图像采集系统（3）为图像转存处理设备。
CN201910311957.0A 2019-04-18 2019-04-18 一种可实时识别降水类型的网络摄像机 Pending CN110049216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910311957.0A CN110049216A (zh) 2019-04-18 2019-04-18 一种可实时识别降水类型的网络摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910311957.0A CN110049216A (zh) 2019-04-18 2019-04-18 一种可实时识别降水类型的网络摄像机

Publications (1)

Publication Number Publication Date
CN110049216A true CN110049216A (zh) 2019-07-23

Family

ID=67277756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910311957.0A Pending CN110049216A (zh) 2019-04-18 2019-04-18 一种可实时识别降水类型的网络摄像机

Country Status (1)

Country Link
CN (1) CN110049216A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110481506A (zh) * 2019-09-27 2019-11-22 深圳市豪恩汽车电子装备股份有限公司 机动车雨刷自动控制系统及方法
CN110610190A (zh) * 2019-07-31 2019-12-24 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法
CN110633626A (zh) * 2019-07-31 2019-12-31 浙江大学 一种针对雨天图片的卷积神经网络降雨强度在线量化方法
CN113298841A (zh) * 2021-07-26 2021-08-24 四川大学华西医院 一种肤质油份分型方法、计算机设备、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
CN106203283A (zh) * 2016-06-30 2016-12-07 重庆理工大学 基于三维卷积深度神经网络和深度视频的动作识别方法
CN107918311A (zh) * 2016-10-06 2018-04-17 福特全球技术公司 多传感器降水分级设备和方法
CN107993215A (zh) * 2017-11-27 2018-05-04 象辑知源（武汉）科技有限公司 一种天气雷达图像处理方法及系统
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
CN106203283A (zh) * 2016-06-30 2016-12-07 重庆理工大学 基于三维卷积深度神经网络和深度视频的动作识别方法
CN107918311A (zh) * 2016-10-06 2018-04-17 福特全球技术公司 多传感器降水分级设备和方法
CN107993215A (zh) * 2017-11-27 2018-05-04 象辑知源（武汉）科技有限公司 一种天气雷达图像处理方法及系统
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴昆 等: "基于3D卷积神经网络的区域降雨量预报", 《图像与信号处理》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610190A (zh) * 2019-07-31 2019-12-24 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法
CN110633626A (zh) * 2019-07-31 2019-12-31 浙江大学 一种针对雨天图片的卷积神经网络降雨强度在线量化方法
CN110481506A (zh) * 2019-09-27 2019-11-22 深圳市豪恩汽车电子装备股份有限公司 机动车雨刷自动控制系统及方法
CN113298841A (zh) * 2021-07-26 2021-08-24 四川大学华西医院 一种肤质油份分型方法、计算机设备、系统及存储介质
CN113298841B (zh) * 2021-07-26 2024-01-12 四川大学华西医院 一种肤质油份分型方法、计算机设备、系统及存储介质

Similar Documents

Publication Publication Date Title
CN110049216A (zh) 一种可实时识别降水类型的网络摄像机
CN108109385B (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
CN111191576B (zh) 人员行为目标检测模型构建方法、智能分析方法及系统
CN109241946A (zh) 异常行为监控方法、装置、计算机设备及存储介质
CN101253535B (zh) 图像检索装置以及图像检索方法
CN108686978A (zh) 基于arm的水果类别和色泽的分拣方法及系统
CN109241933A (zh) 视频联动监控方法、监控服务器、视频联动监控系统
CN113411542A (zh) 一种智能化的工作状况监测设备
CN106981063A (zh) 一种基于深度学习的电网设备状态监测装置
CN109801265B (zh) 一种基于卷积神经网络的实时输电设备异物检测系统
CN108345854A (zh) 基于图像分析的信息处理方法、装置、系统及存储介质
CN206272770U (zh) 一种车辆和人脸卡口系统
CN112052815B (zh) 一种行为检测方法、装置及电子设备
Gupta et al. CrowdVAS-Net: A deep-CNN based framework to detect abnormal crowd-motion behavior in videos for predicting crowd disaster
CN110478862A (zh) 一种健身指导系统及其指导方法
CN104392267A (zh) 电影票房统计装置及其票房数据统计方法和系统
CN107330414A (zh) 暴力行为监控方法
CN109840962A (zh) 人脸识别移动考勤系统及方法
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN107920223A (zh) 一种对象行为检测方法及装置
CN111707375A (zh) 一种具备智能测温考勤和异常行为检测的电子班牌
CN110070027A (zh) 基于智能物联网系统的行人重识别方法
CN109284740A (zh) 对鼠情进行统计的方法、装置、设备以及存储介质
CN114360018A (zh) 三维人脸表情的渲染方法及装置、存储介质及电子装置
CN109887114A (zh) 人脸批量识别考勤系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191220

Address after: 7, building 230000, block B, Sino Swiss building, Hongfeng Road, 9, Anhui, Hefei

Applicant after: Hefei Xinjie Technology Development Co., Ltd

Address before: 7, building 230000, block B, Sino Swiss building, Hongfeng Road, 9, Anhui, Hefei

Applicant before: Anhui Zhonglian Rui Technology Co. Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723

RJ01 Rejection of invention patent application after publication