CN109543505B - 一种基于视频图像的目标检测系统及方法 - Google Patents

一种基于视频图像的目标检测系统及方法 Download PDF

Info

Publication number
CN109543505B
CN109543505B CN201811150348.3A CN201811150348A CN109543505B CN 109543505 B CN109543505 B CN 109543505B CN 201811150348 A CN201811150348 A CN 201811150348A CN 109543505 B CN109543505 B CN 109543505B
Authority
CN
China
Prior art keywords
model
sealed
network
mobile platform
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811150348.3A
Other languages
English (en)
Other versions
CN109543505A (zh
Inventor
胡磊
刘君
李学钧
戴相龙
蒋勇
何成虎
杨政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Jiangsu Haohan Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Haohan Intelligent Equipment Co ltd filed Critical Jiangsu Haohan Intelligent Equipment Co ltd
Priority to CN201811150348.3A priority Critical patent/CN109543505B/zh
Publication of CN109543505A publication Critical patent/CN109543505A/zh
Application granted granted Critical
Publication of CN109543505B publication Critical patent/CN109543505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于视频图像的目标检测系统及方法，通过安全帽安装的CCD传感器采集实时视频，并传送到所述移动平台内，所述移动平台部署有离线训练模型，所述离线训练模型对所述CCD传感器采集的实时视频图像进行关键帧提取并检测关键帧中的封存物资，将检测结果发送到所述后台服务器。本发明对质量抽检业务全程可视化监控，实时检测封存样本，能有效避免封存抽检物资被调换。

Description

一种基于视频图像的目标检测系统及方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于视频图像的目标检测系统及方法。
背景技术
建设坚强智能电网、打造安全可控的新一代电力系统是国网公司发展的固本之要，其中设备质量是电网安全稳定运行的物质基础，是实现质量强网、推动发展质量转型的关键。目前国网系统内各省市主要依靠制度建设、人员监督来规范抽检业务实施，把控设备入网质量，无法对质量抽检业务全程可视化监控，实时检测封存样本，无法避免封存抽检物资被调换的问题。
发明内容
本发明的目的是提供一种基于视频图像的目标检测系统及方法，对质量抽检业务全程可视化监控，实时检测封存样本，能有效避免封存抽检物资被调换。
本发明提供了如下的技术方案：
一种基于视频图像的目标检测系统，包括安全帽和后台服务器，所述安全帽上设有相互连接的CCD传感器和移动平台，所述移动平台连接所述后台服务器；所述CCD传感器用于采集实时视频图像并传送到所述移动平台内；所述移动平台内部署有离线训练模型，所述离线训练模型对所述CCD传感器采集的实时视频图像进行关键帧提取并检测关键帧中的封存物资，将检测结果发送到所述后台服务器。
优选的，所述离线训练模型包括：
样本采集单元，收集封存物资样本图像，标注出封存物资在图片中的位置坐标；
数据增强单元，利用数据增强算法增加样本数量；
模型训练单元，采用深度卷积神经网络训练封存物资检测模型并得到封存物资检测模型；
模型量化单元，对训练好的模型进行压缩量化，并部署到所述安全帽中的移动平台内。
优选的，所述数据增强单元的数据增强算法增加样本数量包括对原始封存物资样本进行按比例缩放得到不同大小的样本图像，或或将原始封存物资样本分别进行顺时针方向和逆时针方向30°以内的角度旋转得到不同旋转角度下的样本图像，或将原始封存物资样本输入对抗生成网络将网络输出图片加入样本。
优选的，所述检测结果包括以下信息：终端编号、检测到的封存封装物资数量、每个物资的坐标和原始图像，所述移动平台将以上信息通过网络发送到后台服务器。
一种基于视频图像的目标检测方法，包括以下步骤：
S1：通过安全帽上的CCD传感器采集实时视频图像并传送到安全帽中的移动平台内；
S2：移动平台内部署有离线训练模型，离线训练模型对所述CCD传感器采集的实时视频图像进行关键帧提取并检测关键帧中的封存物资；
S3：移动平台将检测结果发送到后台服务器。
优选的，所述S2中离线训练模型部署包括以下步骤：
S21：收集封存物资样本图像，标注出封存物资在图片中的位置坐标；
S22：利用数据增强算法增加样本数量；
S23：采用深度卷积神经网络训练封存物资检测模型并得到封存物资检测模型；
S24：对训练好的模型进行压缩量化，并部署到所述安全帽中的移动平台内。
优选的，所述S22中增加样本数量包括对原始封存物资样本进行按比例缩放得到不同大小的样本图像，或将原始封存物资样本分别进行顺时针方向和逆时针方向30°以内的角度旋转得到不同旋转角度下的样本图像，或将原始封存物资样本输入对抗生成网络将网络输出图片加入样本。
优选的，所述S23包括以下步骤：
S231：构建基础网络层，分别由5层卷积层、池化层和ReLU激活函数构成，将图像送入基础网络，得到输出o1；
S232：构建区域生成网络，用于区分前景和背景，在S231的输出o1上应用滑动窗口，每个滑动窗口生成若干个候选区域，候选区域按一定比例模式选择，将所有候选区域连接到区域生成网络，采用softmax模型回归出所有候选区域，选择前面的区域作为输出o2；
S233：将S232输出o2接入已训练的移动视觉网络进行迁移学习，得到封存物资检测模型。
优选的，所述S24包括以下步骤：
S241：采用高斯混合模型对权值参数进行聚类，得到512个聚类中心；
S242：计算每个聚类簇内的点的梯度值，更新聚类中心，得到压缩之后的权值参数；
S243：对网络每一层执行S241和S242，更新每一层的权值参数，得到压缩后的模型；
S244：将压缩后的模型部署到安全帽中的移动平台内。
优选的，所述S3中的检测结果包括以下信息：终端编号、检测到的封存封装物资数量、每个物资的坐标和原始图像，并将这些信息组成xml格式数据通过http协议发送到后台服务器，继续执行S1-S3。
本发明的有益效果是：本发明通过安全帽上的CCD传感器采集实时视频图像，实现对质量抽检业务全程可视化监控，实时检测封存样本；本发明通过建立离线训练模型并基于智能图像识别技术，有效并准确地对目标封存物资进行检测，有效避免封存抽检物资被调换，规范了抽检业务实施，把控了设备的入网质量。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明系统硬件构架示意图；
图2是发明检测过程流程示意图。
具体实施方式
如图1所示，一种基于视频图像的目标检测系统，包括安全帽和后台服务器，安全帽上设有相互连接的CCD传感器和移动平台，移动平台连接后台服务器；CCD传感器用于采集实时视频图像并传送到移动平台内；移动平台内部署有离线训练模型，离线训练模型对CCD传感器采集的实时视频图像进行关键帧提取并检测关键帧中的封存物资，将检测结果发送到后台服务器，检测结果包括以下信息：终端编号、检测到的封存封装物资数量、每个物资的坐标和原始图像，移动平台将以上信息通过网络发送到后台服务器。
如图1和图2所示，离线训练模型具体包括：
样本采集单元，收集封存物资样本图像，标注出封存物资在图片中的位置坐标；
数据增强单元，利用数据增强算法增加样本数量，具体的，数据增强单元的数据增强算法增加样本数量包括对原始封存物资样本进行按比例缩放得到不同大小的样本图像，或或将原始封存物资样本分别进行顺时针方向和逆时针方向30°以内的角度旋转得到不同旋转角度下的样本图像，或将原始封存物资样本输入对抗生成网络将网络输出图片加入样本；
模型训练单元，采用深度卷积神经网络训练封存物资检测模型并得到封存物资检测模型；
模型量化单元，对训练好的模型进行压缩量化，并部署到安全帽中的移动平台内。
如图1和图2所示，一种基于视频图像的目标检测方法，包括以下步骤：
S1：通过安全帽上的CCD传感器采集实时视频图像并传送到安全帽中的移动平台内；
S2：移动平台内部署有离线训练模型，离线训练模型对CCD传感器采集的实时视频图像进行关键帧提取并检测关键帧中的封存物资；
S3：移动平台将检测结果发送到后台服务器。
具体的，S2中离线训练模型部署包括以下步骤：
S21：收集封存物资样本图像，标注出封存物资在图片中的位置坐标；
S22：利用数据增强算法增加样本数量；
S23：采用深度卷积神经网络训练封存物资检测模型并得到封存物资检测模型；
S24：对训练好的模型进行压缩量化，并部署到安全帽中的移动平台内。
具体的，S22中增加样本数量包括对原始封存物资样本进行按比例缩放得到不同大小的样本图像，或将原始封存物资样本分别进行顺时针方向和逆时针方向30°以内的角度旋转得到不同旋转角度下的样本图像，或将原始封存物资样本输入对抗生成网络将网络输出图片加入样本。
具体的，S23包括以下步骤：
S231：构建基础网络层，分别由5层卷积层、池化层和ReLU激活函数构成，将图像送入基础网络，得到输出o1；
S232：构建区域生成网络，用于区分前景和背景，在S231的输出o1上应用滑动窗口，每个滑动窗口生成9个候选区域，候选区域比例按照[1:2,1:1,2:1]三种模式选择，将所有候选区域连接到区域生成网络，采用softmax模型回归出所有候选区域，选择前200个区域作为输出o2；
S233：将S232输出o2接入已训练的移动视觉网络mobileNet进行迁移学习，得到封存物资检测模型。
具体的，S24包括以下步骤：
S241：采用高斯混合模型对权值参数进行聚类，得到512个聚类中心；
S242：计算每个聚类簇内的点的梯度值，更新聚类中心，得到压缩之后的权值参数；
S243：对网络每一层执行S241和S242，更新每一层的权值参数，得到压缩后的模型；
S244：将压缩后的模型部署到安全帽中的移动平台内。
具体的，在使用过程中，安全帽上电之后，采集安全帽上的CCD传感器实时图像传送到移动平台内的离线训练模型进行提取关键帧并检测关键帧中的封存物资得到检测结果，检测结果包括以下信息：终端编号、检测到的封存封装物资数量、每个物资的坐标和原始图像，并将这些信息组成xml格式数据通过http协议发送到后台服务器，继续执行S1-S3，实现对质量抽检业务全程可视化监控，实时检测封存样本。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视频图像的目标检测系统，其特征在于，包括安全帽和后台服务器，所述安全帽上设有相互连接的CCD传感器和移动平台，所述移动平台连接所述后台服务器；所述CCD传感器用于采集实时视频图像并传送到所述移动平台内；所述移动平台内部署有离线训练模型，所述离线训练模型对所述CCD传感器采集的实时视频图像进行关键帧提取并检测关键帧中的封存物资，将检测结果发送到所述后台服务器；
样本采集单元，收集封存物资样本图像，标注出封存物资在图片中的位置坐标；
数据增强单元，利用数据增强算法增加样本数量；
模型训练单元，采用深度卷积神经网络训练封存物资检测模型并得到封存物资检测模型；
模型量化单元，对训练好的模型进行压缩量化，并部署到所述安全帽中的移动平台内；
所述采用深度卷积神经网络训练封存物资检测模型并得到封存物资检测模型，包括：
构建基础网络层，分别由5层卷积层、池化层和ReLU激活函数构成，将图像送入基础网络，得到输出o1；
构建区域生成网络，用于区分前景和背景，在输出o1上应用滑动窗口，每个滑动窗口生成若干个候选区域，候选区域按一定比例模式选择，将所有候选区域连接到区域生成网络，采用softmax模型回归出所有候选区域，选择前面的区域作为输出o2；
将输出o2接入已训练的移动视觉网络进行迁移学习，得到封存物资检测模型；
所述对训练好的模型进行压缩量化，并部署到所述安全帽中的移动平台内，包括：
采用高斯混合模型对权值参数进行聚类，得到512个聚类中心；
计算每个聚类簇内的点的梯度值，更新聚类中心，得到压缩之后的权值参数；
对网络每一层执行所述采用高斯混合模型对权值参数进行聚类，得到512个聚类中心和执行所述计算每个聚类簇内的点的梯度值，更新聚类中心，得到压缩之后的权值参数，更新每一层的权值参数，得到压缩后的模型；
将压缩后的模型部署到安全帽中的移动平台内。
2.根据权利要求1所述的一种基于视频图像的目标检测系统，其特征在于，所述数据增强单元的数据增强算法增加样本数量包括对原始封存物资样本进行按比例缩放得到不同大小的样本图像，或将原始封存物资样本分别进行顺时针方向和逆时针方向30°以内的角度旋转得到不同旋转角度下的样本图像，或将原始封存物资样本输入对抗生成网络将网络输出图片加入样本。
3.根据权利要求1所述的一种基于视频图像的目标检测系统，其特征在于，所述检测结果包括以下信息：终端编号、检测到的封存封装物资数量、每个物资的坐标和原始图像，所述移动平台将以上信息通过网络发送到后台服务器。
4.一种基于视频图像的目标检测方法，其特征在于，包括以下步骤：
S1：通过安全帽上的CCD传感器采集实时视频图像并传送到安全帽中的移动平台内；
S2：移动平台内部署有离线训练模型，离线训练模型对所述CCD传感器采集的实时视频图像进行关键帧提取并检测关键帧中的封存物资；
S3：移动平台将检测结果发送到后台服务器；
所述S2中离线训练模型部署包括以下步骤：
S21：收集封存物资样本图像，标注出封存物资在图片中的位置坐标；
S22：利用数据增强算法增加样本数量；
S23：采用深度卷积神经网络训练封存物资检测模型并得到封存物资检测模型；
S24：对训练好的模型进行压缩量化，并部署到所述安全帽中的移动平台内；
其中，所述S23包括以下步骤：
S231：构建基础网络层，分别由5层卷积层、池化层和ReLU激活函数构成，将图像送入基础网络，得到输出o1；
S232：构建区域生成网络，用于区分前景和背景，在S231的输出o1上应用滑动窗口，每个滑动窗口生成若干个候选区域，候选区域按一定比例模式选择，将所有候选区域连接到区域生成网络，采用softmax模型回归出所有候选区域，选择前面的区域作为输出o2；
S233：将S232输出o2接入已训练的移动视觉网络进行迁移学习，得到封存物资检测模型；
所述S24包括以下步骤：
S241：采用高斯混合模型对权值参数进行聚类，得到512个聚类中心；
S242：计算每个聚类簇内的点的梯度值，更新聚类中心，得到压缩之后的权值参数；
S243：对网络每一层执行S241和S242，更新每一层的权值参数，得到压缩后的模型；
S244：将压缩后的模型部署到安全帽中的移动平台内。
5.根据权利要求4所述的一种基于视频图像的目标检测方法，其特征在于，所述S22中增加样本数量包括对原始封存物资样本进行按比例缩放得到不同大小的样本图像，或将原始封存物资样本分别进行顺时针方向和逆时针方向30°以内的角度旋转得到不同旋转角度下的样本图像，或将原始封存物资样本输入对抗生成网络将网络输出图片加入样本。
6.根据权利要求4所述的一种基于视频图像的目标检测方法，其特征在于，所述S3中的检测结果包括以下信息：终端编号、检测到的封存封装物资数量、每个物资的坐标和原始图像，并将这些信息组成xml格式数据通过http协议发送到后台服务器，继续执行S1-S3。
CN201811150348.3A 2018-09-29 2018-09-29 一种基于视频图像的目标检测系统及方法 Active CN109543505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811150348.3A CN109543505B (zh) 2018-09-29 2018-09-29 一种基于视频图像的目标检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811150348.3A CN109543505B (zh) 2018-09-29 2018-09-29 一种基于视频图像的目标检测系统及方法

Publications (2)

Publication Number Publication Date
CN109543505A CN109543505A (zh) 2019-03-29
CN109543505B true CN109543505B (zh) 2023-03-21

Family

ID=65843397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811150348.3A Active CN109543505B (zh) 2018-09-29 2018-09-29 一种基于视频图像的目标检测系统及方法

Country Status (1)

Country Link
CN (1) CN109543505B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060299A (zh) * 2019-04-18 2019-07-26 中国测绘科学研究院 基于双目视觉技术的输电通道内危险源识别和定位方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718074B1 (en) * 2000-06-02 2004-04-06 Cognex Corporation Method and apparatus for inspection for under-resolved features in digital images
JP2006217703A (ja) * 2005-02-02 2006-08-17 Chugoku Electric Power Co Inc:The 配電設備点検スティック
CN101626491A (zh) * 2009-03-17 2010-01-13 丁伟 矿用数字可视化安全帽通讯装置
CN105022998A (zh) * 2015-07-10 2015-11-04 国家电网公司 输配电线路通道塑料大棚漂浮物智能视频识别方法
CN105868722A (zh) * 2016-04-05 2016-08-17 国家电网公司 异常电力设备图像的识别方法及系统
CN106250812B (zh) * 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
CN205923065U (zh) * 2016-08-19 2017-02-08 北京合众普瑞科技有限公司 一种集照明、音视频信号采集、无线传输功能的安全帽
CN106940842A (zh) * 2017-03-23 2017-07-11 云南电网有限责任公司昆明供电局 一种电力企业物资供应监控方法及系统
CN107578047B (zh) * 2017-08-18 2021-03-12 国网山东省电力公司淄博供电公司 电力电缆的偏心度检测方法
CN108389137A (zh) * 2018-02-06 2018-08-10 国网山西省电力公司电力科学研究院 基于红外图谱技术的电力故障诊断预警系统

Also Published As

Publication number Publication date
CN109543505A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN112990262B (zh) 一种草原生态数据监测与智能决策一体化解决系统
Wang et al. Enabling edge-cloud video analytics for robotics applications
CN111079655B (zh) 一种基于融合神经网络的视频中人体行为识别方法
CN105791774A (zh) 一种基于视频内容分析的监控视频传输方法
CN108012121A (zh) 一种边缘计算和云计算融合的实时视频监控方法及系统
CN110135319A (zh) 一种异常行为检测方法及其系统
CN108921039A (zh) 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法
CN106682592A (zh) 一种基于神经网络方法的图像自动识别系统及方法
CN109362066B (zh) 一种基于低功耗广域物联网和胶囊网络的实时行为识别系统及其工作方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN113723184A (zh) 基于智能网关的场景识别系统、方法、装置和智能网关
CN105100735A (zh) 人员智能监测管理系统及管理方法
Elsayed et al. Deep learning for covid-19 facemask detection using autonomous drone based on IoT
CN107547898A (zh) 一种能耗‑精度可控的传感器双参数分配系统
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN117319609A (zh) 一种物联网大数据智能视频监控系统及方法
CN109543505B (zh) 一种基于视频图像的目标检测系统及方法
CN117593666B (zh) 一种极光图像的地磁台站数据预测方法及系统
CN113963373A (zh) 一种基于视频图像动态检测与跟踪算法系统及方法
CN117765348A (zh) 目标检测模型的部署方法和目标检测方法及电子设备
Kanya et al. An efficient damage relief system based on image processing and deep learning techniques
Liao et al. A secure end-to-end cloud computing solution for emergency management with UAVs
CN106599865A (zh) 刀闸状态识别装置与方法
Banerjee et al. Gait based people identification system using multiple switching kinects
Bhattacherjee et al. Artificial intelligence to impart surveillance, tracking, & actuation on suspicious activities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230614

Address after: Jianghai Yuanmeng Valley, No. 998, Century Avenue, High tech Zone, Nantong City, Jiangsu Province 226399

Patentee after: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Jianghai dream Valley, no.998, Century Avenue, high tech Zone, Nantong City, Jiangsu Province, 226000

Patentee before: JIANGSU HAOHAN INTELLIGENT EQUIPMENT Co.,Ltd.

TR01 Transfer of patent right