CN111222462A - 一种基于目标检测的表观特征监测数据智能标注方法 - Google Patents

一种基于目标检测的表观特征监测数据智能标注方法 Download PDF

Info

Publication number
CN111222462A
CN111222462A CN202010013006.8A CN202010013006A CN111222462A CN 111222462 A CN111222462 A CN 111222462A CN 202010013006 A CN202010013006 A CN 202010013006A CN 111222462 A CN111222462 A CN 111222462A
Authority
CN
China
Prior art keywords
data
model
training
target detection
labeling method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010013006.8A
Other languages
English (en)
Inventor
王如宾
张坤
祁健
徐卫亚
王环玲
丁绵刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010013006.8A priority Critical patent/CN111222462A/zh
Publication of CN111222462A publication Critical patent/CN111222462A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的表观特征监测数据智能标注方法，包括以下步骤：对数据进行获取与处理；对已经采集的数据进行标注；对模型进行初步训练；对新数据进行检测；将已有的标注数据与其模型训练结果导入数据标注系统；对结果进行微调，对已经分类训练好的数据进行检测，修正错误结果；对模型进行迭代优化，将经过调整的数据再用于模型的迭代优化，调整模型中的神经网络模型中学习率η、正则化参数λ超参数计算直到输出误差达到最终要求结束训练。本发明节省了边坡及滑坡灾害防治、堰塞坝灾害治理多种领域表观特征目标检测与数据标注的时间，提高了数据标注的效率与准确率，符合大数据存储与云计算多种技术在工程建设与灾害防控领域的智能化应用。

Description

一种基于目标检测的表观特征监测数据智能标注方法
技术领域
本发明涉及图像处理中的帧率提取、图像降噪，以及人工智能领域的目标检测与神经网络模型的训练方法，尤其涉及一种基于目标检测的表观特征监测数据智能标注方法。
背景技术
目前，各行各业都在向着人工智能方法发展，目标检测与数据标注对于人工智能发展起着至关重要的作用，在边坡及滑坡灾害防治、堰塞坝灾害治理、隧洞围岩渗漏监测、混凝土裂缝检测领域，都需要大量的目标检测与数据标注。
目标检测的任务就是找出图像中所有需要的目标物体，确定他们的位置与大小，是机器视觉的核心问题之一。
随着时代潮流发展，重大工程建设与灾害防控领域正在积极的向着人工智能领域靠拢。重大工程建设与灾害防控的智能化过程中需要大量的目标检测与数据标注，比如滑坡表观裂隙的标注与检测，深埋隧洞围岩渗水监测，建筑结构墙体裂缝的标注与检测，甚至可以是混凝土或者沥青路面的裂缝的检测与发展。但是当前阶段，重大工程智能化过程中严重缺乏标注数据。且现在已有的数据标注系统通常都需要大量的人力与时间投入，并且在标注数据时，还需要大量的专业人员的投入，比如医疗行业的目标检测必须由医生进行；在土木工程领域，滑坡表观位移监测或地下洞室安全维护监测过程中，一些形变与裂隙的生成与发展过程都需要从业人员辨别后进行标注，效率低且易出错。
发明内容
发明目的：本发明的目的在于提供一种基于目标检测的表观特征监测数据智能标注方法，以解决现有技术中存在的不足之处。
技术方案：本发明基于目标检测的表观特征监测数据智能标注方法，包括以下步骤：
步骤(1)，对数据进行获取与处理；
步骤(2)，对已经采集的数据进行标注；
步骤(3)，对模型进行初步训练；
步骤(4)，对新数据进行检测时，即利用步骤(3)中初步训练好的模型对由步骤(1)中获取的新数据进行检测，得出初步检测结果；
步骤(5)，将已有的标注数据与其模型训练结果导入数据标注系统；
步骤(6)，对结果进行微调，对已经分类训练好的数据进行检测，修正错误结果；
步骤(7)，对模型进行迭代优化，将步骤(6)中经过调整的数据再用于模型的迭代优化，调整模型中的神经网络模型中学习率η、正则化参数λ超参数计算直到输出误差达到最终要求结束训练。
步骤(1)中，数据获取与处理过程是利用基于帧率提取的数据提取方法来对数据进行获取，该数据获取与处理过程包括以下步骤：
步骤(1.1)，首先选用精度为每秒60～120帧的摄像机在检测现场或者实验装置侧面进行拍摄；
步骤(1.2),通过Python程序实时将视频传入电脑；
步骤(1.3)，将视频中的每一帧图像提取出来；
步骤(1.4)，利用图像降噪算法采集的图像进行降噪处理，得到突出所需特征的图像数据；
步骤(1.5)，将数据集划分为：训练集、验证集与测试集。
其中的图像降噪算法包括算术均值滤波、高斯滤波、NLM(Non-Local means)算法或者BM3D去噪算法。
步骤(1.5)中，该训练集为90％，验证集为5％，测试集为5％。
步骤(3)中，模型使用神经网络进行初步训练，模型训练过程包括以下步骤：
步骤(3.1)：初始化，随机给定各连接权值[w],[v]及阈值θi,bi；使用单隐层的神经网络，其中：输出层第i个神经元的阈值为θi，隐层第i个神经元的阈值为bi；输入层与隐层之间的连接权为[w]，隐层与输出层之间的连接权为[v]；
步骤(3.2)：由给定的输入输出模式计算隐层、输出层各单元输出；
步骤(3.3)：利用梯度下降算法计算新的连接权及阈值；
步骤(3.4)：输入验证集、测试集，进行交叉验证，调整模型；
步骤(3.5)：直到网络输出误差达到初步要求结束训练。
工作原理：本发明通过基于帧率提取原理的方法来获取所需的训练数据，结合图像处理与人工智能技术，通过目标检测与数据标注系统标注正确的检测结果，而后利用此结果训练基于神经网络的分类模型，即利用神经网络，首先运用少量表观特征监测数据粗略训练出可以用来检测新数据的训练模型，在进行新目标检测的时候，只在原来模型检测的基础上进行微调，即得到用于目标检测的模型；最后通过此模型对重大工程建设与灾害防控领域产生的各种表观特征数据进行检测，可运用到诸如滑坡预测预警，混凝土墙体安全维护监测，地下洞室安全维护监测多种具体问题。
有益效果：本发明具有以下优点：
(1)首先运用少量表观特征监测数据训练出可以用来检测新数据的训练模型，在进行数据标注时，只需要在原来模型检测的基础上进行微调，即可得到用于目标检测的模型，减少了人力与时间的花费，并且标注速度快，准确率高，同时降低了对专业知识的依赖。
(2)本发明结合目标检测和人工智能优化算法，节省了边坡及滑坡灾害防治、堰塞坝灾害治理、隧洞围岩渗漏监测、混凝土裂缝检测领域用于表观特征目标检测与数据标注的时间，提高了目标检测与数据标注的效率与准确率，符合大数据存储与云计算、大数据可用性预处理、大数据表示与建模、大数据挖掘技术的基础理论与关键技术在工程建设与灾害防控领域的智能化的应用。
附图说明
图1是本发明流程图；
图2是本发明数据获取与处理过程的流程图；
图3是本发明模型训练过程流程图。
具体实施方式
如图1所示，本发明基于目标检测的表观特征监测数据智能标注方法包括以下步骤：
步骤1，对数据进行获取与处理，数据获取与处理过程实际上是利用基于帧率提取原理的数据提取方法来实现对数据的获取；
步骤2，对已经采集的少量前期目标数据进行手动标注，用来保证前期模型训练数据的准确性；
步骤3，对模型进行初步粗略训练；
步骤4，对新数据进行检测，利用步骤3中粗略训练好的模型对由步骤1中获取的新数据进行检测，得出初步检测结果；
步骤5，将数据导入数据标注系统，即将已有的标注数据与其模型训练结果导入目标检测系统；
步骤6，对结果进行微调，对已经分类训练好的数据进行检测，修正错误结果，为进一步的模型优化做好准备；
步骤7，对模型进行迭代优化，即将步骤6中经过调整的数据再用于模型的迭代优化，调整模型中的神经网络模型中学习率η、正则化参数λ超参数计算直到输出误差达到最终要求后结束训练。
如图2所示，本发明数据标注方法重点之一在于步骤1中的数据获取与处理过程，步骤1包括以下步骤：
步骤1.1，首先选用精度为每秒60～120帧的摄像机在检测现场或者实验装置侧面进行拍摄；
步骤1.2,通过Python程序实时将视频传入电脑；
步骤1.3，将视频中的每一帧图像提取出来；
步骤1.4，由于视频拍摄过程中的不可控因素，所采集的图像中将不可避免地引入噪声，所以利用图像降噪算法如算术均值滤波、高斯滤波、NLM(Non-Local means)算法或者BM3D降噪算法采集的图像进行降噪处理，得到更高质量、所需特征更突出的图像数据；
步骤1.5，进行数据集的划分：训练集、验证集与测试集，其中，训练集为90％，验证集为5％，测试集为5％。
如图3所示，本发明目标检测与数据标注方法的重点之二还在于步骤3的分类模型训练过程，即使用神经网络进行初步粗略训练，步骤3包括以下步骤：
步骤3.1：初始化，随机给定各连接权值[w],[v]及阈值θi,bi，使用单隐层的神经网络，其中：输出层第i个神经元的阈值为θi，隐层第i个神经元的阈值为bi；输入层与隐层之间的连接权为[w]，隐层与输出层之间的连接权为[v]；
步骤3.2：由给定的输入输出模式计算隐层、输出层各单元输出；
步骤3.3：利用梯度下降算法计算新的连接权及阈值；
步骤3.4：输入验证集、测试集，进行交叉验证，调整模型；
步骤3.5：直到网络输出误差达到初步要求结束训练。

Claims (5)

1.一种基于目标检测的表观特征监测数据智能标注方法，其特征在于：包括以下步骤：
步骤(1)，对数据进行获取与处理；
步骤(2)，对已经采集的数据进行标注；
步骤(3)，对模型进行初步训练；
步骤(4)，对新数据进行检测，即利用步骤(3)中初步训练好的模型对由步骤(1)中获取的新数据进行检测，得出初步检测结果；
步骤(5)，将已有的标注数据与其模型训练结果导入目标检测系统；
步骤(6)，对结果进行微调，对已经分类训练好的数据进行检测，修正错误结果；
步骤(7)，对模型进行迭代优化，将步骤(6)中经过调整的数据再用于模型的迭代优化，调整模型中的神经网络模型中学习率η、正则化参数λ超参数计算直到输出误差达到最终要求结束训练。
2.根据权利要求1所述的基于目标检测的表观特征监测数据智能标注方法，其特征在于：步骤(1)中，数据获取与处理过程为利用基于帧率提取的数据提取方法来对数据进行获取，所述数据获取与处理过程包括以下步骤：
步骤(1.1)，首先选用精度为每秒60～120帧的摄像机在检测现场或者实验装置侧面进行拍摄；
步骤(1.2),通过Python程序实时将视频传入电脑；
步骤(1.3)，将视频中的每一帧图像提取出来；
步骤(1.4)，利用图像降噪算法采集的图像进行降噪处理，得到突出所需特征的图像数据；
步骤(1.5)，将数据集划分为：训练集、验证集与测试集。
3.根据权利要求2所述的基于目标检测的表观特征监测数据智能标注方法，其特征在于：所述图像降噪算法包括算术均值滤波、高斯滤波、NLM(Non-Local means)算法或者BM3D去噪算法。
4.根据权利要求2所述的基于目标检测的表观特征监测数据智能标注方法，其特征在于：步骤(1.5)中，所述训练集为90％，所述验证集为5％，所述测试集为5％。
5.根据权利要求1至5中任一项所述的基于目标检测的表观特征监测数据智能标注方法，其特征在于：步骤(3)中，所述模型使用神经网络进行初步训练，所述模型训练过程包括以下步骤：
步骤(3.1)：初始化，随机给定各连接权值[w],[v]及阈值θi,bi；使用单隐层的神经网络；其中：输出层第i个神经元的阈值为θi，隐层第i个神经元的阈值为bi；输入层与隐层之间的连接权为[w]，隐层与输出层之间的连接权为[v]；
步骤(3.2)：由给定的输入输出模式计算隐层、输出层各单元输出；
步骤(3.3)：利用梯度下降算法计算新的连接权及阈值；
步骤(3.4)：输入验证集、测试集，进行交叉验证，调整模型；
步骤(3.5)：直到网络输出误差达到初步要求结束训练。
CN202010013006.8A 2020-01-07 2020-01-07 一种基于目标检测的表观特征监测数据智能标注方法 Pending CN111222462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010013006.8A CN111222462A (zh) 2020-01-07 2020-01-07 一种基于目标检测的表观特征监测数据智能标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010013006.8A CN111222462A (zh) 2020-01-07 2020-01-07 一种基于目标检测的表观特征监测数据智能标注方法

Publications (1)

Publication Number Publication Date
CN111222462A true CN111222462A (zh) 2020-06-02

Family

ID=70810797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013006.8A Pending CN111222462A (zh) 2020-01-07 2020-01-07 一种基于目标检测的表观特征监测数据智能标注方法

Country Status (1)

Country Link
CN (1) CN111222462A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257435A (zh) * 2020-09-11 2021-01-22 安徽中科新辰技术有限公司 一种基于人工智能分词技术的警情数据治理方法
CN112527849A (zh) * 2020-12-23 2021-03-19 珠海星客合创科技有限公司 一种基于云-边混合物联网系统的智能数据标注方法
CN117494481A (zh) * 2024-01-02 2024-02-02 昆明理工大学 一种沟道松散岩土体堰塞坝溃决模拟方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007086916A2 (en) * 2005-05-12 2007-08-02 The Macaleese Companies, Inc. Dba Safe Zone Systems Object detection method and apparatus
CN107273502A (zh) * 2017-06-19 2017-10-20 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
US20180144746A1 (en) * 2010-06-07 2018-05-24 Affectiva, Inc. Audio analysis learning using video data
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN110135522A (zh) * 2019-05-28 2019-08-16 金陵科技学院 一种检测与标注遥感图像小目标一体化的智能方法
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统
CN110348415A (zh) * 2019-07-17 2019-10-18 济南大学 一种高分辨率遥感目标大数据集的高效标注方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007086916A2 (en) * 2005-05-12 2007-08-02 The Macaleese Companies, Inc. Dba Safe Zone Systems Object detection method and apparatus
US20180144746A1 (en) * 2010-06-07 2018-05-24 Affectiva, Inc. Audio analysis learning using video data
CN107273502A (zh) * 2017-06-19 2017-10-20 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN110135522A (zh) * 2019-05-28 2019-08-16 金陵科技学院 一种检测与标注遥感图像小目标一体化的智能方法
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统
CN110348415A (zh) * 2019-07-17 2019-10-18 济南大学 一种高分辨率遥感目标大数据集的高效标注方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENFENG SHAO.ET.: "Cloud Detection in Remote Sensing Images Based on Multiscale Features-Convolutional Neural Network", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
宋光慧: "基于迁移学习与深度卷积特征的图像标注方法研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257435A (zh) * 2020-09-11 2021-01-22 安徽中科新辰技术有限公司 一种基于人工智能分词技术的警情数据治理方法
CN112257435B (zh) * 2020-09-11 2024-05-14 安徽中科新辰技术有限公司 一种基于人工智能分词技术的警情数据治理方法
CN112527849A (zh) * 2020-12-23 2021-03-19 珠海星客合创科技有限公司 一种基于云-边混合物联网系统的智能数据标注方法
CN117494481A (zh) * 2024-01-02 2024-02-02 昆明理工大学 一种沟道松散岩土体堰塞坝溃决模拟方法及系统
CN117494481B (zh) * 2024-01-02 2024-03-19 昆明理工大学 一种沟道松散岩土体堰塞坝溃决模拟方法及系统

Similar Documents

Publication Publication Date Title
CN107480611B (zh) 一种基于深度学习卷积神经网络的裂缝识别方法
CN111222462A (zh) 一种基于目标检测的表观特征监测数据智能标注方法
Chen et al. Quantification of water inflow in rock tunnel faces via convolutional neural network approach
WO2023082418A1 (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
Zhou et al. Automatic sewer defect detection and severity quantification based on pixel-level semantic segmentation
Li et al. A deep learning-based fine crack segmentation network on full-scale steel bridge images with complicated backgrounds
CN113689445B (zh) 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法
CN112966665A (zh) 路面病害检测模型训练方法、装置和计算机设备
Dong et al. Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm
CN116777898B (zh) 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法
CN107871315B (zh) 一种视频图像运动检测方法和装置
Liang et al. Fast and robust pavement crack distress segmentation utilizing steerable filtering and local order energy
CN101894368B (zh) 基于测地距离的半监督sar图像水域分割方法
Yang et al. Superpixel image segmentation-based particle size distribution analysis of fragmented rock
Kulambayev et al. Real-time road surface damage detection framework based on mask r-cnn model
CN113362296B (zh) 一种隧道裂缝提取方法及系统
CN115456973A (zh) 渗漏水病害检测与识别模型的建立方法、装置及设备
CN114913158A (zh) 一种水文地质岩体裂隙及裂隙渗水检测方法及系统
CN114742975A (zh) 一种车载图像铁轨曲线建模方法
CN116152674A (zh) 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法
CN109325441B (zh) 一种输电线路绝缘子对象识别方法
CN112330670A (zh) 一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质
Shao et al. Crack detection and measurement using PTZ camera–based image processing method on expressways
Chen et al. Deep learning based weak inter-layers segmentation and measurement of rock tunnel face
CN113781441B (zh) 一种应用于节理岩体隧道开挖过程中的注浆范围优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200602

RJ01 Rejection of invention patent application after publication