CN114969002A - 用于目标检测的神经网络的训练方法和自动监控方法 - Google Patents

用于目标检测的神经网络的训练方法和自动监控方法 Download PDF

Info

Publication number
CN114969002A
CN114969002A CN202210576374.2A CN202210576374A CN114969002A CN 114969002 A CN114969002 A CN 114969002A CN 202210576374 A CN202210576374 A CN 202210576374A CN 114969002 A CN114969002 A CN 114969002A
Authority
CN
China
Prior art keywords
data
neural network
training
picture
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210576374.2A
Other languages
English (en)
Inventor
喻永生
任鹏飞
张树峰
邸尚明
侯伟
王朝璋
马广明
张演义
李少峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hailong Oil Group Shanghai Information Technology Co ltd
Original Assignee
Hailong Oil Group Shanghai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hailong Oil Group Shanghai Information Technology Co ltd filed Critical Hailong Oil Group Shanghai Information Technology Co ltd
Priority to CN202210576374.2A priority Critical patent/CN114969002A/zh
Publication of CN114969002A publication Critical patent/CN114969002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及用于目标检测的神经网络的训练方法，包括，获取用于训练所述神经网络的第一数据；将所述第一数据清洗，获得符合质量的第二数据；将所述第二数据标注，获得有标签的第三数据；将所述第三数据平衡处理，获得应用于所述目标检测的各种条件下数量均相同的第四数据；将所述第四数据用于所述神经网络的权重训练，获得用于目标检测的第一神经网络。本申请的技术方案具有节省训练时间，节约训练资源的效果。

Description

用于目标检测的神经网络的训练方法和自动监控方法
技术领域
本申请涉及神经网络领域，尤其是涉及一种用于目标检测的神经网络的训练方法和自动监控方法。
背景技术
神经网络训练是向神经网络输入足够多的样本，通过一定算法调整网络结构〔主要是调节权值)，使网络的输出与预期值相符，这样的过程就是神经网络训练。现有技术中，神经网络训练的数据没有预先进行清洗和平衡，使得神经网络在无法把控的数据集上反复进行训练，浪费时间，浪费运算资源。
发明内容
为了解决现有技术中的神经网络训练效率低的技术问题，本申请提供了一种用于目标检测的神经网络的训练方法和自动监控方法。
第一方面，本申请提供一种用于目标检测的神经网络的训练方法，采用如下的技术方案：
一种用于目标检测的神经网络的训练方法，包括，
获取用于训练所述神经网络的第一数据；
将所述第一数据清洗，获得符合质量的第二数据；
将所述第二数据标注，获得有标签的第三数据；
将所述第三数据平衡处理，获得应用于所述目标检测的各种条件下数量均相同的第四数据；将所述第四数据用于所述神经网络的权重训练，获得用于目标检测的第一神经网络。
通过采用上述技术方案，可以节省训练时间，节约运算资源。
可选的，所述第一数据，包括：视频、图片、语音和/或文本。
通过采用上述技术方案，可以对视频、图片、语音和/或文本进行目标检测。
可选的，所述将所述第一数据清洗，获得符合质量的第二数据，包括：
将所述图片转化为灰度图片；
计算每张所述灰度图片的标准差；
将标准差高于预设阈值的图片，设置为符合质量的第二数据。
通过采用上述技术方案，可以很好的将符合质量的图片筛选出来，并设置为第二数据。
可选的，所述将所述第三数据平衡处理，获得应用于所述目标检测的各种条件下数量均相同的第四数据，其中的各种条件包括：日期条件、地点条件、时间段条件。
通过采用上述技术方案，可以很好地平衡处理第三数据，使得用于神经网络训练的第四数据更加平衡。
可选的，所述神经网络包括：SSD网络，yolov3，yolov4和/或yolov5。
通过采用上述技术方案，可以对上述指定的神经网络进行很好地训练。
第二方面，本申请提供一种自动监控方法，采用如下的技术方案：
一种自动监控方法，包括：
获取被监控对象的第五数据；
利用如上述技术方案中的所述的用于目标检测的神经网络的训练方法训练获得的第一神经网络，对所述第五数据分类；
当所述分类结果符合要求，则不发出警报；当所述分类结果不符合要求，则发出警报。
通过采用上述技术方案，可以很好地监控被监控对象的第五数据是否符合分类要求。
可选的，所述第五数据，包括：视频、图片、语音和/或文本。
通过采用上述技术方案，可以对视频、图片、语音和/或文本进行自动监控。
可选的，所述分类结果符合要求，包括：所述分类结果的种类符合要求，所述分类结果的数目符合要求。
通过采用上述技术方案，所述分类，包括种类分类和数据分类。
第三方面，本申请还提供一种自动监控系统，采用如下技术方案，
一种自动监控系统，包括：
数据采集装置：用于获取被监控对象的第五数据；
分类装置：用于利用如上述技术方案所述的用于目标检测的神经网络的训练方法训练获得的第一神经网络，对所述第五数据分类；
报警装置：用于当所述分类结果符合要求，则不发出警报；当所述分类结果不符合要求，则发出警报。
通过采用上述技术方案，所述监控系统能够对不符合分类结果的数据进行报警。
可选的，还包括：
定位装置：用于与所述数据采集装置结合，以确定获取所述第五数据时的位置。
通过采用上述技术方案，可以对所述第五数据的位置进行定位，便于更好的对第五数据分类。
综上所述，本申请包括以下至少一种有益技术效果：
1.高效的训练神经网络，节省了训练时间，以及节省了运算资源；
2.合理的清洗数据，以便于获得高质量的训练过的神经网络；
3.利用高质量的训练过的神经网络用于监控，对不符合要求的数据进行报警。
附图说明
图1是一种用于目标检测的神经网络的训练方法的示意图；
图2是将所述第一数据清洗，获得符合质量的第二数据的示意图；
图3是一种自动监控方法的示意图；
图4是一种自动监控系统的第一示意图；
图5是一种自动监控系统的第二示意图。
附图标记说明：
1自动监控系统
101数据采集装置 102分类装置
103报警装置 104定位装置
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-5及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
神经网络的应用是多方面的，可以用于很多现实场景中，例如，图片识别、图片检测、语音识别、语音检测、文本识别、文本检测、视频检测、视频识别。在使用神经网络的过程中，首先，要针对不同的场景，对神经网络训练，使得神经网络更适合用于在该场景下的运用。
本申请中主要关注的是在垃圾清运车上安装的自动监控系统，以及自动监控系统具有的神经网络的训练的技术方案。
目前，很多地方采用了垃圾分类处理的做法来回收垃圾。例如，将不同类别的垃圾装入不同颜色的垃圾桶，在环卫工人回收垃圾桶的时候，不同的环卫车收取不同颜色的垃圾桶，以避免垃圾桶的混装。本申请中的自动监控系统具有用于识别不同颜色垃圾桶的神经网络。依赖该神经网络，可以很好地对不同颜色的垃圾桶进行分类和计数。但是，现有的神经网络的训练方法，缺乏合理性，需要改进。
第一方面，本申请提供一种用于目标检测的神经网络的训练方法，采用如下的技术方案：
如图1所示，一种用于目标检测的神经网络的训练方法，包括，
S1：获取用于训练所述神经网络的第一数据；神经网络是用于对数据进行分类、识别处理的算法；相同的神经网络用于不同的环境下，需要将神经网络针对该环境下的需要处理的数据进行训练。在具体环境下训练过的神经网络，才能更好的服务于该环境。
S2：将所述第一数据清洗，获得符合质量的第二数据；数据清理的目的是将质量差的第一数据排除掉，这样，对于神经网络的训练更有利。并且，能够获得更短的训练时间。
S3：将所述第二数据标注，获得有标签的第三数据；神经网络中的数据标注的目的是使得神经网络的训练有目的性，有参照性，属于有监督的学习。高质量的标注的第三数据，对于神经网络的训练非常重要。
S4：将所述第三数据平衡处理，获得应用于所述目标检测的各种条件下数量均相同的第四数据；同一环境也包含了不同的条件，如果同一环境下不同条件的第三数据，在数据量上不一致，则训练后的神经网络的质量也会出现问题，对于后续的使用，会出现偏差。
S5：将所述第四数据用于所述神经网络的权重训练，获得用于目标检测的第一神经网络。训练合格的第一神经网络可以用于后续的目标检测。
通过采用上述技术方案，可以节省训练时间，节约运算资源。
可选的，所述第一数据，包括：视频、图片、语音和/或文本。即，所述神经网络可以分别或结合所述视频、图片、语音和/或文本进行目标检测。
通过采用上述技术方案，可以对视频、图片、语音和/或文本进行目标检测。
可选的，如图2所示，所述将所述第一数据清洗，获得符合质量的第二数据，包括：S201：将所述图片转化为灰度图片；在本实施例中，需要清洗的数据是图片。所述图片有可能为彩色图片，也可以为黑白图片。任何颜色都由红、绿、蓝三原色组成，而灰度图只有一个通道，他由256个灰度等级，255代表全白，0表示全黑。即将彩色图片的RGB对应的三通道数组转化为灰度图片的单通道数组。
S202：计算每张所述灰度图片的标准差；标准差是指图像像素灰度值相对于均值的离散程度。如果标准差越大，表明图像中灰度级分别越分散，图片质量也就越好，其计算公式如下：
Figure BDA0003662243820000041
其中，std为标准差，u是每张图片所有像素值的均值。M、N是图片的宽高，i，j为每张图片确定位置的像素，F(i,j)为该图片确定位置的像素值。
S203：将标准差高于预设阈值的图片，设置为符合质量的第二数据。获取的每张图片的标准差后，取一定数量的清晰图片的平均标准差。设定该一定数量的清晰图片的平均标准差的一定百分比为预设阈值，例如，该一定数量为100张。例如，平均标准差为std1,将预设阈值设定为0.8std1。那么取每张图片的标准差高于0.8std1的图片为符合质量的第二数据。
通过采用上述技术方案，可以很好的将符合质量的图片筛选出来，并设置为第二数据。
可选的，所述将所述第三数据平衡处理，获得应用于所述目标检测的各种条件下数量均相同的第四数据，其中的各种条件包括：日期条件、地点条件、时间段条件。在本实施例中，举例如下：当所述图片为垃圾桶的图片的情况下，需要保证垃圾桶图片的日期、地点、时间段的数量要一致、均匀。例如，垃圾桶照片的采集时间段分布均匀：根据垃圾桶图片标注的标签中的时间日期信息，进行聚类。要求每周的垃圾桶图片数量几乎一致，要求早、中、晚的垃圾桶图片数量几乎一致。例如，采集的垃圾桶照片的垃圾站全覆盖。根据垃圾桶图片标注的标签中的经纬度信息，进行统计。要求每个垃圾站都有拍摄的垃圾桶照片，且不低于10张。例如，不同垃圾桶类别数量基本一致，即干垃圾桶和湿垃圾桶各自的类别数量基本一致；如果有四种类型的垃圾桶，要求采集的每种垃圾桶的照片数量占所有垃圾桶的照片比例大约都在25％左右。例如，垃圾桶数量要求，神经网络学习是基于大量标注图片数据进行学习的，过少的标注数据难以让网络学习到一个可以应用的权重；这里要求每个种类的垃圾桶图片不能低于1000张。例如，无对象图片的要求：相机实际采集到的图片可能存在没有垃圾桶的图片，无垃圾桶的图片总数小于总采集图片数量的10分之1。
如果上述采集到的图片，不满足以上条件，则需要重新采集，重新平衡数据集。导致训练时间加长，浪费计算资源。
通过采用上述技术方案，可以很好地平衡处理第三数据，使得用于神经网络训练的第四数据更加平衡。
可选的，所述神经网络包括：SSD网络，yolov3，yolov4和/或yolov4。所述SSD网络为：SSD(Single Shot Detection)是一个流行且强大的目标检测网络，网络结构包含了基础网络(Base Network)，辅助卷积层(Auxiliary Convolutions)和预测卷积层(PredictonConvolutions)；yolov是you only look once(你只看一次)的缩写，也是一种强大的目标检测网络，包括yolov3，yolov4，yolov5等多个版本。
通过采用上述技术方案，可以对上述指定的神经网络进行很好地训练。
第二方面，本申请提供一种自动监控方法，采用如下的技术方案：
如图3所示，一种自动监控方法，包括：
S11：获取被监控对象的第五数据；在本实施例中，自动监控方法用于监控垃圾桶是否符合要求。所获取的被监控对象包括垃圾桶的类别和数量；所述垃圾桶的类别用颜色来区分。
S12：利用如上述技术方案中的用于目标检测的神经网络的训练方法训练获得的第一神经网络，对所述第五数据分类；
S13：当所述分类结果符合要求，则不发出警报；当所述分类结果不符合要求，则发出警报。例如，干垃圾运输车接应该接收黑色的干垃圾桶，湿垃圾应该接收绿色的湿垃圾桶。当干垃圾运输车接收到了绿色的湿垃圾桶，则分类结果不符合干垃圾运输车的要求，则发出警报。还例如，在A地点有2个干垃圾桶，但是，该干垃圾运输车只收集到1个干垃圾桶，则分类结果也不符合干垃圾运输车的要求，则发出报警。
通过采用上述技术方案，可以很好地监控被监控对象的第五数据是否符合分类要求。
可选的，所述第五数据，包括：视频、图片、语音和/或文本。同上所述，该自动监控系统也能对视频、图片、语音和/或文本实施自动监控。
通过采用上述技术方案，可以对视频、图片、语音和/或文本进行自动监控。
可选的，所述分类结果符合要求，包括：所述分类结果的种类符合要求，所述分类结果的数目符合要求。如上所述，分类结果包含种类分类和数目分类。
通过采用上述技术方案，所述分类，包括种类分类和数据分类。
第三方面，本申请还提供一种自动监控系统，采用如下技术方案，
如图4所示，一种自动监控系统1，包括：
数据采集装置101：用于获取被监控对象的第五数据；
分类装置102：用于利用如上述技术方案所述的用于目标检测的神经网络的训练方法训练获得的第一神经网络，对所述第五数据分类；
报警装置103：用于当所述分类结果符合要求，则不发出警报；当所述分类结果不符合要求，则发出警报。
通过采用上述技术方案，所述监控系统能够对不符合分类结果的数据进行报警。
可选的，如图5所示，还包括：
定位装置104：用于与所述数据采集装置101结合，以确定获取所述第五数据时的位置。定位装置包括GPS或北斗。运用了定位装置104，可以获取垃圾桶是在哪里被垃圾车获取的，以及，哪些地点有多少的垃圾桶。
通过采用上述技术方案，可以对所述第五数据的位置进行定位，便于更好的对第五数据分类。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种用于目标检测的神经网络的训练方法，其特征在于：包括，
获取用于训练所述神经网络的第一数据；
将所述第一数据清洗，获得符合质量的第二数据；
将所述第二数据标注，获得有标签的第三数据；
将所述第三数据平衡处理，获得应用于所述目标检测的各种条件下数量均相同的第四数据；
将所述第四数据用于所述神经网络的权重训练，获得用于目标检测的第一神经网络。
2.根据权利要求1所述的训练方法，其特征在于：所述第一数据，包括：视频、图片、语音和/或文本。
3.根据权利要求2所述的训练方法，其特征在于：所述将所述第一数据清洗，获得符合质量的第二数据，包括：
将所述图片转化为灰度图片；
计算每张所述灰度图片的标准差；
将标准差高于预设阈值的图片，设置为符合质量的第二数据。
4.根据权利要求3所述的训练方法，其特征在于：所述将所述第三数据平衡处理，获得应用于所述目标检测的各种条件下数量均相同的第四数据，其中的各种条件包括：日期条件、地点条件、时间段条件。
5.根据权利要求1所述的训练方法，其特征在于：所述神经网络包括：SSD网络，yolov3，yolov4和/或yolov5。
6.一种自动监控方法，其特征在于：包括：
获取被监控对象的第五数据；
利用如权利要求1所述的用于目标检测的神经网络的训练方法训练获得的第一神经网络，对所述第五数据分类；
当所述分类结果符合要求，则不发出警报；当所述分类结果不符合要求，则发出警报。
7.根据权利要求6所述的方法，其特征在于，所述第五数据，包括：视频、图片、语音和/或文本。
8.根据权利要求7所述的方法，其特征在于，所述分类结果符合要求，包括：所述分类结果的种类符合要求，所述分类结果的数目符合要求。
9.一种自动监控系统（1），其特征在于，包括：
数据采集装置（101）：用于获取被监控对象的第五数据；
分类装置（102）：用于利用如权利要求1所述的用于目标检测的神经网络的训练方法训练获得的第一神经网络，对所述第五数据分类；
报警装置（103）：用于当所述分类结果符合要求，则不发出警报；当所述分类结果不符合要求，则发出警报。
10.根据权利要求9所述的系统，其特征在于，还包括：
定位装置（104）：用于与所述数据采集装置（101）结合，以确定获取所述第五数据时的位置。
CN202210576374.2A 2022-05-25 2022-05-25 用于目标检测的神经网络的训练方法和自动监控方法 Pending CN114969002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210576374.2A CN114969002A (zh) 2022-05-25 2022-05-25 用于目标检测的神经网络的训练方法和自动监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210576374.2A CN114969002A (zh) 2022-05-25 2022-05-25 用于目标检测的神经网络的训练方法和自动监控方法

Publications (1)

Publication Number Publication Date
CN114969002A true CN114969002A (zh) 2022-08-30

Family

ID=82954997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210576374.2A Pending CN114969002A (zh) 2022-05-25 2022-05-25 用于目标检测的神经网络的训练方法和自动监控方法

Country Status (1)

Country Link
CN (1) CN114969002A (zh)

Similar Documents

Publication Publication Date Title
CN110633638A (zh) 一种垃圾收运监管方法、装置、存储介质和智能设备
US20190057260A1 (en) Image-based vehicle classification system
EP3843036A1 (en) Sample labeling method and device, and damage category identification method and device
CN112634248B (zh) 颗粒状原料粒度测量系统及方法、电子设备及存储介质
CN111310756A (zh) 一种基于深度学习的损伤玉米颗粒检测和分类方法
CN109685786A (zh) 一种禽蛋表面裂纹的无损检测及自动分级方法
CN106645180A (zh) 检查基板玻璃缺陷的方法、现场终端及服务器
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN113658174A (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN109961425A (zh) 一种动态水的水质识别方法
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及系统
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN114359235A (zh) 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN115880260A (zh) 基站施工的检测方法、装置、设备及计算机可读存储介质
CN113935386A (zh) 一种目标检测方法及装置
CN110569716A (zh) 一种货架图像翻拍检测方法
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN113128522A (zh) 目标识别方法、装置、计算机设备和存储介质
CN114969002A (zh) 用于目标检测的神经网络的训练方法和自动监控方法
CN111091163B (zh) 一种最小距离分类方法、装置、计算机设备和存储介质
CN110765900B (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN117011259A (zh) 果实缺陷检测方法、装置、设备及介质
CN114821658B (zh) 牛脸识别方法、运行控制装置、电子设备及存储介质
CN114092410B (zh) 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法
CN203970354U (zh) 一种基于移动终端的中医舌象分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination