CN109635795B - 一种基于vgg16网络模型提高瓶罐识别率的智能补光方法 - Google Patents

一种基于vgg16网络模型提高瓶罐识别率的智能补光方法 Download PDF

Info

Publication number
CN109635795B
CN109635795B CN201811230337.6A CN201811230337A CN109635795B CN 109635795 B CN109635795 B CN 109635795B CN 201811230337 A CN201811230337 A CN 201811230337A CN 109635795 B CN109635795 B CN 109635795B
Authority
CN
China
Prior art keywords
layer
central system
model
training
light supplementing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811230337.6A
Other languages
English (en)
Other versions
CN109635795A (zh
Inventor
唐军
张�林
宋怡彪
温彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaohuanggou Environmental Protection Technology Co ltd
Original Assignee
Xiaohuanggou Environmental Protection Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaohuanggou Environmental Protection Technology Co ltd filed Critical Xiaohuanggou Environmental Protection Technology Co ltd
Priority to CN201811230337.6A priority Critical patent/CN109635795B/zh
Publication of CN109635795A publication Critical patent/CN109635795A/zh
Application granted granted Critical
Publication of CN109635795B publication Critical patent/CN109635795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种基于VGG16网络模型提高瓶罐识别率的智能补光方法，包括有中心系统，所述中心系统通讯连接有补光装置和摄像头，包括以下步骤：S1、所述中心系统将回收仓内的亮度分为A、B、C、D四个区间并分别在各区间内获取X张照片；S2、将每一区间的照片随机分成两两对应的训练集与测试集；S3、所述中心系统对VGG16网络原始模型进行修改；S4、所述中心系统使用修改后的VGG16网络原始模型通过训练集训练出若干用于识别照片类别的训练模型；S5、所述中心系统通过所述测试集选出最终训练模型；S6、中心系统根据所述最终训练模型自动补光。本发明的中心系统通过最终训练模型更加准确地识别此刻回收仓内的实际亮度，从而准确控制补光装置进行智能补光。

Description

一种基于VGG16网络模型提高瓶罐识别率的智能补光方法
技术领域
本发明涉及一种瓶罐识别方法，特别是涉及一种基于VGG16网络模型提高瓶罐识别率的智能补光方法。
背景技术
随着我国城市现代化程度不断提高,城市人口的增加以及居民生活水平的提高,生活垃圾的产生量也急剧增大；部分生活垃圾如果处理不当必然会污染环境并影响人们的健康,同时还会造成部分可回收垃圾未被回收利用的资源浪费；因此生活垃圾的回收利用对发展循环经济和建立资源节约型、环境友好型社会具有重大意义，同时还可促进我国经济的可持续发展。
在现有的智能垃圾分类回收设备中，中心系统通过图像识别软件对饮料瓶和易拉罐进行识别即瓶罐识别；当智能垃圾分类回收设备打开其回收仓的仓门时正好有太阳光垂直照射，太阳光通过仓口照射到回收仓内，导致摄像头拍摄的照片中瓶子轮廓出现过曝光的情况，进一步的，导致智能垃圾分类回收设备无法进行准确的瓶罐识别；所以设备商在仓口处设置遮挡件，使得在阳光照射下回收仓内部的亮度极低，相应地，设备商还在回收仓内设置补光装置进行补光；然而随着频繁的使用补光装置会出现灯光衰弱的情况，导致预先设定的补光装置光照强度参数与实际的补光装置光照强度之间存在误差；进一步地，在摄像头拍摄的瓶罐投递照片中，瓶子轮廓因为补光有误而分不清前景和背景；最终，导致智能垃圾分类设备的瓶罐识别结果有误差。
因此，现有技术有待于改善和提高。
发明内容
针对现有技术的不足之处，本发明提供一种基于VGG16网络模型提高瓶罐识别率的智能补光方法，用以解决现有技术中智能垃圾分类回收设备无法准确补光而降低其瓶罐识别准确率的不足之处。
本发明提供了如下的技术方案：
一种基于VGG16网络模型提高瓶罐识别率的智能补光方法，包括有中心系统，所述中心系统通讯连接有补光装置和摄像头，包括以下步骤：
S1、将所述补光装置的亮度分为A、B、C、D四个区间；在封闭无外部光源的情况下所述中心系统将所述补光装置的亮度依次调节至A、B、C、D四个区间并通过所述摄像头在各区间内各获取X张照片，并将所有照片通过均值滤波算法消除图像噪声；
S2、所述中心系统对步骤S1得到的每一区间的X张照片采用python3.5编程语言随机生成两两对应的训练集与测试集；
S3、所述中心系统从官网下载VGG16网络原始模型，对所述VGG16网络原始模型的每一卷积层加入BatchNormalization算法，并将VGG16原始网络模型的最后一层池化层修改为多尺度特征提取的ROI pooling层；
S4、所述中心系统使用修改后的VGG16网络原始模型对所有所述训练集进行训练并得出若干用于识别照片类别的训练模型；
S5、所述中心系统依次使用每一所述训练模型对所有所述测试集进行区间分类测试，并选取分类准确率最高的训练模型为最终训练模型；
S6、中心系统根据所述最终训练模型自动调节所述补光装置的亮度，对用户投入瓶罐类的回收物进行补光。
优选的，所述补光装置包括有单片机以及所述单片机控制的补光灯。
本发明相较于现有技术，具有如下的有益效果：
中心系统通过对官网下载的VGG16原始模型进行修改，一方面使得修改后的VGG16网络原始模型可以输入任意尺寸的图片，增加了其适用的范围，另一方面修改后的VGG16网络原始模型对不同尺寸图片进行不同感受野大小的特征提取，提高对输入图片的特征提取的精度，并以此训练出最终训练模型；进一步地，中心系统控制摄像头拍摄照片并通过最终训练模型更加准确地识别此刻回收仓内的实际亮度，从而准确控制所述补光灯进行补光。
附图说明
图1是本发明所述均值滤波算法的核心代码；
图2是本发明将X张照片随机生成训练集与测试集的核心代码；
图3是本发明所述VGG16网络原始模型的局部结构示意图；
图4是本发明对训练集进行训练的部分过程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的详细说明。
实施例
一种基于VGG16网络模型提高瓶罐识别率的智能补光方法，包括有中心系统，所述中心系统通讯连接有补光装置和摄像头，其特征在于，包括以下步骤：
S1、将所述补光装置的亮度分为A、B、C、D四个区间；在封闭无外部光源的情况下所述中心系统将所述补光装置的亮度依次调节至A、B、C、D四个区间并通过所述摄像头在各区间内各获取X张照片，再将所有照片通过均值滤波算法消除图像噪声；
具体地说，所述补光装置的亮度由暗到亮平均分为250个档位，即不亮时为O档，最亮时为250档；O档至59档为A区间，6O档至119档为B区间,120档至179档为C区间,180档至250档为D区间；所述中心系统控制所述摄像头在A、B、C、D四个亮度区间的亮度下各以均匀取样的方法拍摄1000张照片；所述均值滤波算法的核心代码如图1所示。
S2、所述中心系统对步骤S2得到的每一区间的1000张照片采用python3.5编程语言随机生成两两对应的训练集与测试集，所述训练集与所述测试集各自包含的照片数量比例为9:1；实现此功能的核心代码如图2所示。
S3、所述中心系统从官网下载VGG16网络原始模型；对所述VGG16网络原始模型的每一卷积层加入BatchNormalization算法，使得每一卷积层输出结果的均值为0，方差为1；具体的，所述Batch Normalization算法的公式包括有：
Figure GDA0004116122570000051
Figure GDA0004116122570000052
Figure GDA0004116122570000053
Figure GDA0004116122570000054
其中，m为当前层输入的样本数，xi当前层第i个特征，μβ为当前层特征的均值，
Figure GDA0004116122570000055
当前层特征的方差，
Figure GDA0004116122570000058
为归一化后的数值，γ、β为引入的学习参数，yi为当前层输出的特征。
将VGG16原始网络模型的最后一层池化层修改为使用多尺度特征提取的ROIpooling层；所述中心系统从官网下载的VGG16网络原始模型的结构如图3所示，其当前层输出的特征图的感受野为：
Figure GDA0004116122570000056
jout＝jin*s
rout＝rin+(f-1)*jin
Figure GDA0004116122570000057
其中，nin为当前层输入的特征图大小，nout为当前层输出的特征图大小；p、f、s分别为当前层padding的大小、卷积核的大小和stride的大小；jout、jin分别为当前层与上一层、当前层与下一层的距离；rin、rout分别为当前层输入和输出的特征图的感受野大小；startout、startin为计算当前层输出和输入的特征图的感受野的中心位置。
为了提高VGG16原始网络模型的分类能力和训练速度，对最后一层的池化层即17层max_pooling层进行修改，使用多尺度的特征提取的方法；进一步地说，所述中心系统对VGG16网络原始模型的第17层max_pooling层使用ROIpooling算法进行修改得到ROIpooling层；具体运行时，修改后的VGG16网络原始模型对可以ROI pooling层输入的不同尺寸特征图；ROIpooling层的在进行公式
Figure GDA0004116122570000061
的计算步骤时采用不同的p、f、s值，使得结果nout相同，从而将输入的不同尺寸特征图输出为同一尺寸的特征图；一方面使得修改后的VGG16网络原始模型可以输入任意尺寸的图片，增加了其适用的范围，另一方面修改后的VGG16网络原始模型对不同尺寸的图片进行不同感受野大小的特征提取，从而提高对输入图片的特征提取的精度。
S4、所述中心系统使用修改后的VGG16网络原始模型对所有所述训练集进行训练并得出若干用于识别照片类别的训练模型，即用于识别照片的实际亮度是属于A区间、B区间、C区间或D区间；具体的，首先，训练参数设置为batch_size＝128,learning_rate＝0.001，num_batches＝100；然后，训练出5个训练模型；其部分训练的过程如图4所示。
S5、所述中心系统依次使用每一所述训练模型对所有所述测试集进行区间分类测试，并选取分类准确率最高的训练模型为最终训练模型。
S6、中心系统根据所述最终训练模型自动调节所述补光装置的亮度，对用户投入瓶罐类的回收物进行补光；具体地说，中心系统先控制摄像头拍摄一张当前瓶罐类投递物的照片，再通过所述最终训练模型识别当前摄像头拍摄的照片的亮度属于A区间、B区间、C区间或D区间，然后控制调节所述补光装置的亮度进行准确的补光。
优选的，所述补光装置包括有单片机以及所述单片机控制的补光灯，所述中心系统与所述单片机通讯从而调节所述补光灯的亮度。
综上，中心系统通过对官网下载的VGG16原始模型进行修改，一方面使得修改后的VGG16网络原始模型可以输入任意尺寸的图片，增加了其适用的范围，另一方面修改后的VGG16网络原始模型对不同尺寸图片进行不同感受野大小的特征提取，提高对输入图片的特征提取的精度，并以此训练出的最终训练模型；进一步地，中心系统控制摄像头拍摄照片并通过最终训练模型更加准确地识别此刻回收仓内的实际亮度档位，从而准确控制所述补光灯进行补光。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种基于VGG16网络模型提高瓶罐识别率的智能补光方法，包括有中心系统，所述中心系统通讯连接有补光装置和摄像头，其特征在于，包括以下步骤：
S1、将所述补光装置的亮度分为A、B、C、D四个区间；在封闭无外部光源的情况下所述中心系统将所述补光装置的亮度依次调节至A、B、C、D四个区间并通过所述摄像头在各区间内各获取X张照片，并将所有照片通过均值滤波算法消除图像噪声；
S2、所述中心系统对步骤S2得到的每一区间的1000张照片采用python3.5编程语言随机生成两两对应的训练集与测试集，所述训练集与所述测试集各自包含的照片数量比例为9:1；
S3、所述中心系统从官网下载VGG16网络原始模型；对所述VGG16网络原始模型的每一卷积层加入Batch Normalization算法，使得每一卷积层输出结果的均值为0，方差为1；具体的，所述Batch Normalization算法的公式包括有：
Figure FDA0004116122540000011
Figure FDA0004116122540000012
Figure FDA0004116122540000013
Figure FDA0004116122540000021
其中，m为当前层输入的样本数，xi当前层第i个特征，μβ为当前层特征的均值，
Figure FDA0004116122540000022
当前层特征的方差，
Figure FDA0004116122540000023
为归一化后的数值，γ、β为引入的学习参数，yi为当前层输出的特征；
将VGG16原始网络模型的最后一层池化层修改为使用多尺度特征提取的ROI pooling层；所述中心系统从官网下载的VGG16网络原始模型的结构，其当前层输出的特征图的感受野为：
Figure FDA0004116122540000024
jout＝jin*s
rout＝rin+(f-1)*jin
Figure FDA0004116122540000025
其中，nin为当前层输入的特征图大小，nout为当前层输出的特征图大小；p、f、s分别为当前层padding的大小、卷积核的大小和stride的大小；jout、jin分别为当前层与上一层、当前层与下一层的距离；rin、rout分别为当前层输入和输出的特征图的感受野大小；startout、startin为计算当前层输出和输入的特征图的感受野的中心位置；
为了提高VGG16原始网络模型的分类能力和训练速度，对最后一层的池化层即17层max_pooling层进行修改，使用多尺度的特征提取的方法；所述中心系统对VGG16网络原始模型的第17层max_pooling层使用ROIpooling算法进行修改得到ROIpooling层；具体运行时，修改后的VGG16网络原始模型对可以ROIpooling层输入的不同尺寸特征图；ROIpooling层的在进行公式
Figure FDA0004116122540000031
的计算步骤时采用不同的p、f、s值，使得结果nout相同，从而将输入的不同尺寸特征图输出为同一尺寸的特征图；
S4、所述中心系统使用修改后的VGG16网络原始模型对所有所述训练集进行训练并得出若干用于识别照片类别的训练模型；
S5、所述中心系统依次使用每一所述训练模型对所有所述测试集进行区间分类测试，并选取分类准确率最高的训练模型为最终训练模型；
S6、中心系统根据所述最终训练模型自动调节所述补光装置的亮度，对用户投入瓶罐类的回收物进行补光。
2.根据权利要求1所述的基于VGG16网络模型提高瓶罐识别率的智能补光方法，其特征在于：所述补光装置包括有单片机以及所述单片机控制的补光灯。
CN201811230337.6A 2018-10-22 2018-10-22 一种基于vgg16网络模型提高瓶罐识别率的智能补光方法 Active CN109635795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811230337.6A CN109635795B (zh) 2018-10-22 2018-10-22 一种基于vgg16网络模型提高瓶罐识别率的智能补光方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811230337.6A CN109635795B (zh) 2018-10-22 2018-10-22 一种基于vgg16网络模型提高瓶罐识别率的智能补光方法

Publications (2)

Publication Number Publication Date
CN109635795A CN109635795A (zh) 2019-04-16
CN109635795B true CN109635795B (zh) 2023-05-16

Family

ID=66066487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811230337.6A Active CN109635795B (zh) 2018-10-22 2018-10-22 一种基于vgg16网络模型提高瓶罐识别率的智能补光方法

Country Status (1)

Country Link
CN (1) CN109635795B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
WO2018000752A1 (zh) * 2016-06-27 2018-01-04 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN108182455A (zh) * 2018-01-18 2018-06-19 齐鲁工业大学 一种垃圾图像智能分类的方法、装置及智能垃圾桶

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9235995B2 (en) * 2011-12-30 2016-01-12 Eaton Corporation Panel communication via illuminated bezel
CN106203305B (zh) * 2016-06-30 2020-02-04 北京旷视科技有限公司 人脸活体检测方法和装置
CN107223454A (zh) * 2017-06-08 2017-10-03 中国农业大学 一种基于卷积神经网络的金针菇不同生长期智能补光的装置与方法
CN107679452A (zh) * 2017-08-28 2018-02-09 中国电子科技集团公司第二十八研究所 大数据下基于卷积神经网络的货运列车车号实时识别系统
CN108416755B (zh) * 2018-03-20 2020-06-30 南昌航空大学 一种基于深度学习的图像去噪方法及系统
CN108549910A (zh) * 2018-04-17 2018-09-18 中国农业大学 一种基于卷积神经网络的玉米制种果穗图像初级分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000752A1 (zh) * 2016-06-27 2018-01-04 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN106485214A (zh) * 2016-09-28 2017-03-08 天津工业大学 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN108182455A (zh) * 2018-01-18 2018-06-19 齐鲁工业大学 一种垃圾图像智能分类的方法、装置及智能垃圾桶

Also Published As

Publication number Publication date
CN109635795A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
US11446706B2 (en) Trash sorting and recycling method, trash sorting device, and trash sorting and recycling system
CN106650721B (zh) 一种基于卷积神经网络的工业字符识别方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN108182455A (zh) 一种垃圾图像智能分类的方法、装置及智能垃圾桶
CN109064454A (zh) 产品缺陷检测方法及系统
US10595006B2 (en) Method, system and medium for improving the quality of 2D-to-3D automatic image conversion using machine learning techniques
CN112580684B (zh) 基于半监督学习的目标检测方法、装置及存储介质
CN103186901A (zh) 全自动图像分割方法
EP3867808A1 (en) Method and device for automatic identification of labels of image
CN107748889A (zh) 一种乳腺肿瘤超声图像自动分类方法
CN110929762B (zh) 一种基于深度学习的肢体语言检测与行为分析方法及系统
CN113160123A (zh) 一种基于YOLOv5的皮革缺陷检测方法、系统及装置
CN106682127A (zh) 图像搜索系统及方法
CN109635795B (zh) 一种基于vgg16网络模型提高瓶罐识别率的智能补光方法
CN115861614A (zh) 一种基于羽绒服图像的自动生成语义分割图的方法和装置
CN109325493A (zh) 一种基于人形机器人的文字识别方法及人形机器人
CN112446421A (zh) 一种基于机器视觉的蚕茧计数与识别方法
CN108171705A (zh) 一种透明玻璃瓶内液体的异物检测算法
CN110210401B (zh) 一种弱光下的目标智能检测方法
CN115690615B (zh) 一种面向视频流的深度学习目标识别方法及系统
CN111292273A (zh) 一种语义引导的暗光图像增强方法
CN111582493A (zh) 一种深度学习模型训练的管理系统
CN110458120A (zh) 一种复杂环境下不同车型识别方法及系统
Naegel et al. Interactive segmentation based on component-trees
CN113781360B (zh) 基于人工智能的输液装置图像增强方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant