CN109948639A - 一种基于深度学习的图片垃圾识别方法 - Google Patents
一种基于深度学习的图片垃圾识别方法 Download PDFInfo
- Publication number
- CN109948639A CN109948639A CN201811563728.XA CN201811563728A CN109948639A CN 109948639 A CN109948639 A CN 109948639A CN 201811563728 A CN201811563728 A CN 201811563728A CN 109948639 A CN109948639 A CN 109948639A
- Authority
- CN
- China
- Prior art keywords
- picture
- deep learning
- rubbish
- depth characteristic
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的图片垃圾识别方法，包括如下步骤，S1：建立大规模的图片训练集，在训练集中训练基于卷积神经网络的深度学习分类器，提取其中的卷积层作为深度特征提取器；S2：构建单个非线性分类器，将高质量图片库和图片垃圾库中的图片输入到步骤S1中获得的深度特征提取器，得到特征表示向量；S3：将步骤S2中得到的特征向量作为非线性分类器的输入，再利用相应的标签进行监督学习，得到可用的图片垃圾分类器；S4：将长图通过滑窗裁剪得到多张图片，利用深度特征提取器提取各段特征后，用图片垃圾分类器进行分类，将各个结果综合集成得到最终结果。
Description
技术领域
本发明涉及计算机图片处理技术领域，具体为一种基于深度学习的图片 垃圾识别方法。
背景技术
随着互联网技术的发展，网络上储存的信息量有了巨大的增长，但是其 内容构成更加的复杂，包含了大量低质量、高噪声的垃圾信息，用户不得不 花费大量时间和精力去筛选各类信息。从图片搜索和分类的角度，不相关或 者低质量的图片会降低用户体验，比如在搜索“风景”时出现了食物，搜索 “建筑”时出现了广告，如果这些能够被自动化的过滤掉，能帮助用户节省 许多时间和精力。
现有的图片识别方法主要是针对规整数据上特定物体的识别，需要特定 的数据集来训练，而且通常要求输入图片的长宽比为1比1；然而在网站的实 际生产环境中，用户上传的图片中，包含大通过拼接、涂改、添加文字等形 成的图片，以及一些不相关的或者带有大量广告内容的图片，这些图片对于 浏览，搜索而言，在某些场景下是属于图片垃圾，是需要过滤掉的。
实际生产环境中，相当数量的一部分图片的长宽比是非常大的，直接缩 放到1比1会造成图片内容的高度失真，这给传统识别方法带来了困难。
发明内容
本发明的目的在于提供一种基于深度学习的图片垃圾识别方法，以解决 上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的图片 垃圾识别方法，包括如下步骤：
S1：建立大规模的图片训练集，在训练集中训练基于卷积神经网络的深 度学习分类器，提取其中的卷积层作为深度特征提取器；
S2：构建单个非线性分类器，将高质量图片库和图片垃圾库中的图片输 入到步骤S1中获得的深度特征提取器，得到特征表示向量；
S3：将步骤S2中得到的特征向量作为非线性分类器的输入，再利用相应 的标签进行监督学习，得到可用的图片垃圾分类器；
S4：将长图通过滑窗裁剪得到多张图片，利用深度特征提取器提取各段 特征后，用图片垃圾分类器进行分类，将各个结果综合集成得到最终结果。
优选的，所述步骤S1包括如下步骤：
S11：下载大规模的图像分类数据集，搭建深度卷积网络；
S12：裁剪、缩放图片以满足网络的输入要求；
S13：利用基于梯度下降法的优化算法训练深度神经网络，降低损失函数；
S14：移除全连接层，得到深度特征提取器。
优选的，所述步骤S11中，深度卷积网络包含大量的卷积层，将最后一 层的输出展平成向量，最后通过多层全连接层输出类别，采用交叉熵作为损 失函数；所述步骤S12中，要求输入的长宽比固定为1比1。
优选的，所述步骤S2包括如下步骤：
S21：准备特定场景下的图片垃圾数据集以及特定场景下的优质图片数据 集；
S22：将上述图片集输入到深度学习特征提取器，提取所有图片的深度特 征为R1的向量；
S23：构建非线性分类器。
优选的，所述步骤S21中，除去图片垃圾数据集、优质图片数据集中的 长图片，并对图片进行缩放、剪裁等处理，满足深度特征提取器的输入标准； 所述步骤S23中，构建的非线性分类器包含两层隐藏层，每个隐层按照全连 接、ReLU、随机失活的顺序堆叠而成，最后加权输出一个值。
优选的，所述步骤S3将深度特征输入非线性分类器，利用相应的标签来 进行训练；训练结果中0代表不是图片垃圾，π/2代表图片垃圾，利用优化 算法最小化损失函数，公式为：loss＝∑i|arctan(yi')-yi|2+γ|arctan(yi')-yi|。
优选的，所述步骤S4包括以下步骤：
S41：将长图长度按照短边缩放，保持长宽比不变；
S42：计算需要截取的段数和相应的滑窗偏移量，裁剪长图得到一组子图；
S43：将获得的一组图片送入深度特征提取器，抽取一组特征向量；
S44：将上述特征向量输入非线性分类器，得到一组激活值，通过一个阈 值对各个子图进行判定；
S45：综合各个子图的判定结果，得到最终结果。
优选的，所述步骤S45中，判定结果方法有两种，其中一种为，只要长 图片的任意一部分被判定为图片垃圾，则整个图片被判定为图片垃圾；另外 一种为，在一张长图的判定结果中，若判断为垃圾图片的比例超过某一数值， 则整个图片被判定为图片垃圾。
与现有技术相比，本发明的有益效果是：本发明充分利用了深度卷积网 络的特征抽取能力，避免了人工设计特征，抽取的特征性质较好；特征抽取 与类别预测互相分离，针对不同场景训练不同的分类器，大大节约了计算以 及训练成本；同时可以针对长图灵活处理，能够有效识别包含垃圾信息的长 图片，取得较好的实际效果。
附图说明
图1为本发明的整体步骤示意图；
图2为本发明的步骤S1示意图；
图3为本发明的步骤S2示意图；
图4为本发明的步骤S4示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供一种技术方案：一种基于深度学习的图片垃圾 识别方法，包括如下步骤：
S1：建立大规模的图片训练集，在训练集中训练基于卷积神经网络的深 度学习分类器，提取其中的卷积层作为深度特征提取器；
S2：构建单个非线性分类器，将高质量图片库和图片垃圾库中的图片输 入到步骤S1中获得的深度特征提取器，得到特征表示向量；
S3：将步骤S2中得到的特征向量作为非线性分类器的输入，再利用相应 的标签进行监督学习，得到可用的图片垃圾分类器；
S4：将长图通过滑窗裁剪得到多张图片，利用深度特征提取器提取各段 特征后，用图片垃圾分类器进行分类，将各个结果综合集成得到最终结果。
进一步的，所述步骤S1包括如下步骤：
S11：下载大规模的图像分类数据集，搭建深度卷积网络；
S12：裁剪、缩放图片以满足网络的输入要求；
S13：利用基于梯度下降法的优化算法训练深度神经网络，降低损失函数；
S14：移除全连接层，得到深度特征提取器。
进一步的，所述步骤S11中，深度卷积网络包含大量的卷积层，将最后 一层的输出展平成向量，最后通过多层全连接层输出类别，采用交叉熵作为 损失函数；所述步骤S12中，要求输入的长宽比固定为1比1。
进一步的，所述步骤S2包括如下步骤：
S21：准备特定场景下的图片垃圾数据集以及特定场景下的优质图片数据 集；
S22：将上述图片集输入到深度学习特征提取器，提取所有图片的深度特 征为R1的向量；
S23：构建非线性分类器。
进一步的，所述步骤S21中，除去图片垃圾数据集、优质图片数据集中 的长图片，并对图片进行缩放、剪裁等处理，满足深度特征提取器的输入标 准；所述步骤S23中，构建的非线性分类器包含两层隐藏层，每个隐层按照 全连接、ReLU、随机失活的顺序堆叠而成，最后加权输出一个值。
优选的，所述步骤S3将深度特征输入非线性分类器，利用相应的标签来 进行训练；训练结果中0代表不是图片垃圾，π/2代表图片垃圾，利用优化 算法最小化损失函数，公式为：loss＝∑i|arctan(yi')-yi|2+γ|arctan(yi')-yi|。
进一步的，所述步骤S4包括以下步骤：
S41：将长图长度按照短边缩放，保持长宽比不变；
S42：计算需要截取的段数和相应的滑窗偏移量，裁剪长图得到一组子图；
S43：将获得的一组图片送入深度特征提取器，抽取一组特征向量；
S44：将上述特征向量输入非线性分类器，得到一组激活值，通过一个阈 值对各个子图进行判定；
S45：综合各个子图的判定结果，得到最终结果。
进一步的，所述步骤S45中，判定结果方法有两种，其中一种为，只要 长图片的任意一部分被判定为图片垃圾，则整个图片被判定为图片垃圾；另 外一种为，在一张长图的判定结果中，若判断为垃圾图片的比例超过某一数 值，则整个图片被判定为图片垃圾。
工作原理：在步骤S1中建立图片训练集，利用图片训练集搭建深度卷积 网络，深度卷积网络包含大量的卷积层，将最后一层的输出展平成向量，最 后通过多层全连接层输出类别，最后移出全连接层，得到深度特征提取器； 其中通过利用基于梯度下降法的优化算法训练深度神经网络，降低损失函数； 在图片训练集搭建网络的过程中，对图片进行删减，保持其窗宽比为1:1。步 骤S2中构建非线性分类器，同时准备图片垃圾数据集以及优质图片数据集， 图片集输入步骤S1中的深度特征提取器获取特征表示向量；步骤S3中，将 特征表示向量输入非线性分类器中，对步骤S2的非线性分类器的标签进行训 练，获得训练结果，训练结果中0代表不是图片垃圾，π/2代表图片垃圾； 步骤S4中，对长图进行整理，先将长图剪裁呈多个尺寸较小的子图，以符合 深度特征提取器输入标准，提取子图的特征向量，将子图的特征向量输入非 线性分类器，获得激活值，对子图判定从而对长图判定；判定方法设置两种， 一种为，只要长图片的任意一部分被判定为图片垃圾，则整个图片被判定为 图片垃圾；另外一种为，在一张长图的判定结果中，若判断为垃圾图片的比 例超过某一数值，则整个图片被判定为图片垃圾。最终完成对长图的垃圾识 别。
较传统方式，抽取特征性质较好，计算、训练成本简单，同时能够灵活 对长图处理，处理效果优异。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。
Claims (8)
1.一种基于深度学习的图片垃圾识别方法，其特征在于：包括如下步骤：
S1：建立大规模的图片训练集，在训练集中训练基于卷积神经网络的深度学习分类器，提取其中的卷积层作为深度特征提取器；
S2：构建单个非线性分类器，将高质量图片库和图片垃圾库中的图片输入到步骤S1中获得的深度特征提取器，得到特征表示向量；
S3：将步骤S2中得到的特征向量作为非线性分类器的输入，再利用相应的标签进行监督学习，得到可用的图片垃圾分类器；
S4：将长图通过滑窗裁剪得到多张图片，利用深度特征提取器提取各段特征后，用图片垃圾分类器进行分类，将各个结果综合集成得到最终结果。
2.根据权利要求1所述的一种基于深度学习的图片垃圾识别方法，其特征在于：所述步骤S1包括如下步骤：
S11：下载大规模的图像分类数据集，搭建深度卷积网络；
S12：裁剪、缩放图片以满足网络的输入要求；
S13：利用基于梯度下降法的优化算法训练深度神经网络，降低损失函数；
S14：移除全连接层，得到深度特征提取器。
3.根据权利要求2所述的一种基于深度学习的图片垃圾识别方法，其特征在于：所述步骤S11中，深度卷积网络包含大量的卷积层，将最后一层的输出展平成向量，最后通过多层全连接层输出类别，采用交叉熵作为损失函数；所述步骤S12中，要求输入的长宽比固定为1比1。
4.根据权利要求1所述的一种基于深度学习的图片垃圾识别方法，其特征在于：所述步骤S2包括如下步骤：
S21：准备特定场景下的图片垃圾数据集以及特定场景下的优质图片数据集；
S22：将上述图片集输入到深度学习特征提取器，提取所有图片的深度特征为R1的向量；
S23：构建非线性分类器。
5.根据权利要求4所述的一种基于深度学习的图片垃圾识别方法，其特征在于：所述步骤S21中，除去图片垃圾数据集、优质图片数据集中的长图片，并对图片进行缩放、剪裁等处理，满足深度特征提取器的输入标准；所述步骤S23中，构建的非线性分类器包含两层隐藏层，每个隐层按照全连接、ReLU、随机失活的顺序堆叠而成，最后加权输出一个值；。
6.根据权利要求1所述的一种基于深度学习的图片垃圾识别方法，其特征在于：所述步骤S3中将深度特征输入非线性分类器，利用相应的标签来进行训练；训练结果中0代表不是图片垃圾，π/2代表图片垃圾，利用优化算法最小化损失函数，公式为：。
7.根据权利要求1所述的一种基于深度学习的图片垃圾识别方法，其特征在于：所述步骤S4包括以下步骤：
S41：将长图长度按照短边缩放，保持长宽比不变；
S42：计算需要截取的段数和相应的滑窗偏移量，裁剪长图得到一组子图；
S43：将获得的一组图片送入深度特征提取器，抽取一组特征向量；
S44：将上述特征向量输入非线性分类器，得到一组激活值，通过一个阈值对各个子图进行判定；
S45：综合各个子图的判定结果，得到最终结果。
8.根据权利要求1所述的一种基于深度学习的图片垃圾识别方法，其特征在于：所述步骤S45中，判定结果方法有两种，其中一种为，子图中的任意一个被判定为图片垃圾，则整个长图被判定为图片垃圾；另外一种为，在一系列子图的判定结果中，若判断为垃圾图片的比例超过某一数值，则整个长图被判定为图片垃圾。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563728.XA CN109948639A (zh) | 2019-05-23 | 2019-05-23 | 一种基于深度学习的图片垃圾识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563728.XA CN109948639A (zh) | 2019-05-23 | 2019-05-23 | 一种基于深度学习的图片垃圾识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109948639A true CN109948639A (zh) | 2019-06-28 |
Family
ID=67006458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811563728.XA Withdrawn CN109948639A (zh) | 2019-05-23 | 2019-05-23 | 一种基于深度学习的图片垃圾识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948639A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458067A (zh) * | 2019-07-31 | 2019-11-15 | 卓尔智联(武汉)研究院有限公司 | 刻画用户画像的方法、计算机装置及可读存储介质 |
| CN110598784A (zh) * | 2019-09-11 | 2019-12-20 | 北京建筑大学 | 基于机器学习的建筑垃圾分类方法及装置 |
| CN111169848A (zh) * | 2020-02-27 | 2020-05-19 | 东北大学秦皇岛分校 | 一种智能分类回收垃圾的装置及方法 |
| CN111444977A (zh) * | 2020-04-03 | 2020-07-24 | 成都禧来科技有限公司 | 一种实现垃圾自动分类的方法 |
| CN112445924A (zh) * | 2019-09-04 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于互联网图片资源的数据挖掘和迁移学习系统及其方法和应用 |
-
2019
- 2019-05-23 CN CN201811563728.XA patent/CN109948639A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458067A (zh) * | 2019-07-31 | 2019-11-15 | 卓尔智联(武汉)研究院有限公司 | 刻画用户画像的方法、计算机装置及可读存储介质 |
| CN112445924A (zh) * | 2019-09-04 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于互联网图片资源的数据挖掘和迁移学习系统及其方法和应用 |
| CN110598784A (zh) * | 2019-09-11 | 2019-12-20 | 北京建筑大学 | 基于机器学习的建筑垃圾分类方法及装置 |
| CN110598784B (zh) * | 2019-09-11 | 2020-06-02 | 北京建筑大学 | 基于机器学习的建筑垃圾分类方法及装置 |
| CN111169848A (zh) * | 2020-02-27 | 2020-05-19 | 东北大学秦皇岛分校 | 一种智能分类回收垃圾的装置及方法 |
| CN111444977A (zh) * | 2020-04-03 | 2020-07-24 | 成都禧来科技有限公司 | 一种实现垃圾自动分类的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948639A (zh) | 一种基于深度学习的图片垃圾识别方法 | |
| CN103793697B (zh) | 一种人脸图像的身份标注方法及人脸身份识别方法 | |
| CN104113789B (zh) | 一种基于深度学习的视频摘要在线生成方法 | |
| CN103761284B (zh) | 一种视频检索方法和系统 | |
| CN106682108A (zh) | 一种基于多模态卷积神经网络的视频检索方法 | |
| CN108764141B (zh) | 一种游戏场景描述方法、装置、设备及其存储介质 | |
| CN106021442B (zh) | 一种网络新闻概要提取方法 | |
| CN102419777B (zh) | 一种互联网图片广告过滤系统及其过滤方法 | |
| CN111062451B (zh) | 一种基于文本引导图模型的图像描述生成方法 | |
| CN102737029B (zh) | 搜索方法及系统 | |
| CN106845415A (zh) | 一种基于深度学习的行人精细化识别方法及装置 | |
| CN107333071A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN110287328A (zh) | 一种文本分类方法、装置、设备及计算机可读存储介质 | |
| CN104063686B (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
| CN103020265B (zh) | 图像检索的方法和系统 | |
| CN104142995A (zh) | 基于视觉属性的社会事件识别方法 | |
| CN107169106A (zh) | 视频检索方法、装置、存储介质及处理器 | |
| CN108038205A (zh) | 针对中文微博的观点分析原型系统 | |
| CN106951409A (zh) | 一种网络社交媒体观点倾向性分析系统及方法 | |
| CN109919641A (zh) | 一种广告投放方法及平台 | |
| CN106649849A (zh) | 文本信息库建立方法和装置、以及搜索方法、装置和系统 | |
| CN104951554A (zh) | 为风景照配上符合其意境的诗句的方法 | |
| CN105303163B (zh) | 一种目标检测的方法及检测装置 | |
| CN105718543A (zh) | 语句的展示方法和装置 | |
| CN110414367A (zh) | 一种基于gan和ssn的时序行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190628 |
|
| WW01 | Invention patent application withdrawn after publication |