CN111931953A - 一种废旧手机多尺度特征深度森林识别方法 - Google Patents

一种废旧手机多尺度特征深度森林识别方法 Download PDF

Info

Publication number
CN111931953A
CN111931953A CN202010644753.1A CN202010644753A CN111931953A CN 111931953 A CN111931953 A CN 111931953A CN 202010644753 A CN202010644753 A CN 202010644753A CN 111931953 A CN111931953 A CN 111931953A
Authority
CN
China
Prior art keywords
mobile phone
model
image
forest
hog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010644753.1A
Other languages
English (en)
Inventor
汤健
王子轩
夏恒
徐喆
韩红桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010644753.1A priority Critical patent/CN111931953A/zh
Publication of CN111931953A publication Critical patent/CN111931953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/30—Administration of product recycling or disposal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/82—Recycling of waste of electrical or electronic equipment [WEEE]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Abstract

本发明公开一种面向智能回收装备的废旧手机多尺度特征深度森林识别方法，对已有手机图像进行预处理，裁剪图像只保留手机特征，减小图像中背景信息对识别的干扰；然后提取多尺度待识别图像的方向梯度直方图(HOG)特征；最后以该特征作为输入，采用DF模型实现废旧手机识别。

Description

一种废旧手机多尺度特征深度森林识别方法
技术领域
本发明属于设备回收技术领域，尤其涉及一种面向智能回收装备的废旧手机多尺度特征深度森林识别方法。
背景技术
智能手机是信息化时代人们生活中不可或缺的一部分，电子技术的革新使其更换的频率呈现上升趋势。以中国大陆为例，2019年手机市场总体出货量为3.72亿部[1]，淘汰废旧手机达3亿部，但正规渠道的回收率不足5％[2]。截止到目前，中国大陆尚未建立完整的回收体系，废旧手机多数被闲置在家中，少量转赠他人或与其他生活垃圾一起丢弃。2015年以来，中国大力发展“互联网+回收”的新型手机回收模式，智能手机回收装备在手机回收产业中占据着越来越重要的地位。在智能化手机回收流程中，如何进行手机识别是目前所面临的首要问题。当前，研究人员主要基于手机图像识别、IMEI码识别、回收箱内设置机械手、USB数据线访问手机数据等方式对回收流程中的废旧手机识别过程进行研究[3]。但手机回收装备仍存在硬件配置有限不能承载复杂算法，拍摄图片精度不高等现实问题，上述四种识别方式实际应用效果并不乐观。目前，回收装备中的识别模块仅作为废旧手机回收参考项。
随着人工智能技术的深入发展，图像识别算法在多个领域得到成功应用，准确率也不断提高。桂等人提出了一种融合多传感器信息的移动图像识别方法[4]。唐等人提出条件深度卷积生成对抗网络(DCGAN)模型，利用GAN获取随机样本图片解决小样本问题，再通过卷积神经网络(CNN)模型对样本进行训练，实验结果表明识别率有所提升[5]。
手机图像识别技术并未随着图像识别算法的更迭获得提升，如：文献[6]基于BP神经网络对手机字符图像进行识别；文献[7]通过CNN检测手机外观划痕，量化手机新旧程度，估计废旧手机价值，并未依据图像识别手机型号；文献[8]对回收装备扫描图像进行剪裁，去掉无关背景，构建CNN识别模型，结合USB 数据线获取手机数据实现废旧手机的识别。综上，目前用于废旧手机识别的算法仅为神经网络等基础算法，受限于识别效率、计算消耗等因素，图像识别仅作为废旧手机识别的参考项之一。
近年来，许多专家学者意识到图像识别在手机回收行业的重要性，开始在手机识别算法方面进行创新和应用。吕等人针对手机屏盖玻璃工业生产线上获取大量缺陷样本较困难的问题，建立了一种适用于小样本学习的手机屏幕玻璃缺陷检测模型；通过DCGAN模型对手机缺陷样本进行扩充和生成，并基于生成数据构建快速区域CNN(FastR-CNN)模型，用于检测手机屏是否合格[9]。但此类图像检测算法大多应用于手机划痕检测，并未涉及手机型号识别等领域。神经网络模型需要用大量的数据进行训练，模型的复杂程度也随数据量的增大而提高，手机识别问题中虽然有大量图像样本，但每种型号对应样本数量较小，可见传统神经网络模型并不适用于手机识别问题。因此，针对智能手机回收装备基于图像识别手机型号这一实际问题进行研究具有重要意义。
周等人2017年基于深度学习思想提出深度森林(DF)算法，包括多粒度扫描和级联森林模型，通过实验证明该方法在字符分类、人脸分类等方面的优越性[10]；该方法相比于神经网络模型具有更少的超参数，对数据的数量要求远小于神经网络模型，对小规模样本具有较强的泛化能力[11]。该模型被提出后因其在图像、语音识别等方面的优秀表现受到广泛关注，如：朱等人对多粒度扫描部分进行改进，提取图片的抽象特征，利用DF模型对火焰图片进行检测，实验结果表明该方法能够增强火焰特征的抽象表示能力，提高火焰检测率，具有较强鲁棒性[12,13]；Li等人将DF算法应用于衣物识别，利用GrabCut算法对衣物数据进行预处理，通过对比实验，证明DF算法在衣物识别方面的可行性[14]；Ma等人提出了一种基于DF算法和多尺度图像融合的SAR图像变化检测方法。该方法选择大小不同的图像块作为输入，利用DF算法检测 SAR图像的变化区域和未变化区域(即获得更多SAR图像特征)，又减少图像局部信息对分类结果的影响[15]；Zhou等人将DF算法应用于哈希算法，实现了高效的图像检索[16]；韩等人将文本二元特征与语义特征进行融合，改进DF算法结构，在级联森林模型中加入Adaboost方法，实验结果表明改进后的模型远优于 SVM模型和原始DF模型[17]；Han等人将残差神经网络与DF模型进行结合，利用深度神经网络的抽象能力对特征进行提取，实验表明改进后的DF模型明显优于传统的提升树(XGBoost)模型[18]；Lev等人在DF 模型基础上进行改进，用不精确Dirichlet模型代替DF中决策树叶节点的精确类概率，实验表明在小样本问题中该模型效果优于原始DF模型[19]；Zhu等人在分布式并行平台Ray上实现了森林层的创建，解决了现有DF模型可扩展性差的问题[20]。
以上研究表明，DF算法虽在识别问题上表现优秀，但并未在废旧手机识别特别是面向回收装备的手机识别方面有所应用，选择性的融合多尺度纹理特征的研究也鲜有报道。
发明内容
智能手机更新换代速度的加快使废旧手机回收成为当今热点话题。废旧手机智能回收装备因具有智能化程度高、回收流程简单等特点而成为当前线下回收模式的研究热点。针对智能回收装备采用图像识别手机型号时存在训练的耗时长、识别率低、难以有效应用等问题，本文提出了一种面向智能回收装备的废旧手机多尺度特征识别方法，首先对已有手机图像进行预处理，裁剪图像只保留手机特征，减小图像中背景信息对识别的干扰；然后提取多尺度待识别图像的方向梯度直方图(HOG)特征；最后以该特征作为输入，采用DF模型实现废旧手机识别。基于工业和信息化部电信设备认证中心的手机图像典型数据集，与目前流行的图像识别方法相比，验证了所提方法的在预测精度和时间消耗上的有效性。
附图说明
图1废旧手机的回收流程；
图2基于多尺度特征DF算法的废旧手机识别策略图；
图3图像预处理流程图
图4多尺度HOG特征提取流程图
图5DF模型构建流程图
图6废旧手机图像预处理结果对比图，其中，(a)工信部原始图像,(b)提取手机前景图像结果,(c)裁剪后手机图像；
图7胞元大小48*48的HOG特征的图；
图8决策树-精确度变化图；
图9决策树最大特征-精确度变化图；
图10HOG特征提取分类结果图。
具体实施方式
面向废旧手机识别的智能回收装备描述
废旧手机回收装备工作流程如图1所示，用户在手机回收装备内投放手机后，填写手机各项评估特征，回收机通过用户填写信息对手机型号、内存、外观磨损等状态进行估价，并通过人机交互模块将手机价格信息反馈给用户；用户通过人机界面确认是否进行回收；用户同意回收后，传动模块将手机传送至回收仓内，回收机内置识别模块对手机进行检测，若检测结果与用户填写一致则完成本次回收，将返利汇入用户账户内，若不一致则退还手机。
由上述描述可知，手机识别是回收最为关键的一步，只有回收装备正确识别待回收手机的各项信息才能完成回收中的估价、返利等操作。目前手机回收装备存在存储空间有限，无法存储复杂算法；每类手机图片数量有限，不能使用大量数据对模型进行训练；手机更迭速度快，模型需要根据数据集的改变实时更新；目前广泛应用的CNN模型训练时间慢等问题，这些因素都制约着手机图像识别方法的发展。手机识别仍存在许多问题，手机回收装备中识别模块仅作为手机回收参考项。因此，研究高效的面向智能回收装备的废旧手机识别算法是当前急需解决的开放问题。
针对目前手机图像识别技术落后、识别效率低等问题，本发明提出了基于多尺度HOG特征DF算法的废旧手机识别方法，如图2所示。
如图2所示，将手机图像数据集按品牌分为I类，
Figure BDA0002572604430000021
为原始数据集，其中Xi表示数据子集，下标i表示数据子集标签；因原始手机图像内含大量无关背景信息，需对原始图片进行剪裁，经过剪裁处理后得到数据集X'；接着，采用HOG特征提取的方式提取不同尺度图像特征，通过串行融合方式得到HOG 特征序列数据集X'HOG；最后将X'HOG作为输入数据传入DF模型对数据进行训练。
本文所用变量含义如表1所示。
表1变量含义表
Figure BDA0002572604430000031
步骤1、废旧手机图像预处理
由于DF模型对计算数据大小有所限制，本文采用文献[21]中的Grabcut算法对原始图像数据中手机部分进行检测，保留手机部分图像，其余部分用黑色代替。
算法流程如下：
(1)初始化背景区域和前景区域高斯混合模型(GMM)。用户通过设定矩形框，将矩形框外像素设置为背景Tb，矩形框内像素设置为待定像素Tu；初始化Tb内所有像素点αn设定标签为0，Tu内所有像素点αn设定标签为1；通过k-means聚类分别把属于目标和背景的像素聚类为K类，即GMM中的K 个高斯模型。混合高斯模型概率D(α)计算公式如下所示:
Figure RE-GDA0002714298420000032
其中，α表示当前手机图片像素RGB三通道向量，πj表示第j个高斯分量的权重，gj表示第j个高斯模型的概率模型公式，μj表示第j个高斯分量的均值向量，∑j表示协方差矩阵，|∑j|表示模值，
Figure BDA0002572604430000048
表示协方差逆矩阵，D表示数据维度。
(2)对图像中每个像素分配GMM模型中高斯分量，对于给定数据集学习GMM参数，通过最小能量得到初始前景背景分割，多次迭代后完成对前景像素点提取，获得只含手机信息的图像数据集Xgrabcut。
(3)基于边界跟踪的数字化二值图像拓扑结构分析对手机图像轮廓进行检测，并标记轮廓坐标；首先将收据图像进行二值化处理，将黑白手机图片原始边界标记为0，接着从图片边界开始查找非0像素，将最先寻找到的非0像素标记为外轮廓。
(4)最后对Xgrabcut进行剪裁，去除无关区域，获取手机图像数据集X'。
图像预处理流程图如图3所示。上述算法的伪代码如表2所示。
表2废旧手机图像预处理伪代码
Figure BDA0002572604430000041
步骤2、废旧手机多尺度HOG特征提取
原始DF算法处理图片大小超过64*64后容易溢出，所用手机图片缩小后会丢失很多特征，因此在DF模型构建之初要对图像数据进行特征提取。
HOG特征是目前计算机视觉、模式识别领域常用的一种描述图像局部纹理的特征。首先要确定提取HOG特征的窗口大小(winsize)，本文中选取裁剪后的整个图片作为窗口；接着确定胞元大小(cellsize)，以胞元大小的像素值为最小单位将图像分块，以块大小(blocksize)为单位在图像中沿某一方向(由方向梯度确定)以一定步长滑动，以产生新的块；最后计算所有块中像素的梯度直方图，将所有块的梯度直方图联合起来形成HOG特征。
HOG特征提取后形成特征数
Figure BDA0002572604430000042
表示为：
Figure BDA0002572604430000043
其中，
Figure BDA0002572604430000044
表示大小为m的胞元，
Figure BDA0002572604430000045
表示窗口横坐标，
Figure BDA0002572604430000046
表示窗口纵坐标，b表示块大小，n表示方向梯度，λ表示待提取图片像素。
本文中窗口大小选取为整幅图片，因此窗口横纵坐标变化仅与手机图片像素λ有关。
由于HOG特征提取并不具有尺度不变性，仅通过一组固定参数对原始图片进行特征提取可能会忽略其中重要信息，因此本文将图片进行不同尺度放缩，提取HOG特征，将不同尺度HOG特征进行串行融合后得到手机图像数据集。基于不同尺度的X′HOG表示为：
Figure BDA0002572604430000047
多尺度HOG特征提取流程图如图4所示。上述算法的伪代码如表3所示，其中Xλ1，Xλ2表示放缩后不同尺度手机图片。
表3废旧手机多尺度HOG特征提取伪代码
Figure BDA0002572604430000051
步骤3、废旧手机多尺度特征DF识别模型
DF模型核心思想是利用级联森林(决策树集成)方法生成模型，具有参数少，执行效率高等优点，在一定程度上弥补了神经网络模型参数多，训练需要大量数据等问题。该模型由多粒度扫描(Multi-Grained Scanning)和级联森林(Cascade Forest)两部分构成，其中多粒度扫描中滑动窗大小与级联森林中随机森林种类、子森林决策树数量、子森林决策树最大特征数为模型的超参数。
(1)基于多粒度扫描的特征选择
在图像识别的过程中，位置相近的像素点间具有较强的空间联系性[22]。多粒度扫描的目的在于提取原始输入对象中更多的特征。该过程使用不同大小的滑动窗口进行像素点的采样扫描，由此获取更多的特征子样本。
以本文中HOG特征提取后的序列数据为例，假设输入特征是720维，扫描窗口大小是10维，这样就得到711个10维的特征向量，每个10维的特征向量对应一个6分类的类向量，即得到711个6 维类向量，最终每个森林会得到4266维的衍生特征变量，两随机森林特征拼接后得到级联森林输入特征
Figure BDA0002572604430000052
其中k由扫描窗口数量决定。
由此可见，通过多粒度扫描后，输出数据维度剧增，因此在确定输入数据时应注意数据维度，避免数据溢出。
(2)基于级联森林的手机识别
级联森林是DF模型中的核心部分，每层级联森林由两个完全随机树和两个普通随机森林构成。
①首先，多粒度扫描后的特征
Figure BDA0002572604430000053
作为输入传入级联森林模型，完全随机树和随机森林模型通过训练获得预测向量(类别概率向量)，通过k折交叉验证获得分类准确率；
②接着，将上一层级联森林的预测向量和
Figure BDA0002572604430000054
作为输入传入第二层级联森林模型，获得当前预测向量和分类准确率；
③接着，将当前级联森林分类准确率ACC1与前一层分类准确率ACC0进行比较，若准确率有所提高则循环②，直到分类准确率不再提高，使级联森林模型获得自适应增长的特点。
④最后，将不再增长的级联森林模型进行保存，获取训练好的DF识别模型
上述DF模型构建流程图如图5所示。
上述DF算法伪代码如表4所示。
表4废旧手机DF识别算法伪代码
Figure BDA0002572604430000055
Figure BDA0002572604430000061
实施例实验
数据描述
本实验数据参考工业和信息化部电信设备认证中心的手机图像，选取已登记手机正反两面图像作为数据集，原始图像数据集大小为N＝808，图像初始像素比为640*480，将手机图像按品牌进行标记，共分为六类。
实验结果
图像预处理结果
首先，应用GrabCut算法，选定指定区域，提取图片中的前景图像，减少背景字符对查找手机轮廓过程的干扰；接着，利用Opencv中查找轮廓函数确定图像中手机轮廓；最后，根据轮廓坐标对原图片进行裁剪。处理结果如图6所示。
通过提取手机前景图像和图像剪裁两项预处理后，图片像素由640*480变为480*300，只保留手机信息，减少了无关背景信息的干扰，为下一步直方图特征提取奠定了基础。
多尺度HOG特征提取结果
首先，应用HOG特征提取算法，提取裁剪后图像数据的HOG特征，达到数据降维的目的。本次实验通过改变胞元大小控制HOG特征数。仅通过一组固定参数对原始图片进行特征提取可能会忽略其中重要信息，因此本文将图片进行不同尺度放缩，提取HOG特征，通过特征拼接将不同尺度HOG特征进行整合。本文中所用HOG特征参数如下表所示。其中图片像素480*300表示为λ1，像素240*150表示为λ2。
表5 HOG特征参数
Figure BDA0002572604430000062
以图片大小480*300，胞元大小48*38数据为例，将HOG特征可视化，原始图像及HOG特征图如图 7所示。
DF算法识别结果
将HOG特征提取后得到的序列数据XHOG作为输入传入DF模型中，通过k折交叉验证将数据分为训练集和测试集，以分类准确率作为DF模型判别函数。以级联森林中随机森林决策树数量为变量， 10折交叉验证取均值，实验后结果如图8所示。
由图可以看出，当决策树数量为550时，分类精度最高。
以多粒度扫描和级联森林模型中随机森林决策树最大特征数为变量，多次试验后结果如图9所示。
图8表明，决策树最大特征数增大的同时，DF模型的训练时间也在增加，因此，结合训练时间和精确度考虑，本文最终选择0.2倍特征数(170个)为决策树最大特征数。
DF模型参数具体设置如表6所示。HOG特征提取和分类结果如表7所示。
表6 DF参数设置表
Figure BDA0002572604430000071
表7不同胞元大小HOG特征提取和分类结果
Figure BDA0002572604430000072
由表6可知，随着胞元大小的减小，得到的特征数也有所增大，手机图像分类准确率逐渐增长，但训练时间也随之提高。改变原始图片，将不同尺度的HOG特征进行合并，融合后特征数量相比之前没有明显增加，但分类精度相比之前有明显提高。
HOG特征提取结果柱状图如图10所示。
综合训练时间及分类精度等因素在实际问题中的影响，最终选用多尺度HOG特征，胞元大小48*48 作为模型最终参数。
方法比较
本文针对同一手机图像数据集，分别对CNN模型、SVM模型和DF模型进行训练，将分类结果进行对比。其中，CNN模型采用LeNet5模型(卷积层*3，池化层*2，全连接层*2)，输入大小为480*300的手机裁剪图像；SVM模型中核函数选用径向基函数核(RBF)，惩罚系数为1，核半径为0.1。CNN模型输入为图像数据，SVM及DF输入为经过图像直方图提取和多尺度HOG特征提取的序列数据，因此将HOG 特征提取时间加入到SVM模型和DF模型训练时间中。实验所用方法对比结果如下表所示。
表8对比结果
Figure BDA0002572604430000081
由对比结果可知：
(1)在分类精度上，本文所提基于多尺度HOG特征的DF算法具有最佳识别精度；
(2)在训练时间上，CNN模型由于模型复杂，需要多次迭代，训练过程受硬件限制，因此训练时间远高于另外两种方法，SVM模型和DF模型所需训练时间短，所用时间大部分为特征提取时间；
(3)从HOG特征的选择上，使用基于不同尺寸手机图片的HOG特征效果明显优于使用单一图片HOG 特征。
综上，本文所提面向智能回收装备的废旧手机多尺度特征DF识别模型明显优于其他两种传统算法。但针对模型参数优化的研究还有待于深入进行。
本文提出了一种面向智能回收装备的废旧手机多尺度特征DF识别模型，通过工信部认证中心手机图像数据集证明所提方法的可行性。该方法的贡献主要表现在：(1)基于Grabcut算法及图像裁剪的图像预处理方法有效缩减废旧手机图像像素，减少无关背景信息对分类的干扰；(2)基于多尺度HOG特征的特征提取方法在数据降维的同时尽量保留像素之间相关性；(3)基于DF模型的手机识别方法在训练时间，分类精度方面明显优于传统识别算法。通过与目前流行的图像识别方法相比，验证了所提方法的在预测精度和时间消耗上的有效性。
参考文献
[1]中国信息通信研究院.2019年12月国内手机市场运行分析报告[EB/OL].http://www.caict.ac.cn/kxyj/qwfb/qwsj/20 2001/t20200109_273291.htm,2020-01-09.
[2]黄蓉.基于EPR制度的废旧手机回收系统的设计与实现[D].北京邮电大学,2019.
[3]Zixuan Wang,Jian Tang,Chengyu Cui,Zhe Xu,Honggui Han.Review ofUsed Mobile Phone Recognition Method for RecyclingEquipment[A].ChineseControlConference(international).2020-07-27
[4]桂振文,吴侹,彭欣.一种融合多传感器信息的移动图像识别方法[J].自动化学报,2015,41(08):1394-1404.
[5]唐贤伦,杜一铭,刘雨微,李佳歆,马艺玮.基于条件深度卷积生成对抗网络的图像识别方法[J].自动化学报,2018,44(05):855-864.
[6]广州绿怡信息科技有限公司.字符识别方法、装置、计算机设备和计算机可读存储介质[P].中国:CN201710369090.5.2017-09-29.
[7]深圳友宝科斯科技有限公司.手机回收装置及手机回收方法[P].中国:CN201710617381.1.2017-11-10.
[8]广州绿怡信息科技有限公司.物品类别识别方法、装置、计算机设备和存储介质[P].中国:CN201810373843.4.2018-10-12.
[9]Y.Lv,L.Ma andH.Jiang.A mobile phone screen cover glass defectdetection model based on small samples learning[A].2019 IEEE4thInternationalConference on SignalandImageProcessing(ICSIP)[C],Wuxi,China,2019,pp.1055-1059
[10]Z.H.Zhou,JFeng.Deepforest:Towards an alternative todeepneuralnetworks[DB/OL].arXiv2017,arXiv:1702.0883.
[11]陈龙,张峰,蒋升.小样本条件下基于深度森林学习模型的典型军事目标识别方法[J].中国电子科学研究院学报,2019,14(03):232-237.
[12]朱晓妤.应用深度森林模型的火焰检测[D].江南大学，2017
[13]朱晓妤,严云洋,刘以安,高尚兵.基于深度森林模型的火焰检测[J].计算机工程,2018,44(07):264-270.
[14]Han Li,Haihong Zhao,Erxin Yu,Yuming Bai,Huiying Li.A ClothesClassification Method Based on the gcForest[A].2018 3rdIEEEInternationalConference onImage,Vision andComputing[C],ICIVC2018.October 15,2018,20183rd,p829-832.
[15]Ma Wenping,Yang Hui,Wu Yue,Xiong Yunta,Hu Tao,Jiao Licheng,HouBiao.Change Detection Based on Multi-Grained Cascade Forest andMulti-ScaleFusion for SARImages[J].RemoteSensing,v 11,n2,January 1,2019
[16]Meng Zhou,Xianhua Zeng,Aozhu Chen.Deep forest hashing for imageretrieval[J].Pattern Recognition.Volume 95, November2019,Pages 114-127
[17]韩慧,王黎明,柴玉梅,刘箴.基于强化表征学习深度森林的文本情感分类[J].计算机科学,2019,46(07):172-179.
[18]Mingfei Han,Shengyang Li,Xue Wan,Guiyang Liu.Scene Recognitionwith Convolutional Residual Features via Deep Forest[A].20183rdIEEEInternational Conference onImage,Vision andComputing[C].ChongqingChina,18October2018.
[19]Lev V.Utkin.An imprecise deep forest for classification[J].ExpertSystems with Applications,Volume 141,1March 2020, 112978.
[20]Guanghui Zhu,Qiu Hu,Rong Gu,Chunfeng Yuan,YihuaHuang.ForestLayer:Efficient training of deep forests on distributed task-parallelplatforms[J].JournalofParallelandDistributed Computing,Volume 132,October2019,Pages 113-126.
[21]Rother Carsten,Kolmogorov Vladimir,Blake Andrew."GrabCut"-Interactive foreground extraction using iterated graph cuts[J].ACMSIGGRAPH2004Papers.2004,p309-314.
[22]林洋,董宝良,刘泽平.一种基于CGAN和GcForest的军事目标识别方法[J].信息技术,2020,44(03):134-138.

Claims (4)

1.一种废旧手机多尺度特征深度森林识别方法，其特征在于，包括以下步骤：
步骤1、对已有手机图像进行预处理，裁剪图像只保留手机特征；
步骤2、提取多尺度待识别图像的方向梯度直方图(HOG)特征；
步骤3、以该特征作为输入，采用DF模型实现废旧手机识别。
2.如权利要求1所述的废旧手机多尺度特征深度森林识别方法，其特征在于，步骤1具体为：
(1)初始化背景区域和前景区域高斯混合模型(GMM)
用户通过设定矩形框，将矩形框外像素设置为背景Tb，矩形框内像素设置为待定像素Tu；初始化Tb内所有像素点αn设定标签为0，Tu内所有像素点αn设定标签为1；通过k-means聚类分别把属于目标和背景的像素聚类为K类，即GMM中的K个高斯模型，混合高斯模型概率D(α)计算公式如下所示:
Figure RE-FDA0002714298410000011
其中，α表示当前手机图片像素RGB三通道向量，πj表示第j个高斯分量的权重，gj表示第j个高斯模型的概率模型公式，μj表示第j个高斯分量的均值向量，∑j表示协方差矩，|∑j|表示模值，
Figure RE-FDA0002714298410000012
表示协方差逆矩阵，D表示数据维度；
(2)对图像中每个像素分配GMM模型中高斯分量，对于给定数据集学习GMM参数，通过最小能量得到初始前景背景分割，多次迭代后完成对前景像素点提取，获得只含手机信息的图像数据集Xgrabcut；
(3)基于边界跟踪的数字化二值图像拓扑结构分析对手机图像轮廓进行检测，并标记轮廓坐标；首先将收据图像进行二值化处理，将黑白手机图片原始边界标记为0，接着从图片边界开始查找非0像素，将最先寻找到的非0像素标记为外轮廓；
(4)最后对Xgrabcut进行剪裁，去除无关区域，获取手机图像数据集X'。
3.如权利要求1所述的废旧手机多尺度特征深度森林识别方法，其特征在于，步骤2具体为：
首先选取裁剪后的整个图片为提取HOG特征的窗口大小(winsize)；接着确定胞元大小(cellsize)，以胞元大小的像素值为最小单位将图像分块，以块大小(blocksize)为单位在图像中沿某一方向(由方向梯度确定)以一定步长滑动，以产生新的块；最后计算所有块中像素的梯度直方图，将所有块的梯度直方图联合起来形成HOG特征；
HOG特征提取后形成特征数
Figure FDA0002572604420000012
表示为：
Figure FDA0002572604420000013
其中，
Figure FDA0002572604420000014
表示大小为m的胞元，
Figure FDA0002572604420000015
表示窗口横坐标，
Figure FDA0002572604420000016
表示窗口纵坐标，b表示块大小，n表示方向梯度，λ表示待提取图片像素，
进一步将图片进行不同尺度放缩，提取HOG特征，将不同尺度HOG特征进行串行融合后得到手机图像数据集，基于不同尺度的X′HOG表示为：
Figure FDA0002572604420000021
4.如权利要求1所述的废旧手机多尺度特征深度森林识别方法，其特征在于，步骤3具体为：
所述DF模型由多粒度扫描(Multi-Grained Scanning)和级联森林(Cascade Forest)两部分构成，其中，多粒度扫描中滑动窗大小与级联森林中随机森林种类、子森林决策树数量、子森林决策树最大特征数为DF模型的超参数；其中，
(1)基于多粒度扫描的特征选择
HOG特征提取后的序列数据为例，假设输入特征是720维，扫描窗口大小是10维，得到711个10维的特征向量，每个10维的特征向量对应一个6分类的类向量，即得到711个6维类向量，最终每个森林会得到4266维的衍生特征变量，两随机森林特征拼接后得到级联森林输入特征
Figure FDA0002572604420000022
其中，k由扫描窗口数量决定；
(2)基于级联森林的手机识别
级联森林是DF模型中的核心部分，每层级联森林由两个完全随机树和两个普通随机森林构成；
①首先，多粒度扫描后的特征
Figure FDA0002572604420000023
作为输入传入级联森林模型，完全随机树和随机森林模型通过训练获得预测向量，通过k折交叉验证获得分类准确率；
②接着，将上一层级联森林的预测向量和
Figure FDA0002572604420000024
作为输入传入第二层级联森林模型，获得当前预测向量和分类准确率；
③接着，将当前级联森林分类准确率ACC1与前一层分类准确率ACC0进行比较，若准确率有所提高则循环②，直到分类准确率不再提高，使级联森林模型获得自适应增长的特点。
④最后，将不再增长的级联森林模型进行保存，获取训练好的DF识别模型。
CN202010644753.1A 2020-07-07 2020-07-07 一种废旧手机多尺度特征深度森林识别方法 Pending CN111931953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010644753.1A CN111931953A (zh) 2020-07-07 2020-07-07 一种废旧手机多尺度特征深度森林识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010644753.1A CN111931953A (zh) 2020-07-07 2020-07-07 一种废旧手机多尺度特征深度森林识别方法

Publications (1)

Publication Number Publication Date
CN111931953A true CN111931953A (zh) 2020-11-13

Family

ID=73314046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010644753.1A Pending CN111931953A (zh) 2020-07-07 2020-07-07 一种废旧手机多尺度特征深度森林识别方法

Country Status (1)

Country Link
CN (1) CN111931953A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966841A (zh) * 2021-03-18 2021-06-15 深圳闪回科技有限公司 线下自动审单系统
CN113159181A (zh) * 2021-04-23 2021-07-23 湖南大学 基于改进的深度森林的工业控制网络异常检测方法和系统
CN113344046A (zh) * 2021-05-24 2021-09-03 电子科技大学 一种提高sar图像船只分类精度的方法
CN113344045A (zh) * 2021-05-21 2021-09-03 电子科技大学 一种结合hog特征提高sar船只分类精度的方法
CN113688891A (zh) * 2021-08-17 2021-11-23 华东师范大学 一种可自适应划分子森林的分布式级联森林方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150186748A1 (en) * 2012-09-06 2015-07-02 The University Of Manchester Image processing apparatus and method for fitting a deformable shape model to an image using random forest regression voting
CN104866862A (zh) * 2015-04-27 2015-08-26 中南大学 一种带钢表面面积型缺陷识别分类的方法
CN106570830A (zh) * 2016-09-29 2017-04-19 北京联合大学 一种基于GrabCut改进的图像分割方法
CN108764310A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于多尺度多特征深度森林的sar目标识别方法
CN109858477A (zh) * 2019-02-01 2019-06-07 厦门大学 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法
CN110569764A (zh) * 2019-08-28 2019-12-13 北京工业大学 一种基于卷积神经网络的手机型号识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150186748A1 (en) * 2012-09-06 2015-07-02 The University Of Manchester Image processing apparatus and method for fitting a deformable shape model to an image using random forest regression voting
CN104866862A (zh) * 2015-04-27 2015-08-26 中南大学 一种带钢表面面积型缺陷识别分类的方法
CN106570830A (zh) * 2016-09-29 2017-04-19 北京联合大学 一种基于GrabCut改进的图像分割方法
CN108764310A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于多尺度多特征深度森林的sar目标识别方法
CN109858477A (zh) * 2019-02-01 2019-06-07 厦门大学 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法
CN110569764A (zh) * 2019-08-28 2019-12-13 北京工业大学 一种基于卷积神经网络的手机型号识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966841A (zh) * 2021-03-18 2021-06-15 深圳闪回科技有限公司 线下自动审单系统
CN113159181A (zh) * 2021-04-23 2021-07-23 湖南大学 基于改进的深度森林的工业控制网络异常检测方法和系统
CN113159181B (zh) * 2021-04-23 2022-06-10 湖南大学 基于改进的深度森林的工业控制系统异常检测方法和系统
CN113344045A (zh) * 2021-05-21 2021-09-03 电子科技大学 一种结合hog特征提高sar船只分类精度的方法
CN113344045B (zh) * 2021-05-21 2022-03-15 电子科技大学 一种结合hog特征提高sar船只分类精度的方法
CN113344046A (zh) * 2021-05-24 2021-09-03 电子科技大学 一种提高sar图像船只分类精度的方法
CN113688891A (zh) * 2021-08-17 2021-11-23 华东师范大学 一种可自适应划分子森林的分布式级联森林方法
CN113688891B (zh) * 2021-08-17 2023-09-29 华东师范大学 一种可自适应划分子森林的分布式级联森林方法

Similar Documents

Publication Publication Date Title
CN107679250B (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN111931953A (zh) 一种废旧手机多尺度特征深度森林识别方法
CN112069896B (zh) 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN111898432A (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN112733942A (zh) 一种基于多级特征自适应融合的变尺度目标检测方法
Liu et al. Analysis of anchor-based and anchor-free object detection methods based on deep learning
Saenko et al. Practical 3-d object detection using category and instance-level appearance models
Kuppusamy et al. Enriching the multi-object detection using convolutional neural network in macro-image
CN116229112A (zh) 一种基于多重注意力的孪生网络目标跟踪方法
Fu et al. A case study of utilizing YOLOT based quantitative detection algorithm for marine benthos
Naiemi et al. Scene text detection using enhanced extremal region and convolutional neural network
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
Zhu et al. Scene text relocation with guidance
Mukherjee et al. Segmentation of natural images based on super pixel and graph merging
CN116206201A (zh) 一种监督目标检测识别方法、装置、设备及存储介质
CN110298228A (zh) 一种多目标图像检索方法
CN112487927B (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统
Yao et al. Invoice detection and recognition system based on deep learning
Lin et al. Aggregating object features based on attention weights for fine-grained image retrieval
Talebi et al. Nonparametric scene parsing in the images of buildings
Chen et al. Improved Faster R-CNN identification method for containers
CN110163106A (zh) 一体式纹身检测与识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113

RJ01 Rejection of invention patent application after publication