CN107886095A - 一种基于机器视觉和嗅觉特征融合的分类识别方法 - Google Patents

一种基于机器视觉和嗅觉特征融合的分类识别方法 Download PDF

Info

Publication number
CN107886095A
CN107886095A CN201610861288.0A CN201610861288A CN107886095A CN 107886095 A CN107886095 A CN 107886095A CN 201610861288 A CN201610861288 A CN 201610861288A CN 107886095 A CN107886095 A CN 107886095A
Authority
CN
China
Prior art keywords
olfactory
feature
machine vision
sample
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610861288.0A
Other languages
English (en)
Inventor
吴莉莉
邢玉清
林爱英
郑宝周
豆根生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Agricultural University
Original Assignee
Henan Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Agricultural University filed Critical Henan Agricultural University
Priority to CN201610861288.0A priority Critical patent/CN107886095A/zh
Publication of CN107886095A publication Critical patent/CN107886095A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉和嗅觉特征融合的分类方法，通过对采集的待分类样品的视觉和嗅觉信息分别进行特征降维提取，确定颜色和纹理特征以及气味特征，组建原始的特征子集，然后采用遗传算法进行特征子集的融合优化，得到最佳的视觉嗅觉特征子集，最后采用概率神经网络算法对该融合特征子集进行分类识别。采用本发明方法相对于单一的视觉或嗅觉特征识别有更高的精度，相对串联特征融合或PCA特征融合也大大提高了识别率。

Description

一种基于机器视觉和嗅觉特征融合的分类识别方法
技术领域
本发明涉及信号处理领域中的多传感器信息融合和模式分类识别技术，是一种融合了机器视觉和嗅觉特征并采用概率神经网络进行分类识别的方法。
背景技术
机器视觉和机器嗅觉（电子鼻）技术在农产品无损检测识别领域应用较为广泛，然而单一采用视觉或嗅觉特征进行分类检测时，当待识别的类别特征非常相似时，识别率并不高。单一的传感器获取的信息特征不能全面地反映类别样本的属性，而多传感器信息融合技术可以对来自不同传感器（信息源）的数据信息进行分析与综合，充分利用计算机的高速运算和多源信息的互补来提高信息的质量，在信息准确性、可靠性及完备性等方面较其中任一传感器有明显提高。
多传感器信息融合分为像素级融合、特征级融合和决策级融合三个层次。特征级融合不仅适用于不同类质的传感器，而且融合结果能最大限度的给出决策分析所需要的特征信息。特征级融合最大限度地保留了原始信息，有可能带来最佳的识别效果，但特征向量维度的增加并不能保证识别率的增加。
发明内容
本发明针对单一传感器识别率不高，特征融合后维数增加的问题，提供了一种基于机器视觉和嗅觉特征融合的分类方法。
本发明所采用的技术方案如下：
一种基于机器视觉和嗅觉特征融合的分类方法，包括以下步骤：
（1）待测样本的视觉信息获取（即图像采集）；
（2）对采集的图像进行预处理并提取颜色和纹理特征；
（3）待测样本的嗅觉信息获取（即气敏传感器阵列响应信号获取）；
（4）对嗅觉信息进行预处理并提取气味特征；
（5）将颜色和纹理特征以及气味特征先串联融合再利用遗传算法进行优化（即降维处理）；得最优融合特征子集；
（6）利用概率神经网络进行分类识别。
前述的步骤（2）中，图像的预处理采用3×3模板的中值滤波。颜色特征提取了RGB模型和HIS模型中的R、G、B和H、S、I分量的均值共6个。纹理特征提取了灰度共生矩阵的对比度、相关性、能量和同质性四个参数的均值和标准差共8个。
前述的步骤（4）中，嗅觉信息的预处理包括归一化、平滑滤波。气味特征提取包括两个步骤：先提取气敏传感器阵列响应曲线的最大值、最小值、平均值、最大梯度值、最小梯度值，然后再用PCA降维处理。
前述的步骤（5）中，利用遗传算法对串联融合的特征集进行优化，选出部分对分类信息最有利的特征，遗传算法的设计要点如下：①样本的编码采用二进制，样本长度为特征的个数，在二进制位中，值为‘1’的位表示该特征被选中，值为‘0’的位表示该特征未被选中，这些选中的特征将会作为适应度函数的输入参数作进一步的评估；②采用基于k-最近邻( k-nearest neighbor，kNN )的分类算法作为适应度函数，将分类器的错误率作为评估标准；③选择操作采用轮盘赌算法实现；④采用两点交叉，交叉概率为0.6；⑤采用均匀变异算子，变异概率为0.2；⑥规定当算法执行到最大繁殖代数(终止条件)，或经过50代进化，群体中的最高适应度值仍未发生变化(稳定条件)时，算法停止运行。
前述的步骤（6）中，利用概率神经网络进行分类识别，所用的概率神经网络为双隐层结构，具有一个径向基网络层和一个竞争型网络层，径向基层用高斯核函数实现非线性映射。概率密度最大的那个神经元输出为1，对应输入待识别的样本的模式类别，其他神经元的输出全为0。
本发明方法相对于单一的机器视觉或机器嗅觉识别具有更高的精度，相对串联特征融合或PCA特征融合也大大提高了识别率。
具体实施方式
一、视觉信息的获取（即图像采集）
本发明采用自行研制的机器视觉系统的硬件获取待识别样品的图像。硬件系统主要包括：光照室、光源、CCD摄像头、样品台、图像采集卡。样品图像的采集在光照室内完成，光照室内的光源采用漫反射环形LED来照明，样品台背景为白色（或黑色）底板，样品铺满在样品台上，不露出底板，以保证图像不受背景的干扰。
二、视觉信息特征的提取
（1）颜色特征是图像中最直观、最明显的物理特征，它具有全局性，描述了图像区域所有景物的表面性质。CCD摄像头获取的样品图像是RGB模型，而HSI模型与人眼对事物的观察模式一致，因此采用RGB和HSI两种模型来进行特征参数提取。
HSI颜色模型与RGB颜色模型存在一定的转换关系，转换公式如下：
其中
颜色特征提取了RGB模型和HIS模型中的R、G、B和H、S、I分量的均值共6个。
（2）纹理作为物体表面的一种自然属性，是人类视觉系统区分自然界物体的重要依据。灰度共生矩阵是最常用的纹理统计分析方法之一。灰度共生矩阵不能直接提供区别纹理的特性，在统计学的基础上定义了一些度量来表示提取的纹理特征。综合考虑分类效果和分类耗时两个方面，选取灰度共生矩阵中相关性小的四个参数：对比度、相关性、能量和同质性来表示纹理特征，这四个特征量的计算公式如下：
①对比度
②相关性
其中 分别为，，
③能量
④同质性
纹理特征提取了灰度共生矩阵的对比度、相关性、能量和同质性四个参数的均值和标准差共8个。
三、嗅觉信息的采集及特征提取
本发明采用自行研制的机器嗅觉系统的硬件获取待识别样品的气味信息。机器嗅觉系统的硬件主要由传感器阵列、密闭气室、样品台、外围电路、数据采集卡以及计算机等组成。
为了方便后续数据处理和在一定程度上排除外部条件及传感器本身所引起的误差，对传感器阵列采集的原始数据进行去基准、平滑滤波和归一化处理。归一化预处理由下式实现：
式中 为传感器j在某一时刻的瞬态响应值， 和分别为一个完整周期内传感器响应的最大值和最小值。
归一化处理之后的数据进行气味特征提取：先提取气敏传感器阵列响应曲线的最大值、最小值、平均值、最大梯度值、最小梯度值，然后再用PCA降维处理。
四、特征融合优化
将上述得到的颜色、纹理和气味特征先串联组合，然后采用遗传算法进行优化，选出部分对分类信息最有利的特征。遗传算法采用基于k-最近邻( k-nearest neighbor，kNN )的分类算法作为适应度函数，kNN 算法通过在特征空间中寻找测试数据与训练集之间的最短距离来实现分类。对于一个m×n的特征集：
kNN 算法用于计算测试数据与训练集之间Euclidean 距离,其公式为:
在遗传迭代过程中，对于每个样本，计算其对应的KNN 算法的分类错误率作为适应度值，并进行排序。适应度值越低的个体，遗传到下一代的可能性就越大。
应用遗传算法找到最佳个体编码，这个编码的位数对应融合特征的个数，编码中为“1”的基因，对应被选中的特征，由此可得到最优的特征子集，用它们来进行后续的分类。
五、分类识别
采用概率神经网络进行分类识别时，输入向量为最优融合的特征子集，特征的个数就是输入向量的维数，待识别种类的数目就是输出向量的维数。在设计概率神经网络时，由于径向基函数的分布密度Spread对网络的分类性能影响较大，当Spread接近于0时，对应的PNN就是一个最近邻分类器；当Spread增大后，对应的PNN就要考虑附近的设计向量。

Claims (5)

1.一种基于机器视觉和嗅觉特征融合的分类方法，其特征在于，包括以下步骤：
（1）待测样本的视觉信息获取（即图像采集）；
（2）对采集的图像进行预处理并提取颜色和纹理特征；
（3）待测样本的嗅觉信息获取（即气敏传感器阵列响应信号获取）；
（4）对嗅觉信息进行预处理并提取气味特征；
（5）将颜色和纹理特征以及气味特征先串联融合再利用遗传算法进行优化（即降维处理）；得最优融合特征子集；
（6）利用概率神经网络进行分类识别。
2.根据权利要求1所述的一种基于机器视觉和嗅觉特征融合的分类方法，其特征在于，所述步骤（2）中，图像的预处理采用3×3模板的中值滤波；颜色特征提取了RGB模型和HIS模型中的R、G、B和H、S、I分量的均值，共6个；纹理特征提取了灰度共生矩阵的对比度、相关性、能量和同质性四个参数的均值和标准差共8个。
3.根据权利要求1所述的一种基于机器视觉和嗅觉特征融合的分类方法，其特征在于，所述的步骤（4）中，嗅觉信息的预处理包括归一化、平滑滤波；气味特征提取包括两个步骤：先提取气敏传感器阵列响应曲线的最大值、最小值、平均值、最大梯度值、最小梯度值，然后再用PCA降维处理。
4.根据权利要求1所述的一种基于机器视觉和嗅觉特征融合的分类方法，其特征在于，所述的步骤（5）中，利用遗传算法对串联融合的特征集进行优化，选出部分对分类信息最有利的特征，遗传算法的设计要点如下：①样本的编码采用二进制，样本长度为特征的个数，在二进制位中，值为‘1’的位表示该特征被选中，值为‘0’的位表示该特征未被选中，这些选中的特征将会作为适应度函数的输入参数作进一步的评估；②采用基于k-最近邻( k-nearest neighbor，kNN )的分类算法作为适应度函数，将分类器的错误率作为评估标准；③选择操作采用轮盘赌算法实现；④采用两点交叉，交叉概率为0.6；⑤采用均匀变异算子，变异概率为0.2；⑥规定当算法执行到最大繁殖代数(终止条件)，或经过50代进化，群体中的最高适应度值仍未发生变化(稳定条件)时，算法停止运行。
5.根据权利要求1所述的一种基于机器视觉和嗅觉特征融合的分类方法，其特征在于，所述的步骤（6）中，利用概率神经网络进行分类识别，所用的概率神经网络为双隐层结构，具有一个径向基网络层和一个竞争型网络层，径向基层用高斯核函数实现非线性映射；概率密度最大的那个神经元输出为1，对应输入待识别的样本的模式类别，其他神经元的输出全为0。
CN201610861288.0A 2016-09-29 2016-09-29 一种基于机器视觉和嗅觉特征融合的分类识别方法 Pending CN107886095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610861288.0A CN107886095A (zh) 2016-09-29 2016-09-29 一种基于机器视觉和嗅觉特征融合的分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610861288.0A CN107886095A (zh) 2016-09-29 2016-09-29 一种基于机器视觉和嗅觉特征融合的分类识别方法

Publications (1)

Publication Number Publication Date
CN107886095A true CN107886095A (zh) 2018-04-06

Family

ID=61768732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610861288.0A Pending CN107886095A (zh) 2016-09-29 2016-09-29 一种基于机器视觉和嗅觉特征融合的分类识别方法

Country Status (1)

Country Link
CN (1) CN107886095A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110316487A (zh) * 2019-08-21 2019-10-11 东莞市图玛机器设备有限公司 基于机器嗅觉的医疗废弃物分类处理装置及方法
CN111582456A (zh) * 2020-05-11 2020-08-25 北京字节跳动网络技术有限公司 用于生成网络模型信息的方法、装置、设备和介质
CN112036470A (zh) * 2020-08-28 2020-12-04 扬州大学 一种基于云传输的多传感器融合的黄瓜烟粉虱识别方法
CN113743523A (zh) * 2021-09-13 2021-12-03 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法
CN114821576A (zh) * 2022-06-30 2022-07-29 之江实验室 一种基于视觉嗅觉协同感知器件的目标识别方法和装置
CN116026787A (zh) * 2023-03-29 2023-04-28 湖南汇湘轩生物科技股份有限公司 一种香精品级检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1556412A (zh) * 2004-01-08 2004-12-22 江苏大学 基于电子视觉和嗅觉融合技术的农畜产品无损检测方法及其装置
CN101413811A (zh) * 2008-11-27 2009-04-22 河北工业大学 一种危险品目标自主辨识的方法
CN101692053A (zh) * 2009-10-09 2010-04-07 江苏大学 基于多传感信息融合的名优茶品质仪器智能化审评方法
CN103235087A (zh) * 2013-04-10 2013-08-07 江苏大学 一种基于嗅觉和味觉传感器信息融合的乌龙茶原产地的鉴别方法
CN103278609A (zh) * 2013-06-27 2013-09-04 山东商业职业技术学院 一种基于多源感知信息融合的肉品新鲜度检测方法
CN103472197A (zh) * 2013-09-10 2013-12-25 江苏大学 一种食品智能化仿生评价中的跨感知信息交互感应融合方法
CN203745367U (zh) * 2013-12-10 2014-07-30 六安职业技术学院 猪肉新鲜度智能检测仪
CN105092579A (zh) * 2014-12-31 2015-11-25 广西师范学院 一种芒果品质无损检测设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1556412A (zh) * 2004-01-08 2004-12-22 江苏大学 基于电子视觉和嗅觉融合技术的农畜产品无损检测方法及其装置
CN101413811A (zh) * 2008-11-27 2009-04-22 河北工业大学 一种危险品目标自主辨识的方法
CN101692053A (zh) * 2009-10-09 2010-04-07 江苏大学 基于多传感信息融合的名优茶品质仪器智能化审评方法
CN103235087A (zh) * 2013-04-10 2013-08-07 江苏大学 一种基于嗅觉和味觉传感器信息融合的乌龙茶原产地的鉴别方法
CN103278609A (zh) * 2013-06-27 2013-09-04 山东商业职业技术学院 一种基于多源感知信息融合的肉品新鲜度检测方法
CN103472197A (zh) * 2013-09-10 2013-12-25 江苏大学 一种食品智能化仿生评价中的跨感知信息交互感应融合方法
CN203745367U (zh) * 2013-12-10 2014-07-30 六安职业技术学院 猪肉新鲜度智能检测仪
CN105092579A (zh) * 2014-12-31 2015-11-25 广西师范学院 一种芒果品质无损检测设备

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
CHEN CUNSHE等: "Quality Assessment of Beef Based of Computer Vision and Electronic Nose", 《EIGHTH ACIS INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING, ARTIFICIAL INTELLIGENCE, NETWORKING, AND PARALLEL/DISTRIBUTED COMPUTING》 *
JUNLONG FANG等: "Application of Genetic Algorithm（ GA） Trained Artificial Neural Network to Identify Tomatoes with Physiological Diseases", 《NATURE AND SCIENCE》 *
MIN XU等: "A Novel Method for the Discrimination of Semen Arecae and Its Processed Products by Using Computer Vision,Electronic Nose,and Electronic Tongue", 《 EVIDENCE-BASED COMPLEMENTARY AND ALTERNATIVE MEDICINE》 *
P.BOILOT等: "Electronic noses inter-comparison, data fusion and sensor selection in discrimination of standard fruit solutions", 《SENSORS AND ACTUATORS B》 *
周炜: "基于多源信息融合技术的猪肉新鲜度无损检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨帮华等: "基于遗传算法和概率神经网络提高脑机接口中脑电信号识别率", 《上海交通大学》 *
胡霞: "基于遗传算法和神经网络的质量控制研究", 《中国优秀硕士学位论文全文数据库 经济与管理科学辑》 *
许文方等: "仿生传感智能感官检测技术及其在云南特色农产品品质检测中的应用", 《安徽农业科学》 *
赵温波: "径向基概率神经网络研究", 《万方数据知识服务平台》 *
韦兴竹: "基于模糊分类和特征融合技术的杂草分类研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄林: "基于单一技术及多信息融合技术的猪肉新鲜度无损检测研究", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110316487A (zh) * 2019-08-21 2019-10-11 东莞市图玛机器设备有限公司 基于机器嗅觉的医疗废弃物分类处理装置及方法
CN111582456A (zh) * 2020-05-11 2020-08-25 北京字节跳动网络技术有限公司 用于生成网络模型信息的方法、装置、设备和介质
CN111582456B (zh) * 2020-05-11 2023-12-15 抖音视界有限公司 用于生成网络模型信息的方法、装置、设备和介质
CN112036470A (zh) * 2020-08-28 2020-12-04 扬州大学 一种基于云传输的多传感器融合的黄瓜烟粉虱识别方法
CN113743523A (zh) * 2021-09-13 2021-12-03 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法
CN113743523B (zh) * 2021-09-13 2024-05-14 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法
CN114821576A (zh) * 2022-06-30 2022-07-29 之江实验室 一种基于视觉嗅觉协同感知器件的目标识别方法和装置
CN116026787A (zh) * 2023-03-29 2023-04-28 湖南汇湘轩生物科技股份有限公司 一种香精品级检测方法及系统

Similar Documents

Publication Publication Date Title
Chen et al. Attention embedded lightweight network for maize disease recognition
CN107886095A (zh) 一种基于机器视觉和嗅觉特征融合的分类识别方法
Sabzi et al. A fast and accurate expert system for weed identification in potato crops using metaheuristic algorithms
Wang et al. Integrated model of BP neural network and CNN algorithm for automatic wear debris classification
Anami et al. Classification of yield affecting biotic and abiotic paddy crop stresses using field images
Panchal et al. Plant diseases detection and classification using machine learning models
Zhang et al. Deep indicator for fine-grained classification of banana’s ripening stages
Moses et al. Deep CNN-based damage classification of milled rice grains using a high-magnification image dataset
Luo et al. Classification of weed seeds based on visual images and deep learning
Anandhakrishnan et al. Deep Convolutional Neural Networks for image based tomato leaf disease detection
CN108197636A (zh) 一种基于深度多视点特征的稻谷检测和分类方法
CN111931700A (zh) 一种基于多分类器的玉米品种真伪鉴别方法和鉴别系统
Güneş et al. Determination of the varieties and characteristics of wheat seeds grown in Turkey using image processing techniques
Ahmed Leveraging convolutional neural network and transfer learning for cotton plant and leaf disease recognition
Rahadiyan et al. Design of an intelligent hydroponics system to identify macronutrient deficiencies in chili
Balasubramaniyan et al. Color contour texture based peanut classification using deep spread spectral features classification model for assortment identification
Joshi et al. Plant leaf disease detection using computer vision techniques and machine learning
Sun et al. Research on classification method of eggplant seeds based on machine learning and multispectral imaging classification eggplant seeds
Bandara et al. Detection and classification of rice plant diseases using image processing techniques
Bachhal et al. Real-time disease detection system for maize plants using deep convolutional neural networks
Zhang et al. Unsound wheat kernel recognition based on deep convolutional neural network transfer learning and feature fusion
CN109444360B (zh) 基于细胞神经网络和电子鼻特征提取的果汁贮藏期检测算法
Ibrahimi et al. A review on plant diseases detection using artificial intelligence techniques
Indukuri et al. Paddy Disease Classifier using Deep learning Techniques
Sharma et al. Voting classification method with clustering method for the plant disease detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180406