CN113674265B - 一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法 - Google Patents
一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法 Download PDFInfo
- Publication number
- CN113674265B CN113674265B CN202110994814.1A CN202110994814A CN113674265B CN 113674265 B CN113674265 B CN 113674265B CN 202110994814 A CN202110994814 A CN 202110994814A CN 113674265 B CN113674265 B CN 113674265B
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- time sequence
- meat
- thermal image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013372 meat Nutrition 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000000007 visual effect Effects 0.000 title claims abstract description 38
- 230000008569 process Effects 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 title claims abstract description 32
- 238000003384 imaging method Methods 0.000 title claims abstract description 29
- 238000001931 thermography Methods 0.000 title claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 20
- 238000010438 heat treatment Methods 0.000 claims description 17
- 235000015277 pork Nutrition 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000001816 cooling Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 241000272525 Anas platyrhynchos Species 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000005057 refrigeration Methods 0.000 claims description 3
- 235000015278 beef Nutrition 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 claims description 2
- 210000001364 upper extremity Anatomy 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 235000006439 Lemna minor Nutrition 0.000 description 7
- 241000209501 Spirodela Species 0.000 description 7
- 235000013364 duck meat Nutrition 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000008236 heating water Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 235000019197 fats Nutrition 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
- 238000001757 thermogravimetry curve Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，尤其涉及一种充分利用时序变温过程中热像图和CCD图像的感兴趣区域进行融合进而利用定性检测模型进行肉类品质检测的方法，包括先建立不同品质肉类的定性检测模型，再利用模型对肉类不同品质指标进行定性检测。本发明融合样品时序变温过程中热像图的温度信息和CCD图像的颜色信息，能够快速、准确的检测肉类品质指标的不同类别，并且操作简单、经济方便，具有较高的市场推广应用价值。
Description
技术领域
本发明属于肉类品质快速检测技术领域，尤其涉及一种样品时序变温过程中的热成像和视觉成像融合的肉类品质定性检测的方法，该检测方法可用于肉类不同品质指标的定性检测。
背景技术
随着生活水平的提高和膳食结构的改变，人们对肉类品质与安全提出了更高的要求。近年来，世界各地的肉类产量和消费量也在逐步增加。但与此同时，高额的利润也导致了肉类供应链中品质问题频频发生。目前市场中存在肉类新鲜度难以检测，部分商家以次鲜乃至腐败肉类充作新鲜肉类销售的现象，严重危害消费者身体健康；肉类掺假现象猖獗，通常以低价值肉类作为掺假原料掺入高价值肉类中，严重侵害了消费者的合法权益；肉类的不同部位因其价格和营养价值存在差异，常被不法商贩混淆出售，对消费者经济利益造成损失；肉类冷藏与冻藏及其冻融是肉类品质及价值的重要影响因素，不加以区分出售则严重破坏市场秩序。因此，需要对肉类不同品质指标进行检测，区分其类别。现有的肉类品质定性检测的技术手段中，DNA技术对于样品DNA纯度要求高、制备复杂，并且所需仪器价格高昂；光谱技术灵敏度较差、样品建模难度较大；电子舌技术实验结果重复性不高、鉴别准确率低；热成像和CCD技术虽然操作简单且适应性较强，但作为单一的检测手段所提供的信息往往只能描述肉类品质的某一方面，不能全面地描述肉类品质的整体信息；热成像和视觉成像融合虽然可以反映肉类的温度信息和颜色信息，但研究多侧重于恒温条件下，所反映的肉类特性较少，具有一定的局限性。
发明内容
本发明目的在于提供一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，基于不同品质肉类时序变温过程中表面温度分布差异和颜色变化特征，通过采集系统采集时序变温过程中不同样品的红外热像视频和CCD图像，同时，基于热像图和CCD图像的融合数据结合卷积神经网络建立肉类品质定性模型，进行肉类不同品质指标的检测，旨在解决现有肉类品质检测技术操作复杂、仪器昂贵、传统识别模型准确率较低以及获取信息单一等问题。
本发明采用的技术方案如下：
一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，其特征在于，制备建模样品，采集并融合时序变温过程中热成像和CCD图像数据，然后建立肉类品质定性检测模型，再利用模型对肉类不同品质指标进行定性检测，包括以下步骤：
步骤一、制备高度及质量一致，密度均匀的具有不同品质指标的代表性肉质样品；
步骤二、将样品置入温度变化装置进行时序加热或冷却，通过红外热像采集系统和视觉成像采集系统，同时采集样品在时序变温过程中的热像视频和视觉图像；
步骤三、对时序变温过程中的热像视频提取样品热像图，其中每个样品提取单张或多张热像图及对应时序的CCD图像；
步骤四、分别去除热像图及CCD图像的样品图像背景，提取样品图像的形心，并以此为中心选取感兴趣区域；将感兴趣区域下热像图及CCD图像调整为统一尺寸并进行融合；
步骤五：将样品融合后的图像数据分别作为输入数据划分为训练集和测试集；利用划分后的样品数据集对模型进行训练和测试，优选最佳模型，并确定模型的各个参数；
步骤六：若所建定性模型效果满足要求则代表模型可行；否则，通过扩充样品集和重复步骤一至五，直至满足要求；
所述的利用定性检测模型进行肉类品质检测的具体步骤如下：
步骤A、制备高度、质量一致，密度均匀的具有不同品质指标的代表性肉质样品；
步骤B、将样品置入温度变化装置进行时序加热或冷却，通过红外热像采集系统和视觉成像采集系统，同时采集样品在时序变温过程中的热像视频和视觉图像；
步骤C、对时序变温过程中的热像视频提取样品热像图，其中每个样品提取单张或多张热像图及对应时序的CCD图像；
步骤D、分别去除热像图及CCD图像的样品图像背景，提取样品图像的形心，并以此为中心选取感兴趣区域；将感兴趣区域下热像图及CCD图像调整为统一尺寸并进行融合；
步骤E、将融合后的图像数据输入建立的定性检测模型，通过对样品单张直接判别或多张综合判别确定样品的类别，并输出定性检测结果。
上述肉类不同品质指标定性检测中，肉类包括羊肉、牛肉、猪肉、鸭肉及其他食用肉类；品质指标检测内容为：判别肉类是否掺假及掺假类别；判别肉类的新鲜度等级，分为新鲜、次鲜和腐败；判别肉类的部位，分为前腿、后腿、背脊和其他；判别冷冻肉类，包括区分冷藏与冻藏，判断是否冻融。
上述步骤一和步骤A中，样品制备时，制备高度、质量一致，密度均匀的具有肉类不同品质的代表性肉质样品。
上述步骤二和步骤B中，将样品置入温度变化装置进行时序加热或冷却，可采用多种方式对样品进行恒温加热或冷却，样品初始温度保持一致。
上述步骤三和步骤C中，从热像视频中提取样品热像图时，有多种可选提取方法，例如：等时间间隔、等温度间隔、某一温度范围等时间间隔和某一时间段等温度间隔，本发明优选第一种方法，连续采集某一固定时间段内的热像图，此阶段较少的数据包含了较大范围温度下的样品热像图； CCD相机采集时序变温过程中样品的视觉图像时，采用连续拍摄的模式，图像采集间隔与热成像保持一致。
上述步骤四和步骤D中，对热像图与CCD图像进行融合时，可采用不同的融合方法，例如：图像拼接、数据相加和通道叠加。
上述步骤五中，涉及的模型包括前馈型神经网络、卷积神经网络、循环神经网络，优选卷积神经网络建立模型；涉及的定性模型分类器包括SVM、PLS-DA、SoftMax，优选SoftMax检测不同肉类品质指标的类别。
上述步骤二和步骤B中，本发明所述方法所应用的检测系统包括变温单元、照明单元、热像采集单元、视觉成像采集单元、暗箱、样品室和数据显示和分析单元；所述的变温单元为温度可调的加热或冷却装置，位于暗箱内部，用于给样品提供稳定的温度来源；所述的照明单元为光照强度可调的环形光源，用于给样品采集时提供稳定的光照；所述的热像采集单元包括热像采集装置、支架和通讯模块；所述的视觉成像采集单元包括图像采集装置、支架和通讯模块；所述暗箱由支架以及覆盖黑色密织厚布组成，为封闭式不透光箱体，防止外界光线干扰；所述样品室为黑色不透光容器，去除光线反射干扰；所述数据显示和分析单元包括PC机和软件界面，其中软件界面可以实现热像视频及CCD图像的实时显示、保存以及判别分析等功能。
本发明与现有技术相比优势在于：
第一、本发明所述检测方法具有操作简便、经济实惠、易于推广等优点。
第二、本发明所述方法中采用时序变温装置处理肉类品质代表性的肉质样品，能够快速获取样品在不同温度下的热像图和CCD图像，反映较多的肉类特性。
第三、本发明所述方法中融合热像图和CCD图像特征信息能够准确的对肉类品质定性检测，从而更全面获取信息，提高检测精度。
附图说明
图1为发明实施例1和实施例2涉及的装置结构示意图
图2为本发明实施例2涉及的本发明方法具体流程图
图3为本发明实施例2涉及的样品热像图和CCD图像融合过程图
图4为本发明实施例2涉及的卷积神经网络识别模型架构图
图5为本发明实施例2涉及的模型外部验证集的分类结果
附图中各标记说明如下：1：暗箱；2：视觉成像采集单元；3：热像采集单元；4：光照单元；5：样品室；6：变温单元；7：数据显示与分析单元。
具体实施方式
为了使本发明目的、优点更加清楚明了，下面结合具体实施例对本发明内容做进一步阐述。
实施例1：一种基于热成像和视觉成像融合的掺假羊肉定性检测方法的热像视频和CCD图像采集系统结构及其使用
a部分：一种基于热成像和视觉成像融合的掺假羊肉定性检测方法的热像视频和CCD图像采集系统结构
检测系统包括恒温加热单元、照明单元、热像视频采集单元、视觉图像采集单元、暗箱、样品室和数据显示和分析单元，如图1所示；所述的恒温加热单元为温度可调的恒温水浴加热装置，位于暗箱内部，用于给样品提供稳定的热源；所述的照明单元为光照强度可调的环形光源，用于给样品采集时提供稳定的光照；所述的热像视频采集单元包括红外辐射探测镜头、支架和通讯模块，通讯模块采用网络通讯，用于将采集的热像视频实时地传输至PC端；所述的视觉图像采集单元包括CCD相机、支架和通讯模块，通讯模块采用网络通讯，用于将采集的CCD图像实时地传输至PC端；所述暗箱由铝型材支架以及覆盖黑色密织厚布组成，为封闭式不透光箱体，防止外界光线干扰；所述样品室为黑色不透光容器，去除光线反射干扰；所述数据显示和分析单元包括PC机和软件界面，其中软件界面可以实现热像视频及CCD图像的实时显示、保存以及判别分析等功能。
b部分：一种基于热成像和视觉成像融合的掺假羊肉定性检测方法的热像视频和CCD图像在线采集系统使用方法。
b1、首先向预先准备好的恒温水浴锅注满水，放入暗箱中，然后打开恒温加热水浴锅，并将其加热温度设置为70 °C。
b2、通过螺栓将红外辐射探测镜头固定在支架顶部的连接件上，并将镜头调节至与地面垂直。
b3、将支架连同红外探测和CCD图像镜头一同放入暗箱，并移动支架，使镜头垂直悬空于水浴锅上的样品检测区。
b4、打开计算机，分别将热像视频和CCD图像在线采集软件打开，连接红外辐射探测镜头与CCD图像镜头，通过软件界面识别镜头与计算机是否连接成功。
b5、通过调节支架高度使红外辐射探测镜头与样品培养皿上表面的高度为50 cm；调节CCD图像镜头高度使之与样品培养皿上表面的高度为60 cm。
b6、待恒温水浴锅的温度达到70 °C，并保持稳定时，将待测样品放置在水浴锅的样品检测区中心。
b7、取下镜头盖，微调镜头，使样品能够清晰完整的显示在软件界面的实时采集窗口。
b8、点击开始采集按钮，软件界面能够分别实时显示采集样品的热像视频和CCD图像，并进行保存。
实施例2：一种基于热成像和视觉成像融合的掺假羊肉定性检测方法
本实施例具体流程图如图2所示
c部分：建立羊肉中掺假及掺假类别定性模型
c1、样品制备
实验材料为羊肉、猪肉和鸭肉，去除脂肪、筋膜和表皮，首先制备纯羊肉、纯猪肉、纯鸭肉样品、掺入猪肉的掺假羊肉样品和掺入鸭肉的掺假羊肉样品，使用电子秤称取相应重量的羊肉、猪肉和鸭肉分别混合后放入绞肉机搅拌30 s，绞成颗粒均匀的肉糜，然后将净重约30 g肉糜放入直径为6 cm、表面平整的圆形培养皿中压实，制成密度均匀的掺假样品。每种掺假样品的每个掺假比例各制备了13个样品，另外分别制备纯羊肉、纯猪肉和纯鸭肉样品各13个，共计169个样品。
c2、样品的热像视频和CCD图像采集
检测系统由恒温加热水浴装置、支架、红外辐射探测镜头、CCD图像采集镜头、暗箱、计算机和数据显示和分析软件等组成。
数据采集前提前将恒温水浴锅打开，并将其温度设置为70 °C。采集掺假羊肉样品时，所采用的热像仪（YOSEEN，中国）光谱范围为7.5~14μm，精度为±2 °C，数据采集频率为50 Hz，图像分辨率为384*288，温度配色板格式为IronBow，材料发射率设为 0.97；所采用的CCD相机为MV EM200M（维视图像），其光学尺寸为1/1.8，分辨率为 1600*1200，其帧率为40 fps，所采用的光源为AFT-RL150105（维视图像），其额定功率为17.5 W。
将样品连同培养皿放置在水浴锅上连续加热10 min，同时使用热像仪和CCD相机采集加热过程中样品的热像视频和可见光图像，并在PC端软件界面进行实时显示和保存。
c3、样品热像图和CCD图像感兴趣区域的获取
单个样品的样品数据为一段10min带有温度数据的热成像视频及其CCD图像。首先对时序加热过程中的热像视频按等时间提取单张或多张热像图。采用大津阈值法分割、去除样品背景，提取去除背景后样品的边缘轮廓，并提取轮廓形心，并以样品中心选取大小为85*85的区域作为样品热像图及其对应时序的CCD图像的感兴趣区域。对样品图像的ROI区域进行像素调整，采用双三次插值法对图像进行尺寸调整，将两种ROI图像调整为统一尺寸。
c4、样品热像图和CCD图像感兴趣区域的融合
将插值后的样品热像图和CCD图像感兴趣区域图像数据采用图像拼接的形式进行数据层融合，获取融合图像。样品热像图和CCD图像感兴趣区域的提取及融合过程如图3所示。
c5、定性模型建立
样品集为样品插值后的热像图、CCD图像的融合图像101400张。首先将样品划分为五大类标签：纯羊肉样品、纯猪肉样品、纯鸭肉样品、掺入猪肉的掺假羊肉样品和掺入鸭肉的掺假羊肉样品。然后将样品数据集以3：1的比例划分为训练集和测试集，用于定性模型的训练和测试。
优选ResNet-18卷积神经网络，通过比较该模型的学习率和Mini-batch，确定最佳学习率为0.001、Mini-batch为256。采用Softmax作为映射函数，将全连接层尺寸调整为1*1*5，Softmax函数的计算公式如(1)所示：
其中，为样品不同标签下的概率，为特征向量；
基于Softmax函数结合优选的神经网络及最佳参数建立融合图像的掺假羊肉定性检测模型，如图4所示。通过计算模型的准确率来评估模型效果，模型准确率的计算公式如(3)所示：
(2)
其中，TP代表真阳性（掺假样品中被正确分为掺假样品的数量），FN代表假阴性（掺假样品中被误分为未掺假样品的数量），TN代表真阴性（未掺假样品中被正确分为未掺假样品的数量），FP代表假阳性（未掺假样品中被误分为掺假样品的数量）。
计算融合图像所建立模型测试集的准确率为100.00%，满足掺假羊肉定性检测要求。
d、羊肉中掺假及掺假类别定性检测
d1、检测主要流程
利用建立的定性检测模型对掺假羊肉种类进行定性检测。首先制备纯羊肉、纯猪肉、纯鸭肉样品、掺入猪肉的掺假羊肉样品和掺入鸭肉的掺假羊肉样品，制成密度均匀的掺假样品。每种掺假样品的每个掺假比例各制备了7个样品，另外分别制备纯羊肉、纯猪肉和纯鸭肉样品各7个，共计91个样品；然后，将样品置入温度变化装置进行时序加热或冷却，通过红外热像采集系统和视觉成像采集系统，同时采集样品在时序变温过程中的热像视频和视觉图像，提取每个样品单张或多张热像图及对应时序的CCD图像；分别提取热像图及CCD图像的样品图像感兴趣区域并进行融合；最后，将融合后的图像数据输入建立的定性检测模型，通过对样品单张直接判别或多张综合判别确定样品的类别，并输出检测结果。
d2、检测结果分析
利用建立的定性检测模型对掺入猪肉和掺入鸭肉的掺假羊肉种类进行定性检测，基于融合图像所建立的模型对于纯羊肉样品、纯猪肉样品、纯鸭肉样品、掺入猪肉的掺假羊肉样品和掺入鸭肉的掺假羊肉样品五类样品的准确率分别达到93.57%、99.52%、100.00%、99.95%和100.00%，综合准确率结果为99.30%。
基于热像图、CCD图像和融合图像分别建立定性检测模型，其综合准确率如表1所示，各模型的分类结果如图5所示。
表 1 不同图像的模型综合准确率
| 数据类型 | 模型准确率 |
| 热像图 | 87.16% |
| CCD图像 | 93.57% |
| 图像融合 | 99.30% |
分析准确率与分类结果可知：基于热像图数据所建立的模型对于纯羊肉样品和纯猪肉样品的识别准确率为75.12%、77.98%；基于CCD图像数据所建立的模型对于纯羊肉样品识别准确率为68.69%和59.58%。结果表明，融合图像数据所建立的模型对于纯羊肉样品和纯猪肉样品和各掺假比例样品的检测效果均得到了提升。
本发明通过两个实施例，分别从图像采集系统的结构和使用方法、热像图和CCD图像感兴趣区域的获取和融合、定性检测模型建立和掺假羊肉检测等角度阐述了一种基于热成像和CCD图像融合的识别掺假羊肉的检测方法的操作流程。本发明利用常见的热像仪和CCD相机搭建羊肉品质定性检测平台，可同时获取样品在时序变温过程中的温度和颜色信息，操作简便、经济实惠、易于推广；本发明采用时序变温装置处理羊肉品质代表性的肉质样品，能够快速获取样品在不同温度下的热像图和CCD图像，反映较多的肉类特性；本发明融合热像图和CCD图像特征信息能够准确的对羊肉品质定性检测，从而更全面获取信息，提高检测精度。
基于时序变温过程中的热成像与视觉成像的融合技术对其他食品品质指标的检测，可参考本发明所提出的检测方法和检测流程进行操作。
以上实施方式仅用于说明本发明，并不用以限制本发明，凡是本发明的精神和原则之内，在本发明技术实质基础上所做的任何修改、等同替换、改进，均应包含在本发明的范围之内，本发明的专利保护范围由权利要求限定。
Claims (7)
1.一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，其特征在于，制备建模样品，采集并融合时序变温过程中热成像和CCD图像数据，然后建立肉类品质定性检测模型，再利用模型对肉类不同品质指标进行定性检测，包括以下步骤：
步骤一、制备高度及质量一致，密度均匀的具有不同品质指标的代表性肉质样品；
步骤二、将样品置入温度变化装置进行时序加热或冷却，通过红外热像采集系统和视觉成像采集系统，同时采集样品在时序变温过程中的热像视频和视觉图像；
步骤三、对时序变温过程中的热像视频提取样品热像图，其中每个样品提取单张或多张热像图及对应时序的CCD图像；
步骤四、分别去除热像图及CCD图像的样品图像背景，提取样品图像的形心，并以此为中心选取感兴趣区域；将感兴趣区域下热像图及CCD图像调整为统一尺寸并进行融合；
步骤五、将样品融合后的图像数据分别作为输入数据划分为训练集和测试集；利用划分后的样品数据集对模型进行训练和测试，选择最佳模型，并确定模型的各个参数；
步骤六、若所建定性检测模型效果满足要求则代表模型可行；否则，通过扩充样品集和重复步骤一至五，直至满足要求；选择ResNet-18卷积神经网络，通过比较该模型的学习率和Mini-batch，确定最佳学习率为0.001、Mini-batch为256，采用Softmax作为映射函数，将全连接层尺寸调整为1*1*5；
所述的利用模型对肉类不同品质指标进行定性检测的具体步骤如下：
步骤A、制备高度、质量一致，密度均匀的具有不同品质指标的代表性肉质样品；
步骤B、将样品置入温度变化装置进行时序加热或冷却，通过红外热像采集系统和视觉成像采集系统，同时采集样品在时序变温过程中的热像视频和视觉图像；
步骤C、对时序变温过程中的热像视频提取样品热像图，其中每个样品提取单张或多张热像图及对应时序的CCD图像；
步骤D、分别去除热像图及CCD图像的样品图像背景，提取样品图像的形心，并以此为中心选取感兴趣区域；将感兴趣区域下热像图及CCD图像调整为统一尺寸并进行融合；
步骤E、将融合后的图像数据输入建立的定性检测模型，通过对样品单张直接判别或多张综合判别确定样品的类别，并输出定性检测结果。
2.根据权利要求1所述的一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，其特征在于：所述肉类不同品质指标定性检测中，肉类包括羊肉、牛肉、猪肉和鸭肉；品质指标检测内容为：判别肉类是否掺假及掺假类别；判别肉类的新鲜度等级，分为新鲜、次鲜和腐败；判别肉类的部位，分为前腿、后腿、背脊和其他；判别冷冻肉类，包括区分冷藏与冻藏，判断是否冻融。
3.根据权利要求1所述的一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，其特征在于：所述步骤一和步骤A中，样品制备时，制备高度、质量一致，密度均匀的具有肉类不同品质的代表性肉质样品。
4.根据权利要求1所述的一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，其特征在于：所述步骤二和步骤B中，将样品置入温度变化装置进行时序加热或冷却，对样品进行恒温加热或冷却，样品初始温度保持一致。
5.根据权利要求1所述的一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，其特征在于：所述步骤三和步骤C中，从热像视频中提取样品热像图时，采用等时间间隔的提取方法，连续采集某一固定时间段内的热像图，此阶段较少的数据包含了较大范围温度下的样品热像图； CCD相机采集时序变温过程中样品的视觉图像时，采用连续拍摄的模式，图像采集间隔与热成像保持一致。
6.根据权利要求1所述的一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，其特征在于：所述步骤四和步骤D中，对热像图与CCD图像进行融合时，采用图像拼接的融合方法。
7.根据权利要求1所述的一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法，其特征在于：所述步骤二和步骤B中，所述方法所应用的检测系统包括变温单元、照明单元、热像采集单元、视觉成像采集单元、暗箱、样品室和数据显示和分析单元；所述的变温单元为温度可调的加热或冷却装置，位于暗箱内部，用于给样品提供稳定的温度来源；所述的照明单元为光照强度可调的环形光源，用于给样品采集时提供稳定的光照；所述的热像采集单元包括热像采集装置、支架和通讯模块；所述的视觉成像采集单元包括图像采集装置、支架和通讯模块；所述暗箱由支架以及覆盖黑色密织厚布组成，为封闭式不透光箱体，防止外界光线干扰；所述样品室为黑色不透光容器，去除光线反射干扰；所述数据显示和分析单元包括PC机和软件界面，其中软件界面能够实现热像视频及CCD图像的实时显示、保存以及判别分析功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110994814.1A CN113674265B (zh) | 2021-08-27 | 2021-08-27 | 一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110994814.1A CN113674265B (zh) | 2021-08-27 | 2021-08-27 | 一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674265A CN113674265A (zh) | 2021-11-19 |
| CN113674265B true CN113674265B (zh) | 2024-05-14 |
Family
ID=78546931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110994814.1A Active CN113674265B (zh) | 2021-08-27 | 2021-08-27 | 一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674265B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115561233A (zh) * | 2022-09-20 | 2023-01-03 | 大连工业大学 | 一种基于水凝胶材料可视化智能检测肉类新鲜度的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107271375A (zh) * | 2017-07-21 | 2017-10-20 | 石河子大学 | 一种羊肉品质指标的高光谱图像检测方法 |
| JP6270290B1 (ja) * | 2016-08-10 | 2018-01-31 | イカリ消毒株式会社 | 食肉検査方法 |
| CN112415050A (zh) * | 2020-11-13 | 2021-02-26 | 石河子大学 | 一种基于温度分布差异的羊肉掺假定性判别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8280144B2 (en) * | 2007-02-21 | 2012-10-02 | Goldfinch Solutions, Llc | System and method for analyzing material properties using hyperspectral imaging |
-
2021
- 2021-08-27 CN CN202110994814.1A patent/CN113674265B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6270290B1 (ja) * | 2016-08-10 | 2018-01-31 | イカリ消毒株式会社 | 食肉検査方法 |
| CN107271375A (zh) * | 2017-07-21 | 2017-10-20 | 石河子大学 | 一种羊肉品质指标的高光谱图像检测方法 |
| CN112415050A (zh) * | 2020-11-13 | 2021-02-26 | 石河子大学 | 一种基于温度分布差异的羊肉掺假定性判别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Convolutional decoding of thermographic images to locate and quantify honeyadulterations;Manuel Izquierdo 等;Talanta;20191231;第1-22页 * |
| 基于计算机图像处理技术与红外特征光谱融合的兔肉熟食识别方法;孙乃旭;;中国调味品;20200110;第45卷(第01期);第126-128页 * |
| 高光谱技术融合图像信息的牛肉品种识别方法研究;王彩霞;王松磊;贺晓光;董欢;;光谱学与光谱分析;20200315;第40卷(第03期);第911-916页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674265A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shao et al. | Cloud detection in remote sensing images based on multiscale features-convolutional neural network | |
| CN109978822A (zh) | 一种基于机器视觉的香蕉成熟度评判建模方法和评判方法 | |
| CN100480680C (zh) | 多光谱肉类新鲜度人工智能测量方法及系统 | |
| CN112415050B (zh) | 一种基于温度分布差异的羊肉掺假定性判别方法 | |
| CN102147402A (zh) | 机器视觉技术快速检测鸡蛋新鲜度的方法 | |
| CN110675400B (zh) | 一种基于手机app的羊肉品质指标快速智能检测方法 | |
| CN106383095A (zh) | 一种冷却羊肉表面细菌总数检测装置及方法 | |
| CN102589705A (zh) | 热成像仪单黑体温控mrtd野外在线自动检测装置及检测方法 | |
| CN113674265B (zh) | 一种基于时序变温过程中热成像和视觉成像融合的肉类品质定性检测方法 | |
| Asmara et al. | Chicken meat freshness identification using the histogram color feature | |
| CN110243805A (zh) | 基于拉曼高光谱成像技术的鱼刺检测方法 | |
| Huang et al. | Smart agriculture: real‐time classification of green coffee beans by using a convolutional neural network | |
| Zhang et al. | Rapid recognition of marine fish surimi by one-step discriminant analysis based on near-infrared diffuse reflectance spectroscopy | |
| CN115908257A (zh) | 缺陷识别模型训练方法及果蔬缺陷识别方法 | |
| Asmara et al. | Chicken meat freshness identification using colors and textures feature | |
| CN107220972B (zh) | 一种基于红外图像的禽蛋品质鉴别方法 | |
| CN114219750A (zh) | 一种基于时序变温过程中热成像和视觉成像融合的肉类品质定量检测方法 | |
| CN113607660B (zh) | 一种基于时序变温过程中视觉成像的掺假羊肉定性检测方法 | |
| CN114295611B (zh) | 一种基于时序变温过程中视觉成像的羊肉掺假定量检测方法 | |
| CN113324928B (zh) | 一种基于图谱数据智能化无损检测菜肴食品营养含量方法 | |
| Shah et al. | Automatically localising ROIs in hyperspectral images using background subtraction techniques | |
| Tian et al. | Nondestructive and rapid detection of potato black heart based on machine vision technology | |
| Abadi et al. | Digital Image Processing for Height Measurement Application Based on Python OpenCV and Regression Analysis | |
| CN108985308A (zh) | 基于数据挖掘算法快速分析电能表外观质量的系统及方法 | |
| Narayan et al. | A smartphone based multi input workflow for non-invasive estimation of haemoglobin levels using machine learning techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |