CN114913100A - 一种基于图像分析的烟叶烘烤程度检测方法 - Google Patents

一种基于图像分析的烟叶烘烤程度检测方法 Download PDF

Info

Publication number
CN114913100A
CN114913100A CN202210528455.5A CN202210528455A CN114913100A CN 114913100 A CN114913100 A CN 114913100A CN 202210528455 A CN202210528455 A CN 202210528455A CN 114913100 A CN114913100 A CN 114913100A
Authority
CN
China
Prior art keywords
image
matrix
particle
tobacco
tobacco leaf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210528455.5A
Other languages
English (en)
Other versions
CN114913100B (zh
Inventor
景延秋
雷强
喻保华
殷鸿飞
李斌
谢云波
刘海兵
李春光
孙觅
李耀光
顾会战
杨兴有
何佶弦
李俊举
刘挺
郭仕平
谢良文
余祥文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangyuan Company Sichuan Tobacco Co ltd
Henan Agricultural University
China National Tobacco Corp Sichuan Branch
Original Assignee
Guangyuan Company Sichuan Tobacco Co ltd
Henan Agricultural University
China National Tobacco Corp Sichuan Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangyuan Company Sichuan Tobacco Co ltd, Henan Agricultural University, China National Tobacco Corp Sichuan Branch filed Critical Guangyuan Company Sichuan Tobacco Co ltd
Priority to CN202210528455.5A priority Critical patent/CN114913100B/zh
Publication of CN114913100A publication Critical patent/CN114913100A/zh
Application granted granted Critical
Publication of CN114913100B publication Critical patent/CN114913100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Manufacture Of Tobacco Products (AREA)

Abstract

本发明公开了一种基于图像分析的烟叶烘烤程度检测方法，包括图像预处理、构造烟叶轮廓模型、分离分量和烘烤程度检测。在图像预处理时采用自适应直方图均衡化提高对比度；基于强度和运动特征构造烟叶轮廓模型，并使用恢复力将粒子运动保持在一定范围内，并提供对随机噪声的鲁棒性，减少错误对象检测的数量。采用三项低秩矩阵分解方法进行分离分量，将图像序列分解为三个分量：背景、轮廓和烟叶；对分离的烟叶，进行RGB分量提取，通过对分量检测，判断烟叶的烘烤程度，从而实现烘烤程度检测。本发明避免人工识别存在的主观判断和标准不一的情况，将烟叶烘烤过程变化以数据形式给出，实现了烟叶烘烤自动化检测，有利于提高烟叶烘烤的质量。

Description

一种基于图像分析的烟叶烘烤程度检测方法
技术领域
本发明涉及烟草行业的烟叶烘烤质量检测技术领域，具体为一种基于图像分析的烟叶烘烤程度检测方法。
背景技术
烟草作为我国重要的经济作物，其品质是影响烟草价格的关键因素。烟叶烘烤程度是衡量烟叶品质的第一要素。
在烟叶烘烤时，在专用烤房中通过加温和通风措施，调节烤房温度和湿度的烟叶调制方法。将同一品种、相同部位、成熟一致的烟叶通过编竿和装烟送入烤房，视烟叶质量控制温、湿度。一般35～38℃叶片失水凋萎，大量变黄；41～42℃叶片基本变黄与完全凋萎，主脉发软；46～48℃达到黄片、黄筋、小卷筒；54～55℃达到大卷筒。正常烟叶以三段(即变黄、定色、干筋)式烘烤为主。变黄阶段是使烟叶变黄变软，主脉变软，淀粉、蛋白质水解，可溶性糖、有机酸增多，氨杂味散失，烟碱含量有所减少；定色阶段是使叶片干燥，固定和保持已有的色泽和品质，达到黄片黄筋；干筋阶段是使全部烟叶主脉干燥。烘烤结束时烟叶含水量为14％～16％，整个烘烤过程约4～5天。烘烤不当会产生青尖、青膀、挂灰、洇筋、火红等品质缺陷。
经科学的生产研究表明，烘烤程度比较好的烟叶，其烘烤之后的品质更高，带来的效益也更高。在烟叶烘烤的过程中，烤烟房环境的温度和湿度都会随烘烤时间发生变化，从而影响烟叶烘烤质量。因此，对烟叶烘烤过程中烟烘烤程度的检测是十分有必要的。然而，目前判断烘烤过程中烟叶烘烤程度的方法主要依赖人工，烟叶烘烤师根据自己的经验判断烘烤程度，该方法过于依赖主观判断，而且评价标准也不统一，这对烟叶烘烤的质量会有一定的影响。因此，可以使用目前应用广泛的机器视觉，通过图像来分析烟叶烘烤程度。这样的识别方法，避免了人工识别的不稳定因素，也对烟叶烘烤过程实现了自动化，但是现有的基于机器视觉来分析烟叶烘烤程度的研究少之又少。
发明内容
本发明的目的在于提供一种基于图像分析的烟叶烘烤程度检测方法，用于实现烟叶烘烤程度的自动化检测，从而提高烟叶烘烤质量。
本发明提供了一种基于图像分析的烟叶烘烤程度检测方法，其特征在于，包括以下步骤：
获取被烘烤的烟叶的图像，并对该图像进行自适应直方图均衡化处理；
对处理后的图像使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型，使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型；
通过结合强度分布模型以及粒子的运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，根据对象置信度建立对象置信度图；
采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，所述各个分量包括背景、烟叶、轮廓；
对分解得到的烟叶分量图像进行RGB分量处理，分别提取烟叶分量图像中的R、G、B的比例值；
根据烟叶分量图像中的R、G、B的比例值建立回归方程，通过回归方程检测烟叶烘烤程度。
优选的，所述使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型的建模公式如下：
I(x)～N(μI,σI) (1)
其中μI和σI分别是x的平均值和标准差；
x是图像中的像素点；
I(x)是表示位置x像素强度；
N(μI,σI)是表示位置x像素强度的高斯分布。
优选的，所述使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型，包括如下步骤：
给一个视频片段
Figure BDA0003645559140000031
求解图像中位置x处像素所对应的粒子的平流方程表达式为：
Figure BDA0003645559140000032
Figure BDA0003645559140000033
其中(w,h)为图像中的网格点，W∈[1,W]，h∈[1,H]，W是图像宽度，H是图像高度；
Figure BDA0003645559140000034
为网格点(w,h)处的粒子的位置向量，t∈[1,T-1]，T是时刻；
Figure BDA0003645559140000035
为粒子平流轨迹的光流；
将图像中的每个粒子与一个高斯平均数μM及协方差矩阵∑M相关联，得到：
x～N(μM,ΣM) (3)
其中N(μM,∑M)表示图像粒子的高斯分布。
优选的，所述通过结合强度分布模型以及粒子运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，计算过程如下：
C(x)＝wP(I(x)|μI,σI)+(1-w)P(x|μM,ΣM) (4)
其中C(x)是图像像素对应粒子的对象置信度；
P(I(x)|N(μI,σI))是位置x处的像素强度与位置x处的像素强度的高斯分布的条件概率公式，即在位置x像素强度的高斯分布的条件下位置x像素强度的概率；
P(x|N(μM,∑M))是图像粒子与图像粒子的高斯分布的条件概率公式，即在图像粒子的高斯分布的条件下图像粒子的概率。
优选的，在使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型时，还包括在所述图像中位置x处像素所对应的粒子的平流方程中增加一个力分量，则增加力分量后的粒子平流方程表达式为：
Figure BDA0003645559140000041
Figure BDA0003645559140000042
其中G(x,x0)为作用于每个粒子在网格(w,h)中的w方向的局部恢复力，其表达式为：
Figure BDA0003645559140000043
其中x0是图像宽度w方向的粒子初始位置；
x是图像宽度w方向的粒子移动后位置；
s是权衡粒子的检测灵敏度和恢复速度比例因子，将s设置为s＝0.5×W，其中W为图像宽度；
其中G(y,y0)为作用于每个粒子在网格(w,h)中的h方向的局部恢复力，其表达式为：
Figure BDA0003645559140000051
其中y0是图像高度h方向的粒子初始位置；
y是图像高度h方向的粒子移动后位置。
优选的，所述采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，包括以下步骤：
通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式；
采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数；
根据奇异值阈值算法推导各个分量的增广拉格朗日函数。
优选的，所述通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式，包括以下步骤：
对对象置信度图进行优化，优化后的表达式为：
Figure BDA0003645559140000052
且‖Π(O)‖o≤s，‖E‖F≤σ
其中F为观测矩阵，
F＝A+O+E (9)
Figure BDA0003645559140000053
为观测矩阵F对背景矩阵A的分解模型；
A为背景矩阵；O为烟叶矩阵；E为轮廓矩阵；
‖Π(O)‖o为计算烟叶矩阵O的非零条目的数量；
‖E‖F为轮廓矩阵E的Frobenius范数，其等于轮廓矩阵E中平方元素之和的平方根；
s为所有图像中移动对象像素总数的上限；
σ为一个常数，反映了对所有图像中因像素损坏而产生的最大总方差；
采用拉格朗日形式对式(8)进行求解，拉格朗日形式的表达式为：
Figure BDA0003645559140000061
τ及λ是加权参数；
τ对应于所有图像中移动对象的像素总数；
λ对应于所有图像中由于像素损坏而产生的总方差。
对式(10)进行转换，得到优化后的对象置信度图的表达式为：
Figure BDA0003645559140000062
其中‖A‖*为背景矩阵A的核范数。
优选的，所述采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数，包括以下步骤：
将优化后的对象置信度图的表达式转换成增广拉格朗日乘子法表达式：
Figure BDA0003645559140000063
其中Y为拉格朗日乘子矩阵，
Figure BDA0003645559140000064
‖Π(O)‖1为烟叶矩阵O的1-范数；
β是一个正标量；<,>表示矩阵内积；
使用ALM算法通过迭代最小化增广拉格朗日函数来迭代估计拉格朗日乘子和最优解：
Figure BDA0003645559140000071
其中Ak+1为迭代k次后的背景矩阵；Ok+1为迭代k次后的烟叶矩阵；Ek+1为迭代k次后的轮廓矩阵；
Yk+1＝Yk+βk(Fk+1-Ak+1-Ok+1-Ek+1) (14)
其中Yk为迭代k-1次后的拉格朗日乘子矩阵；
Yk+1为迭代k次后的拉格朗日乘子矩阵；
βk为一个单调递增的正序；
Fk+1为迭代k次后的观测矩阵；
分别最小化每个分量的增广拉格朗日函数，得到：
Figure BDA0003645559140000072
Figure BDA0003645559140000073
Figure BDA0003645559140000074
其中Ok为迭代k-1次后的烟叶矩阵；Ek为迭代k-1次后的轮廓矩阵。
优选的，所述根据奇异值阈值算法推导各个分量的增广拉格朗日函数，包括以下步骤：
根据奇异值阈值算法，得到每个最小化组件的封闭形式，其中奇异值阈值算法表达式如下：
Figure BDA0003645559140000075
U为正交矩阵；
W为对角矩阵；
V为正交矩阵；
其中
Figure BDA0003645559140000076
表示矩阵
Figure BDA0003645559140000077
的完全奇异值分解；
每个所述最小化组件的表达式如下：
Figure BDA0003645559140000081
Figure BDA0003645559140000082
Figure BDA0003645559140000083
Sα(.)是为标量x定义的软阈值算子，如下所示：
Sα(x)＝sign(x)·max{|x|-α,0}, (22)
对于大小相同的两个矩阵A＝(aij)和B＝(bij)，SA(B)应用软阈值入口输出带有条目
Figure BDA0003645559140000084
的矩阵。
优选的，所述根据烟叶分量图像中的R、G、B的比例值建立回归方程，包括以下步骤：
求解色度系统中的色度坐标(r，g，b)，其中：
Figure BDA0003645559140000085
Figure BDA0003645559140000086
Figure BDA0003645559140000087
在RGB颜色空间的基础上采用R、G、B的均值和g，以及几种组合特征r-g、G-R、G/R、G/(R+B)、(G-R)/(G+R)、(R-G)/(R+G+B)共8个颜色特征参数建立回归方程。
与现有技术相比，本发明的有益效果：
本发明中的基于图像分析的烟叶烘烤程度检测方法，包括图像预处理、构造烟叶轮廓模型、分离分量和烘烤程度检测。在图像预处理时采用自适应直方图均衡化提高对比度；基于强度和运动特征构造烟叶轮廓模型，使用一个轮廓模型计算一个对象置信度图，该置信度图用于鼓励烟草表现出与轮廓不同的线性运动的区域，实现对烟草的约束，并使用恢复力将粒子运动保持在一定范围内，并提供对随机噪声的鲁棒性，减少错误对象检测的数量。采用三项低秩矩阵分解方法进行分离分量，将图像序列分解为三个分量：背景、轮廓和烟叶；对分离的烟草，进行RGB分量提取，通过对分量检测，判断烟叶的烘烤程度，从而实现烘烤程度检测。本发明避免人工识别存在的主观判断和标准不一的情况，将烟叶烘烤过程变化以数据形式给出，实现了烟叶烘烤自动化检测。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明提出的一种基于图像分析的烟叶烘烤程度检测方法的流程图；
图2是本发明提出的一种基于图像分析的烟叶烘烤程度检测方法的实施例中的效果图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
实施例
如图1-2所示，一种基于图像分析的烟叶烘烤程度检测方法，包括以下步骤：
步骤1：获取被烘烤的烟叶的图像，并对该图像进行自适应直方图均衡化处理，采用8*8的卷积核。
通过对采集到的烟叶的图像进行自适应直方图均衡化处理，可以提高图像中序列的对比度，减少杂散和随机噪声。
步骤2：结合强度和运动特征获得更好的烟叶轮廓模型。
除了强度外，轮廓引起的变形也可以在运动域中捕捉。因此，结合强度和运动特征来获得更好的轮廓模型。
步骤2.1：对处理后的图像使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型。
使用高斯函数来模拟图像中的像素在轮廓中的强度分布。
当使用更复杂的模型通常需要一段时间的训练，这在序列中是不可用的，因此使用单一高斯模型。因此，使用高斯分布对位置x处像素的强度进行建模。
使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型的建模公式如下：
I(x)～N(μI,σI) (1)
其中μI和σI分别是x的平均值和标准差；
I(x)是表示位置x像素强度；
N(μI,σI)是表示位置x像素强度的高斯分布。
步骤2.2：对处理后的图像使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型；
为了捕捉场景中的整体运动，在拉格朗日粒子轨迹获取方法中使用了“粒子”的概念。假设粒子网格覆盖在场景上，每个粒子对应一个像素(粒度可控)。其基本思想是根据由密集光流驱动的粒子的运动来量化场景的运动。采用所谓的粒子平流产生粒子轨迹。
使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型，包括如下步骤：
给一个视频片段
Figure BDA0003645559140000111
求解图像中位置x处像素所对应的粒子的平流方程表达式为：
Figure BDA0003645559140000112
Figure BDA0003645559140000113
其中(w,h)为图像中的网格点，w∈[1,W]，h∈[1,H]，W是图像宽度；H是图像高度；
Figure BDA0003645559140000114
为网格点(w,h)处的粒子的位置向量，t∈[1,T-1]，T是时刻；
Figure BDA0003645559140000115
为粒子平流轨迹的光流；
通过求解上述微分方程来估计时间t：
将图像中的每个粒子与一个高斯平均数μM及协方差矩阵∑M相关联；
x～N(μM,ΣM) (3)
其中N(μM,∑M)表示图像粒子的高斯分布。
步骤2.3：通过结合强度分布模型以及粒子运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，根据对象置信度并建立对象置信度图.
通过结合强度分布模型以及粒子运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，计算过程如下：
C(x)＝wP(I(x)|μI,σI)+(1-w)P(x|μM,ΣM) (4)
其中C(x)是图像像素对应粒子的对象置信度；
P(I(x)|N(μI,σI))是位置x处的像素强度与位置x处的像素强度的高斯分布的条件概率公式，即在位置x像素强度的高斯分布的条件下位置x像素强度的概率；
P(x|N(μM,∑M))是图像粒子与图像粒子的高斯分布的条件概率公式，即在图像粒子的高斯分布的条件下图像粒子的概率。
模型{w,μI,σI,μM,∑M}的参数可以通过使用训练序列进行优化来学习，或者设置为经验选择的常量值。
在三项分解中，获得的置信度提供了移动对象位置的粗略先验知识，可以将其纳入矩阵优化问题中。因此，它是对基于强度的排名优化的补充，可以显著改善结果。
步骤2.4：在使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型时，还包括在所述图像中位置x处像素所对应的粒子的平流方程中增加一个力分量。
在粒子框架中提出一个额外的力分量，减少错误对象检测的数量，以稳定轮廓中的粒子，且为了处理与颗粒流相关的漂移和不连续性问题。
增加力分量后的粒子平流方程表达式为：
Figure BDA0003645559140000121
Figure BDA0003645559140000122
将新的力称为“恢复力”——指作用于每个粒子原始位置方向的局部恢复力。使用一个简单的线性函数来表示恢复力：
其中G(x,x0)为作用于每个粒子在网格(w,h)中的w方向的局部恢复力，其表达式为：
Figure BDA0003645559140000131
其中x0是图像宽度w方向的粒子初始位置；
x是图像宽度w方向的粒子移动后位置；
s是权衡粒子的检测灵敏度和恢复速度比例因子，将s设置为s＝0.5×W，其中W为图像宽度；
其中G(y,y0)为作用于每个粒子在网格(w,h)中的h方向的局部恢复力，其表达式为：
Figure BDA0003645559140000132
其中y0是图像高度h方向的粒子初始位置；
y是图像高度h方向的粒子移动后位置
如果s设置为一个较高的值，则恢复力的影响可以忽略不计，因此粒子需要相对较长的时间才能恢复到其原始位置。在这种情况下，运动目标检测的灵敏度会更高，但更容易出现误报。如果s较低，粒子将更多地附着到其原始位置，因此受轮廓的影响较小，但检测灵敏度较低。在本实施例中，将s设置为0.5×W＝125，其中W为图像宽度，发现它适用于所有序列。
使用恢复力可以连续处理序列，而无需重新初始化粒子。例如，如果一个对象移动到帧的一侧，然后返回，仍然可以在它返回时捕捉它的运动。此外，恢复力将粒子的运动保持在一定范围内，并提供对随机噪声的鲁棒性，从而减少错误对象检测的数量。
步骤3：采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，各个分量包括背景、烟叶、轮廓；
采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，包括以下步骤：
步骤3.1：通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式，包括以下步骤：
其中运动部分来自拉格朗日粒子框架。在实践中，部分轮廓也可能在烟叶矩阵O中显示为稀疏误差。
因此，需要对烟草对象施加额外的约束。使用一个简单的轮廓模型来计算一个对象置信度图，该置信度图用于鼓励烟草位于表现出与轮廓不同的线性运动的区域。
在新的约束条件下，优化问题必须重新表述为：
Figure BDA0003645559140000141
且‖Π(O)‖o≤s，‖E‖F≤σ
其中s.t.F为观测矩阵，
F＝A+O+E (9)
Figure BDA0003645559140000142
为观测矩阵F对背景矩阵A的分解模型；
A为背景矩阵；O为烟叶矩阵；E为轮廓矩阵；
‖Π(O)‖o为计算烟叶矩阵O的非零条目的数量；
‖E‖F为轮廓矩阵E的Frobenius范数，其等于轮廓矩阵E中平方元素之和的平方根；
s为所有图像中移动对象像素总数的上限；
σ为一个常数，反映了对所有图像中因像素损坏而产生的最大总方差；
Figure BDA0003645559140000143
是对象置信度图，它是一个线性算子，根据烟叶矩阵O的条目对应于移动对象的置信度对其进行加权，从而使最可能的元素不变，而最小的元素设置为零。
将包含烟草视频帧的矩阵分解为其组件：背景、轮廓和烟草对象。分解是通过求解公式(8)中的秩优化来执行的，它对每个分量强制执行相关约束。
当求解式(8)时，更容易考虑问题的拉格朗日形式。
采用拉格朗日形式对式(8)进行求解时，拉格朗日形式的表达式为：
Figure BDA0003645559140000151
τ及λ是加权参数；
τ对应于所有图像中移动对象的像素总数；
λ对应于所有图像中由于像素损坏而产生的总方差。
式(9)的优化不是直接可处理的，因为矩阵秩和“0-范数”是非凸的，非常难以优化。然而当从稀疏误差中恢复低秩矩阵时，如果要恢复的背景矩阵阵A的秩不是太高，并且烟叶矩阵O中的非零项的数量不是太大，那么最小化A的核范数(奇异值之和)和O的1-范数可以恢复精确的矩阵。因此，核范数和1-范数分别是秩函数和0-范数的自然凸代理。应用这种松弛对式(10)进行转换，得到优化后的对象置信度图的表达式为：
Figure BDA0003645559140000152
其中‖A‖*为背景矩阵A的核范数
步骤3.2：采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数，包括以下步骤：
将优化后的对象置信度图的表达式转换成增广拉格朗日乘子法表达式：
Figure BDA0003645559140000161
其中Y为拉格朗日乘子矩阵，
Figure BDA0003645559140000162
‖Π(O)‖1为烟叶矩阵O的1-范数；
β是一个正标量；<,>表示矩阵内积；
最小化(12)中的函数可用于解决(11)中的约束优化问题。
使用ALM算法通过迭代最小化增广拉格朗日函数来迭代估计拉格朗日乘子和最优解：
Figure BDA0003645559140000163
其中Ak+1为迭代k次后的背景矩阵；Ok+1为迭代k次后的烟叶矩阵；Ek+1为迭代k次后的轮廓矩阵；
Yk+1＝Yk+βk(Fk+1-Ak+1-Ok+1-Ek+1) (14)
其中Yk为迭代k-1次后的拉格朗日乘子矩阵；
Yk+1为迭代k次后的拉格朗日乘子矩阵；
βk为一个单调递增的正序；Fk+1为迭代k次后的观测矩阵；
迭代收敛到新的优化的最优解。使用交替策略来近似解决。
分别最小化每个分量的增广拉格朗日函数，得到：
Figure BDA0003645559140000164
Figure BDA0003645559140000165
Figure BDA0003645559140000166
其中Ok为迭代k-1次后的烟叶矩阵；Ek为迭代k-1次后的轮廓矩阵。
步骤3.3：根据奇异值阈值算法推导各个分量的增广拉格朗日函数，包括以下步骤：
根据奇异值阈值算法，得到每个最小化组件的封闭形式，其中奇异值阈值算法表达式如下：
Figure BDA0003645559140000171
U为正交矩阵；
W为对角矩阵；
V为正交矩阵；
其中
Figure BDA0003645559140000172
表示矩阵
Figure BDA0003645559140000173
的完全奇异值分解；
每个所述最小化组件的表达式如下：
Figure BDA0003645559140000174
Figure BDA0003645559140000175
Figure BDA0003645559140000176
Sα(.)是为标量x定义的软阈值算子，如下所示：
Sα(x)＝sign(x)·max{|x|-α,0}, (22)
对于大小相同的两个矩阵A＝(aij)和B＝(bij)，SA(B)应用软阈值入口输出带有条目
Figure BDA0003645559140000177
的矩阵。
步骤3.4：采用三项低秩优化将对象置信度图中的各个序列分解为各个分量后，还包括确定加权参数τ及λ的值。
参数τ和λ从式(11)分别对应于所有图像中移动对象的像素总数和所有图像中由于像素损坏而产生的总方差。换句话说，更高的τ使背景矩阵O分量最小化的重要性增加，从而获得更稀疏的移动对象。更高的λ使轮廓矩阵E分量中的噪声最小化，从而在轮廓矩阵E分量中获得更少的噪声和轮廓的背景。另一方面，减少τ和λ这使得人们更加重视最小化秩，从而在背景矩阵A中获得更静态的背景，在轮廓矩阵E中获得更大的轮廓，在背景矩阵O中获得更少稀疏的运动对象。
在三项分解中，要分解的矩阵不是预期组件的精确组合。此外，组件并不完全符合其预期模型。例如，背景应该是低级别的，然而，确切的期望等级是有争议的，因为等级1的背景通常是不可取的。因为它将是静态图像的重复，这是不现实的。类似地，不同的应用程序所需的误差稀疏性也存在显著差异。因此，在实际场景中，这些参数依赖于问题，具有高度启发性。因此，根据经验τ设定到0.1，然后λ到2.0，它在所有序列的优化约束中起到了很好的折中作用。
步骤4：对分解得到的烟叶分量图像进行RGB分量处理，分别提取烟叶分量图像中的R、G、B的比例值。
颜色系统RGB中，R、G、B分别代表彩色数字图像中红、绿和蓝的亮度值。
步骤5：根据烟叶分量图像中的R、G、B的比例值建立回归方程，通过回归方程检测烟叶烘烤程度。
根据烟叶分量图像中的R、G、B的比例值建立回归方程，包括以下步骤：
求解色度系统中的色度坐标(r，g，b)，其中：
Figure BDA0003645559140000181
Figure BDA0003645559140000182
Figure BDA0003645559140000183
在RGB颜色空间的基础上采用R、G、B的均值和g，以及几种组合特征r-g、G-R、G/R、G/(R+B)、(G-R)/(G+R)、(R-G)/(R+G+B)共8个颜色特征参数建立回归方程。
根据烟叶烘烤程度的检测结果判断烟叶烘烤质量。
根据烟叶颜色变化，预测烟叶烘烤过程中烟叶色素的含量。
最后说明的是：以上公开的仅为本发明的一个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种基于图像分析的烟叶烘烤程度检测方法，其特征在于，包括以下步骤：
获取被烘烤的烟叶的图像，并对该图像进行自适应直方图均衡化处理；
对处理后的图像使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型，使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型；
通过结合强度分布模型以及粒子的运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，根据对象置信度建立对象置信度图；
采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，所述各个分量包括背景、烟叶、轮廓；
对分解得到的烟叶分量图像进行RGB分量处理，分别提取烟叶分量图像中的R、G、B的比例值；
根据烟叶分量图像中的R、G、B的比例值建立回归方程，通过回归方程检测烟叶烘烤程度。
2.根据权利要求1所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型的建模公式如下：
I(x)～N(μI,σI) (1)
其中μI和σI分别是x的平均值和标准差；
x是图像中的像素点；
I(x)是表示位置x像素强度；
N(μI,σI)是表示位置x像素强度的高斯分布。
3.根据权利要求2所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型，包括如下步骤：
给一个视频片段
Figure FDA0003645559130000021
求解图像中位置x处像素所对应的粒子的平流方程表达式为：
Figure FDA0003645559130000022
Figure FDA0003645559130000023
其中(w,h)为图像中的网格点，w∈[1,W]，h∈[1,H]，W是图像宽度，H是图像高度；
Figure FDA0003645559130000024
为网格点(w,h)处的粒子的位置向量，t∈[1,T-1]，T是时刻；
Figure FDA0003645559130000025
为粒子平流轨迹的光流；
将图像中的每个粒子与一个高斯平均数μM及协方差矩阵∑M相关联，得到：
x～N(μM,ΣM) (3)
其中N(μM,∑M)表示图像粒子的高斯分布。
4.根据权利要求3所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述通过结合强度分布模型以及粒子运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，计算过程如下：
C(x)＝wP(I(x)|μI,σI)+(1-w)P(x|μM,ΣM) (4)
其中C(x)是图像像素对应粒子的对象置信度；
P(I(x)|N(μI,σI))是位置x处的像素强度与位置x处的像素强度的高斯分布的条件概率公式，即在位置x像素强度的高斯分布的条件下位置x像素强度的概率；
P(x|N(μM,∑M))是图像粒子与图像粒子的高斯分布的条件概率公式，即在图像粒子的高斯分布的条件下图像粒子的概率。
5.根据权利要求4所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：在使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型时，还包括在所述图像中位置x处像素所对应的粒子的平流方程中增加一个力分量，则增加力分量后的粒子平流方程表达式为：
Figure FDA0003645559130000031
Figure FDA0003645559130000032
其中G(x,x0)为作用于每个粒子在网格(w,h)中的w方向的局部恢复力，其表达式为：
Figure FDA0003645559130000033
其中x0是图像宽度w方向的粒子初始位置；
x是图像宽度w方向的粒子移动后位置；
s是权衡粒子的检测灵敏度和恢复速度比例因子，将s设置为s＝0.5×W，其中W为图像宽度；
其中G(y,y0)为作用于每个粒子在网格(w,h)中的h方向的局部恢复力，其表达式为：
Figure FDA0003645559130000034
其中y0是图像高度h方向的粒子初始位置；
y是图像高度h方向的粒子移动后位置。
6.根据权利要求1所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，包括以下步骤：
通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式；
采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数；
根据奇异值阈值算法推导各个分量的增广拉格朗日函数。
7.根据权利要求6所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式，包括以下步骤：
对对象置信度图进行优化，优化后的表达式为：
Figure FDA0003645559130000041
且‖∏(O)‖o≤s，‖E‖F≤σ
其中F为观测矩阵，
F＝A+O+E (9)
Figure FDA0003645559130000042
为观测矩阵F对背景矩阵A的分解模型；
A为背景矩阵；O为烟叶矩阵；E为轮廓矩阵；
‖Π(O)‖o为烟叶矩阵O的非零条目的数量；
‖E‖F为轮廓矩阵E的Frobenius范数，其等于轮廓矩阵E中平方元素之和的平方根；
s为所有图像中移动对象像素总数的上限；
σ为一个常数，反映了对所有图像中因像素损坏而产生的最大总方差；
采用拉格朗日形式对式(8)进行求解，拉格朗日形式的表达式为：
Figure FDA0003645559130000051
τ及λ是加权参数；
τ对应于所有图像中移动对象的像素总数；
λ对应于所有图像中由于像素损坏而产生的总方差。
对式(10)进行转换，得到优化后的对象置信度图的表达式为：
Figure FDA0003645559130000052
其中‖A‖*为背景矩阵A的核范数。
8.根据权利要求7所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数，包括以下步骤：
将优化后的对象置信度图的表达式转换成增广拉格朗日乘子法表达式：
Figure FDA0003645559130000053
其中Y为拉格朗日乘子矩阵，
Figure FDA0003645559130000054
‖Π(O)‖1为烟叶矩阵O的1-范数；
β是一个正标量；<,>表示矩阵内积；
使用ALM算法通过迭代最小化增广拉格朗日函数来迭代估计拉格朗日乘子和最优解：
Figure FDA0003645559130000061
其中Ak+1为迭代k次后的背景矩阵；
Ok+1为迭代k次后的烟叶矩阵；
Ek+1为迭代k次后的轮廓矩阵；
Yk+1＝Yk+βk(Fk+1-Ak+1-Ok+1-Ek+1) (14)
其中Yk为迭代k-1次后的拉格朗日乘子矩阵；
Yk+1为迭代k次后的拉格朗日乘子矩阵；
βk为一个单调递增的正序；
Fk+1为迭代k次后的观测矩阵；
分别最小化每个分量的增广拉格朗日函数，得到：
Figure FDA0003645559130000062
Figure FDA0003645559130000063
Figure FDA0003645559130000064
其中Ok为迭代k-1次后的烟叶矩阵；Ek为迭代k-1次后的轮廓矩阵。
9.根据权利要求8所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述根据奇异值阈值算法推导各个分量的增广拉格朗日函数，包括以下步骤：
根据奇异值阈值算法，得到每个最小化组件的封闭形式，其中奇异值阈值算法表达式如下：
Figure FDA0003645559130000065
U为正交矩阵；
W为对角矩阵；
V为正交矩阵；
其中
Figure FDA0003645559130000071
表示矩阵
Figure FDA0003645559130000072
的完全奇异值分解；
每个所述最小化组件的表达式如下：
Figure FDA0003645559130000073
Figure FDA0003645559130000074
Figure FDA0003645559130000075
Sα(.)是为标量x定义的软阈值算子，如下所示：
Sα(x)＝sign(x)·max{|x|-α,0}, (22)
对于大小相同的两个矩阵A＝(aij)和B＝(bij)，SA(B)应用软阈值入口输出带有条目
Figure FDA0003645559130000076
的矩阵。
10.根据权利要求1所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述根据烟叶分量图像中的R、G、B的比例值建立回归方程，包括以下步骤：
求解色度系统中的色度坐标(r，g，b)，其中：
Figure FDA0003645559130000077
Figure FDA0003645559130000078
Figure FDA0003645559130000079
在RGB颜色空间的基础上采用R、G、B的均值和g，以及几种组合特征r-g、G-R、G/R、G/(R+B)、(G-R)/(G+R)、(R-G)/(R+G+B)共8个颜色特征参数建立回归方程。
CN202210528455.5A 2022-05-16 2022-05-16 一种基于图像分析的烟叶烘烤程度检测方法 Active CN114913100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210528455.5A CN114913100B (zh) 2022-05-16 2022-05-16 一种基于图像分析的烟叶烘烤程度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210528455.5A CN114913100B (zh) 2022-05-16 2022-05-16 一种基于图像分析的烟叶烘烤程度检测方法

Publications (2)

Publication Number Publication Date
CN114913100A true CN114913100A (zh) 2022-08-16
CN114913100B CN114913100B (zh) 2023-09-15

Family

ID=82767646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210528455.5A Active CN114913100B (zh) 2022-05-16 2022-05-16 一种基于图像分析的烟叶烘烤程度检测方法

Country Status (1)

Country Link
CN (1) CN114913100B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115349654A (zh) * 2022-08-23 2022-11-18 中国烟草总公司郑州烟草研究院 一种烟叶烘烤参数的标定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140137877A1 (en) * 2012-11-19 2014-05-22 Altria Client Services Inc. Blending of agricultural products via hyperspectral imaging and analysis
CN106683178A (zh) * 2016-12-30 2017-05-17 天津大学 基于图论的低秩矩阵恢复三维骨架方法
CN110287819A (zh) * 2019-06-05 2019-09-27 大连大学 动态背景下基于低秩及稀疏分解的动目标检测方法
CN110414598A (zh) * 2019-07-26 2019-11-05 国家消防工程技术研究中心 烟雾检测方法、装置、计算机及存储介质
CN112818827A (zh) * 2021-01-28 2021-05-18 贵州省烟草科学研究院 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法
CN113358647A (zh) * 2021-05-18 2021-09-07 景延秋 一种烟草烘烤数据预测监控模型建立方法
CN113919443A (zh) * 2021-02-24 2022-01-11 北京优创新港科技股份有限公司 一种基于图像分析烟叶成熟度状态概率计算方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140137877A1 (en) * 2012-11-19 2014-05-22 Altria Client Services Inc. Blending of agricultural products via hyperspectral imaging and analysis
CN106683178A (zh) * 2016-12-30 2017-05-17 天津大学 基于图论的低秩矩阵恢复三维骨架方法
CN110287819A (zh) * 2019-06-05 2019-09-27 大连大学 动态背景下基于低秩及稀疏分解的动目标检测方法
CN110414598A (zh) * 2019-07-26 2019-11-05 国家消防工程技术研究中心 烟雾检测方法、装置、计算机及存储介质
CN112818827A (zh) * 2021-01-28 2021-05-18 贵州省烟草科学研究院 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法
CN113919443A (zh) * 2021-02-24 2022-01-11 北京优创新港科技股份有限公司 一种基于图像分析烟叶成熟度状态概率计算方法
CN113358647A (zh) * 2021-05-18 2021-09-07 景延秋 一种烟草烘烤数据预测监控模型建立方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘倩男: "基于视频的人群异常检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 1 - 48 *
焦孟君: "视频序列图像中运动目标检测与跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 1 - 53 *
王浮波等: "刍议高光谱遥感技术在烟叶生产中的应用前景", 《智慧农业导刊》, vol. 1, no. 14, pages 4 - 6 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115349654A (zh) * 2022-08-23 2022-11-18 中国烟草总公司郑州烟草研究院 一种烟叶烘烤参数的标定方法

Also Published As

Publication number Publication date
CN114913100B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN109872285B (zh) 一种基于变分约束的Retinex低照度彩色图像增强方法
Yu et al. Automatic grading of apples based on multi-features and weighted K-means clustering algorithm
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
Wang et al. Enhancing low light videos by exploring high sensitivity camera noise
CN112818827B (zh) 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN111242878B (zh) 基于布谷鸟搜索的矿井下图像增强方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN110570365A (zh) 基于先验信息的图像去雾方法
CN108172278B (zh) 一种he染色病理图像颜色归一化方法
CN105046202B (zh) 自适应的人脸识别光照处理方法
CN111489330B (zh) 基于多源信息融合的弱小目标检测方法
CN111882555B (zh) 基于深度学习的网衣检测方法、装置、设备及存储介质
CN110807742A (zh) 一种基于一体式网络的微光图像增强方法
CN113313702A (zh) 基于边界约束与颜色校正的航拍图像去雾方法
CN114913100B (zh) 一种基于图像分析的烟叶烘烤程度检测方法
CN115457249A (zh) 红外图像与可见光图像融合匹配的方法及系统
CN116524224A (zh) 一种基于机器视觉的烤后烟叶类型检测方法及系统
CN110009708B (zh) 基于图像色彩分割的发色变换方法、系统及终端
CN111738931A (zh) 光伏阵列无人机航拍图像的阴影去除算法
CN107808391A (zh) 一种基于特征选择与光滑表示聚类的视频动态目标提取方法
Luo et al. Shadow removal based on clustering correction of illumination field for urban aerial remote sensing images
CN112288726A (zh) 一种井下带式输送机带面异物检测方法
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
CN112365425A (zh) 一种低照度图像增强方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Jing Yanqiu

Inventor after: Gu Huizhan

Inventor after: Yang Xingyou

Inventor after: Li Junju

Inventor after: Liu Ting

Inventor after: Xie Liangwen

Inventor after: Li Chunguang

Inventor after: Sun Mi

Inventor after: Yu Xiangwen

Inventor after: Xie Yunbo

Inventor after: Liu Haibing

Inventor after: Li Bin

Inventor after: Lei Qiang

Inventor after: Guo Shiping

Inventor after: Yu Baohua

Inventor after: Yin Hongfei

Inventor after: Li Yaoguang

Inventor after: He Jixian

Inventor before: Jing Yanqiu

Inventor before: Li Yaoguang

Inventor before: Gu Huizhan

Inventor before: Yang Xingyou

Inventor before: He Jixian

Inventor before: Li Junju

Inventor before: Liu Ting

Inventor before: Guo Shiping

Inventor before: Xie Liangwen

Inventor before: Yu Xiangwen

Inventor before: Lei Qiang

Inventor before: Yu Baohua

Inventor before: Yin Hongfei

Inventor before: Li Bin

Inventor before: Xie Yunbo

Inventor before: Liu Haibing

Inventor before: Li Chunguang

Inventor before: Sun Mi

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant