CN114913100B - 一种基于图像分析的烟叶烘烤程度检测方法 - Google Patents
一种基于图像分析的烟叶烘烤程度检测方法 Download PDFInfo
- Publication number
- CN114913100B CN114913100B CN202210528455.5A CN202210528455A CN114913100B CN 114913100 B CN114913100 B CN 114913100B CN 202210528455 A CN202210528455 A CN 202210528455A CN 114913100 B CN114913100 B CN 114913100B
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- tobacco
- particle
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000002637 Nicotiana tabacum Nutrition 0.000 title claims abstract description 121
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000010191 image analysis Methods 0.000 title claims abstract description 19
- 244000061176 Nicotiana tabacum Species 0.000 title 1
- 241000208125 Nicotiana Species 0.000 claims abstract description 120
- 239000002245 particle Substances 0.000 claims abstract description 105
- 239000011159 matrix material Substances 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 11
- 238000009826 distribution Methods 0.000 claims description 32
- 238000005457 optimization Methods 0.000 claims description 19
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract description 2
- 238000000926 separation method Methods 0.000 abstract description 2
- 238000004383 yellowing Methods 0.000 description 3
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- SNICXCGAKADSCV-JTQLQIEISA-N (-)-Nicotine Chemical compound CN1CCC[C@H]1C1=CC=CN=C1 SNICXCGAKADSCV-JTQLQIEISA-N 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 229910021529 ammonia Inorganic materials 0.000 description 1
- 238000009954 braiding Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229960002715 nicotine Drugs 0.000 description 1
- SNICXCGAKADSCV-UHFFFAOYSA-N nicotine Natural products CN1CCCC1C1=CC=CN=C1 SNICXCGAKADSCV-UHFFFAOYSA-N 0.000 description 1
- 150000007524 organic acids Chemical class 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Manufacture Of Tobacco Products (AREA)
Abstract
本发明公开了一种基于图像分析的烟叶烘烤程度检测方法，包括图像预处理、构造烟叶轮廓模型、分离分量和烘烤程度检测。在图像预处理时采用自适应直方图均衡化提高对比度；基于强度和运动特征构造烟叶轮廓模型，并使用恢复力将粒子运动保持在一定范围内，并提供对随机噪声的鲁棒性，减少错误对象检测的数量。采用三项低秩矩阵分解方法进行分离分量，将图像序列分解为三个分量：背景、轮廓和烟叶；对分离的烟叶，进行RGB分量提取，通过对分量检测，判断烟叶的烘烤程度，从而实现烘烤程度检测。本发明避免人工识别存在的主观判断和标准不一的情况，将烟叶烘烤过程变化以数据形式给出，实现了烟叶烘烤自动化检测，有利于提高烟叶烘烤的质量。
Description
技术领域
本发明涉及烟草行业的烟叶烘烤质量检测技术领域，具体为一种基于图像分析的烟叶烘烤程度检测方法。
背景技术
烟草作为我国重要的经济作物，其品质是影响烟草价格的关键因素。烟叶烘烤程度是衡量烟叶品质的第一要素。
在烟叶烘烤时，在专用烤房中通过加温和通风措施，调节烤房温度和湿度的烟叶调制方法。将同一品种、相同部位、成熟一致的烟叶通过编竿和装烟送入烤房，视烟叶质量控制温、湿度。一般35～38℃叶片失水凋萎，大量变黄；41～42℃叶片基本变黄与完全凋萎，主脉发软；46～48℃达到黄片、黄筋、小卷筒；54～55℃达到大卷筒。正常烟叶以三段(即变黄、定色、干筋)式烘烤为主。变黄阶段是使烟叶变黄变软，主脉变软，淀粉、蛋白质水解，可溶性糖、有机酸增多，氨杂味散失，烟碱含量有所减少；定色阶段是使叶片干燥，固定和保持已有的色泽和品质，达到黄片黄筋；干筋阶段是使全部烟叶主脉干燥。烘烤结束时烟叶含水量为14％～16％，整个烘烤过程约4～5天。烘烤不当会产生青尖、青膀、挂灰、洇筋、火红等品质缺陷。
经科学的生产研究表明，烘烤程度比较好的烟叶，其烘烤之后的品质更高，带来的效益也更高。在烟叶烘烤的过程中，烤烟房环境的温度和湿度都会随烘烤时间发生变化，从而影响烟叶烘烤质量。因此，对烟叶烘烤过程中烟烘烤程度的检测是十分有必要的。然而，目前判断烘烤过程中烟叶烘烤程度的方法主要依赖人工，烟叶烘烤师根据自己的经验判断烘烤程度，该方法过于依赖主观判断，而且评价标准也不统一，这对烟叶烘烤的质量会有一定的影响。因此，可以使用目前应用广泛的机器视觉，通过图像来分析烟叶烘烤程度。这样的识别方法，避免了人工识别的不稳定因素，也对烟叶烘烤过程实现了自动化，但是现有的基于机器视觉来分析烟叶烘烤程度的研究少之又少。
发明内容
本发明的目的在于提供一种基于图像分析的烟叶烘烤程度检测方法，用于实现烟叶烘烤程度的自动化检测，从而提高烟叶烘烤质量。
本发明提供了一种基于图像分析的烟叶烘烤程度检测方法，其特征在于，包括以下步骤：
获取被烘烤的烟叶的图像，并对该图像进行自适应直方图均衡化处理；
对处理后的图像使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型，使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型；
通过结合强度分布模型以及粒子的运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，根据对象置信度建立对象置信度图；
采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，所述各个分量包括背景、烟叶、轮廓；
对分解得到的烟叶分量图像进行RGB分量处理，分别提取烟叶分量图像中的R、G、B的比例值；
根据烟叶分量图像中的R、G、B的比例值建立回归方程，通过回归方程检测烟叶烘烤程度。
优选的，所述使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型的建模公式如下：
I(x)～N(μI,σI) (1)
其中μI和σI分别是x的平均值和标准差；
x是图像中的像素点；
I(x)是表示位置x像素强度；
N(μI,σI)是表示位置x像素强度的高斯分布。
优选的，所述使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型，包括如下步骤：
给一个视频片段求解图像中位置x处像素所对应的粒子的平流方程表达式为：
其中(w,h)为图像中的网格点，W∈[1,W]，h∈[1,H]，W是图像宽度，H是图像高度；
为网格点(w,h)处的粒子的位置向量，t∈[1,T-1]，T是时刻；
为粒子平流轨迹的光流；
将图像中的每个粒子与一个高斯平均数μM及协方差矩阵∑M相关联，得到：
x～N(μM,ΣM) (3)
其中N(μM,∑M)表示图像粒子的高斯分布。
优选的，所述通过结合强度分布模型以及粒子运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，计算过程如下：
C(x)＝wP(I(x)|μI,σI)+(1-w)P(x|μM,ΣM) (4)
其中C(x)是图像像素对应粒子的对象置信度；
P(I(x)|N(μI,σI))是位置x处的像素强度与位置x处的像素强度的高斯分布的条件概率公式，即在位置x像素强度的高斯分布的条件下位置x像素强度的概率；
P(x|N(μM,∑M))是图像粒子与图像粒子的高斯分布的条件概率公式，即在图像粒子的高斯分布的条件下图像粒子的概率。
优选的，在使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型时，还包括在所述图像中位置x处像素所对应的粒子的平流方程中增加一个力分量，则增加力分量后的粒子平流方程表达式为：
其中G(x,x0)为作用于每个粒子在网格(w,h)中的w方向的局部恢复力，其表达式为：
其中x0是图像宽度w方向的粒子初始位置；
x是图像宽度w方向的粒子移动后位置；
s是权衡粒子的检测灵敏度和恢复速度比例因子，将s设置为s＝0.5×W，其中W为图像宽度；
其中G(y,y0)为作用于每个粒子在网格(w,h)中的h方向的局部恢复力，其表达式为：
其中y0是图像高度h方向的粒子初始位置；
y是图像高度h方向的粒子移动后位置。
优选的，所述采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，包括以下步骤：
通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式；
采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数；
根据奇异值阈值算法推导各个分量的增广拉格朗日函数。
优选的，所述通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式，包括以下步骤：
对对象置信度图进行优化，优化后的表达式为：
且‖Π(O)‖o≤s，‖E‖F≤σ
其中F为观测矩阵，
F＝A+O+E (9)
为观测矩阵F对背景矩阵A的分解模型；
A为背景矩阵；O为烟叶矩阵；E为轮廓矩阵；
‖Π(O)‖o为计算烟叶矩阵O的非零条目的数量；
‖E‖F为轮廓矩阵E的Frobenius范数，其等于轮廓矩阵E中平方元素之和的平方根；
s为所有图像中移动对象像素总数的上限；
σ为一个常数，反映了对所有图像中因像素损坏而产生的最大总方差；
采用拉格朗日形式对式(8)进行求解，拉格朗日形式的表达式为：
τ及λ是加权参数；
τ对应于所有图像中移动对象的像素总数；
λ对应于所有图像中由于像素损坏而产生的总方差。
对式(10)进行转换，得到优化后的对象置信度图的表达式为：
其中‖A‖*为背景矩阵A的核范数。
优选的，所述采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数，包括以下步骤：
将优化后的对象置信度图的表达式转换成增广拉格朗日乘子法表达式：
其中Y为拉格朗日乘子矩阵，
‖Π(O)‖1为烟叶矩阵O的1-范数；
β是一个正标量；<,>表示矩阵内积；
使用ALM算法通过迭代最小化增广拉格朗日函数来迭代估计拉格朗日乘子和最优解：
其中Ak+1为迭代k次后的背景矩阵；Ok+1为迭代k次后的烟叶矩阵；Ek+1为迭代k次后的轮廓矩阵；
Yk+1＝Yk+βk(Fk+1-Ak+1-Ok+1-Ek+1) (14)
其中Yk为迭代k-1次后的拉格朗日乘子矩阵；
Yk+1为迭代k次后的拉格朗日乘子矩阵；
βk为一个单调递增的正序；
Fk+1为迭代k次后的观测矩阵；
分别最小化每个分量的增广拉格朗日函数，得到：
其中Ok为迭代k-1次后的烟叶矩阵；Ek为迭代k-1次后的轮廓矩阵。
优选的，所述根据奇异值阈值算法推导各个分量的增广拉格朗日函数，包括以下步骤：
根据奇异值阈值算法，得到每个最小化组件的封闭形式，其中奇异值阈值算法表达式如下：
U为正交矩阵；
W为对角矩阵；
V为正交矩阵；
其中表示矩阵的完全奇异值分解；
每个所述最小化组件的表达式如下：
Sα(.)是为标量x定义的软阈值算子，如下所示：
Sα(x)＝sign(x)·max{|x|-α,0}, (22)
对于大小相同的两个矩阵A＝(aij)和B＝(bij)，SA(B)应用软阈值入口输出带有条目的矩阵。
优选的，所述根据烟叶分量图像中的R、G、B的比例值建立回归方程，包括以下步骤：
求解色度系统中的色度坐标(r，g，b)，其中：
在RGB颜色空间的基础上采用R、G、B的均值和g，以及几种组合特征r-g、G-R、G/R、G/(R+B)、(G-R)/(G+R)、(R-G)/(R+G+B)共8个颜色特征参数建立回归方程。
与现有技术相比，本发明的有益效果：
本发明中的基于图像分析的烟叶烘烤程度检测方法，包括图像预处理、构造烟叶轮廓模型、分离分量和烘烤程度检测。在图像预处理时采用自适应直方图均衡化提高对比度；基于强度和运动特征构造烟叶轮廓模型，使用一个轮廓模型计算一个对象置信度图，该置信度图用于鼓励烟草表现出与轮廓不同的线性运动的区域，实现对烟草的约束，并使用恢复力将粒子运动保持在一定范围内，并提供对随机噪声的鲁棒性，减少错误对象检测的数量。采用三项低秩矩阵分解方法进行分离分量，将图像序列分解为三个分量：背景、轮廓和烟叶；对分离的烟草，进行RGB分量提取，通过对分量检测，判断烟叶的烘烤程度，从而实现烘烤程度检测。本发明避免人工识别存在的主观判断和标准不一的情况，将烟叶烘烤过程变化以数据形式给出，实现了烟叶烘烤自动化检测。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明提出的一种基于图像分析的烟叶烘烤程度检测方法的流程图；
图2是本发明提出的一种基于图像分析的烟叶烘烤程度检测方法的实施例中的效果图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
实施例
如图1-2所示，一种基于图像分析的烟叶烘烤程度检测方法，包括以下步骤：
步骤1：获取被烘烤的烟叶的图像，并对该图像进行自适应直方图均衡化处理，采用8*8的卷积核。
通过对采集到的烟叶的图像进行自适应直方图均衡化处理，可以提高图像中序列的对比度，减少杂散和随机噪声。
步骤2：结合强度和运动特征获得更好的烟叶轮廓模型。
除了强度外，轮廓引起的变形也可以在运动域中捕捉。因此，结合强度和运动特征来获得更好的轮廓模型。
步骤2.1：对处理后的图像使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型。
使用高斯函数来模拟图像中的像素在轮廓中的强度分布。
当使用更复杂的模型通常需要一段时间的训练，这在序列中是不可用的，因此使用单一高斯模型。因此，使用高斯分布对位置x处像素的强度进行建模。
使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型的建模公式如下：
I(x)～N(μI,σI) (1)
其中μI和σI分别是x的平均值和标准差；
I(x)是表示位置x像素强度；
N(μI,σI)是表示位置x像素强度的高斯分布。
步骤2.2：对处理后的图像使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型；
为了捕捉场景中的整体运动，在拉格朗日粒子轨迹获取方法中使用了“粒子”的概念。假设粒子网格覆盖在场景上，每个粒子对应一个像素(粒度可控)。其基本思想是根据由密集光流驱动的粒子的运动来量化场景的运动。采用所谓的粒子平流产生粒子轨迹。
使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型，包括如下步骤：
给一个视频片段求解图像中位置x处像素所对应的粒子的平流方程表达式为：
其中(w,h)为图像中的网格点，w∈[1,W]，h∈[1,H]，W是图像宽度；H是图像高度；
为网格点(w,h)处的粒子的位置向量，t∈[1,T-1]，T是时刻；
为粒子平流轨迹的光流；
通过求解上述微分方程来估计时间t：
将图像中的每个粒子与一个高斯平均数μM及协方差矩阵∑M相关联；
x～N(μM,ΣM) (3)
其中N(μM,∑M)表示图像粒子的高斯分布。
步骤2.3：通过结合强度分布模型以及粒子运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，根据对象置信度并建立对象置信度图.
通过结合强度分布模型以及粒子运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，计算过程如下：
C(x)＝wP(I(x)|μI,σI)+(1-w)P(x|μM,ΣM) (4)
其中C(x)是图像像素对应粒子的对象置信度；
P(I(x)|N(μI,σI))是位置x处的像素强度与位置x处的像素强度的高斯分布的条件概率公式，即在位置x像素强度的高斯分布的条件下位置x像素强度的概率；
P(x|N(μM,∑M))是图像粒子与图像粒子的高斯分布的条件概率公式，即在图像粒子的高斯分布的条件下图像粒子的概率。
模型{w,μI,σI,μM,∑M}的参数可以通过使用训练序列进行优化来学习，或者设置为经验选择的常量值。
在三项分解中，获得的置信度提供了移动对象位置的粗略先验知识，可以将其纳入矩阵优化问题中。因此，它是对基于强度的排名优化的补充，可以显著改善结果。
步骤2.4：在使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型时，还包括在所述图像中位置x处像素所对应的粒子的平流方程中增加一个力分量。
在粒子框架中提出一个额外的力分量，减少错误对象检测的数量，以稳定轮廓中的粒子，且为了处理与颗粒流相关的漂移和不连续性问题。
增加力分量后的粒子平流方程表达式为：
将新的力称为“恢复力”——指作用于每个粒子原始位置方向的局部恢复力。使用一个简单的线性函数来表示恢复力：
其中G(x,x0)为作用于每个粒子在网格(w,h)中的w方向的局部恢复力，其表达式为：
其中x0是图像宽度w方向的粒子初始位置；
x是图像宽度w方向的粒子移动后位置；
s是权衡粒子的检测灵敏度和恢复速度比例因子，将s设置为s＝0.5×W，其中W为图像宽度；
其中G(y,y0)为作用于每个粒子在网格(w,h)中的h方向的局部恢复力，其表达式为：
其中y0是图像高度h方向的粒子初始位置；
y是图像高度h方向的粒子移动后位置
如果s设置为一个较高的值，则恢复力的影响可以忽略不计，因此粒子需要相对较长的时间才能恢复到其原始位置。在这种情况下，运动目标检测的灵敏度会更高，但更容易出现误报。如果s较低，粒子将更多地附着到其原始位置，因此受轮廓的影响较小，但检测灵敏度较低。在本实施例中，将s设置为0.5×W＝125，其中W为图像宽度，发现它适用于所有序列。
使用恢复力可以连续处理序列，而无需重新初始化粒子。例如，如果一个对象移动到帧的一侧，然后返回，仍然可以在它返回时捕捉它的运动。此外，恢复力将粒子的运动保持在一定范围内，并提供对随机噪声的鲁棒性，从而减少错误对象检测的数量。
步骤3：采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，各个分量包括背景、烟叶、轮廓；
采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，包括以下步骤：
步骤3.1：通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式，包括以下步骤：
其中运动部分来自拉格朗日粒子框架。在实践中，部分轮廓也可能在烟叶矩阵O中显示为稀疏误差。
因此，需要对烟草对象施加额外的约束。使用一个简单的轮廓模型来计算一个对象置信度图，该置信度图用于鼓励烟草位于表现出与轮廓不同的线性运动的区域。
在新的约束条件下，优化问题必须重新表述为：
且‖Π(O)‖o≤s，‖E‖F≤σ
其中s.t.F为观测矩阵，
F＝A+O+E (9)
为观测矩阵F对背景矩阵A的分解模型；
A为背景矩阵；O为烟叶矩阵；E为轮廓矩阵；
‖Π(O)‖o为计算烟叶矩阵O的非零条目的数量；
‖E‖F为轮廓矩阵E的Frobenius范数，其等于轮廓矩阵E中平方元素之和的平方根；
s为所有图像中移动对象像素总数的上限；
σ为一个常数，反映了对所有图像中因像素损坏而产生的最大总方差；
是对象置信度图，它是一个线性算子，根据烟叶矩阵O的条目对应于移动对象的置信度对其进行加权，从而使最可能的元素不变，而最小的元素设置为零。
将包含烟草视频帧的矩阵分解为其组件：背景、轮廓和烟草对象。分解是通过求解公式(8)中的秩优化来执行的，它对每个分量强制执行相关约束。
当求解式(8)时，更容易考虑问题的拉格朗日形式。
采用拉格朗日形式对式(8)进行求解时，拉格朗日形式的表达式为：
τ及λ是加权参数；
τ对应于所有图像中移动对象的像素总数；
λ对应于所有图像中由于像素损坏而产生的总方差。
式(9)的优化不是直接可处理的，因为矩阵秩和“0-范数”是非凸的，非常难以优化。然而当从稀疏误差中恢复低秩矩阵时，如果要恢复的背景矩阵阵A的秩不是太高，并且烟叶矩阵O中的非零项的数量不是太大，那么最小化A的核范数(奇异值之和)和O的1-范数可以恢复精确的矩阵。因此，核范数和1-范数分别是秩函数和0-范数的自然凸代理。应用这种松弛对式(10)进行转换，得到优化后的对象置信度图的表达式为：
其中‖A‖*为背景矩阵A的核范数
步骤3.2：采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数，包括以下步骤：
将优化后的对象置信度图的表达式转换成增广拉格朗日乘子法表达式：
其中Y为拉格朗日乘子矩阵，
‖Π(O)‖1为烟叶矩阵O的1-范数；
β是一个正标量；<,>表示矩阵内积；
最小化(12)中的函数可用于解决(11)中的约束优化问题。
使用ALM算法通过迭代最小化增广拉格朗日函数来迭代估计拉格朗日乘子和最优解：
其中Ak+1为迭代k次后的背景矩阵；Ok+1为迭代k次后的烟叶矩阵；Ek+1为迭代k次后的轮廓矩阵；
Yk+1＝Yk+βk(Fk+1-Ak+1-Ok+1-Ek+1) (14)
其中Yk为迭代k-1次后的拉格朗日乘子矩阵；
Yk+1为迭代k次后的拉格朗日乘子矩阵；
βk为一个单调递增的正序；Fk+1为迭代k次后的观测矩阵；
迭代收敛到新的优化的最优解。使用交替策略来近似解决。
分别最小化每个分量的增广拉格朗日函数，得到：
其中Ok为迭代k-1次后的烟叶矩阵；Ek为迭代k-1次后的轮廓矩阵。
步骤3.3：根据奇异值阈值算法推导各个分量的增广拉格朗日函数，包括以下步骤：
根据奇异值阈值算法，得到每个最小化组件的封闭形式，其中奇异值阈值算法表达式如下：
U为正交矩阵；
W为对角矩阵；
V为正交矩阵；
其中表示矩阵的完全奇异值分解；
每个所述最小化组件的表达式如下：
Sα(.)是为标量x定义的软阈值算子，如下所示：
Sα(x)＝sign(x)·max{|x|-α,0}, (22)
对于大小相同的两个矩阵A＝(aij)和B＝(bij)，SA(B)应用软阈值入口输出带有条目的矩阵。
步骤3.4：采用三项低秩优化将对象置信度图中的各个序列分解为各个分量后，还包括确定加权参数τ及λ的值。
参数τ和λ从式(11)分别对应于所有图像中移动对象的像素总数和所有图像中由于像素损坏而产生的总方差。换句话说，更高的τ使背景矩阵O分量最小化的重要性增加，从而获得更稀疏的移动对象。更高的λ使轮廓矩阵E分量中的噪声最小化，从而在轮廓矩阵E分量中获得更少的噪声和轮廓的背景。另一方面，减少τ和λ这使得人们更加重视最小化秩，从而在背景矩阵A中获得更静态的背景，在轮廓矩阵E中获得更大的轮廓，在背景矩阵O中获得更少稀疏的运动对象。
在三项分解中，要分解的矩阵不是预期组件的精确组合。此外，组件并不完全符合其预期模型。例如，背景应该是低级别的，然而，确切的期望等级是有争议的，因为等级1的背景通常是不可取的。因为它将是静态图像的重复，这是不现实的。类似地，不同的应用程序所需的误差稀疏性也存在显著差异。因此，在实际场景中，这些参数依赖于问题，具有高度启发性。因此，根据经验τ设定到0.1，然后λ到2.0，它在所有序列的优化约束中起到了很好的折中作用。
步骤4：对分解得到的烟叶分量图像进行RGB分量处理，分别提取烟叶分量图像中的R、G、B的比例值。
颜色系统RGB中，R、G、B分别代表彩色数字图像中红、绿和蓝的亮度值。
步骤5：根据烟叶分量图像中的R、G、B的比例值建立回归方程，通过回归方程检测烟叶烘烤程度。
根据烟叶分量图像中的R、G、B的比例值建立回归方程，包括以下步骤：
求解色度系统中的色度坐标(r，g，b)，其中：
在RGB颜色空间的基础上采用R、G、B的均值和g，以及几种组合特征r-g、G-R、G/R、G/(R+B)、(G-R)/(G+R)、(R-G)/(R+G+B)共8个颜色特征参数建立回归方程。
根据烟叶烘烤程度的检测结果判断烟叶烘烤质量。
根据烟叶颜色变化，预测烟叶烘烤过程中烟叶色素的含量。
最后说明的是：以上公开的仅为本发明的一个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (9)
1.一种基于图像分析的烟叶烘烤程度检测方法，其特征在于，包括以下步骤：
获取被烘烤的烟叶的图像，并对该图像进行自适应直方图均衡化处理；
对处理后的图像使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型，使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型；
通过结合强度分布模型以及粒子的运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，根据对象置信度建立对象置信度图；
采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，所述各个分量包括背景、烟叶、轮廓；
对分解得到的烟叶分量图像进行RGB分量处理，分别提取烟叶分量图像中的R、G、B的比例值；
根据烟叶分量图像中的R、G、B的比例值建立回归方程，通过回归方程检测烟叶烘烤程度；
所述采用三项低秩优化将对象置信度图中的各个序列分解为各个分量，包括以下步骤：
通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式；
采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数；
根据奇异值阈值算法推导各个分量的增广拉格朗日函数。
2.根据权利要求1所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述使用高斯函数建立图像中位置x处像素在轮廓中的强度分布模型的建模公式如下：
I(x)～N(μI,σI) (1)
其中μI和σI分别是x的平均值和标准差；
x是图像中的像素点；
I(x)是表示位置x像素强度；
N(μI,σI)是表示位置x像素强度的高斯分布。
3.根据权利要求2所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型，包括如下步骤：
给一个视频片段求解图像中位置x处像素所对应的粒子的平流方程表达式为：
其中(w,h)为图像中的网格点，w∈[1,W]，h∈[1,H]，W是图像宽度，H是图像高度；
为网格点(w,h)处的粒子的位置向量，t∈[1,T-1]，T是时刻；
为粒子平流轨迹的光流；
将图像中的每个粒子与一个高斯平均数μM及协方差矩阵∑M相关联，得到：
x～N(μM,ΣM) (3)
其中N(μM,∑M)表示图像粒子的高斯分布。
4.根据权利要求3所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述通过结合强度分布模型以及粒子运动模型得到图像中的像素所对应的粒子相对应于轮廓和烟叶的对象置信度，计算过程如下：
C(x)＝ωP(I(x)|N(μI,σI))+(1-ω)P(x|N(μM,ΣM)) (4)
其中C(x)是图像像素对应粒子的对象置信度；
P(I(x)|N(μI,σI))是位置x处的像素强度与位置x处的像素强度的高斯分布的条件概率公式，即在位置x像素强度的高斯分布的条件下位置x像素强度的概率；
P(x|N(μM,∑M))是图像粒子与图像粒子的高斯分布的条件概率公式，即在图像粒子的高斯分布的条件下图像粒子的概率。
5.根据权利要求4所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：在使用拉格朗日粒子轨迹获取法建立图像中位置x处像素所对应的粒子的运动模型时，还包括在所述图像中位置x处像素所对应的粒子的平流方程中增加一个力分量，则增加力分量后的粒子平流方程表达式为：
其中G(x,x0)为作用于每个粒子在网格(w,h)中的w方向的局部恢复力，其表达式为：
其中x0是图像宽度w方向的粒子初始位置；
x是图像宽度w方向的粒子移动后位置；
s是权衡粒子的检测灵敏度和恢复速度比例因子，将s设置为s＝0.5×W，其中W为图像宽度；
其中G(y,y0)为作用于每个粒子在网格(w,h)中的h方向的局部恢复力，其表达式为：
其中y0是图像高度h方向的粒子初始位置；
y是图像高度h方向的粒子移动后位置。
6.根据权利要求1所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述通过求解秩对对象置信度图进行优化，得到优化后的对象置信度图的表达式，包括以下步骤：
对对象置信度图进行优化，优化后的表达式为：
且||E||F≤σ
其中F为观测矩阵，
F＝A+O+E (9)
为观测矩阵F对背景矩阵A的分解模型；
A为背景矩阵；O为烟叶矩阵；E为轮廓矩阵；
||Π(O)||O为烟叶矩阵O的非零条目的数量；
||E||F为轮廓矩阵E的Frobenius范数，其等于轮廓矩阵E中平方元素之和的平方根；
为所有图像中移动对象像素总数的上限；
σ为一个常数，反映了对所有图像中因像素损坏而产生的最大总方差；
采用拉格朗日形式对式(8)进行求解，拉格朗日形式的表达式为：
τ及λ是加权参数；
τ对应于所有图像中移动对象的像素总数；
λ对应于所有图像中由于像素损坏而产生的总方差；
对式(10)进行转换，得到优化后的对象置信度图的表达式为：
其中||A||*为背景矩阵A的核范数。
7.根据权利要求6所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述采用增广拉格朗日乘子法对优化后的对象置信度图的表达式进行优化求解，得到对象置信度图中的各个序列分解后的各个分量的增广拉格朗日函数，包括以下步骤：
将优化后的对象置信度图的表达式转换成增广拉格朗日乘子法表达式：
其中Y为拉格朗日乘子矩阵，
||Π(O)||1为烟叶矩阵O的1-范数；
β是一个正标量；<,>表示矩阵内积；
使用ALM算法通过迭代最小化增广拉格朗日函数来迭代估计拉格朗日乘子和最优解：
其中Ak+1为迭代k次后的背景矩阵；
Ok+1为迭代k次后的烟叶矩阵；
Ek+1为迭代k次后的轮廓矩阵；
Yk+1＝Yk+βk(Fk+1-Ak+1-Ok+1-Ek+1) (14)
其中Yk为迭代k-1次后的拉格朗日乘子矩阵；
Yk+1为迭代k次后的拉格朗日乘子矩阵；
βk为一个单调递增的正序列；
Fk+1为迭代k次后的观测矩阵；
分别最小化每个分量的增广拉格朗日函数，得到：
其中Ok为迭代k-1次后的烟叶矩阵；Ek为迭代k-1次后的轮廓矩阵。
8.根据权利要求7所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述根据奇异值阈值算法推导各个分量的增广拉格朗日函数，包括以下步骤：
根据奇异值阈值算法，得到每个最小化组件的封闭形式，其中奇异值阈值算法表达式如下：
U为正交矩阵；
W为对角矩阵；
V为正交矩阵；
其中表示矩阵的完全奇异值分解；
每个所述最小化组件的表达式如下：
Sα(.)是为标量x定义的软阈值算子，如下所示：
Sα(x)＝sign(x)·max{|x|-α,0}, (22)
对于大小相同的两个矩阵A＝(aij)和B＝(bij)，SA(B)应用软阈值入口输出带有条目的矩阵。
9.根据权利要求1所述的一种基于图像分析的烟叶烘烤程度检测方法，其特征在于：所述根据烟叶分量图像中的R、G、B的比例值建立回归方程，包括以下步骤：
求解色度系统中的色度坐标(r，g，b)，其中：
在RGB颜色空间的基础上采用R、G、B的均值和g，以及组合特征r-g、G-R、G/R、G/(R+B)、(G-R)/(G+R)、(R-G)/(R+G+B)共8个颜色特征参数建立回归方程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210528455.5A CN114913100B (zh) | 2022-05-16 | 2022-05-16 | 一种基于图像分析的烟叶烘烤程度检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210528455.5A CN114913100B (zh) | 2022-05-16 | 2022-05-16 | 一种基于图像分析的烟叶烘烤程度检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114913100A CN114913100A (zh) | 2022-08-16 |
| CN114913100B true CN114913100B (zh) | 2023-09-15 |
Family
ID=82767646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210528455.5A Active CN114913100B (zh) | 2022-05-16 | 2022-05-16 | 一种基于图像分析的烟叶烘烤程度检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114913100B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115349654A (zh) * | 2022-08-23 | 2022-11-18 | 中国烟草总公司郑州烟草研究院 | 一种烟叶烘烤参数的标定方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683178A (zh) * | 2016-12-30 | 2017-05-17 | 天津大学 | 基于图论的低秩矩阵恢复三维骨架方法 |
| CN110287819A (zh) * | 2019-06-05 | 2019-09-27 | 大连大学 | 动态背景下基于低秩及稀疏分解的动目标检测方法 |
| CN110414598A (zh) * | 2019-07-26 | 2019-11-05 | 国家消防工程技术研究中心 | 烟雾检测方法、装置、计算机及存储介质 |
| CN112818827A (zh) * | 2021-01-28 | 2021-05-18 | 贵州省烟草科学研究院 | 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法 |
| CN113358647A (zh) * | 2021-05-18 | 2021-09-07 | 景延秋 | 一种烟草烘烤数据预测监控模型建立方法 |
| CN113919443A (zh) * | 2021-02-24 | 2022-01-11 | 北京优创新港科技股份有限公司 | 一种基于图像分析烟叶成熟度状态概率计算方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014078862A1 (en) * | 2012-11-19 | 2014-05-22 | Altria Client Services Inc. | Blending of agricultural products via hyperspectral imaging and analysis |
-
2022
- 2022-05-16 CN CN202210528455.5A patent/CN114913100B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683178A (zh) * | 2016-12-30 | 2017-05-17 | 天津大学 | 基于图论的低秩矩阵恢复三维骨架方法 |
| CN110287819A (zh) * | 2019-06-05 | 2019-09-27 | 大连大学 | 动态背景下基于低秩及稀疏分解的动目标检测方法 |
| CN110414598A (zh) * | 2019-07-26 | 2019-11-05 | 国家消防工程技术研究中心 | 烟雾检测方法、装置、计算机及存储介质 |
| CN112818827A (zh) * | 2021-01-28 | 2021-05-18 | 贵州省烟草科学研究院 | 基于图像识别的烟叶烘烤过程中阶段控温点的判断方法 |
| CN113919443A (zh) * | 2021-02-24 | 2022-01-11 | 北京优创新港科技股份有限公司 | 一种基于图像分析烟叶成熟度状态概率计算方法 |
| CN113358647A (zh) * | 2021-05-18 | 2021-09-07 | 景延秋 | 一种烟草烘烤数据预测监控模型建立方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刍议高光谱遥感技术在烟叶生产中的应用前景;王浮波等;《智慧农业导刊》;第1卷(第14期);第4-6页 * |
| 基于视频的人群异常检测方法研究;刘倩男;《中国优秀硕士学位论文全文数据库 信息科技辑》;第1-48页 * |
| 视频序列图像中运动目标检测与跟踪算法研究;焦孟君;《中国优秀硕士学位论文全文数据库 信息科技辑》;第1-53页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114913100A (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102477B (zh) | 一种基于非凸低秩稀疏约束的高光谱遥感图像恢复方法 | |
| CN109872285B (zh) | 一种基于变分约束的Retinex低照度彩色图像增强方法 | |
| CN108133465B (zh) | 基于空谱加权tv的非凸低秩松弛的高光谱图像恢复方法 | |
| CN103700114B (zh) | 一种基于可变高斯混合数的复杂背景建模方法 | |
| CN105046664B (zh) | 一种基于自适应epll算法的图像去噪方法 | |
| CN105243670B (zh) | 一种稀疏和低秩联合表达的视频前景对象精准提取方法 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN109215025B (zh) | 一种基于非凸秩逼近极小化的红外弱小目标检测方法 | |
| CN113808036B (zh) | 基于Retinex模型的低照度图像增强与去噪方法 | |
| CN110807742A (zh) | 一种基于一体式网络的微光图像增强方法 | |
| CN105046202B (zh) | 自适应的人脸识别光照处理方法 | |
| CN114913100B (zh) | 一种基于图像分析的烟叶烘烤程度检测方法 | |
| CN113313702A (zh) | 基于边界约束与颜色校正的航拍图像去雾方法 | |
| CN111882555B (zh) | 基于深度学习的网衣检测方法、装置、设备及存储介质 | |
| Wu et al. | A modified fuzzy dual-local information c-mean clustering algorithm using quadratic surface as prototype for image segmentation | |
| Yang et al. | Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors | |
| CN115100068A (zh) | 一种红外图像校正方法 | |
| Luo et al. | Shadow removal based on clustering correction of illumination field for urban aerial remote sensing images | |
| Singh et al. | Fixed point ICA based approach for maximizing the non-Gaussianity in remote sensing image classification | |
| CN111160161B (zh) | 一种基于噪声剔除的自步学习人脸年龄估计方法 | |
| CN110136164A (zh) | 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 | |
| CN115731135A (zh) | 基于低秩张量分解和自适应图全变分的高光谱图像去噪方法及系统 | |
| CN110222756A (zh) | 一种面向高光谱复杂背景的迭代聚类异常检测算法 | |
| CN113160345B (zh) | 一种基于ConvLSTM的时间序列影像重建方法 | |
| CN110175509A (zh) | 一种基于级联超分辨率的全天候眼周识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Jing Yanqiu Inventor after: Gu Huizhan Inventor after: Yang Xingyou Inventor after: Li Junju Inventor after: Liu Ting Inventor after: Xie Liangwen Inventor after: Li Chunguang Inventor after: Sun Mi Inventor after: Yu Xiangwen Inventor after: Xie Yunbo Inventor after: Liu Haibing Inventor after: Li Bin Inventor after: Lei Qiang Inventor after: Guo Shiping Inventor after: Yu Baohua Inventor after: Yin Hongfei Inventor after: Li Yaoguang Inventor after: He Jixian Inventor before: Jing Yanqiu Inventor before: Li Yaoguang Inventor before: Gu Huizhan Inventor before: Yang Xingyou Inventor before: He Jixian Inventor before: Li Junju Inventor before: Liu Ting Inventor before: Guo Shiping Inventor before: Xie Liangwen Inventor before: Yu Xiangwen Inventor before: Lei Qiang Inventor before: Yu Baohua Inventor before: Yin Hongfei Inventor before: Li Bin Inventor before: Xie Yunbo Inventor before: Liu Haibing Inventor before: Li Chunguang Inventor before: Sun Mi |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |