CN113063757B - 一种类球形果蔬形态建模方法及光学图谱校正方法 - Google Patents

Abstract

本发明提供了一种类球形果蔬形态建模方法及光学图谱校正方法。所述类球形果蔬形态建模方法为首先根据类球形果蔬外部轮廓特点，选择相对应的二维空间曲线进行拟合，并在二维曲线上确定多个特征点，用于后续求取类球形果蔬形态模型参数，所述类球形果蔬形态模型为三维曲面模型，由二维空间曲线经过旋转得到；然后用相机获取类球形果蔬的图像，经过扣除背景、二值化等图像处理操作后，在图像上建立坐标系，求出多个特征点的坐标，代入三维曲面模型，求出三维曲面模型中的多个参数，实现对类球形果蔬曲面形态函数的实时建模。所述类球形果蔬主要包括：苹果、柑橘、桃子、梨、番茄、马铃薯等。

Description

一种类球形果蔬形态建模方法及光学图谱校正方法

技术领域

本发明涉及果蔬农产品检测领域，主要涉及一种类球形果蔬形态建模方法及光学图谱校正方法。

背景技术

我国是果蔬农产品的生产大国和消费大国，但目前较低的产后处理水平制约了相应产业的发展，检测分级环节的缺失导致对应商品质量良莠不齐，无法满足消费者对高品质果蔬农产品的消费需求，也造成对外出口缺乏竞争力。提高果蔬农产品品质检测分级水平对提高商品质量、保障食品安全具有重要意义。

作为类球形果蔬的主要农产品之一，以苹果为例，苹果品质检测分级技术主要分为人工式和机械式。人工检测苹果外部品质指标存在效率低、人工成本高等问题，而通过理化试验检测苹果内部品质的方法具有破坏性、抽样性和滞后性，无法做到实时监测全部苹果品质。机械式主要是通过机械装置分选苹果的大小和形状。例如利用不同孔径的筛子，进行苹果大小分级。作为新兴的苹果品质光学无损检测技术，特别是视觉技术和光谱学技术，能无损检测苹果的内外部品质。视觉技术主要通过一定的图像处理方法提取苹果外观品质信息，光谱学技术可以无损获取苹果的内部品质信息。通过两者分别获取的图像数据和光谱数据能够同时反映苹果的外部品质和内部品质信息，实现对苹果的内外部品质同时检测。

利用图像技术和光谱技术检测苹果存在技术难点，例如，在实际检测时，在苹果表面曲率的作用下，反射光呈放射状，光学传感器接收到的反射光只代表了其中一个方向上的反射光信息，导致采集到的光谱信号存在误差，而苹果不是十分规则的球体，样品个体表面曲率不恒定，难以精准校正，导致内外部品质相同的苹果，获取的图像和光谱产生差异；另一方面，由于苹果的大小形态各异，苹果表面的光反射点与光学传感器的距离无法保持恒定，增加了图像和光谱信号中的误差，使品质预测准确度降低，因此需要一种针对苹果表面曲率和形态大小的校正方法。本发明提出了一种类球形果蔬形态建模方法及光学图谱校正方法，能够实时建立苹果的曲面函数模型，进一步计算检测点曲率及传感器与样品间距离，从而对采集到的图像信息和光谱信号进行校正，提高光学信息的信噪比及模型预测准确率。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种类球形果蔬形态建模方法及光学图谱校正方法，用以实现以下目的：

1)提出一种类球形果蔬农产品曲面函数模型构建方法。以苹果为例，使用实时检测的苹果形态轮廓特征参数，建立个体苹果形态曲面函数模型。通过该模型能够计算出苹果表面各点的曲率及高度，用于后续图像和光谱的校正。

2)提出一种类球形果蔬农产品光学图谱的校正方法，该方法具体分为曲率校正方法及检测距离校正方法。以苹果为例，在实时建立了曲面函数模型的基础上，计算苹果上检测点的曲率及直径大小，对采集到的图像和光谱信息分别进行校正。

3)关于曲率校正，提出一种针对类球形果蔬农产品表面曲率的校正方法。样本表面的光反射强度与反射点的曲率有关，反射点曲率越大，反射方向越分散，光学传感器只能接收到某一个反射方向上的信号，因此实际测量值并非真实值，需要对测量值进行校正。本发明提出的校正方法以光学朗伯定理(Lambert's law)为理论基础，根据样本表面反射点曲率与反射光测量值求出反射光强度的校正值，从而实现针对类球形果蔬农产品表面曲率的图像及光谱信号校正。

4)关于检测距离校正，提出一种针对类球形果蔬农产品与传感器检测距离的校正方法。由于果蔬农产品的直径大小不同，使得光学传感器与样本表面的距离差别较大，光学传感器接收到的反射光信号强度与光路长度存在相关关系(可以通过实验预先建立其关系)，分别求得图像灰度值和光谱信号强度与光路长度的相关规律后，根据计算出的光学传感器到苹果表面的距离，可以计算出图像及光谱信号的校正值，从而实现针对检测距离的校正。

为达到以上目的，本发明采取的技术方案是：

一种类球形果蔬形态建模方法，包括以下步骤：

首先根据类球形果蔬外部轮廓特点，选择相对应的二维空间曲线进行拟合，并在二维曲线上确定多个特征点，用于后续求取类球形果蔬形态模型参数，所述类球形果蔬形态模型为三维曲面模型，由二维空间曲线经过旋转得到；

然后用相机获取类球形果蔬的图像，经过扣除背景、二值化等图像处理操作后，在图像上建立坐标系，求出多个特征点的坐标，代入三维曲面模型，求出三维曲面模型中的多个参数，实现对类球形果蔬曲面形态函数的实时建模。

在上述方案的基础上，所述类球形果蔬主要包括：苹果、柑橘、桃子、梨、番茄、马铃薯等。

一种类球形果蔬表面曲率的校正方法，基于上述类球形果蔬形态建模方法，包括以下步骤：

首先基于类球形果蔬形态模型，求得类球形果蔬表面任意点的曲率及任意点切面与光学传感器夹角的角度值，光学传感器分为单点探测器和相机探测器，单点探测器用于获取类球形果蔬的光谱信息，相机探测器用于获取类球形果蔬的图像信息；

然后根据光在曲面上的反射规律，经过几何分析及计算得出图像校正值与相机探测器的测量光强值的换算关系或光谱校正值与单点探测器的测量光强值的换算关系。

此方法用于消除类球形果蔬表面曲率对光谱信息及图像信息造成的误差。

在上述方案的基础上，所述反射规律符合朗伯定理，具体如下所示：

I_m＝I_maxcosθ₄ (5)

其中，I_m为光学传感器在光反射点θ₄角度方向处接收到的光强值，I_max为反射光强的最大值，

对于单点探测器而言，单点探测器的测量光强值是类球形果蔬表面探测点处的切面夹角θ₃方向的反射光强值，θ₃与单点探测器和类球形果蔬的相对位置有关；

对于相机探测器而言，相机探测器的测量光强值是类球形果蔬表面探测点处的切面夹角θ₁与θ₂范围内的反射光强值之和，θ₁和θ₂的数值与相机探测器和类球形果蔬的相对位置有关；

单点探测器的测量光强值计算公式如(6)所示，

相机探测器的测量光强值计算公式如(7)所示，

R_{m_S}＝I_maxcosθ₃ (6)

式中，R_{m_S}为单点探测器的测量光强值，R_{m_CCD}为相机探测器的测量光强值，I_max为反射光强的最大值，r为相机镜头半径；

单点探测器的光谱校正值R_{ideal_S}的计算方法如式(8)所示，

相机探测器的图像校正值R_{ideal_CCD}的计算方法如式(9)所示，

式(9)中，θ₀的大小与相机镜头半径及检测点的高度有关；

由式(6)及式(8)得出单点探测器的光谱校正值R_{ideal_S}与单点探测器的测量光强值的换算关系：

由式(7)及式(9)得出相机探测器的图像校正值R_{ideal_CCD}与相机探测器的测量光强值的换算关系：

一种类球形果蔬检测距离的校正方法，基于上述类球形果蔬形态建模方法，包括：类球形果蔬的光谱检测距离校正方法和类球形果蔬的图像检测距离校正方法，所述类球形果蔬的光谱检测距离校正方法，包括以下步骤：

设计单点探测器与类球形果蔬之间不同检测距离的光谱采集实验，通过实验方法确定了光谱强度与检测距离之间存在线性关系，根据这一规律，建立了不同检测距离、不同波长与光谱校正值的校正系数矩阵A，校正系数矩阵A具体如下式所示：

校正系数矩阵A为i行j列矩阵，i对应单点传感器与样品之间的距离，j对应波长点；

基于类球形果蔬形态模型，求得类球形果蔬表面任意点在坐标系下的高度值，求出单点探测器与类球形果蔬表面任意点之间的检测距离，依据校正系数矩阵A实现光谱的检测距离校正。

在上述方案的基础上，所述类球形果蔬的图像检测距离校正方法，包括以下步骤：

根据光学反射规律及数学几何方法将类球形果蔬图像中的曲面展开为平面，基于类球形果蔬形态模型，求得类球形果蔬表面任意点在坐标系下的高度值，根据高度值进一步计算出展开后的平面中某一波长处各像素点的灰度校正值，灰度校正值R_i的计算公式为：

式(13)中，R_m为某像素点的灰度实测值，s为类球形果蔬中心点到类球形果蔬表面上某检测点的距离，xt为某像素点与类球形果蔬中心之间的距离，

为校正系数；

根据实验方法获得相机探测器在不同波长下采集的图像灰度值的变化规律，建立了不同检测距离、不同波长与图像灰度值的校正系数矩阵B，校正系数矩阵B具体如下式所示：

校正系数矩阵B为p行q列矩阵，p对应类球形果蔬曲面上各点的高度，q对应不同波长，依据校正系数矩阵B实现图像的检测距离校正。

附图说明

本发明有如下附图：

图1椭圆拟合苹果轮廓示意图。

图2单点探测器获取光谱示意图。

图3相机探测器获取图像示意图。

图4不同距离下单点探测器采集的光谱数据。

图5 750nm下检测距离与光谱反射率的关系

图6 790nm下检测距离与光谱反射率的关系

图7图像检测距离校正示意图。

具体实施方式

以下结合附图1-7对本发明作进一步详细说明。

1)关于苹果曲面形态函数模型，可以预设为两个椭圆按一定角度交错形成的外围轮廓，按果梗-花萼轴线旋转构成的曲面。为了求得这个曲面函数表达式，先分析苹果果梗-花萼轴纵切面轮廓，如图1所示，两椭圆上的点(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，(x₅,y₅)，(x₆,y₆)，对应了苹果花萼、赤道、果梗三个部位附近的轮廓形态特征点。将两椭圆组合后的x轴上半部分轮廓曲线围绕x轴旋转360°即可得到苹果曲面。在二维坐标系x-y中，上半个椭圆是由标准椭圆经过平移和旋转一定角度得到的，假设该椭圆的中心坐标为(m,n)，中心在y轴方向上相对原点的平移量为l，半长轴和半短轴长度分别为a和b，则该椭圆方程可表示为式(1)。

进一步，对其x轴上半部椭圆进行旋转，将得到一个三维空间内的曲面，此时二维坐标系x-y将变为三维坐标系x-y-z，此时上半曲面的函数表达式为式(2)。

令

对式(2)进行求解，其中k的正解为：

式中，A＝a²n²+b²m²，B＝2mb²(nx-ml)-2na²(mx+nl)，C＝b²(nx-ml)²+a²(mx+nl)²-a²b²，k、A、B、C是为变了便于计算进行的变量替换，无特殊意义。

y可表示为x和z的函数表达式。即：

在实际的苹果检测时，为了建立苹果曲面函数模型，首先用图像采集系统采集苹果的图像，经过图像处理提取苹果轮廓上果梗、赤道、花萼三个位置点，即(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，(x₅,y₅)，(x₆,y₆)，利用这些点计算出式(1)中的a，b，m，n，l等参数，代入式(4)得出苹果曲面表达式，实现对苹果曲面进行实时动态建模。从而可得到苹果上任意点的高度，即求出该点到光学传感器的距离，光学传感器布置在苹果的上方。

在求得苹果曲面函数模型后，苹果样本上的任意一点(x₀,y₀,z₀)的切面相对于y轴的斜率能通过对式(4)进行求导得出。

2)在建立苹果曲面形态函数模型后，探究了光学传感器测量值与经过曲率校正的校正值之间的换算关系。光照射在样本表面时，由于表面曲率的作用，其反射规律符合朗伯定理(Lambert's law)，即：

I_m＝I_maxcosθ₄ (5)

其中，I_m为光学传感器在光反射点θ角度方向处接收到的光强值，I_max为反射光强的最大值，即沿样本表面一点法线方向的反射光强值。在应用光谱技术进行检测时，单点探测器可以获取在一定波长范围内某一点的光谱数据(图2)，相机探测器可获取特定波长下的图像信息(图3)。

对于单点探测器而言，单点探测器的测量光强值是苹果表面探测点(x₀,y₀,z₀)处的切面夹角θ₃方向的反射光强值，θ₃与单点探测器和样本的相对位置有关。对于相机探测器而言，相机探测器的测量光强值是苹果表面探测点(x₀,y₀,z₀)处的切面夹角θ₁与θ₂范围内的反射光强值之和，θ₁和θ₂的数值与相机探测器和样本的相对位置有关。两种探测器的测量光强值计算公式分别如式(6)、(7)所示，

R_{m_S}＝I_maxcosθ₃ (6)

式中，R_{m_S}为单点探测器的测量光强值，R_{m_CCD}为相机探测器的测量光强值，I_max为反射光强的最大值，r为相机镜头半径。R_ideal是我们期望得到的校正值，计算方法为：

式(9)中，θ₀的大小与相机镜头半径及检测点的高度有关。

由式(6)及式(8)可得出单点光谱校正值R_{ideal_S}与单点探测器的测量光强值的换算关系：

由式(7)及式(9)可得出相机探测器采集的图像灰度校正值R_{ideal_CCD}与相机探测器的测量光强值的换算关系：

式(10)和式(11)分别实现了对单点光谱信息和图像信息的消除曲率影响的校正。

3)在第一步方案中得到果蔬曲面上各点高度计算方法的基础上，进一步探究了光学传感器测量值与类球形果蔬样本之间距离的关系。以苹果为例，设计了如下实验进行了探究，首先根据苹果的实际样本直径约为60mm～110mm，确定了单点传感器与检测点之间距离变化范围约为10mm，以距离为自变量，采集了不同距离下单点探测器的500nm～1700nm的反射率光谱数据，如图4所示。

从图4可知，光谱强度随着单点探测器到光反射点距离的变大而逐渐减弱，为了进一步探究光谱强度的衰减规律，从中选取750nm与790nm两个波段的数据进行了分析，如图5-6所示。随着光学传感器到样本反射点距离的变大，光谱强度呈现线性减小的规律，线性相关性较强，决定系数分别为0.9947与0.991。根据这一规律，建立了针对光谱的距离校正系数矩阵A：

该矩阵为i行j列矩阵，i对应单点传感器与样品之间的距离，j对应波长点，该矩阵可通过实验方法得到，建立了不同检测距离、不同波长与光谱校正值的校正关系，实现了检测距离上的单点光谱探测器校正。

另一方面，对图像信息进行了距离校正，以苹果为例，相机探测器采集的特定波长下的苹果图像将三维的类球体表达为二维平面，由于苹果曲面上各点高度是变化的，相机探测器与样本表面各点距离不恒定，导致采集到的图像上像素点灰度值存在误差，为校正图像，将曲面展开为平面，如图7所示，在距离苹果中心距离为xt的某一反射点处灰度校正值R_i计算公式为：

式(13)中，R_m为该像素点灰度实测值，s为苹果中心点到该点的距离。为了将曲面展开为平面，还需要知道曲面的弧长la的长度，可通过下式计算得出：

根据式(14)便可求出曲面上各点在图像中新的对应像素点位置，结合式(13)计算出的灰度校正值，便可得到一幅新的图像，该图像由苹果曲面展开为平面得到，该平面上各点高度相同，消除了苹果曲面上高度不同引起的图像误差，实现了检测距离上的图像校正。进一步建立了图像校正系数矩阵B：

该矩阵为p行q列矩阵，p对应苹果曲面上各点的高度，q对应不同波长，该矩阵建立了不同检测距离、不同波长与图像灰度值的校正关系。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (2)

1.一种类球形果蔬表面曲率的校正方法，基于类球形果蔬形态建模方法，其特征在于，所述基于类球形果蔬形态建模方法，包括以下步骤：

首先根据类球形果蔬外部轮廓特点，选择相对应的二维空间曲线进行拟合，并在二维曲线上确定多个特征点，用于后续求取类球形果蔬形态模型参数，所述类球形果蔬形态模型为三维曲面模型，由二维空间曲线经过旋转得到；

然后用相机获取类球形果蔬的图像，经过扣除背景、二值化图像处理操作后，在图像上建立坐标系，求出多个特征点的坐标，代入三维曲面模型，求出三维曲面模型中的多个参数，实现对类球形果蔬曲面形态函数的实时建模；

所述类球形果蔬包括：苹果、柑橘、桃子、梨、番茄和马铃薯；

所述类球形果蔬表面曲率的校正方法，包括以下步骤：

首先基于类球形果蔬形态模型，求得类球形果蔬表面任意点的曲率及任意点切面与光学传感器夹角的角度值，光学传感器分为单点探测器和相机探测器，单点探测器用于获取类球形果蔬的光谱信息，相机探测器用于获取类球形果蔬的图像信息；

然后根据光在曲面上的反射规律，经过几何分析及计算得出图像校正值与相机探测器的测量光强值的换算关系或光谱校正值与单点探测器的测量光强值的换算关系；

所述反射规律符合朗伯定理，具体如下所示：

I_m＝I_maxcosθ₄ (5)

其中，I_m为光学传感器在光反射点θ₄角度方向处接收到的光强值，I_max为反射光强的最大值，

对于单点探测器而言，单点探测器的测量光强值是类球形果蔬表面探测点处的切面夹角θ₃方向的反射光强值，θ₃与单点探测器和类球形果蔬的相对位置有关；

对于相机探测器而言，相机探测器的测量光强值是类球形果蔬表面探测点处的切面夹角θ₁与θ₂范围内的反射光强值之和，θ₁和θ₂的数值与相机探测器和类球形果蔬的相对位置有关；

单点探测器的测量光强值计算公式如(6)所示，

相机探测器的测量光强值计算公式如(7)所示，

R_{m_S}＝I_maxcosθ₃ (6)

式中，R_{m_S}为单点探测器的测量光强值，R_{m_CCD}为相机探测器的测量光强值，I_max为反射光强的最大值，r为相机镜头半径；

单点探测器的光谱校正值R_{ideal_S}的计算方法如式(8)所示，

相机探测器的图像校正值R_{ideal_CCD}的计算方法如式(9)所示，

式(9)中，θ₀的大小与相机镜头半径及检测点的高度有关；

由式(6)及式(8)得出单点探测器的光谱校正值R_{ideal_S}与单点探测器的测量光强值的换算关系：

由式(7)及式(9)得出相机探测器的图像校正值R_{ideal_CCD}与相机探测器的测量光强值的换算关系：

2.一种类球形果蔬检测距离的校正方法，基于类球形果蔬形态建模方法，其特征在于，

所述基于类球形果蔬形态建模方法，包括以下步骤：

首先根据类球形果蔬外部轮廓特点，选择相对应的二维空间曲线进行拟合，并在二维曲线上确定多个特征点，用于后续求取类球形果蔬形态模型参数，所述类球形果蔬形态模型为三维曲面模型，由二维空间曲线经过旋转得到；

然后用相机获取类球形果蔬的图像，经过扣除背景、二值化图像处理操作后，在图像上建立坐标系，求出多个特征点的坐标，代入三维曲面模型，求出三维曲面模型中的多个参数，实现对类球形果蔬曲面形态函数的实时建模；

所述类球形果蔬包括：苹果、柑橘、桃子、梨、番茄和马铃薯；

所述类球形果蔬检测距离的校正方法，包括：类球形果蔬的光谱检测距离校正方法和类球形果蔬的图像检测距离校正方法，所述类球形果蔬的光谱检测距离校正方法，包括以下步骤：

设计单点探测器与类球形果蔬之间不同检测距离的光谱采集实验，通过实验方法确定了光谱强度与检测距离之间存在线性关系，根据这一规律，建立了不同检测距离、不同波长与光谱校正值的校正系数矩阵A，校正系数矩阵A具体如下式所示：

校正系数矩阵A为i行j列矩阵，i对应单点传感器与样品之间的距离，j对应波长点；

基于类球形果蔬形态模型，求得类球形果蔬表面任意点在坐标系下的高度值，求出单点探测器与类球形果蔬表面任意点之间的检测距离，依据校正系数矩阵A实现光谱的检测距离校正；

所述类球形果蔬的图像检测距离校正方法，包括以下步骤：

根据光学反射规律及数学几何方法将类球形果蔬图像中的曲面展开为平面，基于类球形果蔬形态模型，求得类球形果蔬表面任意点在坐标系下的高度值，根据高度值进一步计算出展开后的平面中某一波长处各像素点的灰度校正值，灰度校正值R_i的计算公式为：

式(13)中，R_m为某像素点的灰度实测值，s为类球形果蔬中心点到类球形果蔬表面上某检测点的距离，xt为某像素点与类球形果蔬中心之间的距离，

为校正系数；

根据实验方法获得相机探测器在不同波长下采集的图像灰度值的变化规律，建立了不同检测距离、不同波长与图像灰度值的校正系数矩阵B，校正系数矩阵B具体如下式所示：

校正系数矩阵B为p行q列矩阵，p对应类球形果蔬曲面上各点的高度，q对应不同波长，依据校正系数矩阵B实现图像的检测距离校正。

Images