CN105158275B - 基于近红外编码点阵结构光的苹果果梗/花萼检测方法 - Google Patents

Abstract

本发明公开了一种利用近红外编码点阵结构光检测苹果果梗/花萼的方法，所述方法包括生成近红外编码点阵结构光，分别投影后利用苹果图像和参考图像的对照，确定苹果图像中的果梗/花萼区域。本方法将对整张苹果图像的分析，转换为通过对图像中若干离散结构光光斑的分析来识别果梗/花萼的位置，从而大大降低计算时间，满足实际生产中高速在线检测的要求。

Description

基于近红外编码点阵结构光的苹果果梗/花萼检测方法

技术领域

本发明涉及蔬菜水果检测技术领域，特别涉及一种基于近红外编码点阵结构光的苹果果梗/花萼检测方法。

背景技术

我国是苹果生产大国，但目前苹果的产后处理水平十分低下，大部分苹果种植者对苹果的分级认识不够，仅剔除不能上市的苹果，对苹果大小做粗略的分级，分级手段主要靠人工分级，分级结果不够准确。基于机器视觉的苹果外部品质分选机可以综合检测苹果的大小，颜色，果形和表面缺陷等主要外部品质指标，具有精度高，自动化程度高和非破坏性检测等优点，在苹果产后分级处理中得到了广泛应用。

苹果大小、形状、颜色指标的自动检测方法已比较成熟，而缺陷的快速识别一直是苹果实时分级的障碍，其主要难点是由于苹果表面的缺陷区域和果梗/花萼区域在图像的灰度值上有非常大的相似性，二者在图像上都呈现为暗黑色的斑点，从而导致缺陷与果梗/花萼难以区分。因此是否能够准确检测苹果图像中的果梗/花萼区域成为正确识别苹果表面缺陷的前提。现有的检测苹果果梗/花萼的方法主要有：

特征检测法：提取缺陷区域与果梗/花萼区域的特征，利用人工神经网络，支撑向量机等分类器进行识别，这类方法的缺点是识别正确率较低。

高光谱检测法：利用高光谱相机检测苹果表面缺陷，尽管识别正确率较高，但是高光谱相机价格极其昂贵，很难用于实际的生产当中。

阴影重建检测法：利用苹果表面的阴影对苹果进行三维重建，根据重建结果识别苹果表面的凹陷区域，这类方法很难保证苹果处于任意姿态时都提供足够的阴影信息用于三维重建，而且当缺陷区域的颜色特征与阴影相似时，缺陷区域会被错误地判别为果梗/花萼区域。

结构光编码方法通过向物体投射编码图案，大大提高了检测速度，从而在三维重建、工业测量领域有着广泛的应用前景。在苹果在线检测过程中，不仅要对果梗/花萼和缺陷进行检测，还要检测表面着色率。如果使用彩色结构光编码图像，一方面影响表面着色率的检测，另一方面会受到表面颜色的干扰。而近红外结构光可以避免这两个问题，因为近红外图像仅反映物体表面的性质，与表面颜色无关。近红外图像为灰度图像，无法利用颜色作为编码信息，同时普通投影设备无法投射出近红外编码图案，这使得在可见光波段常用的颜色、灰度变化以及特定图案这些常用的结构光编码手段无法直接用于近红外结构光。因此需要一种不依赖于颜色、灰度变化以及图形符号的结构光编码基元。对于单纯的近红外结构光光斑阵列，每个光斑都具有相似的形状，因此很难对投射到物体表面的光斑与投射到参考平面上面的光斑进行匹配。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是解决目前利用机器视觉技术检测苹果果梗/花萼方面的不足。

(二)技术方案

本发明提出了一种基于近红外编码点阵结构光的苹果果梗/花萼检测方法，包括：

S1，设置n1条虚拟的平行且间距相等的水平直线和n2条虚拟的平行且间距相等的垂直直线，对应每条垂直直线和水平直线的交点生成一个光斑，该光斑位于该水平直线上且位于与对应交点成固定距离的该垂直直线的左侧或右侧，当该光斑位于左侧时，该光斑的取值为第一基本编码基元，当该光斑位于右侧时，该光斑的取值为第二基本编码基元，从而生成n₁×n₂的近红外编码点阵结构光，并且对于任意包括k₁行和k₂列光斑的子窗口，子窗口对应的码值各不相同，其中n₁、n₂、k₁、k₂均为正整数；

S2，将近红外编码点阵结构光分别投射到参考平面和苹果表面后，分别采集得到参考图像和苹果图像，求取近红外编码点阵结构光在每个图像上的每个光斑的位置；

S3，选取苹果图像上的一个包括k₁行和k₂列光斑的子窗口，计算该子窗口的码值，再在n₁×n₂的近红外编码点阵中搜索具有相同码值的子窗口，从而确定苹果表面近红外光斑在近红外编码点阵中的位置，进而建立起苹果图像的每个光斑与参考图像的每个光斑的对应关系；

S4，计算苹果图像的每个光斑与参考图像对应光斑的位置的纵坐标差值，如果苹果图像上左右都存在其他光斑的某光斑的所述纵坐标差值的二阶差分小于0，则该光斑的相应位置标记为果梗/花萼区域，如果左右有一侧不存在其他光斑的某光斑与其水平相邻光斑的所述纵坐标差值之差大于设定阈值，则相应位置标记为果梗/花萼区域。

优选地，所述基本编码单元，若近红外结构光光斑位于对应的虚拟垂直直线左侧，则第一基本编码基元表示为1，若近红外结构光光斑位于对应的虚拟垂直直线右侧，则第二基本编码基元表示为0；或者为：若近红外结构光光斑位于对应的虚拟垂直直线左侧，则第一基本编码基元为0，若近红外结构光光斑位于对应的虚拟垂直直线右侧，则第二基本编码基元为1。

优选地，所述光斑的位置，为该光斑中灰度值最大的点的坐标，如果该光斑中有多个灰度值相同的最大值点，则按照从上到下，从左到右的顺序求取第一个灰度值最大的点的坐标作为光斑的位置。

优选地，在S3中，所述苹果图像的子窗口中的每个光斑的取值如此确定：横坐标差值小于第一阈值的光斑组成一列光斑，对于平均横坐标差值小于第二阈值的相邻两列光斑，左列中光斑的取值为第一基本编码基元，右列中光斑的取值为第二基本编码基元。

优选地，其特征在于，n₁＝15，n₂＝17。

优选地，其特征在于，k₁＝4，k₂＝2。

优选地，所述近红外编码点阵结构光由近红外激光点阵仪或近红外LED点阵结构光投射装置发射。

优选地，所述参考平面为苹果分选传送装置的上表面。

优选地，所述苹果图像和参考图像由相机在同一位置采集。

优选地，采集一个苹果在分选传送装置的三个工位上的近红外图像，对每一个苹果图像求取果梗/花萼区域。

(三)有益效果

本发明针对果梗/花萼为苹果表面凹陷区域这一特征，通过结构光投射器将近红外点阵结构光编码图案投射到苹果表面，使用工业相机拍摄投射后的编码图像，利用投射到苹果表面前后图像中点阵光斑的匹配关系，确定苹果图像中果梗/花萼区域的位置信息。在实际生产当中，需要在果品分选生产线在线运行的过程中识别果梗/花萼的位置，因此对检测方法的实时性提出了较高的要求。本方法将对整张苹果图像的分析，转换为通过对图像中若干离散结构光光斑的分析来识别果梗/花萼的位置，从而大大降低计算时间，满足实际生产中高速在线检测的要求。

附图说明

图1是点阵结构光成像模型的几何结构关系原理图；

图2是点对在成像坐标系X方向和Y方向上的变化图；

图3是近红外点阵结构光编码模式示意图；

图4是近红外编码点阵结构光投射在苹果表面后在线检测效果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

近红外编码点阵结构光编码基元的选取基于如下原理：

对于一个待测类球形三维物体，投影在三维物体上点阵成像的几何结构关系，如图1所示。O_W-X_WY_WZ_W为世界坐标系，O_C-X_CY_CZ_C为相机坐标系，O-XY为成像平面坐标系。点P和点C分别为投影装置与相机的物镜中心。为投影光轴，P_R1，P_R2和P_R3为投影光线，每条投影光线与参考平面R的交点确定了每个投影光斑在参考平面上的位置。S₁，S₂和S₃为投影光线与待测物体表面的交点，这些交点确定了每个投射光斑在类球形物体表面上的空间位置。为成像光轴，其与投影光轴夹角为α。参考平面R上的点R₁、R₂、R₃和曲面S上的点S₁、S₂、S₃的成像过程可以分为旋转变换、平移变换和透视变换三个步骤。相应的旋转矩阵为：

平移矩阵为：

式中L_C为相机物镜中心与世界坐标系中O_W点的距离。最后，透视变换矩阵为：

式中f为相机的焦距。空间坐标系中的点经过以上三个变换，在成像平面坐标系中成像，它的变换矩阵T可以表示为：

T＝T₃·T₂·T₁ (4)

如果投影在参考平面上的点在世界坐标系下的齐次坐标为(x₀，y₀，z₀，1)，变换后在成像平面坐标系中的坐标为：

其中z_I0可被忽略，且参考平面R对应的z值为0，则x_I0和y_I0分别为：

如果投影在三维物体表面上的点在世界坐标系下的齐次坐标为(X_S，Y_S，Z_S，1)，变换后在成像平面坐标系中的坐标为：

由于投影在三维物体表面上的点必在投影光线上，则有下式成立：

式中L_P为结构光投影装置的物镜中心与世界坐标系中O_W点的距离。根据式7，8可推导出点阵中的点在成像平面坐标系中x方向的坐标:

以及点阵中的点在成像平面坐标系中y方向的坐标：

(10)

通过结构光投射装置将点阵分别投射在参考平面和三维物体表面，再通过工业相机获取两个点阵图像，编码点阵中同一个点分别在物体表面和参考平面上所成的像构成了一个点对，根据公式6，9和10可以分别得到点对在成像平面坐标系x方向上和y方向上的位置变化为：

为确定结构光光斑在类球形物体表面的位置变化规律，假设有结构光光斑均匀分布于参考平面R中的水平直线l₁上，其中直线l₁的方程为y_W＝1，通过对l₁上光斑在投射到物体表面前后位置变化的分析，以确定光斑在Y_W方向上的变化规律；同理，假设有结构光光斑均匀分布于参考平面R中的垂直直线l₂上，其中直线l₂的方程为x_W＝-1，通过对l₂上光斑在投射到物体表面前后位置变化的分析，以确定光斑在X_W方向上的变化规律。图1所示测量系统在实际应用中，由于只需对凹陷的果梗/花萼区域做定性分析，而无需对凹陷的具体深度做定量分析，所以无需对该测量系统进行标定。但为说明编码的基本原理，通过相关的标定方法确定该三维测量系统相关参数，并根据公式11计算直线l₁上光斑投射到物体表面前后，在成像坐标系Y方向上的位置变化，其结果如图2(a)所示，从图2(a)中可以看出，光斑在Y方向上的相对位置变化较小。同理，根据公式11计算直线l₂上光斑投射到物体表面前后，在成像坐标系X方向上的位置变化，其结果如图2(b)所示，从图2(b)中可以看出，光斑在X方向的相对位置变化较大。在实际应用中，在X方向上两个相邻的光斑，它们在Y方向上的位置变化最大为1个像素，而在果梗/花萼处Y方向上两个相邻的光斑，它们在X方向上的位置变化可达到10个像素，因此可以利用这种位置变化的差异进行编码，从而克服在红外灰度图像中无法利用颜色和图形符号进行编码的缺点。

根据以上分析，考虑在变化较小的Y方向上利用点的相对位置变化进行编码。编码需要的0和1两个基元可以用点相对于虚拟垂直直线的位置变化来表示。光斑位于虚拟垂直线右侧表示基元0，光斑位于虚拟垂直线左侧表示基元1。

下面给出近红外编码点阵的生成方法。q元m级M序列是一个周期为n＝q^m-1的循环序列，序列中的每一个元素取自q个基元，基元可以是不同的颜色、数字以及符号。当q＝2，m＝8时的2元8级M序列对应的本原多项式为：

h(x)＝x⁸+x⁴+x³+x² (12)

该本原多项式对应的8阶线性反馈移位寄存器反馈路径可以表示为：

a_i+8＝a_i+4+a_i+3+a_i+2 (13)

设定任意一个非全零的初始值a₀，a₁，a₂，a₃，a₄，a₅，a₆，a₇，根据模2(q＝2)的运算规则，可以唯一地确定一个M序列。M阵列可用一个n＝n₁×n₂的二维伪随机矩阵表示，而该阵列可由一个含有素数个基元或素数的q次幂个基元组成的M序列a₀,a₁,a₂,...,a_n-1按照一定的规则生成，且满足式14：

由公式14，如果令q＝2，已生成的M序列a₀，a₁，a₂，a₃，...，a_n-1的周期为其中k₁，k₂称为M阵列的窗口参数，M阵列的大小为n₁×n₂的，其中n₂＝n/n₁，且n₁与n₂互素。

将光斑相对虚拟垂直直线的偏移作为M阵列的基元符号，令M阵列的窗口参数k₁＝4，k₂＝2，按照上述生成算法生成2元8级M阵列，如图3所示，该图为近红外点阵结构光编码模式示意图。在实际应用中，图像背景颜色为黑色，白色圆盘表示近红外光斑，由于采用单色光投影模式，因此不易受光照及苹果表面颜色变化的影响，提高了解码过程的鲁棒性。对于一个已知的M阵列，选定其中任意一个子阵列窗口，根据窗口具有的唯一性，都可以确定该子阵列窗口在M阵列中的位置，从而实现投射在物体表面的结构光图像与投射在参考平面上的编码图像的匹配。在图3中，任意4×2子窗口在编码阵列中具有唯一的码值。

图4为利用投射在苹果表面上的近红外编码点阵结构光在线检测苹果果梗/花萼的效果图。通过选取任意连续4×2子窗口可以确定该子窗口在编码阵列中的位置，进而确定苹果表面其他近红外光斑在编码阵列中的位置，利用光斑在苹果表面的变化规律实现苹果图像中凹陷区域的在线检测。

根据上述原理，本发明一个示例的检测方法包括以下步骤：

步骤S1：设置15条虚拟的平行且间距相等的水平直线和17条虚拟的平行且间距相等的垂直直线，对应每条垂直直线和水平直线的交点生成一个光斑，该光斑位于该水平直线上且位于与对应交点成固定距离的该垂直直线的左侧或右侧，当该光斑位于左侧时，该光斑的取值为第一基本编码基元0，当该光斑位于右侧时，该光斑的取值为第二基本编码基元1，从而生成15×17的近红外编码点阵结构光，并且对于任意包括4行和2列光斑的子窗口，子窗口对应的码值各不相同，子窗口的码值例如按照式：计算，其中a_i为第i(窗口中从左至右后从上到下的排序)个光斑的取值，即为第一基本编码基元0或为第二基本编码基元1。近红外编码点阵结构光由近红外激光点阵仪或近红外LED点阵结构光投射装置发射。

S2，将近红外编码点阵结构光分别投射到参考平面和苹果表面后，分别采集得到参考图像和苹果图像，求取近红外编码点阵结构光在每个图像上的每个光斑的位置。光斑的位置选定为该光斑中灰度值最大的点的坐标，如果该光斑中有多个灰度值相同的最大值点，则按照从上到下，从左到右的顺序求取第一个灰度值最大的点的坐标作为光斑的位置，与一般求取光斑的几何中心位置作为光斑的位置相比，计算速度很快，耗时少，实时性强，而且能保证识别的准确率。参考平面可选为苹果分选传送装置的上表面。

S3，选择苹果图像上一个4×2的子窗口，计算该子窗口的码值，再在15×17的近红外编码点阵中搜索具有相同码值的子窗口，从而确定苹果表面近红外光斑在近红外编码点阵中的位置，也就是建立起苹果表面每个光斑与参考平面每个光斑的对应关系。一般选择苹果图像上不在颜色较深区域的子窗口。子窗口中的每个光斑的取值如此确定：横坐标差值小于第一设定阈值的光斑组成一列光斑，对于平均横坐标差值小于第二阈值的相邻两列光斑，左列中光斑的取值为第一基本编码基元0，右列中光斑的取值为第二基本编码基元1。如本领域技术人员所应理解的，第一阈值和第二阈值根据实际情况设定。

S4，计算苹果图像的每个光斑与参考图像对应光斑的位置的纵坐标差值，如果左右都存在其他光斑的某光斑(即认为是苹果中心区域的光斑)的纵坐标差值的二阶差分小于0，则该光斑的相应位置标记为果梗/花萼区域，如果左右有一侧不存在其他光斑的某光斑(即认为是苹果边缘区域的光斑)与其水平相邻光斑的纵坐标差值之差大于第三阈值，则相应位置标记为果梗/花萼区域。如本领域技术人员所应理解的，第三阈值根据实际情况设定。

一般地，苹果图像和参考图像由相机在同一位置采集，从而使得检测速度快。采集一个苹果在分选传送装置的三个工位上的近红外图像，对每一个苹果图像求取果梗/花萼区域，因而可以求出苹果不同位置表面的果梗/花萼区域。

为了进一步测试本方法的有效性，我们对600个富士苹果在检测系统上进行了测试，本发明提出方法的检测正确率高达93.17％，达到了世界领先水平。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种基于近红外编码点阵结构光的苹果果梗/花萼检测方法，包括：

S1，设置n1条虚拟的平行且间距相等的水平直线和n2条虚拟的平行且间距相等的垂直直线，对应每条垂直直线和水平直线的交点生成一个光斑，该光斑位于该水平直线上且位于与对应交点成固定距离的该垂直直线的左侧或右侧，当该光斑位于左侧时，该光斑的取值为第一基本编码基元，当该光斑位于右侧时，该光斑的取值为第二基本编码基元，从而基于M阵列生成n₁×n₂的近红外编码点阵结构光，并且对于任意包括k₁行和k₂列光斑的子窗口，子窗口对应的码值各不相同，其中n₁、n₂、k₁、k₂均为正整数；

S2，将近红外编码点阵结构光分别投射到参考平面和苹果表面后，分别采集得到参考图像和苹果图像，求取近红外编码点阵结构光在每个图像上的每个光斑的位置；

S3，选取苹果图像上的一个包括k₁行和k₂列光斑的子窗口，计算该子窗口的码值，再在n₁×n₂的近红外编码点阵中搜索具有相同码值的子窗口，从而确定苹果表面近红外光斑在近红外编码点阵中的位置，进而建立起苹果图像的每个光斑与参考图像的每个光斑的对应关系；

S4，计算苹果图像的每个光斑与参考图像对应光斑的位置的纵坐标差值，如果苹果图像上左右都存在其他光斑的某光斑的所述纵坐标差值的二阶差分小于0，则该光斑的相应位置标记为果梗/花萼区域，如果左右有一侧不存在其他光斑的某光斑与其水平相邻光斑的所述纵坐标差值之差大于第三阈值，则相应位置标记为果梗/花萼区域。

2.如权利要求1所述的方法，其特征在于，所述基本编码单元，若近红外结构光光斑位于对应的虚拟垂直直线左侧，则第一基本编码基元表示为1，若近红外结构光光斑位于对应的虚拟垂直直线右侧，则第二基本编码基元表示为0；或者为：若近红外结构光光斑位于对应的虚拟垂直直线左侧，则第一基本编码基元为0，若近红外结构光光斑位于对应的虚拟垂直直线右侧，则第二基本编码基元为1。

3.如权利要求1所述的方法，所述光斑的位置，为该光斑中灰度值最大的点的坐标，如果该光斑中有多个灰度值相同的最大值点，则按照从上到下，从左到右的顺序求取第一个灰度值最大的点的坐标作为光斑的位置。

4.如权利要求1所述的方法，其特征在于，在步骤S3中，所述苹果图像的子窗口中的每个光斑的取值如此确定：横坐标差值小于第一设定阈值的光斑组成一列光斑，对于平均横坐标差值小于第二阈值的相邻两列光斑，左列中光斑的取值为第一基本编码基元，右列中光斑的取值为第二基本编码基元。

5.如权利要求1所述的方法，其特征在于，n₁＝15，n₂＝17。

6.如权利要求5所述的方法，其特征在于，k₁＝4，k₂＝2。

7.如权利要求1所述的方法，其特征在于，所述近红外编码点阵结构光由近红外激光点阵仪或近红外LED点阵结构光投射装置发射。

8.如权利要求1所述的方法，其特征在于，所述参考平面为苹果分选传送装置的上表面。

9.如权利要求1所述的方法，其特征在于，所述苹果图像和参考图像由相机在同一位置采集。

10.如权利要求1所述的方法，其特征在于，采集一个苹果在分选传送装置的三个工位上的近红外图像，对每一个苹果图像求取果梗/花萼区域。