CN103164695A - 一种基于多源图像信息融合的果实识别方法 - Google Patents

Abstract

本发明提供了一种基于多源图像信息融合的果实识别方法，涉及自然环境下果实的自动识别技术领域。所述方法包含以下步骤：使用深度摄像机与彩色摄像机组合的视觉系统，同步采集多源图像并进行预处理，得到待配准图像；对待配准图像进行精确配准；对所述精确配准图像的进行像素级图像融合，得到像素级融合图像；对所述像素级融合图像中果实区域进行识别。本发明克服了单一成像传感器采集图像进行果实识别存在的不足，提高了果实识别的准确性，减少果园这一非结构化环境对识别的影响，实现了对果实区域更为可靠的识别。

Description

一种基于多源图像信息融合的果实识别方法

技术领域

本发明涉及自然环境下果实的自动识别技术领域，特别涉及一种基于多源图像信息融合的果实识别方法。

背景技术

减少非结构环境造成的影响、改善传感器的局限性和提高目标识别的准确率一直是国内外果蔬采摘机器人研究需要攻克的难关及重点，而获取环境中最佳信息量的手段成为解决上述问题的重要举措，相关研究比比皆是。彩色摄像机可采集果园环境中的彩色信息，并以此衍生出色差、纹理和形状等特征参数作为果实识别的依据，但由于摄像机本身受环境光影响显著，且缺乏对空间分布情况的感知，不可避免地降低了识别的准确率；激光技术凭借对光照变化的强抗干扰性，易于解析扫描范围内物体的几何特性及相互间的层次关系，可担当识别目标的重任，不足之处体现在实现三维扫描速度慢，且缺乏颜色信息；文献中还有利用热成像摄像机采集图像，通过图像中柑橘与枝叶的高对比度来检测果实，但目标物的热辐射依靠日光下的曝光时间，其反差效果具有一定的时间局限性。由此可见，靠单一的成像传感器已经不能满足对目标及环境准确和全面的识别要求。

目前机器视觉研究中最具潜力的当属主动发射调制不相干光，并利用飞行时间法测量距离的PMD技术。采用该技术的摄像机最突出的优势是可全天候地以“高帧速”捕获场景的深度图像，利用距离信息方便地分离前景与背景，同时提供了多种图像以供目标识别。已取得的成果包括人脸识别、导航机器人的地图创建，检测车位空间以协助停车等，而应用到果园这一复杂环境下的目标识别未见报道。另外由于摄像机捕获图像的分辨率较低、噪声较大，建议与其它传感器结合使用。

图像融合就是利用各种成像传感器获取同一目标或同一场景图像的信息，通过互补信息的有机集成，减少或抑制单一信息对被感知对象或环境中可能存在的多义性、不完整性和不确定性，并最大限度地利用各种信息源提供的信息，从而大大提高在特征提取、分类与目标识别等方面的有效性。图像融合由低到高划分为三个层次：像素级、特征级和决策级。其中，像素级融合能尽可能多地保留场景的原始数据，提供其他融合层次所不能或难于提供的细微信息，图像配准是至关重要的一步。

因此，针对以上不足，本发明提供了一种基于多源图像信息融合的果实识别方法

发明内容

（一）要解决的技术问题

本发明为了提高果实识别的准确性，减少果园这一非结构化环境对识别的影响，构建了基于PMD技术的深度摄像机与彩色摄像机组合的视觉系统，以同步采集果园环境的多源图像；通过分析各种图像中突出的区域特征，选出用于识别果实的最佳待融合图像；利用模糊逻辑理论进行像素级的图像融合，以获得最大表征目标区域的信息量；利用融合图像的统计特性，实现对果实区域更为可靠的识别。

（二）技术方案

为了解决上述技术问题，本发明提供了一种基于多源图像信息融合的果实识别方法，通过下述步骤实现：

S100、采用深度摄像机与彩色摄像机组合的视觉系统，同步采集多源图像并进行预处理，得到待配准图像；

S200、对所述待配准图像进行精确配准；

S300、对所述精确配准图像进行像素级图像融合，得到像素级融合图像；

S400、对所述的像素级融合图像中果实区域进行识别。

其中，所述步骤S100包括以下步骤：：将同一场景连续捕获的多幅幅度图像取均值，采用插值策略对其进行放大，并利用直方图均衡法增强对比度；选择彩色图像为基准图像，对基准图像进行剪裁和转换操作，通过剪裁操作保留其与幅度图像间的重叠区域，通过转换操作将彩色图像转换为灰度图像；选择幅度图像与所述灰度图像作为待配准图像。

其中所述步骤S200包括以下步骤：采用SURF算法提取所述待配准图像的特征点；采用特征向量的最近邻与次近邻比值法进行粗匹配；使用最优搜索策略加快对最近邻搜索；对存在的误匹配用剔除异常点与优化模型交替迭代的方法进一步提纯。

其中所述对存在的误匹配用剔除异常点与优化模型交替迭代的方法进一步提纯包括以下步骤：

初始化最大迭代次数I_max、模型的容错度T_ol和一致点数量的下限N_lim；从匹配特征点集中随机抽取非线性的若干对匹配特征点，用来推导坐标转换的参数，建立初始模型；逐一验证剩余点对是否满足当前的转换模型，将未超出容错范围的点作为支持该模型的一致点，并记录其数量N_con(I)；若N_con(I)≥N_lim，重新估计转换参数，并通过最小二乘法对其优化；重复以上步骤，直到循环次数I=I_max停止；选取N_con(I)最多的一组，若存在等数量情况，则优选标准差最小的一组，相应的转换模型为最佳结果，非一致点作为异常点予以剔除。

其中所述步骤S300采用模糊逻辑技术实现所述精确配准图像的像素级图像融合。

所述模糊逻辑技术包括以下步骤：对多源图像进行基于成像机理、不同颜色模型和各种分量线性组合的分析，选出适于突出果实区域的多源图像作为融合的多源图像；依据模糊逻辑理论，制定输入隶属函数包括选择函数表达形式、合理划分控制量的等级及隶属度，将多源图像模糊化为符合融合规则的信息；定义图像融合的模糊规则；制定输出隶属函数包括选择函数表达形式、合理划分输出量的等级及隶属度；通过加权平均原则进行结果逆模糊化。

其中所述步骤S400采用基于直方图首阈检测的方法实现对果实区域的识别。

所述采用基于直方图首阈检测的方法包括以下步骤：设融合图像的大小为M×N，I为图像上像素点(i,j)的灰度；分别计算图像的灰度均值I_mean与标准差I_std；检测图像的识别阈值I_T=I_mean-aI_std，其中a为调整参数，取值范围为2~5；识别图像定义为：

$f(i,j)=\left\{\begin{array}{cc}C(i,j,k)& I(i,j)\≤I_T\\ 0& I(i,j)>I_T\end{array}\right.$

其中，C(i,j,k)代表与融合图像匹配的彩色图像，k为颜色分量索引，取值范围为1~3；最后结合小面积剔除法进行识别图像的降噪处理。

（三）有益效果

本发明采用深度摄像机与彩色摄像机组合的视觉系统同步采集果园环境的多源图像，以克服靠单一成像传感器采集图像进行果实识别存在的不足；融合SURF算法、最近邻与次近邻比值法、最近邻的搜索策略及剔除异常点与优化模型交替迭代的方法，可实现待配准图像的精确匹配；采用模糊逻辑技术实现像素级的图像融合，可根据源图像中不同区域的特征差异合理调整权重值，使融合的图像更能突显目标区域；采用基于直方图的首阈检测法，用以解决直方图呈单峰状态且目标区域位于灰度较低一侧的融合图像识别问题。

附图说明

图1为果实识别方法的流程图；

图2为配准过程图像，2a幅度图像、2b彩色图像转灰色图像、2c配准图像；

图3为隶属函数，3a控制量为H、3b控制量为amp、3c控制量为fused；

图4为融合过程图像，4a H分量图、4b amp图像、4c融合图像；

图5为果实识别结果。

具体实施方式

以下结合附图和实施例说明本发明，但不用来限制本发明的范

围。

本实施例中使用的视觉系统主要由深度摄像机、彩色摄像机、可调三脚架、数据线与笔记本电脑构成。其中深度摄像机的选用型号为

Camcube3.0，其标准测量范围0.3～7m，视角为40°×40°，图像分辨率为200×200像素，自带光源的发射波长为870nm，由于集成了抑制背景光技术，使其适用于户外环境。该摄像机内部包含两种感光元件：一种是传统图像传感器CMOS，用以获取场景的强度图像；另一种采用了“智能像素陈列”，其特点是每个像素均能测量光源发射的调制红外光返回所用的时间和衰减幅值，结合光速，即可得知摄像机到被测物体的距离，并最终以深度图像与幅度图像呈现效果；由于环境光与调制光束通过同一个透镜镜头，保证了以上3种图像具有相同的视场和光照强度，无需额外处理就能将它们配准。彩色摄像机的选用型号为Logitech C270，视角为60°，支持320×240像素的分辨率，可满足与深度摄像机低分辨率图像配准的要求。两个摄像机以上下组合方式固定于三角架，调整镜头使它们指向同样的目标。开发的软件平台用于实现果树多源图像的采集、处理与显示。

本实施例中的基于多源图像信息融合的果实识别方法，适用于采摘机器人在自然环境下对果实的自动识别。

本实施例中的基于多源图像信息融合的果实识别方法的流程如图1所示，所述包括以下步骤：

步骤S100，利用双摄像机视觉系统同步采集果园环境的多源图像；通过对多源图像描述内容的相似性分析，选择深度摄像机采集的幅度图像（如图2a所示）与彩色图像（如图2b所示）转换后的灰度图像作为待配准图像。将同一场景连续捕获的10幅幅度图像取均值，以降低噪声的干扰；同时采用双线性插值策略对其进行放大，并利用直方图均衡法来增强对比度，以提高后期特征点检测的鲁棒性；选择彩色图像为基准图像，由于彩色摄像机的观察范围较大，需要对图像进行剪裁，并最大限度地保留其与幅度图像间的重叠面积。处理后的图像分辨率均为240×240像素。

步骤S200，利用SURF算法提取待配准图像的特征点；采用特征向量的最近邻与次近邻比值法进行粗匹配；过程中使用基于KD-Tree特征结构的BBF(Best bin first)算法加快对最近邻的搜索；对结果中存在的误匹配，采用剔除异常点与优化模型交替迭代的方法进一步提纯。该方法的流程为：迭代次数I_max、模型的容错度T_ol和一致点数量的下限N_lim；从匹配特征点集中随机抽取非线性的三对，用来推导坐标转换的参数，以建立初始模型；逐一验证剩余点对是否满足当前的转换模型，将未超出容错范围的点作为支持该模型的一致点，并记录其数量N_con(I)；若N_con(I)≥N_lim，重新估计转换参数，并通过最小二乘法对其优化；重复以上步骤，直到循环次数I=I_max停止。选取N_con(I)最多的一组(若存在等数量情况，则优选标准差最小的)，相应的转换模型为最佳结果，非一致点作为异常点予以剔除。

步骤S300，经步骤S200后，实现彩色图像与幅度图像的精确配准，其效果如图2c所示，以此实现摄像机组捕获的多源图像的全部配准。其中彩色图像可解译枝干、树叶及果实的光谱特性，选用不用的颜色空间进行对比分析，其中RGB模型是最基本的颜色空间，常通过红（R）、绿（G）、蓝（B）分量的线性变换突显目标区域特征，但各个分量均包含亮度信息，无法避免光照造成的颜色缺失；HSI模型更符合人的视觉特性，其中色调（H）分量独立于阴影及亮度等因素，且能描述颜色类别，图4a突出的果实区域较完整，仅部分枝干与其呈现粘连。幅度图像（如图4b所示）中果实与大部分枝叶呈现较鲜明的对比。鉴于上述分析，优选出H分量图与幅度图像进行融合，以实现对目标区域更为可靠的识别。

将H分量图（H）与幅度图像（amp）作为融合的源图像；制定输入隶属函数（如图3a，3b所示），控制量为H的灰度级分为dark、average、bright，控制量为amp的灰度级分为high、low，采用三角表示形式，将源图像模糊化为符合融合规则的信息；制定输出隶属函数（如图3c所示），输出量fused的灰度级分为fuit、non-fruit，采用三角表示形式；定义融合的模糊规则，例如：规则一：若H∈dark则fused∈fruit；规则二：若amp∈low则fused∈fruit；规则三：若H∈bright则fused∈non-fruit；规则四：若H∈average且amp∈low则fused∈fruit；规则五：若amp∈high则fused∈non-fruit；通过加权平均原则进行结果逆模糊化，以产生融合图像，如图4c所示。

实现步骤S300还可以通过：拉普拉斯金字塔、小波变换等图像融合策略等方式实现。

步骤S400，经步骤S300后，获得一幅易于锁定果实区域的融合图像。由于该图像的灰度统计直方图呈现单峰状态，且代表果实的区域偏向灰度较低的一侧，使用常规方法较难得到合理的图像识别阈值。提出一种基于直方图首阈检测的方法，可达到理想的识别效果。其主要步骤为：设融合图像的大小为M×N，I为图像上像素点(i,j)的灰度；分别计算图像的灰度均值I_mean与标准差I_std；检测图像的识别阈值I_T=I_mean-aI_std，其中a为调整参数，取值范围为2~5；为了增强识别的视觉效果，这里将识别图像定义为：

$f(i,j)=\left\{\begin{array}{cc}C(i,j,k)& I(i,j)\≤I_T\\ 0& I(i,j)>I_T\end{array}\right.$

其中，C(i,j,k)代表与融合图像匹配的彩色图像，k为颜色分量索引，取值范围为1~3；最后结合小面积剔除法进行识别图像的降噪处理，结果如图像5所示。

实现步骤S400还可以通过：根据融合图像的灰度统计特性，采用合适的阈值检测方法，如自适应模糊阈值分割方法等方式实现。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种基于多源图像信息融合的果实识别方法，其特征在于，包含以下步骤：

S100、采用深度摄像机与彩色摄像机组合的视觉系统，同步采集多源图像并进行预处理，得到待配准图像；

S200、对所述待配准图像进行精确配准；

S300、对所述精确配准图像进行像素级图像融合，得到像素级融合图像；

S400、对所述的像素级融合图像中果实区域进行识别。

2.如权利要求1所述的一种基于多源图像信息融合的果实识别方法，其特征在于，所述步骤S100包括：将同一场景连续捕获的多幅幅度图像取均值，采用插值策略对其进行放大，并利用直方图均衡法增强对比度；选择彩色图像为基准图像，对基准图像进行剪裁和转换操作，通过剪裁操作保留其与幅度图像间的重叠区域，通过转换操作将彩色图像转换为灰度图像；选择幅度图像与灰度图像作为待配准图像。

3.如权利要求1所述的一种基于多源图像信息融合的果实识别方法，其特征在于，所述步骤S200包括以下步骤：采用SURF算法提取所述待配准图像的特征点；采用特征向量的最近邻与次近邻比值法进行粗匹配；使用最优搜索策略加快对最近邻搜索；对存在的误匹配用剔除异常点与优化模型交替迭代的方法进一步提纯。

4.如权利要求3所述的一种基于多源图像信息融合的果实识别方法，其特征在于，所述对存在的误匹配用剔除异常点与优化模型交替迭代的方法进一步提纯包括以下步骤：

初始化最大迭代次数I_max、模型的容错度T_ol和一致点数量的下限N_lim；从匹配特征点集中随机抽取非线性的若干对匹配特征点，用来推导坐标转换的参数，建立初始模型；逐一验证剩余点对是否满足当前的转换模型，将未超出容错范围的点作为支持该模型的一致点，并记录其数量N_con(I)；若N_con(I)≥N_lim，重新估计转换参数，并通过最小二乘法对其优化；重复以上步骤，直到循环次数I=I_max停止；选取N_con(I)最多的一组，若存在等数量情况，则优选标准差最小的一组，相应的转换模型为最佳结果，非一致点作为异常点予以剔除。

5.如权利要求1所述的一种基于多源图像信息融合的果实识别方法，其特征在于，所述步骤S300采用模糊逻辑技术实现所述精确配准图像的像素级图像融合。

6.如权利要求5所述的一种基于多源图像信息融合的果实识别方法，其特征在于，所述模糊逻辑技术包括以下步骤：对多源图像进行基于成像机理、不同颜色模型和各种分量线性组合的分析，选出适于突出果实区域的多源图像作为融合的多源图像；依据模糊逻辑理论，制定输入隶属函数包括选择函数表达形式、合理划分控制量的等级及隶属度，将多源图像模糊化为符合融合规则的信息；定义图像融合的模糊规则；制定输出隶属函数包括选择函数表达形式、合理划分输出量的等级及隶属度；通过加权平均原则进行结果逆模糊化。

7.如权利要求1所述的一种基于多源图像信息融合的果实识别方法，其特征在于，所述步骤S400采用基于直方图首阈检测的方法实现对果实区域的识别。

8.如权利要求7所述的一种基于多源图像信息融合的果实识别方法，其特征在于，所述采用基于直方图首阈检测的方法包括以下步骤：设融合图像的大小为M×N，I为图像上像素点(i,j)的灰度；分别计算图像的灰度均值I_mean与标准差I_std；检测图像的识别阈值I_T=I_mean-aI_Std，其中a为调整参数，取值范围为2~5；识别图像定义为：

$f(i,j)=\left\{\begin{array}{cc}C(i,j,k)& I(i,j)\≤I_T\\ 0& I(i,j)>I_T\end{array}\right.$

其中，C(i,j,k)代表与融合图像匹配的彩色图像，k为颜色分量索引，取值范围为1~3；最后结合小面积剔除法进行识别图像的降噪处理。

Images