CN101493313B - 成熟果实识别和定位的图像处理方法 - Google Patents

Abstract

本发明实施例公开了一种成熟果实识别和定位的图像处理方法，其中该方法包括：获取扫描图像的数据矩阵；根据所述数据矩阵生成所述扫描图像的成熟果实二值图像；以3*3元素窗口逐行或逐列对所述数据矩阵中的元素进行扫描，获取所述成熟果实二值图像中成熟果实图像第一中心；合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心；根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标。本发明实施例可以避免采用复杂算法的特征提取以及存在不确定问题较多的立体匹配，能够实时获取成熟果实精确的三维坐标信息。

Description

成熟果实识别和定位的图像处理方法 

技术领域

本发明实施例涉及图像处理技术，特别涉及一种成熟果实识别和定位的图像处理方法。 

背景技术

随着科学技术的不断发展，基于图像处理技术的果蔬采摘机器人已经问世，果蔬采摘机器人的出现解决了果农在采摘时节，由于种植面积大而不能及时采摘的困扰，具有采摘成功率和采摘效率高的优点，节省了人力。 

目前，果蔬采摘机器人的视觉系统是果蔬采摘机器人的关键组成部分，视觉系统的主要作用是识别果实并对其进行三维定位以获取其具体位置信息，然后通知机械臂移动到采摘果实的最佳位置并对其进行采摘。目前已知的果蔬采摘机器人的视觉系统基本采用双目立体视觉技术。在现有技术中，完整的双目立体视觉系统包括：图像获取、摄像机标定、特征提取、立体匹配、三维信息恢复及后续处理。其中，特征提取和立体匹配是双目立体视觉系统中，完成识别果实并对其进行三维定位的关键步骤。正如本领域技术人员所公知，特征提取是立体匹配的前提，但现有的特征提取方法通常是增加算法的复杂度来提高特征提取的精度，如采用随机Hough变换算法或遗传算法，在提高特征提取精度的同时，不断增加的复杂度使这些算法的实时性受到了严重的限制；进一步地，立体匹配通过提取的特征实现了同一空间点在不同图像中像点的对应关系以获取果实的三维定位信息，由于立体匹配涉及的问题较多，至今仍未得到较好的解决，果实三维定位的精度有待进一步提高。而且目前的图像识别方法对于果实处于相互遮挡状态时的识别比较困难，还没有十分有效的分离方法，对成熟和未成熟果实也不能做较好的识别。现有技术中双目立体视觉系统的特征提取和立体匹配使得果实的识别速度和定位精度受到限制，同时也降低了采摘的效率和质量。 

发明人在从事本领域技术工作的长期实践中，进行了深入的研究，发现通过用三维视觉传感器对果实图像进行扫描，能够避开现有技术中采用复杂算法的特征提取以及存在不确定问题较多的立体匹配，不但可以实时获取成熟果实精确的三维坐标信息，而且还可以识别未成熟果实和成熟果实以及相互遮挡的成熟果实，提高了果蔬采摘机器人采摘成熟果实的效率和质量。 

发明内容

本发明实施例的第一目的是提供一种成熟果实识别和定位的图像处理方法，利用该方法能够实时获取成熟果实精确的三维坐标，提高了果蔬采摘机器人采摘果实的效率和质量。 

本发明实施例的第二目的是提供一种成熟果实识别和定位的图像处理方法，利用该装置同样能够实时获取成熟果实精确的三维坐标，并且提高了果蔬采摘机器人采摘果实的效率和质量。 

为实现上述第一目的，本发明的一些实施例提供了一种成熟果实识别和定位的图像处理方法，包括： 

获取扫描图像的数据矩阵，所述扫描图像包含m*n个扫描点，使所述数据矩阵中的元素与所述扫描图像的m*n个扫描点在位置上相对应，所述数据矩阵为m行n列矩阵包括：由所述m*n个扫描点对第一激光的反射值所构成的第一数据矩阵；由所述m*n个扫描点对第二激光的反射值所构成的第二数据矩阵；由所述m*n个扫描点到三维视觉传感器中心的距离所构成的第三数据矩阵；其中m和n分别为不小于1的正整数； 

根据所述数据矩阵生成所述扫描图像的成熟果实二值图像，所述成熟果实二值图像包含成熟果实图像和背景图像； 

根据所述第一数据矩阵中所述m*n个扫描点对第一激光的反射值，以 3*3元素窗口逐行或逐列对所述第一激光的反射值进行扫描，判断所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射值的高出值均大于等于50，若是，则所述3*3元素窗口中心元素在第一数据矩阵中的位置对应所述成熟果实二值图像中成熟果实图像第一中心； 

合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心，且所述第一预定阈值由毗邻重叠成熟果实分离模型所提供； 

根据三维视觉传感器的中心、扫描步距角和所述成熟果实图像第二中心，获取所述成熟果实图像第二中心的三维坐标。 

为实现上述第二目的，本发明的另一些实施例还提供了一种成熟果实识别和定位的图像处理装置，包括： 

第一获取模块，用于获取扫描图像的数据矩阵； 

生成模块，用于根据所述数据矩阵生成所述扫描图像的成熟果实二值图像，所述成熟果实二值图像包含成熟果实图像和背景图像； 

第二获取模块，用于以3*3元素窗口逐行或逐列对所述数据矩阵中的元素进行扫描，用于根据所述数据矩阵获取所述成熟果实二值图像中成熟果实图像第一中心； 

合并模块，用于合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心，且所述第一预定阈值由毗邻重叠成熟果实分离模型所提供； 

第三获取模块，用于根据三维视觉传感器的中心、扫描步距角和所述成熟果实图像第二中心，获取所述成熟果实图像第二中心的三维坐标。 

由上述技术方案可知，本发明实施例的所提供的一种成熟果实识别和定位的图像处理方法，通过获取扫描图像的数据矩阵以生成成熟果实二值图像，并获取成熟果实二值图像中的成熟果实图像第一中心，再根据成熟果实图像第一中心分离毗邻重叠的成熟果实图像获取成熟果实图像第二中心，最后结合三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标，实现了成熟果实识别和定位，与现有技术采用双目立体视觉系统的特征提取和立体匹配识别和定位果实相对比，本发明实施例的成熟果实识别和定位的图像处理方法，通过用三维视觉传感器对果实图像进行扫描，能够避开现有技术中采用复杂算法的特征提取以及存在不确定问题较多的立体匹配，不但可以实时获取成熟果实精确的三维坐标信息，而且还可以识别未成熟果实和成熟果实以及相互遮挡的成熟果实，提高了果蔬采摘机器人采摘成熟果实的效率和质量； 

本发明实施例所提供的一种成熟果实识别和定位的图像处理装置，通过第一获取模块获取扫描图像的数据矩阵，生成模块根据所述数据矩阵生成所述扫描图像的成熟果实二值图像，由第二获取模块以3*3元素窗口逐行或逐列对所述数据矩阵中的元素进行扫描以获取成熟果实图像第一中心，再由合并模块合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像并获取成熟果实图像第二中心，最后由第三获取模块根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标。与现有技术采用双目立体视觉系统的特征提取和立体匹配识别和定位果实相对比，本发明实施例的成熟果实识别和定位的图像处理装置，通过用三维视觉传感器对果实图像进行扫描，能够避开现有技术中采用复杂算法的特征提取以及存在不确定问题较多的立体匹配，不但可以实时获取成熟果实精确的三维坐标信息，而且还可以识别未成熟果实和成熟果实以及相互遮挡的成熟果实，提高了果蔬采摘机器人采摘成熟果实的效率和质量。 

附图说明

图1为本发明实施例成熟果实识别和定位的图像处理方法的流程图； 

图2为本发明实施例建立成熟果实分割模型的方法流程图； 

图3为本发明实施例成熟果实分割模型示意图； 

图4为本发明实施例成熟果实镜面反射特征示意图； 

图5为本发明实施例建立毗邻重叠成熟果实分离模型的方法流程图； 

图6为本发明实施例三维坐标系统的示意图； 

图7为本发明实施例成熟果实中心三维坐标获取方法的流程图； 

图8为本发明实施例成熟果实识别和定位的图像处理装置的示意图。 

具体实施方式

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。 

本发明实施例所提供的成熟果实识别和定位的图像处理，主要是针对在自然条件下，对已经成熟的果实进行识别和定位的图像处理，以下各实施例中果实可以选择以红富士苹果为例。 

图1为本发明实施例成熟果实识别和定位的图像处理方法的流程图。如图1所示，本发明实施例成熟果实识别和定位的图像处理方法，包括： 

步骤11、获取扫描图像的数据矩阵； 

该步骤可以具体为：处理器获取由三维视觉传感器通过RS-232总线输出的对应三维视觉传感器扫描图像的数据矩阵，所述三维视觉传感器的扫描图像即为其扫描范围，包含m*n个扫描点，对应扫描图像具有m*n个扫描点，在所述三维视觉传感器对其扫描图像进行扫描时，其垂直扫描步距角和水平扫描步距角均为0.225度，并且同时发出波长为685nm的第一激光(或简称685nm激光)和波长为830nm的第二激光(或简称830nm激光)对扫描图像内的每一个扫描点进行逐行或逐列扫描；使所述数据矩阵中的元素与所述扫描图像的扫描点在位置上相对应，所述数据矩阵为m行n列矩阵，具体地，所述数据矩阵包括：由所述m*n个扫描点对第一激光的反射值所构成的第一数据矩阵，由所述m*n个扫描点对第二激光的反射值所构成的第二数据矩阵，由所述m*n个扫描点到所述三维视觉传感器中 心的距离所构成的第三数据矩阵，其中m和n分别为不小于1的正整数。 

步骤12、根据所述数据矩阵生成所述扫描图像的成熟果实二值图像，所述成熟果实二值图像包含成熟果实图像和背景图像； 

该步骤可以具体为：所述第一数据矩阵、第二数据矩阵和第三数据矩阵中的元素与所述成熟果实二值图像的像素在位置上相对应，所述扫描图像中可包括成熟果实、未成熟果实、树枝、树叶正面和树叶反面，根据所述第一数据矩阵和所述第二数据矩阵中相同位置元素的比值，判断所述比值是否大于第二预定阈值，若是，则所生成的成熟果实二值图像中对应位置的像素被设置为成熟果实图像的像素，其值可为1，否则所生成的成熟果实二值图像中对应位置的像素被设置为背景图像的像素，其值可为0。其中，所述第二预定阈值具体由成熟分割模型所提供。图2为本发明实施例建立成熟果实分割模型的方法流程图。图3为本发明实施例成熟果实分割模型示意图。如图2、图3所示，建立成熟果实分割模型的方法包括： 

步骤1201、获取坐标点； 

该步骤可以具体为：扫描图像中成熟果实和未成熟果实的扫描点在不同距离下对所述第一激光和第二激光的反射值，以第一激光和第二激光的反射值组合成坐标点，建立成熟果实分割模型，具体地，分别获取成熟红富士苹果和未成熟红富士苹果在250mm、300mm、350mm、400mm、450mm、500mm和550mm距离下对685nm激光和830nm激光的反射值，横坐标为830nm激光反射值，纵坐标为685nm激光反射值，如图2所示，标识■为以成熟红富士苹果在250mm、300mm、350mm、400mm、450mm、500mm和550mm距离下对685nm激光和830nm激光的反射值作为在所述成熟果实分割模型中的第一坐标点，标识▲为以未成熟红富士苹果在250mm、300mm、350mm、400mm、450mm、500mm和550mm距离下对685nm激光和830nm激光的反射值作为在所述成熟果实分割模型中的第二坐标点，建立成熟果实分割模型；进一步地，如图2所示，在成熟果实分割模型中，还包括树枝、树叶正面和树叶反面 在250mm、300mm、350mm、400mm、450mm、500mm和550mm距离下对685nm激光和830nm激光的反射值作为在所述成熟果实分割模型中的坐标点，分别以标识□、标识●和标识△表示。 

步骤1202、用直线方程Y＝KX拟合坐标点； 

如图3所示，拟合第一坐标点的斜率为K0＝2.1，拟合第二坐标点的斜率K1＝0.96，斜率K0和K1分别为成熟果实和未成熟果实斜率，为了提高直线方程Y＝KX拟合的精度，进一步可以使上述不同的距离更加接近，这样取得坐标点则更加多，例如；分别获取成熟红富士苹果和未成熟红富士苹果在250mm、275nm、300mm、325nm、350mm、375nm、400mm、425nm、450mm、475nm、500mm、525nm和550mm距离下对685nm激光和830nm激光的反射值，以构成坐标点；进一步地，分别拟合以标识□、标识●和标识△为坐标点的斜率分别为K2＝0.67，K3＝0.49，K4＝0.23，斜率K2、K3和K4分别为树枝、树叶正面和树叶反面的斜率。 

步骤1203、确定分割成熟果实的阈值； 

如图3所示，根据第一坐标点的斜率K0＝2.1和第二坐标点的斜率K1＝0.96确定斜率Kt＝(K0+K1)/2＝1.53，则Kt即为分割成熟果实第二预定阈值，即成熟果实图形像素点的斜率空间为(Kt，+∞)＝(1.53，+∞)。 

步骤13、以3*3元素窗口逐行或逐列对所述数据矩阵中的元素进行扫描，获取所述成熟果实二值图像中第一成熟果实图像中心； 

利用成熟果实的镜面反射特征可以获取成熟果实的中心，进一步可以获取成熟果实的可能数目。所述成熟果实的镜面反射特征是指：一般具有类圆特征的成熟果实，在所述三维视觉传感器的扫描过程中，果实表面的中心部位对所述两种激光的反射值高于果实表面的其他部分； 

因为成熟红富士苹果对685nm激光的反射率高于对830nm激光的反射率，所以本实施例选择扫描点对685nm激光的反射值，分析成熟红富士苹果的镜面反射特征，如图4为本发明实施例成熟果实镜面反射特征示意图 所示，如图4所示，横坐标为扫描的位置，纵坐标为685nm激光的反射值，进一步对应到所述数据矩阵中，该步骤选择由所述m*n个扫描点对波长685nm的第一激光的反射值所构成的第一数据矩阵，以分析成熟红富士苹果的镜面反射特征； 

该步骤可以具体为：根据所述第一数据矩阵中所述m*n个扫描点对第一激光(波长为685nm)的反射值，以3*3元素窗口逐行对所述反射值进行扫描，判断所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射值的高出值均大于等于50，若是，则所述3*3元素窗口中心元素在第一数据矩阵中的位置对应所述成熟果实二值图像中成熟果实图像第一中心。 

步骤14、合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心； 

该步骤可以具体为：在成熟果实二值图像中，以像素为单位，获取相邻两个成熟果实图像的成熟果实图像第一中心之间的距离，如果所述相邻两个成熟果实图像的成熟果实图像第一中心之间的距离大于第一预定阈值，则为两个成熟果实；进一步地，对两个所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，则合并成一个成熟果实图像，并获取对应所述第一数据矩阵中元素反射值大的所述成熟果实图像第一中心作为所述成熟果实图像第二中心。其中，所述第一预定阈值具体由毗邻重叠成熟果实分离模型所提供。图5为本发明实施例建立毗邻重叠成熟果实分离模型的方法流程图。如图5所示，所述毗邻重叠成熟果实分离模型的方法包括： 

步骤1401、获取成熟果实的平均直径； 

该步骤可以具体为：在本实施例中对200个成熟红富士苹果的直径作统计分析，得到平均直径D＝9.6cm。 

步骤1402、根据成熟果实的平均直径和成熟果实图像第二中心到三维 视觉传感器中心的距离，确定第一预定阈值。 

该步骤可以具体为：根据成熟果实的平均直径D和成熟果实图像第二中心到三维视觉传感器中心的距离P，确定第一预定阈值＝INT(K*D/P)，其中，INT表示对K*D/P的值取整，K为比例系数，所述成熟果实图像第二中心到三维视觉传感器中心的距离P具体为，以对应所述成熟果实图像第二中心的所述第三数据矩阵中的元素为中心，3*3个元素的平均值。步骤15、根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标； 

该步骤可以具体为：图6为本发明实施例三维坐标系统的示意图。如图6所示，本发明实施例的三维坐标系统，以三维视觉传感器中心作为坐标原点O，建立三维坐标系统，三维坐标系统的XOY平面与扫描图像平面的第100行(从上方0行开始)扫描线相交，三维坐标系统的YOZ平面与扫描图像平面的第60列(从左边0列开始)扫描线相交。图7为本发明实施例成熟果实中心三维坐标获取方法的流程图。如图5所示，成熟果实中心三维坐标获取方法包括： 

步骤1501、获取成熟果实图像第二中心C点对应二值图像的平面坐标(x，y)，平面坐标(x，y)对应在所述数据矩阵的表示，即为对应成熟果实图像第二中心C的元素在所述数据矩阵中的第x行、第y列； 

步骤1502、根据成熟果实图像第二中心C点对应二值图像的平面坐标(x，y)和三维视觉传感器的扫描步距角0.225°，获取成熟果实图像第二中心C点相对坐标原点O的水平夹角α＝0.225°*(y-60)和垂直夹角β＝0.225°*(100-x)，最后采用如下公式获取成熟果实图像第二中心C点的三维坐标(Xc，Yc，Zc)： 

$\mathrm{Xc}=P\×\tan \mathrm{\α}/\sqrt{(1+{\tan }^2\mathrm{\α})(1+{\tan }^2\mathrm{\β})};$

$\mathrm{Yc}=P/\sqrt{(1+{\tan }^2\mathrm{\α})(1+{\tan }^2\mathrm{\β})};$

$\mathrm{Zc}=P\×\tan \mathrm{\β}\×\sqrt{1+{\tan }^2\mathrm{\α}}/\sqrt{(1+{\tan }^2\mathrm{\α})(1+{\tan }^2\mathrm{\β})};$

上述公式中的P，为所述成熟果实图像第二中心到三维视觉传感器中心的距离。 

本实施例中所提供的一种成熟果实识别和定位的图像处理方法，通过获取扫描图像的数据矩阵以生成成熟果实二值图像，并获取成熟果实二值图像中的成熟果实图像第一中心，再根据成熟果实图像第一中心分离毗邻重叠的成熟果实图像获取成熟果实图像第二中心，最后结合三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标，实现了成熟果实识别和定位。本发明实施例的成熟果实识别和定位的图像处理方法，不但可以识别相互遮挡的果实，而且还可以未成熟果实和成熟果实，实时获取成熟果实精确的三维坐标信息，提高了果蔬采摘机器人采摘果实的效率和质量。 

图8为本发明实施例成熟果实识别和定位的图像处理装置的示意图。如图8所示，本发明实施例的成熟果实识别和定位的图像处理装置包括，第一获取模块21、生成模块22、第二获取模块23、第三获取模块24和合并模块25。 

其中，第一获取模块21获取扫描图像的数据矩阵，所述三维视觉传感器的扫描范围包含m*n个扫描点，因此扫描图像具有m*n个扫面点，具体地，第一获取模块21还包括第一构成单元211、第二构成单元212和第三构成单元213，第一构成单元211根据所述m*n个扫描点对第一激光的反射值构成第一数据矩阵，第二构成单元212根据所述m*n个扫描点对第二激光的反射值构成第二数据矩阵，第三构成单元213根据所述m*n个扫描点到所述三维视觉传感器中心距离构成的第三数据矩阵； 

生成模块22包括比值单元221和第一判断单元222，比值单元221与第一构成单元211和第二构成单元212连接，获取所述第一数据矩阵和所述第二数据矩阵中相同位置元素的比值；第一判断单元222与比值单元 221，判断所述比值是否大于第二预定阈，若大于，则所生成的成熟果实二值图像中对应位置的像素为所述成熟果实的图像的像素，其值可为1，否则所生成的成熟果实二值图像中对应位置的像素为所述背景图像的像素，其值可为0； 

第二获取模块23包括扫描单元231和第二判断单元232，扫描单元231与第一构成单元211连接，对所述第一数据矩阵中所述m*n个扫描点对第一激光的反射值，以3*3元素窗口逐行或逐列对所述反射值进行扫描；第二判断单元232与第一判断单元222和扫描单元231连接，判断所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射值的高出值均大于等于50，若是，则所述3*3元素窗口中心元素在第一数据矩阵中的位置对应所述成熟果实二值图像中成熟果实图像第一中心； 

合并模块25包括第三判断单元251和第一获取单元252，第三判断单元251与第一判断单元222和第二判断单元232连接，在成熟果实二值图像中，第三判断单元251判断相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像合并成一个成熟果实图像；第一获取单元252与第三判断单元251连接，在所述相邻所述成熟果实图像第一中心中，第一获取单元252获取对应所述第一数据矩阵中元素反射值大的所述成熟果实图像第一中心为所述成熟果实图像第二中心。 

第三获取模块24包括建立三维坐标系统单元241和第二获取单元242，建立三维坐标系统单元241以三维视觉传感器的中心为三维坐标的原点O建立三维坐标系统，三维坐标系统的XOY平面与扫描图像平面的第100行(从上方0行开始)扫描线相交，三维坐标系统的YOZ平面与扫描图像平面的第60列(从左边0列开始)扫描线相交；第二获取单元242与建立三维坐标系统单元241所述第三构成单元213和第一获取单元252连接，结合图6所示，根据所述成熟果实图像第二中心C在所述成熟果实二值图像中的位置，和所述成熟果实图像第二中心C到所述三维视觉传感器的中心O距离以及 所述三维视觉传感器的扫描步距角0.225°，获取成熟果实图像第二中心C点相对坐标原点O的水平夹角α＝0.225°*(y-60)和垂直夹角β＝0.225°*(100-x)，最后采用如下公式获取成熟果实图像第二中心C点的三维坐标(Xc，Yc，Zc)， 

$\mathrm{Xc}=P\×\tan \mathrm{\α}/\sqrt{(1+{\tan }^2\mathrm{\α})(1+{\tan }^2\mathrm{\β})};$

$\mathrm{Yc}=P/\sqrt{(1+{\tan }^2\mathrm{\α})(1+{\tan }^2\mathrm{\β})};$

$\mathrm{Zc}=P\×\tan \mathrm{\β}\×\sqrt{1+{\tan }^2\mathrm{\α}}/\sqrt{(1+{\tan }^2\mathrm{\α})(1+{\tan }^2\mathrm{\β})};$

上述公式中的P，为所述成熟果实图像第二中心到三维视觉传感器中心的距离。 

本实施例中所提供的一种成熟果实识别和定位的图像处理装置，首先由第一获取模块中的第一构成单元、第二构成单元和第三构成单元获取扫描图像的第一数据矩阵、第二数据矩阵和第三数据矩阵，生成模块中的比值单元利用第二数据矩阵和第三数据矩阵相同位置元素的比值，通过第一判断单元生成成熟果实二值图像，并采用第二获取模块的扫描单元对第一数据矩阵扫面以及第二判断单元获取成熟果实二值图像中的成熟果实图像第一中心，再由合并模块的第三判断单元相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像合并成一个成熟果实图像，第一获取单元获取成熟果实图像第二中心，最后通过第三获取模块中的建立三维坐标系统单元以三维视觉传感器的中心为三维坐标的原点O建立三维坐标系统，并由其中第二获取单元结合三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标，实现了成熟果实识别和定位。与现有技术采用双目立体视觉系统的特征提取和立体匹配识别和定位果实相对比，本实施例通过用三维视觉传感器对果实图像进行扫描，可以避免采用复杂算法的特征提取以及存在不确定问题较多的立体匹配，不但可以识别相互遮挡的果实，而且还可以未成熟果实和成熟果实，实时获取成熟果实精确的三维坐标信息，提高了果蔬采摘机器人采摘果实的效率 和质量。 

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案而非对其进行限制，尽管参照较佳实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明实施例的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明实施例技术方案的精神和范围。 

Claims (10)

1.一种成熟果实识别和定位的图像处理方法，其特征在于，包括：

获取扫描图像的数据矩阵，所述扫描图像包含m*n个扫描点，使所述数据矩阵中的元素与所述扫描图像的m*n个扫描点在位置上相对应，所述数据矩阵为m行n列矩阵包括：由所述m*n个扫描点对第一激光的反射值所构成的第一数据矩阵；由所述m*n个扫描点对第二激光的反射值所构成的第二数据矩阵；由所述m*n个扫描点到三维视觉传感器中心的距离所构成的第三数据矩阵；其中m和n分别为不小于1的正整数；

根据所述数据矩阵生成所述扫描图像的成熟果实二值图像，所述成熟果实二值图像包含成熟果实图像和背景图像；

根据所述第一数据矩阵中所述m*n个扫描点对第一激光的反射值，以3*3元素窗口逐行或逐列对所述第一激光的反射值进行扫描，判断所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射值的高出值均大于等于50，若是，则所述3*3元素窗口中心元素在第一数据矩阵中的位置对应所述成熟果实二值图像中成熟果实图像第一中心；

合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心，且所述第一预定阈值由毗邻重叠成熟果实分离模型所提供；

根据三维视觉传感器的中心、扫描步距角和所述成熟果实图像第二中心，获取所述成熟果实图像第二中心的三维坐标。

2.根据权利要求1所述的成熟果实识别和定位的图像处理方法，其特征在于，所述根据所述数据矩阵生成所述扫描图像的成熟果实二值图像包括：

使所述第一数据矩阵、第二数据矩阵和第三数据矩阵中的元素与所述成熟果实二值图像的像素在位置上相对应；

获取所述第一数据矩阵和所述第二数据矩阵中相同位置元素的比值； 

判断所述比值是否大于第二预定阈值，若是，则所生成的成熟果实二值图像中对应位置的像素被设置为所述成熟果实的图像的像素，否则所生成的成熟果实二值图像中对应位置的像素被设置为所述背景图像的像素，且所述第二预定阈值由成熟分割模型所提供。

3.根据权利要求2所述的成熟果实识别和定位的图像处理方法，其特征在于，所述获取成熟果实图像第二中心包括：

在所述成熟果实二值图像中，对相邻所述成熟果实图像第一中心之间距离小于第一预定阈值的两个成熟果实图像合并成一个成熟果实图像，并获取在位置上对应所述第一数据矩阵中对第一激光反射值大的成熟果实图像第一中心为所述成熟果实图像第二中心。

4.根据权利要求3所述的成熟果实识别和定位的图像处理方法，其特征在于，所述根据所述成熟果实图像第二中心和三维视觉传感器的中心、扫描步距角，获取所述成熟果实图像第二中心的三维坐标包括：

以三维视觉传感器的中心为三维坐标的原点建立三维坐标系统，根据所述成熟果实图像第二中心在所述成熟果实二值图像中的位置，和所述成熟果实图像第二中心到所述三维视觉传感器的中心距离以及所述三维视觉传感器的扫描步距角，获取所述成熟果实图像第二中心的三维坐标，所述成熟果实图像第二中心到所述三维视觉传感器的中心距离为，在第三数据矩阵中以在位置上对应所述成熟果实图像第二中心的所述第三数据矩阵中的元素为中心，该元素以及与之毗邻8个元素的平均值。

5.一种成熟果实识别和定位的图像处理装置，其特征在于，包括：

第一获取模块，用于获取扫描图像的数据矩阵；

生成模块，用于根据所述数据矩阵生成所述扫描图像的成熟果实二值图像，所述成熟果实二值图像包含成熟果实图像和背景图像；

第二获取模块，用于以3*3元素窗口逐行或逐列对所述数据矩阵中的元素进行扫描，用于根据所述数据矩阵获取所述成熟果实二值图像中成熟 果实图像第一中心；

合并模块，用于合并相邻所述成熟果实图像第一中心之间的距离小于第一预定阈值的成熟果实图像，并获取成熟果实图像第二中心，且所述第一预定阈值由毗邻重叠成熟果实分离模型所提供；

第三获取模块，用于根据三维视觉传感器的中心、扫描步距角和所述成熟果实图像第二中心，获取所述成熟果实图像第二中心的三维坐标。

6.根据权利要求5所述的成熟果实识别和定位的图像处理装置，其特征在于，所述扫描图像包含m*n个扫描点，使所述数据矩阵中的元素与所述扫描图像的扫描点在位置上相对应，所述数据矩阵为m行n列矩阵，所述第一获取模块还包括：

第一构成单元，用于根据所述m*n个扫描点对第一激光的反射值构成第一数据矩阵；

第二构成单元，用于根据所述m*n个扫描点对第二激光的反射值构成第二数据矩阵；

第三构成单元，用于根据所述m*n个扫描点到所述三维视觉传感器中心距离构成的第三数据矩阵。

7.根据权利要求6所述的成熟果实识别和定位的图像处理装置，其特征在于，使所述第一数据矩阵、第二数据矩阵和第三数据矩阵中的元素与所述成熟果实二值图像的像素在位置上相对应，所述生成模块还包括：

比值单元，与所述第一数据矩阵和所述第二数据矩阵连接，用于获取所述第一数据矩阵和所述第二数据矩阵中相同位置元素的比值；

第一判断单元，与所述比值单元连接，判断所述比值是否大于第二预定阈值，若是，则所生成的成熟果实二值图像中对应位置的像素被设置为所述成熟果实的图像的像素，否则所生成的成熟果实二值图像中对应位置的像素被设置为所述背景图像的像素，且所述第二预定阈值由成熟分割模型所提供。 

8.根据权利要求7所述的成熟果实识别和定位的图像处理装置，其特征在于，所述第二获取模块包括：

扫描单元，与所述第一构成单元连接，用于对所述第一数据矩阵中所述m*n个扫描点对第一激光的反射值，以3*3元素窗口逐行或逐列对所述反射值进行扫描；

第二判断单元，与所述第一判断单元和所述扫描单元连接，用于判断所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8个元素反射值的高出值均大于等于50，若是，则所述3*3元素窗口中心元素在第一数据矩阵中的位置对应所述成熟果实二值图像中成熟果实图像第一中心。

9.根据权利要求8所述的成熟果实识别和定位的图像处理装置，其特征在于，所述合并模块包括：

第三判断单元，与所述第一判断单元和所述第二判断单元连接，用于在成熟果实二值图像中，判断相邻所述成熟果实图像第一中心之间距离是否小于第一预定阈值，若是，则将相邻所述成熟果实图像第一中心之间距离小于第一预定阈值的两个成熟果实图像合并成一个成熟果实图像；

第一获取单元，与所述第三判断单元连接，用于获取在位置上对应所述第一数据矩阵中对第一激光反射值大的成熟果实图像第一中心为所述成熟果实图像第二中心。

10.根据权利要求9所述的成熟果实识别和定位的图像处理装置，其特征在于，所述第三获取模块包括：

建立三维坐标系统单元，用于以三维视觉传感器的中心为三维坐标的原点建立三维坐标系统；

第二获取单元，与所述建立三维坐标系统单元、所述第三构成单元和第一获取单元连接，用于根据所述成熟果实图像第二中心在所述成熟果实二值图像中的位置，和所述成熟果实图像第二中心到所述三维视觉传感器的中心距离以及所述三维视觉传感器的扫描步距角，获取所述成熟果实图 像第二中心的三维坐标，所述成熟果实图像第二中心到所述三维视觉传感器的中心距离为，在第三数据矩阵中以在位置上对应所述成熟果实图像第二中心的所述第三数据矩阵中的元素为中心，该元素以及与之毗邻8个元素的平均值。 

Images