CN110400322A - 基于颜色和三维几何信息的水果点云分割方法 - Google Patents

基于颜色和三维几何信息的水果点云分割方法 Download PDF

Info

Publication number
CN110400322A
CN110400322A CN201910693936.XA CN201910693936A CN110400322A CN 110400322 A CN110400322 A CN 110400322A CN 201910693936 A CN201910693936 A CN 201910693936A CN 110400322 A CN110400322 A CN 110400322A
Authority
CN
China
Prior art keywords
pixel
fruit
point cloud
cluster
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910693936.XA
Other languages
English (en)
Other versions
CN110400322B (zh
Inventor
朱启兵
吴刚
黄敏
郭亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201910693936.XA priority Critical patent/CN110400322B/zh
Publication of CN110400322A publication Critical patent/CN110400322A/zh
Application granted granted Critical
Publication of CN110400322B publication Critical patent/CN110400322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于颜色和三维几何信息的水果点云分割方法,涉及机器视觉技术领域,该方法首先通过融合颜色特征和法线方向直方图特征,基于支持向量机得到初步分割结果,去除大部分背景区域,然后将初步分割结果转换为点云,通过对点云欧式聚类为点云团后提取点云团的视点特征直方图,基于k近邻算法和随机森林算法根据视点特征直方图再次判断点云团是否对应水果区域,从而可以再次去除初步分割后仍然残留的背景等非水果区域,筛选出最终的水果点云团也即水果区域,该方法结合颜色信息和三维几何信息,利用物体表面法线等几何特征来辅助水果点云的分割,可以在一定程度上提高水果识别的准确率,降低误检率。

Description

基于颜色和三维几何信息的水果点云分割方法
技术领域
本发明涉及机器视觉技术领域,尤其是一种基于颜色和三维几何信息的水果点云分割方法。
背景技术
水果采摘机器人的工作流程主要是通过视觉系统获取图像信息,由控制器处理并将信息传递给执行机构,完成最后的采摘任务。对水果的识别的准确率直接关系到后续采摘的成功率。因此,要让采摘机器人能够成功采摘,准确识别是关键。为了提高水果检测的准确率,必须在图像处理阶段尽可能地保留水果区域,同时去除背景等干扰区域,以便于对水果的分割识别。
传统的水果图像分割方法主要是利用颜色信息进行分割,色差法就是利用前景和背景的颜色差异将背景去除。然而,色差法要求前景和背景的颜色差异明显,对于不明显的差异,则会引入较多干扰区域,影响后续水果识别。此外,对于一些颜色和背景相似的水果、光照不均匀等情况,仅仅利用颜色进行分割很难达到理想的效果。彩色图像所提供的颜色、纹理等信息有限,随着对水果检测要求的提高,仅仅利用彩色图像已不能满足人们的要求。
发明内容
本发明人针对上述问题及技术需求,提出了一种基于颜色和三维几何信息的水果点云分割方法,本发明的技术方案如下:
一种基于颜色和三维几何信息的水果点云分割方法,该方法包括:
获取自然场景下的果树的彩色图像、深度图像和三维点云数据;
对于每个像素,在彩色图像中提取像素的HSV颜色特征,利用三维点云数据存储的法向量信息在深度图像中提取像素的法线方向直方图特征;
对每个像素的HSV颜色特征和法线方向直方图特征进行特征融合得到特征向量,利用预先训练的分割模型对特征向量进行分类得到初步分割区域,分割模型基于支持向量机训练得到;
将初步分割区域对应的彩色图像和深度图像处理为三维点云数据记为预分割点云数据,利用各个预分割点云数据的位置信息对预分割点云数据进行欧式聚类为若干个点云团;
提取每个点云团的视点特征直方图,分别利用预先训练的第一判断模型和第二判断模型根据每个点云团的视点特征直方图判断点云团是否属于水果点云团,水果点云团是包括水果的点云团,第一判断模型基于k近邻算法训练得到,第二判断模型基于随机森林算法训练得到;
根据第一判断模型和第二判断模型的判断结果筛选出所有点云团中的水果点云团。
其进一步的技术方案为,利用三维点云数据存储的法向量信息在深度图像中提取像素的法线方向直方图特征,包括:
利用三维点云数据包括的每个像素在空间坐标系的x、y、z通道的坐标值计算各个像素处的法向量的坐标值,各个像素处的法向量的坐标值存储在三维点云数据中;
对于深度图像中的每个像素,利用三维点云数据存储的各个像素处的法向量的坐标值计算每个像素的法向量与像素的3邻域内其余8个像素的法向量之间的夹角的余弦值;
将计算得到的8个余弦值按从小到大的顺序排列形成像素的法线方向直方图特征。
其进一步的技术方案为,利用三维点云数据包括的每个像素在空间坐标系的x、y、z通道的值计算各个像素处的法向量的坐标值,包括:
根据每个像素的z通道的坐标值Z(i,j)构建图像在像素p(m,n)处的z通道的积分图Iz表示为i,j为参数;
计算像素p(m,n)处的水平向量vph=(vphx,vphy,vphz)和垂直向量vpv=(vpvx,vpvy,vpvz),计算公式为:
其中,表达式X()表示像素的x通道的坐标值,表达式Y()表示像素的y通道的坐标值,表达式S()表示需要平滑的矩形区域的像素均值,r是需要平滑的矩形区域的内径,其中表达式S()的通用计算公式为:
根据水平向量和垂直向量计算像素p(m,n)处的法向量的坐标值为np=vph×vpv,符号×表示外积。
其进一步的技术方案为,将初步分割区域对应的彩色图像和深度图像处理为三维点云数据,包括:
利用彩色图像为引导将深度图像中除初步分割区域之外的区域的像素的值置零得到初步分割的深度图像;
按照如下公式将初步分割的深度图像中的每个像素p(m,n)转换到三维空间:
其中,g为初步分割的深度图像中像素p(m,n)的灰度值,camera_f为参数且取值与g的单位对应,camera_cx和camera_cy为图像的中心位置,camera_fx和camera_fy为深度相机的内部参数。
其进一步的技术方案为,提取每个点云团的视点特征直方图,包括:
根据点云团的视点和中心点确定视点方向为Vp-Pc,其中,Vp为点云团的视点,Pc为点云团的中心点;
对于点云团上任一点Pi,计算视点方向与该点Pi的法向量ni之间的夹角为βi=arccos<Vp-Pc,ni>;
对于点云团上任一点Pi,计算点云团的中心点与该点Pi的平移角α、倾斜角φ、偏航角θ和距离d,计算公式为:
α=V·ni
θ=arctan(W·ni,U·ni);
d=||Pi-Pc||2
其中,U、V、W是一组标准正交基,U=nc、V=(Pi-Pc)×U、W=U×V,nc为中心点Pc的法向量;
统计视点方向与所有点的法向量之间的夹角并分为128个区间,将中心点与所有点的平移角、倾斜角、偏航角和距离分别分为45个区间,总共得到308维的特征直方图即为视点特征直方图。
其进一步的技术方案为,利用各个预分割点云数据的位置信息对预分割点云数据进行欧式聚类为若干个点云团,包括:
对于任意一个预分割点云数据,计算预分割点云数据与每一个邻近点之间的欧氏距离D为:(x1,y1,z1)是预分割点云数据的位置信息,(x2,y2,z2)是邻近点的位置信息;
若预分割点云数据与邻近点之间的欧式距离小于距离阈值,则确定预分割点云数据与邻近点属于同一个点云团,否则确定预分割点云数据与邻近点属于不同的点云团;
遍历空间内所有预分割点云数据完成聚类,将所有预分割点云数据划分为若干个点云团。
其进一步的技术方案为,该方法还包括:
选取训练图片,获取各个训练图片的彩色图像、深度图像和三维点云数据;
人工选取各个训练图片中的水果区域像素和非水果区域像素,水果区域像素是训练图片中水果所在的区域的像素,非水果区域像素是训练图片中不包含水果的区域的像素;
根据各个训练图片的彩色图像、深度图像和三维点云数据提取各个训练图片中每个像素的HSV颜色特征和法线方向直方图特征;
基于支持向量机,采用十折交叉验证寻优,利用各个训练图片中的水果区域像素和非水果区域像素及各自对应的HSV颜色特征和法线方向直方图特征训练得到分割模型。
其进一步的技术方案为,该方法还包括:
利用分割模型对各个训练图片进行初步分割,并将初步分割的彩色图像和深度源图像处理为三维点云数据进行欧式聚类为若干个点云团;
提取各个训练图片中各个点云团的视点特征直方图;
人工将各个点云团分为水果点云团和非水果点云团,非水果点云团是不包括水果的点云团;
基于k近邻算法,利用各个训练图片中的水果点云团和非水果点云团及各自对应的视点特征直方图训练得到第一判断模型;
基于随机森林算法,利用各个训练图片中的水果点云团和非水果点云团及各自对应的视点特征直方图训练得到第二判断模型。
本发明的有益技术效果是:
本申请公开了一种基于颜色和三维几何信息的水果点云分割方法,该方法首先通过融合颜色特征和法线方向直方图特征,基于支持向量机得到初步分割结果,去除大部分背景区域,然后将初步分割结果转换为点云,通过对点云欧式聚类为点云团后提取点云团的视点特征直方图,基于k近邻算法和随机森林算法根据视点特征直方图再次判断点云团是否对应水果区域,从而可以再一次去除初步分割后仍然残留的背景等非水果区域,筛选出最终的水果点云团也即水果区域。该方法结合颜色信息和三维几何信息,利用物体表面法线等几何特征来辅助水果点云的分割,整个流程无需人工设置分割阈值,所需模型通过监督学习方式训练得到,方法简单,适用于多种情况下的水果点云图像背景分割问题,可以在一定程度上提高水果识别的准确率,降低误检率。
附图说明
图1是本申请公开的水果点云分割方法的流程图。
图2是本申请利用的视点特征直方图中各个角度的示意。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于颜色和三维几何信息的水果点云分割方法,该方法包括如下步骤,请参考图1所示的步骤示意图:
步骤1,获取自然场景下的果树的彩色图像、深度图像和三维点云数据,在本申请中,三维点云数据是有序点云,彩色图像、深度图像和三维点云数据均对齐,也即二维的图像中的像素p(m,n)在三维的有序点云中也在(m,n)处。
步骤2,对于每个像素,在彩色图像中提取像素的HSV颜色特征,利用三维点云数据存储的法向量信息在深度图像中提取像素的法线方向直方图特征。HSV颜色特征的提取是常用操作,本申请不再详细说明其过程。
在提取法线方向直方图特征时需要利用三维点云数据存储的法向量信息,因此实际需要先计算有序点云的法向量的坐标值,在本申请中利用三维点云数据包括的每个像素在空间坐标系的x、y、z通道的坐标值计算各个像素处的法向量的坐标值,然后将各个像素处的法向量的坐标值存储在三维点云数据中。在本申请中,采用积分图法计算有序点云的法向量,法向量的坐标值的计算阶段使用了点云处理开源库PCL(Point Cloud Library),计算过程具体包括:
(1)根据每个像素的z通道的坐标值Z(i,j)构建与图像在像素p(m,n)处的z通道的积分图Iz表示为:
其中,i,j为参数。
(2)计算像素p(m,n)处的水平向量vph和垂直向量vpv,定义:
vph=(vphx,vphy,vphz);
vpv=(vpvx,vpvy,vpvz)。
其中,vphx,vphy,vphz,vpvx,vpvy,vpvz均为中间参数,定义这6个参数的计算公式为:
其中,表达式X()表示像素的x通道的坐标值,表达式Y()表示像素的y通道的坐标值,比如X(m+r,n)表示像素P(m+r,n)的x通道的坐标值,Y(m+r,n)表示像素P(m+r,n)的y通道的坐标值,其他表达式的表示含义可以依次类推。,表达式S()表示需要平滑的矩形区域的像素均值,S()的通用计算公式为:
本领域技术人员可以理解的是,当表达式S()中的四个参数Iz,m,n,r不同时,其计算公式中的相应参数相应变化即可,因此本申请不详细示出上述计算公式中的所有表达式的计算方式。在上述计算公式中,r是需要平滑的矩形区域的内径,在点云库PCL的使用过程中r是自适应值,会根据深度图像的偏差变化而变化。
(3)根据像素p(m,n)处的水平向量vph和垂直向量vpv计算该像素p(m,n)处的法向量的坐标值为np=vph×vpv,其中符号×表示外积。
在使用上述方法计算得到各个像素处的法向量的坐标值后存储在三维点云数据中,然后就可以利用这些坐标值在深度图像中提取像素的法线方向直方图特征,具体的:对于深度图像中的每个像素,利用三维点云数据存储的各个像素处的法向量的坐标值计算每个像素的法向量与像素的3邻域内其余8个像素的法向量之间的夹角的余弦值;
其中,np是像素p(m,n)处的法向量,ni表示像素p(m,n)的3邻域内的任一像素处的法向量,cosθi即表示np与ni之间的夹角的余弦值。根据该公式即可以分别计算得到8个余弦值。为了方便处理,将计算得到的8个余弦值按从小到大的顺序排列形成像素p(m,n)的法线方向直方图特征。需要说明的是,一般提取纹理特征LBP时也是选取3邻域范围进行计算,本申请也是选取3邻域范围,这样就能获得8维的特征向量,主要也是参考LBP特征的计算方式,实际也可以将邻域范围设置的更大,扩大邻域范围会增加特征维数,同时也会增加计算量,本申请是出于准确性的计算量的均衡考虑选择3邻域范围。
步骤3,对每个像素的HSV颜色特征和法线方向直方图特征进行特征融合得到特征向量,利用预先训练的分割模型对特征向量进行分类得到初步分割区域。特征融合的具体操作可以参考现有常规操作,本申请不详细说明过程,分割模型是一个基于支持向量机的分类器模型,利用分割模型根据特征向量进行初步分割可以初步将前后景区分开,得到的初步分割区域即为一个初步预测的水果所在的区域,这种初步分割的做法是以像素处理的,可以去除大部分背景,但得到的初步分割区域中仍然会有一些残留的非水果区域。
步骤4,将初步分割区域对应的彩色图像和深度图像处理为三维点云数据记为预分割点云数据,具体的,在本申请中,由于彩色图像和深度图像的分辨率是一样的,也即某个像素在彩色图像的位置为(m,n),在深度图像里也就是(m,n),因此利用彩色图像为引导将深度图像中除初步分割区域之外的区域的像素的值置零除初步分割区域之外的区域的像素即为初步分割中被认为是背景的像素,由此即可以得到初步分割的深度图像。
然后按照如下公式将初步分割的深度图像中的每个像素p(m,n)转换到三维空间:
其中,g为初步分割的深度图像中像素p(m,n)的灰度值,camera_f为参数且取值与g的单位对应,当灰度值g为mm时,camera_f的值为1000。camera_cx和camera_cy为图像的中心位置,camera_fx和camera_fy为深度相机的内部参数,可通过相机标定得到。
步骤5,利用各个预分割点云数据的位置信息对预分割点云数据进行欧式聚类为若干个点云团,具体包括:
(1)、对于任意一个预分割点云数据,计算该预分割点云数据与其每一个邻近点之间的欧氏距离D为:(x1,y1,z1)是该预分割点云数据P1的位置信息,(x2,y2,z2)是其邻近点P2的位置信息。
(2)、若该预分割点云数据P1与其邻近点P2之间的欧式距离D小于预先设置的距离阈值,则确定该预分割点云数据P1与邻近点P2属于同一类别,也即属于同一个点云团,否则属于不同的点云团。
(3)、遍历空间内所有预分割点云数据并执行上述(1)和(2)完成聚类,从而将所有预分割点云数据划分为若干个点云团。
步骤6,提取每个点云团的视点特征直方图,具体包括对于每一个点云团:
(1)、根据该点云团的视点Vp和中心点Pc确定视点方向为Vp-Pc
(2)、对于该点云团上任一点Pi,计算视点方向Vp-Pc与该点Pi的法向量ni之间的夹角为βi=arccos<Vp-Pc,ni>。
(3)、对于该点云团上任一点Pi,计算该点云团的中心点Pc与该点Pi的平移角α、倾斜角φ、偏航角θ和距离d,请参考图2,计算公式为:
α=V·ni
θ=arctan(W·ni,U·ni);
d=||Pi-Pc||2
其中,U、V、W是一组标准正交基,即Darboux坐标系:
U=nc
V=(Pi-Pc)×U;
W=U×V;
其中,nc为中心点Pc的法向量。
(4)、统计视点方向Vp-Pc与所有点的法向量之间的夹角并分为128个区间,将中心点Pc与所有点的平移角α、倾斜角φ、偏航角θ和距离d分别分为45个区间,总共得到308维的特征直方图即为该点云团的视点特征直方图。区间的具体划分是PCL库自动处理的,因此本申请不作详细说明。
步骤7,分别利用预先训练的第一判断模型和第二判断模型根据每个点云团的视点特征直方图判断该点云团该属于水果点云团还是非水果点云团,水果点云团是包括水果的点云团,非水果点云团是不包括水果的点云团。第一判断模型基于k近邻算法训练得到,第二判断模型基于随机森林算法训练得到。
步骤8,根据第一判断模型和第二判断模型的判断结果筛选出所有点云团中的水果点云团,在本申请中,对两个判断结果执行求或操作得到最终的结果,也即,对于某一个点云团,若至少有一个判断模型判断该点云团是水果点云团,则最终确定该点云团是水果点云团,这种做法可以尽可能保留水果区域,不会在图像分割阶段就将水果去除,影响后续的识别率。至此,已经对初步分割区域进行了进一步处理,去除了其中残留的非水果区域,也即背景,从而得到了更为准确的水果点云团,后续即可从水果点云团中识别提取得到水果。
在本申请公开的方法的应用中,使用到的分割模型、第一判断模型和第二判断都是预先训练得到的,在本申请在实际应用时,还包括对这三个模型的模型训练过程,模型训练过程的操作与上述操作是类似的,具体包括:
1、选取训练图片,获取各个训练图片的彩色图像、深度图像和三维点云数据。
2、人工选取各个训练图片中的水果区域像素和非水果区域像素,水果区域像素是训练图片中水果所在的区域的像素,非水果区域像素是训练图片中不包含水果的区域的像素。
3、根据各个训练图片的彩色图像、深度图像和三维点云数据提取各个训练图片中每个像素的HSV颜色特征和法线方向直方图特征,这一步骤的具体操作与上述步骤2类似,本申请不再赘述。
4、各个训练图片中各个像素的HSV颜色特征和法线方向直方图特征以及人工进行的对该像素属于水果区域像素还是非水果区域像素的划分结果构成了训练分割模型所用的数据集,将该数据集划分为训练集和测试集,基于支持向量机,采用十折交叉验证寻优,利用训练集训练得到分割模型,并利用测试集进行测试。
5、利用分割模型对各个训练图片进行初步分割,并将初步分割的彩色图像和深度源图像处理为三维点云数据进行欧式聚类为若干个点云团,然后提取各个训练图片中各个点云团的视点特征直方图,具体操作与上述步骤2-6类似,本申请对此不再赘述。
6、人工将各个点云团分为水果点云团和非水果点云团。各个训练图片中各个点云团的视点特征直方图以及人工进行的对该点云团属于水果点云团还是非水果点云团的划分结果构成了训练第一判断模型和第二判断模型所用的数据集,将该数据集划分为训练集和测试集。
7、基于k近邻算法,利用训练集训练得到第一判断模型,并利用测试集进行测试。
8、基于随机森林算法,利用训练集训练得到第二判断模型,并利用测试集进行测试。
以上所述的仅是本申请的优选实施方式,本发明不限于以上实施例。可以理解,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围之内。

Claims (8)

1.一种基于颜色和三维几何信息的水果点云分割方法,其特征在于,所述方法包括:
获取自然场景下的果树的彩色图像、深度图像和三维点云数据;
对于每个像素,在所述彩色图像中提取所述像素的HSV颜色特征,利用所述三维点云数据存储的法向量信息在所述深度图像中提取所述像素的法线方向直方图特征;
对每个像素的所述HSV颜色特征和法线方向直方图特征进行特征融合得到特征向量,利用预先训练的分割模型对所述特征向量进行分类得到初步分割区域,所述分割模型基于支持向量机训练得到;
将所述初步分割区域对应的彩色图像和深度图像处理为三维点云数据记为预分割点云数据,利用各个所述预分割点云数据的位置信息对所述预分割点云数据进行欧式聚类为若干个点云团;
提取每个所述点云团的视点特征直方图,分别利用预先训练的第一判断模型和第二判断模型根据所述每个点云团的视点特征直方图判断所述点云团是否属于水果点云团,所述水果点云团是包括水果的点云团,所述第一判断模型基于k近邻算法训练得到,所述第二判断模型基于随机森林算法训练得到;
根据所述第一判断模型和第二判断模型的判断结果筛选出所有点云团中的水果点云团。
2.根据权利要求1所述的水果点云分割方法,其特征在于,利用所述三维点云数据存储的法向量信息在所述深度图像中提取所述像素的法线方向直方图特征,包括:
利用所述三维点云数据包括的每个像素在空间坐标系的x、y、z通道的坐标值计算各个像素处的法向量的坐标值,各个像素处的法向量的坐标值存储在所述三维点云数据中;
对于所述深度图像中的每个像素,利用所述三维点云数据存储的各个像素处的法向量的坐标值计算每个像素的法向量与所述像素的3邻域内其余8个像素的法向量之间的夹角的余弦值;
将计算得到的8个余弦值按从小到大的顺序排列形成所述像素的法线方向直方图特征。
3.根据权利要求2所述的水果点云分割方法,其特征在于,所述利用所述三维点云数据包括的每个像素在空间坐标系的x、y、z通道的值计算各个像素处的法向量的坐标值,包括:
根据每个像素的z通道的坐标值Z(i,j)构建图像在像素p(m,n)处的z通道的积分图Iz表示为i,j为参数;
计算像素p(m,n)处的水平向量vph=(vphx,vphy,vphz)和垂直向量vpv=(vpvx,vpvy,vpvz),计算公式为:
其中,表达式X()表示像素的x通道的坐标值,表达式Y()表示像素的y通道的坐标值,表达式S()表示需要平滑的矩形区域的像素均值,r是需要平滑的矩形区域的内径,其中表达式S()的通用计算公式为:
根据所述水平向量和所述垂直向量计算所述像素p(m,n)处的法向量的坐标值为np=vph×vpv,符号×表示外积。
4.根据权利要求1所述的水果点云分割方法,其特征在于,将所述初步分割区域对应的彩色图像和深度图像处理为三维点云数据,包括:
利用所述彩色图像为引导将所述深度图像中除所述初步分割区域之外的区域的像素的值置零得到初步分割的深度图像;
按照如下公式将所述初步分割的深度图像中的每个像素p(m,n)转换到三维空间:
其中,g为所述初步分割的深度图像中像素p(m,n)的灰度值,camera_f为参数且取值与g的单位对应,camera_cx和camera_cy为图像的中心位置,camera_fx和camera_fy为深度相机的内部参数。
5.根据权利要求1所述的水果点云分割方法,其特征在于,所述提取每个所述点云团的视点特征直方图,包括:
根据所述点云团的视点和中心点确定视点方向为Vp-Pc,其中,Vp为所述点云团的视点,Pc为所述点云团的中心点;
对于所述点云团上任一点Pi,计算所述视点方向与该点Pi的法向量ni之间的夹角为βi=arccos<Vp-Pc,ni>;
对于所述点云团上任一点Pi,计算所述点云团的中心点与该点Pi的平移角α、倾斜角φ、偏航角θ和距离d,计算公式为:
α=V·ni
θ=arctan(W·ni,U·ni);
d=||Pi-Pc||2
其中,U、V、W是一组标准正交基,U=nc、V=(Pi-Pc)×U、W=U×V,nc为中心点Pc的法向量;
统计所述视点方向与所有点的法向量之间的夹角并分为128个区间,将所述中心点与所有点的平移角、倾斜角、偏航角和距离分别分为45个区间,总共得到308维的特征直方图即为所述视点特征直方图。
6.根据权利要求1-5任一所述的水果点云分割方法,其特征在于,所述利用各个所述预分割点云数据的位置信息对所述预分割点云数据进行欧式聚类为若干个点云团,包括:
对于任意一个所述预分割点云数据,计算所述预分割点云数据与每一个邻近点之间的欧氏距离D为:(x1,y1,z1)是所述预分割点云数据的位置信息,(x2,y2,z2)是邻近点的位置信息;
若所述预分割点云数据与邻近点之间的欧式距离小于距离阈值,则确定所述预分割点云数据与所述邻近点属于同一个点云团,否则确定所述预分割点云数据与所述邻近点属于不同的点云团;
遍历空间内所有预分割点云数据完成聚类,将所有预分割点云数据划分为若干个点云团。
7.根据权利要求1-5任一所述的水果点云分割方法,其特征在于,所述方法还包括:
选取训练图片,获取各个所述训练图片的彩色图像、深度图像和三维点云数据;
人工选取各个所述训练图片中的水果区域像素和非水果区域像素,所述水果区域像素是所述训练图片中水果所在的区域的像素,所述非水果区域像素是所述训练图片中不包含水果的区域的像素;
根据各个所述训练图片的彩色图像、深度图像和三维点云数据提取各个所述训练图片中每个像素的HSV颜色特征和法线方向直方图特征;
基于支持向量机,采用十折交叉验证寻优,利用各个所述训练图片中的水果区域像素和非水果区域像素及各自对应的HSV颜色特征和法线方向直方图特征训练得到所述分割模型。
8.根据权利要求7所述的水果点云分割方法,其特征在于,所述方法还包括:
利用所述分割模型对各个所述训练图片进行初步分割,并将初步分割的彩色图像和深度源图像处理为三维点云数据进行欧式聚类为若干个点云团;
提取各个所述训练图片中各个点云团的视点特征直方图;
人工将各个点云团分为水果点云团和非水果点云团,所述非水果点云团是不包括水果的点云团;
基于k近邻算法,利用各个所述训练图片中的水果点云团和非水果点云团及各自对应的视点特征直方图训练得到所述第一判断模型;
基于随机森林算法,利用各个所述训练图片中的水果点云团和非水果点云团及各自对应的视点特征直方图训练得到所述第二判断模型。
CN201910693936.XA 2019-07-30 2019-07-30 基于颜色和三维几何信息的水果点云分割方法 Active CN110400322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910693936.XA CN110400322B (zh) 2019-07-30 2019-07-30 基于颜色和三维几何信息的水果点云分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910693936.XA CN110400322B (zh) 2019-07-30 2019-07-30 基于颜色和三维几何信息的水果点云分割方法

Publications (2)

Publication Number Publication Date
CN110400322A true CN110400322A (zh) 2019-11-01
CN110400322B CN110400322B (zh) 2021-03-16

Family

ID=68326678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910693936.XA Active CN110400322B (zh) 2019-07-30 2019-07-30 基于颜色和三维几何信息的水果点云分割方法

Country Status (1)

Country Link
CN (1) CN110400322B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992341A (zh) * 2019-12-04 2020-04-10 沈阳建筑大学 一种基于分割的机载LiDAR点云建筑物提取方法
CN111126296A (zh) * 2019-12-25 2020-05-08 中国联合网络通信集团有限公司 水果定位方法及装置
CN112084988A (zh) * 2020-06-08 2020-12-15 深圳佑驾创新科技有限公司 车道线实例聚类方法、装置、电子设备和存储介质
CN112163639A (zh) * 2020-10-20 2021-01-01 华南农业大学 一种基于高度分布特征向量的作物倒伏分级方法
CN113156933A (zh) * 2020-12-30 2021-07-23 徐宁 一种机器人行进控制系统和方法
CN113450461A (zh) * 2021-07-23 2021-09-28 中国有色金属长沙勘察设计研究院有限公司 一种排泥库土工布点云提取方法
CN114067309A (zh) * 2021-10-25 2022-02-18 大连理工大学 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
CN115063436A (zh) * 2022-06-01 2022-09-16 电子科技大学 一种基于深度区域投影的大面积弱纹理工件扫描点云分割方法
TWI797571B (zh) * 2020-03-10 2023-04-01 美商尼安蒂克公司 用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體
CN117789200A (zh) * 2023-12-29 2024-03-29 北京中科原动力科技有限公司 果实点云提取方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521831A (zh) * 2011-12-02 2012-06-27 南京信息工程大学 基于多尺度分形维和神经网络的机器人视觉图像分割方法
CN103996046A (zh) * 2014-06-11 2014-08-20 北京邮电大学 基于多视觉特征融合的人员识别方法
CN106600622A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于超体素的点云数据分割方法
CN106780509A (zh) * 2016-12-01 2017-05-31 山东交通学院 融合多维特征的建筑物点云层次聚类分割方法
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108345850A (zh) * 2018-01-23 2018-07-31 哈尔滨工业大学 基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521831A (zh) * 2011-12-02 2012-06-27 南京信息工程大学 基于多尺度分形维和神经网络的机器人视觉图像分割方法
CN103996046A (zh) * 2014-06-11 2014-08-20 北京邮电大学 基于多视觉特征融合的人员识别方法
CN106780509A (zh) * 2016-12-01 2017-05-31 山东交通学院 融合多维特征的建筑物点云层次聚类分割方法
CN106600622A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于超体素的点云数据分割方法
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108345850A (zh) * 2018-01-23 2018-07-31 哈尔滨工业大学 基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
EHUD BARNEA等: "Colour-agnostic shape-based 3D fruit detection for crop harvesting robots", 《BIOSYSTEMS ENGINEERING》 *
HAO LI等: "Peduncle detection of sweet pepper based on color and 3D feature", 《ASABE》 *
JENS BEHLEY等: "Performance of Histogram Descriptors for the Classification of 3D Laser Range Data in Urban Environments", 《2012 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION RIVERCENTRE》 *
MUHAMMAD HAMMAD MALIK等: "Mature Tomato Fruit Detection Algorithm Based on improved HSV and Watershed Algorithm", 《SCIENCE DIRECT》 *
RADU BOGDAN RUSU等: "Fast 3D Recognition and Pose Using the Viewpoint Feature Histogram", 《THE 2010 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
RUDOLPH TRIEBEL等: "Robust 3D Scan Point Classification using Associative Markov Networks", 《PROCEEDINGS OF THE 2006 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
S.HOLZER等: "Adaptive Neighborhood Selection for Real-Time Surface Normal Estimation from Organized Point Cloud Data Using Integral Images", 《2012 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
TAO YONGTING等: "Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *
卢成武等: "融合颜色与形状特征的图像检索方法", 《微电子学与计算机》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992341A (zh) * 2019-12-04 2020-04-10 沈阳建筑大学 一种基于分割的机载LiDAR点云建筑物提取方法
CN111126296A (zh) * 2019-12-25 2020-05-08 中国联合网络通信集团有限公司 水果定位方法及装置
TWI797571B (zh) * 2020-03-10 2023-04-01 美商尼安蒂克公司 用於自單一影像判定可遍歷空間之電腦實施方法及電腦可讀儲存媒體
US11741675B2 (en) 2020-03-10 2023-08-29 Niantic, Inc. Determining traversable space from single images
CN112084988A (zh) * 2020-06-08 2020-12-15 深圳佑驾创新科技有限公司 车道线实例聚类方法、装置、电子设备和存储介质
CN112084988B (zh) * 2020-06-08 2024-01-05 武汉佑驾创新科技有限公司 车道线实例聚类方法、装置、电子设备和存储介质
CN112163639A (zh) * 2020-10-20 2021-01-01 华南农业大学 一种基于高度分布特征向量的作物倒伏分级方法
CN112163639B (zh) * 2020-10-20 2023-09-26 华南农业大学 一种基于高度分布特征向量的作物倒伏分级方法
CN113156933A (zh) * 2020-12-30 2021-07-23 徐宁 一种机器人行进控制系统和方法
CN113450461A (zh) * 2021-07-23 2021-09-28 中国有色金属长沙勘察设计研究院有限公司 一种排泥库土工布点云提取方法
CN114067309A (zh) * 2021-10-25 2022-02-18 大连理工大学 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
CN114067309B (zh) * 2021-10-25 2024-04-26 大连理工大学 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
CN115063436A (zh) * 2022-06-01 2022-09-16 电子科技大学 一种基于深度区域投影的大面积弱纹理工件扫描点云分割方法
CN115063436B (zh) * 2022-06-01 2024-05-10 电子科技大学 一种基于深度区域投影的大面积弱纹理工件扫描点云分割方法
CN117789200A (zh) * 2023-12-29 2024-03-29 北京中科原动力科技有限公司 果实点云提取方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110400322B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110400322A (zh) 基于颜色和三维几何信息的水果点云分割方法
CN113344849B (zh) 一种基于YOLOv5的微乳头检测系统
CN103971126B (zh) 一种交通标志识别方法和装置
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN110490874A (zh) 基于yolo神经网络的纺织布匹表面瑕疵检测方法
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
CN109214420A (zh) 基于视觉显著性检测的高纹理图像分类方法及系统
Li et al. An overlapping-free leaf segmentation method for plant point clouds
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN109146948A (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
JP4946878B2 (ja) 画像識別装置及びプログラム
CN104298995A (zh) 基于三维点云的三维人脸识别装置及方法
Galsgaard et al. Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN111161295A (zh) 一种菜品图像背景剥离方法
CN113920190A (zh) 银杏花穗定向方法及系统
CN104268550B (zh) 特征提取方法及装置
CN116342525A (zh) 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统
JP6596260B2 (ja) 教示支援方法および画像分類方法
CN109359680A (zh) 爆破岩块自动识别和块度特征提取方法及装置
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant