CN119360366B - 基于多传感器融合的室外苹果识别定位方法及系统 - Google Patents

基于多传感器融合的室外苹果识别定位方法及系统 Download PDF

Info

Publication number
CN119360366B
CN119360366B CN202411918158.7A CN202411918158A CN119360366B CN 119360366 B CN119360366 B CN 119360366B CN 202411918158 A CN202411918158 A CN 202411918158A CN 119360366 B CN119360366 B CN 119360366B
Authority
CN
China
Prior art keywords
edge
apple
depth
roi
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411918158.7A
Other languages
English (en)
Other versions
CN119360366A (zh
Inventor
万熠
陶中涵
黄家琦
李亚男
陈英凯
彭强吉
王勇
张子辉
高文胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202411918158.7A priority Critical patent/CN119360366B/zh
Publication of CN119360366A publication Critical patent/CN119360366A/zh
Application granted granted Critical
Publication of CN119360366B publication Critical patent/CN119360366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供了基于多传感器融合的室外苹果识别定位方法及系统，涉及目标检测技术领域，包括获取室外苹果的图像数据以及激光雷达点云数据，将图像数据输入至目标检测模型，得到RGB图像；通过标定外参矩阵得到ROI深度信息区域；使用边缘检测算法对RGB图像提取图像边缘特征，获得ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到深度边缘数据；利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。

Description

基于多传感器融合的室外苹果识别定位方法及系统
技术领域
本公开涉及目标检测技术领域，具体涉及基于多传感器融合的室外苹果识别定位方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
在果蔬自动化采摘中，目标的三维信息识别技术对提高采摘效率和准确性至关重要。苹果的三维识别尤其具有挑战性，因为苹果在树上通常处于密集的叶片和枝干遮挡之中，其复杂的表面反射性、形状多变的轮廓以及在不同光照条件下的可见性差异，都给高精度的三维定位和识别带来了难题。这使得能够在多种光照环境下获得可靠的三维信息成为智能采摘系统的关键需求。
当前主流的三维识别方法大多基于结构光或双目相机，通过获取相机平面上的图像并结合深度信息来实现对目标的精确定位。在这些方法中，结构光通过投射特殊图案来估算场景深度，但在强光照环境下，投射光线往往会被太阳光干扰，导致结构光的深度估计效果大幅下降，甚至完全失效。与此同时，双目相机依靠两组图像进行立体匹配来计算深度。然而在强光照下，光线干扰和阴影变化常常导致匹配点的识别和定位误差，造成深度估计不准，这种误差在精度要求高的采摘任务中通常是难以接受的。而且复杂光照条件下三维信息识别的失效，直接影响到苹果识别的准确性和稳定性，进而对采摘任务带来难以预期的挑战。
发明内容
本公开为了解决上述问题，提出了基于多传感器融合的室外苹果识别定位方法及系统，将两种传感器的数据进行多模态融合，利用边缘特征匹配算法，在复杂光照条件下准确定位苹果的三维信息，同时，通过面阵激光雷达与多机械臂匹配方式，可以在识别硬件成本有限情况下，实现更稳定的检测效果。
根据一些实施例，本公开采用如下技术方案：
基于多传感器融合的室外苹果识别定位方法，包括：
获取室外苹果的图像数据以及激光雷达点云数据，并预处理；
将图像数据输入至目标检测模型，得到苹果二维边界框的RGB图像；通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系，得到与二维边界框匹配的ROI深度信息区域；
使用边缘检测算法对RGB图像提取图像边缘特征，并对非边缘像素采用逆距离加权变换赋予边缘度，将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到去噪后的ROI点云下的深度边缘数据；
利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，识别苹果真实边缘轮廓，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；
根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。
根据一些实施例，本公开采用如下技术方案：
基于多传感器融合的室外苹果识别定位系统，包括：
数据获取模块，用于获取室外苹果的图像数据以及激光雷达点云数据，并预处理；
目标识别模块，用于将图像数据输入至目标检测模型，得到苹果二维边界框的RGB图像；通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系，得到与二维边界框匹配的ROI深度信息区域；
边缘特征提取模块，用于使用边缘检测算法对RGB图像提取图像边缘特征，并对非边缘像素采用逆距离加权变换赋予边缘度，将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到去噪后的ROI点云下的深度边缘数据；
边缘匹配模块，用于利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，识别苹果真实边缘轮廓，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；
定位计算模块，用于根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。
根据一些实施例，本公开采用如下技术方案：
一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的基于多传感器融合的室外苹果识别定位方法。
根据一些实施例，本公开采用如下技术方案：
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于多传感器融合的室外苹果识别定位方法。
根据一些实施例，本公开采用如下技术方案：
一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于多传感器融合的室外苹果识别定位方法。
与现有技术相比，本公开的有益效果为：
本公开的基于多传感器融合的室外苹果识别定位方法，基于相机与激光雷达的苹果三维信息识别方法，以提升识别在强光干扰环境中的鲁棒性。激光雷达具备不受环境光影响的特点，能够在高强度光照下仍然保持精确的深度检测，并结合相机的图像信息实现更精确的苹果位置和形状估计。通过将相机和激光雷达两种传感器的数据进行多模态融合，能够有效克服单一方法在强光下的局限性，为室外苹果果园的高效识别和采摘奠定了技术基础。同时，通过面阵激光雷达与多机械臂匹配方式可以在识别硬件成本有限情况下，实现更稳定的检测效果。这种创新方案不仅提升了自动化采摘设备在复杂环境中的适应性，还为高鲁棒性目标识别技术在农业领域的应用提供了新思路。
本公开的基于多传感器融合的室外苹果识别定位方法，利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，识别苹果真实边缘轮廓，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线，通过从图像边缘与深度边缘的双边缘匹配方法在室外复杂光照情况下更加稳定地获得目标果实的真实轮廓信息，有效减少树叶、枝干和其他果实的重叠遮挡影响。
本公开的基于多传感器融合的室外苹果识别定位方法，根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息，构建球体模型可以更好地建立苹果的三维位姿信息，包括苹果实物中心、苹果三维轮廓信息，以便于后续更好地实现机械臂地抓取目标的运算。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例的基于多传感器融合的室外苹果识别定位方法流程图；
图2为本公开实施例的基于多传感器融合的室外苹果识别定位方法具体实施过程示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种基于多传感器融合的室外苹果识别定位方法，包括：
步骤一：获取室外苹果的图像数据以及激光雷达点云数据，并预处理；
步骤二：将图像数据输入至目标检测模型，得到苹果二维边界框的RGB图像；通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系，得到与二维边界框匹配的ROI深度信息区域；
步骤三：使用边缘检测算法对RGB图像提取图像边缘特征，并对非边缘像素采用逆距离加权变换赋予边缘度，将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到去噪后的ROI点云下的深度边缘数据；
步骤四：利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，识别苹果真实边缘轮廓，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；
步骤五：根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。
作为一种实施例，本公开的一种基于多传感器融合的室外苹果识别定位方法的具体实施过程如下：
步骤1：获取室外苹果的图像数据以及激光雷达点云数据，并预处理；
具体地，通过标定结果（相机内外参）进行畸变校正，以消除镜头畸变。点云数据通过使用统计滤波（Statistical Outlier Removal, SOR）去除异常点，减少数据量，提高处理效率。
步骤2：将图像数据输入至目标检测模型，得到苹果二维边界框的RGB图像；通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系，得到与二维边界框匹配的ROI深度信息区域；
具体地，通过相机采集的图像，使用Yolo等深度学习目标检测模型，获取苹果的二维边界框(Bbox)并记录其像素坐标信息，得到识别出的Bbox像素坐标为。
进一步地，通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系。设外参矩阵为，相机内参矩阵K可将激光雷达点云映射至相机平面，然后截取以形成与Bbox匹配的ROI深度信息区域。
具体地，为了将激光雷达点云映射到相机平面，必须完成多传感器之间的几何标定和投影过程。通过相机标定工具（如OpenCV或 MATLAB标定法）得到相机内参矩阵K，并纠正图像的畸变，
其中，从投影矩阵获取摄像机校准是指从摄像机的投影矩阵中提取出相机的内参，包括焦距和光学中心的校准参数。
接着利用PNP方法获得面阵激光雷达与某个相机的外参矩阵。PNP（Perspective-n-Point）方法是一种通过已知三维点与其在图像平面上投影的二维点，解算相机的姿态（即旋转矩阵R和平移向量t）的技术。具体地，输入数据3D点集（激光雷达坐标系）：已知的三维点集合 P={(X,Y,Z)}，通常通过标定物体（如棋盘格）得到，（X,Y,Z）为点云在坐标系中的三维坐标位置。
对应的2D像素点：这些三维点在图像平面的投影点 p={(u,v)}通常通过图像处理获取。相机内参矩阵K在前描述过。然后根据投影公式进行计算，
其中，[R∣t]为相机相对于激光雷达坐标系的位姿。S为缩放因子，与深度Z有关。K为相机内参矩阵。通过最小化误差（例如重投影误差），迭代求解相机的旋转矩阵和平移向量。（X,Y,Z）为点云在坐标系中的三维坐标，X、Y、Z分别在坐标系的X、Y、Z轴的具体位置。(u,v)为三维点在图像平面的投影点坐标。
最终获得外参矩阵。
其中，R为旋转矩阵和t为平移向量。
步骤3：使用边缘检测算法对RGB图像提取图像边缘特征，并对非边缘像素采用逆距离加权变换赋予边缘度，将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到去噪后的ROI点云下的深度边缘数据；
具体地，1）使用边缘检测算法对RGB图像提取图像边缘特征，并对非边缘像素采用逆距离加权变换赋予边缘度，将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图的过程为：
由于视野不同，激光雷达点云会出现树叶、树杈或者果实遮挡造成的深度干扰噪音，这是在转换时无法消除的，会带入ROI区域。为了排除非苹果物体（如叶片和树杈）的干扰，首先将RGB图像灰度化，接着使用Canny或Sobel等边缘检测算法提取图像边缘，得到二值边缘图T。
在每个边缘像素点(i,j)处，通过周围8邻域像素的最大绝对值衡量计算其边缘度M(i,j)，具体计算时，首先获取目标像素与其8邻域像素（8-邻域定义为与像素点(i,j)水平、垂直和对角线方向相邻的像素）的灰度值差的绝对值，然后取这些差值中的最大值作为该像素的边缘度。边缘度越大，表明该像素与周围像素的灰度差异越显著，更可能位于图像的边缘区域。
进一步地，对非边缘像素采用逆距离加权变换赋予边缘度，公式为：
其中，为像素的边缘度，T为二值边缘图，其中每个像素值代表着该处的边缘度值，β为每个非边缘点与其他位置点的距离加权系数，越近越大，而γ设置为0.5，代表每个非边缘像素的其他位置对该位置的最大辐射量的加权求和。为目标像素的坐标，即当前正在计算边缘度的像素点，表示其他像素点的坐标，是整个图像中参与计算的其他点。代表坐标位置处像素的边缘度值。辐射量由其他位置边缘度和距离有关。这一赋值方法将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图，同时设定阈值去除不符合边缘的点，为后续的特征匹配提供更鲁棒的边缘描述。
2）对ROI深度信息区域进行去噪与不连续点检测，得到去噪后的ROI点云下的深度边缘数据，包括：
在点云数据中，为了去除树叶、树枝的干扰，在ROI深度信息区域内寻找相邻点间深度不连续的点，设点云中第i点为p，计算其与邻近点的距离差，并计算其深度不连续值，
其中，d代表该点的深度depth，即为激光雷达获得的点云转化至相机坐标系（x,y,z）后的z值。物理意义为该点到相机坐标系原点的z轴方向的距离。γ是一个权重参数，用于控制距离差值对深度不连续性计算的影响，这里设置为0.5。
过滤所有深度不连续小于阈值的点(也就是连续点)，得到去噪后的ROI点云下的深度边缘数据，用以进一步分析。
步骤4：利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，识别苹果真实边缘轮廓，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；
具体地，将滤波后的去噪后的ROI点云下的深度边缘数据与ROI边缘信息图进行匹配，识别苹果的真实边缘。包括：
获取图像边缘点集合：获取ROI边缘信息图的二维图像的边缘轮廓集合；深度不连续点集合：激光雷达点云的深度不连续点集合，包含M个不连续点，表示在深度图中被视为干扰的潜在边缘。
通过Chamfer匹配法计算边缘间的距离，找到相似度最高的边缘区域来过滤干扰项，
其中，表示图像边缘点，与深度不连续点集合中最近点的欧氏距离。对于每个d点，找到其在中距离最近的点，将所有最小距离求和并取平均。通过该距离度量，若Chamfer距离较小，则说明边缘特征匹配较好，可以认为找到的区域是目标苹果的边缘轮廓集合与。
进一步地，在获得过滤后的边缘数据后，使用RANSAC拟合算法来生成苹果的光滑边缘曲线，RANSAC方法通过随机采样和最小化残差来拟合出边缘曲线。
设拟合的边缘曲线为C ，则边缘点集合与到拟合曲线的距离残差之和定义为，
其中，和表示曲线C在点d和x位置的投影点。代表欧氏距离计算，通过最小化 Error，即可找到最佳拟合曲线C，从而生成光滑的苹果边缘曲线。这条曲线可以作为后续苹果定位和形状估计的依据。
步骤5：根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。
具体地，假设苹果为球形或近似球体结构，利用拟合曲线的内侧深度点，选择多个均匀分布的样本点，计算每点的深度值。通过拟合点云内的样本深度，采用最小二乘球拟合法计算苹果的中心位置及其三维信息。假设在拟合曲线的内侧选择了N个均匀分布的点云深度点，表示为（其中 i=1,2,…,N）。则目标是找到一个球体模型，使得这些点尽可能接近该球体的表面。
球体的数学模型可表示为，
其中，代表球心点。
通过最小化残差平方和来求解中心坐标和半径r，残差平方和定义为，
将上述公式展开后，得到关于与r的非线性方程组，为了最小化Error，可以用最小二乘方法或使用数值优化算法（如Levenberg-Marquardt算法）求解，求解的结果即为复杂光照条件下准确定位的苹果的三维信息。
通过上述多传感器融合与边缘特征匹配算法，本公开能够在复杂光照条件下准确定位苹果的三维信息，提高采摘系统的鲁棒性与精确度。
实施例2
本公开的一种实施例中提供了一种基于多传感器融合的室外苹果识别定位系统，包括：
数据获取模块，用于获取室外苹果的图像数据以及激光雷达点云数据，并预处理；
目标识别模块，用于将图像数据输入至目标检测模型，得到苹果二维边界框的RGB图像；通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系，得到与二维边界框匹配的ROI深度信息区域；
边缘特征提取模块，用于使用边缘检测算法对RGB图像提取图像边缘特征，并对非边缘像素采用逆距离加权变换赋予边缘度，将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到去噪后的ROI点云下的深度边缘数据；
边缘匹配模块，用于利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，识别苹果真实边缘轮廓，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；
定位计算模块，用于根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。
实施例3
本公开的一种实施例中提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的基于多传感器融合的室外苹果识别定位方法。
实施例4
本公开的一种实施例中提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于多传感器融合的室外苹果识别定位方法。
实施例5
本公开的一种实施例中提供了一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于多传感器融合的室外苹果识别定位方法。
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于多传感器融合的室外苹果识别定位方法，其特征在于，包括：
获取室外苹果的图像数据以及激光雷达点云数据，并预处理；
将图像数据输入至目标检测模型，得到苹果二维边界框的RGB图像；通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系，得到与二维边界框匹配的ROI深度信息区域；
使用边缘检测算法对RGB图像提取图像边缘特征，并对非边缘像素采用逆距离加权变换赋予边缘度，将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到去噪后的ROI点云下的深度边缘数据；
利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，识别苹果真实边缘轮廓，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；具体地，将滤波后的去噪后的ROI点云下的深度边缘数据与ROI边缘信息图进行匹配，识别苹果的真实边缘，包括：
获取图像边缘点集合：获取ROI边缘信息图的二维图像的边缘轮廓集合；深度不连续点集合：激光雷达点云的深度不连续点集合 ，包含M个不连续点，表示在深度图中被视为干扰的潜在边缘；
通过Chamfer匹配法计算边缘间的距离，找到相似度最高的边缘区域来过滤干扰项，
其中，表示图像边缘点，与深度不连续点集合中最近点的欧氏距离；对于每个d点，找到其在中距离最近的点，将所有最小距离求和并取平均；通过该距离度量，若Chamfer距离较小，则边缘特征匹配较好，认为找到的区域是目标苹果的边缘轮廓集合与；
根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。
2.如权利要求1所述的基于多传感器融合的室外苹果识别定位方法，其特征在于，通过相机采集的苹果图像，使用YOLO目标检测模型，获取苹果的二维边界框Bbox并记录其像素坐标信息；通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系，相机内参矩阵将激光雷达点云映射至相机平面，然后截取以形成与二维边界框Bbox匹配的ROI深度信息区域。
3.如权利要求1所述的基于多传感器融合的室外苹果识别定位方法，其特征在于，将RGB图像灰度化，并使用边缘检测算法提取图像边缘，得到二值边缘图，在每个边缘像素点处，通过周围8邻域像素的最大绝对值衡量边缘度，对非边缘像素采用逆距离加权变换赋予边缘度，为：
其中，T为二值边缘图，其中每个像素值代表着该处的边缘度值，β为每个非边缘点与其他位置点的距离加权系数，越近越大，而γ设置为0.5，代表每个非边缘像素的其他位置对该位置的最大辐射量的加权求和，(i,j)为目标像素的坐标，即当前正在计算边缘度的像素点，(x,y)表示其他像素点的坐标，是整个图像中参与计算的其他点，T的下标x，y代表位置。
4.如权利要求1所述的基于多传感器融合的室外苹果识别定位方法，其特征在于，在点云数据中，去除多种噪声的干扰，在ROI深度信息区域内寻找相邻点间深度不连续的点，设点云中第i点为p，计算其与邻近点的距离差，并计算其深度不连续值，
其中，d为该点到相机坐标系原点的z轴方向的距离，γ是权重参数；
过滤所有深度不连续小于设定阈值的点，得到去噪后的ROI点云下的深度边缘数据。
5.如权利要求1所述的基于多传感器融合的室外苹果识别定位方法，其特征在于，从ROI边缘信息图提取二维图像的像素点集合，从深度边缘数据获取激光雷达点云的深度不连续点集合，通过Chamfer匹配法计算边缘间的距离，通过距离度量，若Chamfer距离小，则说明边缘特征匹配好，认为找到的区域是目标苹果的边缘轮廓；在获得过滤后的边缘轮廓数据后，使用RANSAC拟合算法来生成苹果的光滑边缘曲线。
6.如权利要求1所述的基于多传感器融合的室外苹果识别定位方法，其特征在于，构建苹果的球形或近似球体结构的球体模型，利用拟合曲线的内侧深度点，选择多个均匀分布的样本点，计算每点的深度值，通过拟合点云内的样本深度，采用最小二乘球拟合法计算苹果的中心位置及其三维信息，球体的数学模型表示为：
其中，在拟合曲线的内侧选择多个均匀分布的点云深度点表示为，r表示球体半径，c为球心点。
7.基于多传感器融合的室外苹果识别定位系统，其特征在于，包括：
数据获取模块，用于获取室外苹果的图像数据以及激光雷达点云数据，并预处理；
目标识别模块，用于将图像数据输入至目标检测模型，得到苹果二维边界框的RGB图像；通过相机内参和多传感器的标定外参矩阵，将激光雷达点云投影到相机坐标系，得到与二维边界框匹配的ROI深度信息区域；
边缘特征提取模块，用于使用边缘检测算法对RGB图像提取图像边缘特征，并对非边缘像素采用逆距离加权变换赋予边缘度，将邻域边缘信息扩展至非边缘像素，获得完整的ROI边缘信息图；对ROI深度信息区域进行去噪与不连续点检测，得到去噪后的ROI点云下的深度边缘数据；
边缘匹配模块，用于利用双边缘匹配算法对深度边缘数据与ROI边缘信息图进行边缘特征匹配，识别苹果真实边缘轮廓，并使用RANSAC拟合算法来生成苹果的光滑边缘曲线；具体地，将滤波后的去噪后的ROI点云下的深度边缘数据与ROI边缘信息图进行匹配，识别苹果的真实边缘，包括：
获取图像边缘点集合：获取ROI边缘信息图的二维图像的边缘轮廓集合；深度不连续点集合：激光雷达点云的深度不连续点集合 ，包含M个不连续点，表示在深度图中被视为干扰的潜在边缘；
通过Chamfer匹配法计算边缘间的距离，找到相似度最高的边缘区域来过滤干扰项，
其中，表示图像边缘点，与深度不连续点集合中最近点的欧氏距离；对于每个d点，找到其在中距离最近的点，将所有最小距离求和并取平均；通过该距离度量，若Chamfer距离较小，则边缘特征匹配较好，认为找到的区域是目标苹果的边缘轮廓集合与；
定位计算模块，用于根据拟合结果构建球体模型，通过最小化残差平方和求解中心坐标和半径，得到苹果的定位三维信息。
8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的基于多传感器融合的室外苹果识别定位方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的基于多传感器融合的室外苹果识别定位方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的基于多传感器融合的室外苹果识别定位方法。
CN202411918158.7A 2024-12-25 2024-12-25 基于多传感器融合的室外苹果识别定位方法及系统 Active CN119360366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411918158.7A CN119360366B (zh) 2024-12-25 2024-12-25 基于多传感器融合的室外苹果识别定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411918158.7A CN119360366B (zh) 2024-12-25 2024-12-25 基于多传感器融合的室外苹果识别定位方法及系统

Publications (2)

Publication Number Publication Date
CN119360366A CN119360366A (zh) 2025-01-24
CN119360366B true CN119360366B (zh) 2025-05-30

Family

ID=94317221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411918158.7A Active CN119360366B (zh) 2024-12-25 2024-12-25 基于多传感器融合的室外苹果识别定位方法及系统

Country Status (1)

Country Link
CN (1) CN119360366B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033487A (zh) * 2019-02-25 2019-07-19 上海交通大学 基于深度联想感知算法的受遮挡蔬果采收方法
CN110942477A (zh) * 2019-11-21 2020-03-31 大连理工大学 一种利用双目相机和激光雷达深度图融合的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578418B (zh) * 2017-09-08 2020-05-19 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN113327296B (zh) * 2021-06-28 2022-04-12 浙江大学 基于深度加权的激光雷达与相机在线联合标定方法
CN114332689B (zh) * 2021-12-14 2025-07-11 中国科学院合肥物质科学研究院 一种柑橘识别定位方法、装置、设备及存储介质
CN120615201A (zh) * 2023-01-30 2025-09-09 瑞典爱立信有限公司 用于2d全景图像的深度图生成
US20240371035A1 (en) * 2023-05-01 2024-11-07 Qualcomm Incorporated Camera and lidar cross-sensor calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033487A (zh) * 2019-02-25 2019-07-19 上海交通大学 基于深度联想感知算法的受遮挡蔬果采收方法
CN110942477A (zh) * 2019-11-21 2020-03-31 大连理工大学 一种利用双目相机和激光雷达深度图融合的方法

Also Published As

Publication number Publication date
CN119360366A (zh) 2025-01-24

Similar Documents

Publication Publication Date Title
Choi et al. RGB-D edge detection and edge-based registration
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
Xiang et al. Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN114332689A (zh) 一种柑橘识别定位方法、装置、设备及存储介质
CN110084243A (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN102986372A (zh) 基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法
CN111260715B (zh) 深度图的处理方法、小障碍物检测方法及系统
CN113932712B (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
CN114119718B (zh) 融合颜色特征和边缘特征的双目视觉绿色植被匹配定位方法
CN110648362B (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN119251303A (zh) 一种多模态视觉融合的空间定位方法
Chu et al. High-precision fruit localization using active laser-camera scanning: Robust laser line extraction for 2D-3D transformation
CN118285225B (zh) 一种自动化植株表型采集方法、装置及电子设备
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
Yoon et al. Targetless multiple camera-LiDAR extrinsic calibration using object pose estimation
Karim et al. A review on stereo vision for feature characterization of upland crops and orchard fruit trees
Guan et al. A multi-sensor fusion framework for localization using LiDAR, IMU and RGB-D camera
Cociaş et al. Multiple-superquadrics based object surface estimation for grasping in service robotics
CN116652951A (zh) 一种非结构化大作业空间的机器人视觉定位方法及装置
CN116205777A (zh) 用于玻璃安装的控制方法、控制装置及高空机械设备
CN119850726A (zh) 6d位姿估计方法、抓取方法、电子设备及机器人
CN114862908A (zh) 一种基于深度相机的动态目标追踪方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant