CN117789200B - 果实点云提取方法、装置、电子设备及存储介质 - Google Patents
果实点云提取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117789200B CN117789200B CN202311871003.8A CN202311871003A CN117789200B CN 117789200 B CN117789200 B CN 117789200B CN 202311871003 A CN202311871003 A CN 202311871003A CN 117789200 B CN117789200 B CN 117789200B
- Authority
- CN
- China
- Prior art keywords
- fruit
- point
- area
- clustering
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 433
- 238000000605 extraction Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 241000132456 Haplocarpha Species 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 abstract description 7
- 238000004422 calculation algorithm Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 12
- 238000003709 image segmentation Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 241000218231 Moraceae Species 0.000 description 1
- 235000008708 Morus alba Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 235000009754 Vitis X bourquina Nutrition 0.000 description 1
- 235000012333 Vitis X labruscana Nutrition 0.000 description 1
- 240000006365 Vitis vinifera Species 0.000 description 1
- 235000014787 Vitis vinifera Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种果实点云提取方法、装置、电子设备及存储介质。该方法包括：获取串形果实的场景彩色图和场景深度信息；在场景彩色图中识别至少一个果实区域以及果实区域的中心点；根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云；将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点；从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇；根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云。本发明实施例的技术方案节约了人工标注的人力及时间成本，保证了串形果实点云提取精度。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种果实点云提取方法、装置、电子设备及存储介质。
背景技术
对串形果实进行检测和点云提取是农业机器人的基本功能，其目的是对串形果实进行高精度的三维定位和重建，支持采摘、巡检等机器人完成作物感知、监测和操作。
常见的点云提取技术主要分两类，基于图像分割的点云分割方法和三维点云分割方法：前者在二维图像中进行目标图像像素分割，然后提取目标区域每个像素点对应的三维点，得到目标点云。但其依赖图像分割的精度，易受光照和图像分割方法自身条件限制的影响，难以保证提取目标点云的准确性；后者利用三维点云分割算法直接对点云进行分割后提取目标点云，三维点云分割方法通常采用神经网络分割算法，由于神经网络分割模型的精度普遍依赖于训练数据集，而此类数据需要人工进行高精度、高细粒度的标注，消耗大量的人力和时间成本。因此，两类方法受限于开发成本与提取精度，不适用于农业机器人。
发明内容
本发明提供了一种果实点云提取方法、装置、电子设备及存储介质，节约了人工标注的人力及时间成本，保证了串形果实点云提取精度。
根据本发明的一方面，提供了一种果实点云提取方法，所述方法包括：
获取串形果实的场景彩色图和场景深度信息；
在场景彩色图中识别至少一个果实区域以及果实区域的中心点；
根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云；
将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点；
从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇；
根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云。
根据本发明的另一方面，提供了一种果实点云提取装置，所述装置包括：
场景彩色图获取模块，用于获取串形果实的场景彩色图和场景深度信息；
果实区域识别模块，用于在场景彩色图中识别至少一个果实区域以及果实区域的中心点；
区域点云确定模块，用于根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云；
聚类初始点确定模块，用于将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点；
果实聚类簇确定模块，用于从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇；
串形果实点云生成模块，用于根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的果实点云提取方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的果实点云提取方法。
本发明实施例的技术方案，通过获取串形果实的场景彩色图和场景深度信息，在场景彩色图中识别至少一个果实区域以及果实区域的中心点，根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云，将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点，从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇，根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云，解决了基于图像分割的点云分割及提取方法依赖于图像分割的精度，易受光照和图像分割方法自身精度变化的影响，难以保证分割精度，也难以保证所提取的目标点云的精度的问题，也解决了常见基于神经网络的三维点云分割方法普遍依赖高精度、高细粒度的训练数据集，而此类点云分割级训练数据集标注需要大量人力及时间成本的问题，节约了人工标注的人力及时间成本，保证了串形果实点云提取精度。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种果实点云提取方法的流程图；
图2是根据本发明实施例二提供的一种果实点云提取方法的流程图；
图3是根据本发明实施例二提供的一种果实点云提取方法的流程图；
图4是是根据本发明实施例三提供的一种果实点云提取装置的结构示意图；
图5是实现本发明实施例的果实点云提取方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种果实点云提取方法的流程图。本发明实施例可适用于对串形果实点云进行提取的情况，该方法可以由果实点云提取装置来执行，该果实点云提取装置可以采用硬件和/或软件的形式实现，该果实点云提取装置可配置于承载果实点云提取功能的电子设备中，尤其是采摘机器人中。
参见图1所示的果实点云提取方法，包括：
S110、获取串形果实的场景彩色图和场景深度信息。
串形果实可以包括番茄、葡萄、提子、桑葚和沙果等。串形果实可以处于自然场景或室内场景等。其中，自然场景可以为野外环境，室内场景可以为大棚环境。场景彩色图可以为含有串形果实的场景的彩色图。场景深度信息，又称场景距离影像或场景深度图。场景深度信息可以为带有场景彩色图对应的深度值的矩阵。可选的，场景彩色图可以由深度相机采集；场景深度信息可以由传感器采集。示例性的，传感器可以包括激光雷达和深度相机。可选的，场景彩色图和场景深度信息可以由同一深度相机采集。场景彩色图和场景深度信息的尺寸相同。场景彩色图和场景深度信息的像素点坐标具有对应关系。可以基于像素点坐标之间的对应关系，查询场景彩色图中各像素点对应的深度值。
具体的，可以获取深度相机采集的串形果实的场景彩色图。可以获取传感器采集的场景深度信息。
S120、在场景彩色图中识别至少一个果实区域以及果实区域的中心点。
果实区域可以为场景彩色图中果实所在的区域。其中，可以以果实预测框的形式表征果实区域。示例性的，可以以果实预测框的长度、宽度和中心点坐标表征果实区域。可选的，单个果实区域可以包括单个果实所在的区域或整串果实所在的区域。
具体的，可以将场景彩色图输入至预先训练好的目标检测模型中，输出至少一个果实区域和果实区域的中心点。其中，目标检测模型的训练样本可以包括场景彩色图样本、经过人工标注的果实区域样本和果实区域样本的中心点。示例性的，目标检测模型可以为深度学习模型。其中，深度学习模型可以包括YOLO(You Only Look Once)、SSD(SingleShot MultiBox Detector，单发多盒探测器)或其他具有目标检测功能的深度学习模型。
S130、根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云。
深度区域可以为果实区域在场景深度信息中对应的区域。深度区域与果实区域的尺寸相同。同一果实区域和深度区域的像素点坐标具有对应关系。可以基于像素点坐标之间的对应关系，查询果实区域中各像素点在深度区域中对应的深度值。
具体的，可以根据场景彩色图和场景深度信息之间的对应关系，确定各果实区域映射在场景深度信息的深度区域。可以根据果实区域中的像素点在深度区域中对应的深度值，结合深度相机的内参，将果实区域中的像素点转换为传感器坐标系下的三维点，从而得到各果实区域的区域点云。
S140、将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点。
对场景彩色图进行识别所确定的果实区域的中心点，实质上是果实本身的像素点。果实区域的中心点在传感器坐标系下的三维点，相较于果实区域的其他点而言，周边空间中点云密度更高。由此，将果实区域的中心点在传感器坐标系下的三维点，确定为果实区域的聚类初始点，一方面可以减少聚类迭代次数，提高串形果实点云的聚类速度，另一方面也可以避免以边界点或噪声点等非果实本身的点作为聚类初始点聚类产生非目标聚类簇，可以提高串形果实点云的聚类效果。
具体的，可以将果实区域的中心点映射到传感器坐标系下的三维点，直接确定为果实区域的聚类初始点。
S150、从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇。
具体的，可以从聚类初始点开始，采用邻近搜索和密度聚类，对果实区域的区域点云进行递归查找，得到聚类初始点对应的果实聚类簇。
S160、根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云。
具体的，可以按照位置坐标，将各果实区域的聚类初始点对应的果实聚类簇进行组合，生成串形果实点云。
本发明实施例的技术方案，通过获取串形果实的场景彩色图和场景深度信息，在场景彩色图中识别至少一个果实区域以及果实区域的中心点，根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云，将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点，从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇，根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云，相较于采用图像分割算法对二维图像进行分割，容易受到光照和图像分割算法自身精度变化的影响，难以保证图像分割精度和点云聚类精度，本方案采用邻近搜索和密度聚类，即基于空间关系进行聚类，不会受到光照或者串形果实晃动的影响，串形果实点云提取的精度更高，更有鲁棒性优势。相较于采用三维点云分割算法直接对点云进行分割，三维点云标注所耗费的人力成本和时间成本较高，虽然本方案中的场景彩色图识别之前也需要进行预先标注，但二维的场景彩色图标注所耗费的成本，远小于三维点云直接标注所耗费的成本，极大地节约了人工标注所耗费的人力成本和时间成本，此外，场景彩色图识别对计算设备的算力要求更低。本发明实施例的技术方案通过先对场景彩色图进行目标检测，再基于邻近搜索和密度聚类，得到串形果实点云，所提取的串形果实点云的精确度更高，串形果实点云提取的泛化性和应用性更高。
在本发明的一个可选实施例中，果实区域包括果子区域和串整体区域。
果子区域可以为单个果实在场景彩色图中的区域。串整体区域可以为整串果实在场景彩色图中的区域。
本方案通过将果实区域具体化为果子区域和串整体区域，兼顾了单个果实的点云提取精确度和各果实在串整体的位置提取的精确度，进一步提高了串形果实提取的完整性和准确性。
在本发明的一个可选实施例中，根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云，包括：根据各果实区域映射在场景深度信息的深度区域，确定果实区域的各像素点在深度区域中对应的深度值；获取深度相机的内参；根据深度相机的内参和深度区域中对应的深度值，将果实区域的各像素点映射到传感器坐标系下，得到果实区域的各像素点的映射结果；根据果实区域的各像素点的映射结果，确定果实区域的区域点云。
具体的，可以根据场景彩色图和场景深度信息之间的对应关系，确定各果实区域映射在场景深度信息的深度区域。可以根据果实区域中的像素点和深度区域中像素点之间的对应关系，确定果实区域的各像素点在深度区域中对应的深度值。可以获取深度相机的内参。根据深度相机的内参和果实区域在深度区域中对应的深度值，将果实区域的各像素点转换至传感器坐标系下，得到果实区域的各像素点的映射结果，即得到果实区域的各像素点在传感器坐标系下的三维点。可以将果实区域的各像素点的映射结果，按照空间位置坐标进行组合，得到果实区域的区域点云。
示例性的，可以采用以下公式，表示果实区域的像素点的映射结果的确定过程：
式中，(u,v)为果实区域的像素点坐标；Z为果实区域的像素点在深度区域中对应的深度值；K为深度相机的内参；P(x,y,z)为果实区域的像素点的映射结果。
可选的，在得到果实区域的各像素点的映射结果之后，还可以对果实区域的各像素点的映射结果进行体素或均匀下采样，将下采样后的映射结果，按照空间位置坐标进行组合，得到果实区域的区域点云。
对于分辨率较低的深度相机，所获取的场景彩色图和场景深度信息中的像素点较少，相应的，果实区域的区域点云的数量也较少，在得到果实区域的各像素点的映射结果之后，可以直接进行组合，得到果实区域的区域点云。此时，对区域点云进行聚类，计算设备的计算性能通常可以满足聚类需求。但是，对于分辨率较高的深度相机，所获取的场景彩色图和场景深度信息中的像素点较多，相应的，果实区域的区域点云的数量也较多，在得到果实区域的各像素点的映射结果之后，如果直接进行组合得到果实区域的区域点云，此时，对区域点云进行聚类，所需的计算设备的计算性能较高，计算设备的计算性能可以难以满足，由此，可以对果实区域的各像素点的映射结果进行体素或均匀下采样，减少计算设备所需处理的点数量，从而提高计算设备的处理速度或处理效率。
本方案通过场景彩色图和场景深度信息中像素点之间的对应关系，确定果实区域对应的深度区域，结合深度相机的内参，确定果实区域的区域点云，简化了区域点云的确定过程，提高了区域点云的确定速度，为基于区域点云进行串形果实点云提取提供了基础，进一步提高了串形果实点云的提取效率。
在本发明的一个可选实施例中，在根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云之后，还包括：根据串形果实点云，生成串形果实的六自由度信息，并发送至采摘机器人，以使采摘机器人对串形果实进行采摘。
六自由度信息可以包括三个平移自由度和三个旋转自由度。串形果实的六自由度信息可以包括整串串形果实的六自由度信息或单个果实的六自由度信息。
具体的，可以根据串形果实点云，生成串形果实的六自由度信息，并发送至采摘机器人。采摘机器人根据串形果实的六自由度信息对串形果实进行采摘。可选的，可以对串形果实进行整串采摘；也可以从下至上对串形果实中各个果子进行单个采摘。
本方案通过在根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云之后，根据串形果实点云，生成串形果实的六自由度信息，并发送至采摘机器人，以使采摘机器人对串形果实进行精准和无损采摘，进一步提高了串形果实点云提取的应用性。
在本发明的一个可选实施例中，串形果实处于复杂光照场景中。
串形果实所处的光照场景可以为复杂光照的场景。例如，光线较暗的场景或存在风吹等环境因素影响的光照场景等。在复杂光照场景中，对串形果实进行图像采集时，光照条件的影响更大。例如，在光线较暗的环境下，串形果实的图像采集精度较低。又如，在光线正常的环境下，由于风吹等因素，串形果实的图像可能会存在部分黑色暗影区域。现有技术直接对二维图像进行图像分割，得到目标点云，容易受到光照环境的不确定因素的影响。
本方案先对串形果实的场景彩色图进行识别，确定串形果实的果实区域，再考虑果实区域对应的深度值，生成区域点云，并基于空间关系，对区域点云进行邻近搜索和密度聚类，得到串形果实点云，一方面由于二维图像的目标检测精度较高，可以有效地将串形果实框选出来，另一方面基于空间关系对区域点云进行聚类，可以避免同类目标的干扰，聚类的精确度较高，由此，本方案的串形果实提取方法更适用于复杂光照场景下的串形果实点云提取，提高了串形果实点云提取的应用性和泛化性。
实施例二
图2为本发明实施例二提供的一种果实点云提取方法的流程图。本发明实施例在上述实施例的基础上，将“从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇”具体化为“根据聚类初始点，在果实区域的区域点云中的其他点中筛选聚类核心点；将聚类初始点和聚类核心点，作为聚类初始点对应的果实聚类簇”，考虑了串形果实点云之间的空间关系，进一步提高了串形果实点云提取的准确度。需要说明的是，在本发明实施例中未详述的部分，可参见其他实施例的表述。
参见图2所示的果实点云提取方法，包括：
S210、获取串形果实的场景彩色图和场景深度信息。
S220、在场景彩色图中识别至少一个果实区域以及果实区域的中心点。
S230、根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云。
S240、将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点。
S250、根据聚类初始点，在果实区域的区域点云中的其他点中筛选聚类核心点。
聚类初始点和聚类核心点均为果实上的点。可以理解为，由于场景彩色图识别精度较高，果实区域的中心点必定为果实上的点，由此，对应的聚类初始点也必然为果实上的点。聚类初始点可以为果实区域的区域点云中密度最大的点。聚类核心点可以为果实区域的区域点云中与聚类初始点之间满足邻近搜索条件的点。由此，聚类核心点也为果实上的点。
具体的，可以根据聚类初始点，在果实区域的区域点云中的其他点中筛选满足邻近搜索条件的点，确定为聚类初始点对应的聚类核心点。
S260、将聚类初始点和聚类核心点，作为聚类初始点对应的果实聚类簇。
果实聚类簇可以为聚类初始点和聚类核心点的集合。单个聚类初始点可以对应单个果实。单个聚类初始点可以对应单个果实聚类簇。
具体的，可以将聚类初始点和聚类核心点进行组合，生成聚类初始点对应的果实聚类簇。
S270、根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云。
本发明实施例的技术方案，通过获取串形果实的场景彩色图和场景深度信息，在场景彩色图中识别至少一个果实区域以及果实区域的中心点，根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云，将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点，根据聚类初始点，在果实区域的区域点云中的其他点中筛选聚类核心点，将聚类初始点和聚类核心点，作为聚类初始点对应的果实聚类簇，根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云，实现了对区域点云的邻近搜索和密度聚类，考虑了串形果实点云之间的空间关系，相较于现有技术基于图像分割算法的点云提取算法，若两个目标在二维图像中是相互遮挡、重叠的，图像分割算法无法区分，会将两个目标分割为一个目标，因此，两个目标所提取的点云也会混合在一起，导致目标点云提取存在误差。而基于本方案的串形果实点云提取方法，即使所识别的果实区域内可能包含其他串形果实的部分，由于不同目标在三维空间中是独立存在的，且目标之间存在一定距离，基于邻近搜索和密度聚类的聚类方式，可以有效过滤同类目标的干扰，因此最终识别得到的串形果实点云也不会包含其余串形果实的点云，进一步提高了串形果实点云提取的准确度。
在本发明的一个可选实施例中，根据聚类初始点，在果实区域的区域点云中的其他点中筛选聚类核心点，包括：在果实区域的区域点云中的其他点中，查询满足聚类初始点的最小距离条件的备选点；在各备选点中，查询邻域范围内点数满足最少邻近点数量条件的目标点，确定为聚类核心点。
备选点可以是按照聚类初始点的最小距离条件对其他点进行筛选得到的点。目标点可以是按照邻域范围内满足最少邻近点数量条件的备选点。聚类核心点可以是在果实区域的区域点云中满足邻域搜索条件的其他点。
具体的，可以计算聚类核心点和果实区域的区域点云中的其他点之间的距离，查询满足聚类初始点的最小距离条件的备选点。可以在各备选点中，查询邻域范围内点数满足最少邻近点数量条件的目标点，确定为聚类核心点。
示例性的，可以采用以下公式，表示聚类初始点的最小距离条件：
dist(xi,xj)<ε；
式中，xi为聚类初始点；xj为聚类核心点；dist(xi,xj)为xi和xj之间的距离；ε为最小距离。其中，dist(xi,xj)可以包括欧式距离或曼哈顿距离等。
示例性的，可以采用以下公式，表示邻域范围内点数满足最少邻近点数量条件：
N∈(xj)≥MinPts；
式中，xj为聚类核心点；N∈(xj)为xj的邻域范围内点数；MinPts为最少邻近点数量。
本方案通过在果实区域的区域点云中的其他点中，查询满足聚类初始点的最小距离条件的备选点，在各备选点中，查询邻域范围内点数满足最少邻近点数量条件的目标点，确定为聚类核心点，基于与聚类核心点之间的距离以及邻域范围内点数，实现了对聚类核心点的筛选，进一步提高了串形果实点云提取的效率和准确度。
图3是一种果实点云提取方法的流程图。图3为本发明的一个优选实施例。参见图3所示的果实点云提取方法，包括：
S310、获取场景彩色图像和场景深度信息。
其中，场景彩色图像由深度相机获取；场景深度信息由传感器获取。
S320、基于深度学习模型完成场景彩色图中果实区域的检测，得到果实区域和果实区域的中心点。
其中，果实区域内可以包含果实串图像或果实图像。可选的，果实区域可以以果实预测框的形式表示。预测框，又称ROI(感兴趣区域)。可以用果实预测框的宽w、高h和中心位置(u,v)四个参数表示果实在场景彩色图中的所处位置。
深度学习模型可以优选为YOLO、SSD或其他具有目标检测功能的深度学习模型。可选的，使用深度学习模型对场景彩色图进行串形果实检测，输出果实或果实串的预测框像素宽、高和中心位置。其中，预测框内可以包括串形果实的图像信息。在部署应用深度学习模型之前，可以采用一定数量的串形果实的目标检测标注数据集对深度学习模型进行训练。
S330、裁剪和保留果实区域对应的深度区域，结合深度相机的内参，获取果实区域的区域点云。
具体的，可以裁剪和保留果实区域对应的深度区域。可以获取果实区域内部所有像素点坐标(u,v)及其对应深度值Z。结合深度相机的内参K，可以计算得到果实区域的各像素点(u,v)映射在传感器坐标系下三维点P(x,y,z)。可以组合果实区域的所有像素点(u,v)对应的三维点P(x,y,z)，形成区域点云。果实区域的区域点云可以作为聚类算法的输入。
示例性的，可以采用以下公式，表示果实区域的各像素点与传感器坐标系下三维点之间的映射关系式：
式中，(u,v)为果实区域的像素点坐标；Z为果实区域的像素点在深度区域中对应的深度值；K为深度相机的内参；P(x,y,z)为果实区域的像素点在传感器坐标系下三维点。
可选的，可以以果实区域作为ROI(感兴趣区域)，裁剪保留果实区域内的像素，根据场景深度信息，获取果实区域内各像素点对应的深度值。可以结合深度相机的内参，计算各像素点映射的深度相机坐标下的三维点，组合形成三维点云，并进行体素或均匀下采样处理，得到果实区域的区域点云。
S340、计算所有果实区域的中心点映射在传感器坐标系下的三维点，组成聚类算法邻近搜索的聚类初始点集，设定DBSCAN聚类算法的参数，包括邻域半径阈值ε和最少邻近点数量MinPts。
其中，DBSCAN聚类算法的参数为经验值，可以根据串形果实种类不同、点云密度不同进行调整。可选的，聚类算法可以替换为任意基于欧式空间内临近搜索的算法。邻域半径阈值ε即为上述方案中的最小距离ε。
具体的，可以记录一系列果实区域的中心点与其在传感器坐标系下的三维点，作为点云聚类算法临近搜索的聚类初始点集。
S350、从聚类初始点集中任选一个未被遍历的点作为聚类初始点，从聚类初始点出发，使用DBSCAN算法，递归查找所有未被遍历的聚类核心点；重复执行S330，直至遍历所有的聚类核心点；在查找完成后，集合果实区域的所有聚类初始点和聚类核心点，生成果实聚类簇。
其中，DBSCAN算法的聚类初始点xi可以指定为聚类初始点集Q中任意一个未被遍历的点。聚类核心点xj的递归查找步骤可以为：先基于与聚类初始点xi之间的欧氏距离，判断xj是否处于聚类初始点xi邻域范围内，若处于，则判断xj邻域范围内点的数量是否超过最少邻近点数量MinPts。若满足上述条件，则认为xj是聚类核心点。
即聚类核心点xj应当满足以下条件：
其中，dist()为欧氏距离函数；N∈(xj)为xj邻域范围内点数量的函数。
S360、遍历聚类初始点集中所有的聚类初始点，输出所有的果实聚类簇，完成串形果实点云提取。
具体的，可以遍历聚类初始点集中所有的聚类初始点，将所有的果实聚类簇C＝{C1,C2,...,Ck}作为串形果实点云，完成串形果实点云提取。
本方案通过改进DBSCAN聚类算法，实现了对聚类初始点的优化选取，相比于传统DBSCAN聚类算法随机选取聚类初始点，本方案设置果实区域的中心点映射到传感器坐标系下的三维点作为DBSCAN聚类的聚类初始点，通过指定目标密度最大点作为搜索起始点，有利于避免DBSCAN聚类算法以边界点或噪声点作为搜索起始点并产生非目标聚类簇，提高了DBSCAN聚类算法的聚类效率和聚类准确度，减少了串形果实点云提取所需的时间。与现有技术相比，本方案结合二维目标检测和三维点聚类算法，相比于直接对二维图像中的目标采用深度学习模型进行图像分割，或者直接采用三维点云分割算法对点云直接进行分割，本方案具有投入成本较低和计算效率更高的综合优势，适用于采摘机器人等边缘计算场景使用。相比传统聚类方法，在Python语言实现、输入为3354个点的条件下，本方案的计算用时为31ms，而传统聚类算法的计算用时为925ms，聚类速率提升约95.8％。此外，因为本方案的聚类初始点经过有限选取，理想情况下聚类结果簇中不包含非串形果实点云，串形果实提取的准确度更高，也便于对串形果实点云进行后处理。
实施例三
图4为本发明实施例三提供的一种果实点云提取装置的结构示意图。本发明实施例可适用于对串形果实点云进行提取的情况，该装置可以执行果实点云提取方法，该装置可以采用硬件和/或软件的形式实现，该装置可配置于承载果实点云提取功能的电子设备中。
参见图4所示的果实点云提取装置，包括：场景彩色图获取模块410、果实区域识别模块420、区域点云确定模块430、聚类初始点确定模块440、果实聚类簇确定模块450和串形果实点云生成模块460。其中，场景彩色图获取模块410，用于获取串形果实的场景彩色图和场景深度信息；果实区域识别模块420，用于在场景彩色图中识别至少一个果实区域以及果实区域的中心点；区域点云确定模块430，用于根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云；聚类初始点确定模块440，用于将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点；果实聚类簇确定模块450，用于从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇；串形果实点云生成模块460，用于根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云。
本发明实施例的技术方案，通过获取串形果实的场景彩色图和场景深度信息，在场景彩色图中识别至少一个果实区域以及果实区域的中心点，根据各果实区域映射在场景深度信息的深度区域，确定各果实区域的区域点云，将果实区域的中心点映射到传感器坐标系下的三维点，确定为果实区域的聚类初始点，从聚类初始点开始，对果实区域的区域点云采用邻近搜索和密度聚类，得到聚类初始点对应的果实聚类簇，根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云，相较于采用图像分割算法对二维图像进行分割，容易受到光照和图像分割算法自身精度变化的影响，难以保证图像分割精度和点云聚类精度，本方案是采用邻近搜索和密度聚类，即基于空间关系进行聚类，不会受到光照或者串形果实晃动的影响，串形果实点云提取的精度更高，更有鲁棒性优势。相较于直接对点云采用三维点云分割算法进行分割，对三维点云进行标注所耗费的人力成本和时间成本较高，虽然本方案中实现场景彩色图识别之前也需要进行预先标注，但对二维的场景彩色图进行标注所耗费的成本，远小于对三维点云进行直接标注所耗费的成本，极大地节约了人工标注所耗费的人力成本和时间成本，同时，对计算设备的算力要求更低。先对场景彩色图进行目标检测，再基于邻近搜索和密度聚类，得到串形果实点云，所提取的串形果实点云的精确度更高，串形果实点云提取的泛化性和应用性更高。
在本发明的一个可选实施例中，果实聚类簇确定模块450，包括：聚类核心点筛选单元，用于根据聚类初始点，在果实区域的区域点云中的其他点中筛选聚类核心点；果实聚类簇确定单元，用于将聚类初始点和聚类核心点，作为聚类初始点对应的果实聚类簇。
在本发明的一个可选实施例中，聚类核心点筛选单元，具体用于：在果实区域的区域点云中的其他点中，查询满足聚类初始点的最小距离条件的备选点；在各备选点中，查询邻域范围内点数满足最少邻近点数量条件的目标点，确定为聚类核心点。
在本发明的一个可选实施例中，果实区域包括果子区域和串整体区域。
在本发明的一个可选实施例中，区域点云确定模块430，包括：深度值确定单元，用于根据各果实区域映射在场景深度信息的深度区域，确定果实区域的各像素点映射到深度区域中对应的深度值；深度相机内参获取单元，用于获取深度相机的内参；像素点映射结果确定单元，用于根据深度相机的内参和深度区域中对应的深度值，将果实区域的各像素点转换到传感器坐标系下，得到果实区域的各像素点的映射结果；区域点云确定单元，用于根据果实区域的各像素点的映射结果，确定果实区域的区域点云。
在本发明的一个可选实施例中，该装置，还包括：六自由度信息生成模块，用于在根据各果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云之后，根据串形果实点云，生成串形果实的六自由度信息，并发送至采摘机器人，以使采摘机器人对串形果实进行采摘。
在本发明的一个可选实施例中，所述串形果实处于复杂光照场景中。
本发明实施例所提供的果实点云提取装置可执行本发明任意实施例所提供的果实点云提取方法，具备执行方法相应的功能模块和有益效果。
本发明实施例的技术方案中，所涉及的串形果实的场景彩色图、场景深度信息和深度相机的内参等的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
实施例四
图5示出了可以用来实施本发明的实施例的电子设备500的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备500包括至少一个处理器501，以及与至少一个处理器501通信连接的存储器，如只读存储器(ROM)502、随机访问存储器(RAM)503等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器501可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储电子设备500操作指令所需的各种程序和数据。处理器501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标、传感器等；其中，传感器可以包括深度相机或激光雷达等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器501可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、计算处理器、以及任何适当的处理器、控制器、微控制器等。处理器501执行上文所描述的各个方法和处理，例如果实点云提取方法。
在一些实施例中，果实点云提取方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM 503并由处理器501执行时，可以执行上文描述的果实点云提取方法的一个或多个步骤。备选地，在其他实施例中，处理器501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行果实点云提取方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作指令被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server，虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种果实点云提取方法，其特征在于，所述方法包括：
获取串形果实的场景彩色图和场景深度信息；
在所述场景彩色图中识别至少一个果实区域以及所述果实区域的中心点；
根据各所述果实区域映射在所述场景深度信息的深度区域，确定各所述果实区域的区域点云；
将所述果实区域的中心点映射到传感器坐标系下的三维点，确定为所述果实区域的聚类初始点；
从所述聚类初始点开始，对所述果实区域的区域点云采用邻近搜索和密度聚类，得到所述聚类初始点对应的果实聚类簇；
根据各所述果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云。
2.根据权利要求1所述的方法，其特征在于，所述从所述聚类初始点开始，对所述果实区域的区域点云采用邻近搜索和密度聚类，得到所述聚类初始点对应的果实聚类簇，包括：
根据所述聚类初始点，在所述果实区域的区域点云中的其他点中筛选聚类核心点；
将所述聚类初始点和所述聚类核心点，作为所述聚类初始点对应的果实聚类簇。
3.根据权利要求2所述的方法，其特征在于，所述根据所述聚类初始点，在所述果实区域的区域点云中的其他点中筛选聚类核心点，包括：
在所述果实区域的区域点云中的其他点中，查询满足所述聚类初始点的最小距离条件的备选点；
在各所述备选点中，查询邻域范围内点数满足最少邻近点数量条件的目标点，确定为聚类核心点。
4.根据权利要求1所述的方法，其特征在于，所述果实区域包括果子区域和串整体区域。
5.根据权利要求1所述的方法，其特征在于，所述根据各所述果实区域映射在所述场景深度信息的深度区域，确定各所述果实区域的区域点云，包括：
根据各所述果实区域映射在所述场景深度信息的深度区域，确定所述果实区域的各像素点在所述深度区域中对应的深度值；
获取所述深度相机的内参；
根据所述深度相机的内参和所述深度区域中对应的深度值，将所述果实区域的各像素点映射到传感器坐标系下，得到所述果实区域的各所述像素点的映射结果；
根据所述果实区域的各所述像素点的映射结果，确定所述果实区域的区域点云。
6.根据权利要求1所述的方法，其特征在于，在所述根据各所述果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云之后，还包括：
根据所述串形果实点云，生成串形果实的六自由度信息，并发送至采摘机器人，以使所述采摘机器人对所述串形果实进行采摘。
7.根据权利要求1所述的方法，其特征在于，所述串形果实处于复杂光照场景中。
8.一种果实点云提取装置，其特征在于，所述装置包括：
场景彩色图获取模块，用于获取串形果实的场景彩色图和场景深度信息；
果实区域识别模块，用于在所述场景彩色图中识别至少一个果实区域以及所述果实区域的中心点；
区域点云确定模块，用于根据各所述果实区域映射在所述场景深度信息的深度区域，确定各所述果实区域的区域点云；
聚类初始点确定模块，用于将所述果实区域的中心点映射到传感器坐标系下的三维点，确定为所述果实区域的聚类初始点；
果实聚类簇确定模块，用于从所述聚类初始点开始，对所述果实区域的区域点云采用邻近搜索和密度聚类，得到所述聚类初始点对应的果实聚类簇；
串形果实点云生成模块，用于根据各所述果实区域的聚类初始点对应的果实聚类簇，生成串形果实点云。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的果实点云提取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的果实点云提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311871003.8A CN117789200B (zh) | 2023-12-29 | 2023-12-29 | 果实点云提取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311871003.8A CN117789200B (zh) | 2023-12-29 | 2023-12-29 | 果实点云提取方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117789200A CN117789200A (zh) | 2024-03-29 |
| CN117789200B true CN117789200B (zh) | 2024-06-25 |
Family
ID=90381481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311871003.8A Active CN117789200B (zh) | 2023-12-29 | 2023-12-29 | 果实点云提取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789200B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110687A (zh) * | 2019-05-15 | 2019-08-09 | 江南大学 | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110400322B (zh) * | 2019-07-30 | 2021-03-16 | 江南大学 | 基于颜色和三维几何信息的水果点云分割方法 |
| CN114067206B (zh) * | 2021-11-16 | 2024-04-26 | 哈尔滨理工大学 | 一种基于深度图像的球形果实识别定位方法 |
| CN116758535A (zh) * | 2023-05-06 | 2023-09-15 | 浙江光仑科技有限公司 | 基于rgb-d传感器的水果采摘方法、系统及计算机 |
-
2023
- 2023-12-29 CN CN202311871003.8A patent/CN117789200B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110687A (zh) * | 2019-05-15 | 2019-08-09 | 江南大学 | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于RGB-D相机的矮砧苹果识别与定位;赵辉;李浩;岳有军;王红君;;计算机工程与设计;20200816(第08期);2278-2283 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117789200A (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | On detecting road regions in a single UAV image | |
| CN111797712B (zh) | 基于多尺度特征融合网络的遥感影像云与云阴影检测方法 | |
| CN109410238B (zh) | 一种基于PointNet++网络的枸杞识别计数方法 | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| Xu et al. | Automatic building rooftop extraction from aerial images via hierarchical RGB-D priors | |
| CN111275040B (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
| CN114332134B (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
| CN115908988B (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
| JP4926266B2 (ja) | 学習データ作成装置、学習データ作成方法及びプログラム | |
| CN114926726A (zh) | 基于多任务网络的无人船感知方法及相关设备 | |
| JP2019185787A (ja) | 地理的地域内のコンテナのリモート決定 | |
| CN115731257A (zh) | 基于图像的叶片形态信息提取方法 | |
| CN114049566B (zh) | 一种逐步细化的陆地卫星影像云和云阴影检测方法及装置 | |
| CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
| CN115471476A (zh) | 一种部件缺陷检测方法、装置、设备及介质 | |
| CN116777877A (zh) | 电路板缺陷检测方法、装置、计算机设备及存储介质 | |
| CN111368865B (zh) | 遥感影像储油罐检测方法、装置、可读存储介质及设备 | |
| Forlani et al. | Adaptive filtering of aerial laser scanning data | |
| CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 | |
| JP2009123234A (ja) | オブジェクト識別方法および装置ならびにプログラム | |
| CN117789200B (zh) | 果实点云提取方法、装置、电子设备及存储介质 | |
| CN108967246B (zh) | 虾苗定位方法 | |
| CN113723833B (zh) | 造林实绩质量评价方法、系统、终端设备及存储介质 | |
| JP4285644B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
| CN112686222B (zh) | 星载可见光探测器对船舶目标检测的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |