CN114782519A - 基于点云信息的球形或类球形物体定位方法、装置及介质 - Google Patents

基于点云信息的球形或类球形物体定位方法、装置及介质 Download PDF

Info

Publication number
CN114782519A
CN114782519A CN202210242177.7A CN202210242177A CN114782519A CN 114782519 A CN114782519 A CN 114782519A CN 202210242177 A CN202210242177 A CN 202210242177A CN 114782519 A CN114782519 A CN 114782519A
Authority
CN
China
Prior art keywords
spherical
target
quasi
fitted
circle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210242177.7A
Other languages
English (en)
Inventor
谷文韬
黄锐
石立乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Tianshi Zhiyuan Aviation Technology Co ltd
Original Assignee
Shaanxi Tianshi Zhiyuan Aviation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Tianshi Zhiyuan Aviation Technology Co ltd filed Critical Shaanxi Tianshi Zhiyuan Aviation Technology Co ltd
Priority to CN202210242177.7A priority Critical patent/CN114782519A/zh
Publication of CN114782519A publication Critical patent/CN114782519A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术，提供了一种基于点云信息的球形或类球形物体定位方法、装置及介质，该方法包括：获取球形或类球形物体的图像和深度图，其中，球形或类球形物体的图像包括多个像素点，球形或类球形物体的深度图用于指示每个像素点的深度值；对球形或类球形物体的图像进行语义分割，得到目标像素区域；将目标像素区域映射到球形或类球形物体的深度图，确定目标点云；基于预设的目标深度值，对目标点云进行等深度切片处理，得到待拟合点集；对待拟合点集进行圆检测，确定目标拟合圆和目标拟合圆对应的目标圆心坐标。根据本发明实施例提供的方案，能够在球形或类球形物体的一个或多个部位被遮挡物遮挡的情况下，进行准确的定位。

Description

基于点云信息的球形或类球形物体定位方法、装置及介质
技术领域
本发明涉及但不限于图像识别技术领域，尤其涉及一种基于点云信息的球形或类球形物体定位方法、装置及介质。
背景技术
随着科技的进步与发展，工业自动化已经成为我国行业发展的主流趋势，工业智能化、自动化是在工业生产中广泛采用智能控制、自动调整装置，用以代替人工操纵机器和机器体系进行加工生产的趋势。
利用智能控制装置对球形或类球形物体进行处理时，对球形或类球形物体进行定位是重要的处理环节；目前，对于常规的作业环境，通过相机与深度传感器结合的视觉系统获取物体图像，然后对物体图像进行边缘检测得到目标边界，最后利用霍夫变换方法进行拟合圆处理，并确定圆心位置，从而完成物体的定位；但是，对于复杂的作业环境，对物体图像进行边缘检测，当球形或类球形物体的一个或多个部位被遮挡物遮挡时，边缘检测的结果无法确定球形或类球形物体的边缘，导致无法生成准确的拟合圆，无法对球形或类球形物体进行准确的定位。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种基于点云信息的球形或类球形物体定位方法、装置及介质，能够在球形或类球形物体的一个或多个部位被遮挡物遮挡的情况下，对球形或类球形物体进行准确的定位。
第一方面，本发明还提供了一种基于点云信息的球形或类球形物体定位方法，包括：获取球形或类球形物体的图像和深度图，其中，所述球形或类球形物体的图像包括多个像素点，所述球形或类球形物体的深度图用于指示每个所述像素点的深度值；对所述球形或类球形物体的图像进行语义分割，得到目标像素区域；将所述目标像素区域映射到所述球形或类球形物体的深度图，确定目标点云；基于预设的目标深度值，对所述目标点云进行等深度切片处理，得到待拟合点集；对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标。
在一些实施例中，所述待拟合点集为多个待拟合点的集合；所述对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标，包括：从所述待拟合点集中确定多个待拟合点组，其中，所述待拟合点组由三个不在同一直线上的所述待拟合点组成；根据所述待拟合点组和预设的三点定圆算法，确定各个所述待拟合点组对应的拟合圆，以及所述对应的圆心坐标；对所有所述圆心坐标进行加权平均处理，得到目标圆心坐标；根据所述拟合圆和所述目标圆心坐标，确定目标拟合圆。
在一些实施例中，所述对所有所述圆心坐标进行加权平均处理，得到目标圆心坐标，包括：对所述球形或类球形物体的图像进行物体识别，确定物体种类信息；对所述球形或类球形物体的图像进行场景识别，确定场景信息；根据所述物体种类信息、所述场景信息和预设的加权条件，确定加权系数；按照所述加权系数，对所有所述圆心坐标进行加权平均处理，得到目标圆心坐标。
在一些实施例中，所述对所有所述圆心坐标进行加权平均处理，得到目标圆心坐标的步骤之前，还包括：对各个所述圆心坐标进行预处理；其中，所述预处理包括以下至少一种：按照预设的过滤条件，对各个所述圆心坐标进行过滤处理；对各个所述圆心坐标进行异常剔除处理。
在一些实施例中，所述对各个所述圆心坐标进行异常剔除处理，包括：计算所有所述圆心坐标的坐标标准差和坐标均值；基于拉依达准则、所述坐标标准差和所述坐标均值，从所有所述圆心坐标中确定出异常坐标；剔除所有所述圆心坐标中的所述异常坐标。
在一些实施例中，所述从所述待拟合点集中确定多个待拟合点组，包括：对所述待拟合点集的所有待拟合点进行排序，确定待拟合点序列；根据预设的取样间隔对所述待拟合点序列进行多次取样，或者对所述待拟合点序列进行多次随机取样，确定多个待拟合点组。
在一些实施例中，所述对所述球形或类球形物体的图像进行语义分割，得到目标像素区域，包括：确定每个所述像素点的红色通道数值、绿色通道数值和蓝色通道数值；根据所述红色通道数值、绿色通道数值和蓝色通道数据，确定所述像素点的颜色差值；根据预设的所述差值阈值和所述颜色差值对所述像素点进行筛选，确定目标像素点；根据所述目标像素点，得到目标像素区域。
在一些实施例中，所述对所述球形或类球形物体的图像进行语义分割，得到目标像素区域，包括：将所述球形或类球形物体的图像输入已训练的球形或类球形物体分割模型，得到目标像素区域；其中，所述球形或类球形物体分割模型通过如下步骤训练：获取球形或类球形物体训练图像和球形或类球形物体训练标签图像；将所述球形或类球形物体训练图像输入预设的语义分割模型，得到预测区域；根据所述球形或类球形物体训练标签图像和所述预测区域，确定交叉熵损失函数；基于所述交叉熵损失函数，更新所述语义分割模型的模型参数，以得到球形或类球形物体分割模型。
在一些实施例中，所述对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标，包括：根据最小二乘法对所述待拟合点集进行拟合处理，或者根据霍夫变换法对所述待拟合点集进行圆检测，确定目标拟合圆；根据所述目标拟合圆确定目标圆心坐标。
第二方面，本发明还提供了一种基于点云信息的球形或类球形物体定位装置，包括：获取单元，用于获取球形或类球形物体的图像和深度图，其中，所述球形或类球形物体的图像包括多个像素点，所述球形或类球形物体的深度图用于指示每个所述像素点的深度值；分割单元，用于对所述球形或类球形物体的图像进行语义分割，得到目标像素区域；点云确定单元，用于将所述目标像素区域映射到所述球形或类球形物体的深度图，确定目标点云；点集确定单元，用于基于预设的目标深度值，对所述目标点云进行等深度切片处理，得到待拟合点集；定位单元，用于对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标。
第三方面，本发明实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的基于点云信息的球形或类球形物体定位方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上第一方面所述的基于点云信息的球形或类球形物体定位方法。
本发明实施例包括：获取球形或类球形物体的图像和深度图，其中，所述球形或类球形物体的图像包括多个像素点，所述球形或类球形物体的深度图用于指示每个所述像素点的深度值；对所述球形或类球形物体的图像进行语义分割，得到目标像素区域；将所述目标像素区域映射到所述球形或类球形物体的深度图，确定目标点云；基于预设的目标深度值，对所述目标点云进行等深度切片处理，得到待拟合点集；对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标。根据本发明实施例提供的方案，通过对球形或类球形物体的图像进行语义分割，将得到的目标像素区域映射到球形或类球形物体的深度图，得到目标点云，并通过深度切片处理，由目标点云的点云信息和球形或类球形物体的目标深度值得到待拟合点集，进而通过圆检测确定目标拟合圆和目标圆心坐标，从而能够在球形或类球形物体的一个或多个部位被遮挡物遮挡的情况下，对球形或类球形物体进行准确的定位。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种实施环境的示意图；
图2是本发明一个实施例提供的基于点云信息的球形或类球形物体定位方法的流程图；
图3是本发明另一个实施例提供的一种确定目标拟合圆和目标圆心坐标的流程图；
图4是本发明另一个实施例提供的一种确定目标圆心坐标的流程图；
图5是本发明另一个实施例提供的一种圆心坐标预处理的流程图；
图6是本发明另一个实施例提供的一种剔除异常坐标的流程图；
图7是本发明另一个实施例提供的一种确定待拟合点组的流程图；
图8是本发明另一个实施例提供的一种确定目标像素区域的流程图；
图9是本发明另一个实施例提供的另一种确定目标像素区域的流程图；
图10是本发明另一个实施例提供的另一种确定目标拟合圆和目标圆心坐标的流程图；
图11是本发明另一个实施例提供的图像的示意图；
图12是本发明另一个实施例提供的目标像素区域的示意图；
图13是本发明另一个实施例提供的目标点云的示意图；
图14是本发明另一个实施例提供的待拟合点集的示意图；
图15是本发明另一个实施例提供的基于点云信息的球形或类球形物体定位装置的结构图；
图16是本发明另一个实施例提供的电子设备的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，若干个的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：
人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统；换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器；人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能；人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术；人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向；随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗、智慧城市等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
机器学习(Machine Learning，ML)，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科；专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能；机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域；机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
球形及类球形物体，是指标准球形物体、椭球体和不规则球体，例如苹果、梨、桃、橙、桔、椰子等瓜果类物体。
等深度切片，在目标对象深度点云信息中，抽取某一相同深度值点云信息，形成的点云集。
结构光，是一组由投影仪和摄像头组成的系统结构，用投影仪投射特定的光信息到物体表面后及背景后，由摄像头采集，根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。
光飞行时间(Time of flight，TOF)，在广义上可理解为通过测量物体、粒子或波在固定介质中飞越一定距离所耗费时间(介质/距离/时间均为已知或可测量)，从而进一步理解离子或媒介某些性质的技术。
拉依达准则，是指先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。
最小二乘法，是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。
霍夫变换，是一种特征检测(Feature Extraction)，被广泛应用在图像分析(Image Analysis)、计算机视觉(Computer Vision)以及数位影像处理(Digital ImageProcessing)，霍夫变换不仅能识别直线，也能够识别任何形状，常见的有圆形、椭圆形。
交叉熵(Cross Entropy)，主要用于度量两个概率分布间的差异性信息。
利用智能控制装置对球形或类球形物体进行处理时，对球形或类球形物体进行定位是重要的处理环节；目前，对于常规的作业环境，通过相机与深度传感器结合的视觉系统获取物体图像，然后对物体图像进行边缘检测得到目标边界，最后利用霍夫变换方法进行拟合圆处理，并确定圆心位置，从而完成物体的定位；但是，对于复杂的作业环境，对物体图像进行边缘检测，当球形或类球形物体的一个或多个部位被遮挡物遮挡时，边缘检测的结果无法确定球形或类球形物体的边缘，导致无法生成准确的拟合圆，无法对球形或类球形物体进行准确的定位。
针对当球形或类球形物体的一个或多个部位被遮挡物遮挡时，无法对球形或类球形物体进行准确的定位的问题，本发明提供了一种基于点云信息的球形或类球形物体定位方法、装置及介质，该方法包括：获取球形或类球形物体的图像和深度图，其中，球形或类球形物体的图像包括多个像素点，球形或类球形物体的深度图用于指示每个像素点的深度值；对球形或类球形物体的图像进行语义分割，得到目标像素区域；将目标像素区域映射到球形或类球形物体的深度图，确定目标点云；基于预设的目标深度值，对目标点云进行等深度切片处理，得到待拟合点集；对待拟合点集进行圆检测，确定目标拟合圆和目标拟合圆对应的目标圆心坐标。根据本发明实施例提供的方案，通过对球形或类球形物体的图像进行语义分割，将得到的目标像素区域映射到球形或类球形物体的深度图，得到目标点云，并通过深度切片处理，由目标点云的点云信息和球形或类球形物体的目标深度值得到待拟合点集，进而通过圆检测确定目标拟合圆和目标圆心坐标，从而能够在球形或类球形物体的一个或多个部位被遮挡物遮挡的情况下，对球形或类球形物体进行准确的定位。
本发明实施例提供的一种基于点云信息的球形或类球形物体定位方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件。
参照图1，图1为本发明实施例提供的一种实施环境的示意图，该实施环境包括终端101和服务器102，其中，终端101和服务器102之间通过通信网络103连接。
服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
另外，服务器102还可以是区块链网络中的一个节点服务器。
终端101可以是个人计算机(Personal Computer，PC)、手机、智能手机、个人数字助手(Personal Digital Assistant，PDA)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、具有拍摄功能的拍摄设备、采集设备等，但并不局限于此。终端101以及服务器102可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例在此不做限制。
需要说明的是，智能控制装置可以通过网络与终端101或者服务器102连接，从而通过球形或类球形物体定位方法为智能控制装置提供功能支持。
基于图1的实施环境，如图2所示，图2是本发明一个实施例提供的一种基于点云信息的球形或类球形物体定位方法的流程图，包括但不限于有以下步骤：
步骤S210，获取球形或类球形物体的图像和深度图，其中，球形或类球形物体的图像包括多个像素点，球形或类球形物体的深度图用于指示每个像素点的深度值；
步骤S220，对球形或类球形物体的图像进行语义分割，得到目标像素区域；
步骤S230，将目标像素区域映射到球形或类球形物体的深度图，确定目标点云；
步骤S240，基于预设的目标深度值，对目标点云进行等深度切片处理，得到待拟合点集；
步骤S250，对待拟合点集进行圆检测，确定目标拟合圆和目标拟合圆对应的目标圆心坐标。
可以理解的是，当球形或类球形物体的一个或多个部位被遮挡物遮挡，相对于对物体图像进行边缘检测，通过获取球形或类球形物体的图像和深度图，然后对球形或类球形物体的图像进行语义分割，得到球形或类球形物体所在区域的目标像素区域，然后将标像素区域映射到球形或类球形物体的深度图，确定包含点云信息的目标点云，点云信息是指点云中各个点的位置信息和深度信息，通过多次实验，从而确定出球形或类球形物体的目标深度值，将目标点云中深度值符合目标深度值的点作为待拟合点，从而组成待拟合点集，然后对待拟合点集进行圆检测，进而确定目标拟合圆和目标拟合圆对应的目标圆心坐标；基于此，通过对球形或类球形物体的图像进行语义分割，将得到的目标像素区域映射到球形或类球形物体的深度图，得到目标点云，并通过深度切片处理，由目标点云的点云信息和球形或类球形物体的目标深度值得到待拟合点集，进而通过圆检测确定目标拟合圆和目标圆心坐标，从而能够在球形或类球形物体的一个或多个部位被遮挡物遮挡的情况下，对球形或类球形物体进行准确的定位。
需要说明的是，获取球形或类球形物体的图像和深度图的相机包括但不限于：结构光深度相机、双目深度相机、光飞行时间深度相机；球形或类球形物体的图像包括但不限于：彩色图、伪彩色图、灰度图和黑白图。
在具体实践中，球形或类球形物体的目标深度值的确定步骤如下：
步骤210，根据球形及类球形物体的不同种类，在0.5至1.0的阈值区间内设定球形及类球形物体的等深度切片的深度选取比λ，例如，λ取为0.8；
步骤220，确定目标点云的深度范围[Deepmin,Deepmax]，例如，Deepmin＝720，Deepmax＝755mm；
步骤230，按照深度切片深度值计算公式，通过深度选取比λ和深度范围计算得到深度切片深度值，深度切片深度值计算公式如下：
(Deepnax-Deepmin)*λ+Deepmin，
其中，Deepmin为深度范围最小值，Deepmax为深度范围最大值，λ为深度选取比；
例如，当λ取为0.8，Deepmin为720mm，Deepmax为755mm，按照深度切片深度值计算公式进行计算，得到(755mm-720mm)*0.8+720mm＝748mm，进而将目标点云内深度值为748mm的等深度切片上的点作为待拟合点，组成待拟合点集。
另外，参照图3，在一实施例中，待拟合点集为多个待拟合点的集合；图2所示实施例中的步骤S250，包括但不限于有以下步骤：
步骤S310，从待拟合点集中确定多个待拟合点组，其中，待拟合点组由三个不在同一直线上的待拟合点组成；
步骤S320，根据待拟合点组和预设的三点定圆算法，确定各个待拟合点组对应的拟合圆，以及对应的圆心坐标；
步骤S330，对所有圆心坐标进行加权平均处理，得到目标圆心坐标；
步骤S340，根据拟合圆和目标圆心坐标，确定目标拟合圆。
可以理解的是，待拟合点集包括多个待拟合点，以三个不在同一直线上的待拟合点为一组，从待拟合点集中确定多个待拟合点组，利用三点定圆算法对各个待拟合点组进行计算，得到多个拟合圆和各个拟合圆的圆心坐标，计算所有圆心坐标的平均值，得到目标圆心坐标，对所有拟合圆的半径进行加权平均处理，得到目标半径，由目标半径和目标圆心坐标得到的平均拟合圆，当平均拟合圆的轨迹在最大拟合圆的轨迹和最小拟合圆的轨迹之内时，将平均拟合圆作为目标拟合圆。
需要说明的是，假设选取的三个待拟合点为P1(x1,y1)、P2(x2,y2)、P3(x3,y3)，通过该三个待拟合点确定的圆的方程，圆的方程为：
(x-x0)2+(y-y0)2＝r2，
其中，圆心为O(x0,y0)、半径为r，点(x,y)为圆上的点，该三个待拟合点与圆心和半径的关系为：
Figure BDA0003542783650000101
可以解出：
Figure BDA0003542783650000102
进而得到圆心的坐标O(x0,y0)。
在具体实践中，在待拟合点组的确定过程中，选取三个待拟合点后，对该三个待拟合点进行判断，当三个待拟合点在同一直线时，需要重新选取三个待拟合点。
另外，参照图4，在一实施例中，图3所示实施例中的步骤S330，包括但不限于有以下步骤：
步骤S410，对球形或类球形物体的图像进行物体识别，确定物体种类信息；
步骤S420，对球形或类球形物体的图像进行场景识别，确定场景信息；
步骤S430，根据物体种类信息、场景信息和预设的加权条件，确定加权系数；
步骤S440，按照加权系数，对所有圆心坐标进行加权平均处理，得到目标圆心坐标。
可以理解的是，平均处理优选采用加权平均处理，物体识别和场景识别均属于目标检测的方法，对于不同的物体和不同的场景，设定不同的加权系数，不同物体的中心所在的位置不完全相同，不同场景中物体的中心所在的位置也可能发生变化；通过设定加权系数，使得离物体中心越远的点加权系数较小，离物体中心越近的点加权系数较大，使得计算得到的目标圆心坐标更加准确。
值得注意的是，物体识别和场景识别的方法，属于本领域技术人员熟知的技术，在此不多作赘述。
另外，参照图5，在一实施例中，图3所示实施例中的步骤S330之前，还包括但不限于有以下步骤：
步骤S510，对各个圆心坐标进行预处理；
其中，预处理包括以下至少一种：
按照预设的过滤条件，对各个圆心坐标进行过滤处理；
对各个圆心坐标进行异常剔除处理。
可以理解的是，通过预处理，能够去除异常的圆心坐标，从而保证目标拟合圆和目标圆心坐标的准确性。
需要说明的是，用户根据球形或类球形物体的大小，设定拟合圆的尺寸阈值，不符合尺寸阈值的拟合圆的圆心坐标为异常的圆心坐标，过滤条件设定为去除异常的圆心坐标；异常剔除处理也能够剔除异常的圆心坐标。
另外，参照图6，在一实施例中，图5所示实施例中的步骤S510中对各个圆心坐标进行异常剔除处理的步骤，包括但不限于有以下步骤：
步骤S610，计算所有圆心坐标的坐标标准差和坐标均值；
步骤S620，基于拉依达准则、坐标标准差和坐标均值，从所有圆心坐标中确定出异常坐标；
步骤S630，剔除所有圆心坐标中的异常坐标。
需要说明的是，利用拉依达准则进行异常处理时，需要先计算标准差和均值，因此计算坐标标准差和坐标均值，进而确定出异常坐标。
值得注意的是，基于拉依达准则进行处理的方法，属于本领域技术人员熟知的技术，在此不多作赘述。
如图7所示，在一实施例中，图3所示实施例中的步骤S310，包括但不限于有以下步骤：
步骤S710，对待拟合点集的所有待拟合点进行排序，确定待拟合点序列；
步骤S720，根据预设的取样间隔对待拟合点序列进行多次取样，或者对待拟合点序列进行多次随机取样，确定多个待拟合点组。
需要说明的是，排序的方法包括但不限于：在生成待拟合点集时，待拟合点集内的待拟合点是依次确定的，按照待拟合点的确定顺序，对待拟合点进行排序，从而确定待拟合点序列，能够简化操作步骤，从而提高效率。
值得注意的是，随机取样的方法，属于本领域技术人员熟知的技术，在此不多作赘述。
在具体实践中，根据类球体的不规则度和图像分辨率，设定合理的取样次数，优选的取样次数在20次至1000次之间，取样次数越多定位结果越准确，取样次数越少运算的时间越短；需要说明的是，用户选择的取样次数按照实际情况而确定，在此不作限定。
如图8所示，在一实施例中，图2所示实施例中的步骤S220，包括但不限于有以下步骤：
步骤S810，确定每个像素点的红色通道数值、绿色通道数值和蓝色通道数值；
步骤S820，根据红色通道数值、绿色通道数值和蓝色通道数据，确定像素点的颜色差值；
步骤S830，根据预设的差值阈值和颜色差值对像素点进行筛选，确定目标像素点；
步骤S840，根据目标像素点，得到目标像素区域。
可以理解的是，每个像素点具有三个颜色通道，分别为红色通道、绿色通道和蓝色通道，像素点的颜色差值是指红色通道数值和绿色通道数值的差值，或者红色通道数值和蓝色通道数值的差值，或者绿色通道数值和蓝色通道数值的差值；在球形或类球形物体的图像中，球形或类球形物体的颜色和图像背景的颜色的差异较大时，以及球形或类球形物体的颜色和遮挡物的颜色差异较大时，通过计算每个像素点的颜色差值，结合预设的差值阈值，能够准确得到球形或类球形物体所在区域的目标像素区域。
值得注意的是，确定像素点各个颜色通道的数值，属于本领域技术人员熟知的技术，在此不多作赘述。
在具体实践中，当球形或类球形物体的颜色是红色，图像背景的颜色是白色，遮挡物的颜色是绿色，将红色通道数值和绿色通道数值的差值作为目标颜色差值，通过计算每个像素点的目标颜色差值，差值阈值设置为较大的值，判断像素点的目标颜色差值是否大于差值阈值，若是，表示该像素点在球形或类球形物体所在的区域，将该像素点作为目标像素点；否则，判断下一个像素点；对所有像素点进行判断后，筛选得到所有目标像素点，从而得到球形或类球形物体所在区域的目标像素区域。
如图9所示，在一实施例中，图2所示实施例中的步骤S220，包括但不限于有以下步骤：
步骤S910，将球形或类球形物体的图像输入已训练的球形或类球形物体分割模型，得到目标像素区域；
其中，球形或类球形物体分割模型通过如下步骤训练：
步骤910，获取球形或类球形物体训练图像和球形或类球形物体训练标签图像；
步骤920，将球形或类球形物体训练图像输入预设的语义分割模型，得到预测区域；
步骤930，根据球形或类球形物体训练标签图像和预测区域，确定交叉熵损失函数；
步骤940，基于交叉熵损失函数，更新语义分割模型的模型参数，以得到球形或类球形物体分割模型。
可以理解的是，通过球形或类球形物体训练标签图像和预测区域确定交叉熵损失函数，从而确定交叉熵损失，然后利用交叉熵损失更新语义分割模型的模型参数，使得球形或类球形物体分割模型能够提高分割的准确率，进而通过球形或类球形物体分割模型准确得到球形或类球形物体所在区域的目标像素区域。
在具体实践中，语义分割模型采用Unet分割网络。
值得注意的是，交叉熵损失函数的计算方法，以及获取Unet分割网络的方法，属于本领域技术人员熟知的技术，在此不多作赘述。
如图10所示，在一实施例中，图2所示实施例中的步骤S250，包括但不限于有以下步骤：
步骤S1010，根据最小二乘法对待拟合点集进行拟合处理，或者根据霍夫变换法对待拟合点集进行圆检测，确定目标拟合圆；
步骤S1020，根据目标拟合圆确定目标圆心坐标。
可以理解的是，对待拟合点集进行圆检测的方法还包括但不限于：最小二乘法和霍夫变换法；最小二乘法能够用于曲线拟合，能够提高生成目标拟合圆的效率；通过霍夫变换法进行圆检测，具备抗干扰能力强的优点。
值得注意的是，最小二乘法或霍夫变换法的计算方法，属于本领域技术人员熟知的技术，在此不多作赘述。
另外，参考图11至图14，图11是本发明另一个实施例提供的图像的示意图，图12是本发明另一个实施例提供的目标像素区域的示意图，图13是本发明另一个实施例提供的目标点云的示意图，图14是本发明另一个实施例提供的待拟合点集的示意图。
需要说明的是，随着全球信息化的迅猛发展，数字农业已经发展成为现代农业的新潮流。利用机器视觉技术准确获取果树上果实的数量是进行果树测产和精细果园管理的关键。传统的果实产量估测是基于历史数据、天气条件和人工计数来进行的，这种方法不仅误差较大，而且还费时费力，已不能满足现代农业发展的需求；随着现代信息技术的发展，基于机器视觉的测产方法表现出了能够代替人工测产方法的潜力；目前，在农产品的自动化采摘过程中，需要获取果实采摘点的空间位置，对于球形或类球形果实，先利用相机与深度传感器结合的视觉系统获取果实图像，然后对果实图像进行边缘检测得到目标边界，最后利用霍夫变换方法进行拟合圆处理，并确定圆心位置，从而获取果实采摘点，但是在复杂的生长环境中，树叶、树干、树枝等遮挡物遮挡球形或类球形果实后，边缘检测的结果无法有效生成拟合圆，导致无法对球形或类球形果实进行准确的定位。
可以理解的是，本发明实施例中的基于点云信息的球形或类球形物体定位方法可以应用到数字农业中，例如球形或类球形果实的自动化采摘系统，通过对如图11所示的包含球形或类球形果实的图像进行语义分割，得到如图12所示的目标像素区域，将得到的目标像素区域映射到深度图，得到如图13所示的目标点云，并由目标点云的点云信息和球形或类球形果实的目标深度值确定如图14所示的待拟合点集，例如目标深度值选取748mm，通过等深度切片处理，将点云中所有深度值为748mm的点提取出来组成待拟合点集，并放置在X轴和Y轴组成平面坐标系上，进而通过圆检测确定拟合圆和圆心坐标，如图14所示，圆形的点为待拟合点，虚线的圆为拟合圆，正方形的点为圆心，三角形的点为待拟合点组中的点，再通过预处理确定目标圆心坐标，进而确定目标拟合圆，从而能够在球形或类球形果实的一个或多个部位被遮挡物遮挡的情况下，对球形或类球形果实进行准确的定位，保证球形或类球形果实的自动化采摘系统的正常运作。
另外，参考图15，本发明还提供了一种基于点云信息的球形或类球形物体定位装置1500，包括：
获取单元1510，用于获取球形或类球形物体的图像和深度图，其中，球形或类球形物体的图像包括多个像素点，球形或类球形物体的深度图用于指示每个像素点的深度值；
分割单元1520，用于对球形或类球形物体的图像进行语义分割，得到目标像素区域；
点云确定单元1530，用于将目标像素区域映射到球形或类球形物体的深度图，确定目标点云；
点集确定单元1540，用于基于预设的目标深度值，对目标点云进行等深度切片处理，得到待拟合点集；
定位单元1550，用于对待拟合点集进行圆检测，确定目标拟合圆和目标拟合圆对应的目标圆心坐标。
可以理解的是，该基于点云信息的球形或类球形物体定位装置1500的具体实施方式与上述基于点云信息的球形或类球形物体定位方法的具体实施例基本相同，在此不再赘述；基于此，通过对球形或类球形物体的图像进行语义分割，将得到的目标像素区域映射到球形或类球形物体的深度图，得到目标点云，并通过深度切片处理，由目标点云的点云信息和球形或类球形物体的目标深度值得到待拟合点集，进而通过圆检测确定目标拟合圆和目标圆心坐标，从而能够在球形或类球形物体的一个或多个部位被遮挡物遮挡的情况下，对球形或类球形物体进行准确的定位。
另外，参照图16，本发明的一个实施例还提供了一种电子设备，该电子设备1600包括：存储器1610、处理器1620及存储在存储器1610上并可在处理器1620上运行的计算机程序。
处理器1620和存储器1610可以通过总线或者其他方式连接。
实现上述实施例的基于点云信息的球形或类球形物体定位方法所需的非暂态软件程序以及指令存储在存储器1610中，当被处理器1620执行时，执行上述实施例中的基于点云信息的球形或类球形物体定位方法，例如，执行以上描述的图2中的方法步骤S210至步骤S250、图3中的方法步骤S310至步骤S340、图4中的方法步骤S410至步骤S440、图5中的方法步骤S510、图6中的方法步骤S610至步骤S630、图7中的方法步骤S710至步骤S720、图8中的方法步骤S810至步骤S840、图9中的方法步骤S910、图10中的方法步骤S1010至步骤S1020，通过获取球形或类球形物体的图像和深度图，其中，球形或类球形物体的图像包括多个像素点，球形或类球形物体的深度图用于指示每个像素点的深度值；对球形或类球形物体的图像进行语义分割，得到目标像素区域；将目标像素区域映射到球形或类球形物体的深度图，确定目标点云；基于预设的目标深度值，对目标点云进行等深度切片处理，得到待拟合点集；对待拟合点集进行圆检测，确定目标拟合圆和目标拟合圆对应的目标圆心坐标。基于此，通过对球形或类球形物体的图像进行语义分割，将得到的目标像素区域映射到球形或类球形物体的深度图，得到目标点云，并通过深度切片处理，由目标点云的点云信息和球形或类球形物体的目标深度值得到待拟合点集，进而通过圆检测确定目标拟合圆和目标圆心坐标，从而能够在球形或类球形物体的一个或多个部位被遮挡物遮挡的情况下，对球形或类球形物体进行准确的定位。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述电子设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的基于点云信息的球形或类球形物体定位方法，例如，执行以上描述的图2中的方法步骤S210至步骤S250、图3中的方法步骤S310至步骤S340、图4中的方法步骤S410至步骤S440、图5中的方法步骤S510、图6中的方法步骤S610至步骤S630、图7中的方法步骤S710至步骤S720、图8中的方法步骤S810至步骤S840、图9中的方法步骤S910、图10中的方法步骤S1010至步骤S1020，通过获取球形或类球形物体的图像和深度图，其中，球形或类球形物体的图像包括多个像素点，球形或类球形物体的深度图用于指示每个像素点的深度值；对球形或类球形物体的图像进行语义分割，得到目标像素区域；将目标像素区域映射到球形或类球形物体的深度图，确定目标点云；基于预设的目标深度值，对目标点云进行等深度切片处理，得到待拟合点集；对待拟合点集进行圆检测，确定目标拟合圆和目标拟合圆对应的目标圆心坐标。基于此，通过对球形或类球形物体的图像进行语义分割，将得到的目标像素区域映射到球形或类球形物体的深度图，得到目标点云，并通过深度切片处理，由目标点云的点云信息和球形或类球形物体的目标深度值得到待拟合点集，进而通过圆检测确定目标拟合圆和目标圆心坐标，从而能够在球形或类球形物体的一个或多个部位被遮挡物遮挡的情况下，对球形或类球形物体进行准确的定位。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (12)

1.一种基于点云信息的球形或类球形物体定位方法，其特征在于，包括：
获取球形或类球形物体的图像和深度图，其中，所述球形或类球形物体的图像包括多个像素点，所述球形或类球形物体的深度图用于指示每个所述像素点的深度值；
对所述球形或类球形物体的图像进行语义分割，得到目标像素区域；
将所述目标像素区域映射到所述球形或类球形物体的深度图，确定目标点云；
基于预设的目标深度值，对所述目标点云进行等深度切片处理，得到待拟合点集；
对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标。
2.根据权利要求1所述的方法，其特征在于，所述待拟合点集为多个待拟合点的集合；
所述对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标，包括：
从所述待拟合点集中确定多个待拟合点组，其中，所述待拟合点组由三个不在同一直线上的所述待拟合点组成；
根据所述待拟合点组和预设的三点定圆算法，确定各个所述待拟合点组对应的拟合圆，以及所述对应的圆心坐标；
对所有所述圆心坐标进行加权平均处理，得到目标圆心坐标；
根据所述拟合圆和所述目标圆心坐标，确定目标拟合圆。
3.根据权利要求2所述的方法，其特征在于，所述对所有所述圆心坐标进行加权平均处理，得到目标圆心坐标，包括：
对所述球形或类球形物体的图像进行物体识别，确定物体种类信息；
对所述球形或类球形物体的图像进行场景识别，确定场景信息；
根据所述物体种类信息、所述场景信息和预设的加权条件，确定加权系数；
按照所述加权系数，对所有所述圆心坐标进行加权平均处理，得到目标圆心坐标。
4.根据权利要求2所述的方法，其特征在于，所述对所有所述圆心坐标进行加权平均处理，得到目标圆心坐标的步骤之前，还包括：
对各个所述圆心坐标进行预处理；
其中，所述预处理包括以下至少一种：
按照预设的过滤条件，对各个所述圆心坐标进行过滤处理；
对各个所述圆心坐标进行异常剔除处理。
5.根据权利要求4所述的方法，其特征在于，所述对各个所述圆心坐标进行异常剔除处理，包括：
计算所有所述圆心坐标的坐标标准差和坐标均值；
基于拉依达准则、所述坐标标准差和所述坐标均值，从所有所述圆心坐标中确定出异常坐标；
剔除所有所述圆心坐标中的所述异常坐标。
6.根据权利要求2所述的方法，其特征在于，所述从所述待拟合点集中确定多个待拟合点组，包括：
对所述待拟合点集的所有待拟合点进行排序，确定待拟合点序列；
根据预设的取样间隔对所述待拟合点序列进行多次取样，或者对所述待拟合点序列进行多次随机取样，确定多个待拟合点组。
7.根据权利要求1所述的方法，其特征在于，所述对所述球形或类球形物体的图像进行语义分割，得到目标像素区域，包括：
确定每个所述像素点的红色通道数值、绿色通道数值和蓝色通道数值；
根据所述红色通道数值、绿色通道数值和蓝色通道数据，确定所述像素点的颜色差值；
根据预设的所述差值阈值和所述颜色差值对所述像素点进行筛选，确定目标像素点；
根据所述目标像素点，得到目标像素区域。
8.根据权利要求1所述的方法，其特征在于，所述对所述球形或类球形物体的图像进行语义分割，得到目标像素区域，包括：
将所述球形或类球形物体的图像输入已训练的球形或类球形物体分割模型，得到目标像素区域；
其中，所述球形或类球形物体分割模型通过如下步骤训练：
获取球形或类球形物体训练图像和球形或类球形物体训练标签图像；
将所述球形或类球形物体训练图像输入预设的语义分割模型，得到预测区域；
根据所述球形或类球形物体训练标签图像和所述预测区域，确定交叉熵损失函数；
基于所述交叉熵损失函数，更新所述语义分割模型的模型参数，以得到球形或类球形物体分割模型。
9.根据权利要求1所述的方法，其特征在于，所述对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标，包括：
根据最小二乘法对所述待拟合点集进行拟合处理，或者根据霍夫变换法对所述待拟合点集进行圆检测，确定目标拟合圆；
根据所述目标拟合圆确定目标圆心坐标。
10.一种基于点云信息的球形或类球形物体定位装置，其特征在于，包括：
获取单元，用于获取球形或类球形物体的图像和深度图，其中，所述球形或类球形物体的图像包括多个像素点，所述球形或类球形物体的深度图用于指示每个所述像素点的深度值；
分割单元，用于对所述球形或类球形物体的图像进行语义分割，得到目标像素区域；
点云确定单元，用于将所述目标像素区域映射到所述球形或类球形物体的深度图，确定目标点云；
点集确定单元，用于基于预设的目标深度值，对所述目标点云进行等深度切片处理，得到待拟合点集；
定位单元，用于对所述待拟合点集进行圆检测，确定目标拟合圆和所述目标拟合圆对应的目标圆心坐标。
11.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中任意一项所述的基于点云信息的球形或类球形物体定位方法。
12.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1至9中任意一项所述的基于点云信息的球形或类球形物体定位方法。
CN202210242177.7A 2022-03-11 2022-03-11 基于点云信息的球形或类球形物体定位方法、装置及介质 Pending CN114782519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210242177.7A CN114782519A (zh) 2022-03-11 2022-03-11 基于点云信息的球形或类球形物体定位方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210242177.7A CN114782519A (zh) 2022-03-11 2022-03-11 基于点云信息的球形或类球形物体定位方法、装置及介质

Publications (1)

Publication Number Publication Date
CN114782519A true CN114782519A (zh) 2022-07-22

Family

ID=82423977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210242177.7A Pending CN114782519A (zh) 2022-03-11 2022-03-11 基于点云信息的球形或类球形物体定位方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114782519A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115272493B (zh) * 2022-09-20 2022-12-27 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置

Similar Documents

Publication Publication Date Title
Jin et al. Weed identification using deep learning and image processing in vegetable plantation
Song et al. Kiwifruit detection in field images using Faster R-CNN with VGG16
Tang et al. Fruit detection and positioning technology for a Camellia oleifera C. Abel orchard based on improved YOLOv4-tiny model and binocular stereo vision
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
Wang et al. Deep learning approach for apple edge detection to remotely monitor apple growth in orchards
US10599926B2 (en) Automated detection of nitrogen deficiency in crop
Millan et al. On‐the‐Go Grapevine Yield Estimation Using Image Analysis and Boolean Model
Wang et al. YOLOv3‐Litchi Detection Method of Densely Distributed Litchi in Large Vision Scenes
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN109410238B (zh) 一种基于PointNet++网络的枸杞识别计数方法
CN111310662B (zh) 一种基于集成深度网络的火焰检测识别方法及系统
CN110263920A (zh) 卷积神经网络模型及其训练方法和装置、巡检方法和装置
CN111814832B (zh) 一种目标检测方法、装置及存储介质
Hou et al. Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及系统
Suo et al. Casm-amfmnet: a network based on coordinate attention shuffle mechanism and asymmetric multi-scale fusion module for classification of grape leaf diseases
Solak et al. A new method for classifying nuts using image processing and k‐means++ clustering
CN114399780B (zh) 表格检测方法、表格检测模型训练方法及装置
Wang et al. A transformer-based mask R-CNN for tomato detection and segmentation
CN114782519A (zh) 基于点云信息的球形或类球形物体定位方法、装置及介质
Wu et al. A Dense Litchi Target Recognition Algorithm for Large Scenes
Badeka et al. Harvest crate detection for grapes harvesting robot based on YOLOv3 model
Zheng et al. Object-Detection from Multi-View remote sensing Images: A case study of fruit and flower detection and counting on a central Florida strawberry farm
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及系统
Bai et al. T‐YOLO: a lightweight and efficient detection model for nutrient buds in complex tea‐plantation environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination