CN116596996A - 一种用于苹果果实空间位姿信息的获取方法及系统 - Google Patents
一种用于苹果果实空间位姿信息的获取方法及系统 Download PDFInfo
- Publication number
- CN116596996A CN116596996A CN202310606276.3A CN202310606276A CN116596996A CN 116596996 A CN116596996 A CN 116596996A CN 202310606276 A CN202310606276 A CN 202310606276A CN 116596996 A CN116596996 A CN 116596996A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- fruit
- information
- pose
- apple
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000001502 supplementing effect Effects 0.000 claims description 7
- 238000005728 strengthening Methods 0.000 claims description 4
- 230000003313 weakening effect Effects 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims 1
- 230000003014 reinforcing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000004088 simulation Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 235000012055 fruits and vegetables Nutrition 0.000 abstract description 3
- 238000012271 agricultural production Methods 0.000 abstract description 2
- 238000009877 rendering Methods 0.000 abstract description 2
- 241000220225 Malus Species 0.000 description 42
- 238000010586 diagram Methods 0.000 description 11
- 238000003306 harvesting Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于苹果果实空间位姿信息的获取方法及系统，涉及图像识别技术领域，其技术方案是，构建仿真模拟器，使用改进后苹果模型，进行渲染，模拟仿真获取6D位姿估计数据集；通过精简原网络结构并在其基础上增加点云技术对EfficientPose网络进行改进；训练权重文件；通过双目相机获取苹果果实的二维彩色图像帧并导入改进后EfficientPose网络模型确定苹果果实点云信息及姿势信息；对苹果点云信息进行处理、信息获取及空间位置的还原。通过本发明，可以有效提高果蔬采摘机器人的工作效率和采摘准确性，提高农业生产效益。
Description
技术领域
本发明涉及图像识别技术领域，具体而言，涉及一种用于苹果果实空间位姿信息的获取方法及系统。
背景技术
苹果产量随着全球需求而继续扩大，采收作业劳动力投入占整个生产作业量的50～70％，我国是传统农业大国，果实采收严重依赖人工攀爬采摘，效率低且存在一定的危险性，采摘机器人出现成为解决这一问题的重要手段。
为了保证水果果实新鲜，需要在抓取过程中尽量减少对果实的损伤。获取到目标果实抓取信息至关重要。机器人视觉系统是收获机器人工作中极为重要一环。近些年随着计算机视觉技术的不断发展，深度学习技术在准确性和泛化方面逐渐表现出优异的性能。在6D位姿估计方面，利用深度学习和rbg-only技术直接进行6D姿态回归方法展现出了出色的性能。但基于二维图像识别的方法只是对果实的形心进行单点三维定位，无法准确反映果实在实际作业环境中空间三维信息(大小、形状等)，同时也不利于收获机器人在复杂空间中快速规划准确采摘路径以及避障和实现下一步采摘动作。
随着传感器设备和计算机处理能力的不断提高，点云技术在近年来得到了广泛的应用。但进行大规模点云数据处理需要占用大量资源，导致硬件成本增加且处理速度变慢。
发明内容
为了解决上述问题，本发明目的在于提供一种苹果果实空间位姿信息快速高效获取方法，该技术应用了改进后EfficientPose神经网络作为基础，结合点云技术，完成苹果抓取信息获取。
为了实现上述技术目的，本申请提供了一种用于苹果果实空间位姿信息的获取方法，包括以下步骤：
通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的神经网络模型；
使用双目相机获取二维彩色图像帧，导入到神经网络模型中进行预测，获取苹果果实的姿势信息及单视角点云信息后，还原苹果果实在空间中的相对位置并提取所需信息。
优选地，在获取6D位姿估计数据集的过程中，通过点云偏置采样获取苹果模型，构建苹果果实的6D位姿估计数据集，用于加强果实顶部和底部区域点，集弱化中间区域点集。
优选地，在对EfficientPose网络进行改进的过程中，取消EfficientPose网络的TranslationSubnet，保留BoxSubnet和RotationSubnet，通过6D位姿估计数据集进行训练获取权重后，构建神经网络模型。
优选地，在通过神经网络模型进行预测的过程中，利用Box Subnet进行将网络进行拓补，将双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标；
将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的单视角点云信息。
优选地，在还原相对位置的过程中，通过体素滤波和统计滤波对单视角点云进行预处理，用于减少点云数量，过滤多余点云；
根据预处理后的单视角点云，还原相对位置。
优选地，在还原相对位置的过程中，通过R-G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割获取果实单视角点云；
通过RANSAC球面拟合算法补全单视角点云，获取形心坐标及半径；
将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
本发明公开了一种用于苹果果实空间位姿信息的获取系统，包括：
数据采集模块，用于获取通过双目相机采集的苹果果实的二维彩色图像帧；
位姿解析模块，用于通过神经网络模型，对二维彩色图像帧进行预测，将预测结果还原苹果果实在空间中的相对位置并提取所需信息，其中，通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的神经网络模型；所述6D位姿估计数据集是通过对点云偏置采样苹果模型所获取的。
优选地，位姿解析模块，通过点云偏置采样，获取苹果果实的6D位姿估计数据集，用于加强果实顶部和底部区域点，集弱化中间区域点集。
优选地，位姿解析模块，利用BoxSubnet进行将网络进行拓补，将双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标；
将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的单视角点云信息。
优选地，位姿解析模块，通过体素滤波和统计滤波对单视角点云进行预处理，用于减少点云数量，过滤多余点云；根据预处理后的单视角点云，还原相对位置；
位姿解析模块，还通过R-G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割获取果实单视角点云；通过RANSAC球面拟合算法补全单视角点云，获取形心坐标及半径；将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
本发明公开了以下技术效果：
本发明有效提高果蔬采摘机器人的工作效率和采摘准确性，提高农业生产效益。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述的果实空间信息获取整体结构图；
图2是本发明所述的苹果模型，其中，a表示均匀采样点集苹果模型，b表示偏置采样点集苹果模型；
图3是本发明所述的改进后EfficientPose网络结构图；
图4是本发明所述的结果图，其中，a表示预测框结果图，b表示姿态估计结果图，c表示单视角点云信息图；
图5是本发明所述的获取最终苹果果实的空间三维信息的步骤示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1-5所示，本发明公开了一种用于苹果果实空间位姿信息的获取方法，包括以下步骤：
通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的神经网络模型；
使用双目相机获取二维彩色图像帧，导入到神经网络模型中进行预测，获取苹果果实的姿势信息及单视角点云信息后，还原苹果果实在空间中的相对位置并提取所需信息。
进一步优选地，本发明在获取6D位姿估计数据集的过程中，本发明通过点云偏置采样获取苹果模型，构建苹果果实的6D位姿估计数据集，用于加强果实顶部和底部区域点，集弱化中间区域点集。
进一步优选地，本发明在对EfficientPose网络进行改进的过程中，本发明通过取消EfficientPose网络的TranslationSubnet，保留BoxSubnet和RotationSubnet，通过6D位姿估计数据集进行训练获取权重后，构建神经网络模型。
进一步优选地，本发明在通过神经网络模型进行预测的过程中，本发明利用BoxSubnet进行将网络进行拓补，将双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标；
将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的单视角点云信息。
进一步优选地，本发明在还原相对位置的过程中，本发明通过体素滤波和统计滤波对单视角点云进行预处理，用于减少点云数量，过滤多余点云；
根据预处理后的单视角点云，还原相对位置。
进一步优选地，本发明在还原相对位置的过程中，通过R-G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割获取果实单视角点云；
通过RANSAC球面拟合算法补全单视角点云，获取形心坐标及半径；
将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
本发明公开了一种用于苹果果实空间位姿信息的获取系统，包括：
数据采集模块，用于获取通过双目相机采集的苹果果实的二维彩色图像帧；
位姿解析模块，用于通过神经网络模型，对二维彩色图像帧进行预测，将预测结果还原苹果果实在空间中的相对位置并提取所需信息，其中，通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的神经网络模型；所述6D位姿估计数据集是通过对点云偏置采样苹果模型所获取的。
进一步优选地，本发明提到的位姿解析模块，还用于利用Box Subnet进行将网络进行拓补，将双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标；
本发明将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的单视角点云信息。
进一步优选地，本发明提到的位姿解析模块，还用于通过体素滤波和统计滤波对单视角点云进行预处理，用于减少点云数量，过滤多余点云；根据预处理后的单视角点云，还原相对位置；
本发明提到的位姿解析模块，还通过R-G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割获取果实单视角点云；通过RANSAC球面拟合算法补全单视角点云，获取形心坐标及半径；将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
实施例1：图1为本申请实施例提供的一种苹果果实空间位姿信息快速高效获取方法的流程示意图，本实施例中的一种苹果果实空间位姿信息快速高效获取方法，包括以下过程：
S1，构建仿真模拟器，利用点云偏置采样建立苹果果实模型并进行渲染，通过仿真模拟进行6D位姿估计数据集的采集构建；由于苹果果实关于中轴线对称，为进一步加强苹果果实特征，使用偏置采样点集代替均匀采样点集，加强果实顶部和底部区域点，集弱化中间区域点集，进一步强化特征；由于在计算苹果地面真实姿势标签需要占用大量计算资源，提出了一种新的方法，固定相机位置，通过设置仿射变换矩阵调整苹果果实来获取不同姿态的苹果彩色图像帧及深度信息；且通过果实模型及仿射变换矩阵获取苹果果实蒙版，使得准确性和快速性得到提高。
原网络模型仅能对果实形心进行单点定位，无法准确反映果实在实际作业环境中空间三维信息(大小、形状等)，同时也不利于收获机器人在复杂空间中快速规划准确采摘路径以及避障，而点云数据含有丰富的三维空间信息，因此引入了三维点云技术，取消了TranslationSubnet，只保留了BoxSubnet和RotationSubnet，利用BoxSubnet进行将网络进行拓补，将双目相机所获取的Box Subnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标。最后，将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实单视角点云信息。改进后的网络结构如图3所示。
使用欧拉角来代替原模型中旋转矩阵来获取目标果实最终的姿势信息，降低了存储成本和计算成本，且使预测结果更为直观。
使用双目相机获取二维彩色图像帧，导入到改进后的神经网络中进行预测，获取到果实像素位置(图4a)、姿势信息(图4b)及点云信息(图4c)。
提取点云信息(图4c)对其进行进一步处理，获取最终苹果果实的空间三维信息，具体处理步骤如图5所示：
对单视角点云进行预处理，通过体素滤波和统计滤波来减少点云数量，过滤多余点云。保留点云特征同时减少点云数量，可加快处理速度；
通过R-G颜色分割对点云进行处理；由于光照会影响点云的颜色，容易导致分割失败，所以通过设置R-G阈值差来进行分割并提取，增加分割的鲁棒性；
将分割后的点云进行法线计算，通过设置角度阈值来判断点云是否属于同类，增加分割的准确性，获取到单视角点云；
使用RANSAC球面拟合算法，对单视角点云进行补全，获取到苹果果实的空间位置信息，获取形心坐标及半径；
将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
此处仅描述单个果实处理过程，多个果实同理，我们将最终拟合后的点云进行空间位置还原，可果实真实的大小、形状以及其与周围其他对象之间的相对位置关系，有利于果蔬采摘机器人在复杂空间中快速规划准确的采摘路径及最终抓取姿势的确定。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种用于苹果果实空间位姿信息的获取方法，其特征在于，包括以下步骤：
通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的神经网络模型；
使用双目相机获取二维彩色图像帧，导入到所述神经网络模型中进行预测，获取所述苹果果实的姿势信息及单视角点云信息后，还原所述苹果果实在空间中的相对位置并提取所需信息。
2.根据权利要求1所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：
在获取6D位姿估计数据集的过程中，通过点云偏置采样，获取所述苹果果实的所述6D位姿估计数据集，用于加强果实顶部和底部区域点，集弱化中间区域点集。
3.根据权利要求2所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：
在对EfficientPose网络进行改进的过程中，取消所述EfficientPose网络的TranslationSubnet，保留BoxSubnet和RotationSubnet，通过所述6D位姿估计数据集进行交叉验证训练获取权重后，构建所述神经网络模型。
4.根据权利要求3所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：
在通过神经网络模型进行预测的过程中，利用所述BoxSubnet进行将网络进行拓补，将所述双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标；
将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的所述单视角点云信息。
5.根据权利要求4所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：
在还原相对位置的过程中，通过体素滤波和统计滤波对所述单视角点云进行预处理，用于减少点云数量，过滤多余点云；
根据预处理后的所述单视角点云，还原所述相对位置。
6.根据权利要求5所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：
在还原相对位置的过程中，通过R-G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割获取果实单视角点云；
通过RANSAC球面拟合算法补全单视角点云，获取形心坐标及半径；
将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
7.一种用于苹果果实空间位姿信息的获取系统，其特征在于，包括：
数据采集模块，用于获取通过双目相机采集的苹果果实的二维彩色图像帧；
位姿解析模块，用于通过神经网络模型，对所述二维彩色图像帧进行预测，将预测结果还原所述苹果果实在空间中的相对位置并提取所需信息，其中，通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据所述苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的所述神经网络模型；所述6D位姿估计数据集是通过对点云偏置采样苹果模型所获取的。
8.根据权利要求7所述一种用于苹果果实空间位姿信息的获取系统，其特征在于，
所述位姿解析模块，通过点云偏置采样，获取所述苹果果实的所述6D位姿估计数据集，用于加强果实顶部和底部区域点，集弱化中间区域点集。
9.根据权利要求8所述一种用于苹果果实空间位姿信息的获取系统，其特征在于，
所述位姿解析模块，利用所述BoxSubnet进行将网络进行拓补，将所述双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标；
将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的所述单视角点云信息。
10.根据权利要求9所述一种用于苹果果实空间位姿信息的获取系统，其特征在于，
所述位姿解析模块，通过体素滤波和统计滤波对所述单视角点云进行预处理，用于减少点云数量，过滤多余点云；根据预处理后的所述单视角点云，还原所述相对位置；
所述位姿解析模块，还通过R-G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割获取果实单视角点云；通过RANSAC球面拟合算法补全单视角点云，获取形心坐标及半径；将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310606276.3A CN116596996B (zh) | 2023-05-26 | 2023-05-26 | 一种用于苹果果实空间位姿信息的获取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310606276.3A CN116596996B (zh) | 2023-05-26 | 2023-05-26 | 一种用于苹果果实空间位姿信息的获取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116596996A true CN116596996A (zh) | 2023-08-15 |
| CN116596996B CN116596996B (zh) | 2024-01-30 |
Family
ID=87595381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310606276.3A Active CN116596996B (zh) | 2023-05-26 | 2023-05-26 | 一种用于苹果果实空间位姿信息的获取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596996B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080503A1 (en) * | 2017-09-13 | 2019-03-14 | Tata Consultancy Services Limited | Methods and systems for surface fitting based change detection in 3d point-cloud |
| CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
| CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
| CN111080693A (zh) * | 2019-11-22 | 2020-04-28 | 天津大学 | 一种基于YOLOv3的机器人自主分类抓取方法 |
| CN111445523A (zh) * | 2020-03-25 | 2020-07-24 | 中国农业科学院农业信息研究所 | 果实位姿计算方法、装置、计算机设备及存储介质 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN113128405A (zh) * | 2021-04-20 | 2021-07-16 | 北京航空航天大学 | 一种结合语义分割与点云处理的植物识别与模型构建方法 |
| CN113221647A (zh) * | 2021-04-08 | 2021-08-06 | 湖南大学 | 一种融合点云局部特征的6d位姿估计方法 |
| CN114677674A (zh) * | 2022-04-15 | 2022-06-28 | 河北农业大学 | 一种基于双目点云的苹果快速识别定位方法 |
| CN114912287A (zh) * | 2022-05-26 | 2022-08-16 | 四川大学 | 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 |
| CN115578724A (zh) * | 2022-11-07 | 2023-01-06 | 山东农业大学 | 基于目标识别的苹果采摘方法、系统、设备及存储介质 |
| CN115841668A (zh) * | 2022-10-08 | 2023-03-24 | 天津大学 | 一种双目视觉苹果识别以及精准定位的方法 |
-
2023
- 2023-05-26 CN CN202310606276.3A patent/CN116596996B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080503A1 (en) * | 2017-09-13 | 2019-03-14 | Tata Consultancy Services Limited | Methods and systems for surface fitting based change detection in 3d point-cloud |
| CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
| CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
| CN111080693A (zh) * | 2019-11-22 | 2020-04-28 | 天津大学 | 一种基于YOLOv3的机器人自主分类抓取方法 |
| CN111445523A (zh) * | 2020-03-25 | 2020-07-24 | 中国农业科学院农业信息研究所 | 果实位姿计算方法、装置、计算机设备及存储介质 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN113221647A (zh) * | 2021-04-08 | 2021-08-06 | 湖南大学 | 一种融合点云局部特征的6d位姿估计方法 |
| CN113128405A (zh) * | 2021-04-20 | 2021-07-16 | 北京航空航天大学 | 一种结合语义分割与点云处理的植物识别与模型构建方法 |
| CN114677674A (zh) * | 2022-04-15 | 2022-06-28 | 河北农业大学 | 一种基于双目点云的苹果快速识别定位方法 |
| CN114912287A (zh) * | 2022-05-26 | 2022-08-16 | 四川大学 | 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 |
| CN115841668A (zh) * | 2022-10-08 | 2023-03-24 | 天津大学 | 一种双目视觉苹果识别以及精准定位的方法 |
| CN115578724A (zh) * | 2022-11-07 | 2023-01-06 | 山东农业大学 | 基于目标识别的苹果采摘方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116596996B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179324B (zh) | 基于颜色和深度信息融合的物体六自由度位姿估计方法 | |
| CN110135375B (zh) | 基于全局信息整合的多人姿态估计方法 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
| CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN106780592A (zh) | 基于相机运动和图像明暗的Kinect深度重建算法 | |
| CN113065546B (zh) | 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统 | |
| CN106648103A (zh) | 一种vr头戴设备的手势跟踪方法和vr头戴设备 | |
| CN106815578A (zh) | 一种基于深度运动图‑尺度不变特征变换的手势识别方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN107146219B (zh) | 一种基于流形正则化支持向量机的图像显著性检测方法 | |
| CN112070782A (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
| CN112396655B (zh) | 一种基于点云数据的船舶目标6d位姿估计方法 | |
| CN115375737B (zh) | 基于自适应时间与序列化时空特征的目标跟踪方法与系统 | |
| CN108073855A (zh) | 一种人脸表情的识别方法及系统 | |
| Wang et al. | A research for intelligent cotton picking robot based on machine vision | |
| CN113886510A (zh) | 一种终端交互方法、装置、设备及存储介质 | |
| Lv et al. | Method for discriminating of the shape of overlapped apple fruit images | |
| CN111428555B (zh) | 一种分关节的手部姿态估计方法 | |
| CN116596996B (zh) | 一种用于苹果果实空间位姿信息的获取方法及系统 | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
| CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统 | |
| CN116429082A (zh) | 一种基于st-orb特征提取的视觉slam方法 | |
| CN113222025B (zh) | 一种基于激光雷达的可行区域标签生成方法 | |
| CN113255514B (zh) | 基于局部场景感知图卷积网络的行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |