CN111445523A - 果实位姿计算方法、装置、计算机设备及存储介质 - Google Patents

果实位姿计算方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111445523A
CN111445523A CN202010220613.1A CN202010220613A CN111445523A CN 111445523 A CN111445523 A CN 111445523A CN 202010220613 A CN202010220613 A CN 202010220613A CN 111445523 A CN111445523 A CN 111445523A
Authority
CN
China
Prior art keywords
fruit
rgb
detected
calyx
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010220613.1A
Other languages
English (en)
Inventor
柴秀娟
夏雪
张文蓉
周国民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Original Assignee
Agricultural Information Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS filed Critical Agricultural Information Institute of CAAS
Priority to CN202010220613.1A priority Critical patent/CN111445523A/zh
Publication of CN111445523A publication Critical patent/CN111445523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种果实位姿计算方法、装置、计算机设备及存储介质，涉及位姿计算技术领域，用于提高果实位姿计算的准确度。本发明的主要技术方案为：获取待测果实的RGB‑D图像数据；将所述RGB‑D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB‑D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。

Description

果实位姿计算方法、装置、计算机设备及存储介质
技术领域
本发明涉及位姿计算技术领域，尤其涉及一种果实位姿计算方法、装置、计算机设备及存储介质。
背景技术
水果采摘作业是水果生产过程中的一个重要环节,作业的质量直接影响水果后续的贮存、加工和销售,因此研究水果采摘机器人技术非常必要。在自动采摘过程中，由于果实生长的随机性，使得树上果实的倾斜角度各不相同。农业自动收获过程中，待收获物体的三维位姿估计能为物体抓取和切割提供充分的信息。只有机械手的姿态与果实姿态一致时，采摘任务才能顺利完成，否则，机械手的采摘动作会对苹果和枝干造成较大损伤。因此，果实的空间位姿信息是实现果实精确快速采摘的基础。
目前已有的方法是利用矩方法求目标区域的质心和惯性主轴，用惯性主轴的角度标识苹果的生长方向，或是利用重心点偏移计算果实在机器人坐标系下的姿态向量值，并通过粒子滤波融合来得到果实姿态信息的最优估计。
但果实图像惯性主轴计算值不稳定，并且方法的假设前提难以很好满足,因此上述的方法计算误差比较大，且现有方法都是在二维平面图像的基础上利用传统图像处理的方法来估计果实位姿，缺少果实三维空间信息，因此在果实位姿估计的精度上会受到一定影响，尤其在遮挡情况下，很难准确估测果实的精确位姿。
发明内容
本发明提供一种果实位姿计算方法、装置、计算机设备及存储介质，用于提高果实位姿计算的准确度。
本发明实施例提供一种果实位姿计算方法，所述方法包括：
获取待测果实的RGB-D图像数据；
将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；
计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；
根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。
本发明实施例提供一种果实位姿计算装置，所述装置包括：
获取模块，用于获取待测果实的RGB-D图像数据；
所述获取模块，还用于将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；
计算模块，用于计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；
确定模块，用于根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述果实位姿计算方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述果实位姿计算方法。
本发明提供的一种果实位姿计算方法、装置、计算机设备及存储介质，首先获取待测果实的RGB-D图像数据；然后将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；最后根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。与目前通过传统图像处理的方法来估计果实位姿相比，本发明将获取的待测果实的RGB-D图像数据输入到目标果实模型得到与待检测果实对应的果柄点和/或果萼点的三维坐标，然后基于待检测果实对应的果柄点和/或果萼点的三维坐标确定待测果实的位姿数据，由于RGB-D图像数据包含三维空间信息，因此通过该RGB-D图像数据可以准确地确定出待检测果实的果柄点和/或果萼点的三维坐标，从而通过本发明可以提高果实位姿计算的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中果实位姿计算方法的一应用环境示意图；
图2是本发明一实施例中果实位姿计算方法的一流程图；
图3是本发明一实施例中空间变换参数的计算流程图；
图4是本发明一实施例中目标果实模型的训练流程图；
图5是本发明一实施例中卷积神经网络模型示意图；
图6是本发明一实施例中果实位姿计算装置的一原理框图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的果实位姿计算方法，可应用在如图1的应用环境中，其中，摄像设备通过网络与计算机设备进行通信。计算机设备获取摄像设备拍摄的待测果实的RGB-D图像数据；将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑等。
如图2所示，本发明实施例提供一种果实位姿计算方法，以该方法应用在图1中的计算机设备为例进行说明，包括如下步骤：
S10，获取待测果实的RGB-D图像数据。
在本发明实施例中，通过三维深度传感器(例如RealSense、Kinect相机等)获取待测果实的RGB-D数据，即获取果实的可见光图像和深度图像。具体的，采用RGB-D相机全方位拍摄待测果实的彩色和深度图像信息，并得到待测果实在相机空间中的三维点云信息。其中，RGB-D相机中的传感器可获得彩色图像像素坐标系、深度图像像素坐标系和相机坐标系之间的坐标映射关系。根据三者间的坐标映射关系可得目标在相机空间坐标系中的X、Y、Z坐标信息，同时也能得到其RGB颜色信息，获得具有真实颜色信息的待测果实的三维点云数据。
S20，将RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标。
其中，所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的。在本发明实施例中，对目标果实模型进行训练首先需要获取大量的样本数据，即需要获取大量的角度的样本果实RGB-D图像，然后对这些样本数据进行样本标注，即标注出每个角度样本果实RGB-D图像的果柄点和/或果萼点的三维坐标，然后通过构建深度卷积神经网络模型，将不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标作为输入，训练所述目标果实模型。
需要说明的是，本发明实施例中由于样本数据标注的内容不同，通过训练得到的目标果实模型也不同，即通过目标果实模型得到的结果也不尽相同。例如，若每个角度样本果实RGB-D图像标注出的是果柄点的三维坐标，则根据样本数据训练得到的目标果实模型可以用来识别待测果实的果柄点的三维坐标；若每个角度样本果实RGB-D图像标注出的是果萼点的三维坐标，则根据样本数据训练得到的目标果实模型可以用来识别待测果实的果萼点的三维坐标；若每个角度样本果实RGB-D图像标注出的是果柄点和果萼点的三维坐标，则根据样本数据训练得到的目标果实模型可以用来识别待测果实的果柄点和果萼点的三维坐标。
S30，计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数。
其中，标准果实位姿数据是将果实果柄点向上、果萼点向下，并保持不倾斜且不俯仰的姿态数据。即果柄点和果萼点连接轴的俯仰角(pitch)、侧倾角(roll)和偏航角(yaw)均为0度，具体的标准果实位姿数据可以为(0，0，0，0，0，0)。
如图3所示，在本发明提供的一个实施例中，计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数，包括：
S301，设待测果实的位姿数据为目标点云FR_dst，且作为基准的标准果实位姿数据为源点云FR_src。
其中，所述目标点云FR_dst中包含所述待检测果实对应的果柄点或果萼点的三维坐标；具体的可以通过(x,y,z,α,β,γ)表示目标点云FR_dst，其中，x,y,z代表果柄点或果萼点的三维坐标；α,β,γ为待求解的待测果实的三个旋转角度α、β和γ。
S302，通过求解旋转矩阵R和位移向量t变换得到FR_trans＝R*FR_src+t，使得变换之后的源点云FR_trans与目标点云FR_dst的距离最小。
在本发明实施例中，所述R为所述空间变换参数，确定基准的标准果实位姿数据与待测果实的位姿数据之间的距离最小时的空间变换参数，该空间变换参数包括六个自由度，即果实x、y、z轴的位移(即下文所述的位移向量t)和相对于x、y、z轴的旋转(即下文所述的旋转矩阵R)。那么，将作为标准果实位姿数据经过(x,y,z,α,β,γ)变换之后与基准的标准果实位姿数据拟合，则可以认为待检测果实的位姿为(x,y,z,α,β,γ)。
具体的，设待测果实的位姿数据为目标点云FR_dst，作为标准果实位姿数据为源点云FR_src，那么，拟合可以视为通过求解旋转矩阵R和位移向量t来变换得到FR_trans＝R*FR_src+t，使得变换之后的点云FR_trans与目标点云FR_dst的距离最小，作为一种可能的实施方式，可以通过迭代最近点法(Iterative Closest Point，ICP)来进行上文公式的拟合，进而获得当所述标准果实位姿数据与待测果实的位姿数据之间的距离最小时的空间变换参数。最后，根据上述空间变换参数确定待测果实的位姿数据，即待测果实的三个旋转角度α、β和γ。
S40，将所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定为所述待测果实的位姿数据。
在本发明实施例中，若通过目标果实模型得到待检测果实的果柄点三维坐标，则将该果柄点三维坐标和空间变换参数(α，β，γ)确定为待测果实的位姿数据；若通过目标果实模型得到待检测果实的果萼点三维坐标，则将该果萼点三维坐标和空间变换参数(α，β，γ)确定为待测果实的位姿数据；若通过目标果实模型得到待检测果实的果柄点和果萼点的三维坐标，则综合考虑果柄点和果萼点与标准果实之间的距离最小空间变化参数，即通过待测果实的空间变换，使得待测果实的果柄点和果萼点与标准果实之间都是相对最小距离。
本发明提供的一种果实位姿计算方法、装置、计算机设备及存储介质，首先获取待测果实的RGB-D图像数据；然后将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；最后根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。与目前通过传统图像处理的方法来估计果实位姿相比，本发明将获取的待测果实的RGB-D图像数据输入到目标果实模型得到与待检测果实对应的果柄点和/或果萼点的三维坐标，然后基于待检测果实对应的果柄点和/或果萼点的三维坐标确定待测果实的位姿数据，由于RGB-D图像数据包含三维空间信息，因此通过该RGB-D图像数据可以准确地确定出待检测果实的果柄点和/或果萼点的三维坐标，从而通过本发明可以提高果实位姿计算的准确度。
如图4所示，在本发明提供的一个实施例中，在将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标之前，所述方法还包括：
S201，获取多帧样本果实RGB-D图像。
S202，根据所述多帧样本果实RGB-D图像构建样本果实的三维形态。
需要说明的是，由于相机获取的每一帧样本果实RGB-D图像都只包含了果实的部分信息，因此需要对果实进行三维重建，进而借助果实三维形态进行果实图像的标注工作。为了对果实进行有效的三维重建，需要将多帧样本果实RGB-D图像进行融合。本发明实施例通过截断符号距离函数(truncated signed distance function,TSDF)方法进行果实的点云融合。
其中，所述根据所述多帧样本果实RGB-D图像构建样本果实的三维形态，包括：计算所有帧样本果实RGB-D图像中每个体素的TSDF值及权重；对所有帧样本果实RGB-D图像中每个体素的TSDF值及权重进行融合，得到融合点云帧；通过等值面提取算法对所述融合点云帧进行三角面计算，构建所述样本果实的三维形态。
需要说明的是，在计算所有帧样本果实RGB-D图像中每个体素的TSDF值及权重之前，首先需要预先构造一个立方体来表示够完全包围待重建物体的尺寸的三维空间，然后对该立方体划分网格体素；接着将构造的立方体中的每个体素g，转化g为世界坐标下的三维位置点p。
对于立方体中的一个体素在世界坐标系三维位置点p，TSDF通常用一个连续的隐函数式tsdfi(p)来表示该点沿投影光线到最近表面的距离，并且用函数wi(p)来表示相应的权重，因此点p对应的体素位置处都存储着这两个函数信息。具体计算步骤为：
1)由当前帧(第i帧)图像的深度数据的相机位姿矩阵，求世界坐标系下点p在相机坐标系下的映射点v，并由相机内参矩阵，反投影v点求深度图像中的对应像素点x，像素点x的深度值为Vi(x)，点v到相机坐标原点的距离为Di(v)；
2)计算点p的截断符号距离函数tsdfi(p)的值。首先计算符号距离函数sdfi(p)
sdfi(p)＝Vi(x)-Di(v)
然后计算tsdfi(p)。若sdfi(p)大于0，取
tsdfi(p)＝min(1,sdfi(p)/μ)sgn(sdfi(p))
若sdfi(p)小于0则取
tsdfi(p)＝max(-1,sdfi(p)/μ)sgn(sdfi(p))
3)计算tsdfi(p)对应的权重系数wi(p)：
wi(p)∝cos(θ)/Di(v)
其中，θ为投影光纤与表面法向量的夹角；
4)按照步骤1)～步骤3)，遍历当前帧下所有的体素，计算每个体素的tsdf值和权重；
在本发明实施例中，计算所有帧样本果实RGB-D图像中每个体素的TSDF值及权重之后，需要对所有帧样本果实RGB-D图像中每个体素的TSDF值及权重进行融合。具体的，如果当前帧是第一帧，则第一帧即是融合结果，否则需要当前帧与之前的融合结果在进行融合。按照下式将更新帧并融合进融合帧内
Figure BDA0002425937270000101
Wi(p)＝W(p)+w(p)
其中，TSDF(p)为体素p的融合TSDF值，W(p)为融合权重值，tsdf(p)为体素p当前帧的TSDF值，w(p)为当前帧权重值。
对于本发明实施例，在对所有帧样本果实RGB-D图像中每个体素的TSDF值及权重进行融合，得到融合点云帧；通过等值面提取算法(Marching Cubes)对所述融合点云帧进行三角面计算，构建所述样本果实的三维形态。
S203，绕所述果实的三维形态的X、Y、Z坐标轴旋转获取每个角度的样本果实RGB-D图像。
S204，标注每个角度的样本果实RGB-D图像中果柄点和/或果萼点的三维坐标。
需要说明的是，果柄点和果萼点可用来确定果实的3D位姿，本发明将3D位姿估计问题转化为果柄和果萼两个关键点的估计问题。因此对大量的果实图像中的果柄和果萼两个关键点进行标注，即利用获取的RGB-D数据构建果实三维形态，并绕三维果实的X、Y、Z坐标轴旋转来获取每个角度的果实RGB-D图像，标注每个角度果实图像中果柄和果萼两个关键点的三维坐标。
S205，通过构建深度卷积神经网络模型，将不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标作为输入，训练所述目标果实模型。
在本发明实施例中，通过构建深度卷积神经网络模型，将大量带有果柄点和/或果萼点标签的RGB-D图像作为输入，训练可识别果实果柄点和/或果萼点的目标果实模型。本发明给出用于此目的一种3D卷积神经网络模型作为一个实施实例，结构如图5所示，相关描述如下：
其中，深度卷积神经网络模型由输入层、卷积层、池化层、全连接层和输出层组成。其中，卷积层和池化层的输入与输出是三维的特征体，全连接层设置在输出层之前。
在卷积层，前一层的输出特征图(Feature map)与一个可学习的卷积核进行卷积运算，然后通过激活函数(Activation function)，可以得到输出特征图。为构建3D卷积层，首选确定每一个卷积层的3D卷积核，抽取堆叠的高层次特征。为了生成新的特征空间，在每一个卷积层使用了不同的3D卷积核，然后添加偏置项，使用非线性激活函数。
在3D池化层，输入为上一层卷积层输出的特征图
Figure BDA0002425937270000121
对于最大池化层操作，选取立方体内最大值，并生成抽象输出T'∈RX'*Y'*Z'*K'。其中(X,Y,Z)和(X',Y',Z')分别是最大池化特征抽取前后的尺寸。K为特征空间数目。通过池化层后，特征空间将会减少到X'＝(X-M/S+1)。
在全连接层，每个神经元与邻接层所有的神经元相连。在全连接层之前，首先要将特征空间压平到一个神经元向量，接下来执行向量－矩阵乘法，再加上偏置项以及应用非线性激活函数。
Softmax层为3DCNN的输出层。hl为最后一层的神经元向量，C为目标分类数。通过Softmax回归
Figure BDA0002425937270000122
计算每个分类c的概率，其中
Figure BDA0002425937270000123
是神经元向量的第c个元素。Softmax层的激励函数输出为(0,1)之间的正值，且和为1。
对于给定的N对3D训练样本集合(I(1),y(1)),...,(I(N),y(N))，其中I(j)是输入立方块，y(j)为对应的真实标签，
Figure BDA0002425937270000124
为预测标签，θ为所有参数。权值函数为
Figure BDA0002425937270000125
Figure BDA0002425937270000126
其中indicator为指示函数，
Figure BDA0002425937270000127
为样本I(j)属于类别c的预估概率。通过调整参数使l(θ)最小。模型最后将输出预测的果柄点和果萼点的三维坐标位置
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种果实位姿计算装置，该果实位姿计算装置与上述实施例中果实位姿计算方法一一对应。如图6所示，该果实位姿计算装置包括：获取模块10、计算模块20、确定模块30。各功能模块详细说明如下：
获取模块10，用于获取待测果实的RGB-D图像数据；
所述获取模块10，还用于将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；
计算模块20，用于计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；
确定模块30，用于根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。
进一步的，所述装置还包括：
所述获取模块10，还用于获取多帧样本果实RGB-D图像；
构建模块40，用于根据所述多帧样本果实RGB-D图像构建样本果实的三维形态；
所述获取模块10，还用于绕所述果实的三维形态的X、Y、Z坐标轴旋转获取每个角度的样本果实RGB-D图像；
标注模块50，用于标注每个角度的样本果实RGB-D图像中果柄点和/或果萼点的三维坐标。
进一步的，所述装置还包括：
训练模块60，用于通过构建深度卷积神经网络模型，将不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标作为输入，训练所述目标果实模型。
具体的，所述构建模块40，包括：
计算单元41，用于计算所有帧样本果实RGB-D图像中每个体素的TSDF值及权重；
融合单元42，用于对所有帧样本果实RGB-D图像中每个体素的TSDF值及权重进行融合，得到融合点云帧；
构建单元43，用于通过等值面提取算法对所述融合点云帧进行三角面计算，构建所述样本果实的三维形态。
在本发明实施例中，所述计算模块20，包括：
确定单元21，用于设待测果实的位姿数据为目标点云FR_dst，且作为基准的标准果实位姿数据为源点云FR_src；所述目标点云FR_dst中包含所述待检测果实对应的果柄点或果萼点的三维坐标；
计算单元22，用于通过求解旋转矩阵R和位移向量t变换得到FR_trans＝R*FR_src+t，使得变换之后的源点云FR_trans与目标点云FR_dst的距离最小，所述R为所述空间变换参数。
关于果实位姿计算装置的具体限定可以参见上文中对于果实位姿计算方法的限定，在此不再赘述。上述果实位姿计算装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种果实位姿计算方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取待测果实的RGB-D图像数据；
将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；
计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；
根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待测果实的RGB-D图像数据；
将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；
计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；
根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种果实位姿计算方法，其特征在于，所述方法包括：
获取待测果实的RGB-D图像数据；
将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；
计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；
根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。
2.根据权利要求1所述的果实位姿计算方法，其特征在于，将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标之前，所述方法还包括：
获取多帧样本果实RGB-D图像；
根据所述多帧样本果实RGB-D图像构建样本果实的三维形态；
绕所述果实的三维形态的X、Y、Z坐标轴旋转获取每个角度的样本果实RGB-D图像；
标注每个角度的样本果实RGB-D图像中果柄点和/或果萼点的三维坐标。
3.根据权利要求2所述的果实位姿计算方法，其特征在于，所述方法还包括：
通过构建深度卷积神经网络模型，将不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标作为输入，训练所述目标果实模型。
4.根据权利要求2所述的果实位姿计算方法，其特征在于，所述根据所述多帧样本果实RGB-D图像构建样本果实的三维形态，包括：
计算所有帧样本果实RGB-D图像中每个体素的TSDF值及权重；
对所有帧样本果实RGB-D图像中每个体素的TSDF值及权重进行融合，得到融合点云帧；
通过等值面提取算法对所述融合点云帧进行三角面计算，构建所述样本果实的三维形态。
5.根据权利要求1所述的果实位姿计算方法，其特征在于，计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数，包括：
设待测果实的位姿数据为目标点云FR_dst，且作为基准的标准果实位姿数据为源点云FR_src；所述目标点云FR_dst中包含所述待检测果实对应的果柄点或果萼点的三维坐标；
通过求解旋转矩阵R和位移向量t变换得到FR_trans＝R*FR_src+t，使得变换之后的源点云FR_trans与目标点云FR_dst的距离最小，所述R为所述空间变换参数。
6.一种果实位姿计算装置方法，其特征在于，所述装置包括：
获取模块，用于获取待测果实的RGB-D图像数据；
所述获取模块，还用于将所述RGB-D图像数据输入到目标果实模型得到与所述待检测果实对应的果柄点和/或果萼点的三维坐标；所述目标果实模型是根据不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标训练得到的；
计算模块，用于计算所述待检测果实对应的果柄点和/或果萼点的三维坐标，与标准果实位姿数据之间的距离最小时的空间变换参数；
确定模块，用于根据所述待检测果实对应的果柄点和/或果萼点的三维坐标，以及所述空间变换参数确定所述待测果实的位姿数据。
7.根据权利要求6所述的果实位姿计算装置，其特征在于，所述装置还包括：
所述获取模块，还用于获取多帧样本果实RGB-D图像；
构建模块，用于根据所述多帧样本果实RGB-D图像构建样本果实的三维形态；
所述获取模块，还用于绕所述果实的三维形态的X、Y、Z坐标轴旋转获取每个角度的样本果实RGB-D图像；
标注模块，用于标注每个角度的样本果实RGB-D图像中果柄点和/或果萼点的三维坐标。
8.根据权利要求7所述的果实位姿计算装置，其特征在于，所述装置还包括：
训练模块，用于通过构建深度卷积神经网络模型，将不同角度的样本果实RGB-D图像，以及每个角度标注的果柄点和/或果萼点的三维坐标作为输入，训练所述目标果实模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述果实位姿计算方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述果实位姿计算方法。
CN202010220613.1A 2020-03-25 2020-03-25 果实位姿计算方法、装置、计算机设备及存储介质 Pending CN111445523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010220613.1A CN111445523A (zh) 2020-03-25 2020-03-25 果实位姿计算方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010220613.1A CN111445523A (zh) 2020-03-25 2020-03-25 果实位姿计算方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111445523A true CN111445523A (zh) 2020-07-24

Family

ID=71648975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010220613.1A Pending CN111445523A (zh) 2020-03-25 2020-03-25 果实位姿计算方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111445523A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017226A (zh) * 2020-08-26 2020-12-01 清华大学深圳国际研究生院 面向工业零件6d位姿估计的方法及计算机可读存储介质
CN112085789A (zh) * 2020-08-11 2020-12-15 深圳先进技术研究院 位姿估计方法、装置、设备及介质
CN112115885A (zh) * 2020-09-22 2020-12-22 中国农业科学院农业信息研究所 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法
CN112270251A (zh) * 2020-10-26 2021-01-26 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN115937314A (zh) * 2022-12-23 2023-04-07 南京林业大学 一种油茶果生长姿态检测方法
CN116596996A (zh) * 2023-05-26 2023-08-15 河北农业大学 一种用于苹果果实空间位姿信息的获取方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
关彤: "基于RGB-D图像的人脸姿态检测及三维重建", 中国优秀硕士学位论文全文数据库 *
麦春艳等: "基于ＲGB-D 相机的果树三维重构与果实识别定位", 农业机械学报 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085789A (zh) * 2020-08-11 2020-12-15 深圳先进技术研究院 位姿估计方法、装置、设备及介质
CN112017226A (zh) * 2020-08-26 2020-12-01 清华大学深圳国际研究生院 面向工业零件6d位姿估计的方法及计算机可读存储介质
CN112017226B (zh) * 2020-08-26 2023-10-31 清华大学深圳国际研究生院 面向工业零件6d位姿估计的方法及计算机可读存储介质
CN112115885A (zh) * 2020-09-22 2020-12-22 中国农业科学院农业信息研究所 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法
CN112115885B (zh) * 2020-09-22 2023-08-11 中国农业科学院农业信息研究所 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法
CN112270251A (zh) * 2020-10-26 2021-01-26 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN115937314A (zh) * 2022-12-23 2023-04-07 南京林业大学 一种油茶果生长姿态检测方法
CN115937314B (zh) * 2022-12-23 2023-09-08 南京林业大学 一种油茶果生长姿态检测方法
CN116596996A (zh) * 2023-05-26 2023-08-15 河北农业大学 一种用于苹果果实空间位姿信息的获取方法及系统
CN116596996B (zh) * 2023-05-26 2024-01-30 河北农业大学 一种用于苹果果实空间位姿信息的获取方法及系统

Similar Documents

Publication Publication Date Title
CN111445523A (zh) 果实位姿计算方法、装置、计算机设备及存储介质
CN109870983B (zh) 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
CN108764048B (zh) 人脸关键点检测方法及装置
CN111161349B (zh) 物体姿态估计方法、装置与设备
CN109816725A (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN111156984A (zh) 一种面向动态场景的单目视觉惯性slam方法
CN107705322A (zh) 运动目标识别跟踪方法和系统
CN111862201A (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN108229347A (zh) 用于人识别的拟吉布斯结构采样的深层置换的方法和装置
CN114004883B (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
CN114332415B (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
JP2021163503A (ja) ２次元カメラによる３次元の姿勢推定
CN114757904A (zh) 一种基于ai深度学习算法的表面缺陷检测方法
US20210304411A1 (en) Map construction method, apparatus, storage medium and electronic device
Zhang et al. Digital twin-enabled grasp outcomes assessment for unknown objects using visual-tactile fusion perception
CN116243623B (zh) 应用于数字化机器人产业链的机器人场景仿真方法
CN113454684A (zh) 一种关键点标定方法和装置
CN113160401A (zh) 一种面向物体的视觉slam轻量化语义地图创建方法
CN117029817A (zh) 一种二维栅格地图融合方法及系统
CN115810188A (zh) 基于单张二维图像的树上果实三维位姿识别方法及系统
CN116342621A (zh) 基于空间运动目标三维重构的几何参数辨识方法及系统
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination