CN114359394B - 一种双目视觉的定位方法、装置、电子设备及存储介质 - Google Patents

一种双目视觉的定位方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114359394B
CN114359394B CN202210263190.0A CN202210263190A CN114359394B CN 114359394 B CN114359394 B CN 114359394B CN 202210263190 A CN202210263190 A CN 202210263190A CN 114359394 B CN114359394 B CN 114359394B
Authority
CN
China
Prior art keywords
target
dimensional position
camera image
position information
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210263190.0A
Other languages
English (en)
Other versions
CN114359394A (zh
Inventor
吴宇君
钟泽邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210263190.0A priority Critical patent/CN114359394B/zh
Publication of CN114359394A publication Critical patent/CN114359394A/zh
Application granted granted Critical
Publication of CN114359394B publication Critical patent/CN114359394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及视觉定位技术领域，特别涉及一种双目视觉的定位方法、装置、电子设备及存储介质，通过获取双目相机在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；基于各左相机图像分别生成抓取目标的检测框；在各右相机图像中生成抓取目标的匹配框；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据；根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据；可高效地对部分被遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。

Description

一种双目视觉的定位方法、装置、电子设备及存储介质
技术领域
本申请涉及视觉定位技术领域，具体而言，涉及一种双目视觉的定位方法、装置、电子设备及存储介质。
背景技术
机器人的应用越来越广泛，在果园中采用机器人采摘果实有利于节省人工成本以及提高采摘效率，机器人采摘果实时，快速且精确的定位可以有效提高采摘效率，目前已经有很多对果实的定位技术，但是在果园实际应用场景中，会存在部分地被叶子挡住的果实，使得机器人对果实定位误差较大甚至定位失败，现有技术利用sift算法获取目标的定位方法，但是其计算量比较大，影响目标定位的效率，从而影响采摘的效率。
因此，现有技术有待改进和发展。
发明内容
本申请的目的在于提供一种双目视觉的定位方法、装置、电子设备及存储介质，基于双目相机多个位置拍照获取目标定位，从而提高机器人对抓取目标进行定位的有效性。
第一方面，本申请提供了一种双目视觉的定位方法，用于机器人对抓取目标进行定位，所述机器人包括机械臂以及设置在机械臂末端的双目相机和末端执行器，所述双目相机包括左相机和右相机；包括步骤：
A1.获取所述双目相机在同一水平线上的至少五个不同采集位置处采集的所述抓取目标的图像；所述图像包括左相机图像和右相机图像；
A2.基于各所述左相机图像分别生成所述抓取目标的检测框；
A3.在各所述右相机图像中生成所述抓取目标的匹配框，使所述匹配框内部区域与对应的所述左相机图像的所述检测框内部区域的相似性最大；
A4.根据所述检测框和所述匹配框获取对应各所述采集位置的所述抓取目标在末端执行器坐标系下的第一三维位置信息；
A5.获取所述双目相机在各所述采集位置时的所述末端执行器在机械臂坐标系下的第一位姿数据；
A6.根据所述第一三维位置信息和所述第一位姿数据，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。
该双目视觉的定位方法，通过双目相机在同一水平线上的至少五个不同采集位置采集抓取目标的图像，有利于提高被部分叶子挡住的果实进行定位的准确性，减少定位误差，与只在一个位置上采集抓取目标的图像以完成左右相机匹配定位的方法相比，定位准确性更高；通过左相机图像和右相机图像分别获取抓取目标的检测框和匹配框，并使匹配框内部区域与检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机在各采集位置时的末端执行器的第一位姿数据，根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据；从而，该双目视觉的定位方法可高效地对被部分遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。
优选地，步骤A2包括：
基于各所述左相机图像，分别采用YOLO算法检测所述抓取目标；
根据检测到的所述抓取目标生成所述检测框。
通过YOLO算法检测抓取目标，可以快速检测到包含抓取目标的检测框，提升获取检测框的效率。
优选地，步骤A3包括：
在各所述右相机图像中，以与对应的所述左相机图像的检测框尺寸相同的窗口，采用滑窗方法获取所述抓取目标的多个候选框；
根据以下公式计算各所述候选框内部区域与对应的所述左相机图像的检测框内部区域的相似性：
Figure 43203DEST_PATH_IMAGE001
；
式中，
Figure 383923DEST_PATH_IMAGE002
是右相机图像的候选框内部区域与对应的左相机图像的检测框内部区域的相似性，
Figure 1243DEST_PATH_IMAGE003
是左相机图像的检测框内部区域的像素值均值，
Figure 889564DEST_PATH_IMAGE004
是右相机图像的候选框内部区域的像素值均值，
Figure 21337DEST_PATH_IMAGE005
是左相机图像的检测框内部区域的像素值方差，
Figure 249187DEST_PATH_IMAGE006
是右相机图像的候选框内部区域的像素值方差，
Figure 150323DEST_PATH_IMAGE007
是左相机图像的检测框内部区域的像素点的像素值和右相机图像的候选框内部区域的像素点的像素值的协方差，
Figure 604569DEST_PATH_IMAGE008
、
Figure 992563DEST_PATH_IMAGE009
是预设常数；
以其内部区域与所述左相机图像的检测框内部区域的相似性最大的所述候选框作为对应的所述右相机图像的所述匹配框。
通过计算各候选框内部区域与对应的左相机图像的检测框内部区域的相似性，获取其内部区域与左相机图像的检测框内部区域的相似性最大的候选框作为对应的右相机图像的匹配框，从而提高抓取目标定位的准确性。
优选地，步骤A4包括：
根据所述检测框和所述匹配框，采用以下计算公式获取对应各所述采集位置的所述抓取目标在左相机坐标系下的第二三维位置信息：
Figure 74920DEST_PATH_IMAGE010
；
Figure 391631DEST_PATH_IMAGE011
；
Figure 490431DEST_PATH_IMAGE012
；
Figure 386843DEST_PATH_IMAGE013
是抓取目标在左相机坐标系下的第二三维位置信息，
Figure 651602DEST_PATH_IMAGE014
是左相机图像的检测框中心的像素行坐标，
Figure 139215DEST_PATH_IMAGE015
是右相机图像的匹配框中心的像素行坐标，
Figure 987960DEST_PATH_IMAGE016
是左相机图像的检测框中心的像素列坐标，
Figure 219221DEST_PATH_IMAGE017
是左相机光心坐标；
Figure 72908DEST_PATH_IMAGE018
是左相机的焦距，
Figure 200264DEST_PATH_IMAGE019
是左相机光心到右相机光心的距离；
根据所述第二三维位置信息和所述左相机坐标系到所述末端执行器坐标系的坐标转换矩阵获取所述抓取目标在末端执行器坐标系下的第一三维位置信息。
优选地，步骤A6包括：
根据所述第一三维位置信息，获取所述抓取目标在机械臂坐标系下的初始三维位置信息；
根据各所述第一三维位置信息、所述第一位姿数据和所述初始三维位置信息，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。
优选地，所述根据所述第一三维位置信息，获取所述抓取目标在机械臂坐标系下的初始三维位置信息的步骤包括：
以所述相似性最大的所述采集位置对应的所述第一三维位置信息为所述抓取目标的最可靠三维位置信息；
根据所述最可靠三维位置信息和所述第一位姿数据获取所述抓取目标在机械臂坐标系下的初始三维位置信息。
优选地，所述根据各所述第一三维位置信息、所述第一位姿数据和所述初始三维位置信息，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据的步骤包括：
以各所述采集位置处的所述末端执行器的位姿为优化变量，并将各所述第一位姿数据作为对应的所述位姿的先验约束边；把所述抓取目标在机械臂坐标系下的三维位置加入为优化变量，并以所述初始三维位置信息为所述三维位置的初始值；分别以各所述第一三维位置信息为所述抓取目标在机械臂坐标系下的三维位置与各所述采集位置处的所述末端执行器的位姿之间的观测约束边，根据所述相似性的大小，对各个所述观测约束边设置协方差数值，执行因子图优化处理，迭代优化最终得到所述抓取目标相对于所述机械臂的位置数据。
通过因子图优化方法，可以充分利用至少五个不同采集位置处获得的观测信息，从而提高机器人对抓取目标进行定位的准确性，并且基于双目相机的匹配过程，其计算简单且容易获取。
第二方面，本申请提供了一种双目视觉的定位装置，用于机器人对抓取目标进行定位，所述机器人包括机械臂以及设置在机械臂末端的双目相机和末端执行器，所述双目相机包括左相机和右相机；包括：
第一获取模块，用于获取所述双目相机在同一水平线上的至少五个不同采集位置处采集的所述抓取目标的图像；所述图像包括左相机图像和右相机图像；
第一生成模块，用于基于各所述左相机图像分别生成所述抓取目标的检测框；
第二生成模块，用于在各所述右相机图像中生成所述抓取目标的匹配框，使所述匹配框内部区域与对应的所述左相机图像的所述检测框内部区域的相似性最大；
第一计算模块，用于根据所述检测框和所述匹配框获取对应各所述采集位置的所述抓取目标在末端执行器坐标系下的第一三维位置信息；
第二获取模块，用于获取所述双目相机在各所述采集位置时的所述末端执行器在机械臂坐标系下的第一位姿数据；
处理模块，用于根据所述第一三维位置信息和所述第一位姿数据，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。
该双目视觉的定位装置，通过双目相机在同一水平线上的至少五个不同采集位置采集抓取目标的图像，有利于提高被部分叶子挡住的果实进行定位的准确性，减少定位误差；通过左相机图像和右相机图像分别获取抓取目标的检测框和匹配框，并使匹配框内部区域与检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据，根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据；从而，该双目视觉的定位装置可高效地对被部分遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述双目视觉的定位方法中的步骤。
第四方面，本申请提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述双目视觉的定位方法中的步骤。
有益效果：
本申请提供的双目视觉的定位方法、装置、电子设备及存储介质，通过获取双目相机在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；所述图像包括左相机图像和右相机图像；基于各左相机图像分别生成抓取目标的检测框；在各右相机图像中生成抓取目标的匹配框，使匹配框内部区域与对应的左相机图像的检测框内部区域的相似性最大;根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息;获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据;根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据;可高效地对被部分遮挡的抓取目标进行有效的定位，从而提高抓取目标定位的准确性。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。
附图说明
图1为本申请实施例提供的双目视觉的定位方法的流程图。
图2为本申请实施例提供的双目视觉的定位装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为因子图的示意图。
图5为双目相机采集图像的过程的示意图。
标号说明:1、第一获取模块；2、第一生成模块；3、第二生成模块；4、第一计算模块；5、第二获取模块；6、处理模块；7、双目相机；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种双目视觉的定位方法，基于双目相机多个位置拍照获取抓取目标的定位，可高效地对被部分遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。
第一方面，本申请提供了一种双目视觉的定位方法，用于机器人对抓取目标进行定位，机器人包括机械臂以及设置在机械臂末端的双目相机和末端执行器，双目相机包括左相机和右相机；包括步骤：
A1.获取双目相机在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；图像包括左相机图像和右相机图像；
A2.基于各左相机图像分别生成抓取目标的检测框；
A3.在各右相机图像中生成抓取目标的匹配框，使匹配框内部区域与对应的左相机图像的检测框内部区域的相似性最大；
A4.根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；
A5.获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据；
A6.根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据。
在一些实施方式中，该机器人包括移动底座（如AGV）、机械臂（如六轴机械臂）、机械臂的末端设置有双目相机7（由左眼和右眼两个水平放置的相机组成，即以下统称为左相机和右相机）和末端执行器（如夹爪）和控制系统，该控制系统可集成在机器人上，也可设置在远端并与机器人本体无线通信连接。该双目视觉的定位方法具体应用于该控制系统中。
在本实施例中，抓取目标是指果树上的果实，该双目视觉的定位方法可实现对被部分叶子遮挡的果实的准确定位。但实际上，该双目视觉的定位方法不限于对果树上的果实进行定位。
为了清楚方便地描述，以抓取目标是指果树上的果实为例进行说明；
该双目视觉的定位方法，通过双目相机7在同一水平线上的至少五个不同采集位置采集抓取目标的图像（该过程中，保持左右相机在同一水平线上；现有技术中，大部分都是通过双目相机7一次拍照采集到的图像进行定位，但是遇到被部分叶子遮挡的果实，其推算目标的深度信息误差较大甚至推算失败），其中采集至少五个不同的采集位置，也可以是十个不同的采集位置，具体不限于此，从而，有利于提高部分地被叶子挡住的果实进行定位的准确性（如图5中所示，通过双目相机7在同一水平线上的至少五个不同采集位置进行采集图像），减少定位误差，与只在一个位置上采集抓取目标的图像以完成左右相机匹配定位的方法相比，定位准确性更高；通过左相机图像和右相机图像分别获取抓取目标的检测框和匹配框，并使匹配框内部区域与检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机7在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据，根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据（即机械臂基坐标系下的位置数据）；从而，该双目视觉的定位方法可高效地对被部分遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。
在一些实施方式中，步骤A2包括：
基于各左相机图像，分别采用YOLO算法检测抓取目标；
根据检测到的抓取目标生成检测框。
通过YOLO算法检测抓取目标（此为现有技术，此处不对其具体检测过程进行详述），可以快速检测到包含抓取目标的检测框，提升获取检测框的效率。其中，检测框是把检测到的抓取目标包围在内的预设形状（例如矩形、圆形等）的线框。
具体地，步骤A3包括：
在各右相机图像中，以与对应的左相机图像的检测框尺寸相同的窗口，采用滑窗方法获取抓取目标的多个候选框；
根据以下公式计算各候选框内部区域与对应的左相机图像的检测框内部区域的相似性：
Figure 539235DEST_PATH_IMAGE020
；
式中，
Figure 777449DEST_PATH_IMAGE021
是右相机图像的候选框内部区域与对应左相机图像的检测框内部区域的相似性，
Figure 751221DEST_PATH_IMAGE022
是左相机图像的检测框内部区域的像素值均值（即检测框内部区域各像素点的像素值的平均值），
Figure 642954DEST_PATH_IMAGE023
是右相机图像的候选框内部区域的像素值均值（即候选框内部区域各像素点的像素值的平均值），
Figure 967756DEST_PATH_IMAGE024
是左相机图像的检测框内部区域的像素值方差（即检测框内部区域各像素点的像素值的方差），
Figure 773776DEST_PATH_IMAGE025
是右相机图像的候选框内部区域的像素值方差（即候选框内部区域各像素点的像素值的方差），
Figure 336475DEST_PATH_IMAGE026
是左相机图像的检测框内部区域的像素点的像素值和右相机图像的候选框内部区域的像素点的像素值的协方差，
Figure 71213DEST_PATH_IMAGE027
、
Figure 211207DEST_PATH_IMAGE009
是预设常数（根据实际需要预设）；
以其内部区域与左相机图像的检测框内部区域的相似性最大的候选框作为对应的右相机图像的匹配框。
在实际应用中，由于左相机和右相机所采集到的图像不同，在得到左相机图像的检测框尺寸的大小后，以相同尺寸的窗口，在右相机图像选取相同尺寸窗口的候选框，采用滑窗方法（此处为现有技术，此处不对其过程进行详述）获得多个候选框，通过计算各候选框内部区域与对应的左相机图像的检测框内部区域的相似性，获取其内部区域与左相机图像的检测框内部区域的相似性最大的候选框作为对应的右相机图像的匹配框；当两张图像一模一样时，
Figure 322383DEST_PATH_IMAGE021
的值等于1，即
Figure 506633DEST_PATH_IMAGE021
数值越大，其相似性越高；从而，提高抓取目标定位的可靠性。
在实际应用中，通过双目相机7在同一水平上移动到至少五个不同采集位置采集抓取目标的图像（包括左相机的图像和右相机的图像）时，由于保持左右相机始终在同一水平线上且左右相机的焦距是保持相等的，保证了左相机采集的图像中抓取目标所在区域的像素行坐标和右相机采集的图像中抓取目标所在区域的像素行坐标相同；从而，在进行滑窗时，可使候选框的参考点（如中心点）的像素行坐标与检测框的参考点（该参考点与候选框的参考点相同，例如均为中心点）像素行坐标相同，进而只在同一行向上进行滑窗即可（例如从左到右进行滑窗），无需在多个行向上进行滑窗（即，沿行向完成滑窗后，无需把窗口在列向上改变位置后再次沿行向进行滑窗），因此，可降低计算量，提高处理效率。
实际上，也可先在各右相机图像中生成抓取目标的检测框（具体方法参考前文），再在左相机图像中生成抓取目标的匹配框（具体方法参考前文）。
在本实施例中，步骤A4包括：
根据检测框和匹配框，采用以下计算公式获取对应各采集位置的抓取目标在左相机坐标系下的第二三维位置信息：
Figure 146693DEST_PATH_IMAGE028
；
Figure 914929DEST_PATH_IMAGE029
；
Figure 423270DEST_PATH_IMAGE030
；
Figure 226141DEST_PATH_IMAGE031
是抓取目标在左相机坐标系下的第二三维位置信息，
Figure 535638DEST_PATH_IMAGE032
是左相机图像的检测框中心的像素行坐标，
Figure 56749DEST_PATH_IMAGE033
是右相机图像的匹配框中心的像素行坐标，
Figure 244148DEST_PATH_IMAGE034
是左相机图像的检测框中心的像素列坐标，
Figure 901525DEST_PATH_IMAGE035
是左相机光心坐标（即左相机光心在左相机图像中的像素坐标）；
Figure 662151DEST_PATH_IMAGE036
是左相机的焦距，
Figure 404979DEST_PATH_IMAGE037
是左相机光心到右相机光心的距离（可预先测得）；
根据第二三维位置信息和左相机坐标系到末端执行器坐标系的坐标转换矩阵获取抓取目标在末端执行器坐标系下的第一三维位置信息。
在实际应用中，在获得左相机的检测框和右相机的匹配框的基础上，可以近似认为抓取目标的中心与检测框中心和匹配框中心重合，利用检测框和匹配框的中心像素的视差计算出相应的深度值作为抓取目标的深度信息，并利用左相机检测框的中心像素坐标结合深度信息，计算出抓取目标在左相机坐标系下的第二三维位置信息（此处，是以左相机坐标系作为基准，实际上也可以右相机坐标系作为基准进行计算），从而，通过左相机坐标系到末端执行器坐标系的坐标转换矩阵获取抓取目标在末端执行器坐标系下的第一三维位置信息。
在一些实施方式中，可以通过机器人直接获取双目相机7在各个采集位置时的末端执行器在机械臂坐标系下的第一位姿数据（如图4中
Figure 989544DEST_PATH_IMAGE038
）。
在本实施例中，步骤A6包括：
根据第一三维位置信息，获取抓取目标在机械臂坐标系下的初始三维位置信息；
根据各第一三维位置信息、第一位姿数据和初始三维位置信息，采用因子图优化方法获取抓取目标相对于机械臂的位置数据。
在实际应用中，根据抓取目标在末端执行器坐标系下的第一三维位置信息，获取其中最可靠的初始三维位置信息，提高抓取目标在因子图优化时的可靠性，采用因子图优化方法相较于传统的sift算法对抓取目标定位的计算量少，且对于被部分遮挡的抓取目标定位的有效性更高。
进一步地，根据第一三维位置信息，获取抓取目标在机械臂坐标系下的初始三维位置信息的步骤包括：
以相似性最大的采集位置对应的第一三维位置信息为抓取目标的最可靠三维位置信息；
根据最可靠三维位置信息和第一位姿数据获取抓取目标在机械臂坐标系下的初始三维位置信息。
进一步地，根据各第一三维位置信息、第一位姿数据和初始三维位置信息，采用因子图优化方法获取抓取目标相对于机械臂的位置数据的步骤包括：
以各采集位置处的末端执行器的位姿为优化变量，并将各第一位姿数据作为对应的位姿的先验约束边；把抓取目标在机械臂坐标系下的三维位置加入为优化变量，并以初始三维位置信息为三维位置的初始值；分别以各第一三维位置信息为三维位置与各位姿之间的观测约束边，根据相似性的大小，对各个观测约束边设置协方差数值，也就是当相似性越大，协方差数值就越小，代表该观测约束边的权重越高，再执行因子图优化处理，迭代优化最终得到抓取目标相对于机械臂的位置数据。
请参考图4，以各采集位置处的末端执行器在机械臂坐标系下的位姿（
Figure 767007DEST_PATH_IMAGE039
）为优化变量，并将各第一位姿数据(
Figure 185350DEST_PATH_IMAGE040
)作为对应的位姿的先验约束边；把抓取目标在机械臂坐标系下的三维位置L1加入为优化变量，并以初始三维位置信息为三维位置L1的初始值；分别以各第一三维位置信息(
Figure 648430DEST_PATH_IMAGE041
)为抓取目标在机械臂坐标系下的三维位置L1与各采集位置处的末端执行器的位姿（
Figure 177631DEST_PATH_IMAGE042
）之间的观测约束边，根据相似性的大小，对各个观测约束边设置协方差数值，执行因子图优化处理，迭代优化最终得到抓取目标相对于机械臂的位置数据，从而提高机器人对抓取目标进行定位的准确性，并且基于双目相机7的匹配过程，其计算简单且容易获取。
由上可知，该双目视觉的定位方法，通过获取双目相机7在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；图像包括左相机图像和右相机图像；基于各左相机图像分别生成抓取目标的检测框；在各右相机图像中生成抓取目标的匹配框，使匹配框内部区域与对应的左相机图像的检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机7在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据；根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据；从而，可高效地对被部分遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。
请参考图2，本申请提供了一种双目视觉的定位装置，用于机器人对抓取目标进行定位，机器人包括机械臂以及设置在机械臂末端的双目相机和末端执行器，双目相机包括左相机和右相机；包括：
第一获取模块1，用于获取双目相机在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；图像包括左相机图像和右相机图像；
第一生成模块2，用于基于各左相机图像分别生成抓取目标的检测框；
第二生成模块3，用于在各右相机图像中生成抓取目标的匹配框，使匹配框内部区域与对应的左相机图像的检测框内部区域的相似性最大；
第一计算模块4，用于根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；
第二获取模块5，用于获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据；
处理模块6，用于根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据。
在一些实施方式中，该机器人包括移动底座（如AGV）、机械臂（如六轴机械臂）、机械臂的末端设置有双目相机7（由左眼和右眼两个水平放置的相机组成，即以下统称为左相机和右相机）和末端执行器（如夹爪）和控制系统，该控制系统可集成在机器人上，也可设置在远端并与机器人本体无线通信连接。该双目视觉的定位装置具体应用于该控制系统中。
在本实施例中，抓取目标是指果树上的果实，该双目视觉的定位装置可实现对被部分叶子遮挡的果实的准确定位。但实际上，该双目视觉的定位装置不限于对果树上的果实进行定位。
为了清楚方便地描述，以抓取目标是指果树上的果实为例进行说明；
该双目视觉的定位装置，第一获取模块1用于获取双目相机7在同一水平线上的至少五个不同采集位置采集的抓取目标的图像（该过程中，保持左右相机在同一水平线上；现有技术中，大部分都是通过双目相机7一次拍照采集到的图像进行定位，但是遇到被部分叶子遮挡的果实，其推算目标的深度信息误差较大甚至推算失败），其中采集至少五个不同的采集位置，也可以是十个不同的采集位置，具体不限于此，有利于提高部分地被叶子挡住的果实进行定位的准确性（如图5中所示，通过双目相机7在同一水平线上的至少五个不同采集位置进行采集图像），减少定位误差，与只在一个位置上采集抓取目标的图像以完成左右相机匹配定位的方法相比，定位准确性更高；通过左相机图像和右相机图像分别获取抓取目标的检测框和匹配框，并使匹配框内部区域与检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机7在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据，根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据（即机械臂基坐标系下的位置数据）；从而，该双目视觉的定位装置可高效地对被部分遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。
在一些实施方式中，第一生成模块2在基于各左相机图像分别生成抓取目标的检测框的时候，具体执行：
基于各左相机图像，分别采用YOLO算法检测抓取目标；
根据检测到的抓取目标生成检测框。
通过YOLO算法检测抓取目标（此为现有技术，此处不对其具体检测过程进行详述），可以快速检测到包含抓取目标的检测框，提升获取检测框的效率。其中，检测框是把检测到的抓取目标包围在内的预设形状（例如矩形、圆形等）的线框。
具体地，第二生成模块3在各右相机图像中生成抓取目标的匹配框，使匹配框内部区域与对应的左相机图像的检测框内部区域的相似性最大的时候，具体执行：
在各右相机图像中，以与对应的左相机图像的检测框尺寸相同的窗口，采用滑窗方法获取抓取目标的多个候选框；
根据以下公式计算各候选框内部区域与对应的左相机图像的检测框内部区域的相似性：
Figure 668656DEST_PATH_IMAGE043
；
式中，
Figure 992321DEST_PATH_IMAGE044
是右相机图像的候选框内部区域与对应左相机图像的检测框内部区域的相似性，
Figure 975320DEST_PATH_IMAGE045
是左相机图像的检测框内部区域的像素值均值（即检测框内部区域各像素点的像素值的平均值），
Figure 544098DEST_PATH_IMAGE046
是右相机图像的候选框内部区域的像素值均值（即候选框内部区域各像素点的像素值的平均值），
Figure 30574DEST_PATH_IMAGE047
是左相机图像的检测框内部区域的像素值方差（即检测框内部区域各像素点的像素值的方差），
Figure 649774DEST_PATH_IMAGE048
是右相机图像的候选框内部区域的像素值方差（即匹配框内部区域各像素点的像素值的方差），
Figure 854491DEST_PATH_IMAGE049
是左相机图像的检测框内部区域的像素点的像素值和右相机图像的候选框内部区域的像素点的像素值的协方差，
Figure 459916DEST_PATH_IMAGE027
、
Figure 299433DEST_PATH_IMAGE009
是预设常数（根据实际需要预设）；
以其内部区域与左相机图像的检测框内部区域的相似性最大的候选框作为对应的右相机图像的匹配框。
在实际应用中，由于左相机和右相机所采集到的图像不同，在得到左相机图像的检测框尺寸的大小后，以相同尺寸的窗口，在右相机图像选取相同尺寸窗口的候选框，采用滑窗方法（此处为现有技术，此处不对其过程进行详述）获得多个候选框，通过计算各候选框内部区域与对应的左相机图像的检测框内部区域的相似性，获取其内部区域与左相机图像的检测框内部区域的相似性最大的候选框作为对应的右相机图像的匹配框；当两张图像一模一样时，
Figure 89535DEST_PATH_IMAGE050
的值等于1，即
Figure 781547DEST_PATH_IMAGE050
数值越大，其相似性越高；从而，提高抓取目标定位的可靠性。
在实际应用中，通过双目相机7在同一水平上移动到至少五个不同采集位置采集抓取目标的图像（包括左相机的图像和右相机的图像）时，由于保持左右相机始终在同一水平线上且左右相机的焦距是保持相等的，保证了左相机采集的图像中抓取目标所在区域的像素行坐标和右相机采集的图像中抓取目标所在区域的像素行坐标相同；从而，在进行滑窗时，可使候选框的参考点（如中心点）的像素行坐标与检测框的参考点（该参考点与候选框的参考点相同，例如均为中心点）像素行坐标相同，进而只在同一行向上进行滑窗即可（例如从左到右进行滑窗），无需在多个行向上进行滑窗（即，沿行向完成滑窗后，无需把窗口在列向上改变位置后再次沿行向进行滑窗），因此，可降低计算量，提高处理效率。
实际上，也可先在各右相机图像中生成抓取目标的检测框（具体方法参考前文），再在左相机图像中生成抓取目标的匹配框（具体方法参考前文）。
在本实施例中，第一计算模块4在根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息的时候，具体执行：
根据检测框和匹配框，采用以下计算公式获取对应各采集位置的抓取目标在左相机坐标系下的第二三维位置信息：
Figure 190663DEST_PATH_IMAGE051
；
Figure 386152DEST_PATH_IMAGE029
；
Figure 989565DEST_PATH_IMAGE030
；
Figure 762349DEST_PATH_IMAGE052
是抓取目标在左相机坐标系下的第二三维位置信息，
Figure 975156DEST_PATH_IMAGE053
是左相机图像的检测框中心的像素行坐标，
Figure 556310DEST_PATH_IMAGE054
是右相机图像的匹配框中心的像素行坐标，
Figure 563580DEST_PATH_IMAGE055
是左相机图像的检测框中心的像素列坐标，
Figure 728720DEST_PATH_IMAGE056
是左相机光心坐标（即左相机光心在左相机图像中的像素坐标）；
Figure 479638DEST_PATH_IMAGE057
是左相机的焦距，
Figure 508774DEST_PATH_IMAGE058
是左相机光心到右相机光心的距离（可预先测得）；
根据第二三维位置信息和左相机坐标系到末端执行器坐标系的坐标转换矩阵获取抓取目标在末端执行器坐标系下的第一三维位置信息。
在实际应用中，在获得左相机的检测框和右相机的匹配框的基础上，可以近似认为抓取目标的中心与检测框中心和匹配框中心重合，利用检测框和匹配框的中心像素的视差计算出相应的深度值作为抓取目标的深度信息，并利用左相机检测框的中心像素坐标结合深度信息，计算出抓取目标在左相机坐标系下的第二三维位置信息（此处，是以左相机坐标系作为基准，实际上也可以右相机坐标系作为基准进行计算），从而，通过左相机坐标系到末端执行器坐标系的坐标转换矩阵获取抓取目标在末端执行器坐标系下的第一三维位置信息。
在一些实施方式中，第二获取模块5用于通过机器人直接获取双目相机7在各个采集位置时的末端执行器在机械臂坐标系下的第一位姿数据（如图4中
Figure 686946DEST_PATH_IMAGE059
）。
在本实施例中，处理模块6用于根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据的时候，具体执行：
根据第一三维位置信息，获取抓取目标在机械臂坐标系下的初始三维位置信息；
根据各第一三维位置信息、第一位姿数据和初始三维位置信息，采用因子图优化方法获取抓取目标相对于机械臂的位置数据。
在实际应用中，根据抓取目标在末端执行器坐标系下的第一三维位置信息，获取其中最可靠的初始三维位置信息，提高抓取目标在因子图优化时的可靠性，采用因子图优化方法相较于传统的sift算法对抓取目标定位的计算量少，且对于被部分遮挡的抓取目标定位的有效性更高。
进一步地，处理模块6在根据第一三维位置信息，获取抓取目标在机械臂坐标系下的初始三维位置信息的时候，具体执行：
以相似性最大的采集位置对应的第一三维位置信息为抓取目标的最可靠三维位置信息；
根据最可靠三维位置信息和第一位姿数据获取抓取目标在机械臂坐标系下的初始三维位置信息。
进一步地，处理模块6在根据各第一三维位置信息、第一位姿数据和初始三维位置信息，采用因子图优化方法获取抓取目标相对于机械臂的位置数据的时候，具体执行：
以各采集位置处的末端执行器的位姿为优化变量，并将各第一位姿数据作为对应的位姿的先验约束边；把抓取目标在机械臂坐标系下的三维位置加入为优化变量，并以初始三维位置信息为三维位置的初始值；分别以各第一三维位置信息为三维位置与各位姿之间的观测约束边，根据相似性的大小，对各个观测约束边设置协方差数值，也就是当相似性越大，协方差数值就越小，代表该观测约束边的权重越高，再执行因子图优化处理，迭代优化最终得到抓取目标相对于机械臂的位置数据。
请参考图4，以各采集位置处的末端执行器的位姿（
Figure 840847DEST_PATH_IMAGE060
）为优化变量，并将各第一位姿数据(
Figure 254510DEST_PATH_IMAGE061
)作为对应的位姿的先验约束边；把抓取目标在机械臂坐标系下的三维位置L1加入为优化变量，并以初始三维位置信息为三维位置L1的初始值；分别以各第一三维位置信息(
Figure 46142DEST_PATH_IMAGE062
)为抓取目标在机械臂坐标系下的三维位置L1与各采集位置处的末端执行器的位姿（
Figure 660794DEST_PATH_IMAGE063
）之间的观测约束边，根据相似性的大小，对各个观测约束边设置协方差数值，执行因子图优化处理，迭代优化最终得到抓取目标相对于机械臂的位置数据，从而提高机器人对抓取目标进行定位的准确性，并且基于双目相机7的匹配过程，其计算简单且容易获取。
由上可知，该双目视觉的定位装置，通过获取双目相机在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；图像包括左相机图像和右相机图像；基于各左相机图像分别生成抓取目标的检测框；在各右相机图像中生成抓取目标的匹配框，使匹配框内部区域与对应的左相机图像的检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据；根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据；从而，可高效地对被部分遮挡的抓取目标进行有效的定位，提高抓取目标定位的准确性。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的双目视觉的定位方法，以实现以下功能：获取双目相机在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；图像包括左相机图像和右相机图像；基于各左相机图像分别生成抓取目标的检测框；在各右相机图像中生成抓取目标的匹配框，使匹配框内部区域与对应的左相机图像的检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据；根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的双目视觉的定位方法，以实现以下功能：获取双目相机在同一水平线上的至少五个不同采集位置处采集的抓取目标的图像；图像包括左相机图像和右相机图像；基于各左相机图像分别生成抓取目标的检测框；在各右相机图像中生成抓取目标的匹配框，使匹配框内部区域与对应的左相机图像的检测框内部区域的相似性最大；根据检测框和匹配框获取对应各采集位置的抓取目标在末端执行器坐标系下的第一三维位置信息；获取双目相机在各采集位置时的末端执行器在机械臂坐标系下的第一位姿数据；根据第一三维位置信息和第一位姿数据，采用因子图优化方法获取抓取目标相对于机械臂的位置数据。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-OnlyMemory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read OnlyMemory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围。

Claims (10)

1.一种双目视觉的定位方法，用于机器人对抓取目标进行定位，所述机器人包括机械臂以及设置在机械臂末端的双目相机和末端执行器，所述双目相机包括左相机和右相机；其特征在于，包括步骤：
A1.获取所述双目相机在同一水平线上的至少五个不同采集位置处采集的所述抓取目标的图像；所述图像包括左相机图像和右相机图像；
A2.基于各所述左相机图像分别生成所述抓取目标的检测框；
A3.在各所述右相机图像中生成所述抓取目标的匹配框，使所述匹配框内部区域与对应的所述左相机图像的所述检测框内部区域的相似性最大；
A4.根据所述检测框和所述匹配框获取对应各所述采集位置的所述抓取目标在末端执行器坐标系下的第一三维位置信息；
A5.获取所述双目相机在各所述采集位置时的所述末端执行器在机械臂坐标系下的第一位姿数据；
A6.根据所述第一三维位置信息和所述第一位姿数据，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。
2.根据权利要求1所述的双目视觉的定位方法，其特征在于，步骤A2包括：
基于各所述左相机图像，分别采用YOLO算法检测所述抓取目标；
根据检测到的所述抓取目标生成所述检测框。
3.根据权利要求1所述的双目视觉的定位方法，其特征在于，步骤A3包括：
在各所述右相机图像中，以与对应的所述左相机图像的检测框尺寸相同的窗口，采用滑窗方法获取所述抓取目标的多个候选框；
根据以下公式计算各所述候选框内部区域与对应的所述左相机图像的检测框内部区域的相似性：
Figure 563885DEST_PATH_IMAGE001
；
式中，
Figure 340080DEST_PATH_IMAGE002
是所述右相机图像的候选框内部区域与对应的左相机图像的检测框内部区域的相似性，
Figure 916555DEST_PATH_IMAGE003
是所述左相机图像的检测框内部区域的像素值均值，
Figure 780606DEST_PATH_IMAGE004
是所述右相机图像的候选框内部区域的像素值均值，
Figure 657295DEST_PATH_IMAGE005
是所述左相机图像的检测框内部区域的像素值方差，
Figure 338812DEST_PATH_IMAGE006
是所述右相机图像的候选框内部区域的像素值方差，
Figure 74687DEST_PATH_IMAGE007
是所述左相机图像的检测框内部区域的像素点的像素值和所述右相机图像的候选框内部区域的像素点的像素值的协方差，
Figure 76184DEST_PATH_IMAGE008
、
Figure 338538DEST_PATH_IMAGE009
是预设常数；
以其内部区域与所述左相机图像的检测框内部区域的相似性最大的所述候选框作为对应的所述右相机图像的所述匹配框。
4.根据权利要求1所述的双目视觉的定位方法，其特征在于，步骤A4包括：
根据所述检测框和所述匹配框，采用以下计算公式获取对应各所述采集位置的所述抓取目标在左相机坐标系下的第二三维位置信息：
Figure 66322DEST_PATH_IMAGE010
；
Figure 617390DEST_PATH_IMAGE011
；
Figure 947877DEST_PATH_IMAGE012
；
Figure 940103DEST_PATH_IMAGE013
是所述抓取目标在所述左相机坐标系下的第二三维位置信息，
Figure 229002DEST_PATH_IMAGE014
是所述左相机图像的检测框中心的像素行坐标，
Figure 267366DEST_PATH_IMAGE015
是所述右相机图像的匹配框中心的像素行坐标，
Figure 276910DEST_PATH_IMAGE016
是所述左相机图像的检测框中心的像素列坐标，
Figure 248277DEST_PATH_IMAGE017
是左相机光心坐标；
Figure 317864DEST_PATH_IMAGE018
是所述左相机的焦距，
Figure 640261DEST_PATH_IMAGE019
是左相机光心到右相机光心的距离；
根据所述第二三维位置信息和所述左相机坐标系到所述末端执行器坐标系的坐标转换矩阵获取所述抓取目标在所述末端执行器坐标系下的第一三维位置信息。
5.根据权利要求1所述的双目视觉的定位方法，其特征在于，步骤A6包括：
根据所述第一三维位置信息，获取所述抓取目标在机械臂坐标系下的初始三维位置信息；
根据各所述第一三维位置信息、所述第一位姿数据和所述初始三维位置信息，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。
6.根据权利要求5所述的双目视觉的定位方法，其特征在于，所述根据所述第一三维位置信息，获取所述抓取目标在机械臂坐标系下的初始三维位置信息的步骤包括：
以所述相似性最大的所述采集位置对应的所述第一三维位置信息为所述抓取目标的最可靠三维位置信息；
根据所述最可靠三维位置信息和所述第一位姿数据获取所述抓取目标在机械臂坐标系下的初始三维位置信息。
7.根据权利要求5所述的双目视觉的定位方法，其特征在于，所述根据各所述第一三维位置信息、所述第一位姿数据和所述初始三维位置信息，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据的步骤包括：
以各所述采集位置处的所述末端执行器的位姿为优化变量，并将各所述第一位姿数据作为对应的所述位姿的先验约束边；把所述抓取目标在机械臂坐标系下的三维位置加入为优化变量，并以所述初始三维位置信息为所述三维位置的初始值；分别以各所述第一三维位置信息为所述抓取目标在机械臂坐标系下的三维位置与各所述采集位置处的所述末端执行器的位姿之间的观测约束边，根据所述相似性的大小，对各个所述观测约束边设置协方差数值，执行因子图优化处理，迭代优化最终得到所述抓取目标相对于所述机械臂的位置数据。
8.一种双目视觉的定位装置，用于机器人对抓取目标进行定位，所述机器人包括机械臂以及设置在机械臂末端的双目相机和末端执行器，所述双目相机包括左相机和右相机；其特征在于，包括：
第一获取模块，用于获取所述双目相机在同一水平线上的至少五个不同采集位置处采集的所述抓取目标的图像；所述图像包括左相机图像和右相机图像；
第一生成模块，用于基于各所述左相机图像分别生成所述抓取目标的检测框；
第二生成模块，用于在各所述右相机图像中生成所述抓取目标的匹配框，使所述匹配框内部区域与对应的所述左相机图像的所述检测框内部区域的相似性最大；
第一计算模块，用于根据所述检测框和所述匹配框获取对应各所述采集位置的所述抓取目标在末端执行器坐标系下的第一三维位置信息；
第二获取模块，用于获取所述双目相机在各所述采集位置时的所述末端执行器在机械臂坐标系下的第一位姿数据；
处理模块，用于根据所述第一三维位置信息和所述第一位姿数据，采用因子图优化方法获取所述抓取目标相对于所述机械臂的位置数据。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-7任一项所述双目视觉的定位方法中的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述双目视觉的定位方法中的步骤。
CN202210263190.0A 2022-03-17 2022-03-17 一种双目视觉的定位方法、装置、电子设备及存储介质 Active CN114359394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210263190.0A CN114359394B (zh) 2022-03-17 2022-03-17 一种双目视觉的定位方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210263190.0A CN114359394B (zh) 2022-03-17 2022-03-17 一种双目视觉的定位方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114359394A CN114359394A (zh) 2022-04-15
CN114359394B true CN114359394B (zh) 2022-06-17

Family

ID=81094543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210263190.0A Active CN114359394B (zh) 2022-03-17 2022-03-17 一种双目视觉的定位方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114359394B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115781665B (zh) * 2022-11-01 2023-08-08 深圳史河机器人科技有限公司 一种基于单目相机的机械臂控制方法、装置及存储介质
CN116071358B (zh) * 2023-03-07 2023-06-27 江西省智能产业技术创新研究院 一种汽车底盘检测方法及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019432A1 (zh) * 2017-07-28 2019-01-31 深圳市圆梦精密技术研究院 机器人末端工具的位姿测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US20180161986A1 (en) * 2016-12-12 2018-06-14 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
US11030766B2 (en) * 2019-03-25 2021-06-08 Dishcraft Robotics, Inc. Automated manipulation of transparent vessels
CN110861081B (zh) * 2019-10-14 2021-10-26 北京航空航天大学 一种欠约束索并联机器人末端执行器的自主定位方法
CN111583342B (zh) * 2020-05-14 2024-02-23 中国科学院空天信息创新研究院 一种基于双目视觉的目标快速定位方法及装置
CN114155301A (zh) * 2021-11-19 2022-03-08 中国长江三峡集团有限公司 一种基于Mask R-CNN和双目相机的机器人目标定位和抓取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019432A1 (zh) * 2017-07-28 2019-01-31 深圳市圆梦精密技术研究院 机器人末端工具的位姿测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目视觉的机械臂位姿估计及目标自动定位系统;曹阳 等;《电子设计工程》;20211231;第29卷(第24期);第107-110、115页 *

Also Published As

Publication number Publication date
CN114359394A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN114359394B (zh) 一种双目视觉的定位方法、装置、电子设备及存储介质
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
Bao et al. Field‐based robotic phenotyping of sorghum plant architecture using stereo vision
WO2020034872A1 (zh) 目标获取方法、设备和计算机可读存储介质
CN110176032B (zh) 一种三维重建方法及装置
US20140088765A1 (en) Method for invalidating sensor measurements after a picking action in a robot system
CN109559371B (zh) 一种用于三维重建的方法和装置
CN109213202B (zh) 基于光学伺服的货物摆放方法、装置、设备和存储介质
Shu et al. SLAM in the field: An evaluation of monocular mapping and localization on challenging dynamic agricultural environment
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
US11062521B2 (en) Virtuality-reality overlapping method and system
US11195297B2 (en) Method and system for visual localization based on dual dome cameras
CN109455619B (zh) 集装箱姿态的定位方法、装置及吊具控制器
CN112907586A (zh) 基于视觉的机械臂控制方法、装置、系统和计算机设备
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
CN109284653A (zh) 基于计算机视觉的细长物体检测
CN110825079A (zh) 一种地图构建方法及装置
CN114766347A (zh) 一种玉米抽雄作业的目标三维位置获取方法
CN113021355B (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
Badeka et al. Harvest crate detection for grapes harvesting robot based on YOLOv3 model
CN113744305A (zh) 目标物检测方法、装置、电子设备和计算机存储介质
CN116051658B (zh) 基于双目视觉进行目标检测的相机手眼标定方法及装置
CN117021059A (zh) 采摘机器人及其果实定位方法、装置、电子设备及介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN115705621A (zh) 一种基于嵌入式平台的单目视觉实时测距方法及测距系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant