CN116852348B - 井盖定位方法、装置和系统 - Google Patents

井盖定位方法、装置和系统 Download PDF

Info

Publication number
CN116852348B
CN116852348B CN202310645544.2A CN202310645544A CN116852348B CN 116852348 B CN116852348 B CN 116852348B CN 202310645544 A CN202310645544 A CN 202310645544A CN 116852348 B CN116852348 B CN 116852348B
Authority
CN
China
Prior art keywords
mobile robot
image
well lid
well
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310645544.2A
Other languages
English (en)
Other versions
CN116852348A (zh
Inventor
王雷
刘聪
黄腾飞
管大胜
孙超
于慧洋
宋小溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI CHENGFEI AVIATION SPECIAL EQUIPMENT CO Ltd
China Aviation Oil Group Co ltd
Original Assignee
SHANGHAI CHENGFEI AVIATION SPECIAL EQUIPMENT CO Ltd
China Aviation Oil Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI CHENGFEI AVIATION SPECIAL EQUIPMENT CO Ltd, China Aviation Oil Group Co ltd filed Critical SHANGHAI CHENGFEI AVIATION SPECIAL EQUIPMENT CO Ltd
Priority to CN202310645544.2A priority Critical patent/CN116852348B/zh
Publication of CN116852348A publication Critical patent/CN116852348A/zh
Application granted granted Critical
Publication of CN116852348B publication Critical patent/CN116852348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种井盖定位方法、装置和系统。其中，该井盖定位方法包括在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对所述栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；所述图像采集设备安装于移动机器人；根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿；按照所述定位目标位姿调整所述移动机器人，并控制所述移动机器人对所述井盖进行作业。

Description

井盖定位方法、装置和系统
技术领域
本申请涉及井盖检测技术领域，尤其涉及一种井盖定位方法、装置和系统。
背景技术
现有技术的栓井智能定位一般采用激光雷达定位街道上的井盖。具体的，街道上扫描出的点云定位，没有方向性，通过全场景建图的方式，来确定井盖位置。而，开阔环境比如机场，属于平面开阔场地，移动机器人无法通过激光雷达定位栓井。因此，如何在开阔环境中定位井盖成为亟待解决的技术问题。
发明内容
本申请提供一种改进的井盖定位方法、装置和系统。
本申请提供一种井盖定位方法，包括：
在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对所述栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；所述图像采集设备安装于移动机器人；
根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿；
按照所述定位目标位姿调整所述移动机器人，并控制所述移动机器人对所述井盖进行作业。
进一步的，所述根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿，包括：
依据所述关键点位置获得的原点，建立栓井坐标系；
将图像采集设备坐标系及所述移动机器人的基坐标系，统一置于同一参考坐标系；
在所述同一参考坐标系下根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人所述目标姿态；
所述按照所述定位目标位姿调整所述移动机器人，并控制所述移动机器人对所述井盖进行作业，包括：
按照所述定位目标位姿调整所述移动机器人，以使所述移动机器人的基坐标系与所述栓井坐标系重合；
在所述移动机器人的基坐标系与所述栓井坐标系重合的情况下，控制所述移动机器人对所述井盖进行抓取作业或放置归位的作业。
进一步的，所述将图像采集设备坐标系及所述移动机器人的基坐标系，统一置于同一参考坐标系，包括：
将图像采集设备坐标系下观测到的所述栓井图像变换到所述移动机器人的基坐标系。
进一步的，所述将图像采集设备坐标系下观测到的所述栓井图像变换到所述移动机器人的基坐标系，包括：
将图像采集设备的光心到图像采集设备的安装位置的位姿矩阵，与所述安装位置到所述移动机器人的所述基坐标系的位姿变换矩阵相乘，得到所述光心到所述移动机器人的所述基坐标系的位姿变换矩阵。
进一步的，所述根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿，包括：
依据图像采集设备相对于所述栓井的相对位置，获得所述移动机器人相对于所述栓井的偏移，作为所述移动机器人在所述栓井上需要的位移；
依据所述关键点位置，确定所述移动机器人相对于所述栓井的需要旋转的角度。
进一步的，所述依据图像采集设备相对于所述栓井的相对位置，获得所述移动机器人相对于所述栓井的偏移，作为所述移动机器人在所述栓井上需要的位移，包括：
根据通过深度图像采集设备采集的点云图中的关键点，获得所述图像采集设备光心坐标系相对于所述栓井坐标系的位移；
依据所述图像采集设备坐标系相对于所述栓井坐标系的位移，获得所述移动机器人的基坐标系相对于所述栓井坐标系的位移，作为所需要的位移；
所述依据所述关键点位置，确定所述移动机器人相对于所述栓井的需要旋转的角度，包括：
确定所述关键点在所述移动机器人的所述基坐标系的第一空间位置与所述栓井坐标系的第二空间位置；
根据所述第一空间位置以及所述第二空间位置，确定所述移动机器人的所述基坐标系相对于所述栓井坐标系的所需要旋转的角度。
进一步的，所述对所述栓井图像中抓取位置对应的关键点进行定位，得到关键点位置，包括：
将所述图像输入至井盖检测模型，通过所述井盖检测模型对所述图像进行检测，获得图像采集设备的光心的多个坐标维度对应特征，所述井盖的多个坐标维度对应的特征以及所述图像中的标记框的特征；其中，所述井盖检测模型是通过样本检测图像，以及样本检测图像的井盖图像训练得到的，所述井盖图像包括栓井图像中抓取位置对应的关键点特征；
依据所述图像采集设备的光心的多个坐标维度对应特征，所述井盖的多个坐标维度对应的特征以及所述图像中的标记框的特征，预测所述关键点位置。
进一步的，所述方法还包括：采用如下方式，训练所述井盖检测模型：
将所述样本检测图像输入至所述井盖检测模型，通过所述井盖检测模型对样本检测图像进行检测，获得样本检测图像的输出特征，以及所述样本检测图像的输出特征；所述井盖图像包括栓井图像中抓取位置对应的关键点特征；
依据样本检测图像的输出特征，以及所述样本检测图像的输出特征，计算当前损失；其中，所述当前损失包括所述井盖的多个坐标维度对应的特征以及所述图像采集设备的光心的多个坐标维度对应特征；
根据所述当前损失对所述井盖检测模型的训练参数进行调整，直至满足预设结束条件，得到训练好的井盖检测模型。
本申请的提供一种井盖定位装置，包括：
关键点位置确定模块，用于在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对所述栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；所述图像采集设备安装于移动机器人；
定位目标位姿确定模块，用于根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿；
移动机器人控制调整模块，用于按照所述定位目标位姿调整所述移动机器人，并控制所述移动机器人对所述井盖进行作业。
本申请的提供一种井盖定位系统，包括：
如上所述的井盖定位装置；以及，
移动机器人，用于接收控制指令，按照所述控制指令对所述井盖进行作业。
本申请的提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现如上任一项所述的井盖定位方法。
本申请的提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现如上任一项所述的方法。
在一些实施例中，本申请的井盖定位方法，在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；图像采集设备安装于移动机器人；根据移动机器人相对于关键点位置的位置偏移，确定移动机器人在栓井上的目标位姿；按照定位目标位姿调整移动机器人，并控制移动机器人对井盖进行作业。如此，通过移动机器人安装的图像采集设备采集机场场景的深度图，确定栓井图像，可以实现在开阔环境中的井盖定位。
附图说明
图1所示为本申请实施例的井盖定位方法的流程示意图；
图2所示为图1所示的井盖定位方法的应用的示意图；
图3所示为图1所示的井盖定位方法的关键点位置的确定方式的流程示意图；
图4所示为图1所示的井盖定位方法的步骤120和步骤130的具体流程示意图；
图5所示为本申请实施例的井盖定位装置的结构示意图；
图6所示为本申请实施例提供的井盖定位系统的模块框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
为解决上述在开阔环境中定位井盖的技术问题，本申请实施例提供一种井盖定位方法。
其中，在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；图像采集设备安装于移动机器人；根据移动机器人相对于关键点位置的位置偏移，确定移动机器人在栓井上的目标位姿；按照定位目标位姿调整移动机器人，并控制移动机器人对井盖进行作业。
在本申请中，通过移动机器人安装的图像采集设备采集机场场景的深度图，确定栓井图像，可以实现在开阔环境中的井盖定位，并且，通过按照移动机器人相对于栓井图像的关键点位置，确定移动机器人在栓井上的目标位姿，并控制移动机器人对井盖进行作业。如此，机器人辅助工作人员完成复杂且耗力的工作内容，工作人员牵引移动机器人实现智能化做工。人机二者结合，达到航油加注系统智能化与轻便化的效果。
图1所示为本申请实施例的井盖定位方法的流程示意图。
如图1所示，该井盖定位方法可以但不限于包括如下步骤110至步骤130：
步骤110，在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；图像采集设备安装于移动机器人。其中，抓取位置作为井盖的抓取支点，为方便移动机器人抓取或放下。
上述移动机器人可以实现航油加注辅助装置，比如机械臂等。
图2所示为图1所示的井盖定位方法的应用的示意图。
如图2所示，移动机器人可以用于实现井盖21的抓取作业或放置归位的作业，比如移动小车22。在如图2所示图像采集设备的一些示例中，该图像采集设备可以为移动小车22安装的视觉系统24，图2中是视觉系统24和移动小车22只是为了方便显示。
图像采集设备用于实现采集的机场场景的深度图。该图像采集设备还可以但不限于包括摄像头、摄像机、图像采集设备、扫描仪及其他带有拍照功能的设备。其他带有拍照功能的设备比如手机、平板电脑等。
在图像采集设备的一些示例中，该图像采集设备可以为航油加注辅助装置中移动机器人的视觉系统。上述图像采集设备可以为RGB-D(Red、Green、Blue、Depth，红绿蓝-深度)相机。该RGB-D相机拍摄栓井图像或图片，这里视觉系统可以包含的硬件设施分别为ZED相机与NUC(Next Unit of Computing，下一代计算单元)计算单元。
因为GPU(graphics processing unit，图形处理器)计算中心体积大，移动小车体积受限，无法安装，所选计算单元不包含GPU，无法使用ZED官方SDK(Software DevelopmentKit，软件开发工具包)。因此，本申请实施例的上述步骤110中通过图像采集设备采集的机场场景的深度图进一步可以包括如下两个步骤：
第一个步骤，通过视频捕获，获取采用RGB-D相机拍摄的左右目图像。其中，RGB-D相机包括双目相机；左右目图像的信息包括RGB色彩及深度数据。如此，在无法安装GPU的前提下可以读出彩色图，后续自行计算深度。第二个步骤，通过左右目图像的视差，生成深度图。
具体的，可以采用OpenCV中的Video Capture视频捕获，读取相机的RGB左右目图像，通过视差原理计算最终生成深度图。如此，可以在通过安装RGB-D双目相机，直接计算得到深度图，RGB-D双目相机占用移动小车的体积较小，方便安装。示例性的，采用ZED_cpu(Central Processing Uni，中央处理器)_wrapper通过OpenCV中的VideoCapture，来调用相机的RGB图像。
通过OpenCV调取缓存图像可以得到left左视图像与right右视图像。根据2张图像与相机参数生成视差图并过滤，通过相似三角比值得到深度图来完成空间尺寸的计算。其中上述第二个步骤的视差计算，得到视差图过程如下：
a、极线校正：将两帧图像的光心放于同一水平线上，以矫正匹配到的像素点。校正的目的是使两帧图像极线处于水平方向，便于匹配到的像素点计算视差。通过校正极线可以方便后续的NCC(Normalized cross correlation，归一化的相关相似性度量函数)操作。
b、特征匹配：本申请采用NCC算法做匹配，将右视图像中与左视图像待测像素同一水平线上相关性最高的像素点，作为最优匹配。
c、深度恢复：先记录像素点视差，再将任一像素水平方向xl与匹配像素水平方向xr之间的差值xr-xl，由视差图可推导出的公式如下：
将上式化简可得：
其中，D为基线距离，z为对应像素点的深度，f为相机矫正后的焦距。
通过上式可知，D，f，xr-xl等参数已知，即可算出对应像素的深度z，最终得出以左视图为参考系的深度图。
图3所示为图1所示的井盖定位方法的关键点位置的确定方式的流程示意图。
结合图2和图3所示，对于上述步骤110中的关键点位置23的确定方式如下第1个步骤和第2个步骤：
在一些实施例中，第1个步骤，将图像输入至井盖检测模型，通过井盖检测模型对图像进行检测，获得图像采集设备的光心的多个坐标维度对应特征，井盖21的多个坐标维度对应的特征以及图像中的标记框的特征；其中，井盖检测模型是通过样本检测图像，以及样本检测图像的井盖图像训练得到的，井盖图像包括栓井图像中抓取位置对应的关键点特征。
其中，井盖21的多个坐标维度对应的特征可以包括2个维度的变量x1及y1。以及，图像采集设备的光心的多个坐标维度对应特征可以包括2个维度的变量x2及y2。在传统的YOLO模型基础上，该井盖检测模型的输出需要增加4个维度的变量x1、y1、x2及y2。同时，对增加的输出维度与原有的神经网络进行全连接。当然也可以井盖21的多个坐标维度对应的特征可以包括3个维度的变量，图像采集设备的光心的多个坐标维度对应特征可以包括3个维度的变量。在此不再详细举例。
第2个步骤，依据图像采集设备的光心的多个坐标维度对应特征，井盖21的多个坐标维度对应的特征以及图像中的标记框的特征，预测关键点位置23。如此，通过在传统的YOLO模型中，增加图像采集设备的光心的多个坐标维度对应特征，井盖21的多个坐标维度对应的特征，提高关键点位置23的定位的准确性。并且，改进的YOLO模型，在检测到栓井的同时，可以对栓井的抓取位置的关键点进行定位。
上述方法还包括：采用如下方式，训练井盖检测模型：
第一步，将样本检测图像输入至井盖检测模型，通过井盖检测模型对样本检测图像进行检测，获得样本检测图像的输出特征，以及样本检测图像的输出特征；井盖图像包括栓井图像中抓取位置对应的关键点特征；
第二步，依据样本检测图像的输出特征，以及样本检测图像的输出特征，计算当前损失；其中，当前损失包括井盖21的多个坐标维度对应的特征以及图像采集设备的光心的多个坐标维度对应特征。
第三步，根据当前损失对井盖检测模型的训练参数进行调整，直至满足预设结束条件，得到训练好的井盖检测模型。如此，在训练过程中考虑预测的关键点位置23，将井盖21的多个坐标维度对应的特征以及图像采集设备的光心的多个坐标维度对应特征代入loss函数，使得神经网络训练出可以精准识别定位的模型。
继续图2所示，上述关键点位置包括2个关键点的行row和列col，需要增加4个全连接输出节点，同时在损失函数上，需要在传统的损失函数上结合4个变量与其期望之间的回归差值。神经网络输出端的改造如下：
传统的YOLO模型对图像进行检测的输出包含数据类别个数class，cx，cy，w，h的5个输出，以及，目标种类与检测框位置、大小信息等。其中，cx代表标记框中心点的x坐标，数值是原始中心点x坐标除以图宽后的结果；cy代表标记框中心点的y坐标，数值是原始中心点y坐标除以图高后的结果；w代表标记框的宽，数值为原始标记框的宽除以图宽后的结果；h代表标记框的高，数值为原始标记框的高除以图高后的结果。
实现上述目标种类检测的算法为分类模型，而检测框的圈定为回归模型。对于检测框的损失函数，本申请实施例采用GIOU_Loss做Bounding box的损失函数。其计算公式如下式所示：
式中，IoU为预测框与真实框的交并比，Ac为二者的最小外接矩形面积，U为二者的并集面积。
具体的，通过改进的YOLO模型提取栓井的抓取位置，来定位关键点像素位置。在原有的YOLOv5模型基础上进行改进，使得改进的YOLOv5模型在检测栓井的同时定位2个抓取位置的像素位置。改进的YOLO模型组成如下：
(a)、输入端：YOLO模型中使用了Mosaic数据增强的方法进行随机缩放、随机裁剪、随机排布，以达到样本数量与多样性的增强。并且自动计算生样本的自适应锚框大小，无需手动计算。
(b)、Backbone：将图像在不同细粒度上聚合，并提取图像特征的卷积神经网络；其第一层Focus，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中，以达到提高每个点感受野，并减少原始信息的丢失，减少计算量加快速度的效果。
(c)、Neck：采用FPN(Feature Pyramid Networks，特征金字塔)+PAN(PyramidAttention Network for Semantic Segmenta tion，金字塔注意力模型)的结构将图像特征传递到输出层。这样结合操作，FPN层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，二者结合，从不同的主干层对不同的检测层进行特征聚合。
(d)、输出端：传统YOLO网络对图像特征进行预测，生成边界框和并预测类别。本申请的损失函数采用GIOU_Loss做Bounding box的损失函数。
同时，在输出端要增加对于关键点的预测，栓井需要人为定义抓取位置的2个关键点。因此在井盖检测模型输出上增加4个维度的变量。
在本示例中，通过改进的YOLO模型与现场图像，训练井盖检测模型，在此基础上改进模型的输出，实现井盖检测模型对于栓井抓取位置的识别。通过井盖检测模型中增加对于关键点a1和a2的像素位置(x1，y1)和(x2，y2)的回归网络实现关键点的定位。
步骤120，根据移动机器人相对于关键点位置的位置偏移，确定移动机器人在栓井上的目标位姿。
其中，关键点位置用于反映井盖的抓取位置。该关键点位置可以为一个关键点位置，也可以为多个关键点位置，甚至更多关键点位置，在此不再一一举例。
上述目标位姿用于反映移动机器人在栓井上的位置和姿态。
步骤130，按照定位目标位姿调整移动机器人，并控制移动机器人对井盖进行作业。
在本申请实施例中，移动机器人视觉系统可以自主识别预定位栓井的井盖。采用基于机器视觉的图像识别的与定位的方法，辅助移动机器人智能定位目标位姿，完成作业。
图4所示为图1所示的井盖定位方法的步骤120和步骤130的具体流程示意图。
结合图4和图1所示，上述步骤120进一步可以包括如下步骤121至步骤123，以及，上述步骤130进一步可以包括如下步骤131及步骤132：
步骤121，依据关键点位置获得的原点，建立栓井坐标系。
其中，以关键点位置为已知条件，取多个关键点中任二个关键点的中点为原点建立栓井坐标系。这里可以将坐标系原点等价与栓井圆心，即使可能存在误差，即坐标原点与栓井圆心的像素位置之差。只要井盖检测模型检测准确，此误差可以满足任务要求。
继续图3所示，选取关键点a1和关键点a2，假设2点关键点之间的连线通过栓井圆心。因此假设连线中点o为栓井圆心。在此基础上，以向量的方向为x轴，根据右手定则建立坐标系o-xyz，其中z轴垂直向上。
步骤4：在明确了栓井坐标系与相机坐标系后，需要求解两个坐标系之间的位姿变换矩阵，同时已知相机坐标系与小车的基础坐标系之间的变换矩阵，可得小车到栓井上方的位姿矩阵。以此来控制小车的运动方式
由于图像采集设备的深度图置信度较高，因此在建立坐标系前主要的视觉定位误差为连接线中心点与真实圆心的像素位置偏差。以连接线中点为原点，连线方向为x轴建立坐标系后，图像采集设备光心到栓井坐标系的误差为ZED图像采集设备深度图的误差。
步骤122，将图像采集设备坐标系及移动机器人的基坐标系，统一置于同一参考坐标系。
上述步骤122的多种实现方式如下：
在步骤122的一种实现方式中，将图像采集设备坐标系下观测到的栓井图像变换到移动机器人的基坐标系。如此，变换可以将不同坐标系下的观测目标归结到基坐标系下，方便计算。进一步的，将图像采集设备的光心到图像采集设备的安装位置的位姿矩阵，与安装位置到移动机器人的基坐标系的位姿变换矩阵相乘，得到光心到移动机器人的基坐标系的位姿变换矩阵。
其中，小车与相机光心的位姿变换矩阵可以由两部分组成，其一部分为相机光心到相机安装位置的位姿矩阵，其二部分为安装位置到小车基坐标的位姿变换矩阵。前者在相机的ROS驱动中可以查到，而后者这是根据小车图纸设计得到，将两个变换矩阵相乘，得到相机光心到小车基坐标的位姿变换矩阵。如此变换可以将不同坐标系下的观测目标归结到基坐标系下，方便计算。
在上述步骤122的另一实现方式中，将图像采集设备坐标系及移动机器人的基坐标系同时映射到同一参考坐标系，该参考坐标系可以为世界坐标系或基坐标，在此不再一一举例。
步骤123，在同一参考坐标系下根据移动机器人相对于关键点位置的位置偏移，确定移动机器人目标姿态。
其中，目标姿态包括需要旋转的角度和位移；需要旋转的角度和位移用于正对关键点位置。
上述步骤123可以通过如下多种实施例实现：
在上述步骤123的一些实施例中，第1步，依据图像采集设备相对于栓井的相对位置，获得移动机器人相对于栓井的偏移，作为移动机器人在栓井上需要的位移。其中，确定相机相对于栓井的相对位置可以临时确定的，也可以提前确定的。
第2步，依据关键点位置，确定移动机器人相对于栓井的需要旋转的角度。如此，采用偏移更容易准确地，确定移动机器人在栓井上需要的位移，提高移动机器人的移动的准确性。
上述第1步可以进一步包括如下(1)及(2)的步骤，以及上述第2步可以进一步包括如下(3)及(4)的步骤。
(1)、根据通过深度图像采集设备采集的点云图中的关键点，获得图像采集设备光心坐标系相对于栓井坐标系的位移。点云图处于世界坐标系。
点云图是通过深度相机得到的物体外观表面的点数据集合。使用深度相机得到的点云信息为三维坐标(X，Y，Z)。点云图是深度相机捕捉到的所有点的点云信息构成的数据矩阵。
(2)、依据图像采集设备坐标系相对于栓井坐标系的位移，获得移动机器人的基坐标系相对于栓井坐标系的位移，作为所需要的位移。
(3)、确定关键点在移动机器人的基坐标系的第一空间位置与栓井坐标系的第二空间位置。
(4)、根据第一空间位置以及第二空间位置，确定移动机器人的基坐标系相对于栓井坐标系的所需要旋转的角度。
步骤131，按照定位目标位姿调整移动机器人，以使移动机器人的基坐标系与栓井坐标系重合。
步骤132，在移动机器人的基坐标系与栓井坐标系重合的情况下，控制移动机器人对井盖进行抓取作业或放置归位的作业。
小车坐标系与栓井坐标系之间的变换矩阵的求解可以适当简化。我们假设小车坐标系的z轴与栓井坐标系z轴垂直地面向上，在此基础上，二者之间的位姿变化矩阵只有X，Y，Z，rz共4个变量，点云图可以提供相机光心坐标系与栓井坐标系之间的位移矩阵，经计算可知小车坐标系与栓井坐标系的位移矩阵为T，也就是X，Y，Z。因此rz的计算则需要求解代数方程组a-T＝Mb，式中M可以如下表示：
式中a和b分别代表着世界上的一个点在小车与栓井两组坐标系下的空间位置。θ表示绕z轴旋转角度，rz表示z轴方向的姿态，M无物理含义。
由于栓井的关键点识别可以得到2个关键点的信息。因此将其中一个关键点的在两个坐标系下的坐标代入上式，可以求解小车需要绕z轴旋转的角度，使得小车坐标系与栓井坐标系重合。
图5所示为本申请实施例的井盖定位装置的结构示意图。
如图5所示，本申请实施例提供的井盖定位装置，包括如下模块：
关键点位置确定模块31，用于在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；图像采集设备安装于移动机器人；
定位目标位姿确定模块32，用于根据移动机器人相对于关键点位置的位置偏移，确定移动机器人在栓井上的目标位姿；
移动机器人控制调整模块33，用于按照定位目标位姿调整移动机器人，并控制移动机器人对井盖进行作业。
基于与上述方法同样的申请构思，上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
本申请实施例提供的井盖定位系统，包括：
如上的井盖定位装置；以及，移动机器人，用于接收控制指令，按照控制指令对井盖进行作业。
本申请实施例提供的计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现如上的井盖定位方法。
图6所示为本申请实施例提供的井盖定位系统40的模块框图。
如图6所示，井盖定位系统40包括一个或多个处理器41，用于实现如上的井盖定位方法。
在一些实施例中，井盖定位系统40可以包括计算机可读存储介质49，计算机可读存储介质49可以存储有可被处理器41调用的程序，可以包括非易失性存储介质。在一些实施例中，井盖定位系统40可以包括内存48和接口47。在一些实施例中，井盖定位系统40还可以根据实际应用包括其他硬件。
本申请实施例的计算机可读存储介质49，其上存储有程序，该程序被处理器41执行时，用于实现如上描述的井盖定位方法。
本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质49(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质49包括永久性和非永久性、可移动和非可移动媒体，可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质49的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (8)

1.一种井盖定位方法，其特征在于，所述井盖定位方法包括：
在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对所述栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；所述图像采集设备安装于移动机器人；其中，所述对所述栓井图像中抓取位置对应的关键点进行定位，得到关键点位置，包括：将所述图像输入至井盖检测模型，通过所述井盖检测模型对所述图像进行检测，获得图像采集设备的光心的多个坐标维度对应特征，所述井盖的多个坐标维度对应的特征以及所述图像中的标记框的特征；其中，所述井盖检测模型是通过样本检测图像，以及样本检测图像的井盖图像训练得到的，所述井盖图像包括栓井图像中抓取位置对应的关键点特征；以及，依据所述图像采集设备的光心的多个坐标维度对应特征，所述井盖的多个坐标维度对应的特征以及所述图像中的标记框的特征，预测所述关键点位置；所述方法还包括：采用如下方式，训练所述井盖检测模型：将所述样本检测图像输入至所述井盖检测模型，通过所述井盖检测模型对样本检测图像进行检测，获得样本检测图像的输出特征，以及所述样本检测图像的输出特征；所述井盖图像包括栓井图像中抓取位置对应的关键点特征；依据样本检测图像的输出特征，以及所述样本检测图像的输出特征，计算当前损失；其中，所述当前损失包括所述井盖的多个坐标维度对应的特征以及所述图像采集设备的光心的多个坐标维度对应特征；根据所述当前损失对所述井盖检测模型的训练参数进行调整，直至满足预设结束条件，得到训练好的井盖检测模型；根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿；
按照所述定位目标位姿调整所述移动机器人，并控制所述移动机器人对所述井盖进行作业。
2.如权利要求1所述的井盖定位方法，其特征在于，所述根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿，包括：
依据所述关键点位置获得的原点，建立栓井坐标系；
将图像采集设备坐标系及所述移动机器人的基坐标系，统一置于同一参考坐标系；
在所述同一参考坐标系下根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人所述目标位姿；
所述按照所述定位目标位姿调整所述移动机器人，并控制所述移动机器人对所述井盖进行作业，包括：
按照所述定位目标位姿调整所述移动机器人，以使所述移动机器人的基坐标系与所述栓井坐标系重合；
在所述移动机器人的基坐标系与所述栓井坐标系重合的情况下，控制所述移动机器人对所述井盖进行抓取作业或放置归位的作业。
3.如权利要求2所述的井盖定位方法，其特征在于，所述将图像采集设备坐标系及所述移动机器人的基坐标系，统一置于同一参考坐标系，包括：
将图像采集设备坐标系下观测到的所述栓井图像变换到所述移动机器人的基坐标系。
4.如权利要求3所述的井盖定位方法，其特征在于，所述将图像采集设备坐标系下观测到的所述栓井图像变换到所述移动机器人的基坐标系，包括：
将图像采集设备的光心到图像采集设备的安装位置的位姿矩阵，与所述安装位置到所述移动机器人的所述基坐标系的位姿变换矩阵相乘，得到所述光心到所述移动机器人的所述基坐标系的位姿变换矩阵。
5.如权利要求1所述的井盖定位方法，其特征在于，所述根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿，包括：
依据图像采集设备相对于所述栓井的相对位置，获得所述移动机器人相对于所述栓井的偏移，作为所述移动机器人在所述栓井上需要的位移；
依据所述关键点位置，确定所述移动机器人相对于所述栓井的需要旋转的角度。
6.如权利要求5所述的井盖定位方法，其特征在于，所述依据图像采集设备相对于所述栓井的相对位置，获得所述移动机器人相对于所述栓井的偏移，作为所述移动机器人在所述栓井上需要的位移，包括：
根据通过深度图像采集设备采集的点云图中的关键点，获得所述图像采集设备光心坐标系相对于所述栓井坐标系的位移；
依据所述图像采集设备坐标系相对于所述栓井坐标系的位移，获得所述移动机器人的基坐标系相对于所述栓井坐标系的位移，作为所需要的位移；
所述依据所述关键点位置，确定所述移动机器人相对于所述栓井的需要旋转的角度，包括：
确定所述关键点在所述移动机器人的所述基坐标系的第一空间位置与所述栓井坐标系的第二空间位置；
根据所述第一空间位置以及所述第二空间位置，确定所述移动机器人的所述基坐标系相对于所述栓井坐标系的所需要旋转的角度。
7.一种井盖定位装置，其特征在于，包括：
关键点位置确定模块，用于在通过图像采集设备采集的机场场景的深度图中检测到栓井图像的情况下，对所述栓井图像中抓取位置对应的关键点进行定位，得到关键点位置；所述图像采集设备安装于移动机器人；其中，所述对所述栓井图像中抓取位置对应的关键点进行定位，得到关键点位置，包括：将所述图像输入至井盖检测模型，通过所述井盖检测模型对所述图像进行检测，获得图像采集设备的光心的多个坐标维度对应特征，所述井盖的多个坐标维度对应的特征以及所述图像中的标记框的特征；其中，所述井盖检测模型是通过样本检测图像，以及样本检测图像的井盖图像训练得到的，所述井盖图像包括栓井图像中抓取位置对应的关键点特征；依据所述图像采集设备的光心的多个坐标维度对应特征，所述井盖的多个坐标维度对应的特征以及所述图像中的标记框的特征，预测所述关键点位置；采用如下方式，训练所述井盖检测模型：将所述样本检测图像输入至所述井盖检测模型，通过所述井盖检测模型对样本检测图像进行检测，获得样本检测图像的输出特征，以及所述样本检测图像的输出特征；所述井盖图像包括栓井图像中抓取位置对应的关键点特征；依据样本检测图像的输出特征，以及所述样本检测图像的输出特征，计算当前损失；其中，所述当前损失包括所述井盖的多个坐标维度对应的特征以及所述图像采集设备的光心的多个坐标维度对应特征；根据所述当前损失对所述井盖检测模型的训练参数进行调整，直至满足预设结束条件，得到训练好的井盖检测模型；
定位目标位姿确定模块，用于根据所述移动机器人相对于所述关键点位置的位置偏移，确定所述移动机器人在所述栓井上的目标位姿；
移动机器人控制调整模块，用于按照所述定位目标位姿调整所述移动机器人，并控制所述移动机器人对所述井盖进行作业。
8.一种井盖定位系统，其特征在于，包括：
如权利要求7所述的井盖定位装置；以及，
移动机器人，用于接收控制指令，按照所述控制指令对所述井盖进行作业。
CN202310645544.2A 2023-06-01 2023-06-01 井盖定位方法、装置和系统 Active CN116852348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310645544.2A CN116852348B (zh) 2023-06-01 2023-06-01 井盖定位方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310645544.2A CN116852348B (zh) 2023-06-01 2023-06-01 井盖定位方法、装置和系统

Publications (2)

Publication Number Publication Date
CN116852348A CN116852348A (zh) 2023-10-10
CN116852348B true CN116852348B (zh) 2023-12-15

Family

ID=88220566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310645544.2A Active CN116852348B (zh) 2023-06-01 2023-06-01 井盖定位方法、装置和系统

Country Status (1)

Country Link
CN (1) CN116852348B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
WO2019178851A1 (zh) * 2018-03-23 2019-09-26 深圳市锐明技术股份有限公司 一种基于深度学习的井盖缺失检测系统及方法
CN110728650A (zh) * 2019-08-27 2020-01-24 深圳大学 一种基于智能终端的井盖凹陷检测方法及相关设备
CN115139303A (zh) * 2022-07-19 2022-10-04 广州赛特智能科技有限公司 一种栅格井盖检测方法、装置、设备及存储介质
CN115268372A (zh) * 2021-07-23 2022-11-01 中国航空油料集团有限公司 移动井盖的控制方法和系统
CN115797446A (zh) * 2021-09-10 2023-03-14 灵动科技（北京）有限公司 货架定位方法、货架对接方法以及装置、设备、介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
WO2019178851A1 (zh) * 2018-03-23 2019-09-26 深圳市锐明技术股份有限公司 一种基于深度学习的井盖缺失检测系统及方法
CN110728650A (zh) * 2019-08-27 2020-01-24 深圳大学 一种基于智能终端的井盖凹陷检测方法及相关设备
CN115268372A (zh) * 2021-07-23 2022-11-01 中国航空油料集团有限公司 移动井盖的控制方法和系统
CN115797446A (zh) * 2021-09-10 2023-03-14 灵动科技（北京）有限公司 货架定位方法、货架对接方法以及装置、设备、介质
WO2023036212A1 (zh) * 2021-09-10 2023-03-16 灵动科技（北京）有限公司 货架定位方法、货架对接方法以及装置、设备、介质
CN115139303A (zh) * 2022-07-19 2022-10-04 广州赛特智能科技有限公司 一种栅格井盖检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116852348A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN113888631B (zh) 一种基于目标裁剪区域的指定物体抓取方法
WO2019170164A1 (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
JP2021120864A (ja) 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
CN109655825A (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN107843251A (zh) 移动机器人的位姿估计方法
CN109145747A (zh) 一种水面全景图像语义分割方法
Zhu et al. Monocular 3d vehicle detection using uncalibrated traffic cameras through homography
EP3552388A1 (en) Feature recognition assisted super-resolution method
CN112132874A (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
US8509522B2 (en) Camera translation using rotation from device
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法
Li et al. Panoramic image mosaic technology based on sift algorithm in power monitoring
Wang et al. Fine-grained cross-view geo-localization using a correlation-aware homography estimator
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
CN113984037A (zh) 一种基于任意方向目标候选框的语义地图构建方法
CN116105721B (zh) 地图构建的回环优化方法、装置、设备及存储介质
CN116852348B (zh) 井盖定位方法、装置和系统
Peng et al. Fast 3D map reconstruction using dense visual simultaneous localization and mapping based on unmanned aerial vehicle
CN112215048B (zh) 一种3d目标检测方法、装置和计算机可读存储介质
CN117576494A (zh) 特征地图生成方法、装置、存储介质和计算机设备
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant