CN113313755A - 目标对象位姿的确定方法、装置、设备及存储介质 - Google Patents

目标对象位姿的确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113313755A
CN113313755A CN202110414566.9A CN202110414566A CN113313755A CN 113313755 A CN113313755 A CN 113313755A CN 202110414566 A CN202110414566 A CN 202110414566A CN 113313755 A CN113313755 A CN 113313755A
Authority
CN
China
Prior art keywords
coordinate system
pose
target object
determining
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110414566.9A
Other languages
English (en)
Inventor
田光亚
朱勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quarkdata Software Co ltd
ThunderSoft Co Ltd
Original Assignee
Quarkdata Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quarkdata Software Co ltd filed Critical Quarkdata Software Co ltd
Priority to CN202110414566.9A priority Critical patent/CN113313755A/zh
Publication of CN113313755A publication Critical patent/CN113313755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种目标对象位姿的确定方法、装置、设备及存储介质。首先通过至少一个图像采集设备获取目标对象的图像数据，然后再根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿，最后再根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。本发明实施例解决了现有的技术方案中存在的定位效果较差的问题，提升了对目标对象进行定位的定位效果。

Description

目标对象位姿的确定方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及一种目标对象位姿的确定方法、装置、设备及存储介质。
背景技术
随着货场、码头、仓库等场所自动化水平的提升，人们逐步开始尝试使用无人干预的自走机器人、工程车辆进行货物运输。
对于这些自走机器人、工程车辆等目标对象，需要及时获取目标对象的位置信息。
在现有的技术方案中，往往要基于双目或多目摄像头的技术方案，该方案要求目标必须能同时被多个摄像机拍摄到，即不同摄像机需具有重叠视野，这一点对于摄像机部署的密度具有较高要求，一旦不具有重叠视野即视线盲区，定位系统极易丢失目标。
因此，在现有的技术方案中存在对目标对象进行定位，定位效果较差的问题。
发明内容
本发明实施例提供了一种目标对象位姿的确定方法、装置、设备及存储介质，解决了现有的技术方案中存在的定位效果较差的问题，提升了对目标对象进行定位的定位效果。
为了解决上述技术问题，本发明：
第一方面，提供了一种目标对象位姿的确定方法，该方法包括：
通过至少一个图像采集设备获取目标对象的图像数据；
根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿；
根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。
在第一方面的一些实现方式中，在根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿之前，该方法还包括：
获取至少一个图像采集设备的坐标系、至少一个标定板坐标系以及至少一个标定板在预设地图坐标系中的位姿；
根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿，确定每个图像采集设备所在节点的目标坐标变换关系；
根据目标坐标变换关系确定目标对象坐标转换模型。
在第一方面的一些实现方式中，每个节点对应至少一个标定板；根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿，确定每个图像采集设备所在节点的目标坐标变换关系，包括：
根据图像采集设备的坐标系和标定板坐标系，确定每个图像采集设备所在节点的第一坐标变换关系；
根据每个标定板在预设地图坐标系中的位姿，确定每个节点的第二坐标变换关系；
根据第一坐标变换关系和第二坐标变换关系确定目标坐标变换关系。
在第一方面的一些实现方式中，根据每个标定板在预设地图坐标系中的位姿，确定每个节点的第二坐标变换关系，包括：
根据每个位姿中包括的标定板的四个顶点确定每个标定板与每个标定板之间的转换关系；
根据转换关系，确定每个节点的第二坐标变换关系。
在第一方面的一些实现方式中，转换关系包括旋转矩阵、平移矩阵中的至少一种；根据转换关系，确定每个节点的第二坐标变换关系，包括：
根据旋转矩阵、平移矩阵中的至少一种，通过最小二乘法，确定每个节点的第二坐标变换关系。
在第一方面的一些实现方式中，根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿，包括：
根据图像数据，通过预设算法确定包括目标对象的特征框；
根据特征框确定目标对象在图像采集设备的坐标系中的位姿。
第二方面提供了一种目标对象位姿的确定装置，该装置包括：
获取模块，用于通过至少一个图像采集设备获取目标对象的图像数据；
处理模块，用于根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿；
处理模块，还用于根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。
在第二方面的一些实现方式中，处理模块，还用于在根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿之前，获取至少一个图像采集设备的坐标系、至少一个标定板坐标系以及至少一个标定板在预设地图坐标系中的位姿；并根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿，确定每个图像采集设备所在节点的目标坐标变换关系；以及根据目标坐标变换关系确定目标对象坐标转换模型。
在第二方面的一些实现方式中，每个节点对应至少一个标定板；处理模块，还用于根据图像采集设备的坐标系和标定板坐标系，确定每个图像采集设备所在节点的第一坐标变换关系；根据每个标定板在预设地图坐标系中的位姿，确定每个节点的第二坐标变换关系；根据第一坐标变换关系和第二坐标变换关系确定目标坐标变换关系。
在第二方面的一些实现方式中，处理模块，还用于根据每个位姿中包括的标定板的四个顶点确定每个标定板与每个标定板之间的转换关系，并根据转换关系，确定每个节点的第二坐标变换关系。
第三方面，提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行所述计算机程序指令时实现第一方面，以及第一方面的一些实现方式中的目标对象位姿的确定方法。
第四方面，提供了一种计算机存储介质，该计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面，以及第一方面的一些实现方式中的目标对象位姿的确定方法。
本发明实施例提供了一种目标对象位姿的确定方法、装置、设备及存储介质。首先通过至少一个图像采集设备获取目标对象的图像数据；之后根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿；然后根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。因为目标对象坐标转换模型可以将目标对象在图像采集设备的坐标系中的位姿转换为在预设地图坐标系中的位姿，所以，可以实现对目标对象进行准确定位，从而解决了现有的技术方案中存在的定位效果较差的问题，提升了对目标对象进行定位的定位效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标对象位姿的确定系统的结构示意图；
图2是本发明实施例提供的一种目标对象位姿的确定方法的流程示意图；
图3是本发明实施例提供的一种神经网络的结构示意图；
图4是本发明实施例提供的一种目标对象在摄像机视平面上的2维(D)投影；
图5是本发明实施例提供的一种目标对象的坐标系转换流程示意图；
图6是本发明实施例提供的一种目标对象位姿的确定装置的结构示意图；
图7是本发明实施例提供的一种计算设备的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目标的定位，特别是广域的定位是一项视觉经典问题。货场、码头、仓库等场所越来越普遍地提升自动化水平，逐步开始尝试使用无人干预的自走机器人、工程车辆进行货物运输。而铺设磁导轨等方案，工程量巨大，投入资金多，因此需要一种基于是是觉得目标定位技术。而同步定位与地图构建(Simultaneous Localization And Mapping，SLAM)技术依赖于自走车辆的硬件支持，对现有车辆的升级无疑对用户不不友好，且多目标同时使用激光SLAM且部署较大时易出现相互致盲的问题。
此外，目前与本发明相近的现有技术方案主要包括了以下五个大类：
(1)SLAM技术，其核心在于实现一种基于视觉里程计的自定位方法，目前的视觉SLAM算法，通常是聚焦于在场景中存在动态物体时如何对图进行更新。该方法是通过自身的视觉里程计实现自定位的一种方法。
(2)传统的视觉技术在图像中对目标定位，再使用基于小孔摄像机系统下，按视线投影的定位方法。目前该方法通常是根据确定的图像子块在所述待识别图像中的位置，确定所述跟随设备与所述跟随目标的相对位置信息，但是该方法中依然不能摆脱基于小孔摄像机系统下，按视线投影的定位方法。因此对于目标高度较高，目标俯角较小的场景，精度较差。
(3)基于重叠视域的世界坐标系下目标位置计算方法中，重叠视域是目标可以定位的前提，也就是说目标一定出现在重叠视域下才可以实现定位。
(4)非重叠视域的尝试，一般都需要特殊结构或装置支持。
(5)其他技术或产品中使用RGBD相机实现类似功能，需要依赖深度相机。而深度相机、激光雷达等对拍摄物距、户外天气因素非常敏感，且成本远高于RGB相机。
现有技术中传统SLAM技术一般用于单个运动机器人的定位和地图重建，其计算核心一般部署于机器人的计算模块中，其输入来源一般为激光雷达、相机等。而如果对多目标进行定位时，如仓储机器人等场景，则需要在每台机器人上均部署激光雷达、相机、计算单元等。另外多目标间的路径规划、协同也具有较大困难。
现有技术还会使用双目或多目技术，并给予特征点、图像子块进行定位。如果使用稠密点云数据，其计算量过大，且对灯光、目标颜色、纹理具有依赖性；如果使用单一重投影点，对于体积较大的物体，如自动地牛车、自动运输机器人等难以做到准确定位。
更为重要的是，基于双目或多目的技术要求目标必须能同时被多个摄像机拍摄到，即不同摄像机需具有重叠视野，这一点对于摄像机部署的密度具有较高要求。一旦出现视线盲区，定位系统极易丢失目标。
由此可以看出，在现有的技术方案中，往往要基于双目或多目摄像头的技术方案，该方案要求目标必须能同时被多个摄像机拍摄到，即不同摄像机需具有重叠视野，这一点对于摄像机部署的密度具有较高要求，一旦不具有重叠视野即视线盲区，定位系统极易丢失目标。此外，如果使用传统SLAM技术，那么多目标间的路径规划、协同也具有较大困难。
综上所述，在现有的技术方案中存在对目标对象进行定位，定位效果较差的问题。
为了解决目前的技术方案中存在的对目标对象进行定位，定位效果较差的问题，本发明实施例提供了一种目标对象位姿的确定方法、装置、设备及存储介质。首先通过至少一个图像采集设备获取目标对象的图像数据；然后根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿；最后根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。因为目标对象坐标转换模型可以将目标对象在图像采集设备的坐标系中的位姿转换为在预设地图坐标系中的位姿，所以，可以实现对目标对象进行准确定位，从而解决了现有的技术方案中存在的定位效果较差的问题，提升了对目标对象进行定位的定位效果。
下面结合附图对本发明实施例提供的技术方案进行描述。
图1是本发明实施例提供的一种目标对象位姿的确定系统的结构示意图。本发明实施例提供的目标对象位姿的确定方法基于该确定系统实现。
如图1所示，该确定系统可以包括中央计算模块，多个边缘计算节点，每个边缘计算节点中包括图像采集设备和边缘计算模块。
其中，边缘计算节点中的图像采集设备用于获取目标对象的图像数据，此外，为了简洁描述，边缘计算节点也可以称为节点或边缘节点。
边缘计算节点中的边缘计算模块用于对图像数据进行处理，即根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿。
此外，边缘计算节点中的边缘计算模块还用于根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，该目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的，标定板具体可以为等距的黑白棋盘格。
中央计算模块用于存储以及更新目标对象在目标地图坐标系中的位姿。
本发明实施例中提供的目标对象位姿的确定系统因为边缘计算节点使用的目标对象坐标转换模型可以将目标对象在图像采集设备的坐标系中的位姿转换为在预设地图坐标系中的位姿，所以，可以实现对目标对象进行准确定位。从而解决了现有的技术方案中存在的定位效果较差的问题，提升了对目标对象进行定位的定位效果。
图2是本发明实施例提供的一种目标对象位姿的确定方法的流程示意图。该方法的执行主体可以为各个边缘计算节点或者其他处理设备。
如图2所示，目标对象位姿的确定方法可以包括：
S101：通过至少一个图像采集设备获取目标对象的图像数据。
其中，该图像采集设备是指单目的图像采集设备，该图像采集设备具体是指摄像机或者相机等设备，图像数据具体是指RGB图像数据。
S102：根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿。
在一种实施例中，可以使用全卷积的神经网络结构，整个网络的输入为RGB图像数据，输出为3D回归框(3D BoundingBox)，即目标对象在图像采集设备的坐标系中的位姿。其中，该神经网络结构的组成可以如图3所示，包括：编码器、译码器、回归子网络、多点透视成像(Perspective-n-Point，PnP)单元。
具体地，编码器、译码器结构，用于生成表征原始数据特征的高维特征张量；而回归子网络用于预测某一感受野中是否存在目标对象、目标对象的置信度、目标对象各顶点的2D坐标位置。
在一种实施例中，对于回归子网络的设计可以使用基于Anchor的回归方法。
图4是本发明实施例提供的一种目标对象在摄像机视平面上的2D投影，如图4所示，目标机器人即目标对象为待检测目标，经过目标检测算法，该目标对象可以被回归为1到8个点(如图中x位置)，该8个有序点表示了一个立方体在摄像机视平面上的2D投影。
之后，在经过非极大值抑制后，当其输出置信度高于某一阈值时，将8个2D投影点送入PnP单元。在一种实施例中可以采用高效多点透视成像(Efficient PnP，EPnP)技术求解3D坐标位置，经过坐标系变换既可以获得目标对象在图像采集设备的坐标系下的位置和尺寸，即在图像采集设备的坐标系下的位姿。
此外，在一个实施例中，目标对象在图像采集设备的坐标系下的位姿可以包括目标的6自由度(degree of freedom，DOF)信息。
S103：根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿。
其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。
在一个实施例中，在根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿之前，为了保证各模块工作正常，可以首先对各模块/节点进行状态初始化。其核心包括：边缘计算节点中的图像采集设备标定、中央计算模块的标定。初始化的核心在于，初始化边缘计算节点上的图像采集设备的坐标系与预设地图坐标系的关系。
在对边缘节点的图像采集设备标定时，具体可以采用EPnP技术，估计图像采集设备在世界坐标系下的位置姿态，即相机相对于世界坐标系原点的旋转、位移矩阵，以获得图像采集设备的坐标系，即相机坐标系。
之后，再引入预先设定好的标定板坐标系OG(以标定板中心为坐标原点)，以图像采集设备所在的对边缘计算节点A为例，对边缘计算节点的图像采集设备标定即是求取fA，使得OGA＝fA(OA)，其中，fA即为第一坐标变换关系，OA即为边缘节点A的图像采集设备的坐标系，OGA则是边缘节点A对应的标定板坐标系。
需要说明的是，对图像采集设备所在的边缘计算节点B、C…进行标定的过程与对边缘计算节点A的图像采集设备进行标定的过程相同，为了简洁，在此不做额外说明。
此外，在对图像采集设备所在的边缘计算节点进行标定时，还要记录每个边缘计算节点对应的标定板在预设地图坐标系的位姿。在得到各边缘节点的第一坐标变换关系之后，可以根据各个边缘计算节点对应的标定板在预设地图坐标系中的位姿，将不同的边缘计算节点对应的标定板坐标系转换为统一的目标地图坐标系OALL。
在转换为统一的目标地图坐标系OALL的过程中，即为求取每个边缘节点的第二坐标变换关系，使得OALL＝gA(OGA)＝gB(OGB)＝gC(OGC)＝…其中，gA即为边缘节点A的第二坐标变换关系，gB为边缘节点B的第二坐标变换关系，以此类推。
具体地，在确定每个边缘节点的第二坐标变换关系的过程中，可以根据记录的每个边缘节点对应的标定板在预设地图坐标系的位姿L，从该位姿中获取每个标定板的四个顶点在目标地图坐标系中的位置。例如，当各个标定板共面时，即各个标定板均可以通过2D的旋转和平移矩阵相互转换时，可以设g()＝M*T，M和T分别为旋转、平移矩阵。之后可以使用最小二乘法求解矩阵参数以确定g()，即可将所有图像采集设备所在的边缘节点全部统一为目标地图坐标系。
在得到每个节点的第一坐标变换关系以及第二坐标变换关系之后，可以根据第一坐标变换关系以及第二坐标变换关系确定目标坐标变换关系，以实现将目标对象在图像采集设备的坐标系中的位姿转换为在目标地图坐标系中的位姿，即，将目标对象在图像采集设备的坐标系中的位姿统一到一个目标地图坐标系中。
具体地，在确定目标坐标变换关系时以及在S102中获得目标对象在图像采集设备的坐标系下的位姿后，如图5所示，该位姿可以通过第一坐标变换关系f()将该位姿变换至标定板坐标系中，之后再通过第二坐标变换关系g()，将在标定板坐标系中目标对象的位姿转换至目标地图坐标系中，即，实现将目标对象在图像采集设备的坐标系中的位姿统一到一个坐标系中，该目标地图坐标系具体是指统一的世界坐标系。
此外，在一个实施例中，在边缘计算节点确定目标对象在预设地图坐标系中的位姿之后，可以将包括该位姿的信息发送给中央计算模块。该信息中还可以包括目标对象的3D回归框，即8个3D点；目标的置信度；在一种实施例中，该信息还可以包括目标的分类信息或特征信息。一般为一个特征向量，长度为128或512，用于射频识别(RadioFrequencyIdentification，REID)技术。因为这些信息体积较小速度较快，所以可以有效降低通信延迟。
在一个实施例中，可以不限制各边缘计算节点采用相同的算力，由于不同的计算节点计算载荷不同、计算能力可能存在差异，因此边缘计算节点可以异步地向中央计算模块上报数据。
在中央计算模块接收到数据后，可以首先遍历是否产生冲突。冲突是指地图中的某一位置在早些时刻由某一边缘计算节点上报存在一目标；而在当前时刻由另一边缘计算节点上报该位置也存在一目标。在一种实施例中，可以使用非极大值抑制(Non-MaximumSuppression，NMS)技术，尝试去除冗余的目标位置。若不存在冲突，可以直接更新该计算节点视野覆盖下的目标位姿。因此采用这种方法可以有效平衡不同计算节点的运算能力，始终保持高帧率更新地图和实现定位，在重叠视野中对同一目标可以有效融合。所以该方法实时性较强，中央计算单元的地图可以支持增量更新，能够实现在较高的帧率下持续地更新地图。
此外，又因为本发明实施例可以通过至少一个图像采集设备获取目标对象的图像数据，并根据该图像数据确定目标对象在预设地图坐标系中的位姿，所以，该技术是一种第三人称视角下对目标定位的技术，可以无需依赖双目、或多目重叠视野的特点，仅通过单目的图像采集设备即单目的摄像机，便可以实现目标的定位跟踪，对部署条件非常友好。而且，本发明实施例采用了分布式的计算方式，其算力主要部署于各边缘计算节点即各摄像头节点，所以无需对现有车辆、机器人进行复杂的改造升级，因此，本发明实施例可以广泛部署于仓储、货场、码头等室内外场景。
在本发明实施例提供的目标对象位姿的确定方法中，首先通过至少一个图像采集设备获取目标对象的图像数据；之后根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿；然后根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。因为目标对象坐标转换模型可以将目标对象在图像采集设备的坐标系中的位姿转换为在预设地图坐标系中的位姿，所以，可以实现对目标对象进行准确定位，从而解决了现有的技术方案中存在的定位效果较差的问题，提升了对目标对象进行定位的定位效果。
与图2中目标对象位姿的确定方法的流程示意图相对应，本发明实施例还提供了一种目标对象位姿的确定装置。
图6是本发明实施例提供的一种目标对象位姿的确定装置的结构示意图。如图6所示，目标对象位姿的确定装置包括：
获取模块601，可以用于通过至少一个图像采集设备获取目标对象的图像数据。
处理模块602，可以用于根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿。
处理模块602，还可以用于根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。
处理模块602，还可以用于在根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿之前，获取至少一个图像采集设备的坐标系、至少一个标定板坐标系以及至少一个标定板在预设地图坐标系中的位姿，并根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿，确定每个图像采集设备所在节点的目标坐标变换关系，然后根据目标坐标变换关系确定目标对象坐标转换模型。
在一个实施例中，每个节点对应至少一个标定板；处理模块602，还可以用于根据图像采集设备的坐标系和标定板坐标系，确定每个图像采集设备所在节点的第一坐标变换关系，并根据每个标定板在预设地图坐标系中的位姿，确定每个节点的第二坐标变换关系，然后根据第一坐标变换关系和第二坐标变换关系确定目标坐标变换关系。
处理模块602，还可以用于根据每个位姿中包括的标定板的四个顶点确定每个标定板与每个标定板之间的转换关系，并根据转换关系，确定每个节点的第二坐标变换关系。
在一个实施例中，转换关系包括旋转矩阵、平移矩阵中的至少一种；处理模块602，还可以用于根据旋转矩阵、平移矩阵中的至少一种，通过最小二乘法，确定每个节点的第二坐标变换关系。
处理模块602，还可以用于根据图像数据，通过预设算法确定包括目标对象的特征框，并根据特征框确定目标对象在图像采集设备的坐标系中的位姿。
可以理解的是，图6所示的目标对象位姿的确定装置中的各个模块具有实现图2中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
本发明实施例中提供的目标对象位姿的确定装置，首先获取模块通过至少一个图像采集设备获取目标对象的图像数据；之后处理模块根据图像数据，通过预设算法确定目标对象在图像采集设备的坐标系中的位姿，并根据位姿和目标对象坐标转换模型，确定目标对象在目标地图坐标系中的位姿，其中，目标对象坐标转换模型是根据图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。因为目标对象坐标转换模型可以将目标对象在图像采集设备的坐标系中的位姿转换为在预设地图坐标系中的位姿，所以，可以实现对目标对象进行准确定位，从而解决了现有的技术方案中存在的定位效果较差的问题，提升了对目标对象进行定位的定位效果。
图7是本发明实施例提供的一种计算设备的硬件架构的结构图。如图7所示，计算设备700包括输入接口701、中央处理器702、存储器703以及输出接口704。其中，输入接口701、中央处理器702、存储器703、以及输出接口704通过总线710相互连接。
具体地，输入接口701用于接收至少一个图像采集设备获取目标对象的图像数据，并将该图像数据传送到中央处理器702；中央处理器702基于存储器703中存储的计算机可执行指令对图像数据进行处理以确定目标对象在目标地图坐标系中的位姿，并将该位姿临时或者永久地存储在存储器703中，然后通过输出接口704将该位姿输出到计算设备700的外部供用户使用。
也就是说，图7所示的计算设备也可以被实现为目标对象位姿的确定设备，该目标对象位姿的确定设备可以包括：处理器以及存储有计算机可执行指令的存储器；该处理器在执行计算机可执行指令时可以实现本发明实施例提供的目标对象位姿的确定方法。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的目标对象位姿的确定方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体地步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory，ROM)、闪存、可消除的只读存储器(ErasableRead Only Memory，EROM)、软盘、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、光盘、硬盘、光纤介质、射频(Radio Frequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种目标对象位姿的确定方法，其特征在于，所述方法包括：
通过至少一个图像采集设备获取目标对象的图像数据；
根据所述图像数据，通过预设算法确定所述目标对象在所述图像采集设备的坐标系中的位姿；
根据所述位姿和目标对象坐标转换模型，确定所述目标对象在目标地图坐标系中的位姿，其中，所述目标对象坐标转换模型是根据所述图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。
2.根据权利要求1所述的方法，其特征在于，在根据所述位姿和目标对象坐标转换模型，确定所述目标对象在目标地图坐标系中的位姿之前，所述方法包括：
获取至少一个图像采集设备的坐标系、至少一个标定板坐标系以及至少一个标定板在预设地图坐标系中的位姿；
根据所述图像采集设备的坐标系、所述标定板坐标系以及所述标定板在预设地图坐标系的位姿，确定每个图像采集设备所在节点的目标坐标变换关系；
根据所述目标坐标变换关系确定所述目标对象坐标转换模型。
3.根据权利要求2所述的方法，其特征在于，每个节点对应至少一个标定板；所述根据所述图像采集设备的坐标系、所述标定板坐标系以及所述标定板在预设地图坐标系的位姿，确定每个图像采集设备所在节点的目标坐标变换关系，包括：
根据所述图像采集设备的坐标系和所述标定板坐标系，确定每个图像采集设备所在节点的第一坐标变换关系；
根据每个标定板在预设地图坐标系中的位姿，确定每个节点的第二坐标变换关系；
根据所述第一坐标变换关系和所述第二坐标变换关系确定目标坐标变换关系。
4.根据权利要求3所述的方法，其特征在于，所述根据每个标定板在预设地图坐标系中的位姿，确定每个节点的第二坐标变换关系，包括：
根据每个位姿中包括的标定板的四个顶点确定每个标定板与每个标定板之间的转换关系；
根据所述转换关系，确定每个节点的第二坐标变换关系。
5.根据权利要求4所述的方法，其特征在于，所述转换关系包括旋转矩阵、平移矩阵中的至少一种；所述根据所述转换关系，确定每个节点的第二坐标变换关系，包括：
根据旋转矩阵、平移矩阵中的至少一种，通过最小二乘法，确定每个节点的第二坐标变换关系。
6.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据，通过预设算法确定所述目标对象在所述图像采集设备的坐标系中的位姿，包括：
根据所述图像数据，通过预设算法确定包括所述目标对象的特征框；
根据所述特征框确定所述目标对象在所述图像采集设备的坐标系中的位姿。
7.一种目标对象位姿的确定装置，其特征在于，所述装置包括：
获取模块，用于通过至少一个图像采集设备获取目标对象的图像数据；
处理模块，用于根据所述图像数据，通过预设算法确定所述目标对象在所述图像采集设备的坐标系中的位姿；
所述处理模块，还用于根据所述位姿和目标对象坐标转换模型，确定所述目标对象在目标地图坐标系中的位姿，其中，所述目标对象坐标转换模型是根据所述图像采集设备的坐标系、标定板坐标系以及标定板在预设地图坐标系的位姿确定的。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，还用于在根据所述位姿和目标对象坐标转换模型，确定所述目标对象在目标地图坐标系中的位姿之前，获取至少一个图像采集设备的坐标系、至少一个标定板坐标系以及至少一个标定板在预设地图坐标系中的位姿；并根据所述图像采集设备的坐标系、所述标定板坐标系以及所述标定板在预设地图坐标系的位姿，确定每个图像采集设备所在节点的目标坐标变换关系；以及根据所述目标坐标变换关系确定所述目标对象坐标转换模型。
9.根据权利要求8所述的装置，其特征在于，每个节点对应至少一个标定板；所述处理模块，还用于根据所述图像采集设备的坐标系和所述标定板坐标系，确定每个图像采集设备所在节点的第一坐标变换关系；根据每个标定板在预设地图坐标系中的位姿，确定每个节点的第二坐标变换关系；根据所述第一坐标变换关系和所述第二坐标变换关系确定目标坐标变换关系。
10.根据权利要求9所述的装置，其特征在于，所述处理模块，还用于根据每个位姿中包括的标定板的四个顶点确定每个标定板与每个标定板之间的转换关系，并根据所述转换关系，确定每个节点的第二坐标变换关系。
11.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的目标对象位姿的确定方法。
12.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的目标对象位姿的确定方法。
CN202110414566.9A 2021-04-16 2021-04-16 目标对象位姿的确定方法、装置、设备及存储介质 Pending CN113313755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110414566.9A CN113313755A (zh) 2021-04-16 2021-04-16 目标对象位姿的确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110414566.9A CN113313755A (zh) 2021-04-16 2021-04-16 目标对象位姿的确定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113313755A true CN113313755A (zh) 2021-08-27

Family

ID=77372426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110414566.9A Pending CN113313755A (zh) 2021-04-16 2021-04-16 目标对象位姿的确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113313755A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023142555A1 (zh) * 2022-01-26 2023-08-03 上海商汤智能科技有限公司 数据处理方法和装置、计算机设备、存储介质及计算机程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766001A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 一种不同mr设备坐标系的统一方法、系统及存储介质
CN110421565A (zh) * 2019-08-07 2019-11-08 江苏汇博机器人技术股份有限公司 一种用于实训的机器人全局定位与测量系统和方法
CN111127422A (zh) * 2019-12-19 2020-05-08 北京旷视科技有限公司 图像标注方法、装置、系统及主机
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
US20200394445A1 (en) * 2019-06-14 2020-12-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle
CN112150561A (zh) * 2020-10-20 2020-12-29 叠境数字科技（上海）有限公司 一种多相机标定方法
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766001A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 一种不同mr设备坐标系的统一方法、系统及存储介质
US20200394445A1 (en) * 2019-06-14 2020-12-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle
CN110421565A (zh) * 2019-08-07 2019-11-08 江苏汇博机器人技术股份有限公司 一种用于实训的机器人全局定位与测量系统和方法
CN111127422A (zh) * 2019-12-19 2020-05-08 北京旷视科技有限公司 图像标注方法、装置、系统及主机
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112150561A (zh) * 2020-10-20 2020-12-29 叠境数字科技（上海）有限公司 一种多相机标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘树春等: "深度实践OCR：基于深度学习的文字识别", 31 May 2020, 机械工业出版社, pages: 88 - 90 *
张强: "基于深度神经网络技术的高分遥感图像处理及应用", 31 August 2020, 中国宇航出版社, pages: 47 - 51 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023142555A1 (zh) * 2022-01-26 2023-08-03 上海商汤智能科技有限公司 数据处理方法和装置、计算机设备、存储介质及计算机程序产品

Similar Documents

Publication Publication Date Title
CN109737974B (zh) 一种3d导航语义地图更新方法、装置及设备
US10192113B1 (en) Quadocular sensor design in autonomous platforms
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN108319655B (zh) 用于生成栅格地图的方法和装置
US10496104B1 (en) Positional awareness with quadocular sensor in autonomous platforms
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
Xiao et al. Planar segment based three‐dimensional point cloud registration in outdoor environments
Broggi et al. Terrain mapping for off-road autonomous ground vehicles using rational b-spline surfaces and stereo vision
US11393114B1 (en) Method and system for collaborative construction of a map
Mojtahedzadeh Robot obstacle avoidance using the Kinect
Meier et al. Visual‐inertial curve simultaneous localization and mapping: Creating a sparse structured world without feature points
CN111856499B (zh) 基于激光雷达的地图构建方法和装置
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
WO2023164845A1 (zh) 三维重建方法、装置、系统及存储介质
Ivancsits et al. Visual navigation system for small unmanned aerial vehicles
Garrote et al. 3D point cloud downsampling for 2D indoor scene modelling in mobile robotics
Booij et al. Efficient data association for view based SLAM using connected dominating sets
CN113313755A (zh) 目标对象位姿的确定方法、装置、设备及存储介质
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
US11561553B1 (en) System and method of providing a multi-modal localization for an object
Contreras et al. Efficient decentralized collaborative mapping for outdoor environments
CN111780744B (zh) 移动机器人混合导航方法、设备及存储装置
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
Tu et al. Method of Using RealSense Camera to Estimate the Depth Map of Any Monocular Camera
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination