CN113345023A - 箱体的定位方法、装置、介质和电子设备 - Google Patents

箱体的定位方法、装置、介质和电子设备 Download PDF

Info

Publication number
CN113345023A
CN113345023A CN202110758701.1A CN202110758701A CN113345023A CN 113345023 A CN113345023 A CN 113345023A CN 202110758701 A CN202110758701 A CN 202110758701A CN 113345023 A CN113345023 A CN 113345023A
Authority
CN
China
Prior art keywords
box body
point cloud
top surface
cloud data
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110758701.1A
Other languages
English (en)
Other versions
CN113345023B (zh
Inventor
沈蕾
万保成
刘伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202110758701.1A priority Critical patent/CN113345023B/zh
Publication of CN113345023A publication Critical patent/CN113345023A/zh
Application granted granted Critical
Publication of CN113345023B publication Critical patent/CN113345023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本发明实施例提供了一种箱体的定位方法、装置、介质和电子设备，所述调整方法包括：获取箱体的点云数据；根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据；将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系；对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框；根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵；根据所述初始变换矩阵获取配准矩阵；根据所述配准矩阵对所述箱体进行定位。本发明方案能够提高箱体的定位精度和准确率。

Description

箱体的定位方法、装置、介质和电子设备
技术领域
本发明涉及机器人的视觉识别领域，具体而言，涉及一种箱体的定位方法、装置、计算机可读存储介质和电子设备。
背景技术
目前很多任务涉及到基于视觉的目标识别和定位，例如机械臂拆码垛、机械臂的箱内拣选、机械臂流水线装配作业、基于视觉的导航和定位等等。对于箱内拣选的场景，大致分两类任务：从来料箱中定位并抓取商品；定位目的箱及投放点，进行商品的投放。不论是第一类还是第二类任务，都需要对箱体进行定位，对第二类任务还额外需要对投放点进行定位。箱体定位精度直接影响到后续商品识别步骤以及箱体碰撞检测步骤，因此较为重要。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种箱体的定位方法、装置、计算机可读存储介质和电子设备。
本发明的其它特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明实施例的一个方面，提供了一种箱体的定位方法，包括：
获取箱体的点云数据；
根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据；
将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系；
对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框；
根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵；
根据所述初始变换矩阵获取配准矩阵；
根据所述配准矩阵对所述箱体进行定位。
在一个实施例中，方法还包括：
根据所述箱体所在的平台的台面方程和所述箱体的高度建立所述箱体的顶面所在的平面坐标系。
在一个实施例中，方法还包括：
保存所述箱体的顶面的点云数据与投影至所述箱体的顶面所在的平面坐标系的点云之间的第一映射关系。
在一个实施例中，方法还包括：
根据所述连通域内的点云和所述第一映射关系获取所述箱体的顶面的连通域点云数据。
在一个实施例中，根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵包括：
根据所述第一映射关系获取所述最小包围框四个角点的三维坐标；
根据所述最小包围框四个角点的三维坐标与所述箱体的模型的顶面的四个角点的三维坐标获取初始变换矩阵。
在一个实施例中，根据所述初始变换矩阵获取配准矩阵包括：
根据所述箱体的顶面的连通域点云数据、所述箱体的模型的顶面点云数据和所述初始变换矩阵获取所述配准矩阵。
在一个实施例中，获取箱体的点云数据包括：
获取所述箱体的原始点云的水平面和矢状面。
根据本发明实施例的一个方面，提供了一种箱体的定位装置，包括：
第一获取模块，配置为获取箱体的点云数据；
第二获取模块，配置为根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据；
投影模块，配置为将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系；
连通域分析模块，配置为对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框；
第三获取模块，配置为根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵；
第四获取模块，配置为根据所述初始变换矩阵获取配准矩阵；
定位模块，配置为根据所述配准矩阵对所述箱体进行定位。
根据本发明实施例的一个方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上实施例中任一项所述的方法。
根据本发明实施例的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上实施例中任一项所述的方法。
本发明实施例提供的技术方案可以包括以下有益效果：
用于物流过程中的箱体的定位，从而提高箱体的定位精度和准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。在附图中：
图1示意性示出了本公开示例性实施方式的一种箱体的定位方法；
图2示出了本公开一个实施例中的机械臂的抓取流程图；
图3是本公开一个实施例的箱体定位的算法流程图；
图4展示了本公开一个实施例的原始点云的水平面；
图5展示了本公开一个实施例的原始点云的矢状面；
图6展示了本公开一个实施例的过滤后得到的箱体的顶面的点云数据；
图7示出了根据本公开实施例提供的一种箱体的定位装置；
图8示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例性实施方式。然而，示例性实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本发明将更加全面和完整，并将示例性实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
虽然本说明书中使用相对性的用语，例如“上”“下”来描述图标的一个组件对于另一组件的相对关系，但是这些术语用于本说明书中仅出于方便，例如根据附图中所述的示例的方向。能理解的是，如果将图标的模块翻转使其上下颠倒，则所叙述在“上”的组件将会成为在“下”的组件。其他相对性的用语，例如“高”“低”“顶”“底”“左”“右”等也作具有类似含义。当某结构在其它结构“上”时，有可能是指某结构一体形成于其它结构上，或指某结构“直接”设置在其它结构上，或指某结构通过另一结构“间接”设置在其它结构上。
用语“一个”、“一”、“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
目前大多基于3D(三维)点云进行箱体的定位，3D点云定位大致有对平面的分割(获取)与定位，或者建立箱体模型，进行ICP(Iterative Closest Point，迭代最近点算法)定位。对平面进行分割和定位的方法不够鲁棒，当箱体发生形变时或者周围环境存在平面时，分割结果容易发生错误。而直接进行ICP定位，则会由于没有给出正确的初始位姿而导致算法不收敛。
为解决以上问题，本公开提供一种箱体的定位方法，用于物流过程中的箱体的定位，从而提高箱体的定位精度和准确率。
图1示意性示出了本公开示例性实施方式的一种箱体的定位方法。本公开实施例提供的方法可以由任意具备计算机处理能力的电子设备执行，例如终端设备和/或服务器。参考图1，该箱体的定位方法适用于物流过程中箱体的定位，可以包括以下步骤：
步骤S102，获取箱体的点云数据；
步骤S104，根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据；
步骤S106，将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系；
步骤S108，对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框；
步骤S110，根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵；
步骤S112，根据所述初始变换矩阵获取配准矩阵；
步骤S114，根据所述配准矩阵对所述箱体进行定位。
在本公开实施例的技术方案中，提出了利用箱体的几何信息对点云进行过滤粗略得到箱体上沿点云，将箱体上沿点云沿着箱体的顶面所在的平面坐标系进行投影得到二维投影图像，然后分析连通域，找到箱体点云对应的连通域，再根据连通域的最小包围框可追溯得到初始变换矩阵，再利用这些信息，通过ICP进行精细配准以获取配准矩阵，最终可以得到箱体在场景中的内外角点坐标以及投放点坐标。
在步骤S102中，获取箱体的点云数据。
在该步骤中，终端设备和/或服务器获取箱体的点云数据。在一个实施例中，获取箱体的点云数据包括：终端设备和/或服务器获取所述箱体的原始点云的水平面和矢状面。
在步骤S104中，根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据。
在该步骤中，终端设备和/或服务器根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据。
在步骤S106中，将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系。
在该步骤中，终端设备和/或服务器将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系。
在一个实施例中，终端设备和/或服务器根据所述箱体所在的平台的台面方程和所述箱体的高度建立所述箱体的顶面所在的平面坐标系。
在一个实施例中，终端设备和/或服务器保存所述箱体的顶面的点云数据与投影至所述箱体的顶面所在的平面坐标系的点云之间的第一映射关系。
在步骤S108中，对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框。
在该步骤中，终端设备和/或服务器对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框。
在步骤S110中，根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵。
在该步骤中，终端设备和/或服务器根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵。
在一个实施例中，终端设备和/或服务器根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵包括：
根据所述第一映射关系获取所述最小包围框四个角点的三维坐标；
根据所述最小包围框四个角点的三维坐标与所述箱体的模型的顶面的四个角点的三维坐标获取初始变换矩阵。在一个实施例中，所述箱体的模型是指在ICP分析中，预先建立的所述箱体的三维模型。
在步骤S112中，根据所述初始变换矩阵获取配准矩阵。
在该步骤中，终端设备和/或服务器根据所述初始变换矩阵获取配准矩阵。
在一个实施例中，终端设备和/或服务器根据所述连通域内的点云和所述第一映射关系获取所述箱体的顶面的连通域点云数据。
在一个实施例中，根据所述初始变换矩阵获取配准矩阵包括：
根据所述箱体的顶面的连通域点云数据、所述箱体的模型的顶面点云数据和所述初始变换矩阵获取所述配准矩阵。
在步骤S114中，根据所述配准矩阵对所述箱体进行定位。
在该步骤中，终端设备和/或服务器根据所述配准矩阵对所述箱体进行定位。ICP的输入为初始位姿、模型点云、场景中的点云，输出为配准矩阵。在S114中，得到了模型点云到场景点云的配准矩阵后就可以运用配准矩阵去得到模型中的任何一个点(比如例子中所举的投放点)在场景点云中的实际坐标。
ICP定位精度较高，但需要给出初始位姿，否则算法可能不会收敛。本公开给出了一种先分割出箱体最上层点云，而后投影到箱体最上层平面以给出箱体的初始位姿，而后和箱体的点云模型(即，箱体模型)进行ICP精细配准，并通过事先确定投放点在点云模型中的位置，在得到配准矩阵后，直接利用配准矩阵计算得到实际投放点的位置。配准矩阵是从箱体模型坐标到箱子实体点云坐标转换的矩阵。
本公开提出的箱体定位方法为机械臂基于视觉的目标识别任务中的一个环节，下面以箱内拣选为例介绍目标检测的大致的一个流程。
箱内拣选一般来说会有一个中转箱，物品出库时放置在中转箱内。中转箱随着其他设备来到拣选台后，相机拍照，进行目标检测，给出识别目标的拣选点以及拣选姿态，机械臂进行路径规划进行抓取。
图2示出了本公开一个实施例中的机械臂的抓取流程图。
对于箱内拣选的场景，箱体一旦定位成功后，即可得到箱内壁或者外壁区域。
而对于投放点的定位，箱体定位成功后，可依据箱体和投放点的相对位置定位投放点或者利用配准矩阵定位投放点。
图3是本公开一个实施例的箱体定位的算法流程图。
下面针对图3的流程图中的步骤逐一说明。
根据箱体距离台面(拣选台)的高度(即箱体的高度)过滤掉除箱体外的点云：
一般来说，台面方程可以通过事先标定得到，然后对箱体的点云中的每个点，计算到台面方程的距离，如果距离大致等于箱体高度，则保留，否则，过滤掉。
图4展示了本公开一个实施例的原始点云的水平面。
图5展示了本公开一个实施例的原始点云的矢状面。
图6展示了本公开一个实施例的过滤后得到的箱体的顶面的点云数据。
参考图6，经过过滤步骤后，可以得到包含一些杂点以及绝大部分箱体上沿的点云。
将图6所示过滤后点云投影至箱体顶面坐标系，得到二维的投影图像。
对过滤步骤得到的点云，投影至箱体顶面坐标系，简单而言，就是将图6的点云转换到箱体的顶面所在的平面坐标系，只保留x和y方向的信息，生成一张二维的投影图像。
将图6的每个点记为(x,y,z)，投影到二维图像上的点的坐标为(r,c)，建立一个set集合记录这种映射关系：
Set((r,c))＝{投影到空间坐标的(x,y,z)集合}(1)
对投影图像分析连通域，得到箱体区域的连通域以及初始位姿。
对投影图像分析连通域，连通域的最小包围框尺寸(最接近箱体尺寸)内的点云即为箱体上沿候选点，记此连通域中的每个点的二维坐标集合为C。
对C的每个点的坐标(cr,cc)，通过(1)即可得到箱体上沿点云数据(记为cloud0，箱体的顶面的连通域点云数据，即箱体的顶面的连通域对应的场景中的点云数据)。
同时，将C的最小包围框的4个角点变换回相机坐标系(三维)，得到的4个角点记为(P0,P1,P2,P3)，根据这4个角点和事先采集好的箱体模型的4个角点计算初始变换矩阵(记为M0)。
进行ICP精细配准，得到最终的配准矩阵：
将M0、箱体点云模型的上沿点云以及得到的cloud0，输入给ICP进行迭代，最终得到配准矩阵M。
若箱体上沿模型点云的外角点集合记为bound_corners，内角点集合为inside_corners，投放点集合为delivery_points：
则M*bound_corners即可得到场景中的外角点三维坐标；
M*inside_corners即可得到场景中的内角点三维坐标；
M*delivery_points即可得到场景中的投放点三维坐标。
本公开提出了利用3D点云信息，利用箱体的几何信息(高度)对箱体的点云数据进行过滤粗略得到箱体上沿点云，将箱体上沿点云沿着箱体上沿平面进行投影得到二维投影图像，然后分析连通域，找到箱体点云对应的连通域，再根据连通域的每个点的坐标和点云坐标的对应关系，即可追溯得到场景中箱体上沿点云以及对应箱体点云模型的初始变换矩阵，再通过ICP进行精细配准，最终得到箱体在场景中的内外角点坐标以及投放点坐标。
以下介绍本公开的装置实施例，可以用于执行本公开上述的箱体的定位方法。
图7示出了根据本公开实施例提供的一种箱体的定位装置700。
如图7所示，根据本公开实施例提供的一种箱体的定位装置700可以包括：
第一获取模块710，配置为获取箱体的点云数据；
第二获取模块720，配置为根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据；
投影模块730，配置为将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系；
连通域分析模块740，配置为对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框；
第三获取模块750，配置为根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵；
第四获取模块760，配置为根据所述初始变换矩阵获取配准矩阵；
定位模块770，配置为根据所述配准矩阵对所述箱体进行定位。
由于本公开的示例实施例的箱体的定位装置的各个功能模块与上述箱体的定位方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的箱体的定位方法的实施例。
在本公开实施例提供的箱体的定位装置，提出了利用箱体的几何信息对点云进行过滤粗略得到箱体上沿点云，将箱体上沿点云沿着箱体的顶面所在的平面坐标系进行投影得到二维投影图像，然后分析连通域，找到箱体点云对应的连通域，再根据连通域的最小包围框可追溯得到初始变换矩阵，再利用这些信息，通过ICP进行精细配准以获取配准矩阵，最终可以得到箱体在场景中的内外角点坐标以及投放点坐标。
下面参考图8，其示出了适于用来实现本公开实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备的计算机系统800仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统操作所需的各种程序和数据。CPU801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的箱体的定位方法。
例如，所述的电子设备可以实现如图1中所示的各个步骤。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种箱体的定位方法，其特征在于，包括：
获取箱体的点云数据；
根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据；
将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系；
对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框；
根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵；
根据所述初始变换矩阵获取配准矩阵；
根据所述配准矩阵对所述箱体进行定位。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据所述箱体所在的平台的台面方程和所述箱体的高度建立所述箱体的顶面所在的平面坐标系。
3.根据权利要求1所述的方法，其特征在于，还包括：
保存所述箱体的顶面的点云数据与投影至所述箱体的顶面所在的平面坐标系的点云之间的第一映射关系。
4.根据权利要求3所述的方法，其特征在于，还包括：
根据所述连通域内的点云和所述第一映射关系获取所述箱体的顶面的连通域点云数据。
5.根据权利要求3所述的方法，其特征在于，根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵包括：
根据所述第一映射关系获取所述最小包围框四个角点的三维坐标；
根据所述最小包围框四个角点的三维坐标与所述箱体的模型的顶面的四个角点的三维坐标获取初始变换矩阵。
6.根据权利要求4所述的方法，其特征在于，根据所述初始变换矩阵获取配准矩阵包括：
根据所述箱体的顶面的连通域点云数据、所述箱体的模型的顶面点云数据和所述初始变换矩阵获取所述配准矩阵。
7.根据权利要求1所述的方法，其特征在于，获取箱体的点云数据包括：
获取所述箱体的原始点云的水平面和矢状面。
8.一种箱体的定位装置，其特征在于，包括：
第一获取模块，配置为获取箱体的点云数据；
第二获取模块，配置为根据所述箱体的点云数据和所述箱体的高度获取所述箱体的顶面的点云数据；
投影模块，配置为将所述箱体的顶面的点云数据投影至所述箱体的顶面所在的平面坐标系；
连通域分析模块，配置为对投影至所述箱体的顶面所在的平面坐标系的点云进行连通域分析以获取最小包围框；
第三获取模块，配置为根据所述最小包围框四个角点的坐标与所述箱体的模型的顶面的四个角点的坐标获取初始变换矩阵；
第四获取模块，配置为根据所述初始变换矩阵获取配准矩阵；
定位模块，配置为根据所述配准矩阵对所述箱体进行定位。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202110758701.1A 2021-07-05 2021-07-05 箱体的定位方法、装置、介质和电子设备 Active CN113345023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110758701.1A CN113345023B (zh) 2021-07-05 2021-07-05 箱体的定位方法、装置、介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110758701.1A CN113345023B (zh) 2021-07-05 2021-07-05 箱体的定位方法、装置、介质和电子设备

Publications (2)

Publication Number Publication Date
CN113345023A true CN113345023A (zh) 2021-09-03
CN113345023B CN113345023B (zh) 2024-03-01

Family

ID=77482571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110758701.1A Active CN113345023B (zh) 2021-07-05 2021-07-05 箱体的定位方法、装置、介质和电子设备

Country Status (1)

Country Link
CN (1) CN113345023B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023168955A1 (zh) * 2022-03-08 2023-09-14 北京京东乾石科技有限公司 拾取位姿信息确定方法、装置、设备和计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180316082A1 (en) * 2017-04-26 2018-11-01 Nokomis, Inc. Electronics card insitu testing apparatus and method utilizing unintended rf emission features
CN110443840A (zh) * 2019-08-07 2019-11-12 山东理工大学 实物表面采样点集初始配准的优化求解方法
CN111540040A (zh) * 2020-04-20 2020-08-14 上海曼恒数字技术股份有限公司 一种基于点云数据进行模型构建方法、装置、存储介质
CN111815683A (zh) * 2019-04-12 2020-10-23 北京京东尚科信息技术有限公司 目标定位方法及装置、电子设备和计算机可读介质
CN112001955A (zh) * 2020-08-24 2020-11-27 深圳市建设综合勘察设计院有限公司 一种基于二维投影平面匹配约束的点云配准方法及系统
WO2021007716A1 (en) * 2019-07-12 2021-01-21 Beijing Voyager Technology Co., Ltd. Systems and methods for positioning
US20210201525A1 (en) * 2019-12-25 2021-07-01 Adat Technology Co., Ltd. Augmented reality device and positioning method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180316082A1 (en) * 2017-04-26 2018-11-01 Nokomis, Inc. Electronics card insitu testing apparatus and method utilizing unintended rf emission features
CN111815683A (zh) * 2019-04-12 2020-10-23 北京京东尚科信息技术有限公司 目标定位方法及装置、电子设备和计算机可读介质
WO2021007716A1 (en) * 2019-07-12 2021-01-21 Beijing Voyager Technology Co., Ltd. Systems and methods for positioning
CN110443840A (zh) * 2019-08-07 2019-11-12 山东理工大学 实物表面采样点集初始配准的优化求解方法
US20210201525A1 (en) * 2019-12-25 2021-07-01 Adat Technology Co., Ltd. Augmented reality device and positioning method
CN111540040A (zh) * 2020-04-20 2020-08-14 上海曼恒数字技术股份有限公司 一种基于点云数据进行模型构建方法、装置、存储介质
CN112001955A (zh) * 2020-08-24 2020-11-27 深圳市建设综合勘察设计院有限公司 一种基于二维投影平面匹配约束的点云配准方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙殿柱;沈江华;李延瑞;林伟;: "序列图像约束的点云初始配准方法", 机械工程学报, no. 09, pages 229 - 236 *
柯晓龙;李建松;刘金榜;余洋;: "基于可量测街景的广告牌管理系统设计与实现", 测绘地理信息, no. 02, pages 71 - 73 *
王君臣;王田苗;徐源;方礼明;: "基于ICP算法的手术导航三维配准技术", 北京航空航天大学学报, no. 04, pages 434 - 438 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023168955A1 (zh) * 2022-03-08 2023-09-14 北京京东乾石科技有限公司 拾取位姿信息确定方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
CN113345023B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN108732582B (zh) 车辆定位方法和装置
CN109870983B (zh) 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
CN109242903B (zh) 三维数据的生成方法、装置、设备及存储介质
US10500727B1 (en) Methods and apparatus for determining the pose of an object based on point cloud data
CN111754515B (zh) 堆叠物品的顺序抓取方法和装置
CN110176078B (zh) 一种训练集数据的标注方法及装置
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
CN111178250A (zh) 物体识别定位方法、装置及终端设备
Safaee-Rad et al. Accurate parameter estimation of quadratic curves from grey-level images
US20220414910A1 (en) Scene contour recognition method and apparatus, computer-readable medium, and electronic device
CN109213202B (zh) 基于光学伺服的货物摆放方法、装置、设备和存储介质
CN113191174B (zh) 物品定位方法和装置、机器人及计算机可读存储介质
CN112132523A (zh) 一种货物数量确定方法、系统和装置
CN107680125A (zh) 在视觉系统中自动选择三维对准算法的系统和方法
CN112102375B (zh) 一种点云配准可靠性检测的方法、装置、移动智慧设备
CN113393514A (zh) 一种三维无序点云数据处理方法、系统及设备
WO2020186894A1 (zh) 箱体建模方法、装置、机器人拣选系统、电子设备及介质
CN113345023B (zh) 箱体的定位方法、装置、介质和电子设备
Shangguan et al. Vision-based object recognition and precise localization for space body control
CN111815683B (zh) 目标定位方法及装置、电子设备和计算机可读介质
CN112465908A (zh) 一种物体定位方法、装置、终端设备及存储介质
US20220128347A1 (en) System and method to measure object dimension using stereo vision
Sahu et al. Shape features for image-based servo-control using image moments
CN113561181B (zh) 目标检测模型的更新方法、装置及系统
CN115272465A (zh) 物体定位方法、装置、自主移动设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant