CN110189376B - 物体定位方法及物体定位装置 - Google Patents

物体定位方法及物体定位装置 Download PDF

Info

Publication number
CN110189376B
CN110189376B CN201910372396.5A CN201910372396A CN110189376B CN 110189376 B CN110189376 B CN 110189376B CN 201910372396 A CN201910372396 A CN 201910372396A CN 110189376 B CN110189376 B CN 110189376B
Authority
CN
China
Prior art keywords
pattern
frame
cloud data
image
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910372396.5A
Other languages
English (en)
Other versions
CN110189376A (zh
Inventor
杨文超
王恺
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Robotics Guangzhou Co ltd
Original Assignee
Cloudminds Beijing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Beijing Technologies Co Ltd filed Critical Cloudminds Beijing Technologies Co Ltd
Priority to CN201910372396.5A priority Critical patent/CN110189376B/zh
Publication of CN110189376A publication Critical patent/CN110189376A/zh
Application granted granted Critical
Publication of CN110189376B publication Critical patent/CN110189376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及视觉识别技术领域，公开了一种物体定位方法，包括：获取物体的图像，其中，物体表面设置有至少一张平面图案，平面图案具有可识别边框，图像中包含平面图案；识别图像中平面图案的可识别边框；获取平面图案的点云数据，并确定可识别边框的顶边和底边；根据点云数据以及顶边和底边确定物体的中心点，并依据中心点对物体进行定位。本发明实施方式中提供的物体定位方法及物体定位装置，利于控制机器人准确抓取物体。

Description

物体定位方法及物体定位装置
技术领域
本发明实施例涉及视觉识别技术领域，特别涉及一种物体定位方法及物体定位装置。
背景技术
随着机器人技术的日新月异，人们越来越寄希望于看到机器人拥有和人类类似的外形，能够像正常人那样完成拿可乐瓶、抓盒子等自由操作。伴随着仿人类机器人不断推出，让机器人长得越来越像人已经基本实现了，但是要让机器人如同人一样去执行一些精细的操作，比如从杂乱的桌面上拿起一个苹果、拿着杯子去接咖啡等等还显得非常吃力，主要原因是机器人定位这些复杂的物体精度不高，机械结构执行也有累积误差导致。
然而，发明人发现相关技术中至少存在如下问题：目前对于三维物体定位主要有基于机器学习的方法和RGBD重建拟合的方法，但由于从不同方向看到的物体图像存在差异，导致这些方法的定位准确度和精度都受到限制，不利于控制机器人准确抓取物体。
发明内容
本发明实施方式的目的在于提供一种物体定位方法及物体定位装置，利于控制机器人准确抓取物体。
为解决上述技术问题，本发明的实施方式提供了一种物体定位方法，包括：获取物体的图像，其中，物体表面设置有至少一张平面图案，平面图案具有可识别边框，图像中包含平面图案；识别图像中平面图案的可识别边框；获取平面图案的点云数据，并确定可识别边框的顶边和底边；根据点云数据以及顶边和底边确定物体的中心点，并依据中心点对物体进行定位。
本发明的实施方式还提供了一种物体定位装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述物体定位方法。
本发明实施方式相对于现有技术而言，提供了一种物体定位方法，其在物体表面设置至少一张具有可识别边框的平面图案，并获取物体的图像，图像中包含平面图案，定位图像中物体表面的平面图案的可识别边框，依据平面图案的可识别边框的点云数据以及可识别边框的顶边和底边确定物体的中心点，并依据物体的中心点对物体进行定位，本实施方式中通过定位物体表面的平面图案从而确定物体的中心点，相较于直接识别物体的立体结构轮廓的方式来说，本方案中物体的中心点位置确定后，再确定物体三维空间位置，从而提高了物体定位的精度和稳定性，从而利于控制机器人准确抓取物体。
另外，识别图像中平面图案的可识别边框具体包括：提取图像中的边框；将边框内的图案与平面图案进行特征匹配；将匹配成功的图案的边框作为可识别边框。该方案中通过将边框内的图案与平面图案进行匹配，匹配成功后才确认提取的边框为平面图案的边框，从而提高边框识别的准确性，避免提取到无关图案的轮廓而造成定位失误。
另外，提取图像中的边框具体包括：对图像进行灰度化、高斯滤波、Canny边缘提取、连续边缘提取及曲线拟合，提取图像中的边缘线；将围成封闭曲线的边缘线作为边框。
另外，将围成封闭曲线的边缘线作为边框的步骤之后，还包括：判断边框的内角是否满足预设条件；保留内角满足预设条件的边框作为可识别边框。该方案中仅保留内角满足预设条件的边框作为可识别边框，从而进一步保证留下来的边框为平面图案的可识别边框，而不是其他与图案无关的边框。
另外，将边框内的图案与平面图案进行特征匹配，具体包括：计算边框内的图案与平面图案的相关度值；若相关度值大于预设阈值，则匹配成功。
另外，确定可识别边框的顶边和底边具体为：依据可识别边框的点云数据确定顶边和底边的形状。
另外，根据点云数据以及顶边和底边确定物体的中心点具体包括：若确定顶边和底边的形状为弧形，则依据点云数据求取顶边和底边各自所在平面的圆心位置；依据顶边和底边各自所在平面的圆心位置确定物体的中心点。
另外，物体上设置具有可识别边框的另一平面图案，另一平面图案与至少一张平面图案设置于物体的不同面上，图像包含另一平面图案；根据点云数据以及顶边和底边确定物体的中心点具体包括：若确定顶边和底边的形状为直线，则识别另一平面图案的可识别边框；依据可识别边框和另一平面图案的可识别边框确定物体的中心点。
另外，依据平面图案的点云数据及另一平面图案的点云数据确定物体的中心点具体包括：依据平面图案的点云数据确定平面图案的第一法线、依据另一平面图案的点云数据确定另一平面图案的第二法线；获取第一法线和第二法线的公垂线；确定第一法线与公垂线的第一交点、以及第二法线与公垂线的第二交点；根据第一交点和第二交点确定物体的中心点。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式的物体定位方法的流程示意图；
图2是根据本发明第一实施方式中待定位物体为圆柱体的示意图；
图3是根据本发明第一实施方式中待定位物体为立方体的示意图；
图4是根据本发明第二实施方式的物体定位方法的流程示意图；
图5是根据本发明第二实施方式中圆柱状待定位物体表面设置平面图案的示意图；
图6是根据本发明第三实施方式的物体定位方法的流程示意图；
图7是根据本发明第三实施方式中立方体状待定位物体表面设置平面图案的示意图；
图8是根据本发明第四实施方式的物体定位装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种物体定位方法，本实施方式的核心在于包括：获取物体的图像，其中，物体表面设置有至少一张平面图案，平面图案具有可识别边框，图像中包含平面图案；识别图像中平面图案的可识别边框；获取平面图案的点云数据，并确定可识别边框的顶边和底边；根据点云数据以及顶边和底边确定物体的中心点，并依据中心点对物体进行定位。本实施方式中通过定位物体表面的平面图案从而确定物体的中心点，相较于直接识别物体的立体结构轮廓的方式来说，本方案中物体的中心点位置确定后，再确定物体三维空间位置，从而提高了物体定位的精度和稳定性，从而利于控制机器人准确抓取物体。
下面对本实施方式的物体定位方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施方式中的物体定位方法的流程示意图如图1所示：
步骤101：获取物体的图像，其中，物体表面设置有至少一张平面图案，平面图案具有可识别边框，图像中包含平面图案。
具体地说，在利用机器进行视觉识别定位时，需要先获取待定位物体(以下简称“物体”) 的图像，从而对图像进行处理实现对物体的定位。本实施方式中在物体表面设置至少一张具有可识别边框的平面图案，拍摄所得的物体的图像中包含平面图案，从而通过定位图像中的平面图案对物体进行定位。该平面图案的顶边和底边平行设置，平面图案的形状可为多边形或四边形，平面图案具备可识别边框从而有利于图像识别，优选地，可识别边框为纯色边框。
步骤102：识别图像中平面图案的可识别边框。
具体地，识别图像中平面图案的可识别边框具体包括：提取图像中的边框；将边框内的图案与平面图案进行特征匹配；将匹配成功的图案的边框作为可识别边框。由于图像中不仅包含平面图案还包含物体图像，在识别图像中的平面图案时，需要提取图像中所有的边框，从而避免遗漏，之后将提取到的边框中的图案与平面图案进行特征匹配，匹配成功后才能确认提取出的边框为平面图案的边框，从而提高识别平面图案可识别边框的识别准确性。
值得说明的是，提取图像中的边框具体包括：对图像进行灰度化、高斯滤波、Canny边缘提取、连续边缘提取及曲线拟合，提取图像中的边缘线；将围成封闭曲线的边缘线作为边框。具体地说，获取的物体图像包括视频帧彩色图像，通过对视频帧彩色图像进行灰度化、高斯滤波、Canny边缘提取、连续边缘提取及曲线拟合一系列操作，从而提取图像中所有的边缘线，并将可围成封闭曲线的边缘线作为边框。需要说明的是，边缘线是否能够围成封闭曲线，可通过判断边缘线围成的曲线的起点和终点是否为同一点，若为同一点，则判断该能够围成封闭曲线的边缘线为边框。
进一步地，将边框内的图案与平面图案进行特征匹配，具体包括：计算边框内的图案与平面图案的相关度值；若相关度值大于预设阈值，则匹配成功。
具体地说，在确认提取出的边框内的图案为平面图案时，若平面图案为自然图片，可通过计算归一化互相关系数(NCC)来确定边框内的图案与平面图案的相关度值，具体计算如下公式(1)所示：
Figure 1
其中，f(x,y)为边框内图案在点(x，y)的灰度值，t(x-u,y-v)为平面图案在点(x-u，y-v)的灰度值，
Figure BDA0002050431020000042
是平面图案灰度平均值，
Figure BDA0002050431020000043
是边框内图案的灰度平均值。上述公式中得到的相关度值NCC(U,V)越大，说明边框内图案与平面图案的匹配度越高，其中NCC(U,V)的最大值为1，但由于计算过程中存在的误差，相关度值NCC(U,V)的取值可根据实际情况自行设置。
进一步地，将围成封闭曲线的边缘线作为边框的步骤之后，还包括：判断边框的内角是否满足预设条件；保留内角满足预设条件的边框作为可识别边框。
具体地说，该方案中仅保留内角度数满足预设条件的边框作为可识别边框，从而进一步保证留下来的边框为平面图案的可识别边框。该预设条件可根据平面图案的内角的度数进行设置，可将预设条件设置为接近平面图案的内角度数范围，例如，假设平面图案为正四边形，内角度数为90°，误差范围为±2°，则预设条件可以为内角度数处于88°至92°范围内。具体的，预设条件可由实际使用者根据实际平面图案的内角度数以及用户自行设置的误差范围来确定，本实施方式中不对预设条件做具体限定。
步骤103：获取平面图案的点云数据。
具体地说，获取的物体图像还包括深度图像，通过微软的Kinect摄像头传感器可对物体进行深度图像以及彩色图像的采集，之后通过自带的API函数、开放自然交互、点云库等第三方点云库，即可获得平面图案的点云数据。
步骤104：确定可识别边框的顶边和底边。
具体地说，在识别出平面图案的可识别边框后，存储可识别边框的点云数据，并依据可识别边框的点云数据确定可识别边框的顶边和底边的形状。由于物体形状的不同，设置于物体表面的平面图案会随着物体形状的不同而呈现出不同的形状，因此需要确定平面图案的顶边和底边的形状。如图2所示，若物体为圆柱形，那么当平面图像设置于圆柱形物体表面时，平面图案所形成的物体为圆弧曲面，此时平面图案的顶边和底边为弧形；如图3所示，若物体为立方形物体，那么当平面图像设置于立方形物体的表面时，平面图案的顶边和底边均为直线。
步骤105 ：根据点云数据以及顶边和底边确定物体的中心点，并依据中心点对物体进行定位。
具体地说，根据平面图案的点云数据以及顶边和底边的形状确定物体的中心点位置，从而依据物体的中心点位置确定物体的中轴线位置，从而能够控制机器人依据该中心点位置抓取物体，提高了机器人抓取物体的精度和稳定性。
与现有技术相比，本发明实施方式提供了一种物体定位方法，通过在物体表面设置至少一张具有可识别边框的平面图案，并获取物体的图像，图像中包含平面图案，定位图像中物体表面的平面图案的可识别边框，依据平面图案的点云数据以及可识别边框的顶边和底边确定物体的中心点，并依据物体的中心点对物体进行定位，本实施方式中通过定位物体表面的平面图案从而确定物体的中心点，相较于直接识别物体的立体结构轮廓的方式来说，本方案中物体的中心点位置确定后，再确定物体三维空间位置，从而提高了物体定位的精度和稳定性，从而利于控制机器人准确抓取物体。
本发明的第二实施方式涉及一种物体定位方法。第二实施方式与第一实施方式大致相同，不同之处在于，根据点云数据以及顶边和底边确定物体的中心点具体包括：若确定顶边和底边的形状为弧形，则依据点云数据求取顶边和底边各自所在平面的圆心位置；依据顶边和底边各自所在平面的圆心位置确定物体的中心点，该方案中给出了确定圆柱形物体中心点位置的实现方式。
本实施方式中的物体定位方法的流程示意图如图4所示，具体包括：
步骤201：获取物体的图像，其中，物体表面设置有至少一张平面图案，平面图案具有可识别边框，图像中包含平面图案。
步骤202：识别图像中平面图案的可识别边框。
步骤203：获取平面图案的点云数据。
步骤204：确定可识别边框的顶边和底边。
上述步骤201至步骤204与第一实施方式中的步骤101至步骤104大致相同，在此不再赘述。
步骤205：判断所述顶边和底边的形状是否为弧形，若为弧形，则进入步骤206；若不为弧形，则结束该流程。
具体地说，在判断平面图案的顶边和底边的形状是否为弧形时，通过下述公式(2)进行判断：
Figure BDA0002050431020000061
其中，Pi为i处的点云数据，Pi-1为i-1处的点云数据，Pi+1为i+1处的点云数据，Ti为i处前后切线夹角余弦值。上述公式(2)中通过ε阈值去除夹角余弦值小于ε的点，筛选出夹角余弦值在变化的点，只有切线夹角余弦值有变化才可能是弧线，如果不发生变化，则可能是直线。求取“筛选出来的点”的最小切线夹角值和最大切线夹角值的比值，看是否大于σ，大于σ的线条才算的上为弧线。若判断为弧形，则进入步骤106，否则，当前流程结束。
步骤206：依据点云数据求取顶边和底边各自所在平面的圆心位置。
具体地说，在确认可识别边框的顶边和底边的形状为弧形时，则依据点云数据求取可识别边框的顶边和底边各自所在平面的圆心位置。具体地，如图5所示，平面图案顶边所在平面A1、底边所在平面A2，A1和A2平行，且与平面图案所在物体的底面平行，使用最小二乘法分别拟合顶边和底边的点云数据共面方程，并将共面方程投影到二维平面中，在平面内根据圆形方程(x-cx)2+(y-cy)2＝r2求取圆参数，在求取圆参数的过程中，利用表达式
Figure BDA0002050431020000071
迭代求平面圆参数，验证已有的圆上的点到圆心的距离是不是都足够小，如果出现点到圆心距离异常大的值就剔除掉，重新算圆方程，从而确保得到的圆心位置足够稳定、准确。
步骤207 ：依据顶边和底边各自所在平面的圆心位置确定物体的中心点。
具体地说，在得到顶边和底边的圆心位置后，将顶边和底边的圆心位置换算到点云空间中分别得到顶边和底边在点云空间中的圆心位置，从而根据设置在物体上的平面图案在物体上的高度、以及顶边和底边在点云空间中的圆心位置确定物体的中心点O1。例如，若平面图案设置于物体高度方向的中间位置，则顶边和底边各自所在平面的圆心位置的中点即为物体的中心点；若平面图案设置在物体的一定高度位置上，则可根据平面图案在该物体的高度位置、以及顶边和底边各自所在平面的圆心位置的中点确定物体的中心点。
与现有技术相比，本发明实施方式中提供了一种物体定位方法，根据点云数据以及顶边和底边确定物体的中心点具体包括：若确定顶边和底边的形状为弧形，则依据点云数据求取顶边和底边各自所在平面的圆心位置；依据顶边和底边各自所在平面的圆心位置确定物体的中心点，该方案中给出了确定圆柱形物体中心点位置的实现方式。
本发明的第三实施方式涉及一种物体定位方法。第三实施方式是对第一实施方式的进一步改进，主要改进之处在于：物体上设置具有可识别边框的另一平面图案，另一平面图案与至少一张平面图案设置于物体的不同面上，图像包含另一平面图案；根据点云数据以及顶边和底边确定物体的中心点具体包括：若确定顶边和底边的形状为直线，则识别另一平面图案的可识别边框；并获取图像中另一平面图案的点云数据；依据平面图案的点云数据及另一平面图案的点云数据确定所述物体的中心点。该方案中给出了确定立方形物体的中心点位置的实现方式。
本实施方式中的物体定位方法如图6所示，具体包括：
步骤301：获取物体的图像，其中，物体表面设置有至少一张平面图案，平面图案具有可识别边框，图像中包含平面图案。
步骤302：识别图像中平面图案的可识别边框。
步骤303：获取平面图案的点云数据。
步骤304：确定可识别边框的顶边和底边。
上述步骤301至步骤304分别与第二实施方式中步骤201至步骤204大致相同，为避免重复，在此不再一一赘述。
步骤305：判断所述顶边和底边的形状是否为直线，若为直线，则进入步骤306；若不为直线，则该流程结束。
具体地说，利用第二实施方式中的公式(2)判断顶边和底边的形状是否为直线，公式(2) 中通过ε阈值去除夹角余弦值小于ε的点，如果夹角余弦值不发生变化，则可确定为直线，进入步骤306，否则该流程结束。
步骤306：识别所述另一平面图案的可识别边框。
步骤307：获取图像中另一平面图案的点云数据。
针对上述步骤306和步骤307，具体地说，如图7所示，物体上设置具有可识别边框的另一平面图案，另一平面图案与至少一张平面图案设置于物体的不同面上，图像包含另一平面图案。在本实施方式中识别所述另一平面图案的可识别边框的实现方式与识别第一实施方式中至少一张平面图案的实现方式相同，获取图像中另一平面图案的点云数据的方式与获取至少一张平面图案的点云数据的实现方式也相同，本实施方式中不再赘述。
步骤308：依据平面图案的点云数据及另一平面图案的点云数据确定物体的中心点。
本实施方式中依据平面图案的点云数据及另一平面图案的点云数据确定物体的中心点具体包括：依据平面图案的点云数据确定平面图案的第一法线、依据另一平面图案的点云数据确定另一平面图案的第二法线；获取第一法线和第二法线的公垂线；确定第一法线与公垂线的第一交点、以及第二法线与公垂线的第二交点；根据第一交点和第二交点确定物体的中心点。
具体地说，假设平面图案为A平面，另一平面图案为B平面，A平面的第一法线为
Figure BDA0002050431020000081
B平面的第二法线为
Figure BDA0002050431020000082
第一法线
Figure BDA0002050431020000083
和第二法线
Figure BDA0002050431020000084
的公垂线
Figure BDA0002050431020000085
利用如下公式(3)判断两条法线之间的垂直距离：
Figure BDA0002050431020000086
由于在实际应用中，立方形物体不同表面的两个平面图案所处高度可能不同，因此需要判断两条法线之间的垂直距离是否太大，若太大，则两个平面图形很可能处于同一个物体的垂直方向。当两条法线之间的垂直距离在σ范围内，则表明两个平面图案处于同一个物体的垂直方向上，此时，求取第一法线
Figure BDA0002050431020000091
与公垂线的交点A、第二法线与公垂线的交点B，并确定线段AB的中点位置，若平面图案设置于物体高度方向的中间位置，则线段AB的中点位置即为物体的中心点O2；若两个平面图案分别设置在物体的不同高度位置上，则可根据两个平面图案在该物体的高度位置、交点A以及交点B确定物体的中心点。
与现有技术相比，本发明实施方式提供的物体定位方法，物体上设置具有可识别边框的另一平面图案，另一平面图案与至少一张平面图案设置于物体的不同面上，图像包含另一平面图案；根据点云数据以及顶边和底边确定物体的中心点具体包括：若确定顶边和底边的形状为直线，则识别另一平面图案的可识别边框；并获取图像中另一平面图案的点云数据；依据平面图案的点云数据及另一平面图案的点云数据确定所述物体的中心点。该方案中给出了确定立方形物体的中心点位置的实现方式。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
值得注意的是，上述第二实施方式是对圆柱形物体进行定位，上述第三实施方式是对立方形物体进行定位，但在实际应用中，第二实施方式和第三实施方式可结合实施。在确定可识别边框的顶边和底边之后，先进行可识别边框的顶边和底边形状的判断，当可识别边框的顶边和底边形状为弧形时，执行第二实施方式的步骤206和步骤207以实现圆柱状物体的定位；当可识别边框的顶边和底边形状为直线时，执行第三实施方式的步骤306、步骤307和步骤308以实现立方体状物体的定位。
本发明第四实施方式涉及一种物体定位装置，如图8所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述的物体定位方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述物体定位方法。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (7)

1.一种物体定位方法，其特征在于，包括：
获取物体的图像，其中，所述物体表面设置有至少一张平面图案，所述平面图案具有可识别边框，所述图像中包含所述平面图案；
识别所述图像中所述平面图案的所述可识别边框；
获取所述平面图案的点云数据，并依据所述可识别边框的点云数据确定所述平面图案的顶边和底边的形状；
根据所述平面图案的点云数据以及所述顶边和底边的形状确定所述物体的中心点，具体包括：若确定所述顶边和底边的形状为弧形，则依据所述平面图案的点云数据求取所述顶边和底边各自所在平面的圆心位置；依据所述顶边和底边各自所在平面的圆心位置确定所述物体的中心点；
所述物体上设置具有可识别边框的另一平面图案，所述另一平面图案与所述至少一张平面图案设置于所述物体的不同面上，所述图像包含所述另一平面图案；所述根据所述平面图案的点云数据以及所述顶边和底边的形状确定所述物体的中心点，具体包括：若确定所述顶边和底边的形状为直线，则识别所述另一平面图案的可识别边框；并获取所述图像中所述另一平面图案的点云数据；依据所述平面图案的点云数据及所述另一平面图案的点云数据确定所述物体的中心点；
依据所述中心点对所述物体进行定位。
2.根据权利要求1所述的物体定位方法，其特征在于，所述识别所述图像中所述平面图案的所述可识别边框具体包括：
提取所述图像中的边框；
将所述边框内的图案与所述平面图案进行特征匹配；
将匹配成功的所述图案的边框作为所述可识别边框。
3.根据权利要求2所述的物体定位方法，其特征在于，所述提取所述图像中的边框具体包括：
对所述图像进行灰度化、高斯滤波、Canny边缘提取、连续边缘提取及曲线拟合，提取所述图像中的边缘线；
将围成封闭曲线的边缘线作为所述边框。
4.根据权利要求3所述的物体定位方法，其特征在于，所述将围成封闭曲线的边缘线作为所述边框的步骤之后，还包括：
判断所述边框的内角是否满足预设条件；
保留内角满足所述预设条件的所述边框作为所述可识别边框。
5.根据权利要求2所述的物体定位方法，其特征在于，所述将所述边框内的图案与所述平面图案进行特征匹配，具体包括：
计算所述边框内的图案与所述平面图案的相关度值；
若所述相关度值大于预设阈值，则匹配成功。
6.根据权利要求1所述的物体定位方法，其特征在于，所述依据所述平面图案的点云数据及所述另一平面图案的点云数据确定所述物体的中心点具体包括：
依据所述平面图案的点云数据确定所述平面图案的第一法线、依据所述另一平面图案的点云数据确定所述另一平面图案的第二法线；
获取所述第一法线和所述第二法线的公垂线；
确定所述第一法线与所述公垂线的第一交点、以及所述第二法线与所述公垂线的第二交点；
根据所述第一交点和所述第二交点确定所述物体的中心点。
7.一种物体定位装置，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的物体定位方法。
CN201910372396.5A 2019-05-06 2019-05-06 物体定位方法及物体定位装置 Active CN110189376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910372396.5A CN110189376B (zh) 2019-05-06 2019-05-06 物体定位方法及物体定位装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910372396.5A CN110189376B (zh) 2019-05-06 2019-05-06 物体定位方法及物体定位装置

Publications (2)

Publication Number Publication Date
CN110189376A CN110189376A (zh) 2019-08-30
CN110189376B true CN110189376B (zh) 2022-02-25

Family

ID=67715641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910372396.5A Active CN110189376B (zh) 2019-05-06 2019-05-06 物体定位方法及物体定位装置

Country Status (1)

Country Link
CN (1) CN110189376B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754576B (zh) * 2020-06-30 2023-08-08 广东博智林机器人有限公司 一种架体量测系统、图像定位方法、电子设备及存储介质
CN112102342B (zh) * 2020-09-01 2023-12-01 腾讯科技（深圳）有限公司 平面轮廓识别方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887083A (en) * 1995-07-19 1999-03-23 Jiro Hiraishi, President Of Kogyogijutsuin Stanley Electric Co., Ltd. Method of processing image information based on object model
CN107194395A (zh) * 2017-05-02 2017-09-22 华中科技大学 一种基于颜色识别和轮廓提取的物体动态定位方法
CN109029253A (zh) * 2018-06-29 2018-12-18 南京阿凡达机器人科技有限公司 一种包裹体积测量方法、系统、储存介质及移动终端
CN109035330A (zh) * 2018-08-17 2018-12-18 深圳蓝胖子机器人有限公司 箱体拟合方法、设备和计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516098B (zh) * 2017-07-30 2021-08-10 华南理工大学 一种基于边缘曲率角的目标轮廓三维信息提取方法
CN107808415B (zh) * 2017-11-17 2021-01-26 中国科学院合肥物质科学研究院 基于机器视觉的鞋底边缘轨迹及涂胶位姿提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887083A (en) * 1995-07-19 1999-03-23 Jiro Hiraishi, President Of Kogyogijutsuin Stanley Electric Co., Ltd. Method of processing image information based on object model
CN107194395A (zh) * 2017-05-02 2017-09-22 华中科技大学 一种基于颜色识别和轮廓提取的物体动态定位方法
CN109029253A (zh) * 2018-06-29 2018-12-18 南京阿凡达机器人科技有限公司 一种包裹体积测量方法、系统、储存介质及移动终端
CN109035330A (zh) * 2018-08-17 2018-12-18 深圳蓝胖子机器人有限公司 箱体拟合方法、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN110189376A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110992356B (zh) 目标对象检测方法、装置和计算机设备
US10607106B2 (en) Object symmetry axis detection method based on RGB-D camera
US9881204B2 (en) Method for determining authenticity of a three-dimensional object
US8908913B2 (en) Voting-based pose estimation for 3D sensors
US9916495B2 (en) Face comparison device, method, and recording medium
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108734087B (zh) 物体自动识别方法以及系统、购物设备和存储介质
US8903161B2 (en) Apparatus for estimating robot position and method thereof
CN111178250A (zh) 物体识别定位方法、装置及终端设备
US9576363B2 (en) Object picking system, object detecting device, object detecting method
CN112633084B (zh) 人脸框确定方法、装置、终端设备及存储介质
CN109087345A (zh) 基于ToF成像系统的栈板识别方法及自动导引运输车
CN110189376B (zh) 物体定位方法及物体定位装置
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
CN115609591B (zh) 一种基于2D Marker的视觉定位方法和系统、复合机器人
KR101479225B1 (ko) 특징 벡터 생성 방법 및 그 장치, 이를 이용한 영상 인식 방법 및 장치
US9317771B2 (en) Device and method to detect an object and controlling a device to pick up the detected object
CN105405122A (zh) 一种基于数据平稳性的圆检测方法
US9858471B2 (en) Identification apparatus and authentication system
US20150262362A1 (en) Image Processor Comprising Gesture Recognition System with Hand Pose Matching Based on Contour Features
Li et al. Approximately global optimization for robust alignment of generalized shapes
US20220129660A1 (en) System and method of acquiring coordinates of pupil center point
CN114638891A (zh) 基于图像和点云融合的目标检测定位方法与系统
CN110992372B (zh) 物品抓取方法、装置、存储介质及电子装置
CN110264562B (zh) 颅骨模型特征点自动标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231026

Address after: Room 318, No. 9, Zhifeng Street, Huangpu District, Guangzhou, Guangdong 510799

Patentee after: Data Robotics (Guangzhou) Co.,Ltd.

Address before: 100102 33rd floor, block B, Wangjing SOHO Tower 3, Chaoyang District, Beijing

Patentee before: CLOUDMINDS (BEIJING) TECHNOLOGIES Co.,Ltd.