CN111881911B - 定位方法及装置 - Google Patents

定位方法及装置 Download PDF

Info

Publication number
CN111881911B
CN111881911B CN202010761810.4A CN202010761810A CN111881911B CN 111881911 B CN111881911 B CN 111881911B CN 202010761810 A CN202010761810 A CN 202010761810A CN 111881911 B CN111881911 B CN 111881911B
Authority
CN
China
Prior art keywords
target
template
area
positioning
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010761810.4A
Other languages
English (en)
Other versions
CN111881911A (zh
Inventor
刘志昌
陶旭蕾
黄荣钦
魏泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010761810.4A priority Critical patent/CN111881911B/zh
Publication of CN111881911A publication Critical patent/CN111881911A/zh
Application granted granted Critical
Publication of CN111881911B publication Critical patent/CN111881911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种定位方法及装置。其中，该方法包括：获取待定位目标区域中的非对称区域，并基于非对称区域生成方向模板，其中，待定位目标区域为待抓取物体所在待定位图像中的区域；生成待抓取物体的目标模板；基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息。本发明解决了相关技术中工业机器人在抓取物体时，容易出现定位方向与实际需要方向相反，导致所抓取物体无法正确放置到目标位置处的技术问题。

Description

定位方法及装置
技术领域
本发明涉及图像识别技术领域，具体而言，涉及一种定位方法及装置。
背景技术
随着工业机器人上配备视觉系统，越来越多的工业机器人利用视觉定位物体的位置，并对其进行抓取、放置以及装配等操作。目前工业视觉定位中，大多采用模板匹配定位的方法，即通过设定目标模板图像，在输入图像中得到目标所在位置，从而定位出目标在输入图像上的位置坐标和角度。
然而，由于一些物体的形状具有对称性，导致视觉定位对称物体的方向时，会出现定位方向与实际需求方向相反，致使工业机器人抓取或放置目标物体失败。另外，目前的视觉定位算法得到的定位点为所设模板的中心点，而在机器人抓取中，抓取的点并非目标模板的中心点，导致所抓取的物体无法正确放置到目标位置处。
针对上述相关技术中工业机器人在抓取物体时，容易出现定位方向与实际需要方向相反，导致所抓取物体无法正确放置到目标位置处的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种定位方法及装置，以至少解决相关技术中工业机器人在抓取物体时，容易出现定位方向与实际需要方向相反，导致所抓取物体无法正确放置到目标位置处的技术问题。
根据本发明实施例的一个方面，提供了一种定位方法，包括：获取待定位目标区域中的非对称区域，并基于所述非对称区域生成方向模板，其中，所述待定位目标区域为待抓取物体所在待定位图像中的区域；生成所述待抓取物体的目标模板；基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息。
可选地，在获取待定位目标区域中的非对称区域之前，该定位方法还包括：确定所述待定位目标区域的对称性；其中，确定所述待定位目标区域的对称性，包括：获取所述待抓取物体的待定位图像；根据所述待抓取物体的图像获取所述待定位图像中的待定位目标区域；确定所述待定位目标区域的对称性。
可选地，基于所述非对称区域生成方向模板，以及，生成所述待抓取物体的目标模板，包括：获取所述非对称区域的感兴趣ROI区域一，以及所述定位目标区域中的ROI区域二；基于所述ROI区域一生成所述方向模板，并基于所述ROI区域二生成所述目标模板，其中，所述方向模板至少为一个。
可选地，基于所述ROI区域一生成所述方向模板，并基于所述ROI区域二生成所述目标模板，包括：分别对所述ROI区域一以及所述ROI区域二在周角范围内每间隔预定角度进行旋转；在每次旋转中保存旋转后的所述方向模板和所述目标模板，得的多个所述方向模板以及多个所述目标模板。
可选地，基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息信息，包括：利用模板匹配算法根据所述目标模板与所述方向模板在所述待定位图像中进行匹配定位，分别得到所述方向模板和所述目标模板在所述待定位图像中的定位结果；基于所述定位结果得到所述待定位目标区域的中心点的位置信息。
可选地，在基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息之后，该定位方法还包括：对所述中心点的位置信息进行补偿，使得所述中心点与抓取点重合；其中，对所述中心点的位置信息进行补偿，使得所述中心点与抓取点重合，包括：获取对所述中心点进行补偿的补偿参数；利用所述补偿参数对所述中心点的位置信息进行坐标转换，使得所述中心点与抓取点重合。
可选地，获取对所述中心点进行补偿的补偿参数，包括：获取预先为所述中心点的位置信息设置的偏移量；基于所述偏移量得到所述中心点与所述抓取点之间的实际偏移量；基于所述偏移量得到所述补偿参数。
根据本发明实施例的另外一个方面，还提供了一种定位装置，包括：第一生成单元，用于获取待定位目标区域中的非对称区域，并基于所述非对称区域生成方向模板，其中，所述待定位目标区域为待抓取物体所在待定位图像中的区域；第二生成单元，用于生成所述待抓取物体的目标模板；定位单元，用于基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息。
可选地，该定位装置还包括：确定单元，用于在获取待定位目标区域中的非对称区域之前，确定所述待定位目标区域的对称性；其中，所述确定单元，包括：第一获取模块，用于获取所述待抓取物体的待定位图像；第二获取模块，用于根据所述待抓取物体的图像获取所述待定位图像中的待定位目标区域；第一确定模块，用于确定所述待定位目标区域的对称性。
可选地，所述第一生成单元，包括：第三获取模块，用于获取所述非对称区域的感兴趣ROI区域一，以及所述定位目标区域中的ROI区域二；第一生成模块，用于基于所述ROI区域一生成所述方向模板，并基于所述ROI区域二生成所述目标模板，其中，所述方向模板至少为一个。
可选地，所述第二生成单元，包括：选择模块，用于分别对所述ROI区域一以及所述ROI区域二在周角范围内每间隔预定角度进行旋转；第四获取模块，用于在每次旋转中保存旋转后的所述方向模板和所述目标模板，得的多个所述方向模板以及多个所述目标模板。
可选地，所述定位单元，包括：定位模块，用于利用模板匹配算法根据所述目标模板与所述方向模板在所述待定位图像中进行匹配定位，分别得到所述方向模板和所述目标模板在所述待定位图像中的定位结果；第五获取模块，用于基于所述定位结果得到所述待定位目标区域的中心点的位置信息。
可选地，该定位装置还包括：补偿单元，用于在基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息之后，对所述中心点的位置信息进行补偿，使得所述中心点与抓取点重合；其中，所述补偿单元，包括：第六获取模块，用于获取对所述中心点进行补偿的补偿参数；转换模块，用于利用所述补偿参数对所述中心点的位置信息进行坐标转换，使得所述中心点与抓取点重合。
可选地，所述第六获取模块，包括：第一获取子模块，用于获取预先为所述中心点的位置信息设置的偏移量；第二获取子模块，用于基于所述偏移量得到所述中心点与所述抓取点之间的实际偏移量；第三获取子模块，用于基于所述偏移量得到所述补偿参数。
根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的定位方法。
根据本发明实施例的另外一个方面，还提供了一种处理器，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行上述中任意一项所述的定位方法。
在本发明实施例中，采用获取待定位目标区域中的非对称区域，并基于非对称区域生成方向模板，其中，待定位目标区域为待抓取物体所在待定位图像中的区域；生成待抓取物体的目标模板；基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息，通过本发明实施例提供的定位方法，实现了获取形状为对称性的对象的方向模板，将该方向模板与目标模板结合以对目标对象进行定位的目的，达到了提高对目标对象进行定位的精度的技术效果，进而解决了相关技术中工业机器人在抓取物体时，容易出现定位方向与实际需要方向相反，导致所抓取物体无法正确放置到目标位置处的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的定位方法的流程图；
图2是根据本发明实施例的待定位图像的示意图；
图3是根据本发明实施例的方向模板下的定位结果的示意图；
图4是根据本发明实施例的定位点与抓取点的示意图；
图5是根据本发明实施例的定位补偿计算的示意图；
图6是根据本发明实施例的坐标定位补偿后定位的示意图；
图7是根据本发明实施例的定位方法的优选流程图；
图8是根据本发明实施例的定位装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种定位方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的定位方法的流程图，如图1所示，该定位方法包括如下步骤：
步骤S102，获取待定位目标区域中的非对称区域，并基于非对称区域生成方向模板，其中，待定位目标区域为待抓取物体所在待定位图像中的区域。
其中，图2是根据本发明实施例的待定位图像的示意图，如图2所示，左上方区域为对称的目标(即，目标对象)，右上方区域为方向模板，下方区域也是方向模板。
可选的，上述待定位目标区域可以是机器人待处理的目标对象在图像中的区域。
在一种可选的实施例中，在获取待定位目标区域中的非对称区域之前，还需要获取机器人待处理的目标对象的图像，从该图像中分析得到目标对象在该图像的位置，将其确定为待定位目标区域。
由于当目标对象为非对称的时，可以比较清楚地对该目标对象进行定位；然而，当目标对象为对称时，则会出现定位得到的位置方向与实际需求方向相反，致使机器人抓取或放置目标对象失败，因此，在本发明实施例中，在获取待定位目标区域中的非对称区域之前，该定位方法还可以包括：确定待定位目标区域的对称性；其中，确定待定位目标区域的对称性，包括：获取待抓取物体的待定位图像；根据待抓取物体的图像获取待定位图像中的待定位目标区域；确定待定位目标区域的对称性。
需要说明的是，当目标对象的形状为对称性的时，则可以获取待定位目标区域中的非对称区域，然后基于该非对称区域生成方向模板，将该方向模板作为对目标对象进行定位的辅助，以提高定位精度。
步骤S104，生成待抓取物体的目标模板。
可选的，可以的目标模板是基于定位目标区域中的ROI区域二，进而可以基于该ROI区域二得到该目标模板。
步骤S106，基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息。
由上可知，在本发明实施例中，获取待定位目标区域中的非对称区域，并基于非对称区域生成方向模板，其中，待定位目标区域为待抓取物体所在待定位图像中的区域；然后生成待抓取物体的目标模板；并基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息，实现了获取形状为对称性的对象的方向模板，将该方向模板与目标模板结合以对目标对象进行定位的目的，达到了提高对目标对象进行定位的精度的技术效果。
值得注意的是，由于在本发明实施例中，针对形状为对称性的物体时，可以基于目标对象的待定位目标区域的非对称区域生成方向模板，将该方向模板与目标模板进行结合，以对目标对象进行定位，避免对称目标对象的定位方向与实际需求方向相反的弊端。
因此，通过本发明实施例提供的定位方法，解决了相关技术中工业机器人在抓取物体时，容易出现定位方向与实际需要方向相反，导致所抓取物体无法正确放置到目标位置处的技术问题。
在一种可选的实施例中，基于非对称区域生成方向模板，以及，生成待抓取物体的目标模板，包括：获取非对称区域的感兴趣ROI区域一，以及定位目标区域中的ROI区域二；基于ROI区域一生成方向模板，并基于ROI区域二生成目标模板，其中，方向模板至少为一个。
可选的，上述感兴趣ROI区域一可以为待定位目标区域中为非对象区域的区域，感兴趣ROI区域二可以是基于待定位目标区域中部分；然后，可以基于感兴趣ROI一生成方向模板；并可以基于感兴趣ROI区域二生成目标模板。
需要说明的是，上述方向模板的数量可以是基于实际需求来确定的；另外，在实际需求确定方向模板的情况下，也可以基于实际需求设置目标模板的数量。
在一种可选的实施例中，基于ROI区域一生成方向模板，并基于ROI区域二生成目标模板，包括：分别对ROI区域一以及ROI区域二在周角范围内每间隔预定角度进行旋转；在每次旋转中保存旋转后的方向模板和目标模板，得的多个方向模板以及多个目标模板。
例如，可以对ROI区域一以及ROI区域二进行360°旋转，具体地，每间隔1°保存一次ROI区域一和ROI区域二，再保存360个方向模板和目标模板。
需要说明的是，在实际应用中，可以基于实际需求来选择转换角度和间隔的预定角度。
在一种可选的实施例中，基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息信息，包括：利用模板匹配算法根据目标模板与方向模板在待定位图像中进行匹配定位，分别得到方向模板和目标模板在待定位图像中的定位结果；基于定位结果得到待定位目标区域的中心点的位置信息。
例如，可以利用模板匹配算法根据上述得到的目标模板和方向模板在待定位区域中进行匹配定位，分别得到方向模板和目标模板在定位图像中的定位结果。
其中，模板匹配算法可以是根据模板(例如，方向模板、目标模板)与待定位图像之间的相似度衡量匹配结果，从而得到目标物体(即，目标对象)在待定位图像中的位置；对于形状对称的目标物体，在进行模板匹配时，两个对称的模板，即，当两个模板方向相差180度时，这两个模板与待定位图像之间的相似度值相差不大，因此算法输出的定位角度可能与实际需求差180°，致使定位方向相反。
因此，在本发明实施例中，确定对称物体的实际需求方向，可以根据方向模板在待定位图像中匹配得到的定位角度作为参考值，在模板匹配算法中设置角度阈值，如果目标模板与方向模板在待定位图像中匹配得到的定位角度相差在20°内，那么选择此目标模板的定位结果作为目标物体的定位位置；如果目标模板与方向模板在待定位图像中匹配得到的定位角度相差大于20°，则排除此目标模板的定位结果。图3是根据本发明实施例的方向模板下的定位结果的示意图，如图3所示，图中右上方区域为方向模板的匹配结果，左上方区域为目标模板的匹配结果。
在一种可选的实施例中，在基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息之后，该定位方法还包括：对中心点的位置信息进行补偿，使得中心点与抓取点重合；其中，对中心点的位置信息进行补偿，使得中心点与抓取点重合，包括：获取对中心点进行补偿的补偿参数；利用补偿参数对中心点的位置信息进行坐标转换，使得中心点与抓取点重合。
由于定位得到的中心点的坐标值与机器人抓取点并不是重合的，图4是根据本发明实施例的定位点与抓取点的示意图，如图4所示，在该图中定位点在抓取点的上方。因此，需要对得到的中心点进行补偿。
例如，可以在基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息之后，可以获取对中心点进行补偿的补偿参数，并利用该补偿参数对中线点的位置信息进行坐标转换，以使得中心点与抓取点重合。
在一种可选的实施例中，获取对中心点进行补偿的补偿参数，包括：获取预先为中心点的位置信息设置的偏移量；基于偏移量得到中心点与抓取点之间的实际偏移量；基于偏移量得到补偿参数。
在上述实施例中，模板匹配后会得到待定位图像中的目标位置，包括位置坐标x,y和旋转角度α，其中位置坐标为目标区域的中心位置，而在机器人抓取中，抓取的点并非目标区域的中心点，因此需要对模板匹配得到位置的坐标进行补偿，使其与抓取点重合。
图5是根据本发明实施例的定位补偿计算的示意图，如图5所示，通过对定位坐标设定偏移量△x，△y，目标图像定位后，在得到的定位结果上，根据设定的偏移量进行坐标变换，从而得到实际需要定位处的位置坐标，然后，通过设定偏移量△x，△y计算对角线长度L＝(△x2+△y2)1/2和夹角θ＝arctan(△x/△y)；并根据定位角度α计算实际偏移量：Delta_x＝L*sin(α+θ)，Delta_y＝L*cos(α+θ)；以及根据计算的实际偏移量，对定位坐标进行坐标补偿即可。
另外，针对待定位图像中存在对称目标造成180°角度定位偏差，以及定位点抓取点不同的位置偏差，分别利用生成的方向模板和定位补偿的方式来解决，实现对待定位图像中的任意位置进行定位，图6是根据本发明实施例的坐标定位补偿后定位的示意图，如图6所示，可以得到实际需要的目标位置，同样地，图中左上方区域为对称的目标，图中右上方区域为方向模板，此时，坐标为(135.5，209.5)，角度偏差为0°，从而使得定位得到的中心点与抓取点重合。
图7是根据本发明实施例的定位方法的优选流程图，如图7所示，确定待定位目标，判断目标是否为对称的物体，若否，则直接设置目标模板；反之，则设置方向模板，借着设置目标模板，并进行模板匹配；再判断定位点与抓取点是否一致，若否，则进行定位补偿；反之，获得定位得到的目标位置。
由上可知，在本发明实施例中，可以通过观察待定位图像中的待定位目标区域，如果该区域属于对称形状，那么需要选择待定位图像中非对称区域来制作方向模板，辅助对称区域定位。首先，分别框选待定位目标和非对称位置的ROI(感兴趣区域)区域；然后对两个ROI区域进行360度旋转，每间隔1度保存一次ROI区域，最后保存360个方向模板和目标模板(实际任务中，应根据实际需求来选择旋转角度和间隔)。如果待定位目标区域为非对称形状，则可直接选取ROI区域，设置目标模板。
因此，通过本发明实施例提供的定位方法，可以针对具有对称性目标物体的定位，通过设定非对称的方向模板，解决定位方向与实际需求方向相反的问题，使工业机器人正确抓取或放置目标物体；另外，对视觉模板匹配定位得到的坐标进行补偿，解决机器人的抓取点与视觉定位结果坐标不重合的问题；利用方向模板和定位补偿功能，解决了目标中对称模板定位不准，以及定位坐标和机器人抓取点不重合的问题。
另外，利用模板匹配算法，通过设定方向模板，根据方向模板所得角度，将对称目标物体的定位角度限定在方向模板所得角度的范围内，避免对称目标物体的定位方向与实际需求方向相反；并对视觉定位得到的坐标进行补偿，使其与机器人的抓取点重合，可以选取图像中特征明显区域进行定位，然后利用定位偏移功能，将坐标点偏移至机器人的抓取点，从而使定位更加准确。
实施例2
根据本发明实施例的另外一个方面，还提供了一种定位装置，图8是根据本发明实施例的定位装置的示意图，如图8所示，该定位装置可以包括：第一生成单元81，第二生成单元83以及定位单元85。下面对该定位装置进行说明。
第一生成单元81，用于获取待定位目标区域中的非对称区域，并基于非对称区域生成方向模板，其中，待定位目标区域为待抓取物体所在待定位图像中的区域。
第二生成单元83，用于生成待抓取物体的目标模板。
定位单元85，用于基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息。
此处需要说明的是，上述第一生成单元81，第二生成单元83以及定位单元85对应于实施例1中的步骤S102至S106，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
由上可知，在本申请上述实施例中，可以利用第一生成单元获取待定位目标区域中的非对称区域，并基于非对称区域生成方向模板，其中，待定位目标区域为待抓取物体所在待定位图像中的区域；并利用第二生成单元生成待抓取物体的目标模板；以及利用定位单元，基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息。通过本发明实施例提供的定位装置，实现了获取形状为对称性的对象的方向模板，将该方向模板与目标模板结合以对目标对象进行定位的目的，达到了提高对目标对象进行定位的精度的技术效果，进而解决了相关技术中工业机器人在抓取物体时，容易出现定位方向与实际需要方向相反，导致所抓取物体无法正确放置到目标位置处的技术问题。
在一种可选的实施例中，该定位装置还包括：确定单元，用于在获取待定位目标区域中的非对称区域之前，确定待定位目标区域的对称性；其中，确定单元，包括：第一获取模块，用于获取待抓取物体的待定位图像；第二获取模块，用于根据待抓取物体的图像获取待定位图像中的待定位目标区域；第一确定模块，用于确定待定位目标区域的对称性。
在一种可选的实施例中，第一生成单元，包括：第三获取模块，用于获取非对称区域的感兴趣ROI区域一，以及定位目标区域中的ROI区域二；第一生成模块，用于基于ROI区域一生成方向模板，并基于ROI区域二生成目标模板，其中，方向模板至少为一个。
在一种可选的实施例中，第二生成单元，包括：选择模块，用于分别对ROI区域一以及ROI区域二在周角范围内每间隔预定角度进行旋转；第四获取模块，用于在每次旋转中保存旋转后的方向模板和目标模板，得的多个方向模板以及多个目标模板。
在一种可选的实施例中，定位单元，包括：定位模块，用于利用模板匹配算法根据目标模板与方向模板在待定位图像中进行匹配定位，分别得到方向模板和目标模板在待定位图像中的定位结果；第五获取模块，用于基于定位结果得到待定位目标区域的中心点的位置信息。
在一种可选的实施例中，该定位装置还包括：补偿单元，用于在基于方向模板以及目标模板在待定位图像中进行匹配定位，得到待定位目标区域的中心点的位置信息之后，对中心点的位置信息进行补偿，使得中心点与抓取点重合；其中，补偿单元，包括：第六获取模块，用于获取对中心点进行补偿的补偿参数；转换模块，用于利用补偿参数对中心点的位置信息进行坐标转换，使得中心点与抓取点重合。
在一种可选的实施例中，第六获取模块，包括：第一获取子模块，用于获取预先为中心点的位置信息设置的偏移量；第二获取子模块，用于基于偏移量得到中心点与抓取点之间的实际偏移量；第三获取子模块，用于基于偏移量得到补偿参数。
实施例3
根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序被处理器运行时控制计算机存储介质所在设备执行上述中任意一项的定位方法。
实施例4
根据本发明实施例的另外一个方面，还提供了一种处理器，处理器用于运行计算机程序，其中，计算机程序运行时执行上述中任意一项的定位方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种定位方法，其特征在于，包括：
获取待定位目标区域中的非对称区域，并基于所述非对称区域生成方向模板，其中，所述待定位目标区域为待抓取物体所在待定位图像中的区域；
生成所述待抓取物体的目标模板；
基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息；
基于所述非对称区域生成方向模板，以及，生成所述待抓取物体的目标模板，包括：获取所述非对称区域的感兴趣ROI区域一，以及所述定位目标区域中的ROI区域二；基于所述ROI区域一生成所述方向模板，并基于所述ROI区域二生成所述目标模板，其中，所述方向模板至少为一个，所述感兴趣ROI区域一为待定位目标区域中为非对象区域的区域，所述感兴趣ROI区域二是基于所述待定位目标区域中部分；
基于所述ROI区域一生成所述方向模板，并基于所述ROI区域二生成所述目标模板，包括：分别对所述ROI区域一以及所述ROI区域二在周角范围内每间隔预定角度进行旋转；在每次旋转中保存旋转后的所述方向模板和所述目标模板，得的多个所述方向模板以及多个所述目标模板；
基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息，包括：利用模板匹配算法根据所述目标模板与所述方向模板在所述待定位图像中进行匹配定位，分别得到所述方向模板和所述目标模板在所述待定位图像中的定位结果；基于所述定位结果得到所述待定位目标区域的中心点的位置信息。
2.根据权利要求1所述的方法，其特征在于，在获取待定位目标区域中的非对称区域之前，还包括：确定所述待定位目标区域的对称性；
其中，确定所述待定位目标区域的对称性，包括：
获取所述待抓取物体的待定位图像；
根据所述待抓取物体的图像获取所述待定位图像中的待定位目标区域；
确定所述待定位目标区域的对称性。
3.根据权利要求1至2中任一项所述的方法，其特征在于，在基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息之后，还包括：对所述中心点的位置信息进行补偿，使得所述中心点与抓取点重合；
其中，对所述中心点的位置信息进行补偿，使得所述中心点与抓取点重合，包括：
获取对所述中心点进行补偿的补偿参数；
利用所述补偿参数对所述中心点的位置信息进行坐标转换，使得所述中心点与抓取点重合。
4.根据权利要求3所述的方法，其特征在于，获取对所述中心点进行补偿的补偿参数，包括：
获取预先为所述中心点的位置信息设置的偏移量；
基于所述偏移量得到所述中心点与所述抓取点之间的实际偏移量；
基于所述偏移量得到所述补偿参数。
5.一种定位装置，其特征在于，包括：
第一生成单元，用于获取待定位目标区域中的非对称区域，并基于所述非对称区域生成方向模板，其中，所述待定位目标区域为待抓取物体所在待定位图像中的区域；
所述第一生成单元包括第三获取模块和第一生成模块，所述第三获取模块用于获取所述非对称区域的感兴趣ROI区域一，以及所述定位目标区域中的ROI区域二，所述第一生成模块用于基于所述ROI区域一生成所述方向模板，并基于所述ROI区域二生成所述目标模板，其中，所述方向模板至少为一个，所述感兴趣ROI区域一为待定位目标区域中为非对象区域的区域，所述感兴趣ROI区域二是基于所述待定位目标区域中部分；
第二生成单元，用于生成所述待抓取物体的目标模板；
所述第二生成单元包括选择模块和第四获取模块，所述选择模块用于分别对ROI区域一以及ROI区域二在周角范围内每间隔预定角度进行旋转，所述第四获取模块用于在每次旋转中保存旋转后的方向模板和目标模板，得的多个方向模板以及多个目标模板；
定位单元，用于基于所述方向模板以及所述目标模板在所述待定位图像中进行匹配定位，得到所述待定位目标区域的中心点的位置信息；
所述定位单元包括定位模块和第五获取模块，所述定位模块用于利用模板匹配算法根据目标模板与方向模板在待定位图像中进行匹配定位，分别得到方向模板和目标模板在待定位图像中的定位结果，所述第五获取模块用于基于定位结果得到待定位目标区域的中心点的位置信息。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述计算机存储介质所在设备执行权利要求1至4中任意一项所述的定位方法。
7.一种处理器，其特征在于，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行权利要求1至4中任意一项所述的定位方法。
CN202010761810.4A 2020-07-31 2020-07-31 定位方法及装置 Active CN111881911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010761810.4A CN111881911B (zh) 2020-07-31 2020-07-31 定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010761810.4A CN111881911B (zh) 2020-07-31 2020-07-31 定位方法及装置

Publications (2)

Publication Number Publication Date
CN111881911A CN111881911A (zh) 2020-11-03
CN111881911B true CN111881911B (zh) 2024-05-28

Family

ID=73204373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010761810.4A Active CN111881911B (zh) 2020-07-31 2020-07-31 定位方法及装置

Country Status (1)

Country Link
CN (1) CN111881911B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113752260B (zh) * 2021-09-07 2023-12-26 京东方科技集团股份有限公司 一种取料定位修正方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345867A (ja) * 1998-06-02 1999-12-14 Dainippon Screen Mfg Co Ltd ウェハの回転方向決定方法およびその装置、並びに、ウェハの測定位置決定方法およびその装置
JP2011155183A (ja) * 2010-01-28 2011-08-11 Fujikura Ltd プリント配線基板の製造方法、プリント配線基板の製造装置及びプリント配線基板
WO2012004626A1 (en) * 2010-07-06 2012-01-12 Ltu Technologies Method and apparatus for obtaining a symmetry invariant descriptor from a visual patch of an image
JP2014233788A (ja) * 2013-05-31 2014-12-15 株式会社ニデック 眼鏡レンズ加工用装置、眼鏡レンズの上下検知プログラム
CN107030687A (zh) * 2016-02-04 2017-08-11 上海晨兴希姆通电子科技有限公司 位置偏移检测方法及模块、抓取位置校准方法、抓取系统
CN208614793U (zh) * 2018-06-29 2019-03-19 苏州东控自动化科技有限公司 一种复合式移动机器人的视觉定位系统
CN111015667A (zh) * 2019-12-27 2020-04-17 深圳前海达闼云端智能科技有限公司 机械臂控制方法、机器人及计算机可读存储介质
CN111353485A (zh) * 2018-12-20 2020-06-30 中国移动通信集团辽宁有限公司 印章识别方法、装置、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345867A (ja) * 1998-06-02 1999-12-14 Dainippon Screen Mfg Co Ltd ウェハの回転方向決定方法およびその装置、並びに、ウェハの測定位置決定方法およびその装置
JP2011155183A (ja) * 2010-01-28 2011-08-11 Fujikura Ltd プリント配線基板の製造方法、プリント配線基板の製造装置及びプリント配線基板
WO2012004626A1 (en) * 2010-07-06 2012-01-12 Ltu Technologies Method and apparatus for obtaining a symmetry invariant descriptor from a visual patch of an image
JP2014233788A (ja) * 2013-05-31 2014-12-15 株式会社ニデック 眼鏡レンズ加工用装置、眼鏡レンズの上下検知プログラム
CN107030687A (zh) * 2016-02-04 2017-08-11 上海晨兴希姆通电子科技有限公司 位置偏移检测方法及模块、抓取位置校准方法、抓取系统
CN208614793U (zh) * 2018-06-29 2019-03-19 苏州东控自动化科技有限公司 一种复合式移动机器人的视觉定位系统
CN111353485A (zh) * 2018-12-20 2020-06-30 中国移动通信集团辽宁有限公司 印章识别方法、装置、设备及介质
CN111015667A (zh) * 2019-12-27 2020-04-17 深圳前海达闼云端智能科技有限公司 机械臂控制方法、机器人及计算机可读存储介质

Also Published As

Publication number Publication date
CN111881911A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
JP4709668B2 (ja) ３次元物体認識システム
EP3314570A1 (en) Real-time, model-based object detection and pose estimation
CN112836558B (zh) 机械臂末端调整方法、装置、系统、设备及介质
JP2021168143A (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN111390439B (zh) 一种焊缝检测方法、装置、焊接机器人及储存介质
CN113777593B (zh) 基于伺服电机辅助运动的多激光雷达外参标定方法和装置
CN110702101A (zh) 一种面向电力巡检场景的定位方法及系统
CN111881911B (zh) 定位方法及装置
WO2015035462A1 (en) Point feature based 2d-3d registration
EP3716103A2 (en) Method and apparatus for determining transformation matrix, and non-transitory computer-readable recording medium
CN111047652A (zh) 一种快速的多tof相机外参标定方法和装置
CN111915681A (zh) 多组3d相机群的外参标定方法、装置、存储介质及设备
CN116909208B (zh) 基于人工智能的壳体加工路径优化方法及系统
KR101001184B1 (ko) 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法
JP2020071739A (ja) 画像処理装置
US20230033339A1 (en) Image processing system
CN114147725A (zh) 机器人的零点调整方法、装置、设备及存储介质
Peng et al. Real time and robust 6D pose estimation of RGBD data for robotic bin picking
JP6894398B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
CN112991408A (zh) 大场景高分遥感图像自适应区域多特征配准方法及系统
CN109035336B (zh) 基于图像的位置检测方法、装置、设备及存储介质
CN112802120B (zh) 基于非均匀分割累加表和正交消隐点的相机外参标定方法
JP2004132933A (ja) アクティブセンサの位置・姿勢推定方法及びその装置、並びにアクティブセンサの位置・姿勢推定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant