CN115082560A - 一种物料位姿识别方法、装置、电子设备及上料系统 - Google Patents

一种物料位姿识别方法、装置、电子设备及上料系统 Download PDF

Info

Publication number
CN115082560A
CN115082560A CN202210864438.9A CN202210864438A CN115082560A CN 115082560 A CN115082560 A CN 115082560A CN 202210864438 A CN202210864438 A CN 202210864438A CN 115082560 A CN115082560 A CN 115082560A
Authority
CN
China
Prior art keywords
image
similarity
template image
main direction
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210864438.9A
Other languages
English (en)
Other versions
CN115082560B (zh
Inventor
张抱日
蔡浩朗
蒙象华
李佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202210864438.9A priority Critical patent/CN115082560B/zh
Publication of CN115082560A publication Critical patent/CN115082560A/zh
Application granted granted Critical
Publication of CN115082560B publication Critical patent/CN115082560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/001—Article feeders for assembling machines
    • B23P19/007—Picking-up and placing mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/02—Devices for feeding articles or materials to conveyors
    • B65G47/04—Devices for feeding articles or materials to conveyors for feeding articles
    • B65G47/12—Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles
    • B65G47/14—Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles arranging or orientating the articles by mechanical or pneumatic means during feeding
    • B65G47/1407—Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles arranging or orientating the articles by mechanical or pneumatic means during feeding the articles being fed from a container, e.g. a bowl
    • B65G47/1414—Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles arranging or orientating the articles by mechanical or pneumatic means during feeding the articles being fed from a container, e.g. a bowl by means of movement of at least the whole wall of the container
    • B65G47/1421—Vibratory movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/24—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
    • B65G47/248—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles by turning over or inverting them
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/904—Devices for picking-up and depositing articles or materials provided with rotary movements only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0225—Orientation of the article

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于物料运送技术领域，公开了一种物料位姿识别方法、装置、电子设备及上料系统，通过获取包含零件的原始图像；在原始图像中生成零件的最小外接矩形；根据最小外接矩形获取零件的位置数据和主方向夹角；提取最小外接矩形内的第一图像，以计算第一图像与第一模板图像的第一相似度，并计算第一图像与第二模板图像的第二相似度；根据主方向夹角、第一相似度和第二相似度确定零件的旋转角度；把位置数据和旋转角度映射到世界坐标系中，得到零件的位姿；从而对零件位姿识别效率高，有利于提高上料效率。

Description

一种物料位姿识别方法、装置、电子设备及上料系统
技术领域
本申请涉及物料运送技术领域，具体而言，涉及一种物料位姿识别方法、装置、电子设备及上料系统。
背景技术
目前，在小家电生产行业中，主要采取人工装配工业进行产品装配，人力成本日益剧增，因此，急需能够实现产品自动装配的自动化装配产线来替代人工进行装配作业。在自动化装配产线中，零件通常是无序地堆放在传送带上，通过图像识别方法识别传送带上的零件的位姿后，控制机械臂根据位姿识别结果夹取零件并转移到装配工位，从而实现零件的自动上料。
然而，现有的这种自动化装配产线在进行位姿识别时，一般使用基于模板匹配的二维视觉识别方法，这种识别方法需要对实物图像与模板图像进行逐点比对，需要耗费较多的处理时间，尤其是当图像分辨率高的时候，图像的像素点数量巨大，处理效率更低。
发明内容
本申请的目的在于提供一种物料位姿识别方法、装置、电子设备及上料系统，对零件位姿识别效率高，从而有利于提高上料效率。
第一方面，本申请提供了一种物料位姿识别方法，用于识别零件的位姿，包括步骤：
A1.获取包含零件的原始图像；
A2.在所述原始图像中生成所述零件的最小外接矩形；
A3.根据所述最小外接矩形获取所述零件的位置数据和主方向夹角；
A4.提取所述最小外接矩形内的第一图像，以计算所述第一图像与第一模板图像的第一相似度，并计算所述第一图像与第二模板图像的第二相似度；
A5.根据所述主方向夹角、所述第一相似度和所述第二相似度确定所述零件的旋转角度；
A6.把所述位置数据和所述旋转角度映射到世界坐标系中，得到所述零件的位姿。
该物料位姿识别方法，与现有的基于模板匹配的二维视觉识别方法相比，无需对实物图像与模板图像进行逐点比对，数据处理量更少，位姿识别效率更高，应用于物料的上料系统时，有利于提高上料效率。
优选地，步骤A3包括：
获取所述最小外接矩形的中心点的位置数据，作为所述零件的位置数据；
计算所述最小外接矩形的主方向线与图像参考轴之间的夹角，作为所述主方向夹角。
优选地，步骤A4包括：
分别计算所述第一图像、所述第一模板图像和所述第二模板图像的全局平均亮度；
分别计算所述第一图像、所述第一模板图像和所述第二模板图像的第一局部平均亮度；所述第一局部平均亮度为对应图像的第一局部区域的平均亮度，所述第一局部区域为所述对应图像的边界以所述对应图像的中心点为基点按第一预设比例缩小后得到的第一框线所包围的区域；
分别计算所述第一图像、所述第一模板图像和所述第二模板图像的第二局部平均亮度；所述第二局部平均亮度为对应图像的第二局部区域的平均亮度，所述第二局部区域为所述对应图像的边界以所述对应图像的中心点为基点按第二预设比例缩小后得到的第二框线所包围的区域；
根据所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度计算所述第一相似度和所述第二相似度。
优选地，所述第一预设比例为1/2，所述第二预设比例为1/4。
优选地，所述根据所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度计算所述第一相似度和所述第二相似度的步骤包括：
根据以下公式计算所述第一相似度和所述第二相似度：
Figure DEST_PATH_IMAGE001
；
Figure DEST_PATH_IMAGE002
；
其中，
Figure DEST_PATH_IMAGE003
为所述第一图像与所述第一模板图像的所述第一相似度；
Figure DEST_PATH_IMAGE004
为所述第一图像与所述第二模板图像的所述第二相似度；
Figure DEST_PATH_IMAGE005
、
Figure DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE007
分别为所述第一图像的所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度，
Figure DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE009
、
Figure DEST_PATH_IMAGE010
分别为所述第一模板图像的所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度，
Figure DEST_PATH_IMAGE011
、
Figure DEST_PATH_IMAGE012
、
Figure DEST_PATH_IMAGE013
分别为所述第二模板图像的所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度。
通过该方式计算第一相似度和第二相似度，计算过程简单，计算量小，有利于进一步提高位姿识别效率。
优选地，所述第二模板图像为所述第一模板图像在图像平面中旋转180°得到的图像；
步骤A5包括：
若所述第一相似度小于所述第二相似度，则根据以下公式计算所述旋转角度：
Figure DEST_PATH_IMAGE014
；
若所述第一相似度不小于所述第二相似度，则根据以下公式计算所述旋转角度：
Figure DEST_PATH_IMAGE015
；
其中，
Figure DEST_PATH_IMAGE016
为所述零件的所述旋转角度，
Figure DEST_PATH_IMAGE017
为所述主方向夹角。
在前面的步骤得到的主方向夹角，仅反映了零件的主方向所在直线与图像参考轴之间的夹角，该主方向与图像参考轴之间的实际夹角（即旋转角度）可能等于该主方向夹角，也可能为该主方向夹角增加180°后的值，此处，用相差180°的两个模板图像分别与第一图像进行相似度对比，比较两个相似度的大小即可确定第一图像更接近于哪个模板图像，进而可确定主方向夹角与旋转角度之间的关系，因此，可快速得到旋转角度。
第二方面，本申请提供了一种物料位姿识别装置，用于识别零件的位姿，包括：
第一获取模块，用于获取包含零件的原始图像；
第一生成模块，用于在所述原始图像中生成所述零件的最小外接矩形；
第二获取模块，用于根据所述最小外接矩形获取所述零件的位置数据和主方向夹角；
第一计算模块，用于提取所述最小外接矩形内的第一图像，以计算所述第一图像与第一模板图像的第一相似度，并计算所述第一图像与第二模板图像的第二相似度；
第二计算模块，用于根据所述主方向夹角、所述第一相似度和所述第二相似度确定所述零件的旋转角度；
第三计算模块，把所述位置数据和所述旋转角度映射到世界坐标系中，得到所述零件的位姿。
该物料位姿识别装置，其对零件位姿的识别过程与现有的基于模板匹配的二维视觉识别方法相比，无需对实物图像与模板图像进行逐点比对，数据处理量更少，位姿识别效率更高，应用于物料的上料系统时，有利于提高上料效率。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述物料位姿识别方法中的步骤。
第四方面，本申请提供了一种上料系统，包括传送带、工业相机、机械臂和控制系统，所述传送带、所述工业相机和所述机械臂均与所述控制系统电性连接；所述传送带用于传送待装配的零件；所述工业相机用于对所述传送带的一段局部区域进行持续的图像采集作业；
所述控制系统用于：
根据所述工业相机采集到的帧图像判断是否有零件进入预设区域；
在有零件进入所述预设区域时，控制所述传送带停止移动；
获取所述工业相机在所述传送带停止移动后采集的包含所述零件的原始图像；
在所述原始图像中生成所述零件的最小外接矩形；
根据所述最小外接矩形获取所述零件的位置数据和主方向夹角；
提取所述最小外接矩形内的第一图像，以计算所述第一图像与第一模板图像的第一相似度，并计算所述第一图像与第二模板图像的第二相似度；
根据所述主方向夹角、所述第一相似度和所述第二相似度确定所述零件的旋转角度；
把所述位置数据和所述旋转角度映射到世界坐标系中，得到所述零件的位姿；
根据所述零件的位姿控制所述机械臂夹取所述零件并转移至装配工位。
该上料系统，在进行零件位姿识别时，无需对实物图像与模板图像进行逐点比对，数据处理量更少，与现有的基于模板匹配的二维视觉识别方法相比，位姿识别效率更高，有利于提高上料效率。
优选地，所述的上料系统，还包括落料装置，所述落料装置用于存储待装配的零件，并把所述零件逐个地送入所述传送带。
有益效果：
本申请提供的物料位姿识别方法、装置、电子设备及上料系统，通过获取包含零件的原始图像；在所述原始图像中生成所述零件的最小外接矩形；根据所述最小外接矩形获取所述零件的位置数据和主方向夹角；提取所述最小外接矩形内的第一图像，以计算所述第一图像与第一模板图像的第一相似度，并计算所述第一图像与第二模板图像的第二相似度；根据所述主方向夹角、所述第一相似度和所述第二相似度确定所述零件的旋转角度；把所述位置数据和所述旋转角度映射到世界坐标系中，得到所述零件的位姿；从而，对零件位姿识别效率高，从而有利于提高上料效率。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。
附图说明
图1为本申请实施例提供的物料位姿识别方法的流程图。
图2为本申请实施例提供的物料位姿识别装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为本申请实施例提供的上料系统的结构示意图。
图5为示例性的第一局部区域和第二局部区域的示意图。
标号说明：1、第一获取模块；2、第一生成模块；3、第二获取模块；4、第一计算模块；5、第二计算模块；6、第三计算模块；90、第一矩形框；91、第二矩形框；92、第三矩形框；301、处理器；302、存储器；303、通信总线；400、传送带；500、工业相机；600、机械臂；700、落料装置；701、料斗；702、抖动盘。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种物料位姿识别方法，用于识别零件的位姿，包括步骤：
A1.获取包含零件的原始图像；
A2.在原始图像中生成零件的最小外接矩形；
A3.根据最小外接矩形获取零件的位置数据和主方向夹角；
A4.提取最小外接矩形内的第一图像（即最小外接矩形内的图像，为了便于后续进行说明，把最小外接矩形内的图像称为第一图像），以计算第一图像与第一模板图像的第一相似度，并计算第一图像与第二模板图像的第二相似度；
A5.根据主方向夹角、第一相似度和第二相似度确定零件的旋转角度；
A6.把位置数据和旋转角度映射到世界坐标系中，得到零件的位姿。
该物料位姿识别方法，与现有的基于模板匹配的二维视觉识别方法相比，无需对实物图像与模板图像进行逐点比对，数据处理量更少，位姿识别效率更高，应用于物料的上料系统时，有利于提高上料效率。
其中，该物料位姿识别方法可应用于图4所示的上料系统的控制系统中。
在一些实施方式中，步骤A2包括：
对比原始图像各像素点的亮度与预设的亮度阈值，以确定零件的像素点；
获取零件的像素点的凸包（获取凸包的具体方法为现有技术，此处不对其进行详述）；
分别以该凸包的各段包围线为目标线段，获取该凸包的外接矩形，使该外接矩形为一边与该目标线段共线的最小矩形，从而得到各目标线段对应的外接矩形；
选取这些外接矩形中面积最小的一个作为零件的最小外接矩形。
其中，原始图像中的背景亮度比工件的亮度低，例如，当该物料位姿识别方法应用于图4所示的上料系统的控制系统中的时候，可把上料系统的传送带的颜色亮度设置为比零件颜色亮度低，从而原始图像中的背景亮度即为传送带的亮度；从而，当原始图像的像素点的亮度小于预设的亮度阈值（可根据实际需要设置）时，把该像素点判定为背景的像素点，否则，把该像素点判定为零件的像素点。
假设凸包的一段目标线段所在的直线为直线L1，可生成与该直线L1垂直的两条直线L2、L3，使直线L2和直线L3沿直线L1平移，使得直线L2和直线L3均与凸包有至少一个相交点且直线L2和直线L3之间的距离最大，然后生成与直线L2垂直的直线L4（直线L4与直线L3也垂直），使直线L4沿直线L2平移，使得直线L4与凸包有至少一个相交点且直线L4与直线L1之间的距离最大，直线L1、直线L2、直线L3和直线L4之间围成的矩形即为与该目标线段对应的外接矩形。
在实际应用中，不限于采用上述方式生成零件的最小外接矩形，也可采用任意的现有的最小外接矩形生成方法生成零件的最小外接矩形。
在本实施例中，步骤A3包括：
获取最小外接矩形的中心点的位置数据，作为零件的位置数据；
计算最小外接矩形的主方向线与图像参考轴之间的夹角，作为主方向夹角。
其中，可以用最小外接矩形的一长边、一短边、两短边的中点连线或两长边的中点连线作为该最小外接矩形的主方向线。
其中，图像参考轴可以为图像横轴、纵轴或其他方向轴。
例如，在一些实施方式中，最小外接矩形的主方向线为该最小外接矩形的一长边，图像参考轴为图像横轴，但不限于此。
矩形的中心点的位置数据和两直线之间的夹角的计算方法为现有技术，此处不对其进行详述。
优选地，步骤A4包括：
分别计算第一图像、第一模板图像和第二模板图像的全局平均亮度；
分别计算第一图像、第一模板图像和第二模板图像的第一局部平均亮度；第一局部平均亮度为对应图像（第一图像、第一模板图像或第二模板图像）的第一局部区域的平均亮度，第一局部区域为对应图像的边界以对应图像的中心点为基点按第一预设比例缩小后得到的第一框线所包围的区域；
分别计算第一图像、第一模板图像和第二模板图像的第二局部平均亮度；第二局部平均亮度为对应图像的第二局部区域的平均亮度，第二局部区域为对应图像的边界以对应图像的中心点为基点按第二预设比例缩小后得到的第二框线所包围的区域；
根据全局平均亮度、第一局部平均亮度和第二局部平均亮度计算第一相似度和第二相似度。
参考图5，图中的第一矩形框90为一图像（第一图像、第一模板图像或第二模板图像）的边界；图中的第二矩形框91为该图像的第一局部区域的边界（即第一框线），该第二矩形框91所包围的区域即为第一局部区域；图中的第三矩形框92为该图像的第二局部区域的边界（即第二框线），该第三矩形框92所包围的区域即为第二局部区域；图中的点O即为该图像的中心点。
一般地，图像的全局平均亮度可等于该图像各像素点的亮度值之和除以该图像的像素点总数；图像的第一局部平均亮度可等于该图像的第一局部区域各像素点的亮度值之和除以该第一局部区域的像素点总数；图像的第二局部平均亮度可等于该图像的第二局部区域各像素点的亮度值之和除以该第二局部区域的像素点总数。但在采集原始图像时，可能由于环境亮度的变化，导致零件部分和背景部分的亮度出现变化，进而影响第一相似度和第二相似度的可靠性；因此，优选地，可根据以下公式计算图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度：
Figure DEST_PATH_IMAGE018
；
Figure DEST_PATH_IMAGE019
；
Figure DEST_PATH_IMAGE020
；
其中，
Figure DEST_PATH_IMAGE021
、
Figure DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
分别为该图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度，
Figure DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
分别为该图像的第
Figure DEST_PATH_IMAGE027
个像素点的修正前和修正后的亮度值，
Figure DEST_PATH_IMAGE029
为该图像的像素点总数，
Figure DEST_PATH_IMAGE030
、
Figure DEST_PATH_IMAGE031
分别为第一局部区域的第
Figure DEST_PATH_IMAGE033
个像素点的修正前和修正后的亮度值，
Figure DEST_PATH_IMAGE034
为该第一局部区域的像素点总数，
Figure DEST_PATH_IMAGE035
、
Figure DEST_PATH_IMAGE036
分别为第二局部区域的第
Figure DEST_PATH_IMAGE037
个像素点的修正前和修正后的亮度值，
Figure DEST_PATH_IMAGE038
为该第二局部区域的像素点总数，
Figure DEST_PATH_IMAGE039
为预设的亮度阈值。通过该方式，把零件部分的像素点的亮度值统一调整为1，并把背景部分的像素点同一调整为0，根据调整后的亮度值计算相似度，可避免环境光照条件的变化而影响相似度计算结果的可靠性。
其中，第一预设比例和第二预设比例均为大于0小于1的值，且第一预设比例和第二预设比例不相等，具体可根据实际需要设置。例如，在图5中，第一预设比例为1/2，第二预设比例为1/4，从而，第二矩形框91的各边边长为第一矩形框90的相应边边长的1/2，第三矩形框92的各边边长为第一矩形框90的相应边边长的1/4。
在一些优选实施方式中，根据全局平均亮度、第一局部平均亮度和第二局部平均亮度计算第一相似度和第二相似度的步骤包括：
根据以下公式计算第一相似度和第二相似度：
Figure DEST_PATH_IMAGE040
；
Figure DEST_PATH_IMAGE041
；
其中，
Figure DEST_PATH_IMAGE042
为第一图像与第一模板图像的第一相似度；
Figure 858010DEST_PATH_IMAGE004
为第一图像与第二模板图像的第二相似度；
Figure DEST_PATH_IMAGE043
、
Figure DEST_PATH_IMAGE044
、
Figure DEST_PATH_IMAGE045
分别为第一图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度，
Figure 696520DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE046
、
Figure DEST_PATH_IMAGE047
分别为第一模板图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度，
Figure 165548DEST_PATH_IMAGE011
、
Figure 132367DEST_PATH_IMAGE012
、
Figure DEST_PATH_IMAGE048
分别为第二模板图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度。
通过该方式计算第一相似度和第二相似度，计算过程简单，计算量小，有利于进一步提高位姿识别效率。实际上，第一相似度和第二相似度也可以是SSIM值（结构相似性）、PSNR值（峰值信噪比）等现有的用于评价图像相似性的相似度（其计算方法为现有技术）。通过前文的方法计算的第一相似度和第二相似度，与现有的相似度计算方法相比，计算量更小。
其中，第一模板图像是采用与实时拍摄的原始图像相同的拍摄条件，对标准零件进行拍摄得到标准图像后，在该标准图像中生成零件的最小外接矩形（具体过程参考前文），并提取该最小外接矩形内部的图像而得到。
在本实施例中，第二模板图像为第一模板图像在图像平面中旋转180°得到的图像；
步骤A5包括：
若第一相似度小于第二相似度，则根据以下公式计算旋转角度：
Figure 326850DEST_PATH_IMAGE014
；
若第一相似度不小于第二相似度，则根据以下公式计算旋转角度：
Figure DEST_PATH_IMAGE049
；
其中，
Figure DEST_PATH_IMAGE050
为零件的旋转角度，
Figure DEST_PATH_IMAGE051
为主方向夹角。
在前面的步骤得到的主方向夹角，仅反映了零件的主方向所在直线与图像参考轴之间的夹角，该主方向与图像参考轴之间的实际夹角（即旋转角度）可能等于该主方向夹角，也可能为该主方向夹角增加180°后的值，此处，用相差180°的两个模板图像分别与第一图像进行相似度对比，比较两个相似度的大小即可确定第一图像更接近于哪个模板图像，进而可确定主方向夹角与旋转角度之间的关系，因此，可快速得到旋转角度。
经过上述过程，得到了零件的位置数据和旋转角度，该位置数据是在图像坐标系下的坐标数据，该旋转角度是零件的主方向与图像坐标系的参考轴（例如横轴）的夹角，为便于对零件进行抓取，需要把该位置数据和旋转角度映射到世界坐标系中，以得到零件在世界坐标系下的位姿，其中，可根据预先标定得到的位姿转换矩阵与该位置数据和旋转角度进行转换计算（此为现有技术，不对其进行详述），得到零件在世界坐标系下的位姿。
由上可知，该物料位姿识别方法，通过获取包含零件的原始图像；在原始图像中生成零件的最小外接矩形；根据最小外接矩形获取零件的位置数据和主方向夹角；提取最小外接矩形内的第一图像，以计算第一图像与第一模板图像的第一相似度，并计算第一图像与第二模板图像的第二相似度；根据主方向夹角、第一相似度和第二相似度确定零件的旋转角度；把位置数据和旋转角度映射到世界坐标系中，得到零件的位姿；从而对零件位姿识别效率高，有利于提高上料效率。
参考图2，本申请提供了一种物料位姿识别装置，用于识别零件的位姿，包括：
第一获取模块1，用于获取包含零件的原始图像；
第一生成模块2，用于在原始图像中生成零件的最小外接矩形；
第二获取模块3，用于根据最小外接矩形获取零件的位置数据和主方向夹角；
第一计算模块4，用于提取最小外接矩形内的第一图像（即最小外接矩形内的图像，为了便于后续进行说明，把最小外接矩形内的图像称为第一图像），以计算第一图像与第一模板图像的第一相似度，并计算第一图像与第二模板图像的第二相似度；
第二计算模块5，用于根据主方向夹角、第一相似度和第二相似度确定零件的旋转角度；
第三计算模块6，把位置数据和旋转角度映射到世界坐标系中，得到零件的位姿。
该物料位姿识别装置，其对零件位姿的识别过程与现有的基于模板匹配的二维视觉识别方法相比，无需对实物图像与模板图像进行逐点比对，数据处理量更少，位姿识别效率更高，应用于物料的上料系统时，有利于提高上料效率。
其中，该物料位姿识别装置可应用于图4所示的上料系统的控制系统中。
在一些实施方式中，第一生成模块2用于在原始图像中生成零件的最小外接矩形的时候，执行：
对比原始图像各像素点的亮度与预设的亮度阈值，以确定零件的像素点；
获取零件的像素点的凸包（获取凸包的具体方法为现有技术，此处不对其进行详述）；
分别以该凸包的各段包围线为目标线段，获取该凸包的外接矩形，使该外接矩形为一边与该目标线段共线的最小矩形，从而得到各目标线段对应的外接矩形；
选取这些外接矩形中面积最小的一个作为零件的最小外接矩形。
其中，原始图像中的背景亮度比工件的亮度低，例如，当该物料位姿识别装置应用于图4所示的上料系统的控制系统中的时候，可把上料系统的传送带的颜色亮度设置为比零件颜色亮度低，从而原始图像中的背景亮度即为传送带的亮度；从而，当原始图像的像素点的亮度小于预设的亮度阈值（可根据实际需要设置）时，把该像素点判定为背景的像素点，否则，把该像素点判定为零件的像素点。
假设凸包的一段目标线段所在的直线为直线L1，可生成与该直线L1垂直的两条直线L2、L3，使直线L2和直线L3沿直线L1平移，使得直线L2和直线L3均与凸包有至少一个相交点且直线L2和直线L3之间的距离最大，然后生成与直线L2垂直的直线L4（直线L4与直线L3也垂直），使直线L4沿直线L2平移，使得直线L4与凸包有至少一个相交点且直线L4与直线L1之间的距离最大，直线L1、直线L2、直线L3和直线L4之间围成的矩形即为与该目标线段对应的外接矩形。
在实际应用中，不限于采用上述方式生成零件的最小外接矩形，也可采用任意的现有的最小外接矩形生成方法生成零件的最小外接矩形。
在本实施例中，第二获取模块3用于在根据最小外接矩形获取零件的位置数据和主方向夹角的时候，执行：
获取最小外接矩形的中心点的位置数据，作为零件的位置数据；
计算最小外接矩形的主方向线与图像参考轴之间的夹角，作为主方向夹角。
其中，可以用最小外接矩形的一长边、一短边、两短边的中点连线或两长边的中点连线作为该最小外接矩形的主方向线。
其中，图像参考轴可以为图像横轴、纵轴或其他方向轴。
例如，在一些实施方式中，最小外接矩形的主方向线为该最小外接矩形的一长边，图像参考轴为图像横轴，但不限于此。
矩形的中心点的位置数据和两直线之间的夹角的计算方法为现有技术，此处不对其进行详述。
优选地，第一计算模块4用于在提取最小外接矩形内的第一图像，以计算第一图像与第一模板图像的第一相似度，并计算第一图像与第二模板图像的第二相似度的时候，执行：
分别计算第一图像、第一模板图像和第二模板图像的全局平均亮度；
分别计算第一图像、第一模板图像和第二模板图像的第一局部平均亮度；第一局部平均亮度为对应图像（第一图像、第一模板图像或第二模板图像）的第一局部区域的平均亮度，第一局部区域为对应图像的边界以对应图像的中心点为基点按第一预设比例缩小后得到的第一框线所包围的区域；
分别计算第一图像、第一模板图像和第二模板图像的第二局部平均亮度；第二局部平均亮度为对应图像的第二局部区域的平均亮度，第二局部区域为对应图像的边界以对应图像的中心点为基点按第二预设比例缩小后得到的第二框线所包围的区域；
根据全局平均亮度、第一局部平均亮度和第二局部平均亮度计算第一相似度和第二相似度。
参考图5，图中的第一矩形框90为一图像（第一图像、第一模板图像或第二模板图像）的边界；图中的第二矩形框91为该图像的第一局部区域的边界（即第一框线），该第二矩形框91所包围的区域即为第一局部区域；图中的第三矩形框92为该图像的第二局部区域的边界（即第二框线），该第三矩形框92所包围的区域即为第二局部区域；图中的点O即为该图像的中心点。
一般地，图像的全局平均亮度可等于该图像各像素点的亮度值之和除以该图像的像素点总数；图像的第一局部平均亮度可等于该图像的第一局部区域各像素点的亮度值之和除以该第一局部区域的像素点总数；图像的第二局部平均亮度可等于该图像的第二局部区域各像素点的亮度值之和除以该第二局部区域的像素点总数。但在采集原始图像时，可能由于环境亮度的变化，导致零件部分和背景部分的亮度出现变化，进而影响第一相似度和第二相似度的可靠性；因此，优选地，可根据以下公式计算图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度：
Figure 136543DEST_PATH_IMAGE018
；
Figure 222311DEST_PATH_IMAGE019
；
Figure 791439DEST_PATH_IMAGE020
；
其中，
Figure 937249DEST_PATH_IMAGE021
、
Figure 844025DEST_PATH_IMAGE022
、
Figure 982752DEST_PATH_IMAGE023
分别为该图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度，
Figure 658584DEST_PATH_IMAGE024
、
Figure 975295DEST_PATH_IMAGE025
分别为该图像的第
Figure DEST_PATH_IMAGE027A
个像素点的修正前和修正后的亮度值，
Figure DEST_PATH_IMAGE029A
为该图像的像素点总数，
Figure 979155DEST_PATH_IMAGE030
、
Figure 672304DEST_PATH_IMAGE031
分别为第一局部区域的第
Figure DEST_PATH_IMAGE033A
个像素点的修正前和修正后的亮度值，
Figure 628409DEST_PATH_IMAGE034
为该第一局部区域的像素点总数，
Figure 381601DEST_PATH_IMAGE035
、
Figure 997390DEST_PATH_IMAGE036
分别为第二局部区域的第
Figure 743498DEST_PATH_IMAGE037
个像素点的修正前和修正后的亮度值，
Figure 128343DEST_PATH_IMAGE038
为该第二局部区域的像素点总数，
Figure 786857DEST_PATH_IMAGE039
为预设的亮度阈值。通过该方式，把零件部分的像素点的亮度值统一调整为1，并把背景部分的像素点同一调整为0，根据调整后的亮度值计算相似度，可避免环境光照条件的变化而影响相似度计算结果的可靠性。
其中，第一预设比例和第二预设比例均为大于0小于1的值，且第一预设比例和第二预设比例不相等，具体可根据实际需要设置。例如，在图5中，第一预设比例为1/2，第二预设比例为1/4，从而，第二矩形框91的各边边长为第一矩形框90的相应边边长的1/2，第三矩形框92的各边边长为第一矩形框90的相应边边长的1/4。
在一些优选实施方式中，第一计算模块4在根据全局平均亮度、第一局部平均亮度和第二局部平均亮度计算第一相似度和第二相似度的时候，执行：
根据以下公式计算第一相似度和第二相似度：
Figure 640675DEST_PATH_IMAGE040
；
Figure 675627DEST_PATH_IMAGE041
；
其中，
Figure 180558DEST_PATH_IMAGE042
为第一图像与第一模板图像的第一相似度；
Figure 259241DEST_PATH_IMAGE004
为第一图像与第二模板图像的第二相似度；
Figure 115202DEST_PATH_IMAGE043
、
Figure 688266DEST_PATH_IMAGE044
、
Figure 47703DEST_PATH_IMAGE045
分别为第一图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度，
Figure 795823DEST_PATH_IMAGE008
、
Figure 873500DEST_PATH_IMAGE046
、
Figure 250255DEST_PATH_IMAGE047
分别为第一模板图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度，
Figure 979045DEST_PATH_IMAGE011
、
Figure 415843DEST_PATH_IMAGE012
、
Figure 715237DEST_PATH_IMAGE048
分别为第二模板图像的全局平均亮度、第一局部平均亮度和第二局部平均亮度。
通过该方式计算第一相似度和第二相似度，计算过程简单，计算量小，有利于进一步提高位姿识别效率。实际上，第一相似度和第二相似度也可以是SSIM值（结构相似性）、PSNR值（峰值信噪比）等现有的用于评价图像相似性的相似度（其计算方法为现有技术）。通过前文的方法计算的第一相似度和第二相似度，与现有的相似度计算方法相比，计算量更小。
其中，第一模板图像是采用与实时拍摄的原始图像相同的拍摄条件，对标准零件进行拍摄得到标准图像后，在该标准图像中生成零件的最小外接矩形（具体过程参考前文），并提取该最小外接矩形内部的图像而得到。
在本实施例中，第二模板图像为第一模板图像在图像平面中旋转180°得到的图像；
第二计算模块5用于在根据主方向夹角、第一相似度和第二相似度确定零件的旋转角度的时候，执行：
若第一相似度小于第二相似度，则根据以下公式计算旋转角度：
Figure 646415DEST_PATH_IMAGE014
；
若第一相似度不小于第二相似度，则根据以下公式计算旋转角度：
Figure 714865DEST_PATH_IMAGE049
；
其中，
Figure 322564DEST_PATH_IMAGE050
为零件的旋转角度，
Figure 374834DEST_PATH_IMAGE051
为主方向夹角。
在前面的步骤得到的主方向夹角，仅反映了零件的主方向所在直线与图像参考轴之间的夹角，该主方向与图像参考轴之间的实际夹角（即旋转角度）可能等于该主方向夹角，也可能为该主方向夹角增加180°后的值，此处，用相差180°的两个模板图像分别与第一图像进行相似度对比，比较两个相似度的大小即可确定第一图像更接近于哪个模板图像，进而可确定主方向夹角与旋转角度之间的关系，因此，可快速得到旋转角度。
经过上述过程，得到了零件的位置数据和旋转角度，该位置数据是在图像坐标系下的坐标数据，该旋转角度是零件的主方向与图像坐标系的参考轴（例如横轴）的夹角，为便于对零件进行抓取，需要把该位置数据和旋转角度映射到世界坐标系中，以得到零件在世界坐标系下的位姿，其中，可根据预先标定得到的位姿转换矩阵与该位置数据和旋转角度进行转换计算（此为现有技术，不对其进行详述），得到零件在世界坐标系下的位姿。
由上可知，该物料位姿识别装置，通过获取包含零件的原始图像；在原始图像中生成零件的最小外接矩形；根据最小外接矩形获取零件的位置数据和主方向夹角；提取最小外接矩形内的第一图像，以计算第一图像与第一模板图像的第一相似度，并计算第一图像与第二模板图像的第二相似度；根据主方向夹角、第一相似度和第二相似度确定零件的旋转角度；把位置数据和旋转角度映射到世界坐标系中，得到零件的位姿；从而对零件位姿识别效率高，有利于提高上料效率。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的物料位姿识别方法，以实现以下功能：获取包含零件的原始图像；在原始图像中生成零件的最小外接矩形；根据最小外接矩形获取零件的位置数据和主方向夹角；提取最小外接矩形内的第一图像，以计算第一图像与第一模板图像的第一相似度，并计算第一图像与第二模板图像的第二相似度；根据主方向夹角、第一相似度和第二相似度确定零件的旋转角度；把位置数据和旋转角度映射到世界坐标系中，得到零件的位姿。
请参考图4，本申请提供了一种上料系统，包括传送带400、工业相机500、机械臂600和控制系统（图中没画），传送带400、工业相机500和机械臂600均与控制系统电性连接；传送带400用于传送待装配的零件；工业相机500用于对传送带400的一段局部区域进行持续的图像采集作业；
控制系统用于：
根据工业相机500采集到的帧图像判断是否有零件进入预设区域；
在有零件进入预设区域时，控制传送带400停止移动；
获取工业相机500在传送带400停止移动后采集的包含零件的原始图像；
在该原始图像中生成零件的最小外接矩形（具体参考前文的步骤）；
根据该最小外接矩形获取零件的位置数据和主方向夹角（具体参考前文的步骤）；
提取该最小外接矩形内的第一图像，以计算第一图像与第一模板图像的第一相似度，并计算第一图像与第二模板图像的第二相似度（具体参考前文的步骤）；
根据主方向夹角、第一相似度和第二相似度确定零件的旋转角度（具体参考前文的步骤）；
把位置数据和旋转角度映射到世界坐标系中，得到零件的位姿（具体参考前文的步骤）；
根据零件的位姿控制机械臂600夹取零件并转移至装配工位。
该上料系统，在进行零件位姿识别时，无需对实物图像与模板图像进行逐点比对，数据处理量更少，与现有的基于模板匹配的二维视觉识别方法相比，位姿识别效率更高，有利于提高上料效率。
其中，传送带400的颜色亮度比零件的颜色亮度低。
预设区域是以工业相机500的视场中心点为中心的具有预设宽度和预设长度的矩形区域（其宽度和长度可根据实际需要设置），控制系统用于在根据工业相机500采集到的帧图像判断是否有零件进入预设区域的时候，执行：
获取帧图像的亮度不小于预设的亮度阈值
Figure 77079DEST_PATH_IMAGE039
的像素点的位置数据，记为第一位置数据；
根据各第一位置数据计算零件的形心位置数据（形心位置数据的横坐标值为各第一位置数据的横坐标值之和除以第一位置数据总个数，形心位置数据的纵坐标值为各第一位置数据的纵坐标值之和除以第一位置数据总个数）；
若零件的形心位于预设区域内，则判定有零件进入预设区域，否则，判定没有零件进入预设区域。
优选地，该上料系统，还包括落料装置700，落料装置700用于存储待装配的零件，并把零件逐个地送入传送带400。从而，避免传送带400上的零件相互堆叠而影响位姿识别的准确性，进一步保证机械臂600能够可靠抓取零件。
其中，落料装置700可以是现有的振动盘上料装置，也可以为图4中的落料装置700，其包括用于存储待装配零件的料斗701，该料斗701的下端出口处设置有抖动盘702，抖动盘702与料斗701下端铰接，通过抖动控制料斗701下端出口的开合，从而使料斗701中的零件逐个地落入传送带400。
其中，工业相机500可设置在机械臂600外，也可设置在机械臂600末端（如图4所示）。若工业相机500设置在机械臂600末端，则机械臂600还用于带动工业相机500至预设的拍照位姿，以使工业相机500对准传送带400的一段局部区域进行持续的图像采集作业。
其中，机械臂600每完成一个零件的抓取和转移后，会回到预设的拍照位姿，然后控制系统控制传送带400再次启动，如此循环。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种物料位姿识别方法，用于识别零件的位姿，其特征在于，包括步骤：
A1.获取包含零件的原始图像；
A2.在所述原始图像中生成所述零件的最小外接矩形；
A3.根据所述最小外接矩形获取所述零件的位置数据和主方向夹角；
A4.提取所述最小外接矩形内的第一图像，以计算所述第一图像与第一模板图像的第一相似度，并计算所述第一图像与第二模板图像的第二相似度；
A5.根据所述主方向夹角、所述第一相似度和所述第二相似度确定所述零件的旋转角度；
A6.把所述位置数据和所述旋转角度映射到世界坐标系中，得到所述零件的位姿。
2.根据权利要求1所述的物料位姿识别方法，其特征在于，步骤A3包括：
获取所述最小外接矩形的中心点的位置数据，作为所述零件的位置数据；
计算所述最小外接矩形的主方向线与图像参考轴之间的夹角，作为所述主方向夹角。
3.根据权利要求1所述的物料位姿识别方法，其特征在于，步骤A4包括：
分别计算所述第一图像、所述第一模板图像和所述第二模板图像的全局平均亮度；
分别计算所述第一图像、所述第一模板图像和所述第二模板图像的第一局部平均亮度；所述第一局部平均亮度为对应图像的第一局部区域的平均亮度，所述第一局部区域为所述对应图像的边界以所述对应图像的中心点为基点按第一预设比例缩小后得到的第一框线所包围的区域；
分别计算所述第一图像、所述第一模板图像和所述第二模板图像的第二局部平均亮度；所述第二局部平均亮度为对应图像的第二局部区域的平均亮度，所述第二局部区域为所述对应图像的边界以所述对应图像的中心点为基点按第二预设比例缩小后得到的第二框线所包围的区域；
根据所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度计算所述第一相似度和所述第二相似度。
4.根据权利要求3所述的物料位姿识别方法，其特征在于，所述第一预设比例为1/2，所述第二预设比例为1/4。
5.根据权利要求3所述的物料位姿识别方法，其特征在于，所述根据所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度计算所述第一相似度和所述第二相似度的步骤包括：
根据以下公式计算所述第一相似度和所述第二相似度：
Figure 425656DEST_PATH_IMAGE001
；
Figure 546058DEST_PATH_IMAGE002
；
其中，
Figure 60216DEST_PATH_IMAGE003
为所述第一图像与所述第一模板图像的所述第一相似度；
Figure 672070DEST_PATH_IMAGE004
为所述第一图像与所述第二模板图像的所述第二相似度；
Figure 689704DEST_PATH_IMAGE005
、
Figure 981008DEST_PATH_IMAGE006
、
Figure 716883DEST_PATH_IMAGE007
分别为所述第一图像的所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度，
Figure 633893DEST_PATH_IMAGE008
、
Figure 506034DEST_PATH_IMAGE009
、
Figure 968239DEST_PATH_IMAGE010
分别为所述第一模板图像的所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度，
Figure 942142DEST_PATH_IMAGE011
、
Figure 147996DEST_PATH_IMAGE012
、
Figure 140222DEST_PATH_IMAGE013
分别为所述第二模板图像的所述全局平均亮度、所述第一局部平均亮度和所述第二局部平均亮度。
6.根据权利要求1所述的物料位姿识别方法，其特征在于，所述第二模板图像为所述第一模板图像在图像平面中旋转180°得到的图像；
步骤A5包括：
若所述第一相似度小于所述第二相似度，则根据以下公式计算所述旋转角度：
Figure 38908DEST_PATH_IMAGE014
；
若所述第一相似度不小于所述第二相似度，则根据以下公式计算所述旋转角度：
Figure 733064DEST_PATH_IMAGE015
；
其中，
Figure 742608DEST_PATH_IMAGE016
为所述零件的所述旋转角度，
Figure 854921DEST_PATH_IMAGE017
为所述主方向夹角。
7.一种物料位姿识别装置，用于识别零件的位姿，其特征在于，包括：
第一获取模块，用于获取包含零件的原始图像；
第一生成模块，用于在所述原始图像中生成所述零件的最小外接矩形；
第二获取模块，用于根据所述最小外接矩形获取所述零件的位置数据和主方向夹角；
第一计算模块，用于提取所述最小外接矩形内的第一图像，以计算所述第一图像与第一模板图像的第一相似度，并计算所述第一图像与第二模板图像的第二相似度；
第二计算模块，用于根据所述主方向夹角、所述第一相似度和所述第二相似度确定所述零件的旋转角度；
第三计算模块，把所述位置数据和所述旋转角度映射到世界坐标系中，得到所述零件的位姿。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-6任一项所述物料位姿识别方法中的步骤。
9.一种上料系统，包括传送带、工业相机、机械臂和控制系统，所述传送带、所述工业相机和所述机械臂均与所述控制系统电性连接；其特征在于，所述传送带用于传送待装配的零件；所述工业相机用于对所述传送带的一段局部区域进行持续的图像采集作业；
所述控制系统用于：
根据所述工业相机采集到的帧图像判断是否有零件进入预设区域；
在有零件进入所述预设区域时，控制所述传送带停止移动；
获取所述工业相机在所述传送带停止移动后采集的包含所述零件的原始图像；
在所述原始图像中生成所述零件的最小外接矩形；
根据所述最小外接矩形获取所述零件的位置数据和主方向夹角；
提取所述最小外接矩形内的第一图像，以计算所述第一图像与第一模板图像的第一相似度，并计算所述第一图像与第二模板图像的第二相似度；
根据所述主方向夹角、所述第一相似度和所述第二相似度确定所述零件的旋转角度；
把所述位置数据和所述旋转角度映射到世界坐标系中，得到所述零件的位姿；
根据所述零件的位姿控制所述机械臂夹取所述零件并转移至装配工位。
10.根据权利要求9所述的上料系统，其特征在于，还包括落料装置，所述落料装置用于存储待装配的零件，并把所述零件逐个地送入所述传送带。
CN202210864438.9A 2022-07-22 2022-07-22 一种物料位姿识别方法、装置、电子设备及上料系统 Active CN115082560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210864438.9A CN115082560B (zh) 2022-07-22 2022-07-22 一种物料位姿识别方法、装置、电子设备及上料系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210864438.9A CN115082560B (zh) 2022-07-22 2022-07-22 一种物料位姿识别方法、装置、电子设备及上料系统

Publications (2)

Publication Number Publication Date
CN115082560A true CN115082560A (zh) 2022-09-20
CN115082560B CN115082560B (zh) 2022-11-18

Family

ID=83243227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210864438.9A Active CN115082560B (zh) 2022-07-22 2022-07-22 一种物料位姿识别方法、装置、电子设备及上料系统

Country Status (1)

Country Link
CN (1) CN115082560B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499296A (zh) * 2013-10-21 2014-01-08 东华大学 基于机器视觉的批量零件自动检测系统及方法
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN106709909A (zh) * 2016-12-13 2017-05-24 重庆理工大学 一种基于深度学习的柔性机器人视觉识别与定位系统
US20190304124A1 (en) * 2018-03-28 2019-10-03 Seiko Epson Corporation Low feature object detection and pose estimation for image data streams
CN110315525A (zh) * 2018-03-29 2019-10-11 天津工业大学 一种基于视觉引导的机器人工件抓取方法
CN113269835A (zh) * 2021-07-19 2021-08-17 季华实验室 基于轮廓特征的工业零件位姿识别方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499296A (zh) * 2013-10-21 2014-01-08 东华大学 基于机器视觉的批量零件自动检测系统及方法
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN106709909A (zh) * 2016-12-13 2017-05-24 重庆理工大学 一种基于深度学习的柔性机器人视觉识别与定位系统
US20190304124A1 (en) * 2018-03-28 2019-10-03 Seiko Epson Corporation Low feature object detection and pose estimation for image data streams
CN110315525A (zh) * 2018-03-29 2019-10-11 天津工业大学 一种基于视觉引导的机器人工件抓取方法
CN113269835A (zh) * 2021-07-19 2021-08-17 季华实验室 基于轮廓特征的工业零件位姿识别方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘信君等: "深度学习技术在工件自动检测中的应用", 《小型微型计算机系统》 *
司小婷等: "基于视觉的零件识别和定位", 《组合机床与自动化加工技术》 *
朱良等: "基于机器视觉的工业机器人工件定位", 《小型微型计算机系统》 *

Also Published As

Publication number Publication date
CN115082560B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
US6748104B1 (en) Methods and apparatus for machine vision inspection using single and multiple templates or patterns
EP3751976A1 (en) System for creating learned model for component image recognition, and method for creating learned model for component image recognition
CN105934757B (zh) 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置
CN110102490A (zh) 基于视觉技术的流水线包裹分拣装置和电子设备
CN110555838A (zh) 基于图像的零件故障检测方法及装置
CN117124302B (zh) 一种零件分拣方法、装置、电子设备及存储介质
US20200334650A1 (en) Self-service checkout counter checkout
JP2019192022A (ja) 画像処理装置、画像処理方法及びプログラム
CN112084964A (zh) 产品识别设备、方法及存储介质
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
CN208092786U (zh) 一种以深度卷积神经网络为基础的零件分拣系统
CN115362469A (zh) 复合三维blob工具及其操作方法
CN106067031A (zh) 基于人工纠错机制与深度学习网络协作机器视觉识别系统
US9947106B2 (en) Method and electronic device for object tracking in a light-field capture
CN109614994A (zh) 一种瓷砖分类识别方法及装置
CN111739003A (zh) 一种用于外观检测的机器视觉算法
CN115082560B (zh) 一种物料位姿识别方法、装置、电子设备及上料系统
WO2022227103A1 (zh) 一种零部件智能检测与标签系统及方法
CN113947598A (zh) 基于图像处理的塑料餐盒缺陷检测方法、装置及系统
CN109981967A (zh) 用于智能机器人的拍摄方法、装置、终端设备及介质
US20190358819A1 (en) Image processing apparatus, robot and robot system
CN108898584B (zh) 一种基于图像分析的全自动贴面电容装焊极性判别方法
CN116385527A (zh) 基于多源传感器的物体定位方法、装置和介质
CN111860035A (zh) 图书封面检测方法、装置及存储介质和电子设备
CN116993654A (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant