CN110281240B - 液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统 - Google Patents

液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统 Download PDF

Info

Publication number
CN110281240B
CN110281240B CN201910558994.1A CN201910558994A CN110281240B CN 110281240 B CN110281240 B CN 110281240B CN 201910558994 A CN201910558994 A CN 201910558994A CN 110281240 B CN110281240 B CN 110281240B
Authority
CN
China
Prior art keywords
liquid crystal
crystal display
edge
glass
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910558994.1A
Other languages
English (en)
Other versions
CN110281240A (zh
Inventor
付旻
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boshi Intelligent Motion Technology Co ltd
Original Assignee
Beijing Boshi Intelligent Motion Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boshi Intelligent Motion Technology Co ltd filed Critical Beijing Boshi Intelligent Motion Technology Co ltd
Priority to CN201910558994.1A priority Critical patent/CN110281240B/zh
Publication of CN110281240A publication Critical patent/CN110281240A/zh
Application granted granted Critical
Publication of CN110281240B publication Critical patent/CN110281240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Abstract

本申请公开一种液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统，采用机器人抓取液晶显示屏玻璃；根据液晶显示屏玻璃和料盘特点设计相应的成像系统；根据液晶显示屏玻璃的实际成像特点，提出一种液晶显示屏玻璃图像定位方法，首先采用模板匹配方法获得图像中的液晶显示屏玻璃初始定位结果，然后检测液晶显示屏玻璃各边缘上的边缘点，最后根据每条边缘上的边缘点计算液晶显示屏玻璃的位置和角度。使液晶显示屏玻璃在料盘中任意放置，也能够快速、精确定位液晶显示屏玻璃的位置和角度，然后视觉处理系统与机器人控制器配合，将精确定位液晶显示屏玻璃的位置和角度信息转换为机器人拾取的轴位置，使得机器人能够快速、准确、稳定的拾取产品。

Description

液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统
技术领域
本发明涉及机器人视觉领域，尤其涉及一种液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统。
背景技术
近年来液晶显示屏广泛的应用于消费电子、汽车电子等多种具有显示交互功能的产品中，消费电子产品比如手机、手表、平板电脑等，汽车电子产品比如汽车仪表盘、中控屏、行车记录仪、导航仪等，用于显示图像、视频、交互操作界面等信息。液晶显示屏的主要构件是液晶显示屏玻璃，其由大板液晶显屏玻璃切割成单个小片液晶显示屏玻璃后，还需要磨边、清洗、偏光片贴合、COG、FOG、检测等多个生产环节才能加工成液晶显示模组，液晶显示模组还需要其他工序才能最终组装成液晶显示屏。液晶显示屏生产过程中，单个小片液晶显示屏玻璃会在各道工序之间流转，各道工序都会涉及到液晶显示屏玻璃的搬运和上下料。
在液晶显示屏玻璃自动上料应用场景中：多片液晶显示屏玻璃放置在无格料盘中，使用机器人抓取料盘中的液晶显示屏玻璃，然后将其放在预先设定的放料位置，等待后道工序设备进一步加工处理。为了兼顾不同尺寸型号的液晶显示屏玻璃，采用无格的料盘，以降低生产成本。但采用无格的料盘，导致液晶显示屏玻璃在料盘中的位置不固定，因此机器人抓取液晶显示屏玻璃时，一般都需要通过视觉定位引导来完成。现有的机器人抓取方案，主要是用一个相机固定安装在料盘上方，拍摄整个料盘中的多片液晶显示屏玻璃，采用模板匹配定位的方式定位液晶显示屏玻璃，然后机器人根据视觉结果抓取玻璃。
但是，目前存在的主要问题是液晶显示屏玻璃在无格料盘中的位置和角度都不固定，放置位置可以是在料盘中任意位置，放置角度在0°到360°内范围变化，一方面，由于超窄边框的液晶显示屏应用越来越广泛，屏占比越来越高，液晶显示屏玻璃可用于区分放置角度的特征也越来越小；另一方面，由于光照变化、料盘背景变化、镜头畸变等原因，不同位置和不同片的液晶显示屏玻璃成像存在一定差异，一致性较差。因此，视觉处理时只采用模板匹配定位方式来定位液晶显示屏玻璃，不能够获得定位产品精确位置与角度，最终导致机器人可能会抓反、抓偏或漏抓产品。因此，在视觉上如何精确定位液晶显示屏玻璃位置，成为视觉引导机器人应用中非常关键的问题。
发明内容
本申请实施例公开一种液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统，以解决现有技术中，视觉处理时只采用模板匹配定位方式来定位液晶显示屏玻璃，不能够获得定位产品精确位置与角度，最终导致机器人可能会抓反、抓偏或漏抓产品的问题。
在本申请的第一方面，公开一种液晶显示屏玻璃定位方法，包括：对装有液晶显示屏玻璃的料盘实时进行图像采集；根据模板匹配方法，在实时采集的图像中，获取所述液晶显示屏玻璃的初始定位结果；根据所述初始定位结果对所述液晶显示屏玻璃进行边缘检测；获得各边缘对应的若干个边缘点坐标，所述边缘点坐标为检测边缘中灰度变化超过预设阈值并且是极大值的点对应的坐标；将各边缘对应的边缘点坐标分别拟合直线并计算直线拟合误差；比较各边缘直线拟合误差，其中，直线拟合误差最大的边缘为所述液晶显示屏玻璃带有驱动引脚线路一端的边缘，其中，所述带有驱动引脚线路一端的边缘包括外边缘不在一条直线上的驱动引脚线路区域和液晶显示区域；根据所述液晶显示区域对应的边缘点坐标，对带有驱动引脚线路一端的边缘重新拟合直线；根据各边缘对应的拟合直线计算相邻边缘的交点；根据各交点确定所述液晶显示屏玻璃的最终位置信息。
进一步地，所述模板匹配方法包括：采集用于训练的液晶显示屏玻璃图像；设置训练模板区域、训练标记点和训练时的边缘检测区域，其中，所述训练模板区域包括全部或大部分液晶显示屏玻璃区域和全部或大部分料盘区域，所述训练标记点用于表示训练时液晶显示屏玻璃的位置，所述训练时的边缘检测区域包括对应的各边缘区域和部分料盘区域；根据设置的所述训练模板区域、训练标记点、训练时的边缘检测区域和用于训练的液晶显示屏玻璃图像进行训练，得到定位核图像；根据得到的定位核图像，在实时采集的装有液晶显示屏玻璃的料盘图像中，定位所述液晶显示屏玻璃图像。
进一步地，根据所述初始定位结果对所述液晶显示屏玻璃进行边缘检测还包括：根据所述初始定位结果、训练模板区域、训练标记点和训练时的边缘检测区域，获得实时的边缘检测区域；在所述实时的边缘检测区域中，获得各边缘对应的若干个边缘点坐标。
进一步地，所述模板匹配方法包括：在实时图像中定位与模板图像相似度超过预设阈值的图像子区域,所述图像子区域为液晶显示屏玻璃所在区域。
进一步地，所述模板匹配方法包括：使用部分特征区域进行匹配运算。
在本申请的第二方面，公开一种液晶显示屏玻璃定位系统，包括：图像采集模块，用于对装有液晶显示屏玻璃的料盘实时进行图像采集；第一获取模块，用于根据模板匹配方法，在实时采集的图像中，获取所述液晶显示屏玻璃的初始定位结果；边缘检测模块，用于根据所述初始定位结果对所述液晶显示屏玻璃进行边缘检测；获得模块，用于获得各边缘对应的若干个边缘点坐标，所述边缘点坐标为检测边缘中灰度变化超过预设阈值并且是极大值的点对应的坐标；第一直线拟合模块，用于将各边缘对应的边缘点坐标分别拟合直线并计算直线拟合误差；比较模块，用于比较各边缘直线拟合误差，其中，直线拟合误差最大的边缘为所述液晶显示屏玻璃带有驱动引脚线路一端的边缘，其中，所述带有驱动引脚线路一端的边缘包括外边缘不在一条直线上的驱动引脚线路区域和液晶显示区域；第二直线拟合模块，用于根据所述液晶显示区域对应的边缘点坐标，对带有驱动引脚线路一端的边缘重新拟合直线；计算模块，用于根据各边缘对应的拟合直线计算相邻边缘的交点；确定模块，用于根据各交点确定所述液晶显示屏玻璃的最终位置。
在本申请的第三方面，公开一种视觉处理系统，包括：视觉标定模块、视觉定位模块和图像坐标转换模块；其中，所述视觉标定模块，用于标定相机的图像像素坐标系与机器人末端运动平台坐标系之间的映射关系；所述视觉定位模块，用于根据第一方面所述的定位方法，定位图像中液晶显示屏玻璃的位置；所述图像坐标转换模块，用于根据映射关系，将图像定位结果转换为机器人拾取轴的位置。
在本申请的第四方面，公开一种基于视觉引导的液晶显示屏玻璃拾取系统，包括：成像系统、第三方面所述的视觉处理系统、机器人控制器和机器人；所述成像系统，用于采集液晶显示屏玻璃和料盘图像；所述机器人控制器与所述视觉处理系统通信连接，用于根据转换的机器人拾取轴的位置，控制机器人运动；所述机器人，用于根据机器人控制器的指示，执行拾取液晶显示屏玻璃操作。
进一步地，所述成像系统包括无格料盘、第一条形光源、第二条形光源、相机和镜头；所述镜头同轴安装于所述相机；所述相机位于所述无格料盘的正上方；所述第一条形光源和第二条形光源分别位于所述无格料盘的两侧斜上方，所述第一条形光源和第二条形光源发射的光斜射入所述无格料盘；其中，所述无格料盘与位于所述无格料盘内的液晶显示屏玻璃存在灰度差。
本申请实施例公开一种液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统，针对液晶显示屏生产环节中置于无格料盘的液晶显示屏玻璃上料的应用场景，采用机器人抓取液晶显示屏玻璃；根据液晶显示屏玻璃和料盘特点设计相应的成像系统，使产品的成像符合后续的处理要求；根据液晶显示屏玻璃的实际成像特点，提出一种液晶显示屏玻璃图像定位方法，首先采用模板匹配方法粗获得图像中的液晶显示屏玻璃初始定位结果，然后检测液晶显示屏玻璃各边缘上的边缘点，最后根据每条边缘上的边缘点计算液晶显示屏玻璃的位置和角度。即使液晶显示屏玻璃在料盘中360°范围内任意放置，也能够快速、精确定位液晶显示屏玻璃的位置和角度，然后视觉处理系统与机器人控制器配合，将精确定位液晶显示屏玻璃的位置和角度信息转换为机器人拾取的轴位置，最后使得机器人能够快速、准确、稳定的拾取产品。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种液晶显示屏玻璃定位方法的工作流程示意图；
图2为本申请实施例公开的一种液晶显示屏玻璃的结构示意图；
图3为本申请实施例公开的一种液晶显示屏玻璃在无格料盘中的结构示意图；
图4为本申请实施例公开的检测边缘点的示意图；
图5为本申请实施例公开的一种模板匹配方法的工作流程示意图；
图6为本申请实施例公开的模板匹配方法中训练过程的示意图；
图7为本申请实施例公开的模板匹配方法定位结果角度正确的边缘检测示意图；
图8为本申请实施例公开的模板匹配方法定位结果角度相差180°的边缘检测示意图；
图9为本申请实施例公开的一种液晶显示屏玻璃定位系统的结构框图；
图10为本申请实施例公开的一种基于视觉引导的液晶显示屏玻璃拾取系统结构框图；
图11为本申请实施例公开的一种视觉处理系统的结构框图；
图12为本申请实施例公开的成像系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在现有的液晶显示屏玻璃自动上料应用场景中，液晶显示屏玻璃在无格料盘中的位置和角度都不固定，放置位置可以是在料盘中任意位置，放置角度在0°到360°内范围变化，一方面，由于超窄边框的液晶显示屏应用越来越广泛，屏占比越来越高，液晶显示屏玻璃可用于区分放置角度的特征也越来越小；另一方面，由于光照变化、料盘背景变化、镜头畸变等原因，不同位置和不同片的液晶显示屏玻璃成像存在一定差异，一致性较差。因此，视觉处理时只采用模板匹配定位方式来定位液晶显示屏玻璃，不能够获得定位产品精确位置与角度，最终导致机器人可能会抓反、抓偏或漏抓产品。
目前针对上述问题的解决方法，一种是人工手动直接上料，该方法上料精度一致性很难保证，人力成本高，效率低，不符合自动化生产的大趋势；另一种是人工预先将产品按固定方向摆放到料盘中，然后再以视觉模板匹配定位方式在小角度范围内定位产品，后续机器人根据视觉给出的位置进行拾取，该方法同样需要人工参与，人力成本较高，并且拾取精度仍然存在问题。
为了解决上述技术问题，本申请通过以下实施例公开一种液晶显示屏玻璃定位方法及系统。
本申请第一实施例公开一种液晶显示屏玻璃定位方法。参见图1所示的工作流程示意图，本实施例中，本申请实施例公开的液晶显示屏玻璃定位方法包括以下步骤：
步骤S101、对装有液晶显示屏玻璃的料盘实时进行图像采集。
如图2所示，图2中示出了一种液晶显示屏玻璃的结构示意图，液晶显示屏玻璃，从外观上看，主要包括液晶显示区域、驱动引脚线路和玻璃基板，一般为长方形，常见的长宽比如4:3、16:9、16:10等。其中，液晶显示区域，在可见光条件下，一般为不透明的黑色区域，占整个液晶显示屏玻璃的比例较大，一般超过90％。驱动引脚线路，一般为不透明的金属蚀刻线路，占比较小，一般小于2％。玻璃基板，本身与液晶显示屏玻璃一样大，但由于液晶显示区域和驱动引脚线路的覆盖，外观上露出的可见部分占比较小，一般小于5％。下文中所述玻璃基板特指露出部分的玻璃基板，该部分区域为透明区域。液晶显示屏玻璃放置在无格的料盘中，如图3所示，采用无格料盘主要是为了兼容不同大小尺寸型号的产品节约成本和新产品导入周期。
步骤S102、根据模板匹配方法，在实时采集的图像中，获取所述液晶显示屏玻璃的初始定位结果。
采用模板匹配方法进行粗定位，给出实时图像中液晶显示屏玻璃初始的位置信息。其中模板匹配方法可以采用基于区域的模板匹配方法，还可以采用几何特征的模板匹配方法、连通区域分析等方法得到液晶显示屏玻璃的初始位置和角度信息，本申请对此不做限定。
由于光照变化、料盘背景变化、镜头畸变等原因，不同位置和不同片的液晶显示屏玻璃成像存在一定差异，以及可用于区分液晶显示屏玻璃旋转角度的引脚线路区域占整个区域比例较小的原因，以长方形的液晶显示屏玻璃为例，液晶显示屏玻璃一般左右两边和上下两边长度相差较多，所以导致可能存在定位结果偏上、定位结果偏下、定位结果与实际位置相差180°等问题。因此，步骤S102根据模板匹配方法获得的液晶显示屏玻璃的初始定位结果，只是一个粗定位结果，为了精确定位液晶显示屏玻璃还需要以下步骤进一步的处理。
步骤S103、根据所述初始定位结果对所述液晶显示屏玻璃进行边缘检测。
步骤S104、获得各边缘对应的若干个边缘点坐标，所述边缘点坐标为检测边缘中灰度变化超过预设阈值并且是极大值的点对应的坐标。
边缘检测，主要是利用图像预定区域内灰度边缘极性变化特性来检测液晶显示屏玻璃上的边缘点，检测到边缘点可用于后续的液晶显示屏玻璃边缘直线拟合。边缘极性是指边缘区域灰度级过渡的形式，即从亮到暗或从暗到亮，如图4所示，沿箭头方向边缘极性为从亮到暗。边缘检测主要在特定边缘极性情况下，将图像中亮度变化超过一定阈值并且是极大值的点作为边缘点。对于一条边缘上需要检出的边缘点数量，可以根据需要进行设置，图4中则以箭头的数量来表示。边缘检测得到边缘的一组边缘点后，可以通过直线拟合方式，得到相应边缘直线的参数和解析表达式。液晶显示屏玻璃定位方法中，边缘检测箭头方向由料盘背景区域指向液晶显示屏玻璃，因此需要检测由亮到暗的边缘点，需要检出的边缘点数量可以根据需要设置。
步骤S105、将各边缘对应的边缘点坐标分别拟合直线并计算直线拟合误差。
在步骤S104中，获得了各边缘对应的若干个边缘点坐标，根据各边缘对应的边缘点坐标，对各边缘拟合直线，从而获得各边缘对应的边缘直线，同时计算各边缘直线拟合的误差。
如果所述的液晶显示屏玻璃为长方形，那么带有驱动引脚线路一端的边缘要么处在长方形的相对较长的边缘上，要么处在长方形的相对较短的边缘上，则此种情况下，步骤S105中可以直接计算长方形的相对较长的两条边缘的直线拟合的误差或直接计算长方形的相对较短的两条边缘的直线拟合的误差，其中，计算直线拟合的误差的两条边缘中，其中一条边缘上带有驱动引脚线路。
步骤S106、比较各边缘直线拟合误差，其中，直线拟合误差最大的边缘为所述液晶显示屏玻璃带有驱动引脚线路一端的边缘，其中，所述带有驱动引脚线路一端的边缘包括外边缘不在一条直线上的驱动引脚线路区域和液晶显示区域。
根据模板匹配方法，存在获得的液晶显示屏玻璃初始定位结果可能与实际位置相差180°的问题，因此需要判断初始定位结果的角度是否正确。
如图2所示，液晶显示屏玻璃上部边缘，其边缘点包括左部区域引脚线路的边缘点、中间区域液晶显示区域的边缘点和右部区域引脚线路的边缘点，引脚线路的边缘点和液晶显示区域的边缘点不在一条直线上；而液晶显示屏玻璃下部边缘的边缘点都是液晶显示区域的边缘点，这些边缘点都在一条直线上；因此，上部边缘的边缘点拟合直线的拟合误差，会大于下部边缘的边缘点拟合直线的拟合误差，基于此可以判断模板匹配方法给出的初步定位结果是否与实际位置相差180°。
其中，驱动引脚线路区域包括多个驱动引脚线路，驱动引脚线路区域一般分成两部分，分别位于液晶显示区域其中一端边缘的两侧。
步骤S107、根据所述液晶显示区域对应的边缘点坐标，对带有驱动引脚线路一端的边缘重新拟合直线。
根据步骤S106可以判断出带有驱动引脚线路一端的边缘，由于步骤S105中对带有驱动引脚线路一端的边缘的直线拟合的边缘点坐标中，包括该边缘液晶显示区域对应的边缘点坐标和驱动引脚线路对应的边缘点坐标，所以获得是边缘直线误差较大，所以在确定驱动引脚线路对应的边缘后，需要对带有驱动引脚线路一端的边缘重新拟合直线，重新拟合直线时，抛弃驱动引脚线路对应的边缘点坐标，选取所述液晶显示区域对应的边缘点坐标进行直线拟合，获得带有驱动引脚线路一端的边缘准确的边缘直线。
步骤S108、根据各边缘对应的拟合直线计算相邻边缘的交点。
步骤S109、根据各交点确定所述液晶显示屏玻璃的最终位置信息。
根据每两条相邻的拟合直线可以求出一个交点，根据求出的所有交点可以确定液晶显示屏玻璃的位置信息。
本申请的液晶显示屏玻璃定位方法，先利用模板匹配方法进行粗定位，获得液晶显示屏玻璃的初始定位结果，再根据初始定位结果，对液晶显示屏玻璃进行精确定位，在精确定位方法中，主要利用边缘检测，确定液晶显示屏玻璃各边缘直线，通过直线拟合误差判断出液晶显示屏玻璃中带有驱动引脚线路的边缘，即使液晶显示屏玻璃在料盘中360°范围内任意放置，也能够快速、精确定位液晶显示屏玻璃的位置信息。
在一优选实施例中，在直线拟合步骤中，如果边缘检测得到全部的边缘点都参与直线拟合，实际应用中有些边缘点可能是脏污等杂点，会影响直线拟合精度，所以可以采用基于局外点的直线拟合方法，也就是说，参与直线拟合的边缘点中不包括可能是脏污等的杂点，可以进一步提高直线拟合精度和稳定性，最终可以得到更准确更稳定的液晶显示屏玻璃的位置和角度。
在一优选实施例中，步骤S102中所述的模板匹配方法采用基于区域的模板匹配方法。
基于区域的模板匹配方法，可以理解为在模板图像中将想要定位的目标区域作为训练目标模板区域，也称为定位核，在实时图像中寻找与训练目标模板区域相似度超过一定阈值的图像子区域。
如图5所示，利用基于区域的模板匹配方法对液晶显示屏玻璃进行粗定位的方法，包括以下步骤：
步骤S201、采集用于训练的液晶显示屏玻璃图像。
步骤S202、设置训练模板区域、训练标记点和训练时的边缘检测区域，其中，所述训练模板区域包括全部或大部分液晶显示屏玻璃区域和全部或大部分料盘区域，所述训练标记点，用于表示训练时液晶显示屏玻璃的位置，所述训练时的边缘检测区域包括对应的各边缘区域和部分料盘区域。
如图6所示，设置粗定位模板匹配方法训练模板区域Rtm和训练标记点Pt，Rtm训练区域需要将液晶显示屏玻璃全部或大部分包含在内，同时也需要包含一些背景区域，训练标记点Pt用于表示训练时液晶显示屏玻璃的位置，其中背景区域指料盘区域。
设置训练时的边缘检测区域Rt1、Rt2、Rt3、Rt4，Rt1区域包含液晶显示屏玻璃上边缘区域，既包含液晶显示屏玻璃上部边缘区域，也包含部分背景区域，同理，Rt2区域包含液晶显示屏玻璃右侧边缘区域，也包含部分背景区域；Rt3区域包含液晶显示屏玻璃下边缘区域，也包含部分背景区域；Rt4区域包含液晶显示屏玻璃左侧边缘区域，也包含部分背景区域。
步骤S203、根据设置的所述训练模板区域、训练标记点、训练时的边缘检测区域执行和用于训练的液晶显示屏玻璃图像进行训练，得到定位核图像。记录粗定位模板匹配方法训练模板区域Rtm的位置和训练标记点Pt的位置，记录训练时边缘检测区域Rt1、Rt2、Rt3、Rt4的位置。
步骤S201至步骤S203主要是在图像中设置粗定位模板匹配方法的模板训练区域，即图像定位核，并训练该区域得到定位核的模板特征，以及设置用于后续的边缘检测区域。
步骤S204、根据得到的定位核图像，在实时采集的装有液晶显示屏玻璃的料盘图像中，定位所述液晶显示屏玻璃图像。
在实时图像中寻找与定位核图像相似度超过一定阈值的图像子区域，所述的图像子区域即为液晶显示屏玻璃图像。
数学上，设(xi，yi)(i＝1，2，3...n)是(x，y)的n组样本观测值，则x和y的相关系数r为，
Figure GDA0002743906740000071
其中
Figure GDA0002743906740000072
表示样本(xi)(i＝1，2，3...n)的均值，
Figure GDA0002743906740000073
表示样本(yi)(i＝1，2，3...n)的均值，相关系数r的取值范围为[-1，1]。本实施例中的模板匹配定位方法采用相关系数平方r2来衡量定位核与图像子区域间的相似度分数。本实施例中采用模板匹配定位方法，将训练图像中液晶显示屏玻璃作为定位核，在实时图像中搜索与定位核相似度分数超过一定阈值的图像子区域作为实时的液晶显示屏玻璃区域。
采用模板匹配方法，利用训练得到定位核特征，在实时图像中定位实时的液晶显示屏玻璃，得到液晶显示屏玻璃的初始定位结果,初始定位结果包括位置和角度，其中，位置为实时液晶显示屏玻璃的初步位置Pr，角度为实时液晶显示屏玻璃相对于训练定位核的以位置Pr为中心的旋转角度Δθr。
优选的，因为模板匹配方法只是作为粗定位方法，所以可以只取较少的特征区域去参与匹配运算，以达到快速定位的效果。
根据步骤S201至步骤S204获得初始定位结果后，继续执行步骤S103至步骤S109，为了方便说明，以液晶显示屏玻璃为长方形为例进行说明，具体步骤如下：
根据粗定位模板匹配方法获得的初始定位结果，以及训练区域Rtm和训练时边缘检测区域Rt1、Rt2、Rt3、Rt4，计算得到实时的边缘检测区域Rr1、Rr2、Rr3、Rr4。
边缘检测区域，用于标识检测液晶显示屏玻璃上、下、左、右四条边上边缘点的区域。在液晶显示屏玻璃模板匹配方法的训练阶段，记录了粗定位模板匹配方法训练区域Rtm、训练标记点Pt、训练时边缘检测区域位置Rt1、Rt2、Rt3、Rt4，模板训练区域Rtm和训练标记点Pt与训练时边缘检测区域Rt1、Rt2、Rt3、Rt4之间的相对位置关系是固定的，因此，在实时图像中定位到液晶显示屏玻璃位置Pr和角度Δθr后，可以确定实时图像中的边缘检测区域Rr1、Rr2、Rr3、Rr4。假设点P为训练时边缘检测区域Rt1的一个点，其在训练图像中坐标为(x，y)，在实时图像中与点P对应的实时点为P′，其在实时图像中坐标为(x′，y′)，已知训练标记点Pt的坐标为(xt，yt)，实时图像中定位结果标记点Pr的坐标为(xr，yr)，相对旋转角度为Δθr，则P′的坐标计算公式如下：
Figure GDA0002743906740000081
然后，如图7和图8所示，在实时的边缘检测区域Rr1、Rr2、Rr3、Rr4内，分别沿着箭头方向检测图像中由亮到暗灰度变化最大的边缘点，得到Rr1的边缘点P11、P12、……、P1n，Rr2的边缘点P21、P22、……、P2n，Rr3的边缘点P31、P32、……、P3n，Rr4的边缘点P41、P42、……、P4n。
然后，用Rr1的边缘点P11、P12、……、P1n拟合直线，得到直线拟合误差RMS1，用Rr3的边缘点P31、P32、……、P3n拟合直线，得到直线拟合误差RMS3。
接着，比较Rr1边缘点和Rr3边缘点的直线拟合误差RMS1和RMS3。
如果直线拟合误差RMS1大于RMS3，则粗定位模板匹配方法的定位角度结果是正确的，如图7所示，即边缘检测区域Rr1为实时液晶显示屏玻璃上边缘区域，Rr3为实时液晶显示屏玻璃下边缘区域，那么选取Rr1的中间部分的边缘点再次拟合直线，即得液晶显示区域上边缘直线L1，选取Rr2的边缘点拟合直线，即得液晶显示区域右边缘直线L2，选取Rr3的边缘点拟合直线，即得液晶显示区域下边缘直线L3，选取Rr4的边缘点拟合直线，即得液晶显示区域左边缘直线L4。
如果直线拟合误差RMS1小于RMS3，则粗定位模板匹配方法的定位角度结果与实际相差约180°，如图8所示需要重新调整边缘检测区域与液晶显示区域边缘的对应关系，即边缘检测区域Rr1为实时液晶显示屏玻璃下边缘区域，Rr3为实时液晶显示屏玻璃下边缘区域，那么选取Rr3的中间部分的边缘点再次拟合直线，即得液晶显示区域上边缘直线L1，选取Rr4的边缘点拟合直线，即得液晶显示区域右边缘直线L2，选取Rr1的边缘点拟合直线，即得液晶显示区域下边缘直线L3，选取Rr2的边缘点拟合直线，即得液晶显示区域左边缘直线L4。
本实施例中的液晶显示屏玻璃定位方法中的边缘直线拟合，是根据边缘检测时得到的各条边的边缘点坐标，分别拟合为一条直线，得到相应边缘直线的参数和解析表达式，以及直线拟合时的拟合误差。拟合问题本质上是一个参数估计的问题，其关键是建立合适的误差函数，然后根据最小二乘方法求解使得误差函数取极小值的最优参数解。在误差服从正态分布的情况下，最小二乘拟合是最优的拟合方法。待拟合直线方程为Q(x，y)＝ax+by+c＝0,拟合数据点为(xi，yi)，i＝1，2，...，n(n＞3),直线拟合误差函数为
Figure GDA0002743906740000091
但由于当a＝b＝c时将得到一个零误差，所以必须加入约束条件a2+b2＝1作为拉格朗日乘子，可以得到新的直线拟合误差函数为
Figure GDA0002743906740000092
对a，b，c，λ分别求导，求解函数f(a，b，c，λ)的最小值，即可得到直线参数(a，b，c)和解析表达式。将参与拟合的数据点(xi，yi)，i＝1，2，...，n，代入如下公式，其中y为xi根据拟合直线公式计算得到的值，可得到相应的直线拟合误差RMS。RMS为预测数据和原始数据对应点误差的平方和的均值的平方根，RMS越小越说明原始数据点与拟合预测模型越匹配，其中，RMS计算公式为：
Figure GDA0002743906740000093
最后，根据拟合得到液晶显示屏玻璃四条边缘直线后，需要计算液晶显示屏玻璃中心位置和角度。因此涉及计算两条直线的交点，已知两条直线的直线方程如下：
Figure GDA0002743906740000094
其中(x，y)为坐标，(a1，b1，c1)和(a2，b2，c2)为两条直线的参数，如果两条直线不平行，即a2b1-a1b2≠0，则其交点为
Figure GDA0002743906740000095
根据上述公式，计算直线L1和直线L2交点C1，直线L2和直线L3交点C2，直线L3和直线L4交点C3，直线L4和直线L1交点C4；交点C1、C2、C3、C4求和取平均得到液晶显示屏玻璃中心Po，直线L2和L4的角度求和取平均得到液晶显示屏玻璃的角度，即得到液晶显示屏玻璃在实时图像中精确的位置(xp0，yp0)和角度θp0。
相应的，参照图9，在本发明另一实施例中，还公开一种液晶显示屏玻璃定位系统，包括：
图像采集模块110，用于对装有液晶显示屏玻璃的料盘实时进行图像采集；
第一获取模块120，用于根据模板匹配方法，在实时采集的图像中，获取所述液晶显示屏玻璃的初始定位结果；
边缘检测模块130，用于根据所述初始定位结果对所述液晶显示屏玻璃进行边缘检测；
获得模块140，用于获得各边缘对应的若干个边缘点坐标，所述边缘点坐标为检测边缘中灰度变化超过预设阈值并且是极大值的点对应的坐标；
第一直线拟合模块150，用于将各边缘对应的边缘点坐标分别拟合直线并计算直线拟合误差；
比较模块160，用于比较各边缘直线拟合误差，其中，直线拟合误差最大的边缘为所述液晶显示屏玻璃带有驱动引脚线路一端的边缘，其中，所述带有驱动引脚线路一端的边缘包括外边缘不在一条直线上的驱动引脚线路区域和液晶显示区域；
第二直线拟合模块170，用于根据所述液晶显示区域对应的边缘点坐标，对带有驱动引脚线路一端的边缘重新拟合直线；
计算模块180，用于根据各边缘对应的拟合直线计算相邻边缘的交点；
确定模块190，用于根据各交点确定所述液晶显示屏玻璃的最终位置。
在本发明另一实施例中，还公开一种基于视觉引导的液晶显示屏玻璃拾取系统，如图10所示，包括：成像系统200、视觉处理系统300、机器人控制器400和机器人500；所述成像系统200，用于采集液晶显示屏玻璃和料盘图像；如图11所示，视觉处理系统300包括视觉标定模块310、视觉定位模块320和图像坐标转换模块330；其中，所述视觉标定模块310，用于标定相机的图像像素坐标系与机器人末端运动平台坐标系之间的映射关系；所述视觉定位模块320，用于根据本发明的液晶显示屏玻璃定位方法，定位图像中液晶显示屏玻璃的精确位置；所述图像坐标转换模块330，用于根据映射关系，将图像定位结果转换为机器人拾取轴的位置。所述机器人控制器400与所述视觉处理系统300通信连接，用于根据转换的机器人拾取轴的位置，控制机器人500运动；所述机器人500，用于根据机器人控制器400的指示，执行拾取液晶显示屏玻璃操作。
视觉处理系统300，还包括采集模块和第一通信模块，采集模块用于采集放在无格料盘中的液晶显示屏玻璃图像。视觉处理系统300对图像进行处理定位图像中的液晶显示屏玻璃位置和角度，并将其转换为机器人拾取轴位置，通过第一通信模块与机器人控制器400通信连接，发送、接收指令信息和位置信息。视觉处理系统300，首先是建立相机与机器人末端的映射关系，即标定相机的图像像素坐标系与机器人末端运动平台坐标系之间的映射关系，然后根据液晶显示屏玻璃在料盘中成像效果，采用本发明的液晶显示屏玻璃定位方法，能够稳定精确地定位图像中的液晶显示屏玻璃位置和角度，最后根据标定映射关系和图像定位结果，计算出机器人末端拾取的轴位置。
标定相机的图像像素坐标系与机器人末端运动平台坐标系之间的映射关系的视觉标定方法，可以采用常用的9点标定方法，直接建立相机与机器人直接的矩阵转换关系。具体方法，将印9个圆点的标定板放在料盘中，然后将机器人末端分别移动到9个圆点的位置，分别记录机器人末端的9个轴位置，然后采集9点标定板的图像，识别标定板上9个圆点的图像像素坐标。这就得到9个圆点在机器人坐标系中的坐标，同时还得到相机识别9个圆点得到像素坐标，这就有了9组对应的坐标，可以计算出相机与机器人之间的矩阵转换关系：
Figure GDA0002743906740000111
其中，(x，y)为相机的图像像素坐标系坐标，(u，v)为相机的机器人末端的运动平台坐标系坐标，h0、h1、h2、h3、h4、h5、h6、h7、h8为图像像素坐标系坐标到机器人末端的运动平台坐标系的映射矩阵转换系数。
本发明的机器人控制器400，主要包括第二通信模块和控制模块，与视觉处理系统300通信连接，发送、接收指令信息和位置信息，控制机器人500运动，拾取液晶显示屏玻璃。
机器人控制器400与视觉处理系统300主要通过第一通信模块和第二通信模块通信连接，其中，视觉处理系统300发送、接收指令信息和位置信息中，指令信息比如包括：接收机器人拍照指令、发送拍照完成指令等，位置信息比如包括：查询机器人当前位置、接收机器人当前位置信息、发送机器人拾取的位置等。机器人控制器400发送、接收指令信息和位置信息中，指令信息比如宝库发送拍照指令、接收拍照完成指令等，位置信息比如包括向视觉处理系统发送机器人当前位置、接收机器人拾取的位置等。
根据相机的图像像素坐标系与机器人末端运动平台坐标系之间的映射关系，以及根据利用基于区域的模板匹配方法对液晶显示屏玻璃进行粗定位的方法的实施例中，计算得到液晶显示屏玻璃在实时图像中精确的的位置(x0，yp0)和角度θp0，计算出机器人末端拾取的运动平台位置(up0，vp0)和角度αp0。机器人末端拾取的运动平台位置(up0，vp0)，如下公式所示，
Figure GDA0002743906740000112
机器人末端拾取的角度αp0＝θp0+α0，其中α0为机器人末端初始角度。视觉处理系统300计算得到机器人末端拾取的运动平台位置和角度后，可以通过第一通信模块350将其发送给机器人控制器400。
本发明中的机器人500可以采用SCARA水平关节四轴机器人，由机器人控制器根据视觉引导信息控制其拾取搬运液晶显示屏玻璃，然后将液晶显示屏玻璃放到预先设定的放料位置，等待后道工序设备进一步加工处理。SCARA水平关节四轴机器人，其有三个旋转关节轴线相互平行，在平面内进行定位和定向，另有一个移动关节用于完成末端件在垂直于平面的运动。其有四个运动自由度，包括X、Y、Z方向的平移和绕Z轴的旋转自由度，在X、Y方向上具有顺从性，而在Z轴方向具有良好的刚度。其结构轻便、响应快，其串接的两杆结构，可以伸进有限空间中作业然后收回，适合于搬动和取放物件。
下面对本发明的成像系统200进行详细的说明，主要包括相机210、镜头220、光源等部件，根据液晶显示屏玻璃和无格料盘特点，使产品成像符合后续视觉处理要求。视觉处理要求液晶显示屏玻璃与背景无格料盘在图像灰度上有明显区分度，液晶显示区域的边缘能够清晰成像，同时液晶显示屏玻璃的驱动引脚线路区域也需要清晰成像，但不可以把透明的玻璃基板区域拍出来。因此根据液晶显示区域不透明、驱动引脚线路区域不透明和玻璃基板区域透明的特点，可以采用白色的无格料盘，并在料盘中垫上白色的防静电垫，白色的防静电垫采用有磨砂效果的硅胶材质，一方面达到工艺上防静电的要求，另一方面成像时可以形成均匀的图像背景。
优选的，如图10和图12所示，所述成像系统200包括无格料盘240、第一条形光源231、第二条形光源232、相机210和镜头220；所述镜头220同轴安装于所述相机210；所述相机210位于所述无格料盘240的正上方；所述第一条形光源231和第二条形光源232分别位于所述无格料盘240的两侧斜上方，所述第一条形光源231和第二条形光源232发射的光斜射入所述无格料盘240；其中，所述无格料盘240与位于所述无格料盘240内的液晶显示屏玻璃250存在灰度差。
相机210固定安装在无格料盘240的正上方，相机210的成像光轴方向与无格料盘240平面垂直，距离无格料盘240有一定的高度。相机210固定安装在无格料盘240正上方，可以实现与机器人500并行处理，降低工作节拍时间提高设备工作效率，当机器人拾取一片产品并移出相机视野后，视觉处理器可以拍摄无格料盘240计算出下一片产品的位置，机器人将上一片产品放到预设位置后回来取下一片产品时，视觉处理系统300已经通过第一通信模块350将相应的拾取位置发送给了机器人控制器400，从而可以控制机器人直接去拾取下一片产品。相机210距离无格料盘240有一定的高度，一方面是因为需要避开机器人拾取机械结构的干涉，另一方面因为需要拍摄整个无格料盘240，相机视野比较大，有一定高度可以方便选择合适的低畸变镜头。两个条形光源安装在无格料盘240的两侧上方，水平方向上距离无格料盘240有一定距离，垂直方向上距离无格料盘240有一定高度，且光源的发光面以一定角度照射无格料盘240。无格无格料盘240中放置一层具有漫反射效果的白色硅胶防静电垫，液晶显示屏玻璃放在防静电垫上。两个条形光源从无格料盘240侧面上方以一定角度照射无格料盘240后，在防静电垫区域产生漫反射，在液晶显示屏玻璃区域产生镜面反射，防静电垫在相机210采集的图像中呈现亮白色，液晶显示屏玻璃不透明区域在图像中呈现暗黑色，液晶显示屏玻璃的玻璃基板区域由于透光，该区域为防静电垫的光透射到相机视野中呈现亮白色，从而将液晶显示屏的边缘位置特征呈现出来，也将用于区分液晶显示屏旋转角度的驱动引脚线路区域呈现出来。两个条形光源从两侧照射无格料盘240和液晶显示屏玻璃，是为了防止光照在具有镜面反射效果的液晶显示屏玻璃进入相机210视野，到相应区域过亮影响液晶显示屏玻璃的边缘成像效果。因为从无格料盘240两侧打光，所以选用两个条形光源，可以达到成像相对较为均匀的效果。
另外，在采用SCARA水平关节四轴机器人时，其末端比较适合伸到两个条形光源中间，拾取液晶显示屏玻璃。
综上所述，本发明针对液晶显示屏生产环节中置于无格料盘的液晶显示屏玻璃上料的应用场景，提出一种基于视觉引导的液晶显示屏玻璃拾取系统。本发明的拾取系统，采用机器人抓取液晶显示屏玻璃；根据液晶显示屏玻璃和料盘特点设计相应的成像系统，使产品的成像符合后续的处理要求；根据液晶显示屏玻璃的实际成像特点，提出一种液晶显示屏玻璃图像定位方法，首先采用模板匹配方法粗获得图像中的液晶显示屏玻璃初始定位结果，然后检测液晶显示屏玻璃各边缘上的边缘点，最后根据每条边缘上的边缘点计算液晶显示屏玻璃的位置和角度。即使液晶显示屏玻璃在料盘中360°范围内任意放置，也能够快速、精确定位液晶显示屏玻璃的位置和角度，然后视觉处理系统与机器人控制器配合，将精确定位液晶显示屏玻璃的位置和角度信息转换为机器人拾取的轴位置，最后使得机器人能够快速、准确、稳定的拾取产品。
相应的，在本发明另一实施例中，还公开一种基于视觉引导的液晶显示屏玻璃拾取方法，包括以下步骤：
首先，采集实时的液晶显示屏玻璃和料盘图像；
然后，根据本申请的定位方法，定位图像中液晶显示屏玻璃的位置；
然后，再根据相机图像坐标系和机器人末端平台运动坐标系之间的映射关系，将实时图像中液晶显示屏玻璃的图像位置和角度，转换为机器人的拾取轴位置和角度；
然后，视觉处理器将计算得到的机器人拾取轴位置和角度发送给机器人控制器；
最后，机器人控制器接收拾取轴位置并控制机器人到指定位置拾取液晶显示屏玻璃。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
具体实现中，本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质可存储有程序，该程序执行时可包括本申请提供的液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (7)

1.一种液晶显示屏玻璃定位方法，其特征在于，包括：
对装有液晶显示屏玻璃的料盘实时进行图像采集；
根据模板匹配方法，在实时采集的图像中，获取所述液晶显示屏玻璃的初始定位结果；其中，所述模板匹配方法包括：采集用于训练的液晶显示屏玻璃图像；设置训练模板区域、训练标记点和训练时的边缘检测区域，其中，所述训练模板区域包括全部或大部分液晶显示屏玻璃区域和全部或大部分料盘区域，所述训练标记点用于表示训练时液晶显示屏玻璃的位置，所述训练时的边缘检测区域包括对应的各边缘区域和部分料盘区域；根据设置的所述训练模板区域、训练标记点、训练时的边缘检测区域和用于训练的液晶显示屏玻璃图像进行训练，得到定位核图像；根据得到的定位核图像，在实时采集的装有液晶显示屏玻璃的料盘图像中，定位所述液晶显示屏玻璃图像；
根据所述初始定位结果、训练模板区域、训练标记点和训练时的边缘检测区域，获得实时的边缘检测区域；
在所述实时的边缘检测区域中，获得各边缘对应的若干个边缘点坐标，所述边缘点坐标为检测边缘中灰度变化超过预设阈值并且是极大值的点对应的坐标；
将各边缘对应的边缘点坐标分别拟合直线并计算直线拟合误差；
比较各边缘直线拟合误差，其中，直线拟合误差最大的边缘为所述液晶显示屏玻璃带有驱动引脚线路一端的边缘，其中，所述带有驱动引脚线路一端的边缘包括外边缘不在一条直线上的驱动引脚线路区域和液晶显示区域；
根据所述液晶显示区域对应的边缘点坐标，对带有驱动引脚线路一端的边缘重新拟合直线；
根据各边缘对应的拟合直线计算相邻边缘的交点；
根据各交点确定所述液晶显示屏玻璃的最终位置信息。
2.根据权利要求1所述的方法，其特征在于，所述模板匹配方法包括：
在实时采集的图像中定位与定位核图像相似度超过预设阈值的图像子区域，所述图像子区域为液晶显示屏玻璃所在区域。
3.根据权利要求1所述的方法，其特征在于，所述模板匹配方法包括：
使用部分特征区域进行匹配运算。
4.一种液晶显示屏玻璃定位系统，其特征在于，包括：
图像采集模块，用于对装有液晶显示屏玻璃的料盘实时进行图像采集；
第一获取模块，用于根据模板匹配方法，在实时采集的图像中，获取所述液晶显示屏玻璃的初始定位结果；其中，所述模板匹配方法包括：采集用于训练的液晶显示屏玻璃图像；设置训练模板区域、训练标记点和训练时的边缘检测区域，其中，所述训练模板区域包括全部或大部分液晶显示屏玻璃区域和全部或大部分料盘区域，所述训练标记点用于表示训练时液晶显示屏玻璃的位置，所述训练时的边缘检测区域包括对应的各边缘区域和部分料盘区域；根据设置的所述训练模板区域、训练标记点、训练时的边缘检测区域和用于训练的液晶显示屏玻璃图像进行训练，得到定位核图像；根据得到的定位核图像，在实时采集的装有液晶显示屏玻璃的料盘图像中，定位所述液晶显示屏玻璃图像；
边缘检测模块，用于根据所述初始定位结果、训练模板区域、训练标记点和训练时的边缘检测区域，获得实时的边缘检测区域；
获得模块，用于在所述实时的边缘检测区域中，获得各边缘对应的若干个边缘点坐标，所述边缘点坐标为检测边缘中灰度变化超过预设阈值并且是极大值的点对应的坐标；
第一直线拟合模块，用于将各边缘对应的边缘点坐标分别拟合直线并计算直线拟合误差；
比较模块，用于比较各边缘直线拟合误差，其中，直线拟合误差最大的边缘为所述液晶显示屏玻璃带有驱动引脚线路一端的边缘，其中，所述带有驱动引脚线路一端的边缘包括外边缘不在一条直线上的驱动引脚线路区域和液晶显示区域；
第二直线拟合模块，用于根据所述液晶显示区域对应的边缘点坐标，对带有驱动引脚线路一端的边缘重新拟合直线；
计算模块，用于根据各边缘对应的拟合直线计算相邻边缘的交点；
确定模块，用于根据各交点确定所述液晶显示屏玻璃的最终位置。
5.一种视觉处理系统，其特征在于，包括：视觉标定模块、视觉定位模块和图像坐标转换模块；其中，
所述视觉标定模块，用于标定相机的图像像素坐标系与机器人末端运动平台坐标系之间的映射关系；
所述视觉定位模块，用于根据权利要求1所述的定位方法，定位图像中液晶显示屏玻璃的位置；
所述图像坐标转换模块，用于根据映射关系，将定位的图像中液晶显示屏玻璃的位置转换为机器人拾取轴的位置。
6.一种基于视觉引导的液晶显示屏玻璃拾取系统，其特征在于，包括：成像系统、权利要求5所述的视觉处理系统、机器人控制器和机器人；
所述成像系统，用于采集液晶显示屏玻璃图像和料盘图像；
所述机器人控制器与所述视觉处理系统通信连接，用于根据转换的机器人拾取轴的位置，控制机器人运动；
所述机器人，用于根据机器人控制器的指示，执行拾取液晶显示屏玻璃操作。
7.根据权利要求6所述的拾取系统，其特征在于，所述成像系统包括无格料盘、第一条形光源、第二条形光源、相机和镜头；
所述镜头同轴安装于所述相机；
所述相机位于所述无格料盘的正上方；
所述第一条形光源和第二条形光源分别位于所述无格料盘的两侧斜上方，所述第一条形光源和第二条形光源发射的光斜射入所述无格料盘；
其中，所述无格料盘与位于所述无格料盘内的液晶显示屏玻璃存在灰度差。
CN201910558994.1A 2019-06-26 2019-06-26 液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统 Active CN110281240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910558994.1A CN110281240B (zh) 2019-06-26 2019-06-26 液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910558994.1A CN110281240B (zh) 2019-06-26 2019-06-26 液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统

Publications (2)

Publication Number Publication Date
CN110281240A CN110281240A (zh) 2019-09-27
CN110281240B true CN110281240B (zh) 2020-12-25

Family

ID=68005881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910558994.1A Active CN110281240B (zh) 2019-06-26 2019-06-26 液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统

Country Status (1)

Country Link
CN (1) CN110281240B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381789A (zh) * 2020-11-13 2021-02-19 江苏富伟博智能科技有限公司 一种3d车载玻璃曝光视觉定位方法
CN112348895A (zh) * 2020-11-18 2021-02-09 深圳创维－Rgb电子有限公司 液晶平板贴合的控制方法、控制设备及介质
CN112712538B (zh) * 2020-12-29 2022-02-08 合肥联宝信息技术有限公司 一种显示屏定位方法、电子设备及存储介质
CN113225482A (zh) * 2021-05-08 2021-08-06 高宇航 一种视觉对位系统
CN113822888A (zh) * 2021-11-23 2021-12-21 中导光电设备股份有限公司 一种基于液晶屏幕检测区域的自动划分方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5616905A (en) * 1994-02-24 1997-04-01 Kabushiki Kaisha Tec Two-dimensional code recognition method
CN103544489A (zh) * 2013-11-12 2014-01-29 公安部第三研究所 一种车标定位装置及方法
CN104422628A (zh) * 2013-09-03 2015-03-18 北京时代之峰科技有限公司 基于维氏硬度的压痕图像识别方法及系统
CN105335963A (zh) * 2015-09-24 2016-02-17 凌云光技术集团有限责任公司 一种边缘缺陷检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5616905A (en) * 1994-02-24 1997-04-01 Kabushiki Kaisha Tec Two-dimensional code recognition method
CN104422628A (zh) * 2013-09-03 2015-03-18 北京时代之峰科技有限公司 基于维氏硬度的压痕图像识别方法及系统
CN103544489A (zh) * 2013-11-12 2014-01-29 公安部第三研究所 一种车标定位装置及方法
CN105335963A (zh) * 2015-09-24 2016-02-17 凌云光技术集团有限责任公司 一种边缘缺陷检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的玻璃在线定位方法;赵善政;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131215(第S1期);第9-51页 *
纸币接触式传感器图像模糊增强与边界检测;刘习文等;《科学技术与工程》;20131231;第13卷(第34期);第10381-10385页 *

Also Published As

Publication number Publication date
CN110281240A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110281240B (zh) 液晶显示屏玻璃定位、拾取方法及系统和视觉处理系统
CN112669393B (zh) 一种激光雷达与相机联合标定方法
CN110599541B (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN103759638B (zh) 一种零件检测方法
CN111627072A (zh) 一种对多传感器进行标定的方法、装置和存储介质
AU2704595A (en) Method and apparatus for transforming coordinate systems in an automated video monitor alignment system
CN113146073B (zh) 基于视觉的激光切割方法及装置、电子设备、存储介质
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
CN113267258A (zh) 红外测温方法、装置、设备、智能巡检机器人及存储介质
CN113256740A (zh) 一种雷达与相机的标定方法、电子设备及存储介质
JPH11166818A (ja) 三次元形状計測装置の校正方法及び校正装置
CN113259579A (zh) 一种图像采集装置、方法和设备
CN114952856A (zh) 机械臂手眼标定方法、系统、计算机及可读存储介质
CN112733428A (zh) 一种光学测量的扫描姿态与覆盖路径规划方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
JPH09311021A (ja) 光波測距儀を用いた３次元形状測定方法
CN112505663A (zh) 用于多线激光雷达与相机联合标定的标定方法
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
CN114360043A (zh) 模型参数标定方法、视线追踪方法、装置、介质及设备
CN111898552A (zh) 一种判别人员关注目标物的方法、装置及计算机设备
US8090144B2 (en) System and method for adjusting luminance of a light-emitting device on an image measuring machine
JP2959043B2 (ja) 画像処理装置
CN115494652A (zh) 一种对头显设备进行装配的方法、装置、设备及存储介质
JPH07139918A (ja) 円柱中心位置・半径計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant