CN114119762A - 明暗交替视场中的元件定位方法、装置、设备和存储介质 - Google Patents

明暗交替视场中的元件定位方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114119762A
CN114119762A CN202210109818.1A CN202210109818A CN114119762A CN 114119762 A CN114119762 A CN 114119762A CN 202210109818 A CN202210109818 A CN 202210109818A CN 114119762 A CN114119762 A CN 114119762A
Authority
CN
China
Prior art keywords
coordinate system
camera
bright field
field
dark field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210109818.1A
Other languages
English (en)
Other versions
CN114119762B (zh
Inventor
徐宇梁
刘存添
王超
周超
沈小勇
吕江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Simou Intelligent Technology Co ltd
Shenzhen Smartmore Technology Co Ltd
Original Assignee
Beijing Simou Intelligent Technology Co ltd
Shenzhen Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Simou Intelligent Technology Co ltd, Shenzhen Smartmore Technology Co Ltd filed Critical Beijing Simou Intelligent Technology Co ltd
Priority to CN202210109818.1A priority Critical patent/CN114119762B/zh
Publication of CN114119762A publication Critical patent/CN114119762A/zh
Application granted granted Critical
Publication of CN114119762B publication Critical patent/CN114119762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种明暗交替视场中的元件定位方法、装置、计算机设备、存储介质和计算机程序产品。本申请能够实现对待测元件进行明暗视场的同步定位和检测，不需要多次更换相机，提高了元件定位和检测效率。该方法包括：获取待测面板对应的标准图，通过明视场相机获取待测面板的明视场面板图像；利用第一变换关系以及第二变换关系，将实际位置坐标转换为明视场元件位置坐标；利用明视场位置坐标系‑明视场像素坐标系的明视场单位转换关系，将明视场位置坐标转换为明视场像素坐标；通过暗视场相机获取待测面板的暗视场面板图像；利用明视场相机坐标系‑暗视场相机坐标系的第三变换关系以及单位转换关系，将明视场元件位置坐标转换为暗视场像素坐标。

Description

明暗交替视场中的元件定位方法、装置、设备和存储介质
技术领域
本申请涉及机器视觉技术领域，特别是涉及一种明暗交替视场中的元件定位方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着机器视觉检测在制造业的应用逐渐深入，各种电子产品生产线都开始运用AOI（Automatic Optical Inspection，自动光学检测）设备对电子器件进行检测，例如在针对MiniLED（Mini Light Emitting Diode，次毫米发光二极管）面板SMT（Surface MountTechnology，表面组装技术）产线的视觉检测中，通常需要检测两大类的缺陷，第一类是外观类，即从外观上判断面板上的元件组装是否正确、是否出现位置偏移等情况，这类缺陷需要在明亮的视场中进行检测；第二类是点亮类检测，即通过给面板通电来点亮每个发光元件，从而判断组装品的功能是否正常，显然，这类缺陷需要在黑暗的视场中检测。而不管是明视场检测还是暗视场检测，对面板上的元件精确定位是检测过程中必不可少的环节，这里的定位是指对获取的待检面板图像上的各元件进行定位，即获取待检图像上的元件的位置信息，这个位置信息是像素级的位置信息。通过将待检面板图像的元件外观与标准装配图纸中元件外观等信息进行对比，才能够准确判断元件的组装情况、点亮情况等是否符合标准。
目前的视觉检测方法是分别将待检测面板放置在明视场和暗视场中进行检测，即要分两次进行检测，第一次是在明视场中，相机通过待检测面板上的一些特殊标记点来对待测面板在当前图像上的位置进行定位，再通过图纸上的信息定位到待检测面板上元件的实际位置，从而使得不论待测面板如何移动，都能通过特殊标记点定位面板在图像上的位置再定位元件，找到每个待测元件。这种方法对单纯的明视场是有效地。但对暗视场而言，通过找特殊标记点的方法定位面板位置的思路不再可行，因为暗视场中不会提供主动光源，且可供使用的特殊标记点一般也不具有自发光功能，只能通过将待测面板放在一个固定的已知位置，且检测时相机的位置也是固定的，从而可以让程序记住每张拍摄图像中每个元件的应该被点亮的位置，实现在暗视场中获取图像并对图像中的待测元件进行定位。
可见，目前的电子面板视觉检测方法只能将明视场检测和暗视场检测分开来检测，且暗视场中无标记点，待测面板的固定位置或相机拍摄方位稍有偏差都会导致定位不够精准，因此目前的视觉检测技术效率不够高。
发明内容
基于此，有必要针对上述技术问题，提供一种明暗交替视场中的元件定位方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种明暗交替视场中的元件定位方法。所述方法包括：
获取待测面板对应的标准图，所述待测面板上包括多个待测元件；基于所述标准图构建图纸坐标系，获取各个所述待测元件在所述图纸坐标系中的实际位置坐标；
通过明视场相机获取所述待测面板的明视场面板图像；其中，所述明视场相机固定于相机移动主轴的底端上；所述相机移动主轴的顶端用于在相机移动主轴运动平面内移动；
基于所述相机移动主轴运动平面构建相机移动主轴坐标系，基于所述明视场面板图像构建明视场相机坐标系，利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将所述实际位置坐标转换为明视场元件位置坐标；
利用明视场位置坐标系-明视场像素坐标系的明视场单位转换关系，将所述明视场位置坐标转换为明视场像素坐标；
以及，
通过暗视场相机获取所述待测面板的暗视场面板图像；其中，所述暗视场相机固定于所述移动主轴的底端上；
基于所述暗视场面板图像构建暗视场相机坐标系，利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将所述明视场元件位置坐标转换为暗视场元件位置坐标；
利用暗视场位置坐标系-暗视场像素坐标系的暗视场单位转换关系，将所述暗视场位置坐标转换为暗视场像素坐标。
在其中一个实施例中，所述利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将所述实际位置坐标转换为明视场元件位置坐标，包括：
利用所述第一变换关系，将所述待测元件在所述图纸坐标系中的所述实际位置坐标转换为所述待测元件在所述相机移动主轴坐标系中的主轴位置坐标；
利用所述第二变换关系，将所述主轴位置坐标转换为所述待测元件在所述明视场相机坐标系中的所述明视场元件位置坐标。
在其中一个实施例中，所述待测面板上包含多个标记点，所述利用所述第一变换关系，将所述待测元件在所述图纸坐标系中的所述实际位置坐标转换为所述待测元件在所述相机移动主轴坐标系中的主轴位置坐标之前，所述方法还包括：
在明视场相机视野中依次搜索各个所述标记点，当所述标记点在所述明视场相机坐标系的原点时，记录当前相机移动主轴在所述相机移动主轴坐标系中的坐标，作为所述标记点在所述相机移动主轴坐标系中的坐标；
在所述标准图中搜索得到各个所述标记点的标记点标准坐标；
利用所述标记点标准坐标与所述标记点在所述相机移动主轴坐标系中的坐标之间的对应关系，得到所述图纸坐标系-相机移动主轴坐标系的第一旋转矩阵和所述图纸坐标系-相机移动主轴坐标系的第一平移矩阵；
基于所述第一旋转矩阵和所述第一平移矩阵确定所述图纸坐标系-相机移动主轴坐标系的第一变换关系。
在其中一个实施例中，所述基于所述第一旋转矩阵和所述第一平移矩阵确定所述纸坐标系-相机移动主轴坐标系的第一变换关系，还包括：
获取当前温度；根据当前温度确定涨缩常数；
基于所述涨缩常数、所述第一旋转矩阵和所述第一平移矩阵确定所述第一变换关系。
在其中一个实施例中，所述利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将所述明视场元件位置坐标转换为暗视场元件位置坐标之前，所述方法还包括：
在特定照明条件下，通过所述明视场相机和所述暗视场相机同时采集预设正方形标定板的明视场图片和暗视场图片；其中，所述正方形标定板上包含多个预设参考点；
根据同一预设参考点在所述明视场图片上的坐标和所述同一预设参考点在所述暗视场图片上的坐标，得到第三旋转矩阵和第三平移矩阵；
基于所述第三旋转矩阵和所述第三平移矩阵确定所述第三变换关系。
在其中一个实施例中，所述方法还包括：
计算所述明视场图片中两个所述预设参考点之间的明视场距离，并计算所述暗视场图片中同一对预设参考点之间的暗视场距离；
根据所述明视场距离、所述暗视场距离以及所述同一对预设参考点的实际物理距离确定所述明视场单位转换关系和所述暗视场单位转换关系。
第二方面，本申请还提供了一种明暗交替视场中的元件定位装置。所述装置包括：
标准图获取模块，用于获取待测面板对应的标准图，所述待测面板上包括多个待测元件；基于所述标准图构建图纸坐标系，获取各个所述待测元件在所述图纸坐标系中的实际位置坐标；
明视场通面板图像获取模块，用于通过明视场相机获取所述待测面板的明视场面板图像；其中，所述明视场相机固定于相机移动主轴的底端上；所述相机移动主轴的顶端用于在相机移动主轴运动平面内移动；
明视场元件位置坐标计算模块，用于基于所述相机移动主轴运动平面构建相机移动主轴坐标系，基于所述明视场面板图像构建明视场相机坐标系，利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将所述实际位置坐标转换为明视场元件位置坐标；
明视场像素坐标转换模块，用于利用明视场位置坐标系-明视场像素坐标系的明视场单位转换关系，将所述明视场位置坐标转换为明视场像素坐标；
以及，
暗视场面板图像获取模块，用于通过暗视场相机获取所述待测面板的暗视场面板图像；其中，所述暗视场相机固定于所述移动主轴的底端上；
暗视场元件位置坐标计算模块，用于基于所述暗视场面板图像构建暗视场相机坐标系，利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将所述明视场元件位置坐标转换为暗视场元件位置坐标；
暗视场像素坐标转换模块，用于利用暗视场位置坐标系-暗视场像素坐标系的暗视场单位转换关系，将所述暗视场位置坐标转换为暗视场像素坐标。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述明暗交替视场中的元件定位方法实施例中的各步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述明暗交替视场中的元件定位方法实施例中的各步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述明暗交替视场中的元件定位方法实施例中的各步骤。
上述明暗交替视场中的元件定位方法、装置、计算机设备、存储介质和计算机程序产品，获取待测面板对应的标准图，待测面板上包括多个待测元件；基于标准图构建图纸坐标系，获取各个待测元件在图纸坐标系中的实际位置坐标；通过明视场相机获取待测面板的明视场面板图像；其中，明视场相机固定于相机移动主轴的底端上；相机移动主轴的顶端用于在相机移动主轴运动平面内移动；基于相机移动主轴运动平面构建相机移动主轴坐标系，基于明视场面板图像构建明视场相机坐标系，利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将实际位置坐标转换为明视场元件位置坐标；利用明视场位置坐标系-明视场像素坐标系的明视场单位转换关系，将明视场位置坐标转换为明视场像素坐标；以及，通过暗视场相机获取待测面板的暗视场面板图像；其中，暗视场相机固定于移动主轴的底端上；基于暗视场面板图像构建暗视场相机坐标系，利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将明视场元件位置坐标转换为暗视场元件位置坐标；利用暗视场位置坐标系-暗视场像素坐标系的暗视场单位转换关系，将暗视场位置坐标转换为暗视场像素坐标。本申请采用明暗视场结合的双相机一体化检测设备，分别通过预设的明视场坐标转换关系和暗视场坐标转换关系，能够实现对待测元件进行明暗视场的同步定位和检测，不需要多次更换相机，进一步提高了元件定位和检测效率。
附图说明
图1为一个实施例中明暗交替视场中的元件定位方法的应用环境图；
图2为一个实施例中明暗交替视场中的元件定位方法的流程示意图；
图3为一个实施例中元件定位设备的设备结构图；
图4为一个实施例中明暗交替视场中的元件定位方法的坐标系示意图；
图5为一个实施例中明暗交替视场中的元件定位方法中的坐标系转换关系图；
图6为一个实施例中明暗交替视场中的元件定位方法的实现路径示意图；
图7为一个实施例中预设正方形标定板的示意图；
图8为一个实施例中暗交替视场中的元件定位装置的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的明暗交替视场中的元件定位方法，可以应用于如图1所示的应用环境中。其中，终端101通过网络与服务器102进行通信。数据存储系统可以存储服务器102需要处理的数据。数据存储系统可以集成在服务器102上，也可以放在云上或其他网络服务器上。其中，终端101可以但不限于是各种摄像装置；服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种明暗交替视场中的元件定位方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：
步骤S201，获取待测面板对应的标准图，所述待测面板上包括多个待测元件；基于所述标准图构建图纸坐标系，获取各个所述待测元件在所述图纸坐标系中的实际位置坐标；
其中，待测面板是指制造业中工业生产线上已经组装好的各种电路板，在正式上市之前还需要检测这些面板上的组件的组装结构以及功能是否符合质量标准。标准图是指这些面板对应的设计图纸，包括电子图纸，设计图纸中包含了面板上各个组件（例如电容、电阻、LED等组件）的规格、在面板上的位置以及组件之间的连接顺序等，标准图上的距离代表了元件之间的实际距离，例如电阻A与电阻B之间的距离是5mm，则标准图上标注为5mm。
具体地，服务器102获取用户输入的标准图，该标准图为当前待测面板对应的标准图，当待测面板的类型发生变化时，需要更换相应的标准图。如图3所示，平面P2为当前待测面板，面板上的×表示待检元件，基于该标准图构建图纸坐标系OXY，得到各个待测元件的该图纸坐标系OXY中的实际位置坐标（X，Y）。
步骤S202，通过明视场相机获取待测面板的明视场面板图像；其中，明视场相机固定于移动移动主轴的底端上；该移动主轴的顶端用于在相机移动主轴运动平面内移动。
如图3所示，图3为终端101对应的设备结构图。其中，终端101为采用双相机的一体化检测设备，终端101包括一个倒Y型的相机移动主轴和固定于相机移动主轴的底端的两部工业相机；明暗视场分别由这两部工业相机进行拍摄，相机移动主轴的顶端在预设的相机移动主轴运动平面（P1，即Plane 1）内移动，两个工业相机可随着相机移动主轴（在下文中简称：主轴）的移动而同步移动。两个工业相机的相平面均与待测面板的上表面平行，两个工业相机到待测面板的上表面的距离都是固定的。上述工业相机为面阵相机（面阵相机获取的是二维图像信息，通过像素矩阵拍摄，可减少拍摄次数，提高测试速度），每次可采集一张固定像素总数的图片。
在图3中，平面P2为当前待测面板，面板上的×表示待检元件，每个面板还包括四个标记点，分别在面板的四个角点上。本申请需要解决的主要问题是：已知当前待测面板上各元件的实际位置分布（标准图）和当前移动主轴所在位置，如何求得在明视场或暗视场下所拍摄的图片中包含了哪些元件，以及这些元件出现在所采集到的图片的什么位置（对于人眼来说，人很容易看出来有哪些元件、元件在什么位置，但对于机器来讲，如何让机器识别出元件在图像上的具体位置是本文要解决的问题）。首先，服务器102获取明视场相机采集到的明视场面板图像。
步骤S203，利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将上述实际位置坐标转换为明视场位置坐标；
如图4所示，图4为该方法中用到的坐标系示意图，本申请的技术本质在于如何在不同的坐标系总计算出元件的坐标（包括位置坐标和像素级坐标），因此需要把将会使用到的若干个坐标系定义清楚。由于所有的平面均平行，故只需要采用二维的平面直角坐标系，除像素坐标系外，其它统一采用向右为X轴正向、向上为Y轴正向；而在像素坐标系（包括明视场像素坐标系和暗视场像素坐标系）统一定义为向右为X轴正向，向下为Y轴正向。
在图4中，共有以下六个坐标系，其中：
图纸坐标系（OXY）：即标准图（也称面板设计图纸）对应的坐标系，以图纸左下角为原点，采用物理长度单位毫米（mm）；
相机移动主轴坐标系
Figure 811222DEST_PATH_IMAGE002
：a表示axis，对应相机移动主轴，该坐标系即上述相机移动主轴运动平面P1的坐标系，以平面P1左下角为原点，采用物理长度单位mm；
明暗视场相机坐标系（分别为
Figure 452026DEST_PATH_IMAGE004
、
Figure 8909DEST_PATH_IMAGE006
）：其中L表示Light，对应明视场，D表示Dark，对应于暗视场；明暗视场相机坐标系是以相机光轴（又称为“相机中轴线”，是指在拍摄的时候，相机镜头中心和被摄体之间的这条线）落在拍摄画面上的点为原点，采用物理长度单位mm；
明暗视场图片像素坐标系（分别为
Figure 869418DEST_PATH_IMAGE008
、
Figure 865056DEST_PATH_IMAGE010
）：以采集到的画面左上角为原点，单位为像素px；
具体地，如图5所示，图5为本文中用到的坐标系转换关系示意图，上述步骤S203表示，首先利用图纸坐标系-相机移动主轴坐标系的第一变换关系，将上述待测元件的实际位置坐标转换为待测元件在相机移动主轴坐标系中的坐标，第一变换关系如下：
Figure 2776DEST_PATH_IMAGE012
其中，
Figure 855194DEST_PATH_IMAGE014
为待测元件在相机移动主轴坐标系
Figure 812786DEST_PATH_IMAGE016
中的位置坐标；
Figure 910317DEST_PATH_IMAGE018
为待测元件在图纸坐标系OXY中的实际位置坐标；
Figure 496019DEST_PATH_IMAGE020
为图纸坐标系-相机移动主轴坐标系的旋转矩阵；
Figure 129126DEST_PATH_IMAGE022
为图纸坐标系-相机移动主轴坐标系的平移矩阵；
其次，服务器102利用相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将上述待测元件在相机移动主轴坐标系中的坐标
Figure 964227DEST_PATH_IMAGE024
转换为待测元件在明视场相机坐标系
Figure 973771DEST_PATH_IMAGE026
中的明视场元件位置坐标
Figure 413980DEST_PATH_IMAGE028
；上述第二变换关系如下：
Figure 106736DEST_PATH_IMAGE030
其中，
Figure 38920DEST_PATH_IMAGE014
为待测元件在相机移动主轴坐标系中的位置坐标；
Figure 976789DEST_PATH_IMAGE032
表示相机移动主轴坐标系
Figure 943608DEST_PATH_IMAGE034
-明视场相机坐标系
Figure 43151DEST_PATH_IMAGE026
的旋转矩阵；
Figure 728210DEST_PATH_IMAGE036
表示相机移动主轴坐标系
Figure 204191DEST_PATH_IMAGE034
-明视场相机坐标系
Figure 25516DEST_PATH_IMAGE026
的平移矩阵。
步骤S204，利用明视场位置坐标系-明视场像素坐标系的单位转换关系，将所述明视场位置坐标
Figure 797425DEST_PATH_IMAGE038
转换为明视场像素坐标
Figure 704202DEST_PATH_IMAGE040
，其中，单位转换关系如下式所示：
Figure 983873DEST_PATH_IMAGE042
其中，
Figure 253180DEST_PATH_IMAGE044
为明视场条件下，从明视场相机坐标系到明视场像素坐标系的单位转换矩阵，
Figure 835472DEST_PATH_IMAGE046
为明视场中从明视场相机坐标系-明视场像素坐标系的平移矩阵。
综合上述公式（1）-（3）知，待测元件在明视场图片像素坐标系
Figure 354178DEST_PATH_IMAGE048
中的明视场像素坐标
Figure 47327DEST_PATH_IMAGE049
为：
Figure 466414DEST_PATH_IMAGE051
其中，
Figure 813081DEST_PATH_IMAGE049
为待测元件在明视场图片像素坐标系
Figure 960029DEST_PATH_IMAGE048
中的明视场像素坐标；
Figure 456869DEST_PATH_IMAGE053
为待测元件在图纸坐标系OXY中的实际位置坐标；
Figure 231927DEST_PATH_IMAGE044
为明视场条件下，从明视场相机坐标系到明视场像素坐标系的单位转换矩阵；
Figure 156021DEST_PATH_IMAGE054
表示相机移动主轴坐标系
Figure 649319DEST_PATH_IMAGE055
-明视场相机坐标系
Figure 779212DEST_PATH_IMAGE026
的旋转矩阵；
Figure 815301DEST_PATH_IMAGE057
为图纸坐标系-相机移动主轴坐标系的旋转矩阵；
Figure 503771DEST_PATH_IMAGE059
为图纸坐标系-相机移动主轴坐标系的平移矩阵；
Figure 94152DEST_PATH_IMAGE061
表示相机移动主轴坐标系
Figure 57429DEST_PATH_IMAGE062
-明视场相机坐标系
Figure 682445DEST_PATH_IMAGE026
的平移矩阵；
Figure 72976DEST_PATH_IMAGE046
为明视场中从明视场相机坐标系-明视场像素坐标系的平移矩阵。
一般而言，从一个坐标系到另一个坐标系（除相机坐标系-像素坐标系外）的转换公式都具有类似的形式，即
Figure 150653DEST_PATH_IMAGE064
其中，target表示目标；src表示源；而旋转矩阵
Figure 150577DEST_PATH_IMAGE066
所表达的是两个坐标系之间的旋转关系，因而
Figure 630099DEST_PATH_IMAGE066
的具体形式应当表达为：
Figure 191531DEST_PATH_IMAGE068
其中，
Figure 756504DEST_PATH_IMAGE070
表示从源坐标系-目标坐标系的旋转角度。
可选地，在实际应用中由于待测面板可能因室温波动出现涨缩现象，从图纸坐标系（OXY）到相机移动主轴坐标系
Figure 61584DEST_PATH_IMAGE055
之间还存在一个涨缩常数
Figure 661192DEST_PATH_IMAGE072
，因而上述第一变换关系中的旋转矩阵
Figure 393525DEST_PATH_IMAGE074
和平移矩阵
Figure 275156DEST_PATH_IMAGE076
的具体表达形式会稍有变化，
Figure 259292DEST_PATH_IMAGE078
不过该变化不会影响坐标系转换等式本身。其中，
Figure 838041DEST_PATH_IMAGE080
为经过涨缩变换后的图纸坐标系-相机移动主轴坐标系的转换矩阵；
Figure 616641DEST_PATH_IMAGE082
为经过涨缩变换后的图纸坐标系-相机移动主轴坐标系的平移矩阵；
Figure 15261DEST_PATH_IMAGE074
为从图纸坐标系-相机移动主轴坐标系的转换矩阵；
Figure 537510DEST_PATH_IMAGE076
为从图纸坐标系-相机移动主轴坐标系的平移矩阵；
则上述公式（4）相应地变成：待测元件在明视场图片像素坐标系
Figure 970765DEST_PATH_IMAGE084
中的明视场像素坐标
Figure 920267DEST_PATH_IMAGE086
为：
Figure 570297DEST_PATH_IMAGE088
可选地，由于相机移动主轴坐标系-明视场相机坐标系的平移矩阵
Figure 224133DEST_PATH_IMAGE090
是会随着相机移动主轴的移动而变化的，为了方便，我们直接取当前相机主轴的坐标为该矩阵的矩阵元素，即：
Figure 652840DEST_PATH_IMAGE092
则上述待测元件的明视场像素坐标
Figure 897876DEST_PATH_IMAGE086
为：
Figure 146455DEST_PATH_IMAGE094
至此，元件的明视场中的像素级坐标定位完成。
步骤S205，通过暗视场相机获取所述待测面板的暗视场面板图像；其中，所述暗视场相机固定于所述移动主轴的底端上；
具体地，暗视场相机在没有主动光源的情况下拍下发光元件的图像，称为暗视场面板图像。
步骤S206，基于所述暗视场面板图像构建暗视场相机坐标系，利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将所述明视场元件位置坐标转换为暗视场元件位置坐标；
具体地，由上述转换公式的一般形式——公式（5）可知，明视场相机坐标系-暗视场相机坐标系的第三变换关系如下：
Figure 135140DEST_PATH_IMAGE096
其中，
Figure 418353DEST_PATH_IMAGE098
表示待测元件在暗视场相机坐标系
Figure 804598DEST_PATH_IMAGE100
中的位置坐标，
Figure 665106DEST_PATH_IMAGE102
表示待测元件在明视场相机坐标系
Figure 332848DEST_PATH_IMAGE104
中的明视场元件位置坐标；
Figure 595202DEST_PATH_IMAGE106
表示明视场相机坐标系-暗视场相机坐标系的旋转矩阵；
Figure 57407DEST_PATH_IMAGE108
表示明视场相机坐标系-暗视场相机坐标系的平移矩阵。
值得强调的是，我们并没有从相机移动主轴坐标系中的坐标直接计算出暗视场坐标系当中的坐标，原因恰恰就在于我们对几个矩阵的计算方法限制了这样一条路径。具体来说，因为需要计算出图纸坐标系到相机移动主轴坐标系的转移矩阵（这针对每个产品都是不一样的），我们就需要通过找到面板上的标记点的位置，并和图纸中这些标记点所在的位置进行比较，才能算出上述转移矩阵。但是由于在检测流程中暗视场是看不见任何不发光的特征点的，所以从“暗视场图像-暗视场相机-相机移动主轴-图纸坐标系”这条路是走不通的，因此只能从“明视场图像-明视场相机-相机移动主轴-图纸”这条线来推出前述转移矩阵。
步骤S207，利用暗视场位置坐标系-暗视场像素坐标系的暗视场单位转换关系，将所述暗视场位置坐标转换为暗视场像素坐标。
具体地，如图5所示，利用暗视场位置坐标系-暗视场像素坐标系的暗视场单位转换关系，将上述暗视场位置坐标
Figure 405212DEST_PATH_IMAGE109
转换为暗视场像素坐标
Figure 968655DEST_PATH_IMAGE111
，其中，暗视场单位转换关系如下式所示：
Figure 960882DEST_PATH_IMAGE113
其中，
Figure 718623DEST_PATH_IMAGE115
为暗视场条件下，从暗视场相机坐标系到暗视场像素坐标系的暗视场单位转换矩阵，
Figure 429090DEST_PATH_IMAGE117
为暗视场中从暗视场相机坐标系-暗视场像素坐标的平移矩阵。
综合上述公式（1-2）以及公式（11-12）知，待测元件在暗视场图片像素坐标系
Figure 563268DEST_PATH_IMAGE119
中的暗视场像素坐标
Figure 3476DEST_PATH_IMAGE120
为：
Figure 73063DEST_PATH_IMAGE122
其中，
Figure 631346DEST_PATH_IMAGE120
为待测元件在暗视场图片像素坐标系
Figure 444581DEST_PATH_IMAGE119
中的暗视场像素坐标；
Figure 676979DEST_PATH_IMAGE115
为暗视场条件下，从暗视场相机坐标系到暗视场像素坐标系的暗视场单位转换矩阵，
Figure 42102DEST_PATH_IMAGE123
表示明视场相机坐标系-暗视场相机坐标系的旋转矩阵；
Figure 55057DEST_PATH_IMAGE125
表示相机移动主轴坐标系
Figure 406404DEST_PATH_IMAGE127
-明视场相机坐标系
Figure 352363DEST_PATH_IMAGE129
的旋转矩阵；
Figure 763753DEST_PATH_IMAGE074
为图纸坐标系-相机移动主轴坐标系的旋转矩阵；
Figure 317136DEST_PATH_IMAGE131
为待测元件在图纸坐标系OXY中的实际位置坐标；
Figure 472173DEST_PATH_IMAGE076
为图纸坐标系-相机移动主轴坐标系的平移矩阵；
Figure 272639DEST_PATH_IMAGE133
表示相机移动主轴坐标系
Figure 854930DEST_PATH_IMAGE134
-明视场相机坐标系
Figure 373636DEST_PATH_IMAGE135
的平移矩阵；
Figure 660261DEST_PATH_IMAGE137
表示明视场相机坐标系-暗视场相机坐标系的平移矩阵；
Figure 456179DEST_PATH_IMAGE117
为暗视场中从暗视场相机坐标系-暗视场像素坐标的平移矩阵。
同样地，由于受到涨缩常数的影响，根据上述公式（7）以及公式（13）可得：
Figure 474950DEST_PATH_IMAGE139
可选地，由于相机移动主轴坐标系-明视场相机坐标系的平移矩阵
Figure 451259DEST_PATH_IMAGE141
是会随着相机移动主轴的移动而变化的，为了方便，我们直接取当前相机主轴的坐标为该矩阵的矩阵元素，即：
Figure 72733DEST_PATH_IMAGE143
则上述待测元件的暗视场像素坐标
Figure 723157DEST_PATH_IMAGE111
为：
Figure 771885DEST_PATH_IMAGE145
至此，待测元件的暗视场像素坐标定位完成。上述坐标转换关系可以简化为如图6所示的实现路径示意图。
上述实施例，采用明暗视场结合的双相机一体化检测设备，分别通过预设的明视场坐标转换关系和暗视场坐标转换关系，能够实现对待测元件进行明暗视场的同步定位和检测，不需要多次更换相机，进一步提高了元件定位和检测效率。
在一实施例中，上述步骤S203包括：利用第一变换关系，将待测元件在图纸坐标系中的实际位置坐标转换为待测元件在相机移动主轴坐标系中的主轴位置坐标；利用第二变换关系，将主轴位置坐标转换为待测元件在明视场相机坐标系中的明视场元件位置坐标。
其中，第一变换关系如上述公式（1）所述，第二变换关系如上述公式（2）所述。具体细节此处不再赘述。
上述实施例，利用第一变换关系和第二变换关系将待测元件在待测面板上的实际位置坐标转换为明视场相机所拍摄的图片坐标系中的明视场位置坐标，为后续计算出元件在明视场图片中的像素坐标做下数学铺垫。
在一实施例中，上述待测面板上包含多个标记点；上述利用第一变换关系，将待测元件在图纸坐标系中的实际位置坐标转换为待测元件在相机移动主轴坐标系中的主轴位置坐标之前，该方法还包括：在明视场相机视野中依次搜索各个标记点，当标记点在明视场相机坐标系的原点时，记录当前相机移动主轴在相机移动主轴坐标系中的坐标，作为标记点在相机移动主轴坐标系中的坐标；在标准图中搜索得到各个标记点的标记点标准坐标；用标记点标准坐标与标记点在相机移动主轴坐标系中的坐标之间的对应关系，得到图纸坐标系-相机移动主轴坐标系的第一旋转矩阵和图纸坐标系-相机移动主轴坐标系的第一平移矩阵；基于第一旋转矩阵和第一平移矩阵确定纸坐标系-相机移动主轴坐标系的第一变换关系。
首先，值得强调的是，本文中的上述矩阵可以分为两类，一类是静态矩阵，即当设备完成调试之后不在会变化的矩阵；另一类是动态的，即在每一次检测新的面板时都会变化的矩阵。其中，图纸坐标系-相机主轴移动坐标系转换的所有矩阵，和相机主轴坐标系-明视场相机坐标系的旋转矩阵属于动态的矩阵，其他的都属于静态的矩阵。在动态矩阵中，图纸坐标系-相机主轴坐标系的旋转、平移矩阵是会随着每次检测不同的面板而改变，而相机主轴坐标系-亮视场相机坐标系的平移矩阵是会随着相机主轴的移动而变化的，为了方便我们直接取当前相机主轴的坐标作为该矩阵的元素，即上述公式（9），此处细节不再赘述。
具体地，对于动态矩阵，由于每次检测不同的面板时都会发生变化，我们需要动态获得。通过对比待测面板上的标记点，我们可以利用上述类似的方法求得图纸坐标系和相机主轴坐标系之间的旋转和平移矩阵。具体步骤如下：
1）在指定的区域内依次搜索标记点，当标记点在亮视场坐标系原点时，记录下此时的相机主轴坐标
Figure 874970DEST_PATH_IMAGE147
，这也就是该标记点在相机主轴坐标系下的坐标。
2）在图纸中找到标记点的图纸坐标
Figure 34556DEST_PATH_IMAGE149
，再次利用两组坐标的对应关系即可求得图纸坐标系-相机主轴坐标系的旋转和平移矩阵。
上述事实，通过对每次待测面板上的标记点做相应处理，能够得到针对每块待测面板的第一旋转矩阵和第一平移矩阵，进而确定图纸坐标系-相机移动主轴坐标系的第一变换关系。
在一实施例中，上述基于第一旋转矩阵和第一平移矩阵确定纸坐标系-相机移动主轴坐标系的第一变换关系，还包括：获取当前温度；根据当前温度确定涨缩常数；基于涨缩常数、第一旋转矩阵和第一平移矩阵确定第一变换关系。
具体细节如上述公式（7）以及公式（1）所述。
上述实施例，通过考虑温度对待测面板的影响，引入涨缩常数，能够提高元件定位结果的准确性。
在一实施例中，上述步骤S206之前，该方法还包括：在特定照明条件下，通过明视场相机和暗视场相机同时采集预设正方形标定板的明视场图片和暗视场图片；其中，正方形标定板上包含多个预设参考点；根据同一预设参考点在明视场图片上的坐标和同一预设参考点在暗视场图片上的坐标，得到第三旋转矩阵和第三平移矩阵；基于第三旋转矩阵和第三平移矩阵确定第三变换关系。
具体地，如图7所示，图7为一个实施例中预设正方形标定板的示意图，对于静态的矩阵我们采用的方法是离线标定，即在设备调试完成后通过特定的方法拍摄具有特定特征的物体，从而通过图片中的特征来计算静态矩阵。具体的标定步骤是：
1）在待测面板上表面的位置放置如图7所示的正方形标定板，要求边缘与相机移动主轴的两个轴方向平行
2）暂时改变照明环境，维持视场中常亮，使得暗视场相机也能观察到被照亮的标定板。再通过相机移动主轴的移动，使得标定板分别位于明暗视场相机的视场区域中，采集两张图片并记录下采集图片时的相机主轴在自身坐标系下的坐标。
3）由于标定板上圆点间的实际物理距离已知，因此两个相机的像素比可以根据两张图片本身分别求得，进而可以得到两个相机的单位转换矩阵；具体地，计算明视场图片中两个预设参考点之间的明视场距离，并计算暗视场图片中同一对预设参考点之间的暗视场距离；据明视场距离、暗视场距离以及同一对预设参考点的实际物理距离确定明视场单位转换关系和暗视场单位转换关系；同时由于图像尺寸已知，对应的相机坐标系和像素坐标系之间的平移矩阵也可求得。
采用公式为：
Figure 805066DEST_PATH_IMAGE151
其中
Figure 992071DEST_PATH_IMAGE153
为圆点间的像素距离，通过图片求得；
Figure 707086DEST_PATH_IMAGE155
为圆点间的物理距离，为标定板的固有属性；Width和Height分别为图像的像素宽和像素高；
4）由于标定板与相机移动主轴的移动方向平行，因此可以根据亮视场相机中圆点的旋转角度通过旋转矩阵的基本形式求得相机移动主轴坐标系和亮视场相机坐标系之间的旋转矩阵。
5）由于已知拍摄两张图片时相机主轴的坐标，因而可以通过坐标差计算出用暗视场相机拍摄时视野中相同位置物体应当补偿的坐标差
Figure 545729DEST_PATH_IMAGE157
；在暗视场相机坐标系中的圆点坐标
Figure 826538DEST_PATH_IMAGE159
在亮视场坐标系下的坐标就应当表达为
Figure 718533DEST_PATH_IMAGE161
,
Figure 796210DEST_PATH_IMAGE163
，这里用
Figure 766440DEST_PATH_IMAGE165
表示在亮视场相机坐标系下观察的暗视场坐标系中的圆点的坐标。因为圆点的位置，即标定板的位置并没有移动过，因此可以利用这些圆点的对应关系求得两个相机坐标系之间的旋转和平移矩阵。通过圆点坐标的对应关系我们可以求得旋转、平移矩阵，其具体过程是：
用
Figure 370597DEST_PATH_IMAGE167
，
Figure 807395DEST_PATH_IMAGE169
分别表示在亮视场相机坐标系下从暗视场相机拍摄的图片中观察到的圆点的坐标和从亮视场相机拍摄的图片中观察到的圆点的坐标。再令
Figure 497002DEST_PATH_IMAGE171
Figure 677448DEST_PATH_IMAGE173
得到矩阵
Figure 103487DEST_PATH_IMAGE175
对矩阵做SVD（singular value decomposition，奇异值分解）得到
Figure 835820DEST_PATH_IMAGE177
最终得到我们要求的旋转和平移矩阵
Figure 888090DEST_PATH_IMAGE179
至此，我们已经求得了所有的静态矩阵。
上述实施例，通过预设标定板的静态矩阵，为后续原件自动定位提供数学铺垫。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的明暗交替视场中的元件定位方法的明暗交替视场中的元件定位装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个明暗交替视场中的元件定位装置实施例中的具体限定可以参见上文中对于明暗交替视场中的元件定位方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种明暗交替视场中的元件定位装置800，包括：标准图获取模块801、明视场通面板图像获取模块802、明视场元件位置坐标计算模块803、明视场像素坐标转换模块804和暗视场面板图像获取模块805、暗视场元件位置坐标计算模块806、暗视场像素坐标转换模块807，其中：
标准图获取模块801，用于获取待测面板对应的标准图，所述待测面板上包括多个待测元件；基于所述标准图构建图纸坐标系，获取各个所述待测元件在所述图纸坐标系中的实际位置坐标；
明视场通面板图像获取模块802，用于通过明视场相机获取所述待测面板的明视场面板图像；其中，所述明视场相机固定于相机移动主轴的底端上；所述相机移动主轴的顶端用于在相机移动主轴运动平面内移动；
明视场元件位置坐标计算模块803，用于基于所述相机移动主轴运动平面构建相机移动主轴坐标系，基于所述明视场面板图像构建明视场相机坐标系，利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将所述实际位置坐标转换为明视场元件位置坐标；
明视场像素坐标转换模块804，用于利用明视场位置坐标系-明视场像素坐标系的明视场单位转换关系，将所述明视场位置坐标转换为明视场像素坐标；
以及，
暗视场面板图像获取模块805，用于通过暗视场相机获取所述待测面板的暗视场面板图像；其中，所述暗视场相机固定于所述移动主轴的底端上；
暗视场元件位置坐标计算模块806，用于基于所述暗视场面板图像构建暗视场相机坐标系，利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将所述明视场元件位置坐标转换为暗视场元件位置坐标；
暗视场像素坐标转换模块807，用于利用暗视场位置坐标系-暗视场像素坐标系的暗视场单位转换关系，将所述暗视场位置坐标转换为暗视场像素坐标。
在一实施例中，上述明视场元件位置坐标计算模块803进一步用于：
利用所述第一变换关系，将所述待测元件在所述图纸坐标系中的所述实际位置坐标转换为所述待测元件在所述相机移动主轴坐标系中的主轴位置坐标；利用所述第二变换关系，将所述主轴位置坐标转换为所述待测元件在所述明视场相机坐标系中的所述明视场元件位置坐标。
在一实施例中，所述待测面板上包含多个标记点，上述明视场元件位置坐标计算模块803还用于：
在明视场相机视野中依次搜索各个所述标记点，当所述标记点在所述明视场相机坐标系的原点时，记录当前相机移动主轴在所述相机移动主轴坐标系中的坐标，作为所述标记点在所述相机移动主轴坐标系中的坐标；在所述标准图中搜索得到各个所述标记点的标记点标准坐标；利用所述标记点标准坐标与所述标记点在所述相机移动主轴坐标系中的坐标之间的对应关系，得到所述图纸坐标系-相机移动主轴坐标系的第一旋转矩阵和所述图纸坐标系-相机移动主轴坐标系的第一平移矩阵；基于所述第一旋转矩阵和所述第一平移矩阵确定所述图纸坐标系-相机移动主轴坐标系的第一变换关系。
在一实施例中，上述明视场元件位置坐标计算模块803还用于：
获取当前温度；根据当前温度确定涨缩常数；基于所述涨缩常数、所述第一旋转矩阵和所述第一平移矩阵确定所述第一变换关系。
在一实施例中，上述暗视场元件位置坐标计算模块806还用于：
在特定照明条件下，通过所述明视场相机和所述暗视场相机同时采集预设正方形标定板的明视场图片和暗视场图片；其中，所述正方形标定板上包含多个预设参考点；根据同一预设参考点在所述明视场图片上的坐标和所述同一预设参考点在所述暗视场图片上的坐标，得到第三旋转矩阵和第三平移矩阵；基于所述第三旋转矩阵和所述第三平移矩阵确定所述第三变换关系。
在一实施例中，还包括单位转换关系确定单元，用于：
计算所述明视场图片中两个所述预设参考点之间的明视场距离，并计算所述暗视场图片中同一对预设参考点之间的暗视场距离；根据所述明视场距离、所述暗视场距离以及所述同一对预设参考点的实际物理距离确定所述明视场单位转换关系和所述暗视场单位转换关系。
上述明暗交替视场中的元件定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储面板图像以及元件定位数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种明暗交替视场中的元件定位方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种明暗交替视场中的元件定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9-10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述明暗交替视场中的元件定位方法实施例中的各步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述明暗交替视场中的元件定位方法实施例中的各步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述明暗交替视场中的元件定位方法实施例中的各步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种明暗交替视场中的元件定位方法，其特征在于，所述方法包括：
获取待测面板对应的标准图，所述待测面板上包括多个待测元件；基于所述标准图构建图纸坐标系，获取各个所述待测元件在所述图纸坐标系中的实际位置坐标；
通过明视场相机获取所述待测面板的明视场面板图像；其中，所述明视场相机固定于相机移动主轴的底端上；所述相机移动主轴的顶端用于在相机移动主轴运动平面内移动；
基于所述相机移动主轴运动平面构建相机移动主轴坐标系，基于所述明视场面板图像构建明视场相机坐标系，利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将所述实际位置坐标转换为明视场元件位置坐标；
利用明视场位置坐标系-明视场像素坐标系的明视场单位转换关系，将所述明视场位置坐标转换为明视场像素坐标；
以及，
通过暗视场相机获取所述待测面板的暗视场面板图像；其中，所述暗视场相机固定于所述移动主轴的底端上；
基于所述暗视场面板图像构建暗视场相机坐标系，利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将所述明视场元件位置坐标转换为暗视场元件位置坐标；
利用暗视场位置坐标系-暗视场像素坐标系的暗视场单位转换关系，将所述暗视场位置坐标转换为暗视场像素坐标。
2.根据权利要求1所述的方法，其特征在于，所述利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将所述实际位置坐标转换为明视场元件位置坐标，包括：
利用所述第一变换关系，将所述待测元件在所述图纸坐标系中的所述实际位置坐标转换为所述待测元件在所述相机移动主轴坐标系中的主轴位置坐标；
利用所述第二变换关系，将所述主轴位置坐标转换为所述待测元件在所述明视场相机坐标系中的所述明视场元件位置坐标。
3.根据权利要求2所述的方法，其特征在于，所述待测面板上包含多个标记点，所述利用所述第一变换关系，将所述待测元件在所述图纸坐标系中的所述实际位置坐标转换为所述待测元件在所述相机移动主轴坐标系中的主轴位置坐标之前，所述方法还包括：
在明视场相机视野中依次搜索各个所述标记点，当所述标记点在所述明视场相机坐标系的原点时，记录当前相机移动主轴在所述相机移动主轴坐标系中的坐标，作为所述标记点在所述相机移动主轴坐标系中的坐标；
在所述标准图中搜索得到各个所述标记点的标记点标准坐标；
利用所述标记点标准坐标与所述标记点在所述相机移动主轴坐标系中的坐标之间的对应关系，得到所述图纸坐标系-相机移动主轴坐标系的第一旋转矩阵和所述图纸坐标系-相机移动主轴坐标系的第一平移矩阵；
基于所述第一旋转矩阵和所述第一平移矩阵确定所述图纸坐标系-相机移动主轴坐标系的第一变换关系。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一旋转矩阵和所述第一平移矩阵确定所述纸坐标系-相机移动主轴坐标系的第一变换关系，还包括：
获取当前温度；根据当前温度确定涨缩常数；
基于所述涨缩常数、所述第一旋转矩阵和所述第一平移矩阵确定所述第一变换关系。
5.根据权利要求1所述的方法，其特征在于，所述利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将所述明视场元件位置坐标转换为暗视场元件位置坐标之前，所述方法还包括：
在特定照明条件下，通过所述明视场相机和所述暗视场相机同时采集预设正方形标定板的明视场图片和暗视场图片；其中，所述正方形标定板上包含多个预设参考点；
根据同一预设参考点在所述明视场图片上的坐标和所述同一预设参考点在所述暗视场图片上的坐标，得到第三旋转矩阵和第三平移矩阵；
基于所述第三旋转矩阵和所述第三平移矩阵确定所述第三变换关系。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
计算所述明视场图片中两个所述预设参考点之间的明视场距离，并计算所述暗视场图片中同一对预设参考点之间的暗视场距离；
根据所述明视场距离、所述暗视场距离以及所述同一对预设参考点的实际物理距离确定所述明视场单位转换关系和所述暗视场单位转换关系。
7.一种明暗交替视场中的元件定位装置，其特征在于，所述装置包括：
标准图获取模块，用于获取待测面板对应的标准图，所述待测面板上包括多个待测元件；基于所述标准图构建图纸坐标系，获取各个所述待测元件在所述图纸坐标系中的实际位置坐标；
明视场通面板图像获取模块，用于通过明视场相机获取所述待测面板的明视场面板图像；其中，所述明视场相机固定于相机移动主轴的底端上；所述相机移动主轴的顶端用于在相机移动主轴运动平面内移动；
明视场元件位置坐标计算模块，用于基于所述相机移动主轴运动平面构建相机移动主轴坐标系，基于所述明视场面板图像构建明视场相机坐标系，利用图纸坐标系-相机移动主轴坐标系的第一变换关系以及相机移动主轴坐标系-明视场相机坐标系的第二变换关系，将所述实际位置坐标转换为明视场元件位置坐标；
明视场像素坐标转换模块，用于利用明视场位置坐标系-明视场像素坐标系的明视场单位转换关系，将所述明视场位置坐标转换为明视场像素坐标；
以及，
暗视场面板图像获取模块，用于通过暗视场相机获取所述待测面板的暗视场面板图像；其中，所述暗视场相机固定于所述移动主轴的底端上；
暗视场元件位置坐标计算模块，用于基于所述暗视场面板图像构建暗视场相机坐标系，利用明视场相机坐标系-暗视场相机坐标系的第三变换关系，将所述明视场元件位置坐标转换为暗视场元件位置坐标；
暗视场像素坐标转换模块，用于利用暗视场位置坐标系-暗视场像素坐标系的暗视场单位转换关系，将所述暗视场位置坐标转换为暗视场像素坐标。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210109818.1A 2022-01-29 2022-01-29 明暗交替视场中的元件定位方法、装置、设备和存储介质 Active CN114119762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210109818.1A CN114119762B (zh) 2022-01-29 2022-01-29 明暗交替视场中的元件定位方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210109818.1A CN114119762B (zh) 2022-01-29 2022-01-29 明暗交替视场中的元件定位方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114119762A true CN114119762A (zh) 2022-03-01
CN114119762B CN114119762B (zh) 2022-04-29

Family

ID=80361721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210109818.1A Active CN114119762B (zh) 2022-01-29 2022-01-29 明暗交替视场中的元件定位方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114119762B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862866A (zh) * 2022-07-11 2022-08-05 深圳思谋信息科技有限公司 标定板的检测方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107356608A (zh) * 2017-07-21 2017-11-17 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷快速暗场检测方法
WO2018017575A2 (en) * 2016-07-18 2018-01-25 Instrumental, Inc. Modular optical inspection station
CN110411346A (zh) * 2019-08-12 2019-11-05 哈尔滨工业大学 一种非球面熔石英元件表面微缺陷快速定位方法
CN110706224A (zh) * 2019-10-09 2020-01-17 中国科学院自动化研究所 基于暗场图像的光学元件弱划痕检测方法、系统和装置
CN112634376A (zh) * 2020-12-25 2021-04-09 深圳中科飞测科技股份有限公司 标定方法及装置、标定设备和存储介质
CN113884509A (zh) * 2020-06-16 2022-01-04 深圳中科飞测科技股份有限公司 检测装置及检测方法
CN113971697A (zh) * 2021-09-16 2022-01-25 中国人民解放军火箭军工程大学 一种空地协同车辆定位定向方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018017575A2 (en) * 2016-07-18 2018-01-25 Instrumental, Inc. Modular optical inspection station
CN107356608A (zh) * 2017-07-21 2017-11-17 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷快速暗场检测方法
CN110411346A (zh) * 2019-08-12 2019-11-05 哈尔滨工业大学 一种非球面熔石英元件表面微缺陷快速定位方法
CN110706224A (zh) * 2019-10-09 2020-01-17 中国科学院自动化研究所 基于暗场图像的光学元件弱划痕检测方法、系统和装置
CN113884509A (zh) * 2020-06-16 2022-01-04 深圳中科飞测科技股份有限公司 检测装置及检测方法
CN112634376A (zh) * 2020-12-25 2021-04-09 深圳中科飞测科技股份有限公司 标定方法及装置、标定设备和存储介质
CN113971697A (zh) * 2021-09-16 2022-01-25 中国人民解放军火箭军工程大学 一种空地协同车辆定位定向方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIHUI ZHANG ET AL.: "Defects evaluation system for spherical optical surfaces based on microscopic scattering dark-field imaging method", 《APPLIED OPTICS》 *
刘晓容: "基于视觉的芯片电容检测与分拣系统研究与实现", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862866A (zh) * 2022-07-11 2022-08-05 深圳思谋信息科技有限公司 标定板的检测方法、装置、计算机设备和存储介质
CN114862866B (zh) * 2022-07-11 2022-09-20 深圳思谋信息科技有限公司 标定板的检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114119762B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
DE102014106482A1 (de) Automatisierte boroskopische Messung beim Sondenpräzisionstest
CN105157568A (zh) 坐标测量装置
CN114119762B (zh) 明暗交替视场中的元件定位方法、装置、设备和存储介质
CN108416765A (zh) 一种字符缺陷自动检测方法和系统
CN108445010A (zh) 自动光学检测方法及装置
CN104132619A (zh) 一种在线高精度锡膏厚度测试仪及测试方法
US10986761B2 (en) Board inspecting apparatus and board inspecting method using the same
CN102740110A (zh) 一种图片暗角的检测方法及移动设备
CN108171756A (zh) 自适应标定方法、装置及计算机终端
CN112504156A (zh) 一种基于前景网格的结构表面应变测量系统及测量方法
CN107734324B (zh) 一种闪光灯照度均匀性的测量方法、系统及终端设备
CN104677906A (zh) 影像信息检测方法
CN108352081B (zh) 排序目标尺寸
CN112985276B (zh) 电路板的厚度量测方法及厚度量测系统
TWI765587B (zh) 智慧取像與量測之系統與方法
Pandey et al. Close-range 3D imaging for documenting and monitoring dynamic deterioration processes in wall paintings
Rose et al. Research and development of a photogrammetric condition monitoring workflow to improve change detection in wall paintings
CN113284128B (zh) 基于电力设备的图像融合显示方法、装置和计算机设备
TWI710747B (zh) 電路板的厚度量測方法及厚度量測系統
CN206593592U (zh) 一种3d图像采集装置
US10388031B2 (en) Method and system for estimating epipolar geometry
CN116977305A (zh) 一种物料表面图像处理方法、装置及存储介质
Kuang et al. Research on Extracting Feature Points of Electronic-Component Pins
CN115641312A (zh) Led覆膜背光板的合格检测方法、装置和计算机设备
Malashin et al. Video inertial measurement system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant