CN116734727A - 定位方法及装置 - Google Patents
定位方法及装置 Download PDFInfo
- Publication number
- CN116734727A CN116734727A CN202211228443.7A CN202211228443A CN116734727A CN 116734727 A CN116734727 A CN 116734727A CN 202211228443 A CN202211228443 A CN 202211228443A CN 116734727 A CN116734727 A CN 116734727A
- Authority
- CN
- China
- Prior art keywords
- plane
- measurement
- calibration
- coordinates
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005259 measurement Methods 0.000 claims abstract description 221
- 238000006243 chemical reaction Methods 0.000 claims abstract description 89
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000011295 pitch Substances 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000000926 separation method Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007790 scraping Methods 0.000 description 2
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种定位方法及装置,包括:获得测量对象在第一测量平面上的坐标;确定测量对象在第一测量平面上的坐标从第一测量平面到第一标定平面的转换关系;利用转换关系,将测量对象在第一测量平面上的坐标转换为测量对象在第一标定平面上的坐标,以及利用第一标定平面与世界坐标系的转换矩阵,将测量对象在第一标定平面上的坐标转换为测量对象在世界坐标系下的坐标;基于测量对象在世界坐标系下的坐标,对测量对象进行定位操作,以经过测量对象的坐标从第一测量平面到第一标定平面的转换、从第一标定平面到世界坐标系的转换,实现了坐标从第一测量平面到世界坐标系的转换,提高测量对象在世界坐标系下的坐标的准确度,提高了定位与测量精度。
Description
技术领域
本申请涉及自动控制技术领域,尤其涉及一种定位方法及装置。
背景技术
在对测量对象进行定位的场景下,定位设备可以获取到一个测量平面中的多个测量对象的坐标,利用转换矩阵将每个测量对象的坐标转换为世界坐标系下的坐标,然后利用测量对象在世界坐标系下的坐标,对测量对象进行定位。
在将测量对象的坐标转换为世界坐标系下的坐标的过程中,定位设备可以将标定平面的转换矩阵作为测量平面的转换矩阵,标定平面是一个已知的标准平面,标定平面的转换矩阵用于指示标定平面与世界坐标系的转换关系。因为测量平面和标定平面存在高度差,利用标定平面的转换矩阵转换测量对象的坐标存在误差,降低定位与测量精度。
发明内容
本申请提供了一种定位方法及装置,目的在于提高定位与测量精度。为了实现上述目的,本申请提供了以下技术方案:
第一方面,本申请提供一种定位方法,方法包括:获得测量对象在第一测量平面上的坐标;确定测量对象在第一测量平面上的坐标从第一测量平面到第一标定平面的转换关系;利用转换关系,将测量对象在第一测量平面上的坐标转换为测量对象在第一标定平面上的坐标,以及利用第一标定平面与世界坐标系的转换矩阵,将测量对象在第一标定平面上的坐标转换为测量对象在世界坐标系下的坐标;基于测量对象在世界坐标系下的坐标,对测量对象进行定位操作。
在本申请中,定位设备获取到的是测量对象在第一测量平面上的坐标,在进行定位操作时参照的是测量对象在世界坐标系下的坐标,所以定位与测量精度是否提高与测量对象在世界坐标系下的坐标的准确度是相关的。因为转换矩阵是第一标定平面与世界坐标系的转换矩阵(已知的),第一测量平面与世界坐标系的转换矩阵是未知的,测量对象在第一标定平面上的坐标也是未知的,所以为了能够测量对象在世界坐标系下的准确度,定位设备需要获取到测量对象在第一标定平面上的坐标,然后再利用第一标定平面与世界坐标系的转换矩阵,完成测量对象的坐标从第一标定平面到世界坐标系的转换。由此,定位设备要确定测量对象在第一测量平面上的坐标从第一测量平面到第一标定平面的转换关系;利用转换关系,将测量对象在第一测量平面上的坐标转换为测量对象在第一标定平面上的坐标,经过测量对象的坐标从第一测量平面到第一标定平面的转换、以及从第一标定平面到世界坐标系的转换,实现了测量对象的坐标从第一测量平面到世界坐标系的转换,提高测量对象在世界坐标系下的坐标的准确度,从而提高了定位与测量精度。
其中测量对象在第一测量平面上的坐标可以是像素坐标,通过对第一测量平面的图像进行图像识别得到,此处不再赘述。在坐标转换过程中没有人工操作,实现自动化转换。
可选的,确定测量对象在第一测量平面上的坐标从第一测量平面到第一标定平面的转换关系包括:利用测量对象的校准参数,确定测量对象在第一测量平面上的坐标从第一测量平面到第一标定平面的转换关系,校准参数用于指示第一测量平面与第一标定平面之间的缩放关系,第一测量平面与第一标定平面之间的缩放关系指示出从第一测量平面到第一标定平面的转换,该缩放关系也可以体现出一个坐标在第一测量平面上以及在第一标定平面上的关系,因此根据校准参数指示的缩放关系可以确定测量对象在第一测量平面上的坐标从第一测量平面到第一标定平面的转换关系。
可选的,测量对象的校准参数的生成过程包括:获取测量对象与其他测量对象之间的标准距离值、测量对象与其他测量对象之间的测量距离值,标准距离值和测量距离值是不同测量算法得到的测量对象与同一个其他测量对象之间的距离值;利用标准距离值、测量距离值和测量对象的历史校准参数,预测测量对象的校准参数,历史校准参数为上一个装配周期获得的测量对象的校准参数,预测的测量对象的校准参数作为下一个装配周期的历史校准参数,且在下一个装配周期用于转换测量对象在第一测量平面上的坐标,以不断地迭代更新测量对象的校准参数,使得测量对象的校准参数可以快速收敛,且快速提高校准参数的准确度。
可选的,利用标准距离值、测量距离值和测量对象的历史校准参数,预测测量对象的校准参数包括:将标准距离值与测量距离值的比值作为校准参数的观测值,以及将标准距离值的误差作为观测值的观测误差;根据观测值的观测误差、历史校准参数的预测误差,得到校准参数的第一卡尔曼系数,第一卡尔曼系数用于指示校准参数对观测值的依赖程度,历史校准参数的预测误差是利用预设算法对多个历史校准参数进行处理,得到预设算法的结果值,结果值为历史校准参数的预测误差;利用第一卡尔曼系数,调整观测值与历史校准参数之间的差值关系,将调整后的差值关系确定为测量对象的校准参数和历史校准参数之间的差距,将历史校准参数和差距之和确定为测量对象的校准参数,通过这种方式能够使得测量对象的校准参数可以快速收敛,且快速提高校准参数的准确度。如测量对象为显示屏上的边缘点,那么测量对象的校准参数的预测过程对应下述第一自校准参数计算公式,定位设备可以利用该第一自校准参数计算公式预测测量对象的校准参数。
第一卡尔曼系数用于指示对观测值的依赖程度,第一卡尔曼系数随着校准参数的预测次数的增加而变小,第一卡尔曼系数越小,说明对观测值的依赖程度降低,校准参数逐渐接近上一个装配周期得到的校准参数,上一个装配周期的校准参数采用上一个装配周期计算出的校准参数,因此随着第一卡尔曼系数的逐渐变小,校准参数逐渐收敛。经过试验,第一卡尔曼系数在第三个装配周期基本接近0,因此校准参数在第三个装配周期已经收敛,达到快速收敛校准参数的效果,使得校准参数可以准确指向第一测量平面与第一测量平面对应的第一标定平面之间的缩放关系,以通过校准参数获得准确的第一测量平面到第一标定平面的转换关系。
可选的,利用测量对象的校准参数,确定测量对象在第一测量平面上的坐标从第一测量平面到第一标定平面的转换关系包括:利用校准参数、测量对象在第一测量平面上的坐标和第一测量平面的尺寸,得到测量对象从第一测量平面向第一标定平面移动时的起始位置、测量对象从第一测量平面向第一标定平面移动时的坐标偏移量,起始位置和坐标偏移量指向转换关系;利用转换关系,将测量对象在第一测量平面上的坐标转换为测量对象在第一标定平面上的坐标包括:以起始位置为起点,将测量对象在第一测量平面上的坐标向预设方向移动坐标偏移量指向的距离,以得到测量对象在第一标定平面上的坐标,预设方向根据测量对象的校准参数确定。
可选的,以起始位置为起点,将测量对象在第一测量平面上的坐标向预设方向移动坐标偏移量指向的距离包括:在测量对象的校准参数的取值大于1的情况下,以起始位置为起点,以起始位置与第一测量平面的中心点之间的连线指向的方向为移动方向,将测量对象在第一测量平面的坐标向外移动坐标偏移量指向的距离;在测量对象的校准参数的取值小于1的情况下,以起始位置为起点,以起始位置与第一测量平面的中心点之间的连线指向的方向为移动方向,将测量对象在第一测量平面上的坐标向内移动坐标偏移量指向的距离。
可选的,方法应用于第一部件在第二部件上的定位,第一部件上标记有测量对象,第一部件位于第一测量平面上,第二部件上标记有定位部件,第二部件位于第二测量平面上,第二测量平面对应第二标定平面;方法还包括:获取定位部件在第二测量平面上的坐标;确定定位部件在第二测量平面上的坐标从第二测量平面到第二标定平面的转换关系;利用转换关系,将定位部件在第二测量平面上的坐标转换为定位部件在第二标定平面上的坐标,以及利用第二标定平面与世界坐标系的转换矩阵,将定位部件在第二标定平面上的坐标转换为定位部件在世界坐标系下的坐标;基于测量对象在世界坐标系下的坐标,对测量对象进行定位操作包括:基于测量对象在世界坐标系下的坐标和定位部件在世界坐标系下的坐标,控制第一部件在第二部件上的定位。也就是说,本申请提供的定位方法可以应用到一个部件在另一个部件上的定位,两个部件各自对应一个测量平面,在获得两个部件中与定位相关的对象在各自对应的测量平面上的坐标后,先利用测量平面到标定平面的转换关系完成坐标的一次转换,得到在标定平面上的坐标,再利用标定平面与世界坐标系的转换矩阵,完成坐标的二次转换,得到在世界坐标系下的坐标,提高定位与测量精度。
可选的,基于测量对象在世界坐标系下的坐标和定位部件在世界坐标系下的坐标,控制第一部件在第二部件上的定位包括:基于测量对象在世界坐标系下的坐标、定位部件在世界坐标系下的坐标、第一部件与第二部件之间的距离信息,确定第一部件在世界坐标系下的位置信息、第二部件在世界坐标系下的位置信息;根据第一部件在世界坐标系下的位置信息、第二部件在世界坐标系下的位置信息,确定第一部件与第二部件之间的距离信息;根据第一部件与第二部件之间的距离信息,控制第一部件在第二部件上的定位。
可选的,第一部件为电子设备的显示屏,测量对象为显示屏上的定位标识,第二部件为电子设备的中框。
第二方面,本申请提供一种定位设备,定位设备包括:一个或多个处理器;一个或多个存储器;存储器存储有一个或多个程序,当一个或者多个程序被处理器执行时,使得电子设备执行上述定位方法。
第三方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储了计算机程序,当计算机程序被处理器执行时,使得处理器执行上述定位方法。
附图说明
图1为本申请提供的TP机械手组装显示屏的示意图;
图2为本申请提供的中框中Mark孔的示意图;
图3为本申请提供的TP中四个边的示意图;
图4为本申请提供的定位方法的流程图;
图5为本申请提供的第一校准参数的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例涉及的多个,是指大于或等于两个。需要说明的是,在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
在设备定位等场景下,通常情况下将标定平面的转换矩阵作为测量平面的转换矩阵,标定平面的转换矩阵用于指示标定平面与世界坐标系的转换关系,利用该转换矩阵可以将测量平面中测量对象的像素坐标转换为世界坐标系下的坐标,但是因为标定平面和测量平面存在高度差,所以测量对象在世界坐标系下的坐标存在误差,基于存在误差的坐标进行定位以及测量时,定位以及测量精度也被降低。
图1示出了显示屏组装设备(简称触控面板(TouchPanel,TP)机械手,一种定位设备)组装显示屏的场景,在图1中相机为视觉系统,TP/液晶显示器(Liquid CrystalDisplay,LCD)为显示屏,TP机械手可以得到中框上的Mark孔在世界坐标系下的坐标和显示屏的边缘点在世界坐标系下的坐标,根据Mark孔在世界坐标系下的坐标和显示屏的边缘点在世界坐标系下,定位以及测量Mark孔和显示屏,过程如下:
TP机械手通过相机拍摄第一图像,第一图像包括显示屏所在的第一测量平面,显示屏上的TP边缘点可以作为第一测量平面上的测量对象,通过图像识别算法确定TP边缘点在第一图像中的位置,得到TP边缘点在第一测量平面上的像素坐标,以第一测量平面对应的第一标定平面(预先设置的一个已知平面)的转换矩阵作为第一测量平面的转换矩阵,第一标定平面的转换矩阵用于指示第一标定平面与TP机械手的世界坐标系之间的转换关系,利用转换矩阵将TP边缘点在第一测量平面上的像素坐标转换为世界坐标系下的坐标。
TP机械手通过相机拍摄第二图像,第二图像包括中框所在的第二测量平面,通过图像识别算法得到中框上的Mark孔在第二测量平面上的像素坐标,以第二测量平面对应的第二标定平面(预先设置的一个已知平面)的转换矩阵作为第二测量平面的转换矩阵,第二标定平面的转换矩阵用于指示第一标定平面与TP机械手的世界坐标系之间的转换关系,利用转换矩阵将Mark孔在第二测量平面上的像素坐标转换为世界坐标系下的坐标。
TP机械手根据Mark孔在世界坐标系下的坐标、显示屏上边缘点在世界坐标系下的坐标,测量到Mark孔与显示屏之间的距离信息,通过该距离信息对显示屏进行定位,如定位显示屏在中框上的位置。
理想情况下,第一标定平面和第一测量平面是同一个平面(即两个平面共面),第二标定平面和第二测量平面是同一个平面,但是第一标定平面和第二标定平面的高度是人为估计,容易出现第一标定平面与第一测量平面之间存在高度差、第二标定平面与第二测量平面之间存在高度差的问题,导致第一标定平面与第一测量平面不在同一个平面上,第二标定平面与第二测量平面不在同一个平面上,那么将第一标定平面的转换矩阵应用到第一测量平面中,第二标定平面的转换矩阵应用到第二测量平面中,容易使TP机械手出现测量误差,如引发TP机械手得到66条测量误差,降低TP机械手的定位与测量精度。并且测量误差被引入到显示屏装配和压合过程中,导致电子设备的组装精度降低,出现如下组装质量问题:
1、显示屏的组装缝一致性差,量产过程中需要人工反复调整TP机械手的偏移量进行矫正;2、显示屏的组装位置没有居中,左右缝隙不均匀,容易出现逆刮手等质量问题,逆刮手是因为左右缝隙不均匀导致显示屏的一个边暴露在中框之外,用户手指划过时刮手;3、前置摄像头出现偏移量。
如表1和表2所示,表1示出了中框中的四个Mark孔的标准值和测量值、Mark间距的标准值和测量值,Mark间距为Mark孔之间的间距,中框中四个Mark孔的示意图请参见图2所示,标准值为表1中的测装分离数据,由测装分离设备测量得到标准值,测量值为TP机械手测量的数据,测装分离设备和TP机械手的测量算法不同,两者的测量精度也不同,一般情况下测装分离设备的测量精度大于TP机械手的测量精度。表2示出了TP中四个边的标准值和测量值,四个边包括上宽边、下宽边、左长边和右长边,四个边的示意图请参见图3所示,标准值为二次元测量值,测量1、测量2和测量3为测量值。
表1中框中Mark孔相关的标准值和测量值(单位毫米(mm))
表2显示屏中四个边的标准值和测量值(单位mm)
上述表1中Mark孔间距的测量误差可以达到-0.66311mm,表2中TP中边的测量误差可以达到-0.2419mm,并且测量误差可以导致电子设备存在上述组装质量问题,影响电子设备的质量。
为此,本申请提供一种定位方法,获得测量对象在第一测量平面上的坐标;确定测量对象在第一测量平面上的坐标从第一测量平面到第一标定平面的转换关系;利用转换关系,将测量对象在第一测量平面上的坐标转换为测量对象在第一标定平面上的坐标,以及利用第一标定平面与世界坐标系的转换矩阵,将测量对象在第一标定平面上的坐标转换为测量对象在世界坐标系下的坐标;基于所述测量对象在世界坐标系下的坐标,对测量对象进行定位操作。因为转换矩阵是第一标定平面与世界坐标系的转换矩阵,在得到测量对象在第一测量平面上的坐标后,向将其转换到第一标定平面上,再将在第一标定平面上的坐标转换到世界坐标系下,相对于将在第一测量平面上的坐标转换到世界坐标系下,提高准确度。
如在上述显示屏在中框上定位的场景中,在分别得到Mark孔和边缘点在各自对应的测量平面上的坐标后,可以将Mark孔和边缘点在各自对应的测量平面上的坐标转换到各自对应的标定平面上,使得向世界坐标系进行转换时Mark孔和边缘点的坐标可以作为各自在标定平面上的真实坐标,提高转换时Mark孔的坐标和TP边缘点的坐标的准确度,从而缩小TP机械手的测量误差。TP机械手可以利用调整后的坐标进行定位和测量,因为Mark孔的坐标和TP边缘点的坐标的准确度提高,那么TP机械手可以利用更为准确的Mark孔和TP边缘点进行定位和测量,由此随着坐标准确度的提高,定位与测量精度也得到提高,随着定位与测量精度的提高,组装精度也得到提高,上述组装质量问题也得到改善,提高电子设备的质量。
其中TP边缘点可以用于定位与测量TP的四个边,如TP机械手测量上述图3中的四个边,每个边是由TP上位于边缘的两个像素点连接得到,那么位于边缘且用于连接出上述四个边的像素点为TP边缘点,TP边缘点也可以称为定位点(或TP的定位标识)。
在一些示例中,定位方法可以在每个装配周期更新第一校准参数和第二校准参数,以不断迭代更新第一校准参数和第二校准参数,使得坐标的准确度能够快速提升并收敛。第一校准参数可以根据Mark孔间距的标准值(即Mark孔间距的真实间距值)和TP机械手测量的Mark孔间距的测量值(即Mark孔间距的测量值)更新,第二校准参数也可以根据TP的尺寸设计数据(即TP的尺寸设计值)和TP机械手测量的四个边的测量值(即四个边的测量值)更新。
以当前装配周期是第j个装配周期为例,对本申请提供的定位方法进行说明,图4示出了本申请提供的显示屏定位方法的流程图,可以包括以下步骤:
S101、获取中框中Mark孔的坐标,根据中框中Mark孔的坐标,得到Mark孔间距CZMarkDistj(i)。
在步骤S101中,TP机械手从测装分离设备处获取中框中四个Mark孔的坐标,Mark孔的坐标是Mark孔在测装分离设备的世界坐标系下的坐标,如Mark孔的坐标包括x坐标和y坐标。TP机械手或测装分离设备根据两个Mark孔的坐标,得到两个Mark孔之间的Mark孔间距,即CZMarkDistj(i),如果TP机械手得到Mark孔间距CZMarkDistj(i),TP机械手将从测装分离设备处得到的Mark孔的坐标转换为TP机械手的世界坐标系下的坐标,然后利用转换后的坐标得到Mark孔间距CZMarkDistj(i),其中Mark孔间距CZMarkDistj(i)是一个长度,TP机械手的世界坐标系下的Mark孔间距CZMarkDistj(i)与测装分离设备的世界坐标系下的Mark孔间距CZMarkDistj(i)相同。
如上述表1所示,CZMarkDistj(i)中i的取值可以为1至4,CZMarkDistj(1)表示Mark孔1和Mark孔2之间的间距,CZMarkDistj(2)表示Mark孔2和Mark孔3之间的间距,CZMarkDistj(3)表示Mark孔3和Mark孔4之间的间距,CZMarkDistj(4)表示Mark孔1和Mark孔4之间的间距。
S102、获取中框中四个Mark孔的像素坐标。一些示例中,一个Mark孔可能占用多个像素点,步骤S102是获取Mark孔的圆心的像素坐标。像素坐标是Mark孔在第一测量平面的像素坐标,TP机械手在拍摄到包括第一测量平面的图像后,通过图像识别算法得到Mark孔在第一测量平面上的像素坐标。
S103、建立中框的第一校准公式,第一校准公式可以是中框中Mark孔的像素坐标的校准公式,用于调整Mark孔的像素坐标。第一校准公式包括Mark孔的x像素坐标和y像素坐标的校准公式,如下:
MarkCenterj(i).x^=βj(i)*MarkCenterj(i).x–(βj(i)-1)*h/2;
MarkCenterj(i).y^=βj(i)*MarkCenterj(i).y–(βj(i)-1)*w/2。
通过第一校准公式可以将Mark孔在第一测量平面的像素坐标转换到第一标定平面上,得到Mark孔在第一标定平面上的像素坐标,因此第一校准公式可以体现出Mark孔在第一测量平面和第一标定平面上的转换关系,从而通过第一校准公式实现Mark孔的像素坐标从第一测量平面到第一标定平面上的转换。转换关系表示出以Mark孔在第一测量平面的像素坐标为起始位置,Mark孔从该起始位置开始向第一标定平面移动时的坐标平移量。
上述第一校准公式中,βj(i)的取值大于1,以起始位置为起点,以第一测量平面指向起始位置的方向为移动方向,从起点开始向外移动坐标偏移量指向的距离,得到Mark孔在第一标定平面上的转换。如果βj(i)的取值小于1,第一校准公式可以表示为:MarkCenterj(i).x^=(1-βj(i))*h/2+βj(i)*MarkCenterj(i).x;MarkCenterj(i).y^=(1-βj(i))*w/2+βj(i)*MarkCenterj(i).y,在进行坐标转换时以起始位置指向第一测量平面的方向为移动方向,从起点开始向内移动坐标偏移量指向的距离。
其中,^表示估计值,估计值在当前装配周期作为Mark孔在第一标定平面上的像素坐标,TP机械手利用该像素坐标进行定位和测量,MarkCenterj(i).x表示第i个Mark孔的圆心的x像素坐标,MarkCenterj(i).y表示第i个Mark孔的圆心的y像素坐标,h和w表示相机成像图片的长和宽,即第一测量平面的长和宽,长和宽以像素尺寸表示,βj(i)为当前装配周期下第i个Mark孔的第一校准参数。如果当前装配周期是第一个装配周期,βj(i)被初始化为1,如果当前装配周期是第一个装配周期之后的一个装配周期,βj(i)在上一个装配周期计算得到。
i的取值为1至4,βj(1)至βj(4)的示例请参见图5所示,βj(1)对应Mark孔1,βj(2)对应Mark孔2,βj(3)对应Mark孔3,βj(4)对应Mark孔4。
S104、根据Mark孔间距CZMarkDistj(i)和TP机械手测量到的孔间距MeasureDistj(i),得到第一校准参数βj(i)在当前装配周期的观测值βj(i)^。
孔间距MeasuerDistj(i)与Mark孔间距CZMarkDistj(i)表示的都是Mark孔之间的间距,可以利用Mark孔在TP机械手的世界坐标系下的坐标得到,因此TP机械手在利用第一校准公式得到Mark孔在第一标定平面的像素坐标后,利用第一标定平面与TP机械手的世界坐标系的转换矩阵,将Mark孔在第一标定平面的像素坐标转换为Mark孔在TP机械手的世界坐标系下的坐标,然后再利用Mark孔在TP机械手的世界坐标系下的坐标,计算孔间距MeasureDistj(i),又或者TP机械手利用Mark孔在第一标定平面的像素坐标,计算初始孔间距,在利用第一标定平面的转换矩阵将初始孔间距转换为孔间距MeasureDistj(i)。
在一些示例中,观测值βj(i)^的计算公式是:βj(i)^=CZMarkDistj(i)/MeasureDistj(i),观测值βj(i)^用于指示Mark孔间距CZMarkDistj(i)与孔间距MeasureDistj(i)之间的大小关系,如指示Mark孔间距CZMarkDistj(i)与孔间距MeasuerDistj(i)是大于关系、小于关系还是相等的关系,两者为大于关系大于孔间距MeasureDistj(i)还是小于孔间距MeasureDistj(i)还是等于孔间距MeasureDistj(i),以及两者之间相差的程度。
S105、根据第一校准参数βj(i)在当前装配周期的观测值βj(i)^和第一校准参数βj(i)的第一预测值βj(i)',得到第一校准参数βj(i)的第二预测值βj(i)″。
如果当前装配周期为第一个装配周期,第一预测值βj(i)'初始化为1;如果当前装配周期为第二个装配周期、第三个装配周期……等,第一预测值βj(i)'采用上一个装配周期计算出的第二预测值βj(i)″。第二预测值βj(i)″用于指向Mark孔所在的第一测量平面与第一测量平面对应的第一标定平面之间的缩放关系。
第二预测值βj(i)″在下一个装配周期使用,使用方式是:一、第二预测值βj(i)″在下一个装配周期作为第一校准参数使用,在下一个装配周期调整Mark孔的像素坐标,以MarkCenterj(i).x^为例,MarkCenterj(i).x^=βj(i)″*MarkCenterj(i).x–(βj(i)″-1)*h/2,实现对第一校准参数和Mark孔的像素坐标的测量精度的快速提升以及收敛;二、在下一个装配周期作为第一预测值βj(i)'使用,以在下一个装配周期计算第二预测值βj(i)″。
其中第二预测值βj(i)″在下一个装配周期使用是因为:对一个Mark孔来说,TP机械手在每个装配周期仅获得一次Mark孔的像素坐标,每个装配周期中第二预测值βj(i)″的计算在TP机械手测量Mark孔之后,所以每个装配周期得到的第二预测值βj(i)″在下一个装配周期使用,在本装配周期利用上一个装配周期计算的第二预测值βj(i)″调整Mark孔的像素坐标,能够符合TP机械手的装配流程,并能够及时调整下一个装配周期的Mark孔的像素坐标。
假如TP机械手允许多次获取同一个Mark孔的像素坐标,第二预测值βj(i)″可以在当前装配周期来调整Mark孔的像素坐标,能够及时调整当前装配周期的Mark孔的像素坐标。
在一些示例中,第二预测值βj(i)″的预测过程如下:
1)获取第二预测值βj(i)″的第一卡尔曼系数Kg,第一卡尔曼系数计算公式是Kg=(pj-1+δ)/(pj-1+δ+σ),δ为第一预测值βj(i)'的预测误差,σ为观测值βj(i)^的观测误差,δ和σ为常数。σ用于指示Mark孔间距CZMarkDistj(i)的误差,获取过程可以是计算Mark孔间距CZMarkDistj(i)与Mark孔间距CZMarkDistj(i)的真实值之间的差值,将该差值与Mark孔间距CZMarkDistj(i)的真实值(实际值)的比值作为观测误差,比值为Mark孔间距CZMarkDistj(i)的误差。因为Mark孔间距CZMarkDistj(i)的准确度影响了观测值βj(i)^的准确度,所以可以将Mark孔间距CZMarkDistj(i)的误差作为观测值βj(i)^的观测误差。δ是利用预设算法对多个历史第二预测值βj(i)″进行处理,得到预设算法的结果值,结果值为第一预测值βj(i)'的预测误差,如多个历史第二预测值βj(i)″的平均值作为预测误差。第一预测值βj(i)'是上一个装配周期的第二预测值βj,那么预测误差可以是上一个装配周期的第二预测值βj预测误差。pj-1为上一个装配周期的协方差,在第一个装配周期pj-1采用初始值,如在第一个装配周期pj-1=0.5,又例如第一个装配周期pj-1的取值可以根据测装分离设备和TP机械手之间的测量误差(如上述表1中的测量误差)确定;
2)利用第一自校准参数计算公式:
Estimatedβj(i)=βj(i)′+Kg(βj(i)^-βj(i)′)得到第二预测值βj(i)″,Estimatedβj(i)是第二预测值βj(i)″;
3)根据第一协方差预测公式pj=(1-Kg)2*pj-1得到下一个装配周期的协方差,在下一个装配周期中,协方差pj作为pj-1使用。
每个装配周期包括βj(1)"至βj(4)"这四个第二预测值,对每个第二预测值βj(i)″按照上述(1)至(3)进行预测。如对于βj(1)",利用第一预测值βj(1)'的预测误差δ和观测值βj(1)^的观测误差σ,得到βj(1)"的卡尔曼系数Kg,然后利用上述第一自校准参数计算公式得到βj(1)",并根据第一协方差预测公式得到下一个装配周期的协方差,以在下一个装配周期计算βj(1)"。在第一卡尔曼系数计算公式和第一协方差预测公式的作用下,第二预测值βj(i)″可以快速收敛。
在本实施例中,第一卡尔曼系数Kg用于指示对观测值βj(i)^的依赖程度,第一卡尔曼系数Kg随着第二预测值βj(i)″的预测次数的增加而变小,第一卡尔曼系数Kg越小,说明对观测值βj(i)^的依赖程度降低,当前装配周期下得到的第二预测值βj(i)″逐渐接近上一个装配周期得到的第一预测值βj(i)',上一个装配周期的第一预测值βj(i)'采用上一个装配周期计算出的第二预测值βj(i)″,因此随着第一卡尔曼系数Kg的逐渐变小,第二预测值βj(i)″逐渐收敛。经过试验,第一卡尔曼系数Kg在第三个装配周期基本接近0,因此第二预测值βj(i)″在第三个装配周期已经收敛,达到快速收敛第二预测值βj(i)″的效果,使得第二预测值βj(i)″可以准确指向Mark孔所在的第一测量平面与第一测量平面对应的第一标定平面之间的缩放关系,以通过上述第一校准公式可以准确地完成Mark孔的像素坐标从第一测量平面到第一标定平面的转换。
从第二预测值βj(i)″的预测过程可知,预测过程使用的参数包括观测值βj(i)^、观测值βj(i)^的观测误差、第一预测值βj(i)'、第一预测值βj(i)'的预测误差。观测值βj(i)^是根据一个装配周期下孔间距的标准值(即CZMarkDistj(i))和孔间距的测量值(即MeasureDistj(i))得到,第一预测值βj(i)'为上一装配周期的第二预测值βj(i)″,上一装配周期的第二预测值βj(i)″使用了上一装配周期的观测值βj(i)^,说明在当前装配周期下,第二预测值βj(i)″使用了当前装配周期下的CZMarkDistj(i)和MeasureDistj(i)、以及上一装配周期下的CZMarkDistj(i)和MeasureDistj(i),因此第二预测值βj(i)″可以根据当前装配周期下的孔间距数据和上一装配周期下的孔间距数据(历史孔间距数据)得到。
在一些示例中,第二预测值βj(i)″也可以通过其他方式得到,如根据历史孔间距数据训练一个能够学习到第一测量平面与第一标定平面的缩放关系的模型,在当前装配周期下,将当前装配周期下的孔间距数据输入到模型中,由模型输出当前装配周期下的第二预测值βj(i)″。
S106、获取TP边缘点的像素坐标,TP边缘点的说明请参见上述,如图3所示每个边的连接点为TP边缘点,TP机械手获取这些边缘点在第二测量平面的像素坐标。如由TP机械手根据显示屏所在第二测量平面的图像得到。在本实施例中,步骤S101和步骤S101可以同时执行,或者先执行步骤S106再执行步骤S101。
S107、建立TP的第二校准公式,第二校准公式可以是TP边缘点的像素坐标的校准公式,用于调整TP边缘点的像素坐标。第二校准公式包括TP边缘点的x像素坐标和y像素坐标的校准公式,如下:
TPCenterj(i).x^=γj(i)*TPCenterj(i).x–(γj(i)-1)*h/2;
TPCenterj(i).y^=γj(i)*TPCenterj(i).y–(γj(i)-1)*w/2。
通过第二校准公式可以将TP边缘点在第二测量平面的像素坐标转换到第二标定平面上,得到TP边缘点在第二标定平面上的像素坐标,因此第二校准公式可以体现出TP边缘点在第二测量平面和第二标定平面上的转换关系,从而通过第二校准公式实现TP边缘点的像素坐标从第二测量平面到第二标定平面上的转换,具体请参见上述对第一校准公式的说明。
其中,^表示估计值,估计值在当前装配周期作为TP边缘点在第二标定平面上的像素坐标,TP机械手利用该像素坐标进行定位和测量,TPCenterj(i).x表示第i个TP边缘点的圆心的x像素坐标,TPCenterj(i).y表示第i个TP边缘点的圆心的y像素坐标,h和w表示相机成像图片的长和宽,即第二测量平面的长和宽,长和宽以像素尺寸表示,γj(i)为当前装配周期下第i个TP边缘点的第二校准参数。如果当前装配周期是第一个装配周期,γj(i)被初始化为1,如果当前装配周期是第一个装配周期之后的一个装配周期,γj(i)在上一个装配周期计算得到。
S108、根据TP的尺寸设计值DSDistj(i)和TP机械手测量到的边长MeaDistj(i),得到第二校准参数γj(i)在当前装配周期的观测值γj(i)^。
边长MeaDistj(i)与尺寸设计值DSDistj(i)表示的都是TP中一个边的边长,尺寸设计值DSDistj(i)是在设计TP时给出的尺寸设计数据,TP机械手在利用第二校准公式得到TP边缘点在第二标定平面的像素坐标后,利用第二标定平面与TP机械手的世界坐标系的转换矩阵,将TP边缘点在第二标定平面的像素坐标转换为在TP机械手的世界坐标系下的坐标,利用TP边缘点在TP机械手的世界坐标系下的坐标,得到边长MeaDistj(i)。又或者TP机械手利用TP边缘点在第二标定平面的像素坐标,计算初始边长,在利用第二标定平面的转换矩阵将初始边长转换为边长MeaDistj(i)。
在一些示例中,观测值γj(i)^的计算公式是:γj(i)^=DSDistj(i)/MeaDistj(i),观测值γj(i)^用于指示DSDistj(i)与边长MeaDistj(i)之间的大小关系,如指示DSDistj(i)与边长MeaDistj(i)是大于关系、小于关系还是相等的关系,两者为大于关系大于边长MeaDistj(i)还是小于边长MeaDistj(i)还是等于边长MeaDistj(i),以及两者之间相差的程度。
S109、根据第二校准参数γj(i)在当前装配周期的观测值γj(i)^和第二校准参数γj(i)的第一预测值γj(i)',得到第二校准参数γj(i)的第二预测值γj(i)″。
如果当前装配周期为第一个装配周期,第一预测值γj(i)'初始化为1;如果当前装配周期为第二个装配周期、第三个装配周期……等,第一预测值γj(i)'采用上一个装配周期计算出的第二预测值γj(i)″。第二预测值γj(i)″用于指向TP所在的第二测量平面与第二测量平面对应的第二标定平面之间的缩放关系。
第二预测值γj(i)″在下一个装配周期使用,使用方式是:一、第二预测值γj(i)″在下一个装配周期作为第二校准参数使用,在下一个装配周期调整TP边缘点的像素坐标,如TPCenterj(i).x^=γj(i)″*TPCenterj(i).x–(γj(i)″-1)*h/2,实现对第二校准参数γj(i)和TP边缘点的像素坐标的测量精度的快速提升以及收敛;二、在下一个装配周期作为第一预测值γj(i)'使用,以在下一个装配周期计算第二预测值γj(i)″。其中第二预测值γj(i)″在下一个装配周期使用的原因请参见上述对第二预测值βj(i)″的说明。在本实施例中,TP机械手可以并行建立中框的第一校准公式和TP的第二校准公式,以及,并行计算第二预测值γj(i)″和第二预测值βj(i)″,对此本实施例不限定各步骤的先后顺序。
在一些示例中,第二预测值γj(i)″的预测过程如下:
11)获取第二卡尔曼系数Kg1,第二卡尔曼系数计算公式是Kg1=(p1j-1+δ1)/(p1 j-1+δ1+σ1),δ1为观测值γj(i)^的观测误差,σ1为尺寸设计值的设计误差,δ1和σ1为常数,具体请参见上述δ和σ的说明。p1j-1为上一个装配周期的协方差,在第一个装配周期p1j-1采用初始值,如在第一个装配周期p1j-1=0.5,又例如第一个装配周期p1j-1的取值可以根据尺寸设计值和TP机械手测量的数据之间的测量误差(如上述表2中的测量误差)确定;
12)利用第二自校准参数计算公式:
Estimatedγj(i)=γj(i)′+Kg1(γj(i)^-γj(i)′)得到第二预测值γj(i)″,Estimatedγj(i)是第二预测值γj(i)″;
13)根据第二协方差预测公式p1j=(1-Kg1)2*p1j-1得到下一个装配周期的协方差,在下一个装配周期中,协方差p1j作为p1j-1使用。在第二卡尔曼系数计算公式和第二协方差预测公式作用下,第二预测值γj(i)″可以快速收敛。
在本实施例中,第二卡尔曼系数Kg1用于指示对观测值βj(i)^的依赖程度,第二卡尔曼系数Kg1随着第二预测值γj(i)″的预测次数的增加而变小,第二卡尔曼系数Kg1越小,说明对观测值γj(i)^的依赖程度降低,当前装配周期下得到的第二预测值γj(i)″逐渐接近上一个装配周期得到的第一预测值γj(i)',上一个装配周期的第一预测值γj(i)'采用上一个装配周期计算出的第二预测值γj(i)″,因此随着第二卡尔曼系数Kg1的逐渐变小,第二预测值γj(i)″逐渐收敛。经过试验,第二卡尔曼系数Kg1在第三个装配周期基本接近0,因此第二预测值γj(i)″在第三个装配周期已经收敛,达到快速收敛第二预测值γj(i)″的效果,使得第二预测值γj(i)″可以准确指向TP所在的第二测量平面与第二测量平面对应的第二标定平面之间的缩放关系,以通过上述第二校准公式可以准确地完成TP边缘点的像素坐标从第二测量平面到第二标定平面的转换。
S110、根据调整后的Mark孔的像素坐标、调整后的TP边缘点的像素坐标、测装分离设备获得的Mark孔与中框之间的距离信息,确定TP的位置信息、中框的位置信息。具体的,根据调整后的Mark孔的像素坐标、Mark孔与中框之间的距离信息,确定中框的位置信息;根据调整后的TP边缘点的像素坐标,确定TP的位置信息。TP与中框的位置信息是TP与中框在TP机械手的世界坐标系下的位置信息,调整后的Mark孔的像素坐标是Mark孔在第一标定平面的像素坐标,调整后的TP边缘点的像素坐标是TP边缘点在第二标定平面的像素坐标,在确定TP与中框的位置信息之前,先对像素坐标进行坐标系的转换,得到在TP机械手的世界坐标系下的坐标,然后利用在TP机械手的世界坐标系下的坐标,确定位置信息。
S111、根据TP的位置信息、中框的位置信息,确定TP与中框的距离信息。
S112、根据TP与中框的距离信息,控制TP在中框上的定位。
上述定位方法中,第二预测值βj(i)″作为第一校准参数使用,参与Mark孔的像素坐标从第一测量平面到第一标定平面的转换,第二预测值γj(i)″作为第二校准参数使用,参与TP边缘点的像素坐标从第二测量平面到第二标定平面的转换,说明上述定位方法中,第一校准参数和第二校准参数主要用于像素坐标在不同平面的转换。上述定位方法具有如下优点:
21)大幅度提高TP机械手定位与测量精度,上述定位方法可以在每个装配周期更新第二预测值γj(i)″和第二预测值βj(i)″,通过更为准确的第二预测值γj(i)″和第二预测值βj(i)″,对TP机械手测量到的Mark孔在第一测量平面的像素坐标和TP边缘点在第二测量平面的像素坐标进行校准/调整,提高了像素坐标的准确度,定位和测量是以像素坐标为基础的,因此随着坐标准确度的提高,定位与测量精度也得到提高,使得组装精度得到提高;
22)可免受TP机械手的标定误差、装配误差、相机高度不一致、运行过程中相机抖动的影响,从上述图1所示可知,TP机械手在定位测量时需要借助相机的视觉以及TP机械手的标定,相机的视觉和TP机械手的标定存在标定误差、装配误差、相机高度不一致、运行过程中相机抖动等情况,影响到准确度。上述图4所示定位方法能够通过第二预测值γj(i)″和第二预测值βj(i)″对像素坐标进行校准,减少对标定误差、装配误差、相机高度等因素的依赖,因此可以降低这些因素的影响;
23)校准过程自动化,无需人工操作;
24)在运行过程能够使得测量精度快速提升并收敛。在本实施例中,在第一卡尔曼系数计算公式和第一协方差预测公式的作用下,第二预测值βj(i)″可以快速收敛,Mark孔在第一标定平面的像素坐标可以基于第二预测值βj(i)″得到,如MarkCenterj(i).x^=βj(i)″*MarkCenterj(i).x–(βj(i)″-1)*h/2,在第二预测值βj(i)″快速收敛的前提下,Mark孔的像素坐标也可以快速收敛;同样的在第二预测值γj(i)″作用下,TP边缘点在第二标定平面的像素坐标也可以快速收敛。
如下述表3至表7所示,其中表3至表5示出了第一个装配周期至第三个装配周期下Mark孔和孔间距的数据比对,从数据比对可以看出,在第三个装配周期下孔间距的测量误差明显缩小。表6和表7示出了第一个装配周期和第二个装配周期下TP边的数据比对,在第二个装配周期下TP边的测量误差也明显缩小。从表3至表7可知,Mark孔的测量精度在第三个装配周期下得到快速提升,TP的测量精度在第二个装配周期下得到快速提升。
表3第一个装配周期下Mark孔和孔间距的数据比对(单位mm)
表4第二个装配周期下Mark孔和孔间距的数据比对(单位mm)
表5第三个装配周期下Mark孔和孔间距的数据比对(单位mm)
表6第一个装配周期下TP边的数据比对(单位mm)
表7第二个装配周期下TP边的数据比对(单位mm)
上述定位方法是以TP在中框上的定位为例进行说明,解决了在Mark孔所在的第一测量平面与第一测量平面对应的第一标定平面没有共面,和/或,TP所在的第二测量平面与第二测量平面对应的第二标定平面没有共面时,定位和测量精度降低的问题。对于标定平面与测量平面没有共面的其他场景,在其他场景下定位和测量精度降低是因为标定平面与测量平面没有共面引起,那么在其他场景下也可以应用定位方法,通过定位方法得到指示标定平面与测量平面的缩放关系的校准参数,再利用校准参数构建一个坐标校准公式,该坐标校准公式体现了从测量平面到标定平面的转换关系,能够将测量对象在测量平面上的坐标转换成测量对象在标定平面上的坐标,提高测量对象在世界坐标系下的坐标的准确度,从而提高定位以及测量精度。
在一些示例中,若设备获取的是测量对象在测量平面的机械坐标系(xy)坐标系下的坐标,测量平面的xy坐标系、标定平面的xy坐标系、设备的世界坐标系中的xy坐标系不同,设备为定位方法的执行方,标定平面的xy坐标系至设备的世界坐标系中的xy坐标系的转换矩阵已知,那么定位方法可以在获取测量对象在测量平面的机械坐标系(xy坐标系)下的坐标后,利用表示测量平面的xy坐标系与标定平面的xy坐标系的缩放关系的校准参数构建的坐标校准公式,将该坐标转换成在标定平面的xy坐标系下的坐标;在调用标定平面的xy坐标系至设备的世界坐标系中的xy坐标系的转换矩阵,得到测量对象在设备的世界坐标系中的xy坐标系下的坐标,以提高定位以及测量精度。其中利用表示测量平面的xy坐标系与标定平面的xy坐标系的缩放关系的校准参数构建坐标校准公式的过程请参见上述第一校准公式和/或第二校准公式,此处不再赘述。
此外,Mark孔的第二预测值βj(i)″是根据第一自校准参数计算公式得到,TP边缘点的第二预测值γj(i)″是根据第二自校准参数计算公式得到。在其他示例中,Mark孔的第二预测值βj(i)″可以根据Mark孔的历史第一测量平面与历史第一测量平面对应的历史第一标定平面之间的缩放关系确定,如根据历史第一测量平面和历史第一标定平面的平面信息构建第一预测模型,使得第一预测模型可以学习到历史第一测量平面和历史第一标定平面之间的缩放关系,输出指向缩放关系的第二预测值βj(i)″。TP边缘点的第二预测值γj(i)″也可以根据TP的历史第二测量平面与历史第二测量平面对应的历史第二标定平面之间的缩放关系确定,不再详述。
此外,本申请提供一种定位设备,定位设备包括:一个或多个处理器;一个或多个存储器;存储器存储有一个或多个程序,当一个或者多个程序被处理器执行时,使得电子设备执行上述定位方法。
本申请提供一种计算机可读存储介质,计算机可读存储介质中存储了计算机程序,当计算机程序被处理器执行时,使得处理器执行上述定位方法。
Claims (11)
1.一种定位方法,其特征在于,所述方法包括:
获得测量对象在第一测量平面上的坐标;
确定所述测量对象在第一测量平面上的坐标从所述第一测量平面到第一标定平面的转换关系;
利用所述转换关系,将所述测量对象在第一测量平面上的坐标转换为所述测量对象在所述第一标定平面上的坐标,以及利用所述第一标定平面与世界坐标系的转换矩阵,将所述测量对象在所述第一标定平面上的坐标转换为所述测量对象在所述世界坐标系下的坐标;
基于所述测量对象在所述世界坐标系下的坐标,对所述测量对象进行定位操作。
2.根据权利要求1所述的方法,其特征在于,所述确定所述测量对象在第一测量平面上的坐标从所述第一测量平面到第一标定平面的转换关系包括:
利用所述测量对象的校准参数,确定所述测量对象在第一测量平面上的坐标从所述第一测量平面到所述第一标定平面的转换关系,所述校准参数用于指示所述第一测量平面与所述第一标定平面之间的缩放关系。
3.根据权利要求2所述的方法,其特征在于,所述测量对象的校准参数的生成过程包括:获取所述测量对象与其他测量对象之间的标准距离值、所述测量对象与所述其他测量对象之间的测量距离值,所述标准距离值和所述测量距离值是不同测量算法得到的所述测量对象与同一个其他测量对象之间的距离值;
利用所述标准距离值、所述测量距离值和所述测量对象的历史校准参数,预测所述测量对象的校准参数,所述历史校准参数为上一个装配周期获得的测量对象的校准参数,预测的所述测量对象的校准参数作为下一个装配周期的历史校准参数,且在下一个装配周期用于转换所述测量对象在所述第一测量平面上的坐标。
4.根据权利要求3所述的方法,其特征在于,所述利用所述标准距离值、所述测量距离值和所述测量对象的历史校准参数,预测所述测量对象的校准参数包括:
将所述标准距离值与所述测量距离值的比值作为所述校准参数的观测值,以及将所述标准距离值的误差作为所述观测值的观测误差;
根据所述观测值的观测误差、所述历史校准参数的预测误差,得到所述校准参数的第一卡尔曼系数,所述第一卡尔曼系数用于指示所述校准参数对所述观测值的依赖程度,所述历史校准参数的预测误差是利用预设算法对多个历史校准参数进行处理,得到所述预设算法的结果值,所述结果值为所述历史校准参数的预测误差;
利用所述第一卡尔曼系数,调整所述观测值与所述历史校准参数之间的差值关系,将调整后的差值关系确定为所述测量对象的校准参数和所述历史校准参数之间的差距,将所述历史校准参数和所述差距之和确定为所述测量对象的校准参数。
5.根据权利要求2所述的方法,其特征在于,所述利用测量对象的校准参数,确定所述测量对象在第一测量平面上的坐标从所述第一测量平面到所述第一标定平面的转换关系包括:利用所述校准参数、所述测量对象在第一测量平面上的坐标和所述第一测量平面的尺寸,得到所述测量对象从所述第一测量平面向所述第一标定平面移动时的起始位置、所述测量对象从所述第一测量平面向所述第一标定平面移动时的坐标偏移量,所述起始位置和所述坐标偏移量指向所述转换关系;
所述利用所述转换关系,将所述测量对象在第一测量平面上的坐标转换为所述测量对象在所述第一标定平面上的坐标包括:以所述起始位置为起点,将所述测量对象在第一测量平面上的坐标向预设方向移动所述坐标偏移量指向的距离,以得到所述测量对象在所述第一标定平面上的坐标,所述预设方向根据所述测量对象的校准参数确定。
6.根据权利要求5所述的方法,其特征在于,所述以所述起始位置为起点,将所述测量对象在第一测量平面上的坐标向预设方向移动所述坐标偏移量指向的距离包括:在所述测量对象的校准参数的取值大于1的情况下,以所述起始位置为起点,以所述起始位置与第一测量平面的中心点之间的连线指向的方向为移动方向,将所述测量对象在第一测量平面的坐标向外移动所述坐标偏移量指向的距离;
在所述测量对象的校准参数的取值小于1的情况下,以所述起始位置为起点,以所述起始位置与第一测量平面的中心点之间的连线指向的方向为移动方向,将所述测量对象在第一测量平面上的坐标向内移动所述坐标偏移量指向的距离。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述方法应用于第一部件在第二部件上的定位,所述第一部件上标记有所述测量对象,所述第一部件位于所述第一测量平面上,所述第二部件上标记有定位部件,所述第二部件位于第二测量平面上,所述第二测量平面对应第二标定平面;
所述方法还包括:获取定位部件在第二测量平面上的坐标;
确定所述定位部件在第二测量平面上的坐标从所述第二测量平面到所述第二标定平面的转换关系;
利用所述转换关系,将所述定位部件在第二测量平面上的坐标转换为所述定位部件在所述第二标定平面上的坐标,以及利用所述第二标定平面与所述世界坐标系的转换矩阵,将所述定位部件在所述第二标定平面上的坐标转换为所述定位部件在所述世界坐标系下的坐标;
所述基于所述测量对象在所述世界坐标系下的坐标,对所述测量对象进行定位操作包括:基于所述测量对象在所述世界坐标系下的坐标和所述定位部件在所述世界坐标系下的坐标,控制所述第一部件在所述第二部件上的定位。
8.根据权利要求7所述的方法,其特征在于,所述基于所述测量对象在所述世界坐标系下的坐标和所述定位部件在所述世界坐标系下的坐标,控制所述第一部件在所述第二部件上的定位包括:
基于所述测量对象在所述世界坐标系下的坐标、所述定位部件在所述世界坐标系下的坐标、所述第一部件与所述第二部件之间的距离信息,确定所述第一部件在所述世界坐标系下的位置信息、所述第二部件在所述世界坐标系下的位置信息;
根据所述第一部件在所述世界坐标系下的位置信息、所述第二部件在所述世界坐标系下的位置信息,确定所述第一部件与所述第二部件之间的距离信息;
根据所述第一部件与所述第二部件之间的距离信息,控制所述第一部件在所述第二部件上的定位。
9.根据权利要求7或8所述的方法,其特征在于,所述第一部件为电子设备的显示屏,所述测量对象为所述显示屏上的定位标识,所述第二部件为所述电子设备的中框。
10.一种定位设备,其特征在于,所述定位设备包括:
一个或多个处理器;
一个或多个存储器;
所述存储器存储有一个或多个程序,当所述一个或者多个程序被所述处理器执行时,使得所述电子设备执行如权利要求1至9中任意一项所述的定位方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储了计算机程序,当所述计算机程序被处理器执行时,使得处理器执行如权利要求1至9中任意一项所述的定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211228443.7A CN116734727A (zh) | 2022-10-08 | 2022-10-08 | 定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211228443.7A CN116734727A (zh) | 2022-10-08 | 2022-10-08 | 定位方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116734727A true CN116734727A (zh) | 2023-09-12 |
Family
ID=87906679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211228443.7A Pending CN116734727A (zh) | 2022-10-08 | 2022-10-08 | 定位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116734727A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331896A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 一种基于深度信息的系统标定方法 |
CN108364318A (zh) * | 2018-01-18 | 2018-08-03 | 北京科技大学 | 一种消除防护玻璃折射影响的平面尺寸单目测量方法 |
WO2021237520A1 (zh) * | 2020-05-27 | 2021-12-02 | 华为技术有限公司 | 外参标定方法、装置、设备及存储介质 |
CN114329747A (zh) * | 2022-03-08 | 2022-04-12 | 盈嘉互联(北京)科技有限公司 | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 |
CN114359652A (zh) * | 2021-12-02 | 2022-04-15 | 江苏大学 | 一种基于深度学习和单目大视场平面测量的定位检测方法 |
US20220221270A1 (en) * | 2019-08-09 | 2022-07-14 | Nanjing University Of Science And Technology | A calibration method for fringe projection systems based on plane mirrors |
-
2022
- 2022-10-08 CN CN202211228443.7A patent/CN116734727A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331896A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 一种基于深度信息的系统标定方法 |
CN108364318A (zh) * | 2018-01-18 | 2018-08-03 | 北京科技大学 | 一种消除防护玻璃折射影响的平面尺寸单目测量方法 |
US20220221270A1 (en) * | 2019-08-09 | 2022-07-14 | Nanjing University Of Science And Technology | A calibration method for fringe projection systems based on plane mirrors |
WO2021237520A1 (zh) * | 2020-05-27 | 2021-12-02 | 华为技术有限公司 | 外参标定方法、装置、设备及存储介质 |
CN114359652A (zh) * | 2021-12-02 | 2022-04-15 | 江苏大学 | 一种基于深度学习和单目大视场平面测量的定位检测方法 |
CN114329747A (zh) * | 2022-03-08 | 2022-04-12 | 盈嘉互联(北京)科技有限公司 | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 |
Non-Patent Citations (3)
Title |
---|
李勇;苏显渝;: "一种大视场相位测量轮廓术系统标定方法", 光学学报, vol. 26, no. 08, pages 1162 - 1166 * |
柴兴华;高峰;楚博策;王敏;: "一种即时平面标定的二维视觉测量方法", 光学学报, no. 07, pages 116 - 123 * |
肖志涛;朱莎莎;耿磊;李月龙;刘文超;叶琨;: "深度约束的零件尺寸测量系统标定方法", 红外与激光工程, vol. 44, no. 09, pages 2831 - 2836 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107564069B (zh) | 标定参数的确定方法、装置及计算机可读存储介质 | |
CN105758426B (zh) | 移动机器人的多传感器的联合标定方法 | |
CN106959075B (zh) | 利用深度相机进行精确测量的方法和系统 | |
US9607244B2 (en) | Image processing device, system, image processing method, and image processing program | |
CN111932636B (zh) | 双目摄像头的标定及图像矫正方法、装置、存储介质、终端、智能设备 | |
CN110033461B (zh) | 一种基于目标位移量估计的手机防抖功能评估方法 | |
CN110044262B (zh) | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 | |
CN113763479B (zh) | 一种折反射全景相机与imu传感器的标定方法 | |
WO2020073816A1 (zh) | 用于测量显示设备的畸变参数的方法、装置和测量设备以及计算机可读介质 | |
CN111750804A (zh) | 一种物体测量的方法及设备 | |
CN113840695B (zh) | 标定检验组件、机器人系统、检验方法和标定方法 | |
CN113658270B (zh) | 基于工件孔心的多目视觉标定的方法、装置、介质及系统 | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
JP2017135495A (ja) | ステレオカメラおよび撮像システム | |
CN114878572A (zh) | 保温材料粘结面积比快速检测方法、设备及存储介质 | |
CN110853102A (zh) | 一种新的机器人视觉标定及引导方法、装置及计算机设备 | |
CN116734727A (zh) | 定位方法及装置 | |
CN113822920A (zh) | 结构光相机获取深度信息的方法、电子设备及存储介质 | |
CN116527856B (zh) | 球幕影院的播放控制方法、装置、设备及存储介质 | |
CN109813277B (zh) | 测距模型的构建方法、测距方法、装置以及自动驾驶系统 | |
CN113029037A (zh) | 物体的轮廓测量方法、装置、计算机设备和可读存储介质 | |
JP6813000B2 (ja) | 制御システム、制御方法およびプログラム | |
CN116091624A (zh) | 线阵相机标定方法、装置、终端设备及存储介质 | |
CN111106054A (zh) | 一种预判晶圆校准值的方法和存储介质 | |
CN116124393A (zh) | 一种离轴测量时桥梁多点动挠度测量方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |