CN115802141A - 一种双模组主动对准装配方法、装置、电子设备及介质 - Google Patents
一种双模组主动对准装配方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115802141A CN115802141A CN202310017451.5A CN202310017451A CN115802141A CN 115802141 A CN115802141 A CN 115802141A CN 202310017451 A CN202310017451 A CN 202310017451A CN 115802141 A CN115802141 A CN 115802141A
- Authority
- CN
- China
- Prior art keywords
- module
- lens
- chart
- combination prism
- color combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明涉及一种双模组主动对准装配方法、装置、电子设备及介质,涉及摄像头精密组装领域,包括将合色棱镜与预设的chart卡图校准至水平状态;将合色棱镜、镜头以及chart卡图的转动角度校准为一致;将所述合色棱镜移动至所述chart卡图的正上方,将所述镜头移动至所述合色棱镜的正上方,依次透过所述镜头以及所述合色棱镜采集所述chart卡图的图像作为待测图像;根据差异信息校准镜头的位置,使得待测图像与标准图像相同;将镜头与合色棱镜固定装配。本发明所述方案的有益效果为:能够有效提升主动对准过程中镜头模组成像的质量和一致性。
Description
技术领域
本发明涉及摄像头精密组装领域,尤其涉及一种双模组主动对准装配方法、装置、电子设备及介质。
背景技术
在虚拟现实技术中,为保证VR图像的真实性和一致性,要求镜片与芯片组装时有很高的相对位置精度,相关组装设备支撑着虚拟现实产业链的发展。有别于传统的组装设备,主动对准技术通过精细自动化装配技术,利用摄像头采集的图像信息,自动对镜头与芯片进行对准,有利于提升镜头的清晰度、光轴对准精度,减小了焦平面倾斜程度。
由于主动对准设备的资金门槛较高,国外设备厂商掌握先发优势,因此需要国内设备厂商在研发过程中革新主动对准装配的方法。现阶段而言,VR设备当中镜头模组成像的质量和一致性,是下游客户采购国内外设备厂商主动对准设备的过程中,最为重视的技术指标,也是至关重要的环节。
因此,如何设计出一种主动对准装配方法,有效提升主动对准过程中镜头模组成像的质量和一致性,已经成为行业亟待解决的技术问题,也是目前研发投入的重点方向。
发明内容
本发明所要解决的技术问题是:如何设计出一种双模组主动对准装配方法,能够有效提升主动对准过程中镜头模组成像的质量和一致性。
为解决上述问题,第一方面,本发明提出一种双模组主动对准装配方法,所述方法包括:将所述合色棱镜与预设的chart卡图校准至水平状态;将所述合色棱镜的转动角度、所述镜头的转动角度以及所述chart卡图的转动角度校准为一致;将所述合色棱镜移动至所述chart卡图的正上方,将所述镜头移动至所述合色棱镜的正上方,依次透过所述镜头以及所述合色棱镜采集所述chart卡图的图像作为待测图像;获取所述待测图像与预设的标准图像之间的差异信息,根据所述差异信息校准所述镜头的位置,使得依次透过所述镜头以及所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同;将所述镜头与所述合色棱镜固定装配。
其进一步的技术方案为,检测所述合色棱镜的水平度,得到第一检测数据,并根据所述第一检测数据将所述合色棱镜校准至水平状态;检测所述chart卡图的水平度,得到第二检测数据,并根据所述第二检测数据将所述chart卡图校准至水平状态。
其进一步的技术方案为,检测所述合色棱镜的旋转角度,得到第三检测数据,并根据所述第三检测数据将所述合色棱镜校准至预设的基准旋转角度;检测所述chart卡图的旋转角度,得到第四检测数据,并根据所述第四检测数据将所述合色棱镜校准至预设的基准旋转角度;检测所述镜头的旋转角度,得到第五检测数据,并根据所述第五检测数据将所述镜头校准至预设的基准旋转角度。
其进一步的技术方案为,获取所述待测图像中所述chart卡图的坐标值与预设的标准图像中所述chart卡图的坐标值之间的差异信息;将所述差异信息转化为校准指令;根据所述校准指令校准所述镜头的位置。
其进一步的技术方案为,将所述镜头与所述合色棱镜以点胶的方式固定装配。
第二方面,本发明提出一种双模组主动对准装配设备,用于装配镜头和合色棱镜,所述双模组主动对准装配设备包括:光学平台模组、第一对准模组、第二对准模组、校准模组、装配模组以及工控机,所述校准模组包括驱动单元、采图相机、PR相机以及光谱共焦测距仪,所述光学平台模组设有chart卡图;所述光学平台模组、所述第一对准模组、所述第二对准模组、所述装配模组、所述驱动单元、所述采图相机、所述PR相机以及所述光谱共焦测距仪均与所述工控机连接,且受控于所述工控机;所述第一对准模组用于夹持所述镜头,所述第二对准模组用于夹持所述合色棱镜;其中,所述工控机基于对所述光学平台模组、所述第一对准模组、所述第二对准模组、所述装配模组、所述驱动单元、所述采图相机、所述PR相机以及所述光谱共焦测距仪的控制,执行如第一方面所述的方法。
其进一步的技术方案为,所述第一对准模组包括第一治具模组、第一治具三角度转台、第一直线电机模组;所述第一治具三角度转台与所述第一直线电机模组连接,所述第一治具模组与所述第一治具三角度转台连接;所述第一治具模组与所述镜头连接。
其进一步的技术方案为,所述第二对准模组包括第二治具模组、第二治具三角度转台、第二直线电机模组;所述第二治具三角度转台与所述第二直线电机模组连接,所述第二治具模组与所述第二治具三角度转台连接;所述第二治具模组与所述合色棱镜连接。
第三方面,本发明提出一种双模组主动对准装配装置,其特征在于,所述双模组主动对准装配装置包括用于执行如第一方面所述方法的单元。
第四方面,本发明提出计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现如第一方面所述的方法。
发明人经过研究发现,VR设备的镜头本身存在误差,这一误差与主动对位方法中的其它环节相结合形成系统误差,针对该系统误差行业内尚未提出合理解决方案,导致镜头模组成像的质量和一致性始终无法突破瓶颈,无法在技术指标方面再上一个台阶。
本发明的有益效果为:本发明所述方案,将合色棱镜与预设的卡图校准至水平状态,将合色棱镜、镜头以及卡图的转动角度校准为一致,接下来通过差异信息校准镜头的位置时,依次透过所述镜头以及所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同,确保了此时镜头所在位置的光轴处于最佳状态且完全匹配合色棱镜与chart卡图,可以实现最佳的成像效果,即能够有效提升主动对准过程中镜头模组成像的质量和一致性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,展示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的双模组主动对准装配方法的流程示意图。
图2为本发明实施例提供的双模组主动对准装配方法的另一流程示意图。
图3为本发明实施例提供的双模组主动对准装配方法的又一流程示意图。
图4为本发明实施例提供的双模组主动对准装配设备的结构图。
图5为本发明实施例提供的双模组主动对准装配设备的外观图。
图6为本发明实施例提供的双模组主动对准装配设备的控制框图。
图7为本发明实施例提供的双模组主动对准装配设备的局部图。
图8为本发明实施例提供的双模组主动对准装配设备的另一局部图。
图9为本发明实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为 “当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
实施例1
请参阅图1至图8,其中图4至图8为本发明实施例提供的一种双模组主动对准装配设备,所述设备具体包括:
光学平台模组1、第一对准模组10、第二对准模组20、校准模组30、装配模组40以及工控机50,所述校准模组30包括驱动单元2、采图相机3、PR相机4以及光谱共焦测距仪5,所述光学平台模组1设有chart卡图6;所述光学平台模组1、所述第一对准模组10、所述第二对准模组20、所述装配模组40、所述驱动单元2、所述采图相机3、所述PR相机4以及所述光谱共焦测距仪5均与所述工控机50连接,且受控于所述工控机50;所述第一对准模组10用于夹持所述镜头11,所述第二对准模组20用于夹持所述合色棱镜21。
其中,所述工控机50基于对所述光学平台模组1、所述第一对准模组10、所述第二对准模组20、所述装配模组40、所述驱动单元2、所述采图相机3、所述PR相机4以及所述光谱共焦测距仪5的控制,执行本发明所述的双模组主动对准装配方法。所述镜头11可以为圆柱体,所述合色棱镜21可以为六面体,优选为正六面体。上述方案中,所述采图相机3可以为aa采图相机,此处aa相当于主动对准,即为主动对准采图相机;所述chart卡图6上设有图案,使用者通过观测该图案可以判断成像的清晰程度。
所述光谱共焦测距仪5可以实现检测功能或采样功能,进而检测目标的水平度,具体可以为检测合色棱镜21等目标的各个采样点与光谱共焦测距仪5之间的距离,通过工控机50判断各个采样点的距离是否相等并作出相应的调整,包括调整为水平状态。为实现本申请所述技术效果,所述工控机50可以记录整个双模组主动对准装配设备的状态变化过程。
进一步地,该双模组主动对准装配设备的所述第一对准模组10包括第一治具模组12、第一治具三角度转台13、第一直线电机模组14;所述第一治具三角度转台13与所述第一直线电机模组14连接,所述第一治具模组12与所述第一治具三角度转台13连接;所述第一治具模组12与所述镜头11连接;该双模组主动对准装配设备的所述第二对准模组20包括第二治具模组22、第二治具三角度转台23、第二直线电机模组24;所述第二治具三角度转台23与所述第二直线电机模组24连接,所述第二治具模组22与所述第二治具三角度转台23连接;所述第二治具模组22与所述合色棱镜21连接。
其中,所述第一治具三角度转台13可实现三轴转动,所述第一直线电机模组14可实现三轴直线运动,共同支撑所述第一对准模组10实现六轴运动;所述第二治具三角度转台23可实现三轴转动,所述第二直线电机模组24可实现三轴直线运动,共同支撑所述第二对准模组20实现六轴运动。
进一步地,该双模组主动对准装配设备的所述第一治具三角度转台13包括第一X轴中心轴转台、第一Y轴中心轴转台以及第一Z轴中心轴转台;所述第一X轴中心轴转台、所述第一Y轴中心轴转台以及所述第一Z轴中心轴转台两两垂直;所述第一X轴中心轴转台与所述第一Y轴中心轴转台连接;所述第一Y轴中心轴转台与所述第一Z轴中心轴转台连接。
进一步地,该双模组主动对准装配设备的所述第二治具三角度转台23包括第二X轴中心轴转台、第二Y轴中心轴转台以及第二Z轴中心轴转台;所述第二X轴中心轴转台、所述第二Y轴中心轴转台以及所述第二Z轴中心轴转台两两垂直;所述第二X轴中心轴转台与所述第二Y轴中心轴转台连接;所述第二Y轴中心轴转台与所述第二Z轴中心轴转台连接。
进一步地,该双模组主动对准装配设备的还包括基座60,所述第一对准模组10、所述第二对准模组20、所述校准模组30、所述装配模组40均与所述基座60连接;所述校准模组30的驱动单元2包括X轴移动装置2a、Y轴移动装置2b;所述装配模组40、所述驱动单元2、所述采图相机3、所述光谱共焦测距仪5均与所述X轴移动装置2a连接;所述PR相机4可以包括上侧相机41以及下侧相机42,所述上侧相机41与所述X轴移动装置2a连接;所述下侧相机42与所述Y轴移动装置2b连接;所述光学平台模组1与所述Y轴移动装置2b连接。
进一步地,该双模组主动对准装配设备的X轴移动装置2a为桥形,所述X轴移动装置2a包括滑动装置7,所述滑动装置7与所述装配模组40、所述驱动单元2、所述采图相机3、所述光谱共焦测距仪5、所述上侧相机41均连接。
进一步地,该双模组主动对准装配设备的Y轴移动装置2b为滑轨装置,使得所述PR相机4中的下侧相机42可以沿Y轴滑动至所述X轴移动装置2a的正下方,并使得所述光学平台模组1可以沿Y轴滑动至所述X轴移动装置2a的正下方。
进一步地,该双模组主动对准装配设备的所述装配模组40可以为点胶装置,该双模组主动对准装配设备还包括固化灯8,在所述装配模组40以点胶的方式完成将所述镜头11与所述合色棱镜21固定装配之后,通过所述固化灯8可以实现对点胶的固化,进一步提升装配的效率。
所述双模组主动对准装配设备的有益效果为,所述设备可以将合色棱镜与预设的卡图校准至水平状态,将合色棱镜、镜头以及卡图的转动角度校准为一致,接下来通过差异信息校准镜头的位置时,依次透过所述镜头以及所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同,确保了此时镜头所在位置的光轴处于最佳状态且完全匹配合色棱镜与chart卡图,可以实现最佳的成像效果,即能够有效提升主动对准过程中镜头模组成像的质量和一致性。
继续参阅图1至图9,其中图1为本发明实施例提供的一种双模组主动对准装配方法的流程示意图,所述双模组主动对准装配方法当中的运动过程或移动过程均可以通过双模组主动对准装配设备实现,所述方法包括:
S101,将所述合色棱镜与预设的chart卡图校准至水平状态。
其中,所述水平状态即与海平面完全平齐的状态;所述预设的chart卡图可以为绿色的chart卡图。上述步骤可以包括将所述合色棱镜校准至水平状态,以及将预设的chart卡图校准至水平状态,其目的在于确保所述合色棱镜与预设的chart卡图在水平状态上是一致的。
上述方案中,预先构建XYZ坐标系,该XYZ坐标系的方向可以自行定义,例如X轴可以为所述合色棱镜沿着桥形的X轴移动装置运动的方向,Y轴可以为所述chart卡图在所述光学平台模组上沿着Y轴移动装置运动的方向,则Z轴为垂直于X轴和Y轴所在平面的方向。本申请中,定义以X轴为转轴进行转动的方向为TX方向,定义以Y轴为转轴进行转动的方向为TY方向,定义以Z轴为转轴进行转动的方向为TZ方向。此外,所述水平度由两个要素组成,包括TX方向的转动角度以及TY方向的转动角度。
所述水平状态,即所述合色棱镜与预设的chart卡图的TX方向的转动角度一致,同时二者在TY方向的转动角度一致;此处的TX方向是指以X轴为转轴进行转动的方向,TY方向是指以Y轴为转轴进行转动的方向。
在一实施例中,具体可参见图2,所述步骤S101将所述合色棱镜与预设的chart卡图校准至水平状态,包括以下步骤:
S201,检测所述合色棱镜的水平度,得到第一检测数据,并根据所述第一检测数据将所述合色棱镜校准至水平状态。
其中,上述步骤可以为控制光谱共焦测距仪检测所述合色棱镜的水平度,得到第一检测数据,并根据所述第一检测数据将所述合色棱镜校准至水平状态。所述水平度由两个要素组成,包括TX方向的转动角度以及TY方向的转动角度,光谱共焦测距仪检测TX或TY方向的转动角度的方式为本领域技术人员所公知。
所述光谱共焦测距仪可以实现检测功能或采样功能,进而检测目标的水平度,具体可以为检测合色棱镜等目标的各个采样点与光谱共焦测距仪之间的距离,通过工控机判断各个采样点的距离是否相等并作出相应的调整,包括调整为水平状态。其技术效果为,可以通过光谱共焦测距仪校准合色棱镜的水平状态,即校准合色棱镜的TX角度以及TY角度。
S202,检测所述chart卡图的水平度,得到第二检测数据,并根据所述第二检测数据将所述chart卡图校准至水平状态。
其中,上述步骤可以为控制光谱共焦测距仪检测所述chart卡图的水平度,得到第二检测数据,并根据所述第二检测数据将所述chart卡图校准至水平状态。也就是说,可以通过光谱共焦测距仪校准chart卡图的水平状态,即校准chart卡图的TX角度以及TY角度。在一实施例中,所述chart卡图设于光学平台模组上,因此相当于校准光学平台模组的TX角度以及TY角度。上述步骤的技术效果为,首先将合色棱镜校准至水平状态,然后将chart卡图校准至水平状态,实现了合色棱镜与光学平台模组在水平状态上的一致。
S102,将所述合色棱镜的转动角度、所述镜头的转动角度以及所述chart卡图的转动角度校准为一致。
其中,所述校准为一致的判定过程,包括所述合色棱镜的基准边、所述镜头的内接矩形框、所述chart卡图的侧边,三者之间调整为互相平行;以所述chart卡图的侧边为基准,若所述合色棱镜的基准边偏移了第一角度,则工控机控制所述合色棱镜的转动量为第一角度;以所述chart卡图的侧边为基准,若所述镜头的内接矩形框偏移了第二角度,则工控机控制光学平台模组的转动量为第一角度,即所述chart卡图的转动量为第一角度。上述以所述chart卡图的侧边为基准的原因在于,预设的基准转动角度参照PR相机内部的XYZ轴坐标系,而所述chart卡图设于所述光学平台模组上,因此将光学平台模组与PR相机内部的XYZ轴坐标系对准,其可靠性高于第一对准模组和第二对准模组。
所述校准为一致的判定标准,即本领域技术人员在现有技术手段下判定为一致,例如所述合色棱镜的转动角度、所述镜头的转动角度以及所述chart卡图的转动角度之间两两存在差值,但是这个差值极小,小于预设的标准差值。
上述步骤当中所述合色棱镜的转动角度、所述镜头的转动角度以及所述chart卡图的转动角度,三者一致的情况下,使用者的观测效果是最佳的,也意味着所述合色棱镜、所述镜头、所述chart卡图均为理想状态,可以包括大幅消除了误差且可以进行精准测量的状态。但是,该步骤仅在所述镜头的工艺无误差的状态下,才能实现理想状态。由于实际业务当中任意镜头的工艺必然存在误差,因此上述步骤仅为初步校准,还需要进一步提升精度才能真正提升主动对准过程中镜头模组成像的质量和一致性。
上述步骤当中S101-S102共计实现了五个要素的校准,包括所述合色棱镜的水平度校准、所述chart卡图的水平度校准、所述合色棱镜的转动角度校准、所述镜头的转动角度校准、所述chart卡图的转动角度校准。唯独所述镜头的水平度校准,由于镜头本身存在误差,因此无法通过常规手段实现,而是需要通过下述步骤提升主动对准装配方法的整体精度,进而实现对方法的优化。
上述方案中,所述转动角度校准为一致即所述合色棱镜、所述镜头以及所述chart卡图的TZ角度一致,同时X轴方向一致且Y轴方向一致;有关TZ角度一致,X轴方向一致且Y轴方向一致的判定标准为所述合色棱镜的转动角度、所述镜头的转动角度以及所述chart卡图的转动角度之间两两存在差值,但是这个差值极小,小于预设的阈值。
在一实施例中,所述TZ角度一致的判定过程可以为,通过PR相机拍摄所述chart卡图得到照片,将该照片与PR相机内部的XYZ轴坐标系比对,若得出X轴偏移或Y轴偏移则进行直线调整,调整至X轴和Y轴均匹配之后通过工控机计算转动量,即TZ角度的偏移程度,依据该转动量调整chart卡图的转动角度。有关所述合色棱镜的转动角度、所述镜头的转动角度同理,可以应用PR相机中的上侧相机或下侧相机来实现,在此不做赘述,本领域技术人员可以掌握。
在一实施例中,具体可参见图3,所述步骤S102将所述合色棱镜的转动角度、所述镜头的转动角度以及所述chart卡图的转动角度校准为一致,包括以下步骤:
S301,检测所述合色棱镜的旋转角度,得到第三检测数据,并根据所述第三检测数据将所述合色棱镜校准至预设的基准旋转角度。
其中,上述步骤可以为控制PR相机中位于上方的上侧相机,来检测所述合色棱镜的旋转角度,得到第三检测数据,并根据所述第三检测数据将所述合色棱镜校准至预设的基准旋转角度。其技术效果为,可以通过PR相机校准合色棱镜的旋转角度,即校准合色棱镜的TZ角度、X轴方向以及Y轴方向。
所述检测所述合色棱镜的旋转角度,得到第三检测数据,可以包括以所述chart卡图的侧边为基准,若所述合色棱镜的基准边偏移了第三检测数据,则工控机控制所述合色棱镜的转动量为第三检测数据;所述第三检测数据包括TZ角度、X轴方向以及Y轴方向的偏移量。
S302,检测所述chart卡图的旋转角度,得到第四检测数据,并根据所述第四检测数据将所述合色棱镜校准至预设的基准旋转角度。
其中,上述步骤可以为控制PR相机中的上侧相机检测光学平台模组上的chart卡图的旋转角度,得到第四检测数据,并根据所述第四检测数据将所述合色棱镜校准至预设的基准旋转角度。其技术效果为,可以通过PR相机校准chart卡图的旋转角度,即校准chart卡图的TZ角度、X轴方向以及Y轴方向。
所述检测所述chart卡图的旋转角度,得到第四检测数据,可以包括以PR相机内部的XYZ轴坐标系为基准,若所述chart卡图的侧边偏移了第四检测数据,则工控机控制所述chart卡图的转动量为第四检测数据;所述第四检测数据包括TZ角度、X轴方向以及Y轴方向的偏移量。
S303,检测所述镜头的旋转角度,得到第五检测数据,并根据所述第五检测数据将所述镜头校准至预设的基准旋转角度。
其中,上述步骤可以为控制PR相机中位于下方的相机检测所述镜头的旋转角度,得到第五检测数据,并根据所述第五检测数据将所述镜头校准至预设的基准旋转角度。在一实施例中,具体的观测方式可以为自下而上的观测,即下方的PR相机自下而上拍摄所述镜头获得图像,然后检测镜头的旋转角度;由于镜头与上方的PR相机,即上侧相机之间无法面对面拍摄,因此可以选择下方的PR相机参与上述步骤。也就是说,可以通过PR相机校准镜头的旋转角度,即校准镜头的TZ角度、X轴方向以及Y轴方向。
所述检测所述镜头的旋转角度,得到第五检测数据,可以包括以所述chart卡图的侧边为基准,若所述镜头的内接矩形框偏移了第五检测数据,则工控机控制所述镜头的转动量为第五检测数据;所述第五检测数据包括TZ角度、X轴方向以及Y轴方向的偏移量。
上述步骤S301-S303的技术效果为,首先将合色棱镜校准至合理的转动角度,然后将chart卡图校准至转动角度同一转动角度,再将镜头校准至转动角度同一转动角度,实现了转动角度上的一致。
S103,将所述镜头移动至所述合色棱镜的正上方,依次透过所述镜头以及所述合色棱镜采集所述chart卡图的图像作为待测图像。
其中,将所述镜头移动至所述合色棱镜的正上方,即将所述镜头移动至可以通过合色棱镜观测到镜头的位置。依次透过所述镜头以及所述合色棱镜采集所述chart卡图的图像作为待测图像的步骤,可以通过采图相机实现。上述步骤当中,对所述镜头的移动,由工控机驱动所述第一对准模组完成。
S104,获取所述待测图像与预设的标准图像之间的差异信息,根据所述差异信息校准所述镜头的位置,使得依次透过所述镜头以及所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同。
其中,所述差异信息包括待测图像中所述chart卡图的坐标值与预设的标准图像中所述chart卡图的坐标值之间的X轴方向、Y轴方向、TX角度、TY角度以及TZ角度组合形成的偏差值,基于偏差值确定X轴方向、Y轴方向、TX角度、TY角度以及TZ角度的校准量,基于校准量工控机生成并发出校准指令可以消除这一偏差值,消除后所述镜头的位置与所述chart卡图的位置之间实现无偏差对准,且所述镜头的位置与所述合色棱镜的位置之间实现无偏差对准。这一步骤适用于任意存在工艺误差的镜头,由于步骤S105已经实现了合色棱镜、chart卡图的无偏差对准,因此S106步骤当中可以实现镜头的光轴方向的最优,提升镜头模组成像的质量和一致性。
在一实施例中,所述步骤S104当中的获取所述待测图像与预设的标准图像之间的差异信息,根据所述差异信息校准所述镜头的位置,包括:获取所述待测图像中所述chart卡图的坐标值与预设的标准图像中所述chart卡图的坐标值之间的差异信息;将所述差异信息转化为校准指令;根据所述校准指令校准所述镜头的位置。
在一实施例中,所述差异信息可以为待测图像的TZ角度的偏差值,即角度差值,通过校准指令可以消除角度差值,使得所述待测图像的坐标值与预设的标准图像的坐标值完全重合。
在依次透过所述镜头以及所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同的情况下,所述合色棱镜与所述chart卡图二者组合形成了模拟状态下的合色棱镜,也就是镜头X-cube组件。所述镜头与所述模拟状态下的合色棱镜之间无偏差,此时工控机可以获得这一所述镜头与所述模拟状态下的合色棱镜之间无偏差的参数。后续步骤当中所述镜头会移动,但是由于工控机已经获得了相关的参数,因此可以较为容易的重新将所述合色棱镜、所述镜头、所述chart卡图之间无偏差对准。
S105,将所述镜头与所述合色棱镜固定装配。
在一实施例中,所述步骤S105包括,将所述镜头与所述合色棱镜以点胶的方式固定装配。具体而言,先移开所述镜头,然后在所述合色棱镜上点胶,最后进行固化。由于在此之前工控机已经记录了所述镜头与所述合色棱镜之间对准的参数,且这一参数消除了所述镜头的误差,因此这一固定装配的过程之后获得的镜头加上合色棱镜,在成像的质量和一致性获得了显著提升。
为实现本发明所述技术效果,上述方案S101-S105的顺序不作限定。
上述方案的有益效果为,本发明所述方案,将合色棱镜与预设的卡图校准至水平状态,将合色棱镜、镜头以及卡图的转动角度校准为一致,接下来通过差异信息校准镜头的位置时,依次透过所述镜头以及所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同,确保了此时镜头所在位置的光轴处于最佳状态且完全匹配合色棱镜与chart卡图,可以实现最佳的成像效果,即能够有效提升主动对准过程中镜头模组成像的质量和一致性。
本申请所述方案设计有高精密光学平台chart图标定块即所述chart卡图,这是在绿色芯片即Green Micro LED芯片组装之前替代其投影功能,并利用光学平台的高精度chart卡图完成镜头X-cube组件与采图相机之间的光轴标定;其中,所述镜头X-cube组件由装配镜头和合色棱镜之后得到。此处不同于传统主动对准设备采用产品和相机的物理外轮廓标定的方式的原因,是因为由于各种装配和加工误差,产品镜头和相机镜头的光学轴心和其外形轮廓不一定重合,单纯的校准物理中心对于后面的光学成像效果是有很大的影响,直接影响了设备的良率。本申请所述方案,运用光学成像的原理,利用成像的清晰度计算,完成采图相机和镜头X-cube组件真正意义上的光轴校正。
本申请所述方案的镜头X-cube组件、绿光芯片、设备自身光学平台在组装贴合作业时均采用高精密的光谱共焦测距仪,分别对LED屏幕发光面表面和X-cube侧面进行采样;可以精确计算出LED屏幕芯片的Tilt角度偏移以及X-cube的Rotation偏移。此处的Tilt角度偏移即TX方向和TY方向的偏移,为本领域技术人员所熟知;此处的Rotation偏移即TZ角度、X方向和Y方向的偏移,为本领域技术人员所熟知。而传统的主动对准设备采用激光位移传感器进行测量,此种类型的传感器普遍精度比较差,而且识别LED屏幕发光面表面和X-cube这种透明玻璃材质效果不好,比较容易出现误判和报错,影响设备的稳定性和良率。
本申请所述方案的光学平台模组,即光学治具平台自由度设置为六轴,优于传统的三轴结构方案;这一设计可调节绿光芯片相对于虚像监测相机芯片的角度。此处采用六轴的原因主要是因为LED屏幕芯片主体是由基板和屏幕组成,LED屏幕由Die bond工艺键合在基板上,其中Die bond工艺即芯片键合工艺,相应的,不同批次的基板可能存在一定公差,芯片键合也有一定的位置偏移。光学平台模组即治具平台增加角度调整可以有效地补偿这部分的偏差,保证不同的LED芯片运动到预设的aa位置时,其Tilt角度都是经过矫正的。如果没有此处的Tilt角度矫正,会存在部分LED屏幕芯片来料Tilt角度过大导致aa矫正角度过大的情况,进而导致aa失败。因此,本申请可以降低客户物料抛料过多风险。
在一实施例中,本申请所述方案包括,通过工控机50进行控制且使用者可以通过显示装置观测到采图相机3、PR相机4所显示出的图像,具体控制方式和观测方式为本领域技术人员所熟知;上述方法的实际工作原理包括:通过工控机50控制第二对准模组20将合色棱镜21移动至预设的检测位置。
控制光谱共焦测距仪5检测所述合色棱镜的水平度,得到第一检测数据,并根据所述第一检测数据将所述合色棱镜校准至水平状态。
控制PR相机4中位于上方的相机检测所述合色棱镜的旋转角度,得到第三检测数据,并根据所述第三检测数据将所述合色棱镜校准至预设的基准旋转角度。
控制光谱共焦测距仪5检测所述chart卡图的水平度,得到第二检测数据,并根据所述第二检测数据将所述chart卡图校准至水平状态;其中,所述预设的chart卡图可以为绿色的chart卡图。
控制PR相机4中位于上方的相机检测光学平台模组上的chart卡图的旋转角度,得到第四检测数据,并根据所述第四检测数据将所述合色棱镜校准至预设的基准旋转角度。
控制PR相机4中位于下方的相机检测所述镜头的旋转角度,得到第五检测数据,并根据所述第五检测数据将所述镜头校准至预设的基准旋转角度。
控制第二对准模组20将所述合色棱镜移动至所述chart卡图的正上方,应用采图相机3,透过所述合色棱镜采集所述chart卡图的图像作为前置待测图像。
通过工控机50获取所述前置待测图像与预设的标准图像之间的前置差异信息,根据所述前置差异信息校准所述合色棱镜的位置,使得透过所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同。
控制第一对准模组10将所述镜头移动至所述合色棱镜的正上方,应用采图相机3,依次透过所述镜头以及所述合色棱镜采集所述chart卡图的图像作为待测图像。
通过工控机50获取所述待测图像与预设的标准图像之间的差异信息,根据所述差异信息校准所述镜头的位置,使得依次透过所述镜头以及所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同。
经过上述步骤之后,所述镜头的位置、所述合色棱镜的位置均已经经过校准和记录;接下来移动所述光学平台模组,使得所述光学平台模组上第一侧边的卡图靠近所述合色棱镜,对所述合色棱镜进行主动对准,使得依次透过所述镜头以及所述合色棱镜采集的第一侧边的卡图的图像与所述标准图像相同;再移动所述光学平台模组,使得所述光学平台模组上第二侧边的卡图靠近所述合色棱镜,对所述合色棱镜进行主动对准,使得依次透过所述镜头以及所述合色棱镜采集的第二侧边的卡图的图像与所述标准图像相同。
上述方案中,所述第一侧边的卡图可以为红色的chart卡图,所述第二侧边的卡图可以为蓝色的chart卡图。最后,通过工控机50控制装配模组40,将所述镜头与所述合色棱镜以点胶的方式固定装配。
上述方案中,若根据所述第一检测数据控制第二对准模组20将所述合色棱镜21校准至水平状态之后,所述第二对准模组20的偏移程度超过预设的基准偏移程度,则判定该合色棱镜21的工艺未达到预期。
现有技术方案的对位精度不足,导致主动对准之后成品的良品率不足,无法为后续的对位贴合提供一致性保障;上述方案的技术效果为,首先通过工控机校准合色棱镜、chart卡图、镜头至预设的位置状态,然后先通过采图相机使得透过合色棱镜采集的chart卡图的图像与标准图像相同,后通过采图相机使得依次透过镜头以及合色棱镜采集的chart卡图的图像与标准图像相同,最终克服了镜头自身工艺误差导致的光轴误差,即可以为后续的R、G、b三色Micro LED芯片的对位贴合提供光学上的一致性保障。
实施例2
请参阅图9,图9为本发明提供的一种电子设备的框图。该电子设备可以是终端,也可以是服务器,其中,终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。所述电子设备包括处理器111、通信接口112、存储器113、通信总线114,其中,处理器111,通信接口112,存储器113通过通信总线114完成相互间的通信;
存储器113,用于存放计算机程序;
在本发明一个实施例中,处理器111,用于执行存储器113上所存放的程序时,实现前述任意一个方法实施例提供的方法。
应当理解,在本申请实施例中,处理器111可以是中央处理单元 (centralProcessing Unit,cPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路 (application Specific Integratedcircuit,aSIc)、现成可编程门阵列 (Field-Programmable Gate array,FPGa) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的方法的步骤。
所述存储介质为实体的、非瞬时性的存储介质,例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。所述计算机可读存储介质可以是非易失性,也可以是易失性。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种双模组主动对准装配方法,其特征在于,用于装配镜头和合色棱镜,所述方法包括:
将所述合色棱镜与预设的chart卡图校准至水平状态;
将所述合色棱镜的转动角度、所述镜头的转动角度以及所述chart卡图的转动角度校准为一致;
将所述合色棱镜移动至所述chart卡图的正上方,将所述镜头移动至所述合色棱镜的正上方,依次透过所述镜头以及所述合色棱镜采集所述chart卡图的图像作为待测图像;
获取所述待测图像与预设的标准图像之间的差异信息,根据所述差异信息校准所述镜头的位置,使得依次透过所述镜头以及所述合色棱镜采集的所述chart卡图的图像与所述标准图像相同;
将所述镜头与所述合色棱镜固定装配。
2.根据权利要求1所述的双模组主动对准装配方法,其特征在于,所述将所述合色棱镜与预设的chart卡图校准至水平状态,包括:
检测所述合色棱镜的水平度,得到第一检测数据,并根据所述第一检测数据将所述合色棱镜校准至水平状态;
检测所述chart卡图的水平度,得到第二检测数据,并根据所述第二检测数据将所述chart卡图校准至水平状态。
3.根据权利要求1所述的双模组主动对准装配方法,其特征在于,所述将所述合色棱镜的转动角度、所述镜头的转动角度以及所述chart卡图的转动角度校准为一致,包括:
检测所述合色棱镜的旋转角度,得到第三检测数据,并根据所述第三检测数据将所述合色棱镜校准至预设的基准旋转角度;
检测所述chart卡图的旋转角度,得到第四检测数据,并根据所述第四检测数据将所述合色棱镜校准至预设的基准旋转角度;
检测所述镜头的旋转角度,得到第五检测数据,并根据所述第五检测数据将所述镜头校准至预设的基准旋转角度。
4.根据权利要求1所述的双模组主动对准装配方法,其特征在于,获取所述待测图像与预设的标准图像之间的差异信息,根据所述差异信息校准所述镜头的位置,包括:
获取所述待测图像中所述chart卡图的坐标值与预设的标准图像中所述chart卡图的坐标值之间的差异信息;
将所述差异信息转化为校准指令;
根据所述校准指令校准所述镜头的位置。
5.根据权利要求1所述的双模组主动对准装配方法,其特征在于,所述将所述镜头与所述合色棱镜固定装配,包括:
将所述镜头与所述合色棱镜以点胶的方式固定装配。
6.一种双模组主动对准装配设备,其特征在于,用于装配镜头和合色棱镜,所述双模组主动对准装配设备包括:
光学平台模组、第一对准模组、第二对准模组、校准模组、装配模组以及工控机,所述校准模组包括驱动单元、采图相机、PR相机以及光谱共焦测距仪,所述光学平台模组设有chart卡图;
所述光学平台模组、所述第一对准模组、所述第二对准模组、所述装配模组、所述驱动单元、所述采图相机、所述PR相机以及所述光谱共焦测距仪均与所述工控机连接,且受控于所述工控机;
所述第一对准模组用于夹持所述镜头,所述第二对准模组用于夹持所述合色棱镜;
其中,所述工控机基于对所述光学平台模组、所述第一对准模组、所述第二对准模组、所述装配模组、所述驱动单元、所述采图相机、所述PR相机以及所述光谱共焦测距仪的控制,执行如权利要求1-5任一项所述的方法。
7.根据权利要求6所述的双模组主动对准装配设备,其特征在于:
所述第一对准模组包括第一治具模组、第一治具三角度转台、第一直线电机模组;
所述第一治具三角度转台与所述第一直线电机模组连接,所述第一治具模组与所述第一治具三角度转台连接;所述第一治具模组与所述镜头连接。
8.根据权利要求7所述的双模组主动对准装配设备,其特征在于:
所述第二对准模组包括第二治具模组、第二治具三角度转台、第二直线电机模组;
所述第二治具三角度转台与所述第二直线电机模组连接,所述第二治具模组与所述第二治具三角度转台连接;所述第二治具模组与所述合色棱镜连接。
9.一种双模组主动对准装配装置,其特征在于,所述双模组主动对准装配装置包括用于执行如权利要求1-5任一项所述方法的单元。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现如权利要求1-5中任一项所述的双模组主动对准装配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310017451.5A CN115802141B (zh) | 2023-01-06 | 2023-01-06 | 一种双模组主动对准装配方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310017451.5A CN115802141B (zh) | 2023-01-06 | 2023-01-06 | 一种双模组主动对准装配方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115802141A true CN115802141A (zh) | 2023-03-14 |
CN115802141B CN115802141B (zh) | 2023-07-07 |
Family
ID=85428697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310017451.5A Active CN115802141B (zh) | 2023-01-06 | 2023-01-06 | 一种双模组主动对准装配方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115802141B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190113333A1 (en) * | 2017-10-18 | 2019-04-18 | Mitutoyo Corporation | Calibration method of image measuring device |
US20190132584A1 (en) * | 2017-11-01 | 2019-05-02 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and device for calibration |
CN111818327A (zh) * | 2019-04-12 | 2020-10-23 | 先进科技新加坡有限公司 | 相对于镜头模块对准图像传感器 |
CN114326130A (zh) * | 2022-03-16 | 2022-04-12 | 深圳中科精工科技有限公司 | Vr镜头模组主动对准组装设备及vr镜头模组主动对准方法 |
CN114810762A (zh) * | 2022-04-06 | 2022-07-29 | 江西联坤智能科技有限公司 | 光引擎装配设备及装配方法 |
CN115103124A (zh) * | 2022-07-14 | 2022-09-23 | 上海研鼎信息技术有限公司 | 一种用于摄像头模组主动对准的方法 |
CN115460399A (zh) * | 2022-10-26 | 2022-12-09 | 荣耀终端有限公司 | 摄像头模组的测试设备及测试方法 |
-
2023
- 2023-01-06 CN CN202310017451.5A patent/CN115802141B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190113333A1 (en) * | 2017-10-18 | 2019-04-18 | Mitutoyo Corporation | Calibration method of image measuring device |
US20190132584A1 (en) * | 2017-11-01 | 2019-05-02 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and device for calibration |
CN111818327A (zh) * | 2019-04-12 | 2020-10-23 | 先进科技新加坡有限公司 | 相对于镜头模块对准图像传感器 |
CN114326130A (zh) * | 2022-03-16 | 2022-04-12 | 深圳中科精工科技有限公司 | Vr镜头模组主动对准组装设备及vr镜头模组主动对准方法 |
CN114810762A (zh) * | 2022-04-06 | 2022-07-29 | 江西联坤智能科技有限公司 | 光引擎装配设备及装配方法 |
CN115103124A (zh) * | 2022-07-14 | 2022-09-23 | 上海研鼎信息技术有限公司 | 一种用于摄像头模组主动对准的方法 |
CN115460399A (zh) * | 2022-10-26 | 2022-12-09 | 荣耀终端有限公司 | 摄像头模组的测试设备及测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115802141B (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104406541B (zh) | 一种成像系统探测器芯片精密装调设备及装调方法 | |
JP5365645B2 (ja) | 基板検査装置および基板検査システムならびに基板検査結果の確認用画面の表示方法 | |
TWI510755B (zh) | 光譜共焦感測器校準系統及方法 | |
CN109916304B (zh) | 镜面/类镜面物体三维测量系统标定方法 | |
CN109978960B (zh) | 基于摄影测量的高精度屏幕-相机位姿标定方法 | |
CN115494652B (zh) | 一种对头显设备进行装配的方法、装置、设备及存储介质 | |
CN110470247B (zh) | 一种零件内外圆面同轴度的检测装置及检测方法 | |
TWI575645B (zh) | 採用雙攝像鏡頭為對位平台上的物件進行對位的方法、顯示面板之基板對位上膠的方法和顯示面板之上下基板的對位方法 | |
CN110470250B (zh) | 一种零件表面平面度的检测装置及检测方法 | |
JP2014035261A (ja) | 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法 | |
CN110044266B (zh) | 基于散斑投影的摄影测量系统 | |
CN115866383B (zh) | 一种侧面芯片主动对准装配方法、装置、电子设备及介质 | |
CN111054587A (zh) | 一种弧面点胶装置及方法 | |
CN209486405U (zh) | 一种光学模组中光学平片的装调系统 | |
CN115802141B (zh) | 一种双模组主动对准装配方法、装置、电子设备及介质 | |
CN111145247B (zh) | 基于视觉的位置度检测方法及机器人、计算机存储介质 | |
CN110207952B (zh) | 一种用于近目式设备显示屏检测的对准方法 | |
JP7112341B2 (ja) | 実装装置および実装方法 | |
WO2021007944A1 (zh) | 3d结构光模组支架标定方法、装置和设备 | |
CN115914811B (zh) | 一种底面芯片主动对准装配方法、装置、电子设备及介质 | |
CN116242258A (zh) | 一种用于ccd视觉测量电池尺寸的方法 | |
CN212871124U (zh) | 平行度测量设备 | |
CN110455180B (zh) | 一种针对多自由度二维调节机构的全路径精度校准方法及系统 | |
CN114237016A (zh) | 一种显示屏的测试方法 | |
CN100373127C (zh) | 镜片偏芯测定方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |