CN111661589B - 一种基于图像定位的运动平台校正方法及装置 - Google Patents

一种基于图像定位的运动平台校正方法及装置 Download PDF

Info

Publication number
CN111661589B
CN111661589B CN201910162262.0A CN201910162262A CN111661589B CN 111661589 B CN111661589 B CN 111661589B CN 201910162262 A CN201910162262 A CN 201910162262A CN 111661589 B CN111661589 B CN 111661589B
Authority
CN
China
Prior art keywords
motion platform
image
platform
standard plate
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910162262.0A
Other languages
English (en)
Other versions
CN111661589A (zh
Inventor
张志能
吕启涛
曹洪涛
杨柯
高云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Han s Laser Technology Industry Group Co Ltd
Original Assignee
Han s Laser Technology Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Han s Laser Technology Industry Group Co Ltd filed Critical Han s Laser Technology Industry Group Co Ltd
Priority to CN201910162262.0A priority Critical patent/CN111661589B/zh
Publication of CN111661589A publication Critical patent/CN111661589A/zh
Application granted granted Critical
Publication of CN111661589B publication Critical patent/CN111661589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00Control devices, e.g. for safety, warning or fault-correcting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H7/00Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles
    • B65H7/02Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors
    • B65H7/14Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors by photoelectric feelers or detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Laser Beam Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于图像定位的运动平台校正方法及装置,包括步骤:将待校准的运动平台安装在预设的机台上;在所述运动平台上放置标准板;按照预设的打标图形控制所述运动平台进行运动以在所述标准板上进行标记,并获取标记后的图像数据;根据所述图像数据获取所述运动平台的偏差值,基于所述偏差值对所述待校准的运动平台进行位置校正。根据偏差值来校正所述运动平台的精度;解决了传统的手工去改善的方式并且是很难做到的效果,而是通过一套智能的方式进行处理,整个生产大大提高了生产效率,降低了人工与材料成本,操作也更加简单方便,适合大批量的生产,同时一致性与品质得到显著提高。

Description

一种基于图像定位的运动平台校正方法及装置
技术领域
本发明涉及高精度运动控制领域,尤其涉及一种基于图像定位的运动平台校正方法及装置。
背景技术
运动控制平台在自动化控制或精密机械设备装置中应用极为广泛,目前常用的运动平台要么是伺服电机带动机械传动机构或直线电机装置定位,虽然电机的定位精度很高,可以做到微米级别,但是加上平台结构装置后,就会形成累积误差,精度会放大到毫米级别,而且还有一个致命的缺点就是批量应用时,一致性很差。
目前传统的处理方式大概有如下两种,第一,重新制作传动机构,慢慢调整,不断的完善,这样一来很占用时间、报废部件,生产成本与劳动成本直线上升;第二,重新选用精度更高的传动部件,那么前面做过部件,成为呆滞品,成本上升;第三,就是更改驱动装置,选用高精度的直线电机或者音圈电机,成本成倍增长,且很难为市场接受;但是一致性与稳定性变得很复杂甚至没有办法解决这类问题,基于以上原因一种有效而实用的高效率的校正技术显得非常迫切。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供了一种基于图像定位的运动平台校正方法及装置,旨在解决现有技术中的校正不精准,加工成本高、自动化程度低的问题。
本发明解决技术问题所采用的技术方案如下:
第一方面,提供一种基于图像定位的运动平台校正方法,包括步骤:
将待校准的运动平台安装在预设的机台上;
在所述运动平台上放置标准板;其中,所述标准板上预先设置有多个定位点;
按照预设的打标图形控制所述运动平台进行运动以在所述标准板上进行标记并获取标记后的图像数据;
根据所述图像数据获取所述运动平台的偏差值,基于所述偏差值对所述待校准的运动平台进行位置校正。
优选的,所述根据所述图像数据获取所述运动平台的偏差值,基于所述偏差值对所述待校准的运动平台进行位置校正步骤具体包括:
通过图像处理装置获取需要抓取的特征图像;
根据获取的特征图像与标准板上的多个定位点进行对比,从而获得所述标准板上多个定位点与所述特征图像中每个标记点的偏差值,生成对应的文本文件;
将所述文本文件导入到待校准的运动平台对应的运动模块的校正函数库里进行位置校正。
优选的,在所述根据获取的特征图像与标准板上的多个定位点进行对比,从而获得所述标准板上多个定位点与所述特征图像中每个标记点的偏差值,生成对应的文本文件后还包括步骤:
通过图像处理装置运动平台的偏差值进行测量时,分为N段并测量得到n个点;
其中,预设当前命令位置为an
所述预设当前命令位置an对应实际位置为bn
预设当前命令位置an的下一段命令位置为an+1;其中,所述an+1>an
所述预设下一段命令位置an+1对应的下一段实际位置为bn+1
预设要求运动到补偿后位置为cn;其中,cn处在an与an+1之间;
根据以下公式算法计算出补偿后位置脉冲坐标Dn
Dn=an+(an+1-an)×(cn-bn)/(bn+1-bn);其中n>0,且n属于整数;
根据上述所述要求运动到补偿后位置cn与所述补偿后位置脉冲坐标Dn之间的偏差值对运动平台进行位置校正。
优选的,在所述运动平台上放置标准板;其中,所述标准板上预先设置有多个定位点之后,还包括步骤:
通过将所述标准板固定在所述运动平台上,使得所述运动平台中心线和标记设备出光中心重合或平行。
优选的,所述多个预设定位点等间距阵列排布。有利于与标记后的点进行比较,得到标准板上的偏差值。
优选的,所述按照预设的打标图形控制所述运动平台进行运动以在所述标准板上进行标记的步骤具体包括:
所述运动平台由运动控制系统控制进行S曲线运动,按照所述标准板轨迹进行运动,用作运动平台校正样品,所述校正样品安装在所述运动平台上。
优选的,所述获取标记后的图像数据是通过500万像素以上的工业相机对标记后的标准板进行图像处理,选用正面光源。
第二方面,提供了一种基于图像定位的平台校正装置,包括:
机台,用于安装待校准的运动平台,所述运动平台上设置有标准板;
激光控制系统,设置在所述机台上,用于通过激光器发射激光及检验待校准的运动平台校正后的精度;
平台控制系统,所述平台控制系统下端设置在所述机台上,用于对所述运动平台进行运动控制;
图像处理系统,所述图像处理系统一侧固定设置在所述激光控制系统前端、所述平台控制系统的上方,用于获取测试时的标准板图像数据,并根据所述图像数据生成偏差值。
优选的,所述平台控制系统包括:
待校准的运动平台,设置在所述图像处理系统的二维振镜组件末端下,包括两轴直线模组,用于进行校正样本;
运动控制模块,用于控制所述运动平台运动,并导入校正值,然后进行校正补偿。
优选的,所述图像处理系统包括:
相机,设置在所述运动平台上方,用于拍摄二维振镜组件扫描出来的图片;
镜头,设置在所述相机前端,用于调整焦点与放大图像;
光源控制模块,设置在所述镜头下,用于照射在样品上,便于所述相机抓取的图像清晰;
支架,设置在所述激光器前端上,用于固定设置所述相机、所述镜头以及所述光源控制模块的位置。
与现有技术相比,本申请实施例主要有以下有益效果:
本发明通过对放置在运动平台上的标准板,按照预设的打标图形控制所述运动平台进行运动以在所述标准板上进行标记并获取标记后的图像数据,根据所述图像数据获取所述运动平台的偏差值,根据的所述运动平台的偏差值来校正所述运动平台的精度;解决了传统的手工去改善的方式并且是很难做到的效果,而是通过一套智能的方式进行处理,整个生产大大提高了生产效率,降低了人工与材料成本,操作也更加简单方便,适合大批量的生产,同时一致性与品质得到显著提高。
附图说明
为了更清楚地说明本申请的方案,下面将对实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一种基于图像定位的平台校正方法流程图。
图2是图1中S4的流程图。
图3是本发明一种基于图像定位的平台校正装置模块图。
图4是本发明一种基于图像定位的平台校正装置的激光控制系统模块图。
图5是本发明一种基于图像定位的平台校正装置的平台控制系统模块图。
图6是本发明一种基于图像定位的平台校正装置的图像处理系统模块图。
图7是本发明一种基于图像定位的平台校正装置的光源控制模块图。
图8是本发明一种基于图像定位的平台校正装置的整体结构示意图。
图9是本发明一种基于图像定位的平台校正装置的运动平台结构示意图。
图10是本发明一种基于图像定位的平台校正装置的相机结构示意图。
图11是本发明本发明一种基于图像定位的平台校正方法的第三方标准板结构示意图。
附图标记:
1-机台,11-旋转座,2-激光控制系统,21-激光器,22-二维振镜组件,23-激光控制模块,3-平台控制系统,31-运动平台,311-第一直线模组,312-第二直线模组,313-通槽,314-链条,315-限位部,32-运动控制模块,4-图像处理系统,41-相机,42-镜头,43-光源,431-光源控制器,44-支架,441-第一连接杆,442-第二连接杆,45-外壳,46-图像处理模块,47、光源控制模块,5-升降体。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
第一方面,本发明实施例提供一种基于图像定位的运动平台校正方法,如图1所示,包括步骤:
S1,将待校准的运动平台安装在预设的机台上。
其中,在安装待校准的运动平台在预设的机台上后,应该要保证所述运动平台在所述机台上水平,使得标记出来的网格水平垂直,能够反映实际平台运动情况,安装要紧固,不会松动,要顺畅平滑,避免出现空转等。具体的,将所述运动平台固定在所述机台上,同时通过水平测量设备来确定所述运动平台的水平度。
例如,运动平台为方向模组时,所述方向模组包括X方向模组以及设置所述X方向模组上的Y方向模组,所述X方向模组与所述Y方向模组之间垂直设置。所述X方向模组集成了伺服电机、连轴器、导轨与丝杆等,这些部件要按照顺序进行安装,确保连接紧张固,运动顺畅与平稳;同时所述Y方向模组也是集成了伺服电机、连轴器、导轨与丝杆等,这些部件要按照顺序进行安装,确保连接紧张固,运动顺畅与平稳。
具体的,确定所述预设的机台上是处在水平面,使得所述运动平台安装在所述预设机台上能保证水平设置,提高了安装精度。例如上述的X方向模组与Y方向模组在安装时,都需要将伺服电机、连轴器、导轨与丝杆等这些部件要按照顺序进行安装,确保连接紧固,运动顺畅与平稳。
S2,在所述运动平台上放置标准板,其中,所述标准板上预先设置有多个定位点。
其中,先将所述运动平台驱动返回到上料点上,将选好的标准板放置在所述运动平台的安装位上,把标准板水平放置在所述安装位上,并通过固定机构将所述标准板固定在所述安装位上,避免所述标准板在所述运动平台上运动时发生偏移,导致标准板在标记时出现误差,降低了对运动平台的校正精度。
具体的,将选择好的标准板放置在所述运动平台的工件安装位上,通过对标准板上的多个定位点作为打标点,将标准板水平放置在所述运动平台上,让所述标准板中心线与打标装置出光点中心重合或者平行,让所述标准板通过所述镭射机振镜扫描在所述标准板上。
S3,按照预设的打标图形控制所述运动平台进行运动以在所述标准板上进行标记,并获取标记后的图像数据。
其中,给定预设的打标图形,所述打标图形为多样的图形,只要所述打标图形的大小在所述运动平台的运动范围内即可,例如所述打标图形可以是圆形、方形、组合图形等,根据预设的打标图形控制所述运动平台进行运动。但是,所述运动平台的运动范围跟运动平台的行程有关。例如,所述运动平台为运动平台时,当所述X方向模组、所述Y方向模组的行程分别为300mm×300mm时,所述运动平台上的标准板只能在行程内作直线运动或者曲线运动的范围点上进行标记。通过平台控制系统可以控制运动平台在XY方向各种运动,例如,回到原点运动,定长运动等。而回到原点运动即是加工完成后回到原点过程中运动平台的运动位置;定长运动如给定一段路程,让运动平台在XY二维方向上运动,但是,运动的路程不能超过给定的路程范围,只能在给定的路程内来回运动。
当所述运动平台在运动时运动的起始位置不同,所述标准板在所述运动平台上标记的点的顺序不同。例如,通过所述镭射机振镜扫描所述标准板的第一列时,得到标准板第一列上的多个点,由于所述标准板上的点是阵列分布的,因此,在对标准板标记时可以从中间位置开始进行标记,也可以从最边上的第一个点进行标记。但是在进行打标时,这里需要涉及镭射机一个精度调节的概念和平台安装平整性、顺畅与平滑性。对镭射机而言,精度与打标范围和BOX校正密切相关,其中,所述BOX校正软件主要是校正BOX的整体大小,以及如果标记出来的正方形边线成为圆弧,可以通过该方法校正到直线,因此通过该方法校正的BOX大部份是好的。但是有时各个硬件匹配的精密度不够,可能标记出来的正方形为梯形,上、下直线的长短不一样长(当然偏差不能很大,应该在1.5mm以内,如果偏差太大,软件是无法校正好的,必须校正硬件的精密度)。标记范围选择属于打标硬件方面镜头的选择,正常而言标记范围小要比标记范围大的精度高,所以对精度要求高配置需要选择小镜头,而打标BOX校正属于软件控制方面补偿算法校正,一般没有经过多级校正的BOX打标系统其打标精度也就是0.01mm等级的精度,而进行高精度校正后精度会提升微米级精度。
在上述的标准板进行标记完成后,通过图像处理设备获取标准板标记后的图像数据。所述图像数据是标准板标记后的图片、视频等,能清楚的显示出标准板标记后的点与原来标准板上点的位置关系。
具体的,通过给标准板预设一定的打标图形,在打标软件中导入所述打标图形,并设置好激光参数和正常从中心点位置出光标记,所述标记点还可以从边缘开始出光标记,然后控制所述运动平台使得所述标准板在通过二维扫描振镜进行出光标记。将标记后的标准板在相机的拍摄下把图像数据通过图片体现出来。图片上能显示标记点位置,多个标记点形成的图像等。
S4,根据所述图像数据获取所述运动平台的偏差值,基于所述偏差值对所述待校准的运动平台进行位置校正。
具体的,根据上述在打标软件中导入所述打标图形,并设置好激光参数和正常从中心点位置出光标记,将获取的图像上显示标准板上的标记点与标准板上点之间的偏差值,所述偏差值作为图像数据处理。由于所述图像数据是由所述运动平台控制所述标准板在镭射机上进行打标的到,根据所述图像数据就能获得所述运动平台的偏差值,通过所述运动平台的偏差值来获取所述运动平台的精度,同时使得所述运动平台一致性、稳定性高,降低了生产成本,减少生产周期与提高生产效率。
具体实施时,通过安装运动平台在预设的机台上,确定所述预设的机台上是处在水平面,使得所述运动平台安装在所述预设机台上能保证水平设置,通过了安装精度。将选择好的标准板放置在所述运动平台的工件安装位上,通过把所述标准板固定在所述运动平台上,使得运动平台中心线和镭射机振镜中心重合或平行。让所述标准板通过所述镭射机振镜扫描在所述标准板上,校正好镭射机的各个参数能进行其正确振镜范围内镭射。通过给标准板预设一定的打标图形,在打标软件中导入所述打标图形,并设置好激光参数和正常从中心点位置出光标记,所述标记点还可以从边缘开始出光标记,然后控制所述运动平台使得所述标准板在通过二维扫描振镜进行出光标记。将标记后的标准板在相机的拍摄下把图像数据通过图片体现出来。图片上能显示标记点位置,多个标记点形成的图像等。通过图像上显示标准板上的标记点与标准板上点之间的偏差值,所述偏差值作为图像数据处理。根据所述图像数据就能获得所述运动平台的偏差值,通过所述运动平台的偏差值来获取所述运动平台的精度,同时使得所述运动平台一致性、稳定性高,降低了生产成本,减少生产周期与提高生产效率。
在本发明实施例中,如图2所示,所述标准板上预先设置有多个定位点,所述根据所述图像数据获取所述运动平台的偏差值,基于所述偏差值对所述待校准的运动平台进行位置校正步骤具体包括步骤:
S41,通过图像处理装置获取需要抓取的特征图像。
具体的,所述图像处理装置可以是摄像头、相机等,通过相机对标记后的标准板进行拍摄,并将图像数据通过在所述相机下进行处理得到所述需要抓取的特征图像。
S42,根据获取的特征图像与标准板上的多个定位点进行对比,从而获得所述标准板上多个定位点与所述特征图像中每个标记点的偏差值,生成对应的文本文件。
具体的,将通过相机从图像数据中获取的特征图像与标准板上的多个定位点进行对比,根据特征图像与所述多个定位点之间的位置间距,从而获得所述标准板上每个定位点与特征图像每个标记点的偏差值,将偏差值生成对应的文本文件,使得到的偏差值能清楚反映出运动平台的精度。
S43,将所述文本文件导入到待校准的运动平台对应的运动模块的校正函数库里进行位置校正。
其中,通过相机进行拍摄得到图像,由图像定位来提高运动平台的定位精度,根据视野的范围大小,配置对应的硬件数据,根据获得的数据进行实时图像搜索,通过高精度底层软件算法计算得到。而底层软件算法一般是指拥有了上面的数据积累后,所述底层软件算法自动的处理获取的这些信息。此时,当前事物的要素及各主体要素有哪些,根据当前事态和自己的期望路径是否存在偏差,以及此时存在自己没有意识到的消息认知等,通过一定的方法作一下复盘,根据复盘的结果来判断决策。
具体实施时,通过相机获取需要抓取的特征图像时,通过分辨率与视野的相关性,确定像素代表尺寸大小。通过图像定位精度,根据视野的大小,配置对应的硬件,实时图像搜索,高精度底层软件算法。根据获取的特征图像,从而获得每个特征位置的偏差值,生成对应的文本文件。根据获取的特征图像,从而获得每个特征位置的偏差值,生成对应的文本文件。将获取的每个点的位置偏差值,把文本文件导入到对应的运动模块的校正库函数库里,从而实现位置校正,提高平台精度。校正好镭射机部分的各种参数能进行其正常振镜范围内镭射使用功能。其中,这里需要涉及镭射机一个精度调节的概念和平台安装平整性、顺畅与平滑性。
在本发明实施例中,在所述根据获取的特征图像与标准板上的多个定位点进行对比,从而获得所述标准板上多个定位点与所述特征图像中每个标记点的偏差值,生成对应的文本文件后还包括步骤:
通过图像处理装置运动平台的偏差值进行测量时,分为N段并测量得到n个点;
其中,预设当前命令位置为an
所述预设当前命令位置an对应实际位置为bn
预设当前命令位置an的下一段命令位置为an+1;其中,所述an+1>an
所述预设下一段命令位置an+1对应的下一段实际位置为bn+1
预设要求运动到补偿后位置为cn;其中,cn处在an与an+1之间;
根据以下公式算法计算出补偿后位置脉冲坐标Dn
Dn=an+(an+1-an)×(cn-bn)/(bn+1-bn);其中n>0,且n属于整数;
根据上述所述要求运动到补偿后位置cn与所述补偿后位置脉冲坐标Dn之间的偏差值对运动平台进行位置校正。
其中,通过图像处理系统进行测量时,分N段测出n个点的精度,例如,命令位置an为0、2000、4000、6000、8000、10000(counts),在实际中,与命令位置还是存在一定的偏差,在上述命令位置时对应的实际位置bn为0、2003、3996、6002、8003、9998(um)等。理论上,10000counts对应位置为10000um,但由于定位精度有偏差,所以发送脉冲10000counts时,实际只走到9998um的位置,因此,必须要针对实际偏差多发或少发脉冲,以便运动到期望位置。
其中,所述cn处在an与bn之间,例如,当cn=4400时,an=4000,an+1=6000等。
现在我们取一个典型的位置作为说明,比如,我们要求运动到补偿后位置cn,当cn=2500um时,那么,实际应该发多少个脉冲,根据上述的补偿后位置脉冲坐标Dn计算公式得到如下所示:
补偿后的位置脉冲坐标=2000+(4000-2000)×(2500-2003)/(3996-2003)=2498.7counts,所以,要运动到补偿后2500um的位置上,必须发送2498.7counts个脉冲,由于脉冲数不能有小数,所以经四舍五入后,应该发送2499counts脉冲。
在本发明实施例中,在所述运动平台上放置标准板;其中,所述标准板上预先设置有多个定位点之后,还包括步骤:
通过将所述标准板固定在所述运动平台上,使得所述运动平台中心线和标记设备出光中心重合或平行。
其中,所述标记设备可以是激光镭射机、激光打标机等。激光镭射机采用激光做加工手段,与工件之间没有加工力的作用,具有无接触,无切削力,热影响小的优点,保证了工件的原有精度。同时,对材料的适应性较广,可以在多种材料的表面制作出非常精细的标记且耐久性非常好。
具体实施时,通过在运动平台上放置标准板,安装运动平台要求水平,避免所述运动平台发生倾斜而导致校正效果差。因此,水平安装运动平台,保证标记出来的网格水平垂直,能够反映实际平台运动情况,安装要紧固,不会松动,要顺畅平滑,避免出现空转等。使得所述运动平台中心线和标记设备出光中心重合或平行,保证了所述标记设备在对标准板标记的准确度,提高了所述运动平台的定位精度,便于推广使用。
在本发明实施例中,所述多个预设定位点等间距阵列排布。有利于与标记后的点进行比较,得到标准板上的偏差值。
具体的,通过在所述运动平台上放置所述有多个预设定位点的对比板,由镭射机对所述对比板表面上进行标记,通过相机得到所述对比板上标记点与原来的对比板上标准点的偏差值。所述对比板校正精度高,使用广泛。如图11所示为对比板的标准校正模板示意图。所述多个定位点为图11中十字形的中心点,所述中心点阵列分布。在将所述对比板工件固定在运动平台上时,应考虑到,平台安装要水平,保证标记出来的网格水平垂直,能够反映实际平台运动情况,安装要紧固,不会松动,要顺畅平滑,避免出现空转等。
在本发明实施例中,所述按照预设的打标图形控制所述运动平台进行运动以在所述标准板上进行标记的步骤具体包括:
所述运动平台由运动控制系统控制进行S曲线运动,按照所述标准板轨迹进行运动,用作运动平台校正样品,所述校正样品安装在所述运动平台上。
具体的,所述标准板为阵列式分布设置,因此,在对所述方标准板进行标记时可以由边缘按照打标图形轨迹进行标记,也可以从中心点位置向周围进行出光标记。所述标准板校正精度高,用作运动平台校正样品。将标记好的样品,用二次元进行测量,验证平台的精度。
在本发明实施例中,所述获取标记后的图像数据是通过500万像素以上的工业相机对标记后的标准板进行图像处理,选用正面光源。
可选的,所述工业相机像素包括500万像素、800万像素、910万像素及1000万像素等。所述工业相机能将光信号转变成有序的电信号,选择合适的相机也是机器视觉系统设计中的重要环节,相机的选择不仅直接决定所采集到的图像分辨率、图像质量等,同时也与整个系统的运行模式直接相关。它具有高的图像稳定性、高传输能力和高抗干扰能力等。
具体的,通过采用910万像素工业相机,选用正面光源,视觉检测误差为1-2个像素。例如,获取需要抓取的特征图像,通过分辨率与视野的相关性,能确定像素代表尺寸的大小,底层软件算法从而获得每个特征位置的偏差值,生成对应的文本文件,产品的长边尺寸为5mm左右,故选择视野范围5mm×5m,方案选用的条形光源正面拍摄,若相机选型为500万像素,像素为2500×2000,则相机分辨率为5÷2500=0.002mm/像素;若相机选型为1100万像素,像素为4000×2600,则相机分辨率为5÷4000=0.000125mm/像素;该项目选用正面光源,视觉检测误差大约是1-2个像素。而正面光源为光源照亮采集的图像,选择的光源照在工件上能清晰,对比度高,以便相机标号为获取抓取的图像清晰。
第二方面,提供了一种基于图像定位的平台校正装置,如图3所示,包括:
机台,用于安装待校准的运动平台,所述运动平台上设置有标准板;
激光控制系统,设置在所述机台上,用于激光器发射激光及检验待校准的运动平台校正后的精度;
平台控制系统,所述平台控制系统下端设置在所述机台上,用于对所述运动平台进行运动控制;
图像处理系统,所述图像处理系统一侧固定设置在所述激光控制系统前端、所述平台控制系统的上方,用于获取测试时的标准板图像数据,并根据所述图像数据生成偏差值。
所述激光控制系统设置在所述机台上,所述激光控制系统的激光出光处在所述平台控制系统上方,而所述图像处理系统设在所述激光控制系统及所述平台控制系统上,所述图像处理系统一侧固定设置在所述激光控制系统前端,所述平台控制系统下端设置在所述机台上。
进一步的,所述机台1下四周还设有多个旋转座11,所述旋转座11用于调节所述机台1的平衡,保证了所述机台1处在水平面上,避免所述机台1发生倾斜而导致校正精度不准确。
具体实施时,将校正样品放置在所述平台控制系统3上,通过所述激光控制系统2发射激光到所述平台控制系统3上,并对校正样品进行扫描。将扫描得到的图像通过所述图像处理系统4进行拍摄,同时抓起平台的位置和记录平台每个位置的偏差值。通过平台控制系统3、图像处理系统4与激光控制系统2集成的方式,对平台校正的应用领域而找到的一种非常快捷而又高效的方式,校正了精度同时一致性明显提高,解决了传统的手工去改善的方式并且是很难做到的效果,而是通过一套智能的方式进行处理,整个生产大大提高了生产效率,降低了人工与材料成本,操作也更加简单方便,适合大批量的生产,同时一致性与品质得到显著提高。
在本发明实施例中,所述激光控制系统的激光器为紫外激光器。所述激光器21为紫外激光器21,所述紫外激光器21包括固体紫外激光器21、气体紫外激光器21等。
在本发明实施例中,如图4、图8所示,所述激光控制系统2包括:激光器21,设置在所述机台1上,用于发射激光;二维振镜组件22,设置在所述激光器21出光处上,用于扫描校正的样品;激光控制模块23,设置在所述二维振镜组件22上,用于控制所述二维振镜组件22在样品上打标。
进一步的,所述激光器21为紫外激光器21,所述紫外激光器21包括固体紫外激光器21、气体紫外激光器21等。
进一步的,所述二维振镜组件22一端设置在所述图像处理系统4内,使得所述二维振镜组件22在样品上进行扫描并打标。
具体实施时,所述激光器21发射紫外激光传输到所述二维振镜组件22上,通过所述激光控制模块23控制所述二维振镜组件22对样品进行打标,通过所述二维振镜组件22扫描校正样品的打标范围,将扫描的打标范围由所述图像处理系统4进行拍摄处理。
在本发明实施例中,如图8所示,所述二维振镜组件22包括:X扫描振镜以及Y扫描振镜。所述X扫描振镜、所述Y扫描振镜用于通过激光对工件进行扫描,将得到的二维图像通过所述相机41进行拍摄。
进一步的,所述X扫描振镜、所述Y扫描振镜设为110mm×110mm打标范围的常用方头,使得所述二维振镜组件22能对110mm×110mm的校正样品进行打标,通过打标好的样品由所述相机41进行拍摄,将拍摄的图片与第三方标准认证的校正模板进行对比。
进一步的,由于所述二维振镜组件22使用的是110mm×110mm打标范围的常用方头,这样使得校正样品的宽度不大于110mm×110mm的范围,让所述二维振镜组件22能针对性的处在打标范围内,避免所述二维振镜打标范围过小,降低了打标的效率及精度。
具体实施时,将所述激光器21上发射的激光通过所述X扫描振镜、所述Y扫描振镜反射到校正样品上,通过所述X扫描振镜、所述Y扫描振镜的特性能对校正样品上表面进行打标,将打标的样品与第三方标准认证的校正模板进行对比,得到校正后的精度。
可选的,如图5、图9所示,所述平台控制系统3包括:待校准的运动平台31,设置在所述图像处理系统的二维振镜组件22末端下,包括两轴直线模组,用于进行校正样本;运动控制模块32,用于控制所述运动平台31运动,并导入校正值,然后进行校正补偿。
进一步的,所述运动平台31设置在所述机台1上,所述运动平台31上用于放置样品。
具体实施时,通过将样品放置在所述运动平台31上,驱动所述激光器21,使得所述激光器21发射紫外激光到所述二维振镜组件22上,通过所述二维振镜组件22反射激光到样品上,对样品表面进行扫描打标,由所述运动控制模块32对所述运动平台31进行运动,通过所述运动平台31的运动来校正所述样品,在运动的过程中,设置在所述运动平台31上的图像处理系统4还能对样品的进行视觉定位,使得所述运动平台31对样品的校正效果更佳。
可选的,如图9所示,所述运动平台31包括:设置在所述机台1上的第一直线模组311、设在所述第一直线模组311上的第二直线模组312、以及设置在所述第一直线模组311一侧上用于驱动所述第一直线模组311运动的链条314,所述第一直线模组311在X方向上运动,所述第二直线模组312在Y方向上运动。运动平台31由运动控制系统进行S曲线运动,按照示意图11的标准模板轨迹进行运动,被用作校正样品。
其中,在安装平台要水平,保证标记出来的网格水平垂直,能够反映实际平台运动情况,安装要紧固,不会松动,要顺畅平滑,避免出现空转等。
进一步的,所述第一直线模组311在所述机台1上的行程为300mm,所述第二直线模组312的行程也为300mm,这样使得样品能在300mm×300mm的范围内运动来实现平台校正。
具体实施时,通过将样品放置在所述第二直线模组312上后,先把样品固定在所述第二直线模组312上,通过运动控制模块32来控制所述第一直线模组311、所述第二直线模组312的运动位置,而设置在所述第一直线模组311一侧上的链条314便于所述第一直线模组311作往返运动,所述链条314强度高,使用寿命长。在所述第一直线模组311与所述第二直线模组312的共同调节下,能使得样品的校正精度更高,使用范围广。
可选的,如图9所示,所述第一直线模组311、所述第二直线模组312中间位置上局设有通槽313,所述通槽313之间对应设置。所述通槽313位置用于放置标准板,通过所述第一直线模组311、所述第二直线模组312分别在X方向、Y方向上运动,使得工件校正精度高。
进一步的,所述通槽313周围上设有多个通孔,所述通孔用于固定样品的位置,使得样品放置在所述通槽313位置上时能及时进行固定连接。
具体实施时,将样品水平放置在所述第二直线模组312通槽313位置上方,通过所述通孔对样品进行固定,避免样品在所述第二直线模组312运动时发生脱落,降低了运动校正的效果。同时运动所述第一直线模组311、所述第二直线模组312,使得样品处在所述二维振镜组件22扫描范围内,让样品能在所述二维振镜组件22上通过的激光进行打标,将打标的样品与标准样品进行对比,来确定所述第一直线模组311与所述第二直线模组312的平台校正精度。
可选的,如图9所示,所述链条314为坦克链,所述坦克链上设有一限位部315,所述限位部315一端设置在所述第二直线模组312一侧上。所述坦克链具有较高的压力和抗拉负荷,良好的韧性、高弹性和耐磨性,阻燃,高低温时性能稳定,可以使用在室外;所述限位部315用于防止所述第二直线模组312在运动时发生偏移。
进一步的,所述坦克链里面含有编码器与脉冲信号高柔性线,编码器是将信号(如比特流)或数据进行编制、转换为可用以通讯、传输和存储的信号形式的设备。
进一步的,所述第一直线模组311包括:第一电机、传动连接在所述第一电机上的第一联轴器、设置在所述第一联轴器上的第一导轨以及第一丝杆。所述第一电机用于驱动所述第一联轴器旋转运动,通过所述第一联轴器旋转带动所述第一丝杆伸缩运动,而所述第一导轨起到了导向的效果。这些部件要按照顺序进行安装,确保连接紧张固,运动顺畅与平稳。
进一步的,所述第二直线模组312包括:第二电机、传动连接在所述第二电机上的第二联轴器、设置在所述第二联轴器上的第二导轨以及第二丝杆。所述第二电机用于驱动所述第二联轴器旋转运动,通过所述第二联轴器旋转带动所述第二丝杆伸缩运动,而所述第二导轨起到了导向的效果。这些部件要按照顺序进行安装,确保连接紧张固,运动顺畅与平稳。
可选的,如图6、图10所示,图像处理系统4包括:相机41,设置在所述运动平台31上方,用于拍摄二维振镜组件22扫描出来的图片;镜头42,设置在所述相机41前端,用于调整焦点与放大图像;光源控制模块47,设置在所述镜头42下,用于照射在样品上,便于所述相机41抓取的图像清晰;支架44,设置在所述激光器21前端上,用于固定设置所述相机41、所述镜头42以及所述光源控制模块47的位置。
进一步的,如图7所示,所述光源控制模块47包括:设置在所述镜头42下的光源43及设在机台1上的光源控制器431,所述光源控制器431与所述光源43电性连接,可选的,所述光源控制器431与所述光源43还可以通过信号连接设置,所述光源控制器431用于控制光源43的亮度、以及打开或关闭光源43。
进一步的,如图8所示,所述图像处理系统4外还设有一外壳45,所述外壳45用于保护所述图像处理系统4,使得所述图像处理系统4内的相机41在拍摄图片时不会发生曝光。
进一步的,所述镜头42为远心镜头42,所述远心镜头42主要是为纠正传统工业镜头42视差而设计,它可以在一定的物距范围内,使得到的图像放大倍率不会变化,这对被测物不在同一物面上的情况是非常重要的应用。
进一步的,所述支架44包括与所述机台1垂直设置的第一连接杆441以及与所述第一连接杆441上端垂直设置的第二连接杆442,所述第一连接杆441上设有滑槽,所述第二连接杆442一端设置在所述滑槽内,所述第二连接杆442与所述相机41通过一连接板固定连接,所述连接板一侧上固定设置所述相机41。
进一步的,所述第一连接杆441上还设有一限位板,所述限位板一侧上设置所述第二连接杆442,所述限位板用于限制所述第二连接杆442的安装位置。
具体实施时,通过所述二维振镜组件22将工件扫描出图像,由所述相机41对图像进行拍摄,而设置在所述相机41下的镜头42用于调节相机41到工件之间的焦点及放大图像,同时设置在所述镜头42下的光源43用于光亮补偿,使得相机41能拍摄的图片清晰度高。
参阅图8,可选的,所述激光器21一侧上还设有一用于调节激光器21上下移动及激光焦点的升降体5。所述升降体5一侧上固定设置在所述激光器21一侧上,所述升降体5上还设有旋钮,所述旋钮用于旋转调节所述激光器21上下移动以及焦点。
具体实施时,通过所述激光器21发射的激光到所述二维振镜组件22上,由所述二维振镜组件22对校正样品进行扫描,将扫描的图像通过所述相机41进行拍摄。此时,拍摄的到图片与所述二维振镜组件22扫描效果有关,而所述二维振镜组件22是通过发射的激光来确定的,因此,通过所述升降体5让所述激光器21上下移动来实现焦点的调节效果,当所述激光器21发射的激光路线与所述二维振镜组件22扫描的图像处于最佳位置时,为所述激光器21当前的最优焦点位置。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (8)

1.一种基于图像定位的运动平台校正方法,其特征在于,包括:
将待校准的运动平台安装在预设的机台上;
在所述运动平台上放置标准板;
按照预设的打标图形控制所述运动平台进行运动以在所述标准板上进行标记,并获取标记后的图像数据;
根据所述图像数据获取所述运动平台的偏差值,基于所述偏差值对所述待校准的运动平台进行位置校正;
所述标准板上预先设置有多个定位点,所述根据所述图像数据获取所述运动平台的偏差值,基于所述偏差值对所述待校准的运动平台进行位置校正的步骤具体包括:
通过图像处理装置获取需要抓取的特征图像;
根据获取的特征图像与标准板上的多个定位点进行对比,从而获得所述标准板上多个定位点与所述特征图像中每个标记点的偏差值,生成对应的文本文件;
将所述文本文件导入到待校准的运动平台的校正函数库里进行位置校正;
在所述根据获取的特征图像与标准板上的多个定位点进行对比,从而获得所述标准板上多个定位点与所述特征图像中每个标记点的偏差值,生成对应的文本文件步骤后还包括:
通过图像处理装置对运动平台的偏差值进行测量时,分为N段并测量得到n个点;
其中,预设当前命令位置为an
所述预设当前命令位置an对应实际位置为bn
预设当前命令位置an的下一段命令位置为an+1;其中,所述an+1>an;
所述预设下一段命令位置an+1对应的下一段实际位置为bn+1
预设要求运动到补偿后位置为cn;其中, cn处在an与an+1之间;
根据以下公式算法计算出补偿后位置脉冲坐标Dn,所述补偿后的位置脉冲坐标是指脉冲次数:
Dn=an+( an+1-an)×(cn-bn)/(bn+1-bn);其中n>0,且n属于整数;
根据上述所述要求运动到补偿后位置cn与所述补偿后位置脉冲坐标Dn之间的偏差值对运动平台进行位置校正;
所述根据所述图像数据获取所述运动平台的偏差值包括:
通过分辨率与视野的相关性,确定像素代表尺寸的大小,利用底层软件算法从而获得每个特征位置的偏差值。
2.根据权利要求1所述的基于图像定位的运动平台校正方法,其特征在于,所述多个定位点等间距阵列排布。
3.根据权利要求1所述的基于图像定位的运动平台校正方法,其特征在于,所述在所述运动平台上放置标准板的步骤之后,还包括:
通过水平测量设备调整所述标准板在所述运动平台的水平度,使得所述运动平台中心线和标记设备出光中心线重合或平行;
将调整好的所述标准板固定在所述运动平台上。
4.根据权利要求1所述的基于图像定位的运动平台校正方法,其特征在于,所述按照预设的打标图形控制所述运动平台进行运动以在所述标准板上进行标记的步骤具体包括:
所述运动平台由运动控制系统控制进行S曲线运动,按照所述标准板轨迹进行运动,用作运动平台校正样品,所述校正样品安装在所述运动平台上。
5.根据权利要求1所述的基于图像定位的运动平台校正方法,其特征在于,所述获取标记后的图像数据是选用正面光源,通过500万像素以上的工业相机对标记后的标准板进行图像处理。
6.一种如权利要求1-5任一所述的基于图像定位的运动平台校正方法制造的平台校正装置,其特征在于,包括:
机台,用于安装待校准的运动平台,所述运动平台上设置有标准板;
激光控制系统,设置在所述机台上,用于通过激光器发射激光及检验待校准的运动平台校正后的精度;
平台控制系统,所述平台控制系统下端设置在所述机台上,用于对所述运动平台进行运动控制;
图像处理系统,所述图像处理系统一侧固定设置在所述激光控制系统前端、所述平台控制系统的上方,用于获取测试时的标准板图像数据,并根据所述图像数据生成偏差值。
7.根据权利要求6所述的平台校正装置,其特征在于,所述平台控制系统包括:
待校准的运动平台,设置在所述图像处理系统的二维振镜组件末端下,包括两轴直线模组,用于放置校正样品;
运动控制模块,用于控制所述运动平台运动,并导入校正值,然后进行校正补偿。
8.根据权利要求7所述的平台校正装置,其特征在于,所述图像处理系统包括:
相机,设置在所述运动平台上方,用于拍摄二维振镜组件扫描出来的图片;
镜头,设置在所述相机前端,用于调整焦点与放大图像;
光源控制模块,设置在所述镜头下,用于照射在校正样品上,便于所述相机抓取的图像清晰;
支架,设置在所述激光器前端,用于固定设置所述相机、所述镜头以及所述光源控制模块的位置。
CN201910162262.0A 2019-03-05 2019-03-05 一种基于图像定位的运动平台校正方法及装置 Active CN111661589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910162262.0A CN111661589B (zh) 2019-03-05 2019-03-05 一种基于图像定位的运动平台校正方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910162262.0A CN111661589B (zh) 2019-03-05 2019-03-05 一种基于图像定位的运动平台校正方法及装置

Publications (2)

Publication Number Publication Date
CN111661589A CN111661589A (zh) 2020-09-15
CN111661589B true CN111661589B (zh) 2022-05-03

Family

ID=72381201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910162262.0A Active CN111661589B (zh) 2019-03-05 2019-03-05 一种基于图像定位的运动平台校正方法及装置

Country Status (1)

Country Link
CN (1) CN111661589B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112828454B (zh) * 2020-12-31 2023-04-14 苏州菲镭泰克激光技术有限公司 二维振镜在线平面精度补偿系统及其补偿方法
CN112945102B (zh) * 2021-03-09 2023-07-25 武汉先河激光技术有限公司 一种基于玻璃切割技术的精密平台精度计量与补偿方法
CN113734784B (zh) * 2021-09-17 2023-04-28 苏州华兴源创科技股份有限公司 上下料控制装置及控制方法
CN114415596A (zh) * 2021-12-30 2022-04-29 武汉铱科赛科技有限公司 一种提高平台振镜联动加工精度的方法、系统及设备
CN115041705B (zh) * 2022-08-16 2022-11-11 季华实验室 多激光三轴振镜校准方法、系统、设备及可读存储介质
CN116907343A (zh) * 2023-07-25 2023-10-20 广东凯福电子科技有限公司 一种机构运动精度视觉检测仪器及检测方法
CN117119115B (zh) * 2023-10-23 2024-02-06 杭州百子尖科技股份有限公司 基于机器视觉的校准方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53111280A (en) * 1977-03-10 1978-09-28 Canon Inc Mask or wafer for production of semiconductor elements and device for aligning these
JPS61206584A (ja) * 1985-03-08 1986-09-12 Nippon Kogaku Kk <Nikon> 基板加工装置
CN104865893B (zh) * 2014-02-24 2018-01-09 大族激光科技产业集团股份有限公司 运动平台控制系统和运动平台误差计算方法
CN105094051B (zh) * 2014-04-15 2018-03-09 睿励科学仪器(上海)有限公司 运动平台系统的平面定位补偿方法
CN105620050B (zh) * 2014-10-28 2017-07-21 大族激光科技产业集团股份有限公司 基于机器视觉的高精度振镜误差自校正装置和方法
CN108072319B (zh) * 2016-11-07 2020-05-22 俞庆平 一种运动平台的快速标定系统及标定方法

Also Published As

Publication number Publication date
CN111661589A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111661589B (zh) 一种基于图像定位的运动平台校正方法及装置
WO2018176879A1 (zh) 激光打标机、调节扫描头与打标物距离的方法及打标机自动对焦方法
KR100914053B1 (ko) 반도체 웨이퍼와 같은 워크피이스를 마킹하는 방법 및 장치와 이에 이용하는 레이저마커
US20080112609A1 (en) Position detecting method and device, patterning device, and subject to be detected
DE602005001977T2 (de) Messtisch und optisches Messsystem
JP2013016570A (ja) レーザー高さ測定装置および部品実装機
JP2001237596A (ja) 電子部品実装装置および電子部品実装方法
US6563530B1 (en) Camera position-correcting method and system and dummy component for use in camera position correction
US6647138B1 (en) Electronic component mounting method and mounting apparatus
CN115031632A (zh) 基于位置锁存技术的线扫测量系统及线扫图像拼接方法
CN113687580B (zh) 一种激光成像设备
US20020057339A1 (en) High resolution sheet metal scanner with independent tracking light source
US6342916B1 (en) Method and apparatus for mounting electronic components
CN111757092A (zh) 摄像模组对焦组装系统和方法、镜头组件参数获取装置和感光组件参数获取装置
JPH07325623A (ja) Xyステージの制御方法および装置
CN111947577A (zh) 一种标准试样尺寸测量方法、系统及应用
US6230398B1 (en) Connector manufacturing method
CN1125344C (zh) 检验集成电路引线的设备和方法
CN114701262B (zh) 用于非平整基材面的多独立喷头打印设备及其打印方法
CN215576102U (zh) 一种激光成像设备
KR20090011265A (ko) 레이저 마킹 시스템의 스캔헤드 틀어짐에 따른 중심점오프셋 자동 보정 방법
CN210894992U (zh) 一种基于数字电路控制的激光镜头焦距自动找正系统
KR20220031085A (ko) 증착 머신용 기판 포지셔닝
JP2010282536A (ja) 画像処理方法及び画像処理装置
KR20090011266A (ko) 레이저 마킹 시스템의 주행축 틀어짐에 따른 마킹패턴오프셋 자동 보정 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant