CN119290335A - 一种工业相机的校准系统、校准方法、装置和介质 - Google Patents
一种工业相机的校准系统、校准方法、装置和介质 Download PDFInfo
- Publication number
- CN119290335A CN119290335A CN202411427056.5A CN202411427056A CN119290335A CN 119290335 A CN119290335 A CN 119290335A CN 202411427056 A CN202411427056 A CN 202411427056A CN 119290335 A CN119290335 A CN 119290335A
- Authority
- CN
- China
- Prior art keywords
- industrial camera
- light
- calibrated
- light source
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 49
- 230000003287 optical effect Effects 0.000 claims abstract description 49
- 238000012546 transfer Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000001276 controlling effect Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
- G01M11/0207—Details of measuring devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种工业相机的校准系统、校准方法、装置和介质,校准系统包括待校准的工业相机、转接环、光发生装置、成像镜头和光标参照物,转接环连接待校准的工业相机和成像镜头,光发生装置设置在转接环内,光发生装置包括光源、光调节元件、第一光学元件和第二光学元件,光源发出的光经过光调节元件和第一光学元件到达待校准的工业相机,光源发出的光经过光调节元件、第二光学元件和成像镜头到达光标参照物。本发明实施例能够提高工业相机的校准精度和效率,可广泛应用于测量技术领域。
Description
技术领域
本发明涉及测量技术领域,尤其涉及一种工业相机的校准系统、校准方法、装置和介质。
背景技术
工业相机包括工业线扫相机和工业面扫相机。机器视觉缺陷检测领域,所有需要使用线扫相机或面扫相机的场景,主要涉及工业相机的调试,确保相机是最佳的拍摄角度和位置。
目前的工业相机调试,全部是靠人工借助工具测量判断,相机角度是靠手持角度仪去测量,也可以借助手机内置的app工具来测量,相机传感器和被拍摄物体之间的位置是否合适需要通过观察成像效果判断。例如,被拍摄物品是一张平铺的正方形的印刷纸张,纸张上印刷的是边长为1厘米的方格,对于面阵工业相机来说,需要达到的效果就是相机拍摄到的印刷纸张上的图案是规则的正方形图案,整幅图像都是清晰均匀的。目前人工调试的方法是粗略调节相机的水平,让相机垂直拍摄印刷纸张,然后再根据相机拍摄的方案图案的效果来判断相机位置是否合适,如果拍摄出来的方格图案是斜的那么需要在水平面内旋转相机,直到采集到的图像是正的。图案是正的之后,需要检查图案是否均匀也就是方格四个拐角是否都正常对焦。这个时候是通过肉眼观察方格图案的清晰度来判断是否对焦合适,没有严格的标尺来衡量相机对焦精度。若肉眼观察到纸张一个拐角有点虚焦,则需要根据虚焦的位置大致的判断调节相机的角度,调试完成后继续采图观察,直到采集到的图像清晰均匀。
因此,目前的校准方法只能大概确定工业相机的位置,但是工业相机的位置精度不够,难以满足对成像效果有精确要求的检测方案,另外,在校准过程中,需要消耗大量的时间,效率不高。
发明内容
有鉴于此,为解决上述问题之一,本发明实施例的目的是提供一种工业相机的校准系统、校准方法装置和介质,能够提高工业相机的校准精度和效率。
一方面,本发明实施例提供了一种工业相机的校准系统,包括待校准的工业相机、转接环、光发生装置、成像镜头和光标参照物,所述转接环连接所述待校准的工业相机和所述成像镜头,所述光发生装置设置在所述转接环内,所述光发生装置包括光源、光调节元件、第一光学元件和第二光学元件,所述光源发出的光经过所述光调节元件和所述第一光学元件到达所述待校准的工业相机,所述光源发出的光经过所述光调节元件、所述第二光学元件和所述成像镜头到达所述光标参照物。
可选地,所述系统还包括若干个测距仪,所述测距仪设置于所述转接环上。
可选地,所述系统还包括若干个伺服电机,所述伺服电机设置于所述待校准的工业相机和/或所述成像镜头上,所述伺服电机用于调节所述待校准的工业相机的位置和角度,和/或,所述伺服电机用于调节所述成像镜头的焦距。
可选地,所述系统还包括遥控手柄,所述遥控手柄用于控制所述伺服电机。
可选地,所述光标参照物包括光刻度线,所述光刻度线包括中心线和所述中心线两侧不同宽度的刻度线。
另一方面,本发明实施例提供了一种工业相机的校准方法,应用于上述的校准系统,包括:
控制所述光源发出的光经过所述光调节元件和所述第一光学元件到达所述待校准的工业相机,调节所述光调节元件,以使所述光源发出的光与所述待校准的工业相机的图像采集传感器重合,重合后固定所述光源和所述光调节元件;
控制所述光源发出的光经过所述光调节元件、所述第二光学元件和所述成像镜头到达所述光标参照物,调节所述待校准的工业相机,以使所述光源发出的光与所述光标参照物对齐,固定所述待校准的工业相机。
可选地,所述待校准的工业相机通过以下方法调节:
通过若干个伺服电机在三维空间调节所述待校准的工业相机的位置;
通过若干个伺服电机在三维空间调节所述待校准的工业相机的角度。
可选地,所述校准方法还包括:
控制若干个测距仪测量所述转接环到所述光标参照物的距离,以确定所述待校准的工业相机是否与所述光标参照物平行。
另一方面,本发明实施例提供了一种工业相机的校准装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上述的方法。
另一方面,本发明实施例提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行上述的方法。
实施本发明实施例包括以下有益效果:本实施例中工业相机的校准系统包括待校准的工业相机、转接环、光发生装置、成像镜头和光标参照物,转接环连接待校准的工业相机和成像镜头,光发生装置设置在转接环内,光发生装置包括光源、光调节元件、第一光学元件和第二光学元件,光源发出的光经过光调节元件和第一光学元件到达待校准的工业相机,通过调节光调节元件,以使光源发出的光与待校准的工业相机的图像采集传感器重合,重合后固定光源和光调节元件,光源发出的光经过光调节元件、第二光学元件和成像镜头到达光标参照物,调节待校准的工业相机,以使光源发出的光与光标参照物对齐,固定待校准的工业相机,从而将光源发出的光传输到光标参照物等效为光从待校准的工业相机的图像采集传感器发出并传输到光标参照物,将工业相机的成像过程进行逆转,并通过光标参照物调节待校准的工业相机,完成校准,无需多次根据拍摄的图像进行来回调试工业相机,从而提高工业相机的校准精度和校准效率。
附图说明
图1是本发明实施例提供的一种工业相机的校准系统的结构框图;
图2是本发明实施例提供的另一种工业相机的校准系统的结构框图;
图3是本发明实施例提供的另一种工业相机的校准系统的结构框图;
图4是本发明实施例提供的一种转接环的剖视图;
图5是本发明实施例提供的一种光标参照物的结构示意图;
图6是本发明实施例提供的一种工业相机的校准方法的步骤流程图;
图7是本发明实施例提供的一种调节工业相机的步骤流程图;
图8是本发明实施例提供的另一种工业相机的校准方法的步骤流程图;
图9是本发明实施例提供的另一种工业相机的校准系统的结构框图;
图10是本发明实施例提供的一种工业相机的校准装置的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
工业相机包括工业线扫相机和工业面扫相机。工业线扫相机接收到一个脉冲信号,采集到的图像仅为一条1个像素点宽度的横向线条。工业面扫相机接收到一个脉冲信号,采集到的图像为一个固定宽和高的整幅图像。对于一行图像,找到一张图像使用看图软件对图像进行放大,直到可以看到组成图像的一个个小方块,这个小方块称作为一个像素点,图像中任意一个小方块所在的水平方向的一条横线上的所有像素方块组成的图案叫做一行图。
如图1和图2所示,图1表示工业相机的校准系统的第一光路,图2表示工业相机的校准系统的第二光路,本发明实施例提供了一种工业相机的校准系统,包括待校准的工业相机、转接环、光发生装置、成像镜头和光标参照物(1-6),转接环连接待校准的工业相机和成像镜头,光发生装置设置在转接环内,光发生装置包括光源(1-1)、光调节元件(1-2)、第一光学元件(1-3)和第二光学元件(1-5),光源(1-1)发出的光经过光调节元件(1-2)和第一光学元件(1-3)到达待校准的工业相机,光源(1-1)发出的光经过光调节元件(1-2)、第二光学元件(1-5)和成像镜头到达光标参照物(1-6)。其中,待校准的工业相机包含图像采集传感器(1-4)。
需要说明的是,光源根据实际应用确定,本实施例不做具体限制,如,可见光光源或激光光源。光调节元件可以调节光源到第一光学元件或第二光学元件的距离、光亮度和光斑形状等,光斑形状可以采用光阑等光学部件实现。本领域技术人员可以理解的是,待校准的工业相机可以为工业线扫相机和工业面扫相机,不同类型的工业相机,对应不同的光调节元件以调节,如,工业线扫相机的图像采集传感器为线状,因此,工业线扫相机对应的光调节元件将光源发出的光调节成线状;工业面扫相机的图像采集传感器为面状,因此,工业面扫相机对应的光调节元件将光源发出的光调节成面状。
需要说明的是,转接环为万能转接环,可以与不同接口的待校准的工业相机和不同接口的成像镜头进行连接;转接环中还可以集成其它的传感器,如各种微型的水平仪角度角度传感器,水平仪是用来给出一个精确的角度水平数据,用于作参考数值。另外,根据测量的三维空间参数,确定校准系统中工业相机和成像镜头等的三维空间图形。
本领域技术人员可以理解的是,成像镜头的焦距可以调节,根据光标参照物的表面的光线成像调节成像镜头的焦距,以在光标参照物的表面形成清晰的图像。
可选地,校准系统还包括若干个测距仪,测距仪设置于转接环上。
需要说明的是,测距仪的数量以及安装位置根据实际应用确定,本实施例不做具体限制。在一个具体的实施例中,参阅图3和图4,图3表示校准系统的侧视图,图4表示转接环的剖视图,校准系统集成4个点位激光测距仪,其中,3个点位激光测距仪(2-1)安装在转接环的水平仪的3个角,垂直向下测量距离,即垂直测距仪;1个点位激光测距仪(2-2)安装在转接环的水平仪的一侧中心位置,在横向上水平向左测量距离,即水平测距仪。垂直测距仪可以准确测量出光标参考物距离成像镜头的距离,还可以通过同一水平面内的3点位的垂直激光测距,可以使待校准的工业相机的法兰面和光标参考物的表面平行。另外一个横向的水平激光测距可以测量相邻相机之间的间距。
激光测距仪的作用是判断待校准的工业相机的位置是否和光标参考物的表面平行,也就是相当于辅助作用,通过激光测距仪测量出来的数据,控制待校准的工业相机在三维空间3个维度的伺服电机的微调位置。
可选地,系统还包括若干个伺服电机,伺服电机设置于待校准的工业相机和/或成像镜头上,伺服电机用于调节待校准的工业相机的位置和角度,和/或,伺服电机用于调节成像镜头的焦距。
需要说明的是,伺服电机的数据根据实际应用确定,本实施例不做具体限制。例如,工业相机的校准系统安装7个伺服电机,各自独立控制工业相机的校准系统中各元器件的位置;其中,1个伺服电机(包括机械配件组装成的部件)固定在成像镜头上,控制成像镜头的焦距以进行微小的移动;3个伺服电机构成的机械结构可以控制待校准的工业相机在三维空间XYZ三个方向的位移,另外3个伺服电机构成的机械结构可以控制待校准的工业相机在三维空间XYZ三个方向的角度,这些机械结构除了可以实现相机角度和位置的精确调节以外,还可以实时锁死待校准的工业相机或成像镜头的位置,在受到外界的一定范围内的暴力影响下,不会有改变。
另外,相关技术中,目标调试工业相机焦距只是通过肉眼观察去判断,反复调节,而本发明实施例,可以调用成像镜头的图像,根据图像效果自动调节成像镜头的焦距;并且可以消除手动调节完毕,在锁死相机镜头的过程中,由于误触导致的镜头位置轻微偏移引起的焦距变化。手动调节完镜头焦距后在锁死镜头的过程中,由于手的抖动,会导致镜头焦距又发生轻微的变化。本发明实施例使用伺服电机控制镜头调节焦距,调节完成后通过伺服锁死镜头位置,这个时候再去锁死相机镜头本身的自带的锁死螺丝,就不会出现手抖动误触发引起的焦距变化。
在一些可选的实施例中,校准系统还可以包含支架,支架用于支撑待校准的工业相机。该支架可以使用全铝合金材质,目的是为了保持机械结构不容易变形。该支架除了可以使用手动旋钮来微调,还可以通过加装伺服电机的方式通过伺服电机来控制相机的位移。支架的移动方向共有3个,XYZ,3个方向的构造基本一致。每个方向的移动调节结构通过滑轨摩擦控制移动方向固定不变,通过伺服电机控制精密螺纹杆来控制移动距离的精确性,通过伺服电机控制齿轮组来控制3个方向的角度进行移动。在使用伺服电机调节待校准的工业相机的位置和角度之后,可以锁死待校准的工业相机的位置,并且拆除加装的伺服电机,整套系统可以很方便地拆装固定。
现有的待校准的工业相机的调节方法中,很难做到在移动待校准的工业相机的位置的同时不改变相机的角度,而本实施例的该套系统只需要专注于待校准的工业相机的位置调节,待校准的工业相机的角度会自动保持不变。
可选地,系统还包括遥控手柄,遥控手柄用于控制伺服电机。
遥控手柄可以控制多个伺服电机在多个方向移动,并且可以保持待校准的工业相机的角度不变去移动位置,也可以锁死一个或者多个维度,去调节剩余的维度。
可选地,光标参照物包括光刻度线,光刻度线包括中心线和中心线两侧不同宽度的刻度线。
需要说明的是,光标参照物根据光源的光斑形状和待拍摄的物品等因素确定。
在一些可选的实施例中,参阅图5,白色部分即为光源的光斑形状,上下带有锯齿形方块,目的是为了判断照射在光标参照物表面的光线是否对焦,通过锯齿方块边缘是否清晰锐利来判断。同时当多个相机进行拼接对齐操作时,根据光刻度线可以准确设置2个相邻待校准的工业相机拼接处需要重合的距离大小,比如上方两个方格间距代表1厘米,下方2个方格间距2厘米,可以将2个待校准的工业相机投射出来的锯齿图案对齐,这样2个待校准的工业相机拍摄到物品图案在横向上就不会错位。光标参照物对光源发出的光线有很清晰的成像效果,并且带有刻度线。光标参照物用于提供给操作人员的一个判断标准,真实地观察到待校准的工业相机最终的拍摄位置是否合适,焦距是否对焦。
本领域技术人员可以理解的是,该校准系统还可以连接计算机,计算机还可以根据激光测距仪测量的数据结合待校准的工业相机以及成像镜头本身的机械尺寸数据模拟生成待校准的工业相机的三维图,并显示模拟的待校准的工业相机的三维空间图形,并且进行参数设置等操作,也可以用于同步显示连接待校准的工业相机的工控机内容。计算机还可以根据三维图形,对待校准的工业相机的位置和角度进行设置调节。该套系统可以在一个计算机上进行显示操作,也可以通过操作手柄进行操作。
参阅图6,本发明实施例提供了一种工业相机的校准方法,应用于上述的校准系统,包括:
S100、控制光源发出的光经过光调节元件和第一光学元件到达待校准的工业相机,调节光调节元件,以使光源发出的光与待校准的工业相机的图像采集传感器重合,重合后固定光源和光调节元件;
S200、控制光源发出的光经过光调节元件、第二光学元件和成像镜头到达光标参照物,调节待校准的工业相机,以使光源发出的光与光标参照物对齐,固定待校准的工业相机。
本领域技术人员可以理解的是,光发生装置还需包括一个光学模块切换机构,因为需要将光源发出的光线既要反射到待校准的工业相机,又要反射到光标参照物的表面上。同时,还要做到光源发出的光线经过光调节元件、第二光学元件和成像镜头到达光标参照物的光路距离,等同于待校准的工业相机的图像采集传感器发射的光照射在光标参照物的光路距离。所以需要切换2个光路,例如,首先使用反射镜光学模块,通过反射镜光学模块固定光源的发光范围大小以及光源距离传感器的距离,用来等同于从待校准的工业相机的图像采集传感器位置照射出的光。同时,需要将光源的光线和图像采集传感器重合,固定光源的发光位置。确定好了之后,将光学模块由反射镜改为棱镜,此时光线通过棱镜照射在光标参照物上,目的是可以精确的模拟处相机的视场宽度,可见光的刻度线的宽度即可以表示相机的视场宽度。此时光源发出的光经过棱镜折射出来,光路距离等同于待校准工业相机的图像采集传感器发出的光到达光标参照物的光路距离。通过照射在光标参照物上的光刻度线的清晰度,去调节相机的焦距,此处可以手动调节,但是手动调节焦距的精度很难达到最佳状态,所以可以使用伺服电机来控制镜头的焦距。
获取待校准的工业相机的图像的目的主要是为了校准转接环中光源发出的光和待校准的工业相机的图像采集传感器对齐,光源发出的光作为调节待校准的工业相机位置的标准,光源发出的光和待校准的工业相机的图像采集传感器对齐,如果是面阵相机,则需要保证线条标线处在获取的图像中心横线上。
通过光源发出的光在光标参照物表面形成图像的清晰度和位置,判断待校准的工业相机的置是否准确,焦距是否对齐。在一个具体的实施例中,光源发出的光线照射在一个矩形的荧光帖上,荧光帖子上的刻度可以用于对齐参考线,也就是将带有刻度的荧光贴模拟被拍摄物品固定好位置,然后将本发明实施例的光标线对齐荧光贴上的刻度线;再将光源的亮线对齐荧光贴上的刻度线,那么此时待校准的工业相机的条状传感器和光源的亮线也是对齐的。这样固定好了一个维度,就可以去调节相机的另外一个维度,直到准确调整好相机的位置。并且线状的可见光的位置以及发光的宽度可以通过控制光调节元件进行微调。转接环内可见光线通过三棱镜反射给待校准的工业相机的图像采集传感器和成像镜头,使得光源的发光面等效于待校准的工业相机的图像采集传感器的宽度和长度,相当于不增加转接环,相机的传感器可以发光,光线照射在被拍摄物体表面,根据物体表面的光线来调节相机的位置,同时可以调节相机镜头的焦距,通过观察照射在被拍物品表面的光线的对焦清晰度来判断镜头的焦距设置的是否合适。光源发出的光线的宽度和长度,以及整个光学系统可以在水平面内旋转,用来调整光标线和待校准的工业相机的图像采集传感器。
现有技术方案很难做到将待校准的工业相机的位置调节到最佳的位置,存在较大误差,要将待校准的工业相机的线条状传感器和条形光源亮线中心线保持一致比较困难。只能通过肉眼观察成像效果来判断,采集图像的过程比较耗时耗力。本发明实施例通过光源照射出来的光来反向模拟待校准的工业相机拍摄的光路,可以比较直观地显示待校准的工业相机真实的会拍摄到的位置,包括待校准的工业相机的视场宽度及是否对焦。相邻2个待校准的工业相机进行拼接的时候,可以根据光线的标线实现2个待校准的工业相机之间的精准拼接,精度可以达到1mm以内。
由于面阵相机成像和采集图像也更简单,本发明实施例以线阵相机为例来说明优势。线阵相机的图像采集传感器是一条非常细的线条状,加装上镜头后拍摄物品图像每次触发信号采集到的图像仅仅是一行图像,所以如果线阵相机需要拍摄物品的完整的图像,需要移动线阵相机或者移动拍摄物品,让线阵相机可以扫描出完整的拍摄物品的图像。线阵相机将扫描到的所有的一行一行的图像拼接在一起,形成一整张完成的物品图像。线阵相机获取图像的原理是物品反射的光线经过成像镜头折射进入到线条状的图像采集传感器,图像采集传感器将感应到的光进行信号转换获取到图像。为了调试线阵相机的位置,让线阵相机的条状传感器拍摄的位置准确的对准拍摄物品所在平面的中心线,目的是确保拍摄出来的图像是正的没有倾斜。在成像镜头和线阵相机之间加装一个带有角度传感器和光源的转接环,转接环内光线的宽度、亮度和角度都可以调节,那么将光源发射位置的光线宽度调节到和线阵相机的图像采集传感器的宽度一致,并且将光线位置与线阵相机的图像传感器对齐,那么就相当于从线阵相机的图像采集传感器反向发射出光线照射在被拍摄的物品上,这个时候就可以根据投射到物品上的光标线来直观地调节线阵相机的位置,并且可以精准地控制两个线阵相机之间的拼接,因为线阵相机的视场宽度也可以通过光标线直观看到。
可选地,参阅图7,待校准的工业相机通过以下方法调节:
S210、通过若干个伺服电机在三维空间调节待校准的工业相机的位置;
S220、通过若干个伺服电机在三维空间调节待校准的工业相机的角度。
传统的工业相机调试过程中,如果改变了工业相机的位置后,需要根据图像效果反复迭代去试探性调节,不能把相机的位置精确到线性移动的三个维度空间的精确位置值和空间角度的3个方向的角度准确值,也就是无法准确识读当前相机的位置坐标信息,也无法控制当前相机只在一个维度进行调节。本发明实施例,以投射的光标参照物作为最终的调节参考,光标参照物在被拍摄物品上显示虚焦则表示相机位置或者镜头焦距不合适。不仅可以实时显示当前的空间三维坐标值(包括三个维度空间的线性位置XYZ的数值以及和XYZ三个方向的夹角角度值),并且以三维模拟实时图的形式进行显示,调节的时候可以让系统根据提前预设的参数标准自动去校准工业相机的位置,也可以根据特殊要求手动设置每个参数大小以控制系统去自定义设置工业相机的位置。
可选地,参阅图8,校准方法还包括:
S010、控制若干个测距仪测量转接环到光标参照物的距离,以确定待校准的工业相机是否与光标参照物平行。
S020、若待校准的工业相机与光标参照物平行,开始执行校准操作。
在一个具体的实施例中,校准系统包含3个点位激光测距仪,3个点位激光测距仪安装在转接环的水平仪的3个角,垂直向下测量距离,即垂直测距仪;当3个垂直方向的测距仪测量到的距离不相同,则表示待校准的工业相机的平面和光标参考物的平面不是平行的,通过3个距离计算出待校准的工业相机在3个维度需要调整的距离和角度,通过伺服电机控制待校准的工业相机自动调整位置,直至待校准的工业相机与光标参照物平行,开始执行校准操作。
可选地,校准方法还包括:
S010、控制若干个测距仪测量转接环到相邻转接环的距离,以确定相邻待校准的工业相机之间的间距是否满足预设要求。
在一个具体的实施例中,校准系统包含1个点位激光测距仪,1个点位激光测距仪安装在转接环的水平仪的一侧中心位置,在横向上水平向左测量距离,即可得到相邻转接环的距离,再根据实际测量值判断预设要求。
需要说明的是,预设要求根据实际应用确定,本实施例不做具体限制。
调试2个工业相机或者更多的工业相机时,无法将相邻2个工业相机的位置进行精准的对齐,比如2个工业相机的拼接,为了保证图像效果尽可能的一致,需要将相机和拍摄物品的角度设置为一样,相机距离拍摄物品的距离要保持一致,这样在相机调试完成后才可以最大限度的接近。如果相邻2个工业相机不能对齐,导致2个相邻工业相机拍摄的运动物品的图像拼接在一起之后,前后位置有错位或左右位置有重叠等。本发明实施例,根据测距仪确定工业相机位置,并且可以自动控制2个相邻工业相机或者多个相机进行对齐。
如果不合适再通过操作界面控制伺服电机对待校准的工业相机位置进行微调,当待校准的工业相机位置调整完成后,再将转接环及内部元器件拆除,恢复待校准的工业相机原有的结构。由于线扫相机接收单个曝光信号之后采集的图像仅仅是一行像素图像,无法展现出被拍摄物体的整体样貌,需要将被拍摄物体按照一定方向移动,经过编码器控制相机采集到所有的一行一行的图像数据拼接在一起才可以形成被拍摄物品的完整图像,所以线扫相机位置对于成像效果影响特别大,角度倾斜会造成图像不均匀,甚至出现色散现象,彩色相机的所有颜色都是由RGB红绿蓝3中颜色组合而成,当出现色散现象,比如原来是黑色此时在黑色图案的边缘会出现红色、绿色或蓝色,通过修改参数和调整待校准的工业相机位置将红绿蓝3中颜色重合,恢复本来颜色效果,从而消除色散。所以需要线扫相机传感器和光标参照物的移动方向的位置关系尽可能的精确以获取到最佳的图像效果。
实施本发明实施例包括以下有益效果:本实施例的校准方法中工业相机的校准系统包括待校准的工业相机、转接环、光发生装置、成像镜头和光标参照物,转接环连接待校准的工业相机和成像镜头,光发生装置设置在转接环内,光发生装置包括光源、光调节元件、第一光学元件和第二光学元件,光源发出的光经过光调节元件和第一光学元件到达待校准的工业相机,通过调节光调节元件,以使光源发出的光与待校准的工业相机的图像采集传感器重合,重合后固定光源和光调节元件,光源发出的光经过光调节元件、第二光学元件和成像镜头到达光标参照物,调节待校准的工业相机,以使光源发出的光与光标参照物对齐,固定待校准的工业相机,从而将光源发出的光传输到光标参照物等效为光从待校准的工业相机的图像采集传感器发出并传输到光标参照物,将工业相机的成像过程进行逆转,并通过光标参照物调节待校准的工业相机,完成校准,无需多次根据拍摄的图像进行来回调试工业相机,从而提高工业相机的校准精度和校准效率。
参阅图9,本发明实施例提供了一种工业相机的校准系统,包括:
第一模块,用于控制光源发出的光经过光调节元件和第一光学元件到达待校准的工业相机,调节光调节元件,以使光源发出的光与待校准的工业相机的图像采集传感器重合,重合后固定光源和光调节元件;
第二模块,用于控制光源发出的光经过光调节元件、第二光学元件和成像镜头到达光标参照物,调节待校准的工业相机,以使光源发出的光与光标参照物对齐,固定待校准的工业相机。
可见,上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参阅图10,本发明实施例提供了一种工业相机的校准装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当至少一个程序被至少一个处理器执行,使得至少一个处理器实现上述的方法。
其中,存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的远程存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可见,上述方法实施例中的内容均适用于本装置实施例中,本装置实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
工业相机的校准装置1000可以包括RF(Radio Frequency,射频)电路1010、包括有一个或一个以上计算机可读存储介质的存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、短距离无线传输模块1070、包括有一个或者一个以上处理核心的处理器1080、以及电源10100等部件。本领域技术人员可以理解,图6中示出的设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器1080处理;另外,将涉及上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(CodeDivision Multiple Access,码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service,短消息服务)等。
存储器1020可用于存储软件程序以及模块。处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据设备1000的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1020还可以包括存储器控制器,以提供处理器1080和输入单元1030对存储器1020的访问。虽然图10示出了RF电路1010,但是可以理解的是,其并不属于设备1000的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
输入单元1030可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元1030可包括触敏表面1031以及其他输入设备1032。触敏表面1031,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面1031上或在触敏表面1031附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面1031。除了触敏表面1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及控制1000的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1040可包括显示面板1041,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板1041。进一步的,触敏表面1031可覆盖在显示面板1041之上,当触敏表面1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图6中,触敏表面1031与显示面板1041是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面1031与显示面板1041集成而实现输入和输出功能。
工业相机的校准装置1000还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在工业相机的校准装置1000移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于工业相机的校准装置1000还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与工业相机的校准装置1000之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给另一控制设备,或者将音频数据输出至存储器1020以便进一步处理。音频电路1060还可能包括耳塞插孔,以提供外设耳机与工业相机的校准装置1000的通信。
短距离无线传输模块1070可以是WIFI(wireless fidelity,无线保真)模块、蓝牙模块或红外线模块等。工业相机的校准装置1000通过短距离无线传输模块1070可以与对战设备上设置的无线传输模块进行信息的传输。
处理器1080是工业相机的校准装置1000的控制中心,利用各种接口和线路连接整个控制设备的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行工业相机的校准装置1000的各种功能和处理数据,从而对控制设备进行整体监控。可选的,处理器1080可包括一个或多个处理核心;可选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1050中。
工业相机的校准装置1000还包括给各个部件供电的电源1090(比如电池),优选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1090还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,工业相机的校准装置1000还可以包括摄像头、蓝牙模块等,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行前述各个实施例所述的方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于上述方法实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种工业相机的校准系统,其特征在于,包括待校准的工业相机、转接环、光发生装置、成像镜头和光标参照物,所述转接环连接所述待校准的工业相机和所述成像镜头,所述光发生装置设置在所述转接环内,所述光发生装置包括光源、光调节元件、第一光学元件和第二光学元件,所述光源发出的光经过所述光调节元件和所述第一光学元件到达所述待校准的工业相机,所述光源发出的光经过所述光调节元件、所述第二光学元件和所述成像镜头到达所述光标参照物。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括若干个测距仪,所述测距仪设置于所述转接环上。
3.根据权利要求1所述的系统,其特征在于,所述系统还包括若干个伺服电机,所述伺服电机设置于所述待校准的工业相机和/或所述成像镜头上,所述伺服电机用于调节所述待校准的工业相机的位置和角度,和/或,所述伺服电机用于调节所述成像镜头的焦距。
4.根据权利要求3所述的系统,其特征在于,所述系统还包括遥控手柄,所述遥控手柄用于控制所述伺服电机。
5.根据权利要求1所述的系统,其特征在于,所述光标参照物包括光刻度线,所述光刻度线包括中心线和所述中心线两侧不同宽度的刻度线。
6.一种工业相机的校准方法,其特征在于,应用于权利要求1-5任一项所述的系统,包括:
控制所述光源发出的光经过所述光调节元件和所述第一光学元件到达所述待校准的工业相机,调节所述光调节元件,以使所述光源发出的光与所述待校准的工业相机的图像采集传感器重合,重合后固定所述光源和所述光调节元件;
控制所述光源发出的光经过所述光调节元件、所述第二光学元件和所述成像镜头到达所述光标参照物,调节所述待校准的工业相机,以使所述光源发出的光与所述光标参照物对齐,固定所述待校准的工业相机。
7.根据权利要求6所述的方法,其特征在于,所述待校准的工业相机通过以下方法调节:
通过若干个伺服电机在三维空间调节所述待校准的工业相机的位置;
通过若干个伺服电机在三维空间调节所述待校准的工业相机的角度。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
控制若干个测距仪测量所述转接环到所述光标参照物的距离,以确定所述待校准的工业相机是否与所述光标参照物平行。
9.一种工业相机的校准装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求6-8任一项所述的方法。
10.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求6-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411427056.5A CN119290335A (zh) | 2024-10-12 | 2024-10-12 | 一种工业相机的校准系统、校准方法、装置和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411427056.5A CN119290335A (zh) | 2024-10-12 | 2024-10-12 | 一种工业相机的校准系统、校准方法、装置和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN119290335A true CN119290335A (zh) | 2025-01-10 |
Family
ID=94165117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411427056.5A Pending CN119290335A (zh) | 2024-10-12 | 2024-10-12 | 一种工业相机的校准系统、校准方法、装置和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN119290335A (zh) |
-
2024
- 2024-10-12 CN CN202411427056.5A patent/CN119290335A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102841710B (zh) | 感测方法与装置 | |
KR101591854B1 (ko) | 모바일 패턴 투사를 위한 장치 및 그 이용 | |
US12354291B2 (en) | Information processing device, information processing method, and program | |
US6738131B2 (en) | Distance measuring method and image input device with distance measuring function | |
JP2016530485A (ja) | 改善された高いダイナミックレンジを有するレーザラインプローブ | |
US12025468B2 (en) | Optical sensor with overview camera | |
JP2012159409A (ja) | 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム | |
CN113280752A (zh) | 一种凹槽深度测量方法、装置、系统及激光测量设备 | |
CN114494468B (zh) | 三维彩色点云构建方法、装置、系统及存储介质 | |
CN103176592A (zh) | 虚拟投影输入系统及其输入检测方法 | |
WO2021007944A1 (zh) | 3d结构光模组支架标定方法、装置和设备 | |
CN105700736A (zh) | 输入操作检测设备、投影装置、交互白板和数字标识装置 | |
CN107071106A (zh) | 一种激光测距手机及激光测距方法 | |
US20150253932A1 (en) | Information processing apparatus, information processing system and information processing method | |
US10502554B2 (en) | Process and device for determining the 3D coordinates of an object | |
CN111618833A (zh) | 部件的组装方法、装置、存储介质以及电子设备 | |
CN113760131B (zh) | 投影触控处理方法、装置及计算机可读存储介质 | |
CN113632454A (zh) | 投影系统、投影装置以及投影方法 | |
CN119290335A (zh) | 一种工业相机的校准系统、校准方法、装置和介质 | |
JP2018105799A (ja) | 測定装置、方法およびプログラム | |
JP6416408B2 (ja) | 測距装置、測距方法、及び測距プログラム | |
CN101435693B (zh) | 影像测量机台光源校正系统及方法 | |
US10353070B2 (en) | Distance measurement device, distance measurement method, and distance measurement program | |
CN117499606A (zh) | 一种投影设备的测试方法、测试系统、上位机及存储介质 | |
EP2743803A1 (en) | Automatic calibration of stylus location using mapping between color and location |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |