CN112927306B - 拍摄装置的标定方法、装置及终端设备 - Google Patents
拍摄装置的标定方法、装置及终端设备 Download PDFInfo
- Publication number
- CN112927306B CN112927306B CN202110205215.7A CN202110205215A CN112927306B CN 112927306 B CN112927306 B CN 112927306B CN 202110205215 A CN202110205215 A CN 202110205215A CN 112927306 B CN112927306 B CN 112927306B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- inverse perspective
- perspective transformation
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 139
- 238000012545 processing Methods 0.000 claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000013507 mapping Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Abstract
本申请适用于图像处理技术领域,提供了一种拍摄装置的标定方法、装置及终端设备,包括:通过待标定的拍摄装置获取第一拍摄图像;将所述第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像;将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标。通过上述方法,能够提高拍摄装置的标定结果的准确性。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及一种拍摄装置的标定方法、装置及终端设备。
背景技术
随着近年来人工智能的不断发展,基于人工智能的自动驾驶技术也受到了广泛的关注。自动驾驶技术需要多个传感器共同协作,才能实现智能车对周围环境的感知。而拍摄装置是智能车视觉系统中的重要组成部分,智能车可以通过拍摄装置获取前方道路的拍摄图像,根据拍摄图像执行车道线检测、障碍物检测等视觉任务。例如:智能车可以计算拍摄图像中障碍物到智能车之间的像素距离,然后根据像素距离确定障碍物到智能车之间的真实物理距离。
若要实现上述视觉任务,需要对智能车上的拍摄装置进行标定,即确定拍摄装置获取到的拍摄图像中的像素点在车辆坐标系中的物理坐标的过程。拍摄装置通常安装在智能车的上方,由于透视效应,平行的路面在拍摄图像中可能会相交于一点。利用具有透视效应的拍摄图像进行标定,得到的标定结果准确性较低,使得智能车无法获得真实的路况信息。
发明内容
本申请实施例提供了一种一种拍摄装置的标定方法、装置及终端设备,可以提高智能车拍摄装置的标定结果的准确性。
第一方面,本申请实施例提供了一种拍摄装置的标定方法,应用于安装在车辆上的拍摄装置,所述方法包括:
通过待标定的拍摄装置获取第一拍摄图像;
将所述第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像;
将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标。
在本申请实施例中,首先将拍摄装置拍摄的第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像;然后再将第一逆透视变换图像中的第一像素点的第一像素坐标变换到车辆所在的车辆坐标系下的物理坐标。由于逆透视变换处理能够消除透视效应,处理后的第一逆透视变换图像能够反应拍摄物体的真实形态,因此,转换后得到的物理坐标能够较准确地反映拍摄物体的实际位置。通过上述方法,能够有效提高拍摄装置的标定结果的准确性。
在第一方面的一种可能的实现方式中,所述将所述第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像,包括:
获取所述拍摄装置的畸变数据;
根据所述畸变数据对所述第一拍摄图像进行畸变矫正处理,得到矫正图像;
获取预设的逆透视变换映射矩阵;
根据所述逆透视变换映射矩阵对所述矫正图像进行逆透视变换处理,得到所述第一逆透视变换图像。
在第一方面的一种可能的实现方式中,所述获取预设的逆透视变换映射矩阵,包括:
获取所述拍摄装置拍摄的第二拍摄图像中第二像素点的第二像素坐标;
获取第二逆透视变换图像中第三像素点的第三像素坐标,其中,所述第二逆透视变换图像为所述第二拍摄图像的逆透视变换图像,所述第三像素点与所述第二像素点互为对应的像素点;
计算所述第二像素坐标与所述第三像素坐标之间的所述逆透视变换映射矩阵。
在第一方面的一种可能的实现方式中,所述获取第二逆透视变换图像中第三像素点的第三像素坐标,包括:
获取所述第二逆透视变换图像中第一预设基准点的第一基准点坐标;
确定所述车辆坐标系下第一目标点和第二目标点之间的第一横轴实际距离和第一纵轴实际距离,其中,所述第一目标点为所述车辆坐标系中与所述第一预设基准点对应的位置点,所述第二目标点为所述车辆坐标系中与所述第三像素点对应的位置点;
根据预设的尺度比例将所述第一横轴实际距离转换为第一横轴像素距离,根据预设的尺度比例将所述第一纵轴实际距离转换为第一纵轴像素距离,其中,所述尺度比例用于表示所述第二逆透视变换图像中每个像素对应的所述车辆坐标系下的实际距离;
根据所述第一基准点坐标、所述第一横轴像素距离和所述第一纵轴像素距离确定所述第三像素点的所述第三像素坐标。
在第一方面的一种可能的实现方式中,所述计算所述第二像素坐标与所述第三像素坐标之间的所述逆透视变换映射矩阵,包括:
通过公式h1u1+h2v1+h3-h7u1x1-h8v1y1=x1和h4u1+h5v1+h6-h7u1x1-h8v1y1=y1计算矩阵元素,其中,所述(u1,v1)为所述第二像素坐标,所述(x1,y1)为所述第三像素坐标,所述h1、h2、h3、h4、h5、h6、h7和h8为所述矩阵元素;
根据确定所述逆透视变换映射矩阵,其中,所述H为所述逆透视变换映射矩阵。
在第一方面的一种可能的实现方式中,所述将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标,包括:
获取所述第一逆透视变换图像中第二预设基准点的第二基准点坐标;
确定目标坐标与所述第二基准点坐标之间的第二横轴像素距离和第二纵轴像素距离,其中,所述目标坐标为所述第一逆透视变换图像中任意一个像素的像素坐标;
确定所述拍摄装置与第三目标点之间的第二横轴实际距离和第二纵轴实际距离,其中,所述第三目标点为所述车辆坐标系中与所述第二预设基准点对应的位置点;
根据所述尺度比例、所述第二横轴实际距离、所述第二纵轴实际距离、所述第二横轴像素距离和所述第二纵轴像素距离将所述目标坐标转换为所述车辆坐标系下的物理坐标。
第二方面,本申请实施例提供了一种拍摄装置的标定装置,包括:
图像获取单元,用于通过待标定的拍摄装置获取第一拍摄图像;
变换处理单元,用于将所述第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像;
坐标转换单元,用于将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的拍摄装置的标定方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的拍摄装置的标定方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的拍摄装置的标定方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的透视效应的拍摄图像示意图;
图2是本申请实施例提供的拍摄装置的标定方法的流程示意图;
图3是本申请实施例提供的畸变图像的示意图;
图4是本申请实施例提供的矫正图像的示意图;
图5是本申请实施例提供的逆透视变换图像的示意图;
图6是本申请实施例提供的车辆坐标系的示意图;
图7是本申请实施例提供的拍摄装置的标定装置的结构框图;
图8是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
首先介绍本申请实施例提供的拍摄装置的标定方法的技术背景。本申请实施例中拍摄装置的标定是指将拍摄装置拍摄的图像中像素的像素坐标转换成车辆坐标系中的物理坐标的过程,该过程的实质是确定拍摄图像所在的像素坐标系与车辆坐标系之间的映射关系。但是在实际应用中,由于拍摄装置的安装位置和拍摄角度的不同,可能会产生透视效应,即实际中平行的线条在拍摄图像中可能会相交于一点。例如:车辆上的拍摄装置通常安装于智能车的车顶中间位置,或安装于车辆前保险杠中间位置,这时拍摄装置拍摄到的前方路面在图像中交汇于一点。参见图1,是本申请实施例提供的透视效应的拍摄图像示意图。如图1所示的拍摄图像是以拍摄装置的视角拍摄的,相较于拍摄装置越远的物体在该拍摄图像中的图像越小,且图像中道路的两边并不是平行的、是逐渐交汇的。通过上述示例可知,如果将透视效应的拍摄图像中像素的坐标转换为车辆坐标系下的物理坐标,得到的物理坐标很有可能与拍摄物体的实际物理坐标相差较大、无法准确反映拍摄物体的实际位置。
为了解决上述问题,本申请实施例提供了一种拍摄装置的标定方法。下面对该方法进行详细介绍。参见图2,是本申请实施例提供的拍摄装置的标定方法的流程示意图,作为示例而非限定,所述方法可以包括以下步骤:
S201,通过待标定的拍摄装置获取第一拍摄图像。
本申请实施例中的拍摄装置可以是相机、摄像头、或具有拍摄功能的电子设备,如手机、笔记本电脑等。
在本申请实施例中,拍摄装置是指已经经过内参标定后的拍摄装置,即拍摄装置的内参数据均为已知。通过拍摄装置的内参数据能够确定第一拍摄图像中像素所在的像素坐标系和相机坐标系之间的映射关系。具体的,如下式所示:
其中,为拍摄装置的内参矩阵,(x,y,z)为相机坐标系下的坐标,(u,v)为像素坐标系下的坐标(即某个像素点在图像中的位置),fx和fy分别为相机坐标系下x轴和y轴的焦距,u0和v0为相机的光心坐标。zc为尺度因子。
S202,将第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像。
可选的,可以对第一拍摄图像本身进行逆透视变换处理。具体的:获取预设的逆透视变换矩阵;根据逆透视变换矩阵对第一拍摄图像进行逆透视变换处理。
但是实际应用中,拍摄的图像往往会发生畸变,即一条直线投影到图像上不能保持为一条直线的一种光学效应。如果不考虑图像畸变,而是对第一拍摄图像本身进行逆透视变换处理,获得的第一逆透视变换图像可能仍是存在畸变的,进而导致最后得到的物理坐标是不准确的。
为了解决上述问题,在本申请实施例中,逆透视变换处理可以包括以下步骤:
I、获取拍摄装置的畸变数据。
相机畸变通常分为径向畸变和切向畸变。参见图3,是本申请实施例提供的畸变图像的示意图。
如图3中的(a)所示的为径向畸变的图像。径向畸变是指使像点产生径向位置的偏差。其特点是:由镜头的形状缺陷所造成的畸变,关于相机主光轴对称。径向畸变的数学模型为:
xdistorted=x(1+k1r2+k2r4+k3r6),
ydistorted=y(1+k1r2+k2r4+k3r6);
其中,(xdistorted,ydistorted)表示真实观测到的坐标,包含畸变;(x,y)为畸变矫正后的坐标;r为像点到中心点的距离;k1、k2、k3为畸变数据(对于畸变很小的中心区域主要起作用的是k1,对于畸变较大的边缘区域主要起作用的是k2,对于畸变很大的区域可以加入k3)。上式实际表示的是,矫正后的坐标和真实观测的坐标是泰勒展开式的关系。
如图3中的(b)所示的切向畸变的图像。切向畸变是指光学系统的光学中心和几何中心不一致所造成的畸变,例如,在相机组装过程中由于不能使透镜严格和成像平面平行而产生切向畸变。切线畸变的数学模型为:
xdistorted=x+2p1xy+p2(r2+2x2),
ydistorted=y+p1(r2+2y2)+2p2xy;
其中,p1、p2是畸变数据。
当然,有时候图像畸变既包括径向畸变,又包括切向畸变,此时数学模型为:
xdistorted=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2),
ydistorted=y(1+k1r2+k2r4+k3r6)+p1(r2+2y2)+2p2xy;
本申请中所述的畸变数据包括k1、k2、k3、p1、p2。
可以通过使用拍摄装置拍摄棋盘格图像的方式标定相机内参和畸变数据,根据标定后的相机内参及畸变参数对第一拍摄图像进行畸变矫正。
II、根据畸变数据对第一拍摄图像进行畸变矫正处理,得到矫正图像。
根据上述步骤I中的数学模型,计算第一拍摄图像中的各个像素点的畸变矫正后的像素坐标,得到矫正图像。
参见图4,是本申请实施例提供的矫正图像的示意图。如图4所示,图4中的(a)为畸变矫正前的第一拍摄图像,图4中的(b)为畸变矫正后的矫正图像。从图4中可以看出,在第一拍摄图像中地面的直线由于畸变发生了弯曲,经过畸变矫正后恢复成了直线。
III、获取预设的逆透视变换映射矩阵。
可以预先标定逆透视变换映射矩阵。
可选的,逆透视变换映射矩阵的获取过程可以包括:
获取拍摄装置拍摄的第二拍摄图像中第二像素点的第二像素坐标;获取第二逆透视变换图像中第三像素点的第三像素坐标,其中,第二逆透视变换图像为第二拍摄图像的逆透视变换图像,第三像素点与第二像素点互为对应的像素点;计算第二像素坐标与第三像素坐标之间的逆透视变换映射矩阵。
示例性的,可以在拍摄装置的拍摄范围内的地面上放置一个矩形区域,分别拍摄该矩形区域的非逆透视图像(即第二拍摄图像)和逆透视图像(即第二逆透视变换图像)。获取非逆透视图像中矩形区域的四个顶点坐标p1、p2、p3、p4(即第二像素坐标)和逆透视图像中矩形区域的四个顶点坐标q1、q2、q3、q4(即第三像素坐标)。然后根据p1和q1、p2和q2、p3和q3、p4和q4计算逆透视变换矩阵。
逆透视变换矩阵实质表示的是第二拍摄图像中的坐标与第二逆透视变换图像中的坐标之间的映射关系。即q1=Hp1、q2=Hp2、q3=Hp3、q4=Hp4。
该矩阵通常包括9个元素,即确定该矩阵的过程,实际为确定该矩阵中9个元素的过程。以q1=Hp1为例,映射关系可以表示为:
其中,p1(u1,v1),q1(x1,y1)。
将上式展开可以得到以下关系式:
h1u1+h2v1+h3=x1;
h4u1+h5v1+h6=y1;
h7u1+h8v1+h9=1。
由于逆透视变换矩阵存在尺度不变性,因此可以令h9=1,此时h7u1+h8v1=0,带入上式,可得:
h1u1+h2v1+h3-h7u1x1-h8v1y1=x1;
h4u1+h5v1+h6-h7u1x1-h8v1y1=y1。
由上述过程可知,若要确定出逆透视变换矩阵中的每个元素,至少需要4组对应的像素坐标。因此,可以采用上述的矩形区域的四个顶点坐标计算逆透视变换矩阵中的元素。
其中,第三像素点的第三像素坐标可以是第二逆透视变换图像中的像素坐标。
为了将像素坐标与真实的物理坐标对应,需要设定像素尺度与物理尺度的对应关系,即每个像素对应车辆坐标系中的s米。
可选的,第三像素点的第三像素坐标的获取方法也可以包括:
获取第二逆透视变换图像中第一预设基准点的第一基准点坐标;确定车辆坐标系下第一目标点和第二目标点之间的第一横轴实际距离和第一纵轴实际距离,其中,第一目标点为所述车辆坐标系中与第一预设基准点对应的位置点,第二目标点为车辆坐标系中与第三像素点对应的位置点;根据预设的尺度比例将第一横轴实际距离转换为第一横轴像素距离,根据预设的尺度比例将第一纵轴实际距离转换为第一纵轴像素距离,其中,尺度比例用于表示第二逆透视变换图像中每个像素对应的车辆坐标系下的实际距离;根据第一基准点坐标、第一横轴像素距离和第一纵轴像素距离确定第三像素点的第三像素坐标。
继续III中的示例,可以将第二逆透视变换图像中矩形区域底边中点确定为第一预设基准点,其像素坐标为(x0,y0)。可以测量出车辆坐标系中矩形区域平行于第二逆透视变换图像中矩形底边的边长(假设为W米,即第一横轴实际距离)、垂直于第二逆透视变换图像中矩形底边的边长(假设为L米,即第一纵轴实际距离)。可以计算出第二逆透视变换图像中矩形的两个边长分别对应W/s像素(即第一横轴像素距离)和L/s像素(即第一纵轴像素距离),s为尺度比例。进而可以确定出第二逆透视变换图像中矩形四个顶点坐标q1(x0-W/2s,y0-L/s),q2(x0+W/2s,y0-L/s),q3(x0-W/2s,y0),q4(x0+W/2s,y0)。
IV、根据逆透视变换映射矩阵对矫正图像进行逆透视变换处理,得到第一逆透视变换图像。
参见图5,是本申请实施例提供的逆透视变换图像的示意图。如图5中的(a)所示为逆透视变换处理之前的矫正图像,图5中的(b)所示为逆透视变换处理后的第一逆透视变换图像。从图5中可以看出,根据逆透视变换映射矩阵对矫正图像进行逆透视变换处理之后,得到的第一逆透视变换图像中矩形两边相互平行,可以更加准确地反映真实的路面信息。
S203,将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标。
为了计算第一逆透视变换图像中第一像素点在车辆坐标系下的物理坐标,首先需要确定车辆坐标系。
在一个实施例中,S203的一种实现方式为:
获取第一逆透视变换图像中第二预设基准点的第二基准点坐标;确定目标坐标与第二基准点坐标之间的第二横轴像素距离和第二纵轴像素距离,其中,目标坐标为所述第一逆透视变换图像中任意一个像素的像素坐标;确定拍摄装置与第三目标点之间的第二横轴实际距离和第二纵轴实际距离,其中,第三目标点为车辆坐标系中与第二预设基准点对应的位置点;根据尺度比例、第二横轴实际距离、第二纵轴实际距离、第二横轴像素距离和第二纵轴像素距离将目标坐标转换为车辆坐标系下的物理坐标。
按照上述步骤III中示例的逆透视变换映射矩阵的获取方法,可以将第一逆透视变换图像中矩形底边中点确定为第二预设基准点,坐标为(xc,yc)。那么第一逆透视变换图像中任意一个像素(a,b)与第二预设基准点之间的第二横轴像素距离为(a-xc)、第二纵轴像素距离为(b-yc)。
在车辆坐标系中,将拍摄装置在路面的投影点设置为车辆坐标系的原点,以路面为2D平面,平行于拍摄装置的视线方向作为车辆坐标系y轴正方向,垂直于y轴、且车辆前进方向的右侧为车辆坐标系x轴正方向。
示例性的,参见图6,是本申请实施例提供的车辆坐标系的示意图。当车辆坐标系的x轴在第一逆透视变换图像中的映射线与第一逆透视变换图像中矩阵底边重合时,测量第二预设基准点在车辆坐标系中对应的位置点(即第三目标点)与车辆坐标系中原点在车辆坐标系y轴方向上的距离(假设为l米),那么第一逆透视变换图像中任意一个像素(a,b)在车辆坐标系下的物理坐标为((a-xc)s,(b-yc)s+l)。其中,(a-xc)s和(b-yc)s+l均为真实的物理距离,单位为米。
在本申请实施例中,首先将拍摄装置拍摄的第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像;然后再将第一逆透视变换图像中的第一像素点的第一像素坐标变换到车辆所在的车辆坐标系下的物理坐标。由于逆透视变换处理能够消除透视效应,处理后的第一逆透视变换图像能够反应拍摄物体的真实形态,因此,转换后得到的物理坐标能够较准确地反映拍摄物体的实际位置。通过上述方法,能够有效提高拍摄装置的标定结果的准确性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的拍摄装置的标定方法,图7是本申请实施例提供的拍摄装置的标定装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图7,该装置包括:
图像获取单元71,用于通过待标定的拍摄装置获取第一拍摄图像。
变换处理单元72,用于将所述第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像。
坐标转换单元73,用于将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标。
可选的,变换处理单元72包括:
数据获取模块,用于获取所述拍摄装置的畸变数据。
图像矫正模块,用于根据所述畸变数据对所述第一拍摄图像进行畸变矫正处理,得到矫正图像。
矩阵获取模块,用于获取预设的逆透视变换映射矩阵。
变换处理模块,用于根据所述逆透视变换映射矩阵对所述矫正图像进行逆透视变换处理,得到所述第一逆透视变换图像。
可选的,矩阵获取模块还用于:
获取所述拍摄装置拍摄的第二拍摄图像中第二像素点的第二像素坐标;获取第二逆透视变换图像中第三像素点的第三像素坐标,其中,所述第二逆透视变换图像为所述第二拍摄图像的逆透视变换图像,所述第三像素点与所述第二像素点互为对应的像素点;计算所述第二像素坐标与所述第三像素坐标之间的所述逆透视变换映射矩阵。
可选的,矩阵获取模块还用于:
获取所述第二逆透视变换图像中第一预设基准点的第一基准点坐标;确定所述车辆坐标系下第一目标点和第二目标点之间的第一横轴实际距离和第一纵轴实际距离,其中,所述第一目标点为所述车辆坐标系中与所述第一预设基准点对应的位置点,所述第二目标点为所述车辆坐标系中与所述第三像素点对应的位置点;根据预设的尺度比例将所述第一横轴实际距离转换为第一横轴像素距离,根据预设的尺度比例将所述第一纵轴实际距离转换为第一纵轴像素距离,其中,所述尺度比例用于表示所述第二逆透视变换图像中每个像素对应的所述车辆坐标系下的实际距离;根据所述第一基准点坐标、所述第一横轴像素距离和所述第一纵轴像素距离确定所述第三像素点的所述第三像素坐标。
可选的,矩阵获取模块还用于:
通过公式h1u1+h2v1+h3-h7u1x1-h8v1y1=x1和h4u1+h5v1+h6-h7u1x1-h8v1y1=y1计算矩阵元素,其中,所述(u1,v1)为所述第二像素坐标,所述(x1,y1)为所述第三像素坐标,所述h1、h2、h3、h4、h5、h6、h7和h8为所述矩阵元素;根据确定所述逆透视变换映射矩阵,其中,所述H为所述逆透视变换映射矩阵。
可选的,坐标转换单元73还用于:
获取所述第一逆透视变换图像中第二预设基准点的第二基准点坐标;确定目标坐标与所述第二基准点坐标之间的第二横轴像素距离和第二纵轴像素距离,其中,所述目标坐标为所述第一逆透视变换图像中任意一个像素的像素坐标;确定所述拍摄装置与第三目标点之间的第二横轴实际距离和第二纵轴实际距离,其中,所述第三目标点为所述车辆坐标系中与所述第二预设基准点对应的位置点;根据所述尺度比例、所述第二横轴实际距离、所述第二纵轴实际距离、所述第二横轴像素距离和所述第二纵轴像素距离将所述目标坐标转换为所述车辆坐标系下的物理坐标。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
另外,图7所示的拍摄装置的标定装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元,也可以作为独立的挂件集成到所述终端设备中,还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图8是本申请实施例提供的终端设备的结构示意图。如图8所示,该实施例的终端设备8包括:至少一个处理器80(图8中仅示出一个)处理器、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82,所述处理器80执行所述计算机程序82时实现上述任意各个拍摄装置的标定方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图8仅仅是终端设备8的举例,并不构成对终端设备8的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit,CPU),该处理器80还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述终端设备8的内部存储单元,例如终端设备8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述终端设备8的外部存储设备,例如所述终端设备8上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (6)
1.一种拍摄装置的标定方法,其特征在于,应用于安装在车辆上的拍摄装置,所述方法包括:
通过待标定的拍摄装置获取第一拍摄图像;
将所述第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像;
将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标;所述将所述第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像,包括:
获取所述拍摄装置的畸变数据;
根据所述畸变数据对所述第一拍摄图像进行畸变矫正处理,得到矫正图像;
获取预设的逆透视变换映射矩阵;
根据所述逆透视变换映射矩阵对所述矫正图像进行逆透视变换处理,得到所述第一逆透视变换图像;
所述获取预设的逆透视变换映射矩阵,包括:
获取所述拍摄装置拍摄的第二拍摄图像中第二像素点的第二像素坐标;
获取第二逆透视变换图像中第三像素点的第三像素坐标,其中,所述第二逆透视变换图像为所述第二拍摄图像的逆透视变换图像,所述第三像素点与所述第二像素点互为对应的像素点;
计算所述第二像素坐标与所述第三像素坐标之间的所述逆透视变换映射矩阵;
所述计算所述第二像素坐标与所述第三像素坐标之间的所述逆透视变换映射矩阵,包括:
通过公式h1u1+h2v1+h3-h7u1x1-h8v1y1=x1和h4u1+h5v1+h6-h7u1x1-h8v1y1=y1计算矩阵元素,其中,所述(u1,v1)为所述第二像素坐标,所述(x1,y1)为所述第三像素坐标,所述h1、h2、h3、h4、h5、h6、h7和h8为所述矩阵元素;
根据确定所述逆透视变换映射矩阵,其中,所述H为所述逆透视变换映射矩阵。
2.如权利要求1所述的拍摄装置的标定方法,其特征在于,所述获取第二逆透视变换图像中第三像素点的第三像素坐标,包括:
获取所述第二逆透视变换图像中第一预设基准点的第一基准点坐标;
确定所述车辆坐标系下第一目标点和第二目标点之间的第一横轴实际距离和第一纵轴实际距离,其中,所述第一目标点为所述车辆坐标系中与所述第一预设基准点对应的位置点,所述第二目标点为所述车辆坐标系中与所述第三像素点对应的位置点;
根据预设的尺度比例将所述第一横轴实际距离转换为第一横轴像素距离,根据预设的尺度比例将所述第一纵轴实际距离转换为第一纵轴像素距离,其中,所述尺度比例用于表示所述第二逆透视变换图像中每个像素对应的所述车辆坐标系下的实际距离;
根据所述第一基准点坐标、所述第一横轴像素距离和所述第一纵轴像素距离确定所述第三像素点的所述第三像素坐标。
3.如权利要求2所述的拍摄装置的标定方法,其特征在于,所述将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标,包括:
获取所述第一逆透视变换图像中第二预设基准点的第二基准点坐标;
确定目标坐标与所述第二基准点坐标之间的第二横轴像素距离和第二纵轴像素距离,其中,所述目标坐标为所述第一逆透视变换图像中任意一个像素的像素坐标;
确定所述拍摄装置与第三目标点之间的第二横轴实际距离和第二纵轴实际距离,其中,所述第三目标点为所述车辆坐标系中与所述第二预设基准点对应的位置点;
根据所述尺度比例、所述第二横轴实际距离、所述第二纵轴实际距离、所述第二横轴像素距离和所述第二纵轴像素距离将所述目标坐标转换为所述车辆坐标系下的物理坐标。
4.一种拍摄装置的标定装置,其特征在于,所述装置包括:
图像获取单元,用于通过待标定的拍摄装置获取第一拍摄图像;
变换处理单元,用于将所述第一拍摄图像进行逆透视变换处理,得到第一逆透视变换图像;
坐标转换单元,用于将所述第一逆透视变换图像中的第一像素点的第一像素坐标转换为所述车辆所在的车辆坐标系下的物理坐标;
所述变换处理单元包括:
数据获取模块,用于获取所述拍摄装置的畸变数据;
图像矫正模块,用于根据所述畸变数据对所述第一拍摄图像进行畸变矫正处理,得到矫正图像;
矩阵获取模块,用于获取预设的逆透视变换映射矩阵;
变换处理模块,用于根据所述逆透视变换映射矩阵对所述矫正图像进行逆透视变换处理,得到所述第一逆透视变换图像;
所述矩阵获取模块还用于:
获取所述拍摄装置拍摄的第二拍摄图像中第二像素点的第二像素坐标;获取第二逆透视变换图像中第三像素点的第三像素坐标,其中,所述第二逆透视变换图像为所述第二拍摄图像的逆透视变换图像,所述第三像素点与所述第二像素点互为对应的像素点;计算所述第二像素坐标与所述第三像素坐标之间的所述逆透视变换映射矩阵;
所述矩阵获取模块还用于:
通过公式h1u1+h2v1+h3-h7u1x1-h8v1y1=x1和h4u1+h5v1+h6-h7u1x1-h8v1y1=y1计算矩阵元素,其中,所述(u1,v1)为所述第二像素坐标,所述(x1,y1)为所述第三像素坐标,所述h1、h2、h3、h4、h5、h6、h7和h8为所述矩阵元素;根据确定所述逆透视变换映射矩阵,其中,所述H为所述逆透视变换映射矩阵。
5.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的方法。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110205215.7A CN112927306B (zh) | 2021-02-24 | 2021-02-24 | 拍摄装置的标定方法、装置及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110205215.7A CN112927306B (zh) | 2021-02-24 | 2021-02-24 | 拍摄装置的标定方法、装置及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112927306A CN112927306A (zh) | 2021-06-08 |
CN112927306B true CN112927306B (zh) | 2024-01-16 |
Family
ID=76170630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110205215.7A Active CN112927306B (zh) | 2021-02-24 | 2021-02-24 | 拍摄装置的标定方法、装置及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112927306B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113129211B (zh) * | 2021-06-16 | 2021-08-17 | 贝壳技术有限公司 | 光心对齐检测方法和装置、存储介质、电子设备 |
CN113465573A (zh) * | 2021-06-30 | 2021-10-01 | 深圳市优必选科技股份有限公司 | 单目测距方法、装置及智能装置 |
CN115278049A (zh) * | 2022-06-17 | 2022-11-01 | 维沃移动通信有限公司 | 拍摄方法及其装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07192147A (ja) * | 1993-12-27 | 1995-07-28 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
CN102221358A (zh) * | 2011-03-23 | 2011-10-19 | 中国人民解放军国防科学技术大学 | 基于逆透视投影变换的单目视觉定位方法 |
CN104504680A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 一种用于智能车的逆透视标定方法 |
CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学(武汉) | 一种车辆前向防撞预警方法及系统 |
WO2019105044A1 (zh) * | 2017-11-28 | 2019-06-06 | 东莞市普灵思智能电子有限公司 | 一种镜头畸变矫正和特征提取的方法及系统 |
CN110503683A (zh) * | 2019-08-29 | 2019-11-26 | 的卢技术有限公司 | 一种基于单目测距的狭窄车位倒车入库引导方法和系统 |
CN110517325A (zh) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 |
CN111047536A (zh) * | 2019-12-18 | 2020-04-21 | 深圳市汉森软件有限公司 | Ccd图像矫正方法、装置、设备及存储介质 |
CN112017246A (zh) * | 2019-05-28 | 2020-12-01 | 北京地平线机器人技术研发有限公司 | 一种基于逆透视变换的图像获取方法及装置 |
CN112200734A (zh) * | 2020-09-15 | 2021-01-08 | 江苏大学 | 一种用于交通事故现场重构的逆透视变换计算方法 |
-
2021
- 2021-02-24 CN CN202110205215.7A patent/CN112927306B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07192147A (ja) * | 1993-12-27 | 1995-07-28 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
CN102221358A (zh) * | 2011-03-23 | 2011-10-19 | 中国人民解放军国防科学技术大学 | 基于逆透视投影变换的单目视觉定位方法 |
CN104504680A (zh) * | 2014-11-23 | 2015-04-08 | 北京联合大学 | 一种用于智能车的逆透视标定方法 |
CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学(武汉) | 一种车辆前向防撞预警方法及系统 |
WO2019105044A1 (zh) * | 2017-11-28 | 2019-06-06 | 东莞市普灵思智能电子有限公司 | 一种镜头畸变矫正和特征提取的方法及系统 |
CN112017246A (zh) * | 2019-05-28 | 2020-12-01 | 北京地平线机器人技术研发有限公司 | 一种基于逆透视变换的图像获取方法及装置 |
CN110503683A (zh) * | 2019-08-29 | 2019-11-26 | 的卢技术有限公司 | 一种基于单目测距的狭窄车位倒车入库引导方法和系统 |
CN110517325A (zh) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 |
CN111047536A (zh) * | 2019-12-18 | 2020-04-21 | 深圳市汉森软件有限公司 | Ccd图像矫正方法、装置、设备及存储介质 |
CN112200734A (zh) * | 2020-09-15 | 2021-01-08 | 江苏大学 | 一种用于交通事故现场重构的逆透视变换计算方法 |
Non-Patent Citations (2)
Title |
---|
基于单目视觉对地面特征点定位方法;汪进;王峰;杨春媚;肖飞;邱文添;李学易;;电视技术(02);全文 * |
基于非线性逆透视变换的摄像机畸变参数标定;李颢;杨明;;上海交通大学学报(10);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112927306A (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
CN112927306B (zh) | 拍摄装置的标定方法、装置及终端设备 | |
CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
CN110689581A (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
CN109828250B (zh) | 一种雷达标定方法、标定装置及终端设备 | |
CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
CN110009571B (zh) | 相机图像中检测位置的经纬度计算方法、系统及存储介质 | |
CN114067001B (zh) | 车载相机角度标定方法、终端及存储介质 | |
CN112270719A (zh) | 相机标定方法、装置及系统 | |
CN107680035B (zh) | 一种参数标定方法和装置、服务器及可读存储介质 | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN115082565A (zh) | 相机标定方法、装置、服务器及介质 | |
CN111862208B (zh) | 一种基于屏幕光通信的车辆定位方法、装置及服务器 | |
CN112102378A (zh) | 图像配准方法、装置、终端设备及计算机可读存储介质 | |
CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
CN111445513A (zh) | 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质 | |
CN111336938A (zh) | 一种机器人及其物体距离检测方法和装置 | |
CN116228535A (zh) | 图像处理方法、装置、电子设备及车辆 | |
CN114913105A (zh) | 激光点云融合方法、装置、服务器及计算机可读存储介质 | |
CN113112551B (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 | |
CN114415129A (zh) | 基于多项式模型的视觉与毫米波雷达联合标定方法及装置 | |
CN111311690B (zh) | 一种深度相机的标定方法、装置、终端及计算机存储介质 | |
CN113255405A (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
CN113870365B (zh) | 相机标定方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |