CN109859155A - 影像畸变检测方法和系统 - Google Patents

影像畸变检测方法和系统 Download PDF

Info

Publication number
CN109859155A
CN109859155A CN201711235491.8A CN201711235491A CN109859155A CN 109859155 A CN109859155 A CN 109859155A CN 201711235491 A CN201711235491 A CN 201711235491A CN 109859155 A CN109859155 A CN 109859155A
Authority
CN
China
Prior art keywords
image
picture
lines
width value
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711235491.8A
Other languages
English (en)
Inventor
魏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201711235491.8A priority Critical patent/CN109859155A/zh
Priority to US16/767,147 priority patent/US11360304B2/en
Priority to PCT/CN2018/118275 priority patent/WO2019105433A1/zh
Publication of CN109859155A publication Critical patent/CN109859155A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02Testing optical properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

本发明实施例公开了一种影像畸变检测方法和系统,属于显示系统测试技术领域。该方法包括:控制影像输出设备输出测试影像,所述测试影像是影像输出设备输入测试图形后输出的影像;采用图像获取装置对所述测试影像进行拍摄,得到成像图片,所述成像图片是所述图像获取装置聚焦在影像输出设备的成像位置时拍摄的图片,所述图像获取装置设置在影像输出设备的设定观察点;基于所述成像图片中线条的宽度确定影像畸变是否满足要求。本发明实施例可以用于检测影像输出设备输出的影像的景深畸变。

Description

影像畸变检测方法和系统
技术领域
本发明涉及显示系统测试技术领域,特别涉及一种影像畸变检测方法和系统。
背景技术
随着科技的进步,显示技术的应用越来越广泛。例如,虚拟影像显示技术和全息影像显示技术等逐步应用到人们的日常生活中。这类显示技术中,影像均不是在显示屏上成像,容易发生景深畸变。而在一些场景中,对于成像质量的要求较高,例如涉及到驾驶员人身安全的车载抬头显示器(Head-Up Display,HUD),影像的景深畸变可能带来危险,因此,需要对输出影像的景深畸变进行检测。
发明内容
本发明实施例提供了一种影像畸变检测方法和系统,其可以用于检测影像输出设备输出的影像的景深畸变。所述技术方案如下:
一方面,本发明实施例提供了一种影像畸变检测方法,包括:控制影像输出设备输出测试影像,所述测试影像是影像输出设备输入测试图形后输出的影像;采用图像获取装置对所述测试影像进行拍摄,得到成像图片,所述成像图片是所述图像获取装置聚焦在影像输出设备的成像位置时拍摄的图片,所述图像获取装置设置在影像输出设备的设定观察点;基于所述成像图片中线条的宽度确定影像畸变是否满足要求。
可选地,所述测试图形为等间距网格图形。
在本发明实施例的一种实施方式中,所述采用图像获取装置对所述测试影像进行拍摄,得到成像图片,包括:将参照物放置在影像输出设备的成像位置,所述成像位置与所述设定观察点之间的间距等于设定成像距离;使所述图像获取装置聚焦在所述参照物上,对所述测试影像进行拍摄,得到所述成像图片。
在本发明实施例的另一种实施方式中,所述采用图像获取装置对所述测试影像进行拍摄,得到成像图片,包括:以设定间隔调节所述图像获取装置的焦距,并在每次调节后对所述测试影像进行一次拍摄,得到多个影像图片;从所述多个影像图片中选择最清晰的影像图片,作为所述成像图片。
进一步地,所述从所述多个影像图片中选择最清晰的影像图片,作为所述成像图片,包括:确定各个所述影像图片中设定线条的宽度;将宽度最小的设定线条所属的影像图片作为所述成像图片。
更进一步地,所述确定各个影像图片中设定线条的宽度,包括:确定所述设定线条在多个测量点处的宽度,所述多个测量点沿所述设定线条的延伸方向间隔布置在所述设定线条上;根据多个测量点处的宽度确定所述设定线条的宽度。
在本发明实施例的一种实施方式中,所述基于所述成像图片中线条的宽度确定影像畸变是否满足要求,包括:确定所述成像图片中线条的最大宽度值;当所述最大宽度值不大于设定阈值时,确定影像畸变满足要求;或者,当所述最大宽度值与指定线条宽度的比值不大于设定阈值时,确定影像畸变满足要求;或者,当所述最大宽度值与指定线条宽度的差值不大于设定阈值时,确定影像畸变满足要求。
可选地,所述确定所述成像图片中线条的最大宽度值,包括:获取所述成像图片的亮度数据;根据所述亮度数据确定所述成像图片中各线条的两边缘;对于所述成像图片中的每根线条,确定在垂直于线条的延伸方向的方向上两边缘之间的间距;将最大间距作为所述线条的最大宽度值。
可选地,所述确定所述成像图片中线条的最大宽度值,包括:将所述成像图片转换为灰度图;对所述灰度图进行二值化处理,得到二值化图像;确定所述二值化图像中,在垂直于各线条的延伸方向上连续为设定值的像素点的个数;将最大个数作为所述线条的最大宽度值。
在本发明实施例的又一实施方式中,所述基于所述成像图片中线条的宽度确定影像畸变是否满足要求,包括:确定所述成像图片中线条的最大宽度值对应的位置;调整所述图像获取装置的焦距,使得所述图像获取装置聚焦在所述最大宽度值对应的位置;确定所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距;根据所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,确定影像畸变是否满足要求。
进一步地,所述确定所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,包括:在所述图像获取装置聚焦在所述最大宽度值对应的位置之后,将参照物置于能够在所述图像获取装置中清晰成像的位置;将所述参照物到所述设定观察点之间的距离,确定为所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距。
更进一步地,所述根据所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,确定影像畸变是否满足要求,包括:当所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距在设定范围内时,确定影像畸变满足要求;当所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距不在设定范围内时,确定影像畸变不满足要求。
可选地,所述图像获取装置为照度计或者电荷耦合元件照相机。
可选地,所述影像输出设备包括抬头显示器或全息影像输出设备。
另一方面,本发明实施例还提供了一种影像畸变检测系统,包括:图像获取装置,用于对影像输出设备输出的测试影像进行拍摄,得到成像图片,所述成像图片是所述图像获取装置聚焦在所述影像输出设备的成像位置时拍摄的图片,所述图像获取装置设置在所述影像输出设备的设定观察点;控制装置,用于基于所述成像图片中线条的宽度确定影像畸变是否满足要求。
在本发明实施例的一种实施方式中,测试影像畸变检测系统还包括参照物,所述参照物用于放置在所述影像输出设备的成像位置,所述成像位置与所述设定观察点之间的间距等于设定成像距离;所述图像获取装置用于聚焦在所述参照物上,对所述测试影像进行拍摄,得到所述成像图片。
在本发明实施例的另一种实施方式中,所述图像获取装置用于以设定的间隔变化焦距,并在每次变化焦距后对所述测试影像进行一次拍摄,得到多个影像图片;所述控制装置用于从所述多个影像图片中选择最清晰的影像图片,作为所述成像图片。
可选地,所述控制装置,用于确定所述成像图片中线条的最大宽度值;当所述最大宽度值不大于设定阈值时,确定影像畸变满足要求;或者,当所述最大宽度值与指定线条宽度的比值不大于设定阈值时,确定影像畸变满足要求;或者,当所述最大宽度值与指定线条宽度的差值不大于设定阈值时,确定影像畸变满足要求。
可选地,所述控制装置,用于确定成像图片中线条的最大宽度值对应的位置;调整图像获取装置的焦距,使得所述图像获取装置聚焦在所述最大宽度值对应的位置;确定所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距;根据所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,确定影像畸变是否满足要求。
本发明实施例提供的技术方案带来的有益效果是:
若虚拟影像输出设备输出的虚拟影像在景深方向存在畸变,那么拍摄得到的成像图片中的线条将会变模糊或者变宽,因此,可以采用图像获取装置拍摄成像位置的影像,得到成像图片,并根据成像图片中线条的宽度来确定影像的畸变是否满足要求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种影像畸变检测方法的流程示意图;
图2a是本发明实施例提供的一种网格图形的示意图;
图2b是本发明实施例提供的等角度网格图形的示意图;
图3是本发明实施例提供的设定观察点的设置示意图;
图4是本发明实施例提供的另一种影像畸变检测方法的流程示意图;
图5是本发明实施例提供的又一种影像畸变检测方法的流程示意图;
图6是本发明实施例提供的聚焦位置检测方式的结构示意图;
图7是本发明实施例提供的一种影像畸变检测系统的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种影像畸变检测方法,图1为该影像畸变检测方法的流程示意图,如图1所示,该方法包括:
S101:控制影像输出设备输出测试影像。
其中,所述测试影像是影像输出设备输入测试图形后输出的影像。
在本实施例中,影像输出设备是指输出影像不在物理成像屏上成像的影像输出设备,例如HUD、全息影像输出设备等。影像输出设备输出的影像既可以是虚拟影像(例如HUD的输出影像),也可以是真实影像(例如全息影像输出设备输出的全息影像)。
该步骤S101可以包括:点亮影像输出设备的显示源并将测试图形的图像数据输入显示源,从而使得影像输出设备输出测试影像。以投射式HUD为例,投射式HUD通常包括显示源、光学系统(图未示)和成像屏(通常为汽车前挡风玻璃),其中,显示源用于根据输入的图像数据输出图形,该图形经过光学系统投射至成像屏,在成像屏的与显示源所在侧相反的一侧成像。
在本实施例中,测试图形可以为网格图形。图2a为本发明实施例提供的一种网格图形的示意图。如图2a所示,网格图形2包括多根平行间隔设置的第一直线21和多根平行间隔设置的第二直线22,第一直线与第二直线交叉设置,例如相互垂直。实际应用中,第一直线沿第一方向延伸,第二直线沿第二方向延伸,第一方向可以为水平方向,第二方向可以为垂直方向。采用网格图形可以覆盖影像输出设备的整个成像区域,更好地反映影像输出设备输出影像的畸变。当然,第一直线和第二直线的延伸方向也可以为与水平方向呈设定角度的倾斜方向。
进一步地,该网格图形可以为等间距网格图形或者等角度网格图形。
在等间距网格图形中,任意相邻的两条第一直线21之间的间距相等,任意相邻的两条第二直线22之间的间距也相等,且任意相邻的两条第一直线21之间的间距等于任意相邻的两条第二直线22之间的间距。也就是说,图2a中的 Xn=nX1,其中,X1为多条第二直线中最中间的一根第二直线(记为第0根第二直线)和与之相邻的第二直线之间的间距,而Xn为第0根第二直线一侧的第 n根第二直线到第0根第二直线之间的间距。Y1=X1,且Yn=nY1,其中,Y1 为多条第一直线中最中间的一根第一直线(记为第0根第一直线)和与之相邻的第一直线之间的间距,而Yn为第0根第一直线一侧的第n根第一直线到第0 根第一直线之间的间距。当第一方向为水平方向且第二方向为垂直方向时,第0 根第一直线即为网格图形的水平中心线,第0根第二直线即为网格图形的垂直中心线。
在等角度网格图形中,如图2b所示,设定观察点O到任意相邻的两条第一直线21的垂线之间的夹角均为固定角度A,并且设定观察点到任意相邻的两条第二直线的垂线之间的夹角也为固定角度A,图2b中仅以图2a中的第0根第二直线和第0根第二直线右侧的第1根第二直线为例进行说明。实际应用中,通常A=1°。当然,也可以根据实际情况设置为其他值,例如0.5°、1.5°、2°等。
进一步地,当A=1°时,可以按照以下公式确定各相邻的第一直线之间的距离和各相邻的第二直线之间的距离:
Yn=S*tan(n°),
Xm=S*tan(m°),
其中,Yn表示第0根第一直线一侧的第n根第一直线到第0根第一直线之间的距离,Xm表示第0根第二直线一侧的第m根第二直线到第0根第二直线之间的距离,S为设定值。
实现时,等间距网格图形制作起来更简单,且线条的分布更均匀,因此能够更好地反应出影像的畸变,因此采用等间距网格更为方便。
在其他实施方式中,测试图形也可以包括多条平行间隔设置的线条,这多条平行间隔设置的线条的延伸方向可以为水平方向、竖直方向或者与水平方向呈设定角度的倾斜方向。由于在实际应用中,影像输出设备的成像区域(即能够显示影像的区域)通常为矩形,所以当测试图形为多条平行间隔设置的线条时,倾斜方向延伸的线条能够更好地覆盖整个成像区域。
需要说明的是,测试图形中各条线条的宽度相等。其中,线条的宽度为与线条的长度方向垂直的方向上的尺寸。
S102:采用图像获取装置对该测试影像进行拍摄,得到成像图片。
其中,所述成像图片是所述图像获取装置聚焦在所述影像输出设备的成像位置时拍摄的图片,所述图像获取装置设置在所述影像输出设备的设定观察点。
对于影像输出设备而言,会设置有最佳观看距离,并且在该最佳观看距离处设有一个矩形区域作为最佳观察区域S0,该矩形区域可以被称为眼盒。如图 3所示,该设定观察点可以为矩形区域的中心点O,即对角线的交点。对于HUD 而言,通常还设置有最近观察区域S1和最远观察区域S2,最佳观察位置S0位于最近观察区域S1和最远观察区域S2之间。实现时,该矩形区域的长度通常为140mm~160mm,宽度通常为40mm~60mm。该矩形区域的水平高度可以根据实际需要设置,通常在测试过程中,会将矩形区域的中心点与测试影像的中心点设置在同一水平高度。将图像获取装置设置在设定观察点,是指图像获取装置的镜头的中心位于设定观察点处,且镜头的中心线对准测试影像的中心点。
进一步地,图像获取装置可以为照度计(例如BM_7(日本TOPCON公司生产的色度亮度测试仪))或电荷耦合元件(Charge-coupled Device,CCD)照相机等。采用照度计对影像进行拍摄,在获取成像图片的同时可以得到成像图片中每个像素点的亮度数据,例如像素点位置坐标和像素点位置坐标对应的亮度数据。
在本发明实施例的一种实施方式中,该步骤S102可以包括:将参照物放置在所述影像输出设备的成像位置,所述成像位置与所述设定观察点之间的间距等于设定成像距离;将所述图像获取装置聚焦在参照物上,对测试影像进行拍摄,得到所述成像图片。
该方式适用于影像输出设备的成像距离已知的情况,通过在成像位置处放置参照物,使得图像获取装置容易聚焦到影像输出设备的成像位置并进行拍摄,实现方便简单。
其中,参照物上设有参照图形,该参照图形可以为米字图形,即由相交于一点的四条线段组成,这四条线段中包括与第一直线的延伸方向相同的线段,且任意相邻两条线段之间的夹角均为45°。例如,在本实施例中,参照图形为圆的四条直径,且四条直径中任意相邻的两条直径之间的夹角均为45°。当然,参照图形也可以为其他图形,例如包括字母、数字、文字的任意一种或者任意两种的组合,或者字母、数字和文字中的至少一种与线条的任意组合。
实际应用中,参照物可以包括底板以及设置在底板的一侧面的涂层或贴画等,该涂层或贴画用于展示参照图形。在其他实施例中,该参照物还可以为电子显示屏,该电子显示屏用于展示参照图形。为了便于调节参照物的位置,该参照物上还可以设置有升降机构和/或平移机构,升降机构用于调节参照物在Y 方向(例如竖直方向)上的高度,平移机构包括X方向平移机构和Z方向平移机构,Z方向为图像获取装置的镜头中心线的延伸方向,X方向垂直于Y方向和Z方向。升降机构和平移机构可以采用现有任意的机构,包括但不限于齿轮齿条移动机构、丝杠移动机构等。
在本发明实施例的另一种实施方式中,该步骤S102可以包括:以设定间隔调节图像获取装置的焦距,并且在每次调节后对测试影像进行拍摄,得到多个影像图片;将多个影像图片中,最清晰的影像图片作为所述成像图片。
实现时,设定间隔可以为图像获取装置镜头上的刻度,每次调节将镜头转动一个刻度。
进一步地,从多个影像图片中,确定最清晰的影像图片的方式可以包括:确定各个影像图片中设定线条的宽度;将宽度最小的设定线条所属的影像图片作为所述成像图片。
进一步地,所述确定各个影像图片中设定线条的宽度,包括:确定所述设定线条在多个测量点处的宽度,所述多个测量点沿设定线条的延伸方向间隔布置在所述设定线条上;根据多个测量点处的宽度确定设定线条的宽度。
其中,设定线条是指影像图片中设定位置的线条,设定线条可以为至少一根。
例如,在测试图形为多条平行线的情况下,设定线条可以为多条平行线正中间的一根线条。在这种情况下,可以将多个测量点处的宽度值的平均值作为设定线条的宽度。
又例如,在测试图形为网格图形的情况下,设定线条可以包括网格图形中在第一方向上位于正中间的一根线条和在第二方向上位于正中间的一根线条,即网格图形的十字中心线(如图2a中的23所示)。在这种情况下,可以分别计算各条线条上的多个测量点的宽度的平均值,作为对应线条的宽度,然后将各线条的宽度之和或者各线条的宽度的平均值作为设定线条的宽度。
当然,设定线条还可以选择测试图形中位于中部的多根线条。但是通常情况下,仅通过测试图形的中心线的宽度就可以准确确定出成像图片,且计算过程简单,所以多选用测试图形的中心线作为设定线条。
为了保证确定出的线条的宽度的准确度,在每根线条上的测量点的数量均为至少10个点。例如,当设定线条为网格图形的十字中心线时,第一方向上的设定线条上测量点的数量为至少10个点,第二方向上的设定线条上的测量点的数量也为至少10个点。需要说明的是,第一方向上的设定线条上的测量点的数量与第二方向上的设定线条上的测量点的数量可以相同,也可以不同,可以根据实际需要设置。
进一步地,对于网格图形的设定线条上的测量点的设置可以采用以下方式:对于沿第一方向延伸的设定线条,可以在每相邻的两条第二直线之间的设定线条上设置一个测量点;对于沿第二方向延伸的设定线条,可以在每相邻的两条第一直线之间的设定线条上设置一个测量点。
该方式同时适用于影像输出设备的成像距离已知和未知的情况,并且可以通过计算机等智能设备自动确定,自动化程度高。
在本发明实施例的又一种实施方式中,该步骤S102可以包括:手动调节图像获取装置的焦距并观察测试影像在图像获取装置中的成像情况,直至图像获取装置聚焦在测试影像上;对测试影像进行拍摄,得到所述成像图片。
S103:基于所述成像图片中线条的宽度确定影像畸变是否满足要求。
若影像产生了景深畸变,则在成像位置拍摄得到的线条将会变模糊变粗,即线条的宽度变大,成像图片中线条的宽度即反应了影像的畸变程度,因此,可以基于成像图片中线条的宽度来确定影像畸变是否满足要求。基于成像图片中线条的宽度确定影像畸变是否满足要求可以采用图4和图5所示的方式,下面将结合图4和图5分别进行说明。
图4为本发明实施例提供的一种影像畸变检测方法的流程图。如图4所示,该方法包括:
S201:控制影像输出设备输出测试影像。
S202:采用图像获取装置对该测试影像进行拍摄,得到成像图片。
该步骤S201和S202的实现方式可以参见前述步骤S101和S102,在此省略详细描述。
S203:确定所述成像图片中线条的最大宽度值。
在第一种实现方式中,该步骤S203可以包括:将成像图片转换为灰度图;对灰度图进行二值化处理,得到二值化图像;确定二值化图像中,在垂直于各线条的延伸方向上连续为设定值的像素点的个数;将最大个数作为所述线条的最大宽度值。在这种实现方式中,可以采用CCD照相机作为图像获取装置,成本较低。
其中,对灰度图进行二值化处理,包括:将灰度图中各个像素点的灰度值与设定阈值比较,将灰度值大于设定阈值的像素点标记为第一值(例如1),表示该像素点属于线条,将灰度值不大于设定阈值的像素点标记为第二值(例如0),表示该像素点不属于线条。该设定阈值可以根据实际情况设定,只要能够区分出像素点属于线条或不属于线条即可。
以前述第一直线和第二直线相互垂直且第一方向为水平方向、第二方向为垂直方向的网格图形为例,确定二值化图像中,在垂直于各线条的延伸方向上连续为设定值的像素点的个数可以采用以下方式:逐行确定连续为第一值的像素点的个数;逐列确定连续为第一值的像素点的个数,其中,行方向为水平方向,列方向为垂直方向。可见,采用这种网格图形作为测试图形,可以采用逐行逐列扫描的方式确定连续为第一值的像素点的个数,实现简单方便。
在第二种实现方式中,该步骤S203可以包括:获取成像图片中各个像素点的亮度数据;根据所述亮度数据确定成像图片中各线条的两边缘;对于成像图片中的每根线条,确定在垂直于线条的延伸方向的方向上两边缘之间的间距;将最大间距作为所述线条的最大宽度值。在该实现方式中,由于需要利用成像图片的亮度数据,所以需要采用照度计作为图像获取装置。
其中,根据亮度数据确定各线条的两边缘,可以采用以下方式:确定在垂直于线条的延伸方向的方向上相邻的两像素点的亮度的比值;若比值大于或等于设定值,则确定相邻的两像素点中亮度较大的像素点为线条的边缘上的点。实际应用中,该设定值可以为10。
S204:根据最大宽度值,判断景深畸变是否满足要求。
该步骤S204可以采用以下方式中的任意一种:
若最大宽度值和指定线条宽度的比值不大于设定值,则景深畸变满足要求,若最大宽度值和指定线条宽度的比值大于设定值,则景深畸变不满足要求;或者,
若最大宽度值和指定线条宽度的差值不大于设定值,则景深畸变满足要求,若最大宽度值和指定线条宽度的差值大于设定值,则景深畸变不满足要求;或者,
若最大宽度值不大于设定阈值时,则景深畸变满足要求,若最大宽度值大于设定阈值,则景深畸变不满足要求。
其中,指定线条宽度为成像图片中的线条的最小宽度值或者平均宽度或者设定线条的宽度(例如前述十字中心线的宽度)。其中,线条的最小宽度值可以参见前述最大宽度值的确定方式,在此省略详细描述。设定线条的宽度的确定方式可以参见前述步骤S102的相关描述。而成像图片中的线条的平均宽度即将成像图片中的所有线条都按照设定线条的方式进行处理,得到每条线条的宽度,然后再取所有线条宽度的平均值,得到成像图片中的线条的平均宽度。
图5为本发明实施例提供的另一种影像畸变检测方法的流程图。如图5所示,该方法包括:
S301:控制影像输出设备输出测试影像。
S302:采用图像获取装置对该测试影像进行拍摄,得到成像图片。
该步骤S301和S302的实现方式可以参见前述步骤S101和S102,在此省略详细描述。
S303:确定成像图片中线条的最大宽度值对应的位置。
该步骤S303的实现方式可以参见前述步骤S203,在此省略详细描述。
S304:调整图像获取装置的焦距,使得所述图像获取装置聚焦在所述最大宽度值对应的位置。
其中,使得所述调节图像获取装置聚焦在最大宽度值对应的位置是指所述最大宽度值对应位置的线条能够在所述图像获取装置中清晰成像。
在一种实现方式中,该步骤S304可以包括:以设定间隔调节图像获取装置的焦距,并在每次调节后对测试影像进行拍摄,得到多个影像图像;确定最大宽度值对应位置的线条的宽度;当最大宽度值对应位置的线条的宽度与前述指定线条宽度的差值不超过设定值时,确定所述调节图像获取装置聚焦在所述最大宽度值对应的位置。其中,指定线条宽度可以为成像图片中的线条的最小宽度值或者平均宽度或者设定线条的宽度。
在另一种实现方式中,可以人为判断图像获取装置是否聚焦在所述最大宽度值对应的位置。
S305:确定所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距。
该步骤S305可以采用以下方式实现:在所述图像获取装置聚焦在所述最大宽度值对应的位置之后,将参照物置于所述图像获取装置的聚焦位置;将参照物到图像获取装置的距离,确定为所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距。
在一种实现方式中,将参照物置于所述图像获取装置的聚焦位置,包括:使参照物的中心位于测试影像的中心与设定观察点的连线上,调节参照物到设定观察点的距离,当观察到参照物清晰成像时,即可以根据参照物的位置确定图像获取装置聚焦在所述最大宽度值对应的位置时的焦距。通过人为观察参照物是否位于图像获取装置的聚焦位置,实现起来简单方便。
在另一种实现方式中,将参照物置于所述图像获取装置的聚焦位置,包括:使参照物的中心位于测试影像的中心与设定观察点的连线上,在所述图像获取装置聚焦在所述最大宽度值对应的位置之后,以设定距离间隔调节参照物到设定观察点的距离,并在每次调节参照物到设定观察点的距离后,图像获取装置对参照物和测试影像进行拍摄,得到第一图像;
将第一图像中参照物相对于测试影像的位置与第二图像中参照物相对于测试影像的位置进行比较,若第一图像中参照物相对于测试影像的位置与第二图像中参照物相对于测试影像的位置相同,则表示参照物位于图像获取装置的聚焦位置,其中,第二图像是参照物位于影像输出设备的成像位置时,采用图像获取装置聚焦在该成像位置对参照物和测试影像进行拍摄得到的图像。
例如,假设参照物为圆形,若第二图像中,参照物分别与网格图形的水平中心线的上下第三根线条以及网格图形的垂直中心线的左右第三根线条相切,则当第一图像中,参照物也与网格图形的水平中心线的上下第三根线条以及网格图形的垂直中心线的左右第三根线条相切时,表示参照物位于图像获取装置的聚焦位置。
其中,以设定距离间隔调节参照物到设定观察点的距离,可以在影像输出设备的成像距离前后一定范围内调节。由于影像的景深畸变通常发生在成像距离的前后位置,所以在影像输出设备的成像距离前后一定范围内调节可以减少调节次数,以便于快速确定图像获取装置的聚焦位置。
实现时,可以在图像获取装置和测试影像的中心所在直线方向上设置直线导轨,并将参照物设置在直线导轨上;在所述直线导轨上移动参照物,以便于控制参照物相对于图像获取装置的位置。如图6所示,参照物1设置在支架1a 上,支架1a设置在直线导轨2上,直线导轨2沿图像获取装置3的镜头的中心和测试影像4的中心的连线方向布置,支架1a可以沿直线导轨2移动,即沿Z 方向移动。参照物1设置在支架1a上,参照物1可以在支架1a上沿X方向和 Y方向移动。实现时,参照物1的位置移动可以采用自动方式,例如采用电机等驱动,也可以采用手动方式。
在一种实现方式中,如图6所示,可以在直线导轨2上或者附近设置刻度 2a,以便于直观地确定参照物与图像获取装置之间的距离。在另一种实现方式中,可以设置位置传感器,实时检测参照物在直线导轨上的位置,并根据检测到的位置确定参照物与图像获取装置之间的距离。
S306:根据所述图像获取装置聚焦在最宽线条位置时的焦距,确定测试影像的景深畸变是否满足要求。
该步骤S306可以包括:当所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距在设定范围内时,确定影像畸变满足要求;当所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距不在设定范围内时,确定影像畸变不满足要求。
其中,设定范围根据拍摄成像图片时图像获取装置的焦距确定。通常为A ±a,a大于0,其中,A为拍摄成像图片时图像获取装置的焦距,a根据对影像输出设备的畸变要求确定,可以根据实际要求设置,a的值越小,对于影像畸变的要求越高。
在本实施例中,基于成像图片中最宽线条调节图像获取装置的焦距,并根据图像获取装置聚焦在最宽线条位置时的焦距确定影像的景深畸变是否满足要求,从而实现了基于所述成像图片中线条的宽度确定影像畸变是否满足要求。
需要说明的是,在本发明实施例提供的测试方法中,图像获取装置的实际物理位置不变,仅通过调节图像获取装置的焦距来改变图像获取装置的聚焦位置。
本发明实施例还提供了一种影像畸变检测系统,图7为本发明实施例提供的影像畸变检测的结构示意图。如图7所示,该影像畸变检测系统包括:图像获取装置71和控制装置72。其中,图像获取装置71用于对影像输出设备输出的测试影像进行拍摄,得到成像图片,所述成像图片是所述图像获取装置聚焦在影像输出设备的成像位置时拍摄的图片,所述图像获取装置71设置在影像输出设备的设定观察点。控制装置72用于基于所述成像图片中线条的宽度确定影像畸变是否满足要求。
在一种实现方式中,该影像畸变检测系统还可以包括参照物,该参照物用于放置在影像输出设备的成像位置,所述成像位置与所述设定观察点之间的间距等于设定成像距离;所述图像获取装置71用于聚焦在所述参照物上,对所述测试影像进行拍摄,得到影像图片。该方式适用于成像距离已知的影像输出设备。
在另一种实现方式中,图像获取装置71用于以设定的间隔变化焦距,并在每次变化焦距后对所述测试影像进行一次拍摄,得到多个影像图片;所述控制装置用于从影像图片中选择最清晰的影像图片,作为所述成像图片。该方式同时适用于成像距离已知或未知的影像输出设备。该方式的具体实现过程可以参见前述步骤S102,在此不在赘述。
控制装置确定影像畸变是否满足要求可以采用以下两种方式中的一种:
第一种实现方式、所述控制装置62用于确定所述成像图片中线条的最大宽度值;当所述最大宽度值不大于设定阈值时,确定影像畸变满足要求;或者,当所述最大宽度值与指定线条宽度的比值不大于设定阈值时,确定影像畸变满足要求;或者,当所述最大宽度值与指定线条宽度的差值不大于设定阈值时,确定影像畸变满足要求。第一种实现方式的具体实现过程可以参见图4所示实施例的相关描述,在此省略详细描述。这种实现方式可以利用图像处理技术确定影像畸变是否满足要求,自动化程度高,系统结构简单。
第二种实现方式、所述控制装置62用于确定成像图片中线条的最大宽度值对应的位置;调整图像获取装置的焦距,使得所述图像获取装置聚焦在所述最大宽度值对应的位置;确定所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距;根据所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,确定影像畸变是否满足要求。
在第二种实现方式中,还可以设置在图像获取装置(即设定观察点)和测试影像的中心所在直线方向上设置直线导轨,并在直线导轨上设置参照物;通过在所述直线导轨上移动参照物,以便于控制参照物相对于图像获取装置的位置。
进一步地,还可以在直线导轨上或者附近设置刻度值,以便于直观地确定参照物与图像获取装置之间的距离。在另一种实现方式中,可以设置位置传感器,实时检测参照物在直线导轨上的位置,控制装置可以根据检测到的位置确定参照物与图像获取装置之间的距离。
更进一步地,还可以设置图像获取装置的焦距调节装置,该焦距调节装置可以在控制装置的控制下转动图像获取装置的镜头,从而以设定间隔调节图像获取装置的焦距。
图像获取装置、参照物的布置方式可以参见图6及其相关描述,在此不再赘述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (19)

1.一种影像畸变检测方法,其特征在于,包括:
控制影像输出设备输出测试影像,所述测试影像是影像输出设备输入测试图形后输出的影像;
采用图像获取装置对所述测试影像进行拍摄,得到成像图片,所述成像图片是所述图像获取装置聚焦在所述影像输出设备的成像位置时拍摄的图片,所述图像获取装置设置在所述影像输出设备的设定观察点;
基于所述成像图片中线条的宽度确定影像畸变是否满足要求。
2.根据权利要求1所述的影像畸变检测方法,其特征在于,所述测试图形为等间距网格图形。
3.根据权利要求1所述的影像畸变检测方法,其特征在于,所述采用图像获取装置对所述测试影像进行拍摄,得到成像图片,包括:
将参照物放置在所述影像输出设备的成像位置,所述成像位置与所述设定观察点之间的间距等于设定成像距离;
使所述图像获取装置聚焦在所述参照物上,对所述测试影像进行拍摄,得到所述成像图片。
4.根据权利要求1所述的影像畸变检测方法,其特征在于,所述采用图像获取装置对所述测试影像进行拍摄,得到成像图片,包括:
以设定间隔调节所述图像获取装置的焦距,并在每次调节后对所述测试影像进行一次拍摄,得到多个影像图片;
从所述多个影像图片中选择最清晰的影像图片,作为所述成像图片。
5.根据权利要求4所述的影像畸变检测方法,其特征在于,所述从所述多个影像图片中选择最清晰的影像图片,作为所述成像图片,包括:
确定各个所述影像图片中设定线条的宽度;
将宽度最小的设定线条所属的影像图片作为所述成像图片。
6.根据权利要求5所述的影像畸变检测方法,其特征在于,所述确定各个所述影像图片中设定线条的宽度,包括:
确定所述设定线条在多个测量点处的宽度,所述多个测量点沿所述设定线条的延伸方向间隔布置在所述设定线条上;
根据多个测量点处的宽度确定所述设定线条的宽度。
7.根据权利要求1-6任一项所述的影像畸变检测方法,其特征在于,所述基于所述成像图片中线条的宽度确定影像畸变是否满足要求,包括:
确定所述成像图片中线条的最大宽度值;
当所述最大宽度值不大于设定阈值时,确定影像畸变满足要求;或者,
当所述最大宽度值与指定线条宽度的比值不大于设定阈值时,确定影像畸变满足要求;或者,
当所述最大宽度值与指定线条宽度的差值不大于设定阈值时,确定影像畸变满足要求。
8.根据权利要求7所述的影像畸变检测方法,其特征在于,所述确定所述成像图片中线条的最大宽度值,包括:
获取所述成像图片的亮度数据;
根据所述亮度数据确定所述成像图片中各线条的两边缘;
对于所述成像图片中的每根线条,确定在垂直于线条的延伸方向的方向上两边缘之间的间距;
将最大间距作为所述线条的最大宽度值。
9.根据权利要求7所述的影像畸变检测方法,其特征在于,所述确定所述成像图片中线条的最大宽度值,包括:
将所述成像图片转换为灰度图;
对所述灰度图进行二值化处理,得到二值化图像;
确定所述二值化图像中,在垂直于各线条的延伸方向上连续为设定值的像素点的个数;
将最大个数作为所述线条的最大宽度值。
10.根据权利要求1-6任一项所述的影像畸变检测方法,其特征在于,所述基于所述成像图片中线条的宽度确定影像畸变是否满足要求,包括:
确定所述成像图片中线条的最大宽度值对应的位置;
调整所述图像获取装置的焦距,使得所述图像获取装置聚焦在所述最大宽度值对应的位置;
确定所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距;
根据所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,确定影像畸变是否满足要求。
11.根据权利要求10所述的影像畸变检测方法,其特征在于,所述确定所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,包括:
在所述图像获取装置聚焦在所述最大宽度值对应的位置之后,将参照物置于所述图像获取装置的聚焦位置;
将所述参照物到所述设定观察点之间的距离,确定为所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距。
12.根据权利要求10所述的影像畸变检测方法,其特征在于,所述根据所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,确定影像畸变是否满足要求,包括:
当所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距在设定范围内时,确定影像畸变满足要求;
当所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距不在设定范围内时,确定影像畸变不满足要求。
13.根据权利要求1-6任一项所述的影像畸变检测方法,其特征在于,所述图像获取装置为照度计或者电荷耦合元件照相机。
14.根据权利要求1-6任一项所述的影像畸变检测方法,其特征在于,所述影像输出设备包括抬头显示器或全息影像输出设备。
15.一种影像畸变检测系统,其特征在于,包括:
图像获取装置,用于对影像输出设备输出的测试影像进行拍摄,得到成像图片,所述成像图片是所述图像获取装置聚焦在所述影像输出设备的成像位置时拍摄的图片,所述图像获取装置设置在所述影像输出设备的设定观察点;
控制装置,用于基于所述成像图片中线条的宽度确定影像畸变是否满足要求。
16.根据权利要求15所述的影像畸变检测系统,其特征在于,还包括参照物,
所述参照物用于放置在影像输出设备的成像位置,所述成像位置与所述设定观察点之间的间距等于设定成像距离;
所述图像获取装置用于聚焦在所述参照物上,对所述测试影像进行拍摄,得到影像图片。
17.根据权利要求15所述的影像畸变检测系统,其特征在于,所述图像获取装置用于以设定的间隔变化焦距,并在每次变化焦距后对所述测试影像进行一次拍摄,得到多个影像图片;所述控制装置用于从所述多个影像图片中选择最清晰的影像图片,作为所述成像图片。
18.根据权利要求15-17任一项所述的影像畸变检测系统,其特征在于,所述控制装置,用于确定所述成像图片中线条的最大宽度值;当所述最大宽度值不大于设定阈值时,确定影像畸变满足要求;或者,当所述最大宽度值与指定线条宽度的比值不大于设定阈值时,确定影像畸变满足要求;或者,当所述最大宽度值与指定线条宽度的差值不大于设定阈值时,确定影像畸变满足要求。
19.根据权利要求15-17任一项所述的影像畸变检测系统,其特征在于,所述控制装置,用于确定成像图片中线条的最大宽度值对应的位置;调整图像获取装置的焦距,使得所述图像获取装置聚焦在所述最大宽度值对应的位置;确定所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距;根据所述图像获取装置聚焦在所述最大宽度值对应的位置时的焦距,确定影像畸变是否满足要求。
CN201711235491.8A 2017-11-30 2017-11-30 影像畸变检测方法和系统 Pending CN109859155A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711235491.8A CN109859155A (zh) 2017-11-30 2017-11-30 影像畸变检测方法和系统
US16/767,147 US11360304B2 (en) 2017-11-30 2018-11-29 Image distortion detection method and system
PCT/CN2018/118275 WO2019105433A1 (zh) 2017-11-30 2018-11-29 影像畸变检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711235491.8A CN109859155A (zh) 2017-11-30 2017-11-30 影像畸变检测方法和系统

Publications (1)

Publication Number Publication Date
CN109859155A true CN109859155A (zh) 2019-06-07

Family

ID=66664365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711235491.8A Pending CN109859155A (zh) 2017-11-30 2017-11-30 影像畸变检测方法和系统

Country Status (3)

Country Link
US (1) US11360304B2 (zh)
CN (1) CN109859155A (zh)
WO (1) WO2019105433A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225336A (zh) * 2019-06-21 2019-09-10 京东方科技集团股份有限公司 评估图像采集精度的方法及装置、电子设备、可读介质
WO2022088103A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 一种图像标定方法及装置
CN114820608A (zh) * 2022-06-28 2022-07-29 泽景(西安)汽车电子有限责任公司 成像效果检测方法、装置、车辆及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862345B (zh) * 2017-11-30 2022-09-30 京东方科技集团股份有限公司 视场角测试方法和系统
US11551342B2 (en) * 2019-04-03 2023-01-10 Pittsburgh Glass Works, Llc Fixture for evaluating heads-up windshields
US11351861B2 (en) * 2020-09-10 2022-06-07 Automotive Research & Testing Center Driver status monitor test method and test system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2775549B1 (fr) * 1998-02-27 2000-03-31 Thomson Multimedia Sa Procede de correction de deformation d'image et dispositif mettant en oeuvre ce procede
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP2012151670A (ja) * 2011-01-19 2012-08-09 Renesas Electronics Corp 画像投影システム及び半導体集積回路
CN102706536B (zh) * 2012-03-20 2014-11-12 浙江大学 宽视场光学系统畸变自动测量装置及方法
JP6310859B2 (ja) * 2012-11-30 2018-04-11 株式会社トプコン 眼底撮影装置
US9342877B2 (en) * 2013-08-22 2016-05-17 Glasses.Com Inc. Scaling a three dimensional model using a reflection of a mobile device
US9445086B2 (en) * 2014-12-10 2016-09-13 Facebook, Inc. Methods, systems, and apparatus for camera testing using virtual images
US10009585B2 (en) * 2016-01-04 2018-06-26 Microvision, Inc. MEMS scan controlled keystone and distortion correction
CN106127701A (zh) 2016-06-16 2016-11-16 深圳市凌云视迅科技有限责任公司 鱼眼镜头图像畸变校正方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225336A (zh) * 2019-06-21 2019-09-10 京东方科技集团股份有限公司 评估图像采集精度的方法及装置、电子设备、可读介质
US11314979B2 (en) 2019-06-21 2022-04-26 Chengdu Boe Optoelectronics Technology Co., Ltd. Method and apparatus for evaluating image acquisition accuracy, electronic device and storage medium
WO2022088103A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 一种图像标定方法及装置
CN114820608A (zh) * 2022-06-28 2022-07-29 泽景(西安)汽车电子有限责任公司 成像效果检测方法、装置、车辆及存储介质
CN114820608B (zh) * 2022-06-28 2022-10-21 泽景(西安)汽车电子有限责任公司 成像效果检测方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
WO2019105433A1 (zh) 2019-06-06
US11360304B2 (en) 2022-06-14
US20200386992A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
CN109859155A (zh) 影像畸变检测方法和系统
CN102590218B (zh) 基于机器视觉的金属零件光洁表面微缺陷检测装置及方法
CN102353519A (zh) 三代微光像增强器分辨力测量装置及分辨力评价方法
CN105812790B (zh) 图像传感器感光面与光轴垂直度的评测方法及光学测试卡
CN109862345B (zh) 视场角测试方法和系统
TR201811449T4 (tr) Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem.
CN110261069B (zh) 一种用于光学镜头的检测方法
JP2013113696A (ja) 変位測定方法および変位測定装置
CN108827602A (zh) 一种vr/ar设备成像清晰度测量方法和测量装置
CN110879131B (zh) 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备
CN108844494A (zh) 基于光学方法检测眼镜曲面曲率参数的方法
US20190273845A1 (en) Vibration monitoring of an object using a video camera
CN107091729B (zh) 一种无机械运动的透镜焦距测试方法
CN116182786B (zh) 单目视觉测距方法、相机及介质
CN104516170B (zh) 一种立体调焦法及其系统
KR101653649B1 (ko) 균일도 보상 패턴광을 이용한 3차원 형상 측정 방법
CN112361989B (zh) 一种通过点云均匀性考量测量系统标定参数的方法
CN206710069U (zh) 一种无机械运动的透镜焦距测试装置
CN108848295A (zh) 一种小型化超短焦视觉成像方法
EP3385663B1 (en) Height measuring and estimation method of uneven surface of microscope slide, and microscope
CN100529744C (zh) 光学检测装置和检测方法
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
CN104157229A (zh) 一种阵列基板的检测方法和设备
WO2016181099A1 (en) Night vision device testing
CN106768891B (zh) 一种基于反射图像方法检测物体表面法线误差的专用设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination