CN114697433A - 屏下相机 - Google Patents

屏下相机 Download PDF

Info

Publication number
CN114697433A
CN114697433A CN202111554047.9A CN202111554047A CN114697433A CN 114697433 A CN114697433 A CN 114697433A CN 202111554047 A CN202111554047 A CN 202111554047A CN 114697433 A CN114697433 A CN 114697433A
Authority
CN
China
Prior art keywords
image
screen camera
performance
evaluation
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111554047.9A
Other languages
English (en)
Inventor
车丞镐
金圣洙
金泰亨
田胜赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114697433A publication Critical patent/CN114697433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00Testing correct operation of photographic apparatus or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40012Conversion of colour to monochrome
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

提供了一种屏下相机,其中包括屏下相机的图像采集单元被配置为通过利用包括图像传感器的成像单元基于第一光生成评价图像。第一光被包括光源的发光单元输出,并且透过显示面板。基于评价屏下相机的性能的结果控制屏下相机,该结果通过基于评价图像计算特征值、基于参考图像计算参考值、以及将特征值与参考值进行比较来获得,所述参考图像基于由发光单元输出的第二光来获得,第二光不透过显示面板。

Description

屏下相机
相关申请的交叉引用
本申请要求于2020年12月31日在韩国知识产权局提交的韩国专利申请No.10-2020-0189709的优先权,该申请的公开以引用方式全文并入本文中。
技术领域
本公开的示例实施例涉及一种屏下相机。
背景技术
随着移动行业的开发,也已经开发了移动电话中包括的显示技术。当前的显示技术已经被开发为增加显示面板的屏幕份额。此外,关于移动电话的前置相机,增加显示面板的屏幕份额的技术在产品设计方面可能已经具有极好的效果,但是可能存在图像质量可能劣化的限制。具体地说,关于在可增加其中可设置显示面板的面积的屏下相机(UDC)中发生的图像质量劣化,存在评价准确的UDC性能的困难。
发明内容
一个或多个示例实施例提供了一种屏下相机(UDC),其可以通过基于经显示面板通过成像单元获得的评价图像计算数字特征值来定性地评价UDC的性能,并且可以具有改进的性能。
根据示例实施例的一方面,提供了一种屏下相机,其被配置为当设置在显示屏下方时基于透过显示屏的光生成图像,其中,包括屏下相机的图像采集单元被配置为通过利用包括图像传感器的成像单元基于第一光生成评价图像,第一光被包括光源的发光单元输出,并且透过显示面板,并且其中,所述结果基于评价屏下相机的性能的结果控制屏下相机,通过基于评价图像计算特征值、基于参考图像计算参考值、以及将特征值与参考值进行比较来获得,所述参考图像基于由发光单元输出的第二光来获得,第二光不透过显示面板。
根据示例实施例的一方面,提供了一种屏下相机,其被配置为当设置在显示屏下方时基于透过显示屏的光生成图像,其中,包括屏下相机的图像采集单元被配置为通过利用包括图像传感器的成像单元基于第一光生成评价图像,第一光由包括光源的发光单元输出,并且透过显示面板,并且其中,基于评价屏下相机的性能的结果控制屏下相机,所述结果通过以下步骤来获得:将评价图像转换为轮廓图像;在轮廓图像的轮廓线上的多个位置中的每一个中,基于每个位置相对于轮廓图像的中心的相对位置计算特征值;以及将特征值与从参考图像获得的参考值进行比较,所述参考图像基于不透过显示面板的第二光来获得。
根据示例实施例的一方面,提供了一种屏下相机,其被配置为当设置在显示屏下方时基于透过显示屏的光生成图像,其中,包括屏下相机的图像采集单元被配置为通过利用包括图像传感器的成像单元基于第一光生成第一评价图像和第二评价图像,第一光由包括光源的发光单元输出,并且透过显示面板,并且其中,基于评价屏下相机的性能的结果控制屏下相机,所述结果通过以下步骤来获得:基于第一评价图像计算第一特征值并且基于第二评价图像计算第二特征值;以及通过将第一特征值与从参考图像获得的参考值进行比较来获得第一性能评价结果并且通过将第二特征值与参考值进行比较来获得第二性能评价结果,所述参考图像基于不透过显示面板的第二光来获得。
附图说明
从下面结合附图对示例实施例的详细描述中,本公开的以上和其它方面、特征和优点将更加清楚,在附图中:
图1示出了与显示面板一起提供的相机的开发图;
图2是示出了根据示例实施例的评价屏下相机的性能的装置的框图;
图3是示出了根据示例实施例的评价屏下相机的性能的方法的流程图;
图4A和图4B示出了根据示例实施例的评价屏下相机的性能;
图5是示出根据示例实施例的应用评价屏下相机的性能的方法的显示面板的图;
图6是示出根据示例实施例的评价屏下相机的性能的方法的流程图;
图7是示出根据示例实施例的评价屏下相机的性能的方法的流程图;
图8和图9是示出根据示例实施例的利用评价屏下相机的性能的方法生成的图像的图;
图10和图11是示出根据示例实施例的相对于评价屏下相机的性能的方法在分析图像中使用的参数的图;
图12和图13是示出根据示例实施例的相对于评价屏下相机的性能的方法计算参考值和特征值的方法的图;
图14是示出根据示例实施例的评价屏下相机的性能的方法的性能评价结果的图;
图15是示出根据示例实施例的评价屏下相机的性能的方法的流程图;以及
图16是示出根据示例实施例的评价屏下相机的性能的方法的性能评价结果的图。
具体实施方式
下文中,下面将参照附图描述本公开的示例实施例。
图1示出了与显示面板一起提供的相机的开发图。
参照图1,移动电话中包括的显示面板和成像单元(例如,相机)已被开发为改进显示面板的屏幕份额(或者屏幕占比率)。例如,包括矩形显示面板和图像单元的较早的移动电话可设置为暴露于外边框上,而在后来的移动电话中,显示屏的形状已经被改变为使得外边框的面积减小,如图1所示。
近来,为了进一步增大显示面板的屏幕份额,已经开发了去除外边框和以弹出形式在显示面板中钻孔设置相机的方法。另外,已经开发了配备有设置在显示屏下方的屏下相机(UDC)的产品作为最大化显示面板的屏幕份额的方法。
然而,在屏下相机中,由于光应该通过显示面板进入相机的透镜,因此可降低光的透射率。另外,在显示面板上具有预定图案布置的不透明区域可进一步降低进入其中的光的透射率。因此,屏下相机的性能可直接关系到获得的图像的质量,并且屏下相机的开发需要克服诸如颜色偏移、分辨率的劣化等的问题。
在相关技术中,使用了裸眼定性地评价相机的性能的方法,这是不准确的。根据示例实施例,可使用量化的性能评价方法来改进屏下相机的性能。
根据示例实施例的改进的屏下相机可应用于移动电话,并且还应用于诸如笔记本电脑和电视的电子装置。
图2是示出用于根据示例实施例的评价屏下相机的性能的装置的框图。
参照图2,用于评价示例实施例中的屏下相机的性能的性能评价装置1可以量化地评价相机的性能。性能评价装置1可包括发光单元10、评价图像采集单元20、控制器30、存储器40和参考图像采集单元50。
发光单元10可允许光入射到参考图像采集单元50和/或评价图像采集单元20,以生成参考图像和/或评价图像。可基于参考图像和评价图像根据示例实施例评价评价图像采集单元20的性能。因此,发光单元10可允许光在相同条件下入射到参考图像采集单元50和评价图像采集单元20。然而,示例实施例不限于此。
评价图像采集单元20可被配置为包括屏下相机,并且可包括显示面板22和包括图像传感器的成像单元25。例如,显示面板22和成像单元25可在光入射的方向上按次序设置。从发光单元10入射的光可透过显示面板22,并且可输入到成像单元25。显示面板22可包括具有规则图案的不透明区域,并且成像单元25可能由于显示面板22的不透明区域而生成具有劣化的图像质量的评价图像。可通过控制器30转换或分析生成的评价图像,并且在该过程中生成的数据可存储在存储器40中。
参考图像采集单元50可被配置为不包括屏下相机,并且可包括成像单元55。例如,从发光单元10入射的光可直接入射到成像单元55。成像单元55可以通过对入射光成像来生成参考图像。由于参考图像是通过分析评价图像来评价评价图像采集单元20的性能的比较目标,因此参考图像采集单元50中包括的成像单元55可被配置为与评价图像采集单元20中包括的成像单元25具有相同的性能。
生成的参考图像可通过控制器30转换或分析,并且在该过程中生成的数据可存储在存储器40中。生成参考图像的频率可不限于示例实施例。作为示例,可利用一次生成的参考图像基于多个评价图像来评价评价图像采集单元20的性能。作为另一示例,可在每当生成评价图像时通过生成对应于评价图像的参考图像来评价评价图像采集单元20的性能。
控制器30可以量化关于分别通过评价图像采集单元20和参考图像采集单元50生成的评价图像和参考图像的信息,并且可以比较经量化的信息,从而评价评价图像采集单元20的性能。例如,通过量化关于评价图像的信息计算特征值的方法可以对应于通过量化关于参考图像的信息计算参考值的方法。稍后将更详细地描述计算特征值和参考值的过程。
作为示例,控制器30可以量化来自各个图像的光强度相同的区域的图像与圆形相似的程度,并且可以将这些程度彼此比较。控制器30可以通过将关于评价图像的特征值与关于参考图像的参考值进行比较来相对于评价图像采集单元20输出性能评价结果。例如,控制器30可以在存储器40中存储评价图像采集单元20的性能评价结果。
然而,示例实施例不限于此。作为示例,如果需要,性能评价装置1还可包括额外的元件。另外,除上述功能外,控制器30还可执行其它功能,并且存储器40可以在生成评价图像和参考图像之后直至获得评价评价图像采集单元20的性能的结果为止存储生成的数据的至少一部分。
图3是示出根据示例实施例的评价屏下相机的性能的方法的流程图。
参照图3,可利用基于根据示例实施例生成的评价图像量化的特征值来评价屏下相机的性能。
参照图2和图3,光可以通过显示面板22入射到成像单元25(S110)。成像单元25可以通过对入射光成像来生成评价图像(S120)。
作为示例,由于通过对透过显示面板22的光成像获得评价图像,因此与通过对未透过显示面板22的光成像获得的普通图像相比,评价图像的图像质量会劣化。可在评价图像中包括图像质量劣化的信息,并且控制器30可以基于评价图像计算其中反映了图像质量劣化的信息的特征值(S130)。基于特征值,控制器30可以输出评价包括屏下相机的评价图像采集单元20的性能的结果(S140)。
然而,图3所示的用于评价性能的方法的操作仅是示例,并且示例实施例不限于此。作为示例,还可在操作S110至操作S140之前、之中或之后包括额外的操作,或者可以省略或修改图3所述的一些操作。
图4A和图4B是示出根据示例实施例的评价屏下相机的性能的图。
图4A示出了由发光单元10输出的光L入射到评价图像采集单元20的过程。
在示例实施例中,发光单元10可包括光源12和屏蔽盒15。例如,发光单元10可配置为点光源,屏蔽盒15可包括细缝,点光源可设置在屏蔽盒15中。
屏蔽盒15的细缝可具有预定宽度a。作为示例,预定宽度a可为1mm与3mm之间的值。然而,示例实施例不限于此。例如,预定宽度a可具有小于1mm或大于3mm的值。
发光单元10可以输出通过屏蔽盒15的细缝在一个方向上线性地移动的光L。输出光L可以入射到评价图像采集单元20。作为示例,评价图像采集单元20可为被配置为包括屏下相机。因此,入射光L可以通过显示面板22入射到成像单元25。例如,入射光L可为竖直地入射到显示面板22和成像单元25。
然而,示例实施例不限于图4A中所示的示例,被配置为输出在一个方向上线性地移动的光L的发光单元10可按照各种形式实施。
图4B可为移动电话形式的评价图像采集单元20的示例实施例。然而,示例实施例不限于此,评价图像采集单元20的形式可不限于示出的示例。
作为示例,评价图像采集单元20可包括显示面板22和成像单元25。显示面板22可以对应于移动电话的屏幕,成像单元25可以对应于移动电话的前置相机。作为示例,显示面板22可为被配置为完全覆盖成像单元25,并且如参照图4A描述的,入射到显示面板22的光可以透过显示面板22并且可以入射到成像单元25。成像单元25可以基于入射光生成用于评价评价图像采集单元20的性能的评价图像。
图5是示出根据示例实施例的应用评价屏下相机的性能的方法的显示面板的图。
参照图5,用于应用示例实施例中的评价屏下相机的性能的方法的评价图像采集单元20可包括显示面板22和成像单元25。
显示面板22可包括其示例示出在图5中的(a)至(f)中的规则的预定图案。预定图案可包括不透明区域,并且入射到显示面板22的光可由于预定图案而导致衍射现象。另外,预定图案中包括的不透明区域可以减少入射到成像单元25的光的量。例如,相比于入射到显示面板22的光,入射到成像单元25的光的量可进一步减小约50%至90%的范围。因此,由成像单元25生成的评价图像可能具有劣化的质量。
可基于显示面板22中包括的预定图案确定示例实施例中生成的评价图像的形状。相对于评价示例实施例中的屏下相机的性能的方法,由于可从评价图像获得性能评价结果,因此显示面板22中包括的预定图案可以直接影响性能评价结果。
参照图案(a),显示面板22可包括其中具有规则的圆孔的图案。参照图案(b),显示面板22可包括其中具有规则的椭圆形孔的图案。另外,参照图案(c)和图案(d),显示面板22可在其中包括具有诸如六边形或八边形的多边形形状的孔的图案。
然而,显示面板22中包括的预定图案不限于此,显示面板22可包括具有圆孔和包围圆孔的多边形孔的图案,如图案(e)所示。另外,如图案(f)所示,显示面板22可包括这样的图案:其具有在一个方向上布置的各个位置处形状相同的孔以及在一个方向上的不同的位置处形状不同的孔。然而,显示面板22中包括的图案不限于(a)至(f)所示的示例,显示面板22可包括具有各种形状的图案。
图6是示出根据示例实施例的评价屏下相机的性能的方法的流程图。
图6示出了根据示例实施例的计算评价屏下相机的性能的参考值的方法。
返回参照图2,参考图像采集单元50可以通过对从发光单元10入射的光成像来生成参考图像(S210)。由于入射到参考图像采集单元50的光直接入射到成像单元55而不透过显示面板,因此参考图像可为图像质量劣化较少的普通图像。
控制器30可以将生成的参考图像转换为灰度图像(例如,黑白图像)(S220),并且可以将转换后的灰度图像转换为轮廓图像(S230)。基于将参考图像转换为灰度图像以生成轮廓图像的操作S220和操作S230,可改进轮廓图像的分析精度。然而,示例实施例不限于此,参考图像可直接转换为轮廓图像而不执行操作S220。
控制器30可以基于生成的轮廓图像计算参考值(S240)。作为示例,可以通过量化参考图像中光强度相同的区域的图像与圆形相似的程度来获得参考值。例如,由于参考图像是图像质量的劣化较少的普通图像,因此光强度相同的区域的图像可能看起来类似于圆形。因此,参考值可包括当图像质量劣化较少时的图像信息。
图7是示出根据示例实施例的评价屏下相机的性能的方法的流程图。
图7示出了根据示例实施例的计算用于与预先计算的参考值比较的评价屏下相机的性能的特征值的方法。
返回参照图2,评价图像采集单元20中包括的成像单元25可以通过对透过显示面板22的入射光成像来生成评价图像(S310)。如上所述,评价图像可能看起来具有劣化的质量。
与图6所示的转换参考图像的方法类似,控制器30可以将生成的评价图像转换为灰度图像(例如,黑白图像)(S320),并且可以将转换后的灰度图像再次转换为轮廓图像(S330)。然而,示例实施例不限于此,评价图像可直接转换为轮廓图像,而不执行操作S320。
控制器30可以基于生成的轮廓图像计算特征值(S340)。与参考值类似,可以通过量化评价图像中光强度相同的区域的图像与圆形相似的程度来获得特征值。由于评价图像具有劣化的图像质量,因此特征值可包括不同于参考值的图像信息的图像信息。
在示例实施例中,可通过将特征值与参考值进行比较来计算评价评价图像采集单元20的性能的结果(S350)。因此,可以预测评价图像与圆形相似的程度以及生成了多少噪声。
图8和图9是示出根据示例实施例的利用评价屏下相机的性能的方法生成的图像的图。
图8和图9示出了图6和图7中的流程图中描述的图像的示例。作为示例,图8所示的图像可与对应于图6的参考图像采集单元有关,图9所示的图像可与对应于图7的评价图像采集单元有关。
参照图8,由参考图像采集单元生成的参考图像110可被转换为灰度图像120,灰度图像120可被转换为轮廓图像130。为了进一步详细的分析,轮廓图像130可被转换为三维(3D)轮廓图像140。然而,示例实施例不限于此,并且上面的操作可改变为例如将灰度图像120直接转换为3D轮廓图像140或者将参考图像110直接转换为轮廓图像130。
如上所述,由于与参考图像采集单元有关的图像110、120、130和140基于图像质量的劣化较少的参考图像110,因此其形状可类似于圆形。
参照图9,由评价图像采集单元生成的评价图像210可被转换为灰度图像220,灰度图像220可被转换为轮廓图像230。为了进一步详细的分析,轮廓图像230可被转换为3D轮廓图像240。然而,示例实施例不限于此,上面的操作可改变为例如将灰度图像220直接转换为3D轮廓图像240或者将评价图像210直接转换为轮廓图像230。
如上所述,由于与评价图像采集单元有关的图像210、220、230和240基于具有图像质量的劣化的评价图像210,因此其形状可不为圆形,而是可具有不同形状。例如,可基于评价图像采集单元中包括的显示面板的预定图案来确定图像210、220、230和240的形状。
图10和图11是示出根据示例实施例的关于评价屏下相机的性能的方法在分析图像中使用的参数的图。
图10示出了基于图8所示的参考图像110的轮廓图像130的放大部分,图11示出了基于图9所示的评价图像210的轮廓图像230的放大部分。
根据评价示例实施例中的屏下相机的性能的方法,可通过量化来自生成的轮廓图像130和230的光的强度相同的区域与圆形相似的程度来计算参考值和特征值。
参照图10,在轮廓图像130(或者轮廓图像130的边界)上的坐标为(xi,yi)的多个位置中的每一个中,可基于相对于坐标为(xC1,yC1)的轮廓图像130的中心的相位角(θi)和从轮廓图像130的中心到所述多个位置的距离Di计算参考值。
参照图11,在轮廓图像230(或轮廓图像230的边界)上的坐标为(xj,yj)的多个位置中的每一个中,可基于相对于坐标为(xC2,yC2)的轮廓图像230的中心的相位角(θj)和从轮廓图像230的中心到所述多个位置的距离Dj计算特征值。
用于计算参考值和特征值的参数可从下面的方程1和2导出。
[方程1]
Figure BDA0003418587410000101
Figure BDA0003418587410000102
[方程2]
Figure BDA0003418587410000111
Figure BDA0003418587410000112
从方程1和方程2导出的相位角和距离参数可用于指示轮廓图像130和230上的多个位置的坐标。另外,参数可用于计算参考值和特征值。
图12和图13是示出根据示例实施例的相对于评价屏下相机的性能的方法计算参考值和特征值的方法的图。
图12可为示出根据距离和相位角的图10所示的轮廓图像130上的各位置的图,图13可为示出根据距离和相位角的图11所示的轮廓图像230上的各位置的图。例如,可以确定,图13所示的曲线图的波动越小,从评价图像210转换的轮廓图像230可以越类似于圆形。
基于以上过程,可分别从图12和图13计算参考值和特征值。例如,参考值和特征值可包括衍射的振幅(Amplitudediffraction)、衍射的标准差(STDEVdiffraction)和衍射的平均值(Meandiffraction)中的至少一个。
作为示例,衍射的振幅可定义为图12和图13中的到距离最大的位置的距离与到距离最小的位置的距离之间的差。可从如下的方程3计算衍射的振幅。
[方程3]
Amplitudediffraction=Dmax-Dmin
衍射的标准差可定义为针对图12和图13中的所有相位角的距离的标准差。可从如下的方程4计算衍射的标准差。
[方程4]
Figure BDA0003418587410000113
另外,衍射的平均值可定义为针对图12和图13中的所有相位角的距离的平均值。可从如下的方程5计算衍射的平均值。
[方程5]
Figure BDA0003418587410000121
可利用方程3至方程5中的一个或多个计算参考值和特征值。相对于示例实施例中的性能评价方法,可输出参考值与特征值的比率作为性能评价结果。因此,可以确定,性能评价结果越接近100%,评价图像与参考图像之间的差异可以越小,并且评价图像采集单元的性能可以越好。
当参考值和特征值中的每一个包括多个值时,可存在多个性能评价结果。在这种情况下,可基于所述多个性能评价结果计算评价图像采集单元的性能的分值。例如,评价图像采集单元的性能的分值可为多个性能评价结果的平均值。然而,示例实施例不限于此,并且可通过为性能评价结果中的每一个分配权重来计算评价图像采集单元的性能的分值。针对多个屏下相机计算的分值可被彼此比较,从而确定具有较好的性能的屏下相机。
图14是示出根据示例实施例的评价屏下相机的性能的方法的性能评价结果的图。
可以如图14中所示作为示例获得根据参照图1至图13描述的示例实施例中的评价屏下相机的性能的方法的性能评价结果和分值。
参照图14,基于由参考图像采集单元生成的参考图像计算的参考值可为X0、Y0和Z0,基于由评价图像采集单元生成的评价图像计算的特征值可为X1、Y1和Z1。例如,X、Y和Z可以分别对应于衍射的平均值、衍射的标准差和衍射的振幅。
基于计算的参考值和特征值,可以获得评价示例实施例中的屏下相机的性能的结果分别为75%、10%和15%。当从性能评价结果的平均值计算分值时,可确定该分值(或子分值)为33.3%。
图15是示出根据示例实施例的评价屏下相机的性能的方法的流程图。
参照图15,图1至图14所示的评价示例实施例中的屏下相机的性能的方法还可通过添加反馈过程来改进屏下相机的性能。
生成参考图像和评价图像、计算参考值和特征值以及从其中输出性能评价结果的操作S410至操作S460可以对应于图3、图6和图7所示的操作。例如,在示例实施例中,光可以通过显示面板入射到成像单元(S410),可通过对入射光成像来生成评价图像(S420)。之后,评价图像可转换为灰度图像(例如,黑白图像)(S430),灰度图像可转换为轮廓图像(S440),并且可计算特征值(S450)。除了对未透过显示面板的光成像,并且可基于特征值和参考值输出针对评价图像采集单元的性能评价结果之外,可通过相同的方法计算参考值(S460)。
上面的操作中生成的评价图像可为第一评价图像,计算的特征值可为第一特征值,并且基于第一特征值的性能评价结果可为第一性能评价结果。
可输出第一性能评价结果,并且可以确定是否改变外部条件和是否执行额外的性能评价(S470)。作为示例,外部条件可包括当通过成像单元生成图像时噪声的存在以及噪声的强度。作为示例,噪声可以指外部光,但是示例实施例不限于此。当在改变的条件下有必要进行额外的成像时,用于评价评价图像采集单元的性能的外部条件可改变(S475)。
然后,可通过相同的操作S410至操作S460生成第二评价图像,并且可由第二评价图像计算第二特征值。可通过将第二特征值与参考值进行比较来输出第二性能评价结果。在这种情况下,参考值可根据外部条件的改变具有与现有参考值不同的值,但是示例实施例不限于此。通过限定如上面评价的外部条件,噪声的影响可减小,并且可评价已经客观地量化的屏下相机的性能。
相对于评价示例实施例中的屏下相机的性能的方法,可与操作S470分离地执行用于改进屏下相机的性能的优化。例如,可输出第一性能评价结果,并且可确定是否可通过控制评价装置来改进评价图像采集单元的性能(S480)。当可以进行性能改进时,控制器可以基于生成第二评价图像之前的第一性能评价结果来控制发光单元、显示面板和成像单元中的至少一个(S485)。
之后,可通过相同的操作S410至S460生成第二评价图像,并且可由第二评价图像计算第二特征值。可通过将第二特征值与参考值进行比较来输出改进的第二性能评价结果。
虽然图15中未示出,但是相对于评价示例实施例中的屏下相机的性能的方法,可与操作S470和操作S480分离地执行根据屏下相机的调整的性能评价结果预测。例如,即使在未像S485中一样在物理上控制性能评价装置的状态下,也可基于第一性能评价结果预测根据发光单元、显示面板和成像单元的改变的第二性能评价结果。作为示例,可以预测当显示面板中包括的规则的图案具有不同形状时的性能评价结果。
从根据性能评价装置的改变预测的性能评价结果中,可容易地确定屏下相机的开发方向。另外,预测的性能评价结果可用于衍射校正,以改进屏下相机的性能,并且还可用于在大规模生产期间最大化性能的校准。
当第一性能评价结果和第二性能评价结果包括多个值时,可计算基于第一性能评价结果计算的第一分值和基于第二性能评价结果计算的第二分值。例如,评价图像采集单元的性能的分值可为多个性能评价结果的平均值。然而,示例实施例不限于此,并且可通过为性能评价结果中的每一个分配权重来计算用于评价图像采集单元的性能的分值。可通过比较根据屏下相机的反馈操作计算的分值来确认是否改进性能。作为示例,基于图15中的第二性能评价结果的第二分值可以大于基于第一性能评价结果的第一分值。
输出性能评价结果可以有助于确定包括屏下相机的电子装置中包括的元件中的每一个的处理标准。另外,可基于输出的性能评价结果来确定产品的大规模生产的水平。
图16是示出根据示例实施例的评价屏下相机的性能的方法的性能评价结果的图。
可如图16中所示作为示例获得根据参照图1至图15描述的示例实施例中的评价屏下相机的性能的方法的性能评价结果和分值。
例如,可在黑暗状态中的第一条件和其中存在特定量的噪声的第二条件下按次序执行性能评价。另外,可执行评价装置的优化,并且可再次在第一条件和第二条件下按次序执行性能评价。
在第一条件下,基于由参考图像采集单元生成的参考图像计算的参考值可为X01、Y01、Z01,基于由评价图像采集单元生成的第一评价图像计算的第一特征值可为X11、Y11和Z11。在第二条件下,参考值可为X02、Y02和Z02,基于第一评价图像计算的第一特征值可为X12、Y12和Z12。例如,X、Y和Z可以分别对应于衍射的平均值、衍射的标准差和衍射的振幅。
基于参考值和在第一条件下计算的第一特征值,可以获得示例实施例中的屏下相机的性能评价结果分别为75%、10%和15%。当通过性能评价结果的平均值计算分值时,可确定分值为33.3%。
基于在第二条件下计算的参考值和第一特征值,可以获得示例实施例中的屏下相机的性能评价结果分别为80%、15%和20%,并且当通过性能评价结果的平均值计算分值时,可确定分值为38.3%。
如上所述,当存在特定量的噪声时,评价屏下相机的性能的结果可具有较高分值。然而,示例实施例不限于此。作为示例,图16所示的性能评价结果值中的每一个可在示例实施例中变化。另外,在其中存在噪声的第二条件下,评价屏下相机的性能的结果可为较低分值。
在基于第一特征值的性能评价终止之后,可执行控制评价装置的操作,以改进评价图像采集单元的性能。因此,可输出与第一性能评价结果不同的第二性能评价结果。
可在第一条件和第二条件中的每一个下计算第二特征值,并且可将第二特征值与参考值比较。例如,在第一条件下,基于由评价图像采集单元生成的第二评价图像计算的第二特征值可为X21、Y21和Z21。在第二条件下,基于第二评价图像计算的第二特征值可为X22、Y22和Z22。
基于在第一条件下计算的参考值和第二特征值,可以获得评价示例实施例中的屏下相机的性能的结果分别为85%、30%和35%。当通过性能评价结果的平均值计算分值时,可确定分值为50%。
基于在第二条件下计算的参考值和第二特征值,可以获得评价示例实施例中的屏下相机的性能的结果分别为90%、45%和50%,并且当通过性能评价结果的平均值计算分值时,分值可为61.6%。
如上所述,通过经历屏下相机的反馈操作,性能评价结果可具有较高的分值。然而,示例实施例不限于此。作为示例,图16所示的性能评价结果值中的每一个在示例实施例中可变化。另外,在其中存在噪声的第二条件下,评价屏下相机的性能的结果可为较低分值。
根据前述示例实施例,屏下相机可利用包括UDC的评价图像采集单元获得评价图像,并且基于此,可获得用于量化地评价UDC的性能的特征值以及性能评价结果。因此,可根据性能评价结果控制UDC。例如,可确定UDC的开发方向,并且可执行改进UDC的性能的优化。
根据示例实施例,本文所述的部件、元件、模块和单元中的至少一个可以实现为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如,这些部件、元件、模块和单元中的至少一个可以使用可通过一个或多个微处理器或其他控制设备的控制来执行各自的功能的直接电路结构(诸如存储器、处理器、逻辑电路、查找表等)。此外,这些部件、元件、模块和单元中的至少一个可以由模块、程序或者包含用于执行指定逻辑功能的一个或多个可执行指令并由一个或多个微处理器或其他控制设备执行的代码的一部分实现。此外,这些部件、元件、模块和单元中的至少一个还可以包括诸如执行相应功能的中央处理单元(CPU)、微处理器等的处理器或者由诸如执行相应功能的中央处理单元(CPU)、微处理器等的处理器实现。这些部件、元件、模块和单元中的两个或更多个可以组合成执行组合的两个或更多个部件、元件、模块和单元的所有操作或功能的一个单独的部件、元件、模块和单元。此外,这些部件、元件、模块和单元中的至少一个的至少部分功能可由这些部件、元件、模块和单元中的另一个执行。此外,尽管在框图中未示出总线,但是可以通过总线执行部件、元件、模块和单元之间的通信。上述示例实施例的功能方面可以在一个或多个处理器上执行的算法中实现。此外,由块或处理操作表示的部件、元件、模块和单元可采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的相关技术。
尽管已在上面说明和描述了一些示例实施例,但对本领域技术人员而言将显而易见的是,在不脱离由所附权利要求及其等同物限定的本公开的范围的情况下,可以做出修改和改变。

Claims (20)

1.一种屏下相机,其设置在显示屏下方并且被配置为基于透过所述显示屏的光生成图像,
其中,包括所述屏下相机的图像采集单元被配置为通过利用包括图像传感器的成像单元基于第一光生成评价图像,所述第一光被包括光源的发光单元输出,并且透过显示面板,并且
其中,基于评价所述屏下相机的性能的结果控制所述屏下相机,所述结果通过基于所述评价图像计算特征值、基于参考图像计算参考值、以及将所述特征值与所述参考值进行比较来获得,所述参考图像基于由所述发光单元输出的第二光来获得,所述第二光不透过所述显示面板。
2.根据权利要求1所述的屏下相机,其中,基于所述参考值与所述特征值的比率来获得评价所述性能的所述结果。
3.根据权利要求1所述的屏下相机,其中,通过将所述评价图像转换为灰度图像。
4.根据权利要求1所述的屏下相机,其中,通过将所述评价图像转换为轮廓图像并且基于所述轮廓图像获得所述特征值来获得评价所述性能的所述结果。
5.根据权利要求1所述的屏下相机,其中,通过基于所述评价图像的轮廓线与圆形相似的第一程度计算所述特征值来评价所述性能的所述结果。
6.根据权利要求5所述的屏下相机,其中,通过基于所述参考图像的轮廓线与所述圆形相似的第二程度计算所述参考值并且将所述第一程度与所述第二程度进行比较来获得评价所述性能的所述结果。
7.一种屏下相机,其被配置为当设置在显示屏下方时基于透过所述显示屏的光生成图像,
其中,包括所述屏下相机的图像采集单元被配置为通过利用包括图像传感器的成像单元基于第一光生成评价图像,所述第一光由包括光源的发光单元输出,并且透过显示面板,并且
其中,基于评价所述屏下相机的性能的结果控制所述屏下相机,所述结果通过以下步骤来获得:将所述评价图像转换为轮廓图像;在所述轮廓图像的轮廓线上的多个位置中的每一个中,基于每个位置相对于所述轮廓图像的中心的相对位置计算特征值;以及将所述特征值与从参考图像获得的参考值进行比较,基于不透过所述显示面板的第二光获得所述参考图像。
8.根据权利要求7所述的屏下相机,其中,通过将所述评价图像转换为灰度图像、将所述灰度图像转换为所述轮廓图像来获得所述轮廓图像。
9.根据权利要求7所述的屏下相机,其中,所述参考值和所述特征值中的每一个包括衍射的振幅、衍射的标准差和衍射的平均值中的至少一个。
10.根据权利要求9所述的屏下相机,其中,所述参考值和所述特征值中的每一个包括所述衍射的振幅,所述衍射的振幅通过在所述多个位置中的从所述轮廓图像的中心到所述轮廓图像的轮廓线上的第一位置的最大距离与从所述轮廓图像的中心到所述轮廓图像的所述轮廓线上的第二位置的最小距离之间的差来限定。
11.根据权利要求9所述的屏下相机,其中,所述参考值和所述特征值中的每一个包括衍射的标准差,其被定义为从所述轮廓图像的中心到所述多个位置的距离的标准差。
12.根据权利要求9所述的屏下相机,其中,所述参考值和所述特征值中的每一个包括所述衍射的平均值,其被定义为从所述轮廓图像的中心到所述多个位置的距离的平均值。
13.根据权利要求7所述的屏下相机,其中,每个位置的所述相对位置由相对于所述轮廓图像的中心的相位角和与所述轮廓图像的中心相距的距离限定。
14.一种屏下相机,其设置在显示屏下方并且被配置为基于透过所述显示屏的光生成图像,
其中,包括所述屏下相机的图像采集单元被配置为通过利用包括图像传感器的成像单元基于第一光生成第一评价图像和第二评价图像,所述第一光由包括光源的发光单元输出,并且透过显示面板,并且
其中,基于评价所述屏下相机的性能的结果控制所述屏下相机,所述结果通过以下步骤来获得:基于所述第一评价图像计算第一特征值并且基于所述第二评价图像计算第二特征值;以及通过将所述第一特征值与从参考图像获得的参考值进行比较来获得第一性能评价结果并且通过将所述第二特征值与所述参考值进行比较来获得第二性能评价结果,所述参考图像基于不透过所述显示面板的第二光来获得。
15.根据权利要求14所述的屏下相机,其中,所述图像采集单元还被配置为在不同的外部条件下生成所述第一评价图像和所述第二评价图像。
16.根据权利要求15所述的屏下相机,其中,所述不同的外部条件与噪声的存在和所述噪声相对于所述第一评价图像或所述第二评价图像的强度有关。
17.根据权利要求14所述的屏下相机,其中,在生成所述第二评价图像之前基于所述第一性能评价结果控制所述图像采集单元的成像单元。
18.根据权利要求14所述的屏下相机,其中,基于分别包括多个值的所述第一性能评价结果和所述第二性能评价结果,通过从所述第一性能评价结果的所述多个值中计算第一分值并且从所述第二性能评价结果的所述多个值中计算第二分值来评价所述屏下相机的性能。
19.根据权利要求14所述的屏下相机,其中,基于评价所述性能的所述结果对所述屏下相机执行衍射校正。
20.根据权利要求14所述的屏下相机,其中,基于所述第一性能评价结果来控制所述屏下相机,使得在所述控制之后,所述图像采集单元被配置为生成所述第二特征值更接近所述参考值的所述第二评价图像。
CN202111554047.9A 2020-12-31 2021-12-17 屏下相机 Pending CN114697433A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0189709 2020-12-31
KR1020200189709A KR20220097818A (ko) 2020-12-31 2020-12-31 언더 디스플레이 카메라

Publications (1)

Publication Number Publication Date
CN114697433A true CN114697433A (zh) 2022-07-01

Family

ID=82118965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111554047.9A Pending CN114697433A (zh) 2020-12-31 2021-12-17 屏下相机

Country Status (3)

Country Link
US (1) US11460894B2 (zh)
KR (1) KR20220097818A (zh)
CN (1) CN114697433A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418497B2 (ja) * 2021-06-09 2024-01-19 アップル インコーポレイテッド 画像キャプチャデバイス部品における経時的な光学的変化の補償

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116823B2 (en) 2002-07-10 2006-10-03 Northrop Grumman Corporation System and method for analyzing a contour of an image by applying a Sobel operator thereto
US20110205259A1 (en) * 2008-10-28 2011-08-25 Pixtronix, Inc. System and method for selecting display modes
US8416302B2 (en) * 2009-02-10 2013-04-09 Microsoft Corporation Low-light imaging augmented with non-intrusive lighting
US8736674B2 (en) * 2010-09-23 2014-05-27 Dolby Laboratories Licensing Corporation Method and system for 3D display calibration with feedback determined by a camera device
JP2013243621A (ja) * 2012-05-22 2013-12-05 Toshiba Corp 電子機器、電子機器の制御方法、制御プログラム、映像表示装置
KR101917650B1 (ko) * 2012-08-03 2019-01-29 삼성전자 주식회사 이미지 처리 방법 및 장치
US9019253B2 (en) * 2012-08-30 2015-04-28 Apple Inc. Methods and systems for adjusting color gamut in response to ambient conditions
KR20140070120A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 디스플레이 장치의 색 보정 장치 및 그 보정 방법
US9774839B2 (en) * 2013-08-30 2017-09-26 Glasses.Com Inc. Systems and methods for color correction of images captured using a mobile computing device
CN103778415B (zh) 2014-01-21 2017-05-17 蔺全录 矿井人员虹膜考勤与跟踪定位方法及系统
EP3198525A4 (en) * 2014-09-24 2018-05-23 Atkinson, Don Evaluation apparatus using uniform illumination and data capture
US9892514B2 (en) * 2014-10-10 2018-02-13 Facebook, Inc. Post-manufacture camera calibration
US10048128B2 (en) * 2015-06-02 2018-08-14 Kaiser Optical Systems Inc. Methods for collection, dark correction, and reporting of spectra from array detector spectrometers
KR102379601B1 (ko) * 2015-06-05 2022-03-29 삼성전자주식회사 영상 데이터의 제어 방법 및 장치
US10410037B2 (en) * 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array
US20180038734A1 (en) * 2015-09-24 2018-02-08 Don Atkinson System and method for the harmonization of evaluation between two or more digital data gathering devices
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
US10165194B1 (en) * 2016-12-16 2018-12-25 Amazon Technologies, Inc. Multi-sensor camera system
EP3370226B1 (en) * 2017-03-02 2019-08-28 ams AG Method for sensing light being incident on an electronic device
WO2019206247A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd System and method for camera calibration
CN108833770B (zh) 2018-05-23 2020-11-06 释码融和(上海)信息科技有限公司 用于调焦的图像清晰度计算方法、计算设备及调焦系统
US11294422B1 (en) * 2018-09-27 2022-04-05 Apple Inc. Electronic device including a camera disposed behind a display
KR102561172B1 (ko) * 2018-11-22 2023-07-31 삼성전자주식회사 디스플레이 내에 카메라 모듈이 포함된 전자 장치 및 상기 카메라 모듈 주변의 이미지를 보정하는 방법
US11128809B2 (en) * 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
US11089220B2 (en) * 2019-05-02 2021-08-10 Samsung Electronics Co., Ltd. Electronic test device, method and computer-readable medium
US10999483B2 (en) * 2019-06-04 2021-05-04 Gopro, Inc. Display-based camera apparatus and methods
CN110460825A (zh) 2019-08-02 2019-11-15 武汉华星光电半导体显示技术有限公司 一种成像补偿装置、成像补偿方法及其应用
US11115596B2 (en) * 2019-11-01 2021-09-07 Google Llc Full-screen display with sub-display camera
US11537027B2 (en) * 2020-01-19 2022-12-27 Blue River Technology Inc. Methods and apparatus for using a controllable physical light filter as part of an image capture system and for processing captured images
CN111445464B (zh) 2020-03-31 2022-04-19 中北大学 基于非参数估计的差异特征频次分布构造方法
US11069104B1 (en) * 2020-05-13 2021-07-20 Facebook Technologies, Llc Display that uses a light sensor to generate environmentally matched artificial reality content
KR20220017649A (ko) 2020-08-05 2022-02-14 삼성전자주식회사 이미지 센서를 포함하는 전자 장치
US11509806B2 (en) * 2020-10-13 2022-11-22 Qualcomm Incorporated Under-display camera synchronization with display pixel operation
US11184595B2 (en) * 2021-03-12 2021-11-23 Google Llc Color correction using a sensor to reduce color distortions of a camera under a display

Also Published As

Publication number Publication date
US20220206545A1 (en) 2022-06-30
KR20220097818A (ko) 2022-07-08
US11460894B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
CN111308448B (zh) 图像采集设备与雷达的外参确定方法及装置
US10043090B2 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
CN109977949B (zh) 边框微调的文本定位方法、装置、计算机设备及存储介质
JP4154374B2 (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
JP6115214B2 (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
US20030031356A1 (en) Pattern inspection apparatus and method
JP6444233B2 (ja) 距離計測装置、距離計測方法、およびプログラム
CN109495731B (zh) 由图像信号处理器执行的用于自动白平衡方法
CN110879131B (zh) 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备
KR20130142769A (ko) 영상 분할을 이용한 비전 검사 장치 및 비전 검사 방법
CN108632604B (zh) 镜头光心的检测方法及装置
CA3206206A1 (en) Device and method for correspondence analysis in images
US20180372484A1 (en) Distance measurement apparatus and distance measurement method
CN114697433A (zh) 屏下相机
JP2000121319A (ja) 画像処理装置および画像処理方法、並びに提供媒体
CN107085843B (zh) 用于估计光学系统中的调制传递函数的系统和方法
JP2004133919A (ja) 擬似3次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
JP2005345290A (ja) 筋状欠陥検出方法及び装置
JP2009302731A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
TW201715472A (zh) 影像分區門檻值決定方法、手勢判斷方法、影像感測系統以及手勢判斷系統
JP2009017158A (ja) カメラ検査装置
JPWO2018198916A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
CN112752088B (zh) 深度图像生成方法及装置、参考图像生成方法、电子设备
WO2021049490A1 (ja) イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム
US20190228535A1 (en) Multiple scale processing for received structured light

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination