CN109040566A - 图像传感器、图像获取装置、身份识别装置及电子设备 - Google Patents
图像传感器、图像获取装置、身份识别装置及电子设备 Download PDFInfo
- Publication number
- CN109040566A CN109040566A CN201811072695.9A CN201811072695A CN109040566A CN 109040566 A CN109040566 A CN 109040566A CN 201811072695 A CN201811072695 A CN 201811072695A CN 109040566 A CN109040566 A CN 109040566A
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth information
- imaging sensor
- dimensional image
- structure light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 238000005259 measurement Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请适用于光电技术领域，提供了一种图像传感器，其包括：第一像素，用于捕获被一目标物所反射的时间结构光，并根据捕获的时间结构光获得所述目标物的二维图像及深度信息；和第二像素单元，包括多个第二像素，每一第二像素用于捕获被所述目标物所反射的时间结构光，并根据捕获的时间结构光获得所述目标物的二维图像；其中，每一第二像素的感光面积小于每一第一像素的感光面积。本申请能同时获得目标物的深度信息及分辨率较高的二维图像。本申请还提供一种图像获取装置、身份识别装置及电子设备。
Description
技术领域
本申请属于光电技术领域，尤其涉及一种图像传感器、图像获取装置、身份识别装置及电子设备。
背景技术
现在的身份识别装置(比如人脸识别装置)一般包括泛光传感器及飞行时间传感器。其中泛光传感器获取被目标物所反射的红外泛光，以得到目标物的二维图像；飞行时间传感器获取被目标物所反射的红外时间结构光，以得到目标物的深度信息。但是这样会造成身份识别装置的体积比较大，不利于小型化。由于飞行时间传感器获取被目标物所反射的红外时间结构光之后，能够同时生成目标物的二维图像(即红外灰度图像)及深度信息，因此有些生产商会去掉泛光传感器，仅采用飞行时间传感器。由于飞行时间传感器中的每个像素单元内部的结构比较复杂，导致每个像素单元的感光面积一般比较大(比如10um*10um～15um*15um)，使得同样感光面积的飞行时间传感器内所包含的像素单元的数量比较少，因此飞行时间传感器所生成的目标物的二维图像的分辨率比较低。
发明内容
本申请所要解决的技术问题在于提供一种图像传感器、图像获取装置、身份识别装置及电子设备，旨在同时获得目标物的深度信息及分辨率较高的二维图像。
本申请是这样实现的，一种图像传感器，包括：第一像素，用于捕获被一目标物所反射的时间结构光，并根据捕获的时间结构光获得所述目标物的二维图像及深度信息；和
第二像素单元，包括多个第二像素，每一第二像素用于捕获被所述目标物所反射的时间结构光，并根据捕获的时间结构光获得所述目标物的二维图像；
其中，每一第二像素的感光面积小于每一第一像素的感光面积。
在某些实施方式中，所述图像传感器包括多个第一像素和多个第二像素单元，所述多个第一像素与所述多个第二像素单元混合设置。
在某些实施方式中，所述多个第一像素和所述多个第二像素单元交替排列。
在某些实施方式中，每一第二像素单元的感光面积与每一第一像素的感光面积相等。
在某些实施方式中，每一第二像素单元中的多个第二像素呈阵列排布。
在某些实施方式中，所述第一像素是根据捕获的时间结构光，利用飞行时间测距原理获得所述目标物的深度信息。
在某些实施方式中，所述第二像素根据捕获的时间结构光并不能获得所述目标物的深度信息，所述图像传感器中增加第二像素单元是用于提高目标物的二维图像的分辨率。
本申请还提供了一种图像获取装置，其包括光源模组及上述中任一项所述的图像传感器，所述光源模组用于发射时间结构光至一目标物；所述图像传感器用于获取被所述目标物所反射的时间结构光，以得到所述目标物的二维图像及深度信息。
在某些实施方式中，所述图像获取装置进一步包括处理器，用于根据所述目标物的二维图像及深度信息，导出所述目标物的3D图。
在某些实施方式中，所述处理器根据第一像素获得的目标物的深度信息，通过插值运算，获得第二像素单元所对应目标物位置处的深度信息。
本申请还提供了一种身份识别装置，其包括识别模组及上述的图像获取装置。所述识别模组用于根据所述图像获取装置所获取的二维图像及/或深度信息进行身份识别。
在某些实施方式中，所述身份识别装置包括脸部识别装置。
本申请还提供了一种电子设备，其包括上述的身份识别装置。所述电子设备用于根据所述身份识别装置的识别结果来对应是否执行相应的功能。
在某些实施方式中，所述相应的功能包括解锁、支付、启动预存的应用程序中的任意一种或几种。
本申请与现有技术相比，有益效果在于：通过第一像素得到目标物的深度信息；通过第一像素及第二像素单元中的多个第二像素得到目标物的二维图像，使得相同感光面积的图像传感器内所包含的用于获取目标物的二维图像的像素单元(包括第一像素及第二像素)的总数量增加，从而有效提高所述目标物的二维图像的分辨率。
附图说明
图1是本申请第一实施例提供的图像传感器的结构示意图。
图2是本申请第二实施例提供的图像获取装置的结构示意图。
图3是本申请第三实施例提供的身份识别装置的结构示意图。
图4是本申请第四实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设定进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设定之间的关系。
进一步地，所描述的特征、结构可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的实施方式的充分理解。然而，本领域技术人员应意识到，没有所述特定细节中的一个或更多，或者采用其它的结构、组元等，也可以实践本申请的技术方案。在其它情况下，不详细示出或描述公知结构或者操作以避免模糊本申请。
需要说明的是，本申请中涉及的用语“多个”包括两个或两个以上。
如图1所示，本申请第一实施例所提供的一种图像传感器100，其包括多个第一像素10及多个第二像素单元20。所述图像传感器100中的第一像素10和第二像素单元20混合设置，具体可以为规则混合设置，也可是非规则混合设置。
在本实施例中，所述多个第一像素10及所述多个第二像素单元20交替排列。所述多个第一像素10及所述多个第二像素单元20共同形成一矩阵状，且所述多个第一像素10及所述多个第二像素单元20例如彼此独立，且两者的间隔距离很小，甚至相互连接。又或者，所述多个第一像素10及所述多个第二像素单元20例如分开间隔设置。对于所述多个第一像素10及所述多个第二像素单元20之间的位置设置关系，本申请并不做特别限制。
所述第一像素10用于获取被一目标物所反射的时间结构光，以同时得到所述目标物的二维图像(即灰度图像)及深度信息。具体的，所述第一像素10采用飞行时间(Time ofFlight，TOF)技术感测所述目标物的深度信息，所述飞行时间技术根据所述时间结构光由一光源模组发射出到被所述目标物反射后被所述第一像素10所捕获的时间差或相位差，以得到所述目标物的深度信息。
所述第二像素单元20用于获取被所述目标物所反射的时间结构光，以得到所述目标物的二维图像(即灰度图像)。由于所述第二像素单元20比第一像素10的功能简单，仅需要生成所述目标物的二维图像即可，因此所述第二像素单元20内部的结构比所述第一像素10内部的结构简单，使得所述第二像素单元20的感光面积能够被制作成小于所述第一像素10的感光面积。由于所述第一像素10与所述第二像素单元20交替排列成矩阵状，为了有效利用所述图像传感器100的空间，所述第一像素10的感光面积等于所述第二像素单元20的感光面积。进一步的，所述第二像素单元20被分割成多个呈矩阵状排布的第二像素21，也就是说，每个第二像素单元20中的所述多个第二像素21的感光面积之和等于每个第一像素10的感光面积。所述第二像素21及所述第一像素10均能够获取所述目标物的二维图像，使得相同感光面积的图像传感器100内所包含的用于获取所述目标物的二维图像的像素单元(包括第一像素10及第二像素21)的总数量增加，从而有效提高所述目标物的二维图像的分辨率。
所述多个第二像素21例如彼此独立，且两者的间隔距离很小，甚至相互连接。又或者，所述多个第二像素21例如分开间隔设置。对于所述多个第二像素21之间的位置设置关系，本申请并不做特别限制。
在本实施例中，所述第一像素10及所述第二像素单元20所接收的时间结构光为红外光，当然，在其他实施例中，所述第一像素10及所述第二像素单元20所接收的时间结构光也可为紫外光等合适波长的非可见光。
在本实施例中，所述多个第二像素单元20的面积均相同。然而，可变更地，在其它实施方式中，所述多个第二像素单元20的面积也可不同。相应地，每一第一像素10的同一侧也可设置两个或更多个第二像素单元20。另外，每一第二像素单元20中的第二像素21也可呈非规则阵列排布等都是可以的，又或者，每一第二像素单元20中的第二像素21的面积大小也可不同。当然，所述图像传感器100也可以仅包括一个第二像素单元20也是可行的。另外，第一像素10、第二像素单元20、第二像素21也并不限制为矩形，也可为其它合适的形状。
只要是在现有的TOF类型的图像传感器上增加小面积的二维图像感测像素，用以提高获得目标物的二维图像的分辨率，均应落在本申请的保护范围。
如图2所示，本申请第二实施例所提供的一种图像获取装置200，其包括光源模组210、处理器230及上述的图像传感器100。
所述光源模组210用于发射时间结构光至一目标物上。在本实施例中，所述时间结构光为红外光。当然，在在其他实施例中，所述时间结构光也可为紫外光等合适波长的非可见光。所述光源模组210可以为半导体边射型激光器(Edge Emitting Laser)，垂直共振腔面发射激光器(Vertical Cavity Surface Emitting Laser，VCSEL)或其它类型的激光发射器或其它合适光源。
所述图像传感器100包括依次交替排列的多个第一像素10及多个第二像素单元20。所述第一像素10用于获取被一目标物所反射的时间结构光，以同时得到所述目标物的二维图像(即灰度图像)及深度信息。所述第二像素单元20包括多个呈矩阵状排列的第二像素21。所述多个第二像素21均用于获取被所述目标物所反射的时间结构光，以得到所述目标物的二维图像(即灰度图像)。
所述处理器230用于将所述第一像素10所得到的所述目标物的二维图像及所述多个第二像素21所得到的所述目标物的二维图像进行合成；还用于提取所述第一像素10所得到的所述目标物的深度信息；并根据所述目标物合成后的二维图像及深度信息，导出所述目标物的3D图。
进一步地，所述处理器230根据第一像素获得的目标物的深度信息，例如但不局限于例如通过插值运算，获得第二像素单元20所对应目标物位置处的深度信息。从而，提高目标物的3D信息量。
目前，3D感测技术大规模应用于智能终端、增强现实(Augmented Reality,AR)/虚拟现实(Virtual Reality,VR)、智能安防、机器人视觉、自动驾驶、自动化医疗等多个领域。所述图案光束为在感测被测目标物的3D信息的过程中投射到被测目标物上的光束，可以在被测目标物上投射出预设的光图案用来感测被测目标物的3D信息。所获取的被测目标物的3D信息具有多种应用，比如可以利用所述3D信息实现脸部识别等功能。需要说明的是，本申请全文对此3D信息的应用并不做具体的限制。
如图3所示，本申请第三实施例所提供的一种身份识别装置300，其包括识别模组310及上述的图像获取装置200。
所述图像获取装置200用于获取一目标物的二维图像及/或深度信息。
所述识别模组310用于根据所述图像获取装置200所获取的所述目标物的二维图像及/或深度信息进行身份识别。
所述身份识别装置300例如为脸部识别装置。然，所述身份识别装置300也可用于识别人体的其它合适部位，甚至用于识别其它的生物体或非生物体。
进一步的，如图4所示，本申请第四实施例提供一种电子设备400，其例如但不局限于为消费性电子产品、家居式电子产品、车载式电子产品、金融终端产品等合适类型的电子产品。其中，消费性电子产品例如但不局限为手机、平板电脑、笔记本电脑、桌面显示器、电脑一体机等。家居式电子产品例如但不局限为智能门锁、电视、冰箱、穿戴式设备等。车载式电子产品例如但不局限为车载导航仪、车载DVD等。金融终端产品例如但不局限为ATM机、自助办理业务的终端等。所述电子设备400包括上述身份识别装置300。所述电子设备400根据所述身份识别装置300的身份识别结果来对应是否执行相应的功能。所述相应的功能例如但不局限于包括解锁、支付、启动预存的应用程序中的任意一种或几种。
在本实施方式中，以电子设备400为手机为例进行说明。所述手机例如为全面屏的手机，所述身份识别装置300例如设置在手机的正面顶端。当然，所述手机也并不限制于全面屏手机。
例如，当用户需要进行开机解锁时，抬起手机或触摸手机的屏幕都可以起到唤醒所述身份识别装置300的作用。当所述身份识别装置300被唤醒之后，识别所述手机前方的用户是合法的用户时，则解锁屏幕。
与现有技术相比较，本申请通过第一像素得到目标物的深度信息；通过第一像素及第二像素单元中的多个第二像素同时得到目标物的二维图像，使得相同感光面积的图像传感器内所包含的用于获取目标物的二维图像的像素单元(包括第一像素及第二像素)的总数量增加，从而有效提高目标物的二维图像的分辨率。
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像传感器，包括：
第一像素，用于捕获被一目标物所反射的时间结构光，并根据捕获的时间结构光获得所述目标物的二维图像及深度信息；和
第二像素单元，包括多个第二像素，每一第二像素用于捕获被所述目标物所反射的时间结构光，并根据捕获的时间结构光获得所述目标物的二维图像；
其中，每一第二像素的感光面积小于每一第一像素的感光面积。
2.如权利要求1所述的图像传感器，其特征在于，所述图像传感器包括多个第一像素和多个第二像素单元，所述多个第一像素与所述多个第二像素单元混合设置。
3.如权利要求2所述的图像传感器，其特征在于，所述多个第一像素和所述多个第二像素单元交替排列。
4.如权利要求3所述的图像传感器，其特征在于，每一第二像素单元的感光面积与每一第一像素的感光面积相等。
5.如权利要求1所述的图像传感器，其特征在于，每一第二像素单元中的多个第二像素呈阵列排布。
6.如权利要求1所述的图像传感器，其特征在于，所述第一像素是根据捕获的时间结构光，利用飞行时间测距原理获得所述目标物的深度信息。
7.如权利要求1所述的图像传感器，其特征在于，所述第二像素根据捕获的时间结构光并不能获得所述目标物的深度信息，所述图像传感器中增加第二像素单元是用于提高目标物的二维图像的分辨率。
8.一种图像获取装置，其特征在于，其包括光源模组及如权利要求1-7中任一项所述的图像传感器，所述光源模组用于发射时间结构光至一目标物；所述图像传感器用于获取被所述目标物所反射的时间结构光，以得到所述目标物的二维图像及深度信息。
9.如权利要求8所述的图像获取装置，其特征在于，所述图像获取装置进一步包括处理器，用于根据所述目标物的二维图像及深度信息，导出所述目标物的3D图。
10.如权利要求9所述的图像获取装置，其特征在于，所述处理器根据第一像素获得的目标物的深度信息，通过插值运算，获得第二像素单元所对应目标物位置处的深度信息。
11.一种身份识别装置，其特征在于，其包括识别模组及如权利要求7-8中任一项所述的图像获取装置，所述识别模组用于根据所述图像获取装置所获取的二维图像及/或深度信息进行身份识别。
12.一种电子设备，其特征在于，其包括如权利要求11所述的身份识别装置，所述电子设备用于根据所述身份识别装置的识别结果来对应是否执行相应的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811072695.9A CN109040566B (zh) | 2018-09-14 | 2018-09-14 | 图像传感器、图像获取装置、身份识别装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811072695.9A CN109040566B (zh) | 2018-09-14 | 2018-09-14 | 图像传感器、图像获取装置、身份识别装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109040566A true CN109040566A (zh) | 2018-12-18 |
| CN109040566B CN109040566B (zh) | 2024-04-02 |
Family
ID=64621609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811072695.9A Active CN109040566B (zh) | 2018-09-14 | 2018-09-14 | 图像传感器、图像获取装置、身份识别装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109040566B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140119603A1 (en) * | 2012-10-30 | 2014-05-01 | Young-Gu Jin | Methods of and apparatuses for recognizing motion of objects, and associated systems |
| KR20140145470A (ko) * | 2013-06-13 | 2014-12-23 | 엘지전자 주식회사 | 3차원 영상 처리 장치 및 방법 |
| CN105338263A (zh) * | 2014-08-04 | 2016-02-17 | Lg伊诺特有限公司 | 图像传感器和包括该图像传感器的图像拾取设备 |
| CN106200882A (zh) * | 2015-04-30 | 2016-12-07 | 原相科技股份有限公司 | 感测元件及光学测距系统 |
| CN107635129A (zh) * | 2017-09-29 | 2018-01-26 | 周艇 | 三维三目摄像装置及深度融合方法 |
-
2018
- 2018-09-14 CN CN201811072695.9A patent/CN109040566B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140119603A1 (en) * | 2012-10-30 | 2014-05-01 | Young-Gu Jin | Methods of and apparatuses for recognizing motion of objects, and associated systems |
| KR20140145470A (ko) * | 2013-06-13 | 2014-12-23 | 엘지전자 주식회사 | 3차원 영상 처리 장치 및 방법 |
| CN105338263A (zh) * | 2014-08-04 | 2016-02-17 | Lg伊诺特有限公司 | 图像传感器和包括该图像传感器的图像拾取设备 |
| CN106200882A (zh) * | 2015-04-30 | 2016-12-07 | 原相科技股份有限公司 | 感测元件及光学测距系统 |
| CN107635129A (zh) * | 2017-09-29 | 2018-01-26 | 周艇 | 三维三目摄像装置及深度融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109040566B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN208874676U (zh) | 一种图像获取装置、身份识别装置及电子设备 | |
| EP3811289B1 (en) | Non-contact biometric identification system | |
| CN101971123B (zh) | 具有可切换漫射体的交互式表面计算机 | |
| Corcoran et al. | Real-time eye gaze tracking for gaming design and consumer electronics systems | |
| Li | Time-of-flight camera—an introduction | |
| CN108681726A (zh) | 3d芯片模组、身份识别装置及电子设备 | |
| US7348963B2 (en) | Interactive video display system | |
| US20110181553A1 (en) | Interactive Projection with Gesture Recognition | |
| IL313854A (en) | Method and system for semantic transfer of an image by fusion with the help of an image converter | |
| CN106256124B (zh) | 结构化立体 | |
| CN108701233A (zh) | 一种光源模组、图像获取装置、身份识别装置及电子设备 | |
| CN103313080A (zh) | 控制设备、电子装置、控制方法和程序 | |
| WO2014107538A1 (en) | Stereo image matching | |
| CN208781240U (zh) | 3d芯片模组、身份识别装置及电子设备 | |
| WO2011082007A2 (en) | Interactive projection method, apparatus, and system | |
| CN102455779A (zh) | 信息处理设备和方法 | |
| US10664090B2 (en) | Touch region projection onto touch-sensitive surface | |
| CN102662529B (zh) | 三维互动显示装置及其操作方法 | |
| WO2016136380A1 (ja) | 情報処理システム及びプログラム、サーバ、端末、並びに媒体 | |
| CN108566777A (zh) | 身份鉴权方法、身份鉴权装置、和电子设备 | |
| CN113557710A (zh) | 生物特征输入装置 | |
| KR102668245B1 (ko) | 3차원 깊이 측정 장치 및 방법 | |
| CN209046731U (zh) | 图像传感器、图像获取装置、身份识别装置及电子设备 | |
| KR20090116544A (ko) | 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치 | |
| CN108711186A (zh) | 目标物体制图的方法与装置、身份识别装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |