CN113873103B - 光处理装置、相机模组、电子设备及拍摄方法 - Google Patents

光处理装置、相机模组、电子设备及拍摄方法 Download PDF

Info

Publication number
CN113873103B
CN113873103B CN202010630613.9A CN202010630613A CN113873103B CN 113873103 B CN113873103 B CN 113873103B CN 202010630613 A CN202010630613 A CN 202010630613A CN 113873103 B CN113873103 B CN 113873103B
Authority
CN
China
Prior art keywords
light
band
path
optical path
incident
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010630613.9A
Other languages
English (en)
Other versions
CN113873103A (zh
Inventor
尹志东
杨宗保
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202010630613.9A priority Critical patent/CN113873103B/zh
Priority to EP21164818.3A priority patent/EP3933502A1/en
Priority to US17/213,001 priority patent/US11971557B2/en
Publication of CN113873103A publication Critical patent/CN113873103A/zh
Application granted granted Critical
Publication of CN113873103B publication Critical patent/CN113873103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • G03B33/02Colour photography, other than mere exposure or projection of a colour film by two-colour separation records, e.g. red-aspect and white complete records; using Land effect
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • G03B33/10Simultaneous recording or projection
    • G03B33/12Simultaneous recording or projection using beam-splitting or beam-combining systems, e.g. dichroic mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本公开是关于一种光处理装置、相机模组、电子设备及图像拍摄方法。所述光处理装置包括:分光组件,设置于入射光的光路上,用于接收所述入射光,将所述入射光分光为至少两个波段光;其中,所述至少两个波段光中各光路长度之间的差值小于设定阈值;光感应组件,设置于所述至少两种波段光的光路上,用于接收所述至少两种波段光。将入射光分光成至少两波段光,这样,能够有效避免光感应组件的彩色滤光片对各波段光通道入射光的过滤,从而有效提升了进光量,实现近乎无损的光线入射。并使至少两波段光中各波段光投射到对应的光感应组件的光程相当,从而能够充分避免波段光的色彩还原时对应的色差问题,提升了图像的生成及显示效果。

Description

光处理装置、相机模组、电子设备及拍摄方法
技术领域
本公开涉及摄像头光路处理技术,尤其涉及一种光处理装置、相机模组、电子设备及拍摄方法。
背景技术
为提升电子设备中相机的进光量,目前行业内做了一系列的探索,包括但不限于采用彩色+黑白图像传感器、采用增强的阵列图像传感器等。无论是哪种方式,图像传感器感应光线的光程不同,这样会导致图像色彩还原时出现色差,使成像系统所拍摄的图像品质极具恶化。
发明内容
本公开提供一种光处理装置、相机模组、电子设备及拍摄方法。
根据本公开实施例的第一方面,提供一种光处理装置,包括:
分光组件,设置于入射光的光路上,用于接收所述入射光,将所述入射光分光为至少两个波段光;其中,所述至少两个波段光中各光路长度之间的差值小于设定阈值;
光感应组件,设置于所述至少两种波段光的光路上,用于接收所述至少两种波段光。
可选的,所述分光组件包括:
分光元件,设置于所述入射光的光路上,用于将所述入射光分光为第一波段光、第二波段光和第三波段光。
可选的,所述分光元件具有入射面、第一面和第二面;
所述入射面位于所述入射光的光路上,用于透射所述入射光;
所述第一面上设置有第一分光反射层;通过所述第一分光反射层,所述入射光分光形成沿第一光路的所述第一波段光和沿第四光路的所述第四波段光;
所述第二面上设置有第二分光反射层;通过所述第二分光反射层,所述第四波段光分光形成沿第二光路分光所述第二波段光和沿第三光路反射所述第三波段光。
可选的,所述分光组件还包括:
第一光路补偿元件,设置于所述第一波段光的出射光路上,用于对所述第一波段光进行光路补偿;
第二光路补偿元件,设置于所述第二波段光出射光路上,用于对所述第二波段光进行光路补偿。
可选的,所述第一光路补偿元件贴置于所述第一面上,所述第二光路补偿元件贴置于所述第二面上。
可选的,所述第一光路、所述第二光路和所述第三光路的光路长度相等;
其中,所述第一光路为:所述第一波段光从所述入射面至所述第一波段光出射所述第一光路补偿元件之间的光路;
所述第二光路为:所述第二波段光从所述入射面至所述第二波段光出射所述第二光路补偿元件之间的光路;
所述第三光路为:所述第三波段光从所述入射面至所述第三波段光出射所述分光元件之间的光路。
可选的,所述光感应组件包括:
第一光感应器,用于接收第一波段光;
第二光感应器,用于接收第二波段光;
第三光感应器,用于接收第三波段光。
可选的,第一波段光的第五光路、所述第二波段光的第六光路和所述第三波段光的第七光路的长度相等;
其中,所述第五光路为:所述第一波段光从所述分光元件的入射处至所述第一光感应器接收处的光路;
所述第六光路为:所述第二波段光从所述分光元件的入射处至所述第二光感应器接收处的光路;
所述第七光路为:从所述分光元件的入射处至所述第三光感应器接收处的光路。
可选的,所述第一波段光为红色原色光、绿色原色光和蓝色原色光中之一,所述第二波段光为红色原色光、绿色原色光和蓝色原色光中之一、所述第三波段光为红色原色光、绿色原色光和蓝色原色光中之一;
所述第一波段光、所述第二波段光和所述第三波段光各自相异。
可选的,所述分光元件为分光棱镜,所述第一光路补偿元件为棱镜,所述第二光路补偿元件为棱镜;
第一光感应器、第二光感应器和第三光感应器均为黑白图像传感器。
根据本公开实施例的第二方面,提供一种相机模组,包括:
镜片组,用于对待拍摄对象进行对焦,采集所述待拍摄对象的反射光,并将所述反射光向所述光处理装置输出;
前述的光处理装置,用于接收所述镜片组输出的入射光。
可选的,所述相机模组还包括:
光路调整元件,设置于所述镜片组和所述光处理装置之间的光路上,用于接收所述镜片组采集的入射光,改变所述入射光的光路使所述入射光以第一方向朝所述光处理装置入射。
根据本公开实施例的第三方面,提供一种电子设备,所述电子设备中安装有所述的相机模组。
根据本公开实施例的第四方面,提供一种图像拍摄方法,包括:
接收第一输入;
响应于所述第一输入,获取分别感测至少两路波段光形成的至少两帧图像;其中每一路波段光分别形成于分光组件中的光路长度之间的差值小于设定阈值;
根据所述至少两帧图像,生成所述拍摄对象的目标图像。
可选的,所述至少两个波段光包括:第一波段光、第二波段光和第三波段光;
所述根据所述至少两帧图像,生成所述拍摄对象的目标图像,包括:
将所述第一波段光、第二波段光和第三波段光感测形成的图像分别通过各自对应的颜色通道输出,生成所述目标图像。
本公开的实施例提供的技术方案可以包括以下有益效果:
在本公开的实施例中,将入射光分光成至少两波段光,这样,能够有效避免光感应组件的彩色滤光片(color filter)对各波段光通道入射光的过滤,从而有效提升了进光量,实现近乎无损的光线入射。并使至少两波段光中各波段光投射到对应的光感应组件的光程相当,从而能够充分避免波段光的色彩还原时对应的色差问题,提升了图像的生成及显示效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本公开实施例示出的一种光处理装置的组成结构示意图。
图2为本公开实施例示出的一种光处理装置的组成结构示意图。
图3为本公开实施例示出的一种相机模组的组成结构示意图。
图4为本公开实施例示出的一种相机模组的组成结构示意图。
图5为本公开实施例示出的一种相机模组的立体结构示意图。
图6本公开实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1为本公开实施例示出的一种光处理装置的组成结构示意图,如图1所示,本公开实施例的光处理装置包括:
分光组件31,设置于入射光的光路上,用于接收所述入射光,将所述入射光分光为至少两个波段光。
光感应组件32,设置于所述至少两种波段光的光路上,用于接收所述至少两种波段。
其中,所述至少两个波段光中各光路长度之间的差值小于设定阈值,即入射光被分光后的各波段光的光程相当。
本公开实施例中,各波段光的光程相当是指所述至少两个波段光中各波段光在分光组件31中的光程相当,所述至少两个波段光中各波段光在所述分光组件31的元器件中的光路长度相当。
当然,作为最佳的实现方式,所述至少两个波段光中各波段光在所述分光组件31至光感应组件32之间的光路相当,即所述至少两个波段光中各波段光除了在所述分光组件31的元器件中的光路长度相当之外,最好使各波段光在所述分光组件31至光感应组件32之间的光路也相当,从而使所述至少两个波段光中各波段光在入射到光感应组件32时,所路经的传输介质及传输路径的情况完全相当,这样,使在利用入射至光感应组件32的各波段光进行图像还原时,充分避免图像中存在色差的问题。
作为最优的实现方式,所述至少两个波段光中各波段光在所述分光组件31中的光路长度相等,而所述至少两个波段光中各波段光从入射光入射面至光感应组件32的光路长度也相等,各波段光在所述分光组件31至光感应组件32之间的光路也相等。
图2为本公开实施例示出的一种光处理装置的组成结构示意图,如图2所示,本公开实施例的分光组件31包括:
分光元件33,设置于所述入射光的光路上,用于将所述入射光分光为第一波段光、第二波段光和第三波段光。
所述第一波段光、所述第二波段光和所述第三波段光各光路长度之间的差值小于设定阈值,即所述第一波段光、所述第二波段光和所述第三波段光的光程相当。作为一最佳方式,所述第一波段光、所述第二波段光和所述第三波段光的光程完全相等。
所述第一波段光、所述第二波段光和所述第三波段光在所述分光组件31中的光路长度相等,而所述第一波段光、所述第二波段光和所述第三波段光从入射光入射面至光感应组件32的光路长度也相等,所述第一波段光、所述第二波段光和所述第三波段光在所述分光组件31至光感应组件32之间的光路也相等。
本公开实施例的分光元件33具有入射面36、第一面37和第二面38;所述入射面36位于所述入射光的光路上,用于透射所述入射光;所述第一面37上设置有第一分光反射层;所述第一分光反射层位于所述入射光的透射光路上,用于从所述入射光中沿第一光路分光所述第一波段光,沿第四光路反射所述第四波段光;所述第二面38上设置有第二分光反射层;所述第二分光反射层位于所述第四光路上,用于从所述第四波段光沿第二光路分光所述第二波段光、沿第三光路反射所述第三波段光。
在本公开实施例中,所述第一分光反射层可以是金属镀膜、非金属镀膜,或金属和非金属镀膜的混合层结构。只要能实现蓝光的透射及红绿混合光的反射即可。所述第二分光反射层可以是金属镀膜、非金属镀膜,或金属和非金属镀膜的混合层结构。只要能实现红光的透射及绿光的反射即可。
本公开实施例的分光组件31还包括:
第一光路补偿元件34,设置于所述第一波段光的出射光路上,用于对所述第一波段光进行光路补偿;
第二光路补偿元件35,设置于所述第二波段光出射光路上,用于对所述第二波段光进行光路补偿。
本公开实施例中,设置第一光路补偿元件34和第二光路补偿元件35的目的,是使所述第一波段光、所述第二波段光和所述第三波段光在分光组件31中的光程相当,所述第一波段光、所述第二波段光和所述第三波段光在分光元件33、第一光路补偿元件34和第二光路补偿元件35中的光程相当,使所述第一波段光、所述第二波段光和所述第三波段光在光元器件如玻璃介质中的光程相当。
具体地,所述第一光路补偿元件34贴置于所述第一面37上,所述第二光路补偿元件35贴置于所述第二面38上。
所述第一光路、所述第二光路和所述第三光路的光路长度相等;
其中,所述第一光路为:所述第一波段光从所述入射面36至所述第一波段光出射所述第一光路补偿元件34之间的光路;
所述第二光路为:所述第二波段光从所述入射面36至所述第二波段光出射所述第二光路补偿元件35之间的光路;
所述第三光路为:所述第三波段光从所述入射面36至所述第三波段光出射所述分光元件33之间的光路。
本公开实施例中,所述第一波段光、所述第二波段光和所述第三波段光在所述分光组件31的元器件中的光路长度之间的差值小于设定阈值;
其中,所述第一波段光在所述分光组件31的元器件中的光路为:所述第一波段光从所述入射面36至所述第一波段光出射所述第一光路补偿元件34之间的光路;这里的光路相当于第一光路;
所述第二波段光在所述分光组件31的元器件中的光路为:所述第二波段光从所述入射面36至所述第二波段光出射所述第二光路补偿元件35之间的光路;这里的光路相当于第二光路;
所述第三波段光在所述分光组件31的元器件中的光路为:所述第三波段光从所述入射面36至所述第三波段光出射所述分光元件33之间的光路;这里的光路相当于第三光路。
如图2所示,本公开实施例的光感应组件32包括:
第一光感应器321,用于接收第一波段光;
第二光感应器322,用于接收第二波段光;
第三光感应器323,用于接收第三波段光。
第一波段光的第五光路、所述第二波段光的第六光路和所述第三波段光的第七光路的长度相等;
其中,所述第五光路为:所述第一波段光从所述分光元件33的入射处至所述第一光感应器321接收处的光路;
所述第六光路为:所述第二波段光从所述分光元件33的入射处至所述第二光感应器322接收处的光路;
所述第七光路为:从所述分光元件33的入射处至所述第三光感应器323接收处的光路。
这里,第五光路是包含了第三光路的光路,第五光路比第一光路多出了第一长度,该第一长度为第一波段光在第一光感应器321与所述第一光路补偿元件34之间的光路长度;
第六光路是包含了第二光路的光路,第六光路比第二光路多出了第二长度,该第二长度为第二波段光在第二光感应器322与所述第二光路补偿元件35之间的光路长度;
第七光路是包含了第三光路的光路,第七光路比第三光路多出了第三长度,该第三长度为第三波段光在第三光感应器323与所述分光元件33之间的光路长度。
也即,本公开实施例的所述第一光感应器321接收的第一波段光的光路长度、所述第二光感应器322接收的第二波段光的光路长度和所述第三光感应器323接收的第三波段光的光路长度的光路长度相等;其中,所述第一光感应器321接收的第一波段光的光路长度为:从所述分光元件33的入射处至所述第一光感应器321接收处的光路长度;该光路长度相当于第五光路的长度;
所述第二光感应器322接收的波段光的光路长度为:从所述分光元件33的入射处至所述第二光感应器322接收处的光路长度;该光路长度相当于第六光路的长度;
所述第三光感应器323接收的波段光的光路长度为:从所述分光元件33的入射处至所述第三光感应器323接收处的光路长度;该光路长度相当于第七光路的长度。
在本公开实施例中,所述第一波段光为红色原色光、绿色原色光和蓝色原色光中之一,所述第二波段光为红色原色光、绿色原色光和蓝色原色光中之一、所述第三波段光为红色原色光、绿色原色光和蓝色原色光中之一;
所述第一波段光、所述第二波段光和所述第三波段光各自相异。
图1、图2中,H表示入射光入射至所述第一面37至第一波段光入射至第一光感应器321之间的距离,该距离也是入射光入射至所述第一面37至第二波段光入射至第二光感应器322之间的距离,当然也是入射光入射至所述第一面37至第三波段光入射至第二光感应器322之间的距离。h表示第四波段光入射至第二面38至第二波段光入射至第二光感应器322之间的距离,该距离也是第四波段光入射至第二面38至第三波段光入射至第三光感应器322之间的距离。
在本公开实施例中,所述分光元件33为分光棱镜,所述第一光路补偿元件34为棱镜,所述第二光路补偿元35件为棱镜;
第一光感应器321、第二光感应器322和第三光感应器323均为黑白图像传感器。这里的第一光感应器321、第二光感应器322和第三光感应器323均为黑白sensor。
在本公开实施例中,主要是将入射光分光为原色光,通过光感应组件32中各光感应器获取原色光后,可以合成图像中的各种色彩。入射光中的RGB原色光经过分光组件31分光后,形成三路红(R)、绿(G)、蓝(B)原色光,三路原色光在分光组件31中的光路长度完全相等。
如图2所示,本示例中,绿色原色光从入射面36入射至分光元件33,在第一面37的第一分光反射层被反射,仍在分光元件33中传输,在第二面38的第二分光反射层反射,沿与入射方向基本相反的方向从入射面36出射。
蓝色原色光从入射面36入射至分光元件33,在第一面37的第一分光反射层被透射,透射的蓝色原色光在所述第一光路补偿元件34中传输,从所述第一光路补偿元件34出射。
红色原色光从入射面36入射至分光元件33,在第一面37的第一分光反射层被反射,仍在分光元件33中传输,这里,红色原色光和绿色原色光共同在分光元件33中传输,红色原色光在第二面38的第二分光反射层被透射,从所述第二光路补偿元件35出射。
本公开实施例中,通过设置一分光元件33,即可实现红(R)、绿(G)、蓝(B)原色光的分光,从而使电子设备中的相机模组的体积设计得更小。
本公开实施例中,通过分光组件31对入射光分光为三原色光,这样,输入到黑白图像传感器为RGB单原色光,黑白图像传感器可以直接向显示屏的像素点对应的三原色通道分别输出红(R)、绿(G)、蓝(B)原色光,这样,显示处理元件不必再对黑白图像传感器输出的光线进行其他处理如去马赛克处理等运算,图像生成效率更高;而由于像素点的三通道分别接收黑白图像传感器输出的对应的红(R)、绿(G)、蓝(B)三原色光,基于本公开实施例处理后的图像不存在色差问题,生成的图像更逼真清晰。
在本公开实施例中,仅以RGB三原色光为例进行了说明,本领域技术人员应当理解,混合光如环境光还可以进行其他方式的分光,如可将环境光分光为黄、红、青、黑等不同的分光,依据分光后的不同颜色光再进行图像色彩还原,一样能够实现图像的生成,本公开实施例中,通过设置分光组件31的分光结构,保证分光光路的长度相当,能够避免色彩还原时产生的色差。
如图2所示,所述第一光路补偿元件34与所述分光元件33的第一面37贴置的面具有与第一面37相对应的斜率,以使所述第一光路补偿元件34贴置的面与第一面37完全贴合;所述第一光路补偿元件34的另一端为垂直端面,所述第一光路补偿元件34的截面整体为梯形状。
如图2所示,所述第二光路补偿元件35与所述分光元件33的第二面38贴置的面具有与第二面38相对应的斜率,以使所述第二光路补偿元件35贴置的面与第二面38完全贴合;所述第二光路补偿元件35的截面整体为三角形。
分光元件33能从所述入射光中沿第一光路分光出第一原色光,从所述入射光中分光所述第一原色光后剩余的光中沿第二光路分光出第二原色光、沿第三光路分光出第三原色光;在本公开实施例中,所述入射光中包含RGB三原色光,第一原色光指蓝色原色光,第二原色光指红色原色光,第三原色光指绿色原色光。
所述入射光经分光元件33的第一面37分光后,蓝色原色光被单独分光,剩余的光由RG两种原色光构成,并按图2所示的光路与蓝色原色光分路,RG混合光在分光元件33的第二面38被再次分光,形成R、G两路原色光。
在本公开的实施例中,所述第一分光反射层和所述第二分光反射层可以通过调整分光镀膜的成分和厚度等,达到不同的分光需求。红色原色光、绿色原色光和蓝色原色光的分光即可。
在本公开的实施例中,主要是将入射光分成对应的红绿蓝(RGB)三原色通道,使三原色光直接投射到对应的黑白图像传感器(sensor),这样,能够有效避免sensor的彩色滤光片(color filter)对各原色光通道入射光的过滤,有效提升进光量,实现近乎无损的光线入射。通过对三原色的光路进行补偿,使三原色光投射到对应的黑白图像传感器(sensor)的光程相当,从而能够充分避免色彩还原时对应的色差问题;本公开实施例的三原色光经一个光学系统入射,然后被拆分成RGB三个颜色通道之后由三个黑白sensor单独感应,可以直接输出给对应的屏幕每一个像素RGB通道,实现接近无损的图像形成及显示。
图3为本公开实施例示出的一种相机模组的组成结构示意图,图4为图3所示相机模组的俯视结构示意图,如图3、图4所示,本公开实施例的相机模组包括:
镜片组51,用于对待拍摄对象进行对焦,采集所述待拍摄对象的反射光,并将所述反射光向所述光处理装置输出;
本公开实施例中,镜片组51还可以具备光学防抖功能,即当对待拍摄对象进行对焦后,启动光学防抖功能,在采集待拍摄对象的反射光时,能避免因抖动导致的光线输入不稳定。
前述实施例所示的光处理装置,用于接收所述镜片组输出的入射光。
本公开实施例的相机模组还设置有光路调整元件52,设置于所述镜片组51和分光组件之间的光路上,用于接收所述镜片组51采集的光,改变所述光的光路使所述入射光以第一方向朝所述光处理装置入射。这里,第一方向最好为垂直于所述分光组件的方向,当然,也可以是近似垂直于所述分光组件的方向。
如图4所示,混合光中的RGB原色光经过分光组件32分光后,形成三路红(R)、绿(G)、蓝(B)原色光,三路原色光的光路长度完全相等。
本公开实施例中,仅以RGB三原色光为例进行了说明,本领域技术人员应当理解,混合光如环境光还可以进行其他方式的分光,如可将环境光分光为黄、红、青、黑等不同的分光,依据分光后的不同颜色光再进行图像色彩还原,一样能够实现图像的生成,本公开实施例中,通过设置分光组件的分光结构,保证分光光路的长度相当,能够避免色彩还原时产生的色差。
本公开实施例中,光路调整元件52也为棱镜,当镜片组51采集的待拍摄对象等反射的环境光入射至光路调整元件52中时,其入射光路被改变而朝向所述分光组件32的入射面入射。
如图4所示,本公开实施例示出的相机模组中,以所述混合光中包含三种原色光为例;所述分光组件包括:
分光元件33,设置于所述入射光光路上,能从所述入射光中沿第一光路分光出第一原色光,从所述入射光中分光所述第一原色光后剩余的光中沿第二光路分光出第二原色光、沿第三光路分光出第三原色光;
在本公开实施例中,以所述入射光中包含RGB三原色光为例,第一原色光可以指蓝色原色光,第二原色光可以指红色原色光,第三原色光可以指绿色原色光。
所述混合光经分光元件33在第一面37分光后,蓝色原色光被单独分光,剩余的光由RG两种原色光构成,并按图4所示的光路与蓝色原色光分路,RG混合光在分光元件33的第二面38被再次分光,形成R、G两种原色光。
本公开实施例中,通过分光组件31对入射光分光为三原色光,这样,输入到黑白图像传感器为RGB单原色光,黑白图像传感器可以直接向显示屏的像素点对应的三原色通道分别输出红(R)、绿(G)、蓝(B)原色光,这样,显示处理元件不必再对黑白图像传感器输出的光线进行其他处理如去马赛克处理等运算,图像生成效率更高;而由于像素点的三通道分别接收黑白图像传感器输出的对应的红(R)、绿(G)、蓝(B)三原色光,基于本公开实施例处理后的图像不存在色差问题,生成的图像更逼真清晰。
本公开实施例所示的光处理装置中其余元器件的结构及功能,与前述实施例中的元器件的结构及功能完全相同,这里不再赘述。
图5为本公开实施例示出的一种相机模组的立体结构示意图,如图5所示,本公开实施例的光路调整元件52为三棱柱形,混合光经镜片组51入射至本公开实施例的光路调整元件52中,在三棱柱形的斜面被反射至分光元件33中,在分光元件33中入射的入射光被分光为三原色光,并分别入射至第一光感应器321、第二光感应器322和第三光感应器323,这里的第一光感应器321、第二光感应器322和第三光感应器323均为黑白sensor。
在本公开的实施例中,将入射光分成对应的红绿蓝(RGB)三原色通道,使三原色光直接投射到对应的黑白图像传感器(sensor),这样,能够有效避免sensor的彩色滤光片(color filter)对各原色光通道入射光的过滤,有效提升进光量,实现近乎无损的光线入射。通过对三原色的光路进行补偿,使三原色光投射到对应的黑白图像传感器(sensor)的光程相当,从而能够充分避免色彩还原时对应的色差问题;本公开实施例的三原色光经一个光学系统入射,然后被拆分成RGB三个颜色通道之后由三个黑白sensor单独感应,可以直接输出给对应的屏幕每一个像素RGB通道,实现接近无损的图像形成及显示。
本公开实施例还记载了一种电子设备的图像拍摄方法,基于前述实施例的相机模组及光处理装置而实现,所述方法包括:
接收第一输入;
响应于所述第一输入,获取分别感测至少两路波段光形成的至少两帧图像;其中每一路波段光分别形成于分光组件中的光路长度之间的差值小于设定阈值;
根据所述至少两帧图像,生成所述拍摄对象的目标图像。
这里,第一输入可以的针对电子设备的图像拍摄操作,如是对电子设备的拍摄按钮的点击或按压操作,响应于图像拍摄操作,生成第一输入。
可选的,所述至少两个波段光包括:第一波段光、第二波段光和第三波段光;
所述根据所述至少两帧图像,生成所述拍摄对象的目标图像,包括:
将所述第一波段光、第二波段光和第三波段光感测形成的图像分别通过各自对应的颜色通道输出,生成所述目标图像。
这里,所述第一波段光为红色原色光、绿色原色光和蓝色原色光中之一,所述第二波段光为红色原色光、绿色原色光和蓝色原色光中之一、所述第三波段光为红色原色光、绿色原色光和蓝色原色光中之一;所述第一波段光、所述第二波段光和所述第三波段光各自相异。
通过将对入射光分光为红(R)、绿(G)、蓝(B)三原色光,黑白图像传感器接收到的光为RGB中的单原色光,这样,黑白图像传感器可以直接向显示屏的像素点对应的三原色通道分别输出红(R)、绿(G)、蓝(B)原色光,显示处理元件不必再对黑白图像传感器输出的光线进行其他处理如去马赛克处理等运算,图像生成效率更高;而由于像素点的三通道分别接收黑白图像传感器输出的对应的红(R)、绿(G)、蓝(B)三原色光,基于本公开实施例处理后的图像不存在色差问题,生成的图像更逼真清晰。
本公开实施例的图像拍摄方法,可参照前述光处理装置及相机模组的相关描述而理解。
图6为根据一示例性实施例示出的一种电子设备800的框图,如图6所示,电子设备800支持多屏输出,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。本公开实施例的电子设备可以是手机、游戏机、可穿戴式设备、虚拟现实设备、个人数字助理、笔记本电脑、平板电脑或电视终端等,电子设备中具有摄像头,所述摄像头采用前述实施例的相机模组结构。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述实施例的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。前置摄像头和/或后置摄像头采用前述实施例所记载的相机模组。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如Wi-Fi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述实施例的方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种光处理装置,其特征在于,所述装置包括:
分光组件,设置于入射光的光路上,用于接收所述入射光,将所述入射光分光为至少两路波段光;其中,所述至少两路波段光中各光路长度之间的差值小于设定阈值;
光感应组件,设置于所述至少两路波段光的光路上,用于接收所述至少两路波段光;
所述分光组件包括:
分光元件,设置于所述入射光的光路上,用于将所述入射光分光为第一波段光、第二波段光和第三波段光;
其中,所述分光元件具有入射面、第一面和第二面;
所述入射面位于所述入射光的光路上,用于透射所述入射光;
所述第一面上设置有第一分光反射层;通过所述第一分光反射层,所述入射光分光形成沿第一光路的所述第一波段光和沿第四光路的第四波段光;
所述第二面上设置有第二分光反射层;通过所述第二分光反射层,所述第四波段光分光形成沿第二光路分光的所述第二波段光和沿第三光路反射的所述第三波段光;
所述第三波段光在所述第二分光反射层反射,并沿与入射方向相反的方向从所述入射面出射。
2.根据权利要求1所述的装置,其特征在于,所述分光组件还包括:
第一光路补偿元件,设置于所述第一波段光的出射光路上,用于对所述第一波段光进行光路补偿;
第二光路补偿元件,设置于所述第二波段光出射光路上,用于对所述第二波段光进行光路补偿。
3.根据权利要求2所述的装置,其特征在于,所述第一光路补偿元件贴置于所述第一面上,所述第二光路补偿元件贴置于所述第二面上。
4.根据权利要求3所述的装置,其特征在于,所述第一光路、所述第二光路和所述第三光路的光路长度相等;
其中,所述第一光路为:所述第一波段光从所述入射面至所述第一波段光出射所述第一光路补偿元件之间的光路;
所述第二光路为:所述第二波段光从所述入射面至所述第二波段光出射所述第二光路补偿元件之间的光路;
所述第三光路为:所述第三波段光从所述入射面至所述第三波段光出射所述分光元件之间的光路。
5.根据权利要求2所述的装置,其特征在于,所述光感应组件包括:
第一光感应器,用于接收第一波段光;
第二光感应器,用于接收第二波段光;
第三光感应器,用于接收第三波段光。
6.根据权利要求5所述的装置,其特征在于,第一波段光的第五光路、所述第二波段光的第六光路和所述第三波段光的第七光路的长度相等;
其中,所述第五光路为:所述第一波段光从所述分光元件的入射处至所述第一光感应器接收处的光路;
所述第六光路为:所述第二波段光从所述分光元件的入射处至所述第二光感应器接收处的光路;
所述第七光路为:从所述分光元件的入射处至所述第三光感应器接收处的光路。
7.根据权利要求1至6任一项所述的装置,其特征在于,所述第一波段光为红色原色光、绿色原色光和蓝色原色光中之一,所述第二波段光为红色原色光、绿色原色光和蓝色原色光中之一、所述第三波段光为红色原色光、绿色原色光和蓝色原色光中之一;
所述第一波段光、所述第二波段光和所述第三波段光各自相异。
8.根据权利要求5所述的装置,其特征在于,所述分光元件为分光棱镜,所述第一光路补偿元件为棱镜,所述第二光路补偿元件为棱镜;
第一光感应器、第二光感应器和第三光感应器均为黑白图像传感器。
9.一种相机模组,其特征在于,所述相机模组包括:
镜片组,用于对待拍摄对象进行对焦,采集所述待拍摄对象的反射光,并将所述反射光向所述光处理装置输出;
权利要求1至8中任一项所述的光处理装置,用于接收所述镜片组输出的入射光。
10.根据权利要求9所述的相机模组,其特征在于,所述相机模组还包括:
光路调整元件,设置于所述镜片组和所述光处理装置之间的光路上,用于接收所述镜片组采集的入射光,改变所述入射光的光路使所述入射光以第一方向朝所述光处理装置入射。
11.一种电子设备,其特征在于,所述电子设备中安装有如权利要求9或10所述的相机模组。
12.一种权利要求11的电子设备的图像拍摄方法,其特征在于,所述方法包括:
接收第一输入;
响应于所述第一输入,获取分别感测至少两路波段光形成的至少两帧图像;其中每一路波段光分别形成于分光组件中的光路长度之间的差值小于设定阈值;
根据所述至少两帧图像,生成所述拍摄对象的目标图像;
所述至少两路波段光包括:第一波段光、第二波段光和第三波段光;
所述方法还包括:
通过所述电子设备中光处理装置的分光元件的第一面上设置的第一分光反射层,将从所述分光元件的入射面投射的入射光分光形成沿第一光路的所述第一波段光和沿第四光路的第四波段光;
通过所述分光元件的第二面上设置的第二分光反射层,将所述第四波段光分光形成沿第二光路分光的所述第二波段光和沿第三光路反射的所述第三波段光;
所述第三波段光在所述第二分光反射层反射,并沿与入射方向相反的方向从所述入射面出射。
13.根据权利要求12所述的方法,其特征在于,所述根据所述至少两帧图像,生成所述拍摄对象的目标图像,包括:
将所述第一波段光、第二波段光和第三波段光感测形成的图像分别通过各自对应的颜色通道输出,生成所述目标图像。
CN202010630613.9A 2020-06-30 2020-06-30 光处理装置、相机模组、电子设备及拍摄方法 Active CN113873103B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010630613.9A CN113873103B (zh) 2020-06-30 2020-06-30 光处理装置、相机模组、电子设备及拍摄方法
EP21164818.3A EP3933502A1 (en) 2020-06-30 2021-03-25 Optical processing apparatus, camera module, electronic device and capturing method
US17/213,001 US11971557B2 (en) 2020-06-30 2021-03-25 Optical processing apparatus, camera module, electronic device and capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010630613.9A CN113873103B (zh) 2020-06-30 2020-06-30 光处理装置、相机模组、电子设备及拍摄方法

Publications (2)

Publication Number Publication Date
CN113873103A CN113873103A (zh) 2021-12-31
CN113873103B true CN113873103B (zh) 2023-11-28

Family

ID=75223137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010630613.9A Active CN113873103B (zh) 2020-06-30 2020-06-30 光处理装置、相机模组、电子设备及拍摄方法

Country Status (3)

Country Link
US (1) US11971557B2 (zh)
EP (1) EP3933502A1 (zh)
CN (1) CN113873103B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594585B (zh) * 2022-03-31 2023-11-10 歌尔光学科技有限公司 一种光学模组以及电子设备
CN117348131A (zh) * 2023-09-13 2024-01-05 杭州开亚科技合伙企业(有限合伙) 一种空间复用光学元件及光学系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542193B1 (en) * 1998-01-19 2003-04-01 Fuji Photo Optical Co., Ltd. Optical system for TV camera with still-taking function
CN1637463A (zh) * 2003-12-24 2005-07-13 精工爱普生株式会社 光学显示装置及投影型显示装置
CN204963859U (zh) * 2015-09-11 2016-01-13 中国科学院遥感与数字地球研究所 遥感参数相机
CN107121783A (zh) * 2017-06-23 2017-09-01 中山联合光电科技股份有限公司 一种成像系统
CN108572497A (zh) * 2017-03-14 2018-09-25 深圳市光峰光电技术有限公司 光源装置及投影系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4323918A (en) 1980-08-25 1982-04-06 Rca Corporation Optical assembly for color television
TW439050B (en) * 2000-07-05 2001-06-07 Ho Lu Optical projection system using reflective liquid crystal panel
US20040160578A1 (en) * 2003-02-19 2004-08-19 Ho Lu Optical system for a projection display
JP2005321545A (ja) 2004-05-07 2005-11-17 Sony Corp 撮像装置
KR101109584B1 (ko) * 2004-11-27 2012-01-31 삼성전자주식회사 조명유니트 및 이를 채용한 화상투사장치
JP2007249129A (ja) * 2006-03-20 2007-09-27 Epson Toyocom Corp 波長分離素子、波長分離素子の製造方法及び光モジュール
US8764633B2 (en) 2011-08-12 2014-07-01 Intuitive Surgical Operations, Inc. Feature differentiation image capture unit and method in a surgical instrument
EP3751325B1 (en) * 2018-03-28 2024-04-10 Sony Group Corporation Optical system for rigid scope, imaging device, and endoscopic system
CN209170522U (zh) 2019-02-14 2019-07-26 Oppo广东移动通信有限公司 一种成像系统、摄像头及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542193B1 (en) * 1998-01-19 2003-04-01 Fuji Photo Optical Co., Ltd. Optical system for TV camera with still-taking function
CN1637463A (zh) * 2003-12-24 2005-07-13 精工爱普生株式会社 光学显示装置及投影型显示装置
CN204963859U (zh) * 2015-09-11 2016-01-13 中国科学院遥感与数字地球研究所 遥感参数相机
CN108572497A (zh) * 2017-03-14 2018-09-25 深圳市光峰光电技术有限公司 光源装置及投影系统
CN107121783A (zh) * 2017-06-23 2017-09-01 中山联合光电科技股份有限公司 一种成像系统

Also Published As

Publication number Publication date
EP3933502A1 (en) 2022-01-05
US20210405384A1 (en) 2021-12-30
US11971557B2 (en) 2024-04-30
CN113873103A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
JP4411059B2 (ja) カメラ付きディスプレイ装置、通信装置および通信システム
CN110958401B (zh) 一种超级夜景图像颜色校正方法、装置和电子设备
CN113873103B (zh) 光处理装置、相机模组、电子设备及拍摄方法
JP2008118589A (ja) テレビ電話装置
CN114286072A (zh) 色彩还原装置及方法、图像处理器
CN111953903A (zh) 拍摄方法、装置、电子设备及存储介质
CN106982327B (zh) 图像处理方法和装置
US20140078382A1 (en) Lens for a camera
CN112468684A (zh) 摄像头模组和具有该摄像头模组的移动终端
CN112468686A (zh) 摄像头模组和具有该摄像头模组的移动终端
WO2020052063A1 (zh) 摄像头模组、处理方法及装置、电子设备、存储介质
CN112188111B (zh) 拍照方法及装置、终端及存储介质
EP4106321A1 (en) Image processing method and apparatus, model training method and apparatus, and storage medium
CN114338956B (zh) 图像处理方法、图像处理装置及存储介质
CN110876000B (zh) 摄像头模组及图像修正方法、装置、电子设备、存储介质
CN212727150U (zh) 光处理装置、相机模组及电子设备
CN210670245U (zh) 摄像头模组和具有该摄像头模组的移动终端
CN210670246U (zh) 摄像头模组和具有该摄像头模组的移动终端
CN210670247U (zh) 摄像头模组和具有该摄像头模组的移动终端
CN110971722B (zh) 图像拍摄方法及装置
CN112822465B (zh) 一种终端设备及图像处理方法
CN112213898A (zh) 彩色图像采集设备和电子设备
CN112468683A (zh) 摄像头模组和具有该摄像头模组的移动终端
CN112567723B (zh) 电子设备以及图像处理方法
CN116342853A (zh) 图像获取装置及图像处理方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant