CN110365878B - 一种摄像装置和方法 - Google Patents
一种摄像装置和方法 Download PDFInfo
- Publication number
- CN110365878B CN110365878B CN201910600695.XA CN201910600695A CN110365878B CN 110365878 B CN110365878 B CN 110365878B CN 201910600695 A CN201910600695 A CN 201910600695A CN 110365878 B CN110365878 B CN 110365878B
- Authority
- CN
- China
- Prior art keywords
- light
- image
- target
- infrared light
- near infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000012545 processing Methods 0.000 claims abstract description 97
- 238000001914 filtration Methods 0.000 claims description 37
- 239000013589 supplement Substances 0.000 claims description 22
- 230000000694 effects Effects 0.000 abstract description 2
- 239000010408 film Substances 0.000 description 72
- 230000003287 optical effect Effects 0.000 description 62
- 238000006243 chemical reaction Methods 0.000 description 27
- 238000005286 illumination Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000002834 transmittance Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012788 optical film Substances 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
Abstract
本申请公开了一种摄像装置,该摄像装置包括镜头、光处理模块、第一图像传感器、第二图像传感器和影像处理模块;镜头用于获取目标反射的光,并将获取的光射入所述光处理模块;光处理模块用于将所述镜头获取的光分离成可见光和近红外光;第一图像传感器用于接收所述可见光,并根据接收到的所述可见光生成可见光图像;第二图像传感器用于接收所述近红外光,并根据接收到的所述近红外光生成近红外光图像;影像处理模块用于根据所述可见光图像和所述近红外光图像获得输出图像。本申请提供的摄像装置可在复杂情况下拍摄目标,拍摄效果稳定。
Description
技术领域
本申请涉及图像技术领域,具体涉及一种摄像装置和方法。
背景技术
摄像机是一种把光学图像信号转变为电信号的设备。自摄像机技术发明以来,研究人员一直在对摄像机的结构进行改进,旨在让摄像机在不同条件下都能拍摄到图像且拍摄到的图像更清晰真实,能否获得有效且清晰真实的图像与镜头、图像传感器、影像处理模块息息相关。
在很多复杂情况下(如:在透过反射能力较强的介质拍摄物体的情况下),要获得清晰的被拍摄目标的图像十分困难,例如:在一个具体的交通道路的视频监控场景下,路口的摄像机要透过汽车玻璃拍摄车内的人员,由于在拍摄时易受到汽车玻璃反射光的影响,无法获得清晰的车内人员的图像,这给视频监控的应用带来了极大的问题,再例如:要透过水面拍摄水下画面时,水面的反射光也会使得获得的水下图像曝光过度。
为了解决这个问题,现有技术中存在为摄像机的镜头增加一个偏振片的方法,镜头上的偏振片可以在摄像机透过反射能力强的透明介质拍摄物体时,过滤掉透明介质反射的光,使透明介质反射的光对于物体成像的影响削弱,但偏振片同样也会过滤被拍摄目标的反射光,影响物体成像,且由于偏振片对于反射光的过滤与摄像机、光照方向和被拍摄目标的相对位置都相关,性能不稳定。因此,如何设计一个性能更稳定,可适应复杂场景的摄像机是目前急需解决的一个问题。
发明内容
本申请提供了一种摄像装置,用于解决摄像机在复杂场景(如:透过反射能力强的透明介质拍摄物体时)的拍摄效果不佳的问题。
第一方面,本申请提供一种摄像装置,所述摄像装置包括镜头、光处理模块、第一图像传感器、第二图像传感器和影像处理模块;其中,所述镜头,用于获取目标反射的光,并将获取的光射入所述光处理模块;所述光处理模块,设置于所述镜头的出射面,用于将所述镜头获取的光分离成可见光和近红外光,其中,所述可见光从所述光处理模块的第一出射面射出,所述近红外光从所述光处理模块的第二出射面射出;所述第一图像传感器,设置于所述第一出射面,用于接收所述可见光,并根据接收到的所述可见光生成可见光图像;所述第二图像传感器,设置于所述第二出射面,用于接收所述近红外光,并根据接收到的所述近红外光生成近红外光图像;所述影像处理模块,与所述第一图像传感器和所述第二图像传感器连接,用于根据所述可见光图像和所述近红外光图像获得输出图像。
第一方面提供的摄像装置将被拍摄的目标反射的光分离成可见光和近红外光,进而获得了两个图像,根据两个图像获得最终的输出图像,这使得获得的输出图像信噪比更高(即输出图像的质量高),也使得这种摄像装置可适应更多的拍摄场景,在复杂的拍摄场景下也能拍摄出高质量的图像。
在第一方面的一种实现中,所述光处理模块,还用于根据所述目标所在的环境确定所述近红外光的波长范围。这使得摄像装置可根据被拍摄的目标所在的环境自适应地调整近红外光,保证获得的近红外光图像的信噪比较好,这也保证了根据近红外光图像和可见光图像获得的输出图像的质量,使摄像装置应用的场景更广。
在第一方面的一种实现中,所述确定的近红外光的波长范围为930nm-950nm。将近红外光的波长确定在930nm-940nm的波长范围内可使摄像装置在光照强的环境中透过反射能力较强的介质拍摄目标时可获得质量较高的输出图像。
在第一方面的一种实现中,所述确定的近红外光的波长范围为740nm-760nm。将近红外光的波长确定在740nm-760nm的波长范围内可使摄像装置在光照弱的环境中透过反射能力较强的介质拍摄目标时可获得质量较高的输出图像。
在第一方面的一种实现中,所述可见光图像为彩色图像,所述近红外光图像为黑白图像,所述输出图像为彩色图像。该摄像装置获得的输出图像质量高且为彩色图像,适用于的场景更广。
在第一方面的一种实现中,所述影像处理模块,具体用于提取所述可见光图像和所述近红外光图像中的目标对应的区域;将所述可见光图像中的目标对应的区域和所述近红外光图像中的目标对应的区域进行融合,获得融合后的目标对应的区域;根据所述融合后的目标对应的区域和所述可见光图像获得输出图像。该摄像装置在一些场景下(例如:车辆监控)还可以获得仅被拍摄的目标质量高的输出图像,这种摄像装置适用于特别关注目标的应用场景(例如:通过输出图像进行车辆超载判断等)。
在第一方面的一种实现中,所述摄像装置还包括补光模块,所述补光模块用于根据所述目标所在的环境确定要射向所述目标的光的波长范围,向所述目标射出波长在所述确定的波长范围内的光。摄像装置通过设置根据所述目标所在的环境确定要射向所述目标的光的波长范围的补光模块,使得摄像装置获得的可见光图像和近红外光图像能量较高,进一步使得获得的输出图像能量较高。
第二方面,本申请提供一种摄像方法,所述方法包括:获取目标反射的光;将所述获取的光分离成可见光和近红外光,其中,所述近红外光为经过滤光单元过滤后获得的波长在特定波长范围内的近红外光;根据所述可见光生成可见光图像,根据所述近红外光生成近红外光图像;根据所述可见光图像和所述近红外光图像获得输出图像。
在第二方面的一种实现中,所述方法还包括:根据所述目标所在的环境调整所述滤光单元的滤光的波长范围。
在第二方面的一种实现中,所述根据所述目标所在的环境调整所述滤光单元的滤光的波长范围,具体包括:根据所述目标所在的环境调整所述滤光单元的滤光的波长范围为930nm-950nm。
在第二方面的一种实现中,所述根据所述目标所在的环境调整所述滤光单元的滤光的波长范围,具体包括:根据所述目标所在的环境调整所述滤光单元的滤光的波长范围为740nm-760nm。
在第二方面的一种实现中,所述可见光图像为彩色图像,所述近红外光图像为黑白图像,所述输出图像为彩色图像。
在第二方面的一种实现中,所述根据所述可见光图像和所述近红外光图像获得输出图像,具体包括:提取所述可见光图像和所述近红外光图像中的目标对应的区域;将所述可见光图像中的目标对应的区域和所述近红外光图像中的目标对应的区域进行融合,获得融合后的目标对应的区域;根据所述融合后的目标对应的区域和所述可见光图像获得输出图像。
在第二方面的一种实现中,所述方法还包括:根据所述目标所在的环境确定要射向所述目标的光的波长范围,向所述目标射出波长在所述确定的波长范围内的光。
附图说明
为了更清楚地说明本申请实施例的技术方法,下面将对实施例中所需使用的附图作以简单地介绍。
图1为一种摄像装置100的结构示意图;
图2为本申请提供的一种摄像装置200的结构示意图;
图3为本申请实施例提供的一种光工作子装置300的工作示意图;
图4为本申请实施例提供的一种可切换滤光单元3022的结构示意图;
图5为本申请实施例提供的一种电工作子装置400的工作示意图;
图6为本申请实施例提供的一种摄像方法的流程示意图;
图7为本申请实施例提供的一种光处理模块600的工作示意图。
具体实施方式
术语简介
可见光:可见光是人眼可以感知的电磁波,通常人眼能够感知到波长大约在390~700nm之间的电磁波。
近红外光:近红外光是介于可见光和中红外光之间的电磁波,按照美国试验和材料检测协会的定义,近红外光是指波长在700~2500nm范围内的电磁波。
滤光膜系半高宽:在以光的波长为横坐标、滤光片对不同波长的光的透过率为纵坐标形成的曲线图中,光峰值透过率对应的光波波长与光峰值透过率的一半对应的光波波长之差的绝对值称为滤光膜系半高宽。其中,光峰值透过率指滤光片对光的最高透过率的大小。
分光膜系:将一路光分离为不同波长的两路或多路光的多层光学薄膜的组合。
滤光膜系:对穿过的光进行按一定需求过滤的多层光学薄膜的组合。
值得注意的是,分光膜系和滤光膜系根据对每层光学薄膜的设计(例如:选择膜的材料、设计每层膜的厚度),可以分别实现不同的分光和滤光的功能。例如:本申请使用的分光膜系可以实现将一路光分离为可见光和近红外光;本申请使用的滤光膜系包括可以透过波长940nm的光的滤光膜系和可以透过波长750nm的光的滤光膜系。
出射面:光从一种介质射出到另一种介质的传播方向形成的平面。
图1为一种摄像装置100的结构示意图。如图1所示,摄像装置100包括镜头101、图像传感器102、模拟信号/数字信号(A/D)转换模块103、影像处理模块104。
镜头101是包括一块或多块光学玻璃(例如凸透镜、凹透镜)的透镜组,在摄像过程中,镜头101用于聚集被拍摄的物体反射的光且将被拍摄目标反射的光映射到图像传感器102。为了适应不同的应用,镜头的种类有多种多样,例如:变焦镜头、定焦镜头、鱼眼镜头、广角镜头、远摄镜头、微距镜头等。
图像传感器102是一种将光学影像转换成电子信号的元件或设备。被拍摄目标由镜头101映射到图像传感器102的受光面,在受光面上形成该物体的光学影像,图像传感器102进一步地将物体形成的光学影像转换成模拟电子信号,图像传感器102有多种,例如:摄像管、电荷耦合器件(charge coupled device,CCD)、互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)传感器)。
A/D转换模块103用于将图像传感器102获得的模拟电子信号转换成数字信号。值得注意的是,在一些摄像装置中A/D转换模块103可与图像传感器102或影像处理模块104结合在一起。
影像处理模块104用于接收由A/D转换模块103获得的数字信号,对数字信号进行处理以形成数字图像。影像处理模块104可以对数字信号进行多重处理,例如:扣暗电流(去底电流噪声),线性化(解决数据非线性问题),shading(解决镜头带来的亮度衰减与颜色变化),去坏点(去掉sensor中坏点数据),将原始数据转为RGB数据,自动白平衡,自动对焦,自动曝光,优化局部与整体对比度,角度变化,锐化,色彩空间转换(转换到不同色彩空间进行处理),颜色增强等。不同类型的摄像装置的影像处理模块包含的功能也有差异。
如图1所示,图像传感器102设置于镜头101的出射面,使得镜头101射出的光射至图像传感器102的受光面。图像传感器102与A/D转换模块103通过通信通路连接,使得图像传感器102将模拟电子信号发送至A/D转换模块103。A/D转换模块103与影像处理模块104通过通信通路连接,使得A/D转换模块103将数字信号发送至影像处理模块104。
从摄像的角度,现实世界中的所有物体可以看成是由无数的反光点构成的,当摄像装置100拍摄一个物体时,此物体上每个反光点反射的光被镜头101收集,镜头101把每个反光点映射到图像传感器102的受光面上,通过图像传感器102完成光电转换,A/D转换模块103再将获得的模拟电信号转换成数字信号,影像处理模块104对数字信号进行处理形成数字图像,该数字图像即为被拍摄目标所成的像,数字图像可由显示模块显示出来,显示模块可以是摄像机中的显示屏、电脑显示屏、手机显示屏等。
现有摄像装置在拍摄物体时,在需要透过反射能力强的透明介质拍摄物体的情况下,获得的被拍摄的物体的图像常常无法看清。因此,本申请提供一种摄像装置200,如图2所示,该装置包括:镜头201、光处理模块202、图像传感器203a和图像传感器203b、A/D转换模块204、影像处理模块205、补光模块206。
镜头201用于获取被拍摄区域的物体反射的光,且将获取的光发送至光处理模块202。
光处理模块202用于将从镜头201射出的光分离为可见光和近红外光两路光,光处理模块202还用于对分出的可见光和/或近红外光进行过滤,使得获得单色性更好的可见光和/或近红外光。
图像传感器203a和图像传感器203b分别用于对可见光和近红外光进行光电转换,获得两路光对应的模拟电子信号。
A/D转换模块204用于将图像传感器203a和图像传感器203b获得的两路光对应的模拟电子信号分别转换成数字信号,且将获得的两个数字信号分别发送至影像处理模块205。
影像处理模块205用于接收A/D转换模块204发送的两个数字信号,对两个数字信号进行对数字信号进行处理以形成数字图像,且用于对两个数字图像进行融合,以获得融合后的数字图像作为输出图像。
可选的,摄像装置200还包括补光模块206,该补光模块206用于在拍摄目标时作为补充光源,向目标发射近红外光和/或可见光,使得被拍摄目标反射近红外光和/或可见光至镜头201。
值得注意的是,上述图像传感器203a和203b与A/D转换模块204之间通过通信通路连接,使得图像传感器203a和203b产生的可见光路模拟电信号和近红外光路模拟电信号经过通信通路传输至A/D转换模块204;A/D转换模块204与影像处理模块205之间也通过通信通路连接。上述镜头201与光处理模块202之间的位置关系使得镜头201射出的光可被射入光处理模块202,光处理模块202与图像传感器203a的位置关系使得光处理模块202分离出的可见光被射至图像传感器203a的受光面,光处理模块202与图像传感器203b的位置关系使得光处理模块202分离出的近红外光被射至图像传感器203b的受光面。
应理解,摄像装置200还可以包括其他部件,例如:快门键、外壳、开关、显示屏等,这些部件可以是现有或未来技术中任意一种类型的部件,本申请不作具体限定。
本申请提供的摄像装置200的方案可以有多种实施例来实现,下面结合附图对本申请提供的一种实施例进行具体介绍。应理解,本申请对实施例的描述仅是本申请提供的装置200中的一种可实施的方式,并不对方法造成限定。
在本申请的一种实施例中,摄像装置200包括光工作子装置300和电工作子装置400。摄像装置200根据其工作过程中处理的信号的不同,分为光工作子装置300和电工作子装置400,其中,光工作子装置300在工作时用于对光信号进行处理,电工作子装置400在工作时用于对电信号进行处理。
下面具体介绍光工作子装置300的工作原理示意图,如图3所示,光工作子装置300包括镜头301(对应为摄像装置200中的镜头201的一种具体实现)、光处理模块302(对应为摄像装置200中的光处理模块202的一种具体实现)、图像传感器303a(对应为摄像装置200中的图像传感器203a的一种具体实现)、图像传感器303b(对应为摄像装置200中的图像传感器203b的一种具体实现)。
在该光工作子装置300中,镜头301用于获取被拍摄的目标反射的光(包括可见光和近红外光)。镜头301中包括多种镜片,例如:按照功能可分为防尘镜片、滤光镜片、聚光镜片等。
在光工作子装置300中光处理模块302设置于镜头301射出的光的出射面,且光处理模块302设置于镜头301的相邻位置,镜头301获取的光被射入光处理模块302,光处理模块302将镜头301获取的光分离为一路可见光和一路近红外光且进行过滤。光处理模块302包括分光膜系3021和可切换滤光单元3022。在本申请的一个实施例中,在光处理模块302中,可切换滤光单元3022被设置于分光膜系3021分出的近红外光的出射面上,使得可切换滤光单元3022对近红外光进行过滤。
分光膜系3021由多层可分光的光学薄膜组成,简称分光膜,每层分光膜的透过率和反射率可以不同,本申请中分光膜系3021中的多层分光膜被设计成能反射可见光、透过近红外光,因此,镜头301获取的被拍摄目标的反射光被多层分光膜分离为可见光和近红外光两路光线。
可切换滤光单元3022用于对分光膜系3021分离出的近红外光进行过滤,使得获得的近红外光经过过滤后保留特定波长范围内的近红外光。如图4所示,在本申请的一种实施例中,可切换滤光单元3022包括两种滤光膜系(分别是光透过波长以940nm为中心的940nm滤光膜系和光透过波长以750nm为中心的750nm滤光膜系)、切换开关、感光元件。可切换滤光单元3022中的感光元件可对被拍摄目标的周围光环境进行感知,当被拍摄目标的周围环境较亮(例如是在白天强光照环境下),感光元件与切换开关相连接,由切换开关根据感光元件的光信息进行滤光膜系的切换,使得在光照强的环境下,可切换滤光单元3022利用940nm滤光膜系进行过滤,使得经过可切换滤光单元3022的近红外光的波长在940nm±10nm之间。当被拍摄目标的周围环境较暗(例如是在夜晚光照较弱的环境下),感光元件与切换开关相连接,由切换开关根据感光元件的光信息进行滤光膜系的切换,使得在光照弱的环境下,可切换滤光单元3022利用750nm滤光膜系进行过滤,使得经过可切换滤光单元3022的近红外光的波长在750nm±10nm之间。例如:在可切换滤光单元3022中感光元件可以是光敏电阻,切换开关可以是直流电机切换开关,当在光照强的情况下,光敏电阻阻值很大,切换开关处于断开状态,940nm滤光膜系位于镜头301射出的光的出射面,因此,由940nm滤光膜系对分光膜系分出的近红外光进行过滤。当在光照较弱的情况下,光敏电阻阻值变低,直流电机切换开关上电,将750nm滤光膜系切换到镜头301射出的光的出射面上,因此,由750nm滤光膜系对分光膜系分出的近红外光进行过滤。当被拍摄目标周围的光环境骤变或者摄像装置变换拍摄不同光环境下的物体时,可切换滤光单元3022可及时地完成滤光膜系的切换,使得经过可切换滤光单元3022滤光后的近红外光是特定波长范围内的近红外光。利用可切换滤光单元3022可以使得摄像装置200在白天和夜间都能在透过反射能力强的透明介质拍摄目标,且获得清晰的图像。
值得注意的是,本申请中可切换滤光单元3022中设计940nm滤光膜系用于摄像装置在光照强的环境中透过反射能力强的透明介质拍摄物体的情况,主要是由于在多次实验中总结发现在白天的自然光中波长在940nm附近的近红外光的成分较多,且940nm近红外光透过反射能力强的透明介质(例如玻璃)的透过率较高且反射率较低,因此,在光照强的环境下,采用940nm的近红外光作为被拍摄目标在图像传感器上成像的光可以使得图像传感器上获得信噪比高的光学图像。本申请中,设计750nm滤光膜系用于摄像装置在光照弱的环境中透过反射能力强的透明介质拍摄物体的情况,主要是根据实验发现在光照弱环境下(例如:夜晚),被拍摄目标反射的波长为750nm的近红外光与反射能力强的透明介质(例如:玻璃)反射的波长为750nm的近红外光的比值较高,这也使得在波长为750nm的光下被拍摄目标成像的信噪比更高。
值得注意的是,本申请实施例中使用的940nm滤光膜系和750nm滤光膜系是分别根据不同的膜系设计参数设计的,膜系设计参数包括:滤光膜系半高宽、膜系中光学薄膜的层数、膜的厚度、膜系材料等,其中滤光膜系半高宽是最重要的膜系设计参数之一。滤光膜系半高宽是用来限定透过滤光膜系的光的波长的重要指标,滤光膜系半高宽越大,透过滤光膜系的光的波长的范围越大,反之越小。滤光膜系半高宽可根据光源能量分布以及识别被拍摄目标所需要的图像信噪比推算获得、也可以结合工艺水平、摄像装置的主要用途、制造成本等因素具体调整。通常而言,滤光膜系半高宽越小,设计的成本越高、所需的工艺水平要求越高。本申请中不限定滤光膜系半高宽的具体数值,在本申请实施例中,940nm滤光膜系的滤光膜系半高宽和750nm滤光膜系的滤光膜系半高宽均可被设计为20nm,因此,940nm滤光膜系可透过的光的波长在[930nm,950nm]的区间内,750nm滤光膜系可透过的光的波长在[740nm,760nm]的区间内。
在光工作子装置300中,设置有两个图像传感器(分别为图像传感器303a和图像传感器303b),如图3所示,图像传感器303a设置于光处理模块302反射的可见光的出射面,用于接收光处理模块302反射的可见光,图像传感器303a上被设计有一层传感涂片,传感涂片为受光面,光处理模块302发射的可见光射入传感涂片中形成被拍摄目标反射的可见光的光学影像,图像传感器303a将可见光的光学影像转换成可见光对应的模拟电信号。由此,在光工作子装置300中被拍摄目标反射的可见光经过镜头301、光处理模块302和图像传感器303a形成了目标对应的模拟电信号,其中,经过镜头301、光处理模块302和图像传感器303a的可见光通过的路径称为可见光路。
如图3所示,图像传感器303b被设置于光处理模块302的出射面上,使得经过光处理模块302中可切换滤光单元3022射出的特定波长的近红外光射入图像传感器303b表面的传感涂片,图像传感器303b的传感涂片上形成被拍摄目标发射的近红外光的光学影像,图像传感器303b将近红外光的光学影像转换成模拟电信号。由此,在光工作子装置300中被拍摄目标反射的近红外光经过镜头301、光处理模块302、和图像传感器303b形成了目标对应的模拟电信号,其中,经过镜头301、光处理模块302、和图像传感器303b的近红外光通过的路径称为近红外光路。
光工作子装置300使被拍摄的画面(包括目标和背景)形成了两路模拟电信号,分别称为通过可见光路形成的可见光路模拟电信号和通过近红外光路形成的近红外光路模拟电信号。
可选的,光工作子装置300还包括补光模块304,补光模块304作为近红外光源用于向被拍摄目标发射近红外光(和/或可见光),使得被拍摄目标不仅反射自然光源发射的自然光,还反射补光模块304发射的光。经过补光模块304的补光,使得近红外光路有充足的近红外光,使得图像传感器303b可以形成较强的近红外光路模拟电信号。补光模块304发出的光可以是可见光和近红外光的集合。补光模块304也可以仅一种或几种特定波长范围的近红外光,例如:补光模块304可以包含感光元件和切换开关,使得在光照强的环境下,补光模块304发射波长以940nm为中心的特定波长范围的近红外光,在光照弱的环境下,补光模块304发射波长以750nm为中心的特定波长范围的近红外光和可见光。
应理解,补光模块304提供的补光功能也可以由摄像装置之外的其他设备或模块来实现,例如:在交通路口的挂杆上设置特定的补光灯来为设置于交通路口的摄像装置提供补光功能。
在本申请的实施例中,光工作子装置300与电工作子装置400相连接,具体地,光工作子装置300中的图像传感器303a和图像传感器303b与电工作子装置400中的A/D转换模块401相连接。光工作子装置300获得的两路模拟电信号(可见光路模拟电信号和近红外光路模拟电信号)被传输到电工作子装置400中的A/D转换模块401中。电工作子装置400包括A/D转换模块401(对应为摄像装置200中的A/D转换模块204的一种具体实现)和影像处理模块402(对应为摄像装置200中的影像处理模块205的一种具体实现)。
下面具体介绍电工作子装置400的工作内容:
A/D转换模块401用于接收可见光路模拟信号和近红外光路模拟信号,且分别将两个模拟电信号转换成两个数字信号,形成可见光路数字信号和近红外光路数字信号。应理解,可见光路数字信号和近红外光路数字信号均为二维数字信号。
影像处理模块402用于接收可见光路数字信号和近红外光路数字信号,对两路数字信号分别进行色彩校正、白平衡处理,进一步地对两路数字信号进行编码处理,使得两路数字信号形成两个可被界面显示的数字图像(可见光路的数字图像和近红外光路的数字图像),每个数字图像由多个像素点构成。
本申请中,影像处理模块402还包括提取单元4021和融合单元4022,所述提取单元4021用于接收到可见光路的数字图像和近红外光路的数字图像,提取近红外光路的数字图像中的被拍摄目标与可见光路的数字图像中的被拍摄目标。本申请不限定提取单元4021提取被拍摄目标的具体方式,例如:可以通过边缘检测算法检测到被拍摄目标的边缘,根据检测到的边缘提取被拍摄目标。融合单元4022接收提取单元4021提取的近红外光路的数字图像中的被拍摄目标和可见光路的数字图像中的被拍摄目标,将两个被拍摄物体对应的数据进行融合,形成融合后的被拍摄目标,将所述融合后的被拍摄目标替换至可见光路的数字图像中的被拍摄目标的对应位置,则获得融合后的数字图像,融合后的数字图像为信噪比较高的彩色图像。融合后的数字图像被摄像装置存储或显示,即为摄像装置拍摄到的被拍摄目标的图像。可选的,影像处理模块402可对融合后的数字图像进行进一步地处理,例如优化局部与整体对比度,角度变化,锐化,颜色增强等,经过处理的融合后的数字图像被摄像装置存储或显示。
值得注意的是,本申请不限定融合单元4022对近红外光路的数字图像中的被拍摄目标和可见光路的数字图像中的被拍摄目标的具体融合方式,例如:可采用将近红外光路的数字图像中的被拍摄目标中每个像素点的灰度值与可见光路的数字图像中的被拍摄目标中对应的每个像素点的灰度值进行加权平均,获得被拍摄目标的每个像素点的融合后的灰度值,根据每个像素点融合后的灰度值获得融合后的被拍摄目标的图像。
值得注意的是,本申请中,影像处理模块402中也可不包括提取单元4021,例如对于被拍摄目标即为摄像装置拍摄到的全部画面的情况,以及对于被拍摄目标的背景也需要获得信噪比高的画面的情况,影像处理模块402在获得了可见光路的数字图像和近红外光路的数字图像后,直接由融合单元4022对两幅数字图像进行融合,获得融合后的数字图像。
值得注意的是,本申请中,影像处理模块402中的融合单元4022也可对直接从前述A/D转换模块401中接收到的可见光路数字信号和近红外光路数字信号进行融合,获得融合后的数字信号,影像处理模块402再进一步地对融合后的数字信号进行色彩校正、白平衡处理、编码处理、颜色增强、优化局部与整体对比度,角度变化,锐化等操作中的一项或多项,获得融合后的数字图像。
由于在透过反射能力强的透明介质拍摄的情况下,由可见光路获得的数字图像通常存在信噪比较低的情况(因为光照强的环境下,反射能力强的透明介质反射的可见光与被拍摄目标反射的可见光的能量的比值较小;光照弱的环境下,被拍摄目标反射的可见光的能量较小),而对于本申请中获得的近红外光路的数字图像,在光照强和光照弱的环境下都能拍摄到信噪比较高的数字图像,但是由于近红外光路的数字图像仅由一种光反射获得,近红外光路形成的数字图像为黑白图像。通过本申请中的影像处理模块402中的提取单元4021和融合单元4022对可见光路数字图像与近红外光路的数字图像的融合获得的融合后的数字图像信噪比较高且是彩色图像。
因此,在本申请的一个实施例中,由光工作子装置300和电工作子装置400构成的摄像装置拍摄目标时性能稳定,可克服多种环境的困难,例如,可在光照强和光照弱的环境下透过反射性强的透明介质拍摄目标,且获得高信噪比的数字图像,避免了反射性强的透明介质反射的光影响被拍摄目标的成像,也避免了在光照弱的环境下,被拍摄目标的数字图像信噪比低的情况。
本申请提供的摄像装置在用于摄像时,本申请还提供摄像装置执行的摄像方法。
下面结合图6描述本申请实施例提供的摄像装置在光照弱的环境下拍摄目标时的方法流程。
S501,摄像装置根据拍摄的环境确定被拍摄的目标处于光照弱的环境下,调整摄像装置的配置。
具体地,摄像装置中的感光元件感受到被拍摄的目标所处的环境较暗,补光模块将补光光源切换成能发射750nm±10nm波长范围的近红外光的补光光源,光处理模块中的可切换滤光单元将滤光膜系切换成可过滤750nm±10nm波长范围的近红外光的750nm滤光膜系。
S502,摄像装置拍摄目标。
具体地,摄像装置被启动,摄像装置的补光模块向被拍摄目标发射近红外光(和/或可见光),摄像装置通过镜头获取被拍摄区域的目标和背景反射的光。
S503,摄像装置生成近红外光路图像和可见光路图像。
具体地,摄像装置中的光处理模块接收镜头获取的光,将一路光分离为可见光和近红外光两路,且近红外光还通过750nm滤光膜系,获得波长在740nm-760nm之间的近红外光。可见光射入第一图像传感器,由第一图像传感器生成可见光图像;近红外光射入第二图像传感器,由第二图像传感器生成近红外光图像。可见光图像和近红外光图像为所述第一图像传感器和第二图像传感器生成的二维模拟信号。
可选的,可见光也可经过特定的滤光膜系,获得特定波长范围的可见光。
S504,摄像装置根据近红外光图像和可见光图像获得输出图像。
具体地,由第一图像传感器获得的可见光图像和由第二图像传感器获得的近红外光图像被输入至A/D转换模块,由A/D转换模块转换为可见光数字图像和近红外光数字图像,影像处理模块对可见光数字图像和近红外光数字图像进行融合,获得输出图像。
值得注意的是,上述方法流程中摄像装置各个模块所执行的操作与前述具体介绍每个模块的功能时描述的操作相同,因此,在方法流程中不再赘述。
值得注意的是,对于被拍摄目标是在光照较强的环境中,摄像装置进行摄像的方法流程与上述步骤S502-S504相似,区别在于:
(1)在步骤S501中,摄像装置中的感光元件感受到被拍摄的目标所处的环境较亮,补光模块将补光光源切换成能发射940nm±10nm波长范围的近红外光的补光光源,光处理模块中的可切换滤光单元将滤光膜系切换成可过滤940nm±10nm波长范围的近红外光的940nm滤光膜系。
(2)在步骤S503中,摄像装置中的光处理模块接收镜头获取的光,将一路光分离为可见光和近红外光两路,且近红外光还通过940nm滤光膜系,获得波长在930nm-950nm之间的近红外光。
值得注意的是,本申请提供的摄像装置200中的光处理模块202的内部结构可以有多种,如前述实施例中描述的光处理模块302的内部结构为其中一种。
本申请的另一个实施例中还提供另一种光处理模块600,光处理模块600的内部结构如图7所示,图7中光处理模块600中包含可切换滤光单元601和分光膜系602。
光处理模块600中的可切换滤光单元601置于镜头获取的光的出射面,镜头射出的光先被射入可切换滤光单元601,可切换滤光单元601中包括感光元件、切换开关、两种滤光膜系(分别是透过可见光和940nm±10nm波长的近红外光的双通滤光膜系和透过可见光和750nm±10nm波长的近红外光的双通滤光膜系)。可切换滤光单元601中的感光元件可对被拍摄目标的周围光环境进行感知,当被拍摄目标的周围环境较亮(例如是在白天强光照环境下),感光元件与切换开关相连接,由切换开关根据感光元件的光信息进行滤光膜系的切换,使得在光照强的环境下,可切换滤光单元601利用透过可见光和940nm±10nm近红外光的双通滤光膜系进行过滤,使得可切换滤光单元601射出波长在940nm±10nm之间的近红外光和可见光。当被拍摄目标的周围环境较暗(例如是在夜晚光照较弱的环境下),感光元件与切换开关相连接,由切换开关根据感光元件的光信息进行滤光膜系的切换,使得在光照弱的环境下,可切换滤光单元601利用透过可见光和750nm±10nm近红外光的双通滤光膜系进行过滤,使得可切换滤光单元601射出波长在750nm±10nm之间的近红外光和可见光。
光处理模块600的分光膜系602置于可切换滤光单元601的出射面,使得可切换滤光单元601射出的可见光和特定波长范围的近红外光(光照强环境下:940nm±10nm近红外光;光照暗环境下:750nm±10nm近红外光)射入分光膜系602,分光膜系602通过反射可见光,透射特定波长范围的近红外光,将射入的光分离为可见光和特定波长范围的近红外光,两路光线通过不同的出射面射出。
值得注意的是,在本申请的实施例中,光处理模块600可用于替代前述实施例描述的光工作子装置300中的光处理模块302,经过模块替换后的光工作子装置300可实现前述实施例描述的全部功能,在此不再赘述。应理解,光处理模块600和光处理模块302仅仅是本申请提供的一种摄像装置200中的光处理模块200的两种具体实现,不对本申请提供的摄像装置200和摄像方法造成限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及方法步骤,能够以电子硬件、计算机软件、或者电子硬件和计算机软件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
Claims (8)
1.一种摄像装置,其特征在于,所述摄像装置包括镜头、光处理模块、第一图像传感器、第二图像传感器和影像处理模块;其中,
所述镜头,用于获取目标反射的光,并将获取的光射入所述光处理模块;
所述光处理模块,设置于所述镜头的出射面,用于将所述镜头获取的光分离成可见光和近红外光,其中,所述可见光从所述光处理模块的第一出射面射出,所述近红外光从所述光处理模块的第二出射面射出;
所述第一图像传感器,设置于所述第一出射面,用于接收所述可见光,并根据接收到的所述可见光生成可见光图像;
所述光处理模块,还包括可切换滤光单元,所述可切换滤光单元用于自动根据所述目标所在的环境确定所述近红外光的波长范围,当所述目标所在的环境光照较亮时,确定的近红外光的波长范围为930nm-950nm,当所述目标所在的环境光照较暗时,确定的近红外光的波长范围为740nm-760nm;
所述第二图像传感器,设置于所述第二出射面,用于接收所述近红外光,并根据接收到的所述近红外光生成近红外光图像;
所述影像处理模块,与所述第一图像传感器和所述第二图像传感器连接,用于根据所述可见光图像和所述近红外光图像获得输出图像。
2.如权利要求1所述的摄像装置,其特征在于,所述可见光图像为彩色图像,所述近红外光图像为黑白图像,所述输出图像为彩色图像。
3.如权利要求1-2任一项所述的摄像装置,其特征在于,
所述影像处理模块,具体用于提取所述可见光图像和所述近红外光图像中的目标对应的区域;将所述可见光图像中的目标对应的区域和所述近红外光图像中的目标对应的区域进行融合,获得融合后的目标对应的区域;根据所述融合后的目标对应的区域和所述可见光图像获得输出图像。
4.如权利要求1-3任一项所述的摄像装置,其特征在于,
所述摄像装置还包括补光模块,所述补光模块用于根据所述目标所在的环境确定要射向所述目标的光的波长范围,向所述目标射出波长在所述确定的波长范围内的光。
5.一种摄像方法,其特征在于,所述方法包括:
获取目标反射的光;
将所述获取的光分离成可见光和近红外光,其中,所述近红外光的波长范围由摄像装置中的可切换滤光单元确定,当所述目标所在的环境光照较亮时,利用所述可切换滤光单元确定的所述近红外光的波长范围为930nm-950nm,当所述目标所在的环境光照较暗时,利用所述可切换滤光单元确定的所述近红外光的波长范围为740nm-760nm;
根据所述可见光生成可见光图像,根据所述近红外光生成近红外光图像;
根据所述可见光图像和所述近红外光图像获得输出图像。
6.如权利要求5所述的方法,其特征在于,所述可见光图像为彩色图像,所述近红外光图像为黑白图像,所述输出图像为彩色图像。
7.如权利要求5-6任一项所述的方法,其特征在于,所述根据所述可见光图像和所述近红外光图像获得输出图像,具体包括:
提取所述可见光图像和所述近红外光图像中的目标对应的区域;
将所述可见光图像中的目标对应的区域和所述近红外光图像中的目标对应的区域进行融合,获得融合后的目标对应的区域;
根据所述融合后的目标对应的区域和所述可见光图像获得输出图像。
8.如权利要求5-7任一项所述的方法,其特征在于,所述方法还包括:
根据所述目标所在的环境确定要射向所述目标的光的波长范围,向所述目标射出波长在所述确定的波长范围内的光。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910600695.XA CN110365878B (zh) | 2019-07-04 | 2019-07-04 | 一种摄像装置和方法 |
PCT/CN2020/078327 WO2021000592A1 (zh) | 2019-07-04 | 2020-03-07 | 一种摄像装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910600695.XA CN110365878B (zh) | 2019-07-04 | 2019-07-04 | 一种摄像装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110365878A CN110365878A (zh) | 2019-10-22 |
CN110365878B true CN110365878B (zh) | 2022-05-17 |
Family
ID=68218116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910600695.XA Active CN110365878B (zh) | 2019-07-04 | 2019-07-04 | 一种摄像装置和方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110365878B (zh) |
WO (1) | WO2021000592A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110365878B (zh) * | 2019-07-04 | 2022-05-17 | 华为技术有限公司 | 一种摄像装置和方法 |
CN111726493A (zh) * | 2020-06-17 | 2020-09-29 | Oppo广东移动通信有限公司 | 摄像头模组及终端设备 |
CN112383688B (zh) * | 2020-11-10 | 2023-03-24 | 珠海格力电器股份有限公司 | 摄像补光方法、装置、电子设备和智能终端 |
CN113303905B (zh) * | 2021-05-26 | 2022-07-01 | 中南大学湘雅二医院 | 一种基于视频影像反馈的介入手术操作模拟方法 |
CN114650359A (zh) * | 2022-03-22 | 2022-06-21 | 维沃移动通信有限公司 | 摄像模组以及电子设备 |
CN115273184B (zh) * | 2022-07-15 | 2023-05-05 | 北京百度网讯科技有限公司 | 人脸活体检测模型训练方法及装置 |
CN116261042B (zh) * | 2022-12-20 | 2024-02-27 | 哈尔滨海鸿基业科技发展有限公司 | 一种用于多摄像单元图像融合后影像自动聚焦机构 |
CN116647737B (zh) * | 2023-07-21 | 2023-10-31 | 立臻科技(昆山)有限公司 | 一种彩色成像组件及其图像处理方法 |
CN117768793B (zh) * | 2024-02-22 | 2024-05-17 | 长春市榣顺科技有限公司 | 一种大视场、长焦距、高分辨率的探测仪器及探测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9635282B2 (en) * | 2004-12-03 | 2017-04-25 | Fluke Corporation | Visible light and IR combined image camera |
CN207251777U (zh) * | 2017-09-20 | 2018-04-17 | 信利光电股份有限公司 | 一种三维摄像模组 |
CN109474770A (zh) * | 2017-09-07 | 2019-03-15 | 华为技术有限公司 | 一种成像装置及成像方法 |
CN208820888U (zh) * | 2018-11-02 | 2019-05-03 | 国网浙江省电力有限公司舟山供电公司 | 夜间增强图像色彩监控摄像机 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010258636A (ja) * | 2009-04-23 | 2010-11-11 | Alps Electric Co Ltd | 撮像素子ユニット |
CN101610355B (zh) * | 2009-05-05 | 2011-03-16 | 张日和 | 日夜两用摄像装置 |
CN201464775U (zh) * | 2009-06-11 | 2010-05-12 | 哈尔滨市科佳通用机电有限公司 | 高速工业数字摄像装置 |
CN101795397B (zh) * | 2010-01-27 | 2013-01-23 | 北京交通大学 | 一种检测车辆内部乘客的红外成像方法 |
KR101858646B1 (ko) * | 2012-12-14 | 2018-05-17 | 한화에어로스페이스 주식회사 | 영상 융합 장치 및 방법 |
CN111028188B (zh) * | 2016-09-19 | 2023-05-02 | 杭州海康威视数字技术股份有限公司 | 分光融合的图像采集设备 |
JP6939000B2 (ja) * | 2017-03-23 | 2021-09-22 | 株式会社Jvcケンウッド | 撮像装置及び撮像方法 |
CN208576482U (zh) * | 2018-06-19 | 2019-03-05 | 大连天天安全系统有限公司 | 一种汽车防爆隔热膜透视系统 |
CN109151287A (zh) * | 2018-10-30 | 2019-01-04 | 泰州市华润纺织品有限公司 | 一种军用车载辅助夜视仪系统 |
CN110365878B (zh) * | 2019-07-04 | 2022-05-17 | 华为技术有限公司 | 一种摄像装置和方法 |
-
2019
- 2019-07-04 CN CN201910600695.XA patent/CN110365878B/zh active Active
-
2020
- 2020-03-07 WO PCT/CN2020/078327 patent/WO2021000592A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9635282B2 (en) * | 2004-12-03 | 2017-04-25 | Fluke Corporation | Visible light and IR combined image camera |
CN109474770A (zh) * | 2017-09-07 | 2019-03-15 | 华为技术有限公司 | 一种成像装置及成像方法 |
CN207251777U (zh) * | 2017-09-20 | 2018-04-17 | 信利光电股份有限公司 | 一种三维摄像模组 |
CN208820888U (zh) * | 2018-11-02 | 2019-05-03 | 国网浙江省电力有限公司舟山供电公司 | 夜间增强图像色彩监控摄像机 |
Also Published As
Publication number | Publication date |
---|---|
WO2021000592A1 (zh) | 2021-01-07 |
CN110365878A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110365878B (zh) | 一种摄像装置和方法 | |
KR102279436B1 (ko) | 이미지 처리 방법, 장치 및 기기 | |
KR101265358B1 (ko) | 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법 | |
CN102783135B (zh) | 利用低分辨率图像提供高分辨率图像的方法和装置 | |
CN113711584B (zh) | 一种摄像装置 | |
US8908054B1 (en) | Optics apparatus for hands-free focus | |
US8988585B2 (en) | Focus adjustment apparatus | |
EP3481060B1 (en) | Monitoring camera using composite filtering method robust against change in visibility status and video monitoring system employing same | |
CN101937168B (zh) | 一种光学立体成像装置及立体摄像方法 | |
JP5404122B2 (ja) | 焦点位置調整装置およびカメラ | |
CN1804714B (zh) | 光学设备 | |
CN101502098A (zh) | 从场景到成像传感器的动态范围压缩的可调中灰过滤系统 | |
CN107820066A (zh) | 一种低照度彩色摄像机 | |
WO2012117617A1 (ja) | 立体画像撮像装置 | |
US9838667B2 (en) | Image pickup apparatus, image pickup method, and non-transitory computer-readable medium | |
JP2002287017A (ja) | 撮影レンズのピント状態検出装置 | |
CN110460747B (zh) | 图像处理方法 | |
CN110072035A (zh) | 双成像系统 | |
JP2009290694A (ja) | 撮像装置 | |
CN110326291B (zh) | 具有自动聚焦功能的监控相机和采用其的视频监控系统 | |
US11347978B2 (en) | Image processing apparatus, image processing method, and image processing system | |
CN110771142A (zh) | 摄像装置、摄像装置的控制方法及摄像装置的控制程序 | |
KR102190544B1 (ko) | 차량번호판 인식 카메라시스템 | |
CN111783563A (zh) | 基于双光谱的人脸抓拍和监控方法及系统、设备 | |
CN109644258B (zh) | 用于变焦摄影的多相机系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |