CN109618099A - 双光谱摄像机图像融合方法及装置 - Google Patents
双光谱摄像机图像融合方法及装置 Download PDFInfo
- Publication number
- CN109618099A CN109618099A CN201910023280.0A CN201910023280A CN109618099A CN 109618099 A CN109618099 A CN 109618099A CN 201910023280 A CN201910023280 A CN 201910023280A CN 109618099 A CN109618099 A CN 109618099A
- Authority
- CN
- China
- Prior art keywords
- chn0
- pixel
- chn1
- infrared light
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种双光谱摄像机图像融合方法及装置，通过对获取的可见光、红外光图像进行直方图统计从而了解当前场景红外光图像和可见光图像的亮区差异，以判断场景中是否存在灯光或反红外光物体。然后结合可见光图像的曝光增益情况，对当前画面的场景进行分类，从而在后续融合权重计算时针对灯光场景和反红外光物体场景，在亮区融合时再进行权重调整，使融合后的图像信息得以最大程度保留。在不过多消耗硬件处理时效的基础上大大改善最终的融合效果，实现夜间红外光下高品质彩色成像。
Description
技术领域
本发明涉及一种图像处理方法，尤其是指一种双光谱摄像机图像融合方法及装置。
背景技术
传统摄像机在夜间灯光不足的情况下，摄像机获取的视频图像存在大量噪声，且拖影严重，无法实现清晰成像，严重影响了监控效果和后端智能分析。为了提升成像效果，都是通过增加补光灯的方式，通过红外灯补光，可以获取清晰的场景图像，但是会丢失颜色信息和部分细节信息；通过白光灯补光，不会丢失场景信息，但是会造成光污染，影响环境。
为此，现出现了一种双光谱摄像机，其前端采用单镜头，通过分光棱镜分离可见光和红外光入射两个传感器进行可见光和红外光分别成像。从而同时采集可见光图像和红外光图像。设备配备红外补光灯，这样红外光图像可以获取清晰的场景灰度图像，而可见光图像可以获取场景的颜色信息。通过将红外光图像的细节信息和可见光图像的颜色信息融合获得新的清晰彩色图像。实现夜间红外光下高品质彩色成像。
然而，在实际应用中，可见光和红外光成像特性存在差异，两者对同一物体的灰度和纹理表现可能不同，因此，需要在进行融合的时候针对两者的特性进行特殊处理，来提高融合后图像的效果。
发明内容
本发明所要解决的技术问题是：提供一种可适应不同场景的双光谱摄像机图像融合方法及装置。
为了解决上述技术问题，本发明采用的技术方案为：一种双光谱摄像机图像融合方法，包括步骤，
S1)获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；
依次对可见光视频流与红外光视频流中的每帧图像执行步骤S2-S9；
S2)对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；
对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；
S3)根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；
根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；
S4)计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])
S5)获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，
S6)以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；
S7)判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；
式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；
当场景scene为NormScene时：
当场景scene为BlendScene_highlight时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
当场景scene为BlendScene_reflictlight时：
判断若wt_init_chn0≥96时：
wt_chn0(i,j)＝wt_init_chn0
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
若wt_init_chn0<96时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)；
当场景scene为BlendScene_norm时：
上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；
S8)对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；
S9)根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),
Uout(i,j)＝Uin_chn0_delay(i,j)
Vout(i,j)＝Vin_chn0_delay(i,j)。
上述中，所述最大融合权重Max_wt为128。
上述中，所述步骤S8中的延时处理为，将当前可见光图像与红外光图像中的像素数据延时，以使像素数据与权重对齐。
上述中，所述步骤S8中的帧同步处理为，判断当前的可见光图像帧和红外光图像帧的时间戳是否一致，否则将时间较早的图像帧抛弃。
本发明还涉及一种双光谱摄像机图像融合装置，包括，
视频流获取模块，用于获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；
依次对可见光视频流与红外光视频流中的每帧图像输入下述模块，
直方图统计模块，用于对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；
对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；
像素分类模块，用于根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；
直方图差异计算模块，用于计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])
场景分类模块，用于获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，
权重初始化模块，用于以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；
场景判断模块，用于判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；
式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；
当场景scene为NormScene时：
当场景scene为BlendScene_highlight时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
当场景scene为BlendScene_reflictlight时：
判断若wt_init_chn0≥96时：
wt_chn0(i,j)＝wt_init_chn0
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
若wt_init_chn0<96时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)；
当场景scene为BlendScene_norm时：
上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；
预处理模块，用于对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；
融合输出模块，用于根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),
Uout(i,j)＝Uin_chn0_delay(i,j)
Vout(i,j)＝Vin_chn0_delay(i,j)。
上述中，所述最大融合权重Max_wt为128。
上述中，所述预处理模块中的延时处理为，将当前可见光图像与红外光图像中的像素数据延时，以使像素数据与权重对齐。
上述中，所述预处理模块中的帧同步处理为，判断当前的可见光图像帧和红外光图像帧的时间戳是否一致，否则将时间较早的图像帧抛弃。
区别于传统直接将可见光、红外光图像简单融合，本发明的有益效果在于：对获取的可见光、红外光图像进行直方图统计从而了解当前场景红外光图像和可见光图像的亮区差异，以判断场景中是否存在灯光或反红外光物体。然后结合可见光图像的曝光增益情况，对当前画面的场景进行分类，从而在后续融合权重计算时针对灯光场景和反红外光物体场景，在亮区融合时再进行权重调整，使融合后的图像信息得以最大程度保留。在不过多消耗硬件处理时效的基础上大大改善最终的融合效果，实现夜间红外光下高品质彩色成像。
附图说明
下面结合附图详述本发明的具体结构
图1为本发明的流程图；
图2为本发明的视频流走向图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1、2，一种双光谱摄像机图像融合方法，包括步骤，
S1)获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；
依次对可见光视频流与红外光视频流中的每帧图像执行步骤S2-S9；
通常，直方图统计在两路视频白平衡模块后进行。
视频流是一直存在不间断的，从sensor输出一直到摄像机编码模块编码成码流。此处是取白平衡后的视频流信息进行一下直方图统计，相当于当前帧流过，统计当前帧直方图，但统计后的直方图应用于下一帧处理，因为帧间直方图差异较小，所以实际应用中这样是允许的，且不对当前图像进行进一步缓存，节省了硬件资源并减小了延时。
S2)对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；
对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；
对S1获取来的双路的10bit RGB视频流中的图像帧进行直方图统计，亮度取RGB通道的均值，即I＝(R+G+B)/3。
S3)根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；
根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；
作为一种实施例，本步可根据亮度I按[0,64)、[64,960]、(960,1023]进行暗像素、正常像素和高亮像素的分类。
S4)计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])；
式中，abs()表示对Hist3_chn0[2]与Hist3_chn1[2]差值求绝对值。
通过本步骤对当前帧的红外光图像和可见光图像的亮区差异比较，从而可判断场景中是否存在灯光或反红外光物体。
S5)获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，
场景分类中，
NormScene，判定为普通场景，不需要进行融合,直接输出可见光通路图像
BlendScene_highlight，判定为为夜间存在可见灯光的融合场景
BlendScene_reflictlight，判定为夜间存在红外反光物体的融合场景
BlendScene_norm，判定为夜间普通融合场景
式中&&为逻辑运算符号，表示“与”。以场景scene＝BlendScene_highlight场景为例，当且仅当曝光增益gain_chn0大于等于300，且Diff_hist大于等于50000，且可见光高亮区像素Hist3_chn0[2]多于红外光的高亮区像素Hist3_chn0[2]时，场景判断为BlendScene_highlight。
S6)以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；
wt_init_chn0＝lut360(gain_chn0/2)
wt_init_chn1＝Max_wt-wt_init_chn0
本步骤中融合权重查照表lut360是一个预先结合试验后通过实际测试得到的正常场景下不同可见光图像曝光增益下的最佳融合权重，包含不同曝光增益下的多个(例如针对imx385传感器则包含360个)可见光通路融合权重数据的融合权重查照表。
S7)判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；
式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；
当场景scene为NormScene“普通场景”时：
当场景scene为BlendScene_highlight“夜间存在可见灯光的融合场景”时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
当场景scene为BlendScene_reflictlight“夜间存在红外反光物体的融合场景”时：
判断若wt_init_chn0≥96时：
wt_chn0(i,j)＝wt_init_chn0
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
若wt_init_chn0<96时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)；
当场景scene为BlendScene_norm“夜间普通融合场景”时：
上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；
若步骤S2中不对图像帧像素进行锁定，就意味着直方图统计是统计的上一帧信息用于当前帧，由于后续的场景判断也是基于直方图统计和曝光增益，所以也相当于是基于上一帧信息，这两个信息是在上一帧和当前帧的间隔消隐期就计算完成，贯穿整个当前帧。
S8)对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；
S9)根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),
Uout(i,j)＝Uin_chn0_delay(i,j)
Vout(i,j)＝Vin_chn0_delay(i,j)。
区别于传统直接将可见光、红外光图像简单融合，本发明的有益效果在于：对获取的可见光、红外光图像进行直方图统计从而了解当前场景红外光图像和可见光图像的亮区差异，以判断场景中是否存在灯光或反红外光物体。然后结合可见光图像的曝光增益情况，对当前画面的场景进行分类，从而在后续融合权重计算时针对灯光场景和反红外光物体场景，在亮区融合时再进行权重调整，使融合后的图像信息得以最大程度保留。在不过多消耗硬件处理时效的基础上大大改善最终的融合效果，实现夜间红外光下高品质彩色成像。
实施例1
上述中，所述最大融合权重Max_wt为128。
本实施例中，将最大融合权重设定为128，即融合权重的范围为0-128，128是2的8次方，便于硬件计算实现，直接平移位即可完成计算，避免了常规0-100设定方式的乘除法计算带来的硬件资源消耗和计算延时(硬件计算时，移位计算只需1个时钟即可完成，并且不消耗什么资源，除以100的计算若采用查找表方式，则消耗较多lut资源，若采用除法器硬核，则消耗资源，并且需要十几个时钟才能计算完成)，因此更适用于针对实时视频流融合的计算需求。
对应的，当最大最大融合权重Max_wt为128后，
步骤S6)的计算公式对应为：
wt_init_chn0＝lut360(gain_chn0/2)
wt_init_chn1＝128-wt_init_chn0
步骤S7)的各个场景计算公式为
NormScene:普通场景
wt_chn0(i,j)＝128
wt_chn1(i,j)＝0
BlendScene_highlight:夜间存在可见灯光的融合场景
wt_chn1(i,j)＝128-wt_chn0(i,j)
BlendScene_reflictlight:夜间存在红外反光物体的融合场景
当wt_init_chn0≥96时：
wt_chn0(i,j)＝wt_init_chn0
wt_chn1(i,j)＝128-wt_chn0(i,j)
当wt_init_chn0<96时：
wt_chn1(i,j)＝128-wt_chn0(i,j)
BlendScene_norm:夜间普通融合场景
wt_chn0(i,j)＝wt_init_chn0
wt_chn1(i,j)＝128-wt_chn0(i,j)。
实施例2
上述中，所述步骤S8中的延时处理为，将当前可见光图像与红外光图像中的像素数据延时，以使像素数据与权重对齐。
此处的延时是针对当前帧像素融合权重和当前帧像素数据，
当前可见光图像帧与红外光图像帧的像素数据来时，进行权重计算，通常得到最终的融合权重需要3个时钟的计算过程，而此时相对应的像素数据已经跑到前面去了，差了3个时钟，因此在一具体应用中，将当前可见光图像与红外光图像中的像素数据延时3个时钟，从而就可使得像素数据与权重对齐。
实施例3
上述中，所述步骤S8中的帧同步处理为，判断当前的可见光图像帧和红外光图像帧的时间戳是否一致，否则将时间较早的图像帧抛弃。
虽然双路sensor均采用了从模式，且共用一个HV信号进行曝光时序控制，确保了双路sensor同时启动曝光，同时结束曝光，运动区域能保证重叠，两路图像也是完全同步的。
但在视频帧缓存时，采用最大深度为5的缓存方式，虽然当前存入缓存的帧是同步的，但在双路sensor启动或模式切换过程中可能会出现启动快慢有差异，从而导致两路视频帧缓存深度不一致，读取出来的两路图像可能会差1-4帧，一般为1帧。
若检测到双路视频帧不同步，则需要进行帧同步处理，否则融合后的图像会出现运动物体重影现象。
上面缓存深度5，是指以帧为单位存入，后面以帧为单位读出，前面一直往里面写入，若深度达到5后，则替换掉最早的帧，保证缓存里面是最近的5帧。
启动时，可能快的一路缓存深度为3，慢的为2.两路现在写入的帧通过从模式时序控制都是同步的，但快的那一路读出的帧比慢的读出的帧要早一帧，所以需要丢掉那一帧重新读取再融合。
本发明还涉及一种双光谱摄像机图像融合装置，包括，
视频流获取模块，用于获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；
依次对可见光视频流与红外光视频流中的每帧图像输入下述模块，
直方图统计模块，用于对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；而后转到像素分类模块；
像素分类模块，用于根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；而后转到直方图差异计算模块；
直方图差异计算模块，用于计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])，而后转到场景分类模块
场景分类模块，用于获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，
而后转到权重初始化模块；
权重初始化模块，用于以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；而后转到场景判断模块；
场景判断模块，用于判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；
式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；
当场景scene为NormScene时：
当场景scene为BlendScene_highlight时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
当场景scene为BlendScene_reflictlight时：
判断若wt_init_chn0≥96时：
wt_chn0(i,j)＝wt_init_chn0
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
若wt_init_chn0<96时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)；
当场景scene为BlendScene_norm时：
上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；而后转到预处理模块；
预处理模块，用于对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；而后转到融合输出模块；
融合输出模块，用于根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),
Uout(i,j)＝Uin_chn0_delay(i,j)
Vout(i,j)＝Vin_chn0_delay(i,j)。
区别于传统直接将可见光、红外光图像简单融合，本发明的有益效果在于：对获取的可见光、红外光图像进行直方图统计从而了解当前场景红外光图像和可见光图像的亮区差异，以判断场景中是否存在灯光或反红外光物体。然后结合可见光图像的曝光增益情况，对当前画面的场景进行分类，从而在后续融合权重计算时针对灯光场景和反红外光物体场景，在亮区融合时再进行权重调整，使融合后的图像信息得以最大程度保留。在不过多消耗硬件处理时效的基础上大大改善最终的融合效果，实现夜间红外光下高品质彩色成像。
实施例4
上述中，所述最大融合权重Max_wt为128。
本实施例中，将最大融合权重设定为128，即融合权重的范围为0-128，128是2的8次方，便于硬件计算实现，直接平移位即可完成计算，避免了常规0-100设定方式的乘除法计算带来的硬件资源消耗和计算延时(硬件计算时，移位计算只需1个时钟即可完成，并且不消耗什么资源，除以100的计算若采用查找表方式，则消耗较多lut资源，若采用除法器硬核，则消耗资源，并且需要十几个时钟才能计算完成)，因此更适用于针对实时视频流融合的计算需求
实施例5
上述中，所述预处理模块中的延时处理为，将当前可见光图像与红外光图像中的像素数据延时，以使像素数据与权重对齐。
此处的延时是针对当前帧像素融合权重和当前帧像素数据，
当前可见光图像帧与红外光图像帧的像素数据来时，进行权重计算，通常得到最终的融合权重需要3个时钟的计算过程，而此时相对应的像素数据已经跑到前面去了，差了3个时钟，因此在一具体应用中，将当前可见光图像与红外光图像中的像素数据延时3个时钟，从而就可使得像素数据与权重对齐。
实施例6
上述中，所述预处理模块中的帧同步处理为，判断当前的可见光图像帧和红外光图像帧的时间戳是否一致，否则将时间较早的图像帧抛弃。
虽然双路sensor均采用了从模式，且共用一个HV信号进行曝光时序控制，确保了双路sensor同时启动曝光，同时结束曝光，运动区域能保证重叠，两路图像也是完全同步的。
但在视频帧缓存时，采用最大深度为5的缓存方式，虽然当前存入缓存的帧是同步的，但在双路sensor启动或模式切换过程中可能会出现启动快慢有差异，从而导致两路视频帧缓存深度不一致，读取出来的两路图像可能会差1-4帧，一般为1帧。
若检测到双路视频帧不同步，则需要进行帧同步处理，否则融合后的图像会出现运动物体重影现象。
上面缓存深度5，是指以帧为单位存入，后面以帧为单位读出，前面一直往里面写入，若深度达到5后，则替换掉最早的帧，保证缓存里面是最近的5帧。
启动时，可能快的一路缓存深度为3，慢的为2.两路现在写入的帧通过从模式时序控制都是同步的，但快的那一路读出的帧比慢的读出的帧要早一帧，所以需要丢掉那一帧重新读取再融合。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种双光谱摄像机图像融合方法，其特征在于：包括步骤，
S1)获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；
依次对可见光视频流与红外光视频流中的每帧图像执行步骤S2-S9；
S2)对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；
对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；
S3)根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；
根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；
S4)计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])
S5)获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，
S6)以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；
S7)判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；
式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；
当场景scene为NormScene时：
当场景scene为BlendScene_highlight时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
当场景scene为BlendScene_reflictlight时：
判断若wt_init_chn0≥96时：
wt_chn0(i,j)＝wt_init_chn0
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
若wt_init_chn0<96时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)；
当场景scene为BlendScene_norm时：
上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；
S8)对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；
S9)根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),
Uout(i,j)＝Uin_chn0_delay(i,j)
Vout(i,j)＝Vin_chn0_delay(i,j)。
2.如权利要求1所述的双光谱摄像机图像融合方法，其特征在于：所述最大融合权重Max_wt为128。
3.如权利要求1所述的双光谱摄像机图像融合方法，其特征在于：所述步骤S8中的延时处理为，将当前可见光图像与红外光图像中的像素数据延时，以使像素数据与权重对齐。
4.如权利要求1所述的双光谱摄像机图像融合方法，其特征在于：所述步骤S8中的帧同步处理为，判断当前的可见光图像帧和红外光图像帧的时间戳是否一致，否则将时间较早的图像帧抛弃。
5.一种双光谱摄像机图像融合装置，其特征在于：包括，
视频流获取模块，用于获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；
依次对可见光视频流与红外光视频流中的每帧图像输入下述模块，
直方图统计模块，用于对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；
对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；
像素分类模块，用于根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；
直方图差异计算模块，用于计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])
场景分类模块，用于获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，
权重初始化模块，用于以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；
场景判断模块，用于判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；
式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；
当场景scene为NormScene时：
当场景scene为BlendScene_highlight时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
当场景scene为BlendScene_reflictlight时：
判断若wt_init_chn0≥96时：
wt_chn0(i,j)＝wt_init_chn0
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)
若wt_init_chn0<96时：
wt_chn1(i,j)＝Max_wt-wt_chn0(i,j)；
当场景scene为BlendScene_norm时：
上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；
预处理模块，用于对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；
融合输出模块，用于根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),
Uout(i,j)＝Uin_chn0_delay(i,j)
Vout(i,j)＝Vin_chn0_delay(i,j)。
6.如权利要求5所述的双光谱摄像机图像融合装置，其特征在于：所述最大融合权重Max_wt为128。
7.如权利要求5所述的双光谱摄像机图像融合装置，其特征在于：所述预处理模块中的延时处理为，将当前可见光图像与红外光图像中的像素数据延时，以使像素数据与权重对齐。
8.如权利要求5所述的双光谱摄像机图像融合装置，其特征在于：所述预处理模块中的帧同步处理为，判断当前的可见光图像帧和红外光图像帧的时间戳是否一致，否则将时间较早的图像帧抛弃。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910023280.0A CN109618099B (zh) | 2019-01-10 | 2019-01-10 | 双光谱摄像机图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910023280.0A CN109618099B (zh) | 2019-01-10 | 2019-01-10 | 双光谱摄像机图像融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109618099A true CN109618099A (zh) | 2019-04-12 |
| CN109618099B CN109618099B (zh) | 2021-01-08 |
Family
ID=66015732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910023280.0A Active CN109618099B (zh) | 2019-01-10 | 2019-01-10 | 双光谱摄像机图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109618099B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111050087A (zh) * | 2019-12-26 | 2020-04-21 | 杭州涂鸦信息技术有限公司 | 一种基于rgb统计信息的红外防过曝算法及其系统和装置 |
| CN111586314A (zh) * | 2020-05-25 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置以及计算机存储介质 |
| WO2020238970A1 (zh) * | 2019-05-31 | 2020-12-03 | 杭州海康威视数字技术股份有限公司 | 图像降噪装置及图像降噪方法 |
| CN112241668A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备 |
| CN113128259A (zh) * | 2019-12-30 | 2021-07-16 | 杭州海康威视数字技术股份有限公司 | 人脸识别设备及人脸识别方法 |
| CN113411501A (zh) * | 2021-06-29 | 2021-09-17 | 杭州晶耐科光电技术有限公司 | 基于嵌入式及双光谱成像的无人机载电力巡检方法及系统 |
| CN114027765A (zh) * | 2020-11-20 | 2022-02-11 | 上海微创医疗机器人（集团）股份有限公司 | 荧光内窥镜系统、控制方法和存储介质 |
| CN115706766A (zh) * | 2021-08-12 | 2023-02-17 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN117835016A (zh) * | 2024-03-06 | 2024-04-05 | 厦门瑞为信息技术有限公司 | 去除双通rgb镜头红外曝光帧的装置及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020150304A1 (en) * | 2001-04-12 | 2002-10-17 | Norman Ockman | System for morphological image fusion and change detection |
| CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
| CN102800111A (zh) * | 2012-07-19 | 2012-11-28 | 北京理工大学 | 基于颜色协调性的彩色融合图像颜色质量评价方法 |
| CN103293084A (zh) * | 2013-05-08 | 2013-09-11 | 南京大学 | 基于多光谱气象卫星信息的海雾全天时全天候反演方法 |
| CN105069768A (zh) * | 2015-08-05 | 2015-11-18 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN106204509A (zh) * | 2016-07-07 | 2016-12-07 | 西安电子科技大学 | 基于区域特性的红外与可见光图像融合方法 |
| CN107784642A (zh) * | 2016-08-26 | 2018-03-09 | 北京航空航天大学 | 一种红外视频和可见光视频自适应融合方法 |
-
2019
- 2019-01-10 CN CN201910023280.0A patent/CN109618099B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020150304A1 (en) * | 2001-04-12 | 2002-10-17 | Norman Ockman | System for morphological image fusion and change detection |
| CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
| CN102800111A (zh) * | 2012-07-19 | 2012-11-28 | 北京理工大学 | 基于颜色协调性的彩色融合图像颜色质量评价方法 |
| CN103293084A (zh) * | 2013-05-08 | 2013-09-11 | 南京大学 | 基于多光谱气象卫星信息的海雾全天时全天候反演方法 |
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN105069768A (zh) * | 2015-08-05 | 2015-11-18 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| US20180227509A1 (en) * | 2015-08-05 | 2018-08-09 | Wuhan Guide Infrared Co., Ltd. | Visible light image and infrared image fusion processing system and fusion method |
| CN106204509A (zh) * | 2016-07-07 | 2016-12-07 | 西安电子科技大学 | 基于区域特性的红外与可见光图像融合方法 |
| CN107784642A (zh) * | 2016-08-26 | 2018-03-09 | 北京航空航天大学 | 一种红外视频和可见光视频自适应融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| AHMED ELLIETHY ET AL: "FAST NEAR INFRARED FUSION-BASED ADAPTIVE ENHANCEMENT OF VISIBLE IMAGES", 《2017 IEEE GLOBAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING (GLOBALSIP)》 * |
| 蔡冰 等: "基于联合直方图的红外与可见光目标融合跟踪", 《广西师范大学学报（自然科学版）》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020238970A1 (zh) * | 2019-05-31 | 2020-12-03 | 杭州海康威视数字技术股份有限公司 | 图像降噪装置及图像降噪方法 |
| CN112241668A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备 |
| CN111050087B (zh) * | 2019-12-26 | 2021-03-09 | 杭州涂鸦信息技术有限公司 | 一种基于rgb统计信息的红外防过曝方法及其系统和装置 |
| CN111050087A (zh) * | 2019-12-26 | 2020-04-21 | 杭州涂鸦信息技术有限公司 | 一种基于rgb统计信息的红外防过曝算法及其系统和装置 |
| CN113128259B (zh) * | 2019-12-30 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 人脸识别设备及人脸识别方法 |
| CN113128259A (zh) * | 2019-12-30 | 2021-07-16 | 杭州海康威视数字技术股份有限公司 | 人脸识别设备及人脸识别方法 |
| CN111586314B (zh) * | 2020-05-25 | 2021-09-10 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置以及计算机存储介质 |
| CN111586314A (zh) * | 2020-05-25 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置以及计算机存储介质 |
| CN114027765A (zh) * | 2020-11-20 | 2022-02-11 | 上海微创医疗机器人（集团）股份有限公司 | 荧光内窥镜系统、控制方法和存储介质 |
| WO2022105902A1 (zh) * | 2020-11-20 | 2022-05-27 | 上海微创医疗机器人（集团）股份有限公司 | 荧光内窥镜系统、控制方法和存储介质 |
| EP4248835A4 (en) * | 2020-11-20 | 2024-04-17 | Shanghai Microport Medbot (Group) Co., Ltd. | FLUORESCENCE DOSCOPIC SYSTEM, CONTROL METHODS AND STORAGE MEDIUM |
| CN113411501A (zh) * | 2021-06-29 | 2021-09-17 | 杭州晶耐科光电技术有限公司 | 基于嵌入式及双光谱成像的无人机载电力巡检方法及系统 |
| CN113411501B (zh) * | 2021-06-29 | 2022-06-07 | 杭州晶耐科光电技术有限公司 | 基于嵌入式及双光谱成像的无人机载电力巡检方法及系统 |
| CN115706766A (zh) * | 2021-08-12 | 2023-02-17 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN115706766B (zh) * | 2021-08-12 | 2023-12-15 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN117835016A (zh) * | 2024-03-06 | 2024-04-05 | 厦门瑞为信息技术有限公司 | 去除双通rgb镜头红外曝光帧的装置及方法 |
| CN117835016B (zh) * | 2024-03-06 | 2024-04-30 | 厦门瑞为信息技术有限公司 | 去除双通rgb镜头红外曝光帧的装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109618099B (zh) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109618099A (zh) | 双光谱摄像机图像融合方法及装置 | |
| CN103477626B (zh) | 图像处理设备以及图像处理方法 | |
| CN106713755B (zh) | 全景图像的处理方法及装置 | |
| TWI459805B (zh) | 影像處理裝置，影像拍攝裝置，影像處理方法及影像處理程式 | |
| US8135235B2 (en) | Pre-processing method and apparatus for wide dynamic range image processing | |
| CN101742123B (zh) | 图像处理设备和方法 | |
| CN103856764B (zh) | 一种利用双快门进行监控的装置 | |
| CN109005342A (zh) | 全景拍摄方法、装置和成像设备 | |
| CN105120247B (zh) | 一种白平衡调整方法及电子设备 | |
| CN109040609A (zh) | 曝光控制方法、装置和电子设备 | |
| US8749699B2 (en) | Method and device for video processing using a neighboring frame to calculate motion information | |
| CN108322706B (zh) | 一种高清信号处理装置及其方法应用 | |
| CN108712608A (zh) | 终端设备拍摄方法和装置 | |
| CN105635602A (zh) | 一种采用两路视频间亮度和色偏对视频拼接的系统及其调整方法 | |
| CN101998063B (zh) | 前景图像分离方法 | |
| CN107846556A (zh) | 成像方法、装置、移动终端和存储介质 | |
| CN108833802A (zh) | 曝光控制方法、装置和电子设备 | |
| CN109040607A (zh) | 成像控制方法、装置、电子设备和计算机可读存储介质 | |
| WO2020034702A1 (zh) | 控制方法、装置、电子设备和计算机可读存储介质 | |
| CN108024057A (zh) | 背景虚化处理方法、装置及设备 | |
| CN109194855A (zh) | 成像方法、装置和电子设备 | |
| CN105635603A (zh) | 一种采用两路视频间亮度和色偏对视频拼接的系统 | |
| CN108156369A (zh) | 图像处理方法和装置 | |
| CN110231018A (zh) | 一种结构光测距方法、装置及计算机可读存储介质 | |
| CN105472272A (zh) | 基于fpga的多路视频拼接方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |