CN110223262A - 一种基于像素级的快速图像融合方法 - Google Patents
一种基于像素级的快速图像融合方法 Download PDFInfo
- Publication number
- CN110223262A CN110223262A CN201811652660.2A CN201811652660A CN110223262A CN 110223262 A CN110223262 A CN 110223262A CN 201811652660 A CN201811652660 A CN 201811652660A CN 110223262 A CN110223262 A CN 110223262A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- pixel
- visible
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000002156 mixing Methods 0.000 claims abstract description 20
- 238000007499 fusion processing Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 2
- 230000007423 decrease Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000003595 spectral effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于像素级的快速图像融合方法,首先对待融合图像进行对比度增强操作,以提升目标和背景之间的反差。由于可见光图像和红外图像在体现目标特性之间存在差异性,二者存在一定的信息互补关系,为了能够较好的兼顾二者的特点,最大化的保留二者的信息,采用了自适应的融合权值确定方法,根据二者各自信息量的不同决定在融合过程中的权值分配比,避免了人工干预的过程。可见光图像相比于红外图像其光谱信息更丰富,分辨率也更高,加权融合之后融合结果相较于可见光图像其对比度会下降,因此,以原始可见光图像为基础对融合图像进行均值和对比度的优化,进一步提升其图像质量。
Description
技术领域
本发明涉及机载光电吊舱技术领域,具体涉及一种基于像素级的快速图像融合方法。
背景技术
图像融合作为一种综合处理多传感器图像数据的有效技术,得到了广泛的应用,尤其是可见光和红外传感器,其应用范围已遍及军事、安全监控等领域。可见光光谱信息丰富,在一定照度下能反映场景的细节,但在照度不足时对比度较低;红外图像为热辐射图像,目标的灰度值由自身与背景的温度差决定,在照度低时依然能够发现目标,但是分辨率不高,色彩不够丰富。单独使用可见光或红外图像均存在不足之处,而图像融合技术能够有效综合二者的特征信息,增强场景理解,突出目标,有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。
机载光电吊舱集光学、机械、自动控制和通讯技术为一体,是航空航天领域的重要搜索、侦察设备,常搭载可见光和红外传感器,因此,研究应用于机载光电吊舱中的快速图像融合技术具有重要意义。
发明内容
本发明针对上述背景,提出了一种在像素层面进行的可见光和红外图像快速融合方法。
为了达到上述目的,本发明采用了如下技术方案:
一种基于像素级的快速图像融合方法,包括如下步骤:
步骤一、色彩空间变换:保留可见光图像的色调分量,将RGB空间转换至YUV空间下,获取转换后的可见光YUV图像,对可见光的Y分量和红外图像进行图像增强处理;
步骤二、灰度图像自适应融合:根据可见光和红外图像各自信息量的不同,确定二者在融合过程中对应的权值大小,实现自适应的权值分配;
步骤三、融合图像优化调整:以可见光图像为模板,对融合的结果图像进行优化;
步骤四、色彩空间逆变换:用融合的结果图像代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。
所述步骤一中,两种色彩空间的变换关系如下:
所述步骤一中,对可见光的Y分量和红外图像进行图像增强处理具体为采用简单的线性拉伸处理,公式为:
其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。
所述步骤二中,采用图像的信息熵来衡量图像包含的信息量的大小,计算公式如下:
其中,P(i)表示图像中灰度值为i的像素所占的比例;
分别求取可见光图像和红外图像各自的信息熵后,得到二者在融合过程中所占的权值分配如下:
其中,Ptv和Pir分别代表融合过程中可见光图像和红外图像所占的权值,Enttv和Entir分别代表可见光图像和红外图像的信息熵。
所述步骤二中,采用加权平均法进行融合过程处理,公式如下:
F=Ptv×ftv+Pir×fir
其中,ftv代表融合前可见光图像,fir代表融合前的红外图像,F代表融合结果图像。
所述步骤三中,采用的优化方法如下式所示:
上式中,μF和μtv分别代表融合图像的灰度均值以及融合前可见光亮度分量的灰度均值,σF和σtv分别代表二者的灰度方差,F代表整幅图像的灰度值,F′代表优化调整后图像的灰度值。
所述步骤四中,两种色彩空间的逆变换关系如下:
本发明的有益效果为:为了降低在获取图像瞬间光照等原因带来的影响,本发明首先对待融合图像进行对比度增强操作,以提升目标和背景之间的反差。由于可见光图像和红外图像在体现目标特性之间存在差异性,二者存在一定的信息互补关系,为了能够较好的兼顾二者的特点,最大化的保留二者的信息,采用了自适应的融合权值确定方法,根据二者各自信息量的不同决定在融合过程中的权值分配比,避免了人工干预的过程。可见光图像相比于红外图像其光谱信息更丰富,分辨率也更高,加权融合之后融合结果相较于可见光图像其对比度会下降,因此,以原始可见光图像为基础对融合图像进行均值和对比度的优化,进一步提升其图像质量。
附图说明
图1为本发明的基于像素级的快速图像融合方法流程图;
图2为本发明的可见光和红外原始灰度图和彩色图;
图3为可见光和红外图像直接融合效果图;
图4为本发明的融合结果优化调整后效果图。
具体实施方式
参见图1-图4,本发明实施例提供的基于像素级的快速图像融合方法,包括如下步骤:
步骤一、色彩空间变换
通常情况下可见光图像为色彩丰富的彩色图像,分辨率较高,红外图像为灰度图像,分辨率较低,为了尽可能使两种图像的信息得到最大的保留,一般保留可见光图像的色调分量,利用其亮度分量和红外灰度图像进行融合处理,而在RGB空间下,可见光图像的亮度信息和色调信息具有较强的相关性,不方便处理,因此首先将RGB空间转换至YUV空间下,两种色彩空间的变换关系如下:
获取转换后的可见光YUV图像,为了降低光照等原因对图像对比度所造成的影响,对可见光的Y分量和红外图像进行图像增强处理,提升其对比度,增大图像中目标和背景之间的反差,同时为了节省运算时间,采用简单的线性拉伸处理,公式为:
其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。
步骤二、灰度图像自适应融合
步骤2.1、自适应权值获取
为了确定可见光图像和红外图像在融合过程中分别占的比重,同时尽量减小人工干预的程度,采用自适应的方式来确定融合权值,根据图像各自所包含的信息量大小决定其权值分配比,信息量大证明图像中目标和背景差别较大,内容更丰富,融合过程中图像所表达的信息应该更多的得到保留。
采用图像的信息熵来衡量图像包含的信息量的大小,信息熵从整个信息源的统计特性进行考虑,表征了图像灰度分布的聚集特性,反映了图像中平均信息量的多少,其计算公式如下:
其中,P(i)表示图像中灰度值为i的像素所占的比例;
分别求取可见光图像和红外图像各自的信息熵后,得到二者在融合过程中所占的权值分配如下:
其中,Ptv和Pir分别代表融合过程中可见光图像和红外图像所占的权值,Enttv和Entir分别代表可见光图像和红外图像的信息熵。
步骤2.2、灰度图像融合
确定可见光图像和红外图像在融合过程中各自所占的权值后,即可进行图像融合。采用加权平均法进行融合过程处理,公式如下:
F=Ptv×ftv+Pir×fir
其中,ftv代表融合前可见光图像,fir代表融合前的红外图像,F代表融合结果图像。以像素为单位进行融合运算,因此融合前需要保证参与融合的可见光图像和红外图像是像素级严格配准的。
步骤三、融合图像优化调整
由于成像机制的不同,红外图像和可见光图像强度分量的亮度分布差异有时会很大,在某些特定场景下,红外图像较为灰暗,而可见光图像整体较为明亮,在和红外图像融合时,红外图像只能起到很小的作用,最终的融合效果会受到较大影响。这种情况下就需要对融合结果进行优化调整,使其与对比度较强,整体较为明亮的可见光图像亮度分量在亮度分布上协调一致。
采用的处理方法如下式所示:
上式中,μF和μtv分别代表融合图像的灰度均值以及融合前可见光亮度分量的灰度均值,σF和σtv分别代表二者的灰度方差,F代表整幅图像的灰度值,F′代表优化调整后图像的灰度值。灰度代表了图像的一阶统计量,方差代表了图像的二阶统计量。
经过上述方法处理过后,灰度融合图像亮度分布的一阶和二阶统计量就会和可见光图像的相类似,灰度均值可以反映图像的平均亮度,方差可以表示图像的对比度,以此实现将参考图像的图像灰度特征传递至融合图像中。
再次对处理后的图像进行线性拉伸操作,使其灰度分布更为均匀,图像目标和背景之间的反差更为明显,有利于图像的判读解译等后期处理操作。
步骤四、色彩空间逆变换
灰度图像融合过程完成之后,用融合结果代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。两种色彩空间的逆变换关系如下:
为了获得高质量的融合图像,灰度融合过程中通常会用到某些高计算复杂度的融合算法如小波融合算法等,高复杂度的计算不仅会占用大量资源,使得整个融合系统变得复杂,而且会消耗大量的时间,很难满足某些特殊情况下的对融合算法的高实时性需求。本发明基于像素融合法,直接在像素层面上进行操作,根据可见光和红外图像的灰度信息统计量的多少决定其在融合中所占比例大小,增强了算法对融合图像的适应性,融合处理完成之后,为了提升融合图像的视觉效果,将可见光图像作为参考图像,利用其灰度信息对融合图像进行优化调整,包括了一阶的灰度均值信息以及二阶的灰度方差信息,调整过后融合图像具有和参考图像相类似的灰度分布,减小了因为红外图像分辨率不高且细节信息不清晰对融合图像造成的影响,提升了融合图像的质量。同时因为计算过程中仅用到了图像的一阶统计量和二阶统计量,而且是基于像素进行直接融合处理,没有使用多分辨率等高复杂度的处理方法,因此算法的运算速度快,节省了处理时间,能够满足实时性要求。
本发明根据可见光和红外图像各自信息量的不同,确定其在融合过程中对应的权值大小,实现自适应的权值分配,避免了人工干预,算法针对不同图像的适应性更强。本发明利用可见光图像纹理更丰富、分辨率更高的特点,以可见光图像为模板,对融合的结果图像进行优化,进一步提升融合效果。相较于运算复杂的特征级或决策级融合算法,本发明原理简单,运算速度快,融合结果能够满足战场等复杂环境对算法的实时性需求。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员在本发明揭露的范围内,可轻易想到的变化或者替换,都应该涵盖在本发明的保护范围内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种基于像素级的快速图像融合方法,其特征在于,包括如下步骤:
步骤一、色彩空间变换:保留可见光图像的色调分量,将RGB空间转换至YUV空间下,获取转换后的可见光YUV图像,对可见光的Y分量和红外图像进行图像增强处理;
步骤二、灰度图像自适应融合:根据可见光和红外图像各自信息量的不同,确定二者在融合过程中对应的权值大小,实现自适应的权值分配;
步骤三、融合图像优化调整:以可见光图像为模板,对融合的结果图像进行优化;
步骤四、色彩空间逆变换:用融合的结果图像代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。
2.根据权利要求1所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤一中,两种色彩空间的变换关系如下:
3.根据权利要求2所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤一中,对可见光的Y分量和红外图像进行图像增强处理具体为采用简单的线性拉伸处理,公式为:
其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。
4.根据权利要求1或3所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤二中,采用图像的信息熵来衡量图像包含的信息量的大小,计算公式如下:
其中,P(i)表示图像中灰度值为i的像素所占的比例;
分别求取可见光图像和红外图像各自的信息熵后,得到二者在融合过程中所占的权值分配如下:
其中,Ptv和Pir分别代表融合过程中可见光图像和红外图像所占的权值,Enttv和Entir分别代表可见光图像和红外图像的信息熵。
5.根据权利要求4所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤二中,采用加权平均法进行融合过程处理,公式如下:
F=Ptv×ftv+Pir×fir
其中,ftv代表融合前可见光图像,fir代表融合前的红外图像,F代表融合结果图像。
6.根据权利要求1或3或5所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤三中,采用的优化方法如下式所示:
上式中,μF和μtv分别代表融合图像的灰度均值以及融合前可见光亮度分量的灰度均值,σF和σtv分别代表二者的灰度方差,F代表整幅图像的灰度值,F′代表优化调整后图像的灰度值。
7.根据权利要求6所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤四中,两种色彩空间的逆变换关系如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811652660.2A CN110223262A (zh) | 2018-12-28 | 2018-12-28 | 一种基于像素级的快速图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811652660.2A CN110223262A (zh) | 2018-12-28 | 2018-12-28 | 一种基于像素级的快速图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110223262A true CN110223262A (zh) | 2019-09-10 |
Family
ID=67822204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811652660.2A Pending CN110223262A (zh) | 2018-12-28 | 2018-12-28 | 一种基于像素级的快速图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110223262A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104917A (zh) * | 2019-12-24 | 2020-05-05 | 杭州魔点科技有限公司 | 基于人脸的活体检测方法、装置、电子设备及介质 |
CN112053392A (zh) * | 2020-09-17 | 2020-12-08 | 南昌航空大学 | 一种红外与可见光图像的快速配准与融合方法 |
WO2021120406A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
WO2021120408A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于双层优化的红外和可见光融合方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609927A (zh) * | 2012-01-12 | 2012-07-25 | 北京理工大学 | 基于场景景深的雾天可见光/红外图像彩色融合方法 |
CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
CN106952246A (zh) * | 2017-03-14 | 2017-07-14 | 北京理工大学 | 基于视觉注意特性的可见光红外图像增强彩色融合方法 |
CN107909562A (zh) * | 2017-12-05 | 2018-04-13 | 华中光电技术研究所(中国船舶重工集团公司第七七研究所) | 一种基于像素级的快速图像融合算法 |
-
2018
- 2018-12-28 CN CN201811652660.2A patent/CN110223262A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609927A (zh) * | 2012-01-12 | 2012-07-25 | 北京理工大学 | 基于场景景深的雾天可见光/红外图像彩色融合方法 |
CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
CN106952246A (zh) * | 2017-03-14 | 2017-07-14 | 北京理工大学 | 基于视觉注意特性的可见光红外图像增强彩色融合方法 |
CN107909562A (zh) * | 2017-12-05 | 2018-04-13 | 华中光电技术研究所(中国船舶重工集团公司第七七研究所) | 一种基于像素级的快速图像融合算法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021120406A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
WO2021120408A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于双层优化的红外和可见光融合方法 |
US11830222B2 (en) | 2019-12-17 | 2023-11-28 | Dalian University Of Technology | Bi-level optimization-based infrared and visible light fusion method |
CN111104917A (zh) * | 2019-12-24 | 2020-05-05 | 杭州魔点科技有限公司 | 基于人脸的活体检测方法、装置、电子设备及介质 |
CN112053392A (zh) * | 2020-09-17 | 2020-12-08 | 南昌航空大学 | 一种红外与可见光图像的快速配准与融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107909562A (zh) | 一种基于像素级的快速图像融合算法 | |
CN110223262A (zh) | 一种基于像素级的快速图像融合方法 | |
CN106886985B (zh) | 一种减小色偏的自适应低照度图像增强方法 | |
CN103891294B (zh) | 用于hdr图像编码和解码的装置与方法 | |
CN103714520B (zh) | 基于fpga实现数字视频图像增强系统及其方法 | |
CN102693532B (zh) | 图像阴影和高光的自动局部调整 | |
CN106504212A (zh) | 一种改进的hsi空间信息低照度彩色图像增强算法 | |
CN103593830B (zh) | 一种低照度视频图像增强方法 | |
CN106897981A (zh) | 一种基于引导滤波的低照度图像增强方法 | |
CN109447910A (zh) | 一种基于模糊理论的低照度彩色图像增强方法 | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
CN110706172B (zh) | 基于自适应混沌粒子群优化的低照度彩色图像增强方法 | |
CN103632351B (zh) | 一种基于亮度基准漂移的全天候交通图像增强方法 | |
JP3018914B2 (ja) | 階調補正装置 | |
CN107396079B (zh) | 白平衡调整方法和装置 | |
CN104200431A (zh) | 图像灰度化的处理方法及处理装置 | |
CN109300101A (zh) | 一种基于Retinex理论的多曝光图像融合方法 | |
CN106169182A (zh) | 一种合成多幅不同曝光度图像的方法 | |
CN106651817A (zh) | 一种基于非抽样Contourlet的图像增强方法 | |
CN111970432A (zh) | 一种图像处理方法及图像处理装置 | |
CN101383912B (zh) | 电视摄像色彩智能化自动调节方法 | |
CN105354801A (zh) | 一种基于hsv色彩空间的图像增强方法 | |
CN107580205B (zh) | 白平衡调整方法和装置 | |
CN116188339A (zh) | 一种基于Retinex及图像融合的暗视觉图像增强方法 | |
CN105118032B (zh) | 一种基于视觉系统的宽动态处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190910 |