CN114897695A - 图像处理方法及装置、计算设备和计算机可读存储介质 - Google Patents
图像处理方法及装置、计算设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114897695A CN114897695A CN202210511653.0A CN202210511653A CN114897695A CN 114897695 A CN114897695 A CN 114897695A CN 202210511653 A CN202210511653 A CN 202210511653A CN 114897695 A CN114897695 A CN 114897695A
- Authority
- CN
- China
- Prior art keywords
- peak position
- peak
- value
- histogram information
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims description 48
- 238000001914 filtration Methods 0.000 claims description 21
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000001953 sensory effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 12
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 11
- 239000007789 gas Substances 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012824 chemical production Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例涉及人工智能技术领域，且涉及一种图像处理方法、装置、计算设备及存储介质。具体实现方案为：获取待处理红外图像的直方图信息；对直方图信息进行处理，得到直方图信息的各个第一峰值位置；确定各个第一峰值位置的半高全宽区间；根据各个第一峰值位置的半高全宽区间，确定主峰位置；根据主峰位置，确定待处理红外图像的主体场景有效信号区间；利用主体场景有效信号区间对待处理红外图像进行拉伸处理，得到待处理红外图像的主体场景拉伸图像。本申请实施例针对待处理红外图像进行判别，找到待处理红外图像中的主体场景有效信号区间，对主体场景范围进行可视化显示，减少温差较大物体带来的影响，提升目标的辨识度和图像的感观效果。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及图像处理方法及装置、计算设备和计算机可读存储介质。
背景技术
在工农业生产、科学研究和医学领域中使用特殊用途的照明器具或者高温操作过程中都会产生较强的红外辐射，可采用红外监测技术对目标进行监测、追踪和标记。以工业安全监测为例，近年来，对工业安全监测技术的需求日益迫切。化工生产领域介质泄漏事故频繁发生，造成爆炸、火灾等后果，严重危及生命财产安全。在气体泄漏的情况下，使用红外监测气体是目前比较先进的方法。因为大部分气体在红外波段特征明显，所以使用宽光谱范围红外机芯在气体泄漏的时候，可以看到有一团黑色气体喷涌而出，并且可以监控不同位置和温度来确定危险。
但是，在对红外图像进行拉伸处理的过程中，偏置会随着红外相机温度与环境温度改变而改变，所以无法通过固定拉伸范围来很好地对红外图像进行可视化显示。红外图像中可能存在温差较大的物体，受这种物体的影响，容易导致红外图像出现过灰或者过黑的现象，在图像中无法清楚地显示除了这种物体之外的其它物体。
发明内容
鉴于现有技术的以上问题，本申请提供一种图像处理方法及装置、计算设备和计算机可读存储介质，可针对待处理红外图像进行判别，找到待处理红外图像中的主体场景有效信号区间，对主体场景范围进行可视化显示，减少温差较大物体带来的影响，从而明显提升目标的辨识度和图像的感观效果。
为达到上述目的，本申请第一方面提供了一种图像处理方法，包括：
获取待处理红外图像的直方图信息；
对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置；
确定所述各个第一峰值位置的半高全宽区间；
根据所述各个第一峰值位置的半高全宽区间，确定主峰位置；
根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间；
基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像。
作为第一方面的一种可能的实现方式，对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置，包括：
对所述直方图信息进行均值滤波处理；
对所述均值滤波处理后的信息进行插值处理；
基于所述插值处理后的信息，得到所述直方图信息的各个第一峰值位置。
作为第一方面的一种可能的实现方式，确定所述各个第一峰值位置的半高全宽区间，包括：
针对所述各个第一峰值位置，计算直方图信息的半高差值，所述半高差值用于衡量所述直方图信息的值与所述第一峰值位置对应的半峰值之间的差距程度；
对所述半高差值进行处理，得到所述半高差值的各个第二峰值位置；
根据所述各个第二峰值位置，确定所述各个第一峰值位置对应的半高全宽区间。
作为第一方面的一种可能的实现方式，根据所述各个第二峰值位置，确定所述各个第一峰值位置对应的半高全宽区间，包括：
若第N个所述第二峰值位置对应的直方图信息的值大于所述第一峰值位置对应的直方图信息的值，并且第N-1个所述第二峰值位置对应的直方图信息的值小于所述第一峰值位置对应的直方图信息的值，则将第N个所述第二峰值位置和第N-1个所述第二峰值位置之间的区间确定为所述第一峰值位置对应的半高全宽区间。
作为第一方面的一种可能的实现方式，根据所述各个第一峰值位置的半高全宽区间，确定主峰位置，包括：
累加所述各个第一峰值位置对应的半高全宽区间内的直方图信息的值，得到所述各个第一峰值位置对应的累加和；
对所述各个第一峰值位置对应的累加和进行排序，得到排序结果；
将所述排序结果中的最大值对应的第一峰值位置，作为主峰位置。
作为第一方面的一种可能的实现方式，根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间，包括：
根据所述主峰位置对应的半高全宽区间和预先设置的信号范围阈值，得到所述待处理红外图像的主体场景有效信号区间。
作为第一方面的一种可能的实现方式，基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像，包括：
利用所述主体场景有效信号区间对所述待处理红外图像进行像素值映射，得到所述待处理红外图像的主体场景拉伸图像。
本申请第二方面提供了一种图像处理装置，包括：
获取单元，用于获取待处理红外图像的直方图信息；
处理单元，用于对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置；
第一确定单元，用于确定所述各个第一峰值位置的半高全宽区间；
第二确定单元，用于根据所述各个第一峰值位置的半高全宽区间，确定主峰位置；
第三确定单元，用于根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间；
拉伸单元，用于基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像。
作为第二方面的一种可能的实现方式，所述处理单元用于：
对所述直方图信息进行均值滤波处理；
对所述均值滤波处理后的信息进行插值处理；
基于所述插值处理后的信息，得到所述直方图信息的各个第一峰值位置。
作为第二方面的一种可能的实现方式，所述第一确定单元包括：
计算子单元，用于针对所述各个第一峰值位置，计算直方图信息的半高差值，所述半高差值用于衡量所述直方图信息的值与所述第一峰值位置对应的半峰值之间的差距程度；
处理子单元，用于对所述半高差值进行处理，得到所述半高差值的各个第二峰值位置；
确定子单元，用于根据所述各个第二峰值位置，确定所述各个第一峰值位置对应的半高全宽区间。
作为第二方面的一种可能的实现方式，所述确定子单元用于：
若第N个所述第二峰值位置对应的直方图信息的值大于所述第一峰值位置对应的直方图信息的值，并且第N-1个所述第二峰值位置对应的直方图信息的值小于所述第一峰值位置对应的直方图信息的值，则将第N个所述第二峰值位置和第N-1个所述第二峰值位置之间的区间确定为所述第一峰值位置对应的半高全宽区间。
作为第二方面的一种可能的实现方式，所述第二确定单元用于：
累加所述各个第一峰值位置对应的半高全宽区间内的直方图信息的值，得到所述各个第一峰值位置对应的累加和；
对所述各个第一峰值位置对应的累加和进行排序，得到排序结果；
将所述排序结果中的最大值对应的第一峰值位置，作为主峰位置。
作为第二方面的一种可能的实现方式，所述第三确定单元用于：
根据所述主峰位置对应的半高全宽区间和预先设置的信号范围阈值，得到所述待处理红外图像的主体场景有效信号区间。
作为第二方面的一种可能的实现方式，所述拉伸单元用于：
利用所述主体场景有效信号区间对所述待处理红外图像进行像素值映射，得到所述待处理红外图像的主体场景拉伸图像。
本申请第三方面提供了一种计算设备，包括：
通信接口；
至少一个处理器，其与所述通信接口连接；以及
至少一个存储器，其与所述处理器连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行上述第一方面任一所述的方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行上述第一方面任一所述的方法。
本发明的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
以下参照附图来进一步说明本发明的各个特征和各个特征之间的联系。附图均为示例性的，一些特征并不以实际比例示出，并且一些附图中可能省略了本申请所涉及领域的惯常的且对于本申请非必要的特征，或是额外示出了对于本申请非必要的特征，附图所示的各个特征的组合并不用以限制本申请。另外，在本说明书全文中，相同的附图标记所指代的内容也是相同的。具体的附图说明如下：
图1为本申请实施例提供的图像处理方法的一实施例的示意图；
图2为本申请实施例提供的图像处理方法的一实施例的示意图；
图3为本申请实施例提供的图像处理方法的一实施例的处理流程图；
图4为本申请实施例提供的图像处理方法的一实施例的示意图；
图5为本申请实施例提供的图像处理方法的一实施例的处理流程图；
图6为本申请实施例提供的图像处理方法的一实施例的示意图；
图7为本申请实施例提供的图像处理方法的一实施例的处理流程图；
图8为本申请实施例提供的图像处理方法的一实施例的示意图；
图9为本申请实施例提供的图像处理装置的一实施例的示意图；
图10为本申请实施例提供的图像处理装置的一实施例的示意图；
图11为本申请实施例提供的计算设备的示意图。
具体实施方式
在对具体实施方式进行说明之前先对本说明书中所使用的术语给出如下的解释说明或定义：
1）直方图：是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。 一般用横轴表示数据类型，纵轴表示分布情况。直方图是数值数据分布的精确图形表示。它是一个连续变量（定量变量）的概率分布的估计，是一种条形图。为了构建直方图，第一步是将值的范围分段，即将整个值的范围分成一系列间隔，然后计算每个间隔中有多少值。 这些值通常被指定为连续的，不重叠的变量间隔。 间隔必须相邻，并且通常是（但不是必须的）相等的大小。
2）图像拉伸：也称对比度增强或反差增强，是通过改变图像元的亮度值来提高图像全部或局部的对比度，改善图像质量的一种方法。
3）插值：是离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。插值可用来填充图像变换时像素之间的空隙。
下面先对现有的方法进行介绍，然后再对本申请的技术方案进行详细介绍。
任何温度高于绝对零度（−273℃）的物体都在不停地辐射红外线。物体温度越高，辐射强度越大，其辐射波长越短。因此在工农业生产、科学研究和医学领域中，可采用红外监测技术对目标进行监测、追踪和标记。以工业安全监测中图像处理的应用场景为例，现有技术中应用红外监测技术可以监控不同位置和温度来确定危险。
现有技术存在着以下的缺陷：在对红外图像进行拉伸处理的过程中，偏置会随着红外相机温度与环境温度改变而改变，所以无法通过固定拉伸范围来很好的对红外图像进行可视化显示。红外图像中可能存在温差较大的物体，受这种物体的影响，容易导致红外图像出现过灰或者过黑的现象，在图像中无法清楚地显示除了这种物体之外的其它物体。
基于上述现有技术所存在的技术问题，本申请提供了一种图像处理的方法。本申请实施例针对待处理红外图像进行判别，找到待处理红外图像中的主体场景有效信号区间。然后基于主体场景有效信号区间对所述待处理红外图像进行拉伸处理，可减少温差较大物体带来的影响，避免红外图像出现过灰或者过黑的现象，从而明显提升目标的辨识度和图像的感观效果，解决了现有技术中图像无法清楚显示的问题。
图1为本申请实施例提供的图像处理方法的一实施例的示意图。如图1所示，该图像处理方法可以包括：
步骤S110，获取待处理红外图像的直方图信息；
步骤S120，对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置；
步骤S130，确定所述各个第一峰值位置的半高全宽区间；
步骤S140，根据所述各个第一峰值位置的半高全宽区间，确定主峰位置；
步骤S150，根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间；
步骤S160，基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像。
以工业安全监测中图像处理的应用场景为例，可将易发生泄漏的介质作为监测目标，对目标进行监测可以及时发现隐患，以避免介质泄漏事故。例如在红外监测气体的应用场景中，可在气体识别标记系统中设置红外摄像装置，利用红外摄像装置获得待识别目标的红外图像，再基于主体场景有效信号区间对红外图像进行拉伸处理，可最终得到辨识度较高的主体场景拉伸图像。
在步骤S110中，可基于红外图像Image构建直方图。在直方图中，可用横轴表示红外图像中像素点的像素值，纵轴表示该像素值的分布情况。例如纵轴可以表示像素值对应的像素点个数，也就是红外图像中具有该像素值的像素点的个数。根据红外图像的直方图，可获得直方图信息data。直方图信息data包括红外图像中像素点的像素值和对应的像素点个数。
在步骤S120中，可对直方图信息data进行遍历，如果像素点的个数随着像素值的增加而增加，可将直方图的数据变化趋势标记为上升趋势；反之，如果像素点的个数随着像素值的增加而减少，可将直方图的数据变化趋势标记为下降趋势。在上升趋势和下降趋势之间，像素点的个数有一个极大值。这个极大值对应着直方图信息的第一峰值位置。可通过以上方式对直方图信息进行处理，得到直方图信息的各个第一峰值位置。
在步骤S130中，对于直方图信息的各个第一峰值位置，可定量计算直方图信息的值与所述第一峰值位置对应的半峰值之间的差距程度。其中，直方图信息的值是指直方图中的每个像素值对应的像素点个数，半峰值指峰值的一半对应的像素点个数。再根据计算出的这个差距程度确定各个第一峰值位置的半高全宽区间。
在步骤S140中，可将各个第一峰值位置对应的半高全宽区间内的直方图信息的值累加，得到累加和。将累加和最大的第一峰值位置确定主峰位置。
在步骤S150中，可在主峰位置对应的半高全宽区间的基础上确定待处理红外图像的主体场景有效信号区间。例如，可预先设定信号范围阈值，根据信号范围阈值对主峰位置对应的半高全宽区间进行调整，得到待处理红外图像的主体场景有效信号区间。该信号范围阈值可根据实际应用场景中图像处理的具体情况和处理需求而设定。
在步骤S160中，利用主体场景有效信号区间对待处理红外图像进行拉伸处理。例如可利用主体场景有效信号区间对待处理红外图像进行像素值映射，最终得到待处理红外图像的主体场景拉伸图像。
在一个示例中，红外图像的拍摄场景中大部分是25度场景，但是其中有少数100度的物体。如果没有做适当的处理会对红外成像画面的影响很大。由于25度和100度之间的温差较大，现有技术的拉伸算法会导致图像中100度的物体对应的像素值是255，相对而言其它范围的图像都特别黑。现有技术中无法通过固定拉伸范围来很好地对红外图像进行可视化显示。本申请实施例中利用主体场景有效信号区间对待处理红外图像进行拉伸处理，可有效避免红外图像出现过灰或者过黑的现象。
本申请实施例针对待处理红外图像进行判别，找到待处理红外图像中的主体场景有效信号区间，对主体场景范围进行可视化显示，减少温差较大物体带来的影响，从而明显提升目标的辨识度和图像的感观效果。
图2为本申请实施例提供的图像处理方法的一实施例的示意图。如图2所示，在一种实施方式中，图1中的步骤S120，对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置，包括：
步骤S210，对所述直方图信息进行均值滤波处理；
步骤S220，对所述均值滤波处理后的信息进行插值处理；
步骤S230，基于所述插值处理后的信息，得到所述直方图信息的各个第一峰值位置。
图3为本申请实施例提供的图像处理方法的一实施例的处理流程图。在图3的示例中，示出了利用直方图信息查找各个第一峰值位置的处理过程。参见图2和图3，首先在步骤S210中，对直方图信息data进行均值滤波处理。均值滤波也称为线性滤波。均值滤波采用的主要方式为邻域平均法，其基本原理是用均值代替原图像中的各个像素值。例如可在图像上对目标像素给一个模板，该模板包括了其周围的临近像素，再用模板中的全体像素的平均值来代替原来像素值。可预先设置平滑处理的次数，然后在循环结构中对直方图信息data进行均值滤波处理。一个示例性的均值滤波处理过程如图3中的步骤3.1至步骤3.4所示：
步骤3.1：输入直方图信息data；
步骤3.2：预设平滑次数smoothtimes，初始化平滑迭代次数smoothindex=0；
步骤3.3：判断是否满足smoothindex<smoothtimes，如果满足则跳转至步骤3.4，否则跳转至步骤3.5；在步骤3.4中对data进行均值滤波；均值滤波处理完成之后，从步骤3.5开始进行插值处理。
步骤3.4：对data进行均值滤波，smoothindex = smoothindex + 1，跳转至步骤3.3，继续下一轮循环处理。
参见图2和图3，在步骤S220中，对均值滤波处理后的信息进行插值处理。可预先设置插值系数，然后根据插值系数对均值滤波处理后的信息进行插值处理。一个示例性的插值处理过程如图3中的步骤3.5至步骤3.6所示：
步骤3.5：设置插值系数INTERRATIO；
步骤3.6：根据插值系数INTERRATIO对滤波处理后的data进行插值预处理，插值后共计I个数据。
参见图2和图3，在步骤S230中，基于步骤S220中插值处理后的信息，查找直方图信息的各个第一峰值位置。其中，第一峰值位置是指在直方图信息中，像素点的个数取极大值时对应的原始图像的标记位置。
具体地，可沿着坐标轴的方向对直方图信息data进行遍历。为了记录直方图的数据变化趋势，可预先设置标记位flag_up。如果像素点的个数随着像素值的增加而增加，可将直方图的数据变化趋势标记为上升趋势，将标记位flag_up赋值为1；反之，如果像素点的个数随着像素值的增加而减少，可将直方图的数据变化趋势标记为下降趋势，将标记位flag_up赋值为0。在上升趋势和下降趋势之间，像素点的个数有一个极大值。这个极大值对应着直方图信息的第一峰值位置。可通过以上方式对直方图信息进行处理，得到直方图信息的各个第一峰值位置。
为了加快处理流程，还可以针对上述处理过程预先设置阈值peakthre，仅对大于阈值的直方图信息进行处理，这样可以优化算法效率。阈值peakthre可根据实际应用场景中图像处理的具体情况和处理需求而设定。
在图3的示例中，利用步骤3.7至步骤3.20查找直方图信息的各个第一峰值位置。步骤3.7至步骤3.20的具体处理过程如下：
步骤3.7：查找data最大值maxValue；
步骤3.8：设置阈值比例ratio，初始化计数器 k = 0，i = 0；
步骤3.9：计算阈值peakthre = maxValue * ratio；根据data最大值maxValue和阈值比例ratio设置阈值peakthre，在后续步骤3.12中，仅对大于阈值的直方图信息进行处理，这样可以优化算法效率；
步骤3.10：初始化数值标记为val_loop = data(1)，初始化上升标志位flag_up =1；
步骤3.11：判断是否满足循环次数i < I，如果满足则执行步骤3.12，否则执行步骤3.19；利用步骤3.6得到的插值后的数据个数I来控制循环次数，在每个循环体中依次对插值预处理后的I个数据进行遍历处理；
步骤3.12：判断是否满足data(i) < peakthre，如果满足则执行3.13，否则执行3.14；
步骤3.13：i=i+1，跳转至3.11；
步骤3.14：判断是否满足data(i) > val_loop，如果满足则执行3.15，否则执行3.16；
步骤3.15：val_loop = data(i)，flap_up = 1，跳转至3.13；在步骤3.14中满足data(i) > val_loop，这种情况下，直方图的数据变化趋势为上升趋势，将标记位flag_up赋值为1；
步骤3.16：判断是否满足flag_up = = 1，如果满足则执行3.17，否则执行3.18；
步骤3.17：记录峰值估计位置location_ori(k) = i/INTERRATIO，k=k+1，flap_up= 0，跳转至3.13；在步骤3.14中若不满足data(i) > val_loop，且在步骤3.16中满足flag_up = = 1，说明直方图的数据变化趋势已经由上升趋势转为下降趋势，在这种情况下，将I个数据中的第i个数据对应的信息标记为峰值估计位置。
步骤3.18：val_loop = data(i)，flap_up = 0，跳转至步骤3.13；这种情况下，直方图的数据变化趋势为下降趋势，将标记位flag_up赋值为0；
步骤3.19：设置区间阈值X_THRE；峰值估计位置与精确峰值位置是接近的，可设置邻域区间的区间阈值，在下一步骤3.20中在峰值估计位置的邻域区间范围内，计算得到精确峰值位置；
步骤3.20：分别对得到的K个峰值估计位置进行计算，计算data区间[(location_ori(k)-X_THRE)，(location_ori(k)+X_THRE)]中的最大值和对应位置，得到精确峰值位置location(k)；将精确峰值位置作为第一峰值位置。
图4为本申请实施例提供的图像处理方法的一实施例的示意图。如图4所示，在一种实施方式中，图1中的步骤S130，确定所述各个第一峰值位置的半高全宽区间，包括：
步骤S410，针对所述各个第一峰值位置，计算直方图信息的半高差值，所述半高差值用于衡量所述直方图信息的值与所述第一峰值位置对应的半峰值之间的差距程度；
步骤S420，对所述半高差值进行处理，得到所述半高差值的各个第二峰值位置；
步骤S430，根据所述各个第二峰值位置，确定所述各个第一峰值位置对应的半高全宽区间。
图5为本申请实施例提供的图像处理方法的一实施例的处理流程图。在图5的示例中，利用获得的精确峰值位置和直方图数据data进行计算，得到相应的半高全宽位置，也就是确定各个第一峰值位置的半高全宽区间。参见图3至图5，首先在步骤S410中，对于在步骤3.20中得到的K个精确峰值位置，利用循环结构在循环体中分别针对每个精确峰值位置进行处理，计算直方图信息的半高差值。参见图5中的步骤5.1至步骤5.4，具体处理过程如下：
步骤5.1：获取K个峰值位置location(1)~location(K)；
步骤5.2：初始化循环变量k = 1；
步骤5.3：判断是否满足k ≤ K，如果满足则执行4，否则结束计算；
步骤5.4：对data数据进行处理，计算直方图信息的半高差值minushalf_floop =data(location(k))/2-abs(data - data(location(k))/2)。
其中，半高差值minushalf_floop，用于衡量所述直方图信息data的值与第一峰值位置对应的半峰值之间的差距程度。data(location(k))/2表示第一峰值位置对应的半峰值，也就是二分之一峰值对应的值。在上述公式中，利用直方图信息data与半峰值的差计算半高差值minushalf_floop。
半高差值minushalf_floop的数据也是具有上升变化趋势和下降变化趋势的数据。因此对半高差值的数据进行统计，也可以得到相应的峰值。在步骤S420中，针对半高差值的数据进行处理，查找半高差值的各个第二峰值位置。其中可采用类似图3所示的处理过程查找峰值位置。在图5的步骤5.5中查找半高差值的各个第二峰值位置，具体处理过程如下：
步骤5.5：根据上述计算峰值位置方法，计算minushalf_floop的峰值位置，得到一组该数据对应的N个峰值位置half_locs_tem。其中，“上述计算峰值位置方法”是指图3所示的处理过程。N个峰值位置half_locs_tem表示N个第二峰值位置。
在步骤S430中，根据各个第一峰值位置分别对应的各个第二峰值位置，确定各个第一峰值位置对应的半高全宽区间。例如，如果第一峰值位置处于两个相邻的第二峰值位置之间，可将两个相邻的第二峰值位置之间的区间确定为第一峰值位置对应的半高全宽区间。
在一种实施方式中，步骤S430，根据所述各个第二峰值位置，确定所述各个第一峰值位置对应的半高全宽区间，包括：
若第N个所述第二峰值位置对应的直方图信息的值大于所述第一峰值位置对应的直方图信息的值，并且第N-1个所述第二峰值位置对应的直方图信息的值小于所述第一峰值位置对应的直方图信息的值，则将第N个所述第二峰值位置和第N-1个所述第二峰值位置之间的区间确定为第一峰值位置对应的半高全宽区间。
再参见图5的示例，利用步骤5.6至步骤5.12确定第一峰值位置对应的半高全宽区间，具体处理过程如下：
步骤5.6：初始化循环变量n=2；
步骤5.7：判断是否满足n≤N，如果满足则执行执行5.8，否则执行5.11；
步骤5.8：判断是否满足half_locs_tem(n-1) < location(k) &&half_locs_tem(n) > location(k)，如果满足则执行5.10，否则执行5.9；
其中，location(k)表示第一峰值位置，half_locs_tem(n)表示第N个第二峰值位置，half_locs_tem(n-1)表示第N-1个第二峰值位置；在步骤5.8中判断第一峰值位置是否介于第N个第二峰值位置和第N-1个第二峰值位置之间。
步骤5.9：n = n + 1，跳转至5.7；若不满足步骤5.8中条件则继续执行下一次循环；
步骤5.10：得到峰值k对应的半高全宽位置，分别记为half_locs(2*k-1) 和half_locs(2*k)，跳转至5.12；
若满足步骤5.8中条件，则将half_locs_tem(n-1)和half_locs_tem(n)分别赋值给half_locs(2*k-1) 和 half_locs(2*k)，将half_locs(2*k-1) 和 half_locs(2*k)之间的区间确定为第一峰值位置k对应的半高全宽区间；
步骤5.11：half_locs(2*k-1) 和 half_locs(2*k)均赋值为location(k)；在步骤5.7中若判断不满足2≤N，即只有1个第二峰值位置的情况下，直接将半高全宽区间的两个端点位置均赋值为location(k)；
步骤5.12：k = k + 1，跳转至5.3，针对下一个第一峰值位置进行处理重复执行上述处理过程。
本申请实施例中，第一峰值位置对应的半高全宽区间可用于描述第一峰值位置的有效信号，可以通过半高全宽位置计算每个第一峰值位置对应包含多少信号量。
图6为本申请实施例提供的图像处理方法的一实施例的示意图。如图6所示，在一种实施方式中，图1中的步骤S140，根据所述各个第一峰值位置的半高全宽区间，确定主峰位置，包括：
步骤S610，累加所述各个第一峰值位置对应的半高全宽区间内的直方图信息的值，得到所述各个第一峰值位置对应的累加和；
步骤S620，对所述各个第一峰值位置对应的累加和进行排序，得到排序结果；
步骤S630，将所述排序结果中的最大值对应的第一峰值位置，作为主峰位置。
在步骤S140中从多个第一峰值位置确定主峰位置。具体地，可利用步骤5.6至步骤5.12得到的half_locs和直方图信息data计算主峰位置。具体处理过程如下：
步骤6.1：循环变量k=1到k=K，进行步骤6.2计算；
步骤6.2：累加峰值k对应的半高全宽区间[half_locs(2*k-1),half_locs(2*k)]内data的值，得到累加和sum_val(k)；在这一步骤中累加半高全宽区间的总的像素点个数。
步骤6.3：用任意方法对得到的累加和序列sum_val进行排序；
步骤6.4：sum_val中最大的值对应的k即为主峰位置loc_final和对应的半高全宽位置half_left_final和half_right_final。
在一种实施方式中，图1中的步骤S150，根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间，包括：
根据所述主峰位置对应的半高全宽区间和预先设置的信号范围阈值，得到所述待处理红外图像的主体场景有效信号区间。
图7为本申请实施例提供的图像处理方法的一实施例的处理流程图。在图7所示的示例中，利用预先设置的信号范围阈值MIN_THRE，将得到的主峰loc_final的半高全宽位置half_left_final和half_right_final和直方图信息data进行计算，得到有效信号区间。其中，半高全宽位置half_left_final和half_right_final之间的区间为半高全宽区间，位于左端有效位MINV和右端有效位MAXV之间的区间即为有效信号区间。可通过设置MIN_THRE获得主体场景范围。根据信号范围阈值MIN_THRE，在半高全宽位置的基础上进行调整，得到的主体场景有效信号区间。
图7的示例中具体处理过程如下：
步骤7.1：获取主峰对应的半高全宽位置half_left_final和half_right_final；
步骤7.2：设置阈值MIN_THRE；
步骤7.3：初始化左端有效位MINV = half_left_final和右端有效位MAXV =half_right_final；
步骤7.4：判断是否满足data(MINV) ≤ MIN_THRE，如果满足则执行7.6，否则执行7.5；
若MINV对应的直方图信息data大于阈值MIN_THRE，则在步骤7.5中将MINV的值调小；若MINV对应的直方图信息data小于等于阈值MIN_THRE，则MINV的值调整完毕，转向执行7.6调整MAXV的值；
步骤7.5：MINV= MINV–1，跳转至7.4；
步骤7.6：判断是否满足data(MAXV) ≤ MIN_THRE，如果满足则执行7.8，否则执行7.7；
若MAXV对应的直方图信息data大于阈值MIN_THRE，则在步骤7.7中将MAXV的值调大；若MAXV对应的直方图信息data小于等于阈值MIN_THRE，则MAXV的值调整完毕，转向执行7.8得到最终有效位MINV和MAXV；
步骤7.7：MAXV = MAXV + 1，跳转至7.6；
步骤7.8：得到最终左端有效位MINV和右端有效位MAXV。
在一种实施方式中，图1中的步骤S160，基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像，包括：
利用所述主体场景有效信号区间对所述待处理红外图像进行像素值映射，得到所述待处理红外图像的主体场景拉伸图像。
本申请实施例中，利用左端有效位MINV和右端有效位MAXV，对红外图像Image进行处理，得到最终可视化图像Image_final，具体可利用以下公式进行像素值映射的计算：
在以上公式中，Image_final表示最终得到的待处理红外图像的主体场景拉伸图像的像素值，MINV和MAXV分别表示主体场景有效信号区间的左端有效位和右端有效位对应的像素值。
综上，本申请实施例中通过对直方图进行算法分析自适应得到主体目标区域并进行拉伸。参见图8所示，本申请实施例中对输入的红外图像进行直方图处理，查找直方图中各个峰值，计算各个峰值对应的半高全宽位置，再通过对比各个峰的半高全宽信息自适应得到主峰位置。最后利用主峰位置及其对应的半高全宽位置计算画面主体场景有效信号范围，将红外图像进行灰度值映射得到最终的可视化图像。
如图9所示，本申请还提供了相应的一种图像处理装置的实施例，关于该装置的有益效果或解决的技术问题，可以参见与各装置分别对应的方法中的描述，或者参见发明内容中的描述，此处不再一一赘述。
在该图像处理装置的实施例中，该装置包括：
获取单元100，用于获取待处理红外图像的直方图信息；
处理单元200，用于对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置；
第一确定单元300，用于确定所述各个第一峰值位置的半高全宽区间；
第二确定单元400，用于根据所述各个第一峰值位置的半高全宽区间，确定主峰位置；
第三确定单元500，用于根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间；
拉伸单元600，用于基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像。
在一种实施方式中，所述处理单元200用于：
对所述直方图信息进行均值滤波处理；
对所述均值滤波处理后的信息进行插值处理；
基于所述插值处理后的信息，得到所述直方图信息的各个第一峰值位置。
如图10所示，在一种实施方式中，所述第一确定单元300包括：
计算子单元301，用于针对所述各个第一峰值位置，计算直方图信息的半高差值，所述半高差值用于衡量所述直方图信息的值与所述第一峰值位置对应的半峰值之间的差距程度；
处理子单元302，用于对所述半高差值进行处理，得到所述半高差值的各个第二峰值位置；
确定子单元303，用于根据所述各个第二峰值位置，确定所述各个第一峰值位置对应的半高全宽区间。
在一种实施方式中，所述确定子单元303用于：
若第N个所述第二峰值位置对应的直方图信息的值大于所述第一峰值位置对应的直方图信息的值，并且第N-1个所述第二峰值位置对应的直方图信息的值小于所述第一峰值位置对应的直方图信息的值，则将第N个所述第二峰值位置和第N-1个所述第二峰值位置之间的区间确定为所述第一峰值位置对应的半高全宽区间。
在一种实施方式中，所述第二确定单元400用于：
累加所述各个第一峰值位置对应的半高全宽区间内的直方图信息的值，得到所述各个第一峰值位置对应的累加和；
对所述各个第一峰值位置对应的累加和进行排序，得到排序结果；
将所述排序结果中的最大值对应的第一峰值位置，作为主峰位置。
在一种实施方式中，所述第三确定单元500用于：
根据所述主峰位置对应的半高全宽区间和预先设置的信号范围阈值，得到所述待处理红外图像的主体场景有效信号区间。
在一种实施方式中，所述拉伸单元600用于：
利用所述主体场景有效信号区间对所述待处理红外图像进行像素值映射，得到所述待处理红外图像的主体场景拉伸图像。
图11是本申请实施例提供的一种计算设备900的结构性示意性图。该计算设备900包括：处理器910、存储器920、通信接口930。
应理解，图11中所示的计算设备900中的通信接口930可以用于与其他设备之间进行通信。
其中，该处理器910可以与存储器920连接。该存储器920可以用于存储该程序代码和数据。因此，该存储器920可以是处理器910内部的存储单元，也可以是与处理器910独立的外部存储单元，还可以是包括处理器910内部的存储单元和与处理器910独立的外部存储单元的部件。
可选的，计算设备900还可以包括总线。其中，存储器920、通信接口930可以通过总线与处理器910连接。总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。
应理解，在本申请实施例中，该处理器910可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(Application specific integrated circuit，ASIC)、现成可编程门矩阵(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器910采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。
该存储器920可以包括只读存储器和随机存取存储器，并向处理器910提供指令和数据。处理器910的一部分还可以包括非易失性随机存取存储器。例如，处理器910还可以存储设备类型的信息。
在计算设备900运行时，所述处理器910执行所述存储器920中的计算机执行指令执行上述方法的操作步骤。
应理解，根据本申请实施例的计算设备900可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备900中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待处理红外图像的直方图信息；
对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置；
确定所述各个第一峰值位置的半高全宽区间；
根据所述各个第一峰值位置的半高全宽区间，确定主峰位置；
根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间；
基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像。
2.根据权利要求1所述的方法，其特征在于，对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置，包括：
对所述直方图信息进行均值滤波处理；
对所述均值滤波处理后的信息进行插值处理；
基于所述插值处理后的信息，得到所述直方图信息的各个第一峰值位置。
3.根据权利要求1所述的方法，其特征在于，确定所述各个第一峰值位置的半高全宽区间，包括：
针对所述各个第一峰值位置，计算直方图信息的半高差值，所述半高差值用于衡量所述直方图信息的值与所述第一峰值位置对应的半峰值之间的差距程度；
对所述半高差值进行处理，得到所述半高差值的各个第二峰值位置；
根据所述各个第二峰值位置，确定所述各个第一峰值位置对应的半高全宽区间。
4.根据权利要求3所述的方法，其特征在于，根据所述各个第二峰值位置，确定所述各个第一峰值位置对应的半高全宽区间，包括：
若第N个所述第二峰值位置对应的直方图信息的值大于所述第一峰值位置对应的直方图信息的值，并且第N-1个所述第二峰值位置对应的直方图信息的值小于所述第一峰值位置对应的直方图信息的值，则将第N个所述第二峰值位置和第N-1个所述第二峰值位置之间的区间确定为所述第一峰值位置对应的半高全宽区间。
5.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述各个第一峰值位置的半高全宽区间，确定主峰位置，包括：
累加所述各个第一峰值位置对应的半高全宽区间内的直方图信息的值，得到所述各个第一峰值位置对应的累加和；
对所述各个第一峰值位置对应的累加和进行排序，得到排序结果；
将所述排序结果中的最大值对应的第一峰值位置，作为主峰位置。
6.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间，包括：
根据所述主峰位置对应的半高全宽区间和预先设置的信号范围阈值，得到所述待处理红外图像的主体场景有效信号区间。
7.根据权利要求1至4中任一项所述的方法，其特征在于，基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像，包括：
利用所述主体场景有效信号区间对所述待处理红外图像进行像素值映射，得到所述待处理红外图像的主体场景拉伸图像。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理红外图像的直方图信息；
处理单元，用于对所述直方图信息进行处理，得到所述直方图信息的各个第一峰值位置；
第一确定单元，用于确定所述各个第一峰值位置的半高全宽区间；
第二确定单元，用于根据所述各个第一峰值位置的半高全宽区间，确定主峰位置；
第三确定单元，用于根据所述主峰位置，确定所述待处理红外图像的主体场景有效信号区间；
拉伸单元，用于基于所述主体场景有效信号区间对所述待处理红外图像进行拉伸处理，得到所述待处理红外图像的主体场景拉伸图像。
9.一种计算设备，其特征在于，包括：
通信接口；
至少一个处理器，其与所述通信接口连接；以及
至少一个存储器，其与所述处理器连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令当被计算机执行时使得所述计算机执行权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210511653.0A CN114897695B (zh) | 2022-05-12 | 2022-05-12 | 图像处理方法及装置、计算设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210511653.0A CN114897695B (zh) | 2022-05-12 | 2022-05-12 | 图像处理方法及装置、计算设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114897695A true CN114897695A (zh) | 2022-08-12 |
| CN114897695B CN114897695B (zh) | 2024-06-14 |
Family
ID=82722331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210511653.0A Active CN114897695B (zh) | 2022-05-12 | 2022-05-12 | 图像处理方法及装置、计算设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897695B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530847A (zh) * | 2013-09-24 | 2014-01-22 | 电子科技大学 | 一种红外图像增强方法 |
| US20160132714A1 (en) * | 2013-04-30 | 2016-05-12 | The Regents Of The University Of California | Fire urgency estimator in geosynchronous orbit (fuego) |
-
2022
- 2022-05-12 CN CN202210511653.0A patent/CN114897695B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160132714A1 (en) * | 2013-04-30 | 2016-05-12 | The Regents Of The University Of California | Fire urgency estimator in geosynchronous orbit (fuego) |
| CN103530847A (zh) * | 2013-09-24 | 2014-01-22 | 电子科技大学 | 一种红外图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张海朝;完颜丹丹;孙士保;段建辉;王才子;: "一种自适应红外图像增强算法", 兰州理工大学学报, no. 03 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114897695B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11800969B2 (en) | Method and device for monitoring colonoscope withdrawal speed | |
| CN112153371B (zh) | 图像质量检测方法、装置、存储介质及产品检测方法 | |
| US20120155764A1 (en) | Image processing device, image processing method and program | |
| WO2017047494A1 (ja) | 画像処理装置 | |
| US10602111B2 (en) | Auto white balance control algorithm based upon flicker frequency detection | |
| CN111261079B (zh) | 一种亮、暗斑异常现象的检测方法 | |
| CN111259763B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| CN113469921B (zh) | 图像缺陷修复方法、系统、计算机设备及存储介质 | |
| CN116245880A (zh) | 基于红外识别的电动车充电桩火灾风险检测方法 | |
| CN117455802B (zh) | 一种本安型矿灯采集图像降噪增强方法 | |
| JP2013041400A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN117036347B (zh) | 基于图像增强的管道内衬泄漏视觉检测方法及系统 | |
| CN117876971B (zh) | 基于机器视觉的建筑施工安全监测及预警方法 | |
| WO2013102797A1 (en) | System and method for detecting targets in maritime surveillance applications | |
| CN116057949B (zh) | 用于量化图像中光耀斑的系统和方法 | |
| CN117011291B (zh) | 一种手表外壳质量视觉检测方法 | |
| US20080291291A1 (en) | Apparatus and method for detecting flicker noise and computer readable medium stored thereon computer executable instructions for performing the method | |
| CN114897695A (zh) | 图像处理方法及装置、计算设备和计算机可读存储介质 | |
| CN114627029B (zh) | 图像处理方法及装置、计算设备和计算机可读存储介质 | |
| CN116703755A (zh) | 用于医疗废弃物冷库的遗漏风险监控系统 | |
| CN112446833A (zh) | 一种图像处理方法、智能终端及存储介质 | |
| US11631183B2 (en) | Method and system for motion segmentation | |
| EP3933767B1 (en) | Scene detection method, chip, electronic device, and storage medium | |
| JP6457728B2 (ja) | 層流煙検出装置および層流煙検出方法 | |
| US10977482B2 (en) | Object attribution analyzing method and related object attribution analyzing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |