CN112308797B - 角点检测方法、装置、电子设备及可读存储介质 - Google Patents
角点检测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112308797B CN112308797B CN202011198272.9A CN202011198272A CN112308797B CN 112308797 B CN112308797 B CN 112308797B CN 202011198272 A CN202011198272 A CN 202011198272A CN 112308797 B CN112308797 B CN 112308797B
- Authority
- CN
- China
- Prior art keywords
- image
- corner
- preset
- texture
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 32
- 230000004927 fusion Effects 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000000926 separation method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010295 mobile communication Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本申请公开了一种角点检测方法、装置、电子设备及可读存储介质,属于移动通信领域。所述方法包括:对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域;根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点,确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;将所述目标角点的角点强度值设置为预设角点值,得到所述第一图像的角点检测图。本申请实施例解决了现有技术中,在HDR算法中,由于过曝图像的存在,导致图像配准难度较大的问题。
Description
技术领域
本申请属于移动通信领域,具体涉及一种角点检测方法、装置、电子设备及可读存储介质。
背景技术
在图像处理领域,高动态光照渲染(High-Dynamic Range,HDR)是一种亮度范围非常广的图像,相比于其它格式的图像有着更大亮度的数据贮存,且可以提供更多的动态范围和图像细节。在生成HDR图像的过程中,根据不同的曝光时间的低动态范围图像(Low-Dynamic Range,LDR),并利用每个曝光时间相对应最佳细节的LDR图像,来合成最终HDR图像。HDR图像能够更好的反映出真实环境中的视觉效果。
通常情况下,生成HDR图像主要包括三个步骤:图像配准、图像融合以及后期的生成拓扑映射(Generative Topographic Mapping,GTM)。具体地,图像配准是将不同时间、不同传感器(成像设备)或不同成像条件(例如天候、照度、摄像位置和角度等成像条件)下,获取的两幅或多幅图像进行匹配、叠加的过程;图像配准广泛应用于遥感数据分析、计算机视觉以及图像处理等领域。图像配准是HDR算法的第一步,也是至关重要的一步;然而,在HDR算法中,通常有过曝图像存在,使得图像中的角点质量较低,导致配准难度较大。
发明内容
本申请实施例的目的是提供一种角点检测方法、装置、电子设备及可读存储介质,能够解决现有技术中,在HDR算法中,由于过曝图像的存在,导致图像配准难度较大的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种角点检测方法,所述方法包括:
对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域;
根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点,确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;
将所述目标角点的角点强度值设置为预设角点值,得到所述第一图像的角点检测图。
可选地,所述暗区弱纹理条件包括:
所述目标区域内的像素点的灰度阈值小于或等于预设灰度阈值,且所述目标区域内的信息熵小于或等于预设信息熵阈值。
可选地,所述确定所述第一图像中满足预设的暗区弱纹理条件的目标区域,具体包括:
对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域;
将所有满足所述预设的暗区弱纹理条件的子区域,确定为所述目标区域。
可选地,所述对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域之前,所述方法包括:
对所述第一图像进行滤波处理,得到滤波图像;
计算所述滤波处理前后的全变分信息;
根据所述全变分信息,计算所述第一图像与所述滤波图像的融合权重;
根据所述融合权重,融合所述第一图像与所述滤波图像,得到处理后的第一图像;
对所述处理后的第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域。
可选地,所述对所述第一图像进行滤波处理之后,所述方法包括:
获取被滤除的第一纹理信息;
所述计算所述滤波处理前后的全变分信息之后,所述方法包括:
分离所述滤波图像中的第二纹理信息与噪声信息;
将所述第一纹理信息叠加在所述噪声信息中,得到叠加后的滤波图像。
第二方面,本申请实施例还提供了一种角点检测装置,所述角点检测装置包括:
纹理检测模块,用于对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域;
角点检测模块,用于根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点;
角点确定模块,用于确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;
处理模块,用于将所述目标角点的角点强度值设置为预设角点值,得到所述第一图像的角点检测图。
可选地,所述暗区弱纹理条件包括:
所述目标区域内的像素点的灰度阈值小于或等于预设灰度阈值,且所述目标区域内的信息熵小于或等于预设信息熵阈值。
可选地,所述装置包括:
分割子模块,用于对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域;
将所有满足所述预设的暗区弱纹理条件的子区域,确定为所述目标区域。
可选地,所述分割子模块用于:
对所述第一图像进行滤波处理,得到滤波图像;
计算所述滤波处理前后的全变分信息;
根据所述全变分信息,计算所述第一图像与所述滤波图像的融合权重;
根据所述融合权重,融合所述第一图像与所述滤波图像,得到处理后的第一图像;
对所述处理后的第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域。
可选地,所述装置包括:
获取模块,用于获取被滤除的第一纹理信息;
分离模块,用于分离所述滤波图像中的第二纹理信息与噪声信息;
叠加模块,用于将所述第一纹理信息叠加在所述噪声信息中,得到叠加后的滤波图像。
第三方面,本申请实施例还提供了一种电子设备,该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的程序或指令,所述处理器执行所述程序或指令时实现如上所述的角点检测方法中的步骤。
第四方面,本申请实施例还提供了一种可读存储介质,该可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如上所述的角点检测方法中的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域,实现将图像中亮区与暗区分离;根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点,确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;将所述目标角点的角点强度值设置为预设角点值,以滤除角点弱纹理暗区中的角点,相较于现有技术中提升角点质量的方法,可实现保留高光区域中的弱角点,实现在提升图像中的角点质量的同时,不影响高光区域的弱角点,提升角点质量,保存图像信息,降低图像配准的难度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本申请实施例提供的角点检测方法的流程图;
图2表示本申请实施例提供的第一示例的示意图;
图3表示本申请实施例提供的第二示例的示意图;
图4表示本申请实施例提供的第三示例的示意图之一;
图5表示本申请实施例提供的第三示例的示意图之二;
图6表示本申请实施例提供的第三示例的示意图之三;
图7表示本申请实施例提供的第三示例的示意图之四;
图8表示本申请实施例提供的第四示例的示意图之一;
图9表示本申请实施例提供的第四示例的示意图之二;
图10表示本申请实施例提供的第四示例的示意图之三;
图11表示本申请实施例提供的第四示例的示意图之四;
图12表示本申请的实施例提供的角点检测装置的框图;
图13表示本申请的实施例提供的电子设备的框图之一;
图14表示本申请的实施例提供的电子设备的框图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的角点检测方法进行详细地说明。
参见图1,本申请一实施例提供了一种角点检测方法,可选地,所述方法可应用于电子设备,所述电子设备包括各种手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备,以及各种形式的移动台(Mobile Station,MS),终端设备(Terminal Device)等等。
所述方法包括:
步骤101,对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域。
其中,暗区弱纹理条件用于确定图像中的弱纹理暗区;纹理检测操作用于检测第一图像中的弱纹理,以得到目标区域;比如,目标区域为图像中的弱纹理区域;纹理作为一种重要的视觉线索广泛存在于自然界各种物体的表面;在图像中,纹理的强度特征值是某种局部重复模式的宏观表现,局部模式的重复和平稳性是纹理的主要特点。纹理检测广泛应用于视觉导航、场景分类、物体识别、人脸识别、工业检测等领域。
对第一图像进行纹理检测操作,根据检测到的纹理特征,筛选所述第一图像中,满足预设的暗区弱纹理条件的目标区域,暗区参数例如灰度值、信息熵值。作为第一示例,参见图2,图2中,黑色区域为暗区中的纹理示意图。
步骤102,根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点。
角点检测用于检测图像中的角点;角点通常为极值点,即在某方面属性突出的点,是在某些属性上强度最大或者最小的孤立点、线段的终点。角点是图像中的重要特征,通常为图像中梯度值和梯度方向的变化速率都很高的点,用于理解和分析图像。角点在保留图像重要特征的同时,可以有效地减少信息的数据量,提高数据量中有效信息的含量,有利于提高图像处理的速度。
可选地,角点检测算法通常使用一个固定窗口(比如,取某个像素的一个邻域窗口)在图像上进行任意方向上的滑动,比较滑动前与滑动后两种情况,窗口中的像素灰度变化程度:对于某个窗口,如果存在任意方向上的滑动,都有着较大灰度变化,那么认为该窗口中存在角点。
步骤103,确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点。
对所述第一图像进行角点检测得到原始角点之后,获取所述目标区域中包括的目标角点,用以对目标区域进行进一步的图像处理。
步骤104,将所述目标角点的角点强度值设置为预设角点值,得到所述第一图像的角点检测图。
角点强度包括角点的梯度值,预设角点值为角点强度较低的值,比如为零,将所述原始角点的角点强度值置零处理,以滤除角点弱纹理暗区中的角点,而保留其他非暗区(高光区域)的角点,得到所述第一图像的角点检测图。由于过曝图像的区域角点多为弱角点,现有技术中提升角点质量的方法主要是提升角点筛选的阈值,虽然能实现增强暗区弱角点的角点强度以及噪声鲁棒性,但是会减少高亮区域的弱角点,从而降低角点质量,影响HDR的高光区域配准。
而本申请实施例中,通过纹理检测操作,筛选满足暗区弱纹理条件的目标区域,实现将图像中亮区与暗区分离;由于高质量角点通常存在于高亮度区域,而低质量的弱角点存在于暗区,在角点检测过程中,剔除弱纹理暗区中的角点,相较于现有技术中提升角点质量的方法,可实现保留高光区域中的弱角点,实现在提升图像中的角点质量的同时,不影响高光区域的弱角点。对于过曝图像,由于过爆导致图像中的角点质量较低,容易造成图像信息缺失,而本申请实施例中,通过提升角点质量,保存图像信息,在HDR图像合成的过程中,降低图像配准的难度。
本申请实施例中,对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域,实现将图像中亮区与暗区分离;根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点,确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;将所述目标角点的角点强度值设置为预设角点值,以滤除角点弱纹理暗区中的角点,相较于现有技术中提升角点质量的方法,可实现保留高光区域中的弱角点,实现在提升图像中的角点质量的同时,不影响高光区域的弱角点,提升角点质量,保存图像信息,降低图像配准的难度。
本申请实施例解决了现有技术中,在HDR算法中,由于过曝图像的存在,导致图像配准难度较大的问题。
在一个可选实施例中,所述暗区弱纹理条件包括:
可选地,所述暗区弱纹理条件包括:
所述目标区域内的像素点的灰度阈值小于或等于预设灰度阈值,且所述目标区域内的信息熵小于或等于预设信息熵阈值。
在计算机领域中,灰度(Gray scale)数字图像是每个像素只有一个采样颜色的图像;把白色与黑色之间按对数关系分成若干级,称为灰度等级。灰度等级范围一般从0到255,白色为255,黑色为0,本申请实施例中所述灰度即灰度等级,灰度阈值即灰度等级阈值;预设灰度阈值用于筛选第一图像中的暗区,因此对应的灰度等级较低,可选地,预设灰度阈值可以设置为50。若一区域内的像素点的灰度阈值大于或等于预设灰度阈值,则表明该区域内的光亮度较高,为亮区;反之,该区域为暗区。
信息熵即图像中的信息量;可选地,预设信息熵阈值可以设定为1.5或其他数值;若所述目标区域内的信息熵小于或等于预设信息熵阈值,则表明目标区域内的信息量较低,为弱纹理区域。
当所述目标区域内的像素点的灰度阈值小于预设灰度阈值,表明该区域为暗区;当所述目标区域内的信息熵小于或等于预设信息熵阈值,表明该区域为弱纹理区域;在角点检测过程中,可对暗区中的角点进行置零处理,剔除弱纹理暗区中的角点;且相较于现有技术中提升角点质量的方法,可实现保留高光区域中的弱角点。
在一个可选实施例中,所述确定所述第一图像中满足预设的暗区弱纹理条件的目标区域,具体包括:
对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域;
针对每个所述子区域,判断是否满足所述预设的暗区弱纹理条件;分割成多个子区域,并针对每个子区域单独判断是否满足暗区弱纹理条件,以降低单次处理的区域内的像素点数目,提升角点检测的精度,便于后续统计局部信息。比如,对第一图像的像素点数目为1000*750,分割处理时按10*10(像素点数目)的块进行分割。
最后将所有满足所述预设的暗区弱纹理条件的子区域,确定为所述目标区域。
在一个可选实施例中,所述对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域之前,所述方法包括:
步骤一,对所述第一图像进行滤波处理,得到滤波图像;可选地,可采用快速引导滤波对所述第一图像进行滤波处理,或其他保边滤波算法,如双边滤波、非局部均值去噪滤波(Non-Local Means Denoising,NLM)、加权最小二乘滤波(Weighted Leasts Quare,WLS)等;通过对所述第一图像进行滤波处理,降低第一图像的噪声,得到滤波图像。
步骤二,计算所述滤波处理前后的全变分信息;全变分信息用于对图像进行还原处理,在对数字图像还原过程中,采用全变分的方法去除图像乘性噪声,以保留图像的边缘细节特征;结合保边滤波器,在低通滤波降噪后,纹理区域与噪声的局部全变分的差异性,通过局部全变分区分纹理与噪声,并分离二者。可选地,采用如下第一公式计算所述滤波处理前后的全变分信息:
其中,表示图像f的全变分信息,/>表示高斯滤波,/>表示对图像f求一阶梯度的幅值。
假设图像尺寸宽为M,高为N,迭代次数为K。在每一次迭代过程中,需要计算x、y两个方向的一阶导数与x、y、xy三个方向的二阶导数。本申请实施例中,通过将快速引导滤波与局部全变分计算和图像融合,时间复杂度为O(M*N/s2+M*N),s表示秒,约为O(M*N),空间复杂度为O(3*M*N),包括输入图像、2帧一阶导数图像。
由于现有技术中的全变分模型需要迭代运算趋于稳定,其算法复杂度约为本申请实施例中的K(迭代次数)倍数,空间复杂度约为本申请实施例中的2倍左右,随着图像尺寸变大,耗时更长,占用内存更大。
经过试验测试,分别对比传统全变分去噪算法、快速引导滤波与本文算法在多帧HDR过曝图像的噪声与纹理分离效果。
步骤三,根据所述全变分信息,计算所述第一图像与所述滤波图像的融合权重;
第一图像中的纹理在进行保边滤波前后,局部全变分变化较小;而噪声在进行保边滤波前后,局部全变分变化较大;因此根据保边滤波前后全图的局部全变分信息变化大小,来确定滤波后图像与原图融合权重,可选地,公式如以下第二公式所示:
其中f为图像,表示为保边滤波。λ(x)表示全变分变化量,当λ(x)较小时,比如小于第一预设数值C,说明图像区域的局部全变分变化相对较小,则为纹理区域;此时,按照第一预设规则设定滤波前图像的第一融合权重为A1,滤波后图像的第二融合权重为B1,则A1大于B1,以获得较多的纹理。
反之,当λ(x)较大时,比如大于或等于第一预设数值C,说明图像区域的局部全变分变化相对较大,则为噪声;此时,按照第二预设规则设定滤波前图像的第一融合权重为A2,滤波后图像的第二融合权重为B2,则A2小于B2,以获得较多的纹理。
步骤四,根据所述融合权重,融合所述第一图像与所述滤波图像,得到处理后的第一图像;
根据全变分信息,确定滤波后图像与原图的融合权重后,进行两张图像进行软阈值融合;可选地,融合过程如以下第三公式所示:
x表示滤波图像中的像素点或像素点级参数,像素点级参数例如像素点灰度、亮度等;u(x)表示第一图像中的像素点;ω[λ(x)]表示滤波后图像的融合权重。
步骤五,对所述处理后的第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域。
作为第二示例,如图3所示,ω[λ(x)]表示滤波后图像的融合权重,数值范围在(0,1]之间,在t(时间)轴上a1时刻与a2时刻之间,ω[λ(x)]的数值由0逐渐变成1,采用软阈值的当时,可让融合过程具有鲁棒性(Robust,健壮和强壮)以及可调性。
在一个可选实施例中,所述对所述第一图像进行滤波处理之后,所述方法包括:
获取被滤除的第一纹理信息;作为第三示例,图4所示图像为一过爆原图,即第一图像;图5为滤波图像;图6为第一图像与滤波图像之间的对比图,由此可见,对所述第一图像进行滤波处理的过程中,仍会滤除一部分的纹理信息。因此,后续在将对比(diff)信息进行局部全变分分析后,可将纹理与噪声分离,最终将大量纹理信息叠回滤波图像。
所述计算所述滤波处理前后的全变分信息之后,所述方法包括:
分离所述滤波图像中的第二纹理信息与噪声信息;
将所述第一纹理信息叠加在所述噪声信息中,得到叠加后的滤波图像。
如图7所示,图7为分离自图4所示滤波图像中的噪声信息;将在滤波过程中被滤除的第一纹理信息,叠加在所述噪声信息中,得到叠加后的滤波图像,作为最终的滤波图像。
作为第四示例,图8至图11分别示出了应用本申请实施例中提供的角点检测方法的仿真示意图;其中,图8为利用现有角点检测算法的所检测到的角点,其中,白色点所示为角点;图9为本申请实施例中提供的角点检测方法的角点检测图;根据图8与图9对比可知,图9中暗区所检测的角点明显减少,实现了滤除暗区角点的效果。
图10为利用现有角点检测算法的所检测到的角点图进行高光配准的效果图,图11为利用本申请实施例中提供的角点检测方法的角点检测图进行高光配准的效果图;根据图10与图11对比可知,图11中的配准精度较高。
在本申请的实施例中,对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域,实现将图像中亮区与暗区分离;根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点,确定所述原始角点中的目标角点;将所述目标角点的角点强度值设置为预设角点值,以滤除角点弱纹理暗区中的角点,相较于现有技术中提升角点质量的方法,可实现保留高光区域中的弱角点,实现在提升图像中的角点质量的同时,不影响高光区域的弱角点,提升角点质量,保存图像信息,降低图像配准的难度。
以上介绍了本申请实施例提供的角点检测方法,下面将结合附图介绍本申请实施例提供的角点检测装置。
需要说明的是,本申请实施例提供的角点检测方法,执行主体可以为角点检测装置,或者该角点检测装置中的用于执行角点检测方法的控制模块。本申请实施例中以角点检测装置执行角点检测方法为例,说明本申请实施例提供的角点检测方法。
参见图12,本申请实施例还提供了一种角点检测装置1200,包括:
纹理检测模块1201,用于对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域。
其中,纹理检测操作用于检测第一图像中的弱纹理,以得到目标区域;比如,目标区域为图像中的弱纹理区域;纹理作为一种重要的视觉线索广泛存在于自然界各种物体的表面;在图像中,纹理的强度特征值是某种局部重复模式的宏观表现,局部模式的重复和平稳性是纹理的主要特点。纹理检测广泛应用于视觉导航、场景分类、物体识别、人脸识别、工业检测等领域。
对第一图像进行纹理检测操作,根据检测到的纹理特征,筛选所述第一图像中,满足预设的暗区弱纹理条件的目标区域,暗区参数例如灰度值、信息熵值。作为第一示例,参见图2,图2中,黑色区域为暗区中的纹理示意图。
角点检测模块1202,用于根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点。
角点检测用于检测图像中的角点;角点通常为极值点,即在某方面属性突出的点,是在某些属性上强度最大或者最小的孤立点、线段的终点。角点是图像中的重要特征,通常为图像中梯度值和梯度方向的变化速率都很高的点,用于理解和分析图像。角点在保留图像重要特征的同时,可以有效地减少信息的数据量,提高数据量中有效信息的含量,有利于提高图像处理的速度。
可选地,角点检测算法通常使用一个固定窗口(比如,取某个像素的一个邻域窗口)在图像上进行任意方向上的滑动,比较滑动前与滑动后两种情况,窗口中的像素灰度变化程度:对于某个窗口,如果存在任意方向上的滑动,都有着较大灰度变化,那么认为该窗口中存在角点。
角点确定模块1203,确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点。
得到目标区域之后,对所述第一图像进行角点检测得到原始角点,确定所述目标区域中包括的目标角点,用以对目标区域进行进一步的图像处理。
处理模块1204,用于将所述目标角点的角点强度值设置为预设角点值,得到所述第一图像的角点检测图。
角点强度包括角点的梯度值,预设角点值为角点强度较低的值,比如为零,将所述原始角点的角点强度值置零处理,以滤除角点弱纹理暗区中的角点,而保留其他非暗区(高光区域)的角点,得到所述第一图像的角点检测图。由于过曝图像的区域角点多为弱角点,现有技术中提升角点质量的方法主要是提升角点筛选的阈值,虽然能实现增强暗区弱角点的角点强度以及噪声鲁棒性,但是会减少高亮区域的弱角点,从而降低角点质量,影响HDR的高光区域配准。
而本申请实施例中,通过纹理检测操作,筛选满足暗区弱纹理条件的目标区域,实现将图像中亮区与暗区分离;由于高质量角点通常存在于高亮度区域,而低质量的弱角点存在于暗区,在角点检测过程中,剔除弱纹理暗区中的角点,相较于现有技术中提升角点质量的方法,可实现保留高光区域中的弱角点,实现在提升图像中的角点质量的同时,不影响高光区域的弱角点。对于过曝图像,由于过爆导致图像中的角点质量较低,容易造成图像信息缺失,而本申请实施例中,通过提升角点质量,保存图像信息,在HDR图像合成的过程中,降低图像配准的难度。
可选地,所述暗区弱纹理条件包括:
所述目标区域内的像素点的灰度阈值小于或等于预设灰度阈值,且所述目标区域内的信息熵小于或等于预设信息熵阈值。
可选地,所述角点检测模块1202包括:
分割子模块,用于对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域;
将所有满足所述预设的暗区弱纹理条件的子区域,确定为所述目标区域。
可选地,所述分割子模块用于:
对所述第一图像进行滤波处理,得到滤波图像;
计算所述滤波处理前后的全变分信息;
根据所述全变分信息,计算所述第一图像与所述滤波图像的融合权重;
根据所述融合权重,融合所述第一图像与所述滤波图像,得到处理后的第一图像;
对所述处理后的第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域。
可选地,所述装置1200包括:
获取模块,用于获取被滤除的第一纹理信息;
分离模块,用于分离所述滤波图像中的第二纹理信息与噪声信息;
叠加模块,用于将所述第一纹理信息叠加在所述噪声信息中,得到叠加后的滤波图像。
本申请的实施例中,纹理检测模块1201对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域,实现将图像中亮区与暗区分离;角点检测模块1202根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点,角点确定模块1203确定所述原始角点中的目标角点;处理模块1204将所述目标角点的角点强度值设置为预设角点值,以滤除角点弱纹理暗区中的角点,相较于现有技术中提升角点质量的方法,可实现保留高光区域中的弱角点,实现在提升图像中的角点质量的同时,不影响高光区域的弱角点,提升角点质量,保存图像信息,降低图像配准的难度。
本申请实施例中的角点检测装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的角点检测装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的角点检测装置能够实现图1至图11的方法实施例中角点检测装置实现的各个过程,为避免重复,这里不再赘述。
可选的,如图13所示,本申请实施例还提供一种电子设备1300,包括处理器1301,存储器1302,存储在存储器1302上并可在所述处理器1301上运行的程序或指令,该程序或指令被处理器1301执行时实现上述角点检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图14为实现本申请各个实施例的一种电子设备1400的硬件结构示意图;
该电子设备1400包括但不限于:射频单元1401、网络模块1402、音频输出单元1403、输入单元1404、传感器1405、显示单元1406、用户输入单元1407、接口单元1408、存储器1409、处理器1410、以及电源1411等部件。本领域技术人员可以理解,电子设备1400还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1410逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图14中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1410,用于对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域;
根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点,确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;
将所述目标角点的角点强度值设置为预设角点值,得到所述第一图像的角点检测图。
可选地,所述暗区弱纹理条件包括:
所述目标区域内的像素点的灰度阈值小于或等于预设灰度阈值,且所述目标区域内的信息熵小于或等于预设信息熵阈值。
可选地,处理器1410,用于:
对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域;将所有满足所述预设的暗区弱纹理条件的子区域,确定为所述目标区域。
可选地,处理器1410,用于:
对所述第一图像进行滤波处理,得到滤波图像;
计算所述滤波处理前后的全变分信息;
根据所述全变分信息,计算所述第一图像与所述滤波图像的融合权重;
根据所述融合权重,融合所述第一图像与所述滤波图像,得到处理后的第一图像;
对所述处理后的第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域。
可选地,处理器1410,用于:
获取被滤除的第一纹理信息;
所述计算所述滤波处理前后的全变分信息之后,所述方法包括:
分离所述滤波图像中的第二纹理信息与噪声信息;
将所述第一纹理信息叠加在所述噪声信息中,得到叠加后的滤波图像。
本申请实施例中,对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域,实现将图像中亮区与暗区分离;根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点,确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;将所述目标角点的角点强度值设置为预设角点值,以滤除角点弱纹理暗区中的角点,相较于现有技术中提升角点质量的方法,可实现保留高光区域中的弱角点,实现在提升图像中的角点质量的同时,不影响高光区域的弱角点,提升角点质量,保存图像信息,降低图像配准的难度。
应理解的是,本申请实施例中,输入单元1404可以包括图形处理器(GraphicsProcessing Unit,GPU)14041和麦克风14042,图形处理器14041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1406可包括显示面板14061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板14061。用户输入单元1407包括触控面板14071以及其他输入设备14072。触控面板14071,也称为触摸屏。触控面板14071可包括触摸检测装置和触摸控制器两个部分。其他输入设备14072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器1409可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器1410可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1410中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述角点检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述角点检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种角点检测方法,其特征在于,所述方法包括:
对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域;
根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点;
确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;
将所述目标角点的角点强度值设置为预设角点值,得到所述第一图像的角点检测图。
2.根据权利要求1所述的角点检测方法,其特征在于,所述暗区弱纹理条件包括:
所述目标区域内的像素点的灰度阈值小于或等于预设灰度阈值,且所述目标区域内的信息熵小于或等于预设信息熵阈值。
3.根据权利要求1所述的角点检测方法,其特征在于,所述确定所述第一图像中满足预设的暗区弱纹理条件的目标区域,具体包括:
对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域;
将所有满足所述预设的暗区弱纹理条件的子区域,确定为所述目标区域。
4.根据权利要求3所述的角点检测方法,其特征在于,所述对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域,具体包括:
对所述第一图像进行滤波处理,得到滤波图像;
计算所述滤波处理前后的全变分信息;
根据所述全变分信息,计算所述第一图像与所述滤波图像的融合权重;
根据所述融合权重,融合所述第一图像与所述滤波图像,得到处理后的第一图像;
对所述处理后的第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域。
5.根据权利要求4所述的角点检测方法,其特征在于,所述对所述第一图像进行滤波处理之后,所述方法包括:
获取被滤除的第一纹理信息;
所述计算所述滤波处理前后的全变分信息之后,所述方法包括:
分离所述滤波图像中的第二纹理信息与噪声信息;
将所述第一纹理信息叠加在所述噪声信息中,得到叠加后的滤波图像。
6.一种角点检测装置,其特征在于,所述装置包括:
纹理检测模块,用于对第一图像进行纹理检测操作,确定所述第一图像中满足预设的暗区弱纹理条件的目标区域;
角点检测模块,用于根据预设角点检测算法,对所述第一图像进行角点检测得到原始角点;
角点确定模块,用于确定所述原始角点中的目标角点;所述目标角点为位于所述目标区域的角点;
处理模块,用于将所述目标角点的角点强度值设置为预设角点值,得到所述第一图像的角点检测图。
7.根据权利要求6所述的角点检测装置,其特征在于,所述暗区弱纹理条件包括:
所述目标区域内的像素点的灰度阈值小于或等于预设灰度阈值,且所述目标区域内的信息熵小于或等于预设信息熵阈值。
8.根据权利要求6所述的角点检测装置,其特征在于,所述纹理检测模块包括:
分割子模块,用于对所述第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域;
将所有满足所述预设的暗区弱纹理条件的子区域,确定为所述目标区域。
9.根据权利要求8所述的角点检测装置,其特征在于,所述分割子模块用于:
对所述第一图像进行滤波处理,得到滤波图像;
计算所述滤波处理前后的全变分信息;
根据所述全变分信息,计算所述第一图像与所述滤波图像的融合权重;
根据所述融合权重,融合所述第一图像与所述滤波图像,得到处理后的第一图像;
对所述处理后的第一图像进行区域分割处理,得到像素点数目满足预设像素点要求的多个子区域。
10.根据权利要求9所述的角点检测装置,其特征在于,所述装置包括:
获取模块,用于获取被滤除的第一纹理信息;
分离模块,用于分离所述滤波图像中的第二纹理信息与噪声信息;
叠加模块,用于将所述第一纹理信息叠加在所述噪声信息中,得到叠加后的滤波图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011198272.9A CN112308797B (zh) | 2020-10-30 | 2020-10-30 | 角点检测方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011198272.9A CN112308797B (zh) | 2020-10-30 | 2020-10-30 | 角点检测方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112308797A CN112308797A (zh) | 2021-02-02 |
CN112308797B true CN112308797B (zh) | 2024-02-02 |
Family
ID=74333333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011198272.9A Active CN112308797B (zh) | 2020-10-30 | 2020-10-30 | 角点检测方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308797B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012121B (zh) * | 2021-03-09 | 2022-09-06 | 普迪飞半导体技术(上海)有限公司 | 裸片扫描结果的处理方法、装置、电子设备与存储介质 |
CN113627429A (zh) * | 2021-08-12 | 2021-11-09 | 深圳市爱培科技术股份有限公司 | 一种图像的低纹理区域识别方法、装置、存储介质及设备 |
CN116843584B (zh) * | 2023-09-01 | 2023-11-07 | 浙江鼎立实业有限公司 | 一种图像数据优化增强方法 |
CN117710467A (zh) * | 2024-02-06 | 2024-03-15 | 天津云圣智能科技有限责任公司 | 无人机定位方法、设备及飞行器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101794446A (zh) * | 2010-02-11 | 2010-08-04 | 东南大学 | 一种图像角点的线搜索式检测方法 |
CN103606146A (zh) * | 2013-11-05 | 2014-02-26 | 南京理工大学 | 一种基于圆盘靶标的角点检测方法 |
CN105405117A (zh) * | 2015-10-16 | 2016-03-16 | 凌云光技术集团有限责任公司 | 基于图像轮廓的角点提取方法及装置 |
CN106960451A (zh) * | 2017-03-13 | 2017-07-18 | 西安电子科技大学 | 一种提升图像弱纹理区域特征点数量的方法 |
CN111047614A (zh) * | 2019-10-10 | 2020-04-21 | 南昌市微轲联信息技术有限公司 | 一种基于特征提取的复杂场景图像的目标角点提取方法 |
-
2020
- 2020-10-30 CN CN202011198272.9A patent/CN112308797B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101794446A (zh) * | 2010-02-11 | 2010-08-04 | 东南大学 | 一种图像角点的线搜索式检测方法 |
CN103606146A (zh) * | 2013-11-05 | 2014-02-26 | 南京理工大学 | 一种基于圆盘靶标的角点检测方法 |
CN105405117A (zh) * | 2015-10-16 | 2016-03-16 | 凌云光技术集团有限责任公司 | 基于图像轮廓的角点提取方法及装置 |
CN106960451A (zh) * | 2017-03-13 | 2017-07-18 | 西安电子科技大学 | 一种提升图像弱纹理区域特征点数量的方法 |
CN111047614A (zh) * | 2019-10-10 | 2020-04-21 | 南昌市微轲联信息技术有限公司 | 一种基于特征提取的复杂场景图像的目标角点提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112308797A (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112308797B (zh) | 角点检测方法、装置、电子设备及可读存储介质 | |
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
Guo et al. | An efficient fusion-based defogging | |
US20210341998A1 (en) | Gaze-point determining method, contrast adjusting method, and contrast adjusting apparatus, virtual reality device and storage medium | |
CN110059642B (zh) | 人脸图像筛选方法与装置 | |
Singh et al. | Dehazing of outdoor images using notch based integral guided filter | |
CN110070551B (zh) | 视频图像的渲染方法、装置和电子设备 | |
Kim et al. | Low-light image enhancement based on maximal diffusion values | |
CN109711241B (zh) | 物体检测方法、装置与电子设备 | |
CN109816694A (zh) | 目标跟踪方法、装置及电子设备 | |
CN115330640B (zh) | 光照贴图降噪方法、装置、设备和介质 | |
CN111951192A (zh) | 一种拍摄图像的处理方法及拍摄设备 | |
CN116188379A (zh) | 边缘缺陷检测方法、装置、电子设备及存储介质 | |
CN114390201A (zh) | 对焦方法及其装置 | |
CN111199169A (zh) | 图像处理方法和装置 | |
WO2022233252A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN114298985B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
Song et al. | Multi-scale joint network based on Retinex theory for low-light enhancement | |
CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
CN111539895A (zh) | 一种视频去噪方法、装置、移动终端和存储介质 | |
CN113507570B (zh) | 曝光补偿方法、装置和电子设备 | |
Wang et al. | Low-light image enhancement based on virtual exposure | |
CN114418914A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
Lv et al. | Two adaptive enhancement algorithms for high gray-scale RAW infrared images based on multi-scale fusion and chromatographic remapping | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |