CN116721265A - 图像特征提取方法、装置、电子设备和存储介质 - Google Patents
图像特征提取方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116721265A CN116721265A CN202310765439.2A CN202310765439A CN116721265A CN 116721265 A CN116721265 A CN 116721265A CN 202310765439 A CN202310765439 A CN 202310765439A CN 116721265 A CN116721265 A CN 116721265A
- Authority
- CN
- China
- Prior art keywords
- grid
- feature points
- partitionable
- determining
- grids
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000000638 solvent extraction Methods 0.000 claims description 81
- 230000004044 response Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000265 homogenisation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例公开了一种图像特征提取方法、装置、电子设备和存储介质,该方法包括:对初始图像进行边缘提取得到边缘图像,进而,确定初始图像中的非边缘像素点,对非边缘像素点进行特征点提取,得到待划分特征点;将初始图像作为待划分网格,对待划分网格进行N叉树划分得到N个网格和各网格的类型;根据剩余期望特征点数量、可划分的网格的数量、预设像素数量和预设最小特征点数量,判断是否满足停止划分条件,以停止划分,得到未完成网格或继续划分;将各有效的网格内的待划分特征点作为第一特征点,根据第一特征点的数量、期望特征点数量和各未完成网格,确定第二特征点,进而确定目标特征点,以提高特征点分布与图像空间分布的一致性。
Description
技术领域
本公开涉及图像处理领域,尤其涉及一种图像特征提取方法、装置、电子设备和存储介质。
背景技术
在自动驾驶领域中,需要使用摄像头等传感器采集图像,以完成对周围环境建图和定位等相关功能。针对采集的图像,需要进行图像特征提取,图像中提取的点特征的空间分布均匀性对相关各功能的精度和鲁棒性有比较突出的影响。
目前,提取图像中的点特征时,采用的特征点均匀化策略,该策略过分强调特征点在图像上的均匀分布,忽略了实际图像空间上的特征分布情况,存在提取出的特征点的分布与实际图像空间分布不一致以及局部特征被抑制的问题,进一步会影响后续其他相关功能的实现,甚至影响自动驾驶功能的实现。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开实施例提供了一种图像特征提取方法、装置、电子设备和存储介质,以提高特征点提取效率,并且,在保证在图像中提取的特征点的分布均匀性的同时,提高特征点分布与图像空间分布的一致性。
第一方面,本公开实施例提供了一种图像特征提取方法,该方法包括:
对初始图像进行边缘提取,得到与所述初始图像相对应的边缘图像,并根据所述初始图像以及所述边缘图像,确定所述初始图像中的非边缘像素点,并对所述非边缘像素点进行特征点提取,得到待划分特征点;
将初始图像作为待划分网格,并对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型;其中,所述类型为有效、无效或可划分;所述有效表示网格内有且仅有一个待划分特征点;所述无效表示网格内不包含待划分特征点;所述可划分表示网格内包含至少两个待划分特征点;
根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足所述停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足所述停止划分条件的可划分的网格作为待划分网格,返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件;其中,所述剩余期望特征点数量为所述初始图像对应的期望特征点数量与有效的网格的数量的差值;
将各有效的网格内的待划分特征点作为第一特征点,并根据所述第一特征点的数量、所述期望特征点数量以及各未完成网格,确定第二特征点,将所述第一特征点和所述第二特征点确定为目标特征点。
第二方面,本公开实施例还提供了一种图像特征提取装置,该装置包括:
待划分特征点提取模块,用于对初始图像进行边缘提取,得到与所述初始图像相对应的边缘图像,并根据所述初始图像以及所述边缘图像,确定所述初始图像中的非边缘像素点,并对所述非边缘像素点进行特征点提取,得到待划分特征点;
初步网格划分模块,用于将初始图像作为待划分网格,并对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型;其中,所述类型为有效、无效或可划分;所述有效表示网格内有且仅有一个待划分特征点;所述无效表示网格内不包含待划分特征点;所述可划分表示网格内包含至少两个待划分特征点;
迭代网格划分模块,用于根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足所述停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足所述停止划分条件的可划分的网格作为待划分网格,返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件;其中,所述剩余期望特征点数量为所述初始图像对应的期望特征点数量与有效的网格的数量的差值;
目标特征点确定模块,用于将各有效的网格内的待划分特征点作为第一特征点,并根据所述第一特征点的数量、所述期望特征点数量以及各未完成网格,确定第二特征点,将所述第一特征点和所述第二特征点确定为目标特征点。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的图像特征提取方法。
第四方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的图像特征提取方法。
本公开实施例提供的图像特征提取方法,通过对初始图像进行边缘提取,得到与初始图像相对应的边缘图像,并根据初始图像以及边缘图像,确定初始图像中的非边缘像素点,并对非边缘像素点进行特征点提取,得到待划分特征点,以在非边缘像素点中共提取特征点,降低计算量,进而,将初始图像作为待划分网格,并对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足停止划分条件的可划分的网格作为待划分网格,返回执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足停止划分条件,以使用各种停止划分条件来改进N叉树划分策略,提高特征点分布与图像空间分布的一致性,进一步的,将各有效的网格内的待划分特征点作为第一特征点,并根据第一特征点的数量、期望特征点数量以及各未完成网格,确定第二特征点,将第一特征点和第二特征点确定为目标特征点,实现了提高特征点提取效率,并且,在保证在图像中提取的特征点的分布均匀性的同时,提高特征点分布与图像空间分布的一致性。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例中的一种图像特征提取方法的流程图;
图2为本公开实施例中的一种判断流程示意图;
图3为现有技术中的一种点线特征提取方法的流程图;
图4为本公开实施例中的一种点线特征提取方法的流程图;
图5(a)为本公开实施例中的一种图像特征提取方法的第一过程示意图;
图5(b)为本公开实施例中的一种图像特征提取方法的第二过程示意图;
图5(c)为本公开实施例中的一种图像特征提取方法的第三过程示意图;
图5(d)为本公开实施例中的一种图像特征提取方法的第四过程示意图;
图5(e)为本公开实施例中的一种图像特征提取方法的第五过程示意图;
图5(f)为本公开实施例中的一种图像特征提取方法的第六过程示意图;
图6为本公开实施例中的一种图像特征提取装置的结构示意图;
图7为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
常用的图像特征点提取技术通常是先对图像进行点特征提取,在对提取出的特征点进行四叉树均匀化处理,这样得到的图像中的特征点的全局均匀性好,但是,通常与图像中实际的空间分别情况不符,存在局部特征点丢失的问题,严重影响后续建图和追踪的精度和鲁棒性。
针对上述问题,本公开实施例提供了一种图像特征提取方法,在保证在图像中提取的特征点的分布均匀性的同时,提高特征点分布与图像空间分布的一致性。
图1为本公开实施例中的一种图像特征提取方法的流程图。该方法可以由图像特征提取装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于电子设备中。如图1所示,该方法具体可以包括如下步骤:
S110、对初始图像进行边缘提取,得到与初始图像相对应的边缘图像,并根据初始图像以及边缘图像,确定初始图像中的非边缘像素点,并对非边缘像素点进行特征点提取,得到待划分特征点。
其中,初始图像是待进行特征提取的图像。边缘图像是初始图像进行边缘提取后的图像。非边缘像素点是初始图像中除边缘图像中的边缘像素点之外的像素点。待划分特征点是非边缘像素点进行特征点提取后的特征点,用于进行后续筛选。
具体的,对初始图像进行边缘提取,例如可以使用Sobel(索贝尔)算子、Prewitt(普利维特)算子、Scharr(沙尔)算子、Robot(机器人)算子、Canny(坎尼)算子等进行边缘提取,可以得到边缘图像。进而,在初始图像中剔除边缘图像中的边缘像素点,作为非边缘像素点。对这些非边缘像素点进行特征点提取,例如可以使用SURF(Speeded Up RobustFeatures,加速稳健特征)、SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)、ORB(Oriented FAST and Rotated BRIEF,FAST特征点的检测方法与BRIEF特征描述子)等传统特征点提取方法或SuperPoint等深度学习的方法进行特征点提取,将提取到的特征点作为待划分特征点。
S120、将初始图像作为待划分网格,并对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型。
其中,待划分网格是后续进行N叉树划分的网格。N叉树划分表示将图像划分为的网格,N为正整数,其中每个网格的大小相同,例如:四叉树是将图像划分成2×2的网格,四个网格的大小相同。类型为有效、无效或可划分;有效表示网格内有且仅有一个待划分特征点;无效表示网格内不包含待划分特征点;可划分表示网格内包含至少两个待划分特征点。
具体的,将初始图像作为待划分网格并进行N叉树划分处理,可以得到大小相等的N个网格。进而,根据每个网格内的待划分特征点的数量,确定每个网格的类型。
S130、根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足停止划分条件的可划分的网格作为待划分网格,返回执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足停止划分条件。
其中,预设像素数量是每个网格的最小像素数,以避免损失局部重复性。预设最小特征点数量是预先设定的每个网格内具有特征点的最小数量,以保证每个网格内可以有一定数量明显特征点,确保局部特征。停止划分条件是用于判定可划分的网格是否需要继续进行划分的条件。未完成网格是满足停止划分条件的可划分的网格,后续不再进行继续划分。剩余期望特征点数量为初始图像对应的期望特征点数量与有效的网格的数量的差值,有效的网格内有且仅有一个待划分特征点,因此,可以将期望特征点数量与有效的网格的数量的差值看作是还需要确定出的剩余的期望特征点的数量。剩余期望特征点用于表示可划分的网格内还可以确定出的剩余的期望特征点。期望特征点数量是预先设定的初始图像中需要确定出的特征点的数量。
具体的,针对各可划分的网格,按照剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量进行判断,判断是否满足停止划分条件,若满足,则表明无需继续进行划分,将该可划分的网格确定为未完成网格即可,若不满足,则表明仍需继续进行划分,因此,可以将该可划分的网格作为待划分网格,并执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足停止划分条件。
在上述示例的基础上,可以通过下述各判断方式来判断各可划分的网格是否满足停止划分条件:
若剩余期望特征点数量大于可划分的网格的数量,则将各可划分的网格的像素数量与预设像素数量进行比较;
若各可划分的网格的像素数量不大于预设像素数量,则将预设最小特征点数量与可划分的网格的数量的乘积与剩余期望特征点数量进行比较;
若预设最小特征点数量与可划分的网格的数量的乘积小于剩余期望特征点数量,则确定各可划分的网格不满足停止划分条件,将不满足停止划分条件的可划分的网格作为待划分网格,并返回执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足停止划分条件;
若预设最小特征点数量与可划分的网格的数量的乘积不小于剩余期望特征点数量,则确定各可划分的网格满足停止划分条件,将满足停止划分条件的可划分的网格确定为未完成网格。
具体的,比较剩余期望特征点数量与可划分的网格的数量的大小关系,即第一判断。若第一判断的判断结果为剩余期望特征点数量大于可划分的网格的数量,则表明剩余期望特征点数量足够进行分配,因此,各可划分的网格可以继续进行判断,即判断各可划分的网格的像素数量与预设像素数量的大小关系,即第二判断。若第二判断的判断结果为各可划分的网格的像素数量不大于预设像素数量,则说明可划分的网格已经足够小,还需进一步判断是否需要划分,即预设最小特征点数量与可划分的网格的数量的乘积与剩余期望特征点数量的大小关系,即第三判断。若第三判断的判断结果为预设最小特征点数量与可划分的网格的数量的乘积小于剩余期望特征点数量,则表明当前的剩余期望特征点数足够在各可划分的网格中划分确定,因此可以继续进行划分,即将可划分的网格作为待划分网格,并返回执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足停止划分条件。若第三判断的判断结果为预设最小特征点数量与可划分的网格的数量的乘积不小于剩余期望特征点数量,则表明剩余期望特征点数量过少,无法在各可划分网格内进行有效的分布,因此,将这些可划分的网格确定为未完成网格。
需要说明的是,对各可划分的网格进行划分的顺序为:先按照网格面积由大至小,若网格面积大小相同,则按照网格内待划分特征点数量从多至少排序,每划分一次后,判断是否满足停止划分条件,以及时停止划分。
在上述示例的基础上,针对第一判断的判断结果的另一种情况进行下述说明:
若剩余期望特征点数量不大于可划分的网格的数量,则确定各可划分的网格满足停止划分条件,将满足停止划分条件的可划分的网格确定为未完成网格。
具体的,若第一判断的判断结果为剩余期望特征点数量不大于可划分的网格的数量,则表明在均分的情况下,每个可划分的网格内的待划分特征点数量小于1,因此,确定各可划分的网格满足停止划分条件,停止进行划分,并将这些各可划分的网格确定为未完成网格。
在上述示例的基础上,针对第二判断的判断结果的另一种情况进行下述说明:
若各可划分的网格的像素数量大于预设像素数量,则确定各可划分的网格不满足停止划分条件,将不满足停止划分条件的可划分的网格作为待划分网格,并返回执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足停止划分条件。
具体的,若第二判断的判断结果为各可划分的网格的像素数量大于预设像素数量,则说明可划分的网格的像素点数量足够多,可以支撑继续划分,因此,可以将这些可划分的网格作为新的待划分网格,并对齐进行划分,即执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足停止划分条件。
示例性的,可以通过图2所示判断流程示意图进行示例性说明。其中,第一判断条件为剩余期望特征点数量大于可划分的网格的数量,第二判断条件为各可划分的网格的像素数量不大于预设像素数量,第三判断条件为预设最小特征点数量与可划分的网格的数量的乘积小于剩余期望特征点数量。
具体的,若满足第一判断条件,则继续判断是否满足第二判断条件,若不满足第一判断条件,则确定满足停止划分条件,即确定各可划分的网格满足停止划分条件,将满足停止划分条件的可划分的网格确定为未完成网格。若满足第二判断条件,则继续判断是否满足第三判断条件,若不满足第二判断条件,则继续进行划分,即将不满足停止划分条件的可划分的网格作为待划分网格,并返回执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型。若满足第三判断条件,则继续进行划分,若不满足第三判断条件,则确定满足停止划分条件。
S140、将各有效的网格内的待划分特征点作为第一特征点,并根据第一特征点的数量、期望特征点数量以及各未完成网格,确定第二特征点,将第一特征点和第二特征点确定为目标特征点。
其中,第一特征点是已划分完成的有效的网格内的待划分特征点,可以理解的是,第一特征点的数量与有效的网格的数量一致。第二特征点是未完成网格内各待划分特征点中筛选出的特征点。目标特征点是对初始图像进行特征点提取和筛选后得到的特征点,目标特征点的数量为期望特征点数量。
具体的,将各有效的网格内的待划分特征点作为第一特征点,进而,可以将期望特征点数量与第一特征点的数量的差值,作为各未完成网格内的第二特征点的数量。进而,在各未完成网格中,确定这些未完成网格中的各待划分特征点的重要程度,将重要程度排名在前第二特征点的数量的待划分特征点作为第二特征点。最后,将第一特征点和第二特征点共同作为目标特征点。
在上述示例的基础上,可以通过下述方式来根据第一特征点的数量、期望特征点数量以及各未完成网格,确定第二特征点:
将期望特征点数量与第一特征点的数量的差值确定为第二特征点总数量;
将各未完成网格内的未完成特征点总数量与第二特征点总数量的比值,确定为目标比例系数;
针对每个未完成网格,根据未完成网格内的未完成特征点的数量以及目标比例系数,确定未完成网格内的第二特征点数量,并根据第二特征点数量,从未完成网格内的各未完成特征点中确定出未完成网格内的第二特征点。
其中,第二特征点总数量是期望特征点数量与第一特征点的数量的差值。未完成特征点总数量是各未完成网格内的待划分特征点的总数量,未完成特征点是各未完成网格内的待划分特征点。目标比例系数是各未完成网格内的未完成特征点总数量与第二特征点总数量的比值,用于表示可以将多少未完成特征点提取出一个第二特征点。第二特征点数量是未完成网格内应提取出的第二特征点的数量。
具体的,可以认为第一特征点是一部分目标特征点,因此,将期望特征点数量与第一特征点的数量的差值确定为第二特征点总数量,即另一部分目标特征点的数量,可以理解为确定出还剩余多少特征点可以作为目标特征点。进而,将各未完成网格内的待划分特征点确定为未完成特征点,将未完成特征点总数量与第二特征点总数量的比值,确定为目标比例系数,即多少个未完成特征点对应一个第二特征点。进而,对每个未完成网格分别进行分析,将该未完成网格内的未完成特征点的数量与目标比例系数的乘积作为该未完成网格内应确定出的第二特征点数量。进一步的,在该未完成网格内按照各未完成特征点的重要程度进行排序,将排在前第二特征点数量的未完成特征点作为第二特征点。
示例性的,通过下述公式确定目标比例系数:
其中,β为目标比例系数,Qn为未完成特征点总数量,Pn为第二特征点总数量。
通过下述公式确定每个未完成网格内的第二特征点数量:
其中,为第i个未完成网格内的第二特征点数量,/>为第i个未完成网格内的未完成特征点的数量,/>为取整操作。
在上述示例的基础上,可以通过下述方式来根据第二特征点数量,从未完成网格内的各未完成特征点中确定出未完成网格内的第二特征点:
确定未完成网格内的每个未完成特征点对应的角点响应值,并将角点响应值由大至小排列,将位于前第二特征点数量的角点响应值对应的未完成特征点确定为未完成网格内的第二特征点。
其中,角点响应值是Harris(哈瑞斯)角点检测得到的数值。
具体的,针对未完成网格内的未完成特征点进行角点响应值计算,可以得到每个未完成网格对应的角点响应值。进而,将未完成网格内的各未完成特征点按照角点响应值由大至小排列,并将排列后位于前第二特征点数量的角点响应值对应的未完成特征点,确定为该未完成网格内的第二特征点。
在上述示例的基础上,在得到与初始图像相对应的边缘图像之后,还可以进一步提取初始图像的中的目标特征线:
对边缘图像进行直线特征提取,得到与初始图像相对应的目标特征线,并将目标特征点以及目标特征线确定为与初始图像对应的点线特征结果。
其中,目标特征线是初始图像中的线特征。点线特征结果是目标特征点和目标特征线组合得到的初始图像中的特征。
具体的,在边缘图像中的边缘像素进行直线特征提取,可以使用HougLines(霍夫线)算法、LSD(Line Segment Detector,直线提取)算法、Edline(Edge Draw Line,边缘线绘制)算法、FLD(Fast Line Detector,快速线段检测)算法等,得到特征线段并对特征线段进行校验,将校验通过的特征线段作为目标特征线。进而,将目标特征点以及目标特征线的组合,确定为与初始图像对应的点线特征结果。
针对点线特征提取,图3为现有技术中的一种点线特征提取方法的流程图,图4为本公开实施例中的一种点线特征提取方法的流程图。
如图3所示,采用对特征点和特征线并行提取的方式,没有充分对两者进行深度融合,没有考虑两种特征提取步骤之间的关联,导致耗时增加。并且,在特征点提取时采用四叉树均匀化策略,过分强调在图像上的均匀分布,忽略了实际空间上的特征分布情况,存在图像分布与实际分布不一致、局部特征被抑制的情况,最终造成系统精度下降或运行异常。
如图4所示,通过深度融合点线特征的提取步骤,在非边缘像素中对特征点进行提取,有效降低了计算量。并且,使用改进四叉树优化方法,在实现特征点均匀化的同时充分考虑其真实空间分布,保留有效的局部特征,提高后续的追踪精度和鲁棒性。
示例性的,设预设像素数量为160x90,预设最小特征点数量为4。对初始图像提取得到待划分特征点的数量为46,期望特征点数量为34,初始图像的像素为1280x720。首先,对图5(a)中的初始图像进行第一次区域划分,得到图5(b)。此时,有效的网格的数量为0,无效的网格的数量为0,可划分的网格的数量为4,以及可划分的网格内的待划分特征点数量为46,可划分的网格内的剩余期望特征点数量为34。当前满足第一判断的条件但不满足第二判断的条件,对4个可划分的网格进行划分,得到图5(c)。此时,有效的网格的数量为9,无效的网格的数量为2,可划分的网格的数量为5,以及可划分的网格内的待划分特征点数量为37,可划分的网格内的剩余期望特征点数量为25。当前满足第一判断的条件但不满足第二判断的条件,对5个可划分的网格进行划分,得到图5(d)。此时,有效的网格的数量为19,无效的网格的数量为9,可划分的网格的数量为3,以及可划分的网格内的待划分特征点数量为27,可划分的网格内的剩余期望特征点数量为15。当前满足第一判断的条件且满足第二判断的条件,其中,1号可划分的网格满足第三判断条件。对图5(d)中的1号可划分的网格进行划分后,不满足第三判断条件,停止对图5(d)中的2、3号可划分的网格进行划分,最终得到图5(e)。此时,有效的网格的数量为19,无效的网格的数量为9,可划分的网格的数量为6,以及可划分的网格内的待划分特征点数量为27,可划分的网格内的剩余期望特征点数量为15。对未完成网格内的特征点数量进行计算,通过计算得到目标比例系数为1.8。进而,计算得到图5(e)中1号至6号未完成网格内的第二特征点数量分别为4、3、3、2、2、1。根据各未完成网格中的第二特征点数量,将各位完成网格内的未完成特征点按照角点响应值排序并选取,最终得到图5(f)。
本实施例提供的图像特征提取方法,通过对初始图像进行边缘提取,得到与初始图像相对应的边缘图像,并根据初始图像以及边缘图像,确定初始图像中的非边缘像素点,并对非边缘像素点进行特征点提取,得到待划分特征点,以在非边缘像素点中共提取特征点,降低计算量,进而,将初始图像作为待划分网格,并对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足停止划分条件的可划分的网格作为待划分网格,返回执行对待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足停止划分条件,以使用各种停止划分条件来改进N叉树划分策略,提高特征点分布与图像空间分布的一致性,进一步的,将各有效的网格内的待划分特征点作为第一特征点,并根据第一特征点的数量、期望特征点数量以及各未完成网格,确定第二特征点,将第一特征点和第二特征点确定为目标特征点,实现了提高特征点提取效率,并且,在保证在图像中提取的特征点的分布均匀性的同时,提高特征点分布与图像空间分布的一致性。
图6为本公开实施例中的一种图像特征提取装置的结构示意图。如图6所示:该装置包括:待划分特征点提取模块610、初步网格划分模块620、迭代网格划分模块630和目标特征点确定模块640。
其中,待划分特征点提取模块610,用于对初始图像进行边缘提取,得到与所述初始图像相对应的边缘图像,并根据所述初始图像以及所述边缘图像,确定所述初始图像中的非边缘像素点,并对所述非边缘像素点进行特征点提取,得到待划分特征点;初步网格划分模块620,用于将初始图像作为待划分网格,并对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型;其中,所述类型为有效、无效或可划分;所述有效表示网格内有且仅有一个待划分特征点;所述无效表示网格内不包含待划分特征点;所述可划分表示网格内包含至少两个待划分特征点;迭代网格划分模块630,用于根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足所述停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足所述停止划分条件的可划分的网格作为待划分网格,返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件;其中,所述剩余期望特征点数量为所述初始图像对应的期望特征点数量与有效的网格的数量的差值;目标特征点确定模块640,用于将各有效的网格内的待划分特征点作为第一特征点,并根据所述第一特征点的数量、所述期望特征点数量以及各未完成网格,确定第二特征点,将所述第一特征点和所述第二特征点确定为目标特征点。
在上述示例的基础上,可选的,在所述得到与所述初始图像相对应的边缘图像之后,还包括:点线特征融合模块,用于对所述边缘图像进行直线特征提取,得到与所述初始图像相对应的目标特征线,并将所述目标特征点以及所述目标特征线确定为与所述初始图像对应的点线特征结果。
在上述示例的基础上,可选的,迭代网格划分模块630,还用于若所述剩余期望特征点数量大于可划分的网格的数量,则将各可划分的网格的像素数量与所述预设像素数量进行比较;若各可划分的网格的像素数量不大于所述预设像素数量,则将所述预设最小特征点数量与可划分的网格的数量的乘积与所述剩余期望特征点数量进行比较;若所述预设最小特征点数量与可划分的网格的数量的乘积小于所述剩余期望特征点数量,则确定各可划分的网格不满足停止划分条件,将不满足所述停止划分条件的可划分的网格作为待划分网格,并返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件;若所述预设最小特征点数量与可划分的网格的数量的乘积不小于所述剩余期望特征点数量,则确定各可划分的网格满足停止划分条件,将满足所述停止划分条件的可划分的网格确定为未完成网格。
在上述示例的基础上,可选的,迭代网格划分模块630,还用于若所述剩余期望特征点数量不大于可划分的网格的数量,则确定各可划分的网格满足停止划分条件,将满足所述停止划分条件的可划分的网格确定为未完成网格。
在上述示例的基础上,可选的,迭代网格划分模块630,还用于若各可划分的网格的像素数量大于所述预设像素数量,则确定各可划分的网格不满足停止划分条件,将不满足所述停止划分条件的可划分的网格作为待划分网格,并返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件。
在上述示例的基础上,可选的,目标特征点确定模块640,还用于将所述期望特征点数量与所述第一特征点的数量的差值确定为第二特征点总数量;将各未完成网格内的未完成特征点总数量与所述第二特征点总数量的比值,确定为目标比例系数;针对每个未完成网格,根据所述未完成网格内的未完成特征点的数量以及所述目标比例系数,确定所述未完成网格内的第二特征点数量,并根据所述第二特征点数量,从所述未完成网格内的各未完成特征点中确定出所述未完成网格内的第二特征点。
在上述示例的基础上,可选的,目标特征点确定模块640,还用于确定所述未完成网格内的每个未完成特征点对应的角点响应值,并将角点响应值由大至小排列,将位于前所述第二特征点数量的角点响应值对应的未完成特征点确定为所述未完成网格内的第二特征点。
本公开实施例提供的图像特征提取装置,可执行本公开方法实施例所提供的图像特征提取方法中的步骤,具备执行步骤和有益效果此处不再赘述。
图7为本公开实施例中的一种电子设备的结构示意图。下面具体参考图7,其示出了适于用来实现本公开实施例中的电子设备700的结构示意图。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理以实现如本公开所述的实施例的方法。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码,从而实现如上所述的图像特征提取方法。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
对初始图像进行边缘提取,得到与所述初始图像相对应的边缘图像,并根据所述初始图像以及所述边缘图像,确定所述初始图像中的非边缘像素点,并对所述非边缘像素点进行特征点提取,得到待划分特征点;
将初始图像作为待划分网格,并对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型;其中,所述类型为有效、无效或可划分;所述有效表示网格内有且仅有一个待划分特征点;所述无效表示网格内不包含待划分特征点;所述可划分表示网格内包含至少两个待划分特征点;
根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足所述停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足所述停止划分条件的可划分的网格作为待划分网格,返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件;其中,所述剩余期望特征点数量为所述初始图像对应的期望特征点数量与有效的网格的数量的差值;
将各有效的网格内的待划分特征点作为第一特征点,并根据所述第一特征点的数量、所述期望特征点数量以及各未完成网格,确定第二特征点,将所述第一特征点和所述第二特征点确定为目标特征点。
可选的,当上述一个或者多个程序被该电子设备执行时,该电子设备还可以执行上述实施例所述的其他步骤。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种图像特征提取方法,其特征在于,所述方法包括:
对初始图像进行边缘提取,得到与所述初始图像相对应的边缘图像,并根据所述初始图像以及所述边缘图像,确定所述初始图像中的非边缘像素点,并对所述非边缘像素点进行特征点提取,得到待划分特征点;
将初始图像作为待划分网格,并对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型;其中,所述类型为有效、无效或可划分;所述有效表示网格内有且仅有一个待划分特征点;所述无效表示网格内不包含待划分特征点;所述可划分表示网格内包含至少两个待划分特征点;
根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足所述停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足所述停止划分条件的可划分的网格作为待划分网格,返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件;其中,所述剩余期望特征点数量为所述初始图像对应的期望特征点数量与有效的网格的数量的差值;
将各有效的网格内的待划分特征点作为第一特征点,并根据所述第一特征点的数量、所述期望特征点数量以及各未完成网格,确定第二特征点,将所述第一特征点和所述第二特征点确定为目标特征点。
2.根据权利要求1所述的方法,其特征在于,在所述得到与所述初始图像相对应的边缘图像之后,还包括:
对所述边缘图像进行直线特征提取,得到与所述初始图像相对应的目标特征线,并将所述目标特征点以及所述目标特征线确定为与所述初始图像对应的点线特征结果。
3.根据权利要求1所述的方法,其特征在于,所述根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足所述停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足所述停止划分条件的可划分的网格作为待划分网格,返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件,包括:
若所述剩余期望特征点数量大于可划分的网格的数量,则将各可划分的网格的像素数量与所述预设像素数量进行比较;
若各可划分的网格的像素数量不大于所述预设像素数量,则将所述预设最小特征点数量与可划分的网格的数量的乘积与所述剩余期望特征点数量进行比较;
若所述预设最小特征点数量与可划分的网格的数量的乘积小于所述剩余期望特征点数量,则确定各可划分的网格不满足停止划分条件,将不满足所述停止划分条件的可划分的网格作为待划分网格,并返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件;
若所述预设最小特征点数量与可划分的网格的数量的乘积不小于所述剩余期望特征点数量,则确定各可划分的网格满足停止划分条件,将满足所述停止划分条件的可划分的网格确定为未完成网格。
4.根据权利要求3所述的方法,其特征在于,还包括:
若所述剩余期望特征点数量不大于可划分的网格的数量,则确定各可划分的网格满足停止划分条件,将满足所述停止划分条件的可划分的网格确定为未完成网格。
5.根据权利要求3所述的方法,其特征在于,还包括:
若各可划分的网格的像素数量大于所述预设像素数量,则确定各可划分的网格不满足停止划分条件,将不满足所述停止划分条件的可划分的网格作为待划分网格,并返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一特征点的数量、所述期望特征点数量以及各未完成网格,确定第二特征点,包括:
将所述期望特征点数量与所述第一特征点的数量的差值确定为第二特征点总数量;
将各未完成网格内的未完成特征点总数量与所述第二特征点总数量的比值,确定为目标比例系数;
针对每个未完成网格,根据所述未完成网格内的未完成特征点的数量以及所述目标比例系数,确定所述未完成网格内的第二特征点数量,并根据所述第二特征点数量,从所述未完成网格内的各未完成特征点中确定出所述未完成网格内的第二特征点。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第二特征点数量,从所述未完成网格内的各未完成特征点中确定出所述未完成网格内的第二特征点,包括:
确定所述未完成网格内的每个未完成特征点对应的角点响应值,并将角点响应值由大至小排列,将位于前所述第二特征点数量的角点响应值对应的未完成特征点确定为所述未完成网格内的第二特征点。
8.一种图像特征提取装置,其特征在于,包括:
待划分特征点提取模块,用于对初始图像进行边缘提取,得到与所述初始图像相对应的边缘图像,并根据所述初始图像以及所述边缘图像,确定所述初始图像中的非边缘像素点,并对所述非边缘像素点进行特征点提取,得到待划分特征点;
初步网格划分模块,用于将初始图像作为待划分网格,并对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型;其中,所述类型为有效、无效或可划分;所述有效表示网格内有且仅有一个待划分特征点;所述无效表示网格内不包含待划分特征点;所述可划分表示网格内包含至少两个待划分特征点;
迭代网格划分模块,用于根据剩余期望特征点数量、可划分的网格的数量、预设像素数量以及预设最小特征点数量,判断各可划分的网格是否满足停止划分条件,若是,则将满足所述停止划分条件的可划分的网格确定为未完成网格,若否,则将不满足所述停止划分条件的可划分的网格作为待划分网格,返回执行所述对所述待划分网格进行N叉树划分,得到N个网格,并确定各网格的类型,直至满足所述停止划分条件;其中,所述剩余期望特征点数量为所述初始图像对应的期望特征点数量与有效的网格的数量的差值;
目标特征点确定模块,用于将各有效的网格内的待划分特征点作为第一特征点,并根据所述第一特征点的数量、所述期望特征点数量以及各未完成网格,确定第二特征点,将所述第一特征点和所述第二特征点确定为目标特征点。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的图像特征提取方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的图像特征提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310765439.2A CN116721265A (zh) | 2023-06-27 | 2023-06-27 | 图像特征提取方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310765439.2A CN116721265A (zh) | 2023-06-27 | 2023-06-27 | 图像特征提取方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116721265A true CN116721265A (zh) | 2023-09-08 |
Family
ID=87874978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310765439.2A Pending CN116721265A (zh) | 2023-06-27 | 2023-06-27 | 图像特征提取方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116721265A (zh) |
-
2023
- 2023-06-27 CN CN202310765439.2A patent/CN116721265A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3176751B1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
CN111738045B (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN111444807B (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
CN110570445A (zh) | 一种图像分割方法、装置、终端及可读介质 | |
CN112465050B (zh) | 一种图像模板选择方法、装置、设备及存储介质 | |
CN111507923B (zh) | 一种视频图像的噪声处理方法、装置、设备和介质 | |
CN115471439A (zh) | 显示面板缺陷的识别方法、装置、电子设备及存储介质 | |
CN113112457A (zh) | 纤维增强复合材料不确定性分析方法及装置 | |
CN116721265A (zh) | 图像特征提取方法、装置、电子设备和存储介质 | |
CN110807286A (zh) | 一种结构网格识别方法 | |
CN116137061A (zh) | 数量统计模型的训练方法、装置、电子设备及存储介质 | |
CN115293335A (zh) | 基于隐式通用矩阵乘的图像识别方法及装置 | |
CN115908802A (zh) | 摄像头遮挡检测方法、装置、电子设备及可读存储介质 | |
CN115409863A (zh) | 工件焊缝提取方法、装置、计算机可读介质及电子设备 | |
CN104408720A (zh) | 图像处理方法及图像处理装置 | |
CN114820488A (zh) | 一种样本成分分析方法、装置、设备及存储介质 | |
CN114511862A (zh) | 表格识别方法、装置及电子设备 | |
CN112257586B (zh) | 目标检测中的真值框选择方法、装置、存储介质及设备 | |
CN117422633B (zh) | 样本视野图像的处理方法和装置 | |
CN114037865B (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
CN114092739B (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
CN117349734B (zh) | 水表设备识别方法、装置、电子设备及存储介质 | |
CN113569727B (zh) | 遥感影像中施工场地的识别方法、系统、终端及介质 | |
CN118071783B (zh) | 基于图像灰度值分析的鞋底边缘检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |