CN109416745B - 一种结构化图像匹配方法及系统 - Google Patents
一种结构化图像匹配方法及系统 Download PDFInfo
- Publication number
- CN109416745B CN109416745B CN201780041310.XA CN201780041310A CN109416745B CN 109416745 B CN109416745 B CN 109416745B CN 201780041310 A CN201780041310 A CN 201780041310A CN 109416745 B CN109416745 B CN 109416745B
- Authority
- CN
- China
- Prior art keywords
- matched
- template
- topological relation
- feature points
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结构化图像匹配方法,该方法包括提取模板图像的多个模板特征点(S201);获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系(S202);提取待匹配图像的多个待匹配特征点(S203);获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系(S204);基于第二拓扑关系和第一拓扑关系对待匹配图像和模板图像进行匹配(S205)。通过该方式能够提高图像匹配精度。
Description
技术领域
本申请涉及图像识别技术领域,特别是涉及一种结构化图像匹配方法及系统。
背景技术
在对工件的检测、分类等技术领域,往往需要将某一工件从多个工件中识别出来,现有的工件识别,通常是先采集工件图像,然后将工件图像与模板图像进行边匹配或者灰度匹配,当匹配度超过一定阈值时,则判定该工件与模板为同一结构。
但本发明的发明人在长期的研发工作中发现,在一些应用场景,特别是工业视觉场景,工件出现在某机构里,该工具的边缘与机构或其它类工件的边缘相似度较高,因此,在采集的工件图像中,不易提取工件边缘,且工件边缘被误匹配为其它物体的可能性较大。
发明内容
本发明主要解决的技术问题是提供一种结构化图像匹配方法及系统,以提高图像匹配精度。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种结构化图像匹配方法,该匹配方法包括:提取模板图像的多个模板特征点;获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系;提取待匹配图像的多个待匹配特征点;获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系;基于第二拓扑关系和第一拓扑关系对待匹配图像和模板图像进行匹配。
其中,上述基于第二拓扑关系和第一拓扑关系对待匹配图像和模板图像进行匹配的步骤包括:基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配;判断待匹配图像和模板图像中相匹配的待匹配特征点与模板特征点的数量或比例是否大于或等于第一预设值;若数量或比例大于或等于第一预设值,则判定待匹配图像和模板图像相匹配。
其中,上述提取模板图像的多个模板特征点的步骤进一步包括:提取模板图像的多个模板边缘;上述提取待匹配图像的多个待匹配特征点的步骤进一步包括:提取待匹配图像的多个待匹配边缘;上述基于第二拓扑关系和第一拓扑关系对待匹配图像和模板图像进行匹配的步骤包括:基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配;判断待匹配图像和模板图像中相匹配的待匹配特征点与模板特征点的数量或比例是否大于或等于第一预设值;若相匹配的待匹配特征点与模板特征点的数量或比例大于或等于第一预设值,则将待匹配图像的待匹配边缘与模板图像中的模板边缘进行匹配;判断待匹配图像和模板图像中相匹配的待匹配边缘与模板边缘的数量或比例是否大于或等于第二预设值;若相匹配的待匹配边缘与模板边缘的数量或比例大于或等于第二预设值,则判定待匹配图像和模板图像相匹配。
其中,上述获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系的步骤包括:对模板特征点进行分类,并分别获取同一类模板特征点之间的第一类内拓扑关系以及不同类模板特征点之间的第一类间拓扑关系;上述获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系的步骤包括:对待匹配特征点进行分类,并分别获取同一类待匹配特征点之间的第二类内拓扑关系以及不同类待匹配特征点之间的第二类间拓扑关系;上述基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配的步骤包括:基于第一类间拓扑关系和第二类间拓扑关系对待匹配特征点和模板特征点进行类间匹配,并基于第一类内拓扑关系和第二类内拓扑关系对待匹配特征点和模板特征点进行类内匹配,其中类间匹配的优先级高于所述类内匹配。
其中,上述基于第一类间拓扑关系和第二类间拓扑关系对待匹配特征点和模板特征点进行类间匹配,并基于第一类内拓扑关系和第二类内拓扑关系对待匹配特征点和模板特征点进行类内匹配的步骤包括:基于第一类间拓扑关系和第二类间拓扑关系计算待匹配特征点和模板特征点之间的类间匹配度;基于第一类内拓扑关系和第二类内拓扑关系计算待匹配特征点和模板特征点之间的类内匹配度;对类内匹配度和类间匹配度进行加权求和,以获得待匹配特征点和模板特征点之间的综合匹配度,其中类间匹配度对应权重大于类内匹配度的对应权重。
其中,上述获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系的步骤进一步包括:将第一拓扑关系进行划分为第一对称拓扑关系和第一非对称拓扑关系;上述获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系的步骤进一步包括:将第二拓扑关系进行划分为第二对称拓扑关系和第二非对称拓扑关系;上述基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配的步骤包括:基于第一非对称拓扑关系和第二非对称拓扑关系对待匹配特征点和模板特征点进行非对称匹配,并基于第一对称拓扑关系和第二对称拓扑关系对待匹配特征点和模板特征点进行对称匹配,其中非对称匹配的优先级高于对称匹配。
其中,上述基于第一非对称拓扑关系和第二非对称拓扑关系对待匹配特征点和模板特征点进行非对称匹配,并基于第一对称拓扑关系和第二对称拓扑关系对待匹配特征点和模板特征点进行对称匹配的步骤包括:基于第一非对称拓扑关系和第二非对称拓扑关系计算待匹配特征点和模板特征点之间的非对称匹配度;基于第一对称拓扑关系和第二对称拓扑关系计算待匹配特征点和模板特征点之间的对称匹配度;对对称匹配度和非对称匹配度进行加权求和,以获得待匹配特征点和模板特征点之间的综合匹配度,其中非对称匹配度对应权重大于对称匹配度的对应权重。
其中,上述获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系的步骤包括:获取至少部分模板特征点与其他模板特征点之间连线的第一斜率;上述获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系的步骤包括:获取至少部分待匹配特征点与其他待匹配特征点之间的第二斜率;上述基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配的步骤进一步包括:在某一待匹配特征点与某一模板特征点相匹配后,判断某一待匹配特征点所对应的第二拓扑关系中或某一模板特征点所对应的第一拓扑关系中是否存在非对称拓扑关系;若存在非对称拓扑关系,则对待匹配图像或模板图像进行旋转,以使得某一待匹配特征点所对应的第二斜率与某一模板特征点的第一斜率一致,进而在后续的待匹配特征点的匹配过程中在模板图像的与后续的待匹配特征点位置对应的区域内查找模板特征点。
其中,上述第一拓扑关系和上述第二拓扑关系分别包括模板特征点之间和待匹配特征点之间的相对位置关系、距离以及距离比之中的一种或组合。
其中,上述待匹配特征点和上述模板特征点分别为待匹配图像和模板图像的特征子图像块,且上述待匹配特征点和上述模板特征点均包括角点和孤立点。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种结构化图像匹配系统,该匹配系统包括:处理器,处理器用于提取模板图像的多个模板特征点,并获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系;用于提取待匹配图像的多个待匹配特征点,并获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系;用于基于第二拓扑关系和第一拓扑关系对待匹配图像和模板图像进行匹配;存储器,与处理器耦接,存储器用于存储处理器获取的多个模板特征点及第一拓扑关系、多个待匹配特征点及第二拓扑关系。
其中,处理器进一步基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配;并判断待匹配图像和模板图像中相匹配的待匹配特征点与模板特征点的数量或比例是否大于或等于第一预设值;若数量或比例大于或等于第一预设值,则判定待匹配图像和模板图像相匹配。
其中,处理器进一步提取模板图像的多个模板边缘及待匹配图像的多个待匹配边缘;处理器进一步基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配;并判断待匹配图像和模板图像中相匹配的待匹配特征点与模板特征点的数量或比例是否大于或等于第一预设值;若相匹配的待匹配特征点与模板特征点的数量或比例大于或等于第一预设值,则将待匹配图像的待匹配边缘与模板图像中的模板边缘进行匹配;并进一步判断待匹配图像和模板图像中相匹配的待匹配边缘与模板边缘的数量或比例是否大于或等于第二预设值;若相匹配的待匹配边缘与模板边缘的数量或比例大于或等于第二预设值,则判定待匹配图像和模板图像相匹配。
其中,处理器进一步对模板特征点进行分类,并分别获取同一类模板特征点之间的第一类内拓扑关系以及不同类模板特征点之间的第一类间拓扑关系;并对待匹配特征点进行分类,并分别获取同一类待匹配特征点之间的第二类内拓扑关系以及不同类待匹配特征点之间的第二类间拓扑关系;处理器进一步基于第一类间拓扑关系和第二类间拓扑关系对待匹配特征点和模板特征点进行类间匹配,并基于第一类内拓扑关系和第二类内拓扑关系对待匹配特征点和模板特征点进行类内匹配,其中类间匹配的优先级高于类内匹配。
其中,处理器进一步基于第一类间拓扑关系和第二类间拓扑关系计算待匹配特征点和模板特征点之间的类间匹配度;基于第一类内拓扑关系和第二类内拓扑关系计算待匹配特征点和模板特征点之间的类内匹配度;并对类内匹配度和类间匹配度进行加权求和,以获得待匹配特征点和模板特征点之间的综合匹配度,其中类间匹配度对应权重大于类内匹配度的对应权重。
其中,处理器进一步将第一拓扑关系进行划分为第一对称拓扑关系和第一非对称拓扑关系;将第二拓扑关系进行划分为第二对称拓扑关系和第二非对称拓扑关系;并基于第一非对称拓扑关系和第二非对称拓扑关系对待匹配特征点和模板特征点进行非对称匹配,并基于第一对称拓扑关系和第二对称拓扑关系对待匹配特征点和模板特征点进行对称匹配,其中非对称匹配的优先级高于对称匹配。
其中,处理器进一步基于第一非对称拓扑关系和第二非对称拓扑关系计算待匹配特征点和模板特征点之间的非对称匹配度;基于第一对称拓扑关系和第二对称拓扑关系计算待匹配特征点和模板特征点之间的对称匹配度;并对对称匹配度和非对称匹配度进行加权求和,以获得待匹配特征点和模板特征点之间的综合匹配度,其中非对称匹配度对应权重大于对称匹配度的对应权重。
其中,处理器进一步获取至少部分模板特征点与其他模板特征点之间连线的第一斜率及至少部分待匹配特征点与其他待匹配特征点之间的第二斜率;并在某一待匹配特征点与某一模板特征点相匹配后,判断某一待匹配特征点所对应的第二拓扑关系中或某一模板特征点所对应的第一拓扑关系中是否存在非对称拓扑关系;若存在非对称拓扑关系,则对待匹配图像或模板图像进行旋转,以使得某一待匹配特征点所对应的第二斜率与某一模板特征点的第一斜率一致,进而在后续的待匹配特征点的匹配过程中在模板图像的与后续的待匹配特征点位置对应的区域内查找模板特征点。
其中,第一拓扑关系和第二拓扑关系分别包括模板特征点之间和待匹配特征点之间的相对位置关系、距离以及距离比之中的一种或组合。
其中,待匹配特征点和模板特征点分别为待匹配图像和模板图像的特征子图像块,且待匹配特征点和模板特征点均包括角点和孤立点。
本发明的有益效果是:区别于现有技术,本发明实施例结构化图像匹配方法先提取模板图像的多个模板特征点、至少部分模板特征点与其他模板特征点之间的第一拓扑关系,及待匹配图像的多个待匹配特征点、至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系,然后基于第二拓扑关系和第一拓扑关系对待匹配图像和模板图像进行匹配。通过这种方式,先将模板图像及待匹配图像进行结构化,并提取特征点及其拓扑关系,并根据特征点的拓扑关系进行图像匹配,因特征点的拓扑关系能明显现体图像的结构特征,因此,能够通过特征点的拓扑关系的匹配来实现图像匹配,能够提高图像匹配精度。
附图说明
图1是本发明结构化图像匹配方法一应用场景的示意图;
图2是本发明结构化图像匹配方法第一实施例的结构示意图;
图3A是图1实施例中多个模板特征点的一第一拓扑关系的结构示意图;
图3B是图1实施例中多个待匹配特征点的一第二拓扑关系的结构示意图;
图3C是图1实施例中多个模板特征点的一第一类内拓扑关系的结构示意图;
图3D是图1实施例中多个模板特征点的一第一类间拓扑关系的结构示意图;
图3E是图1实施例中多个待匹配特征点的一第二类内拓扑关系的结构示意图;
图3F是图1实施例中多个待匹配特征点的一第二类间拓扑关系的结构示意图;
图3G是图1实施例中一对称拓扑关系的结构示意图;
图4是图2实施例结构化图像匹配方法的步骤S205的具体流程示意图;
图5是本发明结构化图像匹配方法第二实施例的结构示意图;
图6是图5实施例结构化图像匹配方法的步骤S505的具体流程示意图;
图7是本发明结构化图像匹配方法第三实施例的流程示意图;
图8是图7实施例结构化图像匹配方法的步骤S703的具体流程示意图;
图9是本发明结构化图像匹配方法第四实施例的结构示意图;
图10是本发明结构化图像匹配方法第五实施例的结构示意图;
图11是本发明结构化图像匹配系统一实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
本发明首先提出一种结构化图像匹配方法,并结合图1应用场景进行说明,如图1及图2所示,本实施例结构化图像匹配方法用于将待匹配图像101与模板图像102进行匹配,具体包括以下步骤:
S201:提取模板图像102的多个模板特征点。
提取模板图像102的多个模板特征点A1、A2、A3、A4及B1。
S202:获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系。
如图3A所示,本实施例获取模板特征点B1与其他模板特征点A1、A2、A3、A4间的第一拓扑关系、模板特征点A1与他模板特征点B1、A2、A3、A4间的第一拓扑关系等等。
S203:提取待匹配图像101的多个待匹配特征点。
相应地,提取待匹配图像101的多个模板特征点D1、D2、D3、D4及E1。
S204:获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系。
如图3B所示,本实施例获取待匹配特征点E1与其他待匹配特征点D1、D2、D3、D4间的第二拓扑关系、待匹配特征点D1与他待匹配特征点E1、D2、D3、D4间的第二拓扑关系等等。
S205:基于第二拓扑关系和第一拓扑关系对待匹配图像和模板图像进行匹配。
具体地,如图4所示,上述步骤S205具体包括以下步骤:
S401:基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配。
S402:判断待匹配图像101和模板图像102中相匹配的待匹配特征点与模板特征点的数量或比例是否大于或等于第一预设值,若是,则进行步骤S403,若否,则进行步骤S404。
S403:判定待匹配图像101和模板图像102相匹配。
当待匹配图像101的待匹配特征点与模板图像102的模板特征点相匹配数量或比例大于或等于第一预设值,可以判定待匹配图像101和模板图像102相匹配。
S404:判定待匹配图像101和模板图像102不匹配。
本实施例结构化图像匹配方法先将模板图像102及待匹配图像101进行结构化,并提取特征点及其拓扑关系,并根据特征点的拓扑关系进行图像匹配,因特征点的拓扑关系能明显现体图像的结构特征,因此,能够通过特征点的拓扑关系的匹配来实现图像匹配,能够提高图像匹配精度。
本发明进一步提出第二实施例的结构化图像匹配方法,如图5所示,以对上述实施例结构化匹配方法进行更进一步的限定。其中,本实施例步骤S501及步骤S503与上述实施例的步骤S201及步骤S203相同,本实施例结构化匹配方法包括以下步骤:
S501:提取模板图像102的多个模板特征点。
S502:对模板特征点进行分类,并分别获取同一类模板特征点之间的第一类内拓扑关系以及不同类模板特征点之间的第一类间拓扑关系。
具体地,先对多个模板特征点A1、A2、A3、A4及B1进行分类,其中,模板特征点A1、A2、A3及A4为角点,位于模板图像102边缘上,且边缘在角点处的斜率变化较大,角点能够反映模板图像102的边缘信息,模板特征点B1为孤立点,孤立点是位于边缘内的具有标志性的特征点;然后分别获取同一类模板特征点A1、A2、A3、A4之间的第一类内拓扑关系(如图3C所示)以及不同类模板特征点A1、A2、A3、A4与模板特征点B1之间的第一类间拓扑关系(如图3D所示)。
S503:提取待匹配图像101的多个模板特征点。
S504:对待匹配特征点进行分类,并分别获取同一类待匹配特征点之间的第二类内拓扑关系以及不同类待匹配特征点之间的第二类间拓扑关系。
具体地,首先对多个待匹配特征点D1、D2、D3、D4及E1进行分类,其中,待匹配特征点D1、D2、D3及D4为角点,待匹配特征点E1为孤立点;然后并分别获取同一类待匹配特征点D1、D2、D3、D4之间的第二类内拓扑关系(如图3E所示)以及不同类待匹配特征点D1、D2、D3、D4与模板特征点E1之间的第二类间拓扑关系(如图3F所示)。
在其它实施例中,还可以将模板特征点及待匹配特征点分成其它类型的特征点,具体不做限定。
S505:基于第一类间拓扑关系和第二类间拓扑关系对待匹配特征点和模板特征点进行类间匹配,并基于第一类内拓扑关系和第二类内拓扑关系对待匹配特征点和模板特征点进行类内匹配,其中类间匹配的优先级高于类内匹配。
通过上述方法已经获取模板图像102的多个模板特征点A1、A2、A3、A4及B1的第一类间拓扑关系及第一类内拓扑关系、待匹配图像101的多个待匹配特征点D1、D2、D3、D4及E1的第二类间拓扑关系及第二类内拓扑关系,本实施例可以首先基于图3D所示的第一类间拓扑关系及图3F所示的第二类间拓扑关系对待匹配特征点和模板特征点进行类间匹配,然后基于图3C所示的第一类内拓扑关系及图3E所示的第二类内拓扑关系对待匹配特征点和模板特征点进行类间匹配,因为,类内拓扑关系反应的是同类特征点的关系,而同类特征点间的信息差异较小,包含的整个图像结构信息较少,类间拓扑关系反应的是不同类特征点的关系,包含的图像结构信息较多。
因此,本实施例对特征点的分类处理及类间拓扑关系优先匹配,能够提高图像匹配的效率。
具体地,如图6所示,本实施例采用下述方法实现上述步骤S505:
S601:基于第一类间拓扑关系和第二类间拓扑关系计算待匹配特征点和模板特征点之间的类间匹配度。
例如,如图3F及图3D所示,将待匹配特征点E1与模板特征点B1进行匹配时,计算待匹配特征点E1的第二类间拓扑关系d1、d2、d3及d4与模板特征点B1的第一类间拓扑关系a1、a2、a3及a4的匹配度,该匹配度可以用匹配成功的拓扑关系的数量或比例度量。其中,本实施例所指的拓扑关系可以是特征点与特征点之间的相对位置关系、距离以及距离比之中的一种或组合。
S602:基于第一类内拓扑关系和第二类内拓扑关系计算待匹配特征点和模板特征点之间的类内匹配度。
与上述步骤S601的匹配方法相同,这里不赘述。
S603:对类内匹配度和类间匹配度进行加权求和,以获得待匹配特征点和模板特征点之间的综合匹配度,其中类间匹配度对应权重大于类内匹配度的对应权重。
当然,在其它实施例中,还可以对类间匹配度设置一预设值,当类间匹配度超过该预设值时,才进行类内匹配,因为,在一些图像匹配中,如果类间匹配度太低,待识别图像与模板图像明显不同,可以直接判定匹配失败,以避免进行不必要的类内匹配,因此,可以提高图像匹配效率。
本发明进一步提出第三实施例的结构化图像匹配方法,如图7所示,本实施例结构化匹配方法在上述实施例步骤S202之后进一步包括步骤S701,在上述实施例步骤S204之后进一步包括步骤S702,并采用步骤S703与代替上述步骤S205,具体地:
S201:提取模板图像102的多个模板特征点。
S202:获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系。
S701:将第一拓扑关系进行划分为第一对称拓扑关系和第一非对称拓扑关系。
S203:提取待匹配图像101的多个待匹配特征点。
S204:获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系。
S702:将第二拓扑关系进行划分为第二对称拓扑关系和第二非对称拓扑关系。
S703:基于第一非对称拓扑关系和第二非对称拓扑关系对待匹配特征点和模板特征点进行非对称匹配,并基于第一对称拓扑关系和第二对称拓扑关系对待匹配特征点和模板特征点进行对称匹配,其中非对称匹配的优先级高于对称匹配。
如图3D所示,模板特征点B1的第一类间拓扑关系a1、a2、a3及a4相对于模板特征点B1为非对称关系,则其第一类间拓扑关系为第一非对称拓扑关系,若模板特征点F1的第一类间拓扑关系f1、f2、f3及f4相对于模板特征点F1为对称关系,则其第一类间拓扑关系为第一对称拓扑关系,如图3G所示。
本实施例通过将拓扑关系进行非对称及对称的区分,并优先基于非对称拓扑关系进行非对称匹配,可以提高图像的匹配效率,因为,非对称拓扑关系相较于对称拓扑关系所包含的图像拓扑关系信息更多。
其中,如图8所示,上述步骤S703具体包括以下步骤:
S801:基于第一非对称拓扑关系和第二非对称拓扑关系计算待匹配特征点和模板特征点之间的非对称匹配度。
S802:基于第一对称拓扑关系和第二对称拓扑关系计算待匹配特征点和模板特征点之间的对称匹配度。
S803:对对称匹配度和非对称匹配度进行加权求和,以获得待匹配特征点和模板特征点之间的综合匹配度,其中非对称匹配度对应权重大于对称匹配度的对应权重。
本实施例的基于非对称拓扑关系及对称拓扑关系进行图像匹配的方法与上述图6实施例的方法类似,这里不赘述。
当然,在其它实施例中,可以同时采用上述步骤S603及步骤S703的方法基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配。
本发明还提出第四实施例的结构化匹配方法,本实施例步骤S901及步骤S903与上述实施例的步骤S201及步骤S203相同,本实施例结构化匹配方法包括以下步骤:
S901:提取模板图像102的多个模板特征点。
S902:获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系及连线的第一斜率。
在上述实施例的基础上进一步获取至少部分模板特征点与其他模板特征点之间的连线的第一斜率。
S903:提取待匹配图像101的多个模板特征点。
S904:获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系及连线的第二斜率。
在上述实施例的基础上进一步获取至少部分待匹配特征点与其他待匹配特征点之间的连线的第二斜率。
S905:在某一待匹配特征点与某一模板特征点相匹配后,判断某一待匹配特征点所对应的第二拓扑关系中或某一模板特征点所对应的第一拓扑关系中是否存在非对称拓扑关系。
本实施例在上述实施例的基础上进一步获取特征点与特征点间连线的相对于基准坐标的斜率,通过斜率能够体现第一拓扑关系与第二拓扑关系的偏置角度。
S906:若存在非对称拓扑关系,则对待匹配图像101或模板图像102进行旋转,以使得某一待匹配特征点所对应的第二斜率与某一模板特征点的第一斜率一致,进而在后续的待匹配特征点的匹配过程中在模板图像102的与后续的待匹配特征点位置对应的区域内查找模板特征点。
若相匹配的第二拓扑关系或第一拓扑关系为对称拓扑关系,二者的对应关系可能不唯一。本实施例能够使待匹配特征点所对应的第二斜率与模板特征点的第一斜率一致,能够从模板图像102的与后续的待匹配特征点位置对应的区域内查找模板特征点继续进行匹配,通过这种方式能够进一步提高图像匹配效率。
为进一步提高图像匹配的精度,本发明提出第五实施例的结构化图像匹配方法,如图10所示,本实施例在上述实施例的基础上进一步对待匹配图像101的边缘进行匹配,本实施例的步骤S1002、S1004及S1005与上述实施例的步骤S202、S204及S205相同。具体地,本实施例结构化图像匹配方法包括以下步骤:
S1001:提取模板图像102的多个模板特征点及多个模板边缘。
本实施例在上述实施例提取模板图像102的多个模板特征基础上进一步提取模板图像102的模板边缘。
S1002:获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系。
S1003:提取待匹配图像101的多个待匹配特征点及多个待匹配边缘。
本实施例在上述实施例提取待匹配图像101的多个模板特征基础上进一步提取待匹配图像101的待匹配边缘。
S1004:获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系
S1005:基于第二拓扑关系和第一拓扑关系对待匹配特征点和模板特征点进行匹配。
S1006:判断待匹配图像101和模板图像102中相匹配的待匹配特征点与模板特征点的数量或比例是否大于或等于第一预设值。
S1007:若相匹配的待匹配特征点与模板特征点的数量或比例大于或等于第一预设值,则将待匹配图像101的待匹配边缘与模板图像102中的模板边缘进行匹配。
S1008:判断待匹配图像101和模板图像102中相匹配的待匹配边缘与模板边缘的数量或比例是否大于或等于第二预设值。
S1009:若相匹配的待匹配边缘与模板边缘的数量或比例大于或等于第二预设值,则判定待匹配图像101和模板图像102相匹配。
若相匹配的待匹配特征点与模板特征点的数量或比例小于第一预设值,或相匹配的待匹配边缘与模板边缘的数量或比例小于第二预设值,则判定待匹配图像101和模板图像102不匹配。
其中,上述实施例中待匹配特征点和模板特征点分别为待匹配图像101和模板图像102的特征子图像块,该特征子图像块可以包括单个或多个像素点。
上述实施例结构化图像匹配方法可以结合使用,以提高图像匹配精度,上述实施例不限定信息获取的顺序。
本发明实施例不限定进行匹配的待匹配图像101的数量及模板图像102的数量。
本实施例进一步提出一种结构化图像匹配系统,如图11所示,本实施例匹配系统1101包括耦接的处理器1102及存储器1103,其中,处理器1102用于提取模板图像的多个模板特征点,并获取至少部分模板特征点与其他模板特征点之间的第一拓扑关系;处理器1102用于提取待匹配图像的多个待匹配特征点,并获取至少部分待匹配特征点与其他待匹配特征点之间的第二拓扑关系;处理器1102用于基于第二拓扑关系和第一拓扑关系对待匹配图像和模板图像进行匹配;存储器1103用于存储处理器1102获取的多个模板特征点及第一拓扑关系、多个待匹配特征点及第二拓扑关系。
区别于现有技术,本实施例结构化图像匹配系统1101先将模板图像及待匹配图像进行结构化,并提取特征点及其拓扑关系,并根据特征点的拓扑关系进行图像匹配,因特征点的拓扑关系能明显现体图像的结构特征,因此,能够通过特征点的拓扑关系的匹配来实现图像匹配,能够提高图像匹配精度。
其中,处理器1102还能进一步实现上述实施例的方法,存储器1103还进一步存储上述方法实施例中各相关数据及程序数据,程序数据被执行以实现上述方法。关于上述实施例的方法这里不赘述。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (16)
1.一种结构化图像匹配方法,其特征在于,所述匹配方法包括:
提取模板图像的多个模板特征点;
获取至少部分所述模板特征点与其他所述模板特征点之间的第一拓扑关系;
提取待匹配图像的多个待匹配特征点;
获取至少部分所述待匹配特征点与其他所述待匹配特征点之间的第二拓扑关系;
基于所述第二拓扑关系和第一拓扑关系对所述待匹配图像和所述模板图像进行匹配;
其中,所述获取至少部分所述模板特征点与其他所述模板特征点之间的第一拓扑关系的步骤包括:
对所述模板特征点进行分类,并分别获取同一类所述模板特征点之间的第一类内拓扑关系以及不同类所述模板特征点之间的第一类间拓扑关系;
所述获取至少部分所述待匹配特征点与其他所述待匹配特征点之间的第二拓扑关系的步骤包括:
对所述待匹配特征点进行分类,并分别获取同一类所述待匹配特征点之间的第二类内拓扑关系以及不同类所述待匹配特征点之间的第二类间拓扑关系;
所述基于所述第二拓扑关系和第一拓扑关系对所述待匹配特征点和所述模板特征点进行匹配的步骤包括:
基于所述第一类间拓扑关系和所述第二类间拓扑关系计算所述待匹配特征点和所述模板特征点之间的类间匹配度,并基于所述第一类内拓扑关系和所述第二类内拓扑关系计算所述待匹配特征点和所述模板特征点之间的类内匹配度,其中所述类间匹配的优先级高于所述类内匹配,所述类间匹配度及所述类内匹配度为对应的匹配成功的拓扑关系的数量或者比例度量;
基于所述类间匹配度及所述类内匹配度判断所述待匹配图像和所述模板图像中相匹配的所述待匹配特征点与所述模板特征点的数量或比例是否大于或等于第一预设值;
若所述数量或比例大于或等于第一预设值,则判定所述待匹配图像和所述模板图像相匹配。
2.根据权利要求1所述的匹配方法,其特征在于,所述提取模板图像的多个模板特征点的步骤进一步包括:
提取所述模板图像的多个模板边缘;
所述提取所述待匹配图像的多个待匹配特征点的步骤进一步包括:
提取所述待匹配图像的多个待匹配边缘;
所述基于所述第二拓扑关系和第一拓扑关系对所述待匹配图像和所述模板图像进行匹配的步骤包括:
基于所述第二拓扑关系和第一拓扑关系对所述待匹配特征点和所述模板特征点进行匹配;
判断所述待匹配图像和所述模板图像中相匹配的所述待匹配特征点与所述模板特征点的数量或比例是否大于或等于第一预设值;
若相匹配的所述待匹配特征点与所述模板特征点的数量或比例大于或等于第一预设值,则将所述待匹配图像的待匹配边缘与所述模板图像中的模板边缘进行匹配;
判断所述待匹配图像和所述模板图像中相匹配的所述待匹配边缘与所述模板边缘的数量或比例是否大于或等于第二预设值;
若相匹配的所述待匹配边缘与所述模板边缘的数量或比例大于或等于第二预设值,则判定所述待匹配图像和所述模板图像相匹配。
3.根据权利要求1所述的匹配方法,其特征在于,所述基于所述第二拓扑关系和第一拓扑关系对所述待匹配特征点和所述模板特征点进行匹配的步骤进一步包括:
对所述类内匹配度和所述类间匹配度进行加权求和,以获得所述待匹配特征点和所述模板特征点之间的综合匹配度,其中所述类间匹配度对应权重大于所述类内匹配度的对应权重。
4.根据权利要求1或2所述的匹配方法,其特征在于,所述获取至少部分所述模板特征点与其他所述模板特征点之间的第一拓扑关系的步骤进一步包括:
将所述第一拓扑关系进行划分为第一对称拓扑关系和第一非对称拓扑关系;
所述获取至少部分所述待匹配特征点与其他所述待匹配特征点之间的第二拓扑关系的步骤进一步包括:
将所述第二拓扑关系进行划分为第二对称拓扑关系和第二非对称拓扑关系;
所述基于所述第二拓扑关系和第一拓扑关系对所述待匹配特征点和所述模板特征点进行匹配的步骤包括:
基于所述第一非对称拓扑关系和所述第二非对称拓扑关系对所述待匹配特征点和所述模板特征点进行非对称匹配,并基于所述第一对称拓扑关系和所述第二对称拓扑关系对所述待匹配特征点和所述模板特征点进行对称匹配,其中所述非对称匹配的优先级高于所述对称匹配。
5.根据权利要求4所述的匹配方法,其特征在于,所述基于所述第一非对称拓扑关系和所述第二非对称拓扑关系对所述待匹配特征点和所述模板特征点进行非对称匹配,并基于所述第一对称拓扑关系和所述第二对称拓扑关系对所述待匹配特征点和所述模板特征点进行对称匹配的步骤包括:
基于所述第一非对称拓扑关系和所述第二非对称拓扑关系计算所述待匹配特征点和所述模板特征点之间的非对称匹配度;
基于所述第一对称拓扑关系和所述第二对称拓扑关系计算所述待匹配特征点和所述模板特征点之间的对称匹配度;
对所述对称匹配度和所述非对称匹配度进行加权求和,以获得所述待匹配特征点和所述模板特征点之间的综合匹配度,其中所述非对称匹配度对应权重大于所述对称匹配度的对应权重。
6.根据权利要求1或2所述的匹配方法,其特征在于,所述获取至少部分所述模板特征点与其他所述模板特征点之间的第一拓扑关系的步骤进一步包括:
获取所述至少部分模板特征点与所述其他模板特征点之间连线的第一斜率;
所述获取至少部分所述待匹配特征点与其他所述待匹配特征点之间的第二拓扑关系的步骤进一步包括:
获取所述至少部分待匹配特征点与所述其他待匹配特征点之间的第二斜率;
所述基于所述第二拓扑关系和第一拓扑关系对所述待匹配特征点和所述模板特征点进行匹配的步骤进一步包括:
在某一所述待匹配特征点与某一所述模板特征点相匹配后,判断所述某一待匹配特征点所对应的所述第二拓扑关系中或所述某一模板特征点所对应的所述第一拓扑关系中是否存在非对称拓扑关系;
若存在非对称拓扑关系,则对所述待匹配图像或所述模板图像进行旋转,以使得所述某一待匹配特征点所对应的第二斜率与所述某一模板特征点的第一斜率一致,进而在后续的所述待匹配特征点的匹配过程中在所述模板图像的与后续的所述待匹配特征点位置对应的区域内查找所述模板特征点。
7.根据权利要求1所述的匹配方法,其特征在于,所述第一拓扑关系和所述第二拓扑关系分别包括所述模板特征点之间和所述待匹配特征点之间的相对位置关系、距离以及距离比之中的一种或组合。
8.根据权利要求1所述的匹配方法,其特征在于,所述待匹配特征点和所述模板特征点分别为所述待匹配图像和所述模板图像的特征子图像块,且所述待匹配特征点和所述模板特征点均包括角点和孤立点。
9.一种结构化图像匹配系统,其特征在于,所述匹配系统包括:
处理器,所述处理器用于提取模板图像的多个模板特征点,并获取至少部分所述模板特征点与其他所述模板特征点之间的第一拓扑关系;用于提取待匹配图像的多个待匹配特征点,并获取至少部分所述待匹配特征点与其他所述待匹配特征点之间的第二拓扑关系;用于基于所述第二拓扑关系和第一拓扑关系对所述待匹配图像和所述模板图像进行匹配;
存储器,与所述处理器耦接,所述存储器用于存储所述处理器获取的所述多个模板特征点及所述第一拓扑关系、所述多个待匹配特征点及所述第二拓扑关系;
所述处理器进一步对所述模板特征点进行分类,并分别获取同一类所述模板特征点之间的第一类内拓扑关系以及不同类所述模板特征点之间的第一类间拓扑关系;并对所述待匹配特征点进行分类,并分别获取同一类所述待匹配特征点之间的第二类内拓扑关系以及不同类所述待匹配特征点之间的第二类间拓扑关系;
所述处理器进一步基于所述第一类间拓扑关系和所述第二类间拓扑关系计算所述待匹配特征点和所述模板特征点之间的类间匹配度,并基于所述第一类内拓扑关系和所述第二类内拓扑关系计算所述待匹配特征点和所述模板特征点之间的类内匹配度,其中所述类间匹配的优先级高于所述类内匹配;所述处理器进一步基于所述类间匹配度及所述类内匹配度判断所述待匹配图像和所述模板图像中相匹配的所述待匹配特征点与所述模板特征点的数量或比例是否大于或等于第一预设值;若所述数量或比例大于或等于第一预设值,则判定所述待匹配图像和所述模板图像相匹配。
10.根据权利要求9所述的匹配系统,其特征在于,所述处理器进一步提取所述模板图像的多个模板边缘及所述待匹配图像的多个待匹配边缘;
所述处理器进一步基于所述第二拓扑关系和第一拓扑关系对所述待匹配特征点和所述模板特征点进行匹配;并判断所述待匹配图像和所述模板图像中相匹配的所述待匹配特征点与所述模板特征点的数量或比例是否大于或等于第一预设值;若相匹配的所述待匹配特征点与所述模板特征点的数量或比例大于或等于第一预设值,则将所述待匹配图像的待匹配边缘与所述模板图像中的模板边缘进行匹配;并进一步判断所述待匹配图像和所述模板图像中相匹配的所述待匹配边缘与所述模板边缘的数量或比例是否大于或等于第二预设值;若相匹配的所述待匹配边缘与所述模板边缘的数量或比例大于或等于第二预设值,则判定所述待匹配图像和所述模板图像相匹配。
11.根据权利要求9所述的匹配系统,其特征在于,所述处理器对所述类内匹配度和所述类间匹配度进行加权求和,以获得所述待匹配特征点和所述模板特征点之间的综合匹配度,其中所述类间匹配度对应权重大于所述类内匹配度的对应权重。
12.根据权利要求9或10所述的匹配系统,其特征在于,所述处理器进一步将所述第一拓扑关系进行划分为第一对称拓扑关系和第一非对称拓扑关系;将所述第二拓扑关系进行划分为第二对称拓扑关系和第二非对称拓扑关系;并基于所述第一非对称拓扑关系和所述第二非对称拓扑关系对所述待匹配特征点和所述模板特征点进行非对称匹配,并基于所述第一对称拓扑关系和所述第二对称拓扑关系对所述待匹配特征点和所述模板特征点进行对称匹配,其中所述非对称匹配的优先级高于所述对称匹配。
13.根据权利要求12所述的匹配系统,其特征在于,所述处理器进一步基于所述第一非对称拓扑关系和所述第二非对称拓扑关系计算所述待匹配特征点和所述模板特征点之间的非对称匹配度;基于所述第一对称拓扑关系和所述第二对称拓扑关系计算所述待匹配特征点和所述模板特征点之间的对称匹配度;并对所述对称匹配度和所述非对称匹配度进行加权求和,以获得所述待匹配特征点和所述模板特征点之间的综合匹配度,其中所述非对称匹配度对应权重大于所述对称匹配度的对应权重。
14.根据权利要求9或10所述的匹配系统,其特征在于,所述处理器进一步获取所述至少部分模板特征点与所述其他模板特征点之间连线的第一斜率及所述至少部分待匹配特征点与所述其他待匹配特征点之间的第二斜率;并在某一所述待匹配特征点与某一所述模板特征点相匹配后,判断所述某一待匹配特征点所对应的所述第二拓扑关系中或所述某一模板特征点所对应的所述第一拓扑关系中是否存在非对称拓扑关系;若存在非对称拓扑关系,则对所述待匹配图像或所述模板图像进行旋转,以使得所述某一待匹配特征点所对应的第二斜率与所述某一模板特征点的第一斜率一致,进而在后续的所述待匹配特征点的匹配过程中在所述模板图像的与后续的所述待匹配特征点位置对应的区域内查找所述模板特征点。
15.根据权利要求9所述的匹配系统,其特征在于,所述第一拓扑关系和所述第二拓扑关系分别包括所述模板特征点之间和所述待匹配特征点之间的相对位置关系、距离以及距离比之中的一种或组合。
16.根据权利要求9所述的匹配系统,其特征在于,所述待匹配特征点和所述模板特征点分别为所述待匹配图像和所述模板图像的特征子图像块,且所述待匹配特征点和所述模板特征点均包括角点和孤立点。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/120226 WO2019127500A1 (zh) | 2017-12-29 | 2017-12-29 | 一种结构化图像匹配方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109416745A CN109416745A (zh) | 2019-03-01 |
CN109416745B true CN109416745B (zh) | 2022-02-18 |
Family
ID=65463405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780041310.XA Active CN109416745B (zh) | 2017-12-29 | 2017-12-29 | 一种结构化图像匹配方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109416745B (zh) |
WO (1) | WO2019127500A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11818259B2 (en) | 2020-05-13 | 2023-11-14 | Ridgeline, Inc. | Query and projection processing for events |
CN111598176B (zh) * | 2020-05-19 | 2023-11-17 | 北京明略软件系统有限公司 | 一种图像匹配处理方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663754A (zh) * | 2012-04-17 | 2012-09-12 | 北京博研新创数码科技有限公司 | 一种基于区域高斯加权的图像匹配计算方法 |
CN102663431A (zh) * | 2012-04-17 | 2012-09-12 | 北京博研新创数码科技有限公司 | 一种基于区域加权的图像匹配计算方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9230383B2 (en) * | 2012-12-28 | 2016-01-05 | Konica Minolta Laboratory U.S.A., Inc. | Document image compression method and its application in document authentication |
CN103150631B (zh) * | 2013-03-11 | 2016-11-09 | 苏州斯普锐智能系统有限公司 | 基于图像匹配的自动物品管理方法及其系统 |
WO2014144408A2 (en) * | 2013-03-15 | 2014-09-18 | Nito, Inc. | Systems, methods, and software for detecting an object in an image |
CN104464079B (zh) * | 2014-12-29 | 2016-10-05 | 北京邮电大学 | 基于模板特征点及其拓扑结构的多币种面值识别方法 |
CN104820983B (zh) * | 2015-04-23 | 2018-11-23 | 清华大学 | 一种图像匹配方法 |
-
2017
- 2017-12-29 WO PCT/CN2017/120226 patent/WO2019127500A1/zh active Application Filing
- 2017-12-29 CN CN201780041310.XA patent/CN109416745B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663754A (zh) * | 2012-04-17 | 2012-09-12 | 北京博研新创数码科技有限公司 | 一种基于区域高斯加权的图像匹配计算方法 |
CN102663431A (zh) * | 2012-04-17 | 2012-09-12 | 北京博研新创数码科技有限公司 | 一种基于区域加权的图像匹配计算方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019127500A1 (zh) | 2019-07-04 |
CN109416745A (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Himstedt et al. | Large scale place recognition in 2D LIDAR scans using geometrical landmark relations | |
CN105809651B (zh) | 基于边缘非相似性对比的图像显著性检测方法 | |
CN108537286B (zh) | 一种基于关键区域检测的复杂目标精准识别方法 | |
US20160196467A1 (en) | Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud | |
JP2019032830A (ja) | 対象オブジェクトをつかみ取るための把持姿勢を検出するシステム及び方法 | |
CN102388392B (zh) | 模式识别设备 | |
WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
JP4985166B2 (ja) | 自己位置推定装置 | |
WO2022142214A1 (zh) | 车辆位姿确定方法、车辆控制方法及相应的装置、车辆、存储介质 | |
EP2945096A1 (en) | Character recognition method | |
US20150043828A1 (en) | Method for searching for a similar image in an image database based on a reference image | |
CN103632146B (zh) | 一种基于头肩距的人体检测方法 | |
CN106355197A (zh) | 基于K‑means聚类算法的导航图像匹配过滤方法 | |
CN107818598B (zh) | 一种基于视觉矫正的三维点云地图融合方法 | |
CN110570474B (zh) | 一种深度相机的位姿估计方法及系统 | |
EP2954457A1 (en) | System and method for identifying similarities in different images | |
CN105551022A (zh) | 一种基于形状交互矩阵的图像错误匹配检验方法 | |
JP2007249592A (ja) | 3次元物体認識システム | |
WO2023050810A1 (zh) | 一种目标检测的方法、装置、电子设备及存储介质、计算机程序产品 | |
Li et al. | Hierarchical semantic parsing for object pose estimation in densely cluttered scenes | |
CN109416745B (zh) | 一种结构化图像匹配方法及系统 | |
US20140161313A1 (en) | Tracking device | |
CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
Wang et al. | High accuracy and low complexity LiDAR place recognition using unitary invariant frobenius norm | |
Le et al. | Improving logo spotting and matching for document categorization by a post-filter based on homography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB02 | Change of applicant information |
Address after: 518063 23 Floor (Room 2303-2306) of Desai Science and Technology Building, Yuehai Street High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen AANDE Intelligent Technology Research Institute Co., Ltd. Address before: 518104 102A of A3, No. 3 Industrial Zone, Shajing Street, Hexiang Road, Baoan District, Shenzhen City, Guangdong Province Applicant before: Shenzhen AANDE Intelligent Technology Research Institute Co., Ltd. |
|
CB02 | Change of applicant information | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |