CN112052866A - 一种图像验证方法、装置及计算机可读存储介质 - Google Patents

一种图像验证方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112052866A
CN112052866A CN201910487595.0A CN201910487595A CN112052866A CN 112052866 A CN112052866 A CN 112052866A CN 201910487595 A CN201910487595 A CN 201910487595A CN 112052866 A CN112052866 A CN 112052866A
Authority
CN
China
Prior art keywords
image
representative
feature points
points
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910487595.0A
Other languages
English (en)
Inventor
王志成
王晓霞
张毅飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201910487595.0A priority Critical patent/CN112052866A/zh
Publication of CN112052866A publication Critical patent/CN112052866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Abstract

本发明提供了一种图像验证方法、装置及计算机可读存储介质。本发明提供的图像验证方法，在图像验证中引入了分级跟踪的处理方式，根据优先级的高低顺序，在待验证图像中依次对不同优先级别的代表特征点分别进行跟踪，不同级别的代表特征点中引入了图像内容发生不同程度变形或位置偏移的影响，从而能够增强图像验证的鲁棒性，提高图像验证准确性。另外，本发明实施例还在分级跟踪中基于几何约束关系判断跟踪结果的可靠性，进一步提高了图像验证结果的准确性。

Description

一种图像验证方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像验证方法、装置及计算机可读存储介质。
背景技术
图像验证通常用于验证某个待验证图像是否与模板图像相匹配，并可以输出待验证图像与模板图像的匹配度参数(也可以称为置信度参数)，该匹配度参数用于表示该待验证图像与模板图像的匹配程度，或者用于表示该待验证图像与模板图像相同的可信程度。图像验证广泛应用于工业领域以及监控领域，例如，对工业生产线上的产品零部件图像进行验证，判断该零部件图像是否符合预定的设计要求；又例如，对视频监控采集的实时图像进行验证，判断实时图像是否符合预设的场景图像等。
目前，基于相关系数的直方图算法，基于汉明距离的图像感知哈希算法，模板匹配和峰值信噪比/结构相似性(PSNR/SSIM，Peak Signal to Noise Ratio/StructuralSimilarity)等方法都可以用于图像验证。
发明人发现，以上各种方法在图像验证中存在着以下不足：
直方图算法：在图像的内容和细节不稳定时，图像的灰度直方图的差异较大，容易在图像验证中引发错误。
图像感知哈希算法：哈希算法通常是基于图片的灰度值和平均值进行运算的，在图像的内容或细节发生变化时，其运算结果的差异也会出现较大偏差。
模板匹配方法：模板匹配的结果通常不是很稳定，而且当图像发生移位或内容发生改变时容易发生误判。
PSNR/SSIM方法：通常用于图像质量评估，当图像内容发生变化或图像发生偏移时，评估结果会有很大差异。
因此，需要一种图像验证算法，能够在图像内容可能发生变形和/或位置偏移的情况下，仍然具有较好的准确性。
发明内容
本发明实施例要解决的技术问题是提供一种图像验证方法及装置，提高图像验证的准确性。
根据本发明实施例的一个方面，提供了一种图像验证方法，包括：
从每个样本图像中分别选取M个相互对应的区域，将所述区域作为特征点，得到M组特征点，提取每个特征点的图像特征和位置坐标，其中，每组特征点包括有每个样本图像中相互对应的一个特征点，所述M大于或等于2；
根据每个特征点的图像特征，对每组特征点进行聚类处理，将每组特征点划分为N个分类，确定每个分类的优先级和代表特征点，并将所述M组特征点中同一优先级的分类的代表特征点合并，得到具有不同优先级的N级代表特征点，其中，每级代表特征点包括有M个代表特征点；
按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点，得到跟踪结果。
此外，根据本发明的至少一个实施例，确定每个分类优先级，包括：
根据每个分类中特征点的占比，设置每个分类的优先级，其中，所述优先级与所述占比正相关；或者，
根据每个分类的代表特征点与模板图像中对应的模板特征点间的位置偏移，设置每个分类的优先级，其中，所述优先级与所述位置偏移负相关。
此外，根据本发明的至少一个实施例，确定每个分类的代表特征点，包括：
根据每个分类的中心点，生成该分类的代表特征点；
或者，计算每个分类下的特征点与该分类的中心点之间的距离，并将最小距离所对应的特征点，作为该分类的代表特征点；
或者，从每个分类中随机选择一个特征点，作为该分类的代表特征点。
此外，根据本发明的至少一个实施例，按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点的步骤，包括：
若在待验证图像中跟踪到当前级别的M个代表特征点，则停止跟踪，并将当前级别的代表特征点的置信度权重，作为图像验证结果的置信度进行输出；
若在待验证图像中未跟踪到当前级别的M个代表特征点，则继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
此外，根据本发明的至少一个实施例，按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点的步骤，包括：
若在待验证图像中跟踪到当前级别的M个代表特征点，则判断当前级别的M个代表特征点与模板图像的M个模板特征点间的几何相似性是否满足预设要求，并在满足所述预设要求时，停止跟踪，并根据所述几何相似性和当前级别的代表特征点的置信度权重，计算并输出图像验证结果的置信度；
若在待验证图像中未跟踪到当前级别的M个代表特征点，或，未满足所述预设要求，则继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
此外，根据本发明的至少一个实施例，所述几何相似性为第一特征向量与第二特征向量之间的距离，所述第一特征向量是根据当前级别的M个代表特征点间的相对位置关系和夹角所生成的特征向量，所述第二特征向量是根据模板图像的M个模板特征点间的相对位置关系和夹角所生成的特征向量。
根据本发明实施例的另一方面，提供了一种图像验证装置，包括：
特征点选取单元，用于从每个样本图像中分别选取M个相互对应的区域，将所述区域作为特征点，得到M组特征点，提取每个特征点的图像特征和位置坐标，其中，每组特征点包括有每个样本图像中相互对应的一个特征点，所述M大于或等于2；
特征点预处理单元，用于根据每个特征点的图像特征，对每组特征点进行聚类处理，将每组特征点划分为N个分类，确定每个分类的优先级和代表特征点，并将所述M组特征点中同一优先级的分类的代表特征点合并，得到具有不同优先级的N级代表特征点，其中每级代表特征点包括有M个代表特征点；
跟踪处理单元，用于按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点，得到跟踪结果。
此外，根据本发明的至少一个实施例，所述特征点预处理单元，还用于根据每个分类中特征点的占比，设置每个分类的优先级，其中，所述优先级与所述占比正相关；或者，根据每个分类的代表特征点与模板图像中对应的模板特征点间的位置偏移，设置每个分类的优先级，其中，所述优先级与所述位置偏移负相关。
此外，根据本发明的至少一个实施例，所述特征点预处理单元，还用于根据每个分类的中心点，生成该分类的代表特征点；或者，计算每个分类下的特征点与该分类的中心点之间的距离，并将最小距离所对应的特征点，作为该分类的代表特征点；或者，从每个分类中随机选择一个特征点，作为该分类的代表特征点。
此外，根据本发明的至少一个实施例，所述跟踪处理单元，还用于在待验证图像中跟踪到当前级别的M个代表特征点时，停止跟踪，并将当前级别的代表特征点的置信度权重，作为图像验证结果的置信度进行输出；以及，在待验证图像中未跟踪到当前级别的M个代表特征点时，继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
此外，根据本发明的至少一个实施例，所述跟踪处理单元，还用于在待验证图像中跟踪到当前级别的M个代表特征点时，判断当前级别的M个代表特征点与模板图像的M个模板特征点间的几何相似性是否满足预设要求，并在满足所述预设要求时，停止跟踪，并根据所述几何相似性和当前级别的代表特征点的置信度权重，计算并输出图像验证结果的置信度；在待验证图像中未跟踪到当前级别的M个代表特征点，或，未满足所述预设要求时，继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
此外，根据本发明的至少一个实施例，所述几何相似性为第一特征向量与第二特征向量之间的距离，所述第一特征向量是根据当前级别的M个代表特征点间的相对位置关系和夹角所生成的特征向量，所述第二特征向量是根据模板图像的M个模板特征点间的相对位置关系和夹角所生成的特征向量。
本发明实施例还提供了一种图像验证装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的图像验证方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时实现如上所述的图像验证方法的步骤。
与现有技术相比，本发明实施例提供的图像验证方法、装置及计算机可读存储介质，在图像验证中引入了分级跟踪的处理方式，根据优先级的高低顺序，在待验证图像中跟踪不同优先级别的代表特征点，可以在图像内容发生变形或位置偏移的情况下提高图像验证准确性。并且，本发明实施例还在分级跟踪中基于几何约束关系判断跟踪结果的可靠性，进一步提高了图像验证结果的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的图像验证方法的一种流程示意图；
图2为本发明实施例的图像跟踪处理的一个示例图；
图3为本发明实施例基于模板特征点构建特征向量的一个示例图；
图4为本发明实施例中基于代表特征点构建特征向量的一个示例图；
图5为本发明实施例的图像验证装置的一种结构示意图；
图6为本发明实施例的图像验证装置的另一结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了帮助理解以下实施例，下面对本发明实施例中可能涉及到的模板图像、样本图像以及特征点等相关概念进行简单说明。
在图像验证中，模板图像是指符合设计要求的标准对象经成像系统所获得的图像；样本图像是按照所述设计要求生产获得的实际对象，经所述成像系统所获得的图像。也就是说，所述实际对象可能符合所述设计要求，也可能部分符合所述设计要求，甚至不符合所述设计要求。例如，在工厂生产线上，所述标准对象可以是符合计算机辅助设计(CAD)图纸设计的对象，而所述实际对象可能实际生产所获得的对象，可能与标准对象之间存在着一定的差异。
本发明实施例中，根据模板图像确定出M个区域，所述M个区域通常可以选择图像特征较为明显的区域，所述图像特征包括但不限于颜色特征、纹理特征、形状特征和空间关系等特征。所述M大于或等于2，具体可以根据模板图像的特点以及对计算量/计算精度的需求进行设置。在确定了M个区域后，可以将每个区域作为一个特征点(即模板特征点)，提取该区域的图像特征，作为该特征点的特征描述，并得到该特征点的位置坐标。具体的，该特征点的位置坐标，可以根据图像特征的中心或重心所在位置进行确定，本发明实施例对此不做具体限定。
本发明实施例可以对样本图像执行以上类似的处理，根据从模板图像中确定的所述M个区域的位置，提取样本图像中该M个区域的图像特征，得到M个特征点、各个特征点的特征描述以及位置坐标。
类似的，本发明实施例对待验证图像也可以执行以上类似处理，从而获得M个特征点、各个特征点的特征描述以及位置坐标。
可以看出，通过所述区域，可以将模板图像、样本图像和待验证图像中的各个特征点关联起来，在上述各个图像中均存在有某个区域对应的特征点，这些特征点之间存在对应关系。例如，假设模板图像中的区域1的特征点为模板特征点1，则样本图像或待验证图像中所述区域1的特征点，均与上述模板特征点1相对应。
如图1所示，本发明实施例提供的图像验证方法包括：
步骤11，从每个样本图像中分别选取M个相互对应的区域，将所述区域作为特征点，得到M组特征点，提取每个特征点的图像特征和位置坐标，其中，每组特征点包括有每个样本图像中相互对应的一个特征点，所述M大于或等于2。
这里，模板图像是指符合预定设计要求的标准对象经成像系统所获得的图像；样本图像是按照所述设计要求生产获得的实际对象，经成像系统所获得的图像。所述M个区域在各个图像(包括样本图像、模板图像和待验证图像)中的位置相同，这样，每个样本图像中同一区域所对应的特征点作为一组特征点，从而可以获得M组特征点。然后，提取每个特征点的图像特征，所述图像特征包括但不限于颜色特征、纹理特征、形状特征和空间关系等特征。进而根据图像特征确定各个特征点的位置坐标。图像特征提取可以采用现有技术的相关算法，本发明实施例对此不做具体限定。
需要指出的是，各个特征点的位置坐标是根据对应区域的图像特征的中心或重心确定的，因此同一组特征点中的位置坐标可能不同。另外，为了提高后续验证结果的可靠性，可以采集较多数量的样本图像。可选的，为了便于算法处理和简化运算，通常可以通过同一成像系统按照相同或相接近的成像参数进行图像采集，所述成像参数包括但不限于拍摄角度、拍摄距离以及焦距大小等。
步骤12，根据每个特征点的图像特征，对每组特征点进行聚类处理，将每组特征点划分为N个分类，确定每个分类的优先级和代表特征点，并将所述M组特征点中同一优先级的分类的代表特征点合并，得到具有不同优先级的N级代表特征点，其中，每级代表特征点包括有M个代表特征点。
这里，针对所述M组特征点中的每一组，分别进行聚类处理，将每组中的特征点划分成N个分类，并确定每个分类的代表特征点。聚类处理可以用K均值(K-Means)聚类算法或均值漂移聚类算法或基于密度的聚类算法进行处理，本发明实施例对此不做具体限定。通过聚类处理，可以获得N个分类以及每个分类的中心点。
本发明实施例中，代表特征点的确定方式有多种，例如，可以根据每个分类的中心点，生成该分类的代表特征点，此时，该代表特征点的图像特征可以取该分类下所有特征点的图像特征的平均值。又例如，可以计算每个分类下的特征点与该分类的中心点之间的距离，并将最小距离所对应的特征点，作为该分类的代表特征点。再例如，可以从每个分类中随机选择一个特征点，作为该分类的代表特征点。
在聚类处理之后，本发明实施例还设置所述N个分类的优先级，具体的，可以根据每个分类中的特征点的占比，来设置对应的优先级。例如，假设有L个样本图像，每组特征点中就包括有L个特征点，这L个特征点分成了N个分类，假设N个分类下的特征点的数量分别为L1、L2……LN，此时，可以计算得到上述N个分类中的特征点的占比分别为L1/L、L2/L……LN/L，进而根据上述占比来设置各个分类的优先级，具体的，占比越大则优先级越高，占比越小则优先级越低。
作为设置分类优先级的另一种实现方式，本发明实施例还可以根据每个分类的代表特征点与模板图像中对应的模板特征点间的位置偏移，设置每个分类的优先级。所述M组特征点中的每组特征点对应于模板图像中的一个模板特征点，因此可以计算每个分类的代表特征点的位置坐标，与模板图像中对应的模板特征点的位置坐标之间的位置偏移，根据该位置偏移的大小来设置各个分类的优先级。具体的，位置偏移越大则优先级越低，位置偏移越小则优先级越高。在计算上述位置偏移时，可以采用欧氏距离或巴氏距离等距离参数，本发明实施例对此不做具体限定。
通过上述处理，可以将每组特征点划分为N个分类，并设置了各个分类的优先级，然后将所述M组特征点中同一优先级的分类的代表特征点合并，可以得到N级代表特征点，每级代表特征点包括有M个代表特征点，所述M个代表特征点分别对应于图像中的M个区域，且每级代表特征点的优先级采用所述分类的优先级进行表征。后续可以利用以上的代表特征点进行待验证图像的跟踪处理。
步骤13，按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点，得到跟踪结果。
这里，本发明实施例在进行待验证图像的验证处理时，利用上述步骤11～12所获得的N级代表特征点进行跟踪处理。具体的，按照所述N级代表特征点的优先级的高低顺序，依次在待验证图像中跟踪每一级代表特征点。
作为一种跟踪处理方式，本发明实施例可以在待验证图像中跟踪到当前级别的M个代表特征点时，停止跟踪处理，并将当前级别的代表特征点的置信度权重，作为图像验证结果的置信度进行输出；而在待验证图像中未跟踪到当前级别的M个代表特征点，则继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
本发明实施例中，每个级别的代表特征点的置信度权重，与该代表特征点的优先级的高度正相关，也就是说，优先级较高的代表特征点，其所对应的置信度权重也较高。
作为另一种跟踪处理方式，本发明实施例还引入了几何相似性来判断是否满足几何约束条件。具体的，本发明实施例可以在待验证图像中跟踪到当前级别的M个代表特征点时，判断当前级别的M个代表特征点与模板图像的M个模板特征点间的几何相似性是否满足预设要求，并在满足所述预设要求时，停止跟踪，并根据所述几何相似性和当前级别的代表特征点的置信度权重，计算并输出图像验证结果的置信度C(见图2)；而在待验证图像中未跟踪到当前级别的M个代表特征点，或，所述几何相似性未满足所述预设要求，则继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。这里，几何相似性反映了当前级别的M个代表特征点与模板图像的M个模板特征点之间在几何上的相似程度。
图2进一步给出了以上跟踪处理的判断流程，其中在所述待验证图像中未能跟踪到最低优先级别的代表特征点，或者跟踪到最低优先级别的代表特征点但几何相似性未满足预设要求，此时将输出图像验证结果的置信度C0。这里，C0是一个相对较小的数值，用于表示待验证图像与所述模板图像的匹配度很低。
这里，所述几何相似性为第一特征向量与第二特征向量之间的距离(例如余弦距离或马氏距离(Mahalanobis Distance)，所述第一特征向量是根据当前级别的M个代表特征点间的相对位置关系和夹角所生成的特征向量，所述第二特征向量是根据模板图像的M个模板特征点间的相对位置关系和夹角所生成的特征向量。
在采用余弦距离作为几何相似性的表征指标时，所述余弦距离越接近于1，表示几何相似性越高。图3～图4给出了计算余弦距离的一个示例。其中，假设M＝3。假设图3中的A、B和C这三个模板特征点是模板图像中的模板特征点，根据模板特征点间的相对位置关系和夹角，可以获得3个向量
Figure BDA0002085915930000101
和
Figure BDA0002085915930000102
以及相对角度θ1,θ2,θ3，从而可以组合成第二特征向量v，如公式1所示。该第二特征向量可以用于表示模板特征点间的几何关系。
Figure BDA0002085915930000103
类似的，假设图4中的D，E和F是待验证图像中跟踪到的第1级代表特征点，其几何关系可以采用公式2中所示的向量u表示。根据代表特征点间的相对位置关系和夹角，可以获得3个向量
Figure BDA0002085915930000104
和
Figure BDA0002085915930000105
以及相对角度
Figure BDA0002085915930000106
Figure BDA0002085915930000107
从而可以组合成第一特征向量u，如公式2所示。
Figure BDA0002085915930000108
通过计算上述第一、第二特征向量之间的余弦距离，得到几何相似性k：
Figure BDA0002085915930000109
在判断上述几何相似性是否满足预设要求时，可以将几何相似性与一个预设门限Kt进行比较，当大于或等于该门限Kt时，则判断为满足预设要求；当小于该门限Kt时，则判断为不满足预设要求；
在根据所述几何相似性和当前级别的代表特征点的置信度权重，计算并输出图像验证结果的置信度C时，一种较为直接的实现方式是将所述几何相似性和当前级别的代表特征点的置信度权重相乘，从而得到图像验证结果的置信度C。以上仅为图像验证结果的置信度的一种计算方式，本发明实施例还可以采用其他方式进行计算，只需要满足图像验证结果的置信度，与所述几何相似性正相关，与跟踪到的代表特征点的置信度权重正相关即可。
通过以上步骤，本发明实施例在图像验证中引入了分级跟踪的处理方式，根据优先级的高低顺序，在待验证图像中依次对不同优先级别的代表特征点分别进行跟踪，不同级别的代表特征点中引入了图像内容发生不同程度变形或位置偏移的影响，从而能够增强图像验证的鲁棒性，提高图像验证准确性。并且，本发明实施例还在分级跟踪中基于几何约束关系判断跟踪结果的可靠性，进一步提高了图像验证结果的准确性。
基于以上方法，本发明实施例还提供了实施上述方法的装置，请参考图5，本发明实施例提供了一种图像验证装置50，能够提高图像验证的准确性。如图5所示，该图像验证装置50具体包括：
特征点选取单元51，用于从每个样本图像中分别选取M个相互对应的区域，将所述区域作为特征点，得到M组特征点，提取每个特征点的图像特征和位置坐标，其中，每组特征点包括有每个样本图像中相互对应的一个特征点，所述M大于或等于2；
特征点预处理单元52，用于根据每个特征点的图像特征，对每组特征点进行聚类处理，将每组特征点划分为N个分类，确定每个分类的优先级和代表特征点，并将所述M组特征点中同一优先级的分类的代表特征点合并，得到具有不同优先级的N级代表特征点，其中每级代表特征点包括有M个代表特征点；
跟踪处理单元53，用于按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点，得到跟踪结果。
此外，根据本发明至少一个实施例，所述特征点预处理单元52，还用于根据每个分类中特征点的占比，设置每个分类的优先级，其中，所述优先级与所述占比正相关；或者，根据每个分类的代表特征点与模板图像中对应的模板特征点间的位置偏移，设置每个分类的优先级，其中，所述优先级与所述位置偏移负相关。
此外，根据本发明至少一个实施例，所述特征点预处理单元52，还用于根据每个分类的中心点，生成该分类的代表特征点；或者，计算每个分类下的特征点与该分类的中心点之间的距离，并将最小距离所对应的特征点，作为该分类的代表特征点；或者，从每个分类中随机选择一个特征点，作为该分类的代表特征点。
此外，根据本发明至少一个实施例，所述跟踪处理单元53，还用于在待验证图像中跟踪到当前级别的M个代表特征点时，停止跟踪，并将当前级别的代表特征点的置信度权重，作为图像验证结果的置信度进行输出；以及，在待验证图像中未跟踪到当前级别的M个代表特征点时，继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
此外，根据本发明至少一个实施例，所述跟踪处理单元53，还用于在待验证图像中跟踪到当前级别的M个代表特征点时，判断当前级别的M个代表特征点与模板图像的M个模板特征点间的几何相似性是否满足预设要求，并在满足所述预设要求时，停止跟踪，并根据所述几何相似性和当前级别的代表特征点的置信度权重，计算并输出图像验证结果的置信度；在待验证图像中未跟踪到当前级别的M个代表特征点，或，未满足所述预设要求时，继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
此外，根据本发明至少一个实施例，所述几何相似性为第一特征向量与第二特征向量之间的距离，所述第一特征向量是根据当前级别的M个代表特征点间的相对位置关系和夹角所生成的特征向量，所述第二特征向量是根据模板图像的M个模板特征点间的相对位置关系和夹角所生成的特征向量。
通过以上单元，本发明实施例的图像验证装置能够适用于图像内容发生变形和/或位置偏移的情况，提高图像验证结果的准确性。
请参考图6，本发明实施例还提供了图像验证装置的一种硬件结构框图，如图6所示，该图像验证装置600包括：
处理器602；和
存储器604，在所述存储器604中存储有程序指令，
其中，在所述程序指令被所述处理器运行时，使得所述处理器602执行以下步骤：
从每个样本图像中分别选取M个相互对应的区域，将所述区域作为特征点，得到M组特征点，提取每个特征点的图像特征和位置坐标，其中，每组特征点包括有每个样本图像中相互对应的一个特征点，所述M大于或等于2；
根据每个特征点的图像特征，对每组特征点进行聚类处理，将每组特征点划分为N个分类，确定每个分类的优先级和代表特征点，并将所述M组特征点中同一优先级的分类的代表特征点合并，得到具有不同优先级的N级代表特征点，其中，每级代表特征点包括有M个代表特征点；
按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点，得到跟踪结果。
进一步地，如图6所示，该图像验证装置600还可以包括网络接口601、输入设备603、硬盘605、和显示设备606。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是包括任意数量的互联的总线和桥。具体由处理器602代表的一个或者多个中央处理器(CPU)，以及由存储器604代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口601，可以连接至网络(如因特网、局域网等)，从网络中接收模板图像和/或样本图像等数据，并可以将接收到的数据保存在硬盘605中。
所述输入设备603，可以接收操作人员输入的各种指令，并发送给处理器602以供执行。所述输入设备603可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等)。
所述显示设备606，可以将处理器602执行指令获得的结果进行显示，例如显示图像验证的结果等。
所述存储器604，用于存储操作系统运行所必须的程序和数据，以及处理器602计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器604可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器604旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器604存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统6041和应用程序6042。
其中，操作系统6041，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序6042，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序6042中。
本发明上述实施例揭示的图像验证方法可以应用于处理器602中，或者由处理器602实现。处理器602可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述图像验证方法的各步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器602可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器604，处理器602读取存储器604中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，所述程序被处理器602执行时还可实现如下步骤：根据每个分类中特征点的占比，设置每个分类的优先级，其中，所述优先级与所述占比正相关；或者，根据每个分类的代表特征点与模板图像中对应的模板特征点间的位置偏移，设置每个分类的优先级，其中，所述优先级与所述位置偏移负相关。
具体地，所述程序被处理器602执行时还可实现如下步骤：根据每个分类的中心点，生成该分类的代表特征点；或者，计算每个分类下的特征点与该分类的中心点之间的距离，并将最小距离所对应的特征点，作为该分类的代表特征点；或者，从每个分类中随机选择一个特征点，作为该分类的代表特征点。
具体地，所述程序被处理器602执行时还可实现如下步骤：若在待验证图像中跟踪到当前级别的M个代表特征点，则停止跟踪，并将当前级别的代表特征点的置信度权重，作为图像验证结果的置信度进行输出；若在待验证图像中未跟踪到当前级别的M个代表特征点，则继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
具体地，所述程序被处理器602执行时还可实现如下步骤：若在待验证图像中跟踪到当前级别的M个代表特征点，则判断当前级别的M个代表特征点与模板图像的M个模板特征点间的几何相似性是否满足预设要求，并在满足所述预设要求时，停止跟踪，并根据所述几何相似性和当前级别的代表特征点的置信度权重，计算并输出图像验证结果的置信度；若在待验证图像中未跟踪到当前级别的M个代表特征点，或，未满足所述预设要求，则继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
可选的，所述几何相似性为第一特征向量与第二特征向量之间的距离，所述第一特征向量是根据当前级别的M个代表特征点间的相对位置关系和夹角所生成的特征向量，所述第二特征向量是根据模板图像的M个模板特征点间的相对位置关系和夹角所生成的特征向量。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像验证方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种图像验证方法，其特征在于，包括：
从每个样本图像中分别选取M个相互对应的区域，将所述区域作为特征点，得到M组特征点，提取每个特征点的图像特征和位置坐标，其中，每组特征点包括有每个样本图像中相互对应的一个特征点，所述M大于或等于2；
根据每个特征点的图像特征，对每组特征点进行聚类处理，将每组特征点划分为N个分类，确定每个分类的优先级和代表特征点，并将所述M组特征点中同一优先级的分类的代表特征点合并，得到具有不同优先级的N级代表特征点，其中，每级代表特征点包括有M个代表特征点；
按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点，得到跟踪结果。
2.如权利要求1所述的方法，其特征在于，确定每个分类优先级，包括：
根据每个分类中特征点的占比，设置每个分类的优先级，其中，所述优先级与所述占比正相关；或者，
根据每个分类的代表特征点与模板图像中对应的模板特征点间的位置偏移，设置每个分类的优先级，其中，所述优先级与所述位置偏移负相关。
3.如权利要求1所述的方法，其特征在于，确定每个分类的代表特征点，包括：
根据每个分类的中心点，生成该分类的代表特征点；
或者，计算每个分类下的特征点与该分类的中心点之间的距离，并将最小距离所对应的特征点，作为该分类的代表特征点；
或者，从每个分类中随机选择一个特征点，作为该分类的代表特征点。
4.如权利要求1所述的方法，其特征在于，按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点的步骤，包括：
若在待验证图像中跟踪到当前级别的M个代表特征点，则停止跟踪，并将当前级别的代表特征点的置信度权重，作为图像验证结果的置信度进行输出；
若在待验证图像中未跟踪到当前级别的M个代表特征点，则继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
5.如权利要求1所述的方法，其特征在于，按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点的步骤，包括：
若在待验证图像中跟踪到当前级别的M个代表特征点，则判断当前级别的M个代表特征点与模板图像的M个模板特征点间的几何相似性是否满足预设要求，并在满足所述预设要求时，停止跟踪，并根据所述几何相似性和当前级别的代表特征点的置信度权重，计算并输出图像验证结果的置信度；
若在待验证图像中未跟踪到当前级别的M个代表特征点，或，未满足所述预设要求，则继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
6.如权利要求5所述的方法，其特征在于，
所述几何相似性为第一特征向量与第二特征向量之间的距离，所述第一特征向量是根据当前级别的M个代表特征点间的相对位置关系和夹角所生成的特征向量，所述第二特征向量是根据模板图像的M个模板特征点间的相对位置关系和夹角所生成的特征向量。
7.一种图像验证装置，其特征在于，包括：
特征点选取单元，用于从每个样本图像中分别选取M个相互对应的区域，将所述区域作为特征点，得到M组特征点，提取每个特征点的图像特征和位置坐标，其中，每组特征点包括有每个样本图像中相互对应的一个特征点，所述M大于或等于2；
特征点预处理单元，用于根据每个特征点的图像特征，对每组特征点进行聚类处理，将每组特征点划分为N个分类，确定每个分类的优先级和代表特征点，并将所述M组特征点中同一优先级的分类的代表特征点合并，得到具有不同优先级的N级代表特征点，其中每级代表特征点包括有M个代表特征点；
跟踪处理单元，用于按照优先级的高低顺序，在待验证图像中依次跟踪各级代表特征点，得到跟踪结果。
8.如权利要求7所述的图像验证装置，其特征在于，
所述特征点预处理单元，还用于根据每个分类中特征点的占比，设置每个分类的优先级，其中，所述优先级与所述占比正相关；或者，根据每个分类的代表特征点与模板图像中对应的模板特征点间的位置偏移，设置每个分类的优先级，其中，所述优先级与所述位置偏移负相关。
9.如权利要求7所述的图像验证装置，其特征在于，
所述特征点预处理单元，还用于根据每个分类的中心点，生成该分类的代表特征点；或者，计算每个分类下的特征点与该分类的中心点之间的距离，并将最小距离所对应的特征点，作为该分类的代表特征点；或者，从每个分类中随机选择一个特征点，作为该分类的代表特征点。
10.如权利要求7所述的图像验证装置，其特征在于，
所述跟踪处理单元，还用于在待验证图像中跟踪到当前级别的M个代表特征点时，停止跟踪，并将当前级别的代表特征点的置信度权重，作为图像验证结果的置信度进行输出；以及，在待验证图像中未跟踪到当前级别的M个代表特征点时，继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
11.如权利要求7所述的图像验证装置，其特征在于，
所述跟踪处理单元，还用于在待验证图像中跟踪到当前级别的M个代表特征点时，判断当前级别的M个代表特征点与模板图像的M个模板特征点间的几何相似性是否满足预设要求，并在满足所述预设要求时，停止跟踪，并根据所述几何相似性和当前级别的代表特征点的置信度权重，计算并输出图像验证结果的置信度；在待验证图像中未跟踪到当前级别的M个代表特征点，或，未满足所述预设要求时，继续跟踪下一级别的M个代表特征点，直至完成最低优先级别的代表特征点的跟踪。
12.如权利要求11所述的图像验证装置，其特征在于，
所述几何相似性为第一特征向量与第二特征向量之间的距离，所述第一特征向量是根据当前级别的M个代表特征点间的相对位置关系和夹角所生成的特征向量，所述第二特征向量是根据模板图像的M个模板特征点间的相对位置关系和夹角所生成的特征向量。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至6中任一项所述的图像验证方法的步骤。
CN201910487595.0A 2019-06-05 2019-06-05 一种图像验证方法、装置及计算机可读存储介质 Pending CN112052866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910487595.0A CN112052866A (zh) 2019-06-05 2019-06-05 一种图像验证方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910487595.0A CN112052866A (zh) 2019-06-05 2019-06-05 一种图像验证方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112052866A true CN112052866A (zh) 2020-12-08

Family

ID=73609391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910487595.0A Pending CN112052866A (zh) 2019-06-05 2019-06-05 一种图像验证方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112052866A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194731A1 (en) * 2009-12-23 2011-08-11 Metaio Gmbh Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
CN108536769A (zh) * 2018-03-22 2018-09-14 深圳市安软慧视科技有限公司 图像分析方法、搜索方法及装置、计算机装置及存储介质
CN109214245A (zh) * 2017-07-03 2019-01-15 株式会社理光 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN109242018A (zh) * 2018-08-31 2019-01-18 平安科技（深圳）有限公司 图像验证方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194731A1 (en) * 2009-12-23 2011-08-11 Metaio Gmbh Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
CN109214245A (zh) * 2017-07-03 2019-01-15 株式会社理光 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN108536769A (zh) * 2018-03-22 2018-09-14 深圳市安软慧视科技有限公司 图像分析方法、搜索方法及装置、计算机装置及存储介质
CN109242018A (zh) * 2018-08-31 2019-01-18 平安科技（深圳）有限公司 图像验证方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN108875522B (zh) 人脸聚类方法、装置和系统及存储介质
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
WO2021218314A1 (zh) 基于位置定位的事件识别方法、装置、设备及存储介质
CN110634153A (zh) 目标跟踪模板更新方法、装置、计算机设备和存储介质
WO2018090937A1 (zh) 图像处理方法、终端及存储介质
CN111368717B (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
JPWO2009060975A1 (ja) 特徴点配置照合装置及び画像照合装置、その方法及びプログラム
CN112560832B (zh) 视频指纹生成方法、视频匹配方法、装置和计算机设备
WO2010043954A1 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
US11256949B2 (en) Guided sparse feature matching via coarsely defined dense matches
JP2015103188A (ja) 画像解析装置、画像解析方法及び画像解析プログラム
CN108875538B (zh) 属性检测方法、装置和系统及存储介质
CN113112412A (zh) 垂直校正矩阵的生成方法、装置及计算机可读存储介质
CN111259702B (zh) 一种用户兴趣的估计方法及装置
CN112052866A (zh) 一种图像验证方法、装置及计算机可读存储介质
CN109426775B (zh) 一种检测人脸图像中网纹的方法、装置及设备
CN109214271B (zh) 用于重识别的损失函数确定的方法及装置
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
JP2015007919A (ja) 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
CN114998743A (zh) 一种视觉地图点的构建方法、装置、设备及介质
CN115630663A (zh) 一种二维码识别方法、装置及电子设备
CN111401285B (zh) 目标跟踪方法、装置及电子设备
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
CN111951211B (zh) 一种目标检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination