CN108805903B - 一种基于ar引擎的多标记点识别方法和装置 - Google Patents

一种基于ar引擎的多标记点识别方法和装置 Download PDF

Info

Publication number
CN108805903B
CN108805903B CN201810513010.3A CN201810513010A CN108805903B CN 108805903 B CN108805903 B CN 108805903B CN 201810513010 A CN201810513010 A CN 201810513010A CN 108805903 B CN108805903 B CN 108805903B
Authority
CN
China
Prior art keywords
identification information
transformation matrix
target
image frame
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810513010.3A
Other languages
English (en)
Other versions
CN108805903A (zh
Inventor
闫宏伟
赫伽宁
后国超
侯晓明
韩苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fly Vr Co ltd
Original Assignee
Fly Vr Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fly Vr Co ltd filed Critical Fly Vr Co ltd
Priority to CN201810513010.3A priority Critical patent/CN108805903B/zh
Publication of CN108805903A publication Critical patent/CN108805903A/zh
Application granted granted Critical
Publication of CN108805903B publication Critical patent/CN108805903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种基于AR引擎的多标记点识别方法和装置，包括：获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合；对标识信息集合进行去重处理，得到目标标识信息集合；基于目标标识信息集合对标记点中的可见标记点进行标记，并计算可见标记点的变换矩阵，得到第一变换矩阵集；获取多个待识别图像帧中第二图像帧相对应的第二变换矩阵集；将第二变换矩阵集与第一变换矩阵集进行去重处理，得到目标变换矩阵集，以上报目标变换矩阵集进行后续的操作。本发明解决了现有技术中对标记点的变换矩阵进行上报时仅上报通过选举方式得到的最优标记点的变换矩阵导致的多特征标记点识别缓慢、以及一些标记点无法识别的技术问题。

Description

一种基于AR引擎的多标记点识别方法和装置
技术领域
本发明增强现实技术领域，尤其是涉及一种基于AR引擎的多标记点识别方法和装置。
背景技术
开源AR(Augmented Reality，增强现实技术)引擎ARToolKit(AR软件开发工具包)在追踪标记点(Marker)的过程中，存在一些缺陷，致使AR技术呈现的效果差，难于投入实际商用产品中。
ARToolKit在识别多个特征点跟踪标记(Natural Feature Tracking marker，NFTmarker)时从关键点匹配(Key Points Matching，KPM)算法到迭代最近点算法(Iterative Closest Point，ICP)计算变换矩阵，再到Marker变换矩阵上报过程都是以选举方式得到最优Marker的方式，这使得多NFTmarker识别速度非常慢。一些情况下，场景中的部分Marker始终在选举过程中失败，导致在有其他Marker的情况下一直无法识别。
针对以上问题，还未提出有效解决方案。
发明内容
有鉴于此，本发明的目的在于提供一种基于AR引擎的多标记点识别方法和装置，以解决现有技术中对标记点的变换矩阵进行上报时仅上报通过选举方式得到的最优标记点的变换矩阵导致的多特征标记点识别缓慢、以及一些标记点无法识别的技术问题。
根据本发明实施例提供了一种基于AR引擎的多标记点识别方法，包括：获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合，其中，所述标识信息集合中包括多个标识信息，每个标识信息用于表征对应的标记点在所述第一图像帧中的位置；对所述标识信息集合进行去重处理，得到目标标识信息集合；基于所述目标标识信息集合对所述标记点中的可见标记点进行标记，并计算所述可见标记点的变换矩阵，得到第一变换矩阵集；获取所述多个待识别图像帧中第二图像帧相对应的第二变换矩阵集，其中，所述第二图像帧为所述第一图像帧的前一图像帧；将所述第二变换矩阵集与所述第一变换矩阵集进行去重处理，得到目标变换矩阵集，进而上报所述目标变换矩阵集进行后续的操作。
进一步地，获取多个待识别图像帧中第一图像帧中各个标记点的标识信息集合包括：提取所述第一图像帧的特征点；基于关键点匹配算法将所述特征点与预设标记点集合进行比对，以确定所述第一图像帧中是否存在所述标记点，其中，所述标记点为一个或多个；如果存在所述标记点，则确定所述第一图像帧中所述标记点所对应的标识信息，得到所述标识信息集合。
进一步地，对所述标识信息集合去重处理，目标标识信息集合包括：将所述标识信息集合中的标识信息Ai与其他标识信息进行比较，其中，标识信息Ai为所述标识信息集合中的第i个标识信息，i依次取1至N，N为所述标识信息集合中的标识信息的数量，所述其他标识信息为所述标识信息集合中除所述标识信息Ai之外的全部标识信息；基于比较结果确定所述其他标识信息中是否存在与所述标识信息Ai重复的目标标识信息；如果存在，则从所述标识信息Ai和所述目标标识信息中选一个标识信息保留，其中，保留的标识信息为通过关键点匹配算法得到的错误值最小的所述标记点的所述标识信息。
进一步地，基于比较结果确定所述其他标识信息中是否存在与所述标识信息Ai重复的目标标识信息包括：如果比较结果为所述标识信息Ai所对应的坐标值与所述其他标识信息中的标识信息Aj所对应的坐标值之间的距离小于第一预设阈值，则确定所述标识信息Ai与所述标识信息Aj重复，并将所述标识信息Aj确定为所述目标标识信息。
进一步地，在从所述标识信息Ai和所述目标标识信息中选一个标识信息保留之后，如果所述标识信息集合中的标识信息Ai+1被删除，且所述标识信息Ai+2未被删除，则将所述标识信息Ai+2作为所述标识信息Ai，返回执行将所述标识信息集合中的标识信息Ai与其他标识信息进行比较的步骤。
进一步地，将所述第二变换矩阵集与所述第一变换矩阵集进行去重处理，得到目标变换矩阵集包括：将所述第二变换矩阵集中的变换矩阵Bx分别与所述第一变换矩阵集中的每个变换矩阵进行比较，其中，变换矩阵Bx为所述第二变换矩阵集中的第x个变换矩阵，x依次取1至M，M为所述第二变换矩阵集中的变换矩阵的数量；基于比较结果确定所述第一变换矩阵集中是否存在与所述变换矩阵Bx重复的目标变换矩阵；如果存在，则从所述变换矩阵Bx和所述目标变换矩阵中选一个变换矩阵保留，其中，保留的变换矩阵为通过迭代最近点算法计算得到的错误值最小的变换矩阵。
进一步地，基于比较结果确定所述第一变换矩阵集中是否存在与所述变换矩阵Bx重复的目标变换矩阵包括：如果比较结果为所述变换矩阵Bx所对应的坐标值与所述第一变换矩阵集中的变换矩阵By所对应的坐标值之间的距离小于第二预设阈值，则确定所述变换矩阵Bx与所述变换矩阵By重复，并将所述变换矩阵By确定为所述目标变换矩阵。
根据本发明实施例还提供了一种基于AR引擎的多标记点识别装置，包括：第一获取模块，用于获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合，其中，所述标识信息集合中包括多个标识信息，每个标识信息用于表征对应的标记点在所述第一图像帧中的位置；第一处理模块，用于对所述标识信息集合进行去重处理，得到目标标识信息集合；计算模块，用于基于所述目标标识信息集合对所述标记点中的可见标记点进行标记，并计算所述可见标记点的变换矩阵，得到第一变换矩阵集；第二获取模块，用于获取所述多个待识别图像帧中第二图像帧相对应的第二变换矩阵集，其中，所述第二图像帧为所述第一图像帧的前一图像帧；第二处理模块，用于将所述第二变换矩阵集与所述第一变换矩阵集进行去重处理，得到目标变换矩阵集，进而上报所述目标变换矩阵集进行后续的操作。
进一步地，第一获取模块包括：提取单元，用于提取所述第一图像帧的特征点；比对单元，用于基于关键点匹配算法将所述特征点与预设标记点集合进行比对，以确定所述第一图像帧中存在有所述标记点，其中，所述标记点为一个或多个；第一确定单元，用于如果存在所述标记点，则确定所述第一图像帧中所述标记点所对应的标识信息，得到所述标识信息集合。
进一步地，第一处理模块包括：第一比较单元，用于将所述标识信息集合中的标识信息Ai与其他标识信息进行比较，其中，标识信息Ai为所述标识信息集合中的第i个标识信息，i依次取1至N，N为所述标识信息集合中的标识信息的数量，所述其他标识信息为所述标识信息集合中除所述标识信息Ai之外的全部标识信息；第二确定单元，用于基于比较结果确定所述其他标识信息中是否存在与所述标识信息Ai重复的目标标识信息；第一保留单元，用于如果存在，则从所述标识信息Ai和所述目标标识信息中选一个标识信息保留，其中，保留的标识信息为通过关键点匹配算法得到的错误值最小的所述标记点的所述标识信息。
本发明实施例提供了一种基于AR引擎的多标记点识别方法和装置，包括：获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合；对标识信息集合进行去重处理，得到目标标识信息集合；基于目标标识信息集合对标记点中的可见标记点进行标记，并计算可见标记点的变换矩阵，得到第一变换矩阵集；获取多个待识别图像帧中第二图像帧相对应的第二变换矩阵集；将第二变换矩阵集与第一变换矩阵集进行去重处理，得到目标变换矩阵集，以上报目标变换矩阵集进行后续的操作。本发明通过将所有检测到的标记点的ID进行集合，并通过两次去重处理以及迭代最近点算法得到最终上报的变换矩阵集，达到了防止标记点缺失的目的，解决了现有技术中对标记点的变换矩阵进行上报时仅上报通过选举方式得到的最优标记点的变换矩阵导致的多特征标记点识别缓慢、以及一些标记点无法识别的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例提供的一种基于AR引擎的多标记点识别方法的流程图；
图2是根据本发明实施例提供的一种可选的基于AR引擎的多标记点识别方法中步骤S102的流程图；
图3是根据本发明实施例提供的一种可选的基于AR引擎的多标记点识别方法中步骤S104的流程图；
图4是根据本发明实施例提供的一种基于AR引擎的多标记点识别装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1为根据本发明实施例提供的一种基于AR引擎的多标记点识别方法的流程图。如图1所示，该方法包括如下步骤：
步骤S102，获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合，其中，标识信息集合中包括多个标识信息，每个标识信息用于表征对应的标记点在第一图像帧中的位置；
步骤S104，对标识信息集合进行去重处理，得到目标标识信息集合；
步骤S106，基于目标标识信息集合对标记点中的可见标记点进行标记，并计算可见标记点的变换矩阵，得到第一变换矩阵集；
步骤S108，获取多个待识别图像帧中第二图像帧相对应的第二变换矩阵集，其中，第二图像帧为第一图像帧的前一图像帧；
步骤S110，将第二变换矩阵集与第一变换矩阵集进行去重处理，得到目标变换矩阵集，进而上报目标变换矩阵集进行后续的操作。
本发明实施例提供了一种基于AR引擎的多标记点识别方法和装置，包括：获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合；对标识信息集合进行去重处理，得到目标标识信息集合；基于目标标识信息集合对标记点中的可见标记点进行标记，并计算可见标记点的变换矩阵，得到第一变换矩阵集；获取多个待识别图像帧中第二图像帧相对应的第二变换矩阵集；将第二变换矩阵集与第一变换矩阵集进行去重处理，得到目标变换矩阵集，以上报目标变换矩阵集进行后续的操作。本发明通过将所有检测到的标记点的ID进行集合，并通过两次去重处理以及迭代最近点算法得到最终上报的变换矩阵集，达到了防止标记点缺失的目的，解决了现有技术中对标记点的变换矩阵进行上报时仅上报通过选举方式得到的最优标记点的变换矩阵导致的多特征标记点识别缓慢、以及一些标记点无法识别的技术问题。
需要说明的是，在本发明实施例中，是通过迭代最近点算法(Iterative ClosestPoint，ICP)来计算可见标记点的变换矩阵的。
图2是根据本发明实施例提供的一种可选的基于AR引擎的多标记点识别方法中步骤S102的流程图。
在一个可选的实施方式中，如图2所示，步骤S102，获取多个待识别图像帧中第一图像帧中各个标记点的标识信息集合包括如下步骤：
步骤S1021，提取第一图像帧的特征点；
步骤S1022，基于关键点匹配算法将特征点与预设标记点集合进行比对，以确定第一图像帧中是否存在标记点，其中，标记点为一个或多个；
步骤S1023，如果存在标记点，则确定第一图像帧中标记点所对应的标识信息，得到标识信息集合。
在本发明实施例中，当有一段待识别视频图像输入时，由于视频图像是一帧一帧组成的，因而将该待识别视频图像看作有多个待识别图像帧。首先提取多个待识别图像帧中第一图像帧的特征点，然后利用关键点匹配算法(Key Points Matching，KPM)将提取出的特征点与预设标记点(Marker)集合进行比对，以确定第一图像帧中是否存在标记点，如果确定出存在，则进一步确定第一图像帧中存在的标记点相对应的标识信息(Marker ID)作为一个集合，即上述标识信息集合，进而利用标识信息集合进行后续的步骤。
图3是根据本发明实施例提供的一种可选的基于AR引擎的多标记点识别方法中步骤S104的流程图。
在另一个可选的实施方式中，步骤S104，对所标识信息集合去重处理，目标标识信息集合包括如下步骤：
步骤S1041，将标识信息集合中的标识信息Ai与其他标识信息进行比较，其中，标识信息Ai为标识信息集合中的第i个标识信息，i依次取1至N，N为标识信息集合中的标识信息的数量，其他标识信息为标识信息集合中除标识信息Ai之外的全部标识信息；
步骤S1042，基于比较结果确定其他标识信息中是否存在与标识信息Ai重复的目标标识信息；
步骤S1043，如果存在，则从标识信息Ai和目标标识信息中选一个标识信息保留，其中，保留的标识信息为通过关键点匹配算法得到的错误值最小的标记点的标识信息。
在本发明实施例中，在得到标识信息集合后，需要对标识信息集合中重复的标识信息进行去重处理。具体方法为：从标识信息集合中的第一个标识信息(即，上述标识信息Ai，i为1)开始，依次与标识信息集合中除第一个标识信息外的其他所有标识信息进行对比；然后基于对比结果确定第一个标识信息和除第一个标识信息外的其他所有标识信息中是否存在重复的标识信息；当确定存在重复的标识信息后，则将与第一个标识信息重复的标识信息确定为目标标识信息，并将第一个标识信息与目标标识信息中通过关键点匹配算法(KPM)得到的错误值最小的标记点的标识信息保留，而将另一个错误值较大的标记点的标识信息删除；然后再用标识信息集合中的第二个标识信息(即，上述标识信息Ai，i为2)与标识信息集合中除第二个标识信息外的其他所有标识信息进行对比，重复上述步骤，直到标识信息集合中没有重复的标识信息为止，完成标识信息集合的去重处理。
可选地，步骤S1042，基于比较结果确定其他标识信息中是否存在与标识信息Ai重复的目标标识信息包括如下步骤：
步骤S1，如果比较结果为标识信息Ai所对应的坐标值与其他标识信息中的标识信息Aj所对应的坐标值之间的距离小于第一预设阈值，则确定标识信息Ai与标识信息Aj重复，并将标识信息Aj确定为目标标识信息。
在本发明实施例中，确定标识信息Ai与除标识信息Ai外的其他标识信息中的标识信息是否重复的方法为：计算标识信息Ai与除标识信息Ai外的其他标识信息，如，标识信息Aj的坐标值之间的距离，并将该距离与第一预设阈值进行比较，该第一预设阈值为预先设置的用于表征两个标识信息是否重复的值。如果比较结果为该距离小于第一预设阈值，则确定标识信息Ai与标识信息Aj重复，进而将标识信息Aj确定为目标标识信息，进行后续的步骤。
可选地，在从标识信息Ai和目标标识信息中选一个标识信息保留之后，如果标识信息集合中的标识信息Ai+1被删除，且标识信息Ai+2未被删除，则将标识信息Ai+2作为标识信息Ai，返回执行将标识信息集合中的标识信息Ai与其他标识信息进行比较的步骤。
在本发明实施例中，如果标识信息A1与标识信息集合中除第一个标识信息A1外的其他标识信息进行比较，确定出标识信息A1与标识信息A2重复，且最终经过关键点匹配算法得到的错误值的判断，删掉了标识信息A2保留了标识信息A1，此时，应当继续执行标识信息A2与除标识信息A2外的其他标识信息进行比较的步骤，但由于标识信息A2已被删除，因此顺延至标识信息A3执行与除标识信息A3外的其他标识信息进行比较的步骤。
在一个可选的实施方式中，步骤S110，将第二变换矩阵集与第一变换矩阵集进行去重处理，得到目标变换矩阵集包括如下步骤：
步骤S1101，将第二变换矩阵集中的变换矩阵Bx分别与第一变换矩阵集中的每个变换矩阵进行比较，其中，变换矩阵Bx为第二变换矩阵集中的第x个变换矩阵，x依次取1至M，M为第二变换矩阵集中的变换矩阵的数量；
步骤S1102，基于比较结果确定第一变换矩阵集中是否存在与变换矩阵Bx重复的目标变换矩阵；
步骤S1103，如果存在，则从变换矩阵Bx和目标变换矩阵中选一个变换矩阵保留，其中，保留的变换矩阵为通过迭代最近点算法计算得到的错误值最小的变换矩阵。
在本发明实施例中，在获取到第一图像帧相对应的第一变换矩阵集后，将第一变换矩阵集作为目标变换矩阵集上报以执行后续的操作，与此同时，多个待识别图像帧中的第二图像帧也在重复执行本发明所提供的基于AR引擎的多标记点识别方法，并得到了与第二图像帧相对应的第二变换矩阵集。此时，需要对第二变换矩阵集与第一变换矩阵集进行去重处理，具体方法为：将第二变换矩阵集中的第一个变换矩阵B1(即，上述变换矩阵Bx，x为1)分别与第一变换矩阵集中的每个变换矩阵进行比较；然后基于对比结果确定第一变换矩阵集中是否存在与变换矩阵B1重复的目标变换矩阵；当确定存在重复的变换矩阵后，则将与变换矩阵B1重复的变换矩阵确定为目标变换矩阵，并将变换矩阵B1与目标变换矩阵中通过迭代最近点算法(ICP)得到的错误值最小的变换矩阵保留，而将另一个错误值较大的变换矩阵删除；然后再用第二变换矩阵集中的第二个变换矩阵(即，上述变换矩阵B2，x为2)与第一变换矩阵集中的每个变换矩阵进行比较，重复上述步骤，直到第二变换矩阵集与第一变换矩阵集中没有重复的变换矩阵为止，完成第二变换矩阵集与第一变换矩阵集的去重处理。
可选地，步骤S1102，基于比较结果确定第一变换矩阵集中是否存在与变换矩阵Bx重复的目标变换矩阵包括：如果比较结果为变换矩阵Bx所对应的坐标值与第一变换矩阵集中的变换矩阵By所对应的坐标值之间的距离小于第二预设阈值，则确定变换矩阵Bx与变换矩阵By重复，并将变换矩阵By确定为目标变换矩阵。
在本发明实施例中，确定第一变换矩阵集中的变换矩阵与变换矩阵Bx是否重复的方法为：计算变换矩阵Bx的坐标值与第一变换矩阵集中的变换矩阵By的坐标值之间的距离，并将该距离与第二预设阈值进行比较，该第二预设阈值为预先设置的用于表征两个变换矩阵是否重复的值。如果比较结果为该距离小于第二预设阈值，则确定变换矩阵Bx与变换矩阵By重复，进而将变换矩阵By确定为目标变换矩阵，进行后续的步骤。
本发明通过将所有检测到的标记点的ID进行集合，并通过两次去重处理以及迭代最近点算法得到最终上报的变换矩阵集，达到了防止标记点缺失的目的，解决了现有技术中对标记点的变换矩阵进行上报时仅上报通过选举方式得到的最优标记点的变换矩阵导致的多特征标记点识别缓慢、以及一些标记点无法识别的技术问题。
实施例二：
本发明实施例还提供了一种基于AR引擎的多标记点识别装置，该基于AR引擎的多标记点识别装置主要用于执行本发明实施例上述内容提供的基于AR引擎的多标记点识别方法，以下对本发明实施例提供的基于AR引擎的多标记点识别装置做具体介绍。
图4是根据本发明实施例提供的一种基于AR引擎的多标记点识别装置的示意图，如图4所示，该装置主要包括：第一获取模块10，第一处理模块20，计算模块30，第二获取模块40，第二处理模块50，其中：
第一获取模块10，用于获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合，其中，标识信息集合中包括多个标识信息，每个标识信息用于表征对应的标记点在第一图像帧中的位置；
第一处理模块20，用于对标识信息集合进行去重处理，得到目标标识信息集合；
计算模块30，用于基于目标标识信息集合对标记点中的可见标记点进行标记，并计算可见标记点的变换矩阵，得到第一变换矩阵集；
第二获取模块40，用于获取多个待识别图像帧中第二图像帧相对应的第二变换矩阵集，其中，第二图像帧为所述第一图像帧的前一图像帧；
第二处理模块50，用于将第二变换矩阵集与第一变换矩阵集进行去重处理，得到目标变换矩阵集，以上报目标变换矩阵集进行后续的操作。
本发明通过将所有检测到的标记点的ID进行集合，并通过两次去重处理以及迭代最近点算法得到最终上报的变换矩阵集，达到了防止标记点缺失的目的，解决了现有技术中对标记点的变换矩阵进行上报时仅上报通过选举方式得到的最优标记点的变换矩阵导致的多特征标记点识别缓慢、以及一些标记点无法识别的技术问题。
可选地，第一获取模块10包括：提取单元，用于提取第一图像帧的特征点；比对单元，用于基于关键点匹配算法将特征点与预设标记点集合进行比对，以确定第一图像帧中存在有所述标记点，其中，标记点为一个或多个；第一确定单元，用于如果存在标记点，则确定第一图像帧中标记点所对应的标识信息，得到标识信息集合。
可选地，第一处理模块20包括：第一比较单元，用于将标识信息集合中的标识信息Ai与其他标识信息进行比较，其中，标识信息Ai为标识信息集合中的第i个标识信息，i依次取1至N，N为标识信息集合中的标识信息的数量，其他标识信息为标识信息集合中除标识信息Ai之外的全部标识信息；第二确定单元，用于基于比较结果确定其他标识信息中是否存在与标识信息Ai重复的目标标识信息；第一保留单元，用于如果存在，则从标识信息Ai和目标标识信息中选一个标识信息保留，其中，保留的标识信息为通过关键点匹配算法得到的错误值最小的标记点的标识信息。
可选地，第二确定单元包括：第一距离比较单元，用于如果比较结果为标识信息Ai所对应的坐标值与其他标识信息中的标识信息Aj所对应的坐标值之间的距离小于第一预设阈值，则确定标识信息Ai与标识信息Aj重复，并将标识信息Aj确定为目标标识信息。
可选地，在从标识信息Ai和目标标识信息中选一个标识信息保留之后，如果标识信息集合中的标识信息Ai+1被删除，且标识信息Ai+2未被删除，则将标识信息Ai+2作为标识信息Ai，返回执行将标识信息集合中的标识信息Ai与其他标识信息进行比较的步骤。
可选地，第二处理模块包括：第二比较单元，用于将第二变换矩阵集中的变换矩阵Bx分别与第一变换矩阵集中的每个变换矩阵进行比较，其中，变换矩阵Bx为第二变换矩阵集中的第x个变换矩阵，x依次取1至M，M为第二变换矩阵集中的变换矩阵的数量；第三确定单元，用于基于比较结果确定第一变换矩阵集中是否存在与变换矩阵Bx重复的目标变换矩阵；第二保留单元，用于如果存在，则从变换矩阵Bx和目标变换矩阵中选一个变换矩阵保留，其中，保留的变换矩阵为通过迭代最近点算法计算得到的错误值最小的变换矩阵。
可选地，第三确定单元包括：第二距离比较单元，用于如果比较结果为变换矩阵Bx所对应的坐标值与第一变换矩阵集中的变换矩阵By所对应的坐标值之间的距离小于第二预设阈值，则确定变换矩阵Bx与变换矩阵By重复，并将变换矩阵By确定为目标变换矩阵。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供的基于AR引擎的多标记点识别方法，与上述实施例提供的基于AR引擎的多标记点识别装置具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于AR引擎的多标记点识别方法，其特征在于，包括：
获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合，其中，所述标识信息集合中包括多个标识信息，每个标识信息用于表征对应的标记点在所述第一图像帧中的位置；
对所述标识信息集合进行去重处理，得到目标标识信息集合；
基于所述目标标识信息集合对所述标记点中的可见标记点进行标记，并计算所述可见标记点的变换矩阵，得到第一变换矩阵集；
获取所述多个待识别图像帧中第二图像帧相对应的第二变换矩阵集，其中，所述第二图像帧为所述第一图像帧的前一图像帧；
将所述第二变换矩阵集与所述第一变换矩阵集进行去重处理，得到目标变换矩阵集，进而上报所述目标变换矩阵集进行后续的操作。
2.根据权利要求1所述的方法，其特征在于，获取多个待识别图像帧中第一图像帧中各个标记点的标识信息集合包括：
提取所述第一图像帧的特征点；
基于关键点匹配算法将所述特征点与预设标记点集合进行比对，以确定所述第一图像帧中是否存在所述标记点，其中，所述标记点为一个或多个；
如果存在所述标记点，则确定所述第一图像帧中所述标记点所对应的标识信息，得到所述标识信息集合。
3.根据权利要求1所述的方法，其特征在于，对所述标识信息集合进行去重处理，得到目标标识信息集合的步骤，包括：
将所述标识信息集合中的标识信息Ai与其他标识信息进行比较，其中，标识信息Ai为所述标识信息集合中的第i个标识信息，i依次取1至N，N为所述标识信息集合中的标识信息的数量，所述其他标识信息为所述标识信息集合中除所述标识信息Ai之外的全部标识信息；
基于比较结果确定所述其他标识信息中是否存在与所述标识信息Ai重复的目标标识信息；
如果存在，则从所述标识信息Ai和所述目标标识信息中选一个标识信息保留，其中，保留的标识信息为通过关键点匹配算法得到的错误值最小的所述标记点的所述标识信息。
4.根据权利要求3所述的方法，其特征在于，基于比较结果确定所述其他标识信息中是否存在与所述标识信息Ai重复的目标标识信息包括：
如果比较结果为所述标识信息Ai所对应的坐标值与所述其他标识信息中的标识信息Aj所对应的坐标值之间的距离小于第一预设阈值，则确定所述标识信息Ai与所述标识信息Aj重复，并将所述标识信息Aj确定为所述目标标识信息。
5.根据权利要求3所述的方法，其特征在于，在从所述标识信息Ai和所述目标标识信息中选一个标识信息保留之后，如果所述标识信息集合中的标识信息A(i+1)被删除，且所述标识信息A(i+2)未被删除，则将所述标识信息A(i+2)作为所述标识信息Ai，返回执行将所述标识信息集合中的标识信息Ai与其他标识信息进行比较的步骤。
6.根据权利要求1所述的方法，其特征在于，将所述第二变换矩阵集与所述第一变换矩阵集进行去重处理，得到目标变换矩阵集包括：
将所述第二变换矩阵集中的变换矩阵Bx分别与所述第一变换矩阵集中的每个变换矩阵进行比较，其中，变换矩阵Bx为所述第二变换矩阵集中的第x个变换矩阵，x依次取1至M，M为所述第二变换矩阵集中的变换矩阵的数量；
基于比较结果确定所述第一变换矩阵集中是否存在与所述变换矩阵Bx重复的目标变换矩阵；
如果存在，则从所述变换矩阵Bx和所述目标变换矩阵中选一个变换矩阵保留，其中，保留的变换矩阵为通过迭代最近点算法计算得到的错误值最小的变换矩阵。
7.根据权利要求6所述的方法，其特征在于，基于比较结果确定所述第一变换矩阵集中是否存在与所述变换矩阵Bx重复的目标变换矩阵包括：
如果比较结果为所述变换矩阵Bx所对应的坐标值与所述第一变换矩阵集中的变换矩阵By所对应的坐标值之间的距离小于第二预设阈值，则确定所述变换矩阵Bx与所述变换矩阵By重复，并将所述变换矩阵By确定为所述目标变换矩阵。
8.一种基于AR引擎的多标记点识别装置，其特征在于，包括：
第一获取模块，用于获取多个待识别图像帧中第一图像帧中各个识别标记点的标识信息集合，其中，所述标识信息集合中包括多个标识信息，每个标识信息用于表征对应的标记点在所述第一图像帧中的位置；
第一处理模块，用于对所述标识信息集合进行去重处理，得到目标标识信息集合；
计算模块，用于基于所述目标标识信息集合对所述标记点中的可见标记点进行标记，并计算所述可见标记点的变换矩阵，得到第一变换矩阵集；
第二获取模块，用于获取所述多个待识别图像帧中第二图像帧相对应的第二变换矩阵集，其中，所述第二图像帧为所述第一图像帧的前一图像帧；
第二处理模块，用于将所述第二变换矩阵集与所述第一变换矩阵集进行去重处理，得到目标变换矩阵集，进而上报所述目标变换矩阵集进行后续的操作。
9.根据权利要求8所述的装置，其特征在于，第一获取模块包括：
提取单元，用于提取所述第一图像帧的特征点；
比对单元，用于基于关键点匹配算法将所述特征点与预设标记点集合进行比对，以确定所述第一图像帧中存在有所述标记点，其中，所述标记点为一个或多个；
第一确定单元，用于如果存在所述标记点，则确定所述第一图像帧中所述标记点所对应的标识信息，进而得到所述标识信息集合。
10.根据权利要求8所述的装置，其特征在于，第一处理模块包括：
第一比较单元，用于将所述标识信息集合中的标识信息Ai与其他标识信息进行比较，其中，标识信息Ai为所述标识信息集合中的第i个标识信息，i依次取1至N，N为所述标识信息集合中的标识信息的数量，所述其他标识信息为所述标识信息集合中除所述标识信息Ai之外的全部标识信息；
第二确定单元，用于基于比较结果确定所述其他标识信息中是否存在与所述标识信息Ai重复的目标标识信息；
第一保留单元，用于如果存在，则从所述标识信息Ai和所述目标标识信息中选一个标识信息保留，其中，保留的标识信息为通过关键点匹配算法得到的错误值最小的所述标记点的所述标识信息。
CN201810513010.3A 2018-05-24 2018-05-24 一种基于ar引擎的多标记点识别方法和装置 Active CN108805903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810513010.3A CN108805903B (zh) 2018-05-24 2018-05-24 一种基于ar引擎的多标记点识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810513010.3A CN108805903B (zh) 2018-05-24 2018-05-24 一种基于ar引擎的多标记点识别方法和装置

Publications (2)

Publication Number Publication Date
CN108805903A CN108805903A (zh) 2018-11-13
CN108805903B true CN108805903B (zh) 2021-07-27

Family

ID=64091760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810513010.3A Active CN108805903B (zh) 2018-05-24 2018-05-24 一种基于ar引擎的多标记点识别方法和装置

Country Status (1)

Country Link
CN (1) CN108805903B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767912B (zh) * 2020-07-02 2023-09-05 深圳市瑞立视多媒体科技有限公司 标记点识别方法、装置、设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177468A (zh) * 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100470452C (zh) * 2006-07-07 2009-03-18 华为技术有限公司 一种实现三维增强现实的方法及系统
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
CN103561065B (zh) * 2013-10-22 2017-05-24 深圳市优逸电子科技有限公司 一种利用移动终端实现3d虚拟广告的系统及其方法
CN103903013A (zh) * 2014-04-15 2014-07-02 复旦大学 一种无标记平面物体识别的优化算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177468A (zh) * 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法

Also Published As

Publication number Publication date
CN108805903A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
WO2020181872A1 (zh) 一种物体检测方法、装置及电子设备
WO2020024744A1 (zh) 一种图像特征点检测方法、终端设备及存储介质
CN109376256B (zh) 图像搜索方法及装置
KR101456757B1 (ko) ＳＱＬｉｔｅ 데이터베이스에서 삭제된 데이터의 복원 방법 및 장치
CN106407920B (zh) 指纹图像的条纹噪声消除方法
US20170323149A1 (en) Rotation invariant object detection
WO2013104432A1 (en) Detecting video copies
CN107451156A (zh) 一种图像再识别方法及识别装置
CN111177436A (zh) 一种人脸特征检索方法、装置及设备
CN109508571B (zh) 一种条空定位方法、装置、电子设备及存储介质
CN108805903B (zh) 一种基于ar引擎的多标记点识别方法和装置
CN110083731B (zh) 图像检索方法、装置、计算机设备及存储介质
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
CN117115117B (zh) 基于小样本下的病理图像识别方法、电子设备及存储介质
JP2017022690A (ja) 断片化されたｊｐｅｇ画像を再構成する際に使用する方法および装置
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备
CN109919164B (zh) 用户界面对象的识别方法及装置
CN111179304B (zh) 目标关联方法、装置和计算机可读存储介质
CN110163029B (zh) 一种图像识别方法、电子设备以及计算机可读存储介质
CN109508408B (zh) 一种基于帧密度的视频检索方法及计算机可读存储介质
CN115171058A (zh) 目标车辆的轨迹追踪方法、设备及存储介质
CN112233153A (zh) 图像匹配方法、装置、电子设备及存储介质
CN115391596A (zh) 视频档案生成方法、装置及存储介质
CN114708264A (zh) 一种光斑质量判别方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant