CN114240981A - 标记识别方法及装置 - Google Patents
标记识别方法及装置 Download PDFInfo
- Publication number
- CN114240981A CN114240981A CN202111388107.4A CN202111388107A CN114240981A CN 114240981 A CN114240981 A CN 114240981A CN 202111388107 A CN202111388107 A CN 202111388107A CN 114240981 A CN114240981 A CN 114240981A
- Authority
- CN
- China
- Prior art keywords
- mark
- image
- feature points
- points
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000003550 marker Substances 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000012790 confirmation Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种标记识别方法及装置，涉及图像处理技术领域。该方法包括：获取包含现实环境中的标记的标记图像；获取标记图像中目标数量的角点；基于目标数量的角点，从标记图像中确定标记所在的区域；基于预先训练的关键点检测模型，提取标记所在的区域对应的图像中的多个图像特征点；获取多个图像特征点的种类，基于多个图像特征点以及图像特征点的种类，对标记进行识别，得到识别结果，识别结果用于对标记的追踪及定位。如此，可以更准确地确定标记所在的区域，以及获取到更多的图像特征点，并结合图像特征点的类型，对标记进行识别，可以获取到标记更高的姿态精度，同时也大大提高了标记识别的鲁棒性。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种标记识别方法及装置。
背景技术
基准标记是为自动检测而设计的人工视觉特征。在相关技术中，为了实现对物体的识别定位跟踪，通常在相应的物体上设置对应包含基准标记，通过对应基准标记识别定位，进而获取到物体的身份和位姿信息。
在相关技术中，一般是基于边缘检测和图像二值化，对基准标记进行关键点提取，再基于所提取到的关键点识别基准标记的身份和位姿信息。但是，通过该方式识别到的位姿信息的存在精度较差的问题。
发明内容
有鉴于此，本申请提出了一种标记识别方法及装置。
第一方面，本申请实施例提供了一种标记识别方法，所述方法包括：获取包含现实环境中的标记的标记图像；获取所述标记图像中目标数量的角点；基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域；基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点；获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定；基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，所述识别结果用于对所述标记的追踪及定位。
第二方面，本申请实施例提供了一种标记识别装置，所述装置包括：图像获取模块、角点获取模块、区域确定模块、特征点提取模块、种类获取模块以及标记识别模块。图像获取模块，用于获取包含现实环境中的标记的标记图像；角点获取模块，用于获取所述标记图像中目标数量的角点；区域确定模块，用于基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域；特征点提取模块，用于基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点；种类获取模块，用于获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定；标记识别模块，用于基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，所述识别结果用于对所述标记的追踪及定位。
第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行第一方面提供的标记识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行第一方面提供的标记识别方法。
本申请提供的方案中，获取包含现实环境中的标记的标记图像；获取标记图像中目标数量的角点；基于目标数量的角点，从标记图像中确定标记所在的区域；基于预先训练的关键点检测模型，提取标记所在的区域对应的图像中的多个图像特征点；获取多个图像特征点的种类，所种类的数量是基于标记的标记类型确定；基于多个图像特征点以及图像特征点的种类，对标记进行识别，得到识别结果，识别结果用于对标记的追踪及定位。如此，通过获取标记图像中的角点，来确定标记所在的区域，可以实现更加准确且快速地确定标记所在的区域；基于此，可以提取到更多更为密集的图像特征点，实现了更高的姿态精度；并且结合图像特征点的种类，对标记进行识别，也大大提高了标记识别的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的标记识别方法的流程示意图。
图2示出了本申请实施例提供的基准标记的示意图。
图3示出了本申请实施例提供的识别流程示意图。
图4示出了图2所示步骤S260在一种实施方式中的子步骤流程示意图。
图5示出了本申请再一实施例提供的标记识别方法的流程示意图。
图6示出了本申请一实施例提供的标记的关键特征点的示意图。
图7示出了本申请另一实施例提供的标记的关键特征点的示意图。
图8示出了本申请再又一实施例提供的标记识别方法的流程示意图。
图9示出了本申请一实施例提供的标记的局部图案的示意图。
图10示出了本申请又再一实施例提供的标记识别方法的流程示意图。
图11示出了本申请一实施例提供的RuneTag标记的图像特征点的示意图。
图12示出了本申请另一实施例提供的RuneTag标记的图像特征点的示意图。
图13示出了本申请一实施例提供的TopoTag标记的图像特征点的示意图。
图14示出了本申请另一实施例提供的TopoTag标记的图像特征点的示意图。
图15示出了本申请一实施例提供的AprilTag标记的图像特征点的示意图。
图16示出了本申请另一实施例提供的AprilTag标记的图像特征点的示意图。
图17是根据本申请另一实施例提供的一种标记识别装置的框图。
图18是本申请实施例的用于执行根据本申请实施例的标记识别方法的计算机设备的框图。
图19是本申请实施例的用于保存或者携带实现根据本申请实施例的标记识别方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在相关技术中，一般是基于边缘检测和图像二值化，对基准标记进行关键点提取，再基于所提取到的关键点识别基准标记的身份和位姿信息。但时，通过该方式识别到的位姿信息的存在精度较差的问题。
针对上述问题，发明人提出一种标记识别方法及装置，可以由计算机设备基于标记图像中的角点，确定标记图像中标记所在的区域；并提取多个图像特征点，并基于多个图像特征点的种类对标记进行识别，得到标记识别结果。下面对该内容进行详细描述。
请参照图1，图1为本申请一实施例提供的一种标记识别方法的流程示意图。下面将结合图1对本申请实施例提供的标记识别方法进行详细阐述。该标记识别方法可以包括以下步骤：
步骤S210：获取包含现实环境中的标记的标记图像。
在本实施例中，标记为预先设置的基准标记，在增强现实、手持设备的用户姿态输入、机器人导航等应用中，可以对标记进行打印，并将打印出的标记放置于现实环境的场景中，进而可以通过获取现实环境中包含该标记的标记图像，通过对标记图像中的标记进行身份识别以及位姿识别，进而实现对标记的追踪及定位。其中，基准标记相较于无标记设计的自然物体，在计算机视觉方面，可以提供数量更多且具可靠性的特征信息，提高追踪及定位的准确性。其中，获取标记图像的方式可以是计算机设备通过自身配置的图像采集装置采集得到；也可以通过与外部的图像采集装置建立通信连接，由外部的图像采集装置对现实环境进行图像采集，并将采集的图像发送至计算机设备，本实施例对此不作限制。
其中，基准标记包括但不限于图2所示的ARToolkitPlus、Augmented RealityUniversity of Cordoba(Aruco)Tag、AprilTag、TopoTag以及RuneTag等5种标记。在现有技术中，一般是通过边缘检测、斑点检测或图像二值化等传统的图像处理技术，对标记进行检测。但是，前述传统的图像处理技术仅能支持较为简单的基准标记，针对如图2中的ARToolkitPlus、Aruco以及AprilTag这类使用黑白棋盘外观的标记，通过边缘检测和分析直线检测其四边形边界、通过小区域的二值化来解码以及使用标记的四个角估计标记的姿态信息，准确性较差，尤其是在包含标记的标记图像存在噪声或运动模糊的情况下，进而导致对标记的识别结果准确；针对图2中的TopoTag这类标记，棋盘布局中每个区域代表一个关键点和一个位(如编码位1或编码位0)，但是，由于该类标记外观的简单性，使得标记需要具有旋转不对称性，以保证标记的唯一性，同时避免姿态模糊，如此，导致了标记的存在局限性同时导致编码系统的设计变得更为复杂；以及，针对图2中的RuneTag这类标记，其关键点分布不规则，进而导致每个关键点对应的位元被错位解码，也会降低对标记的识别结果的准确性。可知，现有技术中的标记的外观设计一般都为黑白颜色且形状较为简单，导致标记与环境元素混淆的可能性增大，进而增加标记识别的难度，同时也降低了标记识别结果的准确性。
基于此，在本实施例中，提供了针对基准标记的DeepTag通用框架，DeepTag通用框架可以用于检测上述现有技术中的具有简单外观的基准标记，并且定义更为密集的关键点，从而获取针对标记的更高的姿态精度，利用亚像素信息，也大大提高了标记检测的鲁棒性；同时，提供更为复杂的局部图案，用于设计新的较为复杂的基准标记，以降低标记与现实环境中环境元素混淆的可能性，降低标记识别难度，提高了标记识别结果的准确性；并且，DeepTag通用框架采用的自下而上的方式检测标记，基于Single Shot MultiboxDetector(SSD)算法，使用单个卷积网络来预测标记的边界框及其类概率，从局部形状中回归关键点和数字符号，没有利用传统的低阶图像处理技术检测边缘或斑点，重新采样像素或特征的边界框假设，实现更快的计算速度，提高了标记识别的效率以及准确性。
步骤S220：获取所述标记图像中目标数量的角点。
在本实施例中，角点就是极值点，可以理解为在某方面属性特别突出的点，针对图像而言，角点可以理解为图像中梯度值和梯度方向的变化速率都很高的点，也可以理解为图像两条或两条以上边缘的交点，即物体轮廓线的连接点。基于此，在获取到现实环境中包含标记的标记图像后，可以通过提取标记图像中的目标数量的角点来确定标记所在的区域，也就是说，通过提取标记的轮廓线的连接点，来确定该标记所在的区域。其中，目标数量可以是预先设置的，也可以根据不同的应用场景对其进行调整，本实施例对此不作限制；提取标记图像中的角点可以通过多种检测算法来提取，检测算法包括但不限于基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测等。
由于角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量，使其信息的含量很高，有效地提高了计算的速度；并且即使拍摄标记图像的视角发生变化，由于角点具备稳定性质的特征，仍可以保证基于角点确定的标记所在区域的准确性。
步骤S230：基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域。
在本实施例中，由于角点检测算法可能存在一定误差，导致获取到的目标数量的角点可能并非完全是标记的轮廓曲线上的角点，可能同时包括了现实环境中其他物体的轮廓曲线上的角点。因此，可以进一步基于目标数量的角点，从标记图像中确定标记所在的区域。
具体地，获取目标数量的角点中每个角点与预设区域的边界框之间的关联度，以及获取每个角点指向标记中心的方向向量与预设方向向量之间的夹角余弦值；判断每个角点与预设区域的边界框值之间的关联度是否小于预设关联度，且每个角点指向标记中心的方向向量与预设方向向量之间的夹角余弦值是否大于预设数值；若否，则获取不满足上述判断条件的角点作为不合格角点，并将不合格角点从目标数量的角点中筛除，得到多个合格角点；基于多个合格角点，确定所述标记所在的区域。
具体地，获取标记图像中的角点，并基于角点确定标记所在的区域，即为如图3所示的阶段1，对标记图像进行感兴趣区域(region of interest，ROI)检测，可以预先训练ROI检测模型，在实际应用中，即可直接调用预先训练的ROI检测模型，对标记图像中标记所在的区域进行检测，即检测标记的ROI。
在本实施例中，基于单级多框预测器(The Single Shot Detector，SSD)和单尺度预测器，对ROI检测模型进行训练。其中，SSD的核心是使用应用于特征映射的小卷积滤波器来预测固定的一组默认边界框的类别分数和框偏移量，生成固定大小的边界框集合以及在这些框中存在对象类实例的分数，可以将该分数作为置信度。首先，可以通过基于大量的训练样本，对分类器进行训练直至满足预设条件，其中，预设条件可以为：总损失值小于预设值、总损失值不再变化、或者训练次数达到预设次数等；训练样本包括正样本和负样本，正样本为包括各种标记的图像，负样本为未包含标记的图像。可以理解的，在根据大量的训练样本对分类器进行多个训练周期的迭代训练后，其中，每个训练周期包括多次的迭代训练，不断对参数进行优化，使得上述总损失值越来越小，最后变小为一个固定值，或者小于以上预设值，此时，则表示初始模型已收敛；当然也可以是在训练次数达到预设次数后，确定初始模型已经收敛，此时，则可以将初始模型中的分类器作为用于检测标记ROI的ROI检测模型。其中，预设值以及预设次数均为预先设置的，也可以根据不同的应用场景对其数值进行调整，本实施例对此不作限制。
其中，在ROI检测阶段的总损失函数为SSD预测器的损失、单尺度预测器的损失以及掩模损失的和值，总损失函数LROI可以通过以下公式计算：
LROI＝Lbox+Lcorner+Lmask
其中，Lbox代表SSD预测器的损失，即预测标记的边界时的损失，Lcorner代表单尺度预测器的损失，即预测角点的损失，Lmask代表掩模损失。
Lbox可以通过以下公式计算：
N为匹配的边框的总数量，Lconf(c(b))为预测边框的softmax损失值。其中，softmax损失值可以通过以下公式计算：
其中，
代表预测相对于anchor的偏移量，可以通过以下公式表示：
l可以代表边界框的定位，l可以通过中心(lcx,lcy)和尺寸(lw,lh)进行表示,lcx代表中心点的横坐标，lcy代表中心点的纵坐标，lw代表宽度，lh代表长度。
Lcorner可以通过以下公式计算：
N为匹配的角点的总数量，Lconf(c(p))为预测角点的softmax损失值，
为预测数据
与真实数据
之间的平滑损失。其中，预测数据g和真实数据之间的g*之间的平滑损失可以通过以下公式计算：
可以表示预测角点
到默认角点P(d)的偏移量，
可以通过以下公式进行表示：
为了数值稳定性，将一个规格化二维向量
表示为以下冗余形式:
其中，
为无序角点
指向标记中心的方向向量。
Lmask可以通过以下公式计算：
M代表预测掩模，
代表真实掩模。
其中，给定大小为h×w的输入图像，特征X0使用MobileNet骨干编码器和残差块提取空间维数h/8×w/8。MobileNet比VGG-16更高效，因为它使用了深度可分离卷积，在保留特征提取能力的同时降低了计算复杂度。由于基准标记由简单的小形状组成，在高级目标检测之前先提取中级特征。二通道掩模M，大小为h/8×w/8×2，表示标记和背景的分割X0有几个卷积层。然后骨干特征X0和掩模M连接为中间特征X1.两个预测器分别用于预测边界框和角点。
在一些实施方式中，所述标记所在的区域为目标区域，当所述目标区域的数量为多个时，获取多个目标区域中每个目标区域的置信度，得到多个置信度；获取所述多个置信度中最大的置信度对应的目标区域，作为所述标记所在的区域。如此，置信度越高，表征获取到的目标区域与标记的实际边框所包含的区域越一致，因此，通过获取置信度最大的目标区域作为标记所在的区域，可以提高标记确定的准确性。
在另一些实施方式中，所述标记所在的区域为目标区域，当所述目标区域的数量为多个时，获取多个目标区域中每个目标区域的置信度；基于所述每个目标区域的置信度，判断所述多个目标区域中是否存在目标数量的待选区域，所述待选区域的置信度大于预设置信度，所述目标数量为至少两个；若存在，则获取所述目标数量的待选区域的坐标信息的均值，作为目标坐标信息；获取所述目标坐标信息对应的区域，作为所述标记所在的区域。如此，当同时存在多个较大的置信度时，获取多个较大置信度对应的目标区域的坐标信息的均值，并将该均值坐标信息作为标记所在的区域，可以防止计算机设备在多个待选区域之间来回选择切换，导致无法准确确定出标记所在的区域，进而导致标记后续的识别不准确。
步骤S240：基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点。
在本实施例中，也可以通过预先训练的关键点检测模型，提取已确定标记所在的区域对应的图像中的多个图像特征点，即为如图3所示的阶段2。其中，关键点检测模型也是基于单标度锚定预测器来预测的，给定一个大小为w×w的输入图像，定位点排列成w/8×w/8的网格。另一方面，模板预测器采用中间特征作为输入，并估计
采用2×2个锚的单尺度方法。具体训练过程可以参阅前述实施例中的内容，在此不再赘述。
其中，在关键点检测阶段的总损失函数Ldetect可以通过以下公式计算：
Ldetect＝Lkeypoint+Ltemplate+Lmask
其中，Lmask表示前述的掩模损失，Lkeypoint表示单标度锚定预测器的损失，Ltemplate表示模板预测器的损失。
Ltemplate和Lkeypoint分别可以通过以下公式计算：
其中，
和
是根据c(K)和c(T)计算出的定位。
步骤S250：获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定。
在本实施例中，在提取到多个图像特征点后，可以进一步确定多个图像特征点中每个图像特征点的种类，其中，图像特征点的种类是基于标记的标记类型确定的，图像特征点的种类可以仅包括编码特征点、非编码特征点，也可以包括可见特征点和不可见特征点。示例性地，当标记的标记类型为TopoTag时，多个图像特征点的种类则包括编码特征点和非编码特征点；当标记的标记类型为RuneTag时，多个图像特征点的种类则包括可见特征点和不可见特征点。
步骤S260：基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，所述识别结果用于对所述标记的追踪及定位。
在一些实施方式中，请参阅图4，步骤S260可以包括以下步骤：
步骤S261：基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点。
在本实施例中，由于通过关键点检测模型提取到的多个图像特征点是无序的，若要对标记的身份标识(Identity document，ID)进行身份识别，基于无序的图像特征点可能无法识别出标记ID，或者误识别标记ID。因此，可以对多个图像特征点进行排序，得到多个有序特征点。其中，对多个图像特征点进行排序可以获取与标记的标记类型对应的预定义模板，作为目标排序模板；根据目标排序模板中关键点的排列顺序，为多个图像特征点中每个图像特征点分配对应的编号，即对多个图像特征点进行排序。示例性地，AprilTag、TopoTag以及RuneTag三种标记类型，分别对应一种预定义模板，预定义模板可以是预先设置的，也可以根据实际应用场景对其进行调整，本实施例对此不作限制。
步骤S262：基于所述多个有序特征点中每个有序特征点的种类，以及所述多个有序特征点于所述标记图像中的坐标位置信息，得到对所述标记进行识别的识别结果。
具体地，基于所述多个有序特征点中每个有序特征点的种类，获取所述每个有序特征点的编码值；根据所述每个有序特征点的编码值，确定所述标记对应的标记编号(即标记ID)；通过逆单应性矩阵，获取所述多个有序特征点于所述标记图像中的坐标位置信息。；根据所述坐标位置信息，确定所述标记的位姿信息；基于所述位姿信息以及标记编号，生成所述识别结果。可以理解为，先获取多个有序特征点于标记图像中的像素点坐标，并以图像特征点所在平面为世界坐标XY平面，并在该平面中确定世界坐标的原点；进而可以获取世界坐标中的图像特征点在相机坐标系下的坐标信息，以及相机在世界坐标中的坐标信息，即可确定除标记的位姿信息。其中，位姿信息包括六个自由度信息，即坐标位置信息以及角度位置信息。如此，可以对标记进行实时的追踪及定位。
在本实施例中，通过获取标记图像中的角点，来确定标记所在的区域，可以实现更加准确且快速地确定标记所在的区域；基于此，可以提取到更多更为密集的图像特征点，实现了更高的姿态精度；并且结合图像特征点的种类，对标记进行识别，也大大提高了标记识别的鲁棒性。
请参照图5，图5为本申请再一实施例提供的一种标记识别方法的流程示意图。下面将结合图5对本申请实施例提供的标记识别方法进行详细阐述。该标记识别方法可以包括以下步骤：
步骤S401：获取包含现实环境中的标记的标记图像。
步骤S402：获取所述标记图像中目标数量的角点。
步骤S403：基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域。
步骤S404：基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点。
步骤S405：获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定。
在本实施例中，步骤S401至步骤S405的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。
步骤S406：根据预设获取规则，从所述多个图像特征点中获取多个关键特征点，所述关键特征点对应的局部图案至少包括两种。
在本实施例中，标记由多个局部图案构成，在设计标记时，可以通过引入特别设计的关键点来定义标记的方向，并且关键特征点对应的局部图案至少包括两种，基于此，标记可以不用满足相关技术中的旋转不对称性，并且可以迅速通过关键特征点判断出标记的方向。可选地，可以通过预设获取规则，从多个图像特征点中获取用于定义标记方向的关键特征点。示例性地，图6中的图像特征点P1、P2、P3、P4即为获取到的多个关键特征点，关键特征点P1、P2、P3均为相同的局部图案，关键特征点P4为另一种局部图案。
步骤S407：根据所述多个关键特征点中每个关键特征点的局部图案，确定所述标记的方向。
在实际应用中，可能由于拍摄标记图像的视角不同，进而导致标记图像中的标记并非是正向的，可能是相对预设标准方向旋转了一定角度的，如图7所示，相对图6中位于预设标准方向的标记逆时针旋转了90度，因此，可以在获取到多个关键特征点后，通过根据每个关键特征点的局部图案来确定标记的方向。
步骤S408：判断所述标记的方向是否符合预设标准方向。
进一步地，判断标记的方向是否符合预设标准方向，即判断标记是否为正向摆放的，具体地，可以从左上角的关键特征点，按照顺时针方向，依次将所有关键特征点的类型进行排序，得到关键特征点的类型序列；判断关键特征点的类型序列是否与预设类型序列一致。若一致，则判定标记的方向是符合预设标准方向的，若不一致，则判定标记的方向不符合预设标准方向。
步骤S409：若符合，则执行所述基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点的步骤。
步骤S410：若不符合，则将所述标记旋转至所述预设标准方向，针对旋转后的所述标记，执行所述基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点的步骤。
基于此，若标记的方向不符合预设标准方向，则将标记旋转至预设标准方向，在对标记所在区域中识别到的多个图像特征点进行排序，得到多个有序特征点。
步骤S411：基于所述多个有序特征点中每个有序特征点的种类，以及所述多个有序特征点于所述标记图像中的坐标位置信息，得到对所述标记进行识别的识别结果。
在本实施例中，步骤S411的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。
在本实施例中，可以通过识别引入的用于表征标记的方向及边框的关键特征点，来确定标记的方向。如此，相较于相关技术中只能通过大量的位转换的方式来进行方向的识别的方法，更加便捷，同时也提高了标记识别的效率；并且，减少了与环境元素混淆的可能性，进而提高标记识别的准确性。
请参照图8，图8为本申请再又一实施例提供的一种标记识别方法的流程示意图。下面将结合图8对本申请实施例提供的标记识别方法进行详细阐述。该标记识别方法可以包括以下步骤：
步骤S510：响应于标记制作指令，显示提示信息、多种标记的类型以及多种所述局部图案，所述局部图案用于构成所述标记，所述提示信息用于提示选择标记的类型以及局部图案。
在本实施例中，基准标记可以由用户自行选择设计。用户可以输入标记制作指令，计算机设备响应于标记制作指令，显示多种标记的类型、多种局部图案以及提示信息，提示信息用于提示用户选择待生成的标记的类型，同时选择用于生成该类型标记的局部图案。其中，标记的类型可以包括但不限于图2所示的5种类型，局部图案的颜色可以是多种，不局限于黑白两种颜色，并且，局部图案也可以包括多种类别的局部图案，同一类别的局部图案的形状和底色相同，但是局部图案的内部符号可以不同；不同类别的局部图案的形状和底色不相同，具体请参阅图9所示class1、class2、class3……class C等多种类别的局部图案。
在一些实施方式中，提示信息中还可以包括关键特征点选取的提示信息，即提示用户选择至少两种不同的局部图案，作为用于表征标记方向的局部图案。如此，便于后续标记识别时，可以更加便捷地识别出标记的方向。
步骤S520：响应于确认指令，获取所述确认指令中携带的标记的类型，作为指定标记类型，以及获取所述确认指令中携带的局部图案，作为指定局部图案。
基于此，在用户选择好标记的类型以及构成标记的局部图案后，可以输入确认指令，对应地，计算机设备响应于确认指令，获取确认指令中携带的标记的类型，作为指定标记类型，以及获取确认指令中携带的局部图案，作为指定局部图案。
步骤S530：基于所述指定局部图案，生成与所述指定标记类型对应的标记。
在本实施例中，计算机设备在获取到指定局部图案和指定标记类型后。按照指定标记类型的格式，将局部图案进行随机组合排列，生成与指定标记类型对应的标记；可选地，也可以按照指定排列组合方式，将局部图案进行排列组合，生成与指定标记类型对应的标记，本实施例对此不作限制。
步骤S540：获取包含现实环境中的标记的标记图像。
步骤S550：获取所述标记图像中目标数量的角点。
步骤S560：基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域。
步骤S570：基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点。
步骤S580：获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定。
步骤S590：基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，所述识别结果用于对所述标记的追踪及定位。
在本实施例中，步骤S540至步骤S590的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。
在本实施例中，为用户提供了标记定制的本地模式，即可以由用户自行选择其需要的局部图案以及标记类型，进而使得生成的新的标记可以更加符合用户的审美及需求；并且，构成标记的局部图案可以包括多种颜色及形状，极大的减少了与环境元素混淆的可能性，进而提高了标记识别的准确性和鲁棒性。
请参照图10，图10为本申请又再一实施例提供的一种标记识别方法的流程示意图。下面将结合图10对本申请实施例提供的标记识别方法进行详细阐述。该标记识别方法可以包括以下步骤：
步骤S610：获取包含现实环境中的标记的标记图像。
步骤S620：获取所述标记图像中目标数量的角点。
步骤S630：基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域。
步骤S640：获取所述标记的标记类型，作为目标标记类型。
步骤S650：获取与所述目标标记类型对应的关键点检测模型，作为目标检测模型。
在本实施例中，步骤S610至步骤S650的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。
步骤S660：基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点。
在一些实施方式中，若所述目标标记类型为第一标记类型，基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个可见特征点以及多个不可见特征点，作为所述多个图像特征点。示例性地，针对RuneTag类型的标记，请参阅图11，在相关技术中，图像特征点仅定义在可见的点上，如此，当标记图像的质量较差时，则会导致对多个图像特征点的排序较为困难，进而影响对标记的识别。而在本实施例中，图像特征点在可见点和不可见点上都定义图像特征点，请参阅图12，黑色的点代表可见特征点，灰色的点代表不可见特征点。如此，则可以利用规则进行排序，使得对多个图像特征点的排序更为容易，进而提高后续对标记识别的准确性。
在另一些实施方式中，若所述目标标记类型为第二标记类型，基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个第一编码位特征点、多个第二编码位特征点以及非编码位特征点，作为所述多个图像特征点。示例性地，针对TopoTag类型的标记，在相关技术中，图像特征点仅包括可编码特征点，其中，可编码特征点可以表征“0”或“1”，请参阅图13所示。而在本实施例中，可以将图像特征点分为三类，第一编码位特征点“0”、第二编码位特征点“1”以及非编码位特征点，其中，非编码位特征点可以是在没有局部图案的区域进行定义。具体地，请参阅图14。如此，可以获取到更密集的图像特征点，以便进行图像特征点的排序，进而可以提高标记识别的精确度。
在又一些实施方式中，若目标标记类型为第三标记类型，基于目标检测模型，提取与标记的预设尺寸对应的预设数量的图像特征点，作为多个图像特征点。示例性的，针对AprilTag类型的标记，在相关技术中，请参阅图15，仅在标记的边界的四个角上定义图像特征点，并不于对标记内部进行编码位特征点的提取。而在本实施例中，可以提取标记内部图像中更为密集的图像特征点，并对图像特征点进行编码定义，请参阅图16，可以定义白色区域的图像特征点代表编码位“1”，黑色区域的图像特征点代表编码位“0”。如此，可以获取到除边界上四个图像特征点之外的，更为密集的图像特征点，进而提高基于更为密集的图像特征点，对标记进行识别的准确性。
步骤S670：获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定。
步骤S680：基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，所述识别结果用于对所述标记的追踪及定位。
在本实施例中，步骤S670至步骤S680的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。
在本实施例中，通过确定标记的标记类型，以确定与标记类型对应的目标检测模型，再通过目标检测模型检测到更多的图像特征点。如此，针对不同标记类型的标记，均可以使用预先训练的检测模型从标记中提取出更为密集的图像特征点，进而可以得到更为密集且有排列的图像特征点，实现对标记更为精准的身份识别以及位姿信息识别，提高对标记追踪及定位的准确性。
请参照图17，其中示出了本申请一实施例提供的一种标记识别装置700的结构框图。该装置700可以包括：图像获取模块710、角点获取模块720、区域确定模块730、特征点提取模块740、种类获取模块750和标记识别模块760。
图像获取模块710用于获取包含现实环境中的标记的标记图像；
角点获取模块720用于获取所述标记图像中目标数量的角点；
区域确定模块730用于基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域；
特征点提取模块740用于基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点；
种类获取模块750用于获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定；
标记识别模块760用于基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，所述识别结果用于对所述标记的追踪及定位。
在一些实施方式中，标记识别模块760可以包括：排序单元以及识别单元。其中，排序单元可以用于基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点。识别单元可以用于基于所述多个有序特征点中每个有序特征点的种类，以及所述多个有序特征点于所述标记图像中的坐标位置信息，得到对所述标记进行识别的识别结果。
在该方式下，识别单元可以包括：编码获取子单元、编号获取子单元、坐标获取子单元、位姿获取子单元以及识别子单元。其中，编码获取子单元可以用于基于所述多个有序特征点中每个有序特征点的种类，获取所述每个有序特征点的编码值。编号获取子单元可以用于根据所述每个有序特征点的编码值，确定所述标记对应的标记编号。坐标获取子单元可以用于通过逆单应性矩阵，获取所述多个有序特征点于所述标记图像中的坐标位置信息。位姿获取子单元可以用于根据所述坐标位置信息，确定所述标记的位姿信息。识别子单元可以用于基于所述位姿信息以及标记编号，生成所述识别结果。
在一些实施方式中，所述图像特征点的种类与构成标记的局部图案的种类一一对应，标记识别装置700还可以包括：关键点获取模块、方向确定模块及方向判断模块。其中，关键点获取模块可以用于在所述基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点之前，根据预设获取规则，从所述多个图像特征点中获取多个关键特征点，所述关键特征点对应的局部图案至少包括两种。方向确定模块可以用于根据所述多个关键特征点中每个关键特征点的局部图案，确定所述标记的方向。方向判断模块可以具体用于判断所述标记的方式是否符合预设标准方向；若符合，则执行所述基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点的步骤；若不符合，则将所述标记旋转至所述预设标准方向，针对旋转后的所述标记，执行所述基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点的步骤。
在该方式下，标记识别装置700还可以包括：显示模块、标记信息获取模块以及标记生成模块。其中，显示模块可以用于在所述获取包含现实环境中的标记的标记图像之前，响应于标记制作指令，显示提示信息、多种标记的类型以及多种所述局部图案，所述局部图案用于构成所述标记，所述提示信息用于提示选择标记的类型以及局部图案。标记信息获取模块可以用于响应于确认指令，获取所述确认指令中携带的标记的类型，作为指定标记类型，以及获取所述确认指令中携带的局部图案，作为指定局部图案。标记生成模块可以用于基于所述指定局部图案，生成与所述指定标记类型对应的标记。
在一些实施方式中，特征点提取模块740可以包括：类型获取单元、模型获取单元以及特征点提取单元。其中，类型获取单元可以用于获取所述标记的标记类型，作为目标标记类型。模型获取单元可以用于获取与所述目标标记类型对应的关键点检测模型，作为目标检测模型。特征点提取单元可以用于基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点。
在该方式下，特征点提取单元可以具体用于若所述目标标记类型为第一标记类型，基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个可见特征点以及多个不可见特征点，作为所述多个图像特征点。
在该方式下，特征点提取单元还可以具体用于若所述目标标记类型为第二标记类型，基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个第一编码位特征点、多个第二编码位特征点以及非编码位特征点，作为所述多个图像特征点。
在一些实施方式中，所述标记所在的区域为目标区域，当所述目标区域的数量为多个时，区域确定模块730可以包括：置信度获取单元以及区域确定单元。其中，置信度获取单元可以用于获取多个目标区域中每个目标区域的置信度，得到多个置信度。区域确定单元可以用于获取所述多个置信度中最大的置信度对应的目标区域，作为所述标记所在的区域。
在另一些实施方式中，所述标记所在的区域为目标区域，当所述目标区域的数量为多个时，区域确定模块730可以包括：置信度获取单元、判断单元、坐标信息获取单元以及区域确定单元。其中，置信度获取单元可以用于获取多个目标区域中每个目标区域的置信度。判断单元可以用于基于所述每个目标区域的置信度，判断所述多个目标区域中是否存在目标数量的待选区域，所述待选区域的置信度大于预设置信度，所述目标数量为至少两个。坐标信息获取单元可以用于若所述多个目标区域中存在目标数量的待选区域，则获取所述目标数量的待选区域的坐标信息的均值，作为目标坐标信息。区域确定单元可以用于获取所述目标坐标信息对应的区域，作为所述标记所在的区域。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请实施例提供的方案中，获取包含现实环境中的标记的标记图像；获取标记图像中目标数量的角点；基于目标数量的角点，从标记图像中确定标记所在的区域；基于预先训练的关键点检测模型，提取标记所在的区域对应的图像中的多个图像特征点；获取多个图像特征点的种类，所种类的数量是基于标记的标记类型确定；基于多个图像特征点以及图像特征点的种类，对标记进行识别，得到识别结果，识别结果用于对标记的追踪及定位。如此，通过获取标记图像中的角点，来确定标记所在的区域，可以实现更加准确且快速地确定标记所在的区域；基于此，可以提取到更多的图像特征点，实现了更高的姿态精度；并且结合图像特征点的种类，对标记进行识别，也大大提高了标记识别的鲁棒性。
下面将结合图18对本申请提供的一种计算机设备进行说明。
参照图18，图18示出了本申请实施例提供的一种计算机设备800的结构框图，本申请实施例提供的标记识别方法可以由该计算机设备800执行。其中，计算机设备800可以是等能够运行应用程序的设备。
本申请实施例中的计算机设备800可以包括一个或多个如下部件：处理器801、存储器802、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器802中并被配置为由一个或多个处理器801执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器801可以包括一个或者多个处理核。处理器801利用各种接口和线路连接整个计算机设备800内的各个部分，通过运行或执行存储在存储器802内的指令、程序、代码集或指令集，以及调用存储在存储器802内的数据，执行计算机设备800的各种功能和处理数据。可选地，处理器801可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器801可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以集成到处理器801中，单独通过一块通信芯片进行实现。
存储器802可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器802可用于存储指令、程序、代码、代码集或指令集。存储器802可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备800在使用中所创建的数据(比如上述的各种对应关系)等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图19，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质900中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质900包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种标记识别方法，其特征在于，所述方法包括：
获取包含现实环境中的标记的标记图像；
获取所述标记图像中目标数量的角点；
基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域；
基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点；
获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定；
基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，所述识别结果用于对所述标记的追踪及定位。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，包括：
基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点；
基于所述多个有序特征点中每个有序特征点的种类，以及所述多个有序特征点于所述标记图像中的坐标位置信息，得到对所述标记进行识别的识别结果。
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个有序特征点中每个有序特征点的种类，以及所述多个有序特征点于所述标记图像中的坐标位置信息，得到对所述标记进行识别的识别结果，包括：
基于所述多个有序特征点中每个有序特征点的种类，获取所述每个有序特征点的编码值；
根据所述每个有序特征点的编码值，确定所述标记对应的标记编号；
通过逆单应性矩阵，获取所述多个有序特征点于所述标记图像中的坐标位置信息；
根据所述坐标位置信息，确定所述标记的位姿信息；
基于所述位姿信息以及标记编号，生成所述识别结果。
4.根据权利要求2所述的方法，其特征在于，所述图像特征点的种类与构成标记的局部图案的种类一一对应，在所述基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点之前，所述方法还包括：
根据预设获取规则，从所述多个图像特征点中获取多个关键特征点，所述关键特征点对应的局部图案至少包括两种；
根据所述多个关键特征点中每个关键特征点的局部图案，确定所述标记的方向；
判断所述标记的方式是否符合预设标准方向；
若符合，则执行所述基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点的步骤；
若不符合，则将所述标记旋转至所述预设标准方向，针对旋转后的所述标记，执行所述基于与所述标记的标记类型对应的预定义模板，对所述多个图像特征点进行排序，得到多个有序特征点的步骤。
5.根据权利要求4所述的方法，其特征在于，在所述获取包含现实环境中的标记的标记图像之前，所述方法还包括：
响应于标记制作指令，显示提示信息、多种标记的类型以及多种所述局部图案，所述局部图案用于构成所述标记，所述提示信息用于提示选择标记的类型以及局部图案；
响应于确认指令，获取所述确认指令中携带的标记的类型，作为指定标记类型，以及获取所述确认指令中携带的局部图案，作为指定局部图案；
基于所述指定局部图案，生成与所述指定标记类型对应的标记。
6.根据权利要求1所述的方法，其特征在于，所述基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点，包括：
获取所述标记的标记类型，作为目标标记类型；
获取与所述目标标记类型对应的关键点检测模型，作为目标检测模型；
基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点。
7.根据权利要求6所述的方法，其特征在于，所述基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点，包括：
若所述目标标记类型为第一标记类型，基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个可见特征点以及多个不可见特征点，作为所述多个图像特征点。
8.根据权利要求6所述的方法，其特征在于，所述基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点，包括：
若所述目标标记类型为第二标记类型，基于所述目标检测模型，提取所述标记所在的区域对应的图像中的多个第一编码位特征点、多个第二编码位特征点以及非编码位特征点，作为所述多个图像特征点。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述标记所在的区域为目标区域，当所述目标区域的数量为多个时，所述基于所述目标数量的角点，确定所述标记所在的区域，包括：
获取多个目标区域中每个目标区域的置信度，得到多个置信度；
获取所述多个置信度中最大的置信度对应的目标区域，作为所述标记所在的区域。
10.一种标记识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含现实环境中的标记的标记图像；
角点获取模块，用于获取所述标记图像中目标数量的角点；
区域确定模块，用于基于所述目标数量的角点，从所述标记图像中确定所述标记所在的区域；
特征点提取模块，用于基于预先训练的关键点检测模型，提取所述标记所在的区域对应的图像中的多个图像特征点；
种类获取模块，用于获取所述多个图像特征点的种类，所述种类的数量是基于所述标记的标记类型确定；
标记识别模块，用于基于所述多个图像特征点以及所述图像特征点的种类，对所述标记进行识别，得到识别结果，所述识别结果用于对所述标记的追踪及定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111388107.4A CN114240981A (zh) | 2021-11-22 | 2021-11-22 | 标记识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111388107.4A CN114240981A (zh) | 2021-11-22 | 2021-11-22 | 标记识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114240981A true CN114240981A (zh) | 2022-03-25 |
Family
ID=80750388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111388107.4A Pending CN114240981A (zh) | 2021-11-22 | 2021-11-22 | 标记识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240981A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115097997A (zh) * | 2022-05-23 | 2022-09-23 | 广东虚拟现实科技有限公司 | 标记图案的部署方法、装置、电子设备及存储介质 |
| CN116030388A (zh) * | 2022-12-30 | 2023-04-28 | 以萨技术股份有限公司 | 一种识别任务的处理方法、电子设备及存储介质 |
| CN116469025A (zh) * | 2022-12-30 | 2023-07-21 | 以萨技术股份有限公司 | 一种识别任务的处理方法、电子设备及存储介质 |
-
2021
- 2021-11-22 CN CN202111388107.4A patent/CN114240981A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115097997A (zh) * | 2022-05-23 | 2022-09-23 | 广东虚拟现实科技有限公司 | 标记图案的部署方法、装置、电子设备及存储介质 |
| CN116030388A (zh) * | 2022-12-30 | 2023-04-28 | 以萨技术股份有限公司 | 一种识别任务的处理方法、电子设备及存储介质 |
| CN116469025A (zh) * | 2022-12-30 | 2023-07-21 | 以萨技术股份有限公司 | 一种识别任务的处理方法、电子设备及存储介质 |
| CN116030388B (zh) * | 2022-12-30 | 2023-08-11 | 以萨技术股份有限公司 | 一种识别任务的处理方法、电子设备及存储介质 |
| CN116469025B (zh) * | 2022-12-30 | 2023-11-24 | 以萨技术股份有限公司 | 一种识别任务的处理方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110176027B (zh) | 视频目标跟踪方法、装置、设备及存储介质 | |
| CN112348815B (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
| CN110232311B (zh) | 手部图像的分割方法、装置及计算机设备 | |
| CN107330439B (zh) | 一种图像中物体姿态的确定方法、客户端及服务器 | |
| CN114240981A (zh) | 标记识别方法及装置 | |
| US11475681B2 (en) | Image processing method, apparatus, electronic device and computer readable storage medium | |
| CN100470452C (zh) | 一种实现三维增强现实的方法及系统 | |
| KR101469398B1 (ko) | 텍스트 기반 3ｄ 증강 현실 | |
| CN109343920B (zh) | 一种图像处理方法及其装置、设备和存储介质 | |
| JP2013508844A (ja) | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 | |
| CN109410316A (zh) | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 | |
| CN113348465B (zh) | 图像中对象的关联性预测方法、装置、设备和存储介质 | |
| CN110832542A (zh) | 识别处理设备、识别处理方法和程序 | |
| CN105590112B (zh) | 一种图像识别中倾斜文字判断方法 | |
| CN109753981B (zh) | 一种图像识别的方法及装置 | |
| US11157765B2 (en) | Method and system for determining physical characteristics of objects | |
| JP2020507831A (ja) | 長距離高密度視覚マーカの検出および認識方法 | |
| CN107610236B (zh) | 一种基于图形识别的交互方法及系统 | |
| CN113240656B (zh) | 视觉定位方法及相关装置、设备 | |
| CN113297870A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109523015A (zh) | 一种神经网络中图像处理方法 | |
| CN107316025B (zh) | 一种手部姿态识别方法及识别系统 | |
| CN114511877A (zh) | 一种行为识别方法、装置、存储介质及终端 | |
| CN110070625B (zh) | 增强现实设备用标识及其识别方法、增强现实设备 | |
| CN113570535A (zh) | 视觉定位方法及相关装置、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |