CN113298213B - 标签、标签检测方法与装置、视觉基准系统、设备和介质 - Google Patents

标签、标签检测方法与装置、视觉基准系统、设备和介质 Download PDF

Info

Publication number
CN113298213B
CN113298213B CN202110620162.5A CN202110620162A CN113298213B CN 113298213 B CN113298213 B CN 113298213B CN 202110620162 A CN202110620162 A CN 202110620162A CN 113298213 B CN113298213 B CN 113298213B
Authority
CN
China
Prior art keywords
tag
candidate
target
label
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110620162.5A
Other languages
English (en)
Other versions
CN113298213A (zh
Inventor
童睿
于腾波
顾静军
付尧
董奇锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Santan Medical Technology Co Ltd
Original Assignee
Hangzhou Santan Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Santan Medical Technology Co Ltd filed Critical Hangzhou Santan Medical Technology Co Ltd
Priority to CN202110620162.5A priority Critical patent/CN113298213B/zh
Publication of CN113298213A publication Critical patent/CN113298213A/zh
Application granted granted Critical
Publication of CN113298213B publication Critical patent/CN113298213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Abstract

本发明提供一种标签、标签检测方法与装置、视觉基准系统、设备和介质,其中,该标签包括:边框,是在正方形边框的一个角处去掉一个等腰直角三角形形成的五边形边框,五边形边框在去掉等腰直角三角形处形成最短边;编码区域,位于边框的内部,采用正方形网格编码,正方形网格编码中每个正方形的边长与等腰直角三角形的直角边的边长相等。通过将标签的边框设计为五边形,解决了旋转歧义,加快了标签检测的速度,提高了解码效率和编码字典数量,提供了更多的特征点,解决了标签工作范围受限的问题;通过对标签内部编解码区域中的每个正方形网格进行至少二次采样,有效解决了解码过程的误检问题,使对标签的检测拥有较强的鲁棒性。

Description

标签、标签检测方法与装置、视觉基准系统、设备和介质
技术领域
本发明涉及机器视觉技术领域,尤其涉及一种标签、标签检测方法与标签检测装置、视觉基准系统、电子设备和非暂态计算机可读存储介质。
背景技术
视觉基准系统通常由为自动检测而设计的人工视觉特征和相应的检测方法组成。人工视觉特征通常采用标签,标签带有唯一的标识信息,以彼此区分。视觉基准系统通过检测方法检测标签,提供标签的标识信息、标签相对于图像采集设备的位置和姿态信息,可以在无特征的环境中实现目标识别和姿态估计,在计算机视觉、增强现实和机器人等领域都有着广泛的应用。
视觉基准系统中常用的标签有圆形标签和方形标签。如图1、图 2所示,圆形标签可以采用同心圆环或者同心点环,其中,同心点环相比于同心圆环可以提供更多的特征点,可以增加标签部分被遮挡时的鲁棒性。如图3、图4所示,方形标签大多具有较粗的正方形边框。在一张包含标签的图片中,对标签的检测过程如下:计算每个像素处的梯度方向和大小,并将像素聚集成具有相似梯度方向和大小的分量;使用加权最小二乘法拟合直线方程,得到有向线段两个端点的坐标 p1、p2,有向线段的方向为线段左侧的亮度比右侧低;深度优先遍历所有有向线段,若在深度为4时,最后一条边与第一条边构成一个闭环,则检测到了候选四边形;计算从标签坐标系中四个角点的坐标到图像坐标系中四个角点的坐标的单应性矩阵H;将图像坐标系中标签的所有像素点通过单应性矩阵H映射到标签坐标系中,对标签的编码区域中的每个方格进行一次采样,根据采样的结果进行解码;将标签旋转90°后再次进行解码,这样重复三次;将4个解码结果与编码库中的编码进行对比,如果存在与编码库中的编码相同的解码结果,则解码成功,认为检测到的方形区域是标签,否则解码失败,认为检测到的方形区域不是标签,并结束检测。
然而,视觉基准系统中常用的圆形标签和方形标签在使用过程中仍存在着以下问题:
由于圆形标签需要在图像中找到足够置信度的椭圆,圆形标签与图像采集设备之间的距离过远,圆形标签相对于图像采集设备的倾斜角度过大,均会造成标签的检测失效,从而导致圆形标签的使用范围受限。
由于方形标签的形状是方形对称的,需要对标签部分进行3次 90°的旋转,得到四个标签,用四个标签与预定义好的标签进行比较,以消除旋转歧义,但是这样会耗费较多的时间,降低标签检测的速度。同时在标签设计时,为了防止两个标签在旋转之后编码部分的最小汉明距离偏小,需要保留一些编码位,也会对编码字典数量造成限制。同时,在标签检测过程中,由于只对标签内部编解码区域中的每个小方格进行一次采样,取一个采样点进行解码,每个小方格的采样点数量较少,如果存在噪声或与标签形状相似的物体,很容易造成误检。
发明内容
本发明提供一种标签、标签检测方法与装置、视觉基准系统、设备和介质,用以解决现有技术中标签检测的效率低、容易误检、以及工作范围受限的缺陷,实现对标签进行高效准确的检测,且不受工作范围的限制。
第一方面,本发明提供一种标签,包括:边框,是在正方形边框的一个角处去掉一个等腰直角三角形形成的五边形边框,所述五边形边框在去掉所述等腰直角三角形处形成最短边;编码区域,位于所述边框的内部,采用正方形网格编码,所述正方形网格编码中每个正方形的边长与所述等腰直角三角形的直角边的边长相等。
根据本发明提供的一种标签,所述正方形网格编码是采用三行三列的九个正方形形成网格进行编码。
根据本发明提供的一种标签,所述等腰直角三角形的直角边的边长为所述正方形边框的边长的五分之一。
第二方面,本发明还提供一种标签检测方法,应用于第一方面所述的标签,所述方法包括:对目标图像进行五边形拟合,根据所述拟合得到的五边形在所述目标图像中确定候选标签;根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的编码区域中每个正方形网格的编号;对所述候选标签进行单应性变换,并对所述单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;根据所述采样的结果和所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码,根据所述标识码将所述候选标签确定为目标标签。
根据本发明提供的一种标签检测方法,根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的编码区域中每个正方形网格的编号,包括:根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的五边形边框中五个角点的编号;根据所述候选标签的五边形边框中五个角点的编号,确定所述候选标签的编码区域中每个正方形网格的编号;和/或,根据所述采样的结果和所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码,根据所述标识码将所述候选标签确定为目标标签,包括:判断所述单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果是否一致;若所述单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果均一致,则确定所述候选标签的编码区域中每个正方形网格的编码,并根据所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码;判断所述候选标签的标识码是否为预设的标识码;若所述候选标签的标识码为预设的标识码,则将所述候选标签确定为目标标签,并得到所述目标标签的标识码;根据所述编码区域中每个正方形网格采样的结果和所述编码区域中每个正方形网格的编号,得到所述目标标签的标识码;和/或,所述对目标图像进行五边形拟合,根据所述拟合得到的五边形在所述目标图像中确定候选标签,包括:对所述目标图像进行五边形拟合,得到所述目标图像中的候选五边形;按照预设的条件对所述候选五边形进行筛选,确定所述目标图像中的候选标签。
根据本发明提供的一种标签检测方法,根据所述采样的结果和所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码,根据所述标识码将所述候选标签确定为目标标签之后,还包括:根据所述目标标签的标识码,在所述目标标签解码区域的正方形网格的角点中确定定位所述目标标签的可用角点,并将所确定的可用角点与所述目标标签五边形边框的五个角点,作为所述目标标签的定位角点;根据所述目标标签的定位角点,对所述目标标签进行目标跟踪和/或姿态估计;和/或,根据所述目标标签的定位角点,对所述目标标签进行目标跟踪和/或姿态估计,包括:根据连续预定数量图像帧中目标标签的数目,确定进行所述目标跟踪和/或姿态估计的图像;根据所确定的图像中所述目标标签五边形边框的五个角点,在所确定的图像中确定包含所述目标标签的感兴趣区域;根据所述感兴趣区域中所述目标标签的定位角点,对所述目标标签进行目标跟踪和/或姿态估计。
第三方面,本发明还提供一种标签检测装置,包括:轮廓拟合模块,用于对目标图像进行五边形拟合,根据所述拟合得到的五边形在所述目标图像中确定候选标签;编号确定模块,根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的编码区域中每个正方形网格的编号;变换采样模块,用于对所述候选标签进行单应性变换,并对所述单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;标签识别模块,用于根据所述采样的结果和所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码,根据所述标识码将所述候选标签确定为目标标签。
第四方面,本发明还提供一种视觉基准系统,包括:根据第一方面所述的标签和根据第三方面所述的标签检测装置。
第五方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的标签检测方法的步骤。
第六方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的标签检测方法的步骤。
本发明提供的标签、标签检测方法与装置、视觉基准系统、设备和介质,包括:边框,是在正方形边框的一个角处去掉一个等腰直角三角形形成的五边形边框,五边形边框在去掉等腰直角三角形处形成最短边;编码区域,位于边框的内部,采用正方形网格编码,正方形网格编码中每个正方形的边长与等腰直角三角形的直角边的边长相等。通过将标签的边框设计为五边形,解决了旋转歧义,可以加快标签检测的速度,提高解码效率和编码字典的数量;采用五边形边框的标签可以提供更多特征点,保证标签检测的精确度,解决标签与图像采集设备之间的距离过远,以及标签相对于图像采集设备的倾斜角度过大时,标签的使用范围受限的问题;通过对标签内部编解码区域中的每个正方形网格进行至少二次采样,可以有效解决解码过程的误检问题,使对标签的检测拥有较强的鲁棒性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中的一种圆形标签的示意图;
图2是现有技术中的另一种圆形标签的示意图;
图3是现有技术中的一种方形标签的示意图;
图4是现有技术中的另一种方形标签的示意图;
图5是本发明提供的一种标签的示意图;
图6是本发明提供的一种标签检测方法的流程示意图;
图7是本发明提供的一种确定候选标签方法的流程示意图;
图8是本发明提供的一种确定正方形网格编号方法的流程示意图;
图9是本发明提供的一种标签边框角点编号方式的示意图;
图10是本发明提供的一种标签编码区域网格编号方式的示意图;
图11是本发明提供的一种确定目标标签方法的流程示意图;
图12是本发明提供的一种可用角点的示意图;
图13是本发明提供的一种标签检测过程的应用场景的示意图;
图14是本发明提供的一种标签检测装置的示意图;
图15是本发明提供的一种视觉基准系统的示意图
图16是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图5是本发明提供的一种标签的示意图。如图5所示,该标签包括:边框,是在正方形边框的一个角处去掉一个等腰直角三角形形成的五边形边框,五边形边框在去掉等腰直角三角形处形成最短边;编码区域,位于边框的内部,采用正方形网格编码,正方形网格编码中每个正方形的边长与等腰直角三角形的直角边的边长相等。其中,位于黑色五边形边框内的正方形网格编码包括白色正方形网格和黑色正方形网格,白色正方形网格和黑色正方形网格代表不同的编码,每一种编码形式都可以唯一的表示一个标签的身份。正方形网格编码可以填满黑色五边形边框内的区域,或者也可以只占据黑色五边形边框内的部分区域,本发明实施例对正方形网格编码的形式不作限定。可选地,正方形网格编码可以采用三行三列的九个正方形形成网格进行编码。本发明实施例对五边形边框去掉的等腰直角三角形的大小不作限定。可选地,该等腰直角三角形的直角边的边长可以为正方形边框的边长的五分之一。由于正方形网格编码中每个正方形的边长与等腰直角三角形的直角边的边长相等,相应的,本发明实施例对正方形网格编码中每个正方形的边长不作限定。当等腰直角三角形的直角边的边长为正方形边框的边长的五分之一时,正方形网格编码中每个正方形的边长也为正方形边框的边长的五分之一。通过使正方形网格编码中每个正方形的边长与等腰直角三角形的直角边的边长相等,可以保证编码区域中正方形网格的大小,使编码区域中的正方形网格不至于太小。
本发明实施例提供的一种标签,包括,边框,是在正方形边框的一个角处去掉一个等腰直角三角形形成的五边形边框,五边形边框在去掉等腰直角三角形处形成最短边;编码区域,位于边框的内部,采用正方形网格编码,正方形网格编码中每个正方形的边长与等腰直角三角形的直角边的边长相等。通过将标签的边框设计为五边形,解决了旋转歧义,可以加快标签检测的速度,提高解码效率和编码字典的数量;采用五边形边框的标签可以提供更多特征点,保证标签检测的精确度,解决标签与图像采集设备之间的距离过远,以及标签相对于图像采集设备的倾斜角度过大时,标签的使用范围受限的问题。
图6是本发明提供的一种标签检测方法的流程示意图。该标签检测方法应用于图5所示的标签,如图6所示,该标签检测方法包括:
S601,对目标图像进行五边形拟合,根据拟合得到的五边形在目标图像中确定候选标签;
S602,根据候选标签的五边形边框中最短边的位置,确定候选标签的编码区域中每个正方形网格的编号;
S603,对候选标签进行单应性变换,并对单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;
S604,根据采样的结果和编码区域中每个正方形网格的编号,得到候选标签的标识码,根据标识码将候选标签确定为目标标签。
在步骤S601中,在对目标图像进行五边形拟合之前,需要检测目标图像中所有线条的轮廓。本发明实施例对轮廓检测的方法不作限定,可以通过边缘检测算子检测目标图像中所有线条的轮廓,或者可以通过轮廓跟踪算法检测目标图像中所有线条的轮廓。检测到目标图像中所有线条的轮廓后,可以使用道格拉斯-普克算法 (Douglas-Peucker)对目标图像进行五边形拟合。本发明实施例对目标图像进行五边形拟合的方法不作限定。
在步骤S602中,可以按照行的顺序从左至右对编码区域中每个正方形网格进行编号,或者可以按着列的顺序从上至下对编码区域中每个正方形网格进行编号。本发明实施例对确定候选标签的编码区域中每个正方形网格的编号的方法不作限定。
在步骤S603中,对候选标签进行单应性变换意味着通过单应性矩阵将图像坐标系中候选标签的每个像素点的坐标映射到标签坐标系中。本发明实施例对编码区域中每个正方形网格进行至少二次采样的次数不作限定。可选地,可以对编码区域中的每个正方形网格进行四次采样。
在步骤S604中,可以基于预设的编码规则,根据对编码区域中每个正方形网格采样的结果,获得每个正方形网格的编码,将所获得的获得编码区域中每个正方形网格的编码,按照编码区域中每个正方形网格的编号进行组合,可以得到候选标签的标识码。可以通过将所得到的候选标签的标识码与预设的标识码进行比较,确定候选标签是否为目标标签。
本发明提供的一种标签检测方法,通过对目标图像进行五边形拟合,根据拟合得到的五边形在目标图像中确定候选标签;根据候选标签的五边形边框中最短边的位置,确定候选标签的编码区域中每个正方形网格的编号;对候选标签进行单应性变换,并对单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;根据采样的结果和编码区域中每个正方形网格的编号,得到候选标签的标识码,根据标识码将候选标签确定为目标标签。由于对标签内部编解码区域中的每个正方形网格进行至少二次采样,,可以有效解决解码过程的误检问题,使对标签的检测拥有较强的鲁棒性。
图7是本发明提供的一种确定候选标签方法的流程示意图。如图 7所示,该方法包括:
S701,对目标图像进行五边形拟合,得到目标图像中的候选五边形;
S702,按照预设的条件对候选五边形进行筛选,确定目标图像中的候选标签。
在步骤S701中,可以使用Douglas-Peucker算法对目标图像进行五边形拟合,本发明实施例对目标图像进行五边形拟合的方法不作限定。经过对目标图像进行五边形拟合确定的候选五边形可能是一个,也可能是多个,候选五边形的数目视拟合的具体情况而定。可选地,对目标图像进行五边形拟合,得到目标图像中的候选五边形之前,还可以包括:将目标图像转换为灰度图像,并对灰度图像进行高斯滤波;对高斯滤波后的灰度图像进行二值化处理,得到前景区域和背景区域。可选地,可以只对前景区域进行五边形拟合,得到目标图像中的候选五边形,以节省检测时间。
在步骤S702中,本发明实施例对候选五边形进行筛选的预设的条件作限定。可以计算每个候选五边形像素点的个数做为候选五边形的面积,去除面积过小的候选五边形;或/和,判断候选五边形每个顶点的转向方向是否一致,若转向方向一致则该五边形为凸五边形,若转向方向不一致则五边形为凹五边形,去除凹五边形保留凸五边形作为候选标签。
图8是本发明提供的一种确定正方形网格编号方法的流程示意图。如图8所示,该方法包括:
S801,根据候选标签的五边形边框中最短边的位置,确定候选标签的五边形边框中五个角点的编号;
S802,根据候选标签的五边形边框中五个角点的编号,确定候选标签的编码区域中每个正方形网格的编号。
在步骤S801中,本发明对候选标签的五边形边框中五个角点的编号的方式不作限定。可选地,图9是本发明提供的一种标签边框角点编号方式的示意图。如图9所示,找到五边形边框中最短边的位置,选取最短边的左侧端点作为起点,该起点的编号为0,右侧端点编号为1,按着顺时针方向依次对剩余的五边形边框的角点进行标记,编号依次为2、3和4。
在步骤S802中,本发明对候选标签的编码区域中每个正方形网格的编号的方式不作限定。图10是本发明提供的一种标签编码区域网格编号方式的示意图。如图10所示,第一排的正方形网格从左至右分别编号为0,1,2,第二排的正方形网格从左至右分别编号为3,4,5,第三排的正方形网格从左至右分别编号为6,7,8。
图11是本发明提供的一种确定目标标签方法的流程示意图。如图11所示,该方法包括:
S1101,判断单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果是否一致;
S1102,单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果均一致,则确定候选标签的编码区域中每个正方形网格的编码,并根据编码区域中每个正方形网格的编号,得到候选标签的标识码;
S1103,判断候选标签的标识码是否为预设的标识码;
S1104,若候选标签的标识码为预设的标识码,则将候选标签确定为目标标签,并得到目标标签的标识码;
S1105,根据编码区域中每个正方形网格采样的结果和编码区域中每个正方形网格的编号,得到目标标签的标识码。
在步骤S1101和步骤S1102中,候选标签的编码区域中排列有3 行3列共九个正方形网格,对每个正方形网格进行四次采样,采样位置在方格中心位置随机分布,四次采样全部为黑色记为编号1,全部为白色记为编号0,在一个候选标签编码区域中,若每个正方形网格四次采样结果均一致,则得到一个九位二进制数作为该候选标签的标识码。
在步骤S1103和步骤S1104中,将候选标签的标识码与标识码库中标识码进行匹配,若在标识码库中匹配到相同的标识码,则确定该候选标签为目标标签,并得到该目标标签的标识码。
在一些可选的例子中,根据采样的结果和编码区域中每个正方形网格的编号,得到候选标签的标识码,根据标识码将候选标签确定为目标标签之后,还包括:根据目标标签的标识码,在目标标签解码区域的正方形网格的角点中确定定位目标标签的可用角点,并将所确定的可用角点与目标标签五边形边框的五个角点,作为目标标签的定位角点;根据目标标签的定位角点,对目标标签进行目标跟踪和/或姿态估计。
其中,图12是本发明提供的一种可用角点的示意图。如图12所示,共有16个角点。对一个角点而言,其左上左下右上右下四个方向的像素颜色完全相同的角点是不可用角点,如方框1所示;其左上左下方向的像素颜色相同且右上右下方向的像素颜色相同的角点是也是不可用角点,如方框2所示。
可选地,根据目标标签的定位角点,对目标标签进行目标跟踪和 /或姿态估计,包括:根据连续预定数量图像帧中目标标签的数目,确定进行目标跟踪和/或姿态估计的图像;根据所确定的图像中目标标签五边形边框的五个角点,在所确定的图像中确定包含目标标签的感兴趣区域(region of interest,简称ROI);根据感兴趣区域中目标标签的定位角点,对目标标签进行目标跟踪和/或姿态估计。其中,感兴趣区域可以由五边形方框整体向外偏移一定数值得到。
可选地,连续预定数量图像帧可以是一段视频或者是由工业相机实时连续获取的图片。以处理工业相机拍到的连续帧为例,处理过程包括以下步骤:
步骤1,初始化计数器,计数器用来判断前后两帧中的标签个数是否相等,若相等,计数器加一,若不相等则清零计数器并记录当前标签ID列表。当计数器达到阈值进入步骤2,阈值默认值为5,当计数器达到5时表示连续6帧图片中标签相同,可以解决因为噪声等原因导致部分标签检测不到的问题。
步骤2,通过轮廓上的五个角点坐标(xi,yi)(i=1,2,3,4,5)对图像进行分割,得到包含标签的矩形小区域ROI,矩左上角坐标为 (xmin-a,ymin-b),右下角坐标为(xmax+a,ymax+b)。xmin=min(xi), ymin=min(yi),xmax=max(xi),ymax=max(yi),a=(xmax-xmin)*0.15, b=(ymax-ymin)*0.15。
步骤3,当标签小幅移动或基本静止时,检测方法应用于ROI中并不断更新ROI,由于ROI的面积远小于整张图片且ROI中和标签相似的环境干扰较少,检测方法的速度会得到大幅提升。当标签大幅移动时,ROI中无标签,计数器清零,进入步骤1。
本实施例通过确定感兴趣区域减小图片的面积,同时可以减少环境对标签的干扰,可以加快通过标签进行目标跟踪和/或姿态估计的速度。
图13是本发明提供的一种标签检测过程的应用场景的示意图。如图所示,该过程包括9个步骤:步骤1,将输入的图片转化为灰度图,并对灰度图进行高斯滤波处理;步骤2,利用大津法(OTSU) 算法对经过高斯滤波处理的图片进行二值化处理;步骤3,检测到二值化处理后的图片中所有线条的轮廓,并使用Douglas-Peucker算法对目标图像进行五边形拟合;步骤4,按照约束条件对拟合得到的五边形进行过滤筛选,得到候选五边形作为候选标签;步骤5,通过五边形的五个角点坐标确定最短边,并确定五边形的角点的顺序和编码区域中网格的顺序;步骤6,通过单应性变换将图像坐标系中标签像素点的坐标映射到标签坐标系中;步骤7,对候选标签中编码区域的每个正方形网格进行四次随机位置的采样;步骤8,根据采样结果进行解码得到目标标签的标识码;步骤9,确定编码区域中正方形网格的可用角点与五边形边框的五个角点作为定位角点,进行目标跟踪和姿态估计。
下面对本发明提供的标签检测装置进行描述,下文描述的标签检测装置与上文描述的标签检测方法可相互对应参照。
图14是本发明提供的一种标签检测装置的示意图。如图14所示,该标签检测装置包括:
轮廓拟合模块1401,用于对目标图像进行五边形拟合,根据拟合得到的五边形在目标图像中确定候选标签;
编号确定模块1402,根据候选标签的五边形边框中最短边的位置,确定候选标签的编码区域中每个正方形网格的编号;
变换采样模块1403,用于对候选标签进行单应性变换,并对单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;
标签识别模块1404,用于根据采样的结果和编码区域中每个正方形网格的编号,得到候选标签的标识码,根据标识码将候选标签确定为目标标签。
可选地,编号确定模块1402,包括:
第一编号确定单元,用于根据候选标签的五边形边框中最短边的位置,确定候选标签的五边形边框中五个角点的编号;
第二编号确定单元,用于根据候选标签的五边形边框中五个角点的编号,确定候选标签的编码区域中每个正方形网格的编号;和/或,
标签识别模块1404,包括:
第一判断单元,用于判断单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果是否一致;
编码确定单元,用于根据第一判断单元的判断结果,若单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果均一致,则确定候选标签的编码区域中每个正方形网格的编码,并根据编码区域中每个正方形网格的编号,得到候选标签的标识码;
第二判断单元,用于判断候选标签的标识码是否为预设的标识码;
标签识别单元,用于根据第二判断单元的判断结果,若候选标签的标识码为预设的标识码,则将候选标签确定为目标标签,并得到目标标签的标识码;和/或,
轮廓拟合模块1401,包括:
轮廓拟合单元,用于对目标图像进行五边形拟合,得到目标图像中的候选五边形;
轮廓筛选单元,用于按照预设的条件对候选五边形进行筛选,确定目标图像中的候选标签。
可选地,轮廓拟合模块1401,还包括:
预处理单元,用于将目标图像转换为灰度图像,并对灰度图像进行高斯滤波;
二值化单元,用于对高斯滤波后的灰度图像进行二值化处理,得到前景区域和背景区域;
轮廓拟合单元,用于对前景区域进行五边形拟合,得到目标图像中的候选五边形。
可选地,标签检测装置,还包括:
角点定位模块,用于根据目标标签的标识码,在目标标签解码区域的正方形网格的角点中确定定位目标标签的可用角点,并将所确定的可用角点与目标标签五边形边框的五个角点,作为目标标签的定位角点;
后处理模块,用于根据目标标签的定位角点,对目标标签进行目标跟踪和/或姿态估计;和/或,
后处理模块,包括:
加速单元,用于根据连续预定数量图像帧中目标标签的数目,确定进行目标跟踪和/或姿态估计的图像;根据所确定的图像中目标标签五边形边框的五个角点,在所确定的图像中确定包含目标标签的感兴趣区域;
后处理单元,用于根据感兴趣区域中目标标签的定位角点,对目标标签进行目标跟踪和/或姿态估计。
图15是本发明提供的一种视觉基准系统的示意图。如图15所示,该系统包括:标签1501和标签检测装置1502。标签1501可以为图1 中的标签,标签检测装置1502可以为图14中的标签检测装置。
图16示例了一种电子设备的实体结构示意图,如图16所示,该电子设备可以包括:处理器(processor)1601、通信接口(Communications Interface)1602、存储器(memory)1603和通信总线1604,其中,处理器1601,通信接口1602,存储器1603通过通信总线1604完成相互间的通信。处理器1601可以调用存储器1603中的逻辑指令,以执行标签检测方法,该方法包括:对目标图像进行五边形拟合,根据拟合得到的五边形在目标图像中确定候选标签;根据候选标签的五边形边框中最短边的位置,确定候选标签的编码区域中每个正方形网格的编号;对候选标签进行单应性变换,并对单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;根据采样的结果和编码区域中每个正方形网格的编号,得到候选标签的标识码,根据标识码将候选标签确定为目标标签。
此外,上述的存储器1603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的标签检测方法,该方法包括:对目标图像进行五边形拟合,根据拟合得到的五边形在目标图像中确定候选标签;根据候选标签的五边形边框中最短边的位置,确定候选标签的编码区域中每个正方形网格的编号;对候选标签进行单应性变换,并对单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;根据采样的结果和编码区域中每个正方形网格的编号,得到候选标签的标识码,根据标识码将候选标签确定为目标标签。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的标签检测方法,该方法包括:对目标图像进行五边形拟合,根据拟合得到的五边形在目标图像中确定候选标签;根据候选标签的五边形边框中最短边的位置,确定候选标签的编码区域中每个正方形网格的编号;对候选标签进行单应性变换,并对单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;根据采样的结果和编码区域中每个正方形网格的编号,得到候选标签的标识码,根据标识码将候选标签确定为目标标签。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种标签检测方法,其特征在于,所述方法包括:
对目标图像进行五边形拟合,根据所述拟合得到的五边形在所述目标图像中确定候选标签;
根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的编码区域中每个正方形网格的编号;
对所述候选标签进行单应性变换,并对所述单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;
根据所述采样的结果和所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码,根据所述标识码将所述候选标签确定为目标标签;
根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的编码区域中每个正方形网格的编号,包括:
根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的五边形边框中五个角点的编号;
根据所述候选标签的五边形边框中五个角点的编号,确定所述候选标签的编码区域中每个正方形网格的编号;和/或,
根据所述采样的结果和所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码,根据所述标识码将所述候选标签确定为目标标签,包括:
判断所述单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果是否一致;
若所述单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果均一致,则确定所述候选标签的编码区域中每个正方形网格的编码,并根据所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码;
判断所述候选标签的标识码是否为预设的标识码;
若所述候选标签的标识码为预设的标识码,则将所述候选标签确定为目标标签,并得到所述目标标签的标识码;
根据所述采样的结果和所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码,根据所述标识码将所述候选标签确定为目标标签之后,还包括:
根据所述目标标签的标识码,在所述目标标签解码区域的正方形网格的角点中确定定位所述目标标签的可用角点,并将所确定的可用角点与所述目标标签五边形边框的五个角点,作为所述目标标签的定位角点;
根据所述目标标签的定位角点,对所述目标标签进行目标跟踪和/或姿态估计。
2.根据权利要求1所述的标签检测方法,其特征在于,所述对目标图像进行五边形拟合,根据所述拟合得到的五边形在所述目标图像中确定候选标签,包括:
对所述目标图像进行五边形拟合,得到所述目标图像中的候选五边形;
按照预设的条件对所述候选五边形进行筛选,确定所述目标图像中的候选标签。
3.根据权利要求1所述的标签检测方法,其特征在于,根据所述目标标签的定位角点,对所述目标标签进行目标跟踪和/或姿态估计,包括:
根据连续预定数量图像帧中目标标签的数目,确定进行所述目标跟踪和/或姿态估计的图像;
根据所确定的图像中所述目标标签五边形边框的五个角点,在所确定的图像中确定包含所述目标标签的感兴趣区域;
根据所述感兴趣区域中所述目标标签的定位角点,对所述目标标签进行目标跟踪和/或姿态估计。
4.一种标签检测装置,其特征在于,包括:
轮廓拟合模块,用于对目标图像进行五边形拟合,根据所述拟合得到的五边形在所述目标图像中确定候选标签;
编号确定模块,根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的编码区域中每个正方形网格的编号;
变换采样模块,用于对所述候选标签进行单应性变换,并对所述单应性变换后的候选标签的编码区域中的每个正方形网格进行至少二次采样;
标签识别模块,用于根据所述采样的结果和所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码,根据所述标识码将所述候选标签确定为目标标签;
所述编号确定模块,包括:
第一编号确定单元,用于根据所述候选标签的五边形边框中最短边的位置,确定所述候选标签的五边形边框中五个角点的编号;
第二编号确定单元,根据所述候选标签的五边形边框中五个角点的编号,确定所述候选标签的编码区域中每个正方形网格的编号;和/或,
所述标签识别模块,包括:
第一判断单元,用于判断所述单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果是否一致;
编码确定单元,用于根据所述第一判断单元的判断结果,若所述单应性变换后的候选标签的编码区域中每个正方形网格的至少二次采样的结果均一致,则确定所述候选标签的编码区域中每个正方形网格的编码,并根据所述编码区域中每个正方形网格的编号,得到所述候选标签的标识码;
第二判断单元,用于判断所述候选标签的标识码是否为预设的标识码;
标签识别单元,用于根据所述第二判断单元的判断结果,若所述候选标签的标识码为预设的标识码,则将所述候选标签确定为目标标签,并得到所述目标标签的标识码;
所述标签检测装置,还包括:
角点定位模块,用于根据所述目标标签的标识码,在所述目标标签解码区域的正方形网格的角点中确定定位所述目标标签的可用角点,并将所确定的可用角点与所述目标标签五边形边框的五个角点,作为所述目标标签的定位角点;
后处理模块,用于根据所述目标标签的定位角点,对所述目标标签进行目标跟踪和/或姿态估计。
5.一种标签,其特征在于,应用如权利要求1-3任一所述的标签检测方法,包括:
边框,是在正方形边框的一个角处去掉一个等腰直角三角形形成的五边形边框,所述五边形边框在去掉所述等腰直角三角形处形成最短边;所述等腰直角三角形的直角边的边长为所述正方形边框的边长的五分之一;
编码区域,位于所述边框的内部,采用正方形网格编码,所述正方形网格编码中每个正方形的边长与所述等腰直角三角形的直角边的边长相等;所述正方形网格编码包括白色正方形网格和黑色正方形网格,所述白色正方形网格和黑色正方形网格代表不同的编码,所述正方形网格编码是采用三行三列的九个正方形形成网格进行编码,或者,所述正方形网格编码填满黑色五边形边框内的区域。
6.一种视觉基准系统,其特征在于,包括:根据权利要求4所述的标签检测装置和根据权利要求5所述的标签。
7.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3任一项所述的标签检测方法的步骤。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的标签检测方法的步骤。
CN202110620162.5A 2021-06-03 2021-06-03 标签、标签检测方法与装置、视觉基准系统、设备和介质 Active CN113298213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110620162.5A CN113298213B (zh) 2021-06-03 2021-06-03 标签、标签检测方法与装置、视觉基准系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110620162.5A CN113298213B (zh) 2021-06-03 2021-06-03 标签、标签检测方法与装置、视觉基准系统、设备和介质

Publications (2)

Publication Number Publication Date
CN113298213A CN113298213A (zh) 2021-08-24
CN113298213B true CN113298213B (zh) 2023-12-22

Family

ID=77326962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110620162.5A Active CN113298213B (zh) 2021-06-03 2021-06-03 标签、标签检测方法与装置、视觉基准系统、设备和介质

Country Status (1)

Country Link
CN (1) CN113298213B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203149585U (zh) * 2013-01-17 2013-08-21 无锡普智联科高新技术有限公司 基于规则图形码复合标签的移动机器人定位系统
CN105804298A (zh) * 2016-03-24 2016-07-27 广西建工集团第五建筑工程有限责任公司 一种蜂窝状的外凸型不规则幕墙的施工方法
CN105989389A (zh) * 2015-02-11 2016-10-05 北京鼎九信息工程研究院有限公司 一种二维码
CN107729968A (zh) * 2017-09-30 2018-02-23 中联惠众信息技术(北京)有限公司 一种二维码编码方法和解码方法
CN109685844A (zh) * 2018-11-22 2019-04-26 佛山科学技术学院 一种编织网格标记和方向校准优化方法及装置
CN110096920A (zh) * 2019-04-22 2019-08-06 浙江大学滨海产业技术研究院 一种面向视觉伺服的高精度高速定位标签和定位方法
CN112414225A (zh) * 2020-11-13 2021-02-26 中国船舶重工集团公司第七0七研究所 一种二维码和圆形编码盘相结合的靶标及其识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
KR100828539B1 (ko) * 2005-09-20 2008-05-13 후지제롯쿠스 가부시끼가이샤 이차원 코드의 검출 방법, 검출 장치, 및 검출 프로그램을기억한 기억 매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203149585U (zh) * 2013-01-17 2013-08-21 无锡普智联科高新技术有限公司 基于规则图形码复合标签的移动机器人定位系统
CN105989389A (zh) * 2015-02-11 2016-10-05 北京鼎九信息工程研究院有限公司 一种二维码
CN105804298A (zh) * 2016-03-24 2016-07-27 广西建工集团第五建筑工程有限责任公司 一种蜂窝状的外凸型不规则幕墙的施工方法
CN107729968A (zh) * 2017-09-30 2018-02-23 中联惠众信息技术(北京)有限公司 一种二维码编码方法和解码方法
CN109685844A (zh) * 2018-11-22 2019-04-26 佛山科学技术学院 一种编织网格标记和方向校准优化方法及装置
CN110096920A (zh) * 2019-04-22 2019-08-06 浙江大学滨海产业技术研究院 一种面向视觉伺服的高精度高速定位标签和定位方法
CN112414225A (zh) * 2020-11-13 2021-02-26 中国船舶重工集团公司第七0七研究所 一种二维码和圆形编码盘相结合的靶标及其识别方法

Also Published As

Publication number Publication date
CN113298213A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN106296725B (zh) 运动目标实时检测与跟踪方法及目标检测装置
US7146036B2 (en) Multiframe correspondence estimation
WO2007052191A2 (en) Filling in depth results
CN106919883B (zh) 一种qr码的定位方法及装置
CN112418216A (zh) 一种复杂自然场景图像中的文字检测方法
CN112580383B (zh) 二维码识别方法、装置、电子设备及存储介质
CN108629782B (zh) 基于地面线索传播的道路目标深度估计方法
CN110309808B (zh) 一种大范围尺度空间下的自适应烟雾根节点检测方法
CN113298213B (zh) 标签、标签检测方法与装置、视觉基准系统、设备和介质
KR20200036353A (ko) 3차원 자세 추정 장치 및 3차원 자세 추정 방법
EP3029631A1 (en) A method and apparatus for assisted object selection in video sequences
CN107358138B (zh) 非线性畸变ean条码的校正方法、移动终端及存储装置
KR100606404B1 (ko) 컬러코드 이미지 검출 방법 및 장치
CN113033233B (zh) 一种几何变形qr码的定位方法、装置及存储介质
CN114359322A (zh) 图像校正、拼接方法及相关装置、设备、系统和存储介质
CN113838032A (zh) 棋盘定位方法、装置、设备及存储介质
CN110926370B (zh) 测量方法和系统
CN111340957A (zh) 测量方法和系统
CN106875369B (zh) 实时动态目标跟踪方法及装置
CN111178111A (zh) 二维码检测方法、电子设备、存储介质及系统
Kang et al. Checkerboard Corner Localization Accelerated with Deep False Detection for Multi-camera Calibration
CN112652004B (zh) 一种图像处理方法、装置、设备及介质
Dasgupta et al. ME5405: Machine Vision
CN117173375A (zh) 一种基于生物医学特征的人体骨骼图像增强现实呈现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant