CN110114781A - 用于检测和识别远程高密度视觉标记的方法 - Google Patents

用于检测和识别远程高密度视觉标记的方法 Download PDF

Info

Publication number
CN110114781A
CN110114781A CN201780077316.2A CN201780077316A CN110114781A CN 110114781 A CN110114781 A CN 110114781A CN 201780077316 A CN201780077316 A CN 201780077316A CN 110114781 A CN110114781 A CN 110114781A
Authority
CN
China
Prior art keywords
label
color
cell
grid
palette
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780077316.2A
Other languages
English (en)
Other versions
CN110114781B (zh
Inventor
胡安·曼努埃尔·赛斯马丁内斯
弗朗西斯科·埃斯科拉诺鲁伊斯
米格尔·安格尔·洛萨诺奥尔特加
哈维尔·皮塔洛萨诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad de Alicante
Original Assignee
Universidad de Alicante
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad de Alicante filed Critical Universidad de Alicante
Publication of CN110114781A publication Critical patent/CN110114781A/zh
Application granted granted Critical
Publication of CN110114781B publication Critical patent/CN110114781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/0614—Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K2019/06215—Aspects not covered by other subgroups
    • G06K2019/06225—Aspects not covered by other subgroups using wavelength selection, e.g. colour code

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

方案涉及远程高密度视觉标记(标记设计和检测方法)的完整系统。在该设计中，使用了用于远程标记的常规定位系统。因此，方案专注于用于编码信息的系统，其在此情况下是具有四种状态的基于颜色的码，相对于常规的黑白系统而言使码的密度加倍。此外，该检测方法需要非常少的计算资源，使得该检测方法非常有效并且特别适合于移动设备。在很大程度上，该技术的成功在于所提出的用于颜色处理的方法。

Description

用于检测和识别远程高密度视觉标记的方法
发明目的
本发明的目的是有效的远程高密度视觉标记系统。本发明提供了新型视觉标记以及借助于移动设备的摄像装置来检测和识别该新型视觉标记的方法，其目的是用作视觉受损者的引导。
背景技术
人工标记是有意地引入到场景中的元素并且包含某些类型的信息以对其进行贴标签或信号通知。当标记被配置成使得通过便携式电子设备(例如，智能电话或平板电脑)的数码摄像装置捕获和解释其信息时，该标记被称为“视觉标记”。与例如条形码的其他一维标记不同，视觉标记通常以二维的形式提供信息。
当视觉标记被设想为保持大量信息时，该视觉标记被称为密集标记。为了保持所述信息，密集标记通常由大量视觉元素组成。这意味着为了获得正确的读取，图像必须清晰、光线充足并且足够接近于目标(通常为20-50cm)。换句话说，这些标记不适合于从长距离进行捕获或者在例如该区域的照明不足、由于摄像装置突然移动导致的模糊等不利的光学条件下进行捕获。这组标记包括许多日常示例，例如QR码(http://www.qrcode.com)或数据矩阵系统[R.Stevenson，“Laser marking Matrix Codes on PCBs”，Printed CircuitDesign and Manufacture，2007]。尽管存在例如所谓的HCCBs(高容量彩色条形码)、由微软开发的二维彩色标记[D.Parikh，G.Jancke，“Localization and segmentation of a 2Dhigh capacity colour barcode”，IEEE Applications of Computer Vision，2008]的例外，但是这些码通常是两色的，即由黑色和白色的元素组成。在二维彩色标记的情况下，颜色提供了更密集的信息，但是在读取码时颜色也是更大困难的来源，因为用户必须使标记准确地放在图像区域的中心使得算法能够正确地捕获标记。
此外，在现有技术中，我们还发现了“长距离标记”，其被设想用于快速地并且从通常在5至7米的长距离以及在不同的照明条件下捕获。这些长距离标记在增强现实应用中使用非常广泛，但是这些长距离标记也借助于地标在例如移动机器人的其他情况下使用。这种类型的标记通常比密集标记保持更少的信息，因为当添加信息时，标记的几何形状变得更加复杂，严重地影响了从远处进行标记检测。
在现有技术中，主要已知三种类型的长距离标记。ARToolkit是使用最广泛的并且被用于增强现实应用中，如在[H.Kato，M.Billinghurst，“Marker tracking and hmdcalibration for a video-based augmented reality conferencing system”，IEEE andACM International Workshop on Augmented Reality(IWAR)，1999年10月]中以及在[H.Kato，“ARToolkit：library for Vision-Based augmented reality”，Institute ofElectronics，Information and Communication Engineers Technical Report，2002]中所说明的。这些标记由白色背景上的包含黑白图形——用于在两个标记之间进行区分——的黑色框组成。标记之间的这种区分形式不是非常有效并且基本上被应用于将标记与场景中的任何其他黑色框区分开，而不是将许多标记与另一标记区分开。因此，这种区分形式基本上限于具有单个标记的应用。例如在[E.Olson，“AprilTag：A robust and flexiblevisual fiducial system”，IEEE International Conference on Robotics andAutomation(ICRA)，2011]中以及在[S.Garrido，R.F.J.Madrid，M.J.Marín，“Automatic generation and detection of highly reliable fiducial markers underocclusion”Pattern recognition，2014]中，这种类型的标记的发展导致了包含信息的系统。
这些情况下的标记定位系统是相同的，即，白色背景上的黑色框，并且它们基本上不同于用于保持信息的编码。第一系统使用6 x 6二色元素网格。这36个元素代管包含消息和错误检测/纠正码二者的二进制码，允许纠正码排除对称性和模糊性并且生成500个不同的码。第二系统使用较小的网格(5 x 5)并且应用汉明码的变型，这允许实现10位信息(1024种组合)，其中其余部分由错误检测/纠正码占用。
本发明所解决的技术问题在于在所有不同类型的标记中不存在同时允许从长距离检测标记并且保持足够量的信息的中间系统的事实。
当前的视觉标记非常有用，因为视觉标记提供了可通过移动设备的摄像装置捕获的关于周围区域的信息；然而，视觉标记对盲人并不完全有用：信息标记需要摄像装置取景，这对盲人来说是重要的挑战，并且远程标记在诸如超市里的价格标签或机场里的指示的信息量方面非常有限。
这不是在针对盲人的应用框架中创建用于移动设备的人工标记系统的第一次尝试。在[J.Coughlan，R.Manduchi，M.Mutsuzaki，H.Shen，“Rapid and Robust Algorithmsfor Detecting Colour Targets”，Congress of the International ColourAssociation，Spain，2005年5月]中描述了专门为这一群体的移动应用而提出的标记模型。在这种情况下，该标记模型是不保持信息的单一标记模型，这在很大程度上限制了其应用。
发明内容
本发明的目的是在引导盲人的背景下用于移动设备的混合(远程、密集)视觉标记。本发明提出了一种方法，该方法将每个族中的最佳集合在一起，即，其容纳足够量的信息并且可以在不同的照明条件下和合理的距离下以有效的方式对其进行检测。
本发明中的标记对象与一些远程标记例如在下述文献中描述的远程标记共享结构相似性：[E.Olson，“AprilTag:A robust and flexible visual fiducial system”，IEEE International Conference on Robotics and Automation(ICRA)，2011]和[S.Garrido，R.F.J.Madrid，M.J.Marín，“Automatic generation and detectionof highly reliable fiducial markers under occlusion”Pattern Recognition，2014]。
在此意义上，本发明中的标记对象具有在远程标记族中广泛使用的相同的定位系统(白色背景上的黑色框)。包含数据的网格将被容纳在所述框中。
然而，本发明提出的标记与现有技术中已知的标记之间的基本差异在于网格由具有四种状态(四种色调)的元素组成，而先前描述的方法使用具有两种状态(黑色和白色)的网格。作为该特征的结果，给定相同的网格大小，本发明中的标记模型对象以两倍的码密度工作。
因此，如果码具有n种元素，则与具有两种状态的标记的2n种组合相比，本发明中的标记处理4n种组合。这种差异不会改变标记的元素的分辨率，因此本发明的标记保持其特征为远程标记，但是具有更高的码密度。
本发明被限定为四种颜色的任意组合，但不必是四种特定颜色，因为标记设计包括由每个标记使用的调色板。然而，尽管为调色板选择的四种色调可以是任意四种色调，但是它们应当能够彼此区分以避免模糊性，并且从而改善标记的读取。因此，本发明的优选实施方式是与由RGB(红色、绿色、蓝色)颜色空间限定的立方体中的四个最外角部对应的CMYK(青色、品红色、黄色、黑色)组合。
可以在网格中找到以下元素：
(a)调色板包括在网格的四个角部中，即，在网格的每个角部都存在调色板的基本颜色，因此，例如，在CMYK组合的情况下，在角部的每一个中都将存在一种颜色(在第一角部为青色、在第二角部为品红色、在第三角部为黄色、在第四角部为黑色)。为了使标记不随旋转而变化，可以认为最暗的元素始终是调色板中的最后一个值。调色板的引入解决了识别标记的颜色的问题，这可以防止颜色退化的影响，因为一旦提取了标记的颜色，就会获得每种颜色的参考并且可以借助于颜色接近标准将其用于对数据网格的其余部分进行贴标签。
(b)中心元素从四种可能的大小(5 x 5、7 x 7、9 x 9、11 x 11)中确定网格大小。大小的选择将取决于每种应用的需求。
(c)除了中心单元格以外的中心行和列限定了循环冗余校验(CRC)。CRC是根据消息来计算的并且包括在标记中。在检测标记的步骤中，提取消息，重新计算CRC并且将重新计算出的CRC与伴随标记的CRC相比较以验证消息的完整性。
(d)其余元素专用于消息。
一旦根据本发明确定了标记设计，用于在数字图像中对其进行检测和识别的方法包括以下步骤：
(i)检测黑色框和白色框，定位它们的角部的坐标。对于第一步，在图像上应用框检测算法以检测第一组候选。现有技术描述了处理该问题的多种算法。然而，尽管任何其他方法可以用于相同的目的，但是特定实施方式提出了在[S.Garrido，R.F.J.Madrid，M.J.Marín，“Automatic generation and detection of highly reliablefiducial markers under occlusion”，Pattern Recognition，2014]中描述的算法。
(ii)借助于双线性内插来从每个检测到的框中获得网格，其中每个单元格的中心的坐标也考虑了黑色框和白色框中的方框(box)。
(iii)获得每个单元格的颜色。如果所述中心处于实坐标中并且图像处于离散坐标中，则执行4邻近点双线性内插以获得所述值。
(iv)计算黑色框和白色框的颜色的算术平均值用于获得参考白色和参考黑色。
(v)根据在前一步骤中获得的参考黑色和参考白色通过建立白平衡来将每个单元格的颜色归一化。
(vi)考虑到最暗的角部必须在调色板的最后一个位置来校正标记的取向。
(vii)从角部获得调色板，并且对标记进行贴标签以指示调色板的哪个值对应于每个单元格。
(viii)通过分析中心标签是否是所预期的来验证标记属于期望族(该方法被配置成搜索由应用限定的特定大小的标记，因此该步骤对于排除场景中可能包含的任何其他大小的标记是必要的)。必须考虑到，在描述算法时，该算法是针对特定大小启动的。例如，人行横道信号应用将使用5 x 5大小，其具有很少的组合学，但是超市产品标签应用将使用7x 7大小。每个应用能够检测仅一种类型的标记。
(ix)组合消息和CRC。
(x)验证消息的完整性、根据其重新计算CRC并且将重新计算出的CRC与从码中读取的CRC相比较。
本发明的第一个目的是将高密度和远程相结合，从而克服现有系统具有的困难，因为这两个特征不是同时提供的。
本发明的第二目的是建立具有低计算复杂度的方法，该方法允许在具有低计算容量的设备例如智能电话上以非常有效的方式检测标记。
本发明的第三目的是通过包括调色板和白平衡来执行稳健的颜色处理，提高本发明在视觉标记检测中的稳健性。
上述内容与本说明书中所附的独立权利要求相符合。根据独立权利要求在权利要求中指示了本发明的特定实施方式，所有这些都通过引用并入本部分中。
在整个说明书和权利要求书中，词语“包括”及其变型不旨在排除其他技术特征、附加物、部件或步骤。对本领域技术人员而言，将部分地根据说明书并且部分地根据将本发明投入实践而推断出本发明的其他目的、优点和特征。以下示例和附图通过说明的方式提供并且不旨在限制本发明。此外，本发明涵盖本文所示出的特定实施方式和优选实施方式的所有可能组合。
附图说明
下面非常简要地描述了一系列附图，所述附图有助于更好地理解本发明并且明确涉及作为本发明的非限制性示例呈现的所述发明的实施方式。
图1示出了所提出的标记的图，其中可以观察到定位框(1)和保持数据的N x N元素(2)的网格(在该实际实施方式中为5 x 5，用分别表示每个单元格的颜色即青色、品红色、黄色和黑色的字母C、M、Y、K贴标签)。元素的网格和定位框二者具有相同的大小和方形形状，因此，在l为网格(3)中单元格的边的大小的情况下，标记(4)的总面积为(l(N+4))2。
图2示出了实际标记中包括的调色板P＝[p0，p1，p2，p3]，该调色板以顺时针顺序位于数据网格的各个角部中并且参照了确定p3的具有最低亮度的元素(在CMYK的情况下为黑色)。标记的类型S确定其大小N并且被放置在网格的中心单元格中。
图3示出了限定的四种大小的标记的示例。从下到上为：5 x 5、7 x 7、9 x 9、11 x11。由于使用了CMYK调色板，因此网格的中心元素在5 x 5的大小中采用青色值、在7 x 7的大小中采用品红色、在9 x 9的大小中采用黄色以及在11 x 11的大小中采用黑色。
图4示出了原始图像(在图4中的左侧)。通过应用框检测算法获得了限定定位框的四个角部(在图4中的中央)。根据框的坐标获得了具有(N+4)x(N+4)坐标的网格，该网格覆盖了信息单元格和所述框二者(在图4中的右侧)。
图5示出了针对盲人的视觉标记的几种应用，即产品标签(左侧)和城市环境中的标牌(右侧)。
具体实施方式
所提出的标记设计是基于N x N元素的网格，该网格在黑色框内可以采用多达四种不同的颜色，黑色框又在白色框内，如在图1中最佳可见的。如可见的，数据网格中的单元格的边l的大小确定定位框的宽度，并且因此确定标记的总大小。
调色板由将在标记中使用的四种颜色组成：
P＝[p0，p1，p2，p3]
将调色板引入到实际标记中，具体地引入到数据网格的四个角部中，如图2中可见。调色板以顺时针顺序引入并且调色板的参考(最后一个元素p3)由最暗的元素(具有最低亮度的元素)标记。
根据应用的需要，可以具有大小N∈{5，7，9，11}的网格。为了确定当前标记的网格的大小，查阅网格的中心位置的单元格。注意，网格可以具有的四种大小(即，N＝{5，7，9，11})是奇数，因此始终存在清晰的中心位置。与网格中的其余单元格一样，该中心单元格可以采用分别与网格的可能大小{5，7，9，11}(见图3)对应的调色板S∈{p0，p1，p2，p3}中的任何值。
考虑到每个单元格保持2位(即4个组合)，N x N元素的标记包含2N2-4N-6位的数据和4N-4位的CRC。因此，CRC长度根据消息长度而增长。表1示出了针对每个标记大小的消息长度、CRC长度以及用于计算的生成多项式。在此意义上，已根据每个长度使用了标准的生成多项式(已证明有效)。
N x N 消息长度 CRC长度 CRC多项式
5 x 5 24位 16位 CRC-16-CDMA2000
7 x 7 64位 24位 CRC-24-Radix-64
9 x 9 120位 32位 CRC-32Q
11 x 11 192位 40位 CRC-40-GSM
表1
为了观察颜色的包含对消息的密度的影响，作为比较数据，在[S.Garrido，R.F.J.Madrid，M.J.Marín，“Automatic generation and detection of highlyreliable fiducial markers under occlusion”，Pattern Recognition，2014]中描述的5x 5系统提供了1024种组合，并且在[E.Olson，“AprilTag:A robust and flexible visualfiducial system”，IEEE International Conference on Robotics and Automation(ICRA)，2011]中描述的6 x 6系统提供仅500种组合，而本发明在其最小密集版本(5 x 5)中能够处理24位的消息，即16777216种组合。
用于检测标记的方法的步骤总结如下。给定图像I(x，y)和标记大小N∈{5，7，9，11}，提取I(x，y)的框M＝{m0，m1，…，mk-1}并且对于每个mi∈M：
1)根据mi获得(N+4)x(N+4)的Gi(x，y)的坐标
2)根据数据Ci(x，y)获得颜色，并且根据Gi获得白色参考和黑色参考
3)归一化
4)通过利用其参考角部对C′i定向来获得C″i
5)从C″i的角部获得调色板Pi＝[p0，p1，p2，p3]
6)通过使C″i(x，y)最邻近Pi来对Ei(x，y)进行贴标签
7)如果Ei([N/2]，[N/2])＝(N-5)/2成立，则：
从Ei中提取消息和CRC
计算的CRC。如果的CRC与一致，则将添加至T。
因此，给定由设备的摄像装置捕获的数字彩色图像I(x，y)和期望的标记大小N∈{5，7，9，11}，针对检测包含在该图像中的一组标记T，首先应用框检测算法。作为对图像I(x，y)进行框检测算法的结果，获得了包含在图像中的一组框M＝{m0，m1，…，mk-1}。每个框由图像的空间上的四个坐标mi＝(c0，c1，c2，c3)限定，以顺时针顺序与框的外角部对应(见图4的中心)。
每个检测到的框mi表示可能的标记。以框的四个坐标mi＝(c0，c1，c2，c3)作为基准，执行双线性内插以获得(N+4)x(N+4)等距离坐标的网格Gi(x，y)。该网格包含标记的信息中的N x N单元格的中心的坐标、黑色框上的4N+4个坐标以及白色框上的4N+12个坐标(见图4的右侧)。
对于Gi的每个坐标，获得图像I(Gi(x，y))中相应的颜色(考虑到Gi在实坐标中并且图像在离散坐标中，通过4邻近点双线性内插获得该颜色)。在获得(N+4)x(N+4)颜色的情况下，将Ci作为属于标记的数据的颜色的N x N网格并且将和分别作为属于黑色框和白色框的颜色的算术平均值。
值和在本发明中发挥着重要作用，因为它们表示标记的黑色参考和白色参考。因此，定位框不仅可以用于定位标记而且还可以用于执行白平衡并且因此以稳健的方式处理颜色。为此，C′i是根据Ci归一化每个单元格而形成的，如下所示：
尽管C′i包含标记的N x N单元格的颜色的归一化参考，但是取向仍然是未知的，因为框检测算法不提供该信息(该框不包含取向信息)。要解决此问题，将考虑标记的角部：
{C′i(0，0)，C′i(N-1，0)，C′i(N-1，N-1)，C′i(O，N-1)}
标记的角部包含顺时针顺序的调色板，其中以调色板的最后一个位置中的最暗的元素为参考。因此，根据C′i的4个可能取向，选择使四个角部中的最暗元素(最低亮度)留在C′i(O，N-1)中的角部，获得C″i。
使用按顺序的颜色样本，获得四个角部的调色板：
Pi＝[p0，p1，p2，p3]＝[C″i(0，0)，C″i(N-1，0)，C″i(N-1，N-1)，C″i(O，N-1)]
从调色板获得标记的标签的Ei(x，y)。它是针对每个单元格指示其对应于的调色板的索引值的矩阵。为此，执行最邻近分类(使用最接近单元格颜色的颜色值来分配调色板的索引)：
Ei(x，y)＝argmink∈{0，1，2，3}‖C″i(x，y)-pk‖
为了计算两种颜色之间的欧几里德距离‖.‖，建议CIE 1976 L*a*b*颜色空间，因为该空间是各向同性的(与例如RGB的其他空间不同)，这证明使用该距离函数是合理的。
一旦获得了单元格的标记，有必要验证正在分析的标记是否来自期望的标记族。为此，有必要验证中心单元格中指定的大小与期望的标记大小一致，即：
Ei([N/2]，[N/2])＝(N-5)/2
否则，将从可能的标记中排除当前框。
此时，就到了从标记中提取信息的时候了，即消息和循环冗余校验为了获得从中心列和中心行中取出单元格(除了确定标记类型的中心单元格以外)，并且形成4N-4位的单个数，其中单元格的标签为二进制(标签[0，1，2，3]对应于二进制码[00，01，10，11])，遵循矩阵上的读取顺序(从左至右以及从上至下)。
同样，通过将消息的单元格(与调色板、CRC或标记类型不对应的那些单元格)相组合来获得形成2N2-4N-6位的二进制数。
为了完成检测，通过使用合适的多项式(见表1)计算的循环冗余校验并且将其与所读取的CRC相比较来验证消息的完整性。如果两个码一致，则认为消息有效并且将添加至在当前图像I(x，y)中检测到的标记T的集合中。
示例1.该方法的结果
为了确保对标记的正确操作和本发明中提出的检测方法，已开发了由以下两个应用组成的功能原型：标记生成器和检测器。这两个应用都是在高性能跨平台编程环境QtSDK(http:/www.qt-project.org)中以C++开发的。
生成器管理具有每个标记的信息(标记代码、与标记相关联的文本、实际打印大小等)的标记数据库并且允许创建、移除、搜索和打印具有所选物理大小的这些标记。
此外，检测器负责检测从设备的摄像装置获得的图像上的标记。在这种情况下，检测器是针对Android设备和iOS设备二者开发的。当检测到标记时，系统在数据库中查询标记码并且使标记内容用言语表达出来(使用文本至语音)。此外，系统还使该标记所在的实际距离用言语表达出来，因为每个标记的打印大小存储在数据库中并且该信息与摄像装置信息(焦距和光圈)一起用于恢复标记的实际比例。
至于性能，系统能够处理18.6fps的平均值。该数据取决于设备和摄像装置分辨率而不同。在这种情况下，已经使用了配备有具有2.1GHz和3GB RAM内存的Cortex A57八核处理器、具有1280x720分辨率的摄像装置的三星Galaxy S6(SM-G920F)，并且使用在[S.Garrido，R.F.J.Madrid，M.J.Marín，“Automatic generation and detectionof highly reliable fiducial markers under occlusion”，Pattern Recognition，2014]中描述的2.0版本的库来执行框检测，其可以从以下链接得到：http://www.uco.es/investiga/grupos/ava/node/26。
考虑到设备的摄像装置以30fps提供图像，通过消除摄像装置访问时间，系统能够在上述设备中以20.43毫秒的平均时间处理每个框。
关于检测距离，其取决于摄像装置分辨率、照明条件以及标记大小和类型。在有利的照明条件(日光)下并且使用上述分辨率(1280 x 720)，在8.12米的最大距离处检测到在20 x 20cm大小(标准A4打印大小)上打印的5 x 5标记。
这种类型的标记可以应用于其中范围和码密度都发挥重要作用的情况下(见图6，其示出了针对盲人的视觉标记应用)，例如产品标签(左侧)和城市环境中的标牌(右侧)。

Claims (5)

1.一种远程密集视觉标记，包括：
白色背景上的黑色框；
包含在该框中的四边形网格；
并且其中，所述网格被划分成构成多个单元格的纵向行和垂直列，其中，每个单元格对应于不同的数据片段；
并且其中，该网格由具有四种不同色调的元素组成，其中所述四种色调能够彼此区分并且形成调色板；
并且其特征在于，该标记还包括：
在形成所述网格的角部的四个单元格中的每一个中包括色调，对于每个角部的每个单元格包括至少一种色调，使得最暗的元素被认为是形成所述调色板的最后一个值；
并且其中，所述网格中的中心单元格确定所述网格的大小；
并且其中，除了中心单元格以外的与中心行和列对应的单元格限定循环冗余校验；
并且其中，形成所述网格的剩余单元格是专用于能够由所述视觉标记传送的消息的元素。
2.根据权利要求1所述的标记，其中，所述四种色调与青色、品红色、黄色、黑色组合对应。
3.一种用于检测根据权利要求1至2中的任一项所述的视觉标记的检测方法，其特征在于，所述方法包括以下步骤：
检测所述黑色框和白色框，定位它们的角部的坐标；
借助于双线性内插来从每个检测到的框获得网格；
获得每个单元格的颜色；
计算所述黑色框和所述白色框的颜色的算术平均值以获得参考白色和参考黑色；
根据在前一步骤中获得的所述参考黑色和参考白色、通过建立白平衡来将每个单元格的颜色归一化；
考虑到最暗的角部的单元格必须处于所述调色板的最后一个位置来校正所述标记的取向；
从角部获得所述调色板，并且对所述标记进行贴标签以指示所述调色板的哪个值对应于每个单元格；
通过分析中心标签是否是所预期的来验证所述标记属于期望族；
组合所述消息和所述循环冗余校验；
验证所述消息的完整性，根据其重新计算所述循环冗余校验，并且将其与从所述码中读取的循环冗余校验相比较。
4.根据权利要求3所述的方法，其中，还考虑黑色框和白色框，在双线性内插中使用每个单元格的中心的坐标。
5.根据权利要求3至4中的任一项所述的方法，其中，为了获得每个单元格的颜色并且如果其中心处于实坐标中并且图像处于离散坐标中，则执行4邻近点双线性内插以获得所述值。
CN201780077316.2A 2016-12-20 2017-03-03 用于检测和识别远程高密度视觉标记的方法 Active CN110114781B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ES201631625A ES2616146B2 (es) 2016-12-20 2016-12-20 Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad
ESP201631625 2016-12-20
PCT/ES2017/070122 WO2018115542A1 (es) 2016-12-20 2017-03-03 Método de detección y reconocimiento de marcadores visuales de largo alcance y alta densidad

Publications (2)

Publication Number Publication Date
CN110114781A true CN110114781A (zh) 2019-08-09
CN110114781B CN110114781B (zh) 2023-09-29

Family

ID=58873921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780077316.2A Active CN110114781B (zh) 2016-12-20 2017-03-03 用于检测和识别远程高密度视觉标记的方法

Country Status (15)

Country Link
US (1) US10956799B2 (zh)
EP (1) EP3561729B1 (zh)
JP (1) JP6856956B2 (zh)
KR (1) KR102375325B1 (zh)
CN (1) CN110114781B (zh)
AU (1) AU2017380263B2 (zh)
BR (1) BR112019012244A8 (zh)
CA (1) CA3045391C (zh)
DK (1) DK3561729T3 (zh)
ES (1) ES2616146B2 (zh)
IL (1) IL267201B (zh)
MA (1) MA47132A (zh)
MX (1) MX2019006764A (zh)
RU (1) RU2729399C1 (zh)
WO (1) WO2018115542A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
IT202100004982A1 (it) * 2021-03-03 2022-09-03 Goatai S R L Marker per reti neurali artificiali, relativo metodo implementato mediante computer di riconoscimento e interpretazione e relativo sistema
ES1295251Y (es) * 2022-04-08 2023-01-16 Nuevos Sist Tecnologicos S L Envase para producto de consumo con codigo visible y sistema que comprende el envase
ES1295494Y (es) * 2022-05-17 2023-02-01 Nuevos Sist Tecnologicos S L Producto de consumo, que comprende un envase externo con codigo visible y sistema que incluye al producto
ES2933648B2 (es) * 2022-07-12 2023-05-23 4I Intelligent Insights S L Sistema y procedimiento de codificacion y decodificacion de informacion a traves de imagenes con decodificacion robusta a media distancia

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010017892A1 (en) * 1998-11-06 2001-08-30 Barton James M. Analog video tagging and encoding system
US7032823B2 (en) * 2003-01-30 2006-04-25 Denso Wave Incorporated Two-dimensional code, methods and apparatuses for generating, displaying and reading the same
US20140267368A1 (en) * 2013-03-15 2014-09-18 Pictech Management Limited Data storage and exchange device for color space encoded images
CN104657698A (zh) * 2015-02-10 2015-05-27 浙江科技学院 一种可承载多幅黑白二维码的彩色二维码编解码方法
CN104866859A (zh) * 2015-05-29 2015-08-26 南京信息工程大学 一种高鲁棒性的视觉图形标志及其识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051618A (ja) * 1996-07-29 1998-02-20 Minolta Co Ltd 画像編集装置
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
CN101088100B (zh) * 2004-11-05 2014-03-12 卡勒兹普麦迪亚公司 对混合码进行解码的方法和装置
CA2566260C (en) * 2005-10-31 2013-10-01 National Research Council Of Canada Marker and method for detecting said marker
US20110110586A1 (en) * 2008-05-29 2011-05-12 Colour Code Technologies, Co., Ltd Information code
JP2011186613A (ja) * 2010-03-05 2011-09-22 Colour Code Technologies Co Ltd ２次元カラーコードの作成方法および復号方法
JP5738492B2 (ja) * 2011-10-10 2015-06-24 イェウォン コミュニケーション カンパニー リミテッドＹｅｗｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｃｏ．，Ｌｔｄ． Ｑｒコード自動認識装置及び方法
US9129346B2 (en) * 2013-03-15 2015-09-08 Pictech Management Limited Image fragmentation for distortion correction of color space encoded image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010017892A1 (en) * 1998-11-06 2001-08-30 Barton James M. Analog video tagging and encoding system
US7032823B2 (en) * 2003-01-30 2006-04-25 Denso Wave Incorporated Two-dimensional code, methods and apparatuses for generating, displaying and reading the same
US20140267368A1 (en) * 2013-03-15 2014-09-18 Pictech Management Limited Data storage and exchange device for color space encoded images
CN104657698A (zh) * 2015-02-10 2015-05-27 浙江科技学院 一种可承载多幅黑白二维码的彩色二维码编解码方法
CN104866859A (zh) * 2015-05-29 2015-08-26 南京信息工程大学 一种高鲁棒性的视觉图形标志及其识别方法

Also Published As

Publication number Publication date
KR102375325B1 (ko) 2022-03-16
JP2020507831A (ja) 2020-03-12
IL267201A (en) 2019-11-28
CA3045391A1 (en) 2018-06-28
ES2616146A1 (es) 2017-06-09
RU2729399C1 (ru) 2020-08-06
MX2019006764A (es) 2019-08-21
DK3561729T3 (da) 2022-10-03
ES2616146B2 (es) 2018-04-27
WO2018115542A1 (es) 2018-06-28
MA47132A (fr) 2019-10-30
AU2017380263A1 (en) 2019-06-20
EP3561729A4 (en) 2020-11-11
CA3045391C (en) 2023-08-22
EP3561729B1 (en) 2022-07-27
US10956799B2 (en) 2021-03-23
CN110114781B (zh) 2023-09-29
IL267201B (en) 2022-05-01
BR112019012244A2 (pt) 2019-11-05
AU2017380263B2 (en) 2022-06-30
EP3561729A1 (en) 2019-10-30
US20190294936A1 (en) 2019-09-26
KR20190098996A (ko) 2019-08-23
BR112019012244A8 (pt) 2023-04-04
JP6856956B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
CN110114781A (zh) 用于检测和识别远程高密度视觉标记的方法
US9406010B2 (en) Producing, capturing and using visual identification tags for moving objects
USRE44982E1 (en) Mixed code, and method and apparatus for generating the same
US8511562B2 (en) Layered two-dimensional code, creation method thereof, and read method
CN100390807C (zh) 一种易于全方位识别的三边形多维条码的识读方法
CN1971591A (zh) 二维代码，以及用于检测二维代码的方法和设备
US6902113B2 (en) Selection of colors for color bar codes
US8917912B2 (en) Object identification system and method of identifying an object using the same
CN114880730A (zh) 确定目标设备的方法、装置及光伏系统
CN111507119A (zh) 标识码识别方法、装置、电子设备及计算机可读存储介质
US20160142713A1 (en) Description Encoding/decoding of information from a graphic information unit
US20030052179A1 (en) Machine-readable symbol and related method
JP2013084031A (ja) マーカー、二次元コード、およびマーカーの認識方法、二次元コードの認識方法
CN113362380B (zh) 一种图像特征点检测模型训练方法、装置及其电子设备
CN111325194B (zh) 一种文字识别方法、装置及设备、存储介质
WO2021064272A1 (es) Código visual, procedimiento para generar un código visual y procedimiento para decodificar un código visual
CN111191759A (zh) 一种二维码的生成方法和基于gpu的定位、解码方法
US11157787B2 (en) Apparatus and method of creating fiducial marker image
Sáez et al. An efficient, dense and long-range marker system for the guidance of the visually impaired
Benito Altamirano Automated color correction for colorimetric applications using barcodes
TW202223728A (zh) 信息碼元與定向碼元分離雙向可讀二維條形碼
Granados et al. EcoIS: An image serialization library for plot-based plant flowering phenology
Chauhan et al. INTERNATIONAL JOURNAL OF ENGINEERING SCIENCES & RESEARCH TECHNOLOGY AUGMENTED REALITY MARKERS, IT’S DIFFERENT TYPES, CRITERION FOR BEST FIDUCIALLY MARKER AND NECESSARY REQUIREMENTS TO SELECTING APPLICATION ORIENTED MARKERS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40012530

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant