BR112019012244A2

BR112019012244A2 - método de detecção e reconhecimento de marcadores visuais de grande alcance e alta densidade

Info

Publication number: BR112019012244A2
Application number: BR112019012244-3A
Authority: BR
Inventors: Escolano Ruiz Francisco; Pita Lozano Javier; Manuel Saez Martínez Juan; Ángel Lozano Ortega Miguel
Original assignee: Univ Alicante
Priority date: 2016-12-20
Filing date: 2017-03-03
Publication date: 2019-11-05
Also published as: KR102375325B1; JP2020507831A; IL267201A; CA3045391A1; ES2616146A1; CN110114781A; RU2729399C1; MX2019006764A; DK3561729T3; ES2616146B2; WO2018115542A1; MA47132A; AU2017380263A1; EP3561729A4; CA3045391C; EP3561729B1; US10956799B2; CN110114781B; IL267201B; AU2017380263B2

Abstract

a proposta consiste em um sistema de marcadores visuais de alta densidade e alcance total (traçado do marcador e procedimento de detecção). o traçado usa um sistema de localização tradicional típico de marcadores de longo alcance. a proposta é, portanto, focalizada no sistema de codificação de informações, que no presente caso está na forma de um código de quatro estados baseado em cores, que dobra a densidade do código em relação aos sistemas tradicionais em preto e branco. por outro lado, o procedimento de detecção requer muito poucos recursos computacionais, o que o torna muito eficiente e especialmente adequado para dispositivos móveis. o sucesso da técnica está em grande parte nos procedimentos propostos para o tratamento da cor.

Description

MÉTODO DE DETECÇÃO E RECONHECIMENTO DE MARCADORES VISUAIS DE GRANDE ALCANCE E ALTA DENSIDADE

Objeto da invenção [001] O objeto da presente invenção é um sistema eficiente de marcadores visuais de longo alcance e alta densidade. A presente invenção apresenta um novo tipo de marcadores visuais e um método para detectá-los e reconhecê-los pela câmera de um dispositivo móvel, a fim de servir como um guia para os deficientes visuais.

Estado da técnica [002] Um marcador artificial é um elemento que é introduzido intencionalmente em uma cena e que contém algum tipo de informação para rotulá-lo ou sinalizá-lo. Quando o discador é configurado para que suas informações sejam capturadas e interpretadas através da câmera digital de um dispositivo eletrônico portátil (por exemplo, telefone ou tablet), ele é chamado de marcadores visuais. Ao contrário de outros marcadores unidimensionais, como códigos de barras, os marcadores visuais geralmente têm informações na forma bidimensional.

[003] Quando um marcador visual é projetado para armazenar uma grande quantidade de informações, são chamados marcadores densos. Para manter essa informação, os marcadores densos geralmente são compostos de um grande número de elementos visuais. Isso faz com que, para obter uma leitura correta, a imagem seja nítida, bem iluminada e próxima o suficiente da lente (geralmente de 20 a 50 cm) . Em outras palavras, esses marcadores não são indicados para ser captados a longas distâncias ou em condições ópticas desfavoráveis, como pouca iluminação do ambiente, borrões devido a movimentos bruscos da câmera, entre outros. Neste grupo de marcadores, há muitos exemplos cotidianos, tais como os códigos QR (httpllvy + u__grppde_pp_r) ou o sistema

Petição 870190055099, de 14/06/2019, pág. 7/35

2/17

Datamatrix [R. Stevenson, Códigos Matriz de Marcação Laser em RGBs, Projeto e Fabricação de Circuitos Impressos, 2007]. Estes códigos são geralmente dicromáticos, ou seja, compostos de elementos preto e branco, embora existam exceções, como o chamado HCCB ( (High Capacity Color Barcodes) códigos de barras coloridos de alta capacidade), marcadores de cores bidimensionais desenvolvidos pela Microsoft [D. Parikh, G. Jancke, Localização e segmentação de um código de barras colorido de alta capacidade 2d, IEEE Applications of Computer Vision, 2008]. Neste último caso, a cor proporciona uma maior densidade de informação, mas também causa maiores dificuldades ao ler o código, já que o usuário deve centralizar corretamente o marcador em uma zona da imagem para que o algoritmo possa captá-lo corretamente.

[004] Por outro lado, no estado da técnica também são conhecidos os marcadores de longa distância, concebidos para serem captados rapidamente e a grandes distâncias, tipicamente da ordem de 5 a 7 metros e em diferentes condições de iluminação. Esses marcadores de longa distância são muito difundidos em aplicações de realidade aumentada, embora também sejam usados em outros contextos, como a robótica móvel, na forma de marcos (literalmente, marcas terrestres). Este tipo de marcadores geralmente tem muito menos informação do que marcadores densos, já que adicionar informações complica a geometria do marcador, o que afeta seriamente sua detecção remota.

[005] No estado da técnica, são conhecidos três tipos de marcadores de longa distância. ARToolkit é o mais difundido e é usado em aplicações de realidade aumentada, tal como exposto em [H. Kato, M. Billinghurst, Marker tracking and hmd calibration for a video-based augmented reality conferencing system, IEEE and ACM

Petição 870190055099, de 14/06/2019, pág. 8/35

3/17

International Workshop on Augmented Reality (IWAR), October 1999] asi como en [H. Kato, ARToolKit: library for VisionBased augmented reality, Institute of Electronics, Information and Communication Engineers Technical Report, 2002]. Esses marcadores são compostos por uma moldura preta em um fundo branco que contém um desenho em preto e branco, que serve para distinguir um marcador do outro. Esta forma de distinção entre marcadores não é muito eficaz e é aplicada, basicamente, para distinguir um marcador de qualquer outro quadro negro da cena, não para distinguir muitos marcadores uns dos outros. Portanto, é basicamente limitado para aplicativos com um único marcador. A evolução deste tipo de marcadores nos levou a sistemas que incorporam informações, tais como em [E. Olson, AprilTag: A robust and flexible visual fiducial system, IEEE International Conference on Robotics and Automation (ICRA), 2011] y en [S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin, Automatic generation and detection of highly reliable

fiducial	markers	under occlusion	Pattern	Recognition,
2014] .	[006]	0 sistema de localização	do marcador
nesses casos é o	mesmo quadro preto	em um fundo branco, e

eles diferem basicamente na codificação usada para armazenar as informações. No primeiro, é usada uma grade de 6x6 elementos dicromáticos. Nestes 36 elementos existe um código binário que contém tanto a mensagem quanto um código de detecção / correção de erro que permite, descartando simetrias e ambigüidades, gerar 500 códigos diferentes. O segundo, que utiliza uma estrutura menor (5x5), aplica uma variação dos códigos de Hamming com os quais são obtidos 10 bits de informação (1024 combinações), sendo o restante ocupado pelo código do detector / corretor de erros.

[007] O problema técnico solucionado pela

Petição 870190055099, de 14/06/2019, pág. 9/35

4/17 presente invenção reside no fato de que, entre os diferentes tipos de marcadores, não existir um sistema intermediário que permita detectar o marcador a grandes distâncias e alocar uma quantidade suficiente de informação.

[008] Os marcadores visuais atuais são muito úteis, porque eles fornecem informações do primeiro ambiente que podem ser coletadas através da câmera de um dispositivo móvel, no entanto, eles não são totalmente úteis para o grupo de cegos: marcadores informativos precisam fazer um quadro de câmera muito difícil de obter para os cegos e o longo alcance é muito limitado em termos de quantidade de informações, como, por exemplo, rotular os preços em um supermercado ou em um aeroporto.

[009] Não é a primeira vez que uma tentativa está sendo feita para criar um sistema de marcadores artificiais para dispositivos móveis no âmbito de aplicações para cegos. Em [J. Coughlan, R. Manduchi, M. Mutsuzaki, H. Shen, Rapid and Robust Algorithms for Detecting Colour Targets, Congress of the International Colour Association, Spain, May 2005] encontra-se um modelo de marcador proposto exclusivamente para aplicações móveis para este coletivo. Neste caso trata-se de um modelo de marcador único que não hospeda informações, o que limita muito suas aplicações.

Exposição da Invenção [0010] Um objetivo da presente invenção é um marcador visual híbrido (denso e de longo alcance) para dispositivos móveis no contexto de orientar pessoas cegas. Na presente invenção, propõe-se um método que capta o melhor de cada família, isto é, que abriga uma quantidade suficiente de informação e que pode ser detectado eficientemente em diferentes condições de iluminação e a

Petição 870190055099, de 14/06/2019, pág. 10/35

5/17 uma distância razoável.

[0011] O marcador objeto da presente invenção compartilha semelhanças estruturais com alguns marcadores de longo alcance, tais como aqueles descritos em [E. Olson, AprilTag: A robust and flexible visual fiducia/ system, IEEE International Conference on Robotics and Automation (/CRA), 2011] y en [S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin, Automatic generation and detection of highly reliable fiducia/ markers under occlusion Pattern Recognition, 2014]. Neste sentido, possui o mesmo sistema de localização (quadro preto sobre fundo branco) amplamente utilizado na família de marcadores de longo alcance. Dentro dessa estrutura, ficará disposta uma grade (quadriculado) que contém os dados.

[0012] Não obstante, a diferença básica entre o marcador proposto na presente invenção e aqueles conhecidos no estado da técnica é que a estrutura é composta de elementos de quatro estados (quatro tonalidades) enquanto que os métodos descritos anteriormente neste contexto usam uma estrutura de dois estados (branco). e preto). Graças a esta característica, e dado um mesmo tamanho de estrutura, o modelo de marcador objeto da presente invenção trabalha com o dobro da densidade de código.

[0013] Deste modo, se o código tiver n elementos, o marcador da presente invenção lida com combinações 4n versus as combinações 2n de um marcador de dois estados. Essa diferença não modifica a resolução dos elementos do marcador, por isso mantém suas características como um marcador de longo alcance, mas com uma densidade de código muito maior.

[0014] A presente invenção é definida em qualquer combinação de quatro cores, sem necessariamente

Petição 870190055099, de 14/06/2019, pág. 11/35

6/17 ter quatro cores específicas, uma vez que o desenho do marcador inclui a paleta de cores usada por cada marcador. No entanto, embora os quatro tons escolhidos para a paleta possam ser qualquer um, é conveniente que eles sejam muito distinguíveis entre si para evitar ambiguidades e assim melhorar a leitura do marcador. Assim, uma forma de realização preferida da invenção é compreendida por uma combinação CMYK (ciano, magenta, amarelo e preto) que corresponde aos quatro cantos mais distantes no cubo definido pelo espaço de cor RGB (vermelho, verde, azul.

[0015] Os seguintes elementos são encontrados na estrutura:

(a) Nos quatro cantos da estrutura, a paleta está incluída, isto é, em cada canto do quadro há uma cor básica da paleta de cores, assim, por exemplo, no caso da combinação CMYK, em cada um dos cantos haverá uma cor (em um canto ciano, em um segundo magenta, em um canto terceiro amarelo e um quarto preto). Para tornar o marcador invariante à rotação, considera-se que, sempre, o elemento mais escuro é o último valor da paleta. A introdução da paleta resolve o problema da identificação das cores do marcador, evitando os efeitos da degradação da cor, uma vez que uma vez extraída é obtida uma referência de cada cor e pode ser usada para rotular o restante da estrutura de dados, por um critério de proximidade.

(b) O elemento central determina o tamanho da estrutura entre quatro possíveis (5x5, 7x7, 9x9, 11x11) . A escolha do tamanho dependerá das necessidades de cada aplicação.

(c) A linha central e a coluna, exceto a célula central, definem o código de redundância cíclica (CRC) . O CRC é calculado a partir da mensagem e está

Petição 870190055099, de 14/06/2019, pág. 12/35

7/17 incluído no marcador. No estágio de detecção do marcador, a mensagem é extraída, o CRC é recalculado e contrastado com o que acompanha o marcador para validar a integridade da mensagem.

(d) 0 restante dos elementos são dedicados à mensagem.

[0016] Uma vez que o desenho do marcador de acordo com a presente invenção tenha sido determinado, o método de detectá-lo e reconhecê-lo dentro de uma imagem digital compreende as etapas de:

(i) Detectar os quadros preto e branco, localizando as coordenadas de seus cantos. Para esta primeira etapa, um algoritmo de detecção de quadros é aplicado na imagem para detectar um primeiro conjunto de candidatos. No estado da ante, uma pluralidade de algoritmos que aproximam este problema são descritos. No entanto, de acordo com uma forma de concretização particular, propôs-se o algoritmo descrito em [S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin, Automatic generation and detection of highly reliable fiducial markers under occlusion Pattern Recognition, 2014] embora possa ser usado qualquer outro método com o mesmo propósito.

(ii) Obter um quadro de cada quadro detectado pela interpelação bilinear, com as coordenadas do centro de cada célula, levando em conta também os quadrados dos quadros preto e branco.

(iii) Obter a cor de cada célula. Dado que este centro está em coordenadas reais e a imagem em coordenadas discretas, para obter este valor é realizada uma interpelação bilinear dos 4 vizinhos.

(iv) Calcular a média aritmética das cores dos quadros preto e branco para se obter uma referência branca e uma referência preta.

(v) Normalizar a cor de cada célula a partir do

Petição 870190055099, de 14/06/2019, pág. 13/35

8/17 preto e branco de referência obtido no estágio anterior, estabelecendo um equilíbrio de brancos.

(vi) Corrigir a orientação do marcador levando em conta que o canto mais escuro deve estar na última posição da paleta.

(vii) Obter a paleta dos cantos, fazendo uma marcação do marcador e indicando qual valor da paleta corresponde a cada célula.

(viii) Comprovar se o marcador pertence à família pesquisada, analisando se o rótulo central é o esperado (o procedimento é executado para procurar marcadores de um tamanho específico definido pelo aplicativo, pois esse estágio é necessário para descartar marcadores de qualquer outro tamanho que possa ser estar contido na cena). Deve ser tido em manter que, como o algoritmo é descrito, ele é lançado para um tamanho específico (ele não detecta vários tamanhos ao mesmo tempo). Por exemplo, um aplicativo para marcar etapas zebra usaria o tamanho 5x5 que tem pouco combinatório, mas um aplicativo para rotular produtos em um supermercado usaria o 7x7. Cada algoritmo só é capaz de detectar um tipo de marcador.

(ix) Composição da mensagem e do CRC.

(x) Verificação da integridade da mensagem, recalculando-se o CRC de e comparando-o com o CRC lido do código.

[0017] Um primeiro objetivo da presente invenção é combinar alta densidade e longo alcance, superando assim a dificuldade apresentada pelos sistemas existentes por não oferecerem essas duas características simultaneamente.

[0018] Um segundo objetivo da presente invenção é estabelecer um método com baixa complexidade computacional, que permita detectar o marcador de maneira muito eficiente em dispositivos com baixa capacidade de

Petição 870190055099, de 14/06/2019, pág. 14/35

9/17 computação, como telefones celulares ou smartphones.

[0019] Um terceiro objetivo da presente invenção é realizar um tratamento de cor robusto através da

inclusão	da paleta	e do	equilíbrio	de brancos, o	que
resulta	na capacidade da	invenção	para detectar	os
marcadores visuais.
	[0020]	Tudo	isso de	acordo com	as

reivindicações independentes que acompanham o presente relatório descritivo. As concretizações particulares da invenção estão indicadas nas reivindicações dependentes, todas elas incluídas por referência nesta mesma seção.

[0021] Ao longo da descrição e reivindicações, a palavra compreende e suas variantes não tentam excluir outras características técnicas, aditivos, componentes ou etapas. Para as pessoas versadas na técnica, outros objetos, vantagens e características da invenção serão aparentes em parte a partir da descrição e em parte pela prática da invenção. Os seguintes exemplos e desenhos são fornecidos a título ilustrativo e não pretendem restringir a presente invenção. Adicionalmente, a presente

invenção	abrange	todas as	combinações	possíveis	de
concretizações	particulares	e preferidas	indicadas	no
presente	caso.
Descrição	breve	das	figuras
	[0022]		A seguir,	uma série de	desenhos	que

ajudam a compreender melhor a invenção e que estão expressamente relacionados com uma forma de realização da referida invenção que é apresentada como um exemplo não limitativo do presente caso será descrita de forma muito resumida.

[0023] A Figura 1 mostra um esquema do marcador proposto, onde os quadros de localização (1) e uma rede de elementos N x N (2) que abriga os dados (5x5 nesta

Petição 870190055099, de 14/06/2019, pág. 15/35

10/17 modalidade prática rotulada com as abreviaturas C, M, são observados) . Y, K, que representa a cor de cada célula, ciano, magenta, amarelo e preto, respectivamente). Ambos os elementos da rede e os quadros de localização têm o mesmo tamanho e têm uma forma quadrada, de modo que, sendo 1 do tamanho de uma célula da treliça (3) , a área total do marcador (4) é (1) (N + 4)) 2.

[0024] A Figura 2 mostra a inclusão da paleta P = [po, pl, P2, P31 no próprio marcador, localizada nos cantos da grade de dados na ordem de dextrograma e com referência no elemento com a luminância mais baixa (o preto no caso CMYK) Determine p3. O tipo do marcador S determina seu tamanho N e é colocado na célula central da grade.

[0025] A Figura 3 mostra exemplos de marcadores dos quatro tamanhos definidos. De baixo para cima: 5x5, 7x7, 9x9, 11x11. Desde que a paleta CMYK tenha sido usada, o elemento central da rede assume o valor de ciano no tamanho 5x5, magenta no 7x7, amarelo no 9x9 e preto no 11x11.

[0026] A Figura 4 mostra uma imagem original (FIG.4 esquerda). Com a detecção de quadros, obtemos os quatro cantos que definem o quadro de localização (centro FIG.4). A partir das coordenadas do quadro, obtemos uma rede com coordenadas (N + 4) x (N + 4) que cobrem as células de informação e os quadros (Fig.4 direita).

[0027] A Figura 5 mostra várias aplicações de marcadores visuais para os cegos.

[0028] Rotulagem de produtos (esquerda) e sinais em contexto urbano (direita).

Descrição detalhada de uma concretização da invenção [0030] Para o projeto do marcador proposto, parte de uma grade (grade) de elementos N x N que pode levar até quatro cores diferentes dentro de uma moldura

Petição 870190055099, de 14/06/2019, pág. 16/35

11/17 preta que, por sua vez, está dentro de uma moldura branca, como melhor se observa na Figura 1. Como pode ser observado o tamanho do lado 1 das células do quadro de dados determina a largura dos quadros de localização e, portanto, o tamanho total do marcador.

[0029] A paleta de cores está composto pelas quatro cores que vão ser utilizadas no marcador:

P = [^p0, Pl, P2, p3] [0030] A referida paleta é introduzida no próprio marcador, concretamente nos quatro cantos da estrutura de dados, como melhor se observa na Figura 2. A paleta é inserida em ordem dextrogiro e sua referência (Último elemento p3) é marcada pelo elemento mais escuro (baixa luminância).

[0031] É possível ter quadros (grades) de tamanho N E {5,7,9,11} de acordo com as necessidades da aplicação. Para determinar o tamanho da rede do marcador atual, a célula é consultada na posição central da rede. Observe-se que os quatro tamanhos que a estrutura pode tomar (ou seja, N = {5,7,9,11}) são ímpares, então há sempre uma posição central clara. A referida célula central, como o resto das células da estrutura, pode assumir qualquer um dos valores da paleta SE {po, pl, p2, p3} que correspondem, respectivamente, com os tamanhos possíveis {5,7,9,11 } da estrutura (ver Figura 3).

[0032] Considerando-se que cada célula aloja 2 bits (isto é, quatro combinações), um marcador de elementos N x N contém bits de dados 2N2 - 4N - 6 e 4N - 4 bits de CRC. Portanto, o comprimento do CRC aumenta de acordo com o comprimento da mensagem. A Tabela 1 mostra para cada tamanho de marcador, o comprimento da mensagem, o comprimento do CRC e o polinômio do gerador usado para o cálculo. Neste sentido, os polinômios geradores padrão (e

Petição 870190055099, de 14/06/2019, pág. 17/35

12/17 de eficácia comprovada) foram usados de acordo com cada comprimento.

N x N	Comprimento da mensagem	Comprimento de CRC	Polinômio CRC
5x5	24 bits	16 bits	CRC-16-CDMA2000
7x7	64 bits	24 bits	CRC-24-Radix-64
9x9	120 bits	32 bits	CRC-32Q
11 x 11	192 bits	40 bits	CRC-40-GSM

Tabela 1 [0033] Para se observar o efeito da inclusão de cor na densidade da mensagem e como dados comparativos, o sistema descrito em [S. Garrido, R. Munoz, F.J. Madri, M.J. Marin, Para observar o efeito da inclusão da cor sobre a densidade da mensagem e como dato comparativo, o sistema descrito em [S. Garrido, R. Munoz, F.J. Madrid, M.J. Marin,Automatic generation and detection of highly reliable fiducia/markers under occlusion Pattern Recognition, 2014] de 5x5 proporciona 1024 combinações e o sistema descrito em [E. Olson, April Tag: A robust and flexible visual fiducia/system, IEEE International Conference on Robotics and Automation (/CRA), 2011] de 6x6 tan solo 500, enquanto na presente invenção, na sua versão menos densa (5x5), é capaz de lidar com 24 bits de mensagem, isto é, 16.777.216 combinações.

[0034] As etapas do procedimento de detecção de marcadores estão resumidas abaixo. Dada uma imagem I (x,

y) e um	tamanho de	marcador	NE {5,7,9,11	}, extraia	os
quadros M	= {MO, ml,	• · ·	, mk_l}	de I (x, y)	e para cada	mi
E M:
1) Obter	coordenadas	Gi	A, y)	de (N + 4)	x (N + 4)	a
partir de	mi
2) Obt	er as cores	dos	dados	Ci (x, y) e as	referências	de
branco RP	e negro Rn	a	partir	de Gi

Petição 870190055099, de 14/06/2019, pág. 18/35

13/17

3) Normalizar C[(x, y) = (Ci(x, y) - Rn) / (Rb - Rn)

4) Obter Cti' orientando C[ com seu canto de referência.

5) Obter paleta Pi = [Po, Pl, P2, P3] a partir dos cantos de C [ '

6) Etiquetado E±(x, y) por próximo vizinho de C[’ (x, y) a Pi

7) Se for cumprido Ei([N/2], [N/2]) = (N - 5)/2 então: Extrair mensagem Im e CRC se a partir de Ei

Calcular CRC de Im.Se corresponder a If adicionar Im a T.

[0036] Assim, dada uma imagem digital na cor I (x, y) captada pela câmera do dispositivo e o tamanho do marcador a ser pesquisado NE {5,7,9,11}, primeiramente é aplicado um algoritmo de detecção de quadros, a imagem para detectar o primeiro conjunto de marcadores T contidos na dita imagem. Como resultado do algoritmo de detecção de quadros na imagem I (x, y), um conjunto de quadros M = {mo, ml, ..·, mk_l} contido nele é obtido. Cada quadro é definido por quatro coordenadas mi = (co, cl, c2, c3) no espaço da imagem, que correspondem aos cantos externos do quadro na ordem dextrogiro (ver Figura 4 centro.

[0037] Cada quadro detectado mi representa um possível marcador. Tomando-se como referência as quatro coordenadas do quadro mi = (co, cl, c2, c3) , uma interpelação bilinear é feita para se obter uma grade Gi (x, y) de (N + 4) x (N + 4) coordenadas eqüidistantes. Esta rede contém as coordenadas dos centros das células de informação N x N das coordenadas do marcador 4N + 4 na estrutura preta e as coordenadas 4N + 12 na moldura branca (ver a Figura 4 à direita).

[0038] Para cada coordenada de Gi, a cor correspondente é obtida na imagem I (Gi (x, y)) (tendo em

Petição 870190055099, de 14/06/2019, pág. 19/35

14/17 conta que Gi está em coordenadas reais e a imagem em coordenadas discretas, esta cor é obtida por interpelação bilinear dos 4 vizinhos ) . Com as cores (N + 4) x (N + 4) obtidas, Ci é tomada como as cores N x N pertencentes aos dados do marcador e RP e Rn como as médias aritméticas das cores pertencentes aos quadros preto e branco, respectivamente.

[0039] As variáveis RP e Rn desempenham um papel indispensável na presente invenção, uma vez que representam a referência a preto e branco do marcador. Portanto, os quadros de localização não servem apenas para localizar o marcador, mas também para poder executar um balanço de branco e, assim, poder tratar a cor de maneira robusta. Para isso, Cl é formado a partir de Ci normalizando cada uma das suas células:

C[(x,y) = (Ci(x,y) - Ri')/(Rb - Rn).

[0040] Embora C [contenha uma referência normalizada da cor das células N x N do marcador, não sabemos sua orientação, uma vez que o algoritmo de detecção de quadros não fornece tais informações (o quadro não contém informações de orientação). Para resolvê-lo, deve-se levar em conta que os cantos do marcador:

{Cl (0 , 0 ) , Cti (N- l,0),Cti(N- 1,N- l),Cti(0,N- 1)} [0041] Eles contêm a paleta na ordem de dextrorse, com referência ao elemento mais escuro em sua última posição. Portanto, pegue C [e selecione, de suas 4 orientações possíveis, aquela que deixa em C [(0, N - 1) o elemento mais escuro (luminância mais baixa) dos quatro cantos, obtendo a paleta de cores ordenadas, obtém-se a paleta de cores de seus quatro cantos:

Pi = [po, Pi, p2, p3] = [Cti ' (0, 0) , C[’(N - 1,0), C[’(N - 1, N - 1 ) , Cti ’ (0, N - 1) ] [0042] A partir da paleta, prossegue-se para

Petição 870190055099, de 14/06/2019, pág. 20/35

15/17 se obter a marcação Ei (x, y) do marcador, ou seja, uma matriz que indica para cada célula o valor do índice da paleta a que corresponde. Para isso, uma classificação é feita pelo vizinho mais próximo (atribuindo o índice da paleta com o valor de cor mais próximo da cor da célula):

Ei (x, y) = argmin kE{0,1,2,3} II Cti ' (x, y) - Pk II [0043] Para calcular a distância euclidiana II. II entre duas cores recomenda-se utilizar o espaço de cores CIE 1976 L * a * b *, já que este espaço é isotrópico (ao contrário de outros espaços como RGB), o que justifica o uso da referida função de distância.

[0044] Uma vez obtida a marcação das células, deve-se verificar se o marcador que está sendo analisado é da família de marcadores que estão sendo pesquisados. Para fazer isso, deve-se verificar se o tamanho especificado na célula central corresponde ao tamanho do marcador que está sendo procurado, ou seja:

^Ei([^N/²], [N/2]) = (N - 5) /2.

[0045] Caso contrário, o quadro atual é descartado como possível marcador.

[0046] Neste ponto, é hora de extrair as informações do marcador, ou seja, a mensagem Im e o código de redundância cíclica If. Para obter-iú pegam-se as células da coluna e linha centrais (com exceção da célula central que determina o tipo de marcador) e um número único de 4N - 4 bits é formado com os rótulos das células em binário (os rótulos [0 , 1,2,3,4] correspondem aos códigos binários [00,01,10,11] seguindo-se a ordem de leitura na matriz (da esquerda para a direita e de cima para baixo).

[0047] Da mesma forma, obtém-se Im compondo as células da mensagem (aquelas que não correspondem com a paleta, nem com o CRC nem com o tipo de marcador), formando um número binário de 2N2 - 4N - 6 bits.

Petição 870190055099, de 14/06/2019, pág. 21/35

16/17 [0 0 4 8] Para terminar com a detecção, a integridade da mensagem é verificada, calculando-se o código de redundância cíclica de Im com o polinômio apropriado (veja-se a Tabela 1) e comparando-o com o CRC que foi lido If. Se ambos os códigos coincidirem, a mensagem é validada e Im é adicionado ao conjunto de marcadores T detectados na imagem atual I (x, y) .

Exemplo 1. Resultados do método.

[0049] A fim de assegurar o funcionamento correto dos marcadores e o método de detecção proposto na presente invenção, foi desenvolvido um protótipo funcional que consiste em duas aplicações: um gerador e um detector de marcadores. Ambas as aplicações foram desenvolvidas em C ++ sob o ambiente de programação de alta multiplataforma Qt SDK (http:/iA,qt-project.orq).

[0050] O gerador gerencia um banco de dados de marcadores e suas informações (código do marcador, texto associado ao marcador, tamanho real da impressão, e assim por diante) e permite criar, excluir, pesquisar e imprimir esses marcadores com o tamanho físico selecionado.

[0051] Por outro lado, o detector é responsável por detectar os marcadores nas imagens obtidas da câmera do dispositivo. Neste caso, foi desenvolvido para dispositivos Android. Quando um marcador é detectado, o sistema consulta seu código no banco de dados e vocaliza (usando Text To Speech) seu conteúdo. Além disso, ele também vocaliza a distância real em que o marcador está localizado, uma vez que o tamanho de impressão de cada marcador é armazenado no banco de dados, que juntamente com a informação da câmera (distância focal e abertura) é usado para recuperar o marcador, escala real do mesmo.

[0052] Em termos de desempenho, o sistema é capaz de processar uma média de 18,6 fps. Esses dados

Petição 870190055099, de 14/06/2019, pág. 22/35

17/17 diferem dependendo do dispositivo e da resolução da câmera. No presente caso, usa-se um Samsung Galaxy S6 (SM-G920F) equipado com um processador octa-core Cortex A57 de 2,1 GHz e 3Gb RAM. Em relação à configuração, foi utilizada uma resolução de câmera de 1280x720 e a detecção de frames foi feita com a versão 2.0 da biblioteca descrita em [S. Garrido, R. Munoz, F.J. Madri, M.J. Marin, Geração automática e detecção de marcadores fiduciais altamente confiáveis sob oclusão Pattern Recognition, 2014] e que podem ser acessados no seguinte link: http:

//.uco.es/investiga/grupos/ava/node/2 6.

[0053] Tendo em conta que a câmara do dispositivo serve as imagens a 30fps, eliminando os tempos de acesso à câmara, o sistema é capaz de processar cada fotograma em média 5 20,43 milissegundos neste dispositivo.

[0054] Em relação à distância de detecção, isso depende da resolução da câmera, das condições de iluminação e do tamanho e tipo do marcador. Sob condições de iluminação favoráveis (luz do dia) e com a resolução mencionada acima (1280x720), um marcador do tipo 5x5 impresso em um tamanho de 20x20 cm (tamanho típico de impressão A4) é detectado a uma distância máxima de 8,12 metros.

[0055] Este tipo de marcadores permitiría abranger aplicações nas quais tanto o escopo quanto a densidade do código desempenham um papel importante (vide a Figura 6 onde as aplicações de marcadores visuais para cegos são mostradas) como, por exemplo, rotulagem do produto (à esquerda) e os signos em um contexto urbano (direita).

Claims

1 - Marcador visual denso e de longo alcance, que compreende:

um quadro preto sobre fundo branco;

uma rede quadrangular alojada dentro da referida estrutura;

e onde a rede é dividida em linhas longitudinais e colunas verticais que formam uma pluralidade de células, onde cada célula corresponde a um dado diferente;

e onde dita treliça é composta de elementos de quatro tons de cor diferente, sendo os quatro tons de cor distinguíveis entre eles e compõem uma paleta de cores;

e que é caracterizado por esse marcador, além disso, compreende:

em cada uma das quatro células que compõem os cantos da estrutura, um tom de cor é incluído, pelo menos, um tom de cor por célula de cada canto, para que o elemento mais escuro seja considerado o último valor que compõe a paleta de cor;

e onde a célula central da rede determina o tamanho da dita rede;

e onde as células correspondentes à linha central e coluna, com exceção da célula central, definem um código de redundância ciclica;

e onde o resto das células que compõem a estrutura são elementos dedicados à mensagem transmitida pelo marcador visual.

2- Marcador de acordo com a reivindicação 1, caracterizado por os quatro tons de cor corresponderem à combinação ciano, magenta, amarelo e preto.

Petição 870190055099, de 14/06/2019, pág. 24/35

2/3

3- Método para detectar um marcador visual de acordo com qualquer uma das reivindicações 1-2, caracterizado por compreender as etapas de:

Detectar os quadros em preto e branco, localizando as coordenadas de seus cantos;

Obter de cada quadro detectado uma rede através de uma interpelação bilinear,

Obter a cor de cada célula;

Calcular a média aritmética das cores dos quadros preto e branco para obter uma referência branca e uma referência preta;

Normalizar a cor de cada célula a partir do preto e branco de referência obtidos no estágio anterior, estabelecendo um balanço de branco;

Corrigir a orientação do marcador levando em conta que a célula do canto mais escuro deve estar na última posição da paleta; Obtenha a paleta dos cantos fazendo uma marcação do marcador e indicando qual valor da paleta corresponde a cada célula;

Verificar se o marcador pertence à família pesquisada, analisando se o rótulo central é o esperado;

Compor a mensagem e o código de redundância cíclica;

Verificar a integridade da mensagem, recalculando o código de redundância cíclica a partir dele e comparandoo com o código de redundância cíclica lido a partir do código.

4 - Método de acordo com a reivindicação 3, onde na interpelação bilinear são usadas as coordenadas do centro de cada célula, levando-se em conta também os

Petição 870190055099, de 14/06/2019, pág. 25/35

3/3 quadros preto e branco.

5 - Método de acordo com qualquer uma das reivin dicações 3-4, onde na obtenção da cor de cada célula e dado que o dito centro está em coordenadas reais e a imagem em coordenadas discretas, para obter o dito valor é realizada uma interpelação bilinear dos 4 vizinhos.