BR102016015226A2

BR102016015226A2 - ?método para geração de representações vetoriais de movimento baseado em visão computacional e uso?

Info

Publication number: BR102016015226A2
Application number: BR102016015226-7A
Authority: BR
Inventors: Luiz Silva De Miranda Hudson; Fernando Etrusco Moreira Luiz; Aurélio Romano Silva Marco; Jório De Vasconcelos Ado; Schutze Manuel
Original assignee: Universidade Federal De Minas Gerais
Priority date: 2016-06-28
Filing date: 2016-06-28
Publication date: 2018-01-16
Also published as: WO2018002782A1; BR102016015226B1

Abstract

a presente invenção descreve um método para geração de informações de coordenadas referentes a artefatos de movimento. a tecnologia utiliza técnicas de iluminação estruturada, baseadas em múltiplos padrões de projeção, aplicadas às etapas de reconstrução tridimensional de imagem, associada a tratamento de dados (remoção de sombras, remoção de plano de fundo, filtragem de ruído aleatório e amostragem de dados). a tecnologia ainda permite fornecer uma sequência temporal de dados tridimensionais referentes ao movimento de um objeto de interesse submetido à captura de imagens. pode ser aplicada em equipamentos de diagnóstico por imagem, como ressonância magnética, além de equipamentos de tomografia, como tomografia computadorizada por raio-x ou emissão de pósitrons. o método proposto é capaz de rastrear os movimentos do paciente em seis graus de liberdade (três rotacionais e três translacionais linearmente independentes) durante a aquisição de dados e, a partir dessas informações, fornecer dados de rastreamento de posição ao longo do tempo para correção prospectiva de artefatos de movimento. as vantagens são: eliminação de marcadores fiduciais, redução de tempo e gastos referentes aos procedimentos de diagnóstico por imagem, além de conforto e preservação da saúde do paciente, sobretudo em procedimentos que envolvam exposição à radiação.

Description

(54) Título: 7MÉTODO PARA GERAÇÃO DE REPRESENTAÇÕES VETORIAIS DE MOVIMENTO BASEADO EM VISÃO COMPUTACIONAL E USO?

(51) Int. Cl.: G06T 7/20; G01B 11/25; G06T 7/593; A61B 5/11; A61B 5/055; (...) (52) CPC: G06T 7/20,G01B 11/25,G06T 7/593, G06T 7/0012,A61B 5/11,A61B 6/5264,A61B 5/055 (73) Titular(es): UNIVERSIDADE FEDERAL DE MINAS GERAIS, IVISION SISTEMAS DE IMAGEM E VISÃO S.A (72) Inventor(es): HUDSON LUIZ SILVA DE MIRANDA; LUIZ FERNANDO ETRUSCO MOREIRA; MARCO AURÉLIO ROMANO SILVA; ADO JÓRIO DE VASCONCELOS; MANUEL SCHUTZE (57) Resumo: A presente invenção descreve um método para geração de informações de coordenadas referentes a artefatos de movimento. A tecnologia utiliza técnicas de iluminação estruturada, baseadas em múltiplos padrões de projeção, aplicadas às etapas de reconstrução tridimensional de imagem, associada a tratamento de dados (remoção de sombras, remoção de plano de fundo, filtragem de ruído aleatório e amostragem de dados). A tecnologia ainda permite fornecer uma sequência temporal de dados tridimensionais referentes ao movimento de um objeto de interesse submetido à captura de imagens. Pode ser aplicada em equipamentos de diagnóstico por imagem, como ressonância magnética, além de equipamentos de tomografia, como tomografia computadorizada por raio-X ou emissão de pósitrons. O método proposto é capaz de rastrear os movimentos do paciente em seis graus de liberdade (três rotacionais e três translacionais linearmente independentes) durante a aquisição de dados e, a partir dessas informações, fornecer dados de rastreamento de posição ao longo do tempo para correção prospectiva de artefatos de movimento. As vantagens são: eliminação de marcadores fi(...)

1/18 “MÉTODO PARA GERAÇÃO DE REPRESENTAÇÕES VETORIAIS DE MOVIMENTO BASEADO EM VISÃO COMPUTACIONAL E USO” [001] A presente invenção descreve um método para geração de informações de coordenadas referentes a artefatos de movimento. A tecnologia utiliza técnicas de iluminação estruturada, baseadas em múltiplos padrões de projeção, aplicadas às etapas de reconstrução tridimensional de imagem, associada a tratamento de dados (remoção de sombras, remoção de plano de fundo, filtragem de ruído aleatório e amostragem de dados). A tecnologia ainda permite fornecer uma sequência temporal de dados tridimensionais referentes ao movimento de um objeto de interesse submetido à captura de imagens. Pode ser aplicada em equipamentos de diagnóstico por imagem, como ressonância magnética, além de equipamentos de tomografia, como tomografia computadorizada por raio-x ou emissão de pósitrons. O método proposto é capaz de rastrear os movimentos do paciente em seis graus de liberdade (três rotacionais e três translacionais linearmente independentes) durante a aquisição de dados e, a partir dessas informações, fornecer dados de rastreamento de posição ao longo do tempo para correção prospectiva de artefatos de movimento. As vantagens são: eliminação de marcadores fiduciais, redução de tempo e gastos referentes aos procedimentos de diagnóstico por imagem, além de conforto e preservação da saúde do paciente, sobretudo em procedimentos que envolvam exposição à radiação.

[002] Normalmente, durante o processo de aquisição de dados para as técnicas listadas acima, o paciente deve permanecer imóvel ao longo de todo o procedimento, que pode durar dezenas de minutos, para que não sejam gerados artefatos no resultado final. Caso isso ocorra, a atual alternativa é repetir o procedimento, causando diversos prejuízos financeiros e, em alguns casos, expondo o paciente a consequências graves à saúde causadas por exposição excessiva à radiação. A presente

Petição 870160032116, de 28/06/2016, pág. 24/46

2/18 invenção descreve um equipamento capaz de rastrear os movimentos do paciente em seis graus de liberdade (três rotacionais e três translacionais linearmente independentes) durante a aquisição de dados e, a partir dessas informações, é capaz de fornecer dados de rastreamento de posição ao longo do tempo para correção prospectiva de artefatos de movimento. A presente invenção emprega técnicas de iluminação estruturada e visão computacional para eliminar a necessidade de que marcadores fiduciais sejam anexados ao paciente.

[003] Técnicas de correção prospectiva de imagens são de particular interesse no contexto médico. O movimento de pacientes durante o período de aquisição de equipamentos de diagnóstico pode causar artefatos que prejudicam a qualidade dos dados e dificultam processos posteriores de diagnóstico, a tomada de decisão e o monitoramento. Alternativas estabelecidas para solucionar os artefatos causados pelo movimento consistem, em sua forma mais direta, na imobilização mecânica do paciente. Alternativamente, são fixados marcadores fiduciais no paciente para que um sistema de aquisição obtenha, a partir das posições dos marcadores, as informações de posição necessárias para realizar a correção dos artefatos em questão.

[004] O documento US 20110230755 intitulado Single camera motion measurement and monitoring for magnetic resonance applications apresenta uma solução para a geração de um sistema de coordenadas para correção baseado em câmera e projetor, porém utiliza de marcadores fixados ao paciente para obtenção das informações necessárias para geração de dados para rastreamento.

[005] O documento US 8121361 intitulado Motion tracking system for real time adaptive imaging and spectroscopy gera dados para correção prospectiva utilizando uma câmera, porém faz uso de um retro-grate reflector como marcador.

Petição 870160032116, de 28/06/2016, pág. 25/46

3/18 [006] O documento WO 2009129457 intitulado Movement correction in mri using a camera propõe um equipamento capaz de realizar correção de artefatos utilizando visão computacional e sem utilização de marcadores. Contudo, a metodologia e o equipamento apresentados não incorporam uma solução baseada em iluminação estruturada.

[007] Os documentos EP 1524626 e WO 2014116868, intitulado Optical image-based position tracking for magnetic resonance imaging e Systems, devices, and methods for tracking and compensating for patient motion during a medicai imaging scan, respectivamente, prevêm a utilização de câmeras para rastreamento de posição em sistemas diagnóstico por imagem, porém também fazem o uso de marcadores para realizar esse objetivo.

[008] O documento WO 2014120734 intitulado Motion tracking system for real time adaptive motion compensation in biomedical imaging propõe a utilização de um padrão projetado sobre o sujeito como marcador fiducial, porém não prevê o uso de múltiplos padrões multiplexados temporalmente para codificação de marcadores. Porém, também não prevê a utilização de padrões projetados em faixas fora do espectro visível ao olho humano (entre 400 nm e 700 nm).

[009] O trabalho intitulado “Recent progresses on real-time 3D shape measurement using digital fringe projection techniques” e a dissertação intitulada “High-resolution, Real-time 3-D Shape Measurement”, ambas do autor Song Zhang, tratam de princípios gerais de iluminação estruturada baseados em padrões senoidais, mas não há nenhum desenvolvimento específico referente a artefatos de movimentos e possibilidade de correção dos mesmos empregando tal técnica.

[010] Dessa forma, o método para geração de representações vetoriais de movimento baseado em visão computacional proposto na presente

Petição 870160032116, de 28/06/2016, pág. 26/46

4/18 apresenta uma solução não descrita no estado da técnica para gerar informações referentes a artefatos de movimento.

BREVE DESCRIÇÃO DAS FIGURAS [011] FIGURA 1 - A Figura 1 exibe o resultado do teste controlado de rastreamento. A linha pontilhada indica o valor desejado para a medição, os pontos indicam o valor medido e as cruzes indicam os valores de medição com correção de não-linearidade. No segundo gráfico é apresentado o erro de estimativa do ângulo.

[012] FIGURA 2 - A Figura 2 exibe uma possível configuração de uma realização do equipamento associado à invenção que é um método. (8) representa uma câmera de vídeo que filma o objeto de interesse, (9) representa o projetor de iluminação estruturada, (10) e (11) representam os campos de visão da câmera e projetor respectivamente, (12) representa um objeto de interesse, no caso um paciente, (13) representa a estrutura mecânica do equipamento de diagnóstico e (14) representa uma estrutura mecânica para garantia de estabilidade física do sistema.

DESCRIÇÃO DETALHADA DA TECNOLOGIA [013] A presente invenção descreve um método para geração de informações de coordenadas referentes a artefatos de movimento. A tecnologia utiliza técnicas de iluminação estruturada, baseadas em múltiplos padrões de projeção, aplicadas às etapas de reconstrução tridimensional de imagem, associada a tratamento de dados (remoção de sombras, remoção de plano de fundo, filtragem de ruído aleatório e amostragem de dados). A tecnologia ainda permite fornecer uma sequência temporal de dados tridimensionais referentes ao movimento de um objeto de interesse submetido à captura de imagens. Pode ser aplicada em

Petição 870160032116, de 28/06/2016, pág. 27/46

5/18 equipamentos de diagnóstico por imagem, como ressonância magnética, além de equipamentos de tomografia, como tomografia computadorizada por raio-X ou emissão de pósitrons. O método proposto é capaz de rastrear os movimentos do paciente em seis graus de liberdade (três rotacionais e três translacionais linearmente independentes) durante a aquisição de dados e, a partir dessas informações, fornecer dados de rastreamento de posição ao longo do tempo para correção prospectiva de artefatos de movimento. As vantagens são: eliminação de marcadores fiduciais, redução de tempo e gastos referentes aos procedimentos de diagnóstico por imagem, além de conforto e preservação da saúde do paciente, sobretudo em procedimentos que envolvam exposição à radiação.

[014] Para a execução do método proposto na presente invenção pode-se usar um dispositivo consistindo em: um projetor de imagens no espectro visível ou infravermelho (9), caracterizado por sistema óptico ou optoeletrônico capaz de projetar imagens unidimensionais ou bidimensionais; um sistema de captura de imagem (8), usualmente caracterizado por uma câmera; e um sistema de processamento e controle. O equipamento associado à invenção pode compreender elementos ópticos e mecânicos para adaptação da invenção a uma pluralidade de equipamentos médicos de diagnóstico por imagem como, por exemplo, ressonância magnética (NMRI), emissão de pósitrons (PET) e tomografia computadorizada por raio-x (CT). A Figura 2 mostra uma possível configuração de tal equipamento.

[015] O método para geração de representações vetoriais de movimento baseado em visão computacional consiste em uma reconstrução tridimensional e se baseia na técnica de iluminação estruturada com codificação por multiplexação temporal de ondas senoidais. O conjunto de padrões de ondas é utilizado para codificar os pixels da imagem de acordo com o mapa de fase da onda projetada. O mapa de fase obtido é então

Petição 870160032116, de 28/06/2016, pág. 28/46

6/18 comparado com um mapa de calibração e, a partir da comparação, a profundidade da cena pode ser obtida (Song Zhang. High-resolution, Realtime 3-D Shape Measurement. Physical Review Letters, 107(May):021802,

2011).

[016] A iluminação estruturada codifica-se a partir de um conjunto de três padrões senoidais defasados em 120° entre si, gerando uma codificação única dos pixels dentro de cada linha da imagem. As senoides projetadas são geradas conforme a Equação 1.

j) = ò + A[1 + cos(lUí'+ afc)], k = 0,1,2 otk = —120°. 0°, 120°. (I) [017] em que “b” representa uma compensação constante, “A” a amplitude da senoide e (i; j) é a posição de um pixel no padrão de iluminação estruturada. Esses parâmetros devem ser escolhidos considerando-se características de não-linearidade do projetor, que são acentuadas nos limites da faixa de operação.O parâmetro “ω”, que representa a frequência espacial da onda, é limitado pela resolução do projetor e da câmera e aumenta o número de descontinuidades no mapa de fase. Como o padrão se repete para cada linha da imagem, a Equação (1) depende apenas da direção V (horizontal), não sendo necessário considerar a direção “j” (vertical).

[018] No método proposto há um laço síncrono entre troca de padrão projetado e captura de imagens pela câmera. Esse laço se perpetua enquanto o procedimento de aquisição de dados pelo sistema de diagnóstico estiver sendo executado. O fluxo de imagens pode ser então processado para geração de informações para correção prospectiva de artefatos causados por movimentos. A sequência de imagens deste fluxo é processada por um módulo do método capaz de interpretar o padrão codificado pela sequência de imagens projetadas sobre o objeto de interesse: o módulo de reconstrução. A partir de três imagens

Petição 870160032116, de 28/06/2016, pág. 29/46

7/18 subsequentes ordenadas de acordo com a fase do padrão projetado, é possível construir um mapa de fase da imagem. Em situações reais em que se realiza a obtenção do mapa de fase, no entanto, pode haver nãolinearidades introduzidas pelo equipamento de projeção utilizado. Todavia, como o erro introduzido pela não-linearidade para cada valor de fase é fixo, uma simples tabela de consulta (do inglês Lookup Table ou LUT) pode ser utilizada para corrigir esse fenômeno. Para aumentar a eficiência dessa operação, os dados de correção das não-linearidades são armazenados em uma lista ordenada e, durante a consulta, é feita uma pesquisa binária da chave cujo valor é o mais próximo ao da requisição de busca.

[019] O mapa de fase individualmente não oferece informação suficiente para realizar a reconstrução tridimensional, pois é apenas um conjunto de codificações para os pixels da imagem. Ainda se faz necessário ter uma condição de referência para a codificação proposta. O primeiro passo para obtenção de uma nuvem de pontos tridimensionais é a análise comparativa do mapa obtido com um mapa de calibração. Este mapa de calibração é obtido a partir apenas do plano de referência no campo de trabalho do equipamento (região dentro do campo de visão da câmera e do projetor). Para se obter o mapa de profundidade é preciso calcular a fase relativa entre o mapa de calibração e o mapa de fase. As dimensões reais podem ser obtidas através de constantes de calibração para cada uma das grandezas. Esses parâmetros podem ser obtidos através do uso de um objeto de calibração cujas dimensões são conhecidas. A conversão é aplicada individualmente a todos os pontos do conjunto, obtendo-se uma nuvem em que as coordenadas dos pontos representam suas posições reais no espaço.

[020] Antes de ser enviada para as etapas do método responsáveis pela caracterização de movimentos, a nuvem de pontos gerada pelas etapas

Petição 870160032116, de 28/06/2016, pág. 30/46

8/18 descritas acima precisa ser tratada, pois o desempenho do módulo seguinte depende intimamente da qualidade dos dados de entrada.

[021] Para exemplificar o tratamento de nuvem de pontos, serão descritos a seguir algoritmos que podem ser utilizados para tratar os dados gerados pelo módulo de reconstrução tridimensional, referentes à remoção de sombras, remoção de plano de fundo, filtragem de ruído aleatório e amostragem de dados.

[022] Remoção de Sombras. Ao projetar o padrão de iluminação estruturada sobre um objeto, a sua topologia pode gerar sombras de projeção na imagem capturada pela câmera. Como nessas regiões não existem padrões sendo projetados de fato, a medida de fase nessas áreas são artefatos a serem removidos da nuvem de pontos. Para detectar as regiões de sombra basta analisar três imagens subsequentes em tons de cinza e avaliar a variação de intensidade de cada pixel ao longo da sequência. A Equação (2) descreve uma métrica desenvolvida para quantificar essa variação.

Index(i, j)

j)l + Ι4(Λ» - aíÇlj)| + IMi, j) μ(ί,3) [023] em que p(i; j) é a média dos pixels na posição (i; j) nas três imagens. Na Equação (2), o numerador será tão maior quanto for a variabilidade das intensidades dos pixels em relação à média. A média no denominador atua como um fator normalizador que reduz o efeito da refletividade local do objeto e da luz ambiente do cálculo do índice. O cálculo do índice é feito para todos os pixels da imagem, em seguida o mapa de índices é binarizado utilizando um limiar definido experimentalmente, pois varia de acordo com características externas, como intensidade de fontes luminosas externas. No processo de binarização são eliminados os dados correspondentes aos índices cujos valores se encontram abaixo do limiar.

Petição 870160032116, de 28/06/2016, pág. 31/46

9/18

Ou seja, são eliminados os pixels nos quais a variação de intensidade esperada não é atingida.

[024] Remoção de Plano de Fundo. Em uma situação típica de aquisição, é esperado que a imagem esteja separada em duas regiões: primeiro plano (foreground) e plano de fundo (background). Uma etapa necessária é remover o plano de fundo presente na nuvem gerada pelo módulo de reconstrução. Assumindo-se que o plano de fundo tenha uma profundidade aproximadamente constante em relação ao plano de referência, ou seja, que os dois planos sejam aproximadamente paralelos, um processo de limiarização pode ser utilizado para separar o plano de fundo dos objetos de interesse. Para se obter automaticamente um limiar ótimo de separação entre backgmund e foregmund, é utilizado o método de Otsu (Nobuyuki Otsu. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 9(1):62-66, 1979.). Em condições normais de operação, a nuvem de pontos obtida apresenta uma distribuição bimodal de profundidade e o dado método é capaz de definir o separador ideal para essa distribuição.

[025] Filtragem de Ruído Aleatório. O mapa de fase obtido pelo método apresentado carrega ruído proveniente do ruído de aquisição das imagens utilizadas em seu cálculo. Com o objetivo de filtrar ruído aleatório no mapa de fase sem perder informações topológicas do objeto sendo medido, um processo de filtragem adequado deve ser utilizado. Nesse contexto, foi adotado o processo de filtragem bilateral (C. Tomasi and R. Manduchi. Bilateral Filtering for Gray and Color Images. International Conference on Computer Vision, pages 839-846, 1998.). Essa estratégia realiza uma média ponderada dentro de uma vizinhança de pontos, levando em consideração sua distância espacial e sua distância em valor de fase de pixel. Dessa forma, o filtro bilateral é capaz filtrar ruído aleatório em alta

Petição 870160032116, de 28/06/2016, pág. 32/46

10/18 frequência enquanto conserva informações topológicas com alta frequência espacial.

[026] Amostragem de Dados. A nuvem de pontos obtida como resultado do módulo de reconstrução, dependendo da resolução do sistema e das características do objeto reconstruído, pode apresentar superamostragem, uma amostragem acima da demandada pelo espectro de frequência espacial da topologia medida. Com o objetivo de amostrar os dados utilizando toda a informação disponível no conjunto de pontos superamostrado, uma filtragem por grade de voxels foi utilizada (voxelgrid). Esse método consiste em segmentar a nuvem de pontos dentro de voxels de tamanhos predefinidos e, para cada voxel, calcular o centroide dos pontos contidos em seu interior. A nuvem de pontos resultante é composta apenas dos centroides calculados para cada voxel. Dessa forma, utilizando o cálculo de centroide para cada voxel, o processo realiza simultaneamente a amostragem e filtragem de ruído, uma vez que o cálculo envolve a média dos pontos no voxel (inserir bibliografia de voxelgrid).

[027] Os dados gerados nas etapas correspondentes ao módulo de reconstrução apresentado que foram submetidos aos tratamentos, como nos exemplos descritos acima, são então utilizados na etapa de geração de informação sobre posição tridimensional na forma de uma nuvem tridimensional de pontos que representam o objeto de interesse no espaço. A etapa subsequente fornece uma sequência temporal de dados tridimensionais do objeto de interesse e os processa considerando as variações temporais de posição, podendo fornecer como resultado um sistema de coordenadas que representa um objeto no espaço (no caso de corpos rígidos) ou um mapa de campo vetorial (no caso de objetos que podem apresentar deformação significativa, como a região toráxica e do pescoço do corpo humano).

Petição 870160032116, de 28/06/2016, pág. 33/46

11/18 [028] Após obter-se uma nuvem tridimensional que representa o objeto analisado, é feita uma análise do comportamento desse conjunto de pontos no tempo, com o objetivo de caracterizar os movimentos do objeto. Assumindo que a classe de objetos de interesse são corpos rígidos, uma matriz de transformação (E) contendo translação (t) e rotação (R) para pontos representados em coordenadas homogêneas foi utilizada:

ΐι

J?21 ^22 ^23 ^2

-^31 ^32 ^33 ^3

0 0 1_ [029] Onde R_3x3 é uma matriz ortonormal de rotação e t_3xi é um vetor representando translação tridimensional. Essas transformações são definidas tendo como referência a nuvem de pontos modelo, M, que representa o objeto de interesse em uma posição inicial arbitrária. O problema de caracterização de movimentos consiste em encontrar a matriz de transformação Ê(R, t) que, aplicada a M, melhor a alinha com a nuvem C que representa o objeto na posição atual. Esse critério equivale à minimização da função objetivo (3):

N

Ê(R,t) = argminV^ ||cj — E(R, (3)

R,t “ ’ 1=1 [030] em que c, e m, são pontos correspondentes (que representam uma mesma seção real do objeto) nos dois conjuntos de pontos e Ê(R, t) é a estimativa de transformação ótima a ser encontrada.

Petição 870160032116, de 28/06/2016, pág. 34/46

12/18 [031] A função (3) é análoga à utilizada em problemas de registro de nuvens de pontos em que se deseja alinhar um dado conjunto de pontos a um conjunto modelo, conforme descrito na função (4):

A

E_reg(R,t} = argmin\2 ||mj - E(R, t)ci1|². (4) _ΐ=1 [032] Para converter o resultado obtido por esse método, basta, ao obter Ê_reg(R, t), realizar a transformação representada na equação (5):

Ê(R,t) = ₍₅₎ [033] A solução para esse problema foi encontrada utilizando-se técnicas de casamento de superfície, especificamente o algorítimo Iterative Closest Point (ICP). O método aqui utilizado recebe como parâmetros principais de entrada os conjuntos M e C, além de uma hipótese inicial de Ê(R, t) para aceleração de convergência do algoritmo (Radu Bogdan Rusu and Steve Cousins. 3D is here: Point Cloud Library (PCL). Proceedings - IEEE International Conference on Robotics and Automation, 2011.). O algoritmo para ICP se dá através de um processo iterativo constituído pelas seguintes etapas:

- Geração de Correspondências [034] Obter as correspondências entre vizinhos mais próximos nas duas nuvens. Para cada ponto ci encontra-se o ponto mais próximo em M que ainda não tenha nenhuma correspondência. Como essa operação de busca baseada em distância para cada ponto é computacionalmente exigente, a técnica de Busca Rápida e Aproximada por Vizinho mais Próximo é

Petição 870160032116, de 28/06/2016, pág. 35/46

13/18 utilizada (FANNS, do inglês Fast Approximate Nearest Neightbor Search). Essa técnica consiste em realizar uma busca por resultados aproximados utilizando estruturas de dados como kd-trees aleatórias ou árvores hierárquicas baseadas em k-médias. Muja e Lowe (2009) propõem essas estruturas, bem como uma metodologia para se escolher a estrutura de dados e seus respectivos parâmetros que melhor se adequam às características dos dados utilizados (Marius Muja and David G Lowe. Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration. International Conference on Computer Vision Theory and Applications (VISAPP Ό9), pages 1-10, 2009.). Dessa forma, para cada ponto ci é encontrado o ponto mi mais próximo com uma taxa de sucesso determinada pelo FANNS. As correspondências entre pontos são registradas e as que apresentam uma distância maior que um dado limiar são eliminadas das próximas etapas da iteração corrente.

2- Cálculo da Matriz R [035] Para uma solução de mínimos quadrados da Equação (5), os centroides dos dois conjuntos de pontos devem ser iguais (D W Eggert, A Lorusso, and R B Fisher. Estimating 3-D rigid body transformations: a comparison of four major algorithms. Machine Vision and Applications, 9:272-290, 1997.). Dada essa restrição, os centroides dos conjuntos M e C são removidos de modo que os dois novos conjuntos Mc (centroides do conjunto M) e Cc (centroides do conjunto C) tenham seus centroides na origem. Logo, a Equação (5) pode ser reescrita conforme (6), que é minimizada ao maximizar-se o Trace(RH), onde H é a matriz de correlação entre as posições correspondentes em M e C, conforme representado pela relação descrita em (7):

Λ^Γ fí = argmin V + c^c_c, - (_e) i=l

Petição 870160032116, de 28/06/2016, pág. 36/46

14/18

Ν ^Η = Σ < ⁷ >

ΐ=1 [036] Dado que a decomposição em valores singulares (SVD, do inglês Singular Value Decomposition) da matriz de correlação H pode ser escrita da forma H = UAV^T, a matriz R que minimiza o traço é R=VU^T (Peter H. Schõnemann. A generalized solution of the orthogonal procrustes problem, 1966.).

3- Cálculo do vetor de translação t [037] Obtida a matriz de rotação, o vetor de translação t ótimo pode ser calculado conforme expressão (8), em que M e C são os centroides dos dois conjuntos.

t = M-RC í 8 )

4- Obtenção da matriz de transformação Ê (R, t) [038] Estimados os valores de R e t, a matriz de transformação Ê_iter(R,t) para a iteração atual pode ser obtida pela matriz E (R,t) apresentada inicialmente. Em seguida, essa matriz deve ser concatenada às transformações calculadas nas iterações anteriores, conforme a Equação E_k = E_iter x E_m. A matriz Ê_iter(R, t) também é aplicada ao conjunto C. Essa operação é necessária para que, na próxima iteração, as duas superfícies estejam mais bem alinhadas, fazendo com que as correspondências encontradas entre os dois conjuntos sejam gradativamente refinadas.

5- Verificação de critérios de parada [039] O primeiro critério de convergência é o número de iterações executadas pelo algoritmo que não pode exceder um valor definido a priori. O segundo critério diz respeito à variação entre a iteração anterior e a atual do erro definido pelo somatório da Equação (6). A variação relativa do erro deve estar acima de um limiar que estabelece uma variação mínima entre duas iterações. O último critério define um limite de variação mínima nos

Petição 870160032116, de 28/06/2016, pág. 37/46

15/18 valores de rotação e translação que deve ocorrer para que o algoritmo continue o processo iterativo. Caso nenhum dos critérios de parada seja atingido, o algoritmo retorna para a primeira etapa.

[040] Ao final do procedimento iterativo, uma matriz Ê_reg(R, t) que descreve o movimento C—>M é definida. Porém, é de interesse o movimento M —> C, que descreve a variação de posição e orientação do estado atual em relação ao estado inicial. Para obter essa transformação, basta utilizar a Equação (5). O procedimento do ICP é realizado para cada novo conjunto de pontos gerado pelo Módulo de Reconstrução. Para tornar o processo mais eficiente, toda iteração tem como estimativa inicial de Ê_reg(R,t) O resultado da iteração anterior. Assumindo-se que o objeto de interesse não se move significativamente entre duas aquisições, a estimativa realizada será bem próxima do valor real, reduzindo o número de iterações para a convergência do método.

[041] Dessa forma, as etapas detalhadamente descritas acima, referentes à iluminação estruturada, baseada em múltiplos padrões de projeção, aplicada às etapas de reconstrução tridimensional de imagem com respectivo tratamento de dados (remoção de sombras, remoção de plano de fundo, filtragem de ruído aleatório e amostragem de dados), somadas ao procedimento desenvolvido para fornecer uma sequência temporal de dados tridimensionais referentes ao movimento de um objeto de interesse submetido à captura de imagens compõem o método proposto, que é caracterizado por compreender as seguintes etapas:

a) efetuar a multiplexação temporal de padrão de iluminação estruturada;

b) requisitar captura de imagem;

c) converter imagem do espaço de cor RGB (vermelho, verde e azul) para tons de cinza;

d) armazenar imagem em dispositivo de memória;

e) realizar as etapas “a”, “b”, “c”, “d” de forma iterativa;

Petição 870160032116, de 28/06/2016, pág. 38/46

16/18

f) calcular mapa de fase a partir das imagens geradas pela etapa “e” e extrair mapa de sombras de projeção a partir das imagens geradas pela etapa “e”, simultaneamente;

g) filtrar ruído aleatório de cada uma das imagens geradas pela etapa “f”;

h) remover não linearidades de fase de cada um dos mapas de fase gerados pela etapa “g”;

i) calcular fase relativa de cada um dos mapas de fase gerados pela etapa “h”;

j) extrair plano de fundo de cada uma das imagens geradas pela etapa “i”;

k) realizar as etapas “f”, “g”, “h”, “i”, “j” de forma iterativa;

l) remover sombras e plano de fundo dos mapas de fase gerados pela etapa “j” utilizando o mapa de sombras de projeção extraído a partir da etapa “a”;

m) verificar estabilidade do mapa resultante da etapa “I”;

n) disponibilizar mapas estáveis;

o) converter cada um dos mapas disponibilizados na etapa “n” para coordenadas reais;

p) amostrar mapa de fase;

q) estimar correspondências entre C e M;

r) estimar matriz R;

s) estimar vetor T;

t) aplicar transformação em C

u) compor com matriz de transformação total;

v) avaliar convergência;

x) realizara as etapas “q”, “r”, “s”, “t”, “u”, “v” de forma iterativa;

z) disponibilizar coordenadas e nuvens referentes aos artefatos de movimento, geradas a partir da matriz que convergiu conforme etapas “u” e

Petição 870160032116, de 28/06/2016, pág. 39/46

17/18 [042] A estratégia de iluminação estruturada descrita na etapa “a” do método proposto é preferencialmente baseada em multiplexação temporal. [043] A técnica de amostragem utilizada na etapa “p” do método proposto é preferencialmente a técnica “voxel grid”.

[044] As etapa “f”, “g”, “h”, “p” e “q” podem ser realizadas paralelamente de modo a otimizar o algoritmo correspondente ao método apresentado.

[045] O método proposto pode ser usado para correção prospectiva de artefatos de movimento, para aplicações em diagnóstico por imagens ou em ambas aplicações.

[046] O resultado fornecido pelo método pode ser um sistema de coordenadas que representa um objeto no espaço (no caso de corpos rígidos) ou um mapa de campo vetorial (no caso de objetos que podem apresentar deformação significativa, como a região toráxica e do pescoço do corpo humano).

[047] Para mapas de campo vetorial, o sistema é capaz de detectar fenômenos geradores de artefato como deglutição e respiração, emitindo notificações adequadas de muita utilidade em aplicações de diagnóstico por imagem. Este resultado final do método é então disponibilizado para interface de comunicação direta com equipamento de diagnóstico por imagem ou para um sistema de análise de imagens offflne.

[048] A invenção pode ser mais bem compreendida através do exemplo abaixo, não limitante.

Exemplo 1 - Resultados experimentais do protótipo - Teste de Rastreamento [049] Para avaliar a acurácia referente ao rastreamento da posição do objeto de interesse por meio do método proposto, foi realizado um teste controlado em bancada. O ensaio consistiu na utilização de uma superfície plana fixa a um goniômetro para medição de ângulo real. O ângulo de inclinação da superfície foi variado de 0 a 50° em incrementos de 5° . A

Petição 870160032116, de 28/06/2016, pág. 40/46

18/18

Figura 1 mostra os resultados desse experimento em que é possível perceber o resultado da estratégia de correção de não-linearidades. É possível notar que tal correção proporciona aproximações com erro quadrático médio de 3,77%, que é um erro aceitável para aplicações que trabalham nessa faixa.

Petição 870160032116, de 28/06/2016, pág. 41/46

1/2

Claims

REIVINDICAÇÕES

1. MÉTODO PARA GERAÇÃO DE REPRESENTAÇÕES VETORIAIS DE MOVIMENTO BASEADO EM VISÃO COMPUTACIONAL caracterizado por compreender as seguintes etapas:

a) efetuar a multiplexação temporal de padrão de iluminação estruturada;

b) requisitar captura de imagem;

c) converter imagem do espaço de cor RGB para tons de cinza;

d) armazenar imagem em dispositivo de memória;

e) realizar as etapas “a”, “b”, “c”, “d” de forma iterativa;

f) calcular mapa de fase a partir das imagens geradas pela etapa “e” e extrair mapa de sombras de projeção a partir das imagens geradas pela etapa “e”, simultaneamente;

g) filtrar ruído aleatório de cada uma das imagens geradas pela etapa “f”;

h) remover não linearidades de fase de cada um dos mapas de fase gerados pela etapa “g”;

i) calcular fase relativa de cada um dos mapas de fase gerados pela etapa “h”;

j) extrair plano de fundo de cada uma das imagens geradas pela etapa “i”;

k) realizar as etapas “f”, “g”, “h”, “i”, “j” de forma iterativa;

l) remover sombras e plano de fundo dos mapas de fase gerados pela etapa “j” utilizando o mapa de sombras de projeção extraído a partir da etapa “a”;

m) verificar estabilidade do mapa resultante da etapa “I”;

n) disponibilizar mapas estáveis;

o) converter cada um dos mapas disponibilizados na etapa “n” para coordenadas reais;

p) amostrar mapa de fase;

q) estimar correspondências entre C e M;

r) estimar matriz R;

Petição 870160032116, de 28/06/2016, pág. 42/46
2/2

s) estimar vetor T;

t) aplicar transformação em C

u) compor com matriz de transformação total;

v) avaliar convergência;

x) realizara as etapas “q”, “r”, “s”, “t”, “u”, “v” de forma iterativa;

z) disponibilizar coordenadas e nuvens referentes aos artefatos de movimento, geradas a partir da matriz que convergiu conforme etapas “u” e “v”.

2. MÉTODO PARA GERAÇÃO DE REPRESENTAÇÕES VETORIAIS DE MOVIMENTO BASEADO EM VISÃO COMPUTACIONAL, de acordo com a reivindicação 1, caracterizado pela estratégia de iluminação estruturada descrita na etapa “a” do método proposto ser preferencialmente baseada em multiplexação temporal.
3. MÉTODO PARA GERAÇÃO DE REPRESENTAÇÕES VETORIAIS DE MOVIMENTO BASEADO EM VISÃO COMPUTACIONAL, de acordo com a reivindicação 1, caracterizado pela técnica de amostragem utilizada na etapa “p” do método proposto ser preferencialmente a técnica “voxel grid”.
4. MÉTODO PARA GERAÇÃO DE REPRESENTAÇÕES VETORIAIS DE MOVIMENTO BASEADO EM VISÃO COMPUTACIONAL, de acordo com a reivindicação 1, caracterizado pelas etapa “f”, “g”, “h”, “p” e “q” serem realizadas paralelamente de modo a otimizar o algoritmo correspondente ao método apresentado.

5. USO DO MÉTODO PARA GERAÇÃO DE REPRESENTAÇÕES VETORIAIS DE MOVIMENTO BASEADO EM VISÃO COMPUTACIONAL definido pelas reivindicações 1 a 4, caracterizado por ser para correção prospectiva de artefatos de movimento e/ou para aplicações em diagnóstico por imagens.

Petição 870160032116, de 28/06/2016, pág. 43/46

1/2

DESENHOS t 40

-Q

Π3

E

K 30

Qj

O “ 20

IO

Resultado do sistema de tracking

1 1 1 1 1 1 1 1 1 ---Dadüs de referência * Rasullado do sistema + Resultado com correção de não linearidade * - · * » - + „ -- ''-F' ♦ - t í_1_1 1 1 1 1 1

10 15 20 25 50

Ângulo reel f)

40 45

Erro de estimativa 0¾)

FIGURA 1

Petição 870160032116, de 28/06/2016, pág. 44/46

2/2

FIGURA 2

Petição 870160032116, de 28/06/2016, pág. 45/46

1/1