BR102016030449A2 - método para avaliação e seleção de amostras de imagens faciais para o reconhecimento facial a partir de sequências de vídeo - Google Patents

Abstract

método para avaliação e seleção de amostras de imagens faciais para o reconhecimento facial a partir de sequências de vídeo. as imagens de faces obtidas por câmeras de vídeo têm sido utilizadas de modo crescente para o reconhecimento de indivíduos. apresenta-se aqui um método para selecionar as imagens coletadas do vídeo a serem submetidas ao processo de reconhecimento. o gerenciamento destas imagens se baseia em regras que norteiam as decisões quanto às imagens coletadas que devem ser consideradas ou descartadas para efeito de reconhecimento/identificação, obtendo-se assim uma redução na carga computacional associada. basicamente, a regra impõe que uma imagem facial colhida de cada novo quadro do vídeo processado só será selecionada para o reconhecimento se for significantemente distinta das imagens extraídas dos quadros anteriormente processados e admitidas para o reconhecimento. o método gerencia o banco de dados que contém as imagens selecionadas como uma fila do tipo least recently used (lru). cada imagem da prova é movida para o final da fila lru toda vez que é tida como similar à que está sendo cogitada para admissão. quando a fila está cheia, e se decide pela inclusão de uma nova imagem, a imagem mais à frente na fila é selecionada para ser substituída.

Description

(54) Título: MÉTODO PARA AVALIAÇÃO E SELEÇÃO DE AMOSTRAS DE IMAGENS FACIAIS PARA O RECONHECIMENTO FACIAL A PARTIR DE SEQUÊNCIAS DE VÍDEO (51) Int. Cl.: H04H 60/35 (73) Titular(es): M.l. MONTREAL

INFORMÁTICA LTDA., FACULDADES CATÓLICAS, ASSOCIAÇÃO SEM FINS LUCRATIVOS, MANTENEDORA DA PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO - PUC-RIO (72) Inventor(es): ANTONIO CARLOS CENSI; JOSÉ LUIZ BUONOMO DE PINHO; RAUL QUEIROZ FEITOSA (74) Procurador(es): FRANCISCO CARLOS RODRIGUES SILVA (57) Resumo: MÉTODO PARA AVALIAÇÃO E SELEÇÃO DE AMOSTRAS DE IMAGENS FACIAIS PARA O RECONHECIMENTO FACIAL A PARTIR DE SEQUÊNCIAS DE VÍDEO. As imagens de faces obtidas por câmeras de vídeo têm sido utilizadas de modo crescente para o reconhecimento de indivíduos. Apresenta-se aqui um método para selecionar as imagens coletadas do vídeo a serem submetidas ao processo de reconhecimento. O gerenciamento destas imagens se baseia em regras que norteiam as decisões quanto às imagens coletadas que devem ser consideradas ou descartadas para efeito de reconhecimento/identificação, obtendo-se assim uma redução na carga computacional associada. Basicamente, a regra impõe que uma imagem facial colhida de cada novo quadro do vídeo processado só será selecionada para o reconhecimento se for significantemente distinta das imagens extraídas dos quadros anteriormente processados e admitidas para o reconhecimento. O método gerencia o banco de dados que contém as imagens selecionadas como uma fila do tipo least recently used (LRU). Cada imagem da prova é movida para o final da fila LRU toda vez que é tida como similar à que está sendo cogitada para admissão. Quando (...)

4³ registro 1 <= registro 2 <= registro 3 •

Φ registro S

I 1 <= 4³ imagem facial ou descritor de imagem facial

1/17 “MÉTODO PARA AVALIAÇÃO E SELEÇÃO DE AMOSTRAS DE IMAGENS FACIAIS PARA O RECONHECIMENTO FACIAL A PARTIR DE

SEQUÊNCIAS DE VÍDEO”

Campo da Invenção [001] A presente invenção trata de um método que visa encontrar para cada aplicação o compromisso adequado entre taxas de reconhecimento e desempenho computacional de sistemas de reconhecimento facial baseados em sequências de vídeos. Mais especificamente, esta invenção propõe um método para reduzir o número de quadros do vídeo a serem submetidos ao procedimento de reconhecimento com pouco impacto sobre as taxas de reconhecimento. Este método consiste de critérios a que deve ser submetido cada quadro do vídeo sendo processado de modo a decidir se o referido quadro será ou não considerado para o processamento subsequente. Tais critérios podem ser ajustados de modo a buscar para cada aplicação o melhor compromisso entre carga computacional e taxas de reconhecimento.

Histórico da Invenção [002] A biometria engloba técnicas de reconhecimento de pessoas baseando-se em características físicas e/ou comportamentais. Entre as características físicas amplamente utilizadas estão a impressão digital, a imagem facial, a estrutura da íris, e geometria da mão; entre as características comportamentais as mais comumente utilizadas estão a assinatura e a voz.

[003] Assim, um sistema biométrico se presta a reconhecer um indivíduo com base em características físicas ou comportamentais que lhes sejam particulares. Basicamente, o reconhecimento se faz através da comparação de uma ou mais características biométricas medidas por sensores específicos,

Petição 870160078740, de 23/12/2016, pág. 9/31

2/17 com as características biométricas de indivíduos cuja identidade é conhecida a priori, e que constam de algum banco de dados.

[004] A qualidade dos sensores para aquisição dos dados biométricos e o método de comparação utilizado são fundamentais para a eficácia e eficiência do reconhecimento. A presente invenção propõe um método que viabiliza um compromisso entre eficácia e eficiência que melhor convenha às demandas de cada aplicação.

[005] Sistemas biométricos de reconhecimento podem operar em dois modos principais: verificação e identificação.

[006] No modo de operação chamado verificação, uma pessoa alega uma identidade, e o sistema biométrico determina com base em suas características biométricas se a identidade alegada é verdadeira ou falsa. A decisão é tomada comparando-se as medidas biométricas da pessoa que faz a alegação com as medidas biométricas correspondentes à identidade alegada que se encontram armazenadas num banco de dados, frequentemente chamado de galeria.

[007] No modo de operação chamado identificação, nenhuma identidade é alegada e ao sistema biométrico cumpre determinar a identidade da pessoa em questão com base em suas características biométricas. Tipicamente, o sistema de identificação compara de algum modo as características biométricas da pessoa a ser identificada com as características biométricas de pessoas cujas identidades são conhecidas a priori e que estão cadastradas em uma galeria (banco de dados), como ilustra a Figura 1.

[008] Embora os benefícios da presente invenção sejam mais evidentes quando se opera no modo identificação, como se verá mais adiante, a invenção pode ser aplicada tanto no modo verificação quando no modo identificação. O

Petição 870160078740, de 23/12/2016, pág. 10/31

3/17 texto faz referência em alguns trechos à identificação, sem com isso excluir a aplicação da proposta ao modo verificação.

[009] No caso do reconhecimento facial, em ambos os modos de operação, verificação ou identificação, a decisão é tomada com base numa medida de dissimilaridade entre as imagens faciais capturadas por alguma câmera e imagens faciais cadastradas na galeria.

[010] Geralmente, um sistema de reconhecimento opera internamente com descritores de imagens faciais, ao invés de imagens faciais em si. Sem perda de generalidade, em benefício da simplicidade da exposição o texto subsequente utiliza o termo “imagem facial” para denotar a imagem facial propriamente dita ou seu descritor.

[011] O conjunto de imagens faciais do indivíduo cuja identidade se deseja determinar ou verificar reside numa estrutura de dados, denominada prova, como ilustra a Figura 2. Semelhante a um registro da galeria, uma prova pode compreender várias amostras de imagens faciais do indivíduo a ser identificado.

[012] Métodos tradicionais de identificação facial baseiam-se em imagens estáticas capturadas em condições controladas e com a cooperação da pessoa a ser identificada. Ao contrário, nas aplicações de identificação facial a partir de sequências de vídeo, tipicamente as imagens são capturadas em condições não controladas, sem a cooperação dos indivíduos que em geral não sabem e até mesmo nem desejam ser identificados.

[013] Por outro lado, as aplicações em vídeo têm uma vantagem sobre as aplicações baseadas em imagens estáticas. Vídeos são fontes comparativamente mais abundantes de imagens faciais. Com uma câmera de vídeo convencional operando a algumas dezenas de quadros por segundo,

Petição 870160078740, de 23/12/2016, pág. 11/31

4/17 podem-se recolher centenas ou milhares de amostras de imagens faciais da mesma pessoa em alguns segundos ou minutos, o que, raramente ocorre em aplicações baseadas em imagens estáticas.

[014] Na medida em que os quadros de vídeo vão sendo processados, mais amostras de imagens faciais podem ser adicionadas à prova, o que permite um aperfeiçoamento contínuo da estimativa de identidade. Este benefício se aufere, contudo, a um custo. De fato, a complexidade computacional da identificação cresce com o número de pessoas cadastradas na galeria, uma vez que envolve o cálculo de uma métrica de dissimilaridade para todos os registros da galeria, o que pode perfazer dezenas ou centenas de milhões de registros em algumas aplicações. Qualquer alteração da prova decorrente da inclusão de uma nova imagem facial implica em recalcular as métricas de dissimilaridade de modo a refletir a nova configuração da prova. Dependendo do número de registos da galeria, refazer este cálculo a cada quadro de vídeo processado pode implicar em tempos de resposta inaceitáveis para algumas aplicações.

[015] Métodos convencionais de reconhecimento facial a partir de sequências de vídeo envolvem geralmente quatro procedimentos principais: detecção, rastreamento, seleção de quadro e reconhecimento.

[016] O procedimento de detecção varre cada quadro do vídeo a procura de regiões cujo padrão de intensidades corresponde a uma imagem facial.

[017] Uma vez que uma imagem facial tenha sido detectada em um quadro do vídeo pelo procedimento de detecção, o procedimento de rastreamento persegue a imagem do indivíduo ao longo dos quadros subsequentes. Normalmente, o rastreamento é capaz de acompanhar várias imagens faciais simultaneamente. Contudo, sem perda de generalidade, para simplificar a exposição que se segue o texto subsequente faz sempre referência a uma

Petição 870160078740, de 23/12/2016, pág. 12/31

5/17 face. Ressalte-se, no entanto, que o método proposto funciona independentemente do número de imagens faciais sendo rastreadas simultaneamente.

[018] O procedimento de seleção de quadros é responsável por verificar se uma região perseguida pelo rastreamento atende a um dado conjunto de condições para ser incorporada à prova. A prova consiste, portanto, de um conjunto de imagens faciais colhidas ao longo do rastreamento e aprovadas pelos critérios de seleção de quadros.

[019] O procedimento de reconhecimento calcula a dissimilaridade entre a prova e os registros da galeria. Estes valores de dissimilaridade podem representar entre outras métricas, probabilidades, verrossimilhanças, pertinências ou meramente escores calculados por uma diversidade de métodos. A identificação se baseia numa ordenação dos indivíduos cadastrados na galeria segundo os valores de tais métricas.

[020] A presente invenção propõe critérios a serem impostos a cada nova amostra de imagem facial para que esta seja acrescida à prova. São critérios baseados na dissimilaridade entre cada nova amostra cogitada para inclusão à prova e as amostras que já compõem a prova. A ideia central que inspira esta invenção é que só se inclua uma nova amostra de imagem facial na prova se tal inclusão implicar em uma alteração significativa dos valores de dissimilaridade computados a partir das imagens que já compõem a prova. Admite-se que tal alteração só ocorre se a nova imagem diferir substancialmente de todas as imagens que já constam da prova.

Descrição Resumida da Invenção [021] Sistemas de reconhecimento facial a partir de sequências de vídeo normalmente reúnem amostras de imagens faciais da pessoa a ser identificada

Petição 870160078740, de 23/12/2016, pág. 13/31

6/17 numa estrutura de dados, que vem sendo denominada prova neste texto. O método decide se uma nova imagem deve ou não ser incluída na prova.

[022] É objetivo da presente invenção prover um critério a que deve ser submetido cada novo quadro de vídeo, critério este que determina se a imagem facial contida no referido quadro deve ou não ser considerada para efeitos de reconhecimento da pessoa imageada. Tal critério consiste basicamente em verificar se tal imagem é significativamente distinta de todas as imagens da mesma pessoa constantes da prova coletadas em quadros do vídeo já processados.

[023] Se o espaço de memória alocado para a prova estiver completamente preenchido por imagens colhidas de quadros anteriormente processados, será necessário eleger uma entre as imagens da prova para ser excluída e, assim, alocar espaço para a nova imagem a ser admitida. O método que aqui se propõe baseia-se na organização da prova como uma fila do tipo least recently used (LRU). Cada imagem da prova é movida para o final da fila LRU toda vez que for considerada similar à que está sendo cogitada para admissão.

[024] O método proposto eleje para ser excluída a imagem da prova que estiver mais à frente na fila LRU. A invenção visa, dessa forma, reduzir a carga computacional associada ao reconhecimento com pouco prejuízo para as taxas de reconhecimento. Os critérios propostos podem operar combinados com outros critérios, como o que leva em consideração a qualidade da imagem. A invenção não é específica de uma estratégia de reconhecimento particular e pode ser adaptada a sistemas de reconhecimento baseados em diversos algoritmos de reconhecimento.

[025] O método proposto se baseia em uma comparação da imagem facial contida no quadro do vídeo que está sendo processado com as imagens faciais já reunidas ao terem sido processados os quadros anteriores do vídeo, sendo

Petição 870160078740, de 23/12/2016, pág. 14/31

7/17 que a nova imagem só será considerada para o reconhecimento se delas diferir significativamente.

Breve Descrição das Figuras [026] A presente invenção poderá ser mais facilmente compreendida com auxílio das figuras ilustrativas em anexo, as quais de uma forma esquemática e não limitativa de seu escopo representam:

- Figura 1 - Esquemático do banco de dados que contém registros de imagens faciais

- Figura 2 - Esquemático da estrutura de dados, chamada prova, que contém o conjunto de imagens faciais do indivíduo, cuja identidade se deseja determinar.

- Figura 3 - Representação da textura de uma imagem facial segundo o algoritmo LBP - Local Binary Pattern

- Figura 4 - Exemplos de imagens e as correspondentes representações LBP.

Descrição Detalhada da Invenção [027] A presente invenção diz respeito ao gerenciamento do conjunto de imagens faciais que compõem a prova num sistema de reconhecimento facial baseado em vídeo. Propõe-se a adoção de dois critérios a que devem ser submetidas as imagens faciais colhidas do vídeo para sua admissão ou exclusão do conjunto prova.

[028] O primeiro critério diz respeito à admissão de novas imagens faciais, enquanto o segundo critério refere-se à seleção de uma entre as imagens da prova para ser excluída quando uma nova amostra deve ser admitida e a prova tem todas as suas posições ocupadas por imagens colhidas de quadros do vídeo anteriormente processados.

[029] Com respeito ao primeiro critério, o objetivo é reduzir o número de vezes que a prova é atualizada incorrendo no mínimo prejuízo para a acurácia

Petição 870160078740, de 23/12/2016, pág. 15/31

8/17 da identificação. A invenção propõe uma condição a ser atendida por uma nova imagem para que esta seja acrescida ao conjunto prova.

[030] Esta condição pode ser aplicada isoladamente ou combinada com outras condições, tais como as relacionadas à qualidade da imagem e ao limite de taxa de quadros processados por segundo. Propõe-se que a inclusão de uma nova imagem à prova seja condicionada ao seu potencial para mudar os valores correntes de dissimilaridade calculados com base na configuração atual da prova.

[031] E m muitas estratégias de reconhecimento o acréscimo de uma amostra de imagem altamente correlacionada com uma amostra existente na prova não trará benefício significativo em termos de acurácia. Assim, para que seja incorporada à prova uma nova imagem facial deve diferir significativamente de todas as imagens constantes da prova. Esta condição visa reduzir o número de atualizações da prova e, consequentemente, o número de vezes que o procedimento de reconhecimento é executado, melhorando, assim, o tempo de resposta do sistema.

[032] O segundo critério diz respeito a situações que podem ocorrer quando uma nova imagem deve ser admitida na prova. Uma vez que o espaço de memória alocado para a prova é necessariamente finito e que novas imagens são acrescidas à prova na medida em que o vídeo vai sendo processado, este espaço eventualmente se esgota. A presente invenção propõe um critério de exclusão de uma entre as imagens da prova, cujo espaço passará a ser ocupado pela nova imagem a ser admitida na prova. O critério proposto visa minimizar o prejuízo que esta exclusão poderá trazer à acurácia do reconhecimento. O critério apoia-se no histórico recente dos valores de dissimilaridade medidos ao se aplicar o critério de admissibilidade supracitado que define quando uma nova imagem deve ou não ser admitida na prova.

Petição 870160078740, de 23/12/2016, pág. 16/31

9/17 [033] Ambos os critérios são apresentados formalmente a seguir. Em benefício da clareza do texto, admite-se na descrição que se segue que o sistema opera no modo identificação. Não é demais lembrar que o método proposto aplica-se igualmente para sistemas que armazenam as próprias imagens faciais quanto para sistemas que manipulam descritores de imagem facial. Assim, sem prejuízo para o entendimento e da generalidade, a palavra imagem facial ou simplesmente imagem nesta seção deve ser interpretada como se referindo genericamente a uma imagem facial ou ao descritor desta imagem, calculado segundo um algoritmo qualquer.

[034] Seja GO) o registro contendo «O) imagens faciais da s-ésima pessoa cadastrada na galeria, a qual compreende um total de S registros. Formalmente,

GO) = {^OKtfOO,-.80)_n(₃}}, para s = 1,..,5 (1) [035] A prova é representada pelo conjunto p = (p₁₁p_2l...} que pode conter até N imagens faciais pertencentes à pessoa imageada no vídeo cuja identidade se deseja determinar.

[036] Seja fí[P,GO)j a função que expressa a dissimilaridade entre dois conjuntos de imagens, em particular, entre o conjunto P de imagens que compõem a prova e o conjunto de amostras GO) relativas à f-ésima pessoa cadastrada na galeria. Admite-se que o reconhecimento se baseia nos valores de dissimilaridade fí[P,GO)j entre a prova e cada registro da galeria. Toda vez que uma nova imagem facial r é acrescida à prova P o procedimento de reconhecimento é executado novamente para computar fí[p ur,GO)j, ⁿ° caso

Petição 870160078740, de 23/12/2016, pág. 17/31

10/17 do modo identificação, para £- = 1,..,5, e assim atualizar o(s) valor(es) de dissimilaridade.

[037] Cabe mencionar novamente que a ideia subjacente à estratégia de admissão decorre da observação empírica de que para alguns algoritmos de reconhecimento a inclusão de uma amostrar em p não causa alteração significativa em nenhum dos S valores de dissimilaridade se r for muito similar a alguma amostra em P. Em outras palavras, para uma função D(p,r) que expressa a dissimilaridade entre dois descritores de imagens per, para que haja alteração significativa da dissimilaridade deve valer a relação max_i=1....._s|fí[P Ur,G(ff)j - fí[P, G(s)] | < miiippp D fp/r) (2) [038] A relação anterior provê desta forma um limite superior para a alteração que ocorre nos valores de dissimilaridade, caso se inclua r no conjunto p. Assim, se âfí_mínrepresenta a mínima alteração significativa nos valores de dissimilaridade, a inclusão de r em p e o consequente esforço computacional para atualização do(s) valor(es) de dissimilaridade só se justificará se a seguinte condição abaixo for verdadeira minpepDQa.r) > âfí_míTI (3).

[039] Cabe notar que, no modo identificação a complexidade computacional associada à verificação da condição (3) cresce com o número de imagens na prova, enquanto que a atualização de todas as medidas de similaridade tem complexidade crescente com o total de imagens da galeria. Como já salientado

Petição 870160078740, de 23/12/2016, pág. 18/31

11/17 em seções anteriores, esta diferença pode alcançar várias ordens de grandeza em algumas aplicações.

[040] Quanto à condição expressa pela relação (3) cumpre ainda abordar dois aspectos. O primeiro diz respeito à escolha do valor de Deve-se ter em mente que um aumento de âfí_mm implica na redução do número de vezes que o procedimento de reconhecimento será executado e, portanto, da carga computacional. O provável efeito colateral é a redução da acurácia da identificação, uma vez que um número maior de imagens faciais coletadas do vídeo será desconsiderado.

[041] O valor apropriado de âfí_mín dependerá das características do vídeo e das exigências da aplicação, além, é claro, das funções de dissimilaridade D(-) e fí(-) adotadas. Podem-se também considerar estratégias adaptativas para o ajuste de que levem em conta as diferenças de dissimilaridade dos registros da galeria relativamente à prova a cada quadro processado do vídeo.

[042] Novamente, o principal benefício de se impor tal condição para a admissão de novas amostras de imagens ao conjunto prova é reduzir a carga computacional de sistemas de reconhecimento em vídeo. O efeito colateral a ser ponderado é o potencial prejuízo para as taxas de identificação decorrente de não se admitirem imagens à prova.

[043] O segundo aspecto relativo ainda ao primeiro critério expresso pela relação (3) diz respeito às funções de dissimilaridade fí(-) e /?() A escolha destas funções é em geral ditada pelo algoritmo de reconhecimento em que se baseia o sistema. A seção sobre a implementação preferencial apresenta um exemplo.

Petição 870160078740, de 23/12/2016, pág. 19/31

12/17 [044] Esta invenção propõe ainda um critério de seleção que eleja entre as imagens da prova uma para ser excluída, toda vez que uma nova imagem deve ser admitida e todas as posições da prova estão ocupadas. Como no caso precedente, o critério que aqui se propõe objetiva minimizar o número de vezes que o procedimento de reconhecimento será executado após a exclusão. Em outras palavras, a escolha da imagem a ser excluída deve ser feita de modo a minimizar o número de execuções do procedimento de reconhecimento ao se processarem os próximos quadros do vídeo. Evidentemente, é impossível determinar qual é esta imagem com certeza uma vez que se desconhecem os quadros do vídeo que serão ainda processados no futuro. O método aqui proposto atende ao objetivo em termos apenas probabilísticos. Baseia-se em uma heurística fundamentada em observações empíricas. O critério proposto na presente invenção é inspirado no algoritmo conhecido como Least Recently Used (LRU) usado para gerenciamento de memória virtual.

[045] A lógica que sustenta esta proposta é a seguinte. Quadros adjacentes de um vídeo tendem a ser semelhantes. Assim, quando por força do critério de admissão supracitado não se admite a incorporação à prova de uma imagem r extraída do vídeo devido à sua semelhança com uma imagem p da prova, é provável que p, pelo mesmo motivo impeça a admissão de amostras extraídas dos próximos quadros a serem processados logo a seguir. De modo semelhante, admite-se que imagens da prova que há vários quadros não impediram a admissão de novas amostras têm relativamente pouca chance de fazê-lo nos próximos quadros.

[046] Com base nesta hipótese, propõe-se que as imagens da prova sejam organizadas como uma fila LRU (do inglês least recently used). Imagens posicionadas mais ao final da fila LRU são aquelas que mais recentemente impediram a admissão de novas imagens na prova, devido ao critério de

Petição 870160078740, de 23/12/2016, pág. 20/31

13/17 admissibilidade. De acordo com a estratégia de admissão proposta anteriormente, uma nova imagem r não será admitida na prova se não satisfizer a condição expressa na relação (3). Neste caso, a imagem p* da prova mais semelhante a r, isto é, p* = mirL_peP£>(p,r), deve ser transferida para o final da fila LRU, enquanto que as imagens posicionadas depois de p* na fila LRU são movidas uma posição adiante na fila.

[047] Se, ao contrário, r satisfizer a condição (3), ela deve ser admitida no conjunto prova. Duas situações devem ser consideradas em tais casos. Em primeiro lugar, se houver posições da prova ainda não ocupadas, todas as imagens da prova movem-se uma posição adiante, e r passa a ocupar a última posição na fila de LRU. Se, ao contrário, todas as posições da prova estiverem ocupadas, a imagem mais à frente na fila LRU é excluída, as demais imagens da prova movem-se uma posição adiante, e r passa a ocupar a última posição na fila LRU.

[048] Para fim apenas ilustrativos, os métodos propostos, tanto para a admissão como para a exclusão são descritos formalmente pelo pseudocódigo a seguir, esclarecendo desde pronto que não es excluem do escopo da presente invenção quaisquer variantes que incorporem os métodos já referidos.

Petição 870160078740, de 23/12/2016, pág. 21/31

14/17

Método de avaliação e seleção de imagens faciais % P = ...} é o conjunto prova % #F representa o número de amostras válidas em P % Aí é o número máximo de amostras que podem ser acomodadas em P % ρχ ocupa a primeira posição da fila LRU, enquanto p_#P ocupa a última % r é a amostra cua admissão na prova deve ser aprovada ou rejeitada % é o limiar para que ocorra admissão de uma nova amostra na prova % i,j e am são variáveis auxiliares.

if m in,, _{e P} D (p,r) < if #P < N

P ¢- P U r, whereby p^p = r else for / = argmin_; D(p_£,r) -> JV end for Rv <-r end if else <for / = argmin_; D(p;,r) #F Pi-i < Pi end for

P#p <end if % separa elemento da prova mais similar à nova amostra % admissão aprovada % se conjunto prova não está cheio % inclui nova amostra na prova % se conjunto prova está cheio % atualiza fila LRU % move amostras adiante na fila LRU % nova amostra ocupa o final da fila LRU % move amostras adiante na fila LRU % elemento mais similar à nova amostra ocupa final da fila LRU

Realização Preferencial [049] Esta realização preferencial baseia-se num método de codificação de textura conhecido com padrões binários locais (do inglês Local Binary Patterns - LBP), proposto por T. Ahonen, A. Hadid e M. Pietikàinen. A representação LBP é calculada atribuindo-se a cada pixel x localizado nas coordenadas (x,y) um código binário. Tal código está relacionado aos sinais das diferenças de

Petição 870160078740, de 23/12/2016, pág. 22/31

15/17 intensidades entre o referido pixel e m vizinhos igualmente espaçados ao longo de uma circunferência de raio p, como ilustra a figura 3. Os valores binários “0” e “1 ” são atribuídos respectivamente à diferença negativa e positiva. Adota-se a interpolação bilinear sempre que a coordenada do vizinho não recai no centro de um pixel. O código LBP resulta da concatenação de m 0’s e 1 ’s numa ordem arbitrária, porém fixa. A figura 4 mostra as representações LBP para quatro exemplos de imagens faciais, sendo que as intensidades estão relacionadas ao código LBP associado a cada pixel.

[050] O reconhecimento baseado nos códigos LBP funciona da seguinte maneira. Admite-se que todas as imagens faciais analisadas são bem enquadradas, ou seja, apresentam distância interocular constante, tendo os centros dos olhos posicionados em coordenadas fixas da imagem.

[051] A matriz i contendo a representação LBP de uma imagem facial é dividida em B blocos disjuntos de igual tamanho numerados de 1 a B, como ilustra a figura 4. O histograma ^bH dos códigos LBP contidos no Z?-ésimo bloco é calculado para b=1,2,...,B e multiplicado por um peso hj, específico de cada bloco. O descritor da imagem facial é dado pelo vetor p resultante de se concatenarem os histogramas ponderados hj, ^bH.

[052] A função de dissimilaridade entre a representação de duas imagens é dada por uma função distância ou métrica D(-) que apresenta as seguintes propriedades onde p, r e g representam neste contexto descritores de images faciais:

i. (p,fl)ao ₍₄₎ ii. D(p,g) = 0, se e somente se p = g

Petição 870160078740, de 23/12/2016, pág. 23/31

16/17 iü- Díp,g) = D(g,p) iv. D(p,g) < D(p,f) + D(r,g) [053] A função de dissimilaridade entre conjuntos de descritores de imagens, por exemplo, entre a prova p e o s-ésimo registro da galeria G(s) é definida como:

fí[P,G(s)] = min [D (p,#)]. (5) [054] Demonstra-se a seguir que a função de dissimilaridade definida em (5) satisfaz as relações (2) e (3) para qualquer métrica que possua as propriedades (4). Da propriedade iv) de (4) e da equação (5) decorre que β[Ρ, G(ff)] < + D(r, #)] (6) para qualquer amostra r e, portanto, fí[P, G(ff)] < miiipepDíjO.r) -i-min_jeGW D(r,^) (7).

[055] Como a relação (7) é válida para qualquer r, ela pode ser reescrita como:

fí[P,G(s)] < miiipepDfp,/) + minp_ep_urjeGW D(p,g) (8) de onde resulta fítP.GO)] - fí[PUr,G(s)] < minpepDGvr) = fí[P,{r}] (9)

Petição 870160078740, de 23/12/2016, pág. 24/31

17/17 [056] De acordo com a relação (9) a mudança no valor de dissimilaridade de qualquer registro da galeria decorrente de se acrescentar a imagem r à prova está limitada superiormente pela dissimilaridade desta amostra relativamente à prova. Como a relação anterior vale para todos os registros da galeria max,₌₁....._s{fí[P,G(s)] - fí[P U r,G(s)]} < fí[P,ír}] (10) [057] Claramente, das relações (9) e (10) resulta que a função de dissimilaridade definida em (5) satisfaz as condições expressas nas inequações (2) e (3). Por consequência, a relação (3) provê uma condição consistente para que uma amostra seja admitida na prova, assim como para a realização do algoritmo de exclusão.

Petição 870160078740, de 23/12/2016, pág. 25/31

1/3

Claims (14)

1. Reivindicações

   1. Método para avaliação e seleção de amostras de imagens faciais para o reconhecimento facial a partir de sequências de vídeo, caracterizado pelo fato de submeter cada imagem facial colhida do vídeo a um teste para decidir se a considera ou não para o reconhecimento.
2. 2. Método, de acordo com a reinvindicação 1, caracterizado por ter uma função para gerenciar um conjunto prova contendo amostras de imagens faciais de uma pessoa a ser reconhecida, sendo que tais amostras constituem dados utilizados pelo sistema de reconhecimento para determinar a identidade da pessoa imageada.
3. 3. Método, de acordo com a reinvindicação 2, caracterizado pelo fato de que isoladamente ou combinado com outros métodos determina a cada novo quadro do vídeo processado, se a imagem facial contida em tal quadro, ou o seu descritor, deve ou não ser admitido no conjunto prova.
4. 4. Método, de acordo com a reinvindicação 2, caracterizado pelo fato de que isoladamente ou combinado com outros métodos, decide ao ser processado cada novo quadro do vídeo se as imagens faciais ou descritores que compõem a prova devem ser nela mantidos ou devem ser dela excluídos.
5. 5. Método, de acordo com a reinvindicação 3, caracterizado pelo fato do condicionamento da inclusão no conjunto prova de uma imagem facial ou de seu descritor, colhido do quadro do vídeo que está sendo processado, a que a referida imagem ou descritor seja substancialmente distinto de todas as imagens ou descritores que compõe o conjunto prova no momento em que tal decisão é tomada.

   Petição 870160078740, de 23/12/2016, pág. 26/31

   2/3
6. 6. Método, de acordo com a reinvindicação 5, caracterizado por utilizar uma métrica de similaridade ou dissimilaridade entre imagens faciais ou seus descritores.
7. 7. Método, de acordo com a reinvindicação 5, caracterizado por ter como um de seus parâmetros um limiar ajustável manual ou automaticamente, fixo ou alterado dinamicamente ao longo do processamento, com base em que se determina se uma imagem ou seu descritor difere significativamente de uma outra imagem ou descritor.
8. 8. Método, de acordo com as reinvindicações 6 e 7, caracterizado por condicionar a inclusão de uma imagem ou descritor de imagem no conjunto prova a que a dissimilaridade entre tal imagem ou descritor relativamente a todas as imagens ou descritores que compõem a prova exceda um limiar definido manual ou automaticamente.
9. 9. Método, de acordo com a reinvindicação 4, caracterizado por decidir ao longo do processamento se uma imagem ou descritor de imagem pertencente ao conjunto prova será mantido ou excluído no dito conjunto levando em conta a similaridade ou dissimilaridade da referida imagem, ou descritor com imagens, ou descritores colhidos em quadros do vídeo analisados anteriormente.
10. 10. Método, de acordo com a reinvindicação 9, caracterizado por organizar o conjunto prova conforme uma fila do tipo menos recentemente utilizado LRU (least recently used).
11. 11. Método, de acordo com a reinvindicação 10, caracterizado por mover uma imagem ou descritor de imagem pertencente à prova para o final da fila LRU, desde que satisfeita uma condição que envolve a similaridade ou

    Petição 870160078740, de 23/12/2016, pág. 27/31

    3/3 dissimilaridade da referida imagem ou descritor com imagens ou descritores colhidos nos quadros do vídeo já processados.
12. 12 Método, de acordo com a reinvindicação 11, caracterizado por mover uma imagem ou descritor de imagem pertencente à prova para o final da fila LRU, se a métrica de dissimilaridade entre a referida imagem ou descritor e a imagem ou descritor de imagem extraído do quadro de vídeo sendo processado não exceder um limiar estabelecido manual ou automaticamente.
13. 13. Método, de acordo com a reinvindicação 12, caracterizado por excluir do conjunto prova a imagem ou descritor que ocupa a posição inicial da fila LRU, caso o conjunto prova tenha todas as suas posições ocupadas e uma nova imagem ou descritor deva ser admitido no conjunto prova.
14. 14. Método, de acordo com qualquer das reivindicações anteriores, caracterizado por se basear em imagens extraídas de sequências vídeos capturados por câmeras de qualquer tipo.

    Petição 870160078740, de 23/12/2016, pág. 28/31

    1/2