BRPI0608711A2 - métodos e sistemas para realizar reconhecimento de face, para treinar um modelo de face de referência, para calcular um valor de limiar de similaridade para um modelo de face de referência e para otimizar uma imagem para uso em reconhecimento de face - Google Patents

métodos e sistemas para realizar reconhecimento de face, para treinar um modelo de face de referência, para calcular um valor de limiar de similaridade para um modelo de face de referência e para otimizar uma imagem para uso em reconhecimento de face Download PDF

Info

Publication number
BRPI0608711A2
BRPI0608711A2 BRPI0608711-6A BRPI0608711A BRPI0608711A2 BR PI0608711 A2 BRPI0608711 A2 BR PI0608711A2 BR PI0608711 A BRPI0608711 A BR PI0608711A BR PI0608711 A2 BRPI0608711 A2 BR PI0608711A2
Authority
BR
Brazil
Prior art keywords
face
model
face model
reference face
image
Prior art date
Application number
BRPI0608711-6A
Other languages
English (en)
Inventor
Felix Gremse
Vasanth Philomin
Original Assignee
Koninkl Philips Electronics Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninkl Philips Electronics Nv filed Critical Koninkl Philips Electronics Nv
Publication of BRPI0608711A2 publication Critical patent/BRPI0608711A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

MéTODOS E SISTEMAS PARA REALIZAR RECONHECIMENTO DE FACE, PARA TREINAR UM MODELO DE FACE DE REFERêNCIA, PARA CALCULAR UM VALOR DE LIMIAR DE SIMILARIDADE PARA UM MODELO DE FACE DE REFERENCIA E PARA OTIMIZAR UMA IMAGEM PARA USO EM RECONHECIMENTO DE FACE. A invenção descreve um método para realizar reconhecimento de face, cujo método compreende as etapas de gerar um modelo de face médio (M~AV~) - compreendendo uma matriz de estados representando regiões da face - a partir de um número de imagens de face distintas (I~1~, 1~2~, ..., I~J~) e treinar um modelo de face de referência (M~1~, M~2~, ..., M~n~) para cada uma dentre um número de faces conhecidas, onde o modelo de face de referência (M1, M2, ..., M~) é baseado no modelo de face médio (MAv). Uma imagem de teste (IT) é adquirida para uma face a ser identificada, e um melhor trajeto através do modelo de face médio (M~AV~) é calculado, com base na imagem de teste (I~T~). Um grau de similaridade é avaliado para cada modelo de face de referência (M~1~, M~2~, ..., M~n~) em relação à imagem de teste (I~T~) aplicando o melhor trajeto do modelo de face médio (M~AV~) a cada modelo de face de referência (M~1~, M~2~, ..., M~n~) para identificar o modelo de face de referência (M~1~, M~2~, ..., M~n~) mais similar à imagem de teste (I~T~), cujo modelo de face de referência identificado (M~1~, M~2~, ..., M~n~) é subseqúentemente aceito ou rejeitado com base em seu grau de similaridade. Adicionalmente, a invenção descreve um sistema para realizar reconhecimento de face. Também, a invenção descreve um método e sistema para treinar um modelo de face de referência (M~1~) que pode ser usado no sistema de reconhecimento de face, um método e sistema para calcular um valor de limiar de similaridade para um modelo de face de referência (M~n~) que pode ser usado no sistema de reconhecimento de face, e um método e um sistema para otimizar imagens (I, I~T~, I~T~, G~1~, G~2~, ..., G~J~, T~1~, T~2~, T~m~, T~new~) que podem ser usadas no sistema de reconhecimento de face.

Description

"MÉTODOS E SISTEMAS PARA REALIZAR RECONHECIMENTO DEFACE, PARA TREINAR UM MODELO DE FACE DE REFERÊNCIA,PARA CALCULAR UM VALOR DE LIMIAR DE SIMILARIDADE PARAUM MODELO DE FACE DE REFERÊNCIA E PARA OTIMIZAR UMAIMAGEM PARA USO EM RECONHECIMENTO DE FACE"
A invenção relaciona-se a um método para realizarreconhecimento de face, e a um sistema para realizar reconhecimento de face.
Aplicações envolvendo reconhecimento de face sãofreqüentemente associadas a sistemas de segurança, nos quais a tecnologia dereconhecimento de face é usada para decidir se uma pessoa deve ter acessoconcedido ou negado ao sistema, ou sistemas de supervisão, que são usadospara identificar ou rastrear um certo indivíduo. Outras aplicações que estão setornando mais difundidas incluem aquelas para identificar usuários desistemas de diálogo, tais como sistemas de diálogos domésticos, ou aplicaçõesde busca de imagem para localizar uma face específica em um arquivo devídeo ou foto, ou encontrar um certo ator em um filme ou outra seqüênciagravada de vídeo.
Qualquer técnica de reconhecimento de face é baseada emmodelos de faces. Uma base de dados de modelos de face é geralmente usada,com a qual uma imagem de prova é comparada para encontrar a coincidênciamais próxima. Por exemplo, uma pessoa desejando obter a entrada em umsistema tal como um edifício, pode primeiramente ter que submeter a umaetapa de reconhecimento de face, na qual é tentado coincidir uma imagem desua face com um modelo de face em um banco de dados de segurança, nosentido de determinar se a pessoa tem acesso permitido ou negado. Ummodelo de uma face é construído ou treinado usando informação obtida deimagens, usualmente um número de imagens da mesma face, todas obtidassob circunstâncias ligeiramente diferentes, tais como diferente iluminação oudiferente postura.A US2004/0071338 Al sugere treinar um modelo para cadapessoa separadamente, com respeito ao critério de Probabilidade Máxima(ML). Esta é uma técnica bem conhecida usada para treinar modelos paramuitas aplicações de reconhecimento de face. Em sua abordagem para oreconhecimento de face, a US2004/0071338 determina o modelo maispróximo para uma dada imagem de prova, ou imagem de uma face, mas deixade cobrir a eventualidade de que a imagem de prova se origine de uma pessoadesconhecida, deixando aberta a possibilidade de que uma pessoadesconhecida possa obter acesso a um sistema protegido por esta abordagem.
Uma outra desvantagem deste sistema é que o processo de reconhecimento érealmente consumidor de tempo, de tal modo que uma pessoa ter queaguardar por um tempo relativamente longo antes que o sistema dereconhecimento de face venha com um resultado de identificação. A razãopara a longa demora é que, no sentido de determinar a probabilidade de queum modelo da base de dados represente a mesma face que aquela na imagemde prova, é necessário executar computações de tempo intensivo para cadamodelo na base de dados, no sentido de decidir qual o modelo se aproximamais da pessoa objeto do procedimento de identificação. Entretanto, namaioria dos sistemas de reconhecimento de face, é desejável que oreconhecimento de face seja completado o mais rápido possível, uma vez quequalquer retardo de tempo percebido aborrecerá o usuário.
Ainda mais, infelizmente é freqüente o caso em que ascondições sob as quais a imagem de prova é capturada podem ser inferiores àsideais. Além de serem incapazes de controlar precisamente o aspecto no qualo usuário faceia a câmera, ou a expressão facial que este assume, condiçõesde iluminação variáveis conduzem à mesma face aparecendo diferentementeem diferentes imagens. Um sistema de reconhecimento de face usado paraaplicações reais tem que funcionar em tal ambiente não restrito.
Sobretudo, permanece um problema de que o processo dereconhecimento de face inteiro é freqüentemente lento demais e imprecisodemais, isto é, que muitos sistemas de reconhecimento de face apresentamcomportamento insatisfatório.
Portanto, um objetivo da presente invenção é prover um meiomais rápido e mais preciso de realizar reconhecimento de face.
Para esta finalidade, a presente invenção provê um métodopara realizar reconhecimento de face, cujo método compreende as etapas degerar um modelo de face médio - compreendendo uma matriz de estadosrepresentando regiões da face - a partir de um número de imagens de facedistintos, e treinar um modelo de face de referência para cada um dentre umnúmero de faces conhecidas, onde o modelo de face de referência é baseadono modelo de face médio. Portanto, o modelo de face de referência écompatível com o modelo de face médio. O método compreendeadicionalmente as etapas de adquirir uma imagem de teste para uma face a seridentificada, calcular um melhor trajeto através do modelo de face médio combase na imagem de teste, avaliar um grau de similaridade para cada modelo deface de referência em relação à imagem de teste, aplicando o melhor trajetodo modelo de face médio a cada modelo de face de referência, identificando omodelo de face de referência mais semelhante à imagem de teste, e aceitandoou rejeitando o modelo de face de referência identificado, com base no graude similaridade.
Um sistema apropriado para realizar reconhecimento de facecompreende um número de modelos de face de referência e um modelo deface médio onde cada modelo de face compreende uma matriz de estadosrepresentando regiões da face, uma unidade de aquisição para adquirir umaimagem de teste e um calculador de melhor trajeto para calcular um melhortrajeto através do modelo de face médio. O sistema compreendeadicionalmente uma unidade de avaliação para aplicar o melhor trajeto domodelo de face médio a cada modelo de face de referência, no sentido deavaliar um grau de similaridade entre cada modelo de face de referência e aimagem de teste. Para decidir quanto a aceitar ou rejeitar o modelo de face dereferência com o grau mais alto de similaridade, o sistema compreende umaunidade de tomada de decisão.
Um modelo de face para uso na invenção é especificamenteum modelo estatístico composto de uma matriz de estado, cada um dos quaisrepresenta uma região de uma face, de tal modo que um estado particularpode ser associado a uma característica facial local tal como uma orelha, umolho, uma sobrancelha ou uma parte de uma característica facial. Cada estadocompreende, por exemplo, um modelo de mistura Gaussiana para modelar aprobabilidade de um vetor de característica local, dada a região facial local.
Uma seqüência linear de tais estados pode ser modelada usando um tipo demodelo estatístico conhecido como o modelo Markov oculto (HMM).Entretanto, uma vez que uma imagem facial é uma imagem bidimensional, naqual cada fila pode ser vista como uma seqüência de estado linear, o modeloestatístico usado na presente invenção é preferivelmente um modelobidimensional, tal como um HMM pseudo bidimensional (P2DHMM) quemodela dados bidimensionais usando um HMM externo para a direçãovertical, cujos estados são eles próprios HMM, modelando a direçãohorizontal. A força dos HMM e portanto, também dos P2DHMM é suacapacidade de compensar quanto a "distorções" como estiramentos edeslocamentos. No caso de comparar uma imagem de uma face com ummodelo de face, tal distorção pode surgir se a face é virada para longe dacâmera, é escorçada ou se a face tiver sido detectada e localizadaimprecisamente. Para comparar uma imagem de uma face com um modelo deface, regiões da face são primeiramente identificadas na imagem e entãocomparadas às regiões correspondentes do modelo, em uma técnica conhecidacomo "alinhamento" ou "segmentação".
Um "modelo de face médio", também chamado "modelofundamental universal" (UBM) ou "modelo estrangeiro", é "construído" outreinado usando muitas imagens de muitas pessoas diferentes, por exemplo,400 imagens de 100 pessoas. As imagens usadas para treinamento sãopreferivelmente escolhidas para serem uma seção transversal representativaatravés de todos os tipos adequados de face. Para um sistema de segurança,por exemplo, o modelo de face médio pode ser treinado usando faces deadultos de qualquer nacionalidade apropriado. Um sistema de busca dearquivo usado para localizar imagens de atores em um arquivo de vídeo poderequerer um modelo de face médio com base em imagens de pessoas atravésde um grupo de idade mais ampla.
O modelo de face médio pode ser treinado usando métodosconhecidos que aplicam um algoritmo de "maximização de expectativa", queé comumente usado para estimar a densidade de probabilidade de umconjunto de dados considerados, neste caso as características faciais de umaimagem. Este método de treinamento também chamado treinamento de"probabilidade máxima" (ML) é lento, requerendo até várias horas paratreinar o modelo de face médio, porém este investimento inicial somentenecessita ser realizado uma vez. Uma vez que o modelo de face médio étreinado, pode ser utilizado em qualquer sistema apropriado para oreconhecimento de face.
Um "modelo de face de referência" é usado para modelar umaface particular. Por exemplo, o modelo de face de referência pode ser usadopara modelar a face de uma pessoa com permissão para ter acesso a umsistema. Tal modelo de face de referência é também treinado usando ométodo para treinar o modelo de face médio, porém com muito menosimagens, onde as imagens são todas da face daquela pessoa. Um sistema parareconhecimento de face preferivelmente compreende um número de modelosde face de referência, pelo menos um para cada face, que este podeidentificar. Por exemplo, um sistema de segurança pode ter uma base dedados de modelos de face de referência, um para cada um de um número deempregados que têm permissão para acessar o sistema.
As imagens usadas para treinar o modelo de face médio emodelo de face de referência podem ser de qualquer formato de imagemadequado, por exemplo, JPEG (União de Grupo de EspecialistasFotográficos), um padrão comumente usado para compressão de imagensdigitais a cores, ou um outro formato de imagem adequado. As imagenspodem ser obtidas a partir de um arquivo ou geradas com uma câmeraexpressamente para a finalidade de treinamento. Igualmente, a imagem deteste da pessoa que deve ser submetida ao procedimento de identificação podetambém ser obtida por meio de uma câmera ou câmera de vídeo. Umaimagem obtida pode então ser convertida, se necessário, em um formato dedados eletrônicos adequados usando uma ferramenta de conversão apropriada.A imagem de teste é então processada para extrair uma matriz dos vetores decaracterística local, para derivar uma representação da face na imagem deteste, que é invariante com as condições de iluminação, mas ainda contéminformação relevante sobre a identidade da pessoa.
Para determinar se a imagem de teste pode ser coincidida comqualquer dos modelos de face de referência, a imagem de teste é avaliada emrelação a cada um dos modelos de face de referência. Primeiramente, a matrizde característica da imagem de teste é alinhada com o modelo de face médio,o que pode ser entendido como sendo um tipo de mapeamento dascaracterísticas faciais locais da matriz de característica para os estados demodelo médio. Para esta finalidade, um trajeto ótimo ou alinhamento atravésdas seqüências de estado do modelo de face médio, é calculado para a matrizde característica da imagem de teste. Este trajeto ótimo é comumente referidocomo "melhor trajeto". Usualmente, o algoritmo de Viterbi é aplicado paraencontrar de modo eficiente o melhor trajeto. De acordo com o método dapresente invenção, o melhor trajeto é então aplicado a cada um dos modelosde face de referência do sistema de reconhecimento de face, e um "grau desimilaridade" é eficientemente computado para cada modelo de referência. Nocaso mais simples, o grau de similaridade é uma pontuação, que é calculadapara o modelo de referência, ao avaliar a imagem de teste em relação aomodelo de face de referência. A pontuação é uma indicação de quão bem aimagem de teste pode ser aplicada ao modelo de face de referência, porexemplo, a pontuação pode denotar a probabilidade de produção da imagem,dado o modelo de referência. Por razões de eficiência, uma pontuaçãoaproximada é computada usando o melhor trajeto através do modelo médio.
Um alto grau de similaridade para um modelo de face de referência indicauma coincidência relativamente próxima entre o modelo de face de referênciae a imagem de teste, ao passo que um baixo grau de similaridade indicaapenas uma coincidência pobre. A vantagem mais evidente do método pararealizar reconhecimento de face de acordo com a presente invenção é suaexploração bem sucedida da similaridade entre imagens de face para aceleraro processo de reconhecimento. O cálculo do melhor trajeto, um processo decusto intensivo requerendo a maior parte do esforço computacional inteiro,precisa apenas ser computado uma vez para o modelo de face médio e podeentão ser usado para avaliar uma imagem em relação a cada modelo de facede referência de um sistema de reconhecimento de face. Portanto, usando ométodo de acordo com a presente invenção, não é necessário realizar ascomputações de melhor trajeto de custo intensivo para cada modelo de face dereferência.
O meio mais rápido para computar um grau de similaridade éaplicar o melhor trajeto diretamente a um modelo de face de referência, de talmodo que resta apenas calcular a pontuação. Em uma realização adicional dainvenção, o melhor trajeto do modelo de face médio pode ser inicialmentemodificado ou otimizado para um modelo de face de referência particular,resultando em um esforço computacional algo maior, porém uma pontuaçãocorrespondentemente mais precisa, melhorando até, deste modo,adicionalmente, a precisão do sistema de reconhecimento de face.
Uma pontuação relativamente alta para um modelo de face dereferência não precisa necessariamente significar que o modelo de face dereferência é uma coincidência inequívoca para a imagem de teste, uma vezque condições de iluminação comuns também conduzem a pontuações maisaltas, porque as características usualmente não são totalmente invariantes paracondições de iluminação. Entretanto, a pontuação no modelo médio será, emtal caso, também genericamente mais alta. Então, o grau de similaridade épreferivelmente considerado como a relação da pontuação do modelo de facede referência para a pontuação do modelo de face médio. Portanto, em umarealização preferida, uma pontuação é também calculada para o modelo deface médio, e a relação do modelo de face de referência mais alto para omodelo de face médio é computada. Esta relação pode então ser comparada aum valor de limiar. Se a relação é maior que o valor de limiar, o sistema podeaceitar o modelo de face de referência correspondente, caso contrário deveriarejeitar aquele modelo de face de referência. O fato de que o modelo dereferência é derivado do modelo médio, usando estimativa de parâmetroMAP, suporta o uso da relação uma vez que a sensibilidade de ambos osmodelos para as condições de iluminação é similar.
A precisão dos sistemas de reconhecimento de face do "estadoda técnica" depende até algum ponto de um nível de limiar, usado para decidirquanto a aceitar ou rejeitar um modelo de face identificado como maispróximo da semelhança com a imagem de prova. Por outro lado, se o nível delimiar é baixo demais, um modelo de face não relacionado à imagem de provapode ser incorretamente aceito como o modelo de face "correto".
Portanto, em uma realização particularmente preferida dainvenção, um valor de limiar de similaridade único é designado a cadamodelo de face de referência, melhorando a precisão da decisão do sistema deaceitar ou rejeitar um modelo de face de referência.
Um método preferido para calcular um valor de limiar desimilaridade para um modelo de face de referência para uso em um sistema dereconhecimento de face compreende as etapas de adquirir um modelo de facede referência baseado em um número de imagens distintas da mesma face eadquirir um grupo de controle de imagens de face não relacionadas. O modelode face de referência é avaliado em relação a cada uma das imagens de facenão relacionadas no grupo de controle e uma pontuação de avaliação écalculada para cada uma das imagens de face não relacionadas. As pontuaçõesde avaliação são usadas para determinar um valor de limiar de similaridadepara este modelo de face de referência, o que faria com que uma maioriapredefinida destas imagens de face não relacionadas fosse rejeitada, se fosseavaliada em relação a este modelo de face de referência.
O limiar fixo usado pelos sistemas de reconhecimento de faceda técnica anterior podem conduzir a decisões incorretas com vistas àidentificação de uma imagem de teste. A razão para isto é que algumas facesparecem com o modelo de face médio mais proximamente que outras faces.Portanto, uma imagem de teste da face de tal pessoa resulta em umapontuação alta, quando avaliada em relação ao modelo de face médio. Isto,por sua vez, resulta em uma baixa relação da pontuação para o modelo de facede referência da face daquela pessoa para a pontuação do modelo de facemédio. Como resultado, o modelo de face de referência para a face destapessoa e, portanto, esta pessoa, seriam mais prováveis de serem rejeitados portal sistema. Adicionalmente, uma pessoa cuja face é muito diferente daquelado modelo de face médio, mas parecendo até certo ponto com um dosmodelos de face de referência em um sistema, pode ser erroneamente aceita.
Estes erros de falsa rejeição e falsa aceitação indesejáveispodem ser reduzidos a um mínimo usando o método descrito acima paracalcular um valor de limiar de similaridade para cada modelo de face dereferência em um sistema de reconhecimento de face. Para esta finalidade,cada modelo de face de referência é avaliado em relação a um grupo decontrole de imagens. Cada imagem é de uma face diferente daquela modeladapelo modelo de face de referência, e o grupo de controle de imagens épreferivelmente uma seleção representativa de face de similaridade variávelpara a face modelada pelo modelo de face de referência. Uma pontuação deavaliação é computada para cada imagem do grupo de controle, encontrando omelhor trajeto através de um modelo de face médio e aplicando este melhortrajeto a cada uma das imagens no grupo de controle, no sentido de avaliarcada uma delas em relação ao modelo de face de referência. O melhor trajetopode também ser aplicado ao modelo de face de referência para calcular suapontuação. As pontuações de cada uma das imagens no grupo de controle e apontuação do modelo de face de referência podem então ser usadas paraescolher um valor de limiar que asseguraria que, em um procedimento dereconhecimento de face posterior, uma maioria predefinida - por exemplo,99% - destas imagens seria rejeitada quando avaliada em relação ao modelode face de referência.
Tal valor de limiar de similaridade único pode não só serusado no método particular para realizar reconhecimento de face descritoacima, como também em qualquer método para realizar reconhecimento deface onde, em um procedimento de identificação, uma imagem de teste éavaliada em relação a cada um dos modelos de face de referência, e o modelode face de referência mais parecido com a imagem de teste é identificado, eonde o modelo de face de referência é subseqüentemente aceito ou rejeitadocom base no valor de limiar de similaridade daquele modelo de face dereferência, e portanto, oferece uma contribuição independente noequacionamento do objetivo fundamental da invenção.
Um sistema apropriado para calcular um valor de limiar desimilaridade para um modelo de face de referência para uso em um sistema dereconhecimento de face compreende um meio para adquirir um modelo deface de referência com base em um número de imagens distintas da mesmaface, e um meio para adquirir um grupo de controle de imagens de face nãorelacionadas. Ainda mais, o sistema compreende uma unidade de avaliaçãopara avaliar o modelo de face de referência em relação a cada uma dasimagens de face não relacionadas do grupo de controle e uma unidade decálculo de pontuação e avaliação para calcular uma pontuação de avaliaçãopara cada uma das imagens de face não relacionadas. O sistema compreendeadicionalmente uma unidade de determinação de valor de limiar desimilaridade para determinar um valor de limiar de similaridade para omodelo de face de referência com base nas pontuações de avaliação, o quefaria com que uma maioria predefinida destas imagens de face nãorelacionadas fosse rejeitada, se estas fossem avaliadas em relação a estemodelo de face de referência.
Uma outra característica de abordagens correntes, resultandoem reconhecimento de face lento e problemático, é que o esforço requeridopara treinar um modelo é realmente grande. O tempo investido para treinarum modelo é proporcional ao número de imagens, ainda é desejável usar umnúmero relativamente grande de imagens no modelo de treinamento, nosentido de obter uma precisão tão grande quanto possível. Todas as vezes queuma nova imagem é introduzida para melhorar adicionalmente a precisão domodelo, o modelo precisa ser novamente treinado usando todas as imagens. Oprocesso inteiro é portanto, muito lento, e conseqüentemente dispendioso.
Portanto, preferivelmente, um método para treinar um modelode face de referência é usado no sistema de reconhecimento de face, cujométodo compreende as etapas de adquirir um modelo de face médio com baseem um número de imagens de face de diferentes faces e adquirir uma imagemde treinamento da face, para a qual o modelo de face de referência deve sertreinado. Um algoritmo de treinamento é aplicado ao modelo de face médiocom a in obtida a partir da imagem de treinamento, para produzir o modelo deface de referência.
A imagem de treinamento da pessoa que deve ser usada paratreinar o modelo de face de referência para aquela pessoa, pode ser obtida, porexemplo, usando uma câmera ou câmera de vídeo, ou por varredura de umafotografia, etc. A imagem pode ser convertida se necessário, em um formatodigital adequado tais como aqueles descritos acima. Preferivelmente, umnúmero de imagens de treinamento é usado para treinar o modelo de face dereferência para a pessoa, e todas as imagens de treinamento são daquelapessoa. Um modelo bidimensional, preferivelmente um P2DHMM, écomputado para cada imagem usando o método descrito acima.
O algoritmo de treinamento, preferivelmente um algoritmousando técnicas de máximo a posteriori (MAP) usa um clone ou cópia domodelo de face médio e o adapta para adequar a face da pessoa, usando umamatriz de característica gerada para a imagem de treinamento. O modelo deface médio adaptado se torna o modelo de face de referência para a pessoa.
Em uma realização particularmente preferida da invenção,uma imagem de treinamento adicional da face da pessoa é usada para refinarou melhorar o modelo de face de referência. Para esta finalidade, o algoritmode treinamento é aplicado ao modelo de face de referência antigo, o modelode face médio, e a nova imagem de treinamento para adaptar o modelo dereferência antigo usando quaisquer dados de imagem móveis. Os novos dadosde imagem são deste modo adicionados cumulativamente ao modelo de facede referência antigo.
Eventualmente, o modelo de face de referência terá alcançadoum nível, que não pode ser melhorado perceptivelmente, de tal modo que nãoé necessário refiná-lo adicionalmente. Usando o método de treinamento deum modelo de face de referência aqui proposto, este nível é geralmenteatingido após usar cerca de dez imagens da pessoa. Uma vez que novos dadosde imagem são adicionados cumulativamente, sem ter que treinar o modelo deface de referência usando todas as imagens conhecidas para esta pessoa, oprocesso de treinamento é consideravelmente mais rápido que os métodosexistentes para treinar modelos de face de referência.
O modelo de face médio, treinado usando uma seleção deimagens de face de diferentes faces conforme descrito acima, épreferivelmente o mesmo modelo de face médio usado no sistema dereconhecimento de face. Portanto, a aplicação deste método de treinamentojuntamente com o método de reconhecimento de face de acordo com ainvenção, requer muito pouco esforço computacional adicional e éextremamente vantajoso. Ainda mais, o método de treinamento pode tambémser usado independentemente com qualquer outro processo dereconhecimento de face, de tal modo que oferece uma contribuiçãoindependente para equacionar o objetivo fundamental da invenção.
O modelo de face médio pode ser treinado expressamente paraeste sistema, ou pode ser adquirido de um fornecedor.
Um sistema apropriado para treinar um modelo de face dereferência compreende um meio para adquirir um modelo de face médio e ummeio para adquirir um número de imagens de teste da mesma face.
Adicionalmente, o sistema compreende um gerador de modelo de face dereferência para gerar um modelo de face de referência a partir das imagens detreinamento, onde o modelo de face de referência é baseado no modelo deface médio.
Usualmente, imagens de faces, que devem ser submetidas aum procedimento de identificação, não são obtidas sob condições ideais. Masgeralmente, a iluminação é menos perfeita, por exemplo, com iluminaçãotraseira ou iluminação forte lateral, ou iluminação pobre. Estes resultados naimagem de face, que podem estar sujeitos a fortes flutuações na intensidadelocal, por exemplo, um lado da face pode estar em sombra relativa, enquantoo outro lado está fortemente iluminado. De modo mais importante, imagensdiferentes da mesma face podem apresentar significativas discrepâncias deaparência, dependendo da variação das condições de iluminação. Então, ummodelo treinado a partir de uma imagem de uma pessoa pode deixar de obteruma pontuação alta em uma outra imagem da mesma pessoa, obtida sobdiferentes condições de iluminação. Portanto, é muito importante transformaras características em uma forma que é independente das condições deiluminação, de outro modo uma imagem de teste da face de uma pessoaobtida sob condições de iluminação menores que a ideal poderia resultar emuma rejeição falsa ou, talvez, até pior, em uma aceitação falsa.
Para prover um reconhecimento de face mais preciso,preferivelmente um método para otimizar imagens é usado no processo dereconhecimento de face e/ou processo de treinamento, onde a intensidade deiluminação de uma imagem é equalizada subdividindo a imagem em subimagens menores, preferivelmente superpostas, calculando um vetor decaracterística para cada sub imagem, e modificando o vetor de característicade uma sub imagem, dividindo cada coeficiente daquele vetor decaracterística por um valor representando a intensidade global daquela subimagem. Normalmente, este valor corresponde ao primeiro coeficiente dovetor de característica. Este primeiro coeficiente não é mais então requerido epode ser subseqüentemente descartado. Alternativamente, ou adicionalmente,o vetor de característica pode ser convertido para um vetor normalizado.
Em ambos os métodos propostos acima, os vetores decaracterística para cada sub imagem da imagem inteira são modificados, oudescorrelacionados, no sentido de remover a dependência da intensidade deiluminação local. Ambas as técnicas melhoram significativamente odesempenho de reconhecimento.
Estes métodos não são restritos para uso com o método parareconhecimento de face de acordo com a invenção, mas pode também servirpara melhorar a precisão do reconhecimento de face em outros sistemas dereconhecimento de face do estado da técnica, e sistemas de treinamento demodelo de face, e portanto, oferecem contribuições independentes noequacionamento do objetivo fundamental da invenção.
Um sistema apropriado para otimizar uma imagem para uso noreconhecimento de face de acordo com os métodos propostos, compreendeuma unidade de sub divisão para subdividir a imagem em um número de subimagens, uma unidade de determinação de vetor de característica paradeterminar um vetor de característica local associado a cada sub imagem, euma unidade de modificação de vetor de característica para modificar o vetorde característica local associado a uma sub imagem, dividindo cadacoeficiente daquele vetor de característica por um valor representando aintensidade global daquela sub imagem, e/ou descartando um coeficiente dovetor de característica, e/ou convertendo aquele vetor de característica paraum vetor normalizado.
Outros objetivos e características da presente invenção tornar-se-ão aparentes a partir das seguintes descrições detalhadas consideradas emconjunto com os desenhos que a acompanham.
Deve ser entendido, entretanto, que os desenhos são somentepara fins de ilustração e não como uma definição dos limites da invenção.
Figura 1 é um diagrama de blocos de um sistema para realizarum reconhecimento de face;
Figura 2 é um diagrama de blocos de um sistema para treinarum modelo de face médio para uso em um sistema de reconhecimento deface;
Figura 3a é um diagrama de blocos de um sistema para treinarum modelo de face de referência para uso em um sistema de reconhecimentode face de acordo com uma primeira realização;
Figura 3b é um diagrama de blocos de um sistema para treinarum modelo de face de referência para uso em um sistema de reconhecimentode face de acordo com uma segunda realização;
Figura 4 é um diagrama de blocos mostrando um sistema paracalcular um nível de limiar de similaridade para um modelo de face dereferência;
Figura 5 é um diagrama de blocos mostrando um sistema paraotimizar imagens para uso no reconhecimento de face.
Nos desenhos, números iguais se referem a objetos iguaisatravés dos mesmos.
Figura 1 mostra os blocos principais de um sistema parareconhecimento de face. Üma unidade de aquisição de imagem 2, tal comouma câmera, câmera de vídeo ou câmera de circuito fechado de TV é usadapara capturar uma imagem de teste It da pessoa a ser identificada. A imagemé processada em um bloco de processamento de imagem 8, no qual umamatriz de vetores de característica ou matriz de característica é calculada paraa imagem IT, ou simplesmente extraída da imagem IT, de acordo com o tipode imagem. Também no bloco de processamento de imagem 8, os vetores decaracterística podem ser otimizados para compensar quanto a quaisquerefeitos de iluminação irregulares na imagem IT, modificando os vetores decaracterística como apropriado. Esta etapa de modificação ou compensação édescrita em mais detalhe na Figura 5.
Usando a matriz de característica, uma seqüência de estadoótima ou melhor trajeto 10 para a imagem de teste It é calculado através domodelo de face médio Mav, aplicando o algoritmo de Viterbi em um métodode alinhamento explicado na descrição acima, em um bloco 3 de cálculo demelhor trajeto. Este melhor trajeto 10 é então usado em uma unidade deavaliação 4 como uma base para calcular o grau de similaridade, oupontuação, para cada um dos modelos de face de referência M1, M2, ..., Mnrecuperados de uma base de dados 6.A pontuação mais alta 11 é passada a uma unidade de tomadade decisão 5, como é a pontuação 12 para o modelo de face médio. A relaçãoentre estas duas pontuações 11, 12, é calculada é comparada a um valor delimiar correspondente ao modelo de face de referência, que obteve apontuação mais alta 11 em uma avaliação em relação à imagem de teste IT. Amaneira pela qual tal valor de limiar pode ser obtido é descrita em detalhe naFigura 4.
A saída da unidade de tomada de decisão 5 depende doresultado da comparação. Se a relação das duas pontuações 11,12 cair abaixodo valor de limiar 13, então mesmo que o modelo de referência de ajuste maispróximo tenha falhado, isto é, o sistema precisa concluir que a pessoa cujaface tenha sido capturada na imagem de teste It não possa ser identificadadentre os modelos de face de referência em sua base de dados 6. neste caso asaída 14 pode ser uma mensagem para indicar falha de identificação. Se osistema é um sistema de segurança, a pessoa pode ter o acesso negado. Se osistema é um sistema de busca de arquivo, pode relatar que a imagem de testeIt não foi localizada no arquivo.
Se a comparação tiver sido bem sucedida, isto é, a relação dasduas pontuações 11,12 cair dentro do valor de limiar 13, então aquele modelode face de referência pode ser considerado para coincidir com a pessoa cujaimagem de teste It está sofrendo o processo de reconhecimento de face. Nestecaso, a pessoa pode ter acesso autorizado ao sistema, ou o sistema relata umresultado de busca bem sucedido, se apropriado.
Figura 2 ilustra a criação de um modelo de face médio Mavpara uso no sistema de reconhecimento de face descrito acima. Uma coleçãode imagens de face não relacionadas F1, F2, ..., Fn pode ser adquirida de umfornecedor, ou gerada expressamente para o processo de treinamento. Emuma unidade de processamento de imagem 20, descrita em mais detalhe sob aFigura 5, um conjunto de vetores de característica 2 Iou matriz de vetor decaracterística, é calculada ou extraída a partir da imagem F1, F2, Fn,conforme necessário, e enviada a uma unidade de treinamento 22.
Na unidade de treinamento 22, um método de treinamento éaplicado aos vetores de característica 21 processados de cada imagem F,, F2,Fn. Neste caso, o método de treinamento usa o algoritmo de maximizaçãode expectativa (EM) seguindo um critério de probabilidade máxima (ML)para encontrar os parâmetros de modelo para o modelo de face médio Mav. Omodelo de face médio Mav, como um pseudo Modelo Markov Ocultobidimensional (P2DHMM), descreve a probabilidade geral de cada uma dascaracterísticas locais de uma face. Faces com características faciais "médias"alcançarão uma pontuação mais alta do que faces apresentando característicasde face mais não usuais. Uma imagem de face obtida sob situações deiluminação comuns também alcançará uma pontuação mais alta. O número deimagens de face F1, F2, ..., Fn na coleção é escolhido para dar um modelo deface médio satisfatório MAy.
Figura 3a mostra um sistema para treinar um modelo de facede referência F1, preferivelmente para uso no sistema de reconhecimento deface mencionado acima, para uma pessoa particular. Aqui, o sistema detreinamento é fornecido com um número de imagens de treinamento T1, T2,..., Tm, todas da face daquela pessoa. Em uma unidade de processamento deimagem 31, uma matriz de vetor de característica é derivada de cada imagemde treinamento T1, T2, ..., Tm. Para melhorar a qualidade do modelo de face dereferência Mj sendo criado, os vetores de característica para cada imagem detreinamento T1, T2, ..., Tm podem ser primeiramente processados na unidadede processamento de imagem 30, de uma maneira descrita em mais detalhe naFigura 5, para compensar quaisquer efeitos de iluminação irregulares.
Uma cópia ou clone do modelo de face médio Mav é usada,juntamente com a informação obtida a partir das imagens de treinamento T1,T2, ..., Tm, como entrada para um gerador de modelo de face de referência 31.No gerador de modelo de face de referência 31, o modelo de face médio Mavé usado como ponto de partida, e é modificado usando informação extraídadas imagens Ti, T2, ..., Tm sob aplicação da estimativa de parâmetro demáximo a posteriori (MAP) no sentido de achegar a um modelo de face dereferência Mi para a face exibida nas imagens de treinamento Ti, T2,..., Tm. Otreinamento inicial de um modelo de face de referência daquela pessoa Mipode ter efeito usando um mínimo de uma imagem da face daquela pessoa,mas evidentemente um número maior de imagens dará um modelo de face dereferência Mj melhor. Um método de estimativa de parâmetro MAP paraP2DHMM cujos estados são misturas Gaussianas é o seguinte: o melhortrajeto através do modelo médio é computado para cada imagem detreinamento. Os vetores de característica (também chamados de"características" a seguir) são então designados aos estados do P2DHMM deacordo com o melhor trajeto. Cada característica designada a uma misturaGaussiana é então designada à Gaussiana mais próxima da mistura. A médiada Gaussiana é ajustada para uma média ponderada da média do modelomédia e a média das características. O modelo de referência foi então alteradopara dar uma melhor representação da aparência da pessoa na imagem detreinamento. Outros parâmetros do P2DHMM podem ser alterados de umamaneira similar, ou podem simplesmente ser copiados do modelo médio, umavez que as médias são os parâmetros mais importantes. A soma dascaracterísticas - que foram computadas para estimar a média dascaracterísticas - e o número total, ou contagem, das características sãoarmazenados com a Gaussiana para habilitar o treinamento incrementaidescrito abaixo.
O modelo de face de referência Mi para uma pessoa pode seradicionalmente melhorado refinando-o usando dados de imagem adicionaisTnew da face daquela pessoa. Na Figura 3b, uma imagem de treinamentoadicional Tnew foi adquirida para a pessoa. A nova imagem de treinamentoTnew é primeiramente processada em uma unidade de processamento deimagem 30 conforme descrito na Figura 3a acima. A informação de imagem apartir da nova imagem de treinamento Tnew, juntamente com o modelo de facemédio Mav e uma cópia M]'do modelo de face de referência para esta pessoa,é inserida no gerador de modelo de face de referência 31, no qual a estimativado parâmetro MAP é aplicada aos dados antigos e novos para produzir ummodelo de face de referência melhorado M1 para esta pessoa. Ao usar umP2DHMM cujos estados são misturas Gaussianas, o treinamento MAPincrementai pode ser implementado do seguinte modo: as características dasnovas imagens de treinamento são designadas às Gaussianas conformedescrito acima, onde o modelo médio é usado para agrupar designação. Amédia da Gaussiana de modelo de referência tem que ser ajustada para umamédia ponderada da média do modelo médio e da média de todas ascaracterísticas de treinamento. A média de todas as características detreinamento é facilmente computada uma vez que a soma e a contagem dascaracterísticas antigas são armazenadas juntamente com a Gaussiana. A somae a contagem são atualizadas, incluindo as novas características para habilitarsessões de treinamento adicionais. Então, o mesmo modelo de referênciaresultará, não importa em qual ordem as imagens de treinamento chegam.
Para melhorar a precisão da decisão quanto a aceitar ou rejeitaro modelo de face de referência identificado como a coincidência maispróxima com a imagem de teste, cada modelo de face de referência Mi, M2,..., Mn de uma base de dados de reconhecimento de face pode ser suprida comseu próprio valor de limiar de similaridade específico. Figura 4 mostra umsistema para gerar um valor de limiar de similaridade único para um modelode face de referência Mn. Um modelo de face de referência Mn existente parauma pessoa particular é adquirido. Um grupo de controle de imagens de facenão relacionadas Gj, G2, Gk é também adquirido. Estas imagens Gj, G2, ...,Gk são escolhidas como uma seleção representativa de faces de grausvariáveis de similaridade com a pessoa modelada pelo modelo de face dereferência Mn. As imagens são primeiramente processadas em uma unidadede processamento de imagem 42 descrita em mais detalhe na Figura 5, paraextrair uma matriz de característica 48 para cada imagem.
Em uma unidade de cálculo de melhor trajeto 40, o melhortrajeto 47 é calculado através do modelo de face médio Mav para cadaimagem na pontuação 43 no modelo médio Mav, é também computado. Asmatrizes de característica 48, pontuações 43 é melhores trajetos 47 somentetem que ser computados uma vez, pois o modelo médio jamais muda, epodem ser salvos em um arquivo F para uso posterior. A unidade 44 computaos graus de similaridade 49 a partir das pontuações do modelo de referência epontuações do modelo médio. A unidade de determinação de limiar desimilaridade 45 requer os graus de similaridade 49 para todas as imagens dogrupo de controle Gi, G2, Gk para encontrar um valor de limiar Vn queresultará na rejeição da maioria das imagens do grupo de controle Gi, G2, ...,Gk, quando comparadas ao modelo de referência Mn. As pontuações 43 para omodelo de referência Mn são fornecidas pela unidade 41 que requer osmelhores trajetos 47 e as matrizes de características 48 das imagens de grupode controle, bem como aquelas do modelo de referência Mn. A partecomputacionalmente dispendiosa é a computação do melhor trajeto 47 atravésdo modelo médio Mav. Entretanto, esta etapa pode ser executada off-line, aopasso que a calibração real é muito rápida e pode ser executada on-linediretamente, após treinar o modelo de face de referência Mn.
Qualquer imagem usada para reconhecimento de face, paratreinar o modelo de face médio, para treinar um modelo de face de referênciapara calcular um valor de limiar de similaridade para um modelo de face dereferência pode ser otimizada antes do uso, para transformá-la em umarepresentação que é invariante para as configurações de iluminação. A Figura5 mostra componentes de um sistema para otimização de imagens, o que podeser usado como as unidades de processamento de imagem 8, 20, 30, 42mencionadas nas descrições de figuras prévias.
Uma imagem I é inserida em uma unidade de sub divisão deimagem 50 que divide a imagem em sub imagem melhores, superpostas.
Permitir que as sub imagens se superponham até certo ponto melhora aprecisão global de um modelo, que será eventualmente derivado da imagemde entrada. As sub imagens 53 são enviadas a uma unidade de determinaçãode vetor de característica 51, que computa um vetor de característica local 54para cada sub imagem 53. Um método possível para computar ascaracterísticas locais é aplicar a transformação de co-seno discreta sobre a subimagem local e extrair um subconjunto dos coeficientes de freqüência. Aintensidade de iluminação de cada sub imagem 53 é então equalizada,modificando seu vetor de característica local 54 em uma unidade demodificação de vetor de característica 52. Isto pode ser feito dividindo cadacoeficiente do vetor de característica local 54 por um valor representando aintensidade global daquela sub imagem, descartando o primeiro coeficiente dovetor de característica local 54, normalizando o vetor de característica local54 para dar um vetor unitário, ou por uma combinação destas técnicas. Asaída da unidade de modificação de vetor de característica 52 é então umamatriz 55 de vetores de características locais descorrelacionados, descrevendoa imagem de entrada I.
Esta matriz de vetor de característica é usada 55 nos sistemaspara treinamento de modelos de face, para reconhecimento de face e paracálculo de valor de limiar de similaridade, conforme descrito acima.
Embora a presente invenção tenha sido descrita na forma derealizações preferidas e variações destas, será entendido que numerosasmodificações e variações adicionais poderiam ser feitas a ela, sem se afastardo escopo da invenção. Em particular, os métodos para reconhecimento deface, para treinar um modelo de face de referência, para otimizar imagenspara uso em um sistema de reconhecimento de face e para calcular valores delimiar de similaridade, e portanto, também os sistemas correspondentes parareconhecimento de face, para treinar um modelo de face de referência, paracalcular um modelo de limiar de similaridade para um modelo de face dereferência, e para otimizar uma imagem para uso em um sistema dereconhecimento de face, podem ser utilizados em qualquer combinaçãoadequada, mesmo juntamente com os sistemas de reconhecimento de face doestado da técnica, e métodos e sistemas de treinamento, de tal modo que estascombinações também fundamentam o escopo da invenção.
Para maior clareza, é também entendido que o uso de "um" ou"uma" através deste pedido não exclui diversos, e "compreendendo" nãoinclui outras etapas ou elementos. Uma "unidade" pode compreender umnúmero de blocos ou dispositivos, a menos que explicitamente descritos comouma única entidade.

Claims (16)

1. Método para realizar reconhecimento de face,caracterizado pelo fato de que compreende as etapas de:- gerar um modelo de face médio (Mav) - compreendendo umamatriz de estados representando regiões da face - a partir de um número deimagens de face distintas (I1,12,..., Ij);- treinar um modelo de face de referência (Mi, M2,..., Mn) paracada uma dentre um número de faces conhecidas, onde o modelo de face dereferência (M1, M2,..., Mn) é baseado no modelo de face médio (Mav);- adquirir uma imagem de teste (It) para uma face a seridentificada;- calcular um melhor trajeto através do modelo de face médio(Mav) com base na imagem de teste (IT);- avaliar um grau de similaridade para cada modelo de face dereferência (M1, M2, ..., Mn) em relação à imagem de teste (It) aplicando omelhor trajeto do modelo de face médio (MAv) a cada modelo de face dereferência (M1, M2,..., Mn);- identificar o modelo de face de referência (M1, M2, ..., Mn)mais similar à imagem de teste (IT);- aceitar ou rejeitar o modelo de face de referência identificado(M1, M2,..., Mn) com base no grau de similaridade.
2. Método de acordo com a reivindicação 1, caracterizado pelofato de que o melhor trajeto através do modelo de face médio (Mav) éotimizado com respeito a um modelo de face de referência (M1, M2, ..., Mn)para avaliação do grau de similaridade para aquele modelo de face dereferência (M1, M2,..., Mn) em relação à imagem de teste (IT).
3. Método de acordo com a reivindicação 1 ou reivindicação 2,caracterizado pelo fato de que a etapa de avaliar um grau de similaridadeentre um modelo de face de referência (M1, M2, ..., Mn) e uma imagem deteste (Ιχ) compreende aplicar o melhor trajeto do modelo de face médio (Mav)ao modelo de face de referência (M1, M2,..., Mn) para calcular uma pontuaçãodo modelo de face de referência para cada imagem de teste (Ιχ), calcular apontuação do modelo de face médio para aquela imagem de teste (It) e obtero grau de similaridade na forma da relação da pontuação do modelo de facede referência para a pontuação do modelo de face médio, onde a etapa deaceitar ou rejeitar o modelo de face de referência identificado (Mi, M2,..., Mn)compreende comparar o grau de similaridade com um valor de limiar desimilaridade predefinido.
4. Método de acordo com a reivindicação 3, caracterizado pelofato de que um valor de limiar de similaridade único é usado para cadamodelo de face de referência (Mi, M2, ..., Mn) ao tomar a decisão de aceitarou rejeitar o modelo de referência identificado (Mj, M2,..., Mn).
5. Método para treinar um modelo de face de referência (M,)para uso em um sistema de reconhecimento de face, caracterizado pelo fato decompreender as etapas de:- adquirir um modelo de face médio (Mav) com base em umnúmero de imagens de face (Ii, I2,..., Ij) de faces diferentes;- adquirir um número de imagens de teste (Tj, T2, ..., Tm) daface para a qual o modelo de face de referência (Mi) deve ser treinado;- aplicar um algoritmo de treinamento ao modelo de facemédio e informação obtida a partir das imagens de teste (Ti, T2, ..., Tm), paraproduzir o modelo de face de referência (Mi).
6. Método de acordo com a reivindicação 5, caracterizado pelofato de que o modelo de face de referência (Mi) é melhorado aplicando oalgoritmo de treinamento ao modelo de face médio (Mav), informação obtidade uma imagem de teste adicional (Tnew) da mesma face e uma cópia domodelo de referência (Mi') para obter um modelo de referência melhorado(Mi).
7. Método para calcular um valor de limiar de similaridadepara um modelo de face de referência (Mn) para uso em um sistema dereconhecimento de face, caracterizado pelo fato de que compreende as etapas de:- adquirir um modelo de face de referência (Mn) com base emum número de imagens distintas da mesma face;- adquirir um grupo de controle de imagens de face nãorelacionadas (Gj, G2,Gj);- avaliar o modelo de face de referência (Mn) em relação acada uma das imagens de face não relacionadas (Gi, G2, ..., Gj) no grupo decontrole;- calcular uma pontuação de avaliação para cada uma dasimagens de face não relacionadas (Gi, G2,..., Gj);- usar as pontuações de avaliação para determinar um valor delimiar de similaridade para este modelo de face de referência (Mn) o que fariacom que uma maioria predefinida destas imagens de face não relacionadas(Gi, G2, ..., Gj) fosse rejeitada onde estas fossem avaliadas em relação a estemodelo de face de referência (Mn).
8. Método para realizar reconhecimento de face, caracterizadopelo fato de compreender as etapas de:- adquirir um número de modelos de face de referência (Mi,M2, ..., Mn) para um número de faces diferentes, onde cada modelo de face dereferência (Mi, M2, ..., Mn) é baseado em um número de imagens distintas namesma face;- determinar um valor de limiar de similaridade para cadamodelo de face de referência (Mi, M2, ..., Mn) usando o método comodefinido na reivindicação 7;- adquirir uma imagem de teste (IT);- identificar o modelo de face de referência (M1, M2, ..., Mn)mais similar à imagem de teste (IT);- aceitar ou rejeitar o modelo de face de referência identificado(Mi, M2,..., Mn) com base no valor de limiar de similaridade.
9. Método para realizar reconhecimento de face de acordo comqualquer das reivindicações 1 a 4, e/ou reivindicação 8, caracterizado pelofato de que os modelos de face de referência (M1, M2, Mn) são treinadosusando um método como definido na reivindicação 5, ou reivindicação 6.
10. Método para otimizar uma imagem (I) para uso emreconhecimento de face, caracterizado pelo fato de que a intensidade deiluminação da imagem (I) é equalizada, subdividindo a imagem (I) em subimagens menores, calculando um vetor de característica para cada subimagem, e modificando o vetor de característica de uma sub imagemdividindo cada coeficiente de cada vetor de característica por um valorrepresentando a intensidade global daquela sub imagem, e/ou descartando umcoeficiente do vetor de característica, e/ou convertendo aquele vetor decaracterística para um vetor normalizado.
11. Método para realizar reconhecimento de face de acordocom qualquer das reivindicações 1 a 4, ou reivindicação 8 ou reivindicação 9,caracterizado pelo fato de que as imagens (I, Ιχ, Ιχ, Gi, G2, ..., Gj, Tj, T2, ...,Tm, Tnew) usadas para treinar modelos de face de referência (Mj, M2, ..., Mn)e/ou para reconhecimento de face são primeiramente otimizadas de acordocom o método como definido na reivindicação 10.
12. Sistema (1) para realizar reconhecimento de face,caracterizado pelo fato de compreender- um número de modelos de face de referência (M1, M2, ...,Mn) e um modelo de face médio (Mav) onde cada modelo de face (M1, M2,...,Mn, Mav) compreende uma matriz de estados representando regiões da face;- unidade de aquisição (2) para adquirir uma imagem de teste (It);- calculador de melhor trajeto (3) para calcular um melhortrajeto através do modelo de face médio (MAv);- unidade de avaliação (4) para aplicar o melhor trajeto domodelo de face médio (MAv) a cada modelo de face de referência (M1, M2,Mn) no sentido de avaliar um grau de similaridade entre cada modelo de facede referência (Mi, M2,..., Mn) e a imagem de teste (Ιχ);- unidade de tomada de decisão (5) para aceitar ou rejeitar omodelo de face de referência (Mi, M2, ..., Mn) com o maior grau desimilaridade.
13. Sistema para treinar um modelo de face de referência (Mr),caracterizado pelo fato de compreender- meio para adquirir um modelo de face médio (Mav);- meio para adquirir um número de imagens de treinamento(T1, T2,..., Tn) da mesma face;- e um gerador de modelo de face de referência (22) para gerarum modelo de face de referência (Mi) a partir das imagens de treinamento(T1, T2, ..., Tn) por meio do qual o modelo de face de referência (Mi) ébaseado no modelo de face médio (Mav) .
14. Sistema para calcular um valor de limiar de similaridadepara um modelo de face de referência (Mn) para uso em um sistema dereconhecimento de face, caracterizado pelo fato de compreender- meio para adquirir um modelo de face de referência (Mn)com base em um número de imagens distintas da mesma face;- meio para adquirir um grupo de controle de imagens de facenão relacionadas (Gi, G2,..., Gk);- unidade de avaliação (41) para avaliar o modelo de face dereferência (Mn) em relação a cada uma das imagens de face não relacionadas(G1, G2,..., Gk) do grupo de controle;- unidade de cálculo de pontuação de avaliação (40) paracalcular uma pontuação de avaliação para cada uma das imagens de face nãorelacionadas (Gi, G2,..., Gk);- unidade de determinação de valor de limiar de similaridade(45) para determinar um valor de limiar de similaridade para o modelo de facede referência (Mn), com base nas pontuações de avaliação, o que faria comque uma maioria predefinida destas imagens de face não relacionadas (Gi, G2,Gk) fosse rejeitada onde estas fossem avaliadas em relação a este modelode face de referência (Mn).
15. Sistema para otimizar uma imagem (I) para uso emreconhecimento de face, caracterizado pelo fato de compreender- unidade de sub divisão (50) para subdividir a imagem (I) emum número de sub imagens;- unidade de determinação de vetor de característica (51) paradeterminar um vetor de característica local associado a cada sub imagem;- unidade de modificação de vetor de característica (52) paramodificar o vetor de característica local associado a uma sub imagem,dividindo cada coeficiente daquele vetor de característica local por um valorrepresentando a intensidade total daquela sub imagem, e/ou descartando umcoeficiente do vetor de característica, e/ou convertendo aquele vetor decaracterística local para um vetor normalizado.
16. Sistema para realizar reconhecimento de face,caracterizado pelo fato de compreender um sistema para treinar um modelo deface de referência (Mr) como definido na reivindicação 13 e/ou um sistemapara calcular um valor de limiar de similaridade para um modelo de face dereferência (Mr) como definido na reivindicação 14 e/ou um sistema paraotimizar uma imagem (I) para uso em um sistema de reconhecimento de face,como definido na reivindicação 15.
BRPI0608711-6A 2005-03-18 2006-03-15 métodos e sistemas para realizar reconhecimento de face, para treinar um modelo de face de referência, para calcular um valor de limiar de similaridade para um modelo de face de referência e para otimizar uma imagem para uso em reconhecimento de face BRPI0608711A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05102188.9 2005-03-18
EP05102188 2005-03-18
PCT/IB2006/050811 WO2006097902A2 (en) 2005-03-18 2006-03-15 Method of performing face recognition

Publications (1)

Publication Number Publication Date
BRPI0608711A2 true BRPI0608711A2 (pt) 2010-12-07

Family

ID=36699079

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0608711-6A BRPI0608711A2 (pt) 2005-03-18 2006-03-15 métodos e sistemas para realizar reconhecimento de face, para treinar um modelo de face de referência, para calcular um valor de limiar de similaridade para um modelo de face de referência e para otimizar uma imagem para uso em reconhecimento de face

Country Status (7)

Country Link
US (1) US20080192991A1 (pt)
EP (1) EP1864245A2 (pt)
JP (1) JP2008533606A (pt)
CN (1) CN101142586A (pt)
BR (1) BRPI0608711A2 (pt)
TW (1) TW200707313A (pt)
WO (1) WO2006097902A2 (pt)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
CN100589117C (zh) * 2007-04-18 2010-02-10 中国科学院自动化研究所 一种基于步态的性别识别方法
EP2139225B1 (en) * 2007-04-23 2015-07-29 Sharp Kabushiki Kaisha Image picking-up device, computer readable recording medium including recorded program for control of the device, and control method
JP4479756B2 (ja) 2007-07-05 2010-06-09 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
CN101472133B (zh) 2007-12-28 2010-12-08 鸿富锦精密工业(深圳)有限公司 影像校正装置及影像校正方法
TWI419058B (zh) * 2009-10-23 2013-12-11 Univ Nat Chiao Tung Image recognition model and the image recognition method using the image recognition model
US20110148857A1 (en) * 2009-12-23 2011-06-23 Microsoft Corporation Finding and sharing of digital images based on shared face models
EP2529334A4 (en) * 2010-01-29 2017-07-19 Nokia Technologies Oy Methods and apparatuses for facilitating object recognition
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
WO2011162050A1 (ja) 2010-06-21 2011-12-29 ポーラ化成工業株式会社 年齢の推定方法、男女の判別方法
JP4775515B1 (ja) * 2011-03-14 2011-09-21 オムロン株式会社 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
CN102332086B (zh) * 2011-06-15 2013-04-03 湖南领创智能科技有限公司 一种基于双阈值局部二进制模式的人脸识别方法
CN102262729B (zh) * 2011-08-03 2013-01-02 山东志华信息科技股份有限公司 基于集成学习的混合融合人脸识别方法
CN102346846A (zh) * 2011-09-16 2012-02-08 由田信息技术(上海)有限公司 人脸抓拍及轮廓分析系统
KR101901591B1 (ko) 2011-11-01 2018-09-28 삼성전자주식회사 얼굴 인식 장치 및 그 제어방법
TWI467498B (zh) 2011-12-19 2015-01-01 Ind Tech Res Inst 影像識別方法及系統
US11321772B2 (en) 2012-01-12 2022-05-03 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9165188B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US8559684B1 (en) * 2012-08-15 2013-10-15 Google Inc. Facial recognition similarity threshold adjustment
CN102867173B (zh) * 2012-08-28 2015-01-28 华南理工大学 一种人脸识别方法及其系统
CN103093216B (zh) * 2013-02-04 2014-08-20 北京航空航天大学 基于人脸图像的性别分类方法及系统
US10708545B2 (en) 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
CN103105922A (zh) * 2013-02-19 2013-05-15 广东欧珀移动通信有限公司 一种移动终端背光控制方法及装置
US10783615B2 (en) * 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US9679224B2 (en) * 2013-06-28 2017-06-13 Cognex Corporation Semi-supervised method for training multiple pattern recognition and registration tool models
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US20170039010A1 (en) * 2015-08-03 2017-02-09 Fuji Xerox Co., Ltd. Authentication apparatus and processing apparatus
CN105740808B (zh) * 2016-01-28 2019-08-09 北京旷视科技有限公司 人脸识别方法和装置
US9858296B2 (en) * 2016-03-31 2018-01-02 Adobe Systems Incorporated Representative image selection for image management using face recognition
CN106101771A (zh) * 2016-06-27 2016-11-09 乐视控股(北京)有限公司 视频处理方法、装置及终端
US10650227B2 (en) * 2016-10-31 2020-05-12 Google Llc Face reconstruction from a learned embedding
JP6960572B2 (ja) * 2016-12-21 2021-11-05 パナソニックIpマネジメント株式会社 照合装置及び照合方法
CN109684899A (zh) * 2017-10-18 2019-04-26 大猩猩科技股份有限公司 一种基于在线学习的人脸辨识方法与系统
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
CN108376434B (zh) * 2018-02-22 2020-12-25 深圳市华科智能信息有限公司 一种基于物联网的智能家居控制系统
CN108805048B (zh) * 2018-05-25 2020-01-31 腾讯科技(深圳)有限公司 一种人脸识别模型的调整方法、装置和存储介质
CN109034048A (zh) * 2018-07-20 2018-12-18 苏州中德宏泰电子科技股份有限公司 人脸识别算法模型切换方法与装置
WO2020037681A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技(深圳)有限公司 视频生成方法、装置及电子设备
CN109583332B (zh) * 2018-11-15 2021-07-27 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
CN109614510B (zh) * 2018-11-23 2021-05-07 腾讯科技(深圳)有限公司 一种图像检索方法、装置、图形处理器和存储介质
CN114354236B (zh) * 2022-03-15 2022-06-10 武汉顺源游乐设备制造有限公司 一种基于大数据分析的摇头飞椅运行状态监测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308133B2 (en) * 2001-09-28 2007-12-11 Koninklijke Philips Elecyronics N.V. System and method of face recognition using proportions of learned model
KR100442834B1 (ko) * 2002-07-19 2004-08-02 삼성전자주식회사 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한얼굴 검출 방법 및 시스템
US7171043B2 (en) * 2002-10-11 2007-01-30 Intel Corporation Image recognition using hidden markov models and coupled hidden markov models

Also Published As

Publication number Publication date
WO2006097902A2 (en) 2006-09-21
WO2006097902A3 (en) 2007-03-29
JP2008533606A (ja) 2008-08-21
TW200707313A (en) 2007-02-16
EP1864245A2 (en) 2007-12-12
US20080192991A1 (en) 2008-08-14
CN101142586A (zh) 2008-03-12

Similar Documents

Publication Publication Date Title
BRPI0608711A2 (pt) métodos e sistemas para realizar reconhecimento de face, para treinar um modelo de face de referência, para calcular um valor de limiar de similaridade para um modelo de face de referência e para otimizar uma imagem para uso em reconhecimento de face
Zhu et al. AR-Net: Adaptive attention and residual refinement network for copy-move forgery detection
CN108647583B (zh) 一种基于多目标学习的人脸识别算法训练方法
US7873189B2 (en) Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
Soltane et al. Face and speech based multi-modal biometric authentication
JP5506785B2 (ja) 勾配ヒストグラムを用いた指紋表現
US20050226509A1 (en) Efficient classification of three dimensional face models for human identification and other applications
JP6798614B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN106446754A (zh) 图像识别方法、度量学习方法、图像来源识别方法及装置
JP2007516503A (ja) 3次元モデリングを使用した顔識別認証
Singh et al. Face recognition using facial symmetry
CN109902603A (zh) 基于红外图像的驾驶员身份识别认证方法和系统
Thian et al. Improving face authentication using virtual samples
CN109934114A (zh) 一种手指静脉模板生成与更新算法及系统
CN110674996A (zh) 一种城市交通噪声预测方法
CN111310648B (zh) 基于解纠缠表达学习的跨模态生物特征匹配方法及系统
CN109150538A (zh) 一种指纹与声纹融合身份认证方法
Choi et al. On the evidential value of fingerprints
JP4816874B2 (ja) パラメータ学習装置、パラメータ学習方法、およびプログラム
Cetingul et al. Robust lip-motion features for speaker identification
CN107657223B (zh) 一种基于快速处理多距离度量学习的人脸认证方法
Wong et al. A reliable approach for human face detection using genetic algorithm
Costen et al. Compensating for ensemble-specific effects when building facial models
De Marsico et al. Measuring sample distortions in face recognition
CN115035052B (zh) 一种基于身份差异量化的伪造换脸图像检测方法和系统

Legal Events

Date Code Title Description
B06G Technical and formal requirements: other requirements [chapter 6.7 patent gazette]

Free format text: SOLICITA-SE A REGULARIZACAO DA PROCURACAO, UMA VEZ QUE BASEADO NO ARTIGO 216 1O DA LPI, O DOCUMENTO DE PROCURACAO DEVE SER APRESENTADO NO ORIGINAL, TRASLADO OU FOTOCOPIA AUTENTICADA.

B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE AS 5A E 6A ANUIDADES.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2161 DE 05/06/2012.