BR112014029372B1

BR112014029372B1 - Medição do corpo

Info

Publication number: BR112014029372B1
Application number: BR112014029372-4A
Authority: BR
Inventors: Watson Eleanor; Evans David
Original assignee: Quantacorp
Priority date: 2012-02-25
Filing date: 2013-05-24
Publication date: 2021-10-05
Also published as: RU2014152713A; RU2635226C2; US20130315470A1; BR112014029372A8; EP2856426B1; IL235860B; ES2797537T3; CN104508704B; BR112014029372A2; WO2013175228A1; EP2856426A1; JP2015527625A; JP6368709B2; GB201209382D0; IL235860A0; US8842906B2; CN104508704A

Abstract

medição do corpo. esta invenção refere-se a um método de geração de dados tridimensionais do corpo de um indivíduo. o método inclui as seguintes etapas. a primeira ou mais imagens de origem do indivíduo são capturadas usando um dispositivo de imagem digital. a uma ou mais imagens de origem são divididas numa pluralidade de segmentos ou distribuições de probabilidade usando um ou mais métodos de segmentação, heurística e / ou mapeamentos pré-determinados. os resultados de cada método de segmentação são combinados para produzir um ou mais mapas de probabilidade exclusivos, que representam o indivíduo, e os mapas de probabilidade exclusivos são então comparados com um banco de dados de representações tridimensionais de corpos, para determinar uma correspondência mais próxima ou melhor mapeamento entre o ou cada mapa de probabilidade exclusivo e uma representação determinada a partir do banco de dados. os dados tridimensionais do corpo e / ou as medidas do indivíduo são então geradas e podem ser emitidas com base no melhor mapeamento.

Description

001 A presente invenção refere-se a um método e sistema para determinar as medidas do corpo usando imagens do corpo. Mais especificamente, a presente invenção define um método e sistema para a geração de dados de imagem tridimensional do corpo de um indivíduo através de comparação com um banco de dados de modelos tridimensionais existentes conhecidos, para obter um melhor mapeamento. A partir desse mapeamento, dados específicos da conformação corporal podem ser determinados, incluindo as medidas.

002 Escâneres corporais convencionais e dispositivos de medição do corpo dependem de sensores de profundidade de alta resolução, padrões fixos de luz ou ângulos de câmera conhecidos para gerar imagens tridimensionais do corpo humano. Tais técnicas exigem equipamento especializado e representam um ônus elevado ao usuário, que precisa viajar a centros especializados para tal medição do corpo.

003 A obtenção de dados tridimensionais precisos da medida do corpo é particularmente vantajosa no campo médico e podem ser usadas, por exemplo, para monitorar alterações no volume do corpo, que podem ocorrer como resultado de condições médicas, por exemplo, insuficiência renal. Ao avaliar as alterações nas imagens do corpo do paciente, é possível determinar fatores, tais como retenção de líquido e sucesso da cirurgia. De fato, com a ascensão de telemedicina, a necessidade de monitorar e fornecer informações sobre as medidas do corpo tende a crescer.

004 Além disso, ser capaz de gerar caracterização e medição precisas do corpo também é de particular interesse na indústria do vestuário. Pode-se entender que ser capaz de fornecer dimensões corporais precisas a um fabricante de roupas ou varejista seria vantajoso tanto para a pessoa que procura a roupa quanto para as empresas envolvidas no fornecimento de roupas, sendo particularmente vantajoso para compras online.

005 Os métodos e dispositivos atuais para fornecer tais medidas são ou grandes e caros e/ou requerem o uso de equipamento complexo, incluindo detectores capazes de determinar a profundidade por pixel ou distância do indivíduo em relação a um ponto de referência. Como resultado, eles não permitem que indivíduos, como pessoas físicas e pacientes, monitorem sua forma tridimensional do corpo facilmente ou em casa. Ser capaz de fornecer uma imagem tridimensional do corpo de forma simples, sem o uso de escâneres corporais específicos complexos é, portanto, desejável. A presente invenção procura resolver os problemas acima.

006 De acordo com a presente invenção, é proporcionado um método de geração de dados tridimensionais do corpo de um indivíduo; o referido método compreendendo as etapas de:

007 i. capturar uma ou mais imagens de origem do indivíduo utilizando um dispositivo de imagem digital;

008 ii. particionar uma ou mais imagens de origem em uma pluralidade de segmentos utilizando um ou mais métodos de segmentação;

009 iii. combinar os resultados de cada método de segmentação da etapa ii) para produzir um ou mais mapas de probabilidade exclusivos representando o indivíduo;

0010 iv. comparar o um ou mais mapas de probabilidade exclusivos com um banco de dados de representações tridimensionais de corpos para determinar uma correspondência mais próxima ou um melhor mapeamento entre o ou cada mapa de probabilidade exclusivo e uma representação determinada a partir do banco de dados; e

0011 v. gerar dados e/ou medidas tridimensionais do corpo do indivíduo com base no melhor mapeamento.

0012 Opcionalmente, uma ou mais etapas de pré-tratamento podem ser aplicadas a uma ou mais imagens de origem para melhorar os dados disponíveis antes da segmentação;

0013 Particionar a uma ou mais imagens em uma pluralidade de segmentos pode compreender aplicar uma ou mais técnicas de segmentação de imagem, heurística e/ou mapeamentos pré-determinados para particionar uma ou mais imagens amplas e/ou imagens originais em uma pluralidade de segmentos e/ou distribuições de probabilidade;

0014 Combinar os resultados de cada método de segmentação pode incluir o uso de equações matemáticas e/ou heurística.

0015 Opcionalmente, uma técnica de segmentação adicional combinada com os resultados da etapa iii) podem ser aplicadas para produzir um mapa de probabilidade exclusivo refinado para cada imagem de origem;

0016 Comparar o um ou mais mapas de probabilidade exclusivos com um banco de dados das representações pode compreender determinar um melhor mapeamento entre cada um ou todos os mapas de probabilidade exclusivos e o banco de dados dos modelos tridimensionais existentes conhecidos, através da aplicação de um método de gradiente descendente para minimizar a diferença entre as silhuetas geradas por computador dos dados tridimensionais e os mapas de probabilidade.

0017 A geração de dados e/ou medidas tridimensionais do corpo pode ainda compreender a saída de dados tridimensionais de corpo do indivíduo ou outras métricas pessoais com base no melhor mapeamento da etapa iv).

0018 A invenção permite que dados representativos da imagem tridimensional do corpo de um indivíduo sejam gerados de forma barata e fácil, com base em imagens bidimensionais que podem ser obtidas a partir de uma webcam, câmera de telefone ou outro dispositivo de captura de imagem. Além disso, como não é necessário equipamento de imagem dedicado, um indivíduo pode facilmente atualizar sua imagem corporal tridimensional gerada, permitindo que mudanças à forma do seu corpo sejam facilmente rastreadas e monitoradas.

0019 Geralmente, um ou mais mapas de probabilidade e métodos heurísticos podem ser previstos, os quais identificam a forma e pose esperada do indivíduo em uma ou mais imagens. Normalmente, os mapas de probabilidade são pré-renderizados, mapas de probabilidade armazenados no servidor ou gerados a partir de imagens anteriores e/ou obtidos a partir de um banco de dados pré-existente de mapas de probabilidade, e a heurística são métodos codificados dentro do sistema. Por exemplo, se o indivíduo posa nas imagens para apresentar seus perfis laterais esquerdo e direito, os mapas de probabilidade fornecidos e a heurística aplicada são representativos do respectivo perfil. Neste caso, uma imagem de um indivíduo que posa num perfil lateral esquerdo pode ser comparado com um mapa de probabilidade de perfil lateral esquerdo e processado usando a heurística de segmentação conhecida para aplicação a perfis laterais esquerdos.

0020 O um ou mais mapas de probabilidade também podem ser fornecidos com base na pose determinada do indivíduo. A pose do indivíduo pode ser determinada por recurso de detecção do indivíduo em uma sequência de quadros, os quais podem ser a partir de uma transmissão de vídeo. Um método comum de detecção de perfil utiliza o método de Lucas-Kanade para calcular o fluxo óptico de pontos-chave do indivíduo entre as imagens (ou quadros, se aplicado a vídeo). Ao tomar um quadro onde a posição do indivíduo é conhecida, podem ser localizados pontos-chave na imagem (por exemplo, usando técnicas de detecção de borda). Esses pontos podem ser dedos, padrões em roupas, tatuagens, manchas da pele, etc.). Um método de Lucas-Kanade pode então ser usado para seguir estes pontos entre os quadros (ou imagens). Os pontos podem ser revistos a cada poucos quadros para evitar enganos. Essa técnica permite que a pose do indivíduo dentro das imagens seja estimada com mais precisão e ainda permite que um ou mais mapas de probabilidade sejam fornecidos com base na pose determinada. Essa técnica de determinação da pose aumenta a flexibilidade do sistema e é particularmente útil para determinar a pose de indivíduos a partir de vídeo.

0021 Em concretizações da presente invenção, a etapa de pré-tratamento ii) pode incluir:

0022 • redimensionar a imagem para reduzir a sobrecarga computacional;

0023 • aplicar filtros de redução de ruído, como filtros de difusão anisotrópica;

0024 • neutralizar características conhecidas da câmera, tais como distorção de barril e padrões introduzidos pela disposição de pixels dentro do sensor CCD (dispositivo de carga acoplada);

0025 • aplicar um reforço de iluminação por pixel para aprimorar detalhes em sombra, normalmente isso seguiria a fórmula

é o valor de intensidade aumentada para o píxel

é o valor de intensidade original para o pixel

, e α é um número que pode ser constante ou com base nas propriedades da imagem. As concretizações podem variar para α de acordo com a posição dentro da imagem, tais como o reforço da parte inferior da imagem mais fortemente, como neste exemplo:

0026 onde y é o pixel atual da coordenada vertical e h é a altura da imagem.

0027 Além disso, o conjunto de métodos de segmentação de imagem aplicado a uma ou mais imagens na fase iii) pode incluir:

0028 • métodos invariantes, tais como mapas de probabilidade pré-renderizados para uma vista particular;

0029 • comparações por píxel ou janela móvel, por exemplo, procurando por intervalos pré-determinados de cor que correspondem a tons de pele ou uma textura que corresponde a brim;

0030 • técnicas baseadas em aprendizagem, por exemplo, localização de um rosto em uma vista frontal para saber a cor da pele do indivíduo e/ou cores da roupa, e/ou usar o mapa de probabilidade pré-renderizado escolhido para saber as cores em segundo plano. As cores identificadas (num espectro RGB ou diferente) e/ou posições (no espaço da imagem) podem ser analisadas (por exemplo, utilizando um modelo de misturas Gaussianas) para produzir uma distribuição de cor esperada para cada segmento, a qual pode então ser utilizada para gerar uma segmentação da imagem;

0031 • otimizações iterativas, por exemplo usando o modelo de contornos ativos (combinada com uma forma humana pré-definida de acordo com a visão atual e/ou pose detectada por outros métodos), para maximizar a intensidade da borda da imagem ao longo do perímetro do contorno, que também pode ser combinado com simulações de corpo rígido ou de corpo suave para os resultados aprimorados;

0032 • comparar regiões de pixels em uma vista com a região correspondente em outra vista, por exemplo, comparando os lados esquerdo e direito de imagens frontais com braços estendidos e vistas laterais para identificar os braços (supondo que o segundo plano se mantém constante entre as imagens). Concretizações podem incluir uma imagem adicional somente de segundo plano (indivíduo fora do enquadramento) para este fim;

0033 • técnicas de análise de borda, por exemplo, procurando bordas com propriedades específicas, como uma forma de semicírculo (correspondente a pés) ou ângulo específico (correspondente a braços, pernas ou tronco). As bordas podem ser detectadas usando uma ou mais técnicas, como a aplicação do filtro Sobel, o algoritmo detector de bordas de Canny e métodos personalizados;

0034 • métodos de segmentação generalizada, como o método Graph Cut ou métodos de simulação multiescala, como a segmentação por agregação ponderada;

0035 • heurística personalizada, tais como a identificação de pontos de ombro em uma vista frontal, para definir uma região do tronco, ou identificação de linhas de interseção para localizar axilas e virilha.

0036 Normalmente, os métodos são aplicados à imagem codificados no modelo YCbCr, com alguns métodos que utilizam apenas o canal de luminosidade e outros potencialmente atribuindo peso extra para os canais Cb e Cr, no entanto podem ser utilizados outros espectros de cor, tal como RGB ou sRGB.

0037 Métodos de segmentação que refletem uma pluralidade de segmentos (por exemplo: cabeça, camisa, cadeira, mesa) podem ser processados também através da análise da forma, cor, textura e/ou posição de cada segmento. Ao comparar essas métricas com expectativas pré-definidas ou não calculadas, os segmentos podem ser reduzidos em uma relação binária mais simples primeiro plano / segundo plano, ou dada uma probabilidade por segmento.

0038 Se forem utilizados vários métodos de segmentação, as concretizações podem combinar seus resultados em um único mapa de probabilidade exclusivo por vista, através de vários métodos. O método usado pode depender da vista atual e/ou do método de segmentação, ou vários métodos podem ser experimentados, com uma função de classificação que decide o melhor resultado. Possíveis métodos de combinação de resultados p1 e p2 em pT incluem:

0039 • calcular a média:

0040 acrescentar regiões conhecidas por ser o indivíduo:

0041 acrescentar regiões conhecidas por ser o segundo plano:

0042 combinar probabilidades:

com casos especiais para

0043 métodos mais complexos, tais como

para algum

para algum c > 1. Esses métodos especiais são aplicáveis quando p0 contém alguma expectativa de base (tal como um mapa de probabilidade pré-renderizado), que deve ser ajustada de acordo com p1, mas mantém limites rígidos.

0044 Pode ser apreciado que muitos desses métodos trivialmente se ampliem para combinar mais de dois resultados, ou possam ser encadeados para combinar números arbitrários de resultados de segmentação. Também pode ser apreciado que as ponderações possam ser aplicadas a cada segmentação nessa fase, determinadas manualmente, de forma empírica e/ou automaticamente, com base nas propriedades da segmentação (tais como o grau de simetria).

0045 Depois de produzir um único mapa de probabilidade exclusivo para cada imagem de origem, as concretizações podem refinar o mapa através do uso de novas técnicas de segmentação, como segmentação por agregação ponderada ou Grab Cut. No caso de Grab Cut, é dada uma entrada de “primeiro plano conhecido”, “provável primeiro plano”, “provável segundo plano” e “segundo plano conhecido” que pode ser gerada com limiarização trivial dos mapas de probabilidade. Também pode ser apreciado que este mapa de 4 estados ou variações do mesmo, pudessem ser considerados como mapas de probabilidade, por direito próprio, e, portanto, pudessem ser a saída direta de etapas de segmentação anteriores.

0046 As concretizações da invenção permitem a compensação de nitidez de linha variável produzida por condições de iluminação irregulares nas imagens de origem, com o mesmo método também permitindo que os mapas de probabilidade finais sejam aprimorados para resolução igual ou maior do que as imagens de origem originais. Isso é conseguido através da desfocagem das bordas do mapa de probabilidade exclusivo gerado pelo método acima descrito, para produzir um limite de incerteza de pixels. A indefinição das bordas resulta em um gradiente de probabilidade no mapa de probabilidade exclusivo do segundo plano para o indivíduo. A direção e força desse gradiente pode, então, ser identificadas e usadas para indicar o sentido para o indivíduo em cada pixel incerto com uma linha vetorial. Normalmente, a direção dessa linha vetorial é substancialmente perpendicular à borda. A partir desses gradientes, pode ser gerado um mapa de probabilidade do esboço em vetor, o referido mapa proporcionando um vetor de direção (linha vetorial) para cada pixel incerto (normalmente pixels de borda), que indica o sentido esperado de local do objeto em relação ao pixel.

0047 O mapa de probabilidade de esboço em vetor pode, então, ser aplicado à imagem original ou imagens originais. Seguindo o caminho indicado pelo mapa de probabilidade do esboço em vetor, tal como é aplicado à imagem original, é possível determinar os pixels na imagem original que se encontram em cada linha do vetor com o maior contraste. Esses pixels representam os pixels limites localizados na extremidade do objeto, que separam o objeto do segundo plano da imagem. Este limite é ideal no caso de ausência de ruído e qualquer desfocagem da imagem ser gaussiana, que é uma boa aproximação para imagens de câmera. Além disso, comparando a cor e/ou a intensidade do pixel limite com as cores e/ou intensidade de pixels vizinhos pode permitir que um limite estimado verdadeiro seja apurado para cada pixel limite, com resolução de subpixel. O limite verdadeiro estimado para cada pixel limite pode ser calculada usando:

, onde bδ dá a distância ao longo do vetor entre o limite de pixel e o limite de subpixels verdadeiro, cB é a intensidade do elemento de imagem atual, cA é a intensidade do pixel anterior ao longo do vetor e cC é a intensidade do pixel seguinte ao longo do vetor. Uma vez que o limite estimado verdadeiro tenha sido determinado, isso pode ser aplicado à posição correspondente no mapa de probabilidade exclusivo, para fornecer um limite estimado verdadeiro para cada pixel limite do mapa de probabilidade exclusivo.

0048 Os mapas de probabilidade exclusivos finais fornecem um esboço do objeto para cada vista, onde as regiões determinadas a ser definitivamente o indivíduo têm uma probabilidade próxima de 100%, as regiões determinadas a ser o segundo plano (definitivamente não o indivíduo) têm uma probabilidade próxima de 0%, e as regiões de borda têm probabilidades intermediárias. Normalmente, os referidos mapas de probabilidade exclusivos têm uma resolução de 0,2 a 0,5 pixels, dependendo dos níveis de ruído nas imagens de origem.

0049 Concretizações da presente invenção podem comparar o um ou mais mapas de probabilidade exclusivos com um banco de dados de representações tridimensionais do corpo para determinar um Closest Match(correspondência mais próxima) e/ou podem usar um método de interpolação para gerar novos corpos a partir do banco de dados existente, para determinar um Best Mapping (melhor mapeamento). O banco de dados existente é normalmente preenchido com dados empíricos coletados a partir de escâneres corporais dedicados. Tais representações podem incluir medidas tridimensionais do corpo, medidas dos indivíduos feitas manualmente e/ou digitalizações.

0050 Para determinar o Closest Match, as digitalizações de teste podem ser exaustivamente pesquisadas, otimizando cada uma para variações de pose e câmera e determinar o melhor resultado, como abaixo, embora possa ser considerado que as otimizações, como agrupamento das digitalizações por propriedades particulares (tais como sexo, peso, idade), possam ser aplicadas para reduzir o espaço de busca, e uma ordenação pode ser aplicada para permitir uma aproximação de uma Binary Search (pesquisa binária). No entanto, determinar o Closest Matchnão pode oferecer resultados que já não estão presentes no banco de dados, e por esta razão é preferível o Best Mapping. Os parágrafos seguintes descrevem o processo usado na busca de um Best Mapping.

0051 A interpolação linear pode ser usada para gerar novas digitalizações a partir de banco de dados existentes, o que é vantajoso uma vez que permite o uso de métodos de Linear Optimisation(optimização linear) para identificar o Best Mapping. Uma representação tridimensional média do corpo e uma série de vetores que descrevem variantes das representações tridimensionais do corpo normalizadas dentro do banco de dados existente “Body Vectors” (vetores do corpo) podem ser pré-gerados através de Análise de Componentes Principais. Essa fase pode incluir métodos para normalizar a pose de cada indivíduo e/ou inferir dados em falta (por exemplo, regiões ocluídas de digitalizações de escâneres por luz estruturada). Os resultados dessa análise serão normalmente gravados antecipadamente e recuperados conforme solicitados, e são referidos como o “Space of Bodies” (espaço de corpos). Concretizações podem também incluir dados de medição nesta análise; produzir medidas médias e uma tabela LOOKUP (de referência) que denotam como cada medição deve ser mudada à medida que a contribuição de cada Body Vectoré alterada (por exemplo, se um Body Vector controla o peso da digitalização, ele normalmente aumentará a circunferência da cintura à medida que aumenta o tamanho da digitalização). Essas correlações normalmente serão geradas automaticamente e podem não ter nenhuma interpretação física óbvia. Para garantir a aplicabilidade dos métodos lineares, as medidas podem ser pré-processadas para produzir valores relacionados linearmente (por exemplo, calcular a raiz cúbica de quaisquer medidas volumétricas e decompor medidas elípticas em eixos principais e secundários e um fator de escala).

0052 Em concretizações, somente são gerados dados de imagem corporal selecionados, com áreas do indivíduo descontadas ou descartadas. Tais exclusões podem ser realizadas através do uso de mapas de probabilidade que não incluem áreas do indivíduo, tais como a área da cabeça, ou descartando recursos depois da segmentação. Isto pode ser vantajoso, pois permite que os recursos dos dados da imagem corporal que não dizem respeito ao tamanho real do corpo, como o cabelo, sejam excluídos. A exclusão desses recursos evita que detalhes aparentemente arbitrários, tais como estilo do cabelo, influenciem nos resultados.

0053 O Space of Bodies pode ser pesquisado usando um Método de Gradiente Descendente, com variáveis de controle da câmera (por exemplo, posição, rotação, campo de visão), pose (por exemplo, ângulos das articulações) e forma do corpo (por exemplo, o primeiro N Body Vectors, onde normalmente N - 40) da digitalização. Isso geralmente envolve começar com uma média ou estimativa aproximada para cada variável e refinar o valor de forma iterativa através de tentativa e erro. O método de Newton-Raphson é uma opção possível, e pode ser usado para minimizar a soma das diferenças absolutas de probabilidades para cada pixel em uma silhueta gerada por computador em relação ao mapa de probabilidade exclusivo calculado para o indivíduo atual. Matematicamente,

0054 Onde punique(x) é o valor do mapa de probabilidade exclusivo no pixel atual e pcalc(x, c, p, s) é 1 se a silhueta gerada por computador para a câmera atual c, pose p e forma do corpo s contém o pixel atual, e 0 se, caso contrário, câmera, pose e forma são os argumentos a pesquisar. Deve notar-se que o uso da função de valor absoluto é escolhido para otimizar a pesquisa de Newton-Raphson, que requer uma função quadrática. Para outros métodos de pesquisa, custos diferentes podem ser apropriados, tais como uma soma de quadrados. Também pode ser vantajoso usar uma função de distância secundária para descartar rapidamente mínimos locais. Por exemplo, considerar a soma das distâncias mínimas de cada um dos pixels da silhueta gerada por computador para um pixel no mapa de probabilidade exclusivo, que tem um valor superior a um limiar pré-determinado c (tal como c = |). Novamente, isto é otimizado para uma busca Newton-Raphson. Matematicamente,

0055 Limites, tais como o aumento do custo da função à medida que argumentos variam além dos limites razoáveis, são benéficos para a prevenção de resultados irreais. Por exemplo, incluir um limite suave à medida que a afastamento da perna torna-se muito grande, com um limite rígido depois de uma separação impossível conhecida ou separação que não corresponde à pose solicitada. Princípios semelhantes podem ser aplicados à forma do corpo e propriedades da câmera.

0056 A forma do corpo é otimizada em todas as vistas e as propriedades de pose e câmera são por vista. Pode ser apreciado que em ambientes controlados múltiplas imagens podem ser feitas simultaneamente, caso em que, a pose torna-se uma propriedade que pode ser otimizada também em todas as vistas. As posições de câmera fixa e as propriedades podem permitir ainda que as variáveis da câmera sejam removidas inteiramente desta etapa.

0057 Em concretizações, esta fase de minimização pode ser conseguida através da minimização de um pequeno número de parâmetros em sequência, para melhorar a velocidade. Por exemplo, variando a câmera e as variáveis de pose, ao bloquear as variáveis de forma do corpo, em seguida, variando os primeiros 5 Body Vectors, enquanto bloqueando todos os outros, em seguida, variando os primeiros 15 Body Vectors e as variáveis da câmera, etc. A sequência exata pode ser determinada empiricamente antecipadamente e/ou automaticamente, como resultado da análise do estado atual (por exemplo, dando mais tempo para a otimização da posição das pernas, se previamente tiver alterado significativamente).

0058 O resultado final desta etapa é uma digitalização tridimensional única do indivíduo. Os mesmos princípios se aplicam para encontrar um Closest Match, mas envolvem iterar todas as digitalizações no banco de dados, no lugar de variar o Body Vectors. Em ambos os casos, a digitalização resultante (desconsiderando a pose) será agora referida como a “digitalização tridimensional única”.

0059 Uma vez que o Closest Match ou Best Mapping tenha sido obtido, as concretizações podem calcular as medidas usando a tabela de medição LOOKUP e/ou caminhos de medição na digitalização tridimensional única. Para um Best Mapping, os valores de Body Vector determinados são usados em combinação com a tabela LOOKUP para interpolar linearmente as medidas médias, produzindo um conjunto exclusivo de medidas. Para um Closest Match, as medidas podem ser recuperadas diretamente da tabela LOOKUP. Essas medidas estão todas fora de escala, e podem ser dimensionadas de acordo com vários fatores, incluindo: uma medida conhecida (por exemplo, altura do indivíduo); uma determinada distância entre o indivíduo e a câmera (por exemplo, usando um hardware sensor de profundidade ou ambiente conhecido); e/ou comparação com um objeto conhecido calibrado (por exemplo, um marcador ou um objeto comum, tal como uma folha de papel). Na ausência dessas informações, uma escala pode ser aproximada supondo que seja semelhante à de indivíduos conhecidos, com forma do corpo semelhante (por exemplo, uma cabeça relativamente maior normalmente implica uma escala menor). Essa aproximação pode ser calculada usando os mesmos métodos LOOKUP, como para outras medidas. Nesta fase, as medidas geralmente não serão normalizadas; volumes cubados, a circunferência de elipses decompostas recalculada, e assim por diante.

0060 Além disso, em concretizações os dados tridimensionais do corpo do indivíduo podem ser transmitidos. Os dados podem ser transmitidos a um ou mais de um dispositivo de armazenamento, armazenamento online em nuvem, um telefone celular, uma tela de visualização ou um dispositivo de computação pessoal.

0061 Concretizações da presente invenção serão agora descritas com referência às seguintes figuras, em que:

0062 A Figura 1 é uma vista geral esquemática da presente invenção;

0063 A Figura 2 é um fluxograma da presente invenção relativo à coleta de dados;

0064 A Figura 3 é um fluxograma da presente invenção relativo aos métodos utilizados para gerar mapas de probabilidade exclusivos;

0065 A Figura 4 é um fluxograma da presente invenção relativo à melhoraria do mapa de probabilidade exclusivo; e

0066 A Figura 5 é um fluxograma da presente invenção relativo à geração de uma imagem tridimensional de corpo com base no mapa de probabilidade exclusivo e representações tridimensionais do corpo.

0067 Referindo-se às figuras, o sistema 10 (figura 1) é fornecido com um sistema de entrada de cliente ‘mudo’ 20 e uma unidade de servidor 30.

0068 O sistema de cliente 20 compreende uma webcam 100 que é usada para capturar informações de imagem de um indivíduo. Em uso, a webcam 100 é usada em conjunto com uma tela 120, tal como um monitor de computador, que mostra uma representação 110 do indivíduo. O software que controla a webcam 100, quando a webcamé ativada, emite um comando para a tela 120, de modo que a tela 120 exibe uma representação 130 que corresponde a uma posição representada. Normalmente, a posição representada exigida é frontal, com pernas e braços afastados do corpo; a posição anatômica. Além disso, as posições de perfil lateral (ao longo do plano médio) podem também ser exigidas 225 (figura 2).

0069 Quando a representação 110 do indivíduo exibido na tela alinha com um esquema pré-determinado 220, o indivíduo é considerado estar “na pose” (isto pode também depender de permanecer parado durante alguns segundos). Quando o indivíduo está pronto, e a condição de que o indivíduo fica na pose 130 exigida é satisfeita, a webcam 100 faz uma sequência de imagens 150, 240 do indivíduo na posição representada. Uma vez que o número necessário de imagens tenha sido coletado, as imagens são comprimidas e armazenadas para subsequente carregamento para a unidade de servidor 30, 270.

0070 Pode ser apreciado que as etapas acima possam ser repetidas tantas vezes quanto desejadas para gerar um banco de dados maior de imagens de indivíduo em pose. Além disso, como uma alternativa de uma webcam, câmeras de celulares podem ser usadas para capturar as imagens necessárias. Nesse caso, a tela 120 e o software para executar a captura de imagem e emitir comandos ao indivíduo podem ser no próprio telefone, utilizando um aplicativo dedicado. Também pode ser apreciado que uma câmera convencional possa ser utilizada para gerar as imagens, bem como outros dispositivos de captura de imagem e software conhecidos. Quadros de fontes de vídeo também podem ser usados.

0071 Além da captura de imagens, o sistema de cliente 20 pode solicitar informações adicionais 140 do indivíduo, para auxiliar o processo de calibração e identificação da imagem. Como um exemplo, os dados de calibração para identificar escalas relativas nas imagens bidimensionais podem ser coletados solicitando a altura do indivíduo 200. Outras opções incluem pedir ao indivíduo segurar um marcador calibrado junto à câmera, tal como uma carta de baralho. Outras questões podem ajudar no processamento da imagem, como a quantidade geral e/ou a cor da roupa usada.

0072 Opcionalmente, o sistema de cliente 20 também pode executar verificações rudimentares nas imagens captadas e armazenadas 240. Essas verificações podem incluir analisar as imagens quanto às características de segundo plano e solicitar que o indivíduo se movimente para uma área diferente se forem detectados muitos recursos de segundo plano. Essa análise pode também permitir uma calibração adicional entre a altura relativa das imagens capturadas do indivíduo, uma vez que, se um recurso comum de segundo plano for encontrado, este pode ser usado para assegurar que todas as imagens do indivíduo são de uma altura consistente, para ter em conta a distância variável entre o indivíduo e o dispositivo de imagem. Alternativamente, ou além disso, a referida análise pode remover recursos comuns de segundo plano (para auxiliar em etapas subsequentes) ou pode exigir que novas imagens sejam obtidas se forem detectados muitos recursos de segundo plano.

0073 Uma vez que as imagens 150 tenham sido capturadas pelo sistema de cliente 20, elas são enviadas para a unidade de servidor 30, 270. A unidade de servidor 30 pode ser o computador de um indivíduo ou smartphone ou aparelho semelhante, embora normalmente a unidade de servidor 30 é um servidor dedicado remoto. O servidor dispõe de um banco de dados de mapas de probabilidade conhecidos 160, que correspondem a posições esperadas do indivíduo com base nas posições representadas que o indivíduo foi orientado permanecer 300, e uma coleção de métodos de segmentação 170 que foram determinados a ser aplicáveis para cada pose. Alternativamente, a pose do indivíduo pode ser determinada utilizando uma técnica de rastreamento de perfil. Um método comum de detecção de perfil utiliza o método de Lucas-Kanade para calcular o fluxo óptico de pontos-chave do indivíduo entre as imagens (ou quadros, se aplicado a vídeo). Ao tomar um quadro onde a posição do indivíduo é conhecida, podem ser localizados pontos-chave na imagem (por exemplo, usando técnicas de detecção de borda). Esses pontos podem ser dedos, padrões em roupas, tatuagens, manchas da pele, etc.). Uma técnica de fluxo óptico pode então ser usada para seguir estes pontos entre os quadros (ou imagens). Os pontos podem ser revistos a cada poucos quadros para evitar enganos. Essa técnica permite que a pose do indivíduo dentro das imagens seja estimada com mais precisão e ainda permite que mapas de probabilidade sejam fornecidos com base na pose determinada. Essa técnica de determinação da pose aumenta a flexibilidade do sistema e é particularmente útil para determinar a pose de indivíduos a partir de vídeo.

0074 Inicialmente, a unidade de servidor 30 analisa as imagens recebidas e as pré- processa 320 para normalizar a iluminação, detectar e remover padrões introduzidos nas imagens a partir de sensores CCD (dispositivo de carga acoplada) ou similares, tais como sensores de pixel ativo (APS) e corrigir distorção de barril ou outros defeitos conhecidos. A partir destas imagens filtradas, o servidor 30 então determina qual é a provável representação 110 do indivíduo, em vez do segundo plano ou ruído 330 a 360.

0075 A fim de determinar a posição do indivíduo dentro da imagem, o servidor 30 aplica várias técnicas de segmentação de imagem 330 que foram escolhidas com antecedência para a pose específica. Estes métodos podem incluir métodos ajustados manual ou automaticamente que produzem melhores resultados em áreas específicas da imagem, bem como métodos mais gerais, e podem usar mapas de probabilidade pré-renderizados 160 e imagem(ns) de origem pré-processada(s). Os métodos de segmentação também podem compartilhar os resultados com outros métodos de segmentação (por exemplo, um detector de mão pode reduzir o espaço de busca requerido por um detector de braço). Os resultados de cada método de segmentação são combinados 340, permitindo ao servidor gerar uma primeira estimativa da forma do objeto (indivíduo). Os mapas de probabilidade pré-renderizados 160 podem ainda ser usados para ajustar a silhueta identificada, auxiliando na remoção de objetos de segundo plano que podem ter sido identificados incorretamente. Por exemplo, uma análise da distribuição da cor pode identificar uma cor (por exemplo, vermelho) como representativa do indivíduo, no entanto, se o segundo plano contiver uma cor idêntica, esta será identificada como representativa do indivíduo, se baseada apenas na distribuição de cores. Ao combinar a distribuição de cor com o mapa de probabilidade, tais características do segundo plano podem ser eliminadas.

0076 Uma vez que uma primeira estimativa da forma do corpo do indivíduo tenha sido determinada, e um mapa probabilidade exclusivo criado, o sistema realiza mais uma etapa para compensar as condições variáveis de iluminação nas imagens de origem que afetam a nitidez da linha. A fim de compensar essa nitidez variável da linha, o sistema desfoca deliberadamente as bordas presentes no mapa de probabilidade 410. Essa desfocagem é normalmente da ordem de 1 ou 2 pixels (essencialmente, a linha é suavizada) e pode ser combinado com um redimensionamento do mapa de probabilidade para maior precisão.

0077 Ao desfocar as bordas do mapa de probabilidade gerado, o sistema é auxiliado para determinar a direção de pixels em relação à posição esperada do indivíduo 420. Uma vez que o mapa de probabilidade é uma imagem em escala de cinza de alto contraste, o sistema pode identificar áreas (de pixels incertos), onde a mudança de maior contraste ocorre e atribui direcionalidade a essa mudança e a esses pixels. Essa direção é normal para as bordas do mapa de probabilidade e identifica a direção do indivíduo (o branco do mapa de probabilidade) em todos os pixels dentro dos pontos de borda incertos (desfocados).

0078 Uma vez que a direcionalidade de um pixel incerto é determinada, isso pode ser aplicado à imagem RGB original para encontrar áreas (de pixels) com o contraste mais elevado, ou seja, onde o gradiente entre pixels vizinhos é maior 430. Essa determinação permite que o limite do indivíduo na imagem RGB seja determinada com precisão dentro de uma resolução de um pixel. Além disso, pode ser obtida resolução melhorada, de subpixels, comparando o pixel limite com pixels vizinhos, para obter uma indicação da posição do limite verdadeiro 440. Isso pode ser alcançado através da determinação do gradiente de cor entre o pixel limite e o pixel vizinho e ao atribuir uma posição estimada de limite verdadeiro no ponto em que o gradiente é maior. Uma indicação da posição estimada do limite verdadeiro é dada por: b = 1 - cB cA, onde b é o limite estimado CC — CA verdadeiro, cB é a intensidade do pixel atual, cA é a intensidade do pixel anterior ao longo do vetor e cC é a intensidade do pixel seguinte ao longo do vetor. Esta etapa representa uma etapa de suavização inversa precisa para dois blocos de cor sólida e, portanto, é especialmente útil para a representação da suavização introduzida por sensores CCD.

0079 Uma vez que o limite tenha sido determinado na imagem RGB, essa informação é então utilizada no mapa de probabilidade para fornecer uma representação exata da borda do mapa de probabilidade gerado 450. O ruído introduzido pelo processo de identificação de borda pode ser reduzido ao desfocar a borda identificada por ± 1 pixel e resuavização 460. O resultado final desta etapa é uma sequência de mapas de probabilidade 470 precisos, específicos de entradas, um por imagem de origem 150.

0080 Com a sequência de mapas de probabilidade precisos, específicos de entradas, é agora possível realizar um mapeamento desses mapas de probabilidade para formas corporais médias pré-calculadas, para tentar gerar a forma corporal tridimensional final do indivíduo. Isso é conseguido utilizando um banco de dados que contém uma forma corporal média pré-calculada e componentes principais extraídos de Body Vectors, que estão armazenados no servidor conforme segue. Um Body Vector ou Eigenbody é semelhante ao termo conhecido Eigenvector ou Eigenface e é uma representação de como um corpo pode variar (aumentos de quadris leva a aumento correspondente do busto etc.). É calculado com antecedência por meio de análise de componentes principais. Por exemplo, uma imagem de corpo particular pode ser composta de uma forma de corpo média mais 60% de Body Vector 1, -12% de Body Vector 2 e 18% de Body Vector 3. Isso permite uma representação matemática de uma digitalização do corpo para ser armazenada sem armazenar a própria digitalização. Além disso, a pose do corpo médio pré-calculado pode ser selecionada ou calculada para corresponder à pose do indivíduo conforme determinado anteriormente.

0081 Este banco de dados de variações do corpo é pré-carregado pelo servidor 500. Quando uma série de mapas de probabilidade exclusivos é recebida 515, o servidor realizará uma pesquisa do Body Space (os possíveis corpos gerados a partir do corpo médio e combinações de Body Vector), para encontrar o Best Mapping 530 a 575. Inicialmente, aos Body Vectors são atribuídas contribuições de zero (que produzem um corpo médio, sem variação), e configurações sensíveis por pose são atribuídas à câmera e às variáveis de pose (por exemplo, a posição da câmera, o afastamento do braço) 530. Essas configurações podem ser alteradas de acordo com características identificadas pelos métodos de segmentação 330. O corpo correspondente é renderizado para cada pose 541 e essas renderizações são comparadas com os mapas de probabilidade exclusivos 542. A função de distância usada pode ser uma diferença absoluta média por pixel, ou algo mais complexo, como uma soma de distância mínima entre os pixels de borda. Vários métodos podem ser utilizados em conjunto, por exemplo, utilizar distância mínima entre pixels de borda para determinar pose e propriedades de câmera, em seguida, utilizar diferença absoluta média para ajustar a forma do corpo. Esses métodos podem se beneficiar de pré-cache de valores 520 para melhorar os tempos de resposta.

0082 Ao variar repetidamente certas propriedades (como a contribuição de um Body Vector) e ao medir novamente a distância entre digitalizações renderizadas e os mapas de probabilidade exclusivos 540 a 575 observados, os Body Vectors, as variáveis de pose e as propriedades da câmera podem ser aprimorados de forma iterativa. Normalmente, isso envolve a amostragem de algumas variações 550, em seguida, encaixe de uma forma matemática simples (como uma parábola) nas distâncias, para identificar uma distância mínima provável. Os valores desse mínimo podem então ser verificados, e o mínimo global de todas as amostras escolhido 560, então o espaço de busca é reduzido e o processo repetido. Uma vez que o espaço de busca é suficientemente pequeno o processo termina, e os valores finais representam o Best Mapping 580. Normalmente, essa fase de otimização será repetida várias vezes, cada vez com certas variáveis “bloqueadas” e outras “livres”, por exemplo, uma pesquisa inicial pode bloquear todas as contribuições de Body Vector, variando apenas as propriedades da câmera e variáveis de pose, e isso poderia ser seguido de bloqueio da câmera enquanto aprimoram-se os primeiros 5 Body Vectors e a pose aproximada, etc.

0083 A forma final do corpo, pose e propriedades da câmera produzirá uma silhueta que mais se parece com os mapas de probabilidade exclusivos. Pode ser apreciado que em sistemas com hardware conhecido, as propriedades da câmera podem ser conhecidas com antecedência e não necessitarão de ser incluídas nesse processo. Além disso, em sistemas com várias câmeras, pode-se saber que a pose do indivíduo é idêntica em várias imagens, e pode ser usada uma pose global (em vez de por imagem).

0084 Quando a pesquisa iterativa está completa e um Best Mapping determinado, o servidor pode armazenar os dados tridimensionais do corpo de acordo com suas contribuições de Body Vector. As medidas relacionadas com a forma tridimensional do corpo podem ser recuperadas usando uma tabela de referência 580 baseada na forma do corpo média e nas contribuições de Body Vector. Essas medidas podem incluir medidas físicas, como a circunferência da cintura, circunferência do peito, etc., bem como informações mais abstratas, como sexo, idade, etc. Essa tabela de referência é proveniente de dimensões corporais empíricas conhecidas geradas a partir de digitalizações de corpo inteiro precisas e exatas, normalmente usadas em ambientes hospitalares. A silhueta calculada de melhor correspondência pode então ser alimentada de volta nos mapas de probabilidade pré-renderizados, potencialmente aumentando a precisão das etapas de segmentação em usos futuros.

0085 Uma vez que uma aproximação verdadeira da forma do corpo tridimensional do indivíduo tenha sido calculada, a forma do corpo e as medidas correspondentes podem ser ampliadas para o tamanho do indivíduo, tendo em conta a sua altura inserida ou outra informação de calibração 585, embora isto também pudesse ser realizado numa fase posterior pelo cliente 285. Por fim, a digitalização tridimensional e/ou medidas podem ser exibidas para o indivíduo 290.

Claims

1. Método para gerar dados corporais tridimensionais de um sujeito a partir de uma ou mais imagens de origem capturadas usando um dispositivo de imagem digital; o referido método compreendendo as etapas de: i) capturar uma ou mais imagens de origem do sujeito usando um dispositivo de imagem digital; ii) particionar uma ou mais imagens de origem em uma pluralidade de segmentos usando resultados de uma coleção de métodos de segmentação; iii) combinar, usando uma ponderação de métodos de segmentação em áreas de desacordo, os resultados de cada método de segmentação na etapa ii) para produzir, para cada imagem de origem, um único mapa de probabilidade único representando o sujeito; iv) comparar um ou mais mapas de probabilidade únicos com um banco de dados de representações de corpos tridimensionais para determinar uma correspondência mais próxima ou melhor mapeamento entre o ou cada mapa de probabilidade exclusivo e uma representação determinada a partir do banco de dados; caracterizado pelo fato de que compara um ou mais mapas de probabilidade únicos com um banco de dados de representações de corpos tridimensionais para determinar uma correspondência mais próxima ou melhor mapeamento compreende as etapas de: v) gerar uma imagem corporal tridimensional a partir do banco de dados de representações de corpos tridimensionais usando variáveis que controlam a câmera, a pose e a forma do corpo; vi) gerar uma silhueta da imagem corporal tridimensional; vii) comparar a silhueta com um ou mais mapas de probabilidade exclusivos do sujeito e determinar o grau de correspondência, viii) refinar iterativamente o valor das variáveis por tentativa e erro até que o melhor mapeamento seja obtido; ix) gerar dados corporais tridimensionais e / ou medições do sujeito com base no melhor mapeamento e uma tabela de consulta de medições tridimensionais conhecidas da imagem corporal, em que o método compreende ainda uma etapa de x) alterar a imagem corporal tridimensional e / ou silhuetas geradas para levar em consideração os fatores de imagem presentes nas uma ou mais imagens do sujeito.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda, antes da partição da referida uma das mais imagens de origem, a aplicação de um ou mais estágios de pré-processamento às uma ou mais imagens de origem para aprimorar os dados disponíveis antes da segmentação.

3. Método, de acordo com a reivindicação 1 ou reivindicação 2, caracterizado pelo fato de que a combinação dos resultados de cada método de segmentação compreende o uso de equações matemáticas e/ou heurísticas.

4. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que a geração de dados corporais tridimensionais e/ou medições compreende ainda a saída de dados corporais tridimensionais do sujeito ou outras métricas pessoais com base no melhor mapeamento da etapa iv).

5. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que compreende ainda a etapa de: depois de capturar as referidas uma ou mais imagens, fornecer um ou mais mapa (s) de probabilidade que identificam uma forma esperada e pose do sujeito nas uma ou mais imagens e/ou fornecer uma sequência de métodos de segmentação para aplicar de acordo com a forma esperada e pose do assunto em cada imagem.

6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que compreende ainda a etapa de: determinar uma pose determinada do sujeito e fornecer um ou mais mapas de probabilidade com base na pose determinada.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os fatores de imagem presentes são pelo menos um dentre: arremesso da câmera; guinada da câmera; distância da câmera e distorção do barril.

8. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que compreende ainda as etapas de: determinar as medições não dimensionadas da melhor correspondência com base na tabela de pesquisa de medições conhecidas de imagens corporais tridimensionais; e dimensionar as melhores medições de correspondência ou varredura com base nos dados de referência fornecidos pelo sujeito, sendo os referidos dados de referência um ou mais dentre: altura do sujeito; distância entre o sujeito e a câmera; referência a um objeto conhecido calibrado.

9. Método, de acordo com qualquer uma das reivindicações 5 a 8, caracterizado pelo fato de que o particionamento de uma ou mais imagens em uma pluralidade de segmentos compreende a etapa de: comparar a localização dos pixels na ou em cada imagem com seus locais correspondentes nos mapas de probabilidade para determinar a probabilidade de um pixel representar o assunto na imagem.

10. Método, de acordo com qualquer uma das reivindicações 5 a 9, caracterizado pelo fato de que o particionamento de uma ou mais imagens em uma pluralidade de segmentos compreende a etapa de: pesar pixels na ou em cada imagem de acordo com os locais correspondentes nos mapas de probabilidade para gerar uma imagem ponderada correspondente e identificar uma cor e/ou distribuição espacial dentro dessas imagens ponderadas;

11. Método, de acordo com qualquer reivindicação anterior, caracterizado pelo fato de que, após a etapa iii), o método compreende ainda a etapa de: adicionar uma região de incerteza em torno das bordas de um ou mais mapas de probabilidade exclusivos para compensar a nitidez da linha variável para produzir um limite de pixels incertos; identificar o gradiente das arestas de um ou mais mapas de probabilidade exclusivos para determinar a direção do sujeito em cada pixel incerto para produzir um mapa de probabilidade de contorno vetorial correspondente; aplicar o mapa de probabilidade do contorno vetorial à imagem para determinar pontos com o maior contraste; e identificar, no referido ponto de maior contraste, um pixel de limite localizado na borda do objeto.

12. Método, de acordo com qualquer uma das reivindicações 10 a 11, caracterizado pelo fato de que uma distribuição de cores é identificada dentro das imagens ponderadas e a identificação da distribuição de cores compreende adicionalmente as etapas de: amostragem de pixels da imagem para identificar sua cor; e mapear a localização dos pixels amostrados para o mapa de probabilidade pré-renderizado para determinar a cor esperada dessa região do mapa de probabilidade.

13. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que a identificação da distribuição de cores compreende ainda as etapas de: obter uma distribuição de probabilidade da cor dos pixels dentro de todos os referidos segmentos da imagem; e gerar uma distribuição de probabilidade multidimensional (multivariada) da imagem em intensidade, cor e/ou espaço espacial.

14. Método, de acordo com as reivindicações 12 ou 13, caracterizado pelo fato de que compreende ainda a etapa de: comparar a distribuição de probabilidade com a cor esperada das regiões correspondentes do mapa de probabilidade para determinar a probabilidade de um pixel representar o sujeito.

15. Método, de acordo com qualquer reivindicação anterior, caracterizado pelo fato de que na etapa iii) são usadas informações de confiança para ponderar métodos de segmentação em áreas de desacordo.