BR112017002426A2 - Método e sistema para reconstruir porções faciais obstruídas para ambiente de realidade virtual - Google Patents

Abstract

método e sistema para reconstruir porções faciais obstruídas para ambiente de realidade virtual. trata-se de um método e um sistema para reconstruir porções faciais obstruídas. o método pode incluir as seguintes etapas: obter dados em 3d off-line, que são dados em 3d de uma cabeça de uma pessoa que não usa um objeto de obstrução facial, que é um objeto que obstrui uma porção da face da pessoa; obter em tempo real, dados em 3d em tempo real, que são dados em 3d da dita cabeça, em que a dita pessoa usa o dito objeto de obstrução facial; aplicar uma transformação em 3d a pelo menos uma porção dos dados em 3d off-line, com base nos dados em 3d em tempo real, para produzir dados em 3d em tempo real reconstruídos, que são dados em 3d em tempo real relacionados às porções faciais obstruídas; e consolidar os dados em 3d em tempo real reconstruídos nos dados em 3d em tempo real. o sistema pode implantar as etapas mencionadas anteriormente através de um pro-cessador de computador.

Description

"MÉTODO E SISTEMA PARA RECONSTRUIR PORÇÕES FACIAIS OBSTRUÍDAS PARA AMBIENTE DE REALIDADE VIRTUAL" CAMPO DA INVENÇÃO

[001]A presente invenção refere-se, em geral, a ambientes de realidade vir- tual e, mais particularmente, a tais ambientes que integram imagens reais dos parti- cipantes de ambiente de realidade virtual.

ANTECEDENTES DA INVENÇÃO

[002]Antes de apresentar os antecedentes da invenção, pode ser útil estabe- lecer definições de certos termos que serão usados a seguir.

[003]O termo "realidade virtual" (VR) conforme usado no presente documen- to é definido como um ambiente simulado por computador que pode simular presen- ça física em lugares no mundo real ou mundos imaginários. A realidade virtual pode- ria recriar experiências sensoriais, que incluem paladar, visão, olfato, som, toque e similares.

[004]O termo "fone de ouvido de realidade virtual" conforme usado no pre- sente documento é definido como um visor montado na cabeça (HMD) através do qual um ambiente simulado por computador em 3D é projetado estereoscopicamente nos olhos do usuário, sendo que cada olho recebe um ponto de vista um pouco dife- rente do ambiente simulado por computador. Tal fone de ouvido de realidade virtual conhecido na técnica é Oculus Rift™. O fone de ouvido de realidade virtual pode ser implantado como qualquer tipo de visor estereoscópico e pode ser mantido dentro de uma estrutura do tipo capacete.

[005]O termo "modelo em 3D" conforme usado no presente documento é de- finido como o produto de modelagem em 3D que é o processo de desenvolvimento de uma representação matemática de qualquer superfície tridimensional do objeto (inanimado ou vivo). O modelo também pode ser fisicamente criado, por exemplo, com o uso de dispositivos de impressão em 3D ou mesmo manualmente. Os mode-

los em 3D podem representar um objeto em 3D com o uso de uma coleção de pon- tos no espaço em 3D, conectados por várias entidades geométricas tais como triân- gulos, linhas, superfícies curvadas, etc. O que é uma coleção de dados (pontos e outras informações).

[006]O termo "dados em 3D" conforme usado no presente documento é de- finido como qualquer estrutura de dados, de qualquer forma e tipo, derivada dos ob- jetos em 3D. Os dados em 3D podem incluir, por exemplo, modelos em 3D, imagens em 3D, mas também tipos de dados menos estruturados.

[007]Um desafio de realidade virtual em 3D atualmente é incorporar imagem atual ou dados dos usuários (por exemplo, participantes de ambiente de realidade virtual), por exemplo, no ponto de vista de cada um dos outros usuários de uma ma- neira contínua. Visto que alguns sistemas de realidade virtual atualmente disponíveis exigem alguma forma de fones de ouvido de realidade virtual na qual o visor próximo do olho está sendo integrado, pelo menos uma porção da face está sendo obstruída pelo fone de ouvido.

[008]Em algumas aplicações de realidade virtual em 3D, é desejável captu- rar em tempo real a imagem do usuário e consolidar a imagem com a visualização de cada um dos outros usuários. Em tais aplicações, um capacete tal como um fone de ouvido de realidade virtual ou um objeto de obstrução facial que serve como um visor próximo do olho pode provocar a perda de dados, por exemplo, porções da face do usuário, o que prejudica a experiência do usuário.

[009]A Figura 1 ilustra um ambiente de realidade virtual 100 de acordo com a técnica anterior, em que tanto a pessoa 106 quanto a pessoa 108 (usuários) estão usando uma unidade de visor próximo do olho 102 e 104 respectivamente, que pas- sam a obstruir pelo menos uma porção de suas faces. Suas respectivas visualiza- ções (o que se vê através dos visores) 110 e 112 estão usualmente em 3D por natu- reza e, assim, cada imagem de visualização contém dois pontos de vista (não mos-

trados para simplicidade). As visualizações 110 e 112, apresentadas aos usuários através de seus respectivos visores próximos do olho incluem um ambiente simulado por computador que não mostra objetos reais 103 e 105. As visualizações 110 e 112 de ambiente simulado por computador são ajustadas em tempo real em resposta aos movimentos do usuário. As visualizações 110 e 112 apresentam imagens de seu participante oponente 106A e 108A que usa o visor próximo do olho 102 A e 104A que obstrui a maioria de suas faces nas visualizações 112 e 110. A obstrução facial é um resultado indesejável e prejudica a experiência completa do usuário.

SUMÁRIO DA INVENÇÃO

[010]Algumas modalidades da presente invenção superam as desvantagens mencionadas anteriormente da técnica anterior pelo fornecimento de um método e um sistema para reconstruir as porções faciais obstruídas para ambientes de reali- dade virtual. O método pode incluir as etapas a seguir: obter dados em 3D off-line, que são dados em 3D de uma cabeça de uma pessoa que não usa um objeto de obstrução facial, que é um objeto que obstrui uma porção da face da pessoa; obter em tempo real, dados em 3D em tempo real, que são dados em 3D da dita cabeça, em que a dita pessoa usa o dito objeto de obstrução facial; aplicar uma transforma- ção em 3D a pelo menos uma porção dos dados em 3D off-line, com base nos da- dos em 3D em tempo real, para produzir dados em 3D em tempo real reconstruídos, que são dados em 3D em tempo real relacionados às porções faciais obstruídas; e consolidar os dados em 3D em tempo real reconstruídos nos dados em 3D em tem- po real. O sistema pode implantar as etapas mencionadas anteriormente através de um processador de computador.

[011]Essas vantagens e/ou aspectos adicionais e/ou outros das modalidades da presente invenção são apresentados na descrição detalhada que se segue; pos- sivelmente decorrentes da descrição detalhada; e/ou passível de ser aprendido por prática das modalidades da presente invenção.

BREVE DESCRIÇÃO DAS FIGURAS

[012]Para um melhor entendimento das modalidades da invenção e para mostrar como as mesmas podem ser executadas, a referência será agora feita, sim- plesmente a título de exemplo, aos desenhos anexos em que os numerais similares designam elementos ou seções correspondentes ao longo de toda a modalidade.

[013]Nos desenhos anexos:

[014]A Figura 1 é um diagrama de blocos esquemático que ilustra um ambi- ente de realidade virtual de acordo com a técnica anterior;

[015]A Figura 2 é um diagrama de blocos esquemático que ilustra um ambi- ente de realidade virtual de acordo com as modalidades da presente invenção;

[016]A Figura 3 é um diagrama esquemático que ilustra um ambiente de rea- lidade virtual de acordo com as modalidades da presente invenção;

[017]A Figura 4 é um diagrama esquemático que ilustra um sistema de acor- do com as modalidades para a presente invenção;

[018]A Figura 5 é um diagrama de blocos esquemático que ilustra um siste- ma de acordo com as modalidades de acordo com da presente invenção;

[019]A Figura 6 é um diagrama esquemático que ilustra uma sequência de ações tomadas de acordo com as modalidades da presente invenção;

[020]A Figura 7 é um diagrama de blocos esquemático que ilustra um aspec- to de um sistema de acordo com as modalidades de acordo com a presente inven- ção; e

[021]A Figura 8 é um fluxograma que ilustra um método de acordo com al- gumas modalidades da presente invenção.

DESCRIÇÃO DETALHADA DA INVENÇÃO

[022]Em referência específica agora aos desenhos em detalhes, salienta-se que os particulares mostrados estão a título de exemplo e para propósito de discus- são ilustrativa das modalidades preferenciais da presente técnica apenas e são apresentados a fim de fornecer o que se acredita ser a descrição mais útil e enten- der prontamente a descrição dos princípios e aspectos conceituais da presente téc- nica. Em relação a isso, nenhuma tentativa é feita para mostrar os detalhes estrutu- rais da presente técnica em mais detalhes do que é necessário para um entendimen- to fundamental da presente técnica, a descrição tomada com os desenhos que se torna aparente àquele indivíduo versado na técnica como as diversas formas da in- venção podem ser incorporadas em prática.

[023]Antes pelo menos de uma modalidade da presente técnica ser explica- da em detalhes, deve-se compreender que a invenção não é limitada em sua aplica- ção aos detalhes de construção e à disposição de componentes apresentados na descrição a seguir ou ilustrados nos desenhos. A presente técnica é aplicável a ou- tras modalidades ou pode ser praticada ou executada de várias maneiras. Além dis- so, entende-se que a fraseologia e a terminologia empregadas no presente docu- mento são para propósitos de descrição e não devem ser interpretadas como limita- doras.

[024]Algumas modalidades da presente invenção abordam o desafio de re- construir uma porção facial de um participante de realidade virtual em casos em que uma porção da face é obstruída, usualmente por um fone de ouvido de realidade virtual em 3D tal como fone de ouvido Oculus Rift™ ou Google Glass™. Operar no domínio de realidade virtual em 3D torna a solução especificamente desafiadora a fim de reconstruir dados em 3D em tempo real tal como imagem em 3D da face do participante de realidade virtual de uma maneira contínua para os outros visualizado- res-participantes.

[025]A Figura 2 é um diagrama de blocos esquemático que ilustra um ambi- ente de realidade virtual de acordo com as modalidades da presente invenção. Uma cena 200 em um sistema de realidade virtual é descrita, em que ambas as pessoas (participantes) 206 e 208 estão usando um visor próximo do olho ou um fone de ou-

vido de VR 202 e 204 respectivamente, que passam a obstruir suas faces. No entan- to, em oposição à Figura 1, suas respectivas visualizações 210 e 212 que conforme apresentado através de seus visores próximos do olho 202 e 204 mostram seu parti- cipante oponente que não usa o visor próximo do olho (objetos reais 203 e 205 tam- bém não são mostrados como antecedente do mundo real que está sendo substituí- do por um ambiente simulador por computador). Isso é permitido pela substituição de parte de uma imagem que inclui o objeto de obstrução por imagens de face su- plementares ou modificadas que estão sendo atualizadas em tempo real, com base nos movimentos atuais e/ou expressões e/ou gestos dos participantes conforme será explicado em detalhes abaixo.

[026]A Figura 3 é um diagrama de blocos esquemático que ilustra um ambi- ente de realidade virtual de acordo com algumas modalidades da presente invenção.

No presente documento, um terceiro participante (não mostrado) está visualizando dois outros participantes 308A e 306A que usam capacetes tais como fones de ouvi- do de VR 304A e 302A no mundo real 300 que também contém objetos reais 303 e

305. Na visualização de realidade virtual 300B apresentada para o terceiro usuário, os dois outros participantes 308B e 306B são apresentados sem os capacetes visto que esses foram substituídos de modo contínuo por imagens de face reconstruída.

[027]A Figura 4 é um diagrama esquemático que ilustra um aspecto de acor- do com algumas modalidades de acordo com a presente invenção. Um capacete de usuário 404 tal como um fone de ouvido de VR é mostrado com uma pluralidade de sensores 402 ao longo de seu lado interno (fixável à face do usuário). Os sensores são configurados para captar os gestos do usuário tais como os olhos (por exemplo, pupila do olho e movimento da pálpebra) e um processador de computador é confi- gurado para modificar uma imagem de base da face com base nos gestos em curso e apresentar os mesmos em tempo real (ou com pouca latência possível). A título de ilustração, os sensores 402 podem captar os movimentos da pele facial que são in-

dicativos de riso ou sorriso do usuário. Em resposta, a imagem base de sua face será submetida a um processo de processamento de imagem que aplica o efeito da risada ou do sorriso tal como estiramento de várias porções. Esse processo está sendo atualizado em tempo real. Consequentemente, será apresentada a outros vi- sualizadores a imagem facial de sorriso modificada do usuário que será inserida con- tinuamente na imagem do usuário, em vez da porção obstruída da face.

[028]A Figura 5 é um diagrama de blocos esquemático que ilustra um siste- ma 500 de acordo com as modalidades de acordo com da presente invenção. O sis- tema 500 pode incluir: um dispositivo de captura de dados em 3D 510 configurado para capturar dados em 3D (por exemplo, imagem) 512 de uma cena que contém pelo menos uma pessoa que usa um objeto de obstrução facial, em que a capturada é tomada a partir de um ponto de vista de um usuário especificado. O sistema 500 pode incluir adicionalmente um processador de computador 520 configurado para: obter dados 550 indicativos, por exemplo, de porções faciais obstruídas pelo objeto de obstrução facial, possivelmente de um módulo de captura de face 530 que, por sua vez, recebe os dados de sensores 532 a 534 ou de outras fontes tais como as bases de dados em rede. Uma fonte possível para imagens em 2D de faces de usu- ários pode ser as redes sociais tal como Facebook™ ou Linkedln™ que podem ar- mazenar imagens de perfil de usuários. Essas imagens em 2D podem ser usadas para gerar dados em 3D da cabeça ou da face do usuário.

[029]O processador de computador 520 pode ser adicionalmente configura- do para reconstruir dados em 3D (por exemplo, uma imagem) das porções faciais obstruídas com base nos dados obtidos. O processador de computador 520 pode ser adicionalmente configurado para consolidar a imagem facial reconstruída no res- pectivo local na imagem capturada da cena. O sistema 500 pode incluir adicional- mente um visor próximo ao olho 570 configurado para apresentar a imagem consoli- dada ao usuário especificado, em que a imagem consolidada é colocada em um ambiente simulado por computador ajustável com base no ponto de vista do usuário especificado.

[030]De acordo com algumas modalidades da presente invenção, o objeto de obstrução facial compreende um ou mais sensores localizados em um lado inter- no do dito objeto de obstrução facial, em que os sensores são configurados para executar a obtenção de dados indicativos de porções faciais obstruídas pelo objeto de obstrução facial.

[031]De acordo com algumas modalidades da presente invenção, a capta- ção pelos sensores pode ser na forma de captura de imagem e em que os ditos da- dos obtidos são uma imagem de porções da face obstruída.

[032]De acordo com algumas modalidades da presente invenção, os senso- res podem ser configurados para captar gestos faciais, e em que a reconstrução de uma imagem facial é executada pela modelagem de gestos captados para alterar a face em relação a uma imagem base das porções faciais obstruídas capturadas an- teriormente.

[033]De acordo com algumas modalidades da presente invenção, o proces- sador de computador 520 pode ser configurado para obter os dados indicativos de porções faciais obstruídas pelo objeto de obstrução facial compreendendo obter uma imagem base das porções faciais obstruídas, que foi anteriormente capturada.

[034]De acordo com algumas modalidades da presente invenção, a obten- ção de uma imagem base das porções faciais obstruídas pelo processador é execu- tada através de pesquisa em bases de dados em rede.

[035]De acordo com algumas modalidades da presente invenção, a recons- trução de uma imagem facial das porções faciais obstruídas pode ser baseada em dados obtidos que é executada pelo processador pelo monitoramento pelo menos um dentre: posição, orientação, perfil e sinais vitais (por exemplo, taxa de batimento cardíaco, indicadores de sistema respiratório, etc.) da pelo menos uma pessoa que usa o um objeto de obstrução facial, e aplicação dos dados obtidos sobre um mode- lo tridimensional da face da pelo menos uma pessoa para produzir uma imagem fa- cial modificada.

[036]De acordo com algumas modalidades da presente invenção, o objeto de obstrução facial compreende um visor próximo ao olho.

[037]De acordo com algumas modalidades da presente invenção, o visor próximo ao olho é incorporado dentro de um capacete.

[038]De acordo com algumas modalidades da presente invenção, o ambien- te simulado por computador pode ser uma cena tridimensional comum para o usuá- rio especificado e o pelo menos uma pessoa que usa o objeto de obstrução facial.

[039]A Figura 6 é um diagrama esquemático 600 que ilustra uma sequência de ações tomadas de acordo com modalidades da presente invenção. Em uma pri- meira etapa, os dados em 3D off-line (por exemplo, na forma de um modelo em 3D) da cabeça de uma pessoa 610 estão sendo obtidos possivelmente, mas não exclu- sivamente, com base em uma pluralidade de imagens em 2D da pessoa 612, 614 e

616. As imagens em 2D da pessoa 612, 614 e 616 podem ser capturadas em uma sessão off-line antes de usar o capacete ou podem ser obtidas a partir de fontes de terceiros tais como bases de dados em rede.

[040]Alternativamente, os dados em 3D off-line podem ser obtidos com o uso de tecnologia de luz estruturada, antes de usar o acessório de cabeça de realidade virtual. Especificamente, ao usar luz estruturada, tal como revelado na Publicação de Pedido PCT da WIPO nº WO2013088442, que é incorporada no presente documen- to como referência em sua totalidade, um mapa de profundidade da cabeça ou da face do usuário pode ser gerado, a partir do qual os dados em 3D off-line podem ser recuperados.

[041]Então, em uma segunda etapa, os dados em 3D em tempo real (por exemplo, modelo) do usuário 620 são obtidos, enquanto a pessoa está usando um objeto de obstrução facial 622 (por exemplo, o fone de ouvido de realidade virtual), a imagem em tempo real está sendo constantemente atualizada. Em uma terceira eta- pa, uma transformação em 3D pode ser aplicada em um módulo de reconstrução 640 para dados em 3D off-line 610 ou uma porção do mesmo 618 (que corresponde aos limites das porções obstruídas 634 que podem ser segmentadas a partir do mo- delo em 3D 632). A transformação em 3D pode ser baseada em dados em 3D em tempo real (modelo) 620 e, mais especificamente, parâmetros em tempo real 644 a partir dos quais a aparência de porções obstruídas 634 pode ser estimada.

[042]Os parâmetros em tempo real 644 podem incluir, por exemplo: posição e orientação da face do usuário, ou de expressões, mas também quão cansada a pessoa está e qual tipo de emoções está sendo sentida em tempo real. Esses parâ- metros em tempo real 644 estão todos sendo usados a fim de estimar e reconstruir as porções faciais que estão sendo obstruídas pelo fone de ouvido de realidade vir- tual

[043]O produto do módulo de reconstrução (ou etapa) consiste em dados em tempo real reconstruídos (ou modelo) 650 que incluem uma subporção de área que é mudada por porções não obscurecidas 652, usualmente as bochechas mudadas por alterações de gestos feitos nas bochechas externas. A aparência dessa área pode ser estimada com base em parâmetros em tempo real 644 relacionados às porções não obstruídas. Uma outra área é a área que não é mudada por porções não obstruídas 654 (por exemplo, os olhos). A aparência dos olhos pode ser estima- da com base em um outro modelo, e com o uso de metadados 642 a partir de fontes externas para dados em 2D em tempo real 622 tal como para qual direção a pessoa está olhando, tendo em que vista que, no ambiente de realidade virtual, a pessoa está interagindo com uma outra pessoa (cuja posição é também conhecida). Final- mente, os dados em 3D em tempo real reconstruídos (ou modelo) 650 podem ser consolidados em dados em 3D em tempo real (ou modelo) possivelmente com as porções obstruídas segmentadas 632, para produzir dados em 3D em tempo real reconstruídos (ou modelo) da cabeça da pessoa com as porções obstruídas recons- truídas. O modelo 660 pode, então, ser gerado em uma imagem em 3D a ser apre- sentada para uma outra pessoa (ou pessoas) que participa no ambiente de realidade virtual.

[044]A Figura 7 é um diagrama de blocos esquemático que ilustra um aspec- to de um sistema de acordo com modalidades de acordo com a presente invenção.

Especificamente, uma ilustração esquemática que explica como a porção facial obs- truída pode ser reconstruída é apresentada no presente documento. O sistema 700 pode incluir uma rede 710 que pode ser a Internet que serve como uma fonte para imagens faciais de participantes. Conforme indicado acima, essas imagens bases 720 são usualmente imagens brutas que podem ser coletadas de sites da web de rede social como o Facebook™.

[045]Concomitantemente, um modelador 730 que é implementado por sof- tware pode gerar um modelo em 3D 732 da face que precisa ser reconstruída. O modelo pode ser baseado em várias visualizações em 2D da cabeça da pessoa cuja imagem facial precisa ser reconstruída. Então, tanto a imagem base 720 da face re- cuperada a partir da fonte de terceiros quanto o modelo em 3D 732 são alimentados em um processador de computador 740 que os processa, juntos com os parâmetros em tempo real 750 relacionados à posição real e à orientação e, talvez, gestos faci- ais, da cabeça do participante cuja imagem facial precisa ser reconstruída. A saída do processador de computador 740 é uma imagem facial reconstruída 760 na qual a posição real, ambiente próximo e orientação do participante são usados a fim de ajustar a imagem base e aplicar no modelo de modo que a imagem facial reconstruí- da será apresentada na visualização de realidade virtual o mais natural possível. Os exemplos para parâmetros em tempo real podem ser a direção de visualização do participante, sua condição física tal como quão cansado está que pode mudar suas posições oculares e sua aparência geral de sua face e similares, seu humor atual, por exemplo, felicidade/raiva/tristeza, etc., seu ambiente próximo, por exemplo, em casa ou fora na praia em um clima quente. Esses dados de mudança de aparência podem ser usados pelo modelador para reconstruir e modificar a imagem base, por métodos conhecidos na técnica (por exemplo, de texturização e animação digital).

[046]Em algumas outras modalidades, as expressões faciais podem ser de- duzidas pelo contexto do ambiente de realidade virtual tal como o que ocorreu para o usuário no mundo virtual (por exemplo, em um jogo) e, então, a imagem facial re- construída pode ser dinamicamente ajustada com base nas atividades do mundo virtual.

[047]A Figura 8 é um fluxograma de nível alto que ilustra um método 800 de acordo com algumas modalidades da presente invenção. Entende-se que o método 800 pode ser implantado por uma arquitetura que é diferente da arquitetura do sis- tema 500 mencionada anteriormente. O método 800 pode incluir: obter dados em 3D off-line, que são dados em 3D de uma cabeça de uma pessoa que não usa um obje- to de obstrução facial, que é um objeto que obstrui uma porção da face da pessoa 810; obter em tempo real, dados em 3D em tempo real, que são dados em 3D da dita cabeça, em que a dita pessoa usa o dito objeto de obstrução facial 820; aplicar uma transformação em 3D a pelo menos uma porção dos dados em 3D off-line, com base nos dados em 3D em tempo real, para produzir dados em 3D em tempo real reconstruídos, que são dados em 3D em tempo real relacionados às porções faciais obstruídas; e consolidar os dados em 3D em tempo real reconstruídos nos dados em 3D em tempo real 840.

[048]De acordo com algumas modalidades da presente invenção, os dados em 3D off-line podem ser um modelo em 3D off-line e os dados em 3D em tempo real podem ser um modelo em 3D em tempo real. Um modelo pode ser estrutura matemática ou real indicativa de caracterização espacial.

[049]De acordo com algumas modalidades da presente invenção, o método pode incluir adicionalmente a etapa de gerar uma imagem em 3D em tempo real consolidada a partir dos dados em 3D em tempo real reconstruídos consolidados e dos dados em 3D em tempo real.

[050]De acordo com algumas modalidades da presente invenção, os dados em 3D em tempo real podem ser sobreposicionados sobre um ambiente de realida- de virtual (VR).

[051]De acordo com algumas modalidades da presente invenção, os dados em 3D em tempo real podem ser obtidos pelo monitoramento de pelo menos um dentre: posição, orientação, perfil e sinais vitais da pessoa que usa o objeto de obs- trução facial.

[052]De acordo com algumas modalidades da presente invenção, o método pode incluir adicionalmente a etapa de aplicar os dados em 3D em tempo real obti- dos sobre um modelo em 3D da face da dita pessoa para produzir uma imagem faci- al modificada.

[053]De acordo com algumas modalidades da presente invenção, a trans- formação em 3D pode incluir adicionalmente usar dados obtidos a partir de porções faciais não obstruídas da pessoa para estimar as porções faciais obstruídas que são mudadas pelas alterações nas porções faciais não obstruídas. Especificamente, a estimação pode ser executada com base na captação de expressão facial dos dados em 3D em tempo real.

[054]De acordo com algumas modalidades da presente invenção, a trans- formação em 3D pode incluir adicionalmente estimar uma aparência de porções obs- truídas que são não mudadas pelas alterações nas porções faciais não obstruídas (por exemplo, os olhos) e usar a estimação na transformação em 3D. Especifica- mente, a estimação pode ser executada com base em metadados relacionados à dita pessoa.

[055]De acordo com algumas modalidades da presente invenção, as por- ções obstruídas da pelo menos uma pessoa podem ser pelo menos parcialmente reconstruídas com base em ocorrências no ambiente de VR. Entende-se que esse recurso também pode ser implantado nas porções não obstruídas da face.

[056]De acordo com algumas modalidades da presente invenção, a obten- ção dos dados em 3D off-line pode ser executada através de uma base de dados externa que pode armazenar imagens em 2D recebidas de uma rede de computa- dor. Alternativamente, a obtenção dos dados em 3D off-line pode ser executada através de um sensor de 3D, antes de começar uma sessão do ambiente de VR.

[057]Na descrição acima, uma modalidade é um exemplo ou implantação das invenções. As várias ocorrências de "uma (numeral) modalidade", "uma (artigo indefinido) modalidade" ou "algumas modalidades" não se referem necessariamente todas às mesmas modalidades.

[058]Embora vários recursos da invenção possam ser descritos no contexto de uma única modalidade, os recursos também podem ser fornecidos separadamen- te ou em qualquer combinação adequada. Adversamente, embora a invenção possa ser descrita no presente documento no contexto de modalidades separadas para clareza, a invenção também pode ser implantada em uma única modalidade. A refe- rência no relatório descritivo a "algumas modalidades", "uma (numeral) modalidade", "uma (artigo indefinido) modalidade" ou "outras modalidades" significa que um recur- so, estrutura ou característica particular descrita em conjunto com as modalidades é incluído em pelo menos algumas modalidades, mas não necessariamente em todas as modalidades, das invenções.

[059]Deve ficar entendido que a fraseologia e a terminologia empregadas no presente documento não devem ser interpretadas como limitantes e são apenas pa- ra propósitos descritivos.

[060]Os princípios e os usos dos ensinamentos da presente invenção podem ser mais bem entendidos em referência à descrição, figuras e exemplos anexos.

[061]Deve ficar entendido que os detalhes apresentados no presente docu- mento não interpretam uma limitação a uma aplicação da invenção.

[062]Adicionalmente, deve ficar entendido que a invenção pode ser executa- da ou praticada de várias maneiras e que a invenção pode ser implantada em moda- lidades diferentes das esboçadas na descrição acima.

[063]Deve ficar entendido que os termos "que inclui", "que compreende", "que consiste" e variantes gramaticais dos mesmos não excluem a adição de um ou mais componentes, recursos, etapas ou números inteiros, ou grupos dos mesmos e que os termos devem ser interpretados como componentes, recursos, etapas ou números inteiros de especificação.

[064]Se o relatório descritivo ou as reivindicações se referirem a um elemen- to "adicional", isso não exclui de ser mais de um do elemento adicional.

[065]Deve ficar entendido que onde as reivindicações ou o relatório descriti- vo se referirem a "um" elemento, tal referência não deve ser interpretada de modo que haja apenas um daquele elemento.

[066]Deve ficar entendido que onde o relatório descritivo estabelecer que um componente, recurso, estrutura ou característica "pode" ou "poderia" ser incluído, não exige-se que esse componente, recurso, estrutura ou característica particular seja incluído.

[067]Onde for aplicável, embora diagramas de estado, fluxogramas ou am- bos possam ser usados para descrever as modalidades, a invenção não é limitada a esses diagramas ou às descrições correspondentes. Por exemplo, o fluxo não preci- sa se mover através de cada caixa ou estado ilustrado, ou exatamente na mesma ordem conforme ilustrado e descrito.

[068]Os métodos da presente invenção podem ser implantados pela realiza- ção ou conclusão manual, automática ou uma combinação das mesmas de etapas ou tarefas selecionadas.

[069]As descrições, os exemplos, os métodos e os materiais apresentados nas reivindicações e no relatório descritivo não devem ser interpretados como limi- tantes, mas, de preferência, como ilustrativos apenas.

[070]Os significados de termos técnicos e científicos usados no presente do- cumento devem ser comumente entendidos por um elemento de conhecimento co- mum na técnica à qual a invenção pertence, salvo se definido de outro modo.

[071]A presente invenção pode ser implantada no teste ou na prática com os métodos e os materiais equivalentes ou similares aos descritos no presente docu- mento.

[072]Embora a invenção tenha sido descrita em relação a um número limita- do de modalidades, essas não devem ser interpretadas como limitações no escopo da invenção, mas, de preferência, como exemplificações de algumas das modalida- des preferenciais. Outras variações, modificações e aplicações possíveis também estão incluídas no escopo da invenção. Consequentemente, o escopo da invenção não deve ser limitado pelo o que fora descrito até o momento, mas pelas reivindica- ções anexas e seus equivalentes legais.

Claims (15)

REIVINDICAÇÕES

1. Método CARACTERIZADO pelo fato de que compreende: capturar uma imagem 3D de uma cena, a imagem 3D da cena contendo da- dos 3D de uma pessoa na cena capturada, a pessoa usando um objeto de obstrução facial; obter dados indicativos de porções faciais obstruídas pelo objeto de obstru- ção facial; reconstruir uma imagem facial em 3D das porções faciais obstruídas com base nos dados obtidos; e consolidar a imagem facial reconstruída em 3D nos dados 3D da pessoa na cena capturada.

2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que obter dados indicativos de porções faciais obstruídas pelo objeto de obstrução facial compreende detectar as porções faciais obstruídas de um lado interno do obje- to de obstrução facial.

3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que detectar as porções faciais obstruídas compreende capturar imagens das por- ções faciais obstruídas e em que os dados obtidos compreendem as imagens captu- radas das porções faciais obstruídas.

4. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que detectar as porções faciais obstruídas compreende detectar gestos faciais, e em que a imagem facial reconstruída em 3D compreende modelar os gestos faciais para alterar a imagem facial em 3D em relação a uma imagem base capturada anterior- mente das porções faciais obstruídas.

5. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que obter dados indicativos de porções faciais obstruídas pelo objeto de obstrução facial compreende acessar uma imagem base previamente capturada das porções faciais obstruídas.

6. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que reconstruir a imagem facial em 3D das porções faciais obstruídas com base nos dados obtidos compreende: monitorar um ou mais parâmetros, os parâmetros selecionados de uma lista compreendendo: uma posição da face, uma orientação da face e um perfil da face; e modificar a imagem base com base em um ou mais parâmetros para produ- zir uma imagem facial modificada.

7. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que reconstruir a imagem facial em 3D das partes faciais obstruídas com base nos dados obtidos compreende: monitorar sinais vitais da pessoa que usa o objeto de obstrução facial; e modificar a imagem base com base nos sinais vitais para produzir uma ima- gem facial modificada.

8. Sistema CARACTERIZADO pelo fato de que compreende: um dispositivo de captura de imagem configurado para capturar uma ima- gem 3D de uma cena, a imagem 3D da cena contendo dados 3D de uma pessoa na cena capturada, a pessoa usando um objeto de obstrução facial; e um processador de computador configurado para: obter dados indicativos de porções faciais obstruídas pelo objeto de obstru- ção facial; reconstruir uma imagem facial em 3D das porções faciais obstruídas com base nos dados obtidos; e consolidar a imagem facial em 3D reconstruída em dados 3D da pessoa na cena capturada.

9. Sistema, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que obter dados indicativos de porções faciais obstruídas pelo objeto de obstru-

ção facial compreende os sensores de controle para detectar as porções faciais obs- truídas de um lado interno do objeto de obstrução facial.

10. Sistema, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a detecção das porções faciais obstruídas compreende capturar imagens das porções faciais obstruídas e em que os dados obtidos compreendem as imagens capturadas das porções faciais obstruídas.

11. Sistema, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que detectar as porções faciais obstruídas compreende detectar gestos faciais e em que reconstruir a imagem facial em 3D compreende modelar os gestos faciais para alterar a imagem facial em 3D em relação a uma imagem de base anteriormen- te capturada das porções faciais obstruídas.

12. Sistema, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que obter dados indicativos de porções faciais obstruídas pelo objeto de obstru- ção facial compreende acessar uma imagem de base previamente capturada das porções faciais obstruídas.

13. Sistema, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que reconstruir a imagem facial em 3D das porções faciais obstruídas com base nos dados obtidos compreende: monitorar um ou mais parâmetros, os parâmetros selecionados de uma lista compreendendo: uma posição da face, uma orientação da face e um perfil da face; e modificar a imagem base com base no um ou mais parâmetros para produzir uma imagem da face modificada.

14. Sistema, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que reconstruir a imagem facial em 3D das porções faciais obstruídas com base nos dados obtidos compreende: monitorar sinais vitais da pessoa que usa o objeto de obstrução facial; e modificar a imagem base com base nos sinais vitais para produzir uma ima-

gem facial modificada.

15. Sistema, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que obter dados indicativos de porções faciais obstruídas pelo objeto de obstrução facial compreende derivar um contexto da pessoa em comunicação com outra pessoa.