BR112020014077B1

BR112020014077B1 - Visor montado na cabeça, método realizado por um visor montado na cabeça, e, meio de armazenamento legível por computador

Info

Publication number: BR112020014077B1
Application number: BR112020014077-5A
Authority: BR
Inventors: José ARAÚJO; Volodya Grancharov; Gunilla BERNDTSSON; Alvin Jude Hari Haran
Original assignee: Telefonaktiebolaget Lm Ericsson (Publ)
Priority date: 2018-03-28
Filing date: 2018-06-04
Publication date: 2022-10-04
Also published as: ES2898216T3; AU2018416431B2; EP3776143B1; JP2021520668A; AU2018416431A1; US11587285B2; AR114718A1; CA3093180C; CA3093180A1; JP6993516B2; CO2020008872A2; KR102456332B1; WO2019185173A1; CN111788538A; RU2751981C1; US20210335032A1; SG11202006241XA; BR112020014077A2; CN111788538B; ZA202003994B

Abstract

É provido um Visor Montado na Cabeça (HMD) (100) que compreende uma câmera (101) configurada para capturar um vídeo de uma cena do mundo real com um primeiro campo de visão (FoV) (111), um circuito de interface de rede (102) configurado para transmitir vídeo para um dispositivo de exibição receptor (140) e meios de processamento (103) que são operativos para gerar um modelo 3D da cena do mundo real e para gerar um vídeo a partir do modelo 3D usando um segundo FoV que é mais largo que o primeiro FoV (111). Os meios de processamento (103) são adicionalmente operacionais para estimar um movimento da câmera (101) e transmitir o vídeo gerado para o dispositivo de exibição receptor (140) se o movimento estimado da câmera (101) atender uma ou mais condições indicativas de movimento rápido, ou transmitir o vídeo capturado para o dispositivo de exibição receptor (140). Além disso, é provido um método executado por um HMD, um programa de computador correspondente e um meio de armazenamento legível por computador.

Description

Campo Técnico

[001] A invenção se refere a um Visor Montado na Cabeça (HMD), um método realizado por um HMD, um programa de computador correspondente e um meio de armazenamento legível por computador correspondente.

Fundamentos

[002] Visor Montado na Cabeça (HMDs) ou dispositivos semelhantes podem ser usados em aplicações de orientação remota visual. Por exemplo, um engenheiro de suporte que visita um site para servir uma estação base de rádio pode usar um HMD compreendendo uma câmera frontal que captura um vídeo da cena física do mundo real que o engenheiro de suporte está visualizando, como um gabinete de estação base de rádio. O HMD pode ser usado para exibir documentação relevante para o engenheiro de suporte, ao mesmo tempo em que transmite em fluxo contínuo o vídeo capturado para um local remoto, por exemplo, para um Centro de Operações de Rede (NOC), onde é visualizado por um especialista que está orientando e/ou auxiliando o engenheiro de suporte.

[003] Devido ao Campo de Visão (FoV) limitado da câmera incluída no HMD, a pessoa que visualiza o vídeo capturado pela câmera do HMD possui apenas um FoV limitado do site visitado pelo engenheiro de suporte. Em particular, este é o caso se a câmera do HMD for ampliada para prover uma visão aproximada do equipamento a ser reparado.

[004] Como resultado do FoV limitado do vídeo capturado, a pessoa que assiste ao vídeo capturado pode sofrer de Mal-estar de Movimento Induzido Visualmente (VIMS). Em particular, esse é o caso se a câmera do HMD estiver se movendo rapidamente, por exemplo, se o engenheiro de suporte girar a cabeça ou mudar de posição rapidamente. Geralmente, o VIMS é causado por movimentos que são vistos, mas não sentidos. Devido ao FoV limitado, apenas um subconjunto de pontos de referência visuais na cena do mundo real é capturado pelo vídeo.

Sumário

[005] É um objetivo da invenção prover uma alternativa aprimorada às técnicas acima e à técnica anterior.

[006] Mais especificamente, é um objetivo da invenção prover soluções melhoradas para aplicações visuais de orientação remota. Em particular, é um objetivo da invenção prover soluções para colaboração visual remota que atenuam o risco de VIMS.

[007] Estes e outros objetivos da invenção são alcançados por meio de diferentes aspectos da invenção, conforme definido pelas reivindicações independentes. As modalidades da invenção são caracterizadas pelas reivindicações dependentes.

[008] De acordo com um primeiro aspecto da invenção, é provido um HMD. O HMD compreende uma câmera configurada para capturar um vídeo de uma cena do mundo real com um primeiro FoV, um circuito de interface de rede configurado para transmitir vídeo em fluxo contínuo para um dispositivo de exibição receptor e meios de processamento. Os meios de processamento são operativos para gerar um modelo 3D da cena do mundo real e gerar um vídeo a partir do modelo 3D usando um segundo FoV que é mais largo que o primeiro FoV. Os meios de processamento são adicionalmente mais operacionais para estimar um movimento da câmera e, se o movimento estimado da câmera satisfizer uma ou mais condições indicativas de movimento rápido, transmitir em fluxo contínuo o vídeo gerado para o dispositivo de exibição receptor, caso contrário, transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor.

[009] De acordo com um segundo aspecto da invenção, é provido um método realizado por um HMD. O método consiste em capturar um vídeo de uma cena do mundo real com um primeiro FoV usando uma câmera incluída no HMD, gerando um modelo 3D da cena do mundo real e gerando um vídeo a partir do modelo 3D usando um segundo FoV que é mais amplo do que o primeiro FoV. O método compreende adicionalmente estimar um movimento da câmera e, se o movimento estimado da câmera satisfizer uma ou mais condições indicativas de movimento rápido, transmitir em fluxo contínuo o vídeo gerado para um dispositivo de exibição receptor usando um circuito de interface de rede compreendido no HMD, caso contrário, transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor usando o circuito da interface de rede.

[0010] De acordo com um terceiro aspecto da invenção, é provido um programa de computador. O programa de computador compreende instruções executáveis por computador para fazer com que um HMD execute o método de acordo com uma modalidade do segundo aspecto da invenção, quando as instruções executáveis por computador são executadas em uma unidade de processamento compreendida no HMD.

[0011] De acordo com um quarto aspecto da invenção, é provido um meio de armazenamento legível por computador. O meio de armazenamento legível por computador armazenou nele o programa de computador de acordo com o terceiro aspecto da invenção.

[0012] A invenção faz uso de um entendimento de que o risco para um visualizador do vídeo transmitido em fluxo contínuo por uma modalidade do HMD de sofrer com VIMS é atenuado ao transmitir em fluxo contínuo um vídeo gerado com menos zoom, em vez do vídeo capturado, se a câmera se mover rapidamente.

[0013] Embora em alguns casos tenham sido descritas vantagens da invenção com referência às modalidades do primeiro aspecto da invenção, o raciocínio correspondente se aplica a modalidades de outros aspectos da invenção.

[0014] Outros objetivos, características e vantagens da invenção se tornarão aparentes ao estudar a seguinte descrição detalhada, os desenhos e as reivindicações anexas. Os versados na técnica percebem que diferentes características da invenção podem ser combinadas para criar modalidades diferentes das descritas a seguir.

Breve descrição dos desenhos

[0015] O exposto acima, bem como os objetos, características e vantagens adicionais da invenção, serão melhor compreendidos através da seguinte descrição detalhada ilustrativa e não limitativa das modalidades da invenção, com referência aos desenhos anexos, nos quais: a Fig. 1 ilustra um HMD em um cenário de colaboração remota, de acordo com modalidades da invenção.

[0016] A Fig. 2 ilustra a transmissão em fluxo contínuo de vídeo pelo HMD, de acordo com modalidades da invenção.

[0017] A Fig. 3 mostra uma modalidade dos meios de processamento compreendidos no HMD.

[0018] A Fig. 4 mostra outra modalidade dos meios de processamento compreendidos no HMD.

[0019] A Fig. 5 mostra um método realizado por um HMD, de acordo com modalidades da invenção.

[0020] Todas as figuras são esquemáticas, não necessariamente em escala, e geralmente mostram apenas as partes necessárias para elucidar a invenção, em que outras partes podem ser omitidas ou meramente sugeridas.

Descrição detalhada

[0021] A invenção será agora descrita mais detalhadamente neste documento depois, com referência aos desenhos anexos, nos quais certas modalidades da invenção são mostradas. No entanto, esta invenção pode ser realizada de várias formas diferentes e não deve ser interpretada como limitada às modalidades apresentadas neste documento. Em vez disso, essas modalidades são providas a título de exemplo, de modo que esta descrição seja minuciosa e completa, e transmitirá em fluxo contínuo completamente o escopo da invenção aos versados na técnica.

[0022] A presente invenção refere-se à orientação remota visual, que no presente contexto abrange a captura de um vídeo usando uma câmera montada na cabeça usado por uma primeira pessoa, por exemplo, um engenheiro de suporte usando um Visor Montado na Cabeça (HMD) e compartilhando o vídeo capturado (por exemplo, por transmissão em fluxo contínuo) com uma segunda pessoa visualizando o vídeo capturado em um local diferente e potencialmente remoto. A segunda pessoa pode, por exemplo, ser um especialista em orientar e/ou auxiliar o engenheiro de suporte que está visitando um site que precisa ser atendido, por exemplo, uma estação base de rádio ou outro equipamento de uma rede de telecomunicações. Embora as modalidades da invenção sejam descritas principalmente em relação a prover equipamentos de uma rede de telecomunicações, será apreciado que as modalidades da invenção podem ser utilizadas em muitos tipos diferentes de aplicações de orientação remota visual, como prover veículos (por exemplo, carros, caminhões, trens e aviões), prover eletrodomésticos (por exemplo, lava-louças, máquinas de lavar, geladeiras e bombas de calor), prover computadores e equipamentos de rede em data centers, monitorar trabalhos de construção, vigilância (por exemplo, por guardas de segurança ou agentes da lei), e assim por diante.

[0023] Na Fig. 1, um HMD 100 é ilustrado, de acordo com modalidades da invenção. O HMD 100 compreende uma câmera 101 que está configurada para capturar um vídeo de uma cena do mundo real com um primeiro campo de visão (FoV) 111. A câmera 101 pode, por exemplo, ser uma câmera frontal que captura a cena na frente do usuário 151 usando o HMD 100. O HMD 100 compreende adicionalmente um circuito de interface de rede 102 que está configurado para transmitir em fluxo contínuo vídeo para um dispositivo de exibição receptor 140, onde pode ser renderizado e exibido para um visualizador 152. Como é ilustrado na Fig. 1, a pessoa 151 usando o HMD100 (referido neste documento como o “usuário”) e o visualizador 152 podem estar em locais diferentes, potencialmente remotos. No restante, supõe-se que o usuário 151 e o visualizador 152 estejam colaborando remotamente. Por exemplo, o usuário 151 pode ser um engenheiro de suporte visitando um site de estação base de rádio de uma rede de telecomunicações, na qual um gabinete de estação base de rádio 121 é implantado. O visualizador 152, visualizando a transmissão em fluxo contínuo de vídeo ao vivo capturado pela câmera 101 usando o dispositivo de exibição receptor 140, pode ser um especialista em orientar e/ou auxiliar o engenheiro de suporte (o visualizador) 151.

[0024] O circuito de interface de rede 102 pode, por exemplo, ser baseado em qualquer tecnologia de comunicação com ou sem fio conhecida. Por exemplo, o circuito de interface de rede 102 pode ser baseado em uma tecnologia de rádio de curto alcance, como Rede de Área Local Sem Fio (WLAN)/Wi-Fi ou Bluetooth, ou uma tecnologia de rádio celular como Sistema Global para Comunicações Móveis (GSM), Sistema Universal de Telecomunicações Móveis (UMTS), Evolução de Longo Prazo (LTE) ou uma tecnologia 5G baseada em NR/NX. As comunicações, ou seja, a troca de dados entre o HMD 100 e o dispositivo de exibição receptor 140, em particular a transmissão em fluxo contínuo de vídeo, podem começar a usar qualquer protocolo adequado, por exemplo, o Protocolo de Transferência de Hipertexto (HTTP), o Protocolo de Aplicação Restrita (CoAP), o Protocolo de Transmissão em Fluxo Contínuo em Tempo Real (RTSP), o Protocolo de Transporte em Tempo Real (RTP), o Protocolo de Controle de Transporte em Tempo Real (RTCP), a Transmissão em Fluxo Contínuo Adaptativa Dinâmica sobre HTTP (DASH) ou similares. Como é exemplificado na Fig. 1, as comunicações entre o HMD 100 e o dispositivo de exibição receptor 140 podem ser transportadas através de conexões com ou sem fio 131 e 132 e uma ou mais redes de comunicações 130, por exemplo, a Internet.

[0025] O HMD 100 compreende adicionalmente meios de processamento 103 que são operativos para fazer com que o HMD 100 funcione de acordo com as modalidades da invenção estabelecidas neste documento. Mais especificamente, o HMD 100 é operativo para gerar um modelo 3D da cena do mundo real e para gerar um vídeo a partir do modelo 3D usando um segundo FoV que é mais largo que o primeiro FoV 111, ou seja, uma visão de “redução de zoom” da cena do mundo real. O modelo 3D pode, por exemplo, ser gerado a partir do vídeo capturado pela câmera 101 (para essa finalidade, a câmera 101 precisa reduzir o zoom, ou seja, aumentar seu FoV 111) e/ou de uma câmera adicional compreendida no HMD 100, por exemplo, formando uma câmera estereoscópica. Como alternativa, ou além disso, o modelo 3D pode ser gerado a partir de um ou mais sensores de profundidade, por exemplo, usando LIDAR ou tecnologias de radar similares ou outros tipos de scanners 3D. O LIDAR mede a distância de um objeto alvo iluminando o objeto com luz laser pulsada e detectando os pulsos refletidos com um sensor. Diferenças nos tempos de retorno do laser e comprimentos de onda podem então ser usadas para gerar uma representação 3D, ou seja, modelo 3D, do objeto e, consequentemente, um modelo de uma cena do mundo real compreendendo uma pluralidade de objetos.

[0026] O modelo 3D pode, por exemplo, ser gerado, armazenado e processado, como uma nuvem de pontos. Em geral, uma nuvem de pontos é um conjunto de pontos de dados em algum sistema de coordenadas. Com base na nuvem de pontos, uma superfície 3D pode ser gerada usando várias metodologias conhecidas no campo da computação gráfica. Uma visão geral dos métodos de reconstrução de superfícies a partir de nuvens de pontos foi provida por M. Berger, A. Tagliasacchi, L. M. Seversky, P. Alliez, G. Guennebaud, J. A. Levine, A. Sharf, and C. T. Silva, “A Survey of Surface Reconstruction from Point Clouds”, Computer Graphics Forum, Volume 36, pages 301-329, Wiley, 2017. Como exemplo, o mapeamento em tempo real de cenas internas usando uma câmera de profundidade de baixo custo em movimento (um sensor Microsoft Kinect) foi relatado por R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. J. Davison, P. Kohi, J. Shotton, S. Hodges, and A. Fitzgibbon, “KinectFusion: Real-time dense surface mapping and tracking”, 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 127-136, IEEE, 2012. Como outro exemplo, a reconstrução 3D em tempo real de um espaço, incluindo pessoas, móveis e objetos, usando câmeras de profundidade estéreas, foi demonstrada por S. Orts-Escolano et al., “Holoportation: Virtual 3D Teleportation in Real-time”, Proceedings of the 29th Annual Symposium on User Interface Software and Technology (UIST ’16), pages 741-754, ACM, 2016.

[0027] O vídeo pode ser gerado posteriormente a partir do modelo 3D, por exemplo, representado por uma nuvem de pontos, como é conhecido no campo da computação gráfica. Isso pode, por exemplo, ser alcançado usando software prontamente disponível, como o Point Cloud Library (PCL) (http://pointclouds.org/), uma estrutura para processamento de imagem em 2D/3D e nuvem de pontos, o Open Graphics Library (OpenGL) (https://www.opengl.org/), uma biblioteca para renderização de gráficos vetoriais em 2D e 3D ou Unity 3D (https://unity3d.com/), um mecanismo de jogo para renderização de vídeo em 2D e 3D.

[0028] O HMD 100 é adicionalmente operacional para estimar um movimento da câmera 101. Por exemplo, o HMD 100 pode adicionalmente compreender pelo menos um sensor de movimento 104 configurado para detectar um movimento do HMD 100, como acelerômetros, giroscópios, magnetômetros, sensores do Sistema de Posicionamento Global (GPS) ou similares. O HMD 100 é operativo para estimar o movimento da câmera 101 com base no movimento detectado do HMD 100, analisando dados de medição e/ou sinais recebidos do(s) sensor(es) de movimento 104 e com base na geometria do HMD 100, em particular, uma distância entre a câmera 101 e o(s) sensor(es) de movimento 104. Mais especificamente, o HMD 100 pode ser operativo para estimar pelo menos um dentre um movimento de rotação, um movimento de inclinação ou um movimento de translação da câmera 101, que é causada por um movimento correspondente da cabeça do usuário 151 usando o HMD 100.

[0029] Como alternativa, o HMD 100 pode ser operativo para estimar o movimento da câmera 101 com base na análise de quadros subsequentes do vídeo capturado pela câmera 101. Isso pode, por exemplo, ser alcançado por meio de uma estimativa de movimento (global) conhecida da codificação/compressão de vídeo. A estimativa de movimento é o processo de determinação de vetores de movimento que descrevem uma transformação de uma imagem para outra, geralmente entre quadros adjacentes em uma sequência de vídeo, como o vídeo capturado pela câmera 101. Isto pode, por exemplo, ser conseguido utilizando um algoritmo de correspondência de blocos para localizar macroblocos correspondentes em uma sequência de quadros de vídeo, como é conhecido na técnica.

[0030] O HMD 100 é adicionalmente operacional para determinar se o movimento estimado da câmera 101 satisfaz uma ou mais condições indicativas de movimento rápido e, nesse caso, transmite em fluxo contínuo o vídeo gerado para o dispositivo de exibição receptor 140, ou seja, o vídeo gerado a partir do Modelo 3D usando um segundo FoV que é mais largo que o primeiro FoV 111. O HMD 100 é adicionalmente operacional, se o movimento estimado da câmera 101 não satisfizer uma ou mais condições indicativas de movimento rápido, para transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor 140, ou seja, o vídeo capturado pela câmera 101 usando o primeiro FoV 111. As uma ou mais condições indicativas de movimento rápido são preferencialmente indicativas de um regime de movimento no qual os visualizadores do vídeo capturado provavelmente sofram de VIMS.

[0031] Uma ou mais condições podem, por exemplo, ser valores limiares para qualquer uma ou uma combinação de uma velocidade ou velocidade de translação, uma aceleração de translação, uma velocidade ou velocidade de rotação e uma aceleração de rotação. Neste respeito, o HMD 100 pode ser operativo para determinar se o movimento estimado da câmera 101 satisfaz uma ou mais condições indicativas de movimento rápido, comparando o movimento estimado da câmera 101 com um ou mais valores limite. Por exemplo, o HMD 100 pode ser operativo para determinar que o movimento estimado da câmera 101 satisfaz uma ou mais condições indicativas de movimento rápido se o movimento estimado exceder os um ou mais valores limite. Pode ser, por exemplo, o caso se o usuário 151 usando o HMD 100 mover sua cabeça rapidamente, por translação (avançar/retroceder/esquerda/direita), rotação (virar à esquerda/direita) ou inclinar (avançar/retroceder/esquerda/direita) de sua cabeça.

[0032] Como um exemplo, o HMD 100 pode ser operativo para acompanhar o movimento da câmera 101 calculando a média e, potencialmente, ponderando vários valores de movimento estimados da câmera 101 durante um certo período de tempo, por exemplo, entre alguns décimos de segundo e alguns segundos. Preferencialmente, o valor atual do Kve movimento estimado médio da câmera 101, , é calculado regularmente, por exemplo, para cada quadro de vídeo capturado pela câmera 101, ou seja, na taxa de quadros do vídeo capturado. Alternativamente, o valor atual para o movimento estimado médio da câmera 101 pode ser calculado para cada quadro n-th (ou seja, a 1/N da taxa de quadros), onde n é um número inteiro positivo. Por exemplo, no momento atual t0, o movimento estimado médio atual da câmera 101 pode ser calculado como:

ondeV(t) é o movimento estimado da câmera 101 no momento t e a função-peso é selecionada de modo que:

,.

[0033] Neste exemplo em particular, o movimento estimado da V(t) câmera 101, , pode ser qualquer componente de velocidade, como um componente de velocidade de translação ou rotação, um valor absoluto de uma velocidade de translação ou rotação ou uma combinação dos mesmos.

[0034] Um ou mais valores limite podem, por exemplo, ser configurados por um fabricante do HMD 100, um provedor de um software usado para colaboração remota, cujo software é executado pelos meios de processamento 103 ou pelo usuário 151. Os valores limite podem ser expressos como valores absolutos ou relativos. Com referência ao exemplo acima, a condição indicativa de movimento rápido pode, por exemplo, ser ^(t0J considerada satisfeita se o movimento estimado atual da câmera 101, , ^ave(£θ) excede o movimento estimado médio atual da câmera 101, , por um determinado valor, ou seja, se

onde . Por exemplo, se , a condição indicativa de movimento rápido é satisfeita se o movimento estimado atual da câmera 101 exceder seu movimento médio atual em pelo menos 50%.

[0035] Opcionalmente, um ou mais valores limite podem ser aprendidos e ajustados durante a operação normal. Por exemplo, o dispositivo de exibição receptor 140 pode ser operativo para detectar se o visualizador 152 sofre de VIMS e notificar o HMD 100 em conformidade. Correspondente, o HMD 100 pode estar operacional, ao receber tal notificação, para registrar valores estimados de movimento, como velocidade de translação/rotação/velocidade ou aceleração, que acionam o VIMS. Com base nesses valores de movimento estimados registrados, o HMD 100 pode ser operativo para determinar um ou mais valores de limite que são selecionados de modo a minimizar o risco de que o visualizador 152 sofra de VIMS. Por exemplo, com base nos valores de movimento estimados registrados, os valores limite podem ser definidos em um limite inferior, ou logo abaixo do limite inferior, dos valores de movimento estimados registrados que acionam o VIMS.

[0036] Modalidades da invenção são vantajosas, pois o risco de uma pessoa (como o visualizador 152) visualizar um fluxo de vídeo que é recebido e capturado por uma câmera não estacionária (como a câmera 101 compreendida no HMD 100 usada pelo usuário 151) é reduzido. Isso é obtido alternando entre transmitir em fluxo contínuo o vídeo capturado pela câmera 101 se o HMD 100 não estiver se movendo rapidamente, ou seja, se o movimento estimado da câmera 101 não atender às uma ou mais condições indicativas de movimento rápido e transmitir em fluxo contínuo um vídeo que é gerado a partir de um modelo 3D da cena do mundo real usando um segundo FoV que é mais largo que o primeiro FoV 111 da câmera 101, se o HMD 100 estiver se movendo rapidamente, para o dispositivo de exibição receptor 140. Ao diminuir o zoom do primeiro FoV 111 da câmera 101 para um segundo FoV maior para o vídeo gerado, pontos de referência adicionais da cena com palavras reais, como a porta 122 mostrada na Fig. 1, tornam-se visíveis no vídeo transmitido em fluxo contínuo (gerado) que é exibido ao visualizador 152. Por conseguinte, o risco para o visualizador 152 de sofrer de VIMS é reduzido ou até mitigado.

[0037] Opcionalmente, o HMD 100 pode ser operativo para gerar o modelo 3D da cena do mundo real apenas se o movimento estimado da câmera 101 satisfizer uma ou mais condições indicativas de movimento rápido. Dessa forma, a quantidade de processamento necessária para gerar o modelo 3D a partir do vídeo capturado e/ou dados recebidos de câmeras adicionais e/ou sensores de profundidade é reduzida, o que resulta vantajosamente em um aumento da vida útil da bateria do HMD 100.

[0038] Opcionalmente, o HMD 100 pode ser operativo para gerar o vídeo do modelo 3D usando um segundo FoV que é mais largo que o primeiro FoV apenas se o movimento estimado da câmera 101 satisfizer uma ou mais condições indicativas de movimento rápido. Assim, a quantidade de processamento necessária para gerar o vídeo a partir do modelo 3D é reduzida, o que resulta vantajosamente em uma vida útil da bateria aumentada do HMD 100.

[0039] A alternância entre diferentes representações de vídeo pelo HMD 100, ou seja, entre vídeo capturado e vídeo gerado, dependendo se o movimento estimado da câmera 101 satisfaz uma ou mais condições indicativas de movimento rápido, de acordo com modalidades da invenção, é adicionalmente mais ilustrado na figura 2. Mais especificamente, a Fig. 2A exemplifica um quadro 210 do vídeo capturado pela câmera 101, quando o usuário 151 usando o HMD 100 está de frente para o gabinete da estação base de rádio 121, como é representado na Fig. 1, no qual o quadro de vídeo capturado 210 é exibido no dispositivo de exibição receptor 140.

[0040] Na Fig. 2B, um quadro de vídeo 220 é exemplificado, o qual é gerado a partir do modelo 3D da cena do mundo real que o usuário 151 está observando. Será apreciado que o quadro 220 mostrado na Fig. 2B é gerado a partir de um modelo 3D da cena do mundo real e é tipicamente menos detalhado do que o quadro 210 mostrado na figura 2A, que é capturado pela câmera 101. O nível de detalhe, em particular no que diz respeito aos detalhes, textura da superfície e similares, normalmente depende dos recursos de processamento disponíveis para gerar o vídeo a partir do modelo 3D. Observe que o quadro 220 é gerado com substancialmente o mesmo FoV que o quadro capturado 210, ou seja, o primeiro FoV 111 da câmera 101. Em contraste, a Fig. 2C ilustra um quadro 230 que é gerado a partir do modelo 3D da cena do mundo real com um FoV que é mais largo que o primeiro FoV 111 da câmera 101 usada para capturar o quadro 210. Em outras palavras, o quadro 230 provê uma visão ampliada da cena do mundo real que está na frente do usuário 151 usando o HMD 100, gerado a partir de um modelo 3D da cena do mundo real. Vantajosamente, a vista reduzida do quadro 230, em comparação com o quadro 220, contém um ponto de referência adicional na cena do mundo real, a porta 122. Devido a este ponto de referência adicional, o risco do visualizador remoto 152 sofrer com VIMS é reduzido ou até mitigado.

[0041] Além disso, com referência à Fig. 1, o HMD 100 pode estar operacional para transmitir em fluxo contínuo o vídeo gerado para o dispositivo de exibição receptor 140 se o movimento estimado da câmera 101 satisfizer uma ou mais condições indicativas de movimento rápido e o primeiro FoV 111 for menor que um valor de limite que é representativo do FoV humano. Caso contrário, o HMD 100 é operativo para transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor 140. O valor de limite que é representativo do FoV humano pode, por exemplo, ser configurado por um fabricante do HMD 100, um provedor de um software usado para colaboração remota, cujo software é executado pelos meios de processamento 103 ou pelo usuário 151, e pode apresentar um valor genérico para o FoV humano ou um valor específico que representa o FoV do visualizador 152.

[0042] O HMD 100 pode adicionalmente ser operativo para determinar o segundo FoV com base no primeiro FoV 111 e no movimento estimado da câmera 101. Por exemplo, o segundo FoV pode ser selecionado de modo que pelo menos um ponto de referência adicional seja visível no vídeo gerado. A presença de pontos de referência adicionais e sua respectiva localização em relação a um primeiro FoV 111 atual da câmera 101, pode ser determinada com base no modelo 3D gerado da cena do mundo real e no movimento estimado da câmera 101. O último pode ser usado para determinar até que ponto o FoV precisa ser ampliado, a fim de tornar visível um ponto de referência na cena do mundo real no vídeo gerado. Em particular, este é o caso dos pontos de referência que estão prestes a se tornar visíveis no vídeo gerado, devido ao movimento da câmera 101 e ao movimento associado do primeiro FoV 111. A presença de pontos de referência adicionais no vídeo gerado que é transmitido em fluxo contínuo para o dispositivo de exibição receptor 140 reduz o risco do visualizador 152 sofrer de VIMS. Alternativamente, o segundo FoV pode ser pré-configurado por um fabricante do HMD 100, um provedor de um software usado para colaboração remota, cujo software é executado pelos meios de processamento 103, pelo usuário 151 ou pelo visualizador 152. Por exemplo, o dispositivo de exibição receptor 140 pode estar operacional para permitir que o visualizador 152 ajuste o segundo FoV alterando uma configuração no dispositivo de exibição receptor 140, cuja configuração é sinalizada para o HMD 100.

[0043] O HMD 100 pode adicionalmente estar operacional, subsequentemente à transmissão em fluxo contínuo do vídeo gerado para o dispositivo de exibição receptor 140, para transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor 140 em resposta a pelo menos um dos seguintes: transmissão em fluxo contínuo do vídeo gerado por um período de tempo predeterminado e determinar que o movimento estimado da câmera 101 satisfaça uma ou mais condições indicativas de movimento estabilizado. Em outras palavras, o HMD 100 opera para voltar a transmitir em fluxo contínuo o vídeo capturado se, por exemplo, o movimento estimado da câmera 101 satisfizer uma ou mais condições indicativas de movimento rápido por um determinado período de tempo, como cinco segundos. Este período de tempo é selecionado de modo a permitir que o cérebro do visualizador 152 se adapte ao movimento rápido, por exemplo, devido aos pontos de referência adicionais que são visíveis no vídeo gerado com zoom reduzido. O HMD 100 pode ser operativo para determinar que o movimento estimado da câmera 101 satisfaz uma ou mais condições indicativas de movimento estabilizado com base em um ou mais valores de limite, semelhante ao que foi descrito anteriormente com referência para determinar se o movimento estimado da câmera 101 satisfaz uma ou mais condições indicativas de movimento rápido. Por exemplo, se as uma ou mais condições indicativas de movimento rápido forem expressas como excedendo um valor limite para uma aceleração medida, translacional ou rotacional, do HMD 100 ou da câmera 101, uma ou mais condições indicativas de movimento estabilizado pode ser expresso em termos do movimento estimado da câmera 101 que não excede, ou seja, é menor que um valor limite correspondente para a aceleração medida. Os conjuntos dos um ou mais valores limite para detectar movimento rápido e movimento estabilizado, respectivamente, podem ser idênticos ou não. Vantajosamente, diferentes valores são usados para prover um efeito de histerese e impedir a alternância rápida entre a transmissão em fluxo contínuo do vídeo capturado e a transmissão em fluxo contínuo do vídeo gerado com menos zoom. Como alternativa, um temporizador pode ser usado para garantir que o vídeo capturado seja transmitido em fluxo contínuo por um determinado período de tempo antes que o HMD 100 alterne para transmitir em fluxo contínuo o vídeo gerado com o zoom reduzido ou vice-versa.

[0044] Considerando que as modalidades da invenção foram principalmente descritas com referência ao HMD 100, será apreciado que as modalidades da invenção podem ser baseadas em dispositivos de câmera que não sejam HMDs. Por exemplo, as modalidades da invenção podem ser implementadas em um telefone celular, smartphone, tablet, câmera digital ou similar, que podem ser seguradas na mão do usuário 151 ou ser ligadas a uma parte do corpo do usuário 151. Como um exemplo, as modalidades da invenção podem ser implementadas em um visor montado na cabeça, por exemplo, uma câmera GoPro, que é ligada à cabeça do usuário 151 ou a um capacete usado pelo usuário 151.

[0045] A seguir, modalidades dos meios de processamento 103 compreendidas nas modalidades do HMD, como o HMD 100, são descritas com referência às Figs. 3 e 4.

[0046] Uma primeira modalidade 300 dos meios de processamento 103 é mostrada na Fig. 3. O meio de processamento 300 compreende uma unidade de processamento 302, como um processador de uso geral, e um meio de armazenamento legível por computador 303, como uma Memória de Acesso Aleatório (RAM), uma memória Flash ou semelhante. Além disso, o meio de processamento 300 compreende uma ou mais interfaces 301 (“I/O” na Fig. 3) para controlar e/ou receber informações de outros componentes compreendidos no HMD, como a câmera 101, o circuito de interface de rede 102 e o(s) sensor(es) de movimento 104. A memória 303 contém instruções executáveis por computador 304, ou seja, um programa ou software de computador, para fazer com que o HMD se torne operacional para executar de acordo com modalidades da invenção conforme descrito neste documento, quando as instruções executáveis por computador 304 são executadas no processamento unidade 302.

[0047] Uma modalidade alternativa 400 dos meios de processamento 103 é ilustrada na Fig. 4. Semelhante ao meio de processamento 300, o meio de processamento 400 compreende uma ou mais interfaces 401 (“I/O” na Fig. 4) para controlar e/ou receber informações de outros componentes compreendidos no HMD, como a câmera 101, o circuito de interface de rede 102 e sensor(es) de movimento 104. Os meios de processamento 400 compreendem adicionalmente um módulo modelo 402, um módulo de vídeo 403, um módulo de movimento 404 e um módulo de transmissão em fluxo contínuo 405, que são configurados para fazer com que o HMD funcione de acordo com modalidades da invenção, como descrito neste documento.

[0048] Em particular, o módulo de modelo 402 é configurado para gerar um modelo 3D da cena do mundo real, e o módulo de vídeo 403 é configurado para gerar um vídeo a partir do modelo 3D usando um segundo FoV que é mais largo que o primeiro FoV 111. O módulo de movimento 404 está configurado para estimar um movimento da câmera 101. O módulo de transmissão em fluxo contínuo 405 é configurado para transmitir em fluxo contínuo o vídeo gerado para o dispositivo de exibição receptor 140 se o movimento estimado da câmera satisfizer uma ou mais condições indicativas de movimento rápido, caso contrário, transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor 140. De preferência, uma ou mais condições indicativas de movimento rápido são indicativas de um regime de movimento no qual os visualizadores do vídeo capturado sofrem de VIMS.

[0049] Opcionalmente, o módulo de transmissão em fluxo contínuo 405 pode ser configurado para transmitir em fluxo contínuo o vídeo gerado para o dispositivo de exibição receptor 140 se o movimento estimado da câmera 101 satisfizer uma ou mais condições indicativas de movimento rápido e o primeiro FoV 111 for menor que um valor de limite representativo do FoV humano, caso contrário, transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor 140.

[0050] Opcionalmente, o módulo de movimento 404 pode ser configurado para estimar o movimento da câmera 101 com base no movimento detectado do HMD 100. Alternativamente, o módulo de movimento 404 pode ser configurado para estimar o movimento da câmera 101 com base na análise de quadros subsequentes do vídeo capturado.

[0051] Opcionalmente, o módulo de vídeo 403 pode ser configurado para determinar o segundo FoV com base no primeiro FoV 111 e no movimento estimado da câmera 101.

[0052] Opcionalmente, o módulo de transmissão em fluxo contínuo 405 pode adicionalmente ser configurado para transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor 140 subsequente à transmissão em fluxo contínuo do vídeo gerado para o dispositivo de exibição receptor 140 e em resposta a pelo menos um de transmitir em fluxo contínuo o vídeo gerado por uma duração predeterminada de tempo e determinar que o movimento estimado da câmera 101 satisfaz uma ou mais condições indicativas de movimento estabilizado.

[0053] Os módulos 402-405 compreendidos no meio de processamento 400 podem adicionalmente ser configurados para executar operações adicionais ou alternativas de acordo com modalidades da invenção, conforme descrito neste documento.

[0054] As interfaces 301 e 401, e os módulos 402-405, bem como quaisquer módulos adicionais compreendidos nos meios de processamento 400, podem ser implementados por qualquer tipo de circuito eletrônico, por exemplo, qualquer um ou uma combinação de circuitos eletrônicos analógicos, circuito eletrônico digital e processamento significa executar um programa de computador adequado, ou seja, software.

[0055] A seguir, as modalidades 500 do método realizado por um HMD, como o HMD 100, são descritas com referência à Fig. 5.

[0056] O método 500 compreende capturar 501 um vídeo de uma cena do mundo real com um primeiro FoV usando uma câmera 101 composta no HMD 100, gerando 503/513 um modelo 3D da cena do mundo real e gerando 504/514 um vídeo do modelo 3D usando um segundo FoV que é mais largo que o primeiro FoV 111. O método 500 compreende adicionalmente estimar 505 um movimento da câmera 101 e transmitir em fluxo contínuo 515 o vídeo gerado para um dispositivo de exibição receptor 140 usando um circuito de interface de rede 102 compreendido no HMD 100 se o movimento estimado da câmera 101 satisfizer 506 uma ou mais condições indicativas de movimento rápido, caso contrário, transmitindo em fluxo contínuo 525 o vídeo capturado para o dispositivo de exibição receptor 140 usando o circuito de interface de rede 102. De preferência, uma ou mais condições indicativas de movimento rápido são indicativas de um regime de movimento no qual os visualizadores do vídeo capturado sofrem de VIMS.

[0057] Opcionalmente, o vídeo 504 gerado é transmitido em fluxo contínuo 515 para o dispositivo de exibição receptor 140 se o movimento 505 estimado da câmera 101 satisfizer 506 uma ou mais condições indicativas de movimento rápido e o primeiro FoV 111 for menor que um valor de limite representativo do FoV humano, caso contrário, o vídeo capturado é transmitido em fluxo contínuo 525 para o dispositivo de exibição receptor 140.

[0058] Opcionalmente, o movimento da câmera 101 é estimado 505 com base em um movimento detectado do HMD 100 usando pelo menos um sensor de movimento 104 compreendido no HMD 100. Alternativamente, o movimento da câmera 101 é estimado 505 com base na análise de quadros subsequentes do vídeo 501 capturado.

[0059] Opcionalmente, o método 500 pode adicionalmente compreender determinar 512 o segundo FoV com base no primeiro FoV 111 e o movimento estimado 505 da câmera 101.

[0060] Opcionalmente, o método 500 compreende adicionalmente transmitir em fluxo contínuo 525 o vídeo capturado para o dispositivo de exibição receptor 140 subsequente a transmitir em fluxo contínuo 515 o vídeo gerado para o dispositivo de exibição receptor 140 e em resposta a pelo menos um de transmitir em fluxo contínuo 516 o vídeo gerado por um período de tempo predeterminado e determinar que o movimento estimado da câmera satisfaz 517 uma ou mais condições indicativas de movimento estabilizado.

[0061] Será apreciado que o método 500 pode compreender etapas adicionais, ou modificadas, de acordo com o que é descrito ao longo desta descrição. Uma modalidade do método 500 pode ser implementada como software, como o programa de computador 304, a ser executado por uma unidade de processamento compreendida em um HMD, em que o HMD se torna operacional para executar de acordo com as modalidades da invenção descritas neste documento.

[0062] O versado na técnica percebe que a invenção de forma alguma se limita às modalidades descritas acima. Pelo contrário, muitas modificações e variações são possíveis dentro do escopo das reivindicações anexas.

Claims

1. Visor Montado na Cabeça, HMD, (100), compreendendo: uma câmera (101) configurada para capturar um vídeo de uma cena do mundo real com um primeiro campo de visão (111), um circuito de interface de rede (102) configurado para transmitir vídeo em fluxo contínuo para um dispositivo de exibição receptor (140), e meios de processamento (103) caracterizado pelo fato de que são operativos para: gerar um modelo tridimensional, 3D, da cena do mundo real, gerar um vídeo a partir do modelo 3D usando um segundo campo de visão que é mais amplo que o primeiro campo de visão (111), estimar um movimento da câmera (101), e se o movimento estimado da câmera (101) satisfizer uma ou mais condições indicativas de movimento rápido: transmitir em fluxo contínuo o vídeo gerado para o dispositivo de exibição receptor (140), caso contrário: transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor (140).

2. Visor Montado na Cabeça, HMD, de acordo com a reivindicação 1, caracterizado pelo fato de que os meios de processamento (103) são operativos para, se o movimento estimado da câmera (101) satisfizer uma ou mais condições indicativas de movimento rápido e o primeiro campo de visão (111) for menor que um valor limite representativo do campo de visão humano, transmitir em fluxo contínuo o vídeo gerado para o dispositivo de exibição receptor (140), caso contrário transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor (140).

3. Visor Montado na Cabeça, HMD, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que compreende adicionalmente pelo menos um sensor de movimento (104) configurado para detectar um movimento do HMD (100), os meios de processamento (103) sendo operativos para estimar o movimento da câmera (101) com base no movimento detectado do HMD (100).

4. Visor Montado na Cabeça, HMD, de acordo com as reivindicações 1 ou 2, caracterizado pelo fato de que os meios de processamento (103) são operativos para estimar o movimento da câmera (101) com base na análise de quadros subsequentes do vídeo capturado.

5. Visor Montado na Cabeça, HMD, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que os meios de processamento (103) são adicionalmente operativos para determinar o segundo campo de visão com base no primeiro campo de visão (111) e no movimento estimado da câmera (101).

6. Visor Montado na Cabeça, HMD, de acordo com qualquer uma das reivindicações 1 a 5, caracterizado pelo fato de que a uma ou mais condições indicativas de movimento rápido são indicativas de um regime de movimento no qual os visualizadores (152) do vídeo capturado sofrem de Mal-estar de Movimento Induzido Visualmente, VIMS.

7. Visor Montado na Cabeça, HMD, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado pelo fato de que os meios de processamento (103) são adicionalmente operacionais, após a transmissão em fluxo contínuo do vídeo gerado para o dispositivo de exibição receptor (140), para transmitir em fluxo contínuo o vídeo capturado para o dispositivo de exibição receptor (140) em resposta a pelo menos um dentre: transmitir em fluxo contínuo o vídeo gerado por um período de tempo predeterminado, e determinar que o movimento estimado da câmera (101) satisfaz uma ou mais condições indicativas de movimento estabilizado.

8. Método (500) realizado por um Visor Montado na Cabeça, HMD, o método compreendendo: capturar (501) um vídeo de uma cena do mundo real com um primeiro campo de visão usando uma câmera incluída no HMD, o método caracterizado pelas seguintes etapas: gerar (503, 513) um modelo tridimensional, 3D, da cena do mundo real, gerar (504, 514) um vídeo a partir do modelo 3D usando um segundo campo de visão que é mais amplo que o primeiro campo de visão, estimar (505) um movimento da câmera, e se o movimento estimado da câmera satisfizer (506) uma ou mais condições indicativas de movimento rápido: transmitir em fluxo contínuo (515) o vídeo gerado para um dispositivo de exibição receptor usando um circuito de interface de rede compreendido no HMD; caso contrário: transmitir em fluxo contínuo (525) o vídeo capturado para o dispositivo de exibição receptor usando o circuito da interface de rede.

9. Método de acordo com a reivindicação 8, caracterizado pelo fato de que, se o movimento estimado da câmera satisfizer (506) uma ou mais condições indicativas de movimento rápido e o primeiro campo de visão for menor que um valor limite representativo do campo de visão humano, o vídeo gerado é transmitido em fluxo contínuo (515) para o dispositivo de exibição receptor; caso contrário, o vídeo capturado é transmitido em fluxo contínuo (525) para o dispositivo de exibição receptor.

10. Método de acordo com a reivindicação 8 ou 9, caracterizado pelo fato de que o movimento da câmera é estimado (505) com base em um movimento detectado do HMD usando pelo menos um sensor de movimento compreendido no HMD.

11. Método de acordo com a reivindicação 8 ou 9, caracterizado pelo fato de que o movimento da câmera é estimado (505) com base na análise de quadros subsequentes do vídeo capturado.

12. Método de acordo com qualquer uma das reivindicações 8 a 11, caracterizado pelo fato de que compreende adicionalmente determinar (512) o segundo campo de visão com base no primeiro campo de visão e no movimento estimado (505) da câmera.

13. Método de acordo com qualquer uma das reivindicações 8 a 12, caracterizado pelo fato de que uma ou mais condições indicativas de movimento rápido são indicativas de um regime de movimento no qual os visualizadores do vídeo capturado sofrem de Mal-estar de Movimento Induzido Visualmente, VIMS.

14. Método de acordo com qualquer uma das reivindicações 8 a 13, caracterizado pelo fato de que compreende adicionalmente, após a transmissão em fluxo contínuo (515) do vídeo gerado para o dispositivo de exibição receptor, transmitir em fluxo contínuo (525) o vídeo capturado para o dispositivo de exibição receptor em resposta a pelo menos um dentre: transmitir em fluxo contínuo (516) o vídeo gerado por um período de tempo predeterminado, e determinar que o movimento estimado da câmera satisfaz (517) uma ou mais condições indicativas de movimento estabilizado.

15. Meio de armazenamento legível por computador (303), caracterizado pelo fato de que compreende instruções executáveis por computador para fazer com que um Visor Montado na Cabeça, HMD, execute o método como definido em qualquer uma das reivindicações 8 a 14, quando as instruções executáveis por computador são executadas em uma unidade de processamento (302) incluída no HMD, o HMD compreendendo uma câmera e uma interface de rede.