BR102022016816A2 - Sistemas, aparelhos e métodos de realidade estendida para melhoria ergonômica musculoesquelética, e, meio não transitório legível por computador - Google Patents

Sistemas, aparelhos e métodos de realidade estendida para melhoria ergonômica musculoesquelética, e, meio não transitório legível por computador Download PDF

Info

Publication number
BR102022016816A2
BR102022016816A2 BR102022016816-4A BR102022016816A BR102022016816A2 BR 102022016816 A2 BR102022016816 A2 BR 102022016816A2 BR 102022016816 A BR102022016816 A BR 102022016816A BR 102022016816 A2 BR102022016816 A2 BR 102022016816A2
Authority
BR
Brazil
Prior art keywords
user
avatar
data
ergonomic
sensor
Prior art date
Application number
BR102022016816-4A
Other languages
English (en)
Inventor
Brian D. Laughlin
Gary E. Georgeson
Original Assignee
The Boeing Company
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The Boeing Company filed Critical The Boeing Company
Publication of BR102022016816A2 publication Critical patent/BR102022016816A2/pt

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

SISTEMAS, APARELHOS E MÉTODOS DE REALIDADE ESTENDIDA PARA MELHORIA ERGONÔMICA MUSCULOESQUELÉTICA, E, MEIO NÃO TRANSITÓRIO LEGÍVEL POR COMPUTADOR. Sistemas, aparelhos e métodos de realidade estendida para melhoria ergonômica musculoesquelética são descritos. Um aparelho de exemplo inclui um gerador de avatar para gerar um avatar com base em uma ou mais propriedades de um usuário; um analisador de posição de avatar para determinar uma primeira forma ergonômica para um movimento com base nas uma ou mais propriedades do usuário, o gerador de avatar deve fazer com que um dispositivo de saída exiba o avatar na primeira forma ergonômica; e um gerador de feedback para determinar uma segunda forma associada ao movimento do usuário com base nos dados do sensor coletados por meio de um mais sensores associados ao usuário, gerar uma representação gráfica do usuário na segunda forma; e fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.

Description

SISTEMAS, APARELHOS E MÉTODOS DE REALIDADE ESTENDIDA PARA MELHORIA ERGONÔMICA MUSCULOESQUELÉTICA, E, MEIO NÃO TRANSITÓRIO LEGÍVEL POR COMPUTADOR CAMPO DA DESCRIÇÃO
[001] Essa descrição se refere geralmente à ergonomia e, mais particularmente, a sistemas, aparelhos, e métodos de realidade estendida para melhoria ergonômica musculoesquelética.
FUNDAMENTO
[002] Dispositivos de realidade estendida, tais como fones de ouvido de realidade estendida, podem gerar ambientes que combinam realidade com características digitais. Por exemplo, um usuário que usa um fone de ouvido de realidade estendida pode ser orientado a realizar uma ação no mundo real através de informações fornecidas em um formato digital, onde o conteúdo digital aparece no ambiente do usuário.
SUMÁRIO
[003] Um aparelho de exemplo inclui um gerador de avatar para gerar um avatar com base em uma ou mais propriedades de um usuário; um analisador da posição do avatar para determinar uma primeira forma ergonômica para um movimento com base em uma ou mais propriedades do usuário, o gerador de avatar faz com que um dispositivo de saída exiba o avatar na primeira forma ergonômica; e um gerador de feedback para determinar uma segunda forma associada ao movimento do usuário com base em dados do sensor coletados por meio de um ou mais sensores associados ao usuário; gerar uma representação gráfica do usuário na segunda forma; e fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.
[004] Um sistema de exemplo inclui um primeiro sensor e um controlador técnico de realidade estendida para executar um modelo de rede neural para gerar um avatar ilustrando uma primeira posição ergonômica para um movimento; fazer com um dispositivo de realidade estendida produza o avatar; determinar uma segunda posição de uma parte do corpo de um usuário com base nos dados do primeiro sensor gerados pelo primeiro sensor; realizar uma comparação da primeira posição ergonômica e da segunda posição; e fazer com que o dispositivo de realidade estendida exerça um feedback gráfico com base na comparação.
[005] Um meio legível por computador não transitório de exemplo compreendendo instruções que, quando forem executadas por pelo menos um processador, farão com que pelo menos um processador gere um avatar com base em uma ou mais propriedades de um usuário; determinar uma primeira forma ergonômica para um movimento com base nas propriedades do usuário; fazer com que um dispositivo de saída exiba o avatar na primeira forma ergonômica; determinar uma segunda forma associada à movimentação do usuário com base nos dados do sensor coletados por meio de um ou mais sensores associados ao usuário; gerar uma representação gráfica do usuário na segunda forma; e fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.
[006] Um método de exemplo inclui gerar um avatar com base em uma ou mais propriedades de um usuário; determinar uma primeira forma ergonômica para um movimento com base nas propriedades do usuário; fazer com que um dispositivo de saída exiba o avatar na primeira forma ergonômica; determinar uma segunda forma associada ao movimento do usuário com base nos dados do sensor coletados por meio de um ou mais sensores associados ao usuário; gerar uma representação gráfica do usuário na segunda forma; e fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.
BREVE DESCRIÇÃO DOS DESENHOS
[007] Figura 1 ilustra um sistema de exemplo construído de acordo com os ensinamentos dessa descrição e incluindo dispositivo(s) de coleta de dados para coleta de dados ergonômicos associados a um usuário e um controlador técnico de realidade estendida (XR) para gerar um avatar ou treinador digital a ser apresentado ao usuário através de um dispositivo de realidade estendida para demonstrar forma(s) ergonômica(s) para que o(s) movimento(s) seja/sejam realizado(s) pelo usuário.
[008] Figura 2 é um diagrama de bloco de exemplo do sistema da Figura 1, incluindo uma implementação de exemplo do controlador técnico XR da Figura 1 e um sistema de computação para treinamento de rede(s) neural(ais) para gerar modelos(s) para uso pelo controlador técnico XR na determinação da(s) forma(s) ergonômica(s) a ser demonstradas pelo avatar.
[009] Figura 3 ilustra um exemplo de avatar ou treinador digital gerado pelo exemplo de controlador técnico XR das Figuras 1 e/ou 2 de acordo com os ensinamentos dessa descrição.
[0010] Figura 4 ilustra o exemplo de feedback gráfico gerado pelo exemplo de controlador técnico XR das Figuras 1 e/ou 2 em relação aos movimentos do usuário em relação a um avatar.
[0011] Figura 5 é um fluxograma representativo de exemplo de instruções legíveis à máquina que, quando forem executadas pelo sistema de computação de rede neural da Figura 2, farão com que o sistema de computação treine uma rede neural para determinar formas ergonômicas a ser demonstradas por um avatar.
[0012] Figura 6 é um fluxograma representativo de exemplo de instruções legíveis à máquina que, quando forem executadas pelo controlador técnico XR das Figuras 1 e/ou 2, farão com que o controlador técnico XR gere um avatar ou treinador digital para demonstrar formas ergonômicas para que os movimentos sejam realizados pelo usuário.
[0013] Figura 7 é um diagrama de bloco de um exemplo de plataforma com processamento estruturada para executar as instmções da Figura 5 para implementar o exemplo do sistema de computação de rede neural da Figura 2.
[0014] Figura 8 é um diagrama de bloco de um exemplo de plataforma com processamento estruturada para executar as instruções da Figura 6 para implementar o exemplo de controlador técnico XR das Figuras 1 e/ou 2.
[0015] As figuras não estão em escala. Em geral, os mesmos números de referência serão usados ao longo do(s) desenho(s) e da descrição escrita que acompanham para se referirem às mesmas partes ou semelhantes.
[0016] A menos que especificamente descrito ao contrário, descritores tais como “primeiro”, “segundo”, “terceiro”, etc. são usados aqui sem imputar ou indicar de outra forma qualquer significado de prioridade, ordem física, arranjo em uma lista, e/ou ordenação de qualquer forma, mas são apenas usados como rótulos e/ou nomes arbitrários para distinguir elementos para facilitar a compreensão dos exemplos descritos. Em alguns exemplos, o descritor “primeiro” pode ser usado para se referir a um elemento na descrição detalhada, enquanto o mesmo elemento pode ser referido em uma reivindicação com um descritor diferente, tal como “segundo” ou “terceiro”. Em tais casos, deve-se entender que tais descritores são usados apenas para identificar aqueles elementos distintamente que poderiam, por exemplo, compartilhar de outra forma um mesmo nome.
DESCRIÇÃO DETALHADA
[0017] Um usuário interagindo com um dispositivo de realidade estendida, tal como um fone de ouvido de realidade estendida, pode ser orientado a realizar uma ação no mundo real através de informações fornecidas em um formato digital, onde o conteúdo digital aparece no ambiente do usuário. O conteúdo digital pode incluir um avatar, ou uma representação gráfica de uma pessoa ou personagem.
[0018] Um indivíduo pode experimentar uma lesão musculoesquelética (por exemplo, uma lesão no(s) músculo(s), nervo(s) e/ou articulação(ões) do corpo do indivíduo) durante a realização de tarefas. Tais lesões podem decorrer de condições em um ambiente de trabalho e/ou de uma forma de realizar as atividades. Por exemplo, realizar tarefas repetitivas, levantar objetos pesados, e/ou outros tipos de atividades de uso excessivo ou de excesso de atividades podem causar lesões musculoesqueléticas que, além de causar dor, podem afetar a produtividade do trabalhador. Os esforços para reduzir as lesões musculoesqueléticas muitas vezes não são abordadas até que o trabalhador esteja sentindo dor.
[0019] Aqui descritos estão sistemas, aparelhos, e métodos que geram um avatar ou treinador digital para demonstrar forma(s) ergonômiea(s) de referência, correta(s), ou de outra forma ideal para realizar movimentos(s) em conexão com um movimento e/ou tarefa a ser executada por um usuário, tais como levantar uma caixa, instalar um componente, etc. Exemplos aqui descritos geram o avatar com base em características do usuário, tais como altura, idade, sexo, etc. do usuário. Exemplos descritos aqui executam modelo(s) de rede neural para determinar formas ergonômicas de referência ou ideais para o usuário na realização de movimentos, tais como posição(ões) de parte(s) do corpo, postura(s), nível(eis) de tensão muscular, velocidade(s) em que o(s) movimentos(s) deve/devem ser realizado(s), etc. Exemplos descritos aqui implementam os modelos de rede neural com base em propriedades do usuário e/ou usuários com propriedades semelhantes como o usuário de interesse para desenvolver recomendações personalizadas para o usuário com base no tipo de corpo do usuário, histórico de lesões musculoesqueléticas, etc. para fornecer recomendações da forma ergonômica ao usuário ao realizar movimentos(s) associado(s) à tarefa.
[0020] Exemplos descritos aqui fornecem ao usuário um feedback indicativo de um desempenho do usuário em relação às formas ergonômicas apresentadas pelo avatar. Alguns exemplos aqui descritos analisam dados do sensor coletados do usuário e/ou do ambiente em que o usuário está localizado para determinar posições de partes do corpo e/ou outras características de movimento do usuário. Exemplos aqui descritos comparam as posições e/ou outras características de movimento do usuário com a(s) forma(s) ergonômica(s) determinadas pela análise da rede neural. Os dados do sensor podem incluir, por exemplo, dados da posição (por exemplo, dados do acelerômetro), dados de tensão muscular, dados de imagem, etc. Em alguns exemplos, o feedback inclui representações gráficas do usuário apresentadas com o avatar (por exemplo, uma representação gráfica do usuário sobrepondo uma imagem do avatar). Tais feedbacks mostram diferenças entre a forma do usuário e a forma de referência ou ideal apresentada pelo avatar. Exemplos aqui descritos usam a realidade estendida para fornecer recomendações e feedback personalizados para orientar o usuário na realização de movimentos de acordo com a(s) forma(s) ergonômica(s) recomendadas.
[0021] Figura 1 ilustra um exemplo do sistema 100 construído de acordo com os ensinamentos dessa descrição para fornecer a um usuário 102 um feedback ergonômico em relação ao(s) movimento(s) realizado(s) pelo usuário 102 ao completar uma tarefa em um ambiente 103 usando realidade estendida. Como mostrado na Figura 1, o usuário 102 (os termos “usuário” e “sujeito” são usados de forma intercambiável aqui e ambos se referem a um ser humano) está realizando uma tarefa no ambiente 103 que envolve o usuário 102 instalando componentes(s) de uma aeronave. Em particular, o usuário 102 está instalando o(s) componente(s) em pé, onde os braços do usuário 102 são levantados para alcançar os componentes localizados acima dos ombros do usuário 102. O usuário 102 pode realizar outra(s) tarefa(s) e movimento(s) associado(s) do que o exemplo mostrado na Figura 1. Adicionalmente, o ambiente 103 pode diferir do exemplo mostrado na Figura 1.
[0022] O sistema de exemplo 100 da Figura 1 inclui um dispositivo de realidade estendida (XR) 104. No exemplo da Figura 1, o dispositivo XR 104 inclui óculos usados pelo usuário 102. No entanto, o dispositivo XR 104 pode incluir outros dispositivos vestíveis, tais como uma máscara, óculos de proteção, etc.
[0023] O exemplo do dispositivo XR 104 inclui uma tela 106. Como descrito aqui, a tela 106 fornece meios para apresentar conteúdo de realidade estendida ao usuário 102. O conteúdo de realidade estendida pode incluir, por exemplo, conteúdo de realidade virtual, conteúdo de realidade aumentada, e/ou conteúdo de realidade mista, dependendo, por exemplo, do tipo de dispositivo XR 104 (por exemplo, um fone de ouvido VR) e/ou do tipo de conteúdo a ser apresentado (por exemplo, conteúdo de realidade mista para facilitar estímulos de treinamento no mundo real com orientação virtual). No exemplo da Figura 1, o conteúdo de realidade estendida inclui um avatar que demonstra ao usuário 102 como executar movimentos(s) com forma ergonômica recomendada, de referência, adequada, ou de outra forma ideal ao executar uma determinada tarefa. Assim, em exemplos aqui descritos, o avatar pode servir como um treinador digital para o usuário 102. O dispositivo XR 104 inclui um processador 108. Em alguns exemplos, o processador 108 é acoplado (por exemplo, montado no, transportado pelo) ao dispositivo XR 104 (por exemplo, uma estrutura do dispositivo XR 104). Em outros exemplos, o processador 108 é separado do dispositivo XR 104. O dispositivo XR 104 inclui um controlador de exibição 110 para produzir sinais para fazer com que a tela 106 exiba o conteúdo de realidade estendida (por exemplo, imagens do avatar) com base nas instruções, por exemplo, do processador 108.
[0024] O sistema de exemplo 100 inclui um ou mais sensores para coletar dados do usuário 102 e/ou do ambiente 103 em relação ao(s) movimento(s) realizado(s) pelo usuário 102. Em particular, o(s) sensor(es) coleta/coletam dados associados ao usuário 102 durante o uso do dispositivo XR 104 (por exemplo, durante a apresentação e/ou interação com o avatar ou treinador digital). Por exemplo, o(s) sensor(es) pode/podem incluir sensores de posição do usuário 112 para gerar dados indicativos de movimento de uma ou mais partes do corpo do usuário 102. O(s) sensor(es) de posição do usuário 112 pode/podem incluir sensores de captura de movimento(s), acelerômetro(s), etc. para produzir dados de saída indicativos de mudança(s) na posição de uma ou mais partes(s) do corpo do usuário 102 (por exemplo, braços, pernas, pulsos, etc.). Em alguns exemplos, o(s) sensor(e)s de posição do usuário 112 inclui/incluem sensor(es) de peso, pressão e/ou carga para detectar alterações na transferência de peso entre uma ou mais partes do corpo do usuário (por exemplo, entre os pés do usuário). O(s) sensor(es) de posição do usuário 112 pode/podem ser transportado(s) pelo usuário 102, pelo dispositivo XR 104, e/ou por outro(s) dispositivo(s) de usuário 114 (por exemplo, um smartwatch, um smartphone, etc.) transportado pelo usuário 102 e/ou localizado no ambiente 103
[0025] O sistema de exemplo 100 inclui um ou mais sensores de tensão 116 para detectar tensão e/ou estresse na(s) articulação(ões) do usuário 102 e/ou com relação ao(s) músculos(s) do usuário 102. O(s) sensor(es) de tensão 116 pode/podem incluir sensor(e)s de eletromiografia (EMG) usados pelo usuário 102 para detectar tensão muscular. Em alguns exemplos, o(s) sensor(es) de tensão 116 inclui/incluem sensor(es) para detectar a temperatura da pele e/ou do músculo, que são indicativos de atividade muscular. Em alguns exemplos, o(s) sensor(es) de tensão 116 incluem um/uns tecido(s) sensível(eis) vestível(eis). O(s) tecido(s) sensível(eis) vestível(eis) inclui/incluem tecidos vestíveis (por exemplo, uma camisa ou outra peça de roupa) que incluem sensor(es) para produzir dados indicativos de tensão no(s) músculos(s) e/ou esqueleto (por exemplo, articulação(ões)) do usuário 102. Por exemplo, os tecidos sensíveis ao movimento podem incluir sensor(es) de pressão e/ou tensão que produz/produzem sinais de saída em resposta a alterações na pressão e/ou deformação do(s) sensor(es) durante o movimento pelo usuário 102. O(s) sensor(es) de tensão 116 pode/podem ser transportado(s) pelo usuário 102 e/ou pelo(s) dispositivo(s) do usuário 104, 114 associados ao usuário 102.
[0026] O sistema de exemplo 100 inclui sensor(es) de imagem 118 (por exemplo, câmera(s)) para gerar dados de imagem do usuário 102 no ambiente 103. Por exemplo, o(s) sensor(es) de imagem 118 pode/podem estar localizado(s) em uma sala no ambiente 103 em que o usuário 102 está realizando as tarefas (por exemplo, na fábrica da Figura 1). No exemplo da Figura 1, o(s) sensor(es) de imagem 118 captura/capturam imagens(s) do usuário 102 de múltiplos ângulos e/ou vistas no ambiente 103. Por exemplo, um primeiro sensor(es) de imagem 118 (por exemplo, uma primeira câmera) pode gerar dados de imagem, incluindo uma visão frontal do usuário 102 e um segundo sensor(es) de imagem 118 (por exemplo, uma segunda câmera) pode gerar dados de imagem, incluindo uma visão lateral do usuário 102. Em alguns exemplos, o(s) sensor(es) de imagem 118 inclui/incluem câmeras infravermelhas que detectam alterações na temperatura de uma pele do usuário 102 devido à atividade muscular.
[0027] O sistema de exemplo 100 pode incluir outros tipos de sensores do que o exemplo de sensores 112, 116, 118 aqui descritos. Adicionalmente, em alguns exemplos, o sistema 100 inclui poucos tipos de sensores.
[0028] No exemplo da Figura 1, os sinais produzidos pelo(s) sensor(es) de posição do usuário 112, o(s) sensor(es) de tensão 116 e o(s) sensor(es) de imagem 118 são transmitidos para um controlador técnico de realidade estendida (XR) 120. Em alguns exemplos, o controlador técnico XR 120 é implementado por instruções executadas no processador 108 do dispositivo XR 104 e/ou pelo(s) respectivo(s) processador(es) 122 dos outro(s) dispositivo(s) de usuário 114. Em outros exemplos, o controlador técnico XR 120 é implementado por um ou mais dispositivos com base na nuvem, tais como um ou mais servidores, processadores e/ou máquinas virtuais. Em outros exemplos, algumas das análises realizadas pelo controlador técnico XR 120 são implementadas pelo(s) dispositivo(s) com base na nuvem e outras partes da análise são implementadas pelo(s) processador(es) 108, 122 de um ou mais dispositivos de usuário 104, 114.
[0029] Em alguns exemplos, como representados na Figura 1, o(s) sensor(es) de posição do usuário 112, o(s) sensor(es) de tensão 116 e/ou o(s) sensor(es) de imagem 118 estão em comunicação (por exemplo, direta) com o controlador técnico XR 120 através conexão sem fio (conexões Bluetooth®, WiFi com o(s) sensor(es) 112, 116, 118 e/ou com o(s) dispositivo(s) de usuário transportando o(s) sensor(es) 112, 116, 118).
[0030] Em outros exemplos, os sinais que são produzidos por um ou mais dos sensores de posição do usuário 112, o(s) sensor(es) de tensão 116 e/ou o(s) sensor(es) de imagem 118 são transmitidos para, por exemplo, o processador 108 do dispositivo XR 104 para processamento antes de ser transmitido para o controlador técnico XR 120 (ou seja, em exemplos onde o controlador técnico XR 120 é implementado por processador(es) e/ou dispositivo(s) com base na nuvem diferentes dos processadores a bordo 108 do dispositivo XR 104). Por exemplo, o processador 108 do dispositivo XR 104 pode executar operações tal como remover ruído dos dados do sinal, e/ou converter os dados do sinal de dados analógicos para digitais. Em tais exemplos, o processador a bordo 108 do dispositivo XR 104 está em comunicação (por exemplo, comunicação sem fio) com o controlador técnico XR 120. Adicionalmente ou alternativamente, o pré-processamento pode ser realizado pelo(s) processador(es) 122 dos outro(s) dispositivo(s) de usuário 114.
[0031] Em alguns exemplos, o controlador técnico XR 120 recebe dados do sensor a partir do(s) sensor(es) de posição do usuário 112, o(s) sensor(es) de tensão 116 e/ou o(s) sensor(es) de imagem 118 do dispositivo XR 104; e/ou do(s) processador(es) 122 dos outro(s) dispositivo(s) de usuário 114 substancialmente em tempo real (como usado aqui “substancialmente em tempo real” se refere à ocorrência de forma quase instantânea (por exemplo, +/- 1 segundo) reconhecendo que pode haver atrasos no mundo real para tempo de computação, transmissão, etc.). Em outros exemplos, o controlador técnico XR 120 recebe os dados do sensor posteriormente (por exemplo, periodicamente e/ou aperiodicamente com base em uma ou mais configurações, mas algum tempo depois da atividade que fez com que os dados do sensor fossem gerados, tal como o movimento do usuário 102, ocorreu (por exemplo, segundos depois)). Se os dados ainda não foram processados, o controlador técnico XR 120 pode realizar uma ou mais operações nos dados do(s) sensor(es) 112, 116, 118, tal como filtrar os dados de sinal bruto, remover ruídos dos dados do sinal e/ou converter os dados do sinal de dados analógicos para digitais.
[0032] No exemplo da Figura 1, o controlador técnico XR 120 gera um avatar ou treinador digital e faz com que o avatar seja produzido pelo dispositivo XR 104 para apresentação ao usuário 102 (por exemplo, através realidade aumentada). No exemplo da Figura 1, o avatar é um personagem digitalmente animado que fornece instruções ao usuário 102 para realizar movimento(s) em conexão com uma tarefa enquanto o usuário 102 está realizando o movimento. Por exemplo, o avatar gerado pelo controlador técnico XR 120 pode demonstrar a forma ergonomicamente correta ao levantar uma caixa para fornecer ao usuário 102 com instruções visuais (ou seja, gráficas) para levantar uma caixa. Em tais exemplos, o avatar pode executar ações tal como dobrar os joelhos antes de levantar a caixa.
[0033] No exemplo da Figura 1, o controlador técnico XR 120 gera o avatar com base em uma ou mais propriedades do usuário 102, tais como sexo, altura, peso, etc. do usuário 102. As propriedades do usuário podem ser fornecidas através de entradas de usuários e armazenadas em um perfil do usuário (por exemplo, os dados do perfil do usuário 210 discutidos em conexão com a Figura 2) que é usado para gerar um avatar exibindo ou representando propriedades semelhantes ao usuário 102. Em outros exemplos, o avatar é com base em outro(s) usuário(s) e/ou inclui outros conteúdos (por exemplo, representa um caráter não humano, tal como um animal). O controlador técnico XR 120 faz com que o controlador de exibição 110 do dispositivo XR 104 exiba o avatar através da tela 106 do dispositivo XR 104.
[0034] Em exemplos aqui descritos, o controlador técnico XR 120 implementa modelo(s) de rede neural para fazer com que o avatar ilustre formas ergonômicas, incluindo postura(s), posição(ões), orientação(ões), intervalo(s) de movimento, nível(is) de tensão muscular, velocidade(s), etc. para realizar movimentos(s) para promover e/ou preservar a integridade musculoesquelética. Em exemplos aqui descritos, as formas ergonômicas são com bases em propriedades do usuário 102 e/ou outras indivíduos compartilhando propriedades com o usuário 102. Por exemplo, o(s) modelo(s) de rede neural pode/podem ser gerado(s) usando informações para o usuário 102 e/ou outros usuários com base em propriedades tais como idade, sexo, forma física do corpo, peso, histórico médico prévio (por exemplo, lesões, condições tais como artrite). As propriedades do usuário podem ser fornecidas como entradas do usuário em um ou mais do dispositivo XR 104 ou em outro(s) dispositivo(s) de usuário 114. Em alguns exemplos, a(s) rede(s) neurais é/são treinada(s) com base em dados de imagem, dados do sensor(es) de posição e/ou dados de sensor de tensão gerados para o usuário 102 e/ou outros usuários. O(s) modelo(s) de rede neural pode/podem ser gerado(s) para tarefas específicas, tais como levantar uma caixa, instalar um componente localizado na parte de cima, e/ou outras tarefas definidas com base no ambiente 103, na função do usuário 102, etc. Como resultado da análise da rede neural, o controlador técnico XR 120 controla o avatar para demonstrar a(s) forma(s) ergonomicamente de referência, correta(s) ou ideal(is) para a realização de uma tarefa personalizada para o usuário 102.
[0035] No exemplo da Figura 1, o(s) movimentos(s) realizado(s) por avatar como resultado da análise da rede neural realizada pelo controlador técnico XR 120 representa/representam movimento(s) e/ou forma(s) ergonômica(s) de referência (por exemplo, ideal(is) que promove/promovem e/ou preserva/preservam a integridade musculoesquelética. O(s) movimento(s) demonstrado(s) pelo avatar contabiliza para propriedades e/ou habilidades do usuário personalizando as recomendações da forma ergonômica com base nos dados do perfil do usuário e/ou dados (por exemplo, dados em tempo real) gerados pelo(s) sensor(es) de posição do usuário 112, o(s) sensor(es) de tensão(s) 116 e/ou o(s) sensor(es) de imagem 118 enquanto o usuário 102 está realizando movimentos. Por exemplo, para um movimento tal como colocar um item em uma prateleira, o controlador técnico XR 120 pode gerar uma primeira recomendação da forma ergonômica para um primeiro usuário ter uma primeira altura que indica que o primeiro usuário pode chegar à prateleira sem assistência. Por exemplo, a primeira recomendação da forma ergonômica pode aconselhar o usuário a levantar um objeto acima de sua cabeça para colocar o item na prateleira sem exagerar. O controlador técnico XR 120 pode monitorar e/ou ajustar a recomendação da forma ergonômica com base, por exemplo, em dados do sensor de tensão 116. Para um segundo usuário tendo uma segunda altura que indica que o segundo usuário não é capaz de chegar à prateleira, o controlador técnico XR 120 pode gerar uma segunda recomendação da forma ergonômica que aconselha o segundo usuário a subir e descer uma escada com a forma adequada para reduzir o estresse nas pernas e/ou costas do segundo usuário. Exemplos aqui descritos também fornecem feedback ao usuário 102 em relação ao(s) movimento(s) realizado(s) pelo usuário 102 em relação ao(s) movimento(s) ilustrado(s) pelo avatar para incentivar ainda mais o usuário 102 a realizar movimento(s) ergonomicamente correto(s).
[0036] Ο exemplo de controlador técnico XR 120 da Figura 1 analisa os dados do(s) sensor(es) de posição do usuário 112, do(s) sensor(es) de tensão 116 e/ou do(s) sensor(es) de imagem 118 para determinar a(s) forma(s) ergonômica(s) (por exemplo, postura(s), posição(ões), orientação(ões), intervalo(s) de movimento, nível(is) de tensão muscular, velocidade(s), etc.), para uma ou mais partes do corpo do usuário 102. Com base na análise dos dados de posição do usuário, nos dados do sensor de tensão e/ou nos dados da imagem, o controlador técnico XR 120 determina se a(s) forma(s) ergonômica(s) do usuário 102 é/são substancialmente consistente(s) com (por exemplo, corresponder, corresponder substancialmente, alinhar com) a(s) forma(s) ergonômica(s) de referência ilustradas por (por exemplo, corresponder, substancialmente, alinhar com) a(s) forma(s) ergonômica(s) de referência ilustradas por forma(s) ergonômica(s) de referência ilustrada(s) pelo avatar. Por exemplo, o controlador técnico XR 120 pode analisar os dados de imagem gerados pelo sensor(es) de imagem 118 para detectar a(s) posição(ões) de uma ou mais partes do corpo do usuário 102. Por exemplo, o controlador técnico XR 120 analisa os dados de imagem usando análise de reconhecimento de imagem e/ou outra análise de imagem por aprendizado de máquina para identificar os locais das articulações (por exemplo, articulação do joelho, articulação do cotovelo, articulação do pulso) do usuário quando o usuário estiver em uma determinada pose como capturado na imagem. Com base nos locais das articulações ou pontos-chave, o controlador técnico XR 120 pode gerar uma representação esquelética do usuário em uma determinada posição. Como outro exemplo, o controlador técnico XR 120 pode determinar a(s) posições(ões) das partes do corpo do usuário 102 usando dados do(s) sensor(es) de posição do usuário 112. Em alguns exemplos, o controlador técnico XR 120 compara a tensão exercida pelo usuário 102, como detectado pelo(s) sensor(es) de tensão 116 aos níveis de tensão determinados pelo controlador técnico XR. O controlador técnico XR 120 gera feedback a ser fornecido ao usuário 102 através do dispositivo XR 104 e/ou de outro(s) dispositivo(s) de usuário 114 para informar ao usuário 102 se o usuário 102 está executando o(s) movimento(s) corretamente (ou seja, como demonstrado pelo avatar) ou está realizando o(s) movimento(s) incorretamente e, portanto, pode estar em risco de lesão musculoesquelética.
[0037] Em alguns exemplos, o feedback gerado pelo controlador técnico XR 120 inclui representação(ões) gráfica(s) ou visual(is) do usuário. A(s) representação(ões) gráfica(s) pode/podem ilustrar a(s) posição(ões) da(s) parte(s) do corpo do usuário 102 (por exemplo, um braço do usuário 102) relativo às partes correspondentes do avatar (por exemplo, um braço do avatar) apresentado através da tela 106 do dispositivo XR 104. Por exemplo, uma representação gráfica do corpo do usuário pode ser apresentada como sobreposição de uma imagem do avatar para permitir uma comparação do alinhamento do usuário 102 com o avatar em uma posição particular.
[0038] Em alguns exemplos, o controlador técnico XR 120 faz com que uma característica gráfica do avatar seja ajustada com base na comparação da forma ergonômica do usuário com a forma ergonômica de referência. Por exemplo, o controlador técnico XR 120 pode fazer com que uma cor do avatar mude para uma primeira cor (por exemplo, verde) para fornecer um feedback visual ao usuário 102 quando o controlador técnico XR 120 determinar que a(s) posição(ões) da(s) parte(s) do corpo do usuário 102 está/estão substancialmente alinhada(s) com a(s) parte(s) correspondente(s) do avatar. O controlador técnico XR 120 pode fazer com que uma cor do avatar mude para uma segunda cor (por exemplo, vermelho) para alertar o usuário 102 quando o controlador técnico XR 120 determinar que a(s) posição(ões) da(s) parte(s) do corpo do usuário 102 não se alinha substancialmente com a(s) parte(s) correspondentes do avatar.
[0039] O feedback gerado pelo controlador técnico XR 120 pode incluir, adicionalmente ou alternativamente, outros tipos de feedback envolvendo ο avatar. Por exemplo, ο controlador técnico XR 120 pode fazer com que outros tipos de feedback gráfico sejam apresentados através do dispositivo XR 104. Por exemplo, o controlador técnico XR 120 pode fazer com que o avatar execute ações tal como bater palmas em resposta a uma determinação com base em dados do(s) sensor(es) 112, 116, 118 que o usuário 102 está realizando um movimento com postura correta. O controlador técnico XR 120 pode fazer com que outros tipos de conteúdo (por exemplo, conteúdo de vídeo) sejam apresentados através do dispositivo XR 104 para fornecer um feedback ao usuário 102, tal como uma marca de verificação que deve ser exibida quando o controlador técnico XR 120 determinar que o usuário 102 executou o movimento com postura correta.
[0040] Em alguns exemplos, o feedback gerado pelo controlador técnico XR 120 inclui um feedback de áudio a ser produzido através, por exemplo, o alto-falante 126 do dispositivo de realidade estendida 104 e/ou alto-falante(s) 128 do(s) outro(s) dispositivo(s) de usuário 114. O feedback de áudio pode incluir instruções sobre a realização do(s) movimento(s) (por exemplo, “dobre os joelhos antes de levantar a caixa”) e/ou feedback sobre se o usuário 102 executou o movimento com a forma adequada. Adicionalmente ou alternativamente, o feedback gerado pelo controlador técnico XR 120 pode incluir instruções textuais em relação aos ajustes na forma do usuário que são exibidos através, por exemplo, da tela 106 do dispositivo XR 104.
[0041] Em alguns exemplos, o feedback do controlador técnico XR 120 é fornecido através do atuador(es) de feedback háptico 124. O(s) atuador(es) de feedback háptico 124 pode/podem ser transportado(s), por exemplo, pelo usuário 102, pelo dispositivo XR 104, o(s) outro(s) dispositivo(s) de usuário 114 (por exemplo, um smartphone transportado pelo usuário 102), etc. Em alguns exemplos, o controlador técnico XR 120 instrui o(s) atuador(es) de feedback háptico 124 a fornecer saída(s) de feedback háptico (por exemplo, vibrações) enquanto o avatar está sendo apresentado para conscientizar ο usuário 102 sobre sua postura, velocidade de movimento, tensão exercida, etc. em relação ao avatar. Em outros exemplos, o controlador técnico XR 120 faz com que o feedback háptico seja produzido independentemente da apresentação do avatar e em resposta, por exemplo, à detecção de movimento pelo usuário 102.
[0042] Em alguns exemplos, o(s) outro(s) dispositivo(s) de usuário 114 inclui/incluem dispositivo(s) de usuário (por exemplo, tablets eletrônicos, smartphones, laptops) associados ao usuário 102 e/ou a um terceiro que está autorizado a receber relatórios(s), alertas(s), etc. com relação à análise dos dados do sensor, desempenho do(s) movimento(s) do usuário 102 em relação às recomendações apresentadas pelo avatar, etc. O terceiro pode incluir, por exemplo, um profissional médico. Em tais exemplos, o controlador técnico XR 120 pode transmitir os dados coletados pelo(s) sensor(es) 112, 116, 118 e/ou resultados de suas análises para exibição no(s) dispositivo(s) de saída 114. Assim, o terceiro autorizado pode acompanhar alterações no usuário 102 e/ou outros usuários em relação ao desempenho ergonômico ao longo do tempo.
[0043] Figura 2 é um diagrama de bloco de um exemplo de implementação do controlador técnico de realidade estendida (XR) 120 da Figura 1. Como mencionado acima, o exemplo de controlador técnico XR 120 é construído para gerar um avatar (por exemplo, um treinador digital) a ser apresentado através de um dispositivo XR (por exemplo, o dispositivo XR 104 da Figurai) para fornecer um feedback ergonômico a um usuário (por exemplo, o usuário 102 da Figura 1) no que diz respeito ao posicionamento de uma ou mais partes do corpo do usuário quando realiza os(s) movimento(s). No exemplo da Figura 2, o controlador técnico XR 120 é implementado por um ou mais processador(es) de dispositivo(s) de usuário (por exemplo, o dispositivo XR 104, o(s) outro(s) dispositivo(s) de usuário 114 da Figura 1) e/ou dispositivo(s) com base na nuvem (por exemplo, servidor(es), processador(es) e/ou máquina(s) virtual(is)). Em alguns exemplos, parte da análise é implementada pelo controlador técnico XR 120 através de um ambiente de computação na nuvem e uma ou mais outras partes da análise são implementadas por processador(es) de um ou mais dispositivos de usuário.
[0044] No exemplo da Figura2, dados de posição do usuário 200 gerados pelo(s) sensor(es) de posição do usuário 112, dados do sensor de tensão 202 coletados do usuário 102 pelo(s) sensor(es) de tensão 116, e/ou dados de imagem 204 gerados pelo(s) sensor(es) de imagem 118 são transmitidos para o controlador técnico XR 120. Em alguns exemplos, os dados 200, 202, 204 são transmitidos ao controlador técnico XR 120 pelo(s) sensor(es) 112, 116, 118. Em outros exemplos, os dados 200, 202, 204 são transmitidos ao controlador técnico XR 120 pelo processador 108 do dispositivo XR 104 e/ou o(s) processador(es) 122 do(s) outro(s) dispositivo(s) de usuário 114 após, por exemplo, pré-processamento dos dados 200, 202, 204 ser realizados naqueles dispositivos. Essa transmissão dos dados 200, 202, 204 para o controlador técnico XR 120 pode ser substancialmente em tempo real (por exemplo, como os dados são coletados), periodicamente (por exemplo, a cada cinco segundos) e/ou pode ser aperiodicamente (por exemplo, com base em fator(es) tais como uma quantidade de dados coletados, uso da capacidade de armazenamento da memória, se o usuário 102 realizou um movimento, etc.). Embora exemplos aqui descritos geralmente se refiram aos dados 200, 202, 204, em alguns exemplos, nem todos os tipos dos dados 200, 202, 204 são coletados e/ou usados nas análises aqui realizadas.
[0045] No exemplo da Figura 2, um banco de dados 206 fornece meios para armazenar os dados de posição do usuário 200, os dados do sensor de tensão 202, e os dados de imagem 204. No exemplo da Figura 2, o banco de dados 206 pode armazenar os dados 200, 202, 204 ao longo do tempo. Em alguns exemplos, o controlador técnico XR 120 inclui o banco de dados 206. Em outros exemplos, o banco de dados 206 está localizado externo ao controlador técnico XR 120 em um local acessível ao controlador técnico XR 120, como mostrado na Figura 2.
[0046] O exemplo de controlador técnico XR 120 inclui um modificador de sinal 208. O modificador de sinal 208 pode realizar operações para modificar os dados do sensor 200, 202, 204 do(s) sensor(es) 112, 116, 118 para, por exemplo, filtrar os dados, converter dados de áudio de domínio de tempo no domínio de frequência (por exemplo, através do processamento de Transformada Rápida de Fourier (FFT)) para análise espectral, etc. Em alguns exemplos, o modificador de sinal 208 processa os dados do sensor 200, 202, 204 se o pré-processmento dos dados não tiver sido realizado de outra forma no dispositivo XR 104 e/ou no(s) outro(s) dispositivo(s) de usuário 114. Em alguns exemplos, os dados 201, 202, 204 passam por modificação(ões) pelo modificador de sinal 208 antes de ser armazenados no banco de dados 206.
[0047] O exemplo controlador técnico XR 120 inclui um analisador de dados de imagem 207. O analisador de dados de imagem 207 analisa os dados de imagem 204 gerados pelo(s) sensor(es) de imagem 118 usando uma análise de reconhecimento de imagem para, por exemplo, identificar o usuário 102 nos dados da imagem, detectar locais de parte(s) do corpo do usuário 102, etc. Em alguns exemplos, o analisador de dados de imagem 207 identifica a(s) parte(s) do corpo do usuário 102 nos dados de imagem 204 usando detecção de pontos-chave, onde os pontos-chave representam articulações do usuário 102. Os resultados da análise de reconhecimento de imagem realizada pelo analisador de dados de imagem 207 (por exemplo, locais de pontos-chave) são armazenados no banco de dados 206 como dados de reconhecimento de imagem 209.
[0048] No exemplo da Figura 2, os dados do perfil do usuário 210 são recebidos pelo controlador técnico XR 120 e armazenados no banco de dados 206. Os dados do perfil do usuário 210 podem ser fornecidos como entrada(s) do usuário no dispositivo XR 104 e/ou no(s) outro(s) dispositivo(s) de usuário 114. Os dados do perfil do usuário 210 podem incluir características e/ou propriedades do usuário 102, tais como sexo, idade, peso, altura, etc. do usuário 102. Os dados do perfil do usuário 210 podem incluir outros tipos de dados, tais como uma posição de trabalho do usuário 102 (por exemplo, para indicar uma natureza de tarefas e/ou movimentos a ser realizados), um histórico médico para o usuário 102 (por exemplo, lesões anteriores a(s) parte(s) do corpo do usuário 102, condições tais como artrite), etc.
[0049] Os dados do perfil do usuário 210 podem definir tarefa(s) a ser executada(s) pelo usuário 102 para as quais o avatar deve fornecer instruções sobre movimentos ergonômicos de referência ou ideais. Por exemplo, a(s) tarefa(s) pode/podem ser associada(s) a um trabalho do usuário 102, tais como instalar um componente enquanto estiver em uma escada, carregar um caminhão com inventário, etc.
[0050] Em alguns exemplos, o banco de dados 206 armazena dados de perfil populacional 212. Os dados do perfil populacional 212 podem incluir dados associados com indivíduos em uma população compartilhando uma ou mais características com o usuário 102, tal como uma altura média de um indivíduo com base no sexo e idade. Os dados do perfil populacional 212 podem incluir força muscular média exercida pelos usuários em diferentes idades, com diferentes condições de saúde, etc. Os dados do perfil populacional 212 podem incluir distância média entre as articulações em usuários de uma determinada altura. Os dados do perfil populacional 212 podem ser definidos por entrada(s) do usuário e podem incluir outros tipos de dados do que os exemplos aqui descritos.
[0051] Como exemplo da Figura 2, os dados de referência da tarefa 214 são armazenados no banco de dados 206. Os dados de referência da tarefa 214 definem tarefas e movimentos associados para a execução das tarefas. No exemplo da Figura 2, os movimentos definidos nos dados de referência da tarefa 214 incluem forma(s) ergonomicamente correta(s) (por exemplo, postura(s), posição(ões), orientação(ões), nível(is) de tensão muscular, etc.) que servem como dados de referência para determinação da(s) forma(s) a ser/serem realizada(s) pelo usuário 102. Por exemplo, os dados de referência da tarefa 214 podem incluir movimentos relacionados com o levantamento de uma caixa para reduzir a tensão nas costas (por exemplo, dobrar joelhos, manter-se reto, etc.). A(s) forma(s) ergonomicamente correta(s) incluída(s) nos dados de referência de tarefa 214 pode/podem ser definida(s) com base, por exemplo, em dados médicos conhecidos. Os dados de referência da tarefa 214 podem ser fornecidos ao controlador técnico XR 120 através de uma ou mais entradas de usuário.
[0052] O exemplo de controlador técnico XR 120 da Figura 2 inclui um gerador de avatar 216. O gerador de avatar 216 gera um avatar ou treinador digital com base nos dados do perfil do usuário 210. Por exemplo, o gerador de avatar 216 pode gerar um avatar com o mesmo sexo que o usuário 102 e representando uma altura semelhante. Os dados associados ao avatar gerado pelo gerador de avatar 216 são armazenados no banco de dados 206 como dados de propriedade do avatar 218.
[0053] Como descrito aqui, o avatar gerado pelo gerador de avatar 216 é controlado para realizar movimentos(s) com forma(s) ergonômica(s) de referência ou ideal(is) para orientar o usuário 102 na execução de movimentos (por exemplo, em conexão com uma tarefa) na forma ergonomicamente correta. O exemplo de controlador técnico XR 120 da Figura 2 inclui um analisador de posição do avatar 220. No exemplo da Figura 2, o analisador de posição do avatar 220 executa modelo(s) de rede neural para determinar posições(ões), postura(s), movimento(s), intervalo(s) de movimento, velocidade(s), força exercida, e/ou outras propriedades ou formas associadas a movimentos a ser ilustrados por um avatar ao demonstrar tarefa(s) tais como levantar uma caixa, instalar um componente na parte de cima, etc. No exemplo da Figura 2, as propriedades ou formas associadas ao(s) movimento(s) a ser/serem ilustrada(s) pelo avatar são personalizadas para o usuário 102 com base na análise da rede neural. O gerador de avatar 216 executa as instruções geradas pelo analisador de posição do avatar 214 para controlar o avatar para executar o(s) movimento(s) em relação às formas ergonômicas determinadas pela análise da rede neural.
[0054] A inteligência artificial (AI), incluindo aprendizado de máquina (machine learning) (ML), aprendizado profundo (deep learning) (DL), e/ou outra lógica artificial orientada por máquinas, permite que máquinas (por exemplo, computadores, circuitos lógicos, etc.) usem um modelo para processar dados de entrada para gerar uma saída com base em padrões e/ou associações previamente aprendidas pelo modelo através de um processo de treinamento. Por exemplo, o modelo pode ser treinado com dados para reconhecer padrões e/ou associações e seguir tais padrões e/ou associações ao processar dados de entrada, de forma que outra(s) entrada(s) resulte/resultem em saídas(s) consistente(s) com os padrões e/ou associações reconhecidos.
[0055] Em geral, a implementação de um sistema ML/AI envolve duas fases, uma fase de aprendizado/treinamento e uma fase de inferência. Na fase de aprendizado/treinamento, um algoritmo de treinamento é usado para treinar um modelo para operar de acordo com padrões e/ou associações com base, por exemplo, em dados de treinamento. Em geral, o modelo inclui parâmetros internos que orientam como os dados de entrada são transformados em dados de saída, tal como através de uma série de nódulos e conexões dentro do modelo para transformar dados de entrada em dados de saída. Adicionalmente, hiperparâmetros são usados como parte do processo de treinamento para controlar como o aprendizado é realizado (por exemplo, uma taxa de aprendizado, uma série de camadas a ser usadas no modelo de aprendizagem de máquina, etc.). Os hiperparâmetros são definidos como parâmetros de treinamento que são determinados antes de iniciar o processo de treinamento.
[0056] Diferentes tipos de treinamento podem ser realizados com base no tipo de modelo ML/AI e/ou na saída esperada. Por exemplo, o treinamento supervisionado usa entradas e saídas esperadas correspondentes (por exemplo, rotuladas) para selecionar parâmetros (por exemplo, iterando combinações de parâmetros selecionados) para o modelo ML/AI que reduz o erro do modelo. Como aqui usado, a rotulagem se refere a uma saída esperada do modelo de aprendizado de máquina (por exemplo, uma classificação, um valor de saída esperado, etc.). Alternativamente, o treinamento não supervisionado (por exemplo, usado no aprendizado profundo (deep learning), um subconjunto de aprendizado de máquina (machine learning), etc.) envolve inferir padrões de entradas para selecionar parâmetros para o modelo ML/AI (por exemplo, sem o benefício das saídas esperadas (por exemplo, rotuladas).
[0057] O treinamento é realizado com dados de treinamento. Em exemplos aqui descritos, os dados de treinamento são originados de dados do sensor gerados anteriormente (por exemplo, dados de posição do usuário, dados do sensor de tensão, tais como dados de EMG ou dados do sensor de estiramento de tecido, dados de imagem do(s) usuários(s) executando diferente(s) movimentos(s), dados de parâmetros do usuário (por exemplo, peso, gênero), dados do sensor de captura de movimento, etc.) para movimento associado a(s) forma(s) ergonômica(s) correta(s). Como o treinamento supervisionado é usado, os dados de treinamento são rotulados.
[0058] Uma vez concluído o treinamento, o modelo é implantado para uso como uma construção executável que processa uma entrada e fornece uma saída com base na rede de nódulos e conexões definidas no modelo. O(s) modelo(s) é/são armazenado(s) em uma ou mais bases de dados (por exemplo, o banco de dados 236 da Figura 2). O modelo pode então ser executado pelo analisador de posição do avatar 220 do exemplo de controlador técnico XR 120 da Figura 2.
[0059] Uma vez treinado, o modelo implantado pode ser operado em uma fase de inferência para processar dados. Na fase de inferência, os dados a ser analisados (por exemplo, dados ao vivo) são inseridos no modelo, e o modelo é executado para criar uma saída. Essa fase de inferência pode ser considerada como o “pensamento” da AI para gerar a saída com base no que aprendeu com o treinamento (por exemplo, executando o modelo para aplicar os padrões aprendidos e/ou associações aos dados ao vivo). Em alguns exemplos, os dados de entrada passam por pré-processamento antes de ser usados como uma entrada para o modelo de aprendizado de máquina (machine learning). Adicionalmente, em alguns exemplos, os dados de saída podem sofrer pós-processamento após ser gerados pelo modelo de AI para transformar a saída em um resultado útil (por exemplo, uma tela de dados, uma instrução a ser executada por uma máquina, etc.).
[0060] Em alguns exemplos, a saída do modelo implantado pode ser capturada e fornecida como um feedback. Analisando o feedback, uma precisão do modelo implantado pode ser determinada. Se o feedback indicar que a precisão do modelo implantado é menor que um limite ou outro critério, o treinamento de um modelo atualizado pode ser acionado usando o feedback e um conjunto de dados de treinamento atualizados, hiperparmetros, etc., para gerar um modelo atualizado e implantado.
[0061] Referindo-se à Figura 2, o sistema de exemplo 100 inclui um primeiro sistema de computação 222 para treinar uma rede neural para gerar instruções para o controle de um avatar para demonstrar formas ergonômicas de referência ou ideais (por exemplo, postura(s), posição(ões), orientação(ões), faixa(s) de movimento, velocidade(s), etc.), ao realizar movimento(s) com base nas propriedades do usuário 102. O exemplo do primeiro sistema de computação 222 inclui um processador de rede neural 224. Em exemplos descritos aqui, o processador de rede neural 224 implementa uma rede neural.
[0062] O exemplo do primeiro sistema de computação 222 da Figura 2 inclui um treinador de rede neural 226. O exemplo de treinador de rede neural 226 da Figura2 realiza o treinamento da rede neural implementado pelo processador de rede neural 224.
[0063] O exemplo do primeiro sistema de computação 222 da Figura 2 inclui um controlador de treinamento 228. O controlador de treinamento exemplo 228 instrui o treinador de rede neural 226 a realizar o treinamento da rede neural com base nos dados de treinamento 230. No exemplo da Figura 2, os dados de treinamento 230 usados pelo treinador da rede neural 226 para treinar a rede neural são armazenados em um banco de dados 232.
[0064] No exemplo da Figura 2, os dados de treinamento 230 incluem, por exemplo, dados de imagem do(s) usuário(s) executando movimentos(s) com forma(s) ergonomicamente correta(s), dados de posição incluindo localizações de parte(s) do corpo de usuários(s) na(s) forma(s) ergonomicamente correta(s) ao realizar movimento(s), os dados do sensor de tensão muscular em relação à tensão muscular durante determinadas tarefas, etc. Os dados de treinamento 230 podem ser para tarefa(s) específica(s) (por exemplo, levantar uma caixa) e/ou para determinada(s) parte(s) do corpo (por exemplo, ombros, costas, pescoço, pernas). Os dados de treinamento podem incluir os dados de referência de tarefas 214 que incluem movimento(s) de referência (por exemplo, ideal(is)) associado(s) a diferentes tarefas.
[0065] No exemplo da Figura 2, os dados de treinamento 230 são particulares para o usuário 102 e/ou usuários com propriedades semelhantes ao usuário 102 (por exemplo, sexo, altura, peso, etc.). Em alguns exemplos, os dados de treinamento 230 incluem os dados do perfil do usuário 210. Em alguns exemplos, os dados de treinamento 230 incluem os dados de posição do usuário 200, os dados do sensor de tensão 202, os dados de imagem 204 e/ou os dados de reconhecimento de imagem 209 associados ao usuário 102 (por exemplo, dados anteriormente gerados 200, 202, 204, 209). Adicionalmente ou alternativamente, os dados de treinamento 230 podem incluir os dados do perfil populacional 212 para usuários com propriedades semelhantes (por exemplo, propriedades físicas) como o usuário 102.
[0066] O treinador de rede neural 226 treina a rede neural implementada pelo processador de rede neural 224 usando os dados de treinamento 230 para identificar as formas ergonômicas de referência ou ideais para a realização de movimento(s) que são baseados ou direcionados às propriedades do usuário 102. Um ou mais modelos de posição do avatar 234 são gerados como resultado do treinamento da rede neural. O(s) modelo(s) de posição do avatar 234 define/definem posição(ões), postura(s), faixas(s) de movimento, velocidade(s), nível(is) de tensão muscular, etc. a ser demonstrados pelo avatar ou treinador digital em relação ao(s) movimento(s) associado(s) a uma tarefa (por exemplo, levantar uma caixa) para promover e/ou proteger a integridade musculoesquelética. O(s) modelo(s) de posição do avatar 234 é/estão armazenado(s) em um banco de dados 236. Os bancos de dados 232, 236 podem ser o mesmo dispositivo de armazenamento ou diferentes dispositivos de armazenamento.
[0067] O analisador de posição do avatar 220 executa o(s) modelo(s) de posição do avatar 234 para gerar instruções para controlar um avatar em relação ao(s) movimentos(s) que representa/representam a(s) forma(s) ergonômica(s) de referência ou ideal(is) para o usuário 102 ao executar o(s) movimento(s). O(s) modelo(s) de posição do avatar 234 executado(s) pelo analisador de posição do avatar 220 pode/podem ser selecionado(s) com base em uma tarefa a ser executada pelo usuário 102 (por exemplo, conforme como especificado nos dados do perfil do usuário 210). As instruções para controlar o(s) movimento(s) e/ou forma(s) a ser ilustradas pelo avatar são armazenadas como instrução(ões) de controle do avatar 236 no banco de dados 206.
[0068] Ο gerador de avatar 216 implementa a(s) instrução(ões) de controle do avatar 236 para fazer com que o avatar realize os movimentos com a(s) forma(s) ergonômica(s) especificada(s) na(s) instrução(s) 236. Por exemplo, o gerador de avatar 216 pode fazer com que o avatar dobre os joelhos para demonstrar a postura ideal para levantar uma caixa com base na(s) instrução(ões) 236. O gerador de avatar 216 se comunica com um ou mais do processador 108 (por exemplo, em exemplos onde o controlador técnico XR 120 é implementado por um processador diferente) e/ou o controlador de exibição 110 do dispositivo XR 104 para fazer o avatar definido pelos dados de propriedade do avatar 218 e ilustrar a(s) forma(s) ergonômica(s) definida(s) pela(s) instrução(ões) 236 a ser produzida(s) pelo dispositivo XR 104.
[0069] No exemplo das Figuras 1 e 2, o(s) sensor(es) 112, 116, 118 geram os dados do sensor 200, 202, 204 associados ao usuário 102 já que o usuário 102 interage com o avatar ou treinador digital gerado pelo gerador de avatar 216 e produzido pelo dispositivo XR 104. O exemplo de controlador técnico XR 120 da Figura 2 inclui um gerador feedback 238. No exemplo da Figura 2, o gerador de feedback 238 analisa os dados de posição do usuário 200, os dados do sensor de tensão 202, os dados de imagem 204 e/ou os dados de reconhecimento de imagem 209 para comparar a(s) forma(s) do usuário 102 com a(s) forma(s) ergonômica(s) de referência ou ideal(is) demonstrada(s) pelo avatar. Em alguns exemplos, o gerador de feedback 238 determina se a(s) forma(s) do usuário (por exemplo, posição(ões), faixas(s) de movimento, velocidade(s), tensão muscular, etc. da(s) parte(s) do corpo do usuário 102) está/estão substancialmente alinhada(s) com a(s) forma(s) ergonômica(s) de referência ou ideal(is) (por exemplo, posição(ões), faixa(s), velocidade(s), tensão muscular, etc., demonstrada(s) pelo avatar).
[0070] Em alguns exemplos, o gerador de feedback 238 analisa os dados de posição do usuário 200, os dados do sensor de tensão 202, os dados de imagem 204 e/ou os dados de reconhecimento de imagem 209 para determinar a(s) posição(ões) de uma ou mais partes do corpo do usuário. Por exemplo, o gerador de feedback 238 pode determinar um ângulo no qual um braço do usuário 102 é disposto quando o braço é levantado acima da cabeça do usuário com base nos locais das juntas (por exemplo, pontos-chave representativos da articulação do ombro, da articulação do cotovelo, da articulação do pulso) detectadas nos dados de imagem 204 e armazenados como os dados de reconhecimento de imagem 209. Em alguns exemplos, o gerador de feedback 238 analisa os dados de imagem coletados pelo(s) sensor(es) de imagem 118a partir de múltiplas visualizações para determinar a(s) posição(ões) do corpo do usuário 102. Como outro exemplo, o gerador de feedback 238 pode analisar os dados de posição do usuário 200 para determinar os locais da(s) parte(s) do corpo do usuário 102 em relação a um local de referência através, por exemplo, da análise de captura de movimento.
[0071] O gerador de feedback 238 compara a(s) forma(s) da(s) parte(s) do corpo do usuário 102 à(s) forma(s) ergonômica(s) de referência ou ideal(is) da(s) parte(s) correspondente(s) do avatar, como determinado pela análise da rede neural e definido pelas instruções de controle do avatar 236. Por exemplo, o gerador de feedback 238 pode mapear a(s) posições(s) da(s) parte(s) do corpo do usuário 102 para a(s) posições(s) de referência (por exemplo, ideal(is)) da(s) parte(s) do corpo correspondente(s) representada(s) pelo avatar. O gerador de feedback 238 determina se a(s) posição(ões) da(s) parte(s) do corpo do usuário 102 está/estão substancialmente alinhada(s) com a(s) posição(ões) de referência demonstrada(s) pelo avatar que corresponde à forma ergonômica adequada. Adicionalmente ou altemativamente, o gerador de feedback 238 pode comparar a(s) posição(ões) da(s) parte(s) do corpo do usuário 102 com a(s) posição(ões) de referência ou movimento(s) definido(s) nos dados de referência da tarefa 214.
[0072] O gerador de feedback 238 determina se a(s) forma(s) da(s) parte(s) do corpo do usuário 102 se alinha/alinham ou se alinha/alinham substancialmente com a(s) forma(s) ergonômica(s) correspondente(s) do avatar com base na(s) regra(s) de limite de alinhamento 240. A(s) regra(s) de limite de alinhamento pode/podem definir, por exemplo, um limite permitido (por exemplo, percentual) de uma diferença entre uma posição de uma parte do corpo do usuário 102 e a posição de referência de tal modo que a forma do usuário satisfaz a forma ergonômica de referência. A(s) regra(s) do limite de alinhamento 240 pode/podem ser definida(s) pela(s) entrada(s) do usuário.
[0073] Como outro exemplo, o gerador de feedback 238 pode analisar a velocidade em que o usuário 102 está realizando um movimento, tensão muscular exercida, etc. com base nos dados do sensor 200, 202, 204 para determinar diferenças entre os esforços exercidos pelo usuário 102 em relação aos movimentos e as velocidades recomendadas, tensão muscular, etc. demonstradas pelo avatar. A(s) regra(s) de limite de alinhamento 240 pode/podem definir os limites correspondentes para comparação.
[0074] No exemplo da Figura 2, o gerador de feedback 238 gera instrução(ões) para produzirem feedback em relação ao(s) movimento(s) e forma(s) associado(s) do usuário em relação ao(s) movimento(s) e forma(s) ergonômica(s) de referência ou ideal(is) demonstrado(s) pelo avatar a ser apresentado(s) através do dispositivo XR 104. Em alguns exemplos, o gerador de feedback 238 gera instruções para fazer com que o controlador de exibição 110 do dispositivo XR 104 altere uma característica gráfica (por exemplo, cor, aparência) do avatar com base em se a(s) forma(s) (por exemplo, posição(ões) da(s) parte(s) do corpo) do usuário 102 está/estão alinhada(s) ou substancialmente alinhada(s) com a forma(s) do avatar. Por exemplo, o gerador de feedback 238 pode gerar instruções para que o avatar seja exibido como verde quando o gerador de feedback 238 determina que a postura do usuário 102 satisfaz a(s) regra(s) do limite de alinhamento 240 e, portanto, está substancialmente alinhada com a postura do avatar. O gerador de feedback 238 pode gerar instruções para que o avatar seja exibido como vermelho quando o gerador de feedback 238 determina que a postura do usuário 102 não satisfaz a(s) regra(s) de limite de alinhamento 240 e, portanto, não está substancialmente alinhada com a postura do avatar. O gerador de feedback 238 transmite as instruções para o controlador de exibição do dispositivo XR 104.
[0075] Em alguns exemplos, o gerador de feedback 238 gera representação(ões) gráfica(s) 242 do usuário 102 em posição(ões) específica(s) com base na análise dos dados do sensor 200, 202, 204. O gerador de feedback 238 instrui o controlador de exibição 110 do dispositivo XR 104 a apresentar a representação gráfica 242 do usuário 102 com o avatar. Por exemplo, a representação gráfica 242 do usuário pode ser ilustrada como sobreposição do avatar em uma posição correspondente. A sobreposição da representação gráfica 242 e do avatar pode fornecer indicações gráficas de diferenças entre a forma do usuário 102 e a forma ergonômica de referência ou ideal demonstrada pelo avatar.
[0076] Em alguns exemplos, o gerador de feedback 238 instrui o controlador de exibição 110 do dispositivo XR 104 a produzir as representações gráficas 242 mostrando posições do usuário 102 em relação ao avatar ao longo do tempo. Tais informações podem informar ao usuário 102 se sua forma está melhorando ao longo do tempo em relação ao desempenho ergonômico do(s) movimentos(s). Em alguns exemplos, o gerador de feedback 238 pode instruir o controlador de exibição a produzir dados de imagem mostrando posições de outros usuários em relação ao avatar ao longo do tempo com base nos dados do perfil populacional 212 para mostrar ao usuário 102 como o usuário 102 se compara a outros usuários.
[0077] Adicionalmente ou alternativamente, o gerador de feedback 238 pode instruir o dispositivo XR 104 e/ou o(s) outro(s) dispositivo(s) do usuário 114 a fornecer outros tipos de feedback em relação ao desempenho ergonômico do usuário 102. Por exemplo, o gerador de feedback 238 pode gerar saída(s) de áudio informando ao usuário 102 se ele está ou não realizando o movimento corretamente (por exemplo, com base na comparação dos dados do sensor 200, 202, 204 e/ou dados 209 derivados dos mesmos para (as) regra(s) do limite de alinhamento 240) e/ou instruções textuais sobre como executar um movimento para exibição.
[0078] Adicionalmente ou alternativamente, o gerador de feedback 238 pode gerar instruções para fornecer um feedback háptico ao usuário 102 através do atuador(es) de feedback háptico 124. Em alguns exemplos, o gerador de feedback 238 gera instruções para que o feedback háptico seja fornecido com base na análise do(s) movimento(s) do usuário 102 em relação ao avatar para alertar o usuário 102 com relação, por exemplo, a forma inadequada. Em outros exemplos, o gerador de feedback 238 gera instruções para um feedback háptico independente da apresentação do avatar para servir como um lembrete ao usuário 102 de estar atento quanto à forma ergonômica ao realizar movimentos(s). Por exemplo, o gerador de feedback 238 pode instruir o(s) atuador(es) de feedback háptico 124 a gerar feedback háptico em resposta à detecção de uma alteração na posição de uma parte do corpo do usuário com base na análise dos dados do sensor 200, 202, 204.
[0079] Em alguns exemplos, o gerador de feedback 238 transmite dados sobre o desempenho do usuário 102 em relação ao avatar para o(s) dispositivo(s) do usuário 114 associado(s) a terceiros autorizados para permitir que terceiros analisem o desempenho do usuário 102 ao longo do tempo. O terceiro pode incluir, por exemplo, um profissional médico. Em alguns exemplos, o gerador de feedback 238 transmite os dados coletados pelo(s) sensor(es) 200, 202, 204, os dados de reconhecimento de imagem 209 e/ou a(s) representação(ões) gráfica(s) 242 do usuário 102 sobrepondo o avatar para exibição no(s) dispositivo(s) de saída(s) 114. Assim, o terceiro autorizado pode acompanhar as alterações no desempenho do(s) movimento(s) pelo usuário 102 ao longo do tempo.
[0080] No exemplo da Figura 2, os dados de posição do usuário 200, os dados do sensor de tensão 202 e/ou os dados de imagem 204, os dados de reconhecimento de imagem 209 e/ou a(s) representação(ões) gráfica(s) 242 podem ser usados para refinar o(s) modelo(s) de posição do avatar 234 como parte do treinamento de feedback. Por exemplo, as alterações em vigor exercidas pelo usuário 102 como definidas nos dados do sensor de tensão 202 coletados ao longo do tempo podem ser usadas para ajustar as instruções geradas pelo analisador de posição do avatar 214 em relação, por exemplo, a uma duração do tempo para a qual uma posição é mantida pelo avatar e, portanto, pelo usuário 102. Da mesma forma, alterações nas posições da(s) parte(s) do corpo do usuário 102 ao longo do tempo podem indicar lesões. Como outro exemplo, a(s) representação(ões) gráfica(s) 242 do usuário 102 executando o(s) movimento(s) ou formas(s) demonstrado(s) pelo avatar pode/podem ser usado(s) para treinamento de feedback. O(s) modelo(s) de posição do avatar 234 pode/podem ser atualizado(s) para contabilizar o desempenho pelo usuário 102 e fornecer recomendações atualizadas ao usuário 102 com base em atualizações para os dados do sensor 200, 202, 204 e/ou os dados do perfil do usuário 210 ao longo do tempo (por exemplo, indicando uma alteração em uma condição de saúde do usuário 102, etc.).
[0081] Enquanto um exemplo da maneira de implementação do controlador técnico XR 120 da Figura 1 é ilustrada na Figura 2, um ou mais dos elementos, processos, e/ou dispositivos ilustrados na Figura 2 podem ser combinados, divididos, reorganizados, omitidos, eliminados e/ou implementados de qualquer outra forma. Adicionalmente, o exemplo do banco de dados 206, o exemplo do analisador de dados de imagem 207, o exemplo do modificador de sinal 208, o exemplo do gerador de avatar 216, o exemplo do analisador de posição do avatar 220, o exemplo do gerador de feedback 238 e/ou, mais geralmente, o exemplo do controlador técnico XR 120 da Figura 2 podem ser implementados por hardware, software, firmware e/ou qualquer combinação de hardware, software dou firmware. Assim, por exemplo, qualquer um dos exemplos de banco de dados 206, o exemplo do analisador de dados de imagem 207, o exemplo do modificador de sinal 208, o exemplo do gerador de avatar 216, o exemplo do analisador de posição do avatar 220, o exemplo do gerador de feedback 238 e/ou, mais geralmente, o exemplo do controlador técnico XR 120 poderia ser implementado por um ou mais circuito(s) analógico(s) ou digital(is), circuitos lógicos, processador(es) programável(is), controlador(es) programável(eis), unidade(s) de processamento gráfico (GPU(s)), processador(es) de sinal(is) digital(is) (DSP(s)), circuito(s) integrado(s) de aplicação(ões) específica(s) (ASIC(s)), dispositivo(s) lógico(s) programável(eis) (PLD(s)) e/ou dispositivo(s) lógico(s) programável(eis) em campo(s) (FPLD(s)). Ao ler qualquer uma das reivindicações de aparelho ou sistema dessa patente para cobrir uma implementação puramente de software e/ou firmware, pelo menos um dos exemplos de banco de dados 206, o exemplo do analisador de dados de imagem 207, o exemplo de modificador de sinal 208, o exemplo do gerador do avatar 216, o exemplo do analisador de posição do avatar 220, e/ou o exemplo do gerador de feedback 238 é expressamente definido para incluir um dispositivo de armazenamento legível por computador não transitório ou disco de armazenamento tais como memória, um disco versátil digital (DVD), um disco compacto (CD), um disco Blu-ray, etc. incluindo o software e/ou firmware. Adicionalmente, o exemplo de controlador técnico XR 120 pode incluir um ou mais elementos, processos e/ou dispositivos, em adição a, ou em vez de, aqueles ilustrados na Figura 2, e/ou pode incluir mais de um de qualquer ou todos os elementos, processos, e dispositivos ilustrados. Como aqui usado, a frase “em comunicação”, incluindo variações da mesma, abrange comunicação direta e/ou comunicação indireta através de um ou mais componentes intermediários, e não requer comunicação física direta (por exemplo, com fio) e/ou comunicação constante, mas inclui, adicionalmente, comunicação seletiva em intervalos periódicos, intervalos programados, intervalos aperiódicos, e/ou eventos únicos.
[0082] Enquanto um exemplo da maneira de implementação do primeiro sistema de computação 222 é ilustrado na Figura 2, um ou mais dos elementos, processos, e/ou dispositivos ilustrados na Figura 2 podem ser combinados, divididos, reorganizados, omitidos, eliminados, e/ou implementados de qualquer outra forma. Adicionalmente, o exemplo do processador de rede neural 224, o exemplo do treinador 226, o exemplo de controlador de treinamento 228, o exemplo do(s) banco(s) de dados 232, 236 e/ou, mais geralmente, o exemplo do primeiro sistema de computação 222 da Figura 2 podem ser implementados por hardware, software, firmware e/ou qualquer combinação de hardware, software e/ou firmware. Assim, por exemplo, qualquer um dos exemplos do processador de rede neural 224, o exemplo de treinador 226, o exemplo do controlador de treinamento 228, o exemplo de banco(s) de dados 232, 236 e/ou, mais geralmente, o exemplo do primeiro sistema de computação 222 poderia ser implementado por um ou mais circuito(s) analógico(s) ou digital(is), circuitos lógicos, processador(es) programável(is), controlador(es) programável(eis), unidade(s) de processamento gráfico (GPU(s)), processador(es) de sinal(is) digital(is) (DSP(s)), circuito(s) integrado(s) de aplicação(ões) específica(s) (ASIC(s)), dispositivo(s) lógico(s) programável(eis) (PLD(s)) e/ou dispositivo(s) lógico(s) programável(eis) em campo(s) (FPLD(s)). Ao ler qualquer uma das reivindicações de aparelho ou sistema dessa patente para cobrir uma implementação puramente de software e/ou firmware, pelo menos um dos exemplos de processador de rede neural 224, o exemplo de treinador de exemplo 226, o exemplo de controlador de treinamento 228, e/ou o exemplo de bancos de dados 232, 236 é expressamente definido para incluir um dispositivo de armazenamento legível por computador não transitório ou disco de armazenamento tais como uma memória, um disco versátil digital (DVD), um disco compacto (CD), um disco Blu-ray, etc., incluindo o software e/ou firmware. Adicionalmente, o exemplo do primeiro sistema de computação 222 pode incluir um ou mais elementos, processos, e/ou dispositivos, adicionalmente a, ou em vez de, aqueles ilustrados na Figura 2, e/ou pode incluir mais de um ou todos os elementos, processos, e dispositivos ilustrados. Como aqui usada, a frase “em comunicação”, incluindo variações da mesma, abrange comunicação direta e/ou comunicação indireta através de um ou mais componentes intermediários, e não requer comunicação física direta (por exemplo, com fio) e/ou comunicação constante, mas inclui, adicionalmente, comunicação seletiva em intervalos periódicos, intervalos programados, intervalos aperiódicos, e/ou eventos únicos.
[0083] A Figura3 ilustra um exemplo de avatar 300 gerado pelo exemplo de controlador técnico 120 de realidade estendida (XR) das Figuras 1 e/ou 2 e apresentado através de um dispositivo XR 302 (por exemplo, o dispositivo XR 104 das Figuras 1 e 2) usado por um usuário 304. No exemplo de Figura 3, o dispositivo XR 302 inclui óculos, tais como óculos de realidade aumentada.
[0084] Como mostrado na Figura 3, o exemplo de avatar 300 demonstra a forma ergonômica de referência (por exemplo, ideal) 301 para realizar uma tarefa, incluindo levantar uma caixa. Por exemplo, na Figura 3, o avatar 300 é mostrado com os joelhos dobrados e costas substancialmente retas. A forma ergonômica 301 do avatar 300 pode ser determinada pelo analisador de posição do avatar 220 com base na execução do(s) modelo(s) de posição do avatar com base na rede neural 234 e propriedades do usuário 304 (por exemplo, os dados do perfil do usuário 210) e/ou usuários similares como o usuário 304 (por exemplo, os dados do perfil populacional 212). O avatar 300 pode demonstrar outros movimentos e formas ergonômicas associadas em conexão com o levantamento da caixa, tais como ficar em pé com a caixa, andar com a caixa, etc.
[0085] A Figura 4 ilustra um exemplo gráfico usuário-avatar 400 gerada pelo exemplo do controlador técnico XR 120 das Figuras 1 e/ou 2. O exemplo da sobreposição gráfica do usuário-avatar 400 pode ser apresentado através do dispositivo XR 104, 302 para fornecer a um usuário um feedback gráfico sobre sua forma em relação à forma ergonômica demonstrada por um avatar ou treinador digital 402 gerado pelo controlador técnico XR 120.
[0086] No exemplo da Figura 4, o avatar 402 demonstra uma primeira forma ergonômica 403 (por exemplo, uma forma ergonômica de referência, uma primeira posição ergonômica). Por exemplo, a primeira forma ergonômica 403 mostrada na Figura 4 representa uma forma recomendada para um usuário levantar os braços acima da cabeça para recuperar um objeto (por exemplo, dobrando ligeiramente os braços para aliviar o estresse nas articulações do cotovelo e/ou ombro e mantendo os dois pés no chão). A sobreposição gráfica do usuário-avatar 400 da Figura 4 inclui uma representação gráfica 404 (por exemplo, a(s) representação(ões) gráfica(s) 242) de um usuário, tal como o usuário 102, 304 das Figuras 1 e 3 em uma segunda posição ou uma segunda forma 405. Por exemplo, a segunda forma 405 mostra que os braços do usuário são substancialmente retos e um pé é levantado em relação ao outro pé. Como mostrada na Figura 4, a representação gráfica 404 do usuário na segunda forma 405 é apresentada como sobreposição da imagem do avatar 402 na primeira forma ergonômica 403. Assim, quaisquer diferenças entre a forma 405 do usuário representada pela representação gráfica 404 e a forma 403 do avatar são visíveis para o usuário.
[0087] Um fluxograma representativo do exemplo de lógica de hardware, instruções legíveis por máquina, máquinas de estado implementadas por hardware e/ou qualquer combinação para implementar o exemplo do primeiro sistema de computação 222 é mostrado na Figura 5. Um fluxograma representativo do exemplo de lógica de hardware, instruções legíveis por máquina, máquinas de estado implementadas por hardware e/ou qualquer combinação para implementar o exemplo do controlador técnico XR 120 é mostrado na Figura 6. As instruções legíveis à máquina podem ser um ou mais programas executáveis ou parte(s) de um programa executável para execução por um processador de computador e/ou circuito de processador, tal como o processador 712, 812 mostrado nas plataformas com processador 700, 800 discutidas a seguir em conexão com as Figuras 7 e 8. O(s) programa(s) pode(m) ser incorporado(s) em um software armazenado em um meio de armazenamento legível por computador não transitário, tais como um CD-ROM, um disquete, um disco rígido, um DVD, um disco Blu-ray ou uma memória associada ao(s) processador(es) 712, 812, mas todo o programa e/ou partes dele poderiam ser executados alternativamente por um dispositivo diferente do(s) processador(es) 712, 812, e/ou incorporados firmware ou hardware dedicado. Adicionalmente, embora o exemplo do(s) programa(s) seja descrito com referência ao(s) fluxograma(s) ilustrado(s) nas Figuras 5 e 6, muitos outros métodos de implementação do exemplo do primeiro sistema de computação 222 e/ou o exemplo do controlador técnico XR 120 podem ser usados alternativamente. Por exemplo, a ordem de execução dos blocos pode ser alterada e/ou alguns dos blocos descritos podem ser alterados, eliminados ou combinados. Adicionalmente ou alternativamente, qualquer ou todos os blocos podem ser implementados por um ou mais circuitos de hardware (por exemplo, circuitos analógicos e/ou digitais discretos e/ou integrados, um FPGA, um ASIC, um comparador, um amplificador operacional (op-amp), um circuito lógico, etc.) estruturados para realizar a operação correspondente sem executar software ou firmware. O circuito do processador pode ser distribuído em diferentes locais de rede e/ou local para um ou mais dispositivos (por exemplo, um processador multi-core em uma única máquina, vários processadores distribuídos em um rack de servidor, etc.).
[0088] As instruções legíveis à máquina descritas aqui podem ser armazenadas em um ou mais de um formato compactado, um formato criptografado, um formato fragmentado, um formato compilado, um formato executável, um formato embalado, etc. Instruções legíveis à máquina como descritas aqui podem ser armazenadas como dados ou uma estrutura de dados (por exemplo, partes de instruções, código, representações de código, etc.) que podem ser usadas para criar, fabricar e/ou produzir instruções executáveis à máquina. Por exemplo, as instruções legíveis à máquina podem ser fragmentadas e armazenadas em um ou mais dispositivos de armazenamento e/ou dispositivos de computação (por exemplo, servidores) localizados nos mesmos ou em diferentes locais de uma rede ou coleção de redes (por exemplo, na nuvem, em dispositivos de borda, etc.). As instruções legíveis à máquina podem requerer uma ou mais de instalação, modificação, adaptação, atualização, combinação, complementação, configuração, descriptografia, descompressão, descompactação, distribuição, redesignação, compilação, etc. a fim de torná-las diretamente legíveis, interpretativas, e/ou executáveis por um dispositivo de computação e/ou outra máquina. Por exemplo, as instruções legíveis à máquina podem ser armazenadas em várias partes, que são compactadas, criptografadas, e armazenadas individualmente em dispositivos de computação separados, em que as partes quando descriptografadas, descompactadas, e combinadas formam um conjunto de instruções executáveis que implementam uma ou mais funções que podem formar juntas um programa como aquele descrito aqui.
[0089] Em outro exemplo, as instruções legíveis à máquina podem ser armazenadas em um estado no qual podem ser lidas por circuitos de processador, mas requerem a adição de uma biblioteca (por exemplo, uma biblioteca de vínculo dinâmico (DLL), um kit de desenvolvimento de software (SDK), uma interface de programação de aplicação (API), etc. para executar as instruções em um determinado dispositivo de computação ou outro dispositivo. Em outro exemplo, as instruções legíveis à máquina podem precisar ser configuradas (por exemplo, configurações armazenadas, entrada de dados, endereços de rede registrados, etc.) antes que as instruções legíveis à máquina e/ou o(s) programas(s) correspondente(s) possam ser executados no todo ou em parte. Assim, os meios legíveis à máquina, como aqui usados, podem incluir instruções legíveis à máquina e/ou programa(s), independentemente do formato ou estado específico das instruções legíveis à máquina e/ou programa(s) quando armazenados ou de outra forma em repouso ou em trânsito.
[0090] As instruções legíveis à máquina descritas aqui podem ser representadas por qualquer linguagem de instrução passada, presente, ou futura, linguagem de script, linguagem de programação, etc. Por exemplo, as instruções legíveis à máquina podem ser representadas usando qualquer uma das seguintes línguas: C, C++, Java, C#, Perl, Python, JavaScript, HyperText Markup Language (HTML), Structured Query Language (SQL), Swift, etc.
[0091] Como mencionado acima, ο exemplo de processos das Figuras 5 e 6 pode ser implementado usando instruções executáveis (por exemplo, instruções legíveis à máquina e/ou pelo computador) armazenadas em um meio legível à máquina e/ou por computador não transitório, tais como um disco rígido, uma memória flash, uma memória somente de leitura, um disco compacto, um disco versátil digital, um cache, uma memória de acesso aleatório, e/ou qualquer outro dispositivo de armazenamento ou disco de armazenamento no qual as informações são armazenadas para qualquer duração (por exemplo, por períodos de tempo prolongados, permanentemente, para breves instâncias, para buffering temporário, e/ou para cache das informações). Como usado aqui, o termo meio legível por computador não transitório é expressamente definido para incluir qualquer tipo de dispositivo de armazenamento legível por computador e/ou disco de armazenamento e excluir sinais de propagação, e excluir o meio de transmissão.
[0092] “Incluindo” e “compreendendo” (e todas as formas e tempos) são usados aqui para ser termos abertos. Assim, sempre que uma reivindicação empregar qualquer forma de “incluir” ou “compreender” (por exemplo, compreende, inclui, compreendendo, incluindo, tendo, etc.) como preâmbulo ou dentro de uma recitação da reivindicação de qualquer tipo, deve-se entender que elementos adicionais, termos, etc. podem estar presentes sem ficar fora do escopo da reivindicação ou recitação correspondente. Como usado aqui, quando a frase “pelo menos” é usada como termo de transição em, por exemplo, um preâmbulo de uma reivindicação, ela é aberta da mesma forma que os termos “compreendendo” e “incluindo” são abertos. O termo “e/ou” quando usado, por exemplo, em uma forma tais como A, B e/ou C se refere a qualquer combinação ou subconjunto de A, B, C tais como (1) A sozinho, (2) B sozinho, (3) C sozinho, (4) A com B, (5) A com C, (6) B com C, e (7) A com B e com C. Como aqui usado no contexto de descrever estruturas, componentes, itens, objetos, e/ou coisas, a frase “pelo menos um de A e B” pretende se referir a implementações incluindo qualquer um de (1) A, (2) pelo menos um B, e (3) pelo menos um A e pelo menos um B. Da mesma forma, como aqui usado no contexto de descrever estruturas, componentes, itens, objetos e/ou coisas, a frase “pelo menos um de A ou B” pretende-se referir a implementações incluindo qualquer um de (1) A, (2) pelo menos um B e (3) pelo menos um A e pelo menos um A e pelo menos um B. Como aqui usado no contexto de descrever o desempenho ou execução de processos, instruções, ações, atividades e/ou etapas, a frase “pelo menos um de A e B” pretende-se referir a implementações incluindo qualquer um de (1) A, (2) pelo menos um B e (3) pelo menos um A e pelo menos um B. Da mesma forma, como aqui usado no contexto de descrever o desempenho ou execução de processos, instruções, ações, atividades e/ou etapas, a frase “pelo menos um de A ou B” pretende-se referir a implementações incluindo qualquer um de (1) pelo menos um A, (2) pelo menos um B, e (3) pelo menos um A e pelo menos um B.
[0093] Como aqui usado, referências singulares (por exemplo, “um”, “uma”, “primeiro”, “segundo”, etc.) não excluem uma pluralidade. O termo “um” ou “uma” entidade, como aqui usado, se refere a uma ou mais dessa entidade. Os termos “um” (ou “uma”), “um ou mais” e “pelo menos um” podem ser usados de forma intercambiável aqui. Adicionalmente, embora listado individualmente, uma pluralidade de meios, elementos, ou ações do método pode ser implementada por, por exemplo, uma única unidade ou processador. Adicionalmente, embora características individuais possam ser incluídas em diferentes exemplos ou reivindicações, elas podem possivelmente ser combinadas, e a inclusão em diferentes exemplos ou reivindicações não implica que uma combinação de características não seja viável e/ou vantajosa.
[0094] A Figura 5 é um fluxograma representativo do exemplo de instruções legíveis à máquina 500 que, quando forem executadas pelo exemplo do primeiro sistema de computação 222 da Figura 2, farão com que o primeiro sistema de computação 222 treine uma rede neural para determinar forma(s) ergonômica(s) (por exemplo, posição(ões), orientação(ões), postura(s), faixas(s) de movimento, velocidade(s), nível(is) de tensão muscular, etc.) a ser demonstrada(s) por um avatar ou treinador digital no que diz respeito a movimentos(s) associados a uma tarefa (por exemplo, levantando uma caixa). O exemplo das instruções 500 da Figura 5, quando forem executadas pelo primeiro sistema de computação 222 da Figura 2, resultarão em uma rede neural e/ou um modelo dela, que pode ser distribuída para outros sistemas de computação, tal como o analisador de posição do avatar 220 do exemplo de controlador técnico XR 120 da Figura 2.
[0095] O exemplo de instruções 500 iniciam com o controlador de treinamento 228 acessando dados do sensor e/ou dados de perfil associados ao(s) usuário(s) e/ou população(ões) armazenado(s) no banco de dados 232 (bloco 502). Os dados do sensor podem incluir, por exemplo, dados de posição do usuário gerados anteriormente 200, dados do sensor de tensão 202, dados de imagem 204, dados de perfil do usuário 210, dados de perfil populacional 212, dados de referência de tarefas 214. Em alguns exemplos, os dados incluem a(s) representação(ões) gráfica(s) 242 do usuário gerada(s) pelo gerador de feedback 238 como parte do treinamento de feedback. Em alguns exemplos, os dados do sensor estão associados a uma determinada parte do corpo de interesse em relação a eventos de tensão, tais como um ombro, um joelho, um pulso, pescoço, costas, etc.
[0096] O exemplo do controlador de treinamento 228 rotula os dados como no que diz respeito a(s) forma(s) ergonômica(s) (bloco 504). Por exemplo, quando os dados do sensor incluem dados de imagem de um usuário realizando um movimento, o controlador de treinamento 228 rotula a(s) imagem/imagens correspondente(s) ao usuário em uma posição que corresponde a uma forma ergonômica de referência (por exemplo, ideal, adequada) em relação a uma ou mais partes do corpo do usuário. Como outro exemplo, o controlador de treinamento 228 rotula dados de tensão muscular com limites para detectar o nível de tensão muscular exercido pelo(s) usuário(s) em determinada(s) posições(s). Em alguns exemplos, os dados são rotulados para um determinado usuário (por exemplo, o usuário 102 da Figura 1) com base em propriedades do usuário, tais como idade, sexo, altura, etc. Adicionalmente, os dados podem ser rotulados para tarefas específicas e/ou partes do corpo.
[0097] O exemplo de controlador de treinamento 228 gera os dados de treinamento 230 com base nos dados do sensor rotulado (bloco 506).
[0098] O exemplo de controlador de treinamento 228 instrui o treinador de rede neural 226 a realizar o treinamento da rede neural 224 usando os dados de treinamento 230 (bloco 508). No exemplo da Figura 5, o treinamento é com base no aprendizado supervisionado. Como resultado do treinamento, são gerados o(s) modelo(s) de posição do avatar 234 (bloco 510). Com base no(s) modelo(s) de posição do avatar 234, a rede neural é treinada para identificar forma(s) ergonômica(s) (por exemplo, postura(s), posição(ões), orientação(ões), intervalos(s) de movimento, velocidade, nível(is) de tensão muscular, etc.) com relação ao(s) movimento(s) de um avatar ou treinador digital que representam a(s) forma(s) ergonômica(s) de referência (por exemplo, ideal(is) para o usuário. O(s) modelo(s) de posição do avatar 234 pode/podem ser armazenado(s) no banco de dados 236 para acesso pelo analisador de posição do avatar 220 do controlador técnico XR 120 da Figura 2. O exemplo das instruções 500 da Figura 5 termina quando nenhum treinamento adicional (por exemplo, retreinamento) deve ser realizado (blocos 512,514).
[0099] Figura 6 é um fluxograma representativo do exemplo de instruções legíveis à máquina 600 que, quando forem executadas pelo controlador técnico XR 120 das Figuras 1 e/ou 2, farão com que o controlador técnico XR 120 gere um avatar de realidade estendida que demonstre forma(s) ergonômica(s) de referência ou ideal(is) para um usuário (por exemplo, o usuário 102) ao realizar movimentos(s) associado(s) com tarefas(s). O exemplo de instruções 600 pode ser executado por um ou mais processadores(s) de dispositivo(s) de usuário, tais como o dispositivo XR 104 da Figura 1 e/ou dispositivo(s) com base em nuvem.
[00100] O exemplo de instruções 600 inicia com o controlador técnico XR 120 acessando dados do sensor e dados de perfil do usuário 210 associados a um usuário (por exemplo, o usuário 102 da Figura 1). Os dados do sensor podem incluir os dados de posição do usuário 200, os dados do sensor de tensão 202 e/ou os dados de imagem 204 (bloco 502).
[00101] O gerador avatar 216 da Figura2 gera um avatar com base nos dados do perfil do usuário 210 (bloco 504). O analisador de posição do avatar 220 executa o(s) modelo(s) de posição do avatar 234 para determinar a(s) forma(s) ergonômica(s) 301, 403 (por exemplo, postura(s), posição(ões), orientações(ões), faixas(s) de movimento, velocidade, nível(is) de tensão muscular, etc.) em relação aos movimentos(s) de um avatar ou treinador digital para determinadas tarefas(s) que representam forma(s) ergonômica(s) de referência (por exemplo, ideal (is)) para o usuário (bloco 606). O gerador de avatar 216 faz com que o dispositivo XR 104 produza o avatar para apresentação, onde o avatar demonstra a(s) forma(s) ergonômica(s) de referência (por exemplo, ideal (is)) 301, 403 para realizar o(s) movimentos(s) associado(s) à tarefa (s) (bloco 608).
[00102] O gerador de feedback 238 da Figura 2 analisa os dados de posição do usuário 200, os dados do sensor de tensão 202, os dados de imagem 204 e/ou os dados de reconhecimento de imagem 209 para determinar forma(s) (por exemplo, posição(ões), orientações(ões), intervalos(s) de movimento, velocidade(s), nível(is) de tensão muscular) associada(s) ao(s) movimento(s) pelo usuário 102 (por exemplo, ao realizar uma tarefa) (bloco 610). Por exemplo, o gerador de feedback 238 pode determinar uma posição do braço de um usuário com base na análise conjunta dos pontos-chave dos dados de imagem 204 e/ou dos dados de reconhecimento de imagem 209. Em alguns exemplos, o gerador de feedback 238 pode detectar transferência de peso entre partes do corpo do usuário com base nos dados de posição do usuário 200 (por exemplo, mudança de peso entre pernas e/ou pés). Em alguns exemplos, os dados do sensor 200, 202, 204 são coletados durante a apresentação do avatar através do dispositivo XR 104.
[00103] O gerador de feedback 238 compara a(s) forma(s) 405 do usuário 102 com a(s) forma(s) ergonômica(s) 301, 403 demonstrada(s) pelo avatar (bloco 612). O gerador de feedback 238 determina se a(s) forma(s) do usuário 405 está substancialmente alinhada(s) com a(s) forma(s) ergonômica(s) 301, 403 demonstrada(s) pelo avatar dentro do valor limite definido pela(s) regra(s) de limite de alinhamento 240 (bloco 614).
[00104] Ο gerador de feedback 238 gera feedback a ser produzido ao usuário através do dispositivo XR 104 e/ou de outro(s) dispositivo(s) do usuário 114 em resposta à análise da(s) formas(s) do usuário em relação a(s) forma(s) ergonômica(s) apresentada(s) pelo avatar (blocos 616, 618). O feedback pode incluir representações gráficas 242 do usuário que sobrepõem a imagem do avatar. O feedback fornece indicações de se o usuário está executando forma(s) ergonômica(s) adequada(s) ou inadequada(s). Por exemplo, uma cor do avatar pode mudar com base se o gerador de feedback 238 determina que a(s) forma(s) do usuário estão substancialmente alinhadas com a(s) forma(s) ergonômica(s) do avatar. Em adição ou como alternativa ao feedback visual, o feedback gerado pelo gerador de feedback 238 pode incluir saída(s) de áudio e/ou feedback háptico.
[00105] O controlador técnico XR 120 continua a analisar a(s) forma(s) ergonômica(s) do usuário 405 em relação à(s) forma(s) ergonômica(s) 301, 403 demonstrada(s) pelo avatar já que dados adicionais dos sensores 200, 202, 204 são recebidos pelo controlador técnico XR 120 (bloco 620). O exemplo de instruções 600 da Figura 6 terminam quando nenhum outro dado dos sensores 200, 202, 204 é recebido (bloco 622).
[00106] Figura 7 é um diagrama de bloco de um exemplo de plataforma com processador 700 estruturada para executar as instruções da Figura 5 para implementar o primeiro sistema de computação 222 da Figura 2. A plataforma com processador 700 pode ser, por exemplo, um servidor, um computador pessoal, uma estação de trabalho, uma máquina de autoaprendizagem (por exemplo, uma rede neural), um aparelho de Internet, ou qualquer outro tipo de dispositivo de computação.
[00107] A plataforma com processador 700 do exemplo ilustrado inclui um processador 712. O processador 712 do exemplo ilustrado é hardware. Por exemplo, o processador 712 pode ser implementado por um ou mais circuitos integrados, circuitos lógicos, microprocessadores, GPUs, DSPs, ou controladores de qualquer família ou fabricante desejado. O processador de hardware pode ser um dispositivo com base em semicondutores (por exemplo, com base em silício). Nesse exemplo, o processador implementa o exemplo do processador de rede neural 224, o exemplo de treinador 226, e o exemplo de controlador de treinamento 228.
[00108] O processador 712 do exemplo ilustrado inclui uma memória local 713 (por exemplo, um cache). O processador 712 do exemplo ilustrado está em comunicação com uma memória principal, incluindo uma memória volátil 714 e uma memória não volátil 716 através de um barramento 718. A memória volátil 714 pode ser implementada pela memória de acesso aleatório dinâmico síncrono (SDRAM), memória de acesso aleatório dinâmico (DRAM), memória de acesso aleatório dinâmico RAMBUS® (RDRAM®) e/ou qualquer outro tipo de dispositivo de memória de acesso aleatório. A memória não volátil 716 pode ser implementada por memória flash e/ou qualquer outro tipo de dispositivo de memória desejado. O acesso à memória principal 714, 716 é controlado por um controlador de memória.
[00109] A plataforma com processador 700 do exemplo ilustrado também inclui um circuito de interface 720. O circuito de interface 720 pode ser implementado por qualquer tipo de padrão de interface, tais como uma interface Ethernet, um barramento serial universal (USB), uma interface Bluetooth®, uma interface de comunicação por campo de proximidade (NEC) e/ou uma interface PCI Express.
[00110] No exemplo ilustrado, um ou mais dispositivos de entrada 722 estão conectados ao circuito de interface 720. O(s) dispositivo(s) de entrada 722 permite(m) que um usuário insira dados e/ou comandos no processador 712. O(s) dispositivo(s) de entrada pode(m) ser implementado(s) por, por exemplo, um sensor de áudio, um microfone, uma câmera (fotográfica ou vídeo), um teclado, um botão, um mouse, uma tela sensível ao toque, um dispositivo sensível ao toque (trackpad), um mouse de esfera (trackball), isopoint e/ou um sistema de reconhecimento de voz.
[00111] Um on mais dispositivos de saída 724 também estão conectados ao circuito de interface 720 do exemplo ilustrado. Os dispositivos de saída 724 podem ser implementados, por exemplo, por dispositivos de exibição (por exemplo, um diodo emissor de luz (LED), um diodo emissor de luz orgânica (OLED), uma tela de cristal líquido (LCD), uma tela de tubo de raios catódicos (CRT), uma tela de comutação no local (IPS), uma tela sensível ao toque, etc.), um dispositivo de saída tátil, uma impressora e/ou alto-falante. O circuito de interface 720 do exemplo ilustrado, portanto, tipicamente inclui uma unidade (driver) de placa gráfica, uma unidade (driver) de chip gráfico e/ou uma unidade (driver) de processador gráfico.
[00112] O circuito de interface 720 do exemplo ilustrado também inclui um dispositivo de comunicação tal como um transmissor, um receptor, um transceptor, um modem, uma porta de conexão residencial (gateway), um ponto de acesso sem fio e/ou uma interface de rede para facilitar a troca de dados com máquinas externas (por exemplo, dispositivos de computação de qualquer tipo) através de uma rede 726. A comunicação pode ser através, por exemplo, de uma conexão de Ethernet, uma conexão de linha de assinante digital (DSL), uma conexão de linha telefônica, um sistema de cabo coaxial, um sistema de satélite, um sistema sem fio de linha de visada, um sistema de telefonia celular, etc.
[00113] A plataforma com processador 700 do exemplo ilustrado também inclui um ou mais dispositivos de armazenamento em massa 728 para armazenar software e/ou dados. Exemplos de tais dispositivos de armazenamento em massa 728 incluem unidades (drives) de disquetes, unidade (drive) de disco rígido, unidades (drives) de disco compacto, unidades (drives) de disco Blu-ray, matriz redundante de sistemas de disco independente (RAID), e unidades (drives) de disco versátil digital (DVD).
[00114] As instruções codificadas 732 da Figura 7 podem ser armazenadas no dispositivo de armazenamento em massa 728, na memória volátil 714, na memória não volátil 716, e/ou em um meio de armazenamento legível por computador não transitório removível, tal como um CD ou DVD.
[00115] Figura 8 é um diagrama de bloco de um exemplo de plataforma com processador 800 estruturada para executar as instruções da Figura 6 para implementar o exemplo de controlador técnico de realidade estendida 120 das Figuras 1 e/ou 2. A plataforma com processador 800 pode ser, por exemplo, um servidor, um computador pessoal, uma estação de trabalho, uma máquina de autoaprendizagem (por exemplo, uma rede neural), um dispositivo móvel (por exemplo, um celular, um smartphone, um tablet tal como um iPad™), um assistente digital pessoal (PDA), um aparelho de Internet, um fone de ouvido, ou outro dispositivo vestível, ou qualquer outro tipo de dispositivo de computação.
[00116] A plataforma com processador 800 do exemplo ilustrado inclui um processador 812. O processador 812 do exemplo ilustrado é hardware. Por exemplo, o processador 812 pode ser implementado por um ou mais circuitos integrados, circuitos lógicos, microprocessadores, GPUs, DSPs, ou controladores de qualquer família ou fabricante desejado. O processador de hardware pode ser um dispositivo com base em semicondutores (por exemplo, com base em silício). Nesse exemplo, o processador implementa o exemplo de modificador de sinal 208, exemplo de analisador de dados de imagem 207, o exemplo do gerador de avatar 216, o exemplo do analisador de posição do avatar 220, e o exemplo de gerador de feedback 238.
[00117] O processador 812 do exemplo ilustrado inclui uma memória local 813 (por exemplo, um cache). O processador 812 do exemplo ilustrado está em comunicação com uma memória principal, incluindo uma memória volátil 814 e uma memória não volátil 816 através de um barramento (bus) 818. A memória volátil 814 pode ser implementada pela memória de acesso aleatório dinâmico síncrono (SDRAM), memória de acesso aleatório dinâmico (DRAM), memória de acesso aleatório dinâmico RAMBUS® (RDRAM®), e/ou qualquer outro tipo de dispositivo de memória de acesso aleatório. A memória não volátil 816 pode ser implementada por memória flash e/ou qualquer outro tipo de dispositivo de memória desejado. O acesso à memória principal 814, 816 é controlado por um controlador de memória.
[00118] A plataforma com processador 800 do exemplo ilustrado também inclui um circuito de interface 820. O circuito de interface 820 pode ser implementado por qualquer tipo de padrão de interface, tais como uma interface de Ethernet, um barramento serial universal (USB), uma interface Bluetooth®, uma interface de comunicação por campo de proximidade (NEC) e/ou uma interface PCI Express.
[00119] No exemplo ilustrado, um ou mais dispositivos de entrada 822 estão conectados ao circuito de interface 820. O(s) dispositivo(s) de entrada 822 permite/permitem que um usuário insira dados e/ou comandos no processador 812. O(s) dispositivo(s) de entrada pode/podem ser implementado(s) por, por exemplo, um sensor de áudio, um microfone, uma câmera (fotográfica ou vídeo), um teclado, um botão, um mouse, uma tela sensível ao toque, dispositivo sensível ao toque (trackpad), um mouse de esfera (trackball), isopoint e/ou um sistema de reconhecimento de voz
[00120] Um ou mais dispositivos de saída 824 também estão conectados ao circuito de interface 820 do exemplo ilustrado. Os dispositivos de saída 824 podem ser implementados, por exemplo, por dispositivos de exibição (por exemplo, um diodo emissor de luz (LED), um diodo emissor de luz orgânica (OLED), uma tela de cristal líquido (LCD), uma tela de tubo de raios catódicos (CRT), uma tela de comutação no local (IPS), uma tela sensível ao toque, etc.), um dispositivo de saída tátil, uma impressora e/ou alto-falante. O circuito de interface 820 do exemplo ilustrado, portanto, tipicamente inclui uma unidade (driver) de placa gráfica, uma unidade (driver) de chip gráfico e/ou uma unidade (driver) de processador gráfico.
[00121] Ο circuito de interface 820 do exemplo ilustrado também inclui um dispositivo de comunicação tais como um transmissor, um receptor, um transceptor, um modem, uma porta de conexão residencial (gateway), um ponto de acesso sem fio e/ou uma interface de rede para facilitar a troca de dados com máquinas externas (por exemplo, dispositivos de computação de qualquer tipo) através de uma rede 826. A comunicação pode ser através, por exemplo, de uma conexão de Ethernet, uma conexão de linha de assinante digital (DSL), uma conexão de linha telefônica, um sistema de cabo coaxial, um sistema de satélite, um sistema sem fio de linha de visada, um sistema de telefonia celular, etc.
[00122] A plataforma com processador 800 do exemplo ilustrado também inclui um ou mais dispositivos de armazenamento em massa 828 para armazenar software e/ou dados. Exemplos de tais dispositivos de armazenamento em massa 828 incluem unidades (drives) de disquetes, unidade (drive) de disco rígido, unidades (drives) de disco compacto, unidades (drives) de disco Blu-ray, matriz redundante de sistemas de disco independente (RAID), e unidades (drives) de disco versátil digital (DVD).
[00123] As instruções codificadas 832 da Figura 8 podem ser armazenadas no dispositivo de armazenamento em massa 828, na memória volátil 814, na memória não volátil 816 e/ou em um meio de armazenamento legível à máquina não transitório removível, tal como um CD ou DVD.
[00124] A partir do anterior, será observado que exemplos de sistemas, métodos, aparelhos, e artigos de fabricação foram descritos que geram um avatar ou treinador digital que demonstra a forma ergonômica de referência ou ideal para a realização de movimento(s) associado(s) a uma tarefa. Exemplos aqui descritos usa a realidade estendida (por exemplo, realidade aumentada, realidade mista) para informar ao usuário como realizar a tarefa de promover e/ou preservar a integridade musculoesquelética de parte(s) do corpo (por exemplo, ombro, costas, pernas) do usuário. Exemplos aqui descritos geram um avatar com base em propriedades do usuário, tais como gênero, altura, etc. Exemplos aqui descritos realizam análises de rede neural para determinar a forma ergonômica de referência ou ideal (por exemplo, posição(ões), postura(s), etc.) com relação ao(s) movimentos(s) a ser realizados pelo usuário em conexão com uma tarefa e com base nas propriedades do usuário e/ou usuários semelhantes. Em exemplos aqui descritos, o avatar é apresentado através de um dispositivo de realidade estendida (por exemplo, óculos de realidade aumentada) e demonstra como realizar o(s) movimento(s) com a(s) forma(s) ergonômica(s) determinado(s) através da análise da rede neural. Exemplos aqui descritos fornecem ao usuário um feedback, tais como uma representação gráfica do usuário mostrada com (por exemplo, sobreposição) o avatar, para informar ao usuário quanto à qualidade de sua forma em relação às formas ergonômicas ideais ilustradas pelo avatar.
[00125] Exemplos de sistemas de realidade, aparelhos, e métodos para melhoria ergonômica musculoesquelética são descritos aqui. Exemplos e combinações adicionais incluem o seguinte.
[00126] A Cláusula 1 inclui um aparelho, incluindo um gerador de avatar para gerar um avatar com base em uma ou mais propriedades de um usuário; um analisador de posição de avatar para determinar uma primeira forma ergonômica para um movimento com base em uma ou mais propriedades do usuário, o gerador de avatar para fazer com que um dispositivo de saída exiba o avatar na primeira forma ergonômica; e um gerador de feedback para determinar uma segunda forma associada ao movimento do usuário com base nos dados do sensor coletados por meio de um ou mais sensores associados ao usuário; gerar uma representação gráfica do usuário na segunda forma; e fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.
[00127] A Cláusula 2 inclui o aparelho da cláusula 1, em que os dados do sensor incluem dados de posição para uma on mais partes do corpo do usuário.
[00128] A Cláusula 3 inclui ο aparelho da cláusula 1 ou 2, em que os dados do sensor incluem dados de imagem, incluindo o usuário.
[00129] A Cláusula 4 inclui o aparelho de qualquer uma das cláusulas 1 a 3, em que o analisador de posição do avatar deve executar um modelo de rede neural para determinar a primeira forma ergonômica.
[00130] A Cláusula 5 inclui o aparelho de qualquer uma das cláusulas 1 a 4, em que a primeira forma ergonômica inclui uma posição de uma parte do corpo do usuário.
[00131] A Cláusula 6 inclui o aparelho de qualquer uma das cláusulas 1 a 5, em que a primeira forma ergonômica inclui um nível de tensão muscular.
[00132] A Cláusula 7 inclui o aparelho de qualquer uma das cláusulas 1 a 6, em que os dados do sensor incluem dados do sensor de tensão.
[00133] A Cláusula 8 inclui o aparelho de qualquer uma das cláusulas 1 a 7, em que o gerador de feedback deve fazer com que o dispositivo de saída ou um segundo dispositivo de saída produza o feedback háptico em resposta à determinação da segunda forma.
[00134] A Cláusula 9 inclui o aparelho de qualquer uma das cláusulas 1 a 8, em que o gerador de feedback deve realizar uma comparação da primeira forma ergonômica com a segunda forma e fazer com que uma característica gráfica do avatar seja ajustada com base na comparação.
[00135] A Cláusula 10 inclui o aparelho de qualquer uma das cláusulas 1 a 9, em que a característica gráfica inclui uma cor do avatar.
[00136] A Cláusula 11 inclui o aparelho de qualquer uma das cláusulas 1 a 10, em que o gerador de feedback deve fazer com que o dispositivo de saída exiba a representação gráfica do usuário como sobreposição do avatar.
[00137] A Cláusula 12 inclui um sistema incluindo um primeiro sensor; e um controlador técnico de realidade estendida para executar um modelo de rede neural para gerar um avatar ilustrando uma primeira posição ergonômica para um movimento; fazer com que um dispositivo de realidade estendida produza o avatar; determinar uma segunda posição de uma parte do corpo de um usuário com base nos dados do primeiro sensor gerados pelo primeiro sensor; realizar uma comparação da primeira posição ergonômica e da segunda posição; e fazer com que o dispositivo de realidade estendida produza feedback gráfico com base na comparação.
[00138] A Cláusula 13 inclui o sistema da cláusula 12, em que o primeiro sensor inclui um sensor de imagem e os dados do primeiro sensor incluem dados de imagem, incluindo o usuário.
[00139] A Cláusula 14 inclui o sistema da cláusula 12 ou 13, em que o controlador técnico de realidade estendida deve gerar o avatar com base em uma propriedade do usuário.
[00140] A Cláusula 15 inclui o sistema de qualquer uma das cláusulas 12 a 14, em que o feedback gráfico inclui uma representação gráfica do usuário na segunda posição.
[00141] A Cláusula 16 inclui o sistema de qualquer uma das cláusulas 12 a 15, em que o controlador técnico de realidade estendida deve fazer com que o dispositivo de realidade estendida produza a representação gráfica do usuário como sobreposição de uma imagem do avatar.
[00142] A Cláusula 17 inclui o sistema de qualquer uma das cláusulas 12 a 16, em que o controlador técnico de realidade estendida deve fazer com que um atuador de feedback háptico gere uma saída de feedback háptico com base na comparação.
[00143] A Cláusula 18 inclui um meio legível por computador não transitório compreendendo instruções que, quando forem executadas por pelo menos um processador, farão com que pelo menos um processador gere um avatar com base em uma ou mais propriedades de um usuário; determinar uma primeira forma ergonômica para um movimento com base nas propriedades do usuário; fazer com que um dispositivo de saída exiba o avatar na primeira forma ergonômica; determinar uma segunda forma associada ao movimento do usuário com base nos dados do sensor coletados por meio de um ou mais sensores associados ao usuário; gerar uma representação gráfica do usuário na segunda forma; e fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.
[00144] A Cláusula 19 inclui o meio legível por computador não transitório da cláusula 18, em que os dados do sensor incluem dados de posição para uma ou mais partes do corpo do usuário.
[00145] A Cláusula 20 inclui o meio legível por computador não transitório da cláusula 18 ou 19, em que os dados do sensor incluem dados de imagem, incluindo o usuário.
[00146] A Cláusula 21 inclui o meio legível por computador não transitório de qualquer uma das cláusulas 18 a 20, em que as instruções, quando forem executadas, farão com que pelo menos um processador execute um modelo de rede neural para determinar a primeira forma ergonômica.
[00147] A Cláusula 22 inclui o meio legível por computador não transitório de qualquer uma das cláusulas 18 a 21, em que a primeira forma ergonômica inclui uma posição de uma parte do corpo do usuário.
[00148] A Cláusula 23 inclui o meio legível por computador não transitório de qualquer uma das cláusulas 18 a 22, em que as instruções, quando forem executadas, farão com que pelo menos um processador produza o dispositivo de saída ou um segundo dispositivo de saída para produzir feedback háptico em resposta à determinação do segundo forma.
[00149] A Cláusula 24 inclui o meio legível por computador não transitório de qualquer uma das cláusulas 18 a 23, em que as instruções, quando forem executadas, fazem com que pelo menos um processador realize uma comparação da primeira forma ergonômica com a segunda forma e fazem com que uma característica gráfica do avatar seja ajustada com base na comparação.
[00150] A Cláusula 25 inclui o meio legível por computador não transitório de qualquer uma das cláusulas 18 a 24, em que a característica gráfica inclui uma cor do avatar.
[00151] A Cláusula 26 inclui o meio legível por computador não transitório de qualquer uma das cláusulas 18 a 25, em que as instruções, quando executadas, fazem com que pelo menos um processador exiba a representação gráfica do usuário como sobreposição do avatar.
[00152] A Cláusula 27 inclui um método que inclui gerar um avatar com base em uma ou mais propriedades de um usuário; determinar uma primeira forma ergonômica para um movimento com base nas propriedades do usuário; fazer com que um dispositivo de saída exiba o avatar na primeira forma ergonômica; determinar uma segunda forma associada ao movimento do usuário com base nos dados do sensor coletados por meio de um ou mais sensores associados ao usuário; gerar uma representação gráfica do usuário na segunda forma; e fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.
[00153] A Cláusula 28 inclui o método da cláusula 27, em que os dados do sensor incluem dados de posição para uma ou mais partes do corpo do usuário.
[00154] A Cláusula 29 inclui o método da cláusula 27 ou 28, em que os dados do sensor incluem dados de imagem, incluindo o usuário.
[00155] A Cláusula 30 inclui o método de qualquer uma das cláusulas 27 a 29, na qual determinar a primeira forma ergonômica inclui a execução de um modelo de rede neural para determinar a primeira forma ergonômica.
[00156] A Cláusula 31 inclui o método de qualquer uma das cláusulas 27 a 30, em que a primeira forma ergonômica inclui uma posição de uma parte do corpo do usuário.
[00157] A Cláusula 32 inclui ο método de qualquer uma das cláusulas 27 a 31, incluindo adicionalmente fazer com que o dispositivo de saída ou um segundo dispositivo de saída produza feedback háptico em resposta à determinação da segunda forma.
[00158] A Cláusula 33 inclui o método de qualquer uma das cláusulas 27 a 32, incluindo realizar uma comparação da primeira forma ergonômica com a segunda forma e fazer com que uma característica gráfica do avatar seja ajustada com base na comparação.
[00159] A Cláusula 34 inclui o método de qualquer uma das cláusulas 27 a 33, em que a característica gráfica inclui uma cor do avatar.
[00160] A Cláusula 35 inclui o método de qualquer uma das cláusulas 27 a 34, incluindo adicionalmente fazer com que o dispositivo de saída exiba a representação gráfica do usuário como sobreposição do avatar.
[00161] Embora certos métodos de exemplo, aparelhos, e artigos de fabricação tenham sido descritos aqui, o escopo de cobertura dessa patente não se limita aos mesmos. Pelo contrário, essa patente abrange todos os métodos, aparelhos, e artigos de fabricação que se enquadram razoavelmente dentro do escopo das reivindicações dessa patente.
[00162] As reivindicações a seguir são incorporadas nessa Descrição Detalhada por essa referência, com cada reivindicação prevalecendo por conta própria como uma modalidade separada da presente descrição.

Claims (18)

  1. Aparelho, caracterizado pelo fato de que compreende:
    um gerador de avatar (216) para gerar um avatar (300, 402) com base em uma ou mais propriedades de um usuário (102,304);
    um analisador de posição do avatar (214) para determinar uma primeira forma ergonômica para um movimento com base nas uma ou mais propriedades do usuário (210), o gerador de avatar para fazer com que um dispositivo de saída (104) exiba o avatar na primeira forma ergonômica; e
    um gerador de feedback (238) para:
    determinar uma segunda forma associada ao movimento do usuário com base nos dados do sensor (200, 202, 204) coletados por meio de um ou mais sensores (112, 116, 118) associados ao usuário;
    gerar uma representação gráfica (242) do usuário na segunda forma; e
    fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.
  2. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que os dados do sensor incluem dados de posição (200) para uma ou mais partes do corpo do usuário, e/ou em que os dados do sensor incluem dados de imagem (204) incluindo o usuário.
  3. Aparelho de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que o analisador de posição do avatar deve executar um modelo de rede neural (234) para determinar a primeira forma ergonômica.
  4. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira forma ergonômica inclui uma posição de uma parte do corpo do usuário, e/ou em que a primeira forma ergonômica inclui um nível de tensão muscular, opcionalmente em que os dados do sensor incluem dados do sensor de tensão (202).
  5. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que o gerador de feedback deve fazer com que o dispositivo de saída ou um segundo dispositivo de saída (114, 124) produza feedback háptico em resposta à determinação da segunda forma, e/ou em que o gerador de feedback deve realizar uma comparação da primeira forma ergonômica com a segunda forma e fazer com que uma característica gráfica do avatar seja ajustada com base na comparação, em que a característica gráfica inclui opcionalmente uma cor do avatar, e/ou em que o gerador de feedback deve fazer com que o dispositivo de saída exiba a representação gráfica do usuário como sobreposição do avatar.
  6. Sistema, caracterizado pelo fato de que compreende:
    um primeiro sensor (112, 116, 118); e
    um controlador técnico de realidade estendida (120) para:
    executar um modelo de rede neural (234) para gerar um avatar (300, 402) ilustrando uma primeira posição ergonômica para um movimento;
    fazer com que um dispositivo de realidade estendida (104) produza o avatar;
    determinar uma segunda posição de uma parte do corpo de um usuário (102, 304) com base nos dados do primeiro sensor (200, 202, 204) gerados pelo primeiro sensor;
    realizar uma comparação da primeira posição ergonômica e da segunda posição; e
    fazer com que o dispositivo de realidade estendida produza feedback gráfico com base na comparação.
  7. Sistema de acordo com a reivindicação 6, caracterizado pelo fato de que o primeiro sensor inclui um sensor de imagem (118) e os dados do primeiro do sensor incluem dados de imagem (204) incluindo o usuário.
  8. Sistema de acordo com a reivindicação 6, caracterizado pelo fato de que o controlador técnico de realidade estendida deve gerar o avatar com base em uma propriedade (210) do usuário, e/ou em que o controlador técnico de realidade estendida deve fazer com que um atuador de feedback háptico (124) gere uma saída de feedback háptico com base na comparação.
  9. Sistema de acordo com a reivindicação 6, caracterizado pelo fato de que o feedback gráfico inclui uma representação gráfica do usuário na segunda posição, em que o controlador técnico de realidade estendida deve fazer com que o dispositivo de realidade estendida produza a representação gráfica do usuário como sobreposição de uma imagem do avatar.
  10. Método, caracterizado pelo fato de que compreende:
    gerar um avatar (300, 402) com base em uma ou mais propriedades (210) de um usuário (102,304);
    determinar uma primeira forma ergonômica para um movimento com base nas uma ou mais propriedades do usuário;
    fazer com que um dispositivo de saída (104) exiba o avatar na primeira forma ergonômica;
    determinar uma segunda forma associada ao movimento do usuário com base nos dados do sensor (200, 202, 204) coletados por meio de um ou mais sensores (112, 116, 118) associados ao usuário;
    gerar uma representação gráfica (242) do usuário na segunda forma; e
    fazer com que o dispositivo de saída exiba a representação gráfica do usuário com o avatar.
  11. Método de acordo com a reivindicação 10, caracterizado pelo fato de que os dados do sensor incluem dados de posição (200) para uma ou mais partes do corpo do usuário, e/ou em que os dados do sensor incluem dados de imagem (204) incluindo o usuário.
  12. Método de acordo com a reivindicação 10 ou 11, caracterizado pelo fato de que a determinação da primeira forma ergonômica inclui executar um modelo de rede neural (238) para determinar a primeira forma ergonômica.
  13. Método de acordo com a reivindicação 10, caracterizado pelo fato de que a primeira forma ergonômica inclui uma posição de uma parte do corpo do usuário.
  14. Método de acordo com a reivindicação 10, caracterizado pelo fato de que inclui adicionalmente fazer com o dispositivo de saída ou um segundo dispositivo de saída (114, 124) produza feedback háptico em resposta à determinação da segunda forma.
  15. Método de acordo com a reivindicação 10, caracterizado pelo fato de que inclui adicionalmente realizar uma comparação da primeira forma ergonômica com a segunda forma e fazer com que uma característica gráfica do avatar seja ajustada com base na comparação.
  16. Método de acordo com a reivindicação 15, caracterizado pelo fato de que a característica gráfica inclui uma cor do avatar.
  17. Método de acordo com a reivindicação 10, caracterizado pelo fato de que inclui adicionalmente fazer com que o dispositivo de saída exiba a representação gráfica do usuário como sobreposição do avatar.
  18. Meio não transitório legível por computador, caracterizado pelo fato de que compreende instruções que, quando executadas por pelo menos um processador (712, 812), fazem com que o pelo menos um processador execute as etapas do método como definido em qualquer uma das reivindicações 10 a 17.
BR102022016816-4A 2021-08-25 2022-08-23 Sistemas, aparelhos e métodos de realidade estendida para melhoria ergonômica musculoesquelética, e, meio não transitório legível por computador BR102022016816A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/412,049 US20230065631A1 (en) 2021-08-25 2021-08-25 Extended reality systems, apparatus, and methods for musculoskeletal ergonomic improvement
US17/412,049 2021-08-25

Publications (1)

Publication Number Publication Date
BR102022016816A2 true BR102022016816A2 (pt) 2023-03-07

Family

ID=82932393

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102022016816-4A BR102022016816A2 (pt) 2021-08-25 2022-08-23 Sistemas, aparelhos e métodos de realidade estendida para melhoria ergonômica musculoesquelética, e, meio não transitório legível por computador

Country Status (7)

Country Link
US (1) US20230065631A1 (pt)
EP (1) EP4140554A1 (pt)
JP (1) JP2023036537A (pt)
CN (1) CN115729349A (pt)
AU (1) AU2022221489A1 (pt)
BR (1) BR102022016816A2 (pt)
CA (1) CA3170486A1 (pt)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11918855B2 (en) 2021-07-22 2024-03-05 The Boeing Company Ergonomics improvement systems having wearable sensors and related methods
KR102475470B1 (ko) * 2022-08-26 2022-12-08 임요셉 드론을 이용한 운동 영상 획득 시스템 및 드론을 이용한 운동 영상 획득 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10065074B1 (en) * 2014-12-12 2018-09-04 Enflux, Inc. Training systems with wearable sensors for providing users with feedback
US10653957B2 (en) * 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
GB2600289A (en) * 2019-07-11 2022-04-27 Elo Labs Inc Interactive personal training system

Also Published As

Publication number Publication date
US20230065631A1 (en) 2023-03-02
CN115729349A (zh) 2023-03-03
CA3170486A1 (en) 2023-02-25
EP4140554A1 (en) 2023-03-01
AU2022221489A1 (en) 2023-03-16
JP2023036537A (ja) 2023-03-14

Similar Documents

Publication Publication Date Title
US10905350B2 (en) Camera-guided interpretation of neuromuscular signals
US20210405750A1 (en) Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
BR102022016816A2 (pt) Sistemas, aparelhos e métodos de realidade estendida para melhoria ergonômica musculoesquelética, e, meio não transitório legível por computador
US11266341B2 (en) Measuring dynamic body movement
US11763603B2 (en) Physical activity quantification and monitoring
Fuentes et al. Online motion recognition using an accelerometer in a mobile device
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
JP2023015042A (ja) ナビゲーション課題を使用するバイオマーカーの識別およびナビゲーション課題を使用する治療のためのプラットフォーム
BR102022016414A2 (pt) Sistemas, aparelhos e métodos para melhoria ergonômica musculoesquelética
US20230004795A1 (en) Systems and methods for constructing motion models based on sensor data
Jost Kinect-based approach to upper limb rehabilitation
US20240055099A1 (en) Range of motion determination
García de Villa et al. A Biomechanical Model Implementation for Upper-Limbs Rehabilitation Monitoring Using IMUs
Qiao et al. An inertial sensor-based system to develop motor capacity in children with cerebral palsy
Nassajpour et al. Objective estimation of m-CTSIB balance test scores using wearable sensors and machine learning
KR20230173831A (ko) 노약자 대상의 실감형 학습 콘텐츠 플랫폼 운영 시스템 및 방법
Jezek et al. A Mobile Application for Collecting Data from Sensors
Fazeli et al. WatChair: AI-Powered Real-time Monitoring of Sitting Posture and Corrective Suggestions using Wearable Motion Sensor System

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]