BR112021014734A2

BR112021014734A2 - Identificação de riscos em ambiente 3d utilizando aprendizagem por reforço

Info

Publication number: BR112021014734A2
Application number: BR112021014734-9A
Authority: BR
Inventors: Bryan John Chasko
Original assignee: Electronic Caregiver, Inc.
Priority date: 2019-02-05
Filing date: 2020-01-31
Publication date: 2021-09-28
Also published as: US20200251220A1; EP3920797A1; AU2020218172B2; US11791050B2; KR20210133228A; CA3126844A1; SG11202107882TA; WO2020163180A1; JP2022519283A; AU2020218172A1; EP3920797A4

Abstract

identificação de riscos em ambiente 3d utilizando aprendizagem por reforço. trata-se de métodos exemplificadores para proporcionar avaliação de um risco de lesão, incluindo implantar um agente em um ambiente, detectar um primeiro objeto em um primeiro estado pelo agente, tomar uma ação para interagir com o primeiro objeto usando aprendizagem por reforço pelo agente, sendo a ação tomada a fim de maximizar uma recompensa, mapear o primeiro objeto a um ambiente tridimensional, e identificar riscos potenciais dentro do ambiente tridimensional. trata-se, também, de sistemas exemplificadores para proporcionar avaliação de um risco de lesão, incluindo um agente comunicativamente acoplado a um dispositivo de captação, uma rede de comunicações comunicativamente acoplada ao agente, um módulo de avaliação de riscos em modelo tridimensional comunicativamente acoplado à rede de comunicações, um dispositivo de usuário comunicativamente acoplado ao módulo de avaliação de riscos em modelo tridimensional, e um sistema para identificar riscos ambientes comunicativamente acoplados à rede de comunicações.

Description

“IDENTIFICAÇÃO DE RISCOS EM AMBIENTE 3D UTILIZANDO APRENDIZAGEM POR REFORÇO”

REFERÊNCIA CRUZADA AOS PEDIDOS RELACIONADOS

[001] O presente pedido reivindica o benefício de prioridade do Pedido de Patente Provisório com Número de Série U.S. 62/801.525 depositado em 5 de fevereiro de 2019, intitulado “3D Environment Risks Identification Utilizing Reinforced Learning,” que se encontra incorporado ao presente documento em sua totalidade a título de referência.

CAMPO DA INVENÇÃO

[002] A presente matéria refere-se à identificação de riscos ambientais. Em particular, mas sem limitação, a presente matéria proporciona sistemas e métodos para identificar riscos ambientes em um ambiente simulado usando aprendizagem de máquina tal como aprendizagem por reforço e aprendizagem profunda.

SUMÁRIO

[003] Proporcionam-se métodos exemplificadores para fornecer avaliação de um risco de lesão, que inclui implantar um agente em um ambiente, detectar um primeiro objeto em um primeiro estado pelo agente, tomar uma ação para interagir com o primeiro objeto usando aprendizagem por reforço pelo agente, a ação tomada a fim de maximizar uma recompensa, mapear o primeiro objeto a um ambiente tridimensional e identificar riscos potenciais dentro do ambiente tridimensional.

[004] Métodos adicionais incluem o agente continuando a tomar outra ação no ambiente para interagir com um segundo objeto usando aprendizagem por reforço pelo agente, a ação tomada a fim de maximizar uma recompensa cumulativa, o agente mapeando o segundo objeto ao ambiente tridimensional e continuando a identificar riscos potenciais dentro do ambiente tridimensional. O agente também pode mapear os locais relativos do primeiro e segundo objetos no ambiente tridimensional e mapear uma trajetória para evitar contato com o primeiro e segundo objetos no ambiente tridimensional.

[005] Métodos exemplificadores podem incluir simular um usuário no ambiente tridimensional e o agente usando aprendizagem por reforço em um processo de construção de simulação pelo movimento e interação através do ambiente para aperfeiçoar o ambiente tridimensional. Um novo ambiente tridimensional pode ser gerado com cada sequência e/ou interação de movimento pelo agente. Ademais, o mapa pode identificar riscos potenciais no ambiente e categorizar os riscos potenciais como risco baixo a ausente ou risco médio a alto.

[006] No presente documento, proporcionam-se, também, sistemas exemplificadores para proporcionar uma avaliação de um risco de lesão, incluindo um agente comunicativamente acoplado a um dispositivo de captação, uma rede de comunicações comunicativamente acoplada ao agente, um módulo de avaliação de riscos em modelo tridimensional comunicativamente acoplado à rede de comunicações, um dispositivo de usuário comunicativamente acoplado ao módulo de avaliação de riscos em modelo tridimensional, e um sistema para identificar riscos ambientais comunicativamente acoplado à rede de comunicações. Sistemas exemplificadores também podem incluir um banco de dados opcional. O agente pode ser configurado para implantar em um ambiente e detectar um primeiro objeto em um primeiro estado e configurado para tomar uma ação para interagir com o primeiro objeto usando aprendizagem por reforço. O agente também pode ser configurado para mapear o primeiro objeto a um ambiente tridimensional e configurado para identificar riscos potenciais dentro do ambiente tridimensional.

BREVE DESCRIÇÃO DOS DESENHOS

[007] Os desenhos anexos, onde referências numéricas similares se referem a elementos idênticos ou funcionalmente similares nas vistas separadas, junto à descrição detalhada abaixo, são incorporados e formam parte do relatório descritivo, e servem para ilustrar adicionalmente as modalidades de conceitos que incluem a revelação reivindicada, e explicam vários princípios e vantagens dessas modalidades.

[008] Os métodos e sistemas revelados no presente documento foram representados, onde apropriado nos desenhos, por símbolos convencionais, mostrando apenas os detalhes específicos que sejam pertinentes para s compreensão das modalidades da presente revelação, com o intuito de não ocultar a revelação com detalhes que serão prontamente aparentes aos técnicos no assunto, tendo o benefício da descrição do presente documento.

[009] A Figura 1 ilustra um diagrama de um sistema exemplificador configurado para proporcionar uma avaliação compreensiva de riscos de lesões em um ambiente 3D, de acordo com várias modalidades exemplificadoras.

[0010] A Figura 2 é uma vista esquemática do processo de simulação implementado para construir o ambiente 3D por um agente que usa Aprendizagem por Reforço (RL).

[0011] A Figura 3 ilustra um método exemplificador para proporcionar uma avaliação compreensiva de riscos de lesões em um ambiente 3D, de acordo com várias modalidades exemplificadoras.

[0012] A Figura 4 ilustra um agente que usa RL no processo de construção de simulação movendo-se através um ambiente.

[0013] A Figura 5 tem os resultados de riscos associados representados no ambiente para riscos baixos a ausentes por sinais de visto (✓) e para riscos médios a altos por sinais de cruz (✗).

[0014] A Figura 6 ilustra uma representação diagramática de uma máquina exemplificadora sob a forma de um sistema computacional no qual um conjunto de instruções para induzir a máquina a realizar qualquer uma ou mais das metodologias discutidas no presente documento é executado.

DESCRIÇÃO DETALHADA

[0015] A descrição detalhada a seguir inclui referências aos desenhos anexos, que formam uma parte da descrição detalhada. Os desenhos mostram ilustrações de acordo com modalidades exemplificadoras. Essas modalidades exemplificadoras, que também são referidas no presente documento como “exemplos,” são descritas em detalhes suficientes para permitir que os técnicos no assunto pratiquem a presente matéria. As modalidades podem ser combinadas, outras modalidades podem ser utilizadas, ou estruturas, lógicas e alterações podem ser feitas sem divergir do escopo do que se reivindica. Portanto, a descrição detalhada a seguir não deve ser tomada em um sentido limitante, e o escopo é definido pelas reivindicações anexas e seus equivalentes.

[0016] As técnicas das modalidades reveladas no presente documento podem ser implementadas usando uma variedade de tecnologias. Por exemplo, os métodos descritos no presente documento podem ser implementados em software executando em um sistema computacional ou em hardware utilizando uma combinação de microprocessadores ou outros circuitos integrados para aplicação específica especialmente projetados, dispositivos lógicos programáveis, ou várias combinações dos mesmos. Em particular, os métodos descritos no presente documento podem ser implementados por uma série de instruções executáveis por computador que residem em uma mídia de armazenamento, tal como uma unidade de disco ou mídia legível por computador. Deve-se notar que os métodos revelados no presente documento podem ser implementados por um computador (por exemplo, um computador desktop, um computador tablet, um computador laptop, e assim por diante), um console de jogos, um dispositivo de jogos de mão, um telefone celular, um smartphone, um sistema de televisão inteligente, e assim por diante. Diferentes arquiteturas de implantação incluem servidores em nuvem, internos ou híbridos.

[0017] Ambientes, como a casa de uma pessoa, podem ter o potencial para riscos de lesões dependendo do posicionamento das mobílias, tais como mesas, cadeiras, luminárias, ou quaisquer itens adicionais fora ou dentro da linha de visão de um indivíduo. Por exemplo, pessoas de todas as idades, incluindo idosos a crianças pequenas, indivíduos com transtornos, condições crônicas e deficiências funcionais podem potencialmente se lesionar por mobílias mal posicionadas ou outros itens que não estejam prontamente visíveis.

[0018] Uma avaliação de riscos de lesões se tornou uma parte integral da provisão de assistência médica à população idosa que tem grande desejo de manter independência. Tradicionalmente, a identificação de objetos dentro de uma casa que possuem risco de causar lesões é realizada por uma pessoa ou terapeuta ocupacional por inspeção visual à medida em que a pessoa anda por um espaço durante uma visita à casa. Durante uma inspeção visual, o terapeuta ocupacional examina áreas usadas e suas limitações com base em uma combinação de fatores, como as qualidades de uma pessoa e o ambiente, e pode, ou não, usar analítica de dados para modelar estratificação de riscos. No entanto, exigir que uma pessoa inspecione manualmente um espaço para determinação de riscos de lesões coloca essa pessoa em risco de lesões durante a inspeção, é demorado, trabalhoso para escalonar problemas de identificar riscos ambientes predominantemente devido a sistemas de informações de saúde insuficientes e analítica de dados, pode ser limitado a um local fixo, pode não ser acessível para pacientes, por exemplo, em terapia ocupacional, e pode apenas ocorrer após uma lesão já ter ocorrido.

[0019] Várias modalidades exemplificadoras descritas e ilustradas no presente documento se referem a sistemas e métodos para proporcionar um ambiente 3D de um espaço e um método para avaliação compreensiva de riscos de lesões dentro do espaço utilizando aprendizagem de máquina tal como aprendizagem por reforço e aprendizagem profunda. De acordo com as modalidades exemplificadoras, os sistemas e métodos mapeiam ambientes 3D de uma casa ou espaço de convivência e coloca os modelos 3D em um ambiente de simulação. Então, usando uma versão simulada do usuário, trajetórias podem ser seguidas através da casa virtual usando aprendizagem por reforço para encontrar as trajetórias mais seguras para evitar e estar ciente de riscos. Essa solução fornece o serviço de avaliação de riscos a usuários para permitir que eles vivam de modo independente de modo que não fiquem limitados a um local fixo como uma casa de repouso, a casa de um membro da família, ou uma instalação ou casa que possa buscar por riscos e consertá-los. Para algumas pessoas, os custos de assistência domiciliar agendada os induzem a terem que recorrer a serem colocados em uma casa. Automatizando-se a identificação de riscos de lesão e prevenção de acidentes, todos os riscos possíveis podem ser detectados sem expor qualquer pessoa aos riscos, e a população idosa será capaz de viver de modo independente por um período de tempo maior.

[0020] A Figura 1 ilustra um ambiente 100 no qual sistemas e métodos para identificar riscos ambientais em um ambiente simulado usando aprendizagem de máquina tal como aprendizagem por reforço e aprendizagem profunda podem ser implementados, de acordo com algumas modalidades. O ambiente 100 pode incluir um agente 110, uma rede de comunicações 130 (por exemplo, a Internet ou uma nuvem computacional), um sistema para identificar riscos ambientais 140 (também referido no presente documento como sistema 140), usuário(s) 170, dispositivo(s) de usuário 180, e, opcionalmente, um banco de dados 150. O agente 110, o sistema 140, dispositivo(s) de usuário 180 e o banco de dados 150 podem ser conectados através da rede de comunicações

130.

[0021] O agente 110 pode incluir, ou ser acoplado a uma ou mais câmaras 120, um ou mais sensores de profundidade integrados, rodas, um ou mais motores elétricos, fonte de alimentação, dispositivos integrados adicionais, e conexão sem fio (isto é, Bluetooth, Wi-Fi, etc.). Em algumas modalidades, o agente 110 pode ser implantado no assoalho de um espaço, e o agente 110 se desloca no espaço coletando dados sobre itens posicionados no espaço de modo que o sistema 140 crie um mapa 3D do espaço. Em outra modalidade, o agente 110 pode ser manualmente controlado pelo dispositivo de usuário 180 operado pelo usuário 170 para coletar dados sobre objetos posicionados no espaço. O dispositivo de usuário 180 pode incluir um telefone móvel, um computador pessoal (PC), um laptop, um smartphone, um PC tablet, e assim por diante. Em algumas modalidades, o agente 110 pode ser substituído por, ou assumir a forma de, qualquer dispositivo computacional, tais como aqueles descritos em relação à Figura 6.

[0022] O sistema 140 pode ser baseado em nuvem, ou compreender um ou mais servidores remotos. Através de uma avaliação usando o sistema 140, uma avaliação de risco em modelo 3D 160 é proporcionada ao usuário 170 através do dispositivo de usuário 180 que pode incluir um mapa 3D que descreve áreas de riscos de lesões conforme descrito na modalidade exemplificadora da Figura 5.

[0023] A rede de comunicações 130 pode incluir uma rede com ou sem fio, ou uma combinação das mesmas. Por exemplo, a rede pode incluir um ou mais dos seguintes: a Internet, uma intranet local, PAN (Rede de Área Pessoal), LAN (Rede de Área Local), WAN (Rede de Área Ampliada), MAN (Rede de Área Metropolitana), rede privada virtual (VPN), rede de área de armazenamento (SAN), conexão de retransmissão de quadros, conexão de Rede Inteligente Avançada (AIN), conexão de rede óptica síncrona (SONET), linha T1, T3, E1 ou E3 digital, conexão de Serviço de Dados Digitais (DDS), conexão DSL (Linha Assinante Digital), conexão Ethernet, linha ISDN (Rede Digital de Serviços Integrados), porta de discagem como conexão por modem analógico V.90, V.34 ou V.34bis, modem a cabo, conexão ATM (Modo de Transferência Assíncrona), ou uma FDDI (Interface de Dados Distribuídos por Fibra) ou conexão CDDI (Interface de Dados Distribuídos por Cobre). Adicionalmente, as comunicações também podem incluir enlaces a qualquer dentre uma variedade de redes sem fio incluindo, WAP (Protocolo de Aplicação Sem Fio), GPRS (Serviços Gerais de Pacotes por Rádio), GSM (Sistema Global para Comunicações Móveis), CDMA (Acesso Múltiplo por Divisão de Código) ou TDMA (Acesso Múltiplo por Divisão de Tempo), redes de telefone celular, GPS, CDPD (dados de pacote digital celular), rede de paginação por duplexação RIM (Pesquisa em Movimento, Limitada), rádio Bluetooth, ou uma rede de radiofrequência baseada em IEEE 802.11. A rede pode incluir, ainda, ou fazer interface com qualquer um ou mais dos seguintes: conexão serial RS-232, conexão IEEE-1394 (Firewire), conexão de Canal de Fibra, porta IrDA (infravermelha), conexão SCSI (Interface de Sistemas Computacionais Pequenos), conexão USB (Barramento Serial Universal), ou outra interface ou conexão digital ou analógica com ou sem fio, malha ou rede Digi®.

[0024] Um banco de dados opcional 150 pode armazenar os dados coletados pelo agente 110 a fim de gerar uma avaliação de risco em modelo 3D 160 e informações adicionais sobre o usuário 170.

[0025] A Figura 2 é uma vista esquemática do processo de simulação implementado para construir o ambiente 3D por um agente usando Aprendizagem por Reforço (RL). Começa com o agente tomando o estado ambiente como informações de entrada a partir da medição de um objeto no ambiente. Com base no que o agente detecta, o mesmo toma uma ação usando RL‡ para continuar a detecção do objeto. Na Figura 2, a RL que é implementada durante o processo de simulação é representada em vista esquemática por caixas fora da caixa de “processo de simulação”. As linhas tracejadas representam entrada e as linhas contínuas representam saída. À medida que o agente se move no ambiente detectando objetos, conforme mostrado na Figura 4, o mesmo constrói o mapa 3D e estabelece o risco potencial para acidentes mapeando-se objetos na casa, conforme mostrado nas trajetórias da Figura 5, seus locais relativos, e simula o usuário nesse ambiente, respectivamente.

[0026] O agente determina uma ação baseada em seu estado atual empregando-se uma política, π, que depende de uma observação, feita pelo agente, do estado. É uma distribuição por ações para cada estado, π(a|s) = P [Ai = a , Si = s]. Por exemplo, na Figura 2, a sequência inicial, i = 0, começa com Si +1= 1 (estado ambiental captado por agente). Nesse caso para i = 0, a política pode depender do estado s estando em observação de mais partes de mobílias, por exemplo, π(s) = se não puder determinar se a entrada é um ou múltiplos objetos, a = então o agente se aproxima e obtém uma tomada melhor.

[0027] O agente agora tem entrada desse primeiro estado, S1, e devido à sua política, toma a ação, a, chega em i = 1 e obtém retroinformações da função de recompensa, R (s, a). É uma função de pares de ação de estado; a Rs = E ([Ri +1│Si =s, Ai = a]; onde s, a ∊ ℝ & E é a expectativa. Então, a função de probabilidade de transição é uma distribuição de probabilidade pelo próximo estado possível dado o estado atual, que produz um próximo estado provável, si+1., é Pss’ a = P[ Si+1 = s’ | Si = s, Ai = a]; onde Si = estado particular, s = estado atual, e Si+1 = s’ está ajustando o próximo estado sequencial para s’, que é o próximo estado previsto. O agente aprende um valor Q com base na ação tomada a partir de outra política, que é atualizada calculando-a de acordo com uma função de valor de Q nova (isto é, atualizar a função de política de acordo com a função de valor Q). O agente agora tem uma compreensão refinada de S1 e entrada para S2. Em outras palavras:

[0028] S1 = entrada de estado, então, política e ação, π (s) = a implementado e realizado. Função de recompensa recebida, R (s, a), probabilidade de transição pelo próximo estado possível, P(s, a), e função de valor Q refina o conceito de um estado prévio enquanto atualiza a política, Qπ(s).

[0029] Em i = 1, S2, a função de valor Q atualizada atualizou o valor de estado prévio a partir da nova entrada que recebeu a partir de i = 1 (onde i = 1, no estado S2, e por causa disso atualiza valores de i = 0, para estado S1 e funções correspondentes que reagiram a isso). Por exemplo, em geral, a função de valor Q, Q (si, ai) + α [ri+1 + γ maxa Q (Si+1, a) - Q(si, ai)] → Q (si, ai) para, até aqui, na sequência seria: Q (s1, a1) + α [r1 + γ maxa Q (s1, a) - Q(s0, a0)] → Q (s0, a0), e combina isso com a avaliação comparada ao estado atual e emite um estado novo (isto é, uma nova compreensão do estado atual), que é, então, a nova entrada a começar o mesmo processo como antes. Aqui γ é o fator de desconto, ou fator de descontinuidade de recompensa, que diz ao agente quanta recompensa esperar se tomar uma ação particular em um estado particular. Da mesma forma, no presente documento é α, a taxa de aprendizagem. Tem estado e política atualizada (entrada), agora em i =1 por exemplo;

[0030] π(x) = se tiver determinado uma razão de aspecto prévia correta,

[0031] a = usar isso para novos objetos que fazem parte da entrada para i = 1 etapa em sequência a avançar e interagir com novos objetos detectados. Agora na seta sólida levando de volta ao “processo de simulação,” com processo similar como antes, chegando i = 2, S3, com uma compreensão melhor de objetos e seus locais uns em relação aos outros, isto é, uma trajetória. Na Figura 2 isso é mostrado pela segunda caixa de equações, onde as equações mudaram de Rsa, Pss’a, Q(s0,a0) àquelas atualizadas (Rsπ, Pss’π, Q(s’,a)), que é explicado a seguir.

[0032] Novamente, a função de recompensa é imposta, e a distribuição de probabilidade pelo próximo estado possível dado o estado atual com P(s,a), e a função de valor Q é calculada de acordo com a atualização de política, mas agora com π a

[0033] Rs = ∑ [a∈A] π (a│s) R s : πθ(s, a) = P[a | (s, θ)] , onde θ são parâmetros ajustáveis, ou pesos, leva a uma distribuição de π probabilidade de transição atualizada, Pss’ = ∑ [a∈A] π (a│s) Pss’ a , e a função de valor Q se torna: Qπ(s) = (1 – α) ⦁ Q (s, a) + α [r + γ maxa’ Q (s’, a’)] → Q (s’, a) ; onde s’ e a’ são estado e ação futuros (usar par atualizar funções). Ação seguinte de advertência a’ é ajustada para maximizar a próxima função de valor Q, é assim que se mantém a função de valor Q atualizada com uma política atualizada (isto é, ao invés de usar uma política atual).

[0034] A Figura 3 ilustra um método exemplificador (e sumário) para proporcionar uma avaliação de riscos de lesão em um ambiente 3D, de acordo com várias modalidades exemplificadoras.

[0035] O método 300 inclui:

[0036] Na etapa 301, implantar um agente em um ambiente. Por exemplo, vide a Figura 2.

[0037] Na etapa 302, detectar um primeiro objeto em um primeiro estado pelo agente. Por exemplo, vide a Figura 2.

[0038] Na etapa 303, tomar uma ação para interagir com o primeiro objeto usando aprendizagem por reforço pelo agente, a ação tomada a fim de maximizar uma recompensa. Por exemplo, vide a Figura 2.

[0039] Na etapa 304, mapear o primeiro objeto a um ambiente tridimensional. Por exemplo, vide a Figura 4.

[0040] Na etapa 305, identificar riscos potenciais dentro do ambiente tridimensional. Por exemplo, vide a Figura 5.

[0041] A Figura 4 ilustra o agente usando RL no processo de construção de simulação movendo-se pelo ambiente. Nessa imagem, o agente começa na esquerda pela porta da frente [Figura 4a], vai em direção ao sofá [Figura 4b], então, entre as mesas [Figura 4c], e adiante pela casa.

[0042] Referindo-se à Figura 5a para a trajetória completa, após estar entre as mesas (descrito pela Figura 4c), o agente atravessa o corredor para o quarto, então, ao redor do quarto, e volta pelo corredor para a cozinha, e termina onde começou pela porta da frente.

[0043] À medida que se move e interage, aperfeiçoa o modelo 3D com cada sequências. As linhas contínuas (pontilhadas) representam um modelo acabado (não acabado) de um objeto. Nessa figura, o agente reconhece cadeiras (linhas brancas) e mesas (linhas pretas) como objetos por propósitos ilustrativos – não é limitado a cadeiras e mesas.

[0044] Considera-se o ponto inicial com linhas brancas pontilhadas à cadeira e sofá como a sequência inicial (i=0). Esses objetos são entradas do estado Si+1 = S0+1 = S1 com R1 e A1, recompensa e ação, para iniciar o processo de simulação. No próximo ponto sequencial (i=1) o agente interagiu com esses objetos, os detectou para serem incluídos no próximo estado ambiente S2, os mapeou adequadamente no ambiente (reapresentado pelas linhas brancas sólidas), e identificou um risco potencial (Figura 5). Nota-se que as linhas pontilhadas também se apresentam nessa sequência (i=1) e como elas se solidificam pela próxima sequência (i=2) similarmente.

[0045] A Figura 5 tem as saídas de risco associadas representadas para risco baixo a ausente por sinais de visto (✓) e para riscos médios a altos por sinais de cruz (✗). Na Figura 5b fica evidente que à medida que cada sequência progride, o mapa 3D e riscos de acidente no mesmo se tornam mais bem definidos, otimizando as capacidades do método no presente documento para a simulação de modelo 3D. Na Figura 5b, a casa se desvanece para descrever como a certeza do mapa 3D e simulação, com riscos correspondentes, são aperfeiçoados com funções atualizadas com cada sequência. Portanto, na Figura 5c, a casa inteira é sólida porque o agente finalizou e terminou pela porta da frente.

[0046] A Figura 6 ilustra um sistema computacional exemplificador 600 que pode ser usado para implementar as modalidades descritas no presente documento. O sistema computacional 600 da Figura 6 pode incluir um ou mais processadores 610 e memória 620. A memória 620 armazena, em parte, instruções e dados para execução por um ou mais processadores 610. A memória 620 pode armazenar o código executável quando o sistema computacional 600 estiver em operação. O sistema computacional 600 da Figura 6 pode incluir, ainda, um armazenamento em massa 630, um armazenamento portátil 640, um ou mais dispositivos de saída 650, um ou mais dispositivos de entrada 660, uma interface de rede 670, e um ou mais dispositivos periféricos

680.

[0047] Os componentes mostrados na Figura 6 são descritos como estando conectados através de um único barramento 690. Os componentes podem ser conectados através de um ou mais meios de transporte de dados. Um ou mais processadores 610 e memória 620 podem ser conectados através de um barramento de microprocessador local, e o armazenamento em massa 630, um ou mais dispositivos periféricos 680, armazenamento portátil 640, e interface de rede 670 podem ser conectados através de um ou mais barramentos de entrada/saída (I/O).

[0048] O armazenamento em massa 630, que pode ser implementado com uma unidade de disco magnético ou uma unidade de disco óptico, é um dispositivo de armazenamento não volátil para armazenar dados e instruções para uso por um disco magnético ou uma unidade de disco óptico, que, sucessivamente, pode ser usado por um ou mais processadores 610. O armazenamento em massa 630 pode armazenar o software de sistema para implementar as modalidades descritas no presente documento para propósitos de carregar esse software na memória 620.

[0049] O armazenamento portátil 340 opera em conjunto com uma mídia de armazenamento não volátil portátil, tal como um disco compacto (CD) ou disco de vídeo digital (DVD), para dados de entrada e saída e código a partir do sistema computacional 600 da Figura 6. O software de sistema para implementar as modalidades descritas no presente documento pode ser armazenado nessa mídia portátil e inserido ao sistema computacional 600 através do armazenamento portátil 640.

[0050] Um ou mais dispositivos de entrada 660 proporcionam uma porção de uma interface de usuário. Um ou mais dispositivos de entrada 660 podem incluir um teclado alfanumérico, tal como um teclado, para inserir informações alfanuméricas e outras informações, ou um dispositivo de apontamento, tal como um mouse, um trackball, uma caneta stylus, ou teclas de direção de cursor. Adicionalmente, o sistema computacional 600 conforme mostrado na Figura 6 inclui um ou mais dispositivos de saída 650. Um ou mais dispositivos de saída 650 adequados incluem alto-falantes, impressoras, interfaces de rede e monitores.

[0051] A interface de rede 670 pode ser utilizada para se comunicar com dispositivos externos, dispositivos computacionais externos, servidores e sistemas em rede através de uma ou mais redes de comunicações como uma ou mais redes com fio, sem fio ou ópticas que incluem, por exemplo, a Internet, uma intranet, LAN, WAN, redes de telefonia celular (por exemplo, Sistema Global para Rede de Comunicações Móveis, rede de comunicações por comutação de pacotes, rede de comunicações por comutação de circuitos), rádio Bluetooth, e uma rede de radiofrequência baseada em IEEE 802.11, dentre outras. As interface de rede 670 podem ser um cartão de interface de rede, tal como um cartão Ethernet, transceptor ótico, transceptor de radiofrequência, ou qualquer outro tipo de dispositivo que possa enviar e receber informações. Outros exemplos dessas interfaces de rede podem incluir Bluetooth®, 3G, 4G, e rádios WiFi® em dispositivos computacionais móveis bem como um USB.

[0052] Um ou mais dispositivos periféricos 680 podem incluir qualquer tipo de dispositivo de suporte computacional para agregar uma funcionalidade adicional ao sistema computacional 600. Um ou mais dispositivos periféricos 680 podem incluir um modem ou um roteador.

[0053] Os componentes contidos no sistema computacional 600 da Figura 6 são aqueles tipicamente encontrados em sistemas computacionais que podem ser adequados para uso com as modalidades descritas no presente documento e são destinados a representar uma categoria ampla desses componentes computacionais que são bem conhecidos na técnica. Logo, o sistema computacional 600 da Figura 6 pode ser um PC, um dispositivo computacional de mão, um telefone, um dispositivo computacional móvel, uma estação de trabalho, um servidor, um minicomputador, um computador mainframe, ou qualquer outro dispositivo computacional. O computador também pode incluir diferentes configurações de barramento, plataformas em rede, plataformas de multiprocessador, e assim por diante. Vários sistemas operacionais (OS) podem ser usados incluindo UNIX, Linux, Windows, Macintosh OS, Palm OS, e outros sistemas operacionais adequados.

[0054] Algumas das funções descritas anteriormente podem ser compostas por instruções que são armazenadas em mídias de armazenamento (por exemplo, mídia legível por computador). As instruções podem ser recuperadas e executadas pelo processador. Alguns exemplos de mídias de armazenamento são dispositivos de memória, fitas, discos, e similares. As instruções são operacionais quando executadas pelo processador para direcionar o processador a operar de acordo com as modalidades exemplificadoras. Os indivíduos versados na técnica estão familiarizados com instruções, processador(es) e mídias de armazenamento.

[0055] Convém destacar que qualquer plataforma de hardware adequada para realizar o processamento descrito no presente documento é adequada para uso com as modalidades exemplificadoras. Os termos “mídia de armazenamento legível por computador” e “mídias de armazenamento legíveis por computador” conforme o uso em questão se referem a qualquer mídia ou mídias que participem em fornecer instruções a uma unidade de processamento central (CPU) para execução. Essas mídias podem assumir muitas formas, incluindo, sem limitação, mídias não voláteis, mídias voláteis e mídias de transmissão. Mídias não voláteis incluem, por exemplo, discos ópticos ou magnéticos, tal como um disco fixo. Mídias voláteis incluem memória dinâmica, como Memória de Acesso Aleatório (RAM). Mídias de transmissão incluem cabos coaxiais, fios de cobre e fibras ópticas, dentre outras, incluindo os fios que incluem uma modalidade de um barramento. As mídias de transmissão também podem assumir a forma de ondas acústicas ou leves, tais como aquelas geradas durante comunicações de dados por radiofrequência e infravermelha. Formas comuns de mídias legíveis por computador incluem, por exemplo, um disquete, um disco flexível, um disco rígido, uma fita magnética, qualquer mídia magnética, um disco CD de memória somente para leitura (ROM), DVD, qualquer outra mídia óptica, qualquer outra mídia física com padrões de marcas ou furos, uma RAM, uma PROM, uma EPROM, uma EEPROM, uma FLASHEPROM, qualquer outro chip ou cartucho de memória, uma onda portadora, ou qualquer outra mídia a partir da qual um computador pode ler.

[0056] Várias formas de mídias legíveis por computador podem ser envolvidas em transportar uma ou mais sequências de uma ou mais instruções a uma CPU para execução. Um barramento transporta os dados a RAM do sistema, a partir do qual uma CPU recupera e executa as instruções. As instruções recebidas pela RAM do sistema podem ser opcionalmente armazenadas em um disco fixo seja antes ou após a execução por uma CPU.

[0057] Em algumas modalidades, o sistema computacional 600 pode ser implementado como um ambiente computacional baseado em nuvem, tal como uma máquina virtual que opera em uma nuvem computacional. Em outras modalidades, o sistema computacional 600 pode, ele mesmo, incluir um ambiente computacional baseado em nuvem, onde as funcionalidades do sistema computacional 600 são executadas em uma maneira distribuída. Logo, o sistema computacional 600, quando configurado como uma nuvem computacional, pode incluir pluralidades de dispositivos computacionais em várias formas, conforme será descrito em maiores detalhes abaixo.

[0058] Em geral, um ambiente computacional baseado em nuvem é um recurso que combina tipicamente a potência computacional de um agrupamento grande de processadores (como em servidores da web) e/ou que combina a capacidade de armazenamento de um agrupamento grande de memórias computacionais ou dispositivos de armazenamento. Sistemas que proporcionam recursos baseados em nuvem podem ser utilizados exclusivamente por seus próprios proprietários ou esses sistemas podem ser acessíveis a usuários externos que instalam aplicativos na infraestrutura computacional para obter o benefício de grandes recursos computacionais ou de armazenamento.

[0059] A nuvem pode ser formada, por exemplo, por uma rede de servidores da web que compreendem uma pluralidade de dispositivos computacionais, tal como o sistema computacional 600, com cada servidor (ou pelo menos uma pluralidade dos mesmos) proporcionando recursos de processador e/ou armazenamento. Esses servidores gerenciam cargas úteis proporcionadas por múltiplos usuários (por exemplo, consumidores de recursos de nuvem ou outros usuários). Tipicamente, cada usuário solicita demandas de carga útil pela nuvem que varia em tempo real, algumas vezes dramaticamente. A natureza e extensão dessas variações tipicamente dependem do tipo de negócio associado ao usuário.

[0060] As estruturas, materiais, ações e equivalentes correspondentes de todos os elementos de função means-or-step-plus nas reivindicações abaixo são destinados a incluir qualquer estrutura, material ou ação para realizar a função em combinação com outros elementos reivindicados conforme especificamente reivindicado. A descrição da presente tecnologia foi apresentada por propósitos de ilustração e descrição, mas não é destinada a ser exaustiva nem limitada à invenção na forma revelada. Muitas modificações e variações se tornarão aparentes aos técnicos no assunto sem divergir do escopo e âmbito da invenção. Modalidades exemplificadoras foram escolhidas e descritas a fim de explicar melhor os princípios da presente tecnologia e sua aplicação prática, e permitir que outros técnicos no assunto compreendam a invenção para várias modalidades com várias modificações conforme são adequadas ao uso particular contemplado.

[0061] Os aspectos da presente tecnologia são descritos acima com referência às ilustrações de fluxograma e/ou diagramas de bloco de métodos, aparelho (sistemas) e produtos de programa de computador de acordo com as modalidades da invenção. Compreende-se que cada bloco das ilustrações de fluxograma e/ou diagramas de bloco, e combinações de blocos nas ilustrações de fluxograma e/ou diagramas de bloco, pode ser implementado por instruções de programa de computador. Essas instruções de programa de computador podem ser proporcionadas a um processador de um computador para propósitos gerais, computador para propósitos especiais, ou outro aparelho de processamento de dados programáveis para produzir uma máquina, de modo que as instruções, que executam através do processador do computador ou outro aparelho de processamento de dados programáveis, criam meios para implementar as funções/ações especificadas no bloco ou blocos de fluxograma e/ou diagrama de blocos.

[0062] Essas instruções de programa de computador também podem ser armazenadas em uma mídia legível por computador que pode direcionar um computador, outro aparelho de processamento de dados programáveis, ou outros dispositivos para funcionar em uma maneira particular,

de modo que as instruções armazenadas na mídia legível por computador produzam um artigo de manufatura incluindo instruções que implementam a função/ação especificada no bloco ou blocos de fluxograma e/ou diagrama de blocos.

[0063] As instruções de programa de computador também podem ser carregadas em um computador, outro aparelho de processamento de dados programáveis, ou outros dispositivos para induzir que uma série de etapas operacionais seja realizada no computador, outro aparelho programável ou outros dispositivos para produzir um processo implementado por computador de modo que as instruções que executam no computador ou outro aparelho programável proporcionem processos para implementar as funções/ações especificadas no bloco ou blocos de fluxograma e/ou diagrama de blocos.

[0064] O fluxograma e diagramas de blocos ilustram a arquitetura, funcionalidade e operação de implementações possíveis de sistemas, métodos e produtos de programa de computador de acordo com várias modalidades da presente tecnologia. Nesse sentido, cada bloco no fluxograma ou diagramas de blocos pode representar um módulo, segmento ou porção de código, que compreende uma ou mais instruções executáveis para implementar as funções lógicas especificadas. Deve-se notar que, em algumas implementações alternativas, as funções notadas no bloco podem ocorrer fora da ordem notada nas figuras. Por exemplo, dois blocos mostrados em sucessão podem, de fato, ser executados de modo substancialmente concorrente, ou os blocos podem, algumas vezes, ser executados em ordem reversa, dependendo da funcionalidade envolvida. Deve-se notar, também, que cada bloco da ilustração de diagramas de blocos e/ou fluxogramas, e combinações de blocos na ilustração de diagramas de blocos e/ou fluxogramas, pode ser implementado por sistemas baseados em hardware para propósitos especiais que realizam as funções ou ações especificadas, ou combinações de instruções de hardware para propósitos especiais e computacionais.

[0065] Logo, descreveram-se sistemas e métodos para identificar riscos ambientes em um ambiente simulado usando aprendizagem de máquina como aprendizagem por reforço e aprendizagem profunda. Embora as modalidades tenham sido descritas com referência a modalidades exemplificadoras específicas, ficará evidente que várias modificações e alterações podem ser feitas a essas modalidades exemplificadoras sem divergir do âmbito e escopo mais abrangente do presente pedido.

De modo correspondente, o relatório descritivo e os desenhos devem ser considerados em um sentido ilustrativo ao invés de restritivo.

Existem muitas formas alternativas de implementar a presente tecnologia.

Os exemplos revelados são ilustrativos e não restritivos.

Claims

REIVINDICAÇÕES

1. Método para proporcionar avaliação de um risco de lesão, o método sendo CARACTERIZADO pelo fato de compreender: implantar um agente em um ambiente; detectar um primeiro objeto em um primeiro estado pelo agente; tomar uma ação para interagir com o primeiro objeto usando aprendizagem por reforço pelo agente, a ação tomada a fim de maximizar uma recompensa; mapear o primeiro objeto a um ambiente tridimensional; e identificar riscos potenciais dentro do ambiente tridimensional.

2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de compreender, ainda, o agente continuando a tomar outra ação no ambiente para interagir com um segundo objeto usando aprendizagem por reforço pelo agente, a ação tomada a fim de maximizar uma recompensa cumulativa.

3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de compreender, ainda, o agente mapeando o segundo objeto ao ambiente tridimensional e continuando a identificar riscos potenciais dentro do ambiente tridimensional.

4. Método, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de compreender, ainda, o agente mapeando os locais relativos do primeiro e segundo objetos no ambiente tridimensional.

5. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de compreender, ainda, o agente mapeando uma trajetória para evitar o contato com o primeiro e segundo objetos no ambiente tridimensional.

6. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de compreender, ainda, simular um usuário no ambiente tridimensional.

7. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de compreender, ainda, o agente usando aprendizagem por reforço em um processo de construção de simulação movendo-se e interagindo através do ambiente para aperfeiçoar o ambiente tridimensional.

8. Método, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de compreender, ainda, gerar um novo ambiente tridimensional com cada sequência de movimento pelo agente.

9. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de compreender, ainda, gerar um novo ambiente tridimensional com cada interação pelo agente.

10. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de compreender, ainda, gerar um mapa de simulação tridimensional identificando riscos potenciais no ambiente.

11. Método, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de compreender, ainda, categorizar os riscos potenciais seja como risco baixo a ausente ou risco médio a alto.

12. Sistema para proporcionar avaliação de risco de lesão, o sistema sendo CARACTERIZADO pelo fato de compreender: um agente comunicativamente acoplado a um dispositivo de captação; uma rede de comunicações comunicativamente acoplada ao agente; um módulo de avaliação de riscos em modelo tridimensional comunicativamente acoplado à rede de comunicações; um dispositivo de usuário comunicativamente acoplado ao módulo de avaliação de riscos em modelo tridimensional; e um sistema para identificar riscos ambientes comunicativamente acoplado à rede de comunicações.

13. Sistema, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de compreender, ainda, um banco de dados.

14. Sistema, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de compreender, ainda, o agente configurado para implantar um ambiente e detectar um primeiro objeto em um primeiro estado.

15. Sistema, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de compreender, ainda, o agente configurado para tomar uma ação para interagir com o primeiro objeto usando aprendizagem por reforço.

16. Sistema, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de compreender, ainda, o agente configurado para mapear o primeiro objeto a um ambiente tridimensional.

17. Sistema, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de compreender, ainda, o agente configurado para identificar riscos potenciais dentro do ambiente tridimensional.

Petição 870210068149, de 27/07/2021, pág. 105/111 180 100

AVALIAÇÃO DE

RISCO DE MODELO 3D 160 1/6

REDE DE SISTEMA PARA

AGENTE IDENTIFICAR RISCOS

CÂMERA COMUNICAÇÕES 110 AMBIENTES 140 120 130

BANCO DE

DADOS 150

Sequência inicial (i = 0): S1 (s) = a R (s, a) = Rsa = E ([Ri +1 i = s, Ai = a] P(s, a) = P ss’ a = P[ Si+1 = s’ | Si = s, Ai = a] Q (s0, a 0) Leva à sequência i = 1, atualizar funções acima.

Processo de simulação S1 Detecção de RL Detecção de objeto objeto i + 1 e trajetória Com compreensão aperfeiçoada de estado prévio, Si-1,variáveis

RL RL RL atualizadas aperfeiçoaram a previsão para o próximo Si+1 Mapa 3D, Trajetórias wrt usuário em de objeto i + 1 Risco simulação RL e objetos (s, a) = P[a | (s Rs [a A] ) R sa P ss’ = [a A] ) P ss’ a Mapa 3D aperfeiçoando Q(s, a, R, P) com Q (s Q (s’, a) cada etapa sequencial através do loop

300 INÍCIO

IMPLANTAR UM AGENTE EM UM AMBIENTE 301

DETECTAR UM PRIMEIRO OBJETO PELO AGENTE EM UM 302

PRIMEIRO ESTADO

TOMAR UMA AÇÃO PARA INTERAGIR COM O

PRIMEIRO OBJETO USANDO APRENDIZAGEM POR REFORÇO PELO AGENTE, SENDO A AÇÃO 303

TOMADA A FIM DE MAXIMIZAR UMA

RECOMPENSA

MAPEAR O PRIMEIRO OBJETO A UM AMBIENTE TRIDIMENSIONAL 304

IDENTIFICAR RISCOS POTENCIAIS DENTRO DO AMBIENTE TRIDIMENSIONAL 305

TÉRMINO i = 0, S1 i = 1, S 2 i = 2, S3

Trajetória completa do agente i =0 i =1 i =2

Atualizar a saída com nova entrada i =0 i =1 i =2

Estado final i = n

UM OU MAIS 650

UM OU MAIS DISPOSITIVOS DE 610 PROCESSADORES SAÍDA UM OU MAIS 660

DISPOSITIVOS

MEMÓRIA DE ENTRADA 620 INTERFACE 670

ARMAZENAMENTO DE REDE 630 EM MASSA UM OU MAIS 680

ARMAZENAMENTO DISPOSITIVOS 640 PORTÁTIL PERIFÉRICOS 690