BR112021001746A2 - sistema e método de operação para veículos operados remotamente para detecção automática de ameaças à integridade estrutural - Google Patents

Abstract

A presente invenção proporciona um sistema e método e detecção automática de ameaças à integridade estrutural. Um mecanismo de detecção de ameaças detecta ameaças à integridade em estruturas, tais como estruturas submarinas, e segmenta as estruturas em uma imagem usando redes neurais convolucionais (CNN). O mecanismo de detecção de ameaças pode incluir um módulo de conjunto de dados, um módulo de treinamento de CNN, um módulo de mapa de segmentação, um módulo de semi-supervisão e um módulo de eficiência. O mecanismo de detecção de ameaças pode treinar um modelo de aprendizagem profunda para detectar anomalias nos vídeos. Para tanto, um módulo de conjunto de dados com vídeos pode ser usado quando o módulo de conjunto de dados inclui anotações detalhando em quais marcações de tempo uma ou mais anomalias estão visíveis.

Description

“SISTEMA E MÉTODO DE OPERAÇÃO PARA VEÍCULOS OPERADOS REMOTAMENTE PARA DETECÇÃO AUTOMÁTICA DE AMEAÇAS À INTEGRIDADE ESTRUTURAL”

[001] As revelações dos documentos de patente publicados referenciados neste pedido são por meio deste incorporadas em suas totalidades para fins de referência neste pedido de modo a descrever de forma mais abrangente o estado da técnica à qual pertence esta invenção.

[002] A presente invenção diz respeito a um sistema de operação para veículos operados remotamente (“ROV”), e a métodos para seu uso. Mais especificamente, a presente invenção oferece um sistema e método de operação para ROVs com detecção automática de ameaças à integridade estrutural. Antecedentes da Invenção

[003] A exploração da última região inexplorada da terra, o mar, é em grande medida motivada pela demanda continuada por recursos energéticos. Devido ao fato de os seres humanos não serem capazes de suportar as pressões induzidas às quais ocorre a exploração energética, nos tornamos cada vez mais dependentes de tecnologias tais como veículos autônomos e tecnologia ROV. A velocidade, confiabilidade e segurança da exploração dos oceanos só irão até onde a tecnologia disponível permitir no futuro. Portanto, novas inovações na exploração são necessárias. Sumário da Invenção

[004] Falhas em manter estruturas submarinas de Petróleo e Gás (O&G) em boa condição podem expor o meio ambiente a graves riscos, causar perda de produção e maiores custos de reparos e reposição. Os operadores podem ser obrigados a garantir que as estruturas estejam em uma condição segura.

[005] Por exemplo, é necessário realizar inspeção periódica dos dutos quanto a danos. Esses danos poderiam se originar de colisões de objetos ou causas naturais. Quando uma ameaça à integridade é detectada, o duto precisa ser reparado, ou, em casos mais extremos, substituído.

[006] Outro exemplo ainda mais amplo é a inspeção dos anodos de sacrifício. Estes são feitos de metais altamente ativos e são usados para proteger superfícies metálicas menos ativas contra a corrosão. O anodo de sacrifício é consumido em vez da superfície metálica que ele está protegendo, e, portanto, os anodos de sacrifício precisam ser substituídos periodicamente.

[007] Os ROVs são usados para inspecionar visualmente estruturas submarinas. Para tanto, os ROVs filmam as estruturas que necessitam de inspeção e operadores humanos treinados tentam detectar, no vídeo, ameaças em potencial à integridade. Sendo assim, é necessário um sistema que seja capaz de: 1) detectar ameaças à integridade em uma estrutura submarina; e 2) segmentar a estrutura na imagem.

[008] Esta revelação oferece sistemas e métodos relacionados à operação dos ROVs com detecção aperfeiçoada de ameaças à integridade estrutural, sendo a detecção automática em algumas modalidades e realizada com o uso de redes neurais convolucionais. Embora as modalidades e exemplos sejam apresentados no contexto de missões submarinas, um indivíduo capacitado na técnica apreciará que os aspectos, características, funcionalidades, etc. discutidos nesta revelação também podem ser estendidos a praticamente qualquer tipo de projeto de navegação complexo. Breve Descrição dos Desenhos

[009] Os aspectos, características e vantagens supramencionados, e outros, podem ser melhor entendidos a partir da descrição detalhada seguinte com referência aos desenhos acompanhantes, nos quais:

[010] A Fig. 1A mostra uma vista diagramática de um sistema, de acordo com algumas modalidades;

[011] A Fig. 1B mostra uma vista diagramática de um sistema e suas funções associadas, de acordo com algumas modalidades;

[012] As Figs. 2A e 2B representam vistas alternativas de uma interface de usuário de um sistema de acordo com algumas modalidades;

[013] As Figs. 3A e 3B mostram visões gerais de arquitetura de software de um sistema, de acordo com algumas modalidades;

[014] A Fig. 3C é uma ilustração diagramática de sistemas em rede, de acordo com algumas modalidades;

[015] A Fig. 4 representa módulos para obter imagens 3D híbridas, e um método para seu uso, de acordo com algumas modalidades;

[016] A Fig. 5A ilustra cálculos para alinhar um vídeo virtual e um vídeo real, de acordo com algumas modalidades;

[017] A Fig. 5B ilustra imagens 3D híbridas obtidas pela sobreposição de um vídeo virtual e um vídeo real, de acordo com algumas modalidades;

[018] As Figs. 6A a 6E representam várias vistas de uma interface de navegação, de acordo com algumas modalidades;

[019] A Fig. 7 ilustra uma visão geral em diagrama de blocos de um mecanismo de detecção de ameaças, de acordo com algumas modalidades; e

[020] A Fig. 8 representa uma arquitetura para um modelo CNN básico, de acordo com algumas modalidades. Descrição Detalhada da Invenção

[021] A invenção proporciona um sistema para operar um veículo operado remotamente (ROV), compreendendo: a) um módulo de banco de dados de elementos 3D operáveis para representar objetos dispostos em um ambiente de operação do ROV; b) um módulo de geração de vídeo virtual operável para gerar um vídeo virtual incorporando os elementos 3D;

c) uma câmera de vídeo montada no ROV operável para gerar um vídeo real do ambiente de operação do ROV; d) um módulo de sincronização operável para sincronizar um ângulo e posição de uma câmera virtual com um ângulo e posição da câmera de vídeo montada no ROV; e) um mecanismo de visualização operável para sobrepor o vídeo real no vídeo virtual para criar imagens 3D híbridas; e f) um mecanismo de detecção de ameaças operável para detectar uma ameaça à integridade em uma estrutura a partir das imagens 3D híbridas e segmentar a estrutura nas imagens 3D híbridas, o mecanismo de detecção de ameaças compreendendo: um módulo de conjunto de dados; um módulo de treinamento de rede neural convolucional (CNN); um módulo de mapa de segmentação; e um módulo de eficiência.

[022] Os sistemas e métodos descritos aqui podem adicionalmente ter um ou mais dos seguintes aspectos adicionais, os quais podem ser combinados uns com os outros ou com qualquer outro aspecto descrito aqui, a menos que sejam claramente mutuamente exclusivos.

[023] O módulo de conjunto de dados pode incluir anotações detalhando em quais marcações de tempo uma ou mais anomalias estão visíveis.

[024] O módulo de treinamento CNN pode aceitar uma imagem de entrada e emitir uma lógica alta se uma anomalia visível for detectada e, caso contrário, emitir uma lógica baixa.

[025] O módulo de treinamento CNN pode compreender uma pluralidade de camadas convolucionais empilhadas, em que cada camada convolucional empilhada subsequente da pluralidade de camadas convolucionais empilhadas inclui uma região maior da imagem de entrada.

[026] O modelo de treinamento CNN pode adicionalmente compreender um mapa de segmentação de estrutura grosseira.

[027] O módulo de mapa de segmentação pode gerar um conjunto de dados de mapa de segmentação usando segmentações em nível de pixel.

[028] O módulo de mapa de segmentação pode gerar as segmentações em nível de pixel projetando um modelo 3D de uma estrutura visível na câmera virtual do ROV.

[029] O módulo de treinamento CNN pode treinar um modelo CNN para minimizar uma função de perda.

[030] O módulo de treinamento CNN pode (i) usar uma função de perda L para dados que contêm tanto dados de segmentação quanto dados de verdade de campo (ground-truth) de anomalias e (ii) usar uma função de perda La para dados que contêm dados de verdade de campo de anomalias, mas não dados de segmentação.

[031] O módulo de eficiência pode calcular uma máscara binária m e, quando todos os elementos de m estiverem próximos de zero, o módulo de eficiência pode impedir o mecanismo de detecção de ameaças de realizar cálculos adicionais e gerar uma saída de que não há anomalias estruturais.

[032] A invenção proporciona um sistema para exploração submarina, compreendendo: a) um veículo operado remotamente (ROV) compreendendo uma câmera para obter um vídeo real; b) um sistema operacional em rede compreendendo um computador e software executável por computador compreendendo um mecanismo de visualização e um mecanismo de detecção de ameaças; c) um módulo de banco de dados de elementos 3D operáveis para representar objetos dispostos em um ambiente de operação do ROV; d) um módulo de geração de vídeo virtual operável para gerar um vídeo virtual incorporando os elementos 3D; e) uma câmera de vídeo montada no ROV operável para gerar um vídeo real do ambiente de operação do ROV; f) um módulo de sincronização operável para sincronizar um ângulo e posição de uma câmera virtual com um ângulo e posição da câmera de vídeo montada no ROV; g) em que o mecanismo de visualização é operável para sobrepor o vídeo real no vídeo virtual para criar imagens 3D híbridas; e h) em que o mecanismo de detecção de ameaças é operável para detectar uma ameaça à integridade em uma estrutura a partir das imagens 3D híbridas e segmentar a estrutura nas imagens 3D híbridas, o mecanismo de detecção de ameaças compreendendo: um módulo de conjunto de dados; um módulo de treinamento de rede neural convolucional (CNN); um módulo de mapa de segmentação; e um módulo de eficiência; e i) uma interface de navegação configurada para exibir as imagens 3D híbridas, a interface de navegação compreendendo pelo menos um monitor interligado em rede.

[033] O módulo de conjunto de dados pode incluir anotações detalhando em quais marcações de tempo uma ou mais anomalias estão visíveis.

[034] O módulo de treinamento CNN pode aceitar uma imagem de entrada e emitir uma lógica alta se uma anomalia visível for detectada e, caso contrário, emitir uma lógica baixa.

[035] O módulo de treinamento CNN pode compreender uma pluralidade de camadas convolucionais empilhadas, em que cada camada convolucional empilhada subsequente da pluralidade de camadas convolucionais empilhadas inclui uma região maior da imagem de entrada.

[036] O modelo de treinamento CNN pode adicionalmente compreender um mapa de segmentação de estrutura grosseira.

[037] O módulo de mapa de segmentação pode gerar um conjunto de dados de mapa de segmentação usando segmentações em nível de pixel.

[038] O módulo de mapa de segmentação pode gerar as segmentações em nível de pixel projetando um modelo 3D de uma estrutura visível na câmera virtual do ROV.

[039] A invenção também proporciona um método de operação de um veículo operado remotamente (ROV), compreendendo: a) obter dados 3D; b) armazenar elementos 3D em um módulo de banco de dados, os elementos 3D representando objetos dispostos no ambiente de operação do ROV e compreendendo os dados 3D; c) gerar um vídeo virtual dos elementos 3D; d) sincronizar um ângulo e posição de uma câmera virtual com um ângulo e posição da câmera de vídeo montada no ROV; e e) alinhar e sobrepor um elemento de vídeo virtual com um elemento de vídeo real para criar imagens 3D híbridas; f) segmentar uma estrutura a partir das imagens 3D híbridas; e g) detectar uma ameaça à integridade na estrutura a partir das imagens 3D híbridas.

[040] Um método pode adicionalmente compreender detectar uma ameaça à integridade que adicionalmente inclui: a) treinar um modelo CNN; e b) gerar mapas de segmentação. Um método pode adicionalmente compreender detectar uma ameaça à integridade que adicionalmente inclui: a) gerar um conjunto de dados de mapa de segmentação usando segmentações em nível de pixel; e b) calcular uma máscara binária m; e c) interromper cálculos adicionais quando todos os elementos de m estiverem próximos de zero.

[041] A invenção também propõe um produto de programa de computador, armazenado em um meio legível por computador, para implementar qualquer método de acordo com a invenção como descrito aqui.

[042] Como mencionado acima, vários aspectos e funcionalidades são discutidos aqui a título de exemplos e modalidades em um contexto de navegação por ROV e detecção de ameaças para uso na exploração submarina. Ao descrever tais exemplos e modalidades ilustrativas, emprega-se terminologia específica em prol da clareza. Entretanto, esta revelação não pretende se limitar aos exemplos e modalidades ilustrativas discutidos aqui, tampouco à terminologia específica utilizada em tais discussões, e deve ser entendido que cada elemento específico inclui todos os equivalentes técnicos que operam de maneira similar. Definições

[043] Os termos a seguir são definidos como se segue:

[044] elementos 3D; objetos 3D – Dados definindo formas tridimensionais, obtidas pela modelagem da entrada derivada do sonar ou da entrada determinada pelo usuário.

[045] Abstração; camada de abstração – Uma característica do software executável, em que diferentes formatos de dados são padronizados em um formato comum, de modo que os componentes se tornem compatíveis.

[046] Mecanismo de dados – Um conjunto de módulos, de acordo com uma modalidade desta invenção, que é responsável pelo menos pela aquisição, armazenamento e relatório dos dados coletados no decurso de uma missão do ROV.

[047] Estado de falha – Um estado, definido por um usuário ou por um padrão, em que a funcionalidade do sistema, de acordo com algumas modalidades da invenção, caiu a um nível inaceitável.

[048] Limiar de luminância, um valor determinado pelo sistema de intensidade de cor de pixel RGB (Vermelho, Verde, Azul) que define um estado visível, porém transparente, para as imagens exibidas por um dispositivo de saída de imagem digital.

[049] Módulo – Uma combinação de pelo menos um processador de computador, memória de computador e software personalizado que executa uma ou mais funções definidas.

[050] Mecanismo de navegação – Um conjunto de módulos, de acordo com algumas modalidades da presente invenção, que é responsável por tornar a Interface de Navegação interativa, e para produzir dados para exibição na Interface de Navegação.

[051] Posicionado; geoposicionado; mercado – Que possui uma localização definida pelo Sistema de Posicionamento Global de satélites e/ou sistemas de posicionamento acústico ou inercial, e, opcionalmente, que possui uma localização definida por uma profundidade abaixo do nível do mar.

[052] ROV – Um veículo operado remotamente; geralmente, um veículo aquático. Embora, para fins de conveniência e concisão, descrevam-se aqui ROVs, nada aqui sugere limitar-se somente a veículos que necessitam de operação remota. Veículos autônomos e veículos semi-autônomos estão dentro do escopo desta revelação.

[053] Mecanismo de Detecção de Ameaças – Um conjunto de módulos, de acordo com algumas modalidades, que é responsável por detectar ameaças de integridade às estruturas e por segmentar a estrutura em uma imagem.

[054] Mecanismo de visualização – Um conjunto de módulos, de acordo com uma modalidade da presente invenção, que é responsável por produzir o aspecto exibido da interface de navegação. Sistema Hardware e Dispositivos

[055] Referindo-se agora aos desenhos, nos quais numerais de referência similares designam partes idênticas ou correspondentes por todas as várias vistas, a Fig. 1A representa diagramaticamente um sistema de acordo com uma modalidade da invenção. Este sistema inclui um ROV e sua instrumentação associada 1, um sistema operacional alojado dentro do hardware do computador 3 e uma interface do usuário e seus dispositivos associados 2. O sistema operacional 3 media a interação entre o ROV 1 e o usuário 4, de modo que o usuário possa enviar comandos e consultas por informações ao ROV 1, e obtenha respostas mecânicas e dados emitidos pelo ROV 1.

[056] Como visto a partir da Fig. 1B, o sistema operacional 3 pode receber informações em tempo real obtidas pelo sonar em tempo real 3D multifeixe do ROV 1, dados de telemetria, dados de posicionamento e vídeo, bem como objetos 3D programados a partir de uma base de dados 5, e processar esses dados para fornecer modelos 3D em tempo real do ambiente tanto para realidade aumentada quanto para renderização 3D total exibida na interface do usuário 2. A interface do usuário 2 também pode ser usada para exibir vídeo obtido usando a instrumentação digital do ROV 1, incluindo, por exemplo, câmeras e outros sensores. O ROV 1 utilizado no sistema da presente invenção está equipado com instrumentação convencional para telemetria e posicionamento, que respondem aos comandos mediados pelo sistema operacional 3.

[057] Em uma modalidade da invenção, o hardware para o sistema operacional 3 inclui um computador de prateleira topo de linha que pode ser facilmente integrado a qualquer sistema de controle de ROV. Os vários módulos de software que adicionalmente definem o sistema operacional serão descritos em maiores detalhes adiante.

[058] Com referência às Figs. 2A e 2B, a interface homem-máquina inclui pelo menos um monitor 7, e, de preferência, três monitores interativos 7 para navegação. De acordo com uma modalidade ilustrada na Fig. 2A, o monitor central 7 fornece uma alimentação de vídeo e realidade aumentada (AR), enquanto que os monitores laterais oferecem uma expansão do campo de visão da operação. Em outro aspecto, os monitores laterais podem permitir que o usuário tenha uma visão panorâmica do ambiente do ROV usando visualização 3D total a partir do ponto de visão do ROV. Como se vê na Fig. 2B, a interação entre o usuário e o sistema pode utilizar joysticks 7, controles de jogo, ou outros controladores. Em outra modalidade, a interface do usuário 2 pode empregar tecnologia de tela de toque ou multitoque, alertas de áudio e sons, comandos de voz, um mouse de computador, etc. Módulos Funcionais

[059] Em vez de desenvolver um sistema operacional 3 diferente para cada marca e modelo do ROV 1, as modalidades descritas aqui funcionam por abstração, de modo que o sistema operacional revelado 3 e o hardware associado trabalhem da mesma forma com todos os ROVs 1. Por exemplo, se um componente entregar “$DBS,14.0,10.3” como coordenadas de profundidade e proa, e outro componentes entregar “$HD,15.3,16.4” como coordenadas de proa e profundidade, essas cadeias de caracteres de dados são analisadas em suas respectivas variáveis: Profundidade1=14.0, Profundidade2=16.4, Proa1=16.4, Proa2=15.3. Esta análise permite que ambos os sistemas trabalhem da mesma forma, independente dos detalhes do formato de dados.

[060] Ao desenvolver uma camada de abstração de controladores para comunicação entre o sistema operacional 3 e o hardware do ROV, o usuário 4 é provido de comunicação de dados ininterrupta, e não está restrito ao uso de modelos de ROV específicos. Esta abstração adicionalmente permite que os usuários 4 e os sistemas 3 comuniquem informação de rede entre vários sistemas e compartilhem informações entre diversos projetos submarinos. O uso de um único sistema também possibilita redução de custo no treinamento, manutenção e operação deste sistema.

[061] A Fig. 3A representa uma visão geral da arquitetura de software ilustrando as partes componentes do ROV 1, da interface do usuário 2 e do sistema operacional 3. As contrapartes de software são proporcionadas para a telemetria, posicionamento, vídeo e instrumentação do sonar do ROV. De modo a implementar funções do usuário incluindo planejamento, registro de eventos, navegação, supervisão e relato de missão, o sistema operacional 3 fornece um mecanismo de navegação, um mecanismo de visualização e um mecanismo de dados. O sistema operacional 3 é interligado em rede, de modo que os serviços conectados e unidades de comando externas possam fornecer entrada de dados em tempo real. Uma de tais unidades de comando externas pode ser configurada como um “watchdog” (sistema de vigilância ou monitoramento contra falhas) O sistema externo de vigilância contra falhas pode realizar verificações periódicas para determinar se o sistema está funcionando corretamente ou se está em um estado de falha. Se o sistema estiver em um estado de falha, o sistema de vigilância contra falhas pode alterar as entradas dos monitores, ou contorná-las, para uma alimentação de vídeo em tempo real convencional até que o sistema esteja operando corretamente.

[062] A Fig. 3B representa uma visão geral de arquitetura de software adicional ilustrando que o sistema operacional 3, que medeia as funções do usuário supramencionadas, está interligado em rede para oferecer comunicação entre um console de supervisão multitoque e um piloto ou pilotos. A Fig. 3C ilustra ainda outro nível de conectividade, em que o sistema de navegação de um primeiro ROV pode compartilhar todos os seus dados dinâmicos com o sistema de navegação de outro ROV através de uma rede. Mecanismo de Visualização

[063] Como se vê nas Figs. 1B e 3A, o mecanismo de visualização do sistema operacional 3 adicionalmente inclui módulos para implementar imagens 3D, imagens bidimensionais ("2D"), e fornecer uma atualização do ambiente em tempo real. Esses módulos são ilustrados na Fig. 4, que ilustra, de maneira gradual, como o sistema opera em algumas modalidades para criar imagens 3D híbridas sobrepostas.

[064] Um módulo de banco de dados 3D 10 inclui tecnologia de renderização 3D avançada para permitir que todos os estágios da operação do ROV sejam executados com referência a um ambiente de águas profundas 3D recriado visualmente. Este ambiente é composto pela batimetria do leito marinho e equipamento modelado, por exemplo, estruturas dos dispositivos de energia do oceano.

[065] Como discutido acima, as principais fontes de dados de imagem podem ser modelagem 2D pré-gravada de dados do sonar (isto é, vídeo 3D gerado por computador), e, possivelmente, outros dados de vídeo; dados de sonar em tempo real obtidos em tempo real; dados de vídeo obtidos em tempo real; elementos 3D determinados pelo usuário; e comunicações textuais ou gráficas que deverão ser exibidas na tela de interface do usuário. A posição geográfica e profundidade (ou altura) de quaisquer elementos ou regiões incluídos nos dados de imagem são conhecidas pelo posicionamento GPS, pelo uso de sistemas de posicionamento acústico e/ou inercial, e/ou por referência a mapas, e/ou por outras medições de sensor.

[066] Em algumas modalidades, um módulo de geração de vídeo virtual 11 é proporcionado para usar os elementos 3D armazenados supramencionados ou elementos 3D detectados em tempo real para criar um vídeo virtual de tais elementos 3D. O módulo de geração de vídeo virtual 11 pode trabalhar conjuntamente com um módulo de sincronização 12.

[067] O módulo de sincronização 12 alinha a posição da câmera virtual do vídeo virtual com o ângulo e posição de uma câmera real em um ROV. De acordo com algumas modalidades, a câmera virtual define um campo de visão para o vídeo virtual, que pode se estender, por exemplo, entre 45 e 144 graus a partir de um ponto de visão central.

[068] Como ilustrado na Fig. 5A, o alinhamento dos ângulos de câmera virtual e real pode ser realizado calculando-se o ângulo entre a proa do ROV e a direção do campo de visão da câmera; calculando-se o ângulo entre a vertical do ROV e a direção do campo de visão da câmera; e calculando-se o ângulo entre o ROV e o horizonte geográfico. Esses ângulos calculados são então usados para determinar uma coordenada na tela do objeto equivalente do eixo X-Y digital em intervalos de tempo determinados ou toda vez que uma variável mudar de valor.

[069] Um módulo de sobreposição 13, cuja função é adicionalmente diagramada na Fig. 5B, é proporcionado para sobrepor o vídeo virtual gerado 20 e o vídeo em tempo real sincronizado 21 obtido pela câmera digital do ROV. O resultado são as imagens 3D sobrepostas híbridas 22, em que o sistema efetivamente desenha o ambiente 3D gerado sobre a parte não-visível da alimentação de vídeo, melhorando assim em grande medida a visibilidade para o piloto do ROV. Mais especificamente, o software de sobreposição divide o vídeo de alimentação da câmera e o vídeo 3D gerado em várias camadas no armazenamento temporário (buffer) z do sistema de renderização 3D. Isto permite o nivelamento das camadas e sua sobreposição, o que simula a percepção espacial e facilita a navegação.

[070] Ainda outro aspecto do módulo de sobreposição 13 é que um dos vídeos real 21 ou virtual 20, ou ambos, podem ser manipulados, baseado em um limiar de luminância, para ser mais transparente nas áreas de menor interesse, permitindo assim que a área correspondente da outra alimentação de vídeo transpareça. De acordo com algumas modalidades, a luminância no formato hexadecimal Vermelho-Verde-Azul pode estar entre 0-0-0 e 255-255-255, e, de preferência, entre 0-0-0 e 40-40-40. As áreas de menor interesse podem ser selecionadas por um padrão do sistema, ou pelo usuário. A intensidade de cor das imagens nas áreas de menor interesse é definida no limiar de luminância, e a região correspondente do outro vídeo é definida em luminância normal. Para o exemplo ilustrado na Fig. 5B, o plano de fundo do vídeo virtual 20 é mantido relativamente mais transparente do que o primeiro plano. Assim, quando o vídeo real 21 é sobreposto na imagem 3D virtual 20, o vídeo real 21 é seletivamente aumentado primariamente com o primeiro plano virtual, que contém uma estrutura submarina de interesse. Mecanismo de Navegação

[071] A Interface de Navegação 2D na tela para o piloto do ROV envolve sobrepor dados geoposicionados ou informações técnicas em um sistema de renderização 2D. O geoposicionamento ou geomarcação dos dados e elementos é executado tomando como referência mapas ou satélites de posicionamento global. A Interface de Navegação resultante, como se vê nas Figs. 6A a 6D, é similar aos consoles de exibição frontal do tipo aviação (HUD). No caso da navegação submarina, o meio de exibição é configurado para indicar a posição do ROV 1 baseado nas coordenadas conhecidas, e usando um sistema de sonar que registra imagens 3D a partir de uma posição do ROV para navegação posterior. Desta maneira, as modalidades descritas aqui proporcionam a visualização imersiva da operação do ROV.

[072] A Fig. 6A ilustra a sobreposição das informações textuais e símbolos 30 sobre a renderização de vídeo 2D da interface de usuário do ROV. A Fig. 6B ilustra a sobreposição dos elementos 3D 31 sobre a renderização de vídeo. A sobreposição desses dados sobre a alimentação de vídeo é útil, não apenas para navegar e controlar o ROV 1, mas também para executar as funções de planejamento e supervisão relacionadas do sistema operacional 3. Esta sobreposição pode ser realizada de maneira similar à sobreposição das alimentações de vídeo, isto é, obtendo-se coordenadas na tela de um objeto, e renderizando texto e números próximo a essas coordenadas.

[073] O módulo de planejamento permite que engenheiros e/ou supervisores planejem uma ou várias missões do ROV. Referindo-se novamente à Fig. 6A, um aspecto importante do módulo de planejamento é a entrada e apresentação das informações de batimetria 32 através de visualização 3D. Como visto na Interface de Navegação, os pontos de rota 33 e os pontos de verificação 34 são sobrepostos na alimentação de vídeo. Esses elementos podem ser identificados, por exemplo, pelo número e/ou pela distância de um ponto de referência. Em outras palavras, além de sobrepor as especificações técnicas e informações de condição 30 para o ROV 1 ou outras estruturas relevantes, a Interface de Navegação também fornece posições determinadas pelo GPS para navegação e informações do piloto.

[074] Em algumas modalidades, os procedimentos 35, incluindo procedimentos temporizados (tarefas de observação de posição fixa, por exemplo), podem ser incluídos na Interface de Navegação como texto. Dada esta informação procedural, um piloto do ROV pode antever e completar tarefas com mais precisão. Um usuário também pode usar o sistema para definir áreas acionáveis. As áreas acionáveis são áreas geoposicionadas no ambiente submarino que disparam uma ação do sistema ao entrar, sair ou permanecer por mais tempo do que um tempo designado. A ação disparada poderia ser um alarme, notificação, mudança de procedimento, mudança de tarefa, etc.

[075] Referindo-se à Fig. 6C, usando uma série de regras estabelecidas no módulo de planejamento, ou por entrada manual, o sistema pode apresentar mais ou menos informações 2D geomarcadas na Interface de Navegação. Por exemplo, como se vê em 36, durante uma operação do ROV, quando o piloto está a 100 metros de um objeto geomarcado, o sistema pode apresentar apenas informações gerais relacionadas à estrutura geral, ou informações específicas necessárias para uma tarefa atual específica na área próxima. À medida que o piloto se aproxima da estrutura geomarcada, ilustrada em 37, o sistema pode incrementalmente apresentar mais informações sobre os componentes dessa estrutura. Este nível dinâmico e manual de controle de detalhes pode se aplicar tanto às informações textuais quanto simbólicas 30, bem como ao aumento dos elementos 3D 31.

[076] Com referência à Fig. 6D, o módulo de planejamento também pode fornecer informações na tela relacionadas à trajetória de voo 38. Como se vê na Fig. 6E, outro aspecto importante da invenção é incorporado por um minimapa 39, isto é, um gráfico sobreposto no vídeo, que pode incluir uma variedade de representações diferentes, tais como ícones pequenos representando objetos alvo. O minimapa 39 pode mostrar os pontos cardeais (Norte, Sul, Leste, Oeste) em uma representação 3D, opcionalmente em acréscimo a uma representação de um objeto relevante no espaço tridimensional. O minimapa 39 pode estar posicionado em um canto, e pode ser movido, ocultado e chamado de volta pelo usuário. Mecanismo de Dados

[077] O mecanismo de dados, que medeia as funções de armazenagem de dados e transferência de dados da invenção, portanto, incorpora os módulos de registro e supervisão.

[078] O módulo de registro registra ou grava todas as informações disponibilizadas pelo sistema operacional e salva tais dados em um banco de dados central para acesso futuro. As informações disponíveis podem incluir qualquer um ou todos dentre telemetria, dados de sonar, modelos 3D, batimetria, pontos de rota,

pontos de verificação, alarmes ou mau funcionamentos, procedimentos, operações e registros de navegação, tais como informações de trajetória de voo, dados de posicionamento e inerciais, etc.

[079] Uma parte essencial de qualquer operação offshore fornecendo dados críticos ao cliente após a operação é concluída. Após a operação, durante o estágio de relato de missão e geração de relatório, o módulo de relato de missão e geração de relatório pode fornecer um cenário ou reprodução 3D completo da operação. O módulo de relato de missão e geração de relatório pode fornecer um relatório sobre a trajetória de voo planejada versus a trajetória de voo real, pontos de rota, pontos de verificação, diversos desvios no plano, alarmes fornecidos pelo ROV, incluindo detalhes do tipo de alarme, tempo e localização, procedimentos, pontos de verificação, etc. prontos a serem distribuídos ao cliente. Por conseguinte, o sistema de operacional é configurado para fornecer relatórios interativos quadridimensionais (três dimensões espaciais mais o tempo) para cada operação. Isso possibilita a análise rápida e uma compreensão abrangente das operações.

[080] Ainda outro elemento de software que interage com a Interface de Navegação é o módulo supervisor. A execução do módulo supervisor permite que um ou mais supervisores visualizem e/ou utilizem a Interface de Navegação, e, por extensão, qualquer ROV 1 sendo controlado a partir da interface. Esses supervisores não precisam compartilhar a localização do piloto ou pilotos do ROV, mas, em vez disso, podem empregar os elementos de conectividade representados nas Figs. 3B e 3C. Uma pluralidade de consoles de supervisão multitoque pode ser usada em diferentes localizações. Por exemplo, poderiam-se ter nove monitores conectados a três estruturas de hardware ilustrativas, incluindo um ROV 1, em que somente um sistema operacional 3 coletou os dados do ROV e compartilhou informações com os outros. Em alternativa, entre um e 12 monitores interligados em rede podem ser usados, e, de preferência, entre 3 e 9 podem ser usados. A interconexão em rede oferecida, como ilustrado nas Figs. 3B e 3C, pode reduzir riscos, tal como erro humano, em operações com múltiplos ROV, mesmo naquelas coordenadas a partir de embarcações separadas. A interconexão em rede através do módulo supervisor possibilita o compartilhamento de informações entre os sistemas ROV, equipes e operações por todo o fluxo de trabalho de operação. Mecanismo de Detecção de Ameaças

[081] Como discutido aqui com respeito às Figs. 1B e 3A, o mecanismo de visualização do sistema operacional 3 adicionalmente inclui módulos para implementar imagens 3D, implementar imagens 2D, fornecer uma atualização do ambiente em tempo real. Esses módulos são ilustrados na Fig. 4, que ilustra como o sistema opera em algumas modalidades para criar imagens 3D híbridas sobrepostas com um mecanismo de visualização usando um módulo de banco de dados 3D 10, um módulo de geração de vídeo virtual 11, um módulo de sincronização 12, e um módulo de sobreposição 13.

[082] De acordo com algumas modalidades, ainda outro aspecto do sistema operacional 3 é o mecanismo de detecção de ameaças que detecta ameaças à integridade nas estruturas, tais como estruturas submarinas, e segmenta as estruturas em uma imagem usando redes neurais convolucionais (“CNN”). Geralmente, o módulo de detecção de ameaças pode receber vídeos a partir do ROV, escrever nos registros (por exemplo, registro de dados), e exibir alertas na interface do usuário. Este aspecto é adicionalmente descrito e ilustrado com respeito à Fig. 7.

[083] A Fig. 7 ilustra uma visão geral de diagrama de blocos de um mecanismo de detecção de ameaças 70 que inclui um módulo de conjunto de dados 71, um módulo de mapa de segmentação 72, um módulo de treinamento de CNN 73, e um módulo de eficiência 75.

[084] O mecanismo de detecção de ameaças 70 pode treinar um modelo de aprendizagem profunda para detectar anomalias nos vídeos. Para tanto, um módulo de conjunto de dados 71 com vídeos pode ser usado quando o módulo de conjunto de dados 71 inclui anotações detalhando em quais marcações de tempo uma ou mais anomalias estão visíveis. O módulo de conjunto de dados 71 pode ser parte de, operar de maneira similar a, ou usar o mecanismo de dados e/ou banco de dados 5 descritos aqui (e ilustrados nas Figs. 1B & 3A). O módulo de conjunto de dados 71 pode recuperar vídeos, tais como vídeos de missões passadas. Esses vídeos podem ter anotações em determinados quadros. Em algumas modalidades, os vídeos podem ter anotações que indicam se existe uma ameaça à integridade em um dado quadro.

[085] O módulo de mapa de segmentação 72 pode usar o vídeo virtual (por exemplo, o vídeo virtual 20) para obter os mapas de segmentação. Um mapa de segmentação é uma matriz em que, para cada pixel de um dado quadro, a matriz contém um 1 quando esse pixel pertence a uma estrutura e um 0 quando esse pixel não pertence a uma estrutura.

[086] O módulo de treinamento de CNN 73 pode usar os dados do conjunto de dados 71 e do módulo de mapa de segmentação 72 para treinar um modelo de CNN. Em algumas modalidades, o módulo de treinamento de CNN 73 pode treinar um modelo de CNN que prediz se há uma ameaça à integridade em uma dada imagem, prediz um mapa de segmentação grosseira das estruturas presentes na imagem, ou ambos. Em algumas modalidades, os mapas de segmentação oriundos do módulo de mapa de segmentação 72 não são obrigatórios. Consequentemente, em alguns casos, o modelo de CNN será treinado com supervisão nos mapas de segmentação, e, em outros casos, o modelo de CNN será treinado sem supervisão nos mapas de segmentação. Assim, o modelo de CNN é treinado de maneira semi- supervisionada com respeito aos mapas de segmentação.

[087] O mecanismo de detecção de ameaças 70 pode usar um módulo de treinamento de CNN 73 para treinar um modelo de CNN que aceita um quadro de entrada (ou imagem de entrada) e emite um 1 (ou lógica alta) se uma anomalia visível for detectada e emite um 0 (ou lógica baixa) caso contrário. Este tipo de CNN geralmente requer vastas quantidades de dados para funcionar, uma vez que o modelo aprende do zero. Em algumas modalidades, o mecanismo de detecção de ameaças 70 pode melhorar a eficiência de treinamento do modelo CNN usando conjuntos de dados menores e forçando o modelo a buscar por anomalias dentro das estruturas, tais como estruturas submarinas, o que permite que o modelo aprenda a partir de conjuntos de dados menores (e, portanto, este é um aprimoramento da eficiência técnica).

[088] Um modelo de CNN básico (tal como o representado na Fig. 8) consiste de várias Camadas Convolucionais empilhadas. Cada Camada Convolucional subsequente leva em conta uma região maior da imagem de entrada até alcançar a saída que deverá levar em conta a imagem completa. A região da imagem de entrada que a CNN leva em conta pode ser chamada de campo receptivo.

[089] Em algumas modalidades, zi é a saída da inésima Camada Convolucional, que é um tensor com altura hi, largura wi e características ki. O mecanismo de detecção de ameaças 70 pode gerar uma Camada Convolucional 1  1 por uma função de ativação sigmoide sobre zi para obter uma máscara binária hi  wi x 1 m. Esta máscara binária pode ser um mapa de segmentação de estrutura grosseira com valores definidos em 1 quando uma estrutura está visível em seu campo receptivo, e 0 caso contrário.

[090] Dispor deste mapa de segmentação de estrutura grosseira permite que o mecanismo de detecção de ameaças 70 descarte características que foram extraídas de regiões fora das estruturas multiplicando zi por m: zi’ = zi  m. Então, o mecanismo de detecção de ameaças 70 informa zi’ para a (i + 1)nésima Camada

Convolucional. O mecanismo de detecção de ameaças pode então treinar o modelo completo conjuntamente, por exemplo, com Retropropagação e Descida do Gradiente Estocástico, para minimizar uma função de perda La entre sua saída e o valor binário de verdade de tempo que consiste em ter ou não, na imagem, uma ameaça à integridade.

[091] Entretanto, treinando o modelo desta forma, o mecanismo de detecção de ameaças 70 não está forçando m para detectar estruturas. Para detectar estruturas, o mecanismo de detecção de ameaças 70 requer um conjunto de dados em que cada quadro é anotado com um mapa de segmentação de estrutura grosseira. Com este conjunto de dados, é possível aplicar uma função de perda Lm para oferecer supervisão no mapa de estrutura.

[092] Para os sistemas anteriores, a coleta de mapas de segmentação geralmente era um processo extremamente trabalhoso. Em contrapartida, usando as modalidades da invenção descritas aqui, o mecanismo de detecção de ameaças 70 pode usar o módulo de mapa de segmentação 72 para coletar os mapas de segmentação usando os sistemas e métodos descritos aqui. Por exemplo, um ROV 1 com uma câmera de vídeo usando o sistema operacional 3 pode ser usado de modo que uma cena 3D do campo seja construída, e, dada a posição do ROV e a direção da câmera, os modelos 3D das estruturas visíveis podem ser sobrepostos na câmera do ROV (por exemplo, usando o mecanismo de visualização e o módulo de sobreposição 13). Em algumas modalidades, somente a imagem virtual é gerada. Os modelos 3D das estruturas visíveis são projetados em uma imagem virtual, tal como o vídeo virtual 20, dada a posição e direção do ROV.

[093] Usando esta modalidade, a eficiência é aprimorada, uma vez que somente os objetos 3D que pertencem às estruturas são projetados, em vez de projetar todos os objetos 3D (por exemplo, estruturas, outros ROVs, pontos de rota, trajetórias de voo, etc.). Ao projetar as estruturas na câmera do ROV, o mecanismo de detecção de ameaças 70 pode gerar segmentações de estruturas em nível de pixel e usar essas segmentações de estruturas em nível de pixel para construir o conjunto de dados de mapa de segmentação.

[094] O mecanismo de detecção de ameaças 70 pode treinar o modelo de CNN para minimizar uma função de perda, tal como a função de perda a seguir: L = La + Lm

[095] A Fig. 8 representa uma arquitetura para um modelo CNN básico, de acordo com algumas modalidades. A Fig. 8 mostra um modelo de CNN 80, uma imagem de entrada 81, camadas convolucionais empilhadas 82, perdas (La e Lm), e a camada totalmente conectada (“FC”) 83. A FC83 é uma camada de rede neural que pode ser usada para prever se há uma ameaça à integridade em uma imagem, dadas as características extraídas pelas camadas convolucionais. Cada camada convolucional empilhada subsequente 82 leva em conta uma região maior (ou diferente) da imagem de entrada. O modelo de CNN pode ser projetado de modo que as camadas convolucionais empilhadas 82 levem em conta a imagem de entrada completa na saída do modelo de CNN. Como mostra a Fig. 8, a perda é aplicada em duas camadas diferentes do modelo.

[096] O mecanismo de detecção de ameaças 70 pode melhorar a precisão da predição do mapa de segmentação. Os dados coletados de acordo com as modalidades da invenção oferecem maior precisão para fins de detecção de ameaças, pois o mecanismo de detecção de ameaças 70 possui tanto dados de segmentação quando dados de verdade de campo de anomalias. Os dados de verdade de campo referem-se ao valor correto para um dado exemplo. Nesta modalidade, há dois exemplos de dados de verdade de campo. Os dados de verdade de campo de ameaça à integridade podem ser um 1 lógico se houver uma ameaça à integridade na imagem e um 0 lógico caso contrário. Os dados de verdade de campo de segmentação de estrutura podem ser um 1 lógico se um pixel (por exemplo, um pixel da imagem de entrada) estiver relacionado a uma estrutura e um 0 lógico caso contrário. Assim, para dados coletados pelo mecanismo de detecção de ameaças 70 para um dado quadro, um modelo de CNN totalmente supervisionado pode usar a função de perda L e um modelo de CNN semi- supervisionado pode usar a função de perda La. Por outro lado, usando somente os dados que foram coletados usando o sistema descrito aqui, o sistema pode estar perdendo acesso aos vídeos e dados de outros sistemas que só possuem dados de verdade de campo de ameaça à integridade (isto é, que não contêm dados de verdade de campo de segmentação de estrutura). Portanto, quando o módulo de segmentação 72 não é capaz de produzir mapas de segmentação para um dado quadro, o módulo de treinamento de CNN 73 irá usar a função de perda La. Neste caso, (isto é, quando somente os dados de verdade de campo de ameaça à integridade estão disponíveis, mas os dados de verdade de campo de segmentação não estão disponíveis), o erro retropropagado por La é usado para melhorar a segmentação grosseira m e, dessa forma, estes dados podem ser usados para aprimorar o modelo de segmentação.

[097] O mecanismo de detecção de ameaças 70 pode melhorar a eficiência com um módulo de eficiência 74. De modo a implementar um sistema em um cenário em tempo real, a velocidade é muito importante. Assim, em algumas modalidades, o módulo de eficiência 74 pode executar CNNs em GPUs para potencializar suas capacidades de computação paralela em massa. Adicionalmente ou em alternativa, em algumas modalidades, o módulo de eficiência 74 pode calcular a máscara binária m, e, se todos seus elementos estiverem próximos de zero, o módulo de eficiência 75 pode impedir o mecanismo de detecção de ameaças de realizar cálculos adicionais e gerar uma saída informando que não há anomalias estruturais. Isto se baseia, pelo menos em parte, no raciocínio de que, se não há estruturas na imagem, então não há ameaças à integridade estrutural.

[098] Sendo assim, foi ilustrado e descrito um sistema e método relacionados à detecção automática de ameaças para estruturas.

O método e sistema não se limitam a qualquer configuração de hardware ou software específica.

As diversas variações, modificações e aplicações alternativas da invenção que seriam aparentes aos versados na técnica, e que não se distanciam do escopo da invenção, são consideradas como sendo cobertas pela invenção.

Claims (21)

REIVINDICAÇÕES

1. Sistema para operar um veículo operado remotamente (ROV), CARACTERIZADO por compreender: um módulo de banco de dados de elementos 3D operáveis para representar objetos dispostos em um ambiente de operação do ROV; um módulo de geração de vídeo virtual operável para gerar um vídeo virtual incorporando os elementos 3D; uma câmera de vídeo montada no ROV operável para gerar um vídeo real do ambiente de operação do ROV; um módulo de sincronização operável para sincronizar um ângulo e posição de uma câmera virtual com um ângulo e posição da câmera de vídeo montada no ROV; um mecanismo de visualização operável para sobrepor o vídeo real no vídeo virtual para criar imagens 3D híbridas; e um mecanismo de detecção de ameaças operável para detectar uma ameaça à integridade em uma estrutura a partir das imagens 3D híbridas e segmentar a estrutura nas imagens 3D híbridas, o mecanismo de detecção de ameaças compreendendo: um módulo de conjunto de dados; um módulo de treinamento de rede neural convolucional (CNN); um módulo de mapa de segmentação; e um módulo de eficiência.

2. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o módulo de conjunto de dados inclui anotações detalhando em quais marcações de tempo uma ou mais anomalias estão visíveis.

3. Sistema, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o módulo de treinamento de CNN aceita uma imagem de entrada e emite uma lógica alta se uma anomalia visível for detectada e, caso contrário, emite uma lógica baixa.

4. Sistema, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de que o módulo de treinamento de CNN compreende uma pluralidade de camadas convolucionais empilhadas, em que cada camada convolucional empilhada subsequente da pluralidade de camadas convolucionais empilhadas inclui uma região maior da imagem de entrada.

5. Sistema, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que o modelo de treinamento de CNN adicionalmente compreende um mapa de segmentação de estrutura grosseira.

6. Sistema, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que o módulo de mapa de segmentação gera um conjunto de dados de mapa de segmentação usando segmentações em nível de pixel.

7. Sistema, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que o módulo de mapa de segmentação gera as segmentações em nível de pixel projetando um modelo 3D de uma estrutura visível na câmera virtual do ROV.

8. Sistema, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que o módulo de treinamento de CNN treina um modelo de CNN para minimizar uma função de perda.

9. Sistema, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que o módulo de treinamento de CNN (i) usa uma função de perda L para dados que contêm tanto dados de segmentação quanto dados de verdade de campo (ground-truth) de anomalias e (ii) usa uma função de perda La para dados que contêm dados de verdade de campo de anomalias, mas não dados de segmentação.

10. Sistema, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o módulo de eficiência calcula uma máscara binária m e, quando todos os elementos de m estiverem próximos de zero, o módulo de eficiência impede o mecanismo de detecção de ameaças de realizar cálculos adicionais e gera uma saída de que não há anomalias estruturais.

11. Sistema para exploração submarina, CARACTERIZADO por compreender: um veículo operado remotamente (ROV) compreendendo uma câmera para obter um vídeo real; um sistema operacional interligado em rede compreendendo um computador e software executável por computador compreendendo um mecanismo de visualização e um mecanismo de detecção de ameaças; um módulo de banco de dados de elementos 3D operáveis para representar objetos dispostos em um ambiente de operação do ROV; um módulo de geração de vídeo virtual operável para gerar um vídeo virtual incorporando os elementos 3D; uma câmera de vídeo montada no ROV operável para gerar um vídeo real do ambiente de operação do ROV; um módulo de sincronização operável para sincronizar um ângulo e posição de uma câmera virtual com um ângulo e posição da câmera de vídeo montada no ROV; em que o mecanismo de visualização é operável para sobrepor o vídeo real no vídeo virtual para criar imagens 3D híbridas; e em que o mecanismo de detecção de ameaças é operável para detectar uma ameaça à integridade em uma estrutura a partir das imagens 3D híbridas e segmentar a estrutura nas imagens 3D híbridas, o mecanismo de detecção de ameaças compreendendo: um módulo de conjunto de dados; um módulo de treinamento de rede neural convolucional (CNN);

um módulo de mapa de segmentação; um módulo de eficiência; e uma interface de navegação configurada para exibir as imagens 3D híbridas, a interface de navegação compreendendo pelo menos um monitor interligado em rede.

12. Sistema, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o módulo de conjunto de dados inclui anotações detalhando em quais marcações de tempo uma ou mais anomalias estão visíveis.

13. Sistema, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que o módulo de treinamento de CNN aceita uma imagem de entrada e emite uma lógica alta se uma anomalia visível for detectada e, caso contrário, emite uma lógica baixa.

14. Sistema, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que o módulo de treinamento de CNN compreende uma pluralidade de camadas convolucionais empilhadas, em que cada camada convolucional empilhada subsequente da pluralidade de camadas convolucionais empilhadas inclui uma região maior da imagem de entrada.

15. Sistema, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que o modelo de treinamento de CNN adicionalmente compreende um mapa de segmentação de estrutura grosseira.

16. Sistema, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de que o módulo de mapa de segmentação gera um conjunto de dados de mapa de segmentação usando segmentações em nível de pixel.

17. Sistema, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que o módulo de mapa de segmentação gera as segmentações em nível de pixel projetando um modelo 3D de uma estrutura visível na câmera virtual do ROV.

18. Método de operação de um veículo operado remotamente (ROV),

CARACTERIZADO por compreender: obter dados 3D; armazenar elementos 3D em um módulo de banco de dados, os elementos 3D representando objetos dispostos no ambiente de operação do ROV e compreendendo os dados 3D; gerar um vídeo virtual dos elementos 3D; sincronizar um ângulo e posição de uma câmera virtual com um ângulo e posição da câmera de vídeo montada no ROV; e alinhar e sobrepor um elemento de vídeo virtual com um elemento de vídeo real para criar imagens 3D híbridas; segmentar uma estrutura a partir das imagens 3D híbridas; e detectar uma ameaça à integridade na estrutura a partir das imagens 3D híbridas.

19. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que a detecção de uma ameaça à integridade adicionalmente inclui: treinar um modelo CNN; e gerar mapas de segmentação.

20. Método, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que a detecção de uma ameaça à integridade adicionalmente inclui: gerar um conjunto de dados de mapa de segmentação usando segmentações em nível de pixel; e calcular uma máscara binária m; e interromper cálculos adicionais quando todos os elementos de m estiverem próximos de zero.

21. Produto de programa de computador, CARACTERIZADO por compreender instruções que, quando o programa é executado por um computador, fazem o computador executar as etapas do método da reivindicação 20.