BR112021002143A2 - método e montagem para detectar objetos sobre instalações - Google Patents

Abstract

"MÉTODO E MONTAGEM PARA DETECTAR OBJETOS SOBRE INSTALAÇÕES". A presente invenção refere-se a um método para detectar objetos em sistemas com as etapas de: - fornecer uma representação tridimensional do sistema, em que a posição e orientação da representação e o sistema são conhecidos e, - capturar uma primeira imagem e uma segunda imagem do sistema, as duas imagens sendo capturadas de diferentes posições acima do sistema. A invenção é caracterizada em que para uma pluralidade de seções do sistema, uma respectiva comparação da primeira e da segunda imagem é realizada usando um efeito de paralaxe. Se as imagens em uma região que circunda o sistema correspondem, um objeto é detectado no sistema. A invenção, adicionalmente, se refere a uma montagem correspondente.

Description

Relatório Descritivo da Patente de Invenção para "MÉTODO E MONTAGEM PARA DETECTAR OBJETOS SOBRE INSTALAÇÕES".

DESCRIÇÃO

[001] A presente invenção refere-se a um método de acordo com o preâmbulo da reivindicação 1 e um arranjo de acordo com o preâmbulo da reivindicação 10.

[002] O pedido de patente européia não publicado anteriormente

17161027.2 datado de 15/03/2017, intitulado "Método e montagem para monitorar o estado de um sistema com elementos operacionais", divulga um método para monitorar o estado de um sistema ou instalação com elementos operacionais, em que dados gerais são registrados por meio de um primeiro veículo usando um arranjo de sensor de visão geral para detectar opticamente a instalação, e usando um dispositivo de avaliação, os elementos operacionais são detectados nos dados de visão geral, e as posições dos elementos operacionais são identificadas levando em consideração a posição do primeiro veículo, em que fotografias detalhadas dos elementos operacionais são geradas por meio de um segundo veículo que tem uma câmera de detalhe que é orientada para as respectivas posições dos elementos operacionais. Por exemplo, apenas uma única aeronave, tal como um drone ou um helicóptero, é usada para detectar mastros e isoladores por meio da câmera de visão geral durante um vôo sobre uma linha aérea, para determinar a posição dos isoladores e, em seguida, para obter imagens de alta resolução dos isoladores usando a câmera de detalhes. Isso significa que isoladores danificados podem ser detectados com facilidade e segurança.

[003] Inúmeros métodos de detecção em imagens já são conhecidos da técnica anterior. A detecção de objetos em imagens bidimensionais (2D), em particular, tem recebido recentemente atenção crescente. Porém, técnicas clássicas de detecção, por exemplo, em imagens termográficas ou imagens em UV, também podem ser encontradas em uso industrial constante. Inúmeros outros métodos de detecção em 2D também existem, por exemplo, com base em anomalias ou também diferenças de cor. Embora a maior parte do trabalho até o momento se limite a técnicas de detecção em 2D, existem alguns estudos que tentam transferir métodos de detecção para um espaço tridimensional (3D).

[004] Por exemplo, uma publicação conhecida é “Integração probabilística de pistas a partir de múltiplas câmaras” por J. Denzlerl e outros, que lida com a integração de imagens gravadas em diferentes câmaras. As publicações “Faster R-CNN: Rumo à detecção de objetos em tempo real com redes propostas regionais ” por Shaoqing Ren e outros, “SSD: Detector "MultiBox" de disparo único ” por Wei Liu e outros, e “Usando histogramas para detectar e rastrear objetos em vídeo colorido”, de Michael Mason e outros, 2001; todos divulgam métodos para reconhecimento de objetos em dados de imagem. A publicação “Detecção de anomalia: uma pesquisa" de Varun Chandola e outros, Pesquisas de computação ACM, 2009, trata da detecção de desvios dos padrões esperados nos dados.

[005] Além disso, é conhecida a tese de doutorado “Melhorar a detecção de objetos usando relações espaciais 3D” por Tristram Southey, MSc., Universidade de British Columbia, de 2013. Uma análise de imagem tridimensional é descrita.

[006] Durante a inspeção de instalações como linhas aéreas, sobrevôos com helicópteros e gravações de imagens são usados atualmente para detectar danos a locais ou objetos na linha aérea. A decisão quanto a se um objeto como um ninho de pássaro, um balão ou uma pipa (brinquedo infantil) está pousado sobre os cabos condutores ou no solo abaixo, é difícil de ser tomada e sujeita a erros apenas com base em fotografias aéreas. Até agora, isso geralmente era feito avaliando manualmente as imagens gravadas. Se objetos sobre a linha forem detectados incorretamente, custos e esforços desperdiçados serão incorridos pelo trabalho de manutenção que é iniciado.

[007] Detecção em uma ou mais imagens gravadas nem sempre pode ser atribuída exclusivamente a um objeto 3D específico. Visto que as imagens 2D individuais não contêm informações de profundidade, a distância até um objeto ao longo da linha visual não pode ser determinada. Assim, as detecções não podem ser restritas às áreas relevantes do espaço 3D, o que às vezes leva a falsos positivos irrelevantes. Por exemplo, se objetos sobre uma linha aérea devem ser diferenciados de objetos abaixo da linha aérea, esta não é uma tarefa trivial usando a avaliação automática de imagens em fotografias aéreas (vista aérea).

[008] O objetivo da invenção é especificar um método com o qual objetos sobre instalações podem ser detectados de forma automática e confiável.

[009] A invenção alcança este objetivo por meio de um método de acordo com a reivindicação 1.

[010] De acordo com a invenção, o problema de reconhecimento de objetos é resolvido usando informação 3D associada aos respectivos pontos 2D. Devido ao efeito de paralaxe, objetos sob a instalação, por exemplo, uma linha aérea, são representados nas imagens em diferentes posições em relação à linha. Um efeito de paralaxe ocorre quando um observador desloca sua própria posição e, portanto, causa uma mudança aparente na posição de um objeto. Por exemplo, o efeito de paralaxe é descrito em detalhes na Wikipedia (link permanente: https://de.wikipedia.org/w/index.php?title=Parallaxe&oldid=178305744).

[011] Por exemplo, uma instalação pode ser uma instalação elétrica, como uma linha suspensa ou uma linha aérea. No entanto, também pode ser uma tubulação. Um objeto pode ser um ninho de pássaro, um carro ou uma pipa, por exemplo.

[012] O objetivo da invenção é fornecer informação 3D em conjunto com detecção 2D no espaço 3D, para reduzir a taxa de falsos alarmes em comparação com métodos simples de detecção 2D.

[013] Uma vantagem da invenção é que a frequência de detecções de falsos positivos de objetos sobre uma instalação, isto é, uma taxa de alarme, é reduzida pelo uso combinado de múltiplas visualizações em um método comparativamente eficiente computacionalmente e em memória. Isso resulta em uma detecção automática comparativamente mais confiável de objetos a partir de imagens aéreas, e uma redução significativa no esforço necessário para pós-processamento manual. Mesmo falsos positivos que aparecem apenas em uma única imagem de uma câmera podem ser detectados de forma confiável com o método.

[014] De acordo com a invenção, é possível distinguir de forma confiável, rápida e automática, entre objetos sobre uma instalação - isto é, elevados acima do solo - e objetos abaixo da instalação - ou seja, junto ao solo. Isso é uma vantagem uma vez que os perigos ou danos a uma instalação, como uma linha aérea, devem ser corrigidos imediatamente por técnicos de manutenção. Se um objeto como um ninho de pássaros ou uma pipa for identificado incorretamente como localizado sobre a linha de transmissão, é acionado desnecessariamente um desligamento da linha e/ou manutenção, o que acarreta custos e reduz a disponibilidade da instalação.

[015] Além disso, uma vantagem da invenção é que o método descrito tem complexidade computacional comparativamente baixa. Uma vez que é apenas necessário ler os valores escalares nas imagens bidimensionais nos pontos 3D conhecidos - as seções da instalação - os requisitos de memória e/ou de computação são comparativamente muito menores do que em métodos alternativos.

[016] Em uma modalidade preferida do método de acordo com a invenção, a representação tridimensional da instalação fornecida é usada para restringir um espaço de busca para a instalação ou para atribuir o objeto detectado a um componente da instalação na representação tridimensional. De forma surpreendente, foi descoberto que o uso da representação tridimensional já existente torna possível, em particular, reduzir o poder de computação necessário para a avaliação da imagem, restringindo o espaço de busca. Além disso, um objeto detectado pode ser atribuído a um componente contido na representação tridimensional, o que permite que objetos relevantes e irrelevantes sejam separados de forma fácil e confiável para avaliação posterior.

[017] Ambas as abordagens permitem que o poder de computação necessário seja significativamente reduzido. Ambas as opções provaram ser muito vantajosas. A primeira opção, por exemplo, permite que uma taxa de falso negativo indesejável, que poderia ser esperada no caso em questão, seja reduzida às custas de um nível ligeiramente superior de poder de computação. A segunda opção permite, por exemplo, que potenciais locais com problemas sejam identificados durante a aquisição da imagem por meio de uma pré-classificação menos intensiva computacionalmente e, se necessário, uma inspeção mais precisa desses objetos a ser realizada automaticamente. Uma combinação dessas duas opções também se mostrou vantajosa.

[018] Em outra modalidade preferida do método de acordo com a invenção, a representação tridimensional é adquirida como uma nuvem de pontos tridimensional (PCD), em que a nuvem de pontos tridimensional (PCD) é semanticamente segmentada para restringir um espaço de busca para a instalação na nuvem de pontos tridimensional (PCD). Restringir o espaço de busca dessa maneira provou ser particularmente benéfico para casos de uso típicos, como aqueles que ocorrem durante a inspeção de linhas aéreas.

[019] Em outra modalidade preferida do método de acordo com a invenção, a representação tridimensional é obtida por meio de um sensor de segurança de "detecção de luz e alcance (LIDAR)" e adquirida como uma nuvem de pontos tridimensional (PCD). Isso é uma vantagem porque o LIDAR pode ser usado para obter informações altamente precisas sobre a posição de objetos. Em conjunto com a posição da aeronave, as posições dos objetos no espaço tridimensional podem ser determinadas.

[020] Em uma outra modalidade preferida do método de acordo com a invenção, a nuvem de pontos tridimensional (PCD) é semanticamente segmentada para restringir um espaço de busca para a instalação na nuvem de pontos tridimensional (PCD). Isso é uma vantagem uma vez que a detecção do objeto é limitada à região relevante, o que reduz significativamente os requisitos de computação e/ou aumenta a velocidade dos cálculos. A complexidade é reduzida porque o espaço de busca é restrito a conteúdos relevantes da cena. Se a avaliação for realizada a bordo da aeronave, peso pode ser economizado nesta modalidade, pois é necessário um sistema de computador menos potente.

[021] Um exemplo típico são dados de LIDAR de uma linha de transmissão de alta tensão, em que os pontos pertencentes às linhas aéreas são determinados (automaticamente), ou aproximados por meio de modelo paramétrico de uma curva catenária. Um exemplo de método para segmentar dados de imagem é conhecido da publicação “Máscara R-CNN” de Kaiming He e outros.

[022] Um detector 2D clássico, que é pré-treinado para detectar certas classes de falhas por exemplo, é aplicado a este espaço de busca restrito. Alternativamente, no sentido de uma detecção de anomalia, um modelo da região de condutor padrão é automaticamente determinado (por exemplo, por meio de auto- codificadores) e desvios são detectados. O resultado de ambas as abordagens é determinar a probabilidade de potenciais estados relevantes para detecção de pixels individuais ou regiões da imagem. Em uma variante, o espaço da imagem pode ser restrito não apenas à região de luz visível, mas também pode se estender a regiões espectrais adjacentes, como infravermelho (térmico) e luz ultravioleta.

[023] Em uma extensão da modalidade acima mencionada, provisão é feita para consultar as respostas de detecção ou valores de cor de pixel nas imagens individuais para cada ponto 3D da instalação, e então consolidar esses resultados de detecção individuais. Uma das seguintes abordagens matemáticas lineares ou não lineares pode ser usada como função de consolidação: determinação do valor extremo (mínimo/máximo), determinação da mediana, determinação do valor médio, outras estatísticas robustas, como aquelas baseadas em quantís.

[024] As seguintes etapas do método podem ser realizadas:

[025] - Nuvens de pontos 3D e imagens localizadas de alta resolução são obtidas como ENTRADA;

[026] - Opcionalmente, a nuvem de pontos 3D é segmentada semanticamente (opcionalmente, uma vez que todo o PCD também pode ser semanticamente relevante para a tarefa de inspeção);

[027] - Os pontos 3D restantes após segmentação são projetados nas imagens 2D;

[028] - Nos pontos resultantes na imagem 2D, os resultados da detecção são gerados seletivamente ou os resultados da detecção existente são lidos (este último se a detecção no espaço da imagem cobriu toda a área);

[029] - Para cada ponto 3D, as detecções individuais associadas no espaço da imagem são verificadas quanto à consistência por meio de uma função de consolidação;

[030] - Opcionalmente, os pontos 3D restantes podem, por sua vez, ser projetados de volta no espaço da imagem, produzindo o resultado de detecção final no espaço da imagem.

[031] Em outra modalidade preferida do método de acordo com a invenção, uma linha aérea é usada como instalação, e a segmentação semântica é realizada usando um modelo de uma curva catenária para detectar cabos condutores da linha aérea. Esta é uma vantagem porque o espaço de busca pode ser restringido de forma simples.

[032] Em uma outra modalidade preferida do método de acordo com a invenção, a posição e orientação da representação são determinadas usando um sistema de determinação de posição. Isso pode ser realizado, por exemplo, por meio de um receptor de sinais do Sistema de Posicionamento Global (GPS), em que a orientação depende da direção de visualização do arranjo do sensor (LIDAR ou câmera). A direção de visualização pode ser determinada, por exemplo, por meio de um sensor de inclinação em conjunto com uma bússola, que são fornecidos na aeronave.

[033] Em outra modalidade preferida do método de acordo com a invenção, as imagens são gravadas por meio de uma câmara para luz visível. A luz visível para humanos é geralmente especificada como comprimentos de onda entre 380 nm a 780 nm (link permanente: https://de.wikipedia.org/w/index.php?title=Elektromagnetisches_Spektr um&oldid=178702023)

[034] Em uma extensão da modalidade acima mencionada, câmeras adicionais são usadas para melhorar a confiabilidade. Por exemplo, uma pluralidade de câmeras pode ser usada de forma redundante ou com diferentes ampliações ou resoluções de detalhes. Esta é uma vantagem uma vez que aumenta a probabilidade de conseguir obter todos os dados de imagem necessários com apenas um único sobrevôo da instalação.

[035] Em outra modalidade preferida do método de acordo com a invenção, a câmera é guiada ao longo da instalação com uma aeronave, para registrar a primeira e a segunda imagens nas duas posições diferentes.

[036] Em uma outra modalidade preferida do método de acordo com a invenção, a representação tridimensional da instalação é projetada em cada uma das duas imagens, para definir as seções em cada caso.

[037] Em uma outra modalidade preferida do método de acordo com a invenção, o dispositivo de avaliação é fornecido na aeronave. Isso é uma vantagem uma vez que uma avaliação e detecção de objetos podem ocorrer diretamente durante um sobrevôo. As imagens e coordenadas dos objetos detectados podem ser armazenadas e transmitidas ao operador da instalação ao final do vôo. Alternativamente, usando comunicação de dados via rádio, os objetos detectados podem até ser transferidos durante o vôo.

[038] Em uma outra modalidade preferida do método de acordo com a invenção, o dispositivo de avaliação é fornecido como um servidor central. Isso é uma vantagem uma vez que o peso e o espaço de instalação são economizados na aeronave. Por exemplo, todos os dados coletados pela câmera e pelo LIDAR podem ser armazenados temporariamente em uma memória de dados e transmitidos ao dispositivo de avaliação, para avaliação ao final do vôo. Alternativamente, usando comunicação de dados via rádio, os dados podem até ser transferidos para a unidade de avaliação durante o vôo.

[039] Outro objetivo da invenção é especificar um conjunto com o qual os objetos sobre instalações podem ser identificados de forma automática e confiável.

[040] A invenção alcança este objetivo com um conjunto de acordo com a reivindicação 10. Modalidades preferidas são obtidas a partir das reivindicações 11 a 15. Isso significa que para o conjunto de acordo com a invenção e suas modalidades, são obtidas as mesmas vantagens, com as devidas adaptações, que as descritas acima para o método de acordo com a invenção.

[041] Para uma melhor explicação da invenção, nos desenhos, esquematicamente em cada caso,

[042] A Figura 1 mostra um exemplo de segmentação semântica de dados de imagem LIDAR, e

[043] A Figura 2 mostra um exemplo de imagens de uma linha aérea em diferentes faixas de frequência, e

[044] A Figura 3 mostra um exemplo de detecção de anomalia de objetos sobre uma linha aérea, e

[045] A Figura 4 mostra um exemplo de uma detecção da posição de objetos sobre uma linha aérea usando o efeito de paralaxe.

[046] A Figura 1 mostra um exemplo de segmentação semântica de dados de imagem LIDAR. O ângulo de visão φ do LIDAR é plotado contra a coordenada de posição x. Uma escala de cores 3 representa a força dos sinais LIDAR recebidos. Pode ser observado que após a segmentação bem-sucedida do cabo aéreo por meio de um modelo de função catenária, o cabo 1 é destacado. Os outros cabos 2 permanecem em segundo plano.

[047] A Figura 2 mostra um exemplo de imagens de uma linha aérea em diferentes faixas de frequência. Da esquerda para a direita, uma imagem é mostrada na faixa de frequência visível (VIS), na faixa de frequência infravermelha (IF) e na faixa de frequência ultravioleta (UV), respectivamente. Na faixa de frequência visível (VIS), ninhos de pássaros podem ser vistos sobre os cabos 1. Na faixa infravermelha (IF), uma região particularmente aquecida 99 de um isolador sobre um mastro pode ser vista. Na faixa ultravioleta (UV), descargas corona podem ser vistas claramente sobre os cabos 1.

[048] A Figura 3 mostra um exemplo de detecção de anomalia de objetos inseridos artificialmente em uma linha aérea. A imagem é gravada a partir de cima durante um sobrevôo. Neste caso, os cabos condutores 1 passam por áreas florestadas e uma estrada 4, que se bifurca na parte superior da imagem. Um carro 5 está estacionado na estrada 4. Uma pipa 6 está disposta sobre um dos cabos condutores. Na imagem, ambos os objetos são identificados corretamente por meio do algoritmo de avaliação como se desviando da forma esperada de cabos condutores. No entanto, o algoritmo não pode obter facilmente as informações de profundidade, ou seja, não pode decidir se o carro, e em particular se a pipa, está localizado sobre o cabo ou abaixo dele no solo.

[049] Para distinguir objetos no solo de objetos sobre o cabo, a invenção se propõe a explorar o efeito de paralaxe. A Figura 4 mostra duas cenas lado a lado. Dois mastros 9, cada um suportam uma linha aérea. Arvores 10 podem ser vistas abaixo da linha aérea. Uma primeira e uma segunda imagem são gravadas em duas posições diferentes 7, 8 durante um sobrevôo do cabo.

[050] Na imagem à esquerda, pode ser visto que quando ambas as direções de visualização para as duas imagens são orientadas para um ponto 11 sobre a linha aérea que foi previamente detectado por segmentação no espaço 3D, ambas as imagens visam uma seção 11 do cabo em suas linhas visuais. Se um objeto for disposto diretamente sobre o cabo, o objeto aparecerá no mesmo local sobre o cabo de ambas as perspectivas. A situação é diferente para a árvore 10 na imagem à direita. A árvore 10 não aparece no mesmo lugar sobre o cabo nas duas imagens, mas devido ao efeito de paralaxe, na direção de visão 7 ela aparece na seção 11 e a partir da direção de visão 8 na seção 12 do cabo.

Isso significa que a árvore 10 deve estar disposta não na mesma altura do cabo, mas na verdade abaixo dele.

Este princípio permite uma distinção automatizada simples entre objetos dispostos sobre ou acima de uma instalação, e objetos dispostos no solo.

Claims (15)

REIVINDICAÇÕES

1. Método para detectar objetos (5,6) sobre instalações (1), que possui as etapas de: - fornecer uma representação tridimensional da instalação, em que a posição e a orientação da representação e da instalação são conhecidas, e - adquirir uma primeira imagem e uma segunda imagem da instalação, em que as duas imagens são gravadas a partir de diferentes posições (7,8) acima da instalação (1), caracterizado pelo fato de para uma pluralidade de seções da instalação (1), uma comparação da primeira e da segunda imagens em cada caso ser realizada utilizando um efeito de paralaxe, em que no caso de uma coincidência entre as imagens em uma região ao redor da instalação, um objeto (5) é detectado na instalação (1).

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de a representação tridimensional da instalação fornecida ser usada para restringir um espaço de busca para a instalação ou para atribuir o objeto detectado a um componente da instalação na representação tridimensional.

3. Método, de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de a representação tridimensional ser adquirida como uma nuvem de pontos tridimensional (PCD), em que a nuvem de pontos tridimensional (PCD) é semanticamente segmentada para restringir um espaço de busca para a instalação na nuvem de pontos tridimensional (PCD).

4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de uma linha aérea ser usada como uma instalação, e a segmentação semântica ser realizada através da aplicação de um modelo de uma curva catenária para detectar cabos condutores (1) da linha aérea.

5. Método, de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de a representação tridimensional ser obtida por meio de um sensor de "detecção e alcance de luz (LIDAR)" e adquirida como uma nuvem de pontos tridimensional (PCD), e/ou a posição e orientação da representação serem determinadas por meio de um sistema de determinação de posição.

6. Método de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de as imagens serem gravadas por meio de uma câmera para luz visível.

7. Método de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de a câmera ser guiada ao longo da instalação com uma aeronave para gravar a primeira e a segunda imagens nas duas posições diferentes (7, 8).

8. Método de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de a representação tridimensional da instalação (1) ser projetada para cada uma das duas imagens para definir as seções em cada caso.

9. Montagem para detectar objetos (5,6) sobre instalações (1), que compreende: - uma aeronave com um sensor de "detecção e alcance de luz (LIDAR)" para adquirir uma representação tridimensional da instalação, e - ter um dispositivo de detecção de posição para adquirir a posição e orientação da representação tridimensional da instalação, e - ter uma câmera para luz visível, projetada para adquirir uma primeira imagem e uma segunda imagem da instalação, em que as duas imagens são gravadas a partir de diferentes posições (7,8) acima da instalação (1), caracterizada pelo fato de um dispositivo de avaliação ser projetado para realizar uma comparação da primeira e da segunda imagens para cada uma de uma pluralidade de seções da instalação, explorando um efeito de paralaxe, em que, no caso de uma correspondência entre as imagens em uma região em torno da instalação (1) um objeto ser detectado na instalação (1).

10. Montagem, de acordo com a reivindicação 9, caracterizada pelo fato de o sensor de "detecção e alcance de luz (LIDAR)" ser projetado para adquirir a representação tridimensional como uma nuvem de pontos tridimensional (PCD), e o dispositivo de avaliação ser projetado para segmentar semanticamente a nuvem de pontos tridimensional (PCD), para restringir um espaço de busca para a instalação (1) na nuvem de pontos tridimensional (PCD).

11. Montagem, de acordo com a reivindicação 9 ou 10, caracterizada pelo fato de a instalação compreender uma linha aérea, e o dispositivo de avaliação ser projetado para realizar a segmentação semântica através da aplicação de um modelo de uma curva catenária para detecção de cabos condutores (1) da linha aérea.

12. Montagem, de acordo com qualquer uma das reivindicações 9 a 11, caracterizada pelo fato de o dispositivo de avaliação ser projetado para projetar a representação tridimensional da instalação (1) em cada uma das duas imagens, para definir as seções em cada caso.

13. Montagem, de acordo com qualquer uma das reivindicações 9 a 11, caracterizada pelo fato de a aeronave ser um avião, um helicóptero ou um drone.

14. Montagem, de acordo com qualquer uma das reivindicações 9 a 13, caracterizada pelo fato de o dispositivo de avaliação ser fornecido na aeronave.

15. Montagem, de acordo com qualquer uma das reivindicações 9 a 14, caracterizada pelo fato de o dispositivo de avaliação ser fornecido como um servidor central.