BR112020008497A2 - visualização de estabilidade de inclinação - Google Patents

visualização de estabilidade de inclinação Download PDF

Info

Publication number
BR112020008497A2
BR112020008497A2 BR112020008497-2A BR112020008497A BR112020008497A2 BR 112020008497 A2 BR112020008497 A2 BR 112020008497A2 BR 112020008497 A BR112020008497 A BR 112020008497A BR 112020008497 A2 BR112020008497 A2 BR 112020008497A2
Authority
BR
Brazil
Prior art keywords
interest
image
point
panoramic image
coordinate system
Prior art date
Application number
BR112020008497-2A
Other languages
English (en)
Inventor
Benny Chen
Lachlan Campbell
Original Assignee
Groundprobe Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2017904794A external-priority patent/AU2017904794A0/en
Application filed by Groundprobe Pty Ltd filed Critical Groundprobe Pty Ltd
Publication of BR112020008497A2 publication Critical patent/BR112020008497A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21FSAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F17/00Methods or devices for use in mines or tunnels, not covered elsewhere
    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21FSAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F17/00Methods or devices for use in mines or tunnels, not covered elsewhere
    • E21F17/18Special adaptations of signalling or alarm devices
    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21FSAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F17/00Methods or devices for use in mines or tunnels, not covered elsewhere
    • E21F17/18Special adaptations of signalling or alarm devices
    • E21F17/185Rock-pressure control devices with or without alarm devices; Alarm devices in case of roof subsidence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21CMINING OR QUARRYING
    • E21C41/00Methods of underground or surface mining; Layouts therefor
    • E21C41/26Methods of surface mining; Layouts therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/005Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/02Prospecting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Geology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Geophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Astronomy & Astrophysics (AREA)
  • Alarm Systems (AREA)

Abstract

Um aparelho de segurança de mina que registra dados de movimento de uma cena, imagens visuais da cena e correlaciona os dados de movimento com as imagens visuais. O aparelho compreende: um dispositivo de monitoramento de inclinação que registra dados de localização na cena e rastreia os dados de localização ao longo do tempo para identificar movimento e produzir sobreposições de movimento visuais; um dispositivo de captura de imagem que registra uma pluralidade de imagens visuais da cena a partir de uma localização; e um processador que une as imagens visuais em uma imagem panorâmica de toda a cena e para os Pontos de Interesses selecionados na cena determina com precisão uma coordenada para que as sobreposições de movimento visuais sejam correlacionadas corretamente com os Pontos de Interesses.

Description

VISUALIZAÇÃO DE ESTABILIDADE DE INCLINAÇÃO CAMPO DA INVENÇÃO
[001] A presente invenção refere-se ao campo da mineração e especificamente à segurança na mineração. Mais particularmente, a invenção refere-se a um método e aparelho para melhor visualização da estabilidade de formas de relevo inclinadas durante operações de mineração para remover distorções de imagem que podem fazer com que um Usuário interprete incorretamente as imagens das minas. A invenção também é útil para visualização da estabilidade de túneis e construções.
FUMDAMENTOS DA INVENÇÃO
[002] Um problema significativo nas operações de mineração a céu aberto e na construção civil é a estabilidade de paredes, como as paredes inclinadas de um fosso. Várias técnicas de monitoramento foram descritas e implementadas para monitorar a estabilidade de inclinações particularmente para operações de mineração. Uma técnica bem conhecida é usar prismas de retroflexão que são monitorados por um scanner a laser ou estação total robótica. A técnica baseia-se na localização precisa de prismas que são então detectados por um scanner a laser para fornecer pontos de referência conhecidos na parede. Qualquer variação a partir do local conhecido é identificada como movimento da parede. Os prismas retrorrefletores têm o benefício de fornecer um sinal forte e facilmente identificável em uma posição conhecida.
[003] Não obstante os benefícios dos prismas, eles também apresentam várias deficiências. Os prismas podem ser desalinhados, derrubados da parede ou de outro modo cair da parede. Eles também podem ficar sujos, reduzindo assim a eficácia. O custo de manutenção de prismas para resolver esses problemas é relativamente alto. Mesmo deixando de lado as questões econômicas, oO risco de segurança de tentar substituir um prisma em uma área instável pode ser injustificadamente alto. Esse é um problema específico, pois o local principal em que um prisma é necessário é geralmente exatamente o local em que um prisma não pode ser localizado com segurança.
[004] Existem outras limitações com prismas também. Mesmo para um fosso de tamanho modesto, o número de prismas necessários pode ser de algumas centenas, o que pode levar uma quantidade significativa de tempo para instalar e muito esforço para manter. O custo de um grande número de prismas também é significativo, em custos de tempo e material. O mesmo problema se aplica a tarefas de construção civil, como tunelamento.
[005] Ao usar prismas para monitoramento de inclinação ou outras tarefas de monitoramento, o monitoramento identifica movimento, mas, para poder tomar as medidas apropriadas, uma pessoa precisa ser capaz de identificar no chão onde o movimento está ocorrendo. Por exemplo, mesmo pequenos movimentos acima de uma estrada de transporte podem ser perigosos se a pedra cair sobre ou no caminho de veículos na estrada de transporte. Por outro lado, pequenos movimentos abaixo da estrada podem ser irrelevantes. Embora as técnicas de monitoramento de inclinação sejam precisas a alguns milímetros, as técnicas atuais de escavação no solo não são suficientemente precisas para identificar com precisão onde o movimento está ocorrendo. Como resultado, trabalho de mineração pode ser interrompido desnecessariamente.
[006] Por "escavação no solo" entende-se o registro dos mapas de deformação de inclinação produzidos por equipamentos de monitoramento de inclinação com imagens visuais da área monitorada. De preferência, as imagens visuais da área monitorada são imagens panorâmicas de grande angular, mas apresentam um problema particularmente difícil para escavações no solo devido à distorção de imagem fotográfica.
[007] Assim, para melhorar a segurança nas operações de mineração, distorção de imagem fotográfica precisa ser minimizada e correlação entre os mapas de deformação de inclinação e imagens visuais precisa ser maximizada.
SUMÁRIO DA INVENÇÃO
[008] De uma forma, embora não precise ser a única ou mesmo a mais ampla, a invenção reside em um aparelho de segurança de mina que registra dados de movimento de uma cena, registra imagens visuais da cena e correlaciona os dados de movimento com as imagens visuais, o aparelho compreendendo: um dispositivo de monitoramento de inclinação que registra dados de localização na cena e rastreia os dados de localização ao longo do tempo para identificar movimentos e produzir sobreposições de movimentos visuais; um dispositivo de captura de imagem que registra uma pluralidade de imagens visuais da cena a partir de uma localização; e um processador que: (a) une a pluralidade de imagens visuais para criar uma imagem panorâmica de toda a cena tendo um sistema de coordenadas de imagem panorâmico; (b) para um Ponto de Interesse (POI) selecionado determina uma coordenada do Ponto de Interesse em um bloco de imagem de acordo com um sistema de coordenadas de imagem visual; (ec) usa a Correspondência de Modelo de Imagem para encontrar o bloco de imagem na imagem panorâmica; (d) converte a coordenada de Ponto de Interesse de acordo com o sistema de coordenadas de imagem visual no bloco de imagem para uma coordenada na imagem panorâmica de acordo com o sistema de coordenadas da imagem panorâmica; (e) exibe o Ponto de Interesse no sistema de coordenadas da imagem panorâmica; (£) repete os passos (b) a (e) até que todos os Pontos de Interesses sejam exibidos; (g) registra as sobreposições de movimento visuais com o sistema de coordenadas da imagem panorâmica; e (h) sobrepõe as sobreposições de movimento visuais na imagem panorâmica, para que o movimento seja correlacionado com os Pontos de Interesses.
[009] O dispositivo de monitoramento de inclinação é adequadamente um Radar de Estabilidade de Inclinação ou um Lidar de Estabilidade de Inclinação.
[0010] O dispositivo de captura de imagem é adequadamente uma câmera.
[0011] Os Pontos de Interesses pode ser prismas virtuais ou prismas reais.
[0012] De outra forma, a invenção reside em um método de visualização de estabilidade de inclinação, incluindo os passos de:
(a) registrar uma pluralidade de imagens visuais de uma cena a partir de uma localização; (b) unir as imagens visuais para criar uma imagem panorâmica de toda a cena com um sistema de coordenadas de imagem panorâmico; (c) selecionar um Ponto de Interesse na cena e registrar um bloco de imagem de uma região em torno do ponto de imagem selecionado a partir da localização; (d) determinar uma coordenada do Ponto de Interesse no bloco de imagem de acordo com um sistema de coordenadas de imagem visual; (e) usar a Correspondência de Modelo de Imagem para encontrar o bloco de imagem na imagem panorâmica; (£) converter a coordenada de Ponto de Interesse de acordo com o sistema de coordenadas de imagem visual no bloco de imagem para uma coordenada na imagem panorâmica de acordo com o sistema de coordenadas da imagem panorâmica; (9) exibir o Ponto de Interesse no sistema de coordenadas da imagem panorâmica; e (h) repetir os passos (c) a (g) até que todos os Pontos de Interesses sejam exibidos.
[0013] O método inclui adequadamente o passo adicional de: (1) sobrepor movimento de inclinação em ou em torno de cada Ponto de Interesse na imagem panorâmica, de modo a fornecer uma visualização de estabilidade de inclinação.
[0014] A coordenada do Ponto de Interesse no bloco de imagem é adequadamente determinada a partir da coordenada do centro do bloco de imagem.
[0015] O bloco de imagem de uma região em torno do
Ponto de Interesse selecionado pode ser uma imagem visual registrada no passo (a). Como alternativa, o bloco de imagem pode ser uma imagem registrada em um nível de ampliação diferente das imagens visuais do passo (a).
[0016] Adequadamente, os Pontos de Interesses são prismas virtuais ou prismas reais. Por prisma virtual, entende-se uma localização em que não há prisma real, mas que, em virtude do processamento descrito abaixo, possui as características de prismas reais para fins de visualização de estabilidade de inclinação.
[0017] O passo de sobreposição do movimento de inclinação em torno de um Ponto de Interesse na imagem panorâmica é realizado alinhando o Ponto de Interesse em um mapa de deformação de estabilidade de inclinação com o Ponto de Interesse na imagem panorâmica.
[0018] Outras características e vantagens da presente invenção serão evidentes a partir da descrição detalhada a seguir.
BREVE DESCRIÇÃO DOS DESENHOS
[0019] Para auxiliar na compreensão da invenção e permitir que um especialista na técnica coloque a invenção em efeito prático, modalidades preferidas da invenção serão descritas a título de exemplo apenas com referência aos desenhos anexos, nos quais: a Figura 1 é uma fotografia de uma mina de corte aberto mostrando localizações preferidas para prismas usados no monitoramento da estabilidade de inclinação; a Figura 2 é uma fotografia da mina de corte aberto da Figura 1 mostrando a localização de prismas reais; a Figura 3 é a fotografia da Figura 2 mostrando a adição de prismas virtuais; a Figura 4 é um fluxograma mostrando o processo de visualização dos prismas virtuais; a Figura 5 é um fluxograma mostrando os passos adicionais para sobrepor um mapa de estabilidade de inclinação na imagem panorâmica; a Figura 6 é uma imagem panorâmica de uma cena a ser monitorada; a Figura 7 é um bloco de imagem; a Figura 8 representa a localização do bloco de imagem na imagem panorâmica; a Figura 9 mostra uma série de imagens que representam a operação da invenção para exibir Pontos de Interesses com precisão; e a Figura 10 mostra a imagem panorâmica da Figura 9 com um mapa de movimento sobreposto.
DESCRIÇÃO DETALHADA DA INVENÇÃO
[0020] Modalidades da presente invenção residem principalmente em um método de visualização de Pontos de Interesses em uma inclinação, construção ou túnel, particularmente uma parede de mina de corte aberto, corrigida para distorção de imagem fotográfica. Consequentemente, os passos de método foram ilustrados de forma esquemática concisa nos desenhos, mostrando apenas os detalhes específicos que são necessários para entender as modalidades da presente invenção, mas para não obscurecer a divulgação com detalhes excessivos que serão prontamente aparentes para aqueles versados na técnica tendo o benefício da presente descrição.
[0021] Nesta especificação, adjetivos como primeiro e segundo, esquerdo e direito e semelhantes podem ser usados apenas para distinguir um elemento ou ação de outro elemento ou ação sem necessariamente exigir ou implicar qualquer relação ou ordem real. Palavras como "compreende" ou "inclui" destinam-se a definir uma inclusão não exclusiva, de modo que um processo, método, artigo ou aparelho que inclua uma lista de elementos não inclua apenas esses elementos, mas também outros elementos não expressamente listados, incluindo elementos inerentes a esse processo, método, artigo ou aparelho.
[0022] Com referência à Figura l1, é mostrada uma fotografia de um poço típico com várias paredes ou inclinações, qualquer um dos quais pode apresentar um risco de falha, levando à perda de equipamento e possivelmente a ferimentos. Sobrepostas à fotografia, há uma matriz de localizações de prisma desejáveis, como 10, para um monitoramento eficaz da inclinação. Os especialistas na técnica entenderão que não é economicamente viável implantar um grande número de prismas reais. Também será apreciado que não seria seguro localizar prismas em certas partes da inclinação que podem ser instáveis, embora essas sejam exatamente as partes que precisam ser monitoradas.
[0023] A Figura 2 mostra a mesma mina de corte aberto com a localização de prismas reais indicada por diamantes. Os prismas reais são refletores que retornam um sinal para um dispositivo de monitoramento. A título de exemplo, se um dispositivo de monitoramento ótico for usado, como um laser, os prismas reais serão retrorrefletores. Um especialista na técnica determinará facilmente a natureza do prisma real necessário para o dispositivo de monitoramento.
[0024] O número de prismas reais é menor que o desejável e eles não estão localizados nas posições ideais. Os prismas podem ser perdidos ou inutilizados por vários fatores, incluindo queda de rochas, acúmulo de poeira, condensação ou acúmulo de água dentro do prisma. O problema de não ter prismas suficientes nas localizações mais adequadas é resolvido fornecendo prismas virtuais, como mostrado pelas cruzes 11 na Figura 3. Um prisma virtual é uma medida sem refletor tomada diretamente a partir da rocha ou outra superfície. Pode ser medido, por exemplo, usando o Lidar de Estabilidade de Inclinação descrito na publicação internacional copendente número WO2017/063033.
[0025] Para ser útil, a localização exata dos prismas virtuais deve ser conhecida e, portanto, qualquer distorção da imagem resultará em imprecisão. Isso é particularmente um problema em imagens de grandes ângulos que são distorcidas pela ótica de imagem. Uma imagem alternativa é uma imagem panorâmica unida a partir de imagens de campo de visão mais estreitas, mas também apresentam distorções que levam à determinação incorreta das coordenadas dos prismas virtuais. A dificuldade está em visualizar os Pontos de Interesses conhecidos. Um scanner a laser ou estação total robótica registra a localização dos pontos por medir o deslocamento angular e a distância a partir do scanner. Devido à distorção fotográfica, a imagem fotográfica não está alinhada com o sistema de coordenadas do scanner. A técnica descrita abaixo com referência à Figura 4 obtém uma localização precisa para cada prisma na fotografia, independentemente da distorção de imagem fotográfica. A técnica se aplica a prismas virtuais e prismas reais, pois, embora a localização visual de um prisma real possa parecer precisa na imagem panorâmica, ele pode não estar alinhado com o sistema de coordenadas de scanner. Da mesma forma, os prismas virtuais serão precisos no sistema de coordenadas do scanner, mas não aparecerão com precisão na imagem panorâmica.
[0026] O fluxograma da Figura 4 define os passos para a visualização de prismas virtuais para monitorar a estabilidade de inclinação. São tiradas várias fotografias de uma cena que cobre a(s) inclinação(ões) a ser(em) monitorada(s). As fotografias têm um campo de visão limitado, dito 33 graus na diagonal. Outros tamanhos adequados podem ter uma ampliação tão alta quanto 1 grau ou entre 5 e 45 graus, incluindo 10 graus, 15 graus, 20 graus, 25 graus, 30 graus, 35 graus, 40 graus ou qualquer número intermediário. Cada fotografia é tirada a partir da mesma localização.
[0027] Cada fotografia constitui uma imagem visual e as imagens visuais são unidas para formar uma imagem panorâmica da cena (PIS). As localizações na imagem panorâmica são descritas por um sistema de coordenadas da imagem panorâmica, que pode ser simplesmente uma localização de pixel (por exemplo, em uma exibição de 1024 x 768 pixels). As localizações nas imagens visuais que são usadas para formar a imagem panorâmica serão definidas de acordo com um sistema de coordenadas de imagem visual que será diferente do sistema de coordenadas da imagem panorâmica. O sistema de coordenadas de imagem visual pode ser qualquer sistema de coordenadas disponível, como um sistema de coordenadas geodésicas ou um sistema de coordenadas de mina. O sistema de coordenadas específico não é importante, exceto que a localização de cada imagem visual é especificada de acordo com o mesmo sistema de coordenadas. Um sistema de coordenadas geodésicas pode ser um sistema de mapa usando graus, minutos e segundos. Um sistema de coordenadas de mina pode ser um sistema de coordenadas polares usando como ponto de referência uma localização conhecida na mina.
[0028] Cada bloco de imagem possui distorção de lente e sensor, em adição o processo de união das imagens visuais no PIS necessariamente causa distorção das imagens visuais, a fim de obter uma imagem parecendo contínua a partir das imagens visuais contíguas. Como resultado do processo, a localização de qualquer ponto particular na imagem panorâmica pode não ser precisa, de acordo com o sistema de coordenadas de imagem visual, embora haja um mapeamento não linear do sistema de coordenadas de imagem visual para o sistema de coordenadas da imagem panorâmica. Infelizmente, o mapeamento é complexo e o processamento necessário para calcular o mapeamento consome muito tempo para ser prático. É necessária alguma outra técnica para determinar a posição real de um Ponto de Interesse no PIS.
[0029] Com referência novamente à Figura 4, um Ponto de Interesse é selecionado na imagem panorâmica. Essa pode ser um recurso facilmente identificável ou pode ser simplesmente uma posição desejável para construir uma matriz de prismas virtuais. Uma vez que um POI é selecionado, um bloco de imagem que contém o POI é identificado ou registrado. De preferência, o bloco de imagem é uma imagem fotográfica da área ao redor do POI selecionado registrada em um nível de ampliação adequado, que pode ser um nível de ampliação maior do que as imagens visuais usadas para construir a imagem panorâmica. No entanto, também é aceitável selecionar a imagem visual original usada para construir a imagem panorâmica. Se uma nova imagem é gravada, ela deve conter o centro de um bloco na imagem panorâmica. O bloco de imagem deve ser registrado na mesma localização que as imagens visuais, o que obviamente será o caso se o bloco de imagem for uma das imagens visuais. Porque a localização da câmera é conhecida, as coordenadas do POI serão conhecidas de acordo com o sistema de coordenadas de imagem visual.
[0030] A coordenada do centro de cada bloco de imagem panorâmica no sistema de coordenadas da imagem panorâmica é conhecida em virtude da localização da câmera ser precisamente conhecida por pesquisa no momento da configuração. A partir da coordenada central, é possível determinar a coordenada do POI. Um processo de Correspondência de Modelo de Imagem é usado para encontrar o bloco de imagem do POI na imagem panorâmica. Um mapeamento é então calculado entre a coordenada central aparente do bloco de imagem Panorâmica na imagem panorâmica e as coordenadas registradas para o bloco de imagem do POI no sistema de coordenadas de POIT. O mapeamento é então usado para corrigir as coordenadas do POI, de modo que o POI seja localizado corretamente no PIS.
[0031] O processo pode ser repetido várias vezes, conforme necessário, para o número de Pontos de Interesses. Nem todos os Pontos de Interesses precisam ser determinados por esse processo, pois será aceitável interpolar entre os POI, dependendo da precisão desejada.
[0032] Depois que todos os POI são determinados e mapeados para uma coordenada precisa, o POI pode ser usado para processamento adicional. A visualização precisa do POI é importante para a compreensão do comportamento de inclinação.
[0033] Os especialistas na técnica perceberão que existem muitos algoritmos e métodos de correspondência de modelo de imagem (ITM) disponíveis para alinhar duas fotos de vários tamanhos de imagem para coregistrar adequadamente duas imagens tiradas a partir da mesma localização. Os inventores descobriram que um algoritmo adequado usa a detecção de borda sendo mudanças nítidas em contraste, brilho ou saturação para identificar limites, padrões e recursos nítidos em cada imagem, em seguida, redimensiona, gira e distorce ligeiramente as imagens para alinhar os quadros para que as fronteiras identificadas correspondam dentro de uma margem aceitável, antes de aplicar vários algoritmos de mesclagem para suavizar os canais de exposição, matiz, saturação, brilho e contraste entre as imagens para obter uma imagem panorâmica mais consistente.
[0034] O processo descrito no fluxograma da Figura 4 é usado para melhorar a visualização de estabilidade de inclinação, como representado no fluxograma da Figura 5. Um mapa de estabilidade de inclinação (SSM) pode ser registrado usando várias técnicas de monitoramento de inclinação disponíveis, como os descritos nos Pedidos de Patente Internacional do requerente números WO2002 / 046790 (Sistema de Monitoramento de Inclinação) e WO2017 / 063033 (Lidar de Estabilidade de Inclinação), cujo conteúdo é aqui incorporado por referência. O SSM é produzido no sistema de coordenadas de imagem visual e corrigido no sistema de coordenadas de PIS, permitindo assim a sobreposição do SSM no PIS. Para maximizar a precisão da visualização, um POI no
SSM, como uma localização propensa a movimentos significativos, pode ser identificado e um POI próximo, como um prisma virtual, é localizado no PIS. O número de POI selecionado pode ser escolhido conforme necessário para atingir o nível de precisão desejado. Como um comentário geral, quanto mais POI, maior a precisão. Não é necessário ter o mesmo número de POI no SSM e no PIS. É provável que vários POIS possam ser usados em cada região de interesse no SSM.
[0035] A fim de explicar melhor o funcionamento da invenção, uma imagem panorâmica de uma cena é mostrada na Figura 6. A imagem panorâmica é produzida pela união de múltiplas imagens visuais, todas gravadas em uma localização. As imagens individuais não são mostradas na Figura 6, mas a título indicativo, a imagem panorâmica da Figura 6 é produzida a partir de 56 imagens visuais.
[0036] A Figura 7 mostra um bloco de imagem que contém um Ponto de Interesse particular, sendo a face da rocha na fotografia. O bloco de imagem da Figura 7 é obtido em um nível de ampliação ótico maior do que as imagens visuais originais. A cruz através da imagem representa o centro da imagem que possui uma coordenada conhecida em virtude da localização conhecida da câmera tirando a fotografia e registrando o azimute e a elevação em que a fotografia é registrada.
[0037] A Figura 8 mostra como a correspondência de modelo de imagem é usada para identificar o bloco de imagem na imagem panorâmica da cena. A localização 81 da imagem ampliada 80 na imagem panorâmica 82 é mostrada.
[0038] A título de explicação adicional, é feita referência à sequência de imagens da Figura 9. A Figura 9a mostra uma matriz regular de pontos que podem representar prismas virtuais a serem aplicados a uma imagem panorâmica de uma cena. Como mostrado na Figura 9b, simplesmente sobrepor a grade regular na imagem produz imprecisões na localização de solo, porque a imagem panorâmica 2D contém distorções, conforme explicado acima. Utilizar a técnica da Figura 4 resulta na matriz de pontos ser movida para corresponder ao POI real, como mostrado na Figura 9c. O resultado é que a matriz regular de pontos da Figura 9a é corrigida para representar com precisão sua localização nas coordenadas do PIS, como mostrado na Figura 9d.
[0039] Como explicado por referência à Figura 5, a técnica permite uma sobreposição precisa de um mapa de estabilidade de inclinação na imagem panorâmica. Isto é exemplificado na Figura 10, onde um mapa de calor de estabilidade de inclinação 100 é sobreposto na imagem panorâmica da Figura 9. Na prática, o mapa de calor de estabilidade de inclinação é colorido, graduando em vermelho para indicar maior movimento. Porque os prismas virtuais estão localizados com precisão no sistema de coordenadas da imagem panorâmica e o mapa de estabilidade de inclinação é representado com precisão no mesmo sistema de coordenadas, o usuário pode identificar claramente onde está ocorrendo o movimento no solo e tomar decisões apropriadas. O movimento também pode ser representado pelo código de cores dos prismas.
[0040] A descrição acima de várias modalidades da presente invenção é fornecida para fins de descrição a um versado na técnica. Não se destina a ser exaustiva ou a limitar a invenção a uma única modalidade divulgada.
Como mencionado acima, numerosas alternativas e variações para a presente invenção serão evidentes para os especialistas na técnica do ensino acima.
Consequentemente, embora algumas modalidades alternativas tenham sido discutidas especificamente, outras modalidades serão aparentes Ou relativamente facilmente desenvolvidas pelos versados na técnica.
Consequentemente, esta invenção pretende abranger todas as alternativas, modificações e variações da presente invenção que foram discutidas aqui e outras modalidades que se enquadram no espírito e no escopo da invenção descrita acima.

Claims (17)

REIVINDICAÇÕES
1. Aparelho de segurança de mina que registra dados de movimento de uma cena, imagens visuais da cena e correlaciona os dados de movimento com as imagens visuais, o aparelho caracterizado pelo fato de que compreende: um dispositivo de monitoramento de inclinação que registra dados de localização na cena e rastreia os dados de localização ao longo do tempo para identificar movimentos e produzir sobreposições de movimentos visuais; um dispositivo de captura de imagem que registra uma pluralidade de imagens visuais da cena a partir de uma localização; e um processador que: (a) une a pluralidade de imagens visuais para criar uma imagem panorâmica de toda a cena tendo um sistema de coordenadas de imagem panorâmico; (b) para um Ponto de Interesse selecionado determina uma coordenada de Ponto de Interesse em um bloco de imagem de acordo com um sistema de coordenadas de imagem visual; (c) usa Correspondência de Modelo de Imagem para encontrar o bloco de imagem na imagem panorâmica; (d) converte a coordenada de Ponto de Interesse de acordo com o sistema de coordenadas de imagem visual no bloco de imagem para uma coordenada na imagem panorâmica de acordo com o sistema de coordenadas da imagem panorâmica; (e) exibe o Ponto de Interesse no sistema de coordenadas da imagem panorâmica; (f) repete os passos (b) a (e) até que todos os Pontos de Interesses sejam exibidos; (g) registra as sobreposições de movimento visuais com o sistema de coordenadas da imagem panorâmica; e (h) sobrepõe as sobreposições de movimento visuais na imagem panorâmica, para que o movimento seja correlacionado com os Pontos de Interesses.
2. Aparelho de segurança de mina, conforme definido na reivindicação 1, caracterizado pelo fato de que o dispositivo de monitoramento de inclinação é um Radar de Estabilidade de Inclinação ou um Lidar de Estabilidade de Inclinação.
3. Aparelho de segurança de mina, conforme definido na reivindicação l, caracterizado pelo fato de que o dispositivo de captura de imagem é uma câmera.
4. Aparelho de segurança de mina, conforme definido na reivindicação l, caracterizado pelo fato de que o processador determina a coordenada do Ponto de Interesse no bloco de imagem a partir da coordenada do centro do bloco de imagem.
5. Aparelho de segurança de mina, conforme definido na reivindicação l, caracterizado pelo fato de que os Pontos de Interesses são prismas virtuais.
6. Aparelho de segurança de mina, conforme definido na reivindicação 1, caracterizado pelo fato de que os Pontos de Interesses são prismas reais.
7. Aparelho de segurança de mina, conforme definido na reivindicação 1, caracterizado pelo fato de que o processador registra as sobreposições de movimento visuais com o sistema de coordenadas da imagem panorâmica por alinhar o Ponto de Interesse em um mapa de deformação de estabilidade de inclinação com o Ponto de Interesse na imagem panorâmica.
8. Método de visualização de estabilidade de inclinação caracterizado pelo fato de que compreende os passos de: (a) registrar uma pluralidade de imagens visuais de uma cena a partir de uma localização; (b) unir as imagens visuais para criar uma imagem panorâmica de toda a cena com um sistema de coordenadas de imagem panorâmico; (c) selecionar um Ponto de Interesse na cena e registrar um bloco de imagem de uma região em torno do ponto de imagem selecionado a partir da localização; (d) determinar uma coordenada do Ponto de Interesse no bloco de imagem de acordo com um sistema de coordenadas de imagem visual; (e) usar a Correspondência de Modelo de Imagem para encontrar o bloco de imagem na imagem panorâmica; (f) converter a coordenada de Ponto de Interesse de acordo com o sistema de coordenadas de imagem visual no bloco de imagem para uma coordenada na imagem panorâmica de acordo com o sistema de coordenadas da imagem panorâmica; (g) exibir o Ponto de Interesse no sistema de coordenadas da imagem panorâmica; e (h) repetir os passos (c) a (g) até que todos os Pontos de Interesses sejam exibidos.
9. Método, conforme definido na reivindicação 8, caracterizado pelo fato de que compreende ainda o passo de: (i) sobrepor o movimento de inclinação em ou em torno de cada Ponto de Interesse na imagem panorâmica, de modo a fornecer uma visualização de estabilidade de inclinação.
10. Método, conforme definido na reivindicação 8, caracterizado pelo fato de que a coordenada de Ponto de Interesse no bloco de imagem é determinada a partir da coordenada do centro do bloco de imagem.
11. Método, conforme definido na reivindicação 8,
caracterizado pelo fato de que o bloco de imagem de uma região em torno do Ponto de Interesse selecionado é uma imagem visual registrada no passo (a).
12. Método, conforme definido na reivindicação 8, caracterizado pelo fato de que o bloco de imagem de uma região em torno do Ponto de Interesse selecionado é uma imagem registrada em um nível de ampliação diferente das imagens visuais do passo (a).
13. Método, conforme definido na reivindicação 8, caracterizado pelo fato de que os Pontos de Interesses são prismas virtuais.
14. Método, conforme definido na reivindicação 8, caracterizado pelo fato de que os Pontos de Interesses são prismas reais.
15. Método, conforme definido na reivindicação 8, caracterizado pelo fato de que o sistema de coordenadas da imagem panorâmica é selecionado a partir de um sistema de coordenadas geodésicas ou um sistema de coordenadas de mina.
16. Método, conforme definido na reivindicação 8, caracterizado pelo fato de que o passo de sobreposição do movimento de inclinação em torno de um Ponto de Interesse na imagem panorâmica é realizado por alinhar o Ponto de Interesse em um mapa de deformação de estabilidade de inclinação com o Ponto de Interesse na imagem panorâmica.
17. Método, conforme definido na reivindicação 8, caracterizado pelo fato de que a Correspondência de Modelo de Imagem do passo (e) usa um algoritmo de detecção de borda.
BR112020008497-2A 2017-11-28 2018-11-27 visualização de estabilidade de inclinação BR112020008497A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2017904794A AU2017904794A0 (en) 2017-11-28 Slope stability visualisation
AU2017904794 2017-11-28
PCT/AU2018/000233 WO2019104368A1 (en) 2017-11-28 2018-11-27 Slope stability visualisation

Publications (1)

Publication Number Publication Date
BR112020008497A2 true BR112020008497A2 (pt) 2020-10-20

Family

ID=66663667

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112020008497-2A BR112020008497A2 (pt) 2017-11-28 2018-11-27 visualização de estabilidade de inclinação

Country Status (9)

Country Link
US (1) US11488296B2 (pt)
EP (1) EP3718083A4 (pt)
JP (1) JP7311502B2 (pt)
AU (1) AU2018377063B2 (pt)
BR (1) BR112020008497A2 (pt)
CA (1) CA3078991A1 (pt)
CL (1) CL2020001118A1 (pt)
WO (1) WO2019104368A1 (pt)
ZA (1) ZA202002060B (pt)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
US11814816B2 (en) 2019-09-11 2023-11-14 Deere & Company Mobile work machine with object detection and machine path visualization
US11755028B2 (en) 2019-09-11 2023-09-12 Deere & Company Mobile work machine with object detection using vision recognition
US11472416B2 (en) 2020-04-30 2022-10-18 Deere & Company Multi-dimensional mobile machine path visualization and control system
CN113408121B (zh) * 2021-06-11 2023-07-11 长江水利委员会长江科学院 一种高陡边坡危岩运动轨迹测量及坡段参数计算方法
CN114333243A (zh) * 2021-12-21 2022-04-12 长江三峡勘测研究院有限公司(武汉) 一种滑坡监测预警方法、装置、介质、电子设备及终端
CN117168344B (zh) * 2023-11-03 2024-01-26 杭州鲁尔物联科技有限公司 单目全景环视形变监测方法、装置及计算机设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550937A (en) * 1992-11-23 1996-08-27 Harris Corporation Mechanism for registering digital images obtained from multiple sensors having diverse image collection geometries
AUPR187100A0 (en) 2000-12-04 2001-01-04 Cea Technologies Inc. Slope monitoring system
JP3576987B2 (ja) 2001-03-06 2004-10-13 株式会社東芝 画像のテンプレートマッチング方法及び画像処理装置
AU2003902609A0 (en) * 2003-05-27 2003-06-12 The University Of Queensland Blast movement monitor
US8154435B2 (en) 2008-08-22 2012-04-10 Microsoft Corporation Stability monitoring using synthetic aperture radar
US8554014B2 (en) * 2008-08-28 2013-10-08 Csr Technology Inc. Robust fast panorama stitching in mobile phones or cameras
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
GB2512242A (en) * 2012-01-18 2014-09-24 Logos Technologies Llc Method, device, and system for computing a spherical projection image based on two-dimensional images
EP2787322B1 (de) * 2013-04-05 2017-10-04 Leica Geosystems AG Geodätisches Referenzieren von Punktwolken
IL227627B (en) 2013-07-24 2020-03-31 Israel Aerospace Ind Ltd Method and device for determining geographic location
US10598780B2 (en) 2013-12-04 2020-03-24 Groundprobe Pty Ltd Method and system for displaying an area
CN104156965B (zh) * 2014-08-13 2017-10-03 徐州工程学院 一种矿井监控图像自动快速拼接方法
EP3332266A4 (en) * 2015-08-03 2019-04-17 Commonwealth Scientific and Industrial Research Organisation MONITORING SYSTEMS AND METHODS
JP7076372B2 (ja) * 2015-10-12 2022-05-27 グラウンドプルーブ・ピーティーワイ・リミテッド 斜面安定性ライダー
US9945668B2 (en) * 2016-03-29 2018-04-17 Queen's University At Kingston Tunnel convergence detection apparatus and method
AU2017331440A1 (en) * 2016-09-23 2019-04-18 Mine Vision Systems, Inc. System and method for measuring geometric change in a subterranean structure

Also Published As

Publication number Publication date
CL2020001118A1 (es) 2020-12-18
ZA202002060B (en) 2021-10-27
US20200242748A1 (en) 2020-07-30
US11488296B2 (en) 2022-11-01
AU2018377063A1 (en) 2020-05-07
EP3718083A1 (en) 2020-10-07
JP7311502B2 (ja) 2023-07-19
EP3718083A4 (en) 2021-08-18
AU2018377063B2 (en) 2023-11-23
CA3078991A1 (en) 2019-06-06
JP2021504776A (ja) 2021-02-15
WO2019104368A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
BR112020008497A2 (pt) visualização de estabilidade de inclinação
García-Luna et al. Structure from Motion photogrammetry to characterize underground rock masses: Experiences from two real tunnels
Verhoeven et al. Computer vision‐based orthophoto mapping of complex archaeological sites: The ancient quarry of Pitaranha (Portugal–Spain)
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
EP1655573B1 (en) 3-dimensional measurement device and electronic storage medium
BRPI0316110B1 (pt) sistema para visualizar, geolocalizar e efetuar medições com base em imagens oblíquas captadas e métodos de fazer medições de uma imagem oblíqua exibida
Martínez et al. Geometric documentation of historical pavements using automated digital photogrammetry and high-density reconstruction algorithms
Girod et al. Terrain changes from images acquired on opportunistic flights by SfM photogrammetry
JP7277410B2 (ja) 拡張現実表示装置
US10859377B2 (en) Method for improving position information associated with a collection of images
Krosley et al. Digital ground-based photogrammetry for measuring discontinuity orientations in steep rock exposures
US11297229B2 (en) Method of acquiring images at a plurality of acquisition locations of an acquisition device
Chiba et al. Accuracy of snow depth measurements on roofs measured with photogrammetry
CN113720310A (zh) 一种巷道摄影地质编录方法及系统
JP3587585B2 (ja) 写真測量装置
Chapman et al. Continuous mapping of tunnel walls in a GNSS-denied environment
JP2020173211A (ja) 角度測定装置、距離測定装置、速度測定装置、標高測定装置、座標測定装置、角度測定方法、およびプログラム
KR102603147B1 (ko) 지중매설물 영상정보화 방법
Schwalbe et al. Recognition of drainage tunnels during glacier lake outburst events from terrestrial image sequences
JP7149117B2 (ja) 変状規模計測システム及び変状規模計測プログラム
TW201024665A (en) Method of generating a geodetic reference database product
Lato et al. Mapping the Inaccessible with LiDAR and Gigapixel Photography: A Case Study from Norway
Chi et al. Digital Survey for Retaining Walls-Using Commercial Cameras as Instrument
Parente Development of a low-cost photogrammetric monitoring system for timely detection of slope instability
Poudel Application of Photogrammetry for Monitoring Soil Surface Movement

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]