BR102019014646A2 - sistema e método de alerta de colisão em taxiamento - Google Patents

sistema e método de alerta de colisão em taxiamento Download PDF

Info

Publication number
BR102019014646A2
BR102019014646A2 BR102019014646A BR102019014646A BR102019014646A2 BR 102019014646 A2 BR102019014646 A2 BR 102019014646A2 BR 102019014646 A BR102019014646 A BR 102019014646A BR 102019014646 A BR102019014646 A BR 102019014646A BR 102019014646 A2 BR102019014646 A2 BR 102019014646A2
Authority
BR
Brazil
Prior art keywords
image
aircraft
light
sensor
period
Prior art date
Application number
BR102019014646A
Other languages
English (en)
Inventor
T Pesik Joseph
Rutkiewicz Robert
Anthony Ell Todd
Original Assignee
Simmonds Precision Products
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Simmonds Precision Products filed Critical Simmonds Precision Products
Publication of BR102019014646A2 publication Critical patent/BR102019014646A2/pt

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/002—Taxiing aids
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/02—Arrangements or adaptations of signal or lighting devices
    • B64D47/06—Arrangements or adaptations of signal or lighting devices for indicating aircraft presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G01S13/934—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft on airport surfaces, e.g. while taxiing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • G08G5/065—Navigation or guidance aids, e.g. for taxiing or rolling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

sistema e método de alerta de colisão em taxiamento um sistema inclui um primeiro sensor inteligente, um segundo sensor inteligente e pelo menos um processador de imagem. o primeiro sensor inteligente é configurado para detectar luz em uma direção à frente e para capturar uma imagem durante um primeiro período de tempo. o segundo sensor é configurado para detectar a luz na direção à frente e para capturar uma segunda imagem durante o primeiro período de tempo. o pelo menos um processador de imagem é configurado para identificar pelo menos um objeto na primeira e segunda imagens, para determinar um primeiro tamanho de pelo menos um objeto na primeira imagem e um segundo tamanho de pelo menos um objeto na segunda imagem e para determinar a distância de pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho.

Description

SISTEMA E MÉTODO DE ALERTA DE COLISÃO EM TAXIAMENTO fundamentos da invenção [001] A cada ano, tempo e dinheiro significativos são perdidos devido a acidentes com aeronaves comerciais e incidentes durante operações no solo, das quais parcelas significativas ocorrem durante manobras de taxiamento. Durante as operações terrestres, as aeronaves compartilham as pistas de táxi com outras aeronaves, veículos movidos a combustível, trens de transporte de bagagem, escadas móveis e muitos outros objetos. As aeronaves geralmente fazem táxi para e/ou a partir de construções fixas ou outros objetos fixos. Caso uma aeronave colidir com qualquer um desses objetos, a aeronave deve ser reparada e certificada novamente como apta para operação. O custo de reparo e de uma nova certificação, bem como os custos de oportunidade perdidos associados à indisponibilidade da aeronave para uso podem ser muito caros.
[002] Os pilotos estão localizados em uma cabine central, onde estão bem posicionados para observar objetos que estão diretamente em frente à cabine da aeronave. As asas se estendem lateralmente a partir da cabine em ambas as direções. Algumas aeronaves comerciais e algumas aeronaves militares têm grandes envergaduras e assim as asas dessas aeronaves estendem-se lateralmente a uma grande distância da cabine. Alguns aviões comerciais e alguns militares têm motores que ficam abaixo das asas da aeronave. Os pilotos, posicionados na cabine, podem ter dificuldade em saber o risco de colisões entre as pontas das asas e/ou motores e outros objetos externos à aeronave. Um sistema de aeronave para alerta de colisão no solo seria útil para inspecionar a área à frente ou atrás da cauda, as pontas das asas e/ou motores, para detectar obstruções com alcance suficiente e resolução de medição em um possível trajeto de colisão e fornecer alertas visuais e audíveis para a cabine.
sumário
Petição 870190067179, de 16/07/2019, pág. 53/83 / 20 [003] Em um exemplo, um sistema compreende um primeiro sensor inteligente, um segundo sensor inteligente e pelo menos um processador de imagem. O primeiro sensor inteligente é acoplável a uma parte frontal de uma aeronave ao longo de um eixo longitudinal da aeronave. O primeiro sensor inteligente é configurado para detectar luz em uma direção à frente quando conectado à aeronave e para capturar uma imagem durante um primeiro período de tempo. O segundo sensor inteligente é acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave. O segundo sensor é configurado para detectar a luz na direção à frente e para capturar uma segunda imagem durante o primeiro período de tempo. O pelo menos um processador de imagem é configurado para identificar pelo menos um objeto na primeira e segunda imagens, para determinar um primeiro tamanho de pelo menos um objeto na primeira imagem e um segundo tamanho de pelo menos um objeto na segunda imagem e para determinar a distância de pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho.
[004] Em um exemplo, um método compreende capturar uma imagem em uma direção à frente de uma aeronave durante um primeiro período de tempo usando um primeiro sensor inteligente acoplável a uma parte frontal de uma aeronave ao longo de um eixo longitudinal da aeronave; capturar uma segunda imagem na direção à frente durante o primeiro período de tempo usando um segundo sensor inteligente acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave; identificar pelo menos um objeto na primeira e segunda imagens usando pelo menos um processador de imagem; determinar um primeiro tamanho do pelo menos um objeto na primeira imagem usando pelo menos um processador de imagem; determinar um segundo tamanho de pelo menos um objeto na segunda imagem usando o pelo menos um processador de imagem; e determinar uma distância do pelo menos um objeto da aeronave com base no primeiro
Petição 870190067179, de 16/07/2019, pág. 54/83 / 20 tamanho e no segundo tamanho usando o pelo menos um processador de imagem.
[005] Em um exemplo, um sistema compreende um primeiro sensor inteligente, um segundo sensor inteligente e um controlador. O primeiro sensor inteligente é acoplável a uma parte frontal de uma aeronave ao longo de um eixo longitudinal da aeronave. O primeiro sensor inteligente compreende um primeiro sensor de imagem, um projetor e um processador de imagem. O primeiro sensor de imagem é configurado para detectar luz em uma direção à frente da aeronave e para capturar uma imagem durante um primeiro período de tempo. O projetor é configurado para projetar luz estruturada. O segundo sensor inteligente é acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave. O segundo sensor inteligente compreende um segundo sensor de imagem configurado para detectar luz na direção à frente e para capturar uma segunda imagem durante o primeiro período de tempo. O controlador está configurado para fornecer sinais de controle ao primeiro e segundo sensores inteligentes. O sinal de controle inclui dados para indicar o primeiro período de tempo e o padrão da luz estruturada. O processador de imagem é configurado para identificar pelo menos um objeto na primeira e segunda imagens, para determinar um primeiro tamanho de pelo menos um objeto na primeira imagem e um segundo tamanho de pelo menos um objeto na segunda imagem e para determinar a distância de pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho.
breve descrição das figuras [006] A FIG. 1 é uma vista esquemática de um sistema de colisão em taxiamento.
[007] A FIG. 2 ilustra imagens capturadas por sensores inteligentes de um sistema de alerta de colisão em taxiamento.
Petição 870190067179, de 16/07/2019, pág. 55/83 / 20 [008] A FIG. 3 é uma vista aérea de um sistema de alerta de colisão em taxiamento.
descrição detalhada [009] Aparelhos, sistemas e métodos associados estão relacionados à detecção de distância de objeto usando sensores inteligentes montados longitudinalmente. Em algumas aplicações, como mover uma aeronave no solo, a distância a objetos pode ser difícil de determinar a partir da cabine da aeronave. Em alguns casos, os objetos podem não ser visíveis a partir da cabine. A utilização do aparelho, sistemas e métodos associados neste documento, permite a detecção de objetos e a detecção precisa das distâncias dos objetos da aeronave. Dois sensores inteligentes localizados na parte frontal e traseira da aeronave são usados para capturar imagens em direção à frente da aeronave. As distâncias dos objetos na frente da aeronave são determinadas a partir das imagens baseadas no tamanho relativo, gradientes de luz, fluxo óptico e/ou sombras projetadas pelos objetos. Desta forma, distâncias precisas aos objetos são comunicadas aos pilotos auxiliando os pilotos a evitar colisões dispendiosas.
[0010] A FIG. 1 é uma vista esquemática de um sistema de alerta de colisão de taxiamento incluindo aeronave 10, sensor inteligente 12 com campo de visão 14, sensor inteligente 16 com campo de visão 18, objetos 20 e 22, distância calibrada 24, monitor 25, controlador 26 e dispositivos externos 27. O campo de visão 14 é mostrado pelas linhas sólidas 14A e 14B. O campo de visão 18 é mostrado pelas linhas sólidas 18A e 18B. O sensor inteligente 12 inclui o sensor de imagem 28, processador de imagem 30, projetor 32 e controlador 34. O sensor inteligente 16 inclui o processador de imagem 36, o sensor de imagem 38, o controlador 40 e o projetor 42.
[0011] Como mostrado, o sensor inteligente 12 está localizado na direção da frente da aeronave 10. O sensor inteligente 16 está localizado na parte traseira da aeronave 10. Os sensores inteligentes 12 e 16 estão dispostos
Petição 870190067179, de 16/07/2019, pág. 56/83 / 20 ao longo de um eixo longitudinal da aeronave 10. Os sensores inteligentes 12 e 16 são comunicativamente acoplados através dos processadores de imagem 30 e 36. Os sensores inteligentes 12 e 16 são também comunicativamente acoplados uns aos outros e ao monitor 25 através dos controladores 34, 40 e 43. O sensor de imagem 28 está acoplado de forma comunicativa ao processador de imagem 30 e ao controlador 34. O projetor 32 é acoplado de forma comunicativa ao controlador 34. O controlador 34 é adicionalmente acoplado de forma comunicativa ao processador de imagem 30. O sensor de imagem 38 está acoplado de forma comunicativa ao processador de imagem 36 e ao controlador 40. O projetor 42 é acoplado de forma comunicativa ao controlador 40. O objeto 20 está localizado entre a frente da aeronave 10 e a distância calibrada 24. O objeto 22 está localizado na frente da aeronave 10 na distância calibrada 24. O controlador 40 é adicionalmente acoplado de forma comunicativa ao processador de imagem 36.
[0012] O sensor inteligente 12 é configurado para detectar a luz e capturar uma imagem usando o sensor de imagem 28. Em alguns exemplos, o sensor inteligente 12 é uma câmera que inclui lentes ópticas. As imagens capturadas incluem os objetos 20 e 22. O campo de visão 14 indica a região que o sensor inteligente 12 está configurado para detectar a luz e capturar uma imagem. O campo de visão 14 está orientado na direção à frente da aeronave 10 ao longo do eixo longitudinal. A largura e a altura do campo de visão 14 são configuráveis para incluir as asas da aeronave 10, superfícies da pista ou outros detalhes de interesse para um piloto de aeronave 10. As imagens capturadas usando o sensor de imagem 28 são fornecidas ao processador de imagem 30. O sensor inteligente 16 é configurado para detectar a luz e capturar uma imagem usando o sensor de imagem 38. As imagens capturadas incluem os objetos 20 e 22. O campo de visão 18 indica a região que o sensor inteligente 14 está configurado para detectar a luz e capturar uma imagem. O campo de visão 18 está orientado na direção à frente da aeronave 10 ao longo
Petição 870190067179, de 16/07/2019, pág. 57/83 / 20 do eixo longitudinal. A largura e a altura do campo de visão 18 são configuráveis para incluir superfícies da pista, a fuselagem da aeronave 10 ou outros detalhes de interesse para o piloto. As imagens capturadas pelo sensor de imagem 38 são fornecidas ao processador de imagem 36.
[0013] O sensor inteligente 16 é configurado para fornecer luz usando o projetor 32. Em alguns exemplos, o sensor inteligente 16 é uma câmera que inclui lentes ópticas. O sensor inteligente 16 pode fornecer luz direcionada a um objeto, como o objeto 20 ou 22. O projetor 32 pode ser uma matriz de luz, um holofote ou outro dispositivo de iluminação capaz de fornecer e direcionar a luz. O projetor 32 pode ser configurado para fornecer luz visível, luz infravermelha ou outra luz. O projetor 32 pode ser configurado para fornecer luz estruturada em um padrão para fins de processamento de imagem. O projetor 32 pode ser configurado para fornecer luz dentro de um cone conhecido. As qualidades da luz fornecidas pelo projetor 32 baseiam-se nos sinais de comando fornecidos pelo controlador 34. O sensor inteligente 16 é configurado para fornecer luz usando o projetor 42. O sensor inteligente 16 pode fornecer luz direcionada a um objeto, como o objeto 20 ou 22. O projetor 42 pode ser uma matriz de luz, um holofote ou outro dispositivo de iluminação capaz de fornecer e direcionar a luz. O projetor 42 pode ser configurado para fornecer luz visível, luz infravermelha ou outra luz. O projetor 42 pode ser configurado para fornecer luz estruturada em um padrão para fins de processamento de imagem. O projetor 42 pode ser configurado para fornecer luz dentro de um cone conhecido. As qualidades da luz fornecidas pelo projetor 42 baseiam-se nos sinais de comando fornecidos pelo controlador 40.
[0014] O controlador 34 fornece sinais de controle para o sensor de imagem 28 e o projetor 32. Os sinais de controle para o projetor 32 incluem o tempo e as qualidades da luz a serem fornecidos pelo projetor 32. Os sinais de controle para o sensor de imagem 28 incluem temporizações de captura de
Petição 870190067179, de 16/07/2019, pág. 58/83 / 20 imagem. O controlador 34 recebe dados de imagem do processador de imagens 30 e os fornece ao controlador 26 para exibição no monitor 25. Os dados de imagem incluem imagens capturadas e a distância dos objetos 20 e 22 da aeronave 10. O controlador 40 fornece sinais de controle para o sensor de imagem 38 e o projetor 42. Os sinais de controle para o projetor 42 incluem o tempo e as qualidades da luz a serem fornecidos pelo projetor 42. Os sinais de controle para o sensor de imagem 38 incluem temporizações de captura de imagem. O controlador 40 recebe dados de imagem do processador de imagens 36 e os fornece ao controlador 26 para exibição no monitor 25. Os dados de imagem incluem imagens capturadas e a distância dos objetos 20 e 22 da aeronave 10. O controlador 26 está configurado para exibir imagens capturadas no monitor 25, incluindo uma sobreposição que indica a distância dos objetos 20 e 22 da aeronave 10. Em um exemplo, os controladores 27, 34 e 40 coordenam sinais de controle e temporizações. Em outro exemplo, um dos controladores 27, 34 e 40 dita os sinais e temporizações de controle e os outros controladores fornecem sinais de controle em conformidade. Ainda em outro exemplo, os sensores inteligentes 12 e 16 não incluem controladores e todos os sinais de controle são fornecidos pelo controlador 26. O controlador 26 está configurado para enviar e receber dados para os dispositivos externos 27. Os dispositivos externos 27 podem incluir fontes de luz de aeronaves, sistemas de computação de aeronaves, alarmes, etc.
[0015] Os processadores de imagem 30 e 36 são configurados para determinar as distâncias dos objetos 20 e 22 da aeronave 10 em imagens capturadas pelos sensores de imagens 28 e 38. A distância pode ser a distância até a extremidade dianteira, uma asa, um motor ou outra parte da aeronave 10. Em um exemplo, as distâncias dos objetos 20 e 22 são determinadas com base em seu tamanho relativo em uma imagem capturada pelo sensor de imagem 28 e uma imagem capturada pelo sensor de imagem 38. Neste exemplo, as imagens capturadas pelos sensores de imagem 28 e 38 são capturadas durante
Petição 870190067179, de 16/07/2019, pág. 59/83 / 20 um período de tempo. O tamanho relativo dos objetos 20 e 22 entre as imagens capturadas pelos sensores de imagem 28 e 38 depende da distância dos objetos 20 e 22 da aeronave 10 em relação à distância calibrada 24. Objetos que estão mais próximos da aeronave 10 do que da distância calibrada 24, como o objeto 20, parecerão maiores em uma imagem capturada pelo processador de imagem 38 do que em uma imagem tirada durante o período de tempo pelo processador de imagem 28. Os objetos na distância calibrada 24, como o objeto 22, aparecerão do mesmo tamanho nas imagens tiradas pelos processadores de imagem 28 e 38 quando tiradas ao mesmo tempo. Objetos mais distantes da aeronave 10 do que a distância calibrada 24 aparecerão maiores em uma imagem capturada pelo processador de imagem 28 do que em uma imagem tirada durante o período de tempo pelo processador de imagem 38. A distância calibrada 24 é determinada após os sensores inteligentes 12 e 16 serem instalados na aeronave 10. Em um exemplo, a distância calibrada 24 pode ser ajustada pela alteração das distâncias focais dos sensores inteligentes 12 e 16.
[0016] Em um exemplo, as distâncias dos objetos 20 e 22 são determinadas com base no fluxo óptico. Neste exemplo, uma imagem é capturada pelo sensor de imagem 28 e uma imagem é capturada pelo sensor de imagem 38 durante um primeiro período de tempo. Um tempo predeterminado após o primeiro período de tempo que uma imagem é capturada pelo sensor de imagem 28 e uma imagem é capturada pelo sensor de imagem 38 durante um segundo período de tempo. O movimento dos objetos 20 e 22 nas imagens desde o primeiro período de tempo até ao segundo período de tempo é o fluxo óptico. O fluxo óptico relativo dos objetos 20 e 22 entre as imagens capturadas pelo sensor de imagem 28 e as imagens capturadas pelo sensor de imagem 38 depende da distância dos objetos 20 e 22 da aeronave 10 em relação à distância calibrada 24. Objetos que estão mais próximos da aeronave 10 do que da distância calibrada 24,
Petição 870190067179, de 16/07/2019, pág. 60/83 / 20 como o objeto 20, terão um fluxo óptico maior de uma imagem para a próxima capturada pelo processador de imagem 38 do que de uma imagem para a próxima tirada ao mesmo tempo pelo processador de imagem 28. Os objetos na distância calibrada 24, como o objeto 22, terão o mesmo fluxo óptico de uma imagem para a próxima, tomada pelos processadores de imagem 28 e 38. Objetos mais distantes da aeronave 10 do que a distância calibrada 24 aparecerão maiores em uma imagem capturada pelo processador de imagem 28 do que em uma imagem tirada ao mesmo tempo pelo processador de imagem 38.
[0017] A iluminação de flash que utiliza projetores 32 e 42 permite características de imagem semelhantes (além do tamanho) das imagens captadas pelos sensores de imagem 28 e 38. A iluminação do flash permite a operação em níveis de pouca luz e elimina uma fonte de variação de imagem da luz ambiente. Um flash pode ser emitido do projetor 32 e/ou 42 por menos de 0,1 milissegundos. Os sensores de imagem 28 e 38 são disparados pelos controladores 34 e 40 para capturar imagens durante os flashes. Em um exemplo, os sensores de imagem 28 e 38 são acionados pelos controladores 34 e 40 para capturar imagens durante flashes estroboscópicos de sistemas de iluminação de aeronaves 10 que são externas ao sistema de alerta de colisão no taxiamento. A iluminação proporcionada por várias combinações do projetor 32, projetor 42 e/ou sistemas de iluminação externos, permite aos processadores de imagem 30 e 36 verificar se os sensores de imagem 28 e 38 estão a capturar imagens dos mesmos objetos. Para circunstâncias em que apenas um único objeto está no campo de visão, uma análise BLOB (controle de presença) simples mede um objeto dimensionado aleatoriamente ou limitado em cada imagem, com uma única comparação de tamanho necessária.
[0018] Em um exemplo, o projetor 42 fornece pulsos de luz curtos para iluminar os objetos 20 e 22. Tanto as formas geométricas iluminadas
Petição 870190067179, de 16/07/2019, pág. 61/83 / 20 pelos pulsos de luz quanto a intensidade da luz retornada são usadas para avaliar as distâncias relativas dos objetos 20 e 22. Para uma superfície que é plana e perpendicular aos sensores inteligentes 12 e 16, a disparidade de tamanho e brilho da superfície é usada para determinar a distância. A luz de alta intensidade curta piscada fornecida pelo projetor 42 é variada de imagem capturada para imagem capturada. Os processadores de imagem 30 e 36 concentram-se em porções relevantes das imagens capturadas referidas como o campo de visão relevante. O campo de visão relevante muda de imagem capturada para imagem capturada conforme a aeronave 10 se move.
[0019] Em um exemplo, os objetos 20 e 22 estão localizados no solo. Neste exemplo, a disparidade de gradiente de luz entre as imagens capturadas pelo sensor de imagem 28 e pelo sensor de imagem 38 durante um período de tempo é usada em conjunto com a disparidade de tamanho para determinar a distância. O projetor 42 fornece pulsos de luz curtos para iluminar os objetos 20 e 22. As imagens capturadas pelo sensor de imagem 38 contêm uma variação limitada do nível de luz devido à refletividade da superfície dos objetos e da superfície na imagem, mas não é afetada pela distância. A lei do quadrado inverso da fonte de luz para a câmera direta é exatamente cancelada pelo campo de visão correspondente do sensor de imagem 38. As imagens capturadas pelo sensor de imagem 28 contêm um cone de luz que é mais brilhante quando refletido a partir de objetos e superfícies mais próximas do sensor inteligente 16 e fica mais escuro quanto mais distante do sensor inteligente 16 forem os objetos e superfícies. Este é um gradiente de intensidade de luz e o gradiente em cada ponto da imagem capturado pelo sensor de imagem 28 corresponde a uma distância diferente. Neste exemplo, os objetos 20 e 22 podem ser selecionados usando a disparidade de tamanho entre as imagens capturadas usando os sensores de imagem 28 e 38, bem como o gradiente de luz das imagens capturadas pelo sensor de imagem 28. Neste exemplo, os ângulos de superfície podem ser estimados também. Uma
Petição 870190067179, de 16/07/2019, pág. 62/83 / 20 superfície perpendicular não mostrará nenhum gradiente além da refletividade da superfície ou a cor nas imagens capturadas pelo sensor de imagem 28 e pelo sensor de imagem 38. A distância até a superfície perpendicular pode ser determinada pela diferença de tamanho nas imagens capturadas pelo sensor de imagem 28 e pelo sensor de imagem 38. Uma superfície a um ângulo da perpendicular só irá variar na imagem capturada pelo sensor de imagem 38 devido à cor e reflexividade da superfície. A superfície em um ângulo da perpendicular incluirá um gradiente de luz nas imagens capturadas pelo sensor de imagem 28.
[0020] Em um exemplo, uma fonte de luz externa ao sensor inteligente 16 é usada para fornecer luz. Neste exemplo, a incerteza de uma superfície inclinada é removida usando os sensores inteligentes 12 e 16. A fonte de luz externa emite um nível controlado de luz a partir de um local conhecido. Isto permite que os sensores inteligentes 12 e 16 determinem a distância e o ângulo de superfície da superfície inclinada. A fonte de luz externa fornece um gradiente de luz em superfícies inclinadas para imagens capturadas pelo sensor de imagem 28 e pelo sensor de imagem 38. Os gradientes de luz e tamanhos da superfície nas imagens capturadas pelo sensor de imagem 28 e pelo sensor de imagem 38 são utilizados pelos processadores de imagem 30 e 36 para determinar o tamanho e o ângulo da superfície.
[0021] Em um exemplo, um valor de extinção de luz é usado para determinar a distância de objetos e superfícies. Há tipicamente alguma absorção e dispersão de luz na atmosfera, medida como um valor de extinção. Neste exemplo, à medida que a aeronave 10 se aproxima de um objeto ou superfície, tal como o objeto 20, o objeto ou superfície fica mais brilhante. Neste exemplo, a luz é fornecida pelo projetor 42. O valor de extinção é estimado pela comparação do brilho do objeto ou superfície entre uma imagem capturada pelo sensor de imagem 28 e o sensor de imagem 38. A
Petição 870190067179, de 16/07/2019, pág. 63/83 / 20 imagem capturada pelo sensor de imagem 28 é capturada a uma distância maior da luz refletida pelo objeto 20. A reflexão da fonte de luz única é medida a partir de duas distâncias, que os processadores de imagem 30 e 36 usam para determinar um valor de extinção. O valor de extinção pode ser usado para determinar a distância do objeto 20 similar a um gradiente de luz.
[0022] A FIG. 2 ilustra a imagem 44 e a imagem 46. A imagem 44 inclui o objeto 20 e o objeto 22. A imagem 46 inclui o objeto 20 e o objeto 22. Para fins de clareza e facilidade de discussão, as imagens 44 e 46 serão discutidas com relação ao sistema de alerta de colisão em taxiamento da FIG.
1.
[0023] A imagem 44 é uma imagem captada pelo sensor de imagem 28 do campo de visão 14. A imagem 46 é uma imagem capturada pelo sensor de imagem 38 do campo de visão 18. A imagem 44 e a imagem 46 foram capturadas durante um período de tempo. O período de tempo pode ser menor ou igual a 0,1 milissegundos. Como mostrado, o objeto 20 é uma imagem menor 44 que na imagem 46. O objeto 20 é menor na imagem 44 porque o objeto 20 está localizado entre a aeronave 10 e a distância de calibração 24. O objeto 22 é do mesmo tamanho na imagem 44 e na imagem 46. O objeto 22 é do mesmo tamanho nas imagens 44 e 46 porque o objeto 22 está na distância de calibração 24.
[0024] A FIG. 3 é uma vista aérea do sistema de alerta de colisão em taxiamento da FIG. 1 incluindo a aeronave 10, o sensor inteligente 12, o campo de visão 14, o sensor inteligente 16, o campo de visão 18, a fonte de luz 45, o objeto 47, a luz projetada 48, a sombra 50, a luz projetada 52 e a sombra 54. O campo de visão 14 é mostrado pelas linhas pontilhadas 14C e 14D. O campo de visão 18 é mostrado pelas linhas pontilhadas 18C e 18D.
[0025] Como mostrado, o sistema de alerta de colisão de taxiamento está configurado para usar a fonte de luz 45. A fonte de luz 45 é a iluminação estroboscópica existente da aeronave. A fonte de luz 45 é um dos dispositivos
Petição 870190067179, de 16/07/2019, pág. 64/83 / 20 externos 27 da FIG. 1. Em um exemplo, o controlador 26 recebe um sinal indicando quando a fonte de luz 45 irá piscar. Em outro exemplo, os sensores inteligentes 12 e 16 determinam a frequência dos flashes da fonte de luz 45 através do processamento de imagem. Os sensores inteligentes 12 e 16 são configurados para capturar imagens durante os flashes da fonte de luz 45. Os sensores inteligentes 12 e 16 são configurados para detectar a sombra 54 que resulta do objeto 47 bloqueando a luz emitida pela fonte de luz 45. O sensor inteligente 16 fornece luz projetada 48 durante um período de tempo. A luz projetada 48 é direcionada para o objeto 47. O objeto 47 bloqueia pelo menos uma porção da luz projetada 48, resultando na sombra 50. O sensor inteligente 12 pode detectar a sombra 50. O sensor inteligente 12 e o sensor inteligente 16 são, cada um, configurados para capturar uma imagem quando o sensor inteligente 16 fornece luz projetada 48. O sensor inteligente 12 é configurado para capturar outra imagem durante um flash da fonte de luz 45. Os sensores inteligentes 12 e 16 são configurados para usar a disparidade angular da imagem das sombras 50 e 54 nas imagens capturadas e nos locais conhecidos dos sensores inteligentes 12 e 16 para determinar a distância do objeto 47 da aeronave 10.
[0026] Em alguns exemplos, os sensores inteligentes 12 e 14 têm diferentes campos de visão e capturam imagens de tamanhos diferentes. O sensor 28 pode ter uma resolução quádrupla da resolução do sensor 38 com o dobro de pixels em cada direção. Na distância de calibração, 24 imagens capturadas pelos sensores inteligentes 12 e 14 terão o mesmo tamanho angular por pixel. Essa resolução angular correspondente pode ser executada via óptica, ou através de um processo de combinação da carga de pixels adjacentes em um sensor de imagem CCD (pixel binning), onde a resolução de um sensor é reduzida por um fator de 2. O pixel binning pode ser executado no hardware dos sensores 28 e/ou 38 ou executado durante o processamento de imagem pelos processadores 30 e/ou 36.
Petição 870190067179, de 16/07/2019, pág. 65/83 / 20 [0027] O campo de visão mais amplo do sensor inteligente 12 permite que o sensor inteligente 12 monitore os objetos que se aproximam das pontas das asas da aeronave e do motor da aeronave 10. O sensor inteligente 12 pode usar o rastreamento e processamento de vídeo para estimar as distâncias do objeto para a aeronave 10 pelo rastreamento de objetos em uma sequência de imagens capturadas. O tamanho e a distância conhecidos das pontas das asas dos aviões e dos motores das aeronaves 10 reduzem o processamento requerido do processamento de vídeo feito desta maneira.
[0028] Consequentemente, aparelhos, sistemas e métodos associados neste documento permitem a detecção de objetos e a detecção precisa das distâncias dos objetos da aeronave. A utilização do arranjo de sensores inteligentes duplos descrita neste documento proporciona a distância dos objetos à frente da aeronave com base no tamanho relativo, gradientes de luz, fluxo óptico e/ou sombras projetadas pelos objetos. Os pilotos de aeronaves recebem distâncias precisas dos objetos no trajeto da aeronave, ajudando os pilotos a evitar impactos dispendiosos.
Discussão das Modalidades Possíveis [0029] O que segue são descrições não exclusivas de possíveis modalidades da presente invenção.
[0030] Um sistema inclui um primeiro sensor inteligente, um segundo sensor inteligente e pelo menos um processador de imagem. O primeiro sensor inteligente é acoplável a uma parte frontal de uma aeronave ao longo de um eixo longitudinal da aeronave. O primeiro sensor inteligente é configurado para detectar luz em uma direção à frente quando conectado à aeronave e para capturar uma imagem durante um primeiro período de tempo. O segundo sensor inteligente é acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave. O segundo sensor é configurado para detectar a luz na direção à frente e para capturar uma segunda imagem durante o primeiro período de tempo. O pelo menos um
Petição 870190067179, de 16/07/2019, pág. 66/83 / 20 processador de imagem é configurado para identificar pelo menos um objeto na primeira e segunda imagens, para determinar um primeiro tamanho de pelo menos um objeto na primeira imagem e um segundo tamanho de pelo menos um objeto na segunda imagem e para determinar a distância de pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho. [0031] O sistema de acordo com o parágrafo anterior pode opcionalmente incluir, adicional e/ou alternativamente, qualquer um ou mais das características, configurações ou componentes adicionais a seguir:
[0032] Uma outra modalidade do sistema anterior, em que o primeiro e segundo sensores inteligentes podem ser calibrados de modo que o primeiro tamanho e o segundo tamanho sejam iguais quando o pelo menos um objeto está a uma distância de calibração do sistema, o primeiro tamanho sendo maior do que o segundo tamanho quando o pelo menos um objeto está mais próximo que a distância de calibração do sistema e o primeiro tamanho sendo menor que o segundo tamanho quando pelo menos um objeto está mais distante que a distância de calibração do sistema.
[0033] Uma outra modalidade de qualquer um dos sistemas anteriores, em que o primeiro sensor inteligente pode incluir um primeiro sensor de imagem configurado para detectar luz e um primeiro projetor configurado para emitir luz. O segundo sensor inteligente pode incluir um segundo sensor de imagem configurado para detectar luz e um segundo projetor configurado para emitir luz.
[0034] Uma outra modalidade de qualquer um dos sistemas anteriores pode incluir ainda pelo menos um controlador configurado para fornecer comandos ao primeiro e segundo projetores.
[0035] Uma outra modalidade de qualquer dos sistemas anteriores, em que o primeiro projetor pode ser configurado para emitir luz estruturada.
Petição 870190067179, de 16/07/2019, pág. 67/83 / 20 [0036] Uma outra modalidade de qualquer um dos sistemas anteriores pode ainda incluir pelo menos um alarme configurado para fornecer um alerta com base na distância determinada do pelo menos um objeto da aeronave.
[0037] Uma outra modalidade de qualquer um dos sistemas anteriores pode ainda incluir pelo menos um monitor configurado para fornecer a distância determinada de pelo menos um objeto da aeronave.
[0038] Uma outra modalidade de qualquer um dos sistemas anteriores, em que o primeiro sensor inteligente pode ser ainda configurado para capturar uma terceira imagem durante um segundo período de tempo e o segundo sensor inteligente pode ser configurado para capturar a quarta imagem durante o segundo período de tempo. Pelo menos um processador de imagem pode ainda ser configurado para detectar um primeiro fluxo óptico do pelo menos um objeto baseado na primeira e terceira imagens capturadas, para determinar um segundo fluxo óptico baseado na segunda e quarta imagens capturadas e para determinar a distância do pelo menos um objeto da aeronave com base no primeiro e no segundo fluxo óptico.
[0039] Uma outra modalidade de qualquer um dos sistemas anteriores, em que o primeiro sensor inteligente pode incluir um projetor configurado para emitir luz durante o primeiro período de tempo e o pelo menos um processador de imagem pode ser configurado adicionalmente para detectar um primeiro gradiente de luz no pelo menos um objeto na segunda imagem capturada e para determinar ainda a distância do pelo menos um objeto da aeronave com base no primeiro gradiente de luz.
[0040] Uma outra modalidade de qualquer um dos sistemas anteriores, em que pelo menos um processador de imagem pode ser configurado para determinar um segundo gradiente de luz na primeira imagem capturada e para determinar um ângulo de superfície do pelo menos um objeto baseado no primeiro e segundo gradiente de luz.
Petição 870190067179, de 16/07/2019, pág. 68/83 / 20 [0041] Uma outra modalidade de qualquer dos sistemas anteriores, em que o primeiro sensor inteligente pode incluir um projetor configurado para emitir luz durante o primeiro período de tempo e o segundo sensor inteligente pode ser configurado para capturar uma terceira imagem durante um segundo período de tempo com o segundo período de tempo ocorrendo durante um flash de uma fonte de luz da aeronave e em que pelo menos um processador de imagem pode ser configurado para detectar uma primeira sombra na primeira imagem, uma segunda sombra na segunda imagem e uma terceira sombra na terceira imagem e determinar a distância de pelo menos um objeto da aeronave com base na primeira, segunda e terceira sombra.
[0042] Um método inclui capturar uma imagem em uma direção à frente de uma aeronave durante um primeiro período de tempo usando um primeiro sensor inteligente acoplável a uma parte frontal de uma aeronave ao longo de um eixo longitudinal da aeronave; capturar uma segunda imagem na direção à frente durante o primeiro período de tempo usando um segundo sensor inteligente acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave; identificar pelo menos um objeto na primeira e segunda imagens usando pelo menos um processador de imagem; determinar um primeiro tamanho do pelo menos um objeto na primeira imagem usando pelo menos um processador de imagem; determinar um segundo tamanho de pelo menos um objeto na segunda imagem usando o pelo menos um processador de imagem; e determinar uma distância do pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho usando o pelo menos um processador de imagem.
[0043] O método do parágrafo anterior pode incluir, opcionalmente, adicionalmente e/ou alternativamente, qualquer um ou mais dos seguintes recursos, configurações, componentes adicionais e/ou etapas:
[0044] Uma outra modalidade do sistema anterior, em que a determinação da distância de pelo menos um objeto da aeronave pode ainda
Petição 870190067179, de 16/07/2019, pág. 69/83 / 20 ser baseada em uma distância de calibração do primeiro e segundo sensores inteligentes.
[0045] Uma outra modalidade de qualquer um dos métodos anteriores pode ainda incluir o fornecimento de um alerta com base na distância determinada do pelo menos um objeto da aeronave usando pelo menos um alarme.
[0046] Uma outra modalidade de qualquer um dos métodos anteriores pode ainda incluir a exibição da distância determinada de pelo menos um objeto da aeronave usando pelo menos um monitor.
[0047] Uma outra modalidade de qualquer um dos métodos anteriores pode ainda incluir a captura de uma terceira imagem durante um segundo período de tempo usando o primeiro sensor inteligente, a captura de uma quarta imagem durante o segundo período de tempo usando o segundo sensor inteligente, detecção de um primeiro fluxo óptico do pelo menos um objeto baseado na primeira e terceira imagem usando o pelo menos um processador de imagem, detecção de um segundo fluxo óptico do pelo menos um objeto baseado na segunda e quarta imagens e a determinação de uma distância de pelo menos um objeto da aeronave sendo baseada ainda no primeiro e segundo fluxo óptico.
[0048] Uma outra modalidade de qualquer um dos métodos anteriores, em que o fornecimento de luz durante o primeiro período de tempo pode ser feito usando um projetor do primeiro sensor inteligente, a detecção de um primeiro gradiente de luz no pelo menos um objeto na segunda imagem pode ser feito usando o pelo menos um processador de imagem a e determinação da distância do pelo menos um objeto da aeronave para a aeronave pode ainda ser baseada no primeiro gradiente de luz.
[0049] Uma outra modalidade de qualquer dos métodos anteriores pode ainda incluir a determinação de um segundo gradiente de luz de pelo menos um objeto na primeira imagem usando o pelo menos um processador
Petição 870190067179, de 16/07/2019, pág. 70/83 / 20 de imagem e a determinação de um ângulo de superfície de pelo menos um objeto baseado no primeiro e segundo gradiente de luz usando pelo menos um processador de imagem.
[0050] Uma outra modalidade de qualquer um dos métodos anteriores pode incluir ainda o fornecimento de luz durante o primeiro período de tempo usando um projetor do primeiro sensor inteligente, captura de uma terceira imagem usando o segundo sensor inteligente durante um segundo período de tempo com o segundo período de tempo ocorrendo durante um flash de uma fonte de luz da aeronave, detecção de uma primeira sombra de pelo menos um objeto na primeira imagem, detecção de uma segunda sombra de pelo menos um objeto na segunda imagem e detecção de uma terceira sombra de pelo menos um objeto na terceira imagem. A determinação da distância do pelo menos um objeto da aeronave para a aeronave pode ser ainda baseada na primeira, segunda e terceira sombra de pelo menos um objeto.
[0051] Em outra modalidade, um sistema inclui um primeiro sensor inteligente, um segundo sensor inteligente e um controlador. O primeiro sensor inteligente é acoplável a uma parte frontal de uma aeronave ao longo de um eixo longitudinal da aeronave. O primeiro sensor inteligente compreende um primeiro sensor de imagem, um projetor e um processador de imagem. O primeiro sensor de imagem é configurado para detectar luz em uma direção à frente da aeronave e para capturar uma imagem durante um primeiro período de tempo. O projetor é configurado para projetar luz estruturada. O segundo sensor inteligente é acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave. O segundo sensor inteligente compreende um segundo sensor de imagem configurado para detectar luz na direção à frente e para capturar uma segunda imagem durante o primeiro período de tempo. O controlador está configurado para fornecer sinais de controle ao primeiro e segundo sensores inteligentes. O sinal de controle inclui dados para indicar o primeiro período de tempo e o padrão da
Petição 870190067179, de 16/07/2019, pág. 71/83 / 20 luz estruturada. O processador de imagem é configurado para identificar pelo menos um objeto na primeira e segunda imagens, para determinar um primeiro tamanho de pelo menos um objeto na primeira imagem e um segundo tamanho de pelo menos um objeto na segunda imagem e para determinar a distância de pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho.
[0052] Embora a invenção seja descrita com referência a exemplos de modalidades, será compreendido por aqueles versados na técnica que várias alterações podem ser feitas e equivalentes podem ser substituídas por elementos respectivos sem divergir do escopo da invenção. Além disso, muitas modificações podem ser feitas para se adaptar a uma situação específica ou material aos ensinamentos da invenção sem partir do seu escopo essencial. Portanto, pretende-se que a invenção não esteja limitada à(s) modalidade(s) divulgada(s) em particular, mas que a invenção inclua todas as modalidades abrangidas pelo escopo das reivindicações anexas.

Claims (20)

  1. REIVINDICAÇÕES
    1. Sistema de alerta de colisão em taxiamento, caracterizado pelo fato de que compreende:
    um primeiro sensor inteligente acoplável a uma porção frontal de uma aeronave ao longo de um eixo longitudinal da aeronave, o primeiro sensor inteligente configurado para detectar luz em direção à frente quando conectado à aeronave e para capturar uma imagem durante um primeiro período de tempo;
    um segundo sensor inteligente acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave, o segundo sensor inteligente configurado para detectar luz na direção à frente e para capturar uma segunda imagem durante o primeiro período de tempo; e pelo menos um processador de imagem configurado para identificar pelo menos um objeto na primeira e segunda imagens, para determinar um primeiro tamanho de pelo menos um objeto na primeira imagem e um segundo tamanho de pelo menos um objeto na segunda imagem e para determinar a distância de pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho.
  2. 2. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que o primeiro e segundo sensores inteligentes são calibrados de modo que o primeiro tamanho e o segundo tamanho sejam iguais quando o pelo menos um objeto está a uma distância de calibração do sistema, o primeiro tamanho sendo maior do que o segundo tamanho quando o pelo menos um objeto está mais próximo que a distância de calibração do sistema e o primeiro tamanho sendo menor que o segundo tamanho quando pelo menos um objeto está mais distante que a distância de calibração do sistema.
  3. 3. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que:
    o primeiro sensor inteligente compreende:
    Petição 870190067179, de 16/07/2019, pág. 73/83
    2 / 7 um primeiro sensor de imagem configurado para detectar luz; e um primeiro projetor configurado para emitir luz; e o segundo sensor inteligente é composto por:
    um segundo sensor de imagem configurado para detectar luz; e um segundo projetor configurado para emitir luz.
  4. 4. Sistema de acordo com a reivindicação 3, caracterizado pelo fato de que compreende ainda:
    pelo menos um controlador configurado para fornecer comandos ao primeiro e ao segundo projetores.
  5. 5. Sistema de acordo com a reivindicação 3, caracterizado pelo fato de que o primeiro projetor está configurado para emitir luz estruturada.
  6. 6. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda:
    pelo menos um alarme configurado para fornecer um alerta com base na distância determinada de pelo menos um objeto da aeronave.
  7. 7. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda:
    pelo menos um monitor configurado para fornecer a distância determinada do pelo menos um objeto da aeronave.
  8. 8. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que:
    o primeiro sensor inteligente é configurado ainda para capturar uma terceira imagem durante um segundo período de tempo;
    o segundo sensor inteligente é configurado ainda para capturar a quarta imagem durante o segundo período de tempo; e o pelo menos um processador de imagem é configurado ainda para detectar um primeiro fluxo óptico do pelo menos um objeto baseado na primeira e terceira imagens capturadas, para determinar um segundo fluxo óptico baseado na segunda e quarta imagens capturadas e para determinar a
    Petição 870190067179, de 16/07/2019, pág. 74/83
    3 / 7 distância do pelo menos um objeto da aeronave com base no primeiro e no segundo fluxo óptico.
  9. 9. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que:
    o primeiro sensor inteligente inclui um projetor configurado para emitir luz durante o primeiro período de tempo; e o pelo menos um processador de imagem é configurado ainda para detectar um primeiro gradiente de luz no pelo menos um objeto na segunda imagem capturada e para determinar ainda a distância do pelo menos um objeto da aeronave com base no primeiro gradiente de luz.
  10. 10. Sistema de acordo com a reivindicação 9, caracterizado pelo fato de que pelo menos um processador de imagem é configurado para determinar um segundo gradiente de luz na primeira imagem capturada e para determinar um ângulo de superfície do pelo menos um objeto baseado no primeiro e segundo gradiente de luz.
  11. 11. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que:
    o primeiro sensor inteligente inclui um projetor configurado para emitir luz durante o primeiro período de tempo;
    o segundo sensor inteligente é configurado para capturar uma terceira imagem durante um segundo período de tempo, o segundo período de tempo ocorrendo durante um flash de uma fonte de luz da aeronave;
    o pelo menos um processador de imagem sendo configurado ainda para detectar uma primeira sombra na primeira imagem, uma segunda sombra na segunda imagem e uma terceira sombra na terceira imagem e para determinar a distância de pelo menos um objeto da aeronave com base na primeira, segunda e terceira sombra.
  12. 12. Método de alerta de colisão em taxiamento, caracterizado pelo fato de que compreende:
    Petição 870190067179, de 16/07/2019, pág. 75/83
    4 / 7 captura de uma imagem em uma direção à frente de uma aeronave durante um primeiro período de tempo utilizando um primeiro sensor inteligente acoplável a uma parte frontal de uma aeronave ao longo de um eixo longitudinal da aeronave;
    captura de uma segunda imagem na direção à frente durante o primeiro período de tempo usando um segundo sensor inteligente acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave; e identificação de pelo menos um objeto na primeira e segunda imagens usando pelo menos um processador de imagem;
    determinação de um primeiro tamanho do pelo menos um objeto na primeira imagem usando pelo menos um processador de imagem;
    determinação de um segundo tamanho de pelo menos um objeto na segunda imagem usando o pelo menos um processador de imagem; e determinação de uma distância de pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho usando o pelo menos um processador de imagem.
  13. 13. Método de acordo com a reivindicação 12, caracterizado pelo fato de que a determinação da distância de, pelo menos, um objeto da aeronave é ainda baseada em uma distância de calibração do primeiro e segundo sensores inteligentes.
  14. 14. Método de acordo com a reivindicação 12, caracterizado pelo fato de que compreende ainda:
    fornecimento de um alerta com base na distância determinada de pelo menos um objeto da aeronave usando pelo menos um alarme.
  15. 15. Método de acordo com a reivindicação 12, caracterizado pelo fato de que compreende ainda a exibição da distância determinada de pelo menos um objeto da aeronave usando pelo menos um monitor.
    Petição 870190067179, de 16/07/2019, pág. 76/83
    5 / 7
  16. 16. Método de acordo com a reivindicação 12, caracterizado pelo fato de que compreende ainda:
    captura de uma terceira imagem durante um segundo período de tempo usando o primeiro sensor inteligente;
    captura de uma quarta imagem durante o segundo período de tempo usando o segundo sensor inteligente;
    detecção de um primeiro fluxo óptico do pelo menos um objeto, baseado na primeira e terceira imagem utilizando pelo menos um processador de imagem;
    detecção de um segundo fluxo óptico do pelo menos um objeto baseado na segunda e quarta imagens; e determinação da distância de pelo menos um objeto da aeronave sendo baseada ainda no primeiro e segundo fluxo óptico.
  17. 17. Método de acordo com a reivindicação 12, caracterizado pelo fato de que:
    fornecimento de luz durante o primeiro período de tempo usando um projetor do primeiro sensor inteligente;
    detecção de um primeiro gradiente de luz no pelo menos um objeto na segunda imagem usando pelo menos um processador de imagem e em que a determinação da distância do pelo menos um objeto da aeronave para a aeronave é ainda baseado no primeiro gradiente de luz.
  18. 18. Método de acordo com a reivindicação 17, caracterizado pelo fato de que compreende ainda:
    determinação de um segundo gradiente de luz do pelo menos um objeto na primeira imagem usando o pelo menos um processador de imagem; e determinação de um ângulo de superfície do pelo menos um objeto com base no primeiro e segundo gradiente de luz utilizando pelo menos um processador de imagem.
    Petição 870190067179, de 16/07/2019, pág. 77/83
    6 / 7
  19. 19. Método de acordo com a reivindicação 12, caracterizado pelo fato de que compreende ainda:
    fornecimento de luz durante o primeiro período de tempo usando um projetor do primeiro sensor inteligente;
    captura de uma terceira imagem utilizando o segundo sensor inteligente durante um segundo período de tempo, o segundo período de tempo ocorrendo durante um flash de uma fonte de luz da aeronave;
    detecção de uma primeira sombra do pelo menos um objeto na primeira imagem;
    detecção de uma segunda sombra do pelo menos um objeto na segunda imagem;
    detecção de uma terceira sombra do pelo menos um objeto na terceira imagem; e em que a determinação da distância do pelo menos um objeto da aeronave para a aeronave é ainda baseada na primeira, segunda e terceira sombra de pelo menos um objeto.
  20. 20. Sistema de alerta de colisão em taxiamento, caracterizado pelo fato de que compreende:
    um primeiro sensor inteligente acoplável a uma parte frontal de uma aeronave ao longo de um eixo longitudinal da aeronave, o primeiro sensor inteligente compreendendo:
    um primeiro sensor de imagem configurado para detectar luz em uma direção à frente quando conectado à aeronave e para capturar uma imagem durante um primeiro período de tempo;
    um projetor configurado para projetar luz estruturada; e um processador de imagem;
    um segundo sensor inteligente acoplável a uma parte traseira de uma aeronave ao longo do eixo longitudinal da aeronave, o segundo sensor inteligente compreendendo um segundo sensor de imagem configurado para
    Petição 870190067179, de 16/07/2019, pág. 78/83
    7 / 7 detectar luz na direção à frente e para capturar uma segunda imagem durante o primeiro período de tempo; e um controlador para fornecer sinais de controle ao primeiro e segundo sensores inteligentes, os sinais de controle incluindo dados para indicar o primeiro período de tempo e o padrão da luz estruturada e em que o processador de imagem é configurado para identificar pelo menos um objeto na primeira e segunda imagens, para determinar um primeiro tamanho de pelo menos um objeto na primeira imagem e um segundo tamanho de pelo menos um objeto na segunda imagem e para determinar a distância de pelo menos um objeto da aeronave com base no primeiro tamanho e no segundo tamanho.
BR102019014646A 2018-07-18 2019-07-16 sistema e método de alerta de colisão em taxiamento BR102019014646A2 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US16/038,984 US10922986B2 (en) 2018-07-18 2018-07-18 Taxi strike alert system

Publications (1)

Publication Number Publication Date
BR102019014646A2 true BR102019014646A2 (pt) 2020-02-04

Family

ID=67145601

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102019014646A BR102019014646A2 (pt) 2018-07-18 2019-07-16 sistema e método de alerta de colisão em taxiamento

Country Status (4)

Country Link
US (1) US10922986B2 (pt)
EP (1) EP3597545B1 (pt)
BR (1) BR102019014646A2 (pt)
CA (1) CA3049821A1 (pt)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11981438B2 (en) * 2019-09-26 2024-05-14 Rockwell Collins, Inc. Retention of flight deck preferences
EP3812283B1 (en) * 2019-10-22 2024-03-20 Goodrich Lighting Systems GmbH & Co. KG Exterior aircraft image projector
CN113763754B (zh) * 2020-06-02 2023-04-25 璞洛泰珂(上海)智能科技有限公司 智能状态灯控制系统及其控制方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005011156D1 (de) * 2004-09-07 2009-01-02 William Michael Butler Kollisionsvermeidungs-warn- und taxi-lenkeinrichtung
DE102006031009B4 (de) 2006-07-05 2008-07-10 Airbus Deutschland Gmbh Verfahren und Vorrichtung zum Überwachen des Zustands von Strukturbauteilen
US7932838B2 (en) 2008-11-17 2011-04-26 Honeywell International, Inc. Aircraft collision avoidance system
US9446652B2 (en) * 2012-08-02 2016-09-20 Toyota Jidosha Kabushiki Kaisha Road surface state obtaining device and suspension system
DE102012112321B4 (de) 2012-12-14 2015-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9472109B2 (en) 2014-01-07 2016-10-18 Honeywell International Inc. Obstacle detection system providing context awareness
US20150329217A1 (en) * 2014-05-19 2015-11-19 Honeywell International Inc. Aircraft strike zone display
DE102015203074B4 (de) * 2015-02-20 2019-11-14 Bayerische Motoren Werke Aktiengesellschaft Sensorvorrichtung, System und Verfahren zum Schutz eines Insassen, insbesondere Fahrers, eines Fahrzeugs vor einer Blendung sowie Kraftfahrzeug
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
US10453185B2 (en) 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US10043404B2 (en) * 2016-04-18 2018-08-07 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
US10609359B2 (en) 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US20180091797A1 (en) 2016-09-27 2018-03-29 The Boeing Company Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras
US11094208B2 (en) 2016-09-30 2021-08-17 The Boeing Company Stereo camera system for collision avoidance during aircraft surface operations

Also Published As

Publication number Publication date
EP3597545B1 (en) 2021-05-19
US20200027361A1 (en) 2020-01-23
EP3597545A1 (en) 2020-01-22
US10922986B2 (en) 2021-02-16
CA3049821A1 (en) 2020-01-18

Similar Documents

Publication Publication Date Title
US10043404B2 (en) Method and system for aircraft taxi strike alerting
BR102019014646A2 (pt) sistema e método de alerta de colisão em taxiamento
CA2975139C (en) Stereo camera system for collision avoidance during aircraft surface operations
JP6356673B2 (ja) ビデオ画像を用いた衝突検出
JP2019537703A (ja) 少なくとも１つのカメラを備える車両のシステムを較正および／または検査するための車両テストベンチ、並びに、少なくとも１つのカメラを備える車両のシステムの較正および／または検査を実行する方法。
US10249203B2 (en) Method and system for providing docking guidance to a pilot of a taxiing aircraft
US11073379B2 (en) 3-D environment sensing by means of projector and camera modules
US10720069B2 (en) Method and system for aircraft taxi strike alerting
US20230179841A1 (en) Gating camera
US11181368B2 (en) Visibility range sensing
JP5544847B2 (ja) 移動式測光装置
EP3546884B1 (en) Ranging objects external to an aircraft using multi-camera triangulation
US20240067094A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
JPH1172327A (ja) 移動式測光装置
CN211528719U (zh) 毫米波雷达与线阵相机相结合的机动式道面异物检测系统
US11521504B2 (en) Method and system for aircraft taxi strike alerting
KR102388289B1 (ko) 진입각 지시등을 구비한 항공기 진입감시장치

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]