BR102012016248A2

BR102012016248A2 - Method of operating an aircraft

Info

Publication number: BR102012016248A2
Application number: BRBR102012016248-2A
Authority: BR
Inventors: Timothy Donal Paul Burns; Dashiell Matthews Kolbe; Norman Leonard Ovens
Original assignee: Gen Electric
Priority date: 2012-06-29
Filing date: 2012-06-29
Publication date: 2015-04-07

Abstract

Método de operação de uma aeronave. Trata-se de um método de operação de uma aeronave (10) que compreende uma cabine de comando (12) com uma cabine de voo (20) que tem pelo menos um visor de voo (24), um assento de piloto (14) voltado pra a cabine de voo (20) e um sistema de visão sintética (30) que produz uma imagem sintética para exibição no pleo menos um visor de voo (24).Method of operating an aircraft. This is a method of operating an aircraft (10) comprising a flight deck (12) with a flight deck (20) having at least one flight display (24), a pilot seat (14) facing the flight deck (20) and a synthetic vision system (30) that produces a synthetic image for display in the oil minus a flight display (24).

Description

“MÉTODO DE OPERAÇÃO DE UMA AERONAVE” Antecedentes da Invenção Uma aeronave contemporânea pode incluir o uso de um sistema de visão sintética, o qual pode apresentar à tripulação um visor que mostra uma representação gerada por computador do mundo à frente da aeronave. Tal sistema de visão sintética aprimora a capacidade de uma tripulação de voo de orientar-se em relação ao terreno geográfico e aos obstáculos e fornece aos mesmos imagens correspondentes àquilo que realmente veriam pelo para-brisa da cabine de comando sob condições claras de visibilidade. Tal sistema pode ser particularmente útil quando a visibilidade é insatisfatória fora da aeronave. Os sistemas de visão sintética atuais são limitados a fornecer à tripulação uma vista de observação direta.Background of the Invention A contemporary aircraft may include the use of a synthetic vision system, which may present to the crew a display showing a computer generated representation of the world in front of the aircraft. Such a synthetic vision system enhances the ability of a flight crew to orientate themselves against geographical terrain and obstacles and provides the same images corresponding to what they would actually see through the cockpit windshield under clear visibility conditions. Such a system can be particularly useful when visibility is poor outside the aircraft. Today's synthetic vision systems are limited to providing the crew with a direct observation view.

Descrição Resumida da Invenção Em uma realização, um método de operação de uma aeronave que tem uma cabine de comando com uma cabine de voo que tem pelo menos um visor de voo, um assento de piloto voltado para a cabine de voo e um sistema de visão sintética que produz uma imagem sintética para exibição no pelo menos um visor de voo inclui determinar a localização e a orientação da aeronave, recuperar uma imagem de visão sintética a partir do sistema de visão sintética de acordo com a localização e a orientação determinada, exibir no pelo menos um visor de voo a imagem de visão sintética, receber uma entrada de alteração de visualização do piloto que solicita uma alteração na orientação para a imagem de visão sintética sendo exibida, em resposta à entrada de alteração de visualização, rastrear o movimento da cabeça do piloto para o piloto sentado no assento, determinar uma orientação atualizada com base no movimento de cabeça rastreado, recuperar uma imagem de visão sintética atualizada a partir do sistema de visão sintética de acordo com a orientação atualizada, e exibir no pelo menos um visor de voo a imagem de visão sintética atualizada.Brief Description of the Invention In one embodiment, a method of operating an aircraft having a flight deck cockpit having at least one flight display, a flight deck facing pilot seat and a vision system that produces a synthetic image for display on at least one flight display includes determining the location and orientation of the aircraft, retrieving a synthetic vision image from the synthetic vision system according to the given location and orientation, displaying on the at least one synthetic vision image flight viewer receives a pilot change view input that requests a change in orientation for the synthetic view image being displayed, in response to the change view input, tracking head movement from pilot to pilot seated, determine updated guidance based on tracked head movement, rec uperating an updated synthetic vision image from the synthetic vision system according to the updated orientation, and displaying at least one flight display the updated synthetic vision image.

Breve Descrição dos Desenhos Nos desenhos: A Figura 1 é uma vista em perspectiva de uma porção de uma cabine de comando de uma aeronave que tem um sistema de visão sintética de acordo com uma primeira realização da invenção. A Figura 2 é uma vista esquemática de um sistema de visão sintética para uso na aeronave da Figura 1. A Figura 3A ilustra um usuário em uma posição em linha reta e uma vista esquemática de um visor de uma imagem de visão sintética de observação direta.Brief Description of the Drawings In the drawings: Figure 1 is a perspective view of a portion of an aircraft cockpit having a synthetic vision system according to a first embodiment of the invention. Figure 2 is a schematic view of a synthetic vision system for use in the aircraft of Figure 1. Figure 3A illustrates a user in a straight line position and a schematic view of a viewfinder of a direct observation synthetic vision image.

As Figuras 3B a 3D ilustram exemplos de um usuário interagindo com o sistema de visão sintética para exibir imagens de visão sintéticas atualizadas de acordo com realizações da invenção.Figures 3B to 3D illustrate examples of a user interacting with the synthetic vision system to display updated synthetic vision images in accordance with embodiments of the invention.

Descrição das Realizações da Invenção A Figura 1 ilustra uma porção de uma aeronave 10 que tem uma cabine de comando 12 com um assento de piloto 14, um assento de copiloto 16, um manche de controle de aeronave 18, e uma cabine de voo 20 que tem diversos controles de voo 22 e visores de voo múltiplos 24. Os visores de voo múltiplos 24 podem incluir visores de voo primário e secundário, qualquer um dos quais pode ser usado para exibir para o piloto e tripulação de voo uma ampla gama de informações de aeronave, de voo, de navegação, e outras informações usadas na operação e controle da aeronave. Embora uma aeronave comercial tenha sido ilustrada, contempla-se que a invenção pode ser usada em qualquer tipo de aeronave, por exemplo, sem limitação, de asa fixa, de asa rotativa, foguete, aeronave pessoal e aeronave militar.Description of the Embodiments of the Invention Figure 1 illustrates a portion of an aircraft 10 having a cockpit 12 with a pilot seat 14, a co-pilot seat 16, an aircraft control stick 18, and a flight deck 20 which has multiple flight controls 22 and multiple flight displays 24. Multiple flight displays 24 may include primary and secondary flight displays, any of which may be used to display to the pilot and flight crew a wide range of flight information. aircraft, flight, navigation, and other information used in the operation and control of the aircraft. Although a commercial aircraft has been illustrated, it is contemplated that the invention may be used on any type of aircraft, for example, without limitation, fixed wing, rotary wing, rocket, personal aircraft and military aircraft.

Um piloto 26, sentado no assento de piloto 14 voltado para a cabine de voo 20, pode utilizar o manche 18 bem como os outros controles de voo 22 para manobrar a aeronave 10. Contempla-se que um bastão de controle ou outro dispositivo de controle pode alternativamente ser instalado na cabine de comando 12 ao invés do manche 18 e que tal bastão de controle pode ser usado para manobrar a aeronave 10. Para propósitos desta descrição, o termo “manche” é usado para se referir a todos os tipos de dispositivos de controle. O piloto 26 pode monitorar visualmente a rota de voo da aeronave 10 através de um para-brisa 28 e/ou janelas 29. Entretanto, se o piloto 26 depende da visão através do para-brisa 28 e das janelas 29, o alcance visual do mesmo ou da mesma pode ser limitado. O piloto e outros membros da tripulação de voo podem usar os visores de voo múltiplos 24 para aumentar o alcance visual e para realçar as habilidades de tomada de decisão. Em uma realização exemplificativa, os visores de voo 24 podem ser configurados para mostrar o clima, terreno, obstáculos fixos (por exemplo, torres e edifícios), obstáculos mutáveis (por exemplo, outra aeronave), características de voo (por exemplo, altitude ou velocidade), ou qualquer combinação dos mesmos.A pilot 26, seated in the pilot seat 14 facing the flight deck 20, may use the joystick 18 as well as the other flight controls 22 to maneuver the aircraft 10. It is contemplated that a control rod or other control device may alternatively be installed in cockpit 12 instead of joystick 18 and such a control rod may be used to maneuver aircraft 10. For purposes of this description, the term "joystick" is used to refer to all types of devices. of control. Pilot 26 can visually monitor the flight path of aircraft 10 through a windshield 28 and / or windows 29. However, if pilot 26 relies on vision through windshield 28 and windows 29, the visual range of the same or the same may be limited. Pilot and other flight crew members can use multiple flight displays 24 to increase visual range and to enhance decision making skills. In an exemplary embodiment, flight displays 24 may be configured to show weather, terrain, fixed obstacles (eg towers and buildings), changeable obstacles (eg other aircraft), flight characteristics (eg altitude or speed), or any combination thereof.

Um sistema de visão sintética 30 pode ser incluído na aeronave 10 e pode produzir uma imagem sintética do mundo em volta da aeronave 10 para exibição em um dos visores de voo 24. O sistema de visão sintética 30 é um sistema de realidade à base de computador que usa 3D para fornecer aos pilotos meios claros e intuitivos de compreensão do ambiente de voo dos mesmos. O sistema de visão sintética 30 usa geração de imagens 3D para aperfeiçoar a consciência situacional do piloto 26 pelo fornecimento ao piloto de geração de imagens realísticas do mundo fora da aeronave, que são criadas a partir de informações e imagens de vários bancos de dados.A synthetic vision system 30 may be included in aircraft 10 and may produce a synthetic image of the world around aircraft 10 for display on one of flight displays 24. Synthetic vision system 30 is a computer-based reality system which uses 3D to provide pilots with clear and intuitive means of understanding their flight environment. The synthetic vision system 30 uses 3D imaging to improve pilot 26's situational awareness by providing the pilot with realistic imaging from outside the aircraft, which is created from information and images from various databases.

Um sensor 32 e um atuador 34 também podem estar localizados na cabine de comando 12 e podem ser incluídos com uma porção do sistema de visão sintética 30 e serão descritos no presente documento em detalhes. É suficiente, a este ponto, explicar que o sensor 32 pode ser posicionado de tal maneira que o piloto 26 sentado no assento de piloto 14 esteja na vista do sensor 32 e que embora o atuador 34 tenha sido ilustrado como localizado no manche 18 o mesmo pode a Item ativa mente estar localizado em outro lugar na cabine de voo 20 ao alcance do piloto 26. A Figura 2 ilustra esquematicamente o sistema de visão sintética 30 como incluindo um módulo de estado de aeronave 36, um processador gráfico 38, uma tela 40, uma memória 42, um banco de dados 44, o sensor 32, o atuador 34, e um controlador 46. O módulo de estado de aeronave 36 pode fornecer dados de estado sobre a aeronave 10. Tais dados de estado podem incluir, a título de exemplos não limitantes, posição geográfica, altitude, orientação, velocidade, e aceleração. O módulo de estado 36 pode incluir um Sistema de Posicionamento Global (GPS), que pode fornecer dados de coordenadas sobre a posição geográfica da aeronave 10. A porção do GPS pode fornecer, ainda, o módulo de estado 36 com dados em relação à altitude da aeronave 10 bem como à orientação e velocidade da aeronave 10. O módulo de estado 36 pode incluir, ainda, dados recebidos a partir de um sistema de referência inerte da aeronave 10, que poder fornecer pode fornecer entrada de orientação e posição bem como entrada de aceleração e velocidade. O processador gráfico 38 pode ser qualquer processador gráfico adequado capaz de gerar imagens na tela 40 em resposta às instruções e informações recebidas a partir do controlador 46. Embora o processador gráfico 38 seja ilustrado como sendo uma entidade fisicamente separada do controlador 46, contempla-se que o processador gráfico 38 poderia ser considerado um componente do controlador 46 em que o controlador 46 poderia manipular as imagens exibidas na tela 40 sem a utilização de um processador gráfico separado. A tela 40 pode ser qualquer tela de exibição adequada tal como uma tela exibição de cristal líquido (LCD), tela de plasma, ou qualquer outro tipo de tela na qual imagens gráficas podem ser exibidas. A tela 40 foi ilustrada como sendo um dos visores dos visores de voo múltiplos 24. Contempla-se alternativamente que a tela 40 pode ser uma tela de exibição separada. A memória 42 pode incluir memória de acesso aleatório (RAM), memória somente de leitura (ROM), memória flash, ou um ou mais tipos diferentes de memória eletrônica portátil, tais como discos, DVDs, CD-ROMs, etc., ou qualquer combinação adequada desses tipos de memória. Conforme ilustrado, o banco de dados 44 pode ser incluído na memória 42 e pode armazenar dados de imagens que podem incluir terreno geoespecífico, objetos artificiais que incluem disposições de aeroporto e pista de poso e decolagem, e imagens adicionais que incluem informações de tráfego de aeronave. Contempla-se que o banco de dados 44 pode incorporar vários bancos de dados ou que o banco de dados 44 pode na verdade ser vários bancos de dados separados que incluem um banco de dados de terreno, banco de dados de obstáculo artificial banco de dados geopolítico, banco de dados hidrológico, e outros bancos de dados. Contempla-se que o sistema de visão sintética 30 recupera e exibe a imagem de visão sintética pela geração da imagem de visão sintética a partir das informações e dados de imagens obtidos a partir dos bancos de dados múltiplos.A sensor 32 and an actuator 34 may also be located in the cockpit 12 and may be included with a portion of the synthetic vision system 30 and will be described in detail herein. It is sufficient at this point to explain that sensor 32 can be positioned such that pilot 26 seated in pilot seat 14 is in view of sensor 32 and that although actuator 34 has been illustrated as located on joystick 18 it Item may be located elsewhere in flight deck 20 within the reach of pilot 26. Figure 2 schematically illustrates synthetic vision system 30 as including an aircraft state module 36, a graphics processor 38, a display 40 , a memory 42, a database 44, sensor 32, actuator 34, and a controller 46. Aircraft status module 36 may provide status data about aircraft 10. Such status data may include, by way of non-limiting examples, geographical position, altitude, orientation, speed, and acceleration. Status module 36 may include a Global Positioning System (GPS), which may provide coordinate data on the geographical position of aircraft 10. The GPS portion may further provide status module 36 with altitude data. 10, as well as the orientation and speed of aircraft 10. The state module 36 may further include data received from an inert reference system of aircraft 10 which it may provide may provide orientation and position input as well as input of acceleration and speed. Graphics processor 38 may be any suitable graphics processor capable of generating images on screen 40 in response to instructions and information received from controller 46. Although graphics processor 38 is illustrated as being a physically separate entity from controller 46, it is contemplated that graphics processor 38 could be considered a component of controller 46 wherein controller 46 could manipulate the images displayed on screen 40 without the use of a separate graphics processor. Screen 40 may be any suitable display screen such as a liquid crystal display (LCD) screen, plasma screen, or any other type of screen on which graphic images may be displayed. Screen 40 has been illustrated as one of the displays of the multiple flight displays 24. It is alternatively contemplated that screen 40 may be a separate display screen. Memory 42 may include random access memory (RAM), read-only memory (ROM), flash memory, or one or more different types of portable electronic memory, such as discs, DVDs, CD-ROMs, etc., or any appropriate combination of these memory types. As illustrated, database 44 may be included in memory 42 and may store image data that may include geospecific terrain, artificial objects that include airport and runway arrangements, and additional images that include aircraft traffic information. . It is contemplated that database 44 may incorporate multiple databases or that database 44 may actually be several separate databases including a terrain database, artificial obstacle database geopolitical database , hydrological database, and other databases. It is contemplated that the synthetic vision system 30 recovers and displays the synthetic vision image by generating the synthetic vision image from the information and image data obtained from the multiple databases.

Alternativamente, contempla-se que o banco de dados 44 pode ser separado da memória 42, mas pode estar em comunicação com a memória 42 e/ou o controlador 46 de modo que possa ser acessado pela memória 42 e/ou pelo controlador 46. Por exemplo, contempla-se que o banco de dados 44 pode estar contido em um dispositivo de memória portátil e, em tal caso, o sistema de visão sintética 30 pode incluir uma porta para receber o dispositivo de memória portátil e tal porta estaria em comunicação eletrônica com o controlador 46 de modo que o controlador 46 possa ser capaz de ler os conteúdos do dispositivo de memória portátil. Contempla-se, ainda, que o banco de dados 44 pode ser atualizado através de um enlace de comunicação e que, dessa maneira, informações em tempo real tais como informações com relação a imagens de tráfego aéreo podem ser incluídas no banco de dados 44 e podem ser incluídas na imagem de visão sintética exibida pelo sistema de visão sintética 30. O sensor 32 pode ser qualquer sensor capaz de detectar movimento de um ou mais objetos captados, que incluem, a título de exemplo não limitante, a cabeça do piloto 26, e produzir um sinal com relação ao movimento rastreado. O sensor 32 pode ser capaz de detectar o movimento da cabeça do piloto em relação a uma localização de referência ou em relação a uma posição de partida do objeto. A título de exemplo não limitante, o sensor 32 pode incluir uma câmera, que pode ser montada na cabine de voo 20 em uma localização fixa, pode ter um campo de visão que engloba o assento de piloto 14, e pode produzir um sinal indicativo de movimento da cabeça do piloto. Câmeras exemplificativas incluem uma câmera de CCD, uma câmera de CMOS, uma câmera digital, uma câmera de vídeo, uma câmera de infravermelho, ou qualquer outro tipo de dispositivo capaz de rastrear o movimento da cabeça do piloto. Deve-se observar que o uso de uma câmera é apenas exemplificativo e que outros tipos de sensores de movimento podem ser empregados. A título de exemplo não limitante adicional, um sensor de posição/movimentação não óptico, tal como um acelerômetro, pode ser empregado. Independentemente do tipo de sensor 32 usado, contempla-se que o sensor 32 pode detectar o movimento da cabeça do piloto em múltiplas direções incluindo a detecção de movimento horizontal e movimento vertical e pode produzir um sinal com relação a tal movimento ao controlador 46. Contempla-se que um mecanismo pode ser acoplado de maneira operável ao sensor 32, o que pode permitir que o piloto limite a detecção do sensor ao movimento horizontal ou ao movimento vertical. Dessa maneira, o piloto pode ter a habilidade de desativar uma ou a outra uma ou a outra direção de detecção de modo que apenas movimento lateral ou movimento horizontal seja detectado. O atuador 34 pode ser acoplado de maneira operável com o sistema de visão sintética 30 de modo que quando o piloto ativa o atuador 34 o sistema de visão sintética 30 recebe uma entrada que o piloto 26 está solicitando uma alteração na orientação para a imagem de visão sintética sendo exibida. Conforme ilustrado, o atuador 34 pode ser facilmente acessível por um usuário, tal como o piloto 26, de modo que o piloto 26 possa inserir de maneira seletiva uma solicitação para uma alteração de visualização através da operação do atuador 34. A título de exemplo não limitante, o atuador 34 foi ilustrado como um interruptor no manche 18; entretanto, contempla-se que o atuador 34 pode ser qualquer mecanismo adequado capaz de inserir uma solicitação para uma alteração de visualização e pode estar localizado em qualquer localização em que seja acessível pelo piloto 26. O controlador 46 pode incluir um ou mais microprocessadores ou componentes eletrônicos adequados capazes de realizar as funções necessárias para operar o sistema de visão sintética 30. O controlador 46 pode estar em comunicação eletrônica com o sensor 32 e pode receber a saída de sinal pelo sensor 32, que é indicativa de movimento do objeto captado. Contempla-se que o controlador 46 pode incluir um processador de imagem para permitir rastreamento do movimento da cabeça do piloto. Mais especificamente, o processador de imagem do controle 46 pode retirar a saída a partir do sensor 32 e rastrear a quantidade de movimento da cabeça do piloto a partir do sinal de saída. Alternativamente, contempla-se que o sensor 32 pode incluir tais capacidades ou programa de geração de imagens para rastrear o movimento da cabeça do piloto 26 e que a saída de sinal a partir do sensor 32 pode indicar o movimento rastreado. O controlador 46 pode estar em comunicação eletrônica com a memória 42 de modo que o controlador 46 possa ler os dados contidos na memória 42 bem como escrever dados para a memória 42, se desejado. O controlador 46 pode, ainda, estar em comunicação com o processador gráfico 38 que, por sua vez, está em comunicação com a tela 40. O controlador 46 pode, portanto, ser capaz de ditar as imagens que são exibidas na tela 40 através das instruções e informações emitidas a partir do controlador 46 para o processador gráfico 38. As instruções do controlador 46 para o processador gráfico 38 com relação a imagens a serem exibidas na tela 40 podem ser baseadas nas informações contidas na memória 42 e no banco de dados 44. O sistema de visão sintética 30 descrito acima pode ser usado para efetuar controle sobre cenas renderizadas ou outras imagens exibidas na tela 40 para auxiliar a tripulação de voo na operação da aeronave 10. Durante a operação do sistema de visão sintética 30, o controlador 46 pode receber dados a partir do módulo de estado de aeronave 36 a partir dos quais o controlador 46 pode determinar informações com relação à localização, orientação, e velocidade da aeronave 10. A título de exemplo não limitante, a localização da aeronave pode ser determinada a partir de coordenadas do GPS e a orientação da aeronave pode ser determinada pela recepção de uma entrada de orientação a partir de um sistema guia inerte. O controlador 46 pode acessar a memória 42 e pode equiparar os dados de localização e orientação da aeronave com dados de imagens apropriados do banco de dados 44 e pode fornecer tais informações ao processador gráfico 38. O processador gráfico 38 pode, então, produzir a imagem correta para a tela 40.Alternatively, it is contemplated that database 44 may be separated from memory 42, but may be in communication with memory 42 and / or controller 46 so that it may be accessed by memory 42 and / or controller 46. For example, it is contemplated that the database 44 may be contained in a portable memory device and in such a case the synthetic vision system 30 may include a port for receiving the portable memory device and such a port would be in electronic communication. with controller 46 so that controller 46 may be able to read the contents of the portable memory device. It is further contemplated that database 44 may be updated via a communication link and thus real-time information such as air traffic image information may be included in database 44 and may be included in the synthetic vision image displayed by the synthetic vision system 30. Sensor 32 may be any sensor capable of detecting motion of one or more captured objects, including, by way of non-limiting example, pilot's head 26, and produce a signal with respect to the tracked motion. Sensor 32 may be capable of detecting the movement of the pilot's head relative to a reference location or relative to a starting position of the object. By way of non-limiting example, sensor 32 may include a camera, which may be mounted in flight deck 20 at a fixed location, may have a field of view encompassing pilot seat 14, and may produce a signal indicative of movement of the pilot's head. Exemplary cameras include a CCD camera, a CMOS camera, a digital camera, a camcorder, an infrared camera, or any other device capable of tracking the movement of the pilot's head. It should be noted that the use of a camera is exemplary only and that other types of motion sensors may be employed. By way of additional non-limiting example, a non-optical position / motion sensor such as an accelerometer may be employed. Regardless of the type of sensor 32 used, it is contemplated that sensor 32 can detect pilot head movement in multiple directions including detection of horizontal motion and vertical motion and can produce a signal with respect to such motion to controller 46. It is understood that a mechanism may be operably coupled to the sensor 32, which may allow the pilot to limit the detection of the sensor to horizontal or vertical movement. In this way, the pilot may have the ability to disable one or the other sensing direction so that only lateral movement or horizontal movement is detected. Actuator 34 can be operably coupled with synthetic vision system 30 so that when the pilot activates actuator 34 synthetic vision system 30 receives an input that pilot 26 is requesting a change in orientation for the vision image Synthetic being displayed. As shown, actuator 34 can be easily accessible by a user, such as pilot 26, so that pilot 26 can selectively enter a request for a display change through the operation of actuator 34. By way of example, it is not possible limiting, actuator 34 has been illustrated as a switch on joystick 18; however, it is contemplated that actuator 34 may be any suitable mechanism capable of entering a request for a display change and may be located at any location accessible by pilot 26. Controller 46 may include one or more microprocessors or components. suitable electronics capable of performing the functions required to operate synthetic vision system 30. Controller 46 may be in electronic communication with sensor 32 and may receive signal output from sensor 32, which is indicative of movement of the captured object. It is contemplated that the controller 46 may include an image processor to enable tracking of pilot head movement. More specifically, the control image processor 46 may output the output from sensor 32 and track the amount of pilot head movement from the output signal. Alternatively, it is contemplated that sensor 32 may include such capabilities or imaging program for tracking movement of pilot head 26 and that the signal output from sensor 32 may indicate tracking movement. Controller 46 may be in electronic communication with memory 42 so that controller 46 can read data contained in memory 42 as well as write data to memory 42 if desired. The controller 46 may further be in communication with the graphics processor 38 which, in turn, is in communication with the screen 40. The controller 46 may therefore be able to dictate the images that are displayed on the screen 40 through the instructions and information issued from controller 46 to graphics processor 38. instructions from controller 46 to graphics processor 38 regarding images to be displayed on screen 40 may be based on information contained in memory 42 and database 44 The synthetic vision system 30 described above may be used to control rendered scenes or other images displayed on screen 40 to assist the flight crew in the operation of aircraft 10. During the operation of synthetic vision system 30, controller 46 can receive data from aircraft state module 36 from which controller 46 can determine location, orientation, and 10. As a non-limiting example, the location of the aircraft may be determined from GPS coordinates and the aircraft orientation may be determined by receiving a guidance input from an inert guidance system. . Controller 46 can access memory 42 and can match aircraft location and orientation data with appropriate image data from database 44 and can provide such information to graphics processor 38. Graphics processor 38 can then produce the image correct for screen 40.

Essencialmente, o sistema de visão sintética 30 recupera uma imagem de visão sintética de acordo com a localização e orientação determinadas da aeronave 10 e exibe na tela 40 a imagem de visão sintética.Essentially, the synthetic vision system 30 recovers a synthetic vision image according to the determined location and orientation of aircraft 10 and displays the synthetic vision image on screen 40.

Tal vista pode ser em 2D ou 3D e pode ser repetidamente atualizada múltiplas vezes por segundo a fim de considerar o movimento da aeronave 10. Desse modo, a imagem de visão sintética pode ser continuamente atualizada a fim de fornecer imagens que geralmente correspondem às visões reais que um piloto teria olhando para fora do para-brisa dianteiro 28 da aeronave 10 à medida que a aeronave 10 move. Tal vista sintética de observação direta e o piloto de observação direta são ilustrados na Figura 3A. O sistema de visão sintética 30 pode, ainda, ser usado para obter vistas que não são em linha reta da aeronave 10. Enquanto exibe a imagem de visão sintética em linha reta, o sistema de visão sintética 30 pode receber uma entrada de alteração de visualização do piloto 26 que solicita uma alteração na orientação para a imagem de visão sintética sedo exibida. Tal entrada pode ser recebida quando o piloto 26 ativa o atuador 34. Tal entrada de alteração de visualização a partir do atuador 34 resulta no sistema de visão sintética 30 rastrear o movimento da cabeça do piloto enquanto o piloto 26 senta no assento de piloto 14. Mais especificamente, o sensor 32 pode produzir para o controlador 46 um sinal indicativo do movimento da cabeça do piloto e o controlador 46 pode rastrear o movimento da cabeça do piloto a partir do sinal de saída. Alternativamente, o sensor 32 pode produzir um sinal indicativo do movimento rastreado da cabeça do piloto para o controlador 46.Such a view may be 2D or 3D and may be repeatedly updated multiple times per second to account for aircraft movement 10. Thus, the synthetic vision image may be continuously updated to provide images that generally correspond to actual views. that a pilot would have been looking out of the front windshield 28 of aircraft 10 as aircraft 10 moves. Such a synthetic direct observation view and the direct observation pilot are illustrated in Figure 3A. The synthetic vision system 30 can also be used to obtain non-straight views of aircraft 10. While displaying the straight synthetic vision image, the synthetic vision system 30 can receive a view change input from pilot 26 requesting a change in orientation for the synthetic vision image being displayed. Such input may be received when pilot 26 activates actuator 34. Such view change input from actuator 34 results in synthetic vision system 30 tracking movement of the pilot's head while pilot 26 sits on pilot's seat 14. More specifically, sensor 32 can produce for controller 46 a signal indicative of pilot head movement and controller 46 can track pilot head movement from the output signal. Alternatively, sensor 32 may produce a signal indicative of tracked movement of the pilot's head to controller 46.

Independentemente da maneira como o movimento é rastreado, o controlador 46 pode, então, determinar uma orientação atualizada com base no movimento de cabeça rastreado da cabeça do piloto. O controlador 46 toma essa orientação atualizada e recupera informações e imagens do banco de dados 44 relacionadas à orientação atualizada e envia tais informações para o processador gráfico 38. O processador gráfico 38 então envia uma imagem de visão sintética atualizada para a tela 40 que é baseada na orientação atualizada. Isso permite que o piloto 26 altere a orientação para a imagem de visão sintética exibida na tela 40 movendo a cabeça a um determinado grau. Por exemplo, se o piloto 26 quisesse que a tela 40 mostrasse o que está à direita de sua vista atual, o mesmo pode selecionar o atuador 34 e virar a cabeça para a direita e o sistema de visão sintética 30 funcionará para exibir na tela 40 uma imagem de visão sintética atualizada do mundo à direita do que foi previamente mostrado. Por exemplo, conforme ilustrado na Figura 3B, quando a cabeça do piloto move 5 graus para a direita, as linhas 50 foram incluídas na figura para melhor ilustrar o movimento da cabeça do piloto, a imagem sintética exibida pode ter uma orientação atualizada que também é de 5 graus para a direita do visor previamente de observação direta. Dessa maneira, o sistema de visão sintética 30 exibe na tela 40 imagens de visão sintéticas atualizadas do terreno, marcos, e tráfego aéreo em uma direção que é determinada com base no movimento da cabeça do piloto. Tal vista pode ser repetidamente atualizada múltiplas vezes por segundo a fim de considerar o movimento da aeronave 10 e movimento da cabeça do piloto adicional conforme determinado pelo sistema de visão sintética 30. Mediante liberação do atuador 34, a imagem retorna à vista em linha reta.Regardless of how motion is tracked, controller 46 can then determine an updated orientation based on the tracked head movement of the pilot's head. Controller 46 takes this updated orientation and retrieves information and images from database 44 related to the updated orientation and sends such information to the graphics processor 38. The graphics processor 38 then sends an updated synthetic vision image to screen 40 which is based on in the updated orientation. This allows pilot 26 to change the orientation for the synthetic vision image displayed on screen 40 by moving the head to a certain degree. For example, if pilot 26 wanted screen 40 to show what is to the right of his current view, he could select actuator 34 and turn his head to the right and synthetic vision system 30 would work to display on screen 40 an updated synthetic vision image of the world to the right of what was previously shown. For example, as illustrated in Figure 3B, when the pilot's head moves 5 degrees to the right, lines 50 have been included in the figure to better illustrate the pilot's head movement, the synthetic image displayed may have an updated orientation that is also 5 degrees to the right of the previously direct viewfinder. Thus, the synthetic vision system 30 displays on-screen 40 updated synthetic vision images of terrain, landmarks, and air traffic in a direction that is determined based on the pilot's head movement. Such a view may be repeatedly updated multiple times per second to account for aircraft 10 movement and additional pilot head movement as determined by the synthetic vision system 30. Upon release of actuator 34, the image returns to the straight line view.

Contempla-se que o rastreamento do movimento da cabeça do piloto pode incluir rastrear o movimento de cabeça de um lado para o outro bem como rastrear o movimento de cabeça para cima e para baixo para determinar uma arfagem. Será entendido que, no caso em que a cabeça do piloto move-se lado a lado, a orientação atualizada em relação a tal movimento lateral é determinada pelo controlador 46 e as imagens de visão sintéticas atualizadas são recuperadas de acordo com a orientação atualizada. No caso em que o movimento da cabeça do piloto inclui, ainda, movimento para cima e para baixo, uma arfagem com base no movimento de cabeça para cima ou para baixo rastreado é determinada, e as imagens de visão sintéticas atualizadas são recuperadas de acordo tanto com a orientação atualizada quanto a arfagem determinada, o que concede ao piloto 26 a habilidade de direcionar mais completamente o sistema de visão sintética 30 a exibir graficamente o terreno, obstáculos, e tráfego aéreo.It is contemplated that tracking head movement may include tracking head movement from side to side as well as tracking head movement up and down to determine pitching. It will be appreciated that in the event that the pilot's head moves side by side, the updated orientation relative to such lateral movement is determined by controller 46 and the updated synthetic vision images are retrieved according to the updated orientation. In the event that the pilot's head motion further includes up and down motion, a pitch based on the tracked up or down motion is determined, and the updated synthetic vision images are retrieved accordingly. with updated guidance on determined pitching, which gives pilot 26 the ability to more fully direct the synthetic vision system 30 to graphically display terrain, obstacles, and air traffic.

Contempla-se que determinando a orientação atualizada, o sistema de visão sintética 30 pode escalonar o movimento de cabeça rastreado do piloto 26. Tal escalonamento pelo sistema de visão sintética 30 pode incluir a conversão de uma extensão de rotação correspondente à cabeça do piloto de uma posição em linha reta para uma posição em que os olhos do piloto permanecerão fixos no pelo menos um visor de voo para uma alteração na orientação atualizada de 180 graus. Desse modo, através do uso de tal escalonamento a cabeça do piloto pode ser girada, a título de exemplo não limitante, menos do que 40 graus, de modo que o mesmo possa manter contato visual com a tela 40, e o visor resultante terá uma alteração de orientação de pelo menos 180 graus, de modo que o mesmo possa ver sinteticamente atrás da aeronave 10. Tal escalonamento permite que o piloto 26 tenha uma vista completa da área em volta da aeronave 10 simplesmente movendo a cabeça para esquerda, direita, para cima, e para baixo a um determinado grau enquanto ainda permite que os olhos do piloto estejam fixos no seu visor de voo primário de modo que o piloto não perca o contato visual com o visor visto que o seu campo de visão 52 ainda incluiría a tela 40, que está à sua frente.It is contemplated that by determining the updated orientation, the synthetic vision system 30 may stagger the pilot's tracking head movement 26. Such staging by the synthetic vision system 30 may include converting a rotation range corresponding to the pilot's head of a straight position to a position where the pilot's eyes will remain fixed on at least one flight display for a 180 degree updated orientation change. Thus, by using such staggering the pilot's head can be rotated, by way of non-limiting example, less than 40 degrees so that it can maintain eye contact with screen 40, and the resulting display will have a change of orientation by at least 180 degrees so that it can see synthetically behind aircraft 10. Such staggering allows pilot 26 to have a complete view of the area around aircraft 10 by simply moving his head left, right, to up and down to a certain degree while still allowing the pilot's eyes to be fixed on his primary flight display so that the pilot does not lose eye contact with the display as his field of view 52 would still include the screen. 40, which is in front of you.

Contempla-se, ainda, que o escalonamento pode ser não linear. A título de exemplo não limitante, o escalonamento não linear pode incluir um aumento na quantidade de escalonamento à medida que a rotação da cabeça do piloto aumenta. Mais especificamente, à medida que a cabeça do piloto move ainda mais longe de uma posição em linha reta a quantidade de escalonamento aumenta. Por exemplo, a Figura 3C ilustra que a cabeça do piloto foi movida 10 graus a partir de uma posição em linha reta enquanto a orientação atualizada foi movida 50 graus a partir da posição de observação direta. Na Figura 3D ilustra-se que a cabeça do piloto moveu 35 graus a partir de uma posição em linha reta enquanto a orientação atualizada foi movida 180 graus a partir da posição de observação direta. Dessa maneira, a movimentação de cabeça do piloto é escalonada pelo sistema de visão sintética para aumentar a extensão aparente de movimentação do piloto e anda permite que o piloto mantenha visão dos visores na cabine de voo 20.It is also contemplated that the scaling may be nonlinear. By way of non-limiting example, nonlinear scaling may include an increase in the amount of scaling as pilot head rotation increases. More specifically, as the pilot's head moves further from a straight position, the amount of staggering increases. For example, Figure 3C illustrates that the pilot's head was moved 10 degrees from a straight position while the updated orientation was moved 50 degrees from the direct observation position. Figure 3D illustrates that the pilot's head moved 35 degrees from a straight position while the updated orientation was moved 180 degrees from the direct observation position. In this way, the pilot's head movement is staggered by the synthetic vision system to increase the apparent range of pilot movement and gait allows the pilot to maintain view of the flight deck views 20.

Embora a descrição acima ilustre o uso do sistema de visão sintética 30 durante voo da aeronave, contempla-se, ainda, que o sistema de visão sintética 30 pode ser empregado enquanto a aeronave 10 está no solo. Em tal exemplo, contempla-se que a recuperação da imagem de visão sintética ou imagem de visão sintética atualizada pode incluir receber dados com relação à localização de portões e outras aeronaves em volta da aeronave 10. Isso pode auxiliar a tripulação de voo a localizar onde a aeronave está na superfície do aeroporto e ajudar a tripulação de voo a identificar a localização de outras aeronaves que não estão diretamente na frente da aeronave 10. Além isso, embora a realização descrita acima seja relacionada a entrada a partir do piloto 26 e rastreamento do movimento da cabeça do piloto, será compreendido que o sistema de visão sintética 30 poderia facilmente receber entrada a partir de membros de tripulação de voo alternativos e o movimento daqueles membros poderia ser rastreado para determinar uma orientação atualizada. Por exemplo, contempla-se que uma tela, sensor e atuador separados podem ser incluídos para uso pelo copiloto e que tais elementos podem ser vinculados com o sistema de visão sintética de modo que o controlador possa determinar uma orientação atualizada em relação ao movimento da cabeça do copiloto. O sistema de visão sintética descrito acima não é limitado a ser de observação direta apenas e usa a movimentação da cabeça do piloto para controlar a exibição no sistema de visão sintética 30. O sistema de visão sintética e métodos acima descritos permitem que o piloto ajuste facilmente sua vista sintética pela ativação de um atuador de modo que a visão sintética seja atualizada com base no movimento detectado da cabeça do piloto, ao invés de limitar o piloto a uma vista apenas para frente. À medida que o piloto gira a cabeça, o mesmo é capaz de conseguir uma consciência situacional aperfeiçoada de terreno, obstáculos, e tráfego em volta da aeronave e em seguida mediante liberação do atuador a visão sintética pode retornar a uma imagem de visão sintética que representa a vista em linha reta. A realização e método acima descritos permitem consciência situacional aperfeiçoada do piloto ao conceder ao mesmo ou mesma mais liberdade para olhar em volta do lado externo da aeronave e permite que piloto forme um modelo mental do ambiente em volta de toda a aeronave enquanto ainda mantém os visores de voo primários em vista.While the above description illustrates the use of synthetic vision system 30 during aircraft flight, it is further contemplated that synthetic vision system 30 may be employed while aircraft 10 is on the ground. In such an example, it is contemplated that retrieving the synthetic vision image or updated synthetic vision image may include receiving data regarding the location of gates and other aircraft around aircraft 10. This may assist the flight crew in locating where the aircraft is on the surface of the airport and assist the flight crew in identifying the location of other aircraft not directly in front of aircraft 10. In addition, although the achievement described above is related to pilot 26 entry and aircraft tracking. pilot head movement, it will be understood that the synthetic vision system 30 could easily receive input from alternate flight crew members and the movement of those members could be tracked to determine an updated orientation. For example, it is contemplated that a separate screen, sensor and actuator may be included for use by the co-pilot and that such elements may be linked with the synthetic vision system so that the controller can determine an updated orientation regarding head movement. of the copilot. The synthetic vision system described above is not limited to direct observation only and uses the pilot's head movement to control the display in synthetic vision system 30. The synthetic vision system and methods described above allow the pilot to easily adjust its synthetic view by activating an actuator so that the synthetic view is updated based on the detected movement of the pilot's head, rather than limiting the pilot to a forward view only. As the pilot turns his head, he is able to achieve improved situational awareness of terrain, obstacles, and traffic around the aircraft, and then upon release of the actuator, synthetic vision can return to a synthetic vision image representing the view in a straight line. The above-described embodiment and method allows improved pilot situational awareness by granting the same or even more freedom to look around the outside of the aircraft and allows the pilot to form a mental model of the environment around the entire aircraft while still maintaining the displays. primary flight planes in sight.

Esta descrição escrita usa exemplos para revelar a invenção, incluindo o melhor modo, e também para permitir que qualquer pessoa versada na técnica pratique a invenção, incluindo fazer e usar tais dispositivos ou sistemas e realizar quaisquer métodos incorporados. O escopo patenteável da invenção é definido pelas reivindicações, e pode incluir outros exemplos que ocorram àqueles versados na técnica. Tais outros exemplos destinam-se a ser abrangidos pelo escopo das reivindicações se os mesmos têm elementos estruturais que não diferem da linguagem literal das reivindicações, ou se os mesmo incluem elementos estruturais equivalentes com diferenças insubstanciais das linguagens literais das reivindicações.This written description uses examples to disclose the invention, including the best mode, and also to enable anyone skilled in the art to practice the invention, including making and using such devices or systems and performing any embodied methods. The patentable scope of the invention is defined by the claims, and may include other examples that occur to those skilled in the art. Such other examples are intended to fall within the scope of the claims if they have structural elements that do not differ from the literal language of the claims, or if they include equivalent structural elements with insubstantial differences from the literal languages of the claims.

Claims

1. METHOD OF OPERATION OF AN AIRCRAFT, comprising a flight deck cockpit having at least one flight display, a flight deck facing pilot seat and a synthetic vision system producing a synthetic image for display on at least one flight display, the method comprising: determining an aircraft location and orientation; retrieve a synthetic vision image from the synthetic vision system according to the given location and orientation; display at least one flight display the synthetic vision image; receive a pilot view change input requesting a change in orientation for the synthetic vision image being displayed; in response to the change of view input, tracking the movement of the pilot's head to the pilot seated; determine updated orientation based on tracked head movement; retrieve an updated synthetic vision image from the synthetic vision system according to the updated orientation; and displaying at least one flight display the updated synthetic vision image.

A method according to claim 1, wherein determining aircraft location comprises receiving coordinates from a Global Positioning System and determining aircraft orientation comprises receiving a guidance input from an inert guide system. .

A method according to claims 1 and 2, wherein the synthetic vision image retrieval comprises the fact that the synthetic vision system generates the synthetic vision image from at least one database stored on the aircraft. .

A method according to claims 1 to 3, wherein the tracking of the pilot's head movement comprises tracking at least one head movement from side to side.

A method according to claims 1 to 4, wherein the tracking of the pilot's head movement further comprises tracking the head and upward movement to determine pitching.

The method of claim 5, wherein recovering the updated synthetic vision image further comprises recovering an updated synthetic vision image based on the orientation and pitching determined.

A method according to claims 1 to 6, wherein determining the updated orientation comprises scaling the tracked head movement.

A method according to claim 7, wherein the scaling provides a pilot head rotation of less than 40 degrees which results in an orientation change of at least 180 degrees.

A method according to claims 7 and 8, wherein the scaling is nonlinear.

The method of claim 9, wherein the scaling increases as the rotation of the pilot's head increases.