CN108805019A - 用于监测飞机的驾驶舱的系统和方法 - Google Patents
用于监测飞机的驾驶舱的系统和方法 Download PDFInfo
- Publication number
- CN108805019A CN108805019A CN201810392233.9A CN201810392233A CN108805019A CN 108805019 A CN108805019 A CN 108805019A CN 201810392233 A CN201810392233 A CN 201810392233A CN 108805019 A CN108805019 A CN 108805019A
- Authority
- CN
- China
- Prior art keywords
- image
- controller
- state
- input unit
- reference picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012544 monitoring process Methods 0.000 title claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 31
- 238000010586 diagram Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000002708 enhancing effect Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/04—Initiating means actuated personally
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D43/00—Arrangements or adaptations of instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D2045/0085—Devices for aircraft health monitoring, e.g. monitoring flutter or vibration
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
监测飞机的驾驶舱的方法包括由一个或更多个控制器接收图像，该图像描绘位于驾驶舱内的操作者操纵的输入装置。该方法能够包括由一个或更多个控制器确定操作者操纵的输入装置的所观察的状态。特别地，所观察的状态能够基于图像。该方法能够包括由一个或更多个控制器确定操作者操纵的输入装置的所感测的状态。特别地，所感测的状态能够基于来自传感器的数据。该方法能够包括由一个或更多个控制器确定操作者操纵的输入装置的所观察的状态和所感测的状态之间的不匹配。
Description
技术领域
本主题一般涉及用于监测飞机的驾驶舱的系统和方法。
背景技术
飞机的驾驶舱通常包括飞行驾驶台（fligh deck），该飞行驾驶台具有各种仪器和飞行显示器，其能够显示在飞机的操作和控制中使用的范围广泛的飞机、飞行、导航及其它信息。驾驶舱还可以包括操作者操纵的输入装置，其能够被飞行员用来控制飞机的操作。在飞机的操作期间，仪器或飞行显示器可能发生故障，且结果，呈现不正确的信息。备选地或另外地，可操作来检测操作者操纵的输入装置的移动的传感器可能发生故障，且结果，限制飞行员经由操作者操纵的输入装置而控制飞机的能力。
发明内容
将在下文的描述中部分地阐明本公开的方面和优点，或根据描述，本公开的方面和优点可以是显而易见的，或可以通过实践本公开而学习本公开的方面和优点。
在一个示例实施例中，监测飞机的驾驶舱的方法包括由一个或更多个控制器接收图像，该图像描绘位于驾驶舱内的操作者操纵的输入装置。该方法还能够包括由一个或更多个控制器确定操作者操纵的输入装置的所观察的状态。特别地，所观察的状态能够基于图像。该方法能够包括由一个或更多个控制器确定操作者操纵的输入装置的所感测的状态。特别地，所感测的状态能够基于来自传感器的数据。该方法还能够包括由一个或更多个控制器确定操作者操纵的输入装置的所观察的状态和所感测的状态之间的不匹配。
在另一示例实施例中，监测飞机的驾驶舱的方法包括由一个或更多个控制器接收图像，该图像描绘位于驾驶舱内的仪器。该方法还能够包括由一个或更多个控制器确定仪器的所观察的状态。特别地，所观察的状态能够基于图像。该方法能够包括由一个或更多个控制器确定仪器的所感测的状态。特别地，所感测的状态能够基于来自传感器的数据。该方法还能够包括由一个或更多个控制器确定仪器的所观察的状态和所感测的状态之间的不匹配。
在又一示例实施例中，用于监测飞机的驾驶舱的系统包括相机。特别地，相机能够定位于驾驶舱内。系统还能够包括设置于驾驶舱内的飞行驾驶台。更特别地，飞行驾驶台能够包括飞行显示器。另外，系统能够包括与相机通信的控制器。此外，控制器能够配置成从相机接收图像。特别地，图像能够描绘飞行显示器。控制器能够进一步配置成基于图像来确定飞行显示器的所观察的状态。另外，控制器能够配置成基于来自传感器的数据来确定飞行显示器的所感测的状态。此外，控制器能够配置成确定飞行显示器的所观察的状态和所感测的状态之间的不匹配。
参考下文的描述和所附权利要求，将变得更好理解本公开的这些及其它特征、方面以及优点。结合于本说明书中且构成本说明书的一部分的附图图示本公开的实施例，并且，附图连同描述一起用来解释本公开的原理。
本发明提供一组技术方案，如下。
1. 一种监测飞机的驾驶舱的方法，所述方法包含：
由一个或更多个控制器接收图像，所述图像描绘位于所述驾驶舱内的操作者操纵的输入装置；
基于所述图像来由所述一个或更多个控制器确定所述操作者操纵的输入装置的所观察的状态；
基于来自传感器的数据来由所述一个或更多个控制器确定所述操作者操纵的输入装置的所感测的状态；以及
由所述一个或更多个控制器确定所述操作者操纵的输入装置的所述所观察的状态和所述所感测的状态之间的不匹配。
2. 根据技术方案1所述的方法，进一步包含由所述一个或更多个控制器生成指示所述不匹配的通知，所述通知包含可听或可视通知。
3. 根据技术方案1所述的方法，其中，确定所述操作者操纵的输入装置的所述所观察的状态包含：
由所述一个或更多个控制器将所述图像转换成照明委员会（CIE）Lab颜色空间；以及
由所述一个或更多个控制器将所转换的图像与至少第一参考图像和第二参考图像比较，
其中，所述第一参考图像描绘第一位置处的所述操作者操纵的输入装置，并且
其中，所述第二参考图像描绘第二位置处的所述操作者操纵的输入装置。
4. 根据技术方案3所述的方法，其中，所述第一参考图像限定指示所述操作者操纵的输入装置在位于所述第一位置中时的位置的区域，且其中，所述第二参考图像限定指示所述操作者操纵的输入装置在位于所述第二位置中时的位置的区域。
5. 根据技术方案4所述的方法，其中，由所述第一参考图像限定的所述区域囊括第一组像素，其中，由所述第二参考图像限定的所述区域囊括第二组像素，且其中，所述第一组像素不同于所述第二组像素。
6. 根据技术方案1所述的方法，其中，确定所述操作者操纵的输入装置的所述所观察的状态包含：
由所述一个或更多个控制器将所述图像转换成灰度图像；
由所述一个或更多个控制器将阈值应用于所述灰度图像的每个像素，以获得二值图像；以及
由所述一个或更多个控制器将所述二值图像与至少第一参考图像和第二参考图像比较。
7. 根据技术方案6所述的方法，其中，所述二值图像、第一参考图像和第二参考图像各自描绘识别所述操作者操纵的输入装置的图案。
8. 根据技术方案1所述的方法，其中，所述操作者操纵的输入装置包含节流阀输入装置，其可操作来调整所述飞机的燃气涡轮引擎的引擎功率。
9. 一种监测飞机的驾驶舱的方法，所述方法包含：
由一个或更多个控制器接收图像，所述图像描绘所述驾驶舱内的仪器；
基于所述图像来由所述一个或更多个控制器确定所述仪器的所观察的状态；
基于来自传感器的数据来由所述一个或更多个控制器确定所述仪器的所感测的状态；以及
由所述一个或更多个控制器确定所述仪器的所述所观察的状态和所述所感测的状态之间的不匹配。
10. 根据技术方案9所述的方法，进一步包含由所述一个或更多个控制器生成指示所述不匹配的通知，所述通知包含可听或可视通知。
11. 根据技术方案9所述的方法，其中，所述仪器包含计量器，所述计量器具有针，所述针可在第一位置与第二位置之间移动。
12. 根据技术方案11所述的方法，其中，确定所述仪器的所述所观察的状态包含由所述一个或更多个控制器确定所述图像中所描绘的所述针的位置。
13. 根据技术方案12所述的方法，其中，确定所述针的所述位置包含由所述一个或更多个控制器将所述图像中的所述针的所述位置与至少第一参考图像和第二参考图像比较，所述第一参考图像描绘所述第一位置中的所述针，所述第二参考图像描绘所述第二位置中的所述针。
14. 一种用于监测飞机的驾驶舱的系统，所述系统包含：
定位于所述驾驶舱内的相机；
设置于所述驾驶舱内的飞行驾驶台，所述飞行驾驶台包含飞行显示器；以及
与所述相机通信的控制器，所述控制器配置成：
从所述相机接收图像，所述图像描绘所述飞行显示器；
基于所述图像来确定所述飞行显示器的所观察的状态；
基于来自传感器的数据来确定所述飞行显示器的所感测的状态；以及
确定所述飞行显示器的所述所观察的状态和所述所感测的状态之间的不匹配。
15. 根据技术方案14所述的系统，其中，所述控制器进一步配置成生成指示不匹配的通知，所述通知包含可听或可视通知。
16. 根据技术方案14所述的系统，其中，所述系统进一步包含定位于所述驾驶舱内的操作者操纵的输入装置，其中，所述图像进一步描绘所述操作者操纵的输入装置，且其中，所述控制器进一步配置成：
基于所述图像来确定所述操作者操纵的输入装置的所观察的状态；
基于来自与所述飞机相关联的传感器的数据来确定所述操作者操纵的输入装置的所感测的状态；以及
确定所述操作者操纵的输入装置的所述所观察的状态和所述所感测的状态之间的不匹配。
17. 根据技术方案16所述的系统，其中，所述飞行驾驶台进一步包含仪器，其中，所述图像进一步描绘所述仪器，且其中，所述控制器进一步配置成：
基于所述图像来确定所述仪器的所观察的状态；
基于来自与所述操作者操纵的输入装置相关联的传感器的数据来确定所述仪器的所感测的状态；以及
确定所述仪器的所述所观察的状态和所述所感测的状态之间的不匹配。
18. 根据技术方案14所述的系统，其中，所述飞行显示器的所述所观察的状态与在所述飞行显示器上显示的数值相对应。
19. 根据技术方案14所述的系统，其中，所述控制器进一步配置成当在所述飞行显示器的所述所观察的状态和所述所感测的状态之间存在所述不匹配时，以来自另一飞行显示器的信息填充所述飞行显示器。
附图说明
参考附图而在说明书中阐明针对本领域普通技术人员的本公开的包括其最佳模式的完全且使能的公开，其中：
图1图示根据本公开的示例实施例的飞机；
图2图示根据本公开的示例实施例的操作者操纵的输入装置；
图3图示根据本公开的示例实施例的飞行控制系统；
图4图示根据本公开的示例实施例的用于监测飞机的驾驶舱的系统的示意图；以及
图5图示根据本公开的示例实施例的图像处理逻辑；
图6图示根据本公开的示例实施例的仪器。
图7图示根据本公开的示例实施例的图案；
图8图示根据本公开的示例实施例的状态检测逻辑；
图9图示具有根据本公开的示例实施例的图案的图2的操作者操纵的输入装置；
图10图示根据本公开的示例实施例的状态检测逻辑；
图11图示根据本公开的示例实施例的用于监测飞机的驾驶舱的方法的流程图；
图12图示根据本公开的示例实施例的用于监测飞机的驾驶舱的另一方法的流程图；以及
图13图示根据本公开的示例实施例的用于监测飞机的驾驶舱的又一方法的流程图。
具体实施方式
现在，将详细地参考本公开的本实施例，其一个或更多个示例在附图中被图示。详细的描述使用数字标示和字母标示来表示附图中的特征。
如本文中所使用的，术语“第一”和“第二”能够可互换地用来将一个组件与另一个组件区分开，并且，不意图表示个别组件的位置或重要性。除非上下文清楚地另有指示，否则单数形式“一”、“一个”和“该”包括多个参考。
本公开的示例方面针对用于监测飞机的驾驶舱的系统和方法。特别地，根据本公开的示例，驾驶舱包括飞行驾驶台，该飞行驾驶台具有仪器和飞行显示器，其呈现信息，该信息至少部分地从飞机的飞行控制系统获得。驾驶舱还能够包括操作者操纵的输入装置，其允许飞行机组成员控制飞机的操作。此外，飞机能够包括定位于驾驶舱内的相机，并且，能够将相机对准（train on）仪器、飞行显示器或操作者操纵的输入装置中的至少一个。与相机通信的控制器能够接收图像，该图像描绘仪器、飞行显示器以及操作者操纵的输入装置中的至少一个。如将在下文中更详细地讨论的，控制器能够配置成至少部分地基于图像来确定仪器、飞行显示器以及操作者操纵的输入装置的所观察的状态。
在示例实施例中，控制器实现状态检测逻辑，以确定操作者操纵的输入装置的所观察的状态。更特别地，能够使图案附于操作者操纵的输入装置，并且，控制器能够实现状态检测逻辑，以确定操作者操纵的输入装置的所观察的位置。因此，操作者操纵的输入装置的所观察的状态能够与所观察的位置相对应。
控制器能够进一步配置成与飞行控制系统通信。特别地，控制器能够接收飞行控制信息，该飞行控制信息指示仪器、飞行显示器以及操作者操纵的输入装置的所感测的状态。如将在下文中更详细地讨论的，控制器能够配置成确定所观察的状态和所感测的状态之间的不匹配。
在示例实施例中，操作者操纵的输入装置的所观察的状态能够指示操作者操纵的输入装置位于第一位置中。相反地，所感测的状态能够指示操作者操纵的输入装置位于不同于第一位置的第二位置中。因此，控制器能够确定在操作者操纵的输入装置的所观察的状态和所感测的状态之间存在不匹配。该示例实施例图示将来自相机的图像数据联合飞行控制数据而用来监测飞机的驾驶舱的益处。如将在下文中更详细地讨论的，控制器能够进一步配置成生成指示不匹配的通知。
在示例实施例中， 在飞机的驾驶舱内，传递通知。更特别地，通知能够包括可听或可视通知，该通知将仪器、飞行显示器和/或操作者操纵的输入装置的所观察的状态和所感测的状态之间的不匹配告知飞行机组成员。
现在参考附图，将进一步详细地讨论本公开的示例实施例。图1描绘飞机10，飞机10具有机身20，一个或更多个引擎30以及驾驶舱40。如所示，驾驶舱40能够包括飞行驾驶台42，飞行驾驶台42具有各种仪器44和飞行显示器46。应当领会的是，仪器44能够包括但不限于标度盘、计量器或任何其它合适的模拟装置。
第一用户（例如，飞行员）可以存在于座椅48中，并且，第二用户（例如，副飞行员）可以存在于座椅50中。飞行驾驶台42 可以位于飞行员和副飞行员的前面，并且，可以给飞行机组（例如，飞行员和副飞行员）提供信息，以帮助操作飞机10。飞行显示器46可以包括主飞行显示器（PFD）、多功能显示器（MFD）或两者。在飞机10的操作期间，仪器44和飞行显示器46两者都能够显示在飞机10的操作和控制中使用的范围广泛的飞机、飞行、导航及其它信息。
仪器44和飞行显示器46 可以按包括具有更少或更多仪器或显示器的任何方式布置。此外，飞行显示器46不需要为共面的，并且不需要为相同尺寸。触摸屏显示器或触摸屏表面（未示出）可以被包括在飞行显示器46中，并且，可以被一个或更多个飞行机组成员（包括飞行员和副飞行员）用来与飞机10交互。触摸屏表面可以采取任何合适的形式（包括液晶显示器（LCD）的形式），并且，可以使用各种物理或电属性来感测来自飞行机组的输入。预期的是，飞行显示器46能够为动态的，并且，一个或更多个光标控制装置（未示出）和/或一个或更多个多功能键盘52可以被包括在驾驶舱40中，并且，可以被一个或更多个飞行机组成员用来与飞机10的系统交互。以这种方式，飞行驾驶台42 可以被视为飞行机组与飞机10之间的用户接口。
另外，驾驶舱40能够包括操作者操纵的输入装置60，其允许飞行机组的成员控制飞机10的操作。在一个示例实施例中，操作者操纵的输入装置60能够是节流阀（throttle）输入装置（图2），其可操作来控制燃气涡轮引擎30（图1）的引擎功率。节流阀输入装置能够限定轴向方向A。此外，节流阀输入装置能够包括杆62（图2），杆62具有手柄64（图2）。如所示，杆62可沿着轴向方向A在第一位置66与第二位置68之间移动。因此，飞行机组成员能够在第一位置66与第二位置68之间移动杆，以控制燃气涡轮引擎30的引擎功率。
现在参考图3，飞机10能够包括飞行控制系统100，飞行控制系统100包含一个或更多个控制器110。如所示，控制器110能够与任何合适的基于处理器的装置（包括一个或更多个计算装置）相对应。例如，控制器110能够包括处理器112及相关联的存储器114，其配置成执行各种各样的计算机实现的功能（例如，执行本文中所公开的方法、步骤、运算等）。如本文中所使用的，术语“处理器”不仅表示在本领域中被认为是被包括在计算机中的集成电路，而且还表示控制器、微控制器、微型计算机、可编程逻辑控制器（PLC）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）及其它可编程电路。另外，存储器114能够通常包括存储器元件，包括但不限于计算机可读介质（例如，随机存取存储器（RAM））、计算机可读非易失性介质（例如，闪速存储器）、压缩光盘只读存储器（CD-ROM）、磁光盘（MOD）、数字通用盘（DVD）和/或其它合适的存储器元件或其组合。
另外，控制器110能够包括通信接口模块116。通信接口模块116能够包括相关联的电子电路系统，其用来发送和接收数据。在一个示例实施例中，控制器110能够与航空电子系统120和传感器系统122中的至少一个通信。此外，控制器110能够与飞行显示器46通信。因此，控制器110能够控制在飞行显示器46上呈现的信息。更特别地，控制器110能够至少部分地基于从航空电子系统120、传感器系统122或两者接收的数据来更新信息。因此，呈现于仪器44和飞行显示器46上的信息起源于飞行控制系统100从航空电子系统120和传感器系统122接收的数据。
现在参考图4，根据本公开的方面，图示用于监测飞机10的驾驶舱40的系统200的示例实施例。通常，将参考在上文中参考图1-3而描述的飞机10和飞行控制系统100来描述系统200。然而，在其它实施例中，能够与任何其它合适的飞机10相关联地实现或使用系统200。
系统200还能够包括控制器210。通常，控制器210能够包括一个或更多个处理器212及相关联的存储器214，其配置成执行各种各样的计算机实现的功能（例如，执行本文中所公开的方法、步骤、运算等）。控制器210还能够包括通信接口模块216。在示例实施例中，通信接口模块216能够包括相关联的电子电路系统，其用来发送和接收数据。因此，能够使用控制器210的通信接口模块216来从飞行控制系统100接收飞行控制数据250。在一个示例实施例中，控制器210能够从航空电子系统120、传感器系统122或两者接收飞行控制数据250。更特别地，控制器210能够经由飞行控制系统100的控制器110与控制器210之间的通信链路而接收数据。在备选实施例中，控制器210能够与航空电子系统120和传感器系统122直接通信。如将在下文中更详细地讨论的，能够使用飞行控制数据250来确定仪器44、飞行显示器46以及操作者操纵的输入装置60的所感测的状态。
在一个示例实施例中，控制器210从航空电子系统120、传感器系统122或两者接收飞行控制数据250。特别地，传感器系统122能够包括传感器，该传感器配置成测量飞机10的海拔高度。此外，能够在仪器44和飞行显示器46中的至少一个上，呈现来自传感器的数据。
系统200能够包括一个或更多个相机220，相机220定位于飞机10的驾驶舱40内（图1）。在一个示例实施例中，能够将相机220对准飞行驾驶台42、操作者操纵的输入装置60或两者。另外，相机210能够经由任何合适的有线或无线通信链路而通信耦合至控制器210。因此，控制器210能够从相机220接收图像260。在一个示例实施例中，图像260能够描绘仪器44、飞行显示器46或两者。备选地或另外地，图像260能够描绘操作者操纵的输入装置60。
控制器210能够配置成处理从相机220接收的图像260。例如，控制器210的存储器214能够包括图像处理逻辑230，其在被运行时将控制器210配置成处理从相机220接收的图像260。
例如，图5图示合适的图像处理逻辑230的示意图，该图像处理逻辑230能够由控制器210实现，以处理从相机220接收的图像260。特别地，如所示，图像处理逻辑230能够包括同步块232，该同步块232确保在图像260与飞行控制数据250之间不存在时滞。例如，控制器210在运行同步逻辑232时能够将与图像260相关联的第一时间戳和与飞行控制数据250相关联的第二时间戳比较。如果控制器210确定第一时间戳等于第二时间戳，则在图像260与飞行控制数据250之间不存在时滞。相反地，如果控制器210确定第一时间戳不等于第二时间戳，则在飞行控制数据250与图像260之间存在时滞。
在一些实施例中，系统200包括两个或更多个相机220。因此，控制器210在运行同步块232时能够将与一个图像相关联的时间戳和与另一个（其它）图像相关联的时间戳比较。如果控制器210确定时间戳彼此相等，则控制器210同时处理图像。相反地，如果控制器210确定时间戳彼此不相等，则存在时滞。
另外，图像处理逻辑230能够包括去扭曲（dewarping）块234，其变更从相机220接收的图像260，以获得去扭曲的图像。在一个示范性的实施例中，控制器210在运行去扭曲块234时变更图像，以计及（account for）至少部分地由于相机220的镜头（未示出）而导致的光学像差。因此，去扭曲的图像不包括光学像差。
图像处理逻辑230还能够包括增强块236，其增强去扭曲的图像。更特别地，控制器210在运行增强块236时能够调整去扭曲的图像的某些性质，以获得增强的图像。在一个示例实施例中，控制器210在运行增强块236时调整去扭曲的图像的对比度，以获得增强的图像。
图像处理逻辑230还能够包括分割块238，其将增强的图像划分成一个或更多个感兴趣区域。在一个示例实施例中，控制器210在运行分割块238时将增强的图像划分成第一感兴趣区域和第二感兴趣区域。更特别地，第一感兴趣区域能够描绘仪器44中的至少一个，并且，第二感兴趣区域能够描绘飞行显示器46中的一个。另外地或备选地，能够将增强的图像划分成第三感兴趣区域，第三感兴趣区域描绘操作者操纵的输入装置60。如将在下文中更详细地讨论的，控制器210的存储器214（图4）能够包括状态检测逻辑240（图4），该状态检测逻辑240能够由控制器210实现，以确定仪器44、飞行显示器46以及操作者操纵的输入装置60中的至少一个的所观察的状态。
在一个示例实施例中，控制器210在运行状态检测逻辑240时能够将增强的图像和至少第一参考图像和第二参考图像比较，第一参考图像和第二参考图像两者都描绘仪器44。特别地，控制器210能够将增强的图像内的第一感兴趣区域和第一参考图像和第二参考图像中的每个内的对应的第一感兴趣区域比较。
现在参考图6，仪器44能够是计量器70，计量器70具有针72，并且，第一参考图像80能够描绘第一位置74中的针72。此外，第二参考图像82能够描绘不同于第一位置74的第二位置76中的针72。因此，控制器210在运行状态检测逻辑240时能够至少部分地基于增强的图像与第一参考图像80和第二参考图像82的比较来确定计量器70的所观察的状态（例如，针的位置）。更特别地，能够将增强的图像中的针72的所观察的位置与第一参考图像80和第二参考图像82中所描绘的第一位置74和第二位置76分别比较。应当领会的是，控制器210能够配置成将增强的图像和任何合适的数量的参考图像比较。
在另一示例实施例中，控制器210在运行状态检测逻辑240时，能够确定增强的图像中所描绘的飞行显示器46中的一个的所观察的状态。特别地，飞行显示器46能够显示数值，并且，控制器210能够使用任何合适的图案识别算法（pattern recognitionalgorithm）来确定数值。例如，控制器210能够配置成使用光学字符识别（OCR）算法来确定数值。因此，如由控制器210确定的数值能够与飞行显示器46的所观察的状态相对应。
在又一示例实施例中，控制器210在运行状态检测逻辑240时能够确定操作者操纵的输入装置60的所观察的状态。特别地，操作者操纵的输入装置60能够是节流阀输入装置（图3），节流阀输入装置可操作来调整燃气涡轮引擎30（图1）的引擎功率。如将在下文中更详细地讨论的，控制器210能够实现任何合适的方法，以确定操作者操纵的输入装置60的所观察的状态。
简略地参考图7，提供根据本公开的示例实施例的图案300。特别地，图案300包括多个白色带302和多个黑色带304。在一些实现中，图案300能够定位于节流阀输入装置的手柄64上。然而，应当领会的是，图案300能够定位于节流阀输入装置上的任何合适的位置处。
图8图示合适的状态检测逻辑240的示意图，状态检测逻辑240能够由控制器210实现，以确定操作者操纵的输入装置60的所观察的状态。特别地，状态检测逻辑240能够包括图像转换块242，图像转换块242将增强的图像转换成灰度图像243。此外，状态检测逻辑240能够包括阈值块244，阈值块244将自适应阈值应用于灰度图像243，以便获得二值图像245（例如，黑色和白色）。在一个示例实施例中，控制器240在运行阈值块244时能够将自适应阈值应用于灰度图像243内的每个像素。如果像素具有小于或等于自适应阈值的灰度级，则像素设置成背景值（例如，白色）。相比之下，如果像素具有大于自适应阈值的灰度级值，则像素设置成前景值（例如，黑色）。在一个示例实施例中，背景值能够等于二百五十五（255），并且，前景值能够等于零（0）。应当领会的是，将自适应阈值应用于灰度图像243内的每个像素产生二值图像245。另外，状态检测逻辑240能够包括比较块246，比较块246将二值图像245与至少第一参考图像和第二参考图像比较。如将在下文中更详细地讨论的，控制器210在运行比较块246时能够配置成确定操作者操纵的输入装置60的所观察的状态。
现在参考图9，第一参考图像能够描绘第一位置66中的操作者操纵的输入装置60的手柄64，并且，第二参考图像能够描绘第二位置68中的操作者操纵的输入装置60的手柄64。在第一参考图像和第二参考图像两者内，应当领会的是，图案300是完全相同的。然而，在操作者操纵的输入装置60位于沿着轴向方向A的各种位置中（图3）时，在第一参考图像和第二参考图像内，改变操作者操纵的输入装置60的大小，以计及如通过相机220而看到的大小中的变化。在一个示例实施例中，控制器210在运行比较块246时至少部分地基于二值图像与第一参考图像和第二参考图像中的每个之间的互相关来确定操作者操纵的输入装置60的所观察的位置。如果二值图像与第一参考图像之间的互相关大于二值图像与第二参考图像之间的互相关，则操作者操纵的输入装置60的所观察的位置与第一位置66相对应。相反地，如果二值图像245与第二参考图像之间的互相关大于二值图像245与第一参考图像之间的互相关，则操作者操纵的输入装置60的所观察的状态与第二位置68相对应。然而，应当领会的是，控制器210能够实现任何合适的方法，以确定操作者操纵的输入装置60的所观察的状态。
图10图示合适的状态检测逻辑240的示意图，状态检测逻辑240能够由控制器210实现，以检测操作者操纵的输入装置60的所观察的状态350。特别地，状态检测逻辑240能够至少部分地基于操作者操纵的输入装置60的颜色来确定所观察的状态350。如所示，状态检测逻辑240能够包括颜色空间转换块342，颜色空间转换块342将增强的图像从RGB（红色、绿色、蓝色）颜色空间转换成照明委员会（CIE）Lab颜色空间。CIE Lab颜色空间包括L轴、a轴以及b轴。L轴包括从零至一百变动的值。在示例实施例中，值零与颜色黑色相对应，并且，值一百与颜色白色相对应。a轴包括正值和负值两者。在示例实施例中，a轴上的正值指示颜色红色的量，并且，a轴上的负值指示绿色的量。b轴也包括负值和正值。在一个示例实施例中， b轴上的正值指示黄色的量，并且，b轴上的负值指示蓝色的量。如将在下文中更详细地讨论的，操作者操纵的输入装置60的所观察的状态350能够至少部分地基于来自指示转换的图像的CIE矩阵[L，a，b]的a轴值和b轴值两者来确定。
状态检测逻辑240还包括比较块344，比较块344将转换的图像的a轴值和b轴值两者与至少第一参考图像和第二参考图像比较，这些参考图像描绘操作者操纵的输入装置60。特别地，第一参考图像能够描绘第一位置处的操作者操纵的输入装置60，并且，第二参考图像能够描绘不同于第一位置的第二位置处的操作者操纵的输入装置60。
现在参考图9和图10，第一参考图像能够描绘沿着轴向方向A的第一位置66处的操作者操纵的输入装置60，并且，第二参考图像能够描绘沿着轴向方向A的第二位置68处的操作者操纵的输入装置60。此外，第一参考图像和第二参考图像能够各自限定沿着第一轴通过a min 值和amax值来定边界的区域90、92。此外，两个区域90、92都能够沿着与第一轴正交的另一第二轴通过b min 值和b max 值来定边界。应当领会的是，在第一参考图像和第二参考图像内限定的区域90、92指示操作者操纵的输入装置60位于第一位置66或第二位置68中。
另外，控制器210在运行比较块342时能够将转换的图像的a轴值和转换的图像的b轴值两者分别与由第一参考图像和第二参考图像限定的区域90、92内的那些a值和b值比较。如果给转换的图像的像素分配处于由第一参考图像限定的区域90内的a轴值或b轴值，则控制器210确定像素将操作者操纵的输入装置60识别为位于第一位置66中。相反地，如果给转换的图像的像素分配不处于由第一参考图像限定的区域90内的a轴值或b轴值，则控制器210确定像素未将操作者操纵的输入装置60识别位于第一位置66中。此外，如果由第一参考图像限定的区域90与由第二参考图像限定的区域92相比囊括转换的图像343的更多的像素，则操作者操纵的输入装置60的所观察的状态350与第一位置66相对应。备选地，如果与第一参考图像相比，由第二参考图像限定的区域92囊括转换的图像343的更多的像素，则操作者操纵的输入装置60的所观察的状态350与第二位置68相对应。
应当领会的是，在一些实施例中，仪器44、飞行显示器46以及操作者操纵的输入装置60中的一个的所观察的状态可以取决于彼此。例如，第一感兴趣区域中所描绘的仪器44的所观察的状态能够取决于第二感兴趣区域中所描绘的飞行显示器46、第三感兴趣区域中所描绘的操作者操纵的输入装置60或两者。这有利地提高控制器210以其确定仪器44、飞行显示器46以及操作者操纵的输入装置60中的一个的所观察的状态的准确度。
现在参考图11，根据本公开的方面，图示用于监测飞机10的驾驶舱40的方法400的一个实施例的流程图。通常，将在本文中，参考在上文中参考图1-4而描述的系统200而讨论方法400。另外，虽然出于说明和讨论的目的，图11描绘按特定的顺序执行的步骤，但本文中所讨论的方法不限于任何特定的顺序或布置。使用本文中所提供的公开的本领域技术人员将领会的是，在不背离本公开的范围的情况下，本文中所公开的方法的各种步骤能够省略、重排、组合、同时地执行，和/或以各种方式适应。
在（402）处，方法400包括由一个或更多个控制器210接收图像，该图像描绘位于飞机10的驾驶舱40内的操作者操纵的输入装置60。在一个示例实施例中，从定位于驾驶舱40内的相机220接收图像。此外，一个或更多个控制器210能够配置成使用任何合适的图像处理逻辑来处理图像。例如，一个或更多个控制器210能够配置成实现在上文中参考图5而讨论的图像处理逻辑230。
在（404）处，方法400包括由一个或更多个控制器210确定操作者操纵的输入装置60的所观察的状态。一个或更多个控制器210能够使用任何合适的图案识别算法来确定所观察的状态。在一个示例实施例中，一个或更多个控制器210实现图8的状态检测逻辑240，以便确定操作者操纵的输入装置60的所观察的状态。在备选实施例中，一个或更多个控制器210实现图10的状态检测逻辑240，以便确定操作者操纵的输入装置60的所观察的状态。
在（406）处，方法400包括至少部分地基于从飞机10的传感器接收的数据来由一个或更多个控制器210确定操作者操纵的输入装置60的所感测的状态。在一个示例实施例中，数据是从飞机10的飞行控制系统100接收的飞行控制数据250。更特别地，能够从航空电子系统120、传感器系统122或两者接收飞行控制数据250。
在（408）处，方法400包括由一个或更多个控制器210确定操作者操纵的输入装置60的所观察的状态和所感测的状态之间的不匹配。更特别地，一个或更多个控制器210将在（404）处确定的所观察的状态和在（406）处确定的所感测的状态比较。如果操作者操纵的输入装置60的所观察的状态不同于操作者操纵的输入装置60的所感测的状态，则在操作者操纵的输入装置60的所观察的状态和所感测的状态之间，存在不匹配。
在一个示例实施例中，操作者操纵的输入装置60是起落架杆，并且，起落架杆的所观察的状态指示起落架杆位于第一位置中，其中，通常，在飞机10内，收拾起落架组合件。相比之下，可操作来检测起落架杆的位置中的变化的传感器指示起落架杆位于第二位置中，其中，通常，起落架组件被展开。因此，一个或更多个控制器210能够确定在起落架杆的所观察的状态和所感测的状态之间存在不匹配。
在（410）处，一个或更多个控制器210能够配置成生成指示不匹配的通知。在一个示例实施例中，一个或更多个控制器210能够生成指示不匹配的可听或可视通知。更特别地，能够在驾驶舱40内，传递可听或可视通知，以将不匹配告知飞行机组成员。因而，飞行机组成员能够调整飞机10的操作，以针对不匹配而校正或适应。
作为示例，如果在飞行机组成员将起落架杆从第一位置移动至第二位置以准备着陆时，起落架组合件未展开，则一个或更多个控制器210能够生成驾驶舱40内的可视或可听通知，以将不匹配通知飞行机组成员。
现在参考图12，根据本公开的方面，图示用于监测飞机10的驾驶舱40的方法500的另一实施例的流程图。通常，将在本文中参考在上文中参考图1-4而描述的系统200来讨论方法500。另外，虽然出于说明和讨论的目的，图12描绘按特定的顺序执行的步骤，但本文中所讨论的方法不限于任何特定的顺序或布置。使用本文中所提供的公开的本领域技术人员将领会的是，在不背离本公开的范围的情况下，本文中所公开的方法的各种步骤能够省略、重排、组合、同时地执行，和/或以各种方式适应。
在（502）处，方法500包括由一个或更多个控制器210接收图像，该图像描绘位于飞机10的驾驶舱40内的仪器44。在一个示例实施例中，从定位于驾驶舱40内的相机220接收图像。此外，一个或更多个控制器210能够配置成使用任何合适的图像处理逻辑来处理图像。例如，一个或更多个控制器210能够配置成实现在上文中参考图5而讨论的图像处理逻辑230。
在（504）处，方法500包括由一个或更多个控制器210确定仪器44的所观察的状态。更特别地，一个或更多个控制器210能够至少部分地基于图像与描绘仪器的两个或更多个参考图像的比较来确定所观察的状态。在一个示例实施例中，仪器是具有针的计量器，并且，在（502）处接收的图像指示针位于所观察的位置中。一个或更多个控制器210能够配置成至少部分地基于图像分别与描绘第一位置和第二位置中的针的第一参考图像和第二参考图像的比较来确定计量器的所观察的状态。更特别地，一个或更多个控制器210能够将所观察的位置和第一参考图像中所描绘的第一位置比较。此外，一个或更多个控制器210能够将所观察的位置和第二参考图像中所描绘的第二位置比较。如果所观察的位置与第一位置匹配，则一个或更多个控制器210确定计量器（特别地，针）的所观察的状态与第一位置相对应。相比之下，如果所观察的位置与第二位置匹配，则一个或更多个控制器210确定计量器的所观察的状态与第二位置相对应。应当领会的是，一个或更多个控制器210能够配置成将（502）处的图像和任何合适的数量的参考图像比较。
在（506）处，方法500包括至少部分地基于从飞机10的传感器接收的数据来由一个或更多个控制器210确定仪器44的所感测的状态。在一个示例实施例中，数据是从飞机10的飞行控制系统100接收的飞行控制数据250。更特别地，能够从航空电子系统120、传感器系统122或两者接收飞行控制数据250。
在（508）处，方法500包括由一个或更多个控制器210确定仪器44的所观察的状态和所感测的状态之间的不匹配。更特别地，一个或更多个控制器210将在（504）处确定的所观察的状态和在（506）处确定的所感测的状态比较。如果仪器44的所观察的状态不同于仪器44的所感测的状态，则在仪器44的所观察的状态和所感测的状态之间，存在不匹配。
在（510）处，一个或更多个控制器210能够配置成生成指示不匹配的通知。在一个示例实施例中，一个或更多个控制器210能够生成指示不匹配的可听或可视通知。更特别地，能够在驾驶舱40内，传递可听或可视通知，以将不匹配告知飞行机组成员。因而，飞行机组成员能够调整飞机10的操作，以针对不匹配而校正或适应。
现在参考图13，根据本公开的方面，图示用于监测飞机10的驾驶舱40的方法600的又一实施例的流程图。通常，将在本文中参考在上文中参考图1-4而描述的系统200，讨论方法600。另外，虽然出于说明和讨论的目的，图13描绘按特定的顺序执行的步骤，但本文中所讨论的方法不限于任何特定的顺序或布置。使用本文中所提供的公开的本领域技术人员将领会的是，在不背离本公开的范围的情况下，本文中所公开的方法的各种步骤能够省略、重排、组合、同时地执行，和/或以各种方式适应。
在（602）处，方法600包括由一个或更多个控制器210接收图像，该图像描绘位于飞机10的驾驶舱40内的飞行显示器46。更特别地，图像描绘在飞行显示器46上呈现的一个或更多个数值。应当领会的是，从定位于驾驶舱40内的相机220接收图像。还应当领会的是，一个或更多个控制器210能够配置成使用任何合适的图像处理逻辑来处理图像。例如，一个或更多个控制器210能够配置成实现在上文中参考图5而讨论的图像处理逻辑230。
在（604）处，方法600包括由一个或更多个控制器210确定飞行显示器46的所观察的状态。更特别地，一个或更多个控制器210能够使用任何合适的图案识别算法来确定所观察的状态。在一个实施例中，一个或更多个控制器210实现光学字符识别（OCR）算法，以确定在飞行显示器46上呈现的数值。
在（606）处，方法600包括至少部分地基于从飞机10的传感器接收的数据来由一个或更多个控制器210确定飞行显示器46的所感测的状态。在一个示例实施例中，数据是从飞机10的飞行控制系统100接收的飞行控制数据250。更特别地，能够从航空电子系统120、传感器系统122或两者接收飞行控制数据250。
在（608）处，方法600包括由一个或更多个控制器210确定飞行显示器46的所观察的状态和所感测的状态之间的不匹配。更特别地，将在（604）处确定的所观察的状态和在（606）处确定的所感测的状态比较。如果飞行显示器46的所观察的状态（即，数值）不同于飞行显示器46的所感测的状态（即，飞行控制数据），则在飞行显示器46的所观察的状态和所感测的状态之间，存在不匹配。
在（610）处，一个或更多个控制器210能够配置成生成指示不匹配的通知。在一个示例实施例中，一个或更多个控制器210能够生成指示不匹配的可听或可视通知。更特别地，能够在驾驶舱40内，传递可听或可视通知，以将不匹配告知飞行机组成员。因而，飞行机组成员能够调整飞机10的操作，以针对不匹配而校正或适应。
在（612）处，一个或更多个控制器210能够调整飞行显示器46，以解决在（610）处确定的不匹配。在一个示例实施例中，一个或更多个控制器210能够重新配置飞行显示器46，以呈现在相邻的飞行显示器上呈现的信息。换句话说，在另一飞行显示器上呈现的信息能够被复制到飞行显示器46上。这维持在飞行显示器46上呈现的信息之间的一致性。
虽然本公开已限于飞机上的应用，但应当领会的是，本文中所描述的系统和方法适用于监测任何合适的交通工具的驾驶舱。例如，可以使用系统和方法来监测列车或汽车的驾驶舱。
本书面描述使用示例来公开本公开的示例实施例，包括制作并使用任何装置或系统和执行任何合并的方法。本公开的可取得专利范围由权利要求书定义，并且，可以包括本领域技术人员所想到的其它示例。如果这样的其它示例包括并非与权利要求的字面语言不同的结构元件，或如果这些示例包括与权利要求的字面语言无实质的差异的等效的结构元件，则预计它们处于权利要求的范围之内。
组件列表
| 参考字符 | 组件 |
| 10 | 飞机 |
| 20 | 机身 |
| 30 | 燃气涡轮引擎 |
| 40 | 驾驶舱 |
| 42 | 飞行驾驶台 |
| 44 | 仪器 |
| 46 | 飞行显示器 |
| 48 | 座椅 |
| 50 | 座椅 |
| 52 | 多功能键盘 |
| 60 | 操作者操纵的输入装置 |
| 62 | 杆 |
| 64 | 手柄 |
| 66 | 第一位置 |
| 68 | 第二位置 |
| 70 | 计量器 |
| 72 | 针 |
| 74 | 针的第一位置 |
| 76 | 针的第二位置 |
| 80 | 第一参考图像 |
| 82 | 第二参考图像 |
| 90 | 区域 |
| 92 | 区域 |
| 100 | 飞行控制系统 |
| 110 | 控制器 |
| 112 | 处理器 |
| 114 | 存储器 |
| 116 | 通信装置 |
| 120 | 航空电子系统 |
| 122 | 传感器系统 |
| 200 | 系统 |
| 210 | 控制器 |
| 212 | 处理器 |
| 214 | 存储器 |
| 216 | 通信接口 |
| 220 | 相机 |
| 230 | 图像处理逻辑 |
| 232 | 同步块 |
| 234 | 去扭曲块 |
| 236 | 增强块 |
| 238 | 分割块 |
| 240 | 仪器状态检测逻辑 |
| 242 | 图像转换块 |
| 243 | 灰度图像 |
| 244 | 阈值块 |
| 245 | 二值图像 |
| 246 | 比较块 |
| 250 | 飞行控制数据 |
| 260 | 来自相机的图像 |
| 300 | 图案 |
| 302 | 多个白色带 |
| 304 | 多个黑色带 |
| 342 | 转换块 |
| 343 | 转换的图像 |
| 344 | 比较块 |
| 350 | 操作者操纵的输入装置的所观察的状态 |
| 400 | 方法 |
| 402 | 步骤 |
| 404 | 步骤 |
| 406 | 步骤 |
| 408 | 步骤 |
| 410 | 步骤 |
| 500 | 方法 |
| 502 | 步骤 |
| 504 | 步骤 |
| 506 | 步骤 |
| 508 | 步骤 |
| 510 | 步骤 |
| 600 | 方法 |
| 602 | 步骤 |
| 604 | 步骤 |
| 606 | 步骤 |
| 608 | 步骤 |
| 610 | 步骤 |
| A | 轴向方向 |
Claims (10)
1.一种监测飞机的驾驶舱的方法，所述方法包含：
由一个或更多个控制器接收图像，所述图像描绘位于所述驾驶舱内的操作者操纵的输入装置；
基于所述图像来由所述一个或更多个控制器确定所述操作者操纵的输入装置的所观察的状态；
基于来自传感器的数据来由所述一个或更多个控制器确定所述操作者操纵的输入装置的所感测的状态；以及
由所述一个或更多个控制器确定所述操作者操纵的输入装置的所述所观察的状态和所述所感测的状态之间的不匹配。
2.根据权利要求1所述的方法，进一步包含由所述一个或更多个控制器生成指示所述不匹配的通知，所述通知包含可听或可视通知。
3. 根据权利要求1所述的方法，其中，确定所述操作者操纵的输入装置的所述所观察的状态包含：
由所述一个或更多个控制器将所述图像转换成照明委员会（CIE）Lab颜色空间；以及
由所述一个或更多个控制器将所转换的图像与至少第一参考图像和第二参考图像比较，
其中，所述第一参考图像描绘第一位置处的所述操作者操纵的输入装置，并且
其中，所述第二参考图像描绘第二位置处的所述操作者操纵的输入装置。
4.根据权利要求3所述的方法，其中，所述第一参考图像限定指示所述操作者操纵的输入装置在位于所述第一位置中时的位置的区域，且其中，所述第二参考图像限定指示所述操作者操纵的输入装置在位于所述第二位置中时的位置的区域。
5.根据权利要求4所述的方法，其中，由所述第一参考图像限定的所述区域囊括第一组像素，其中，由所述第二参考图像限定的所述区域囊括第二组像素，且其中，所述第一组像素不同于所述第二组像素。
6.根据权利要求1所述的方法，其中，确定所述操作者操纵的输入装置的所述所观察的状态包含：
由所述一个或更多个控制器将所述图像转换成灰度图像；
由所述一个或更多个控制器将阈值应用于所述灰度图像的每个像素，以获得二值图像；以及
由所述一个或更多个控制器将所述二值图像与至少第一参考图像和第二参考图像比较。
7.根据权利要求6所述的方法，其中，所述二值图像、第一参考图像和第二参考图像各自描绘识别所述操作者操纵的输入装置的图案。
8.根据权利要求1所述的方法，其中，所述操作者操纵的输入装置包含节流阀输入装置，其可操作来调整所述飞机的燃气涡轮引擎的引擎功率。
9.一种监测飞机的驾驶舱的方法，所述方法包含：
由一个或更多个控制器接收图像，所述图像描绘所述驾驶舱内的仪器；
基于所述图像来由所述一个或更多个控制器确定所述仪器的所观察的状态；
基于来自传感器的数据来由所述一个或更多个控制器确定所述仪器的所感测的状态；以及
由所述一个或更多个控制器确定所述仪器的所述所观察的状态和所述所感测的状态之间的不匹配。
10.根据权利要求9所述的方法，进一步包含由所述一个或更多个控制器生成指示所述不匹配的通知，所述通知包含可听或可视通知。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/581016 | 2017-04-28 | ||
| US15/581,016 US10252815B2 (en) | 2017-04-28 | 2017-04-28 | System and method for monitoring a cockpit of an aircraft |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805019A true CN108805019A (zh) | 2018-11-13 |
| CN108805019B CN108805019B (zh) | 2023-07-28 |
Family
ID=62067464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810392233.9A Active CN108805019B (zh) | 2017-04-28 | 2018-04-27 | 用于监测飞机的驾驶舱的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10252815B2 (zh) |
| EP (1) | EP3403938B1 (zh) |
| CN (1) | CN108805019B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112185173A (zh) * | 2019-07-02 | 2021-01-05 | 波音公司 | 一种远程监控飞机的系统和方法 |
| CN114013630A (zh) * | 2021-11-15 | 2022-02-08 | 中国商用飞机有限责任公司 | 飞机的驾驶盘和飞机 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3058815B1 (fr) * | 2016-11-17 | 2018-11-02 | Safran Electronics & Defense | Procede de collecte de donnees operationnelles d'aeronef |
| USD873200S1 (en) * | 2018-07-13 | 2020-01-21 | The Boeing Company | Aircraft |
| USD873201S1 (en) * | 2018-07-13 | 2020-01-21 | The Boeing Company | Aircraft |
| FR3099753B1 (fr) * | 2019-08-07 | 2021-09-03 | Safran Aircraft Engines | Procede de surveillance, produit programme d’ordinateur, systeme de surveillance et aeronef associes |
| USD1009696S1 (en) | 2020-02-18 | 2024-01-02 | Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company | Aircraft |
| US11554865B2 (en) | 2020-02-18 | 2023-01-17 | Aurora Flight Sciences Corporation | Vertical take-off and landing (VTOL) aircraft and related methods |
| USD945947S1 (en) | 2020-02-24 | 2022-03-15 | Aurora Flight Sciences Corporation | Aircraft |
| US11472546B2 (en) | 2020-02-24 | 2022-10-18 | Aurora Flight Sciences Corporation | Fixed-wing short-takeoff-and-landing aircraft and related methods |
| US11772773B2 (en) | 2021-01-04 | 2023-10-03 | Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company | Aircraft and related methods |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002103292A1 (en) * | 2001-06-18 | 2002-12-27 | Innovative Solutions & Support, Inc. | Improved aircraft flat panel display system |
| CN101828191A (zh) * | 2007-08-17 | 2010-09-08 | 贝尔直升机泰克斯特龙公司 | 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统 |
| RU2474862C1 (ru) * | 2011-12-28 | 2013-02-10 | Открытое акционерное общество "Камов" | Командно-пилотажный индикатор |
| CN103714254A (zh) * | 2013-12-27 | 2014-04-09 | 北京航空航天大学 | 飞机驾驶舱信息显示界面布局对飞行员情境意识影响特性的测定系统和方法 |
| CA2839626A1 (en) * | 2013-02-18 | 2014-08-18 | The Boeing Company | Aircraft monitoring system |
| CN104536458A (zh) * | 2014-12-22 | 2015-04-22 | 中国人民解放军海军航空工程学院青岛校区 | 一种便携式飞参数据标校方法及装置 |
| US20150169191A1 (en) * | 2013-12-17 | 2015-06-18 | Honeywell International Inc. | System and method for decluttering an image on a cockpit display system |
| US9546002B1 (en) * | 2013-09-30 | 2017-01-17 | The Boeing Company | Virtual instrument verification tool |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07115677B2 (ja) * | 1990-10-30 | 1995-12-13 | 嘉三 藤本 | 航空機の飛行情報記録方法とその装置 |
| US5742336A (en) * | 1996-12-16 | 1998-04-21 | Lee; Frederick A. | Aircraft surveillance and recording system |
| US6259378B1 (en) * | 1997-09-22 | 2001-07-10 | Sandel Avionics | Display system for airplane cockpit or other vehicle |
| DE60114988T2 (de) * | 2000-02-03 | 2006-07-27 | Honeywell International Inc. | Auf ereignisse basierte flugzeugbildsequenz und daten-aufzeichnungssystem |
| JP2002218261A (ja) * | 2001-01-23 | 2002-08-02 | Minolta Co Ltd | 画像情報伝送方法、画像情報作成装置、画像情報出力装置、画像情報作成プログラム、画像情報出力プログラム、これらのプログラムを記録した記録媒体及び画像情報伝送システム |
| US20030048202A1 (en) * | 2001-09-10 | 2003-03-13 | Michael Francois | Cockpit image recording system |
| US7183946B2 (en) * | 2002-10-11 | 2007-02-27 | Gary Jon Boudrieau | Safety aircraft flight system |
| ITBO20020724A1 (it) | 2002-11-15 | 2004-05-16 | L E A T S R L | Metodo e sistema per l'acquisizione e la registrazione di dati relativi allo spostamento di un veicolo |
| WO2006011141A2 (en) * | 2004-07-25 | 2006-02-02 | Israel Aerospace Industries Ltd. | Method and system for the acquisition of data and for the display of data |
| US7659903B2 (en) * | 2005-07-18 | 2010-02-09 | Innovative Solutions & Support, Inc. | Aircraft flat panel display system |
| US8319666B2 (en) | 2009-02-20 | 2012-11-27 | Appareo Systems, Llc | Optical image monitoring system and method for vehicles |
| DE102010053895A1 (de) * | 2010-12-09 | 2012-06-14 | Eads Deutschland Gmbh | Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes |
| DE102011054848B4 (de) * | 2011-10-27 | 2014-06-26 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Steuer- und Überwachungseinrichtung für Fahrzeuge |
| US8886372B2 (en) * | 2012-09-07 | 2014-11-11 | The Boeing Company | Flight deck touch-sensitive hardware controls |
| EP3133469B1 (en) | 2015-08-18 | 2019-11-13 | Sikorsky Aircraft Corporation | System and method for digitization of vehicular components |
| FR3048094B1 (fr) * | 2016-02-22 | 2018-03-02 | Zodiac Aero Electric | Interface pour aeronef et procede de commande d'une telle interface |
-
2017
- 2017-04-28 US US15/581,016 patent/US10252815B2/en active Active
-
2018
- 2018-04-26 EP EP18169459.7A patent/EP3403938B1/en active Active
- 2018-04-27 CN CN201810392233.9A patent/CN108805019B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002103292A1 (en) * | 2001-06-18 | 2002-12-27 | Innovative Solutions & Support, Inc. | Improved aircraft flat panel display system |
| CN101828191A (zh) * | 2007-08-17 | 2010-09-08 | 贝尔直升机泰克斯特龙公司 | 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统 |
| RU2474862C1 (ru) * | 2011-12-28 | 2013-02-10 | Открытое акционерное общество "Камов" | Командно-пилотажный индикатор |
| CA2839626A1 (en) * | 2013-02-18 | 2014-08-18 | The Boeing Company | Aircraft monitoring system |
| CN103991537A (zh) * | 2013-02-18 | 2014-08-20 | 波音公司 | 飞机监控系统 |
| US9546002B1 (en) * | 2013-09-30 | 2017-01-17 | The Boeing Company | Virtual instrument verification tool |
| US20150169191A1 (en) * | 2013-12-17 | 2015-06-18 | Honeywell International Inc. | System and method for decluttering an image on a cockpit display system |
| CN103714254A (zh) * | 2013-12-27 | 2014-04-09 | 北京航空航天大学 | 飞机驾驶舱信息显示界面布局对飞行员情境意识影响特性的测定系统和方法 |
| CN104536458A (zh) * | 2014-12-22 | 2015-04-22 | 中国人民解放军海军航空工程学院青岛校区 | 一种便携式飞参数据标校方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李伟: "航空发动机参数显示技术发展趋势", 飞机设计, no. 01 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112185173A (zh) * | 2019-07-02 | 2021-01-05 | 波音公司 | 一种远程监控飞机的系统和方法 |
| CN112185173B (zh) * | 2019-07-02 | 2024-05-07 | 波音公司 | 一种远程监控飞机的系统和方法 |
| CN114013630A (zh) * | 2021-11-15 | 2022-02-08 | 中国商用飞机有限责任公司 | 飞机的驾驶盘和飞机 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3403938B1 (en) | 2020-02-12 |
| EP3403938A1 (en) | 2018-11-21 |
| US20180312272A1 (en) | 2018-11-01 |
| US10252815B2 (en) | 2019-04-09 |
| CN108805019B (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805019A (zh) | 用于监测飞机的驾驶舱的系统和方法 | |
| CN107610141B (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| US7825831B2 (en) | Aircraft flight display with a non-linear pitch scale | |
| US9430847B2 (en) | Method for stereo visual odometry using points, lines and planes | |
| JP7095600B2 (ja) | 対空標識、画像処理装置、画像処理方法、及び、プログラム | |
| KR100819111B1 (ko) | 항공기의 다기능 평면 패널 디스플레이 상에서 승무원에게 시인성 및 데이터의 동시 분석성을 용이하게 하는 방법 및 장치 | |
| Shen et al. | A vision-based automatic safe landing-site detection system | |
| CN108460743A (zh) | 一种基于暗通道的无人机航拍图像去雾算法 | |
| EP2618322B1 (en) | System and method for detecting and displaying airport approach lights | |
| WO2018034214A9 (ja) | 回路装置、電子機器及びエラー検出方法 | |
| CN103927758B (zh) | 一种基于对比度与角点最小凸包的显著性检测方法 | |
| CN103325117B (zh) | 一种基于matlab的岩心图像处理方法及系统 | |
| KR20020070788A (ko) | 컬러화상의 영역분할 | |
| CN108596892A (zh) | 一种基于改进LeNet-5模型的焊缝缺陷识别方法 | |
| JP2023075366A (ja) | 情報処理装置、認識支援方法およびコンピュータプログラム | |
| CN106408510A (zh) | 一种获取人脸图像的美颜蒙版的方法及系统 | |
| US10620417B2 (en) | Method for generating a reflection-reduced contrast image and corresponding device | |
| CN109613926A (zh) | 多旋翼无人机自动降落高精度自动识别降落区域的方法 | |
| JP2014071046A (ja) | 画像評価装置、画像評価方法、及びプログラム | |
| CN111099037A (zh) | 一种民机平视显示器显示画面安全性监控的方法 | |
| CN104103043A (zh) | 空间域色域映射算法 | |
| CN102567969A (zh) | 一种彩色图像边缘检测方法 | |
| CN105023269B (zh) | 一种车载红外图像彩色化方法 | |
| CN117115063A (zh) | 一种多源数据融合应用方法 | |
| CN111784768A (zh) | 基于三色四灯标记识别的无人机姿态估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |