CN106405837A - 用于在平视显示器上显示信息的方法和系统 - Google Patents

Abstract

本发明涉及用于在平视显示器上显示信息的方法和系统。提供了用于在平视显示器（HUD）上显示信息的方法和系统。利用相机捕获背景图像。分析背景图像的多个分区以确定针对多个分区中的每一个的按分区图像属性。生成具有符号表示属性的符号表示并且将其覆盖在背景图像的覆盖分区上以生成平视显示图像。覆盖分区是背景图像的多个分区中的一个。基于覆盖分区的按分区图像属性来调节符号表示属性以生成经调节的平视显示图像。经调节的平视显示图像显示在HUD上。

Description

用于在平视显示器上显示信息的方法和系统

技术领域

本公开一般涉及平视显示器（HUD），并且更具体地涉及在飞行器中的HUD和头盔式显示器（HMD）上显示信息。

背景技术

平视显示器（HUD）是用于帮助和扩充飞行员的决策制定能力的现代飞行器座舱的固有部分。HUD、挡风玻璃投影显示器和头盔式显示器（HMD）典型地在其叠加于背景图像或透视组合器上的前向视场中向飞行员提供主要飞行、导航和/或引导信息，由此允许同时扫描仪器数据和窗外场景二者。这通过在飞行员不必向下看仪器面板的情况下向飞行员提供信息而改进飞行员决策制定。

尽管HUD已经部署成改进飞行性能和更好的情况意识，但是存在与HUD相关联的感知和认知问题。通过研究，已经标识了涉及向附近细节（HUD符号表示（symbology））和远处细节（窗外场景）的飞行员注意力分布的数个问题，一般地称为视觉或认知捕获。研究还清楚地示出HUD符号表示显示特性（亮度、对比率）与背景照明条件之间的关系以及对飞行员的注意力捕获的影响。

例如，如果符号表示的对比率太高，则飞行员往往关注于HUD符号表示并且丢失对背景图像细节的关注。类似地，如果符号表示的对比度太低，则飞行员可能往往关注于背景图像并且没注意到通过符号表示所传达的信息。因此将有益的是，基于背景图像来调节显示在HUD上的符号表示的属性。因此，期望的是提供用于显示信息的方法和系统。其它期望的特征和特性将从结合附图和前述的技术领域及背景技术所考虑的之后的具体实施方式和随附权利要求而变得显而易见。

发明内容

本文公开了用于在平视显示器上显示信息的方法、用于在显示器上显示信息的方法以及用于显示信息的系统的各种实施例。

在一个实施例中，用于在平视显示器（HUD）上显示信息的方法。利用相机捕获背景图像。分析背景图像的多个分区（region）以确定针对多个分区中的每一个的按分区图像属性。生成具有符号表示属性的符号表示并且将其覆盖在背景图像的覆盖分区上以生成平视显示图像。覆盖分区是背景图像的多个分区中的一个。符号表示属性基于覆盖分区的按分区图像属性来调节以生成经调节的平视显示图像。经调节的平视显示图像显示在HUD上。

在另一实施例中，利用相机捕获背景图像。生成具有符号表示属性和符号表示分区的符号表示。背景图像基于被分析以确定针对多个分区中的每一个的按分区图像属性的符号表示分区而分段成多个分区。符号表示覆盖在背景图像的覆盖分区上以生成显示图像。覆盖分区是对应于符号表示分区的背景图像的多个分区中的一个。符号表示属性基于覆盖分区的按分区图像属性来调节以生成经调节的显示图像。经调节的显示图像显示在显示器上。

在另一实施例中，用于显示信息的系统包括配置成显示具有多个覆盖分区的图像的显示器。系统包括具有处理器和存储器的显示模块。显示模块配置为生成符号表示并且在覆盖分区上覆盖符号表示。符号表示具有符号表示分区和符号表示属性。系统还包括与显示模块进行通信的相机，其配置成捕获具有至少对应于覆盖分区的多个分区的背景图像。显示模块配置成基于符号表示分区而对背景图像分段以生成针对多个分区中的每一个的按分区图像属性并且基于按分区图像属性来调节符号表示属性以生成图像。

附图说明

在此之后将结合以下绘图描述示例性实施例，其中相同参考标号表示相同元件，并且其中：

图1图示了具有依照示例性实施例所显示的信息的平视显示器；

图2A是图示了依照示例性实施例的用于在平视显示器上显示信息的方法的流程图；

图2B是图示了依照另一示例性实施例的用于在显示器上显示信息的方法的流程图；

图3A-3B图示了具有依照示例性实施例所显示的信息的平视显示器；

图4A-C图示了具有依照示例性实施例所显示的增强背景图像和信息的平视显示器；以及

图5是依照示例性实施例的用于显示信息的系统的示意图。

具体实施方式

以下具体实施方式在性质上仅仅是示例性的并且不意图限制本发明或者本发明的应用和使用。如本文中使用的，词语“示例性”意味着“充当示例、实例或说明”。因而，本文描述为“示例性”的任何实施例未必构造为相对于其它实施例是优选或有利的。本文描述的所有实施例是示例性实施例，其提供成使得本领域技术人员能够做出或使用本发明并且不限制由权利要求限定的本发明的范围。此外，不意图通过在之前的技术领域、背景技术、发明内容或以下的具体实施方式中呈现的任何明示或暗示的理论来约束。

应当理解到，贯穿附图，对应的参考标号指示相同或对应的部分和特征。如本文中使用的，术语模块单独地或者以任何组合指代任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路（ASIC）、电子电路、处理器模块（共享、专用或分组）和存储器模块（其执行一个或多个软件或固件程序）、组合逻辑电路和/或提供所描述的功能性的其它适合的组件。

参照附图，在本文中示出了用于在平视显示器（HUD）10上显示信息的方法100。图1是依照由图2A中的流程图所图示的方法100来显示平视图像12的平视显示器10。HUD 10包括具有多个分区22a-c的背景图像20。符号表示30覆盖在背景图像20的覆盖分区上以在HUD10上生成平视显示图像12。

现在参照图2A和3A-B，并且继续参照图1，流程图图示了依照本公开的方法100。如根据本公开而可以领会的，方法100内的操作次序不限于如在图2A中图示的顺序执行，而是可以如所适用的并且依照给定应用的要求以一个或多个变化次序执行。

方法100在利用相机捕获背景图像20的框110处开始，如本领域技术人员所已知的。在框120处，分析背景图像20的多个分区22a-c以确定针对多个分区22a-c中的每一个的按分区属性。在框120的优选实施例中，分析背景图像20的对比率。在非限制性实施例中，分析使用基于强度的图像阈值化或者基于高斯混合模型的图像分析而执行，然而，本领域技术人员将领会到，可以采用附加图像处理算法来分析背景图像20的对比率而不脱离本发明的精神。

在框130处，生成具有符号表示属性的符号表示30。如在图中示出并且在上文详述的，符号表示30包括由HUD 10显示的相关信息。尽管许多符号表示30显示在HUD 10上，但是将出于简单性而使用方法100关于一个符号表示30的操作。

在框140处，符号表示30覆盖在背景图像20的覆盖分区上以生成平视显示图像12。覆盖分区是背景图像20的多个分区22a-c中的一个。在框150处，符号表示属性基于覆盖分区的按分区图像属性来调节以生成经调节的平视显示图像14。在框160处，经调节的平视显示图像14显示在HUD 10上。

以此方式，方法100通过调节符号表示属性以生成经调节的平视显示图像14来在HUD 10上显示信息。这继而改进跨背景图像20的显示在HUD 10上的符号表示30的可读性。如相对于图3A而在图3B中所示，调节符号表示属性改进显示在HUD 10上的符号表示30的可读性。

在一个实施例中，在框150处，调节符号表示属性使得一个或多个符号表示属性相对相关联的覆盖分区属性实际相同或被感知为相同，由此提供统一的（uniform）符号表示可读性水平。在非限制性示例中，调节符号表示属性使得针对每一个符号表示30的实际或所感知的对比率相对于其相关联的覆盖分区遍及HUD 10是统一的。在另一非限制性示例中，调节符号表示属性使得针对每一个符号表示30的实际或所感知的亮度相对于其相关联的覆盖分区遍及HUD 10是统一的。在另外的非限制性示例中，调节符号表示属性使得针对每一个符号表示30的实际或所感知的强度相对于其相关联的覆盖分区遍及HUD 10是统一的。如上文所指示，多个符号表示属性可以相对于相关联覆盖分区属性来调节，使得它们实际上相同或者被感知为相同，由此提供统一的符号表示可读性水平。

在一个实施例中，在框150处，调节符号表示属性以增强一些符号表示30相对于其它符号表示30在HUD 10上的可读性水平。在非限制性示例中，调节符号表示属性使得特定符号表示30的实际或所感知的对比率、亮度和/或强度大于显示在HUD 10上的其它符号表示的实际或所感知的对比率、亮度和/或强度。

在一个实施例中，在框150处，调节符号表示属性以减少一些符号表示30相对于其它符号表示30在HUD 10上的可读性水平。在非限制性示例中，调节符号表示属性使得特定符号表示30的实际或所感知的对比率、亮度和/或强度小于显示在HUD 10上的其它符号表示的实际或所感知的对比率、亮度和/或强度。

以此方式，符号表示30可以统一地显示在HUD 10上，或者符号表示30可以相对于彼此可变化地调节以优先化某些符号表示30。例如，某些符号表示30可以基于诸如起飞、降落、紧急情况、或者以将有关信息带到飞行员的注意之类的条件而优先化。

在一个实施例中，按分区图像属性可以包括强度、对比率和亮度中的至少一个。诸如明亮度、颜色、振动和/或饱和度之类的其它图像属性可以是按分区属性。本领域技术人员将领会到，这些属性可以用作分析背景图像20时的因素。

在一个实施例中，符号表示属性可以包括对比率、亮度和/或强度中的至少一个。诸如明亮度、颜色、振动和/或饱和度之类的其它显示属性可以是符号表示属性。因而，在框150处，这些符号表示属性中的一个或多个可以基于覆盖分区的按分区图像属性中的一个或多个来调节以生成经调节的显示图像18。本领域技术人员将领会到，这些属性可以用于调节HUD 10上的符号表示30相对于HUD上的其它符号表示30和背景图像20的实际或所感知的外观。

在一个实施例中并且参照图4A-C，方法100还包括其中在HUD 10上显示增强背景图像40的框170。在框180处，基于增强按分区图像属性来确定背景图像调节因素。增强按分区图像属性包括强度、对比率和亮度中的至少一个。在框190处，增强背景图像40基于背景图像调节因素来调节。在框190之后，方法100进行到框120并且分析增强背景图像40。

在一个实施例中，增强背景图像40包括红外图像、热图像和增强飞行视景系统图像中的至少一个。如本领域技术人员所已知的，增强背景图像40可以使用在其中正常可见度受损或者要改进飞行员的视野的条件下。非限制性条件包括黑暗、恶劣天气、或者其中增强背景图像40的使用可以改进飞行员的可见度的任何情况。在这些情况下，方法100基于增强背景图像40调节符号表示属性。

在一个实施例中，增强按分区图像属性包括强度、对比率和亮度中的至少一个。本领域技术人员将领会到，这些属性可以用作分析和调节增强背景图像40时的因素。

现在参照图2B和3A-B，并且继续参照图1和2A，流程图图示了依照本公开的另一方法200。如根据本公开而可以领会的，方法200内的操作次序不限于如在图2B中所图示的顺序执行，而是可以如所适用的并且依照给定应用的要求以一个或多个变化次序执行。

相对于方法100，方法200在显示器11上显示信息。在非限制性实施例中，显示器11包括HUD 10、头盔式显示器和显示屏幕。

方法200在利用相机捕获背景图像20的框210处开始，如本领域技术人员所已知的。在框220处，生成具有符号表示属性和符号表示分区的符号表示30。符号表示分区是符号表示30将覆盖于其中的显示器11上的预确定位置。符号表示分区相对于符号表示30的大小和形状至少像符号表示30那么大并且可以更大以便包含比符号表示30的总体大小更大的显示器11上的区域。

如在附图中示出并且上文详述的，符号表示30包括由显示器11显示的相关信息。尽管许多符号表示30显示在显示器11上，但是将出于简单性而使用关于一个符号表示30的方法100的操作。

在框230处，基于符号表示分区而将背景图像20分段成多个分区22a-c。在框240处，分析多个分区22a-c以确定针对多个分区22a-c中的每一个的按分区属性。在框240的优选实施例中，分析背景图像20的对比率。在非限制性示例中，使用基于强度的图像阈值化或者基于高斯混合模型的图像分析来执行分析，然而，本领域技术人员将领会到，可以采用附加图像处理算法来分析背景图像20的对比率而不脱离本发明的精神。

在框250处，符号表示130覆盖在背景图像20的覆盖分区上以生成显示图像16。覆盖分区是对应于符号表示分区的背景图像20的多个分区22a-c中的一个。在框260处，基于覆盖分区的按分区图像属性来调节符号表示属性以生成经调节的显示图像18。在框270处，经调节的显示图像18显示在显示器11上。

以此方式，方法200通过调节符号表示属性以生成经调节的显示图像18来在显示器11上显示信息。这继而改进跨背景图像20的显示在显示器11上的符号表示30的可读性。如相对于图3A在图3B中所示，调节符号表示属性改进显示在显示器11上的符号表示30的可读性。

在一个实施例中，在框260处，调节符号表示属性使得一个或多个符号表示属性相对相关联的覆盖分区属性实际上相同或者被感知为相同，由此提供统一的符号表示可读性水平。在非限制性示例中，调节符号表示属性使得针对每一个符号表示30的实际或所感知的对比率相对于其相关联的覆盖分区遍及显示器11是统一的。在另一非限制性示例中，调节符号表示属性使得针对每一个符号表示30的实际或所感知的亮度相对于其相关联的覆盖分区遍及显示器11是统一的。在另外的非限制性示例中，调节符号表示属性使得针对每一个符号表示30的实际或所感知的强度相对于其相关联的覆盖分区遍及显示器11是统一的。再次，如上文所指示的，多个符号表示属性可以相对于相关联的覆盖分区属性而调节，使得它们实际上相同或者被感知为相同，由此提供统一的符号表示可读性水平。

在一个实施例中，在框260处，调节符号表示属性以增强一些符号表示30相对于显示器11上的其它符号表示30的可读性水平。在非限制性实施例中，调节符号表示属性使得特定符号表示30的实际或所感知的对比率、亮度和/或强度大于针对显示在显示器11上的其它符号表示的实际或所感知的对比率、亮度和/或强度。

在一个实施例中，在框260处，调节符号表示属性以减少一些符号表示相对于显示器11上的其它符号表示30的可读性水平。在非限制性实施例中，调节符号表示属性使得特定符号表示30的实际或所感知的对比率、亮度和/或强度小于显示在显示器11上的其它符号表示的实际或所感知的对比率、亮度和/或强度。

以此方式，符号表示30可以统一地显示在显示器11上，或者符号表示30可以相对于彼此可变化地调节以优先化某些符号表示30。例如，某些符号表示30可以基于诸如起飞、降落、紧急情况、或者以将有关信息带到飞行员的注意之类的条件而优先化。

在一个实施例中，按分区图像属性可以包括对比率、亮度和/或强度中的至少一个。诸如明亮度、颜色、振动和/或饱和度之类的其它图像属性可以是按分区图像属性。本领域技术人员将领会到，这些属性可以用作分析背景图像20时的因素。

在一个实施例中，符号表示属性可以包括强度、对比率和亮度中的至少一个。诸如明亮度、颜色、振动和/或饱和度之类的其它显示属性可以是符号表示属性。因而，在框260处，可以基于覆盖分区的按分区图像属性中的一个或多个来调节这些符号表示属性中的一个或多个以生成经调节的显示图像18。本领域技术人员将领会到，这些属性可以用于调节显示器11上的符号表示30相对于显示器11上的其它符号表示30和背景图像20的实际或所感知的外观。

在一个实施例中并且参照图4A-C，方法200还包括其中在显示器11上显示增强背景图像40的框280。在框290处，基于增强按分区图像属性来确定背景图像调节因素。增强按分区图像属性包括强度、对比率和亮度中的至少一个。在框300处，基于背景图像调节因素来调节增强背景图像40。在框300之后，方法200进行到框240并且分析增强背景图像40。

在一个实施例中，增强背景图像40包括红外图像、热图像和增强飞行视景系统图像中的至少一个。如本领域技术人员所已知的，增强背景图像40可以使用在其中正常可见度受损或者要改进飞行员的视野的条件下。非限制性条件包括黑暗、恶劣天气、或者其中增强背景图像40的使用可以改进飞行员的可见度的任何情况。在这些情况下，方法200基于增强背景图像40来调节符号表示属性。

在一个实施例中，增强按分区图像属性可以包括对比率、亮度和/或强度中的至少一个。诸如明亮度、颜色、振动和/或饱和度之类的其它图像显示属性可以是按分区图像属性。本领域技术人员将领会到，这些属性可以用作分析和调节增强背景图像40时的因素。

参照图5并且继续参照图1-4，提供了用于根据之前描述的方法100、200来显示信息的系统500。系统500包括配置成显示具有多个覆盖分区的图像511的显示器510。系统500包括具有处理器514和存储器516的显示模块512。显示模块512与显示器510通信并且配置为生成符号表示530并且将符号表示530覆盖在图像511的覆盖分区上。符号表示530具有符号表示分区和符号表示属性。

系统500包括与显示模块512通信的相机518。相机518配置成捕获具有至少与图像511的覆盖分区对应的多个分区522a-c的背景图像520。系统500基于符号表示分区对背景图像520分段以生成针对多个分区522a-c中的每一个的按分区图像属性。基于按分区图像属性来调节符号表示属性以生成图像511。

以此方式，方法500通过使用以上描述的方法100、200调节符号表示属性以生成图像511来在显示器510上显示信息。这继而改进跨背景图像520的显示在显示器511上的符号表示30的可读性。如相对于图3A在图3B中所示，调节符号表示属性改进显示在显示器511上的符号表示30的可读性。

本领域技术人员将领会到，系统500和各种组件的描绘仅仅是示例性的并且不关于组件的大小或在系统500内的位置进行限制。因而，本公开不限于任何具体布局，并且系统500可以包括未在其实现中示出的附加电子组件。

类似于之前描述的实施例，显示模块512配置成将符号表示属性调节成统一的符号表示可读性水平。在一个实施例中，调节符号表示属性以增强一些符号表示30相对于显示器510上的其它符号表示30的可读性水平。在一个实施例中，调节符号表示属性以减少一些符号表示30相对于显示器510上的其它符号表示30的可读性水平。以此方式，符号表示30可以统一地显示在显示器510上，或者符号表示30可以相对于彼此可变化地调节以优先化某些符号表示30。例如，某些符号表示30可以基于诸如起飞、降落、紧急情况、或者以将有关信息带到飞行员的注意之类的条件而优先化。

在一个实施例中，按分区图像属性可以包括对比率、亮度和/或强度中的至少一个。诸如明亮度、颜色、振动和/或饱和度之类的其它图像属性可以是按分区图像属性。本领域技术人员将领会到，这些属性可以用作分析背景图像520时的因素。

在一个实施例中，符号表示属性可以包括对比率、亮度和/或强度中的至少一个。诸如明亮度、颜色、振动和/或饱和度之类的其它显示属性可以是符号表示属性。本领域技术人员将领会到，这些属性可以用于调节显示器510上的符号表示30相对于显示器510上的其它符号表示30和背景图像520的实际或所感知的外观。

在一个实施例中并且参照图4A-C，系统500还包括具有处理器542和存储器544的增强视景模块540。增强视景模块540与相机518和显示模块512通信，并且配置成在显示器510上显示增强图像513。类似于之前描述的实施例，增强视景模块配置成基于增强按分区图像属性来确定背景图像调节因素，并且基于背景图像调节因素来调节增强图像513。显示模块512然后基于来自增强视景模块540的增强图像513来调节符号表示属性。

在一个实施例中，增强图像513包括红外图像、热图像和增强飞行视景系统图像中的至少一个。如本领域技术人员所已知的，增强图像513可以使用在其中正常可见度受损或者要改进飞行员的视野的条件下。非限制性条件包括黑暗、恶劣天气、或者其中增强图像513的使用可以改进飞行员的可见度的任何情况。在这些情况下，系统500基于增强图像513来调节符号表示属性。

在一个实施例中，增强按分区图像属性包括强度、对比率和亮度中的至少一个。本领域技术人员将领会到，这些属性可以用作分析和调节增强图像513时的因素。

尽管已经在前述的具体实施方式中呈现了至少一个示例性实施例，但是应当领会到，存在大量的变形。还应当领会到，一个或多个示例性实施例仅是示例，并且不意图以任何方式限制本发明的范围、适用性或配置。相反，前述的具体实施方式将为本领域技术人员提供用于实现本发明的示例性实施例的方便路线图。要理解到，可以在示例性实施例中所描述的元件的功能和布置方面做出各种改变而不脱离如在随附权利要求中阐述的本发明的范围。

Claims (10)

1.一种用于在平视显示器（HUD）上显示信息的方法，包括：

利用相机捕获背景图像；

分析背景图像的多个分区以确定针对多个分区中的每一个的按分区图像属性；

生成具有符号表示属性的符号表示；

将符号表示覆盖在背景图像的覆盖分区上以生成平视显示图像，其中覆盖分区是背景图像的多个分区中的一个；

基于覆盖分区的按分区图像属性来调节符号表示属性以生成经调节的平视显示图像；以及

在HUD上显示经调节的平视显示图像。

2.权利要求1所述的方法，其中将符号表示属性调节成统一的符号表示可读性水平。

3.权利要求1所述的方法，其中按分区图像属性包括强度、对比率和亮度中的至少一个。

4.权利要求1所述的方法，其中符号表示属性中的每一个包括强度、对比率和亮度中的至少一个。

5.一种用于在显示器上显示信息的方法，包括：

利用相机捕获背景图像；

生成具有符号表示属性和符号表示分区的符号表示；

基于符号表示分区将背景图像分段成多个分区；

分析背景图像的多个分区以确定针对多个分区中的每一个的按分区图像属性；

将符号表示覆盖在背景图像的覆盖分区上以生成显示图像，其中覆盖分区是与符号表示分区对应的背景图像的多个分区中的一个；

基于覆盖分区的按分区图像属性来调节符号表示属性以生成经调节的显示图像；以及

在显示器上显示经调节的显示图像。

6.权利要求5所述的方法，还包括：

在显示器上显示增强背景图像；

基于增强背景图像属性来确定背景图像调节因素；以及

基于背景图像调节因素来调节增强背景图像。

7.权利要求6所述的方法，其中增强背景图像属性包括强度、对比率和亮度中的至少一个。

8.一种用于显示信息的系统，包括：

配置成显示具有多个覆盖分区的图像的显示器；

具有处理器和存储器的显示模块，所述显示模块配置为生成符号表示并且将符号表示覆盖在覆盖分区上，所述符号表示具有符号表示分区和符号表示属性；以及

与显示模块通信的相机，其配置成捕获具有至少与覆盖分区对应的多个分区的背景图像，

其中基于符号表示分区对背景图像分段以生成针对多个分区中的每一个的按分区图像属性，并且基于按分区图像属性来调节符号表示属性以生成图像。

9.权利要求8所述的系统，其中显示模块配置成将符号表示属性调节成统一的符号表示可读性水平。

10.权利要求8所述的系统，还包括：

具有处理器和存储器的增强视景模块，所述增强视景模块配置成从相机接收背景图像并且在显示器上生成增强图像，

其中增强视景模块配置成基于增强按分区图像属性来确定背景图像调节因素，并且基于背景图像调节因素来调节增强图像。