CN102665084A - 周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法 - Google Patents

周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法 Download PDF

Info

Publication number
CN102665084A
CN102665084A CN2011104630711A CN201110463071A CN102665084A CN 102665084 A CN102665084 A CN 102665084A CN 2011104630711 A CN2011104630711 A CN 2011104630711A CN 201110463071 A CN201110463071 A CN 201110463071A CN 102665084 A CN102665084 A CN 102665084A
Authority
CN
China
Prior art keywords
image
compression
panoramic picture
zone
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104630711A
Other languages
English (en)
Inventor
P·哈德维格
J·凯勒雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IDESD AG
Airbus Defence and Space GmbH
Original Assignee
IDESD AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IDESD AG filed Critical IDESD AG
Publication of CN102665084A publication Critical patent/CN102665084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025Navigation or guidance aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

周围环境显示装置设有至少一个图像源、图像信号处理装置和至少一个图像显示装置,由图像源提供的图像输入信号被输送给图像信号处理装置,它把输送给它的图像输入信号处理成全景图像的图像输出信号,由图像信号处理装置把图像输出信号进一步传递给图像显示装置用于显示全景图像,全景图像的至少一个第一区域不失真地压缩或以第一压缩度压缩,其至少一个第二区域以第二压缩度被压缩地表达,其特征在于,图像信号处理装置经过设计,使得在整个全景图像上可变地选择不失真地或压缩地表达的区域的部分,使得可以任意选择被压缩地表达的区域的各自的压缩度,且对被压缩地表达的区域的这些改变可在周围环境显示装置的运行期间进行。

Description

周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法
技术领域
本发明涉及周围环境显示装置以及带有这种周围环境显示装置的交通工具和显示全景图像的方法。
背景技术
在飞行驾驶系统的发展中,力求把合成外观的策略上的和导航上的信息重叠地显示在飞机驾驶舱中的图像显示装置上。至今在驾驶舱显示器上的透视显示局限于飞行方向上有限的空间截面。然而,对于必须监视整个空间的飞机驾驶员的任务,飞机前面这种狭小的角度范围是不够的。至今在驾驶舱图像显示装置上只给飞机驾驶员指示飞机前面一个比较狭小的视角的观察范围。
在处于驾驶舱中的图像显示装置上以大视角显示观察范围的这个问题,不仅涉及飞机,即使在其他交通工具例如陆上交通工具或水上交通工具或者还有静止装置的情况下也存在。
由US 2009/0309811A1已知一种图像显示系统,其中在安装于用户头部的显示装置上显示之前,在图像的边缘区域压缩待显示的图像,以此使处于用户周围视觉区域的这些边缘区域受到比中央图像显示区域更强的压缩。接着,这个在边缘受到压缩的图像为了显示在图像显示装置上而再次伸展,以便在整个视角上不失真地表达实际显示的图像,然而在边缘上分辨率小得多。以此减少图像显示所要求的像素数目,进而使显示的图像分辨率适应于观察者的视力。因此,在图像中央区域造成高的图像分辨率,而在周围的视觉区域图像分辨率低。因此,用户在其中央视觉范围内获得高分辨率图像,而在图像边缘区域向他显示的图像分辨率降低。但是还要说明,可以停止再一次伸展的步骤。
从US 5,495,576A已知,从同时测量三维目标所有侧面获得的大量传感器数据(例如雷达、摄像机)产生一个在显示装置上显示给用户的虚像。
从US 2007/0097206A1已知一种全景摄像机系统,它由安装在交通工具上的大量的摄像单元组成,这些摄像单元各自从不同视线方向环绕该交通工具。从这种摄像机所摄取的图像数据获得表达在显示装置上的全景图像,使围绕该交通工具360°的视觉成为可能。
发明内容
因此,本发明种目的是,提出一种周围环境显示装置,借此使操作者可能在图像显示装置上以大视角看见一个观察范围,而不会由于所显示的图像失真而损害操作者的与位置有关的觉察力。此外,本发明的目的是,提出一种带有这种类型的周围环境显示装置的交通工具以及一种显示全景图像的方法。
该目的的涉及周围环境显示装置的部分通过带有权利要求1特征的周围环境显示装置来实现。
为此,该周围环境显示装置设有至少一个图像源;图像信号处理装置和至少一个图像显示装置;其中由该图像源提供的图像输入信号被输送给图像信号处理装置;其中该图像信号处理装置把输送给它的图像输入信号处理成全景图像的图像输出信号;其中由图像信号处理装置把图像输出信号进一步传递给图像显示装置,以便显示全景图像,其中该图像信号处理装置处理图像输入信号,使得全景图像的至少一个第一区域不失真或以第一压缩度压缩,且全景图像的至少一个第二区域以第二压缩度被压缩地表达。在此,该图像信号处理装置经过适当设计,使得整个全景图像上不失真的或被压缩地表达的区域的部分可以可变地选择;被压缩地表达的区域的各自的压缩度可以任意选择,而且对被压缩地表达的区域的这种改变可以在周围环境显示装置的运行过程中进行。
在按照本发明的周围环境显示装置中的图像信号处理装置允许对由一个图像源或多个图像源产生的作为图像输入信号输送给图像信号处理装置的图像信息进行处理,使得对被一个或多个图像源覆盖的视角的水平的和/或竖直的压缩,在显示于图像显示装置上的全景图像的整个平面上,并非以同一压缩度而是以不同的水平的和/或竖直的压缩度,压缩到与操作者的在图像显示装置上的视角一致的视角。
若只在全景图像的一部分中进行压缩,而全景图像的一般与操作者主视觉方向一致的、在其中操作者必须无误地看见和识别目标的另一部分不失真地加以表达,则给出一种有利的特殊情况。
这样,操作者例如汽车驾驶员或飞机驾驶员便可能从该图像显示装置的显示中正确地获得其视野的对于汽车或飞机控制所要求的区域,但另一方面,还可以在图像显示装置上看见在这个主视觉方向的侧面以及某些情况下上面或下面的区域,该区域尽管是压缩的,因此是失真的,但是在该区域中,操作者可以感觉到,它发生在其自然视野以外。
在现有技术中,不失真的显像总是局限于操作者的中央视角,压缩的图像部分设置在周围的边缘区域中,而就按照本发明的周围环境显示装置而言,被压缩地表达的第二区域的部分是可变的,此外,第二区域的压缩度是可以任意选择的。对被压缩地表达的第二区域的这些改变可以任意地在周围环境显示装置的运行过程中进行。
这种可变性在现有技术中是未知的,它要么使操作者自己能够选择被压缩区域的部分和压缩度,要么例如在从一个确定的方向出现危险威胁(例如由飞机本身的传感器测量出向飞机袭来的火箭)时,即使这种危险区域处于全景图像的原先被压缩地表达的第二区域内,也能自动在图像显示装置上不失真地表达该危险区域。
该图像信号处理装置经过优选设计,使得可以以不同于第一和第二压缩度的另一压缩度至少表达全景图像的另一个区域。这个实施方式允许以不同的压缩度局部地任意地压缩全景图像。例如,可以对全景图像的当前操作状况重要性较小的区域进行强烈的压缩,而对当前操作状况重要的区域进行较弱的压缩或者甚至不失真地予以表达。对这些区域的选择可以由操作者手动进行,或者可以自动地由相应的导航或交通工具驾驶支持装置进行。对有待压缩区域的选择和对有待给各区域指配的压缩度的选择可以在运行期间进行,以便可以在每种操作状况下手动或自动调整全景图像的各个图示。
在另一有利的设计中,可以任意选择与被不失真地或被压缩地表达的区域对应的在水平平面内在0°和360°之间的视角,还可以任意选择与被不失真地或被压缩地表达的区域对应的在竖直平面内在最低点-90°视角和最高点+90°视角之间的视角。这样便可以从涉及用户的或者涉及包围各传感器位置的整个视觉区域,任意选择要压缩的和待在全景图像屏幕上显示的视角范围。
优选设置多个图像源,其中这些图像源的视线方向朝向不同的方向,优选从观察周围环境的操作者出发朝向围绕操作者的四周。这样便可以覆盖周围环境显示装置的非常大的观察角度。
在一个优选的实施方式中,至少一个图像源具有数据处理装置,该数据处理装置被设计用来把存储的数字地形模型的图像数据作为图像信号传递给该图像信号处理装置。作为在一个确定的视线方向上符合实际的模拟虚拟视图对所存储的数字地形模型的图像数据的这种存储,无需附加的图像源硬件,借助于计算机即可进行。应用所存储的数字地形模型的数据作为图像信号,与借助于传感器实时地采集图像信号相比,有许多优点。在数字地形模型中存储的数据,与用机载机构(Bordmittel)实时测量的相比可以准确得多,因为这些数据例如可以用昂贵的测量方法取得。另外,对所存储的数字地形模型的图像数据的应用与天气无关。该地形模型的数据也不会受到遮挡,而借助于传感器实时地采集数据就可能受到遮挡,这种遮挡例如因在待由图像传感器检测的区域中的地形结构造成。实时采集图像数据用的传感器受到有效距离的限制,而应用所存储的数字地形模型的图像数据时就不会受到有效距离的限制,只要使用者在所存储的地形模型中移动。应用所存储的数字地形模型的图像数据,与借助于激活的即发射信号的传感器进行的图像数据采集相比,另一个重要的优点是,对所存储的数字地形模型的图像数据的访问“静止地”进行,特别是在军事应用的情况下,为了防止使用者通过从激活的传感器发射出的信号而被识别到,这是重要的。
优选至少一个图像源由至少一个传感器构成,该传感器被设计用来检测正在接近的目标,并把由检测所得到的目标位置数据作为图像信号传递给图像信号处理装置。采用该方案,可以把用不可见光(雷达或者红外传感器)检测例如袭来的目标的传感器集成在由多个图像源组成的整个系统中。特别是当这些传感器信号与数字地形模型重叠时,在取得数字地形模型的上述优点的情况下,在该图像显示装置上可靠地显示向操作者靠近的目标。
在另一个优选的实施方式中,至少一个图像源由图像采集装置例如视频摄像机构成。若处于观察者的视线方向上的区域,例如处于交通工具之前的路段,作为实时图像集成到为了显示而在图像显示装置上产生的全景图像中,则这个方案特别适用。
在此,图像源的视线方向经过优选取向,使得这些图像源至少在第一平面上对视野的图像信息以大于120°优选大于180°进一步优选为360°的视角进行检测。人类两眼测量的视野的水平扩展大致可达180°,然而朝向外边缘对于移动目标的感知减少,不再可能在视野边缘区域内进行具体的对象识别。当被多个或一个图像源覆盖的水平视野在120°和180°之间时,按照本发明的周围环境显示装置已经提供了显著提高的信息获取度,这是因为操作者在图像显示装置上也不仅借助运动来感知到处于其视野边缘区域中的目标,而且还可以认出且在某些情况下可以识别该目标。
当不失真地表达全景图像的与操作者视线方向一致的区域时,是特别有利的。这使得操作者总是可以清楚地且不失真地看见对于其信息需求来说重要的区域。
图像信号处理装置优选获得有关操作者的当前视线方向的信息,使得不失真地表达的全景图像区域与操作者当前的视线方向一致,即使操作者移动进而改变其视线方向。不失真地表达的区域自动地适应于操作者当前的视线方向,这使得在图像显示装置上显示的全景图像的不失真地表达的区域当操作者改变其视线方向时可以游移。以此可以实现不必不失真表达与操作者的自然视野一致的整个视角,而只需要不失真地表达来自图像显示装置的狭窄的中央视角。
但同样有利的是,操作者可以影响图像信号处理装置,使得他可以选择在图像显示装置上向他显示的全景图像的应该不失真地进行表达的区域。这样便可能使操作者可以通过移位全景图像的不失真地表达的区域,或者通过提供一个附加的不失真地表达的区域,就可以不失真地看到在全景图像的本身失真地表达的侧向区域中露出的目标。
周围环境显示装置优选是交通工具的特别是空中交通工具的一部分,且把一个或多个图像源设置在交通工具上,并优选从交通工具出发提供至少半圆形或整圆形的图示。按照本发明的周围环境显示装置的这种设计方式,对于在其中在交通工具驾驶员的自然视野的侧段内的观察可能是意义重大的多种应用领域,在比较小的消耗情况下特别有利,因为以此实现了可以感觉到的信息获取。
全景图像的不失真的区域优选表达了处于行驶方向的图像扇面。这使交通工具驾驶员只借助在图像显示装置上显示的全景图像便可以控制交通工具,这例如在装甲的交通工具中或者还有在受遥控的交通工具的情况下,其中交通工具驾驶员和图像显示装置处于交通工具以外,乃是一个巨大的优点。
在另一个优选的设计方式中,全景图像的不失真地表达的区域的图像表达的压缩度向其旁侧增大。以此,全景图像的对于当前主视觉方向较不重要的区域,在图像显示装置上占据较小的地方,从而可以为全景图像的失真较小的或者不失真地表达的区域更好地利用余下的地方。
按照本发明,周围环境显示装置的一个特别有利的应用是在设有按照本发明的周围环境显示装置的交通工具特别是空中交通工具中,该周围环境显示装置同样可以具有上述有利的改进方案。
在此,对周围环境显示装置的应用在如下情况下是特别有利的,即该交通工具是无人驾驶的交通工具例如无人驾驶的空中交通工具。在这种情况下,图像显示装置设置在一个设置于交通工具以外的遥控单元中。图像信号处理装置可以设置在交通工具或遥控单元中。相应的图像信号在交通工具和遥控单元之间优选无线地传递。
所述目的的涉及该方法的部分通过在权利要求16中给出的方法来实现,该方法用来为操作者在按照本发明的周围环境显示装置的图像显示装置上显示全景图像。这个方法有下列步骤:
-提供由至少一个图像源提供的图像输入信号;
-把图像输入信号处理成全景图像用的图像输出信号,使得全景图像的至少一个第一区域不失真地压缩或以第一压缩度压缩,且全景图像的至少一个第二区域以第二压缩度压缩;
-把图像输出信号进一步传递到图像显示装置;和
-在图像显示装置上显示全景图像,
其中可以分别任意可变地选择各个被压缩地表达的区域的各压缩度。
通过按照本发明的方法实现的对图像输入信号的处理,使得从一个或多个图像源取得的图像输入信号产生在图像显示装置上显示全景图像的图像输出信号,全景图像在不同的区域以内被不同程度地失真表达,其中失真特别是压缩在显示期间可以在一个或者两个维度上亦即在运行的任意时间进行调节。
在这个方法的一个有利的改进方案中,操作者可以选择在全景图像的哪个位置应该进行不失真的或失真的显示。这例如可以这样地进行,即,操作者在设计为触摸敏感的荧光屏的图像显示装置上接触该要不失真地或失真地表达的区域,或者操作者可以通过图像显示装置上的本已周知的操作介质把光标置于所要求的位置上,在该位置应该进行不失真的或失真的图像表达。
作为替代或补充还可以规定,根据自动检测的目标或事件,自动确定在图像显示装置上所显示的全景图像的不失真地或失真较小地表达的区域。由此例如当传感器检测到一个从确定的方向靠近的目标时,在图像显示装置上对该目标所处的区域自动进行不失真的或失真较小的表达。
下面将参照附图更详细地描述和阐明带有附加的设计细节和其他优点的本发明的优选的实施例。
附图说明
图1示出带有按照本发明的周围环境显示装置的空中交通工具;
图2是根据图1的按照本发明的周围环境显示装置的组成部分的示意图;
图3示出带有按照本发明的周围环境显示装置的装甲交通工具;
图4是根据图3的按照本发明的周围环境显示装置的组成部分的示意图;
图5示出经典视场扩大的示例;
图6示出带有按照本发明设置的不失真区域的视场扩大示例。
具体实施例
在图1中示出了飞机1,它配备了按照本发明的周围环境显示装置2。为此,该飞机1具有多个图像源。在图1中还可以看到飞机1的驾驶舱11以及作为周围环境显示装置2操作者的飞机驾驶员12,其中在驾驶舱11中示意地示出周围环境显示装置2的图像显示装置24。
作为第一图像源,设置有在计算机10(图2)的数据存储器10′中存储的飞机当前所处的环境的数字地形模型。由该合成的图像源提供的虚拟图像以在飞机四周的水平视角α=360°延伸。这个合成的外观由一个或者多个存储在计算机10的存储器10′中的数字地形模型产生,所述地形模型形成图像数据的数据库。为此,在计算机中运行的图像产生程序的虚拟摄像机“拍摄”数字地形模型,以便产生计算机支持的动态图像,它的图像数据作为图像输入信号SE10通过数据线10″传递到图像信号处理装置25,如图2所示。
该图像信号处理装置25以下面还要进一步描述的方法形成图像输出信号SA,该图像输出信号通过数据线26进一步传递给图像显示装置24并在那里作为全景图像24′显示出来。以此,在飞机通过周围环境移动期间,该环境作为合成透视外观在图像显示装置上显示出来。该合成外观可以在内容上用其他信息源来补充,或者完全或部分地被其他图像内容重叠。
作为其他图像源,飞机设有至少一个图像采集装置14,它具有作为给出图像的传感器的图像采集传感器14′,该图像采集传感器例如由光学摄像机或红外摄像机形成。这种给出图像的传感器在所示的示例中采集非常狭长的,在飞行方向上相对于飞机纵向轴X处于+/-10°,因而水平视角β=20°的图像扇面。由这个给出图像的传感器提供的图像信号SE14通过数据线14″输送给图像信号处理装置25,并被图像信号处理装置作为周围环境的真实图像集成在全景图像中。
另外,作为图像源设有带有一个或多个跟踪传感器16′的对象识别装置16,该对象识别装置能识别目标和求出有关这些目标的信息。这样的跟踪传感器例如是红外跟踪传感器、雷达跟踪传感器、敌友识别传感器(识别敌/友)或者所谓的ELS传感器(发射器定位系统),ELS传感器可以对发出雷达搜索射线的雷达站进行定位。这些跟踪传感器可以在飞行方向+/-70°的角度范围内,亦即γ=140°的水平视角内识别目标,并求出有关这些目标的不同信息,例如其位置、速度或移动方向。所述信息通过数据线16″作为图像输入信号SE16传递给图像信号处理装置25,并被该图像信号处理装置集成到显示在图像显示装置上的全景图像中。以此,附带地在信息上评价该图像视图。在这种情况下操作者不必亲自完成对象识别,而是在图像显示装置25上通过相应的符号向操作者显示对象的存在及其特性。
最后,还可以使得通过数据无线电台借助于形成图像源的接收器18和天线18′所接收的监视信息作为图像输入信号SE18通过数据线18″传递给图像信号处理装置25。例如,这个监视信息从地面上的雷达站或其他空中侦查机(例如,AWACS)发出,并形成从对飞机1的整个周围环境在水平视角δ=360°下的监测得出的跟踪报告信号。以此,把从其他信息源产生的监视信息输送给图像信号处理装置25,并由该图像信号处理装置以适当的方法,例如作为符号显示,集成到在图像显示装置上显示的、例如部分合成和部分真实的外观的全景图像上。
故可以在由数字地形模型产生的合成外观上集成来自其他不同的图像源或信息源(例如光学摄像机或红外摄像机或借助于其他方法产生的图像信号,诸如给出图像的雷达)的附加的图像信息。这时,在图像显示装置上模拟出由图像源的给出图像的传感器采集的实际环境。对真实环境的这种模拟可以在相应于相关传感器的视线方向的角度范围内替代于或附加于数字地形模型的合成外观进行显示。
图3表示按照本发明的周围环境显示装置2在装甲交通工具1′上的替代应用。该交通工具1′有四个图像采集装置20、21、22、23作为图像源,例如在可见光内工作的摄像机。但是,作为替代或补充,也可以设置在可见光以外的例如在红外范围中的波长范围内工作的图像采集装置。
第一图像采集装置20按行驶方向指向前方,并具有水平视角为α1=60°的图像采集范围。在该交通工具上安装向后的图像采集装置21,其水平视角为α2=90°。附带地在交通工具1′上设置分别向左或向右的图像采集装置22、23,其分别覆盖水平视角α3、α4=120°。这样,用四个图像采集装置20、21、22、23可以围绕交通工具1′进行360°的环视。
在图4中示意地示出该应用情况用的周围环境显示装置2的结构。图像采集装置20、21、22、23均设有图像采集传感器20′、21′、22′、23′,它们由以光学方法获得的图像产生电子图像数据。在每个图像采集装置20、21、22、23中产生的图像数据作为图像信号SE20、SE21、SE22、SE23通过相应的数据线20″、21″、22″、23″从各自的图像采集装置20、21、22、23进一步传递给图像信号处理装置25。
下面将参照上述两个示例阐述按照本发明的周围环境显示装置的工作方法。
在图像信号处理装置25中融合图像输入信号SE10、SE14、SE16、SE18或SE20、SE21、SE22、SE23,由在它们中分别含有的图像信息形成总的图像信息,在该总的图像信息中,由各个图像源10、14、16、18或20、21、22、23提供的图像信息汇合成总图像作为全景图像。这时,这个总图像信息经过下面描述的图像处理,并作为图像输出信号SA通过另一条图像数据线26从图像处理装置25进一步传递给图像显示装置24,该图像显示装置例如可以由全景图像屏幕构成。
由于用这样的方法扩大操作者(例如:飞机驾驶员或汽车驾驶员)12的视野,在图像显示装置上显示的视野首先出现压缩,正如图5A至5C参照另一个示例所示。
图5B表示给操作者例如飞机驾驶员在飞行方向上观察时提供的水平视角大致为50°的视野的示意图。若在图像显示装置24上显示这个视野,则会给出按照图5B的不失真的图像。这个视野对应于图5A中的视角β1
若现在通过按照本发明的周围环境显示装置来扩大视野,这用水平视角β2在图5A中以符号显示,而且这个扩大后的视野显示在同一图像显示装置上,如图5C所示,则会对整个模拟产生水平压缩(Stauchung)。
接着,这个水平压缩在图像处理装置25中在对应于飞机驾驶员12的在飞行方向上的观察的中间区域内再次加宽,使得在图6A至6C所示的示例中在水平视角β3约20°(图6A)的范围内延伸的该中间区域β1内,在图像显示装置24上给出不失真的图像(图6C)。剩下的从中间区域B1向边缘伸展的第二区域B2L和B2R,与图6B所示的在整个视野范围内均匀压缩的情况相比,在水平方向上较强压缩地表达出来。
用这样的方法,采用按照本发明的周围环境显示装置,一方面导致视野的扩大,另一方面通过扩大视野的中央区域,亦即在汽车或飞机驾驶员视线方向V上的扩大,达到符合实际的模拟,使得汽车或飞机驾驶员12可以不受限制地完成他的驾驶任务。
利用在压缩的边缘区域B2L和B2R中的附加的现有信息,汽车或飞机驾驶员12可以进行路线规划和路线监视。例如就战斗机而言,其需要监视该飞机周围的整个空间,则可以在图像显示装置24上显示从+180°至-180°的角度范围,正如在图1的示例中所示那样。在这种情况下,在图像显示装置24上显示的全景图像24′的各个区域被不同程度地压缩。这样便可以不失真地再现例如中央区域B1,在该区域中显示由摄像机摄取的实际图像。紧跟其后一侧直至约+90°而在另一侧直至约-90°,的其中在虚拟环境图像中插入跟踪信息的侧向区域,可以进行较弱的压缩,而在-90°和-180°之间或+90°和+180°之间的其中显示虚拟环境图像的最外侧的侧向边缘区域进行较强压缩。在这个区域中这样强的压缩几乎无损于监视任务。
在图像显示装置24上显示的视野的扩大,在中央投影到荧光屏平面上时导致失真。因此,最好在图像信号处理装置上首先通过计算在球平面上进行中央投影,并接着把这种球面模拟的数据作为在平投影面上的球形投影面展开,换算为投影平面上的图像数据,并接着压缩至图像显示装置24的荧光屏的大小。这个做法不仅可以在水平平面上进行,而且-作为替代或补充-还可以在竖直平面上进行。
这样产生的显示的产生方式为,把空间同心地投影到投影球面上。该球面在荧光屏的显示平面上展开,以便相同高度和相同方位的线得出垂直的栅格。这种角度的改变可以在运行过程中进行。
此外,这种被压缩的透视的外观的可变部分可以以任意可选的压缩度来显示(belegen)。这时,其余的显示相应地适应于其压缩,以便进一步模拟所要求的空间截面。例如,这样可以在飞行方向上矫正图形截面,使之符合实际地显示出来,而其余图示进一步压缩。飞机驾驶员有这样的可能性,即选择包围他的空间的任意大小的截面并可以进行透视显示。以此可以在工作效率和工作功效方面优化对重要的策略上的和导航上的信息的接收,这减小了工作负荷,提高了飞机驾驶员和整个系统的能力。
操作者(汽车或飞机的驾驶员)有可能以不同强度的压缩呈现合成外观的不同截面。例如,对于飞机驾驶员在观察不同的空间区域时涉及不同的任务。通过对不同图形区域的不同压缩,可以使人造外观适应不同的任务。例如,把飞行方向上的符合实际的图示用于飞行驾驶任务,直至路线规划的水平+/-90°的图示的适度压缩和空间后向的强压缩不会损害观察任务。
在权利要求书、说明书和附图中的附图标记只用来更好地理解本发明,而且不应限制保护范围。
附图标记清单
1       飞机
1′     装甲车
2       周围环境显示装置
10      计算机
10′    存储器
10″    数据线
11      驾驶舱
12      飞机驾驶员
14      图像采集装置
14′    图像采集传感器
14″    数据线
16      对象识别装置
16′    跟踪传感器
16″    数据线
18      接收器
18′    天线
18″    数据线
20      图像采集装置
20′    图像采集传感器
20″    数据线
21      图像采集装置
21′    图像采集传感器
21″    数据线
22      图像采集装置
22′    图像采集传感器
22″    数据线
23      图像采集装置
23′    图像采集传感器
23″    数据线
24      图像显示装置
25      图像信号处理装置
26      图像数据线
α      视角
α1     视角
α2     视角
α3     视角
α4     视角
β      视角
β1     视角
β2     视角
β3     视角
γ      视角
δ      视角
B1      中间区域
B2L     压缩的边缘区域
B2R     压缩的边缘区域
SA      图像输出信号
SE10    图像输入信号
SE14    图像输入信号
SE16    图像输入信号
SE18    图像输入信号
SE20    图像输入信号
SE21    图像输入信号
SE22    图像输入信号
SE23    图像输入信号

Claims (16)

1.一种周围环境显示装置,带有:
-至少一个图像源(10、14、16、18;20、21、22、23);
-图像信号处理装置(25);和
-至少一个图像显示装置(24);
-其中由该图像源(10、14、16、18;20、21、22、23)提供的图像输入信号(SE10、SE14、SE16、SE18;SE20、SE21、SE22、SE23)输送给图像信号处理装置(25);
-其中图像信号处理装置(25)把输送给它的图像输入信号(SE10、SE14、SE16、SE18;SE20、SE21、SE22、SE23)处理成全景图像的图像输出信号(SA);
-其中由该图像信号处理装置(25)把图像输出信号(SA)进一步传递给图像显示装置(24),用于显示全景图像;和
-其中图像信号处理装置(25)处理图像输入信号(SE10、SE14、SE16、SE18;SE20、SE21、SE22、SE23),使得全景图像的至少一个第一区域(B1)不失真地压缩或者以第一压缩度压缩,而全景图像的至少一个第二区域(B2L、B2R)以第二压缩度被压缩地表达;
其特征在于,
图像信号处理装置(25)经过设计,使得
-整个全景图像上的不失真地或者压缩地表达的区域的部分可以可变地选择;
-被压缩地表达的区域的各自的压缩度可以任意选择;和
-在该周围环境显示装置的运行期间,可以对被压缩地表达的区域进行这种改变。
2.按照权利要求1的周围环境显示装置,
其特征在于,
图像信号处理装置(25)经过设计,使得全景图像的至少一个其它区域可以以不同于第一和第二压缩度的其它压缩度来表达。
3.按照权利要求1或2的周围环境显示装置,
其特征在于,
-可以在水平平面上在0°和360°之间任意选择与不失真地或压缩地表达的区域对应的视角;和
-可以在竖直平面上在-90°和+90°之间任意选择与不失真地或压缩地表达的区域对应的视角。
4.按照权利要求1、2或3的周围环境显示装置,
其特征在于,
设置多个图像源(10、14、16、18;20、21、22、23),其中图像源的视线方向,优选从观察周围环境的操作者(12)出发朝向围绕操作者(12)的四周。
5.按照上列权项中任一项的周围环境显示装置,
其特征在于,
至少一个图像源(10)具有数据处理装置,该数据处理装置被设计用于把所存储的数字地形模型的图像数据作为图像信号(SE10)传递给图像信号处理装置(25)。
6.按照上列权项中任一项的周围环境显示装置,
其特征在于,
至少一个图像源(16)由至少一个传感器构成,所述传感器被设计用来测量接近的目标,并把从该测量得出的目标位置数据作为图像信号(SE16)传递给图像信号处理装置(25)。
7.按照上列权项中任一项的周围环境显示装置,
其特征在于,
至少一个图像源(14;20、21、22、23)是由图像采集装置构成的。
8.按照上列权项中任一项的周围环境显示装置,
其特征在于,
图像源的视线方向经过取向,使得所述图像源至少在第一平面上以大于120°优选大于180°进一步优选为360°的视角测量视野的图像信息。
9.按照上列权项中任一项的周围环境显示装置,
其特征在于,
不失真地表达全景图像的与操作者(12)的视线方向(V)一致的区域(B1)。
10.按照上列权项中任一项的周围环境显示装置,
其特征在于,
当操作者移动进而改变其视线方向时,图像信号处理装置(25)获得有关操作者(12)的当前的视线方向(V)的信息,并使全景图像的不失真地表达的区域(B1)与操作者(12)的当前的视线方向(V)一致。
11.按照上列权项中任一项的周围环境显示装置,
其特征在于,
在图像显示装置(24)上显示的全景图像的不失真地表达的区域(B1)可以由操作者(12)在周围环境显示装置(2)上选择。
12.按照上列权项中任一项的周围环境显示装置,
其特征在于,
该周围环境显示装置(2)是交通工具(1)特别是空中交通工具的一部分,且在交通工具(1)上设置一个或几个图像采集装置(10、14、18;20、21、22、23),并优选从交通工具(1)出发提供至少半圆形的视野,其中全景图像的不失真的区域(B1)进一步优选表达行驶方向上的图像扇面。
13.按照上列权项中任一项的周围环境显示装置,
其特征在于,
从全景图像的不失真地表达的区域(B1)出发,图像表达的压缩度向旁侧增大。
14.带有按照上述权利要求中任一项的周围环境显示装置(2)的交通工具(1;1′),特别是空中交通工具。
15.按照权利要求14的交通工具,
其特征在于,
至少该图像显示装置(24)设置在远离交通工具(1;1′)设置的遥控单元中,图像信号在交通工具(1;1′)和该遥控单元之间优选无线地传递。
16.在按照权利要求1至13中任一项的周围环境显示装置的图像显示装置上为操作者显示全景图像的方法,具有以下步骤:
-提供由至少一个图像源提供的图像输入信号;
-把图像输入信号处理为全景图像用的图像输出信号,使得全景图像的至少一个第一区域不失真地压缩或以第一压缩度压缩,而全景图像的至少一个第二区域以第二压缩度压缩;
-把图像输出信号进一步输送给图像显示装置;和
-在图像显示装置上显示全景图像;
其特征在于,
压缩地表达的区域的各自的压缩度分别可以各自任意可变地选择。
CN2011104630711A 2010-12-09 2011-12-09 周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法 Pending CN102665084A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010053895A DE102010053895A1 (de) 2010-12-09 2010-12-09 Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
DE102010053895.7 2010-12-09

Publications (1)

Publication Number Publication Date
CN102665084A true CN102665084A (zh) 2012-09-12

Family

ID=45421752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104630711A Pending CN102665084A (zh) 2010-12-09 2011-12-09 周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法

Country Status (7)

Country Link
US (1) US8854422B2 (zh)
EP (1) EP2464098B1 (zh)
CN (1) CN102665084A (zh)
BR (1) BRPI1105955A2 (zh)
DE (1) DE102010053895A1 (zh)
ES (1) ES2763366T3 (zh)
RU (1) RU2011149722A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631809A (zh) * 2015-12-31 2016-06-01 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN105872546A (zh) * 2016-06-13 2016-08-17 上海杰图软件技术有限公司 一种实现全景图像压缩存储的方法和系统
CN107121144A (zh) * 2016-02-24 2017-09-01 霍尼韦尔国际公司 用于检测未对准的静止对象的系统和方法
CN109552177A (zh) * 2017-09-26 2019-04-02 电装国际美国公司 用于环境动画和在界面上投射环境动画的系统和方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015156523A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9654740B2 (en) 2013-05-28 2017-05-16 International Business Machines Corporation Controlling automotive rear-view mirror based on eye movement
EP3798444A1 (en) 2014-08-21 2021-03-31 IdentiFlight International, LLC Avian detection system and method
US20160055399A1 (en) * 2014-08-21 2016-02-25 Identiflight, Llc Graphical display for bird or bat detection and identification
US9699392B2 (en) * 2014-11-21 2017-07-04 Flir Systems, Inc. Imaging system for an aircraft
DE102015105363A1 (de) 2015-04-09 2016-10-13 Airbus Ds Optronics Gmbh Verfahren zur Darstellung eines Panoramabildes und Panoramabilddarstellungsvorrichtung
WO2018057839A1 (en) 2016-09-22 2018-03-29 Apple Inc. Vehicle Video System
US10306289B1 (en) 2016-09-22 2019-05-28 Apple Inc. Vehicle video viewing systems
US10252815B2 (en) * 2017-04-28 2019-04-09 General Electric Company System and method for monitoring a cockpit of an aircraft
GB2566280B (en) 2017-09-06 2020-07-29 Fovo Tech Limited A method of modifying an image on a computational device
GB2566276B (en) * 2017-09-06 2020-07-29 Fovo Tech Limited A method of modifying an image on a computational device
DE102018126371A1 (de) 2018-10-23 2020-04-23 Hensoldt Optronics Gmbh Verfahren zur Anzeige eines Panoramabilds auf einer Bildwiedergabeeinrichtung
EP3865809A1 (en) * 2020-02-17 2021-08-18 HENSOLDT Sensors GmbH Apparatus and method to improve a situational awareness of a pilot or driver

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337708B1 (en) * 1996-06-24 2002-01-08 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
CN101702939A (zh) * 2007-03-16 2010-05-05 科尔摩根公司 用于全景图像处理的系统
EP2196774A2 (en) * 2008-12-10 2010-06-16 Honeywell International Inc. System and method for rendering a primary flight display having an attitude frame element

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2940871C2 (de) * 1979-10-09 1983-11-10 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Photogrammetrisches Verfahren für Fluggeräte und Raumflugkörper zur digitalen Geländedarstellung
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
DE19736880C1 (de) * 1997-08-26 1999-05-06 Jurca Optoelektronik Gmbh Elektronische Brille
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US20090309811A1 (en) * 2006-10-31 2009-12-17 Bae Systems Plc Image display systems
JP4902368B2 (ja) * 2007-01-24 2012-03-21 三洋電機株式会社 画像処理装置及び画像処理方法
DE102007061273A1 (de) * 2007-12-19 2009-06-25 Technische Universität Darmstadt Verfahren zur Darstellung von Fluginformationen und Anzeigeinstrument

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337708B1 (en) * 1996-06-24 2002-01-08 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
CN101702939A (zh) * 2007-03-16 2010-05-05 科尔摩根公司 用于全景图像处理的系统
EP2196774A2 (en) * 2008-12-10 2010-06-16 Honeywell International Inc. System and method for rendering a primary flight display having an attitude frame element

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631809A (zh) * 2015-12-31 2016-06-01 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN105631809B (zh) * 2015-12-31 2018-11-06 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN107121144A (zh) * 2016-02-24 2017-09-01 霍尼韦尔国际公司 用于检测未对准的静止对象的系统和方法
CN107121144B (zh) * 2016-02-24 2022-07-12 霍尼韦尔国际公司 用于检测未对准的静止对象的系统和方法
CN105872546A (zh) * 2016-06-13 2016-08-17 上海杰图软件技术有限公司 一种实现全景图像压缩存储的方法和系统
CN105872546B (zh) * 2016-06-13 2019-05-28 上海杰图软件技术有限公司 一种实现全景图像压缩存储的方法和系统
CN109552177A (zh) * 2017-09-26 2019-04-02 电装国际美国公司 用于环境动画和在界面上投射环境动画的系统和方法
CN109552177B (zh) * 2017-09-26 2022-02-18 电装国际美国公司 用于环境动画和在界面上投射环境动画的系统和方法

Also Published As

Publication number Publication date
US20120147133A1 (en) 2012-06-14
US8854422B2 (en) 2014-10-07
EP2464098A3 (de) 2017-04-19
ES2763366T3 (es) 2020-05-28
BRPI1105955A2 (pt) 2015-07-28
RU2011149722A (ru) 2013-06-20
EP2464098A2 (de) 2012-06-13
EP2464098B1 (de) 2019-11-20
DE102010053895A1 (de) 2012-06-14

Similar Documents

Publication Publication Date Title
CN102665084A (zh) 周围环境显示装置以及带有这种周围环境显示装置的交通工具和全景图像的显示方法
US10366511B2 (en) Method and system for image georegistration
US10798343B2 (en) Augmented video system providing enhanced situational awareness
EP1453009A2 (en) Systems and methods for providing enhanced vision imaging
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
US20070097206A1 (en) Multi-user stereoscopic 3-D panoramic vision system and method
US7436429B2 (en) Virtual pan/tilt camera system and method for vehicles
WO2018136517A1 (en) Augmented/virtual mapping system
CN106210675A (zh) 一种输电线路山火监测方法、装置和系统
US20090019382A1 (en) Systems and methods for side angle radar training and simulation
CN111868656B (zh) 一种作业控制系统、作业控制方法、装置、设备及介质
WO2017160381A1 (en) System for georeferenced, geo-oriented real time video streams
CN108025674A (zh) 用于示出车辆的车辆环境的方法和设备
CN112351265B (zh) 一种自适应裸眼3d视觉伪装系统
US11703354B2 (en) Video display system and method
CN114202980A (zh) 作战指挥方法、电子沙盘指挥系统及计算机可读存储介质
CN111541880B (zh) 一种2d/3d兼容视觉伪装系统
EP2175661A1 (en) Method and apparatus for producing a visual representation of a region
Conover et al. Three-Dimensional Sensor Common Operating Picture (3-D Sensor COP)
US20230162431A1 (en) Photogrammetry
US20230039414A1 (en) Synthetic georeferenced wide-field of view imaging system
Sugisaki et al. Design and Implementation of Multi-layered Seeing-and-moving-through System
JP2021033934A (ja) 移動可能な画像生成元の画像を用いて多視点画像を生成する方法、装置及びプログラム
CA3160837A1 (en) A system and method for mixed reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120912