CN108629827A - 用于显示图像的方法和装置 - Google Patents

Abstract

本发明涉及一种用于显示图像(104)的方法。所述方法包括：将第一初始摄像头图像(120)和至少一个另外的初始摄像头图像(122、124、126)成像到三维结构上的步骤，以获得由所述初始摄像头图像(120、122、124、126)合成的经成像的摄像头图像(140)；将所述经成像的摄像头图像(140)变形到平面的步骤，以获得平面摄像头图像(144)；以及提供所述平面摄像头图像(144)到显示设备(136)的接口的步骤，以显示所述图像(104)。

Description

用于显示图像的方法和装置

技术领域

本发明涉及用于显示图像的装置或方法。计算机程序也是本发明的主题。

背景技术

特别是从CE世界中已知增强现实(AR)应用，例如在所谓的智能电话或所谓的平板(计算机)中。在此，为了在设备的显示部或显示器上显示，利用人造对象来丰富真实场景。

一个更常见的使用情况是在周围环境中显示所谓的兴趣点(POI)，即，用户特别感兴趣或可能感兴趣的点，也可以考虑其他应用，例如在打开包装前在自己家中显示家具或显示乐高模型。

同样在车辆中已知AR应用，既作为组合仪表中或中央显示器中的视频图像的显示，也作为抬头显示器中的显示。这些应用在这里由行驶相关的信息控制，例如显示用于沿着行驶路线、街道名称或ACC(自动巡航控制)目标对象的导航或目的地引导提示，以及兴趣点，如停车场、公共交通和其它“传统”的兴趣点。

例如在DE102013016244A1中描述了这样的应用。

发明内容

在这个背景下，在此提出一种用于显示图像的方法，另外提出了一种使用这种方法的装置，以及最后提出了相应的计算机程序。

有利地，将多个摄像头图像合成一个具有大视角的图像，其实现了在图像中可以插入附加虚拟内容。

用于显示图像的方法包括以下步骤：

将第一初始摄像头图像和至少一个另外的初始摄像头图像成像到三维结构上，以获得由初始摄像头图像合成的经成像的摄像头图像；

将经成像的摄像头图像变形到平面，以获得平面摄像头图像；

提供平面摄像头图像到显示设备的接口，以显示图像。

该方法可以例如用于车辆中。因此，例如初始摄像头图像可以是由例如采集车辆的周围区域的车辆摄像头提供的图像数据。可以使用合适的变换规则来执行成像步骤，通过该变换规则使得初始摄像头图像的像点被成像到三维结构上。因此，不需要将图像成像到物理存在的三维结构上，而是可以使用变换规则，即，通过计算技术手段来变形图像，这类似于通过成像到物理存在的三维结构上。相应地，可以使用另外的变换规则来执行变形步骤，通过该变换规则使得经成像的摄像头图像的像点被成像到平面中。在提供步骤中，可以提供代表平面摄像头图像的图像数据，该图像数据适合于使用显示设备来显示图像。

因此，根据一个实施方式，该方法可以包括使用车辆的至少一个摄像头来采集初始摄像头图像的步骤。如果使用多个摄像头，那么它们可以具有不同的视角。在这种情况下，摄像头的采集区域可以直接彼此邻接或彼此重叠，使得可以从初始摄像头图像中无缝地确定合成的经成像的摄像头图像。

该方法可以进一步包括使用显示设备显示图像的步骤。显示设备可以例如是布置在车辆中的显示屏。以这种方式，例如为车辆的驾驶员实现全景视图。

在成像步骤中，虚拟对象也可以成像到三维结构上。以这种方式，图像可以被补充虚拟内容。通过将虚拟对象成像到三维结构上，虚拟对象可以与代表合成的经成像的摄像头图像的图像数据一起被进一步处理，使得虚拟对象可以尽可能不失真地嵌入到可使用显示设备显示的图像中。

在成像步骤中，初始摄像头图像可以被成像到作为三维结构的球体、柱体或碗体上。这样的结构适合于生成全景图像。

该方法可以包括在平面中移动平面摄像头图像的步骤。从而可以获得移位的摄像头图像。在提供步骤中，可以将移位的摄像头图像提供给接口，以从经改变的视线方向显示图像。以这种方式，如果图像的观看者期望其它视角，则可以改变图像的显示。

根据一个实施方式，在变形步骤中，沿着切割线切割经成像的摄像头图像，以使经成像的摄像头图像变形到平面。这实现将经成像的摄像头图像展开到平面中。在这里以及上述提到的用于改变一个或多个图像的步骤中，优选地可以使用计算技术手段(优选利用计算器或计算机执行)进行该改变。

在此可以在变形步骤中，通过使用视线方向信号来选择切割线的位置，视线方向信号定义了被设置用于图像的视线方向。以这种方式，可以生成可以由显示设备显示的图像，使得图像对应于观看者期望的视线方向。

例如在成像步骤中可以将四个初始摄像头图像成像到三维结构上。从初始摄像头图像中，可以获得360°显示作为合成的经成像的摄像头图像。这可以应用在已经具有四个摄像头的车辆中，这些摄像头具有向前、向后和向侧部的视角。

这样的方法能够例如以软件或硬件或以软件和硬件的混合形式例如在控制器中实施。

这里所提出的方案还提供一种装置，该装置被构造成在相应的设备中执行、操控或者说实施这里所提出的方法的变体方案的步骤。同样通过本发明的这种以装置的形式的实施变体方案能够快速和高效地解决本发明所针对的任务。

对此，该装置能够具有：用于处理信号或数据的至少一个计算单元；用于存储信号或数据的至少一个存储单元；至少一个接口，其通往传感器或致动器，以便从所述传感器读取传感器信号或者用于输出数据信号或控制信号至致动器；和/或至少一个用于读取或输出数据的被嵌入通信协议中的通信接口。计算单元能够例如是信号处理器、微控制器等，其中存储单元能够是闪存、EEPROM或磁存储单元。通信接口能够构造成无线和/或有线地读取或输出数据，其中能够读取或输出有线的数据的通信接口将这些数据例如电气或光学地从相应的数据传输线路中读取或输出到相应的数据传输线路中。

在本文中，能够将装置理解为电仪器，该电仪器处理传感器信号且依据此发出控制信号和/或数据信号。所述装置能够具有这样的接口，该接口能够以硬件和/或软件的方式构造。在一种以硬件方式的构造中，所述接口能够例如是包含了所述装置的各种功能的所谓的系统ASIC的一部分。但是也可行的是，接口是固有的、集成的电路或至少部分地包括分立的结构元件。在一种以软件形式的构造中，接口能够是软件模块，例如在微控制器上除了其它软件模块之外还存在该软件模块。

也有利的是一种计算机程序产品或有程序代码的计算机程序，程序代码能够被储存在能够机读的载体或存储介质、如半导体存储器、硬盘存储器或光学的存储器上，并且被用来执行、实施和/或操控按前述实施方式之一所述的方法的步骤，尤其是当该程序产品或程序在计算机上或在装置上运行时。

附图说明

在附图中展示了并且在后面的说明中更加详细地阐释这里所提出的方案的实施例。其中：

图1是根据一个实施例的具有用于显示图像的装置的车辆的示意图；

图2是根据一个实施例的用于显示图像的方法的流程图；

图3是根据一个实施例的360°AR图示；

图4是根据一个实施例的在球体上的图3中示出的图像的成像；

图5是根据一个实施例的在柱体上的图3中示出的图像的成像；

图6是根据一个实施例的具有90°张角的图示；

图7是根据一个实施例的具有150°张角的图示；

图8是根据一个实施例的图3中所示的图像在以已经部分展开到平面中的形式的三维结构上的图示；

图9是根据一个实施例的图8中所示的图像以已经进一步展开到平面中的形式的图示；

图10是根据一个实施例的图9中所示的图像以已经进一步展开到平面中的形式的图示；

图11是根据一个实施例的图10中所示的图像以已经近似展开到平面中的形式的图示；

图12是根据一个实施例的图11中所示的图像以已经展开到平面中的形式的图示；

图13是根据一个实施例的图12中示出的图像的移位图示；

图14是根据一个实施例的在初始情况下的虚拟对象和视频投影面的图示；

图15是根据一个实施例的图14中示出的虚拟对象和视频投影面在投影中的图示；

图16是根据一个实施例的图15中示出的虚拟对象和视频投影面作为虚拟对象的变形的图示；

图17是根据一个实施例的具有插入的虚拟对象的图像；和

图18是根据一个实施例的具有显示的非球面失真的图17中的图像。

具体实施方式

在本发明的适当的实施例的接下来的说明中，对于在不同的附图中示出的且功能相似的元件使用相同的或相似的附图标记，其中省去对这些元件的重复说明。

图1示出了根据一个实施例的具有用于显示图像104的装置102的车辆100的示意图。例如，车辆100具有四个摄像头110、112、114、116，四个摄像头被构造为提供第一初始摄像头图像120、第二初始摄像头图像122、第三初始摄像头图像124和第四初始摄像头图像126。根据备选实施例，装置102还可以使用更多或更少的初始摄像头图像120、122、124、126。

装置102具有至少一个成像设备130、变形设备132和提供设备134。根据一个实施例，装置另外包括摄像头110、112、114、116以及附加地或备选地包括用于显示图像104的显示设备104。

成像设备130具有接口，用于读取初始摄像头图像120、122、124、126并且被构造成使用初始摄像头图像120、122、124、126来确定和提供由初始摄像头图像120、122、124、126合成的经成像的摄像头图像140。为此，成像设备130被构造成将初始摄像头图像120、122、124、126成像到三维结构上。为了将初始摄像头图像120、122、124、126成像到经成像的摄像头图像140上，可以使用合适的成像规则或变换规则。例如，成像设备130被构造成将初始摄像头图像120、122、124、126变换成三维结构所基于的坐标系，以便将初始摄像头图像120、122、124、126成像到三维结构上。在此，成像设备130可以被构造成将初始摄像头图像120、122、124、126成像到三维结构的区域中，该区域通过初始摄像头图像120、122、124、126所基于的视线方向和视角来定义。

变形设备132被构造成将经成像的摄像头图像140变形为平面，以获得平面摄像头图像142。当三维结构被理解为支架(Gerüst)时，三维结构可以与经成像的摄像头图像140一起变形。为了使经成像的摄像头图像140变形，可以使用合适的成像规则或变换规则，借助于该成像规则或变换规则，位于三维结构上的经成像的摄像头图像140的像点被成像到平面中。

根据一个实施例，变形设备132被构造成沿着切割线切割经成像的摄像头图像140，以便能够从所谓的切割线开始展开经成像的摄像头图像140。通过选择切割线的位置，可以确定由图像104表示的视线方向。为了能够定义视线方向，变形设备132根据一个实施例被构造成读取限定视线方向的视线方向信号152，视线方向信号适合于确定切割线的位置，使得图像104被显示在期望的视线方向上。例如，图像104的观看者可以通过使用由观看者可操作的调整设备154来提供视线方向信号152。

提供设备134被构造成将表示平面摄像头图像140或平面摄像头图像140的图像数据144提供到显示设备136的接口。根据该实施例，显示设备136被构造为通过使用图像数据144将待显示的图像104可视化地显示给观看者。这种情况下，图像104包括来自原始初始摄像头图像120、122、124、126的图像信息。

根据一个实施例，装置102包括被构造成提供表示虚拟对象148的对象数据150的设备146。例如，成像设备130被构造成还将对象数据150成像到三维结构上，使得经成像的摄像头图像140被补充虚拟对象148的显示。通过已经描述的在设备132、134中对经成像的摄像头图像140的进一步处理，虚拟对象148被显示为插入的图像104中的图像显示。

图2示出了根据一个实施例的用于显示图像的方法的流程图。该方法可以使用借助于图1描述的装置来实现。

在步骤201中，初始摄像头图像被成像到三维结构上。通过成像，由初始摄像头图像产生合成的经成像的摄像头图像。根据一个实施例，在此附加地，至少一个虚拟对象被成像到三维结构上。虚拟对象可以在此被成像到三维结构上的所设置的位置处。所设置的位置可以通过应用于初始摄像头图像中的至少一个初始摄像头图像或经成像的摄像头图像的对象识别来确定。以这种方式，可以将虚拟对象与在摄像头图像数据中成像的对象相关联。

在步骤203中，经成像的摄像头图像变形为平面或变形到平面中，从而形成平面摄像头图像。在步骤205中，平面摄像头图像被提供给适合于显示平面摄像头图像的显示设备的接口。

可选地，在步骤207中例如使用布置在车辆上的一个或多个摄像头来采集初始摄像头图像。同样可选地，在步骤209中使用显示设备显示基于平面摄像头图像的图像。

根据一个实施例，在步骤211中平面摄像头图像在平面中移动以获得移位的摄像头图像。通过移动，可以改变待显示的图像的视角。

基于该方法的360°显示(车辆中的增强现实系统类似于360°的视频系统)，该显示主要被设计用于停车操作并且从外部(例如从鸟瞰图)显示自己的车辆，以便给驾驶员提供更好的视野。为了产生360°全景视图，需要使用安装在车辆上的四个摄像头。然后将这四个摄像头的图像无缝地“拼接在一起”。

图3示出根据一个示例性实施例的以360°AR图示的形式的图像104。在此可以是与借助于图1所描述那样的图像104。

通过这里描述的方案，可以确保在360°图像104中的AR内容148的尽可能清晰且无失真的现场呈现。与单摄像头系统相比，挑战在于大视角(FoV)的表示，特别是在大于180°的角度中的表示。另外提出了一种自适应变换，其涉及摄像头图像，例如涉及借助于图1描述的初始摄像头图像以及涉及所有虚拟内容，以便继续产生合理的图像104。结果是能够实现具有虚拟内容的360°视图，也能够继续与虚拟内容相互作用。

当然，可以实现比360°更小的视角，并且从用户的角度来看可能也更有意义。然而，传统方案与所建议方案之间的可感知差异随着张角而增加。

图4示出了根据一个实施例的在球体上的图3中示出的图像的成像。所示的成像可以是经成像的摄像头图像140，如借助于图1所描述的那样。

传统上，前文称为初始摄像头图像的四个摄像头图像被成像到圆形3D结构上，即，例如成像到球体、柱体或碗体上。

在图4中在此示出了在以球体的形式的三维结构上的成像。

图5示出了是根据一个实施例的在柱体上的图3中示出的图像的成像。所示出的成像又能够是经成像的摄像头图像140，如借助于图1所描述的那样。因此，示出了在以球体的形式的三维结构上示出了初始摄像头图像的成像。

接下来，这样产生的几何形状被利用虚拟摄像头重新渲染并且显示。对于较大的视角，出现的问题是：随着距离虚拟摄像头中心的距离增加，失真增加，并且显示因而不适当。180°以上的视角在几何上是不可能的。

图6另外示例性示出了根据一个实施例的具有90°张角的图像104。

与图6相比，图7示出了根据一个实施例的具有150°张角的图像104。

图8示出了根据一个实施例的图3中所示的图像在以已经部分展开到平面中的形式的三维结构上的图示840。因此，图像840可以是经成像的摄像头图像，其已经处于向平面摄像头图像的第一过渡阶段中。因此，其可以是已经部分变形的经成像的摄像头图像。

图示840由初始摄像头图像首先成像到球体或柱体上而产生，如借助于图4和图5所示，并且然后在成像之后该几何形状变形。特别是，这种柱体可以被“展开”成平面以获得均匀的图像。

在图8中可以看出，经成像的摄像头图像沿着切割线分离。在此所产生的端部已经稍微彼此拉开，以使经成像的摄像头图像向着平面的方向变形。

图9示出了根据一个实施例的图8中所示的图像以已经进一步展开到平面中的形式的图示940。

图10示出了根据一个实施例的图9中所示的图像以已经进一步展开到平面中的形式的图示1040。

图11示出了根据一个实施例的图10中所示的图像以已经近似展开到平面中的形式的图示1140。

因此，借助于图8至图11，在平面中示出了几何形状的逐步展开。

图12示出了在这时完全展开到平面中的形式中的根据一个实施例的图11中所示的图像。因此，它可以是平面摄像头图像142，如借助于图1所述那样。

在常规视图中，旋转虚拟摄像头，以改变平面摄像头图像142的视线方向。这在展开后不再可能直接进行，因为只有平面银幕会移出视野。虚拟摄像头因而保持不变。相反，图像这时在展开的银幕上移动。备选地，该过程可以被描述为移动在初始柱体中的剖面。

图13示出了根据一个实施例的图12中所示的平面摄像头图像的经移位的图示1342，该实施例可以由显示设备显示，如借助于图1所描述的那样。

借助于图12和图13，因此示出了图像在几何形状上的移位。

图14示出了根据一个实施例的在初始情况下的虚拟对象150和视频投影面1450的图示。对象150在此可以以对象数据的形式存在，如借助于图1所描述的那样。

图15示出了根据一个实施例的图14中示出的虚拟对象150和视频投影面1450在投影中的图示。

视频投影面1450在此可以表示三维结构，如借助于图1所描述的那样。

图16示出了根据一个实施例的虚拟对象的变换的图示。在此，借助于图15所示的虚拟对象和视频投影面已经被变换到平面摄像头图像142中，平面摄像头图像除了经变换的视频投影面1650之外还包括经变换的虚拟对象148。另外，示出了虚拟摄像头1660。

因此，如借助于图1所描述的那样，图16中的图示可以对应于平面摄像头图像142。

借助于图14至图16，因此示出了用于将虚拟对象插入到图像中的方法步骤。图像142中的虚拟对象148通常直接地并且在车辆坐标系中没有进一步匹配地绘制。通过将摄像头图像正确成像到球体或柱体上，隐性确保了正确的布置。但是在当前的方法中，这个几何形状按照成像进行变化。因此这些步骤中的每一个步骤也运用到每个虚拟内容150。另外在此要考虑的是，虚拟内容148在图像142中的位置也总是取决于虚拟摄像头1660的位置。为了消除这种效应，在进一步转换之前将虚拟内容150投影到球体/柱体表面上。如借助于图14至图16所示，变换到平面中接下来仅在该面中的对象上进行。

转换成伪代码的相应表述如下：

//[输入]形状参数，范围[0,1]

float factor2Cyl；

float factor2Plane；

//[输入]经度移位，以实现视线方向的旋转

float longitudeShift

//[输入，输出]指向变换

vec3 p；

//计算距离并且用于深度

float lengthXY＝length(p.xy)；

//投影到视频画布

float longitude＝atan(p.y，p.x)+longitudeShift；

float latitude＝pi*0.5-atan(p.z/lengthXY)；

//计算画布形状

p.x＝cos(longitude)*sin(latitude)*(1.0-factor2Cyl)+cos(longitude)*factor2Cyl*(1.0-factor2Plane)+factor2Plane；

p.y＝sin(longitude)*sin(latitude)*(1.0-factor2Cyl)+sin(longitude)*factor2Cyl*(1.0-factor2Plane)+(longitude)/pi*factor2Plane；

p.z＝cos(latitude)*(1.0-factor2Cy1)+(pi*0.5-latitude)*factor2Cyl；

伪代码通过两个形状参数还提供了表示常规球体和展开面之间的任意中间形式的可能性。值factor2Cyl确定球体和柱体之间的权重(0＝球体，1＝柱体)，值factor2Plane为对于平面的权重(0＝闭合的几何形状，1＝完全展开的几何形状)。所有的中间值都是有效的。在对两个值进行0和/或1的排他选择时，伪代码的第二部分显著简化。图8至图11中所示的成像通过选择不同的参数来产生。

结果，在将变换应用于视频图像和虚拟3D对象之后，可以实现图3中所示的图示。与非球面后视镜类似，如图17和18中所示，该表示可以再次借助于用户意愿而变形。

图17相应示出了根据一个实施例的具有被插入的虚拟对象148的图像104。

图18示出了根据一个实施例的具有图示的非球面失真的图17中的图像104。

如果一个实施例包括在第一特征和第二特征之间的“和/或”关联，则这应被解读成：该实施例按照一个实施方式具有第一特征以及第二特征，并且按照另一个实施方式要么仅具有第一特征要么仅具有第二特征。

Claims (11)

1.一种用于显示图像(104)的方法，其中所述方法包括下述步骤：

将第一初始摄像头图像(120)和至少一个另外的初始摄像头图像(122、124、126)成像(201)到三维结构上，以获得由初始摄像头图像(120、122、124、126)合成的经成像的摄像头图像(140)；

将所述经成像的摄像头图像(140)变形(203)到平面，以获得平面摄像头图像(144)；

提供(205)所述平面摄像头图像(144)到显示设备(136)的接口，以显示所述图像(104)。

2.根据权利要求1所述的方法，具有使用车辆(100)的至少一个摄像头(110、112、114、116)采集所述初始摄像头图像(120、122、124、126)的步骤(201)，和/或具有使用所述显示设备(136)显示所述图像(104)的步骤(209)。

3.根据前述权利要求中任一项所述的方法，其中在所述成像的步骤(201)中，还将虚拟对象(150)成像到所述三维结构上。

4.根据前述权利要求中任一项所述的方法，其中在所述成像的步骤(201)中，将所述初始摄像头图像(120、122、124、126)成像到作为三维结构的球体、柱体或碗体上。

5.根据前述权利要求中任一项所述的方法，具有在所述平面上移动平面摄像头图像(144)的步骤(211)，以获得移位的摄像头图像(1342)，其中在所述提供的步骤(205)中提供所述移位的摄像头图像(1342)到所述接口，以从经改变的视线方向显示所述图像(104)。

6.根据前述权利要求中任一项所述的方法，其中在所述变形的步骤(203)中，沿着切割线切割经成像的摄像头图像(142)，以使所述经成像的摄像头图像(142)变形到所述平面。

7.根据权利要求5所述的方法，其中在所述变形的步骤(203)中，使用视线方向信号(152)来选择所述切割线的位置，所述视线方向信号定义了被设置用于所述图像(104)的视线方向。

8.根据前述权利要求中任一项所述的方法，其中在所述成像的步骤(201)中，将四个初始摄像头图像(120、122、124、126)成像到所述三维结构上，以从所述初始摄像头图像(120、122、124、126)中获得以360°显示的形式的所述合成的经成像的摄像头图像(142)。

9.一种装置(102)，所述装置被设置成在相应的单元中实施根据前述权利要求中任一项所述的方法的步骤。

10.一种计算机程序，所述计算机程序被设置成实施根据前述权利要求中任一项所述的方法。

11.一种机器可读的存储介质，在所述存储介质上存储有根据权利要求10所述的计算机程序。