CN106855656A - 增强现实系统及被遮蔽物体的图像处理 - Google Patents

Abstract

一种显示相对于现实世界场景被遮蔽的物体的增强现实图像的方法。由图像捕捉设备捕捉车辆外部图像。由处理器确定从车辆内人的角度看被车辆部件挡住的物体部分。在所述车辆部件的上方生成表示被挡住物体的所述部分的增强现实图像。增强现实图像显示在与现实世界场景相关的深度上的图像平面上。

Description

增强现实系统及被遮蔽物体的图像处理

背景技术

实施例涉及一种用于被遮蔽物体的增强现实系统。

汽车和其他交通车辆包括内部乘客车厢，车辆驾驶员位于该车厢中，且在其中操纵车辆控制机构。车辆通常包括透明玻璃，比如前挡风玻璃、侧窗、后挡风玻璃以使得使用者可以观察车辆外的现实世界场景。车辆通常包括车架和支撑挡风玻璃与侧窗的车身结构。多个柱体(例如，A柱)延伸至车顶，从而支撑车顶。由于相比于前挡风玻璃与侧窗而言，柱体尺寸相对较窄，所以对于驾驶员而言靠近A柱可能造成对现实世界场景的视觉妨碍。现实世界场景中由于A柱而可能无法进入驾驶员视线的物体包括，但不限于，行人、标志、建筑物和其他车辆。这些物体的挡住可导致车辆或诸如行人的外部物体发生事故。

发明内容

实施例的优点是：向车辆驾驶员显示否则将被阻碍驾驶员视线的车辆部件所挡住的现实世界场景。此外，表示被挡住的现实世界场景一部分的增强现实图像显示在车辆部件的上方的图像平面上，且这部分现实世界场景与驾驶员通过前挡风玻璃和侧灯而可视的现实世界场景融合。增强现实图像被调整尺寸并投射在将增强现实图像基本上放置在与现实世界场景相同的平面上的距离处。此外，控制亮度，以使得现实世界场景与增强现实图像基本上没有区别。因此，驾驶员看到的现实世界图像在现实世界场景中的融合均匀且无阻碍。

实施例设想了一种显示相对于现实世界场景被遮蔽的物体的增强现实图像的方法。由图像捕捉设备捕捉车辆外部图像。由处理器确定从车辆驾驶员的视角看被车辆部件遮蔽的物体的部分。在所述车辆部件的上方生成表示被挡住的物体的部分的增强现实图像。增强现实图像显示在与现实世界场景相关的深度上的图像平面上。

附图说明

图1是增强现实显示系统的框图。

图2是安装在车辆部件上的波导平视显示器(HUD)。

图3为是现实世界图像与2D显示图像之间的图像深度的示例图。

图4为是现实世界图像与3D显示图像之间的图像深度的示例图。

图5为应用图像处理以便生成被挡住物体的虚拟图像的流程图。

具体实施方式

图1是增强现实显示系统10的框图，其包括图像捕捉设备12、处理器14、波导平视显示器16以及头部跟踪器18。系统10生成增强现实显示，从而补充现实世界场景被诸如车辆A柱的车辆部件所挡住的部分。当驾驶员操纵车辆时，A柱可以阻挡住驾驶员和物体之间对准的该物体全部或部分。当诸如建筑物、其他车辆或行人与驾驶员和A柱对准时，这些物体可被A柱挡住。因此，增强现实显示系统10补充出物体被挡住的部分，并且将全系现实投射到A柱之外的图像平面上，从而补充被挡住物体的部分。应该理解，此处所用术语车辆不限于汽车，可包括但不限于火车、船舶或飞机。此外，平视显示器和头部跟踪器可由车辆内任何乘客使用。

图像捕捉设备12可包括摄像机或摄像系统，捕捉车辆外部图像，更具体地指驾驶员通过前挡风玻璃或侧窗(即侧面窗户)所看到的图像。图像捕捉设备可包括，但不限于，三维(3D)摄像机或立体摄像机。优选地，图像捕捉设备捕捉3D图像，或者可以捕捉在三维世界中的图像或提供可处理为3D图像的图像。

图像捕捉设备12可安装在车辆上并与驾驶员及A柱对准，从而不需要额外处理以对准图像。可选地，图像捕捉设备12可位于车辆的其他位置，并且对被捕捉图像进行图像处理，从而改变图像捕捉设备12的位置，从而生成图像，使得该图像显示得好像图像捕捉设备安装在A柱上且与A柱、驾驶员和被挡住物体对准一样。

处理器14可为独立处理器、共享处理器或为图像系统一部分的处理器。处理器14从图像捕捉设备12接收被捕捉图像，并对被捕捉图像进行图像处理。处理器14执行编辑功能，其包括但不限于：当增强现实玻璃磨损时用于修改驾驶员所见视图的图像切割、基于驾驶员头部定位的图像定位、缩小图像从而估算挡住外部物体的部件的大小、基于驾驶员眼部视图打开和关闭增强显示、调整显示亮度、相对于现实和增强显示而融合其边缘。

波导平视显示器16安装在挡住物体的车辆部件上。波导平视显示器16使用全息衍射光栅，尝试将输入能量以相应的衍射序列集中。衍射光栅的实例可包括布拉格衍射光栅。当波长相当于原子间距的光辐射被晶体系统原子以特定图案被散射，由此生成相长干涉时，就会发生布拉格衍射。光栅经调试将光以临界角射入波导。当光散开时，光穿过波导。当散射波生成相长干涉时，由于每个波的波程长度等于波长的整数倍，散射波保持在相位内。由将光(例如，图像)转到使用者眼部内的第二全息摄影衍射光栅提取光。可以采用可切换布拉格衍射光栅，其包括槽式反射光栅，其导致相长干涉和相消干涉以及从每个凹槽边缘发出小波的色散。可选地，多层结构具有交替衍射率，该交替衍射率导致了相长干涉、相消干涉以及从不连续发出的小波的色散的特点。如果两个交替层之一由具有非传导性和衍射率各向异性的液晶材料组成，则液晶定向可改变，或通过施加电场(被称为可切换布拉格光栅)来切换。

在可选的解决方案中，波导平视显示器16包括诸如增强现实眼镜(例如眼镜)的头戴式平视显示器。当采用具有透明投射显示器的增强现实眼镜时，图像可通过光学设计出现在佩戴者的眼部的远处。3D图像从处理器14传送到3D增强现实眼镜上，从而使得增强现实图像投射到空间内，进而补充被车辆部件挡住的车辆外部物体。

头部跟踪器18是用于跟踪头部定向或眼部的设备。即，如果需要的细节较少，则增强现实系统10可采用跟踪头部定向以确定驾驶员视线方向的头部跟踪系统。可选地，增强现实系统10可采用眼部跟踪系统，其跟踪方向(例如眼部凝视的方向)以确定使用者视线方向是否是挡住物体的车辆部件的方向，或者其是否看向其他地方。头部跟踪器18可包括安装在车辆上的，监测头部位置或眼部注视的设备。如果采用增强现实眼镜，头部跟踪器18也可与波导平视显示器16集成起来。这种情景下，眼部跟踪器可集成为跟踪眼部运动的眼镜的一部分。

图2是安装在诸如A柱20的车辆部件上的波导平视显示器16。如图2所示，看向前挡风玻璃22的驾驶员看到现实世界场景的3D图像。此处以及权利要求书中使用的术语“现实世界场景”限定为车辆驾驶员看到的车辆外部区域。同样地，驾驶员通过驾驶员侧窗24看到车辆外的外部环境的3D图像。然而，在A柱20上生成的典型2D显示将导致2D直视视图。这将需要2D图像与3D图像之间的心理融合。此外，现实世界图像和所显示图像之间将存在亮度差异。图2是由平视显示器生成的增强现实图像放大图。将根据A柱的形状调整增强现实图像的尺寸，从而将增强现实图像与驾驶员通过前挡风玻璃和侧窗看到的现实世界场景向驾驶员无缝融合，不存在两者衔接的问题。

图3为是现实世界场景与显示图像之间的图像深度的图。如图3所示，挡风玻璃视图22和驾驶员侧视图24表示3D图像，其所表示物体在5m至无限远的距离处。然而，对于驾驶员，看向A柱20表示通常为18英寸的视图。因此，关注A柱20和现实世界场景之间的驾驶员需要对不同深度的图像进行心理融合，因此，需要3D图像与2D图像之间的心理融合。因此，由于18英寸和无限远之间相应图像的重新适应，将2D图像显示投射到A柱上将使得驾驶员产生疲劳。在此距离下的融合疲劳也是一个问题。

为了解决由于将图像显示在A柱20外而产生的疲劳问题，图4图示了在A柱20上生成的3D图像。3D图像通过波导平视显示器16投射到空间内虚拟的图像平面上，从而消除了将2D图像与3D图像合并所产生的混乱。图4中图示的图示出现实世界图像与投射的虚拟图像之间的图像审图。如图4所示，挡风玻璃视图22和侧灯视图24两者都表示3D现实世界图像，在该图像中，图像平面位于5米至无限远的距离处。应当理解的是，一旦物体距离人3米至无限远时，人对于看物体时的焦距的认知是没有实质差别的。因此，驾驶员可以轻易地将现实世界图像与在A柱20上方生成的增强现实显示之间的场景融合起来，因为融合3米外至无限远的物体时所发生的变化是相对较小的。

图5表示采用图像处理的流程图，该图像处理用于在挡住物体的车辆不讲上生成增强现实图像。在框30内，图像被图像捕捉设备捕捉。该图像可能是3D图像，2D图像或者一组立体摄像机可能捕捉到图像来生成3D图像。

在框31内，如果采用增强现实眼镜，则对图像进行切割以适应增强现实眼镜的视域。

在步骤32中，采用了图像透视与稳像技术。包括但不限于陀螺仪和加速度计的设备可用于确定驾驶员头部定向。随着头部的旋转，陀螺仪和加速度计保持稳定和图像对准。此外，眼部跟踪器或头部跟踪器可用于确定A柱和驾驶员眼部之间的距离以及驾驶员所看的方向。跟踪系统的实例可包括头部跟踪器，其监测头部在其所朝向方向上的移动。更加复杂的设备和系统可包括注视跟踪器，其跟踪眼部运动，从而确定眼睛所看方向。注视跟踪器提供更多细节，以使得驾驶员可不必移动其头部，而在不移动头部的情况下旋转眼部从而将视线从所移动路面移开。因此，注视跟踪器可提供更多关于驾驶员何时可能正在看向A柱的信息。

在步骤33，采用视口缩窄技术。确定A柱的尺寸所确定的尺寸以及离A柱的距离，以用于相应地调整图像尺寸。当使用眼睛时，眼镜视口缩窄，从而将被挡住物体部分的增强现实图像投射到A柱上。类似地，如果波导平视显示器位于A柱上，则缩窄被挡住物体部分，从而适应A柱的尺寸。图像处理可用于图像，从而使得只有被挡住部分显示在A柱上，并且所显示图像尺寸上有所切割，以此使得虚拟图像的深度与通过前挡风玻璃和侧窗看到的现实世界图像融合起来。

在步骤34，调整增强现实图像的亮度。亮度调整至外部现实世界的预定百分比(90％)，从而避免认知捕捉(例如，当所显示图像太突出，如图像亮度过高时，使用者将处理所显示图像而忽略现实世界图像)。可使用亮度传感器来控制3D图像亮度。

在步骤35，采用边缘融合滤波技术，从而将柱体边缘的虚拟图像边缘亮度与现实世界场景融合。通过使用高斯最小化斯塔克效应并消除边缘亮度不一致，而将柱体边缘亮度降低预定的百分比(例如，50％)。

在步骤36，确定驾驶员是否看向A柱且时间超过500ms。如果确定了驾驶员看向A柱且时间超过500ms，则向驾驶员呈现位于A柱外的虚拟图像。如果确定驾驶员看向A柱时间少于预定时间，则不将虚拟图像呈现给驾驶员。不必向驾驶员呈现图像的优点在于减少了处理器的处理时间以及能量消耗。响应驾驶员看向A柱时间少于预定时间或没有看向A柱，将返回到步骤30以获取新的图像并如步骤30-36所述监测驾驶员是否看向A柱。

应该理解，虽然此处的优点描述为使用3D平视显示器，平视显示器可设计为生成2D或3D图像。此处描述的实施例中2D和3D图像皆可，但有点在于3D图像是通过向两只眼睛呈现不同的图像而生成的，而2D图像通过向两只眼睛呈现相同的图像而生成的。

尽管已经详细介绍了本发明的特定实施例，但是本发明领域的技术人员将会认识到由附加权利要求书限定的、用于实现本发明的各种可选的设计和实施例。

Claims (10)

1.一种显示相对于现实世界场景被遮蔽的物体的增强现实图像的方法，所述的方法包括以下步骤：

由图像捕捉设备捕捉车辆外部图像；

由处理器确定从所述车辆的驾驶员的角度看被所述车辆的部件挡住的物体的部分；

在所述车辆的所述部件的上方生成表示所述被挡住物体的所述部分的增强现实图像，其中所述增强现实图像显示在与所述现实世界场景相关的深度上的图像平面上。

2.根据权利要求1所述的方法，其中在所述部件的上方显示的所述增强现实图像与所述现实世界场景融合。

3.根据权利要求2所述的方法，其进一步包括以下步骤：使用亮度传感器调整所述增强现实图像的亮度，以使所述增强现实图像与所述现实世界场景融合。

4.根据权利要求2所述的方法，其进一步包括以下步骤：通过调整所述部件的增强现实图像边缘的亮度来应用边缘融合滤波技术，以使所述增强现实图像与所述现实世界场景融合。

5.根据权利要求1所述的方法，其中通过眼镜生成所述增强现实图像，其中通过所述眼镜生成的所述增强现实图像在所述部件的上方。

6.根据权利要求1所述的方法，其中波导平视显示器安装在所述部件上，从而在所述部件的上方生成所述增强现实图像。

7.根据权利要求1所述的方法，其进一步包括以下步骤：应用头部跟踪以确定驾驶员头部的定向。

8.根据权利要求1所述的方法，其进一步包括以下步骤：应用眼部跟踪，以便确定所述驾驶员的观察视角。

9.根据权利要求1所述的方法，其进一步包括以下步骤：

确定所述驾驶员的注视；

确定所述驾驶员的所述注视指向所述部件的时间是否超过预定时间段。

10.一种显示相对于现实世界场景被遮蔽的物体的增强现实图像的方法，所述的方法包括以下步骤：

由图像捕捉设备捕捉车辆外部图像；

由处理器确定从所述车辆内人的视角看被所述车辆的部件挡住的物体的部分；

在所述车辆的所述部件的上方生成表示所述被挡住物体所述部分的增强现实图像，其中所述增强现实图像显示在与所述现实世界场景相关的深度上的图像平面上。