CN110244837A - 增强现实且具有虚拟影像叠加的体验眼镜及其成像方法 - Google Patents

Abstract

本发明公开了一种增强现实且具有虚拟影像叠加的体验眼镜及其成像方法，其中该体验眼镜包括设置于眼镜本体上的现实影像采集单元、手势采集单元、影像处理单元、图像显示单元及光学透镜；现实影像采集单元、手势采集单元及图像显示单元均与影像处理单元电连接，影像处理单元将手势采集单元采集的手势动作影像中的手势影像进行图形渲染后叠加于现实影像采集单元采集的前方影像中以形成叠加影像，该叠加影像通过图像显示单元及光学透镜而被使用者的眼睛所识别；通过本技术方案可对采集到的前方影像进行亮度、对比度、增益、白平衡及色彩量度的显示效果的调整，并可将虚拟影像叠加覆盖于前方影像中，以实现虚拟影像与现实影像的同步结合。

Description

增强现实且具有虚拟影像叠加的体验眼镜及其成像方法

技术领域

本发明涉及一种现实影像处理技术，尤其是涉及一种增强现实且具有虚拟影像叠加的体验眼镜及其成像方法。

背景技术

如今，随着诸如虚拟现实、增强现实等技术的进步，专用设备的使用者能够体验数字模拟环境带来的便利与乐趣。具体来说，模拟环境通过使用诸如立体视觉的影像处理技术向使用者提供完全参与模拟环境中的体验感觉来增强使用者对周围现实环境的感知。

一般来讲，模拟环境的技术包括完全虚拟环境（即虚拟现实）技术及在现实环境中包括虚拟对象（即增强现实）技术。通常，使用者可以利用诸如增强现实的设备来体验增强现实的模拟环境，如双眼增强现实眼镜，其通常是通过在眼睛前方配置光学模组，该光学模组一般为半反半透镜，该半反半透镜的一面具有光反射功能，另一面具有光透射功能，该光学模组通过倾斜一定角度以将朝向具有光反射功能面的显示器所显示的虚拟影像于该光学模组斜面处与通过具有光透射功能面所透视的现实环境影像相叠加后被使用者的眼睛所感知，此外，在显示器与该光学模组斜面之间通常还配置有光学透镜，以将调整显示器所显示的虚拟影像的范围。另外，为了实现使用者与虚拟环境的互动，有些增强现实的设备上还配置有手势识别装置，如leap motion，其是一种深度摄像头且不像普通影像摄像头似的用于拍摄色彩，该手势识别装置是用于捕捉所拍摄的影像中点及点的变化轨迹（如手势）并可建立相应的模型（如手模型），此外该手势识别装置还可根据点的变化轨迹（如手势的变化）而编译控制指令，以实现使用者与虚拟环境的互动。

然而，目前市面上所见大多数增强现实的设备，由于现实环境影像是通过光学模组后与虚拟影像叠加而显示于使用者的视野中，现实环境影像在通过光学模组时，其亮度、色彩量度等会有所损失，而且在不同的使用场所中，现实环境的明暗度各不相同，因此，会极大地影响到现实环境影像与虚拟影像叠加后的仿真程度与使用者的观看效果；另外，由于虚拟影像是叠加于现实环境影像中，虚拟影像的显示尺寸与显示器屏的大小以及光学透镜的放大倍数相关，但大多数增强现实的设备通常要佩戴于使用者头部，因此为了减轻使用者头部因负载带来的不适感，而局限了显示器屏的尺寸以及光学透镜的放大倍数，从而使虚拟影像在现实环境影像中叠加显示的比例较小，而影响到使用者的观看效果；此外，在具有角色扮演类的使用者与虚拟环境的互动场景中，使用者的肢体（如手臂）仍然保持原有外观（原有穿戴）而无法完全融入虚拟环境之中，从而降低了体验感与趣味性。

发明内容

本技术方案要解决的技术问题至少为提供一种增强现实且具有虚拟影像叠加的体验眼镜及其成像方法，通过对现实环境影像的采集，如利用高清摄像头采集，可在影像采集的同时有效调节现实环境的亮度、对比度、增益、白平衡及色彩量度，从而弥补现实环境过亮或过暗所导致的现实环境影像不佳的缺失；而且通过对使用者肢体如手部的影像识别及图形渲染，并将图形渲染后的影像叠加覆盖于现实环境影像中的原肢体区域，可确保被图形渲染后肢体的虚拟影像原比例的覆盖于现实环境影像中的原肢体区域，从而确保了较高的仿真度和较佳的观看效果；另外，与使用者互动的虚拟影像如游戏场景中的动物等，并非作为独立的虚拟影像通过本体验眼镜叠加于现实环境影像中显示，而是与现实环境融为一体且作为现实环境影像被采集，因此确保了与使用者互动的虚拟影像的观看效果。

为了解决上述技术问题，本技术方案提供了一种增强现实且具有虚拟影像叠加的体验眼镜，其包括：眼镜本体、现实影像采集单元、手势采集单元、影像处理单元、图像显示单元及光学透镜；其中，该眼镜本体佩戴于使用者的头部；该现实影像采集单元设置于眼镜本体前部且与影像处理单元电连接，现实影像采集单元用于采集眼镜本体的前方影像，并将前方影像传输至影像处理单元；该手势采集单元设置于眼镜本体前部且与影像处理单元电连接，手势采集单元用于采集使用者的手势动作影像，并将手势动作影像传输至影像处理单元；该影像处理单元设置于眼镜本体上，影像处理单元接收前方影像以及手势动作影像，将手势动作影像中的手势影像进行图形渲染并除去被图形渲染之外的背景影像以形成渲染手势动作影像，将渲染手势动作影像叠加于前方影像中以形成叠加影像；该图像显示单元设置于眼镜本体内并位于使用者的眼睛前方，图像显示单元与影像处理单元电连接，以接收并显示叠加影像；该光学透镜设置于图像显示单元与眼睛之间，光学透镜用于将图像显示单元所显示的叠加影像调整至眼睛中显示。

作为本技术方案的另一种实施，该影像处理单元能够对前方影像的亮度、对比度和色彩量度进行调整。以此可使前方影像的显示效果更佳。

作为本技术方案的另一种实施，该影像处理单元以前方影像的影像中心点为原点，根据手势采集单元的摄像头中心点与现实影像采集单元的摄像头中心点之间的偏移间距及相对位置，将渲染手势动作影像的影像中心点以相反于相对位置的方向由原点移动偏移间距，以将渲染手势动作影像叠加于前方影像中形成叠加影像。以此可消除因手势采集单元的摄像头中心点与现实影像采集单元的摄像头中心点之间存在的偏移间距，而导致的渲染手势动作影像在叠加于前方影像时差生的影像偏差。

作为本技术方案的另一种实施，手势采集单元设置于现实影像采集单元下方，且现实影像采集单元的视角中心水平朝向前方，手势采集单元的视角中心朝向斜下方，并且手势采集单元的视角中心所在直线与现实影像采集单元的视角中心所在直线之间的夹角为15度。以此使本技术方案更加符合人体工程学原理，并可满足使用者手臂抬起及进行手势变换的最省力、最自然的位置。

作为本技术方案的另一种实施，该体验眼镜还包括：影像调整单元，该影像调整单元设置于眼镜本体上，图像显示单元为设置于使用者的眼睛前方的两个并排的OLED显示器，光学透镜为两块且并排地位于两个OLED显示器与眼睛之间，影像调整单元能够调整两块光学透镜之间的间距及/或两块光学透镜与两个OLED显示器之间的距离。以此可使本体验眼镜适合于不同瞳距、不同视力的使用者使用。

为了解决上述技术问题，本技术方案还提供了一种增强现实且具有虚拟影像叠加的成像方法，其包括以下步骤：同时且分别采集使用者的前方影像以及手势动作影像；将手势动作影像中的手势影像进行图形渲染并除去被图形渲染之外的背景影像以形成渲染手势动作影像；将渲染手势动作影像叠加于前方影像中以形成叠加影像；显示叠加影像。

作为本技术方案的另一种实施，在采集使用者的前方影像后，还包括步骤：对采集的前方影像进行亮度、对比度和色彩量度的调整。

作为本技术方案的另一种实施，上述将渲染手势动作影像叠加于前方影像中以形成叠加影像的步骤具体为：以前方影像的影像中心点为原点，根据采集使用者的前方影像以及手势动作影像的两个摄像头中心点之间的偏移间距及相对位置，将渲染手势动作影像的影像中心点以相反于相对位置的方向由原点移动偏移间距，以将渲染手势动作影像叠加于前方影像中形成叠加影像。

作为本技术方案的另一种实施，采集手势动作影像的摄像头位于采集前方影像的摄像头的下方，采集前方影像的摄像头的视角中心水平朝向前方，采集手势动作影像的摄像头的视角中心朝向斜下方，并且采集手势动作影像的摄像头的视角中心所在直线与采集前方影像的摄像头的视角中心所在直线之间的夹角为15度。

作为本技术方案的另一种实施，显示叠加影像后，还包括步骤：调整使用者观看叠加影像时的瞳距及/或视距。

本技术方案相较于现有的增强现实的设备具有可对采集到的使用者的前方影像进行亮度、对比度、增益、白平衡及色彩量度调节，从而弥补现实环境过亮或过暗所导致的现实环境影像不佳的缺失，并且与使用者互动的虚拟影像如游戏场景中的动物等是与现实环境融为一体且作为现实环境影像被采集的，从而确保了与使用者互动的虚拟影像的观看效果，另外，通过对使用者手部的影像识别及图形渲染，并将图形渲染后的影像叠加覆盖于前方影像中，可使被图形渲染后的手部的虚拟影像原比例的覆盖于现实环境影像中的原肢体区域，从而确保了较高的仿真度和较佳的观看效果，更增加了趣味性。

附图说明

图1为本发明增强现实且具有虚拟影像叠加的体验眼镜的组成结构的剖面示意图；

图2为本发明增强现实且具有虚拟影像叠加的成像方法的流程图。

附图中的符号说明：

1 眼镜本体；2 现实影像采集单元；3 手势采集单元；4 图像显示单元；5 光学透镜；D偏移间距；S1-S4 步骤。

具体实施方式

有关本发明的详细说明及技术内容，配合图式说明如下，然而所附图式仅提供参考与说明用，并非用来对本发明加以限制。

如图1所示，为本发明一种增强现实且具有虚拟影像叠加的体验眼镜的一具体实施例，其包括：眼镜本体1、现实影像采集单元2、手势采集单元3、影像处理单元（图未标示）、图像显示单元4及光学透镜5；其中，该眼镜本体1佩戴于使用者的头部，对于该眼镜本体1的构造与穿戴形式本发明不做限定，其可以为头盔式，也可以为通过束带（图未标示）穿戴于头部的眼罩式，在本实施例中是以束带穿戴于头部的眼罩式而举例说明；该现实影像采集单元2设置于眼镜本体1前部且与影像处理单元电连接，现实影像采集单元2用于采集眼镜本体1的前方影像，并将前方影像传输至影像处理单元，在本实施例中，该现实影像采集单元2选用逻辑C920高清网络摄像头，该高清网络摄像头的分辨率为1080P/30FPS，视角捕捉范围为156度，为了配合本发明中另一组件手势采集单元3的运行，本发明将该高清网络摄像头的自动对焦功能关闭以确保采集影像的轮廓范围相一致，该高清网络摄像头在影像采集的同时可有效调节现实环境的暴光、亮度、对比度、增益、白平衡及色彩量度，从而弥补现实环境过亮或过暗所导致的现实环境影像不佳的缺失；该手势采集单元3设置于眼镜本体1前部且与影像处理单元电连接，手势采集单元3用于采集使用者的手势动作影像，并将手势动作影像传输至影像处理单元，在本发明中，该手势采集单元3为leap motion厉动3D手势识别体感控制器，控制范围为60cm*60cm*60cm的空间，精度为0.01mm，视角捕捉范围为130度，其是一种深度摄像头用于捕捉所拍摄的影像中手部上的点（本发明中捕捉10个手指上的点）及该些点的变化轨迹（如手势动作变化），并可根据这些点建立手模型，此外该深度摄像头还可根据手部上的点的变化轨迹编译控制指令，以实现使用者与虚拟环境的互动，以上该深度摄像头所实现的功能为现有技术，并已在诸如体感类电子互动游戏中得到应用，因此，本发明不对此进行限定，此外，本发明中所述手势动作影像中的手势影像是由深度摄像头捕捉的手部上的点所建立的手模型；该影像处理单元设置于眼镜本体上，本发明对于该影像处理单元的设置位置及方式不加以限定，其可以设置于该眼镜本体上，也可以设置于与眼镜本体相配合的其它部件上，如设置于固定在束带上且位于使用者头部后方的一壳体内，该影像处理单元为具有图形影像高处理运算能力的处理器，该影像处理单元接收前方影像以及手势动作影像，将手势动作影像中的手势影像（即手模型）进行图形渲染（即皮肤的渲染操作）并除去被图形渲染之外的背景影像（即在影像叠加时该背景影像为透明且不会遮盖下层影像）以形成渲染手势动作影像，将渲染手势动作影像叠加于前方影像中以形成叠加影像；该图像显示单元4设置于眼镜本体1内并位于使用者的眼睛前方，图像显示单元4与影像处理单元电连接，以接收并显示叠加影像；该光学透镜5设置于图像显示单元4与眼睛之间，光学透镜5用于将图像显示单元4所显示的叠加影像调整至眼睛中显示，本发明中，该光学透镜5为凸透镜，该凸透镜的凸面朝向该图像显示单元4，平面朝向眼睛。在本发明中，与使用者互动的虚拟影像如游戏场景中的动物等，并非作为独立的虚拟影像通过本体验眼镜叠加于现实环境影像中显示，而是与现实环境融为一体且作为现实环境影像被采集，因此确保了与使用者互动的虚拟影像的观看效果。

更具体而言，该手势采集单元3是设置于现实影像采集单元2下方，且现实影像采集单元2的视角中心水平朝向前方，手势采集单元3的视角中心朝向斜下方，并且手势采集单元3的视角中心所在直线（即视野中心线）与现实影像采集单元2的视角中心所在直线（即视野中心线）之间的夹角为15度，以此使本发明的体验眼镜更加符合人体工程学原理，并可满足使用者手臂抬起及进行手势变换的最省力、最自然的位置。

本发明的另一实施例中，该影像处理单元还能够对前方影像的亮度、对比度和色彩量度进行调整，以此“二次调整”可使前方影像的显示效果更佳。

本发明的又一实施例中，该影像处理单元以前方影像的影像中心点为原点，根据手势采集单元3的摄像头中心点与现实影像采集单元2的摄像头中心点之间的偏移间距D及相对位置，将渲染手势动作影像的影像中心点以相反于相对位置的方向由原点移动偏移间距D，以将渲染手势动作影像叠加于前方影像中形成叠加影像，以此可消除因手势采集单元3的摄像头中心点与现实影像采集单元2的摄像头中心点之间存在的偏移间距D，而导致的渲染手势动作影像在叠加于前方影像时差生的影像偏差。

本发明的再一实施例中，该体验眼镜还包括：影像调整单元（图未标示），该影像调整单元设置于眼镜本体上，该图像显示单元为设置于使用者的眼睛前方的两个并排的OLED显示器，该OLED显示器的分辨率为1080P，像素200万，0.7英寸，该光学透镜为两块且并排地位于两个OLED显示器与眼睛之间，影像调整单元能够调整两块光学透镜之间的间距及/或两块光学透镜与两个OLED显示器之间的距离，以此可使本体验眼镜适合于不同瞳距、不同视力的使用者使用。该影像调整单元为现有技术，并在虚拟现实的设备中得到普遍应用，其通常是通过旋钮控制螺纹或轮齿的配合而实现的，本发明对于该影像调整单元的构造与功能不进行限定。

如图2所示，本发明还提供了一种增强现实且具有虚拟影像叠加的成像方法，其包括以下步骤：

S1：同时且分别采集使用者的前方影像以及手势动作影像。

S2：将手势动作影像中的手势影像进行图形渲染并除去被图形渲染之外的背景影像以形成渲染手势动作影像；

S3：将渲染手势动作影像叠加于前方影像中以形成叠加影像；

S4：显示叠加影像。

其中，在步骤S1中采集使用者的前方影像后，还可包括步骤：对采集的前方影像进行亮度、对比度和色彩量度的调整。在步骤S4显示叠加影像后，还可包括步骤：调整使用者观看叠加影像时的瞳距及/或视距。

更具体而言，上述步骤S1中采集手势动作影像的摄像头是位于采集前方影像的摄像头的下方，采集前方影像的摄像头的视角中心水平朝向前方，采集手势动作影像的摄像头的视角中心朝向斜下方，并且采集手势动作影像的摄像头的视角中心所在直线与采集前方影像的摄像头的视角中心所在直线之间的夹角为15度。

上述步骤S3将渲染手势动作影像叠加于前方影像中以形成叠加影像具体为：以前方影像的影像中心点为原点，根据采集使用者的前方影像以及手势动作影像的两个摄像头中心点之间的偏移间距及相对位置，将渲染手势动作影像的影像中心点以相反于相对位置的方向由原点移动偏移间距，以将渲染手势动作影像叠加于前方影像中形成叠加影像。

由此，本发明可对采集到的使用者的前方影像进行亮度、对比度、增益、白平衡及色彩量度调节，从而弥补现实环境过亮或过暗所导致的现实环境影像不佳的缺失；另外，与使用者互动的虚拟影像如游戏场景中的动物等是与现实环境融为一体且作为现实环境影像被采集的，从而确保了与使用者互动的虚拟影像的观看效果；此外，通过对使用者手部的影像识别及图形渲染，并将图形渲染后的影像叠加覆盖于前方影像中，可使被图形渲染后的手部的虚拟影像原比例的覆盖于前方影像中的原肢体区域，从而确保了较高的仿真度和较佳的观看效果，更增加了趣味性。

以上所述仅为本发明的较佳实施例，并非用以限定本发明的专利范围，其他运用本发明的专利构思所做的等效变化，均应属于本发明的专利保护范围。

Claims (10)

1.一种增强现实且具有虚拟影像叠加的体验眼镜，其特征在于，包括：眼镜本体、现实影像采集单元、手势采集单元、影像处理单元、图像显示单元及光学透镜；

所述眼镜本体佩戴于使用者的头部；

所述现实影像采集单元设置于所述眼镜本体前部且与所述影像处理单元电连接，所述现实影像采集单元用于采集所述眼镜本体的前方影像，并将所述前方影像传输至所述影像处理单元；

所述手势采集单元设置于所述眼镜本体前部且与所述影像处理单元电连接，所述手势采集单元用于采集所述使用者的手势动作影像，并将所述手势动作影像传输至所述影像处理单元；

所述影像处理单元设置于所述眼镜本体上，所述影像处理单元接收所述前方影像以及所述手势动作影像，将所述手势动作影像中的手势影像进行图形渲染并除去被图形渲染之外的背景影像以形成渲染手势动作影像，将所述渲染手势动作影像叠加于所述前方影像中以形成叠加影像；

所述图像显示单元设置于所述眼镜本体内并位于所述使用者的眼睛前方，所述图像显示单元与所述影像处理单元电连接，以接收并显示所述叠加影像；

所述光学透镜设置于所述图像显示单元与所述眼睛之间，所述光学透镜用于将所述图像显示单元所显示的所述叠加影像调整至所述眼睛中显示。

2.根据权利要求1所述的增强现实且具有虚拟影像叠加的体验眼镜，其特征在于，所述影像处理单元能够对所述前方影像的亮度、对比度和色彩量度进行调整。

3.根据权利要求1所述的增强现实且具有虚拟影像叠加的体验眼镜，其特征在于，所述影像处理单元以所述前方影像的影像中心点为原点，根据所述手势采集单元的摄像头中心点与所述现实影像采集单元的摄像头中心点之间的偏移间距及相对位置，将所述渲染手势动作影像的影像中心点以相反于所述相对位置的方向由所述原点移动所述偏移间距，以将所述渲染手势动作影像叠加于所述前方影像中形成叠加影像。

4.根据权利要求1所述的增强现实且具有虚拟影像叠加的体验眼镜，其特征在于，所述手势采集单元设置于所述现实影像采集单元下方，且所述现实影像采集单元的视角中心水平朝向前方，所述手势采集单元的视角中心朝向斜下方，并且所述手势采集单元的视角中心所在直线与所述现实影像采集单元的视角中心所在直线之间的夹角为15度。

5.根据权利要求1所述的增强现实且具有虚拟影像叠加的体验眼镜，其特征在于，还包括：影像调整单元，所述影像调整单元设置于所述眼镜本体上，所述图像显示单元为设置于所述使用者的眼睛前方的两个并排的OLED显示器，所述光学透镜为两块且并排地位于两个OLED显示器与所述眼睛之间，所述影像调整单元能够调整两块所述光学透镜之间的间距及/或两块所述光学透镜与两个所述OLED显示器之间的距离。

6.一种增强现实且具有虚拟影像叠加的成像方法，其特征在于，包括以下步骤：

同时且分别采集使用者的前方影像以及手势动作影像；

将所述手势动作影像中的手势影像进行图形渲染并除去被图形渲染之外的背景影像以形成渲染手势动作影像；

将所述渲染手势动作影像叠加于所述前方影像中以形成叠加影像；

显示所述叠加影像。

7.根据权利要求6所述的增强现实且具有虚拟影像叠加的成像方法，其特征在于，采集使用者的前方影像后，还包括步骤：对采集的所述前方影像进行亮度、对比度和色彩量度的调整。

8.根据权利要求6所述的增强现实且具有虚拟影像叠加的成像方法，其特征在于，将所述渲染手势动作影像叠加于所述前方影像中以形成叠加影像的步骤为：以所述前方影像的影像中心点为原点，根据采集使用者的前方影像以及手势动作影像的两个摄像头中心点之间的偏移间距及相对位置，将所述渲染手势动作影像的影像中心点以相反于所述相对位置的方向由所述原点移动所述偏移间距，以将所述渲染手势动作影像叠加于所述前方影像中形成叠加影像。

9.根据权利要求6所述的增强现实且具有虚拟影像叠加的成像方法，其特征在于，采集所述手势动作影像的摄像头位于采集所述前方影像的摄像头的下方，采集所述前方影像的摄像头的视角中心水平朝向前方，采集所述手势动作影像的摄像头的视角中心朝向斜下方，并且采集所述手势动作影像的摄像头的视角中心所在直线与采集所述前方影像的摄像头的视角中心所在直线之间的夹角为15度。

10.根据权利要求6所述的增强现实且具有虚拟影像叠加的成像方法，其特征在于，显示所述叠加影像后，还包括步骤：调整使用者观看所述叠加影像时的瞳距及/或视距。