CN111175972A - 一种头戴式显示器及其场景显示方法和存储介质 - Google Patents

Abstract

本申请适用于显示技术领域，提供了一种头戴式显示器及其场景显示方法和存储介质。本申请实施例通过检测用户所处的环境和/或用户的运动状态，并根据用户所处的环境和/或用户的运动状态，控制头戴式显示器的至少一个摄像头的运动状态，控制至少一个摄像头拍摄各自视场范围内的实景图像并显示，可以有效扩大头戴式显示器的视场范围，使得用户在特定的环境和/或特定的运动状态下可以通过头戴式显示器观看大视角范围内的现实场景，操作简单，易于实现，对用户的要求较低。

Description

一种头戴式显示器及其场景显示方法和存储介质

技术领域

本申请属于显示技术领域，尤其涉及一种头戴式显示器及其场景显示方法和存储介质。

背景技术

随着显示技术的不断发展，各种头戴式显示器(Head Mounted Display，HMD)层出不穷，可以实现虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、混合现实(Mixed Reality，MR)等显示效果，为人们带来全新的视觉享受。为了实现全景显示效果，采用大视场的广角摄像头来提高拍摄视野，或者，采用全景拍摄方式，匀速移动头戴式显示器，使头戴式显示器的摄像头能够在移动过程中连续拍摄视场中的景物，并将拍摄到的所有景物合成为一张全景图像。

然而，广角摄像头的视场角大小有限并且拍摄的图像容易产生畸变，采用全景拍摄方式则要求用户匀速且不抖动地移动头戴式显示器，对用户的要求较高，难以实现。

申请内容

有鉴于此，本申请实施例提供了一种头戴式显示器及其场景显示方法和存储介质，以解决现有的头戴式显示器在实现全景显示效果时，采用广角摄像头的视场角大小有限并且拍摄的图像容易产生畸变，采用全景拍摄方式则要求用户匀速且不抖动地移动头戴式显示器，对用户的要求较高，难以实现的问题。

本申请实施例的第一方面提供了一种头戴式显示器的场景显示方法，包括：

检测用户所处的环境和/或用户的运动状态；

根据用户所处的环境和/或用户的运动状态，控制所述头戴式显示器的至少一个摄像头的运动状态；

控制所述至少一个摄像头拍摄各自视场范围内的实景图像；

显示所述至少一个摄像头拍摄的实景图像。

本申请实施例的第二方面提供了一种头戴式显示器，包括存储器、处理器、显示器件、至少一个摄像头、至少一个传感器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例第一方面所述场景显示方法的步骤。

本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例第一方面所述场景显示方法的步骤。

本申请实施例通过检测用户所处的环境和/或用户的运动状态，并根据用户所处的环境和/或用户的运动状态，控制头戴式显示器的至少一个摄像头的运动状态，控制至少一个摄像头拍摄各自视场范围内的实景图像并显示，可以有效扩大头戴式显示器的视场范围，使得用户在特定的环境和/或特定的运动状态下可以通过头戴式显示器观看大视角范围内的现实场景，操作简单，易于实现，对用户的要求较低。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的头戴式显示器的第一种结构示意图；

图2是本申请实施例提供的头戴式显示器的第二种结构示意图；

图3是本申请实施例提供的头戴式显示器的第三种结构示意图；

图4是本申请实施例提供的头戴式显示器的场景显示方法的流程示意图；

图5是本申请实施例提供的视线转动角度和摄像头的转动角度的示意图；

图6是本申请实施例提供的视线转动角度、摄像头的转动角度和用户观看到的场景角度的示意图；

图7是本申请实施例提供的头戴式显示器的第四种结构示意图；

图8是本申请实施例提供的头戴式显示器的第五种结构示意图；

图9是本申请实施例提供的摄像头可转动的预设角度范围的示意图；

图10是本申请实施例提供的用户的视场范围、摄像头的视场范围和用户可观看到的场景角度的示意图；

图11是本申请实施例提供的头戴式显示器的第六种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。

本申请实施例提供一种头戴式显示器的场景显示方法，头戴式显示器可以实现虚拟现实、增强现实或混合现实等显示效果，头戴式显示器包括支架和设置于支架的存储器、处理器、显示器件、至少一个摄像头和至少一个传感器。

在应用中，摄像头的数量可以根据实际需要进行设置，例如，一个、两个或多个。当摄像头的数量为偶数时，偶数个摄像头可以均匀分布于支架且相对于头戴式显示器的竖直中轴面对称设置，头戴式显示器的竖直中轴面是指用户垂直站立于水平面、佩戴头戴式显示器且正视前方时，垂直于水平面、穿过用户眉心位置且平行于用户视线方向的平面。

在应用中，显示器件可以是显示屏，也可以是投影显示器件，可以通过视网膜投影技术将摄像头拍摄的画面直接放大投影到人眼视网膜。显示器件可以为基于LCD(LiquidCrystal Display，液晶显示装置)技术的液晶显示器件、基于OLED(OrganicElectroluminesence Display，有机电激光显示)技术的有机电激光显示器件、基于QLED(Quantum Dot Light Emitting Diodes，量子点发光二极管)技术的量子点发光二极管显示器件、曲面显示器件或基于LCOS(Liquid Crystal on Silicon，液晶附硅)技术的反射式矩阵液晶显示器件等。

在应用中，头戴式显示器可以包括加速度传感器、振动传感器、地磁传感器、定位传感器等用于检测用户的运动速度、运动方向、运动位置等运动状态的传感器。加速度传感器用于检测用户运动时的加速度，使得处理器可以根据用户运动时的加速度变化，获得用户的运动速度。振动传感器用于检测用户运动时的振动幅度和振动频率，使得处理器可以根据用户运动时的振动幅度和振动频率获知用户是否处于步行状态。地磁传感器用于检测用户运动时的方向，使得处理器可以获知用户的运动方向。定位传感器用于检测用户运动时的位置，使得处理器可以获知用户的运动位置，定位传感器具体可以是基于GPS(GlobalPositioning System，全球定位系统)、BDS(BeiDou Navigation Satellite System，中国北斗卫星导航系统)、GLONASS(GLOBAL NAVIGATION SATELLITE SYSTEM，全球卫星导航系统)Galileo(Galileo satellite navigation system，伽利略卫星导航系统)技术实现的定位器件。

在应用中，支架是指头戴式显示器上用于固定和支撑存储器、处理器、显示器件、传感器和摄像头等电子器件的无动力且无信号传输的机械结构。支架可以根据实际需要设置为任意形状。例如，当头戴式显示器是智能眼镜(Smart Glasses)时，支架可以设置为眼镜形状，具体包括镜框和镜架。在应用中，头戴式显示器必然还包括用于供电的电源模组，还可以包括用于与其他终端进行信息交互的通信模组，用于集成设置存储器、处理器、显示器件、传感器、电源模组、通信模组等结构的电路板，本实施例中仅对头戴式显示器中与发明点相关的具体结构和实现原理进行介绍，不对其他结构及实现原理进行特别限定。

如图1所示，示例性的示出了头戴式显示器为智能眼镜时的第一种结构示意图；其中，头戴式显示器包括支架1、设置于头戴式显示器的竖直中轴面位置处的一个摄像头2以及设置于支架1的电路板3，虚线位置为竖直中轴面位置。

如图2所示，示例性的示出了头戴式显示器为智能眼镜时的第二种结构示意图；其中，头戴式显示器包括支架1、相对于头戴式显示器的竖直中轴面对称设置的摄像头21和摄像头22以及设置于支架1的电路板3；其中，摄像头21设置于支架1左部分，摄像头22设置于支架1右部分，虚线位置为竖直中轴面位置。

在应用中，支架左部分是指用户佩戴头戴式显示器时，以竖直中轴面为分界面，位于用户眉心左侧的支架；支架右部分是指用户佩戴头戴式显示器时，以竖直中轴面为分界面，位于用户眉心右侧的支架。

如图3所示，示例性的示出了头戴式显示器为智能眼镜时的第三种结构示意图；其中，头戴式显示器包括支架1、相对于头戴式显示器的竖直中轴面对称设置的摄像头21、摄像头22、摄像头23和摄像头24以及设置于支架1的电路板3；其中，摄像头21和摄像头22设置于支架1左部分，摄像头23和摄像头24设置于支架1右部分，虚线位置为竖直中轴面位置。

如图4所示，本申请实施例提供的头戴式显示器的场景显示方法，包括：

步骤S401、检测用户所处的环境和/或用户的运动状态。

在应用中，可以通过摄像头来检测用户所处的环境，具体的，可以通过摄像头拍摄其视场范围内的实景图像，然后对实景图像进行场景识别，根据实景图像中的物体或场景的类别来识别用户所处的环境，例如，当实景图像中包括天空、树木、湖泊、马路、建筑物、车辆等室外物体或室外场景时，可以判定用户处于室外环境；当实景图像中包括家具、家居电器、天花板、地板、办公用具等室内物体或室内场景时，可以判定用户处于室内环境。可以通过加速度传感器、振动传感器、地磁传感器、定位传感器等来检测用户的运动速度、运动方向、运动位置等运动状态。

在一个实施例中，步骤S401包括：

检测用户所处的环境；

当用户处于室外环境中时，检测用户的运动状态。

在应用中，当用户处于室内环境中时，由于室内环境通常是已知且固定不变的，因此，当用户处于室内环境中时，无论用户处于何种运动状态，都无需担心周围的环境会对用户造成威胁，无需检测用户的运动状态。当用户处于室外环境中时，由于室外环境通常是未知且不断变化的，当用户的运动状态为正在做极限运动或者运动速度过快时，周围的环境可能会对用户造成威胁，因此，需要检测用户的运动状态，进而根据用户的运动状态控制头戴式显示器的摄像头运动，以使用户获知其周围的场景，从而有效预防危险情况的发生。

步骤S402、根据用户所处的环境和/或用户的运动状态，控制所述头戴式显示器的至少一个摄像头的运动状态。

在应用中，当用户处于室内环境或用户处于步行、静坐、躺卧等运动速度较慢或运动速度为0的运动状态时，可以控制正在运动的摄像头停止运动，或者，控制未运动的摄像头继续保持静止。

在一个实施例中，步骤S402包括：

当用户处于室内环境中或用户的运动速度小于预设速度阈值时，控制所述头戴式显示器的所有摄像头静止。

在应用中，预设速度阈值可以根据实际需要进行设置，例如，预设速度阈值可以设置为用户的步行速度。对于不同的用户，其步行速度不同，可以通过头戴式显示器的计步器或加速度传感器来测量用户在单位时间内的步数或加速度，进而通过处理器计算出用户的步行速度，从而得到预设速度阈值。

在应用中，当用户处于室外环境和/或用户在进行跑步、骑行、跑酷、越野赛车等运动速度较快运动时，可以控制正在运动的摄像头继续运动，或者，控制未运动的摄像头开始运动。

在一个实施例中，步骤S402包括：

当用户处于室外环境中，或者，用户处于室外环境中且用户的运动速度大于预设速度阈值时，控制所述头戴式显示器的至少一个摄像头运动。

在应用中，可以在检测到用户对至少一个摄像头中的某个摄像头的运动控制操作时，根据运动控制操作控制该摄像头运动；也可在用户处于室外环境中，或者，用户处于室外环境中且用户的运动速度大于预设速度阈值的情况下，进一步检测到用户对至少一个摄像头中的某个摄像头的运动控制操作时，根据运动控制操作控制该摄像头运动。运动控制操作可以包括对头戴式显示器的支架上设置的按钮的按压操作、语音控制操作、手势控制操作、基于视线追踪技术的视线控制操作等。当摄像头的数量为两个或多个时，用于控制每个摄像头运动的运动控制操作可以不同，也可以所有摄像头都采用相同的运动控制操作或者位于支架同一侧的所有摄像头采用相同的运动控制操作。相同的运动控制操作的具体操作步骤完全一致，不同的运动控制操作的具体操作步骤不一致。例如，用于控制位于支架左部分的摄像头和支架右部分的摄像头的运动控制操作不同时，位于支架左部分的摄像头对应的运动控制操作为按压操作，位于支架左部分的摄像头对应的运动控制操作为语音控制操作；或者，位于支架左部分的摄像头对应的运动控制操作为按压操作且具体操作步骤为按压支架上设置的按钮A一下，位于支架左部分的摄像头对应的运动控制操作为按压操作且具体操作步骤为连续按压支架上设置的按钮A两下。

在一个实施例中，所述头戴式显示器的场景显示方法，还包括：

检测用户的运动控制操作；

在检测到所述运动控制操作时，控制所述至少一个摄像头中与所述运动控制操作对应的摄像头运动。

在一个实施例中，步骤S402包括：

当用户处于室外环境中，或者，用户处于室外环境中且用户的运动速度大于预设速度阈值时，检测用户的运动控制操作；

在检测到所述运动控制操作时，控制所述至少一个摄像头中与所述运动控制操作对应的摄像头运动。

在应用中，摄像头的运动方式可以根据实际需要设置为无位移的转动或有位移的移动，位移是指在支架的结构走向方向上的位置变化。

在一个实施例中，控制所述头戴式显示器的至少一个摄像头的运动，包括：

根据视线追踪技术，获取人眼的视线变化角度；

根据所述视线变化角度，控制所述头戴式显示器的至少一个摄像头跟随人眼的视线转动相应角度。

在应用中，可以采用视线追踪技术来追踪人眼的视线，获知人眼的视线变化角度，然后根据视线变化角度，控制摄像头跟随人眼视线转动相应角度，使用户可以在不转动头部的情况下，仅通过转动眼球改变视线方向，就能通过头戴式显示器观看到大视角范围内的场景。摄像头跟随人眼视线转动的角度可以大于或等于人眼的视线变化角度，使得用户可以通过头戴式显示器观看到大于或等于人眼的视线变化角度范围内的场景。当摄像头的数量为两个或多个时，用户通过头戴式显示器观看到的场景的角度为所有摄像头可转动的角度范围的叠加角度。

在一个实施例中，所述至少一个摄像头跟随人眼的视线转动的角度为所述视线变化角度的N倍；其中，N≥1。

如图5所示，示例性的示出了头戴式显示器包括一个摄像头2时，视线转动角度θ1和摄像头跟随人眼的视线转动的角度θ2的示意图；其中，θ2＞θ1＞0°。

如图6所示，示例性的示出了头戴式显示器包括关于竖直中轴面对称设置的摄像头21和摄像头22时，视线转动角度θ1、摄像头21跟随人眼的视线转动的角度θ2、摄像头22跟随人眼的视线转动的角度θ3和用户通过头戴式显示器可观看到的场景的角度θ4的示意图；其中，θ4＞θ2＝θ3＞θ1＞0°。

在一个实施例中，控制所述头戴式显示器的至少一个摄像头的运动，包括：

检测用户的头部转动角度；

根据所述头部转动角度，控制所述头戴式显示器的至少一个摄像头跟随用户的头部转动相应角度。

在应用中，头戴式显示器还可以包括设置于支架的重力传感器、陀螺仪、加速度传感器、角度传感器、角速度传感器等器件，可以根据这些器件检测头戴式显示器的重力方向、角运动量、加速度、角度及角速度，从而根据检测到的这些参数计算得到用户的头部转动角度，控制摄像头跟随头部转动相应角度，使用户可以通过转动头部来控制摄像头转动。可以在转动头部的情况下，能通过头戴式显示器观看到更大视角范围内的场景。摄像头跟随头部转动的角度可以大于或等于头部转动角度，使得用户转动头部时可以通过头戴式显示器观看到大于或等于人眼的视线范围内的场景。当摄像头的数量为两个或多个时，用户通过头戴式显示器观看到的场景的角度为所有摄像头可转动的角度范围的叠加角度。

在一个实施例中，所述至少一个摄像头跟随用户的头部转动的角度为所述头部转动角度的M倍；其中，M≥1。

在一个实施例中，控制所述头戴式显示器的至少一个摄像头的运动，包括：

控制所述头戴式显示器的至少一个摄像头沿所述头戴式显示器的支架移动；

和/或，控制所述头戴式显示器的至少一个摄像头在预设角度范围内转动。

在应用中，可沿支架的结构走向设置滑轨，摄像头可通过滑轨沿支架的结构走向方向移动，例如，当支架的整体结构为U型时，摄像头的最长可移动路径为由支架的一个末端到另一个末端的U型路径，摄像头的可移动路径可以根据实际需要设置为U型路径中的任一段长度小于或等于U型路径总长度的路径。

如图7所示，示例性的示出了头戴式显示器为智能眼镜时的第四种结构示意图；其中，头戴式显示器包括支架1、设置于头戴式显示器的竖直中轴面位置处的一个摄像头2、设置于支架1的电路板3以及沿支架走线且设置于支架前部分的滑轨4，摄像头2设置于滑轨4，虚线位置为竖直中轴面位置，实线箭头方向为摄像头2可移动的方向。

如图8所示，示例性的示出了头戴式显示器为智能眼镜时的第四种结构示意图；其中，头戴式显示器包括支架1、相对于头戴式显示器的竖直中轴面对称设置的摄像头21和摄像头22、设置于支架1的电路板3以及沿支架走线且设置于支架前部分的滑轨41和滑轨42，摄像头21设置于滑轨41，摄像头22设置于滑轨42，虚线位置为竖直中轴面位置，实线箭头方向为摄像头21和摄像头22可移动的方向。

在一个实施例中，控制所述头戴式显示器的至少一个摄像头的运动，包括：

控制设置于所述头戴式显示器的支架左部分的至少一个摄像头沿所述支架左部分移动；

控制设置于所述头戴式显示器的支架右部分的至少一个摄像头沿所述支架右部分移动。

在应用中，可以通过可在预设角度范围内转动的转轴将每个摄像头安装于支架，使得摄像头可以通过转轴在预设角度范围内转动，预设角度范围可以根据实际需要设置为任意角度范围，例如，0°～720°中的任意角度范围，具体可以为0°～180°、0°～270°、0°～360°、0°～720°，以摄像头的光心为原点，垂直于头戴式显示器的竖直中轴面且指向支架左部分的方向为X轴正方向，用户垂直站立于水平面且佩戴头戴式显示器时，用户的视线正前方为Y轴正方向、反重力方向为Z轴正方向建立三维角度坐标系XYZ，设定位于X轴正方向上任一点与原点之间的连线到X轴的夹角为0°。当摄像头可转动的预设角度范围为0°～720°时，摄像头通过万向转轴设置于支架。

在一个实施例中，控制所述头戴式显示器的至少一个摄像头的运动，包括：

控制所述头戴式显示器的至少一个摄像头在第一平面内转动0°～360°；

和/或，控制所述头戴式显示器的至少一个摄像头在第二平面内转动0°～360°，所述第一平面垂直于所述第二平面。

如图9所示，在图2的基础上示例性的示出了摄像头21可转动的预设角度范围包括在第一平面内的0°～360°和在第二平面内的0°～360°、摄像头22可转动的预设角度范围为在第一平面内的0°～180°时的示意图；其中，以垂直于头戴式显示器的竖直中轴面且指向支架左部分的方向为X轴正方向，用户垂直站立于水平面且佩戴头戴式显示器时，用户的视线正前方为Y轴正方向、反重力方向为Z轴正方向建立三维角度坐标系XYZ，设定位于X轴正方向上任一点与原点之间的连线到X轴的夹角为0°，第一平面可以为XY平面、XZ平面和YZ平面中的一个，第二平面可以为XY平面、XZ平面和YZ平面中的另一个，图9中示例性的示出第一平面为XY平面，第二平面为XZ平面，虚线箭头方向为摄像头21和摄像头22可转动的方向。

在一个实施例中，控制所述头戴式显示器的至少一个摄像头的运动，包括：

控制设置于所述头戴式显示器的支架左部分的至少一个摄像头在第一角度范围内转动；

和/或，控制设置于所述头戴式显示器的支架右部分的至少一个摄像头在第二角度范围内转动。

在应用中，不同的摄像头可转动的预设角度范围可以相同或不同。头戴式显示器的支架左部分和支架右部分都设置有摄像头时，支架左部分的摄像头和支架右部分的摄像头可以关于竖直中轴面对称设置。关于竖直中轴面对称设置的两个摄像头可转动的预设角度范围可以相同。

在一个实施例中，控制所述头戴式显示器的至少一个摄像头的运动，包括：

控制设置于所述头戴式显示器的支架左部分的至少一个摄像头在第三平面内的第一角度范围内转动；

控制设置于所述头戴式显示器的支架右部分的至少一个摄像头在第四平面内的第二角度范围内转动；

其中，所述第一角度范围等于所述第二角度范围，所述第三平面平行于所述第四平面，关于所述竖直中轴面对称设置的两个摄像头同时转动时的转动方向相反。

在应用中，第三平面和第四平面可以为空间中相互平行的任意平面，具体可以是摄像头的水平视场角平面。各摄像头的水平视场角平面即为以该摄像头的光心为原点，垂直于头戴式显示器的竖直中轴面且指向支架左部分的方向为X轴正方向，用户垂直站立于水平面且佩戴头戴式显示器时，用户的视线正前方为Y轴正方向、反重力方向为Z轴正方向建立的三维角度坐标系XYZ的XY平面。当用户的视场范围为-α1～+α1，支架左部分的摄像头的视场范围为-α2～-α1，支架右部分的摄像头的视场范围为+α1～+α3时，用户佩戴头戴式显示器时的视场范围可由-α1～+α1增加至-α2～+α3；其中，2|α1|＜|α3+α2|。具体的，设α1＝60°，α2＝150°，α3＝200°，则用户佩戴头戴式显示器时的视场范围可由-60°～60°增加至-150°～200°，从而可以通过头戴式显示器可观看到总共350°视角的场景。

如图10所示，示例性的示出了头戴式显示器包括关于竖直中轴面对称设置的摄像头21和摄像头22时，用户的视场范围-α1～+α1、摄像头22的视场范围-α2～-α1、摄像头21的视场范围+α1～+α3和用户通过头戴式显示器可观看到的场景的角度α的示意图；其中，α＞0°。

步骤S403、控制所述至少一个摄像头拍摄各自视场范围内的实景图像。

在应用中，可以仅控制运动的摄像头拍摄其视场范围内的实景图像，也可以在控制运动的摄像头拍摄其视场范围内的实景图像的同时，根据用户的实际需要控制未运动的至少一个摄像头拍摄其视场范围内的实景图像，还可以在摄像头运动到指定位置之后，再控制摄像头在静止状态下拍摄其视场范围内的实际图像。

在一个实施例中，步骤S403包括：

在所述至少一个摄像头运动的过程中，控制所述至少一个摄像头拍摄各自视场范围内的实景图像。

在一个实施例中，所述头戴式显示器的场景显示方法还包括：

检测用户的拍摄控制操作；

在检测到所述拍摄控制操作时，控制所述至少一个摄像头中与所述拍摄控制操作对应的摄像头拍摄自身视场范围内的实景图像。

在应用中，可以在检测到用户对至少一个摄像头中的某个摄像头的拍摄控制操作时，根据拍摄控制操作控制该摄像头拍摄自身视场范围内的实景图像。拍摄控制操作可以包括对头戴式显示器的支架上设置的按钮的按压操作、语音控制操作、手势控制操作、基于眼动追踪技术的眼动控制操作等。当摄像头的数量为两个或多个时，用于控制每个摄像头拍摄图像的拍摄控制操作可以不同，也可以所有摄像头都采用相同的拍摄控制操作或者位于支架同一侧的所有摄像头采用相同的拍摄控制操作。相同的拍摄控制操作的具体操作步骤完全一致，不同的运动控制操作的具体操作步骤不一致。例如，用于控制位于支架左部分的摄像头和支架右部分的摄像头的拍摄控制操作不同时，位于支架左部分的摄像头对应的拍摄控制操作为按压操作，位于支架左部分的摄像头对应的拍摄控制操作为语音控制操作；或者，位于支架左部分的摄像头对应的拍摄控制操作为按压操作且具体操作步骤为按压支架上设置的按钮B一下，位于支架左部分的摄像头对应的拍摄控制操作为按压操作且具体操作步骤为连续按压支架上设置的按钮B两下。

步骤S404、显示所述至少一个摄像头拍摄的实景图像。

在应用中，可以实时显示摄像头拍摄的实景图像，使得用户观看到的场景与摄像头拍摄到的实景图像完全一致。也可以对摄像头拍摄的实景图像进行处理之后再进行显示，例如，在实景图像上叠加虚拟图像，以实现增强现实效果。也可以将两个或多个摄像头拍摄的实景图像进行叠加处理，合成为一张实景图像之后再进行显示，在进行叠加处理时，需要对不同实景图像中的重叠部分进行去重处理，以避免不同实景图像中相同的元素在合成图像中重复显示。例如，一张实景图像包括元素a、b，另一张实景图像包括元素b、c，则进行叠加处理之后得到的合成图像包括元素a、b和c，若不进行去重处理，则合成图像包括元素a、b、b和c。

在一个实施例中，步骤S404包括：

当用户处于室内环境中，或者，用户的运动速度小于或等于预设速度阈值时，将所述至少一个摄像头拍摄的实景图像拼接为一张实景图像并显示。

在应用中，当用户处于室内环境中或用户的运动速度较慢时，周围的环境不会对用户造成威胁，此时可以通过处理器对摄像头拍摄的实景图像进行拼接处理，去除重复部分，得到一张拼接的实景图像，然后进行显示，可以有效提高显示效果。

在一个实施例中，步骤S404包括：

当用户处于室外环境中，或者，用户处于室外环境中且用户的运动速度大于预设速度阈值时，在所述至少一个摄像头运动的过程中，实时显示所述至少一个摄像头拍摄的实景图像。

在应用中，当用户处于室外环境中或用户的运动速度较快时，周围的环境可能会对用户造成威胁，此时可以实时显示摄像头运动过程中拍摄的实景图像，以使用户可以实时观看大视角范围内的现实场景，从而有效预防危险情况的发生。本申请实施例通过检测用户所处的环境和/或用户的运动状态，并根据用户所处的环境和/或用户的运动状态，控制头戴式显示器的至少一个摄像头的运动状态，控制至少一个摄像头拍摄各自视场范围内的实景图像并显示，可以有效扩大头戴式显示器的视场范围，使得用户在特定的环境和/或特定的运动状态下可以通过头戴式显示器观看大视角范围内的现实场景，操作简单，易于实现，对用户的要求较低。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

如图11所示，本申请的一个实施例还提供一种头戴式显示器100，其包括：至少一个摄像头21～2n(n≥1且为整数)、显示器件3、存储器5、处理器6、至少一个传感器71～7m(m≥1且为整数)以及存储在所述存储器5中并可在所述处理器6上运行的计算机程序51，例如场景显示程序。所述处理器6执行所述计算机程序51时实现上述各个场景显示方法实施例中的步骤，例如图4所示的步骤S401至S404。

示例性的，所述计算机程序51可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器5中，并由所述处理器6执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序51在所述头戴式显示器100中的执行过程。例如，所述计算机程序51可以被分割成检测单元、第一控制单元、第二控制单元和显示单元，各单元具体功能如下：

检测单元，用于检测用户所处的环境和/或用户的运动状态；

第一控制单元，用于根据用户所处的环境和/或用户的运动状态，控制所述头戴式显示器的至少一个摄像头的运动状态；

第二控制单元，用于控制所述至少一个摄像头拍摄各自视场范围内的实景图像；

显示单元，用于显示所述至少一个摄像头拍摄的实景图像。

所述头戴式显示器100可包括，但不仅限于，至少一个摄像头21～2n、显示器件3、存储器5、处理器6及至少一个传感器71～7m。本领域技术人员可以理解，图11仅仅是头戴式显示器100的示例，并不构成对头戴式显示器100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述头戴式显示器100还可以包括输入输出设备、网络接入设备、总线等。

所述存储器5可以是所述头戴式显示器100的内部存储单元，例如头戴式显示器100的硬盘或内存。所述存储器5也可以是所述头戴式显示器100的外部存储设备，例如所述头戴式显示器100上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器5还可以既包括所述头戴式显示器100的内部存储单元也包括外部存储设备。所述存储器5用于存储所述计算机程序以及所述头戴式显示器100所需的其他程序和数据。所述存储器5还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器6可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述至少一个传感器71～7m可以包括加速度传感器、振动传感器、地磁传感器、定位传感器等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种头戴式显示器的场景显示方法，其特征在于，包括：

检测用户所处的环境和/或用户的运动状态；

根据用户所处的环境和/或用户的运动状态，控制所述头戴式显示器的至少一个摄像头的运动状态；

控制所述至少一个摄像头拍摄各自视场范围内的实景图像；

显示所述至少一个摄像头拍摄的实景图像。

2.如权利要求1所述的头戴式显示器的场景显示方法，其特征在于，根据用户所处的环境和/或用户的运动状态，控制所述头戴式显示器的至少一个摄像头的运动状态，包括：

当用户处于室内环境中，或者，用户的运动速度小于或等于预设速度阈值时，控制所述头戴式显示器的所有摄像头静止；

当用户处于室外环境中，或者，用户处于室外环境中且用户的运动速度大于预设速度阈值时，控制所述头戴式显示器的至少一个摄像头运动。

3.如权利要求1所述的头戴式显示器的场景显示方法，其特征在于，显示所述至少一个摄像头拍摄的实景图像，包括：

当用户处于室内环境中，或者，用户的运动速度小于或等于预设速度阈值时，将所述至少一个摄像头拍摄的实景图像拼接为一张实景图像并显示；

当用户处于室外环境中，或者，用户处于室外环境中且用户的运动速度大于预设速度阈值时，在所述至少一个摄像头运动的过程中，实时显示所述至少一个摄像头拍摄的实景图像。

4.如权利要求2所述的头戴式显示器的场景显示方法，其特征在于，控制所述头戴式显示器的至少一个摄像头运动，包括：

控制所述头戴式显示器的至少一个摄像头沿所述头戴式显示器的支架移动；

和/或，控制所述头戴式显示器的至少一个摄像头在预设角度范围内转动。

5.如权利要求4所述的头戴式显示器的场景显示方法，其特征在于，控制所述头戴式显示器的至少一个摄像头沿所述头戴式显示器的支架移动，包括：

控制设置于所述头戴式显示器的支架左部分的至少一个摄像头沿所述支架左部分移动；

控制设置于所述头戴式显示器的支架右部分的至少一个摄像头沿所述支架右部分移动；

控制所述头戴式显示器的至少一个摄像头在预设角度范围内转动，包括：

控制所述头戴式显示器的至少一个摄像头在第一平面内转动0°～360°；

和/或，控制所述头戴式显示器的至少一个摄像头在第二平面内转动0°～360°，所述第一平面垂直于所述第二平面。

6.如权利要求4所述的头戴式显示器的场景显示方法，其特征在于，控制所述头戴式显示器的至少一个摄像头在预设角度范围内转动，包括：

控制设置于所述头戴式显示器的支架左部分的至少一个摄像头在第一角度范围内转动；

和/或，控制设置于所述头戴式显示器的支架右部分的至少一个摄像头在第二角度范围内转动；

其中，所述支架左部分的摄像头和所述支架右部分的摄像头关于所述头戴式显示器的竖直中轴面对称设置。

7.如权利要求2所述的头戴式显示器的场景显示方法，其特征在于，控制所述头戴式显示器的至少一个摄像头运动，包括：

根据视线追踪技术，获取人眼的视线变化角度；

根据所述视线变化角度，控制所述头戴式显示器的至少一个摄像头跟随人眼的视线转动相应角度；

或者，检测用户的头部转动角度；

根据所述头部转动角度，控制所述头戴式显示器的至少一个摄像头跟随用户的头部转动相应角度。

8.如权利要求7所述的头戴式显示器的场景显示方法，其特征在于，所述至少一个摄像头跟随人眼的视线转动的角度为所述视线变化角度的N倍；其中，N≥1；

所述至少一个摄像头跟随用户的头部转动的角度为所述头部转动角度的M倍；其中，M≥1。

9.一种头戴式显示器，其特征在于，包括存储器、处理器、显示器件、至少一个摄像头、至少一个传感器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述场景显示方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述场景显示方法的步骤。

Images