CN107368192B - Vr眼镜的实景观测方法及vr眼镜 - Google Patents

Abstract

本发明提供一种VR眼镜的实景观测方法及VR眼镜。其中，方法包括：响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据；根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像；将所述送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。本发明提供的技术方案，可以在用户通过VR眼镜观测实景环境时，降低实景环境图像的延迟。

Description

VR眼镜的实景观测方法及VR眼镜

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种VR眼镜的实景观测方法及VR眼镜。

背景技术

VR(Virtual Reality，虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，并通过多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该模拟环境中。

在使用VR眼镜的过程中，用户可能需要观测现实景环境，比如在佩戴VR眼镜玩游戏的过程中，要拿桌上的水杯喝水。若用户在观测实景环境时发生头部转动，则随着用户头部的转动，用户通过VR眼镜看到的实景图像会发生延迟或卡顿。

发明内容

本发明提供一种VR眼镜的实景观测方法及VR眼镜，用以在用户通过VR眼镜观测实景环境时，降低实景环境图像的延迟。

本发明提供一种VR眼镜的实景观测方法，适用于包含广角摄像头的VR眼镜，包括：

响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据；

根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像；

将所述送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。

进一步可选地，根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像，包括：根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据；根据所述获取送屏图像时刻的用户头部位姿数据以及所述拍摄实景图像时刻的用户头部位姿数据，获取图像选取框的倾角以及所述图像选取框的中心点在所述实景图像中对应的位置；根据所述倾角，旋转所述图像选取框；采用所述旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像。

进一步可选地，根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据，包括：以所述当前时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。

进一步可选地，根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据，包括：根据所述当前时刻的用户头部位姿数据，预测显示送屏图像时刻的用户头部位姿数据；以显示送屏图像时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。

进一步可选地，获取图像选取框的倾角，包括：获取用户头部从所述拍摄实景图像时刻至所述获取送屏图像时刻的转动数据；根据所述转动数据所指示的用户头部的转动角以及转动方向，确定所述图像选取框的倾角；获取所述图像选取框的中心点在所述实景图像中对应的位置，包括：从所述头部转动数据中，确定所述VR眼镜的透镜的视场中心从所述拍摄实景图像时刻到所述获取送屏图像时刻在与所述VR眼镜平行的方向上的位移；在所述实景图像中，基于所述位移，确定与所述实景图像的中心点存在相应偏移量的一点，作为所述图像选取框的中心点在所述实景图像中对应的位置。

进一步可选地，采用旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像之前，还包括：根据所述透镜的视场角以及所述透镜和所述显示屏之间的距离，确定图像选取框的尺寸。

进一步可选地，采用旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像，包括：若采用所述旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心所获取的图像包含所述实景图像的边界以外的区域，则对边界以外的区域进行像素填充以得到送屏图像。

进一步可选地，对边界以外的区域进行像素填充以得到送屏图像，包括：以所述实景图像的边界处的像素填充所述边界以外的区域以得到送屏图像。

本发明还提供一种VR眼镜，包括：

用于检测用户头部位姿数据的位姿数据检测器；

用于拍摄实景图像的广角摄像头；所述广角摄像头包括第一广角摄像头以及第二广角摄像头；

用于根据所述位姿数据检测器检测到的用户头部位姿数据，从所述广角摄像头拍摄到的实景图像中选取送屏图像的处理器；

用于显示所述送屏图像的显示屏；以及

用于观测所述显示屏上显示的所述送屏图像的透镜；所述透镜包括第一透镜以及第二透镜；

其中，所述广角摄像头、所述显示屏以及所述透镜沿光轴方向依次设置。

进一步可选地，所述显示屏包括：用于显示从所述第一广角摄像头拍摄到的实景图像中获取的送屏图像的第一显示区以及用于显示从所述第二广角摄像头拍摄到的实景图像中获取的送屏图像的第二显示区；其中，所述第一显示区与所述第一透镜位置对应；所述第二显示区与所述第二透镜位置对应。

进一步可选地，所述第一透镜以及所述第一广角摄像头沿用户左眼平视时的视线方向设置；以及，所述第二透镜以及所述第二广角摄像头沿用户右眼平视时的视线方向设置。

进一步可选地，所述第一广角摄像头与所述第二广角摄像头之间的间距适配于人眼的左眼和右眼之间的间距。

本发明提供的VR眼镜的实景观测方法及VR眼镜，在VR眼镜中设置双广角摄像头拍摄实景图像，并响应于获取下一帧待显示图像的指令，根据当前时刻的用户头部位姿数据，从双广角摄像头拍摄实景图像选取相应的送屏图像。从而，缩短了拍摄实景图像、处理实景图像以及在显示屏上显示送屏图像的过程中的时间，降低观测延迟。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一VR眼镜的结构示意图；

图2是本发明实施例提供的一VR眼镜实景观测方法的流程示意图；

图3a是本发明实施例提供的另一VR眼镜实景观测方法的流程示意图；

图3b是本发明实施例提供的实景图像与送屏图像的示意图；

图3c是本发明实施例提供的另一实景图像与送屏图像的示意图；

图4是本发明实施例提供的另一VR眼镜实景观测方法的流程示意图；

图5是本发明实施例提供的又一VR眼镜实景观测方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

通常，用户通过VR眼镜观测实景时，以用户看到的第i帧图像为例(i表示帧号，i为正整数)，用户看到的第i帧图像是通过如下四个步骤获取的：

步骤1：接收到获取待显示的第i帧图像的指令时，VR眼镜上的摄像头(Camera)拍摄实景图像。若Camera的频率是60FPS，则步骤1对应的时间Ti1＝16.7ms。

步骤2：得到实景图像后，需根据Ti1时刻用户头部的位姿数据对图像进行处理，处理所需时间为Ti2。

步骤3：显示应用获取处理后的实景图像，并根据透镜的视场中心所在的位置从处理后的实景图像中获取能够在显示屏上进行显示的图像，即送屏图像，此过程所需时间为Ti3。

步骤4：显示应用发送屏图像至显示屏，直至送屏图像完全显示在显示屏上。假设屏幕的显示频率是60FPS，则此过程所需时间Ti4＝16.7ms。

综上，从拍摄实景到用户通过显示屏看到实景图像的过程中，总的时间延迟Ti为：Ti1+Ti2+Ti3+Ti4。针对用户观测的每一帧图像，上述步骤1-步骤4的观测过程均需重新执行一遍，因此，用户通过VR眼镜观测实景时，极易产生卡顿的效果。

因此，不同于现有技术，在用户持续进行实景观测的过程中，获取下一帧待显示图像时，VR眼镜无需针对待显示的下一帧图像重新拍摄，只需根据用户头部的位姿数据变化，从双广角摄像头最近一次拍摄的实景图像中选取对应的部分图像即可。进而，采用上述方式，可以减少待显示的下一帧图像获取以及显示过程中的时间延迟，进一步提升实景观测的流畅度。以下部分将结合附图对本发明实施进行进一步阐述。

图1是本发明实施例提供的一VR眼镜的结构示意图，结合图1，该VR眼镜包括：用于检测用户头部位姿数据的位姿数据检测器10；用于拍摄实景图像的广角摄像头11；广角摄像头11包括第一广角摄像头111以及第二广角摄像头112；用于据位姿数据检测器10检测到的用户头部位姿数据，从广角摄像头11拍摄到的实景图像中选取送屏图像的处理器12；用于显示送屏图像的显示屏14；以及，用于观测显示屏14上显示的送屏图像的透镜13；透镜13包括第一透镜131以及第二透镜132；其中，广角摄像头11、显示屏14以及透镜13沿光轴方向依次设置。

其中，位姿数据检测器10，可以包括IMU(Inertial measurement unit，惯性测量单元)、加速度传感器、陀螺仪和地磁传感器等。在用户佩戴VR眼镜时，位姿数据检测器可以捕捉用户的头部运动，尤其用户的头部转动。

其中，显示屏14上有两个显示区域，即第一显示区141和第二显示区142；第一显示区141用于显示第一送屏图像，第一送屏图像是指从第一广角摄像头111拍摄到的实景图像中选取的图像；第二显示区142用于显示第二送屏图像，第二送屏图像是指从第二广角摄像头112拍摄到的实景图像中选取的图像。

其中，第一显示区141与第一透镜131位置对应；第二显示区142与第二透镜132位置对应。这样，用户可以通过第一透镜131观测第一显示区141显示的第一送屏图像，通过第二透镜132观测第二显示区142显示的第二广角摄像头112拍摄到的实景图像中获取的送屏图像，进而使得用户通过VR眼镜观测到立体感较强的实景。

可选地，为便于描述透镜、广角摄像头之前的设置位置，以VR镜正常佩戴时的状态为例进行描述。其中，第一透镜131以及第一广角摄像头111沿用户左眼平视时的视线方向由近及远依次设置；以及，第二透镜132以及第二广角摄像头112沿用户右眼平视时的视线方向由近及远依次设置。另外，第一透镜131的中心位置和第一广角摄像头111的中心位置在一条直线上，第二透镜132的中心位置和第二广角摄像头112的中心位置在一条直线上。这样，广角摄像头的视场中心以及透镜的视场中心重合，保证了第一广角摄像头111以及第二广角摄像头112能够以用户的视角对实景进行拍摄；与此同时，保证了用户通过第一透镜131以及第二透镜132看到的实景图像与用户未佩戴VR眼镜时观测到的实景的效果相同。

可选地，第一广角摄像头111与第二广角摄像头112之间的间距适配于人的左右眼间距。换句话说，第一广角摄像头111的中心点与第二广角摄像头112的中心点之间的距离，与人眼瞳距近似。例如，适用于男性用户的VR眼镜，第一广角摄像头111的中心点与第二广角摄像头112的中心点之间的距离可以设置在60毫米～73毫米之间；适用于女性用户的VR眼镜，第一广角摄像头111的中心点与第二广角摄像头112的中心点之间的距离可以设置在53毫米～68毫米之间；适用于儿童的VR眼镜，第一广角摄像头111的中心点与第二广角摄像头112的中心点之间的距离可以在上述数值的基础上进一步缩小。

本实施例提供的VR眼镜，在VR眼镜中设置双广角摄像头拍摄实景图像，并由处理器根据位姿数据检测器检测到的用户头部位姿数据，从该实景图像中选取送屏图像。从而，缩短了拍摄实景图像、处理实景图像以及在显示屏上显示送屏图像的过程中的时间，降低观测延迟，提升了通过VR眼镜观测实景的流畅度以及时效性。

图2是本发明实施例提供的一VR眼镜实景观测方法的流程示意图，该方法适用于设有广角摄像头的VR眼镜。结合图2，该方法包括：

步骤201、响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据。

步骤202、根据当前时刻的用户头部位姿数据以及广角摄像头拍摄实景图像时刻的用户头部位姿数据，从广角摄像头拍摄到的实景图像中选取送屏图像。

步骤203、将送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。

针对步骤201，获取下一帧待显示图像的指令，可以是在用户通过VR眼镜上的显示屏观测实景的过程中，由用户对实景的持续观测需求发起的。例如，用户在观测第i帧图像时，若没有发起停止观测操作，则表征用户将持续观测实景，即VR眼镜上的显示屏需要显示第i+1帧图像，此时VR眼镜上的处理器会接收到指示获取待显示第i+1帧图像的指令。

用户头部位姿数据，可以是安装于VR眼镜上的位姿数据检测器检测到的。例如，可以是3轴的加速度计或者是3轴的陀螺仪检测到的用户头部的3DOF(3degree of freedom，3自由度)数据。从该3DOF数据中，可以获取用户头部的当前位置以及运动轨迹等数据。

当前时刻，是接收到获取下一帧待显示图像的指令的时刻。根据前述记载的VR眼镜观测实景的四个步骤，在现有技术中，接收到获取下一帧待显示图像的指令时，应当开始执行步骤1，由VR眼镜上的摄像头(Camera)拍摄实景图像，并依次执行步骤2-步骤4做一系列图像的处理。而在本实施例的技术方案中，可选地，在接收到获取下一帧待显示图像的指令时，不需执行步骤1，而是确定当前时刻的用户头部位姿数据并执行步骤202。

针对步骤202，可直接根据已确定的当前时刻的用户头部位姿数据从广角摄像头拍摄到的实景图像中选取送屏图像作为下一帧待显示图像。

送屏图像，即待发送至显示屏进行显示的图像。可选地，步骤202可由VR眼镜中的处理器执行，广角摄像头拍摄到的实景图像可预先保存在处理器的存储空间(例如缓存)中。基于此，在接收获取下一帧待显示图像的指令时，无需实时拍摄，可以直接从存储空间中读取该实景图像并进行图像的选取。当然，即使在接收到获取下一帧待显示图像的指令时实时拍摄图像，由于无需对图像进行步骤2和3的处理，也有利于降低观测延迟。

可选地，上述广角摄像头拍摄实景图像时刻，是接收到获取下一帧待显示图像的指令之前的时刻，一般是广角摄像头最近一次对实景进行拍摄的时刻。例如，可以是广角摄像头在用户观测前一帧图像过程中重新拍摄最新实景图像的时刻，也可以是广角摄像头拍摄在用户观测前N帧图像过程中重新拍摄最新实景图像的时刻。

应当理解，广角摄像头的视场范围较广，透镜的视场角小于广角摄像头的视场角的，因此透镜的视场范围包含在广角摄像头的视场范围内。故，透镜所能看见的显示于显示屏的图像，可以从广角摄像头拍摄到的实景图像中选取。在选取时，可根据当前时刻的用户头部位姿数据以及广角摄像头拍摄实景图像时刻的用户头部位姿数据，从广角摄像头拍摄到的实景图像中选取合适的部分图像。

针对步骤203，获取送屏图像后，将送屏图像作为下一帧待显示图像发送至显示屏并由显示屏显示该送屏图像。进而，用户可通过VR眼镜上的透镜观测显示屏上显示的送屏图像。

应当说明的是，在本发明实施例的技术方案中，送屏图像包括第一送屏图像以及第二送屏图像。其中，第一送屏图像是从VR眼镜上的第一广角摄像头拍摄到的实景图像中获取的，第二送屏图像是从VR眼镜上的第二广角摄像头拍摄到的实景图像中获取的。第一送屏图像显示在显示屏的第一显示区域上，第二送屏图像显示在显示屏的第二显示区域上。用户通过第一透镜看到的图像为第一显示区域显示的第一送屏图像，通过第二透镜看到的图像为第二显示区域显示的第二送屏图像。这样，用户双眼会看到不同显示区域显示的不同图像，能够产生立体景深的视觉效果，且视觉效果与真实世界保持较高一致性。由于第一送屏图像以及第二送屏图像的获取过程类似，在本发明提供的以下实施例中，以任一送屏图像为例对本发明的技术方案进行阐述，不再赘述。

本实施例提供的VR眼镜的实景观测方法，在接收到获取下一帧待显示图像的指令时，响应该指令，确定当前时刻用户头部位姿数据，并根据该位姿数据从预存的广角摄像头拍摄到的实景图像中选取送屏图像。从而，缩短了拍摄实景图像、处理实景图像以及在显示屏上显示送屏图像的过程中的时间，降低观测延迟，提升了通过VR眼镜观测实景的流畅度以及时效性。

图3a是本发明实施例提供的另一VR眼镜实景观测方法的流程示意图，该方法适用于设有广角摄像头的VR眼镜。结合图3a，该方法包括：

步骤301、响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据。

步骤302、根据当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据。

步骤303、根据获取送屏图像时刻的用户头部位姿数据以及拍摄实景图像时刻的用户头部位姿数据，获取图像选取框的倾角以及所述图像选取框的中心点在所述实景图像中对应的位置。

步骤304、根据该倾角，旋转图像选取框。

步骤305、采用旋转后的图像选取框，以图像选取框的中心点在实景图像中对应的位置为取景中心，从实景图像中选取送屏图像。

步骤306、将送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。

针对步骤301，可选地，获取下一帧待显示图像的指令，可以是在用户通过VR眼镜上的显示屏观测第i帧图像后，继续观测第i+1帧图像的需求发起的。在当前时刻，需获取待显示的第i+1帧图像。

在现有技术中，需获取第i+1帧图像时，需由VR眼镜上的Camera重新拍摄实景图像并经由一系列处理获取能够显示在显示屏上的图像。本实施例中，不需由Camera重新拍摄实景图像，可从预存的广角摄像头拍摄的实景图像中选取部分合适的图像进行显示。在从实景图像中选取部分合适的图像之前，需执行步骤302以及步骤303，以保证选取到的图像与用户当前的头部位置以及用户的观测视角匹配。

针对步骤302，可选地，获取送屏图像时刻，即选取待显示的第i+1帧图像的时刻。该获取送屏图像时刻的用户头部位姿数据，可以在选取第i+1帧图像时作为参考数据，用以确定从广角摄像头拍摄得到的实景图像中具体选取哪一部分部分图像。

可选地，该获取送屏图像时刻的用户头部位姿数据，可以是位姿数据检测器获取到的实时的用户头部位姿数据，也可以是根据位姿数据检测器获取到的实时的用户头部位姿数据预测得到的用户头部位姿数据。当然，应当理解，该获取送屏图像时刻的用户头部位姿数据越接近用户观测该送屏图像时刻的头部数据，则显示给用户观测的送屏图像与用户在观测该送屏图像时刻的视角所应该看到的真实世界的匹配程度越高。

例如，在一可选实施方式中，可直接以位姿数据检测器获取到的当前时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据；在另一可选实施方式中，可根据位姿数据检测器获取到的当前时刻的用户头部位姿数据进行预测得到获取送屏图像时刻的用户头部位姿数据。

针对步骤303，可选地，图像选取框实际上可以认为是VR眼镜的透镜在特定观测距离上对应的一视场范围。作为一个对图像选取范围进行约束的工具，图像选取框用于从广角摄像头拍摄得到的实景图像中选取部分图像作为送屏图像。其中，图像选取框的尺寸可根据透镜的视场角以及透镜和显示屏之间的距离确定。

图像选取框在选取图像时，具有一特定的选取角度以及一指定的选取中心点，从而能够唯一地选取到目标图像内容，如图3b以及图3c所示。该选取角度由图像选取框的倾角决定，该选取中心点由图像选取框的中心点在所述实景图像中对应的位置决定。其中，倾角可以用图像选取框相对于竖直方向或水平方向的倾斜角度表示。

图像选取框的倾角可通过VR眼镜的透镜的倾角确定。可选地，可通过如下的步骤确定VR眼镜的透镜的倾角：首先，可从获取送屏图像时刻的用户头部位姿数据以及拍摄实景图像时刻的用户头部位姿数据中，获取用户头部从拍摄实景图像时刻至获取送屏图像时刻的转动数据；可根据该转动数据所指示的用户头部的转动角以及转动方向，确定VR眼镜的透镜的倾角。进而，将VR眼镜的透镜的倾角作为图像选取框的倾角。

在确定图像选取框的倾角之后，还可进一步确定图像选取框的中心点。为便于描述，此处标记广角摄像头拍摄得到的实景图像的中心点为第一像点，透镜的视场中心在实景中的位置成像后的点为第二像点。若用户头部位姿数据在特定范围内变化，则第二像点包含在广角摄像头拍摄得到的实景图像中，且图像选取框的中心点与第二像点的位置重合。故，可选地，可通过计算第二像点在实景图像中的位置，来确定图像选取框的中心点的位置。

广角摄像头拍摄得到的实景图像是预先拍摄并保存的，在广角摄像头拍摄该实景图像的时刻，广角摄像头的视场中心与透镜的视场中心是重合的，此时第一像点与第二像点重合，如图3b所示。当用户头部转动时，透镜的视场中心在实景中的位置随之转动，此时，透镜的视场中心与拍摄该实景图像时刻广角摄像头的视场中心存在一定的位移量，故第一像点与第二像点之间存在如图3c所示的偏移。标记拍摄该实景图像时刻广角摄像头的视场中心在实景中的位置为第一物点，透镜的视场中心在实景中的位置为第二物点。

在计算第二像点时，可先确定透镜的视场中心从拍摄实景图像时刻到获取送屏图像时刻在与VR眼镜平行的方向上的位移。根据该位移，可以确定第一物点以及第二物点的相对位置以及距离。进而，在已知第一像点、第一物点以及第二物点的相对位置以及距离时，根据成像原理即可在实景图像中确定与第一像点存在相应偏移量的第二像点，并将该第二像点的位置作为图像选取框的中心点所在位置。

需要说明的是，在一可选实施方式中，直接以当前时刻的用户头部位姿数据获取送屏图像时刻的用户头部位姿数据时，图像选取框的倾角是根据VR眼镜上的透镜从广角摄像头拍摄实景图像时刻到当前时刻的旋转角以及旋转方向确定的。在这种实施方式中，图像选取框的中心点在所述实景图像中对应的位置，可以是当前时刻透镜的视场中心在实景中的位置成像后的像点在广角摄像头拍摄的实景图像中对应的位置。

在另一可选实施方式中，根据当前时刻的用户头部位姿数据进行预测得到获取送屏图像时刻的用户头部位姿数据时，图像选取框的倾角是根据预测得到的VR眼镜上的透镜从广角摄像头拍摄实景图像时刻到显示送屏图像时刻的旋转角以及旋转方向确定的。在这种实施方式中，图像选取框的中心点在所述实景图像中对应的位置，可以是预测得到的显示送屏图像时刻透镜的视场中心在实景中的位置成像后的像点在广角摄像头拍摄的实景图像中对应的在位置。

针对步骤304，确定图像选取框的倾角后，旋转图像选取框，如图3c所示。

针对步骤305，确定图像选取框的倾角度后，采用旋转后的图像选取框，以图像选取框的中心点在广角摄像头拍摄得到的实景图像中的位置为取景中心，从实景图像中选取送屏图像。

针对步骤306、将送屏图像作为下一帧待显示图像发送至显示屏进行显示，以使用户通过显示屏上显示的所述送屏图像观测实景。

本实施例中，在接收到获取下一帧待显示图像的指令时，确定当前时刻用户头部位姿数据，并根据该位姿数据以及广角摄像头拍摄实景图像时的位姿数据，确定VR眼镜上的透镜的倾角以及透镜的视场中心在实景图像中对应的位置。进而，根据透镜的倾角，旋转图像选取框。并采用旋转后的图像选取框，以透镜的视场中心在所述实景图像中对应的位置为取景中心，从广角摄像头拍摄到的实景图像中选取送屏图像。从而，缩短了拍摄实景图像、处理实景图像以及在显示屏上显示送屏图像的过程中的时间，降低观测延迟，提升了通过VR眼镜观测实景的流畅度以及时效性。

图4是本发明实施例提供的另一VR眼镜实景观测方法的流程示意图，该方法适用于设有广角摄像头的VR眼镜。结合图4，该方法包括：

步骤401、响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据。

步骤402、以当前时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。

步骤403、根据获取送屏图像时刻的用户头部位姿数据以及拍摄实景图像时刻的用户头部位姿数据，获取图像选取框的倾角以及所述图像选取框的中心点在所述实景图像中对应的位置。

步骤404、根据该倾角，旋转图像选取框。

步骤405、采用旋转后的图像选取框，以图像选取框的中心点在实景图像中对应的位置为取景中心，从实景图像中选取送屏图像。

步骤406、将送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。

在本实施例中，直接根据当前时刻的用户头部位姿数据以及拍摄实景图像时刻的用户头部位姿数据，获取图像选取框的倾角以及所述图像选取框的中心点在所述实景图像中对应的位置。进而实现了在接收到获取下一帧待显示图像的指令时，采用旋转后的图像选取框，获取以所述图像选取框的中点在所述实景图像中对应的位置为图像中心的送屏图像，极大提升了送屏图像的获取效率，降低了观测延迟。

图5是本发明实施例提供的又一VR眼镜实景观测方法的流程示意图，该方法适用于设有广角摄像头的VR眼镜。结合图5，该方法包括：

步骤501、响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据。

步骤502、根据所述当前时刻的用户头部位姿数据，预测显示送屏图像时刻的用户头部位姿数据；

步骤503、以显示送屏图像时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。

步骤504、根据获取送屏图像时刻的用户头部位姿数据以及拍摄实景图像时刻的用户头部位姿数据，获取图像选取框的倾角以及所述图像选取框的中心点在所述实景图像中对应的位置。

步骤505、根据该倾角，旋转图像选取框。

步骤506、采用旋转后的图像选取框，以图像选取框的中心点在实景图像中对应的位置为取景中心，从实景图像中选取送屏图像。

步骤507、将送屏图像作为下一帧待显示图像发送至显示屏进行显示，以供用户观测。

在本实施例中，根据当前时刻的用户头部位姿数据预测显示送屏图像时刻的用户头部位姿数据，并将预测得到的显示送屏图像时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。在这样的实施方式中，对显示送屏图像时刻的用户头部位姿数据进行预测，能够获取到更加接近用户观测送屏图像时刻的头部位姿数据，进而提升了下一帧待显示图像与用户观测该图像时刻的视角所看到的真实世界的匹配程度，极大降低视觉延迟效果，为用户带来了良好的观测体验。

值得说明的是，在本发明的上述实施例中，若采用旋转后的图像选取框，以所述图像选取框的中心点在实景图像中对应的位置为取景中心所获取的图像包含实景图像的边界以外的区域，则对边界以外的区域进行像素填充以得到送屏图像。优选的，本实施例中，以所述实景图像的边界处的像素填充边界以外的区域以得到送屏图像。进而，保证获取到的送屏图像无黑边，且视觉效果较好。

以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种VR眼镜的实景观测方法，适用于包含广角摄像头的VR眼镜，其特征在于，包括：

响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据，所述当前时刻，是接收到获取下一帧待显示图像的指令的时刻；

根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的保存至存储空间的所述实景图像中选取送屏图像，所述送屏图像是所述实景图像对应的部分图像；

将所述送屏图像作为所述下一帧待显示图像发送至显示屏进行显示，以供用户观测；

所述广角摄像头拍摄实景图像时刻，是接收到获取下一帧待显示图像的指令之前的时刻。

2.根据权利要求1所述的方法，其特征在于，根据所述当前时刻的用户头部位姿数据以及所述广角摄像头拍摄实景图像时刻的用户头部位姿数据，从所述广角摄像头拍摄到的所述实景图像中选取送屏图像，包括：

根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据；

根据所述获取送屏图像时刻的用户头部位姿数据以及所述拍摄实景图像时刻的用户头部位姿数据，获取图像选取框的倾角以及所述图像选取框的中心点在所述实景图像中对应的位置；

根据所述倾角，旋转所述图像选取框；

采用所述旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像。

3.根据权利要求2所述的方法，其特征在于，根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据，包括：

以所述当前时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。

4.根据权利要求2所述的方法，其特征在于，根据所述当前时刻的用户头部位姿数据，确定获取送屏图像时刻的用户头部位姿数据，包括：

根据所述当前时刻的用户头部位姿数据，预测显示送屏图像时刻的用户头部位姿数据；

以显示送屏图像时刻的用户头部位姿数据作为获取送屏图像时刻的用户头部位姿数据。

5.根据权利要求3或4所述的方法，其特征在于，获取图像选取框的倾角，包括：

获取用户头部从所述拍摄实景图像时刻至所述获取送屏图像时刻的转动数据；

根据所述转动数据所指示的用户头部的转动角以及转动方向，确定所述图像选取框的倾角；

获取所述图像选取框的中心点在所述实景图像中对应的位置，包括：

从所述头部转动数据中，确定所述VR眼镜的透镜的视场中心从所述拍摄实景图像时刻到所述获取送屏图像时刻在与所述VR眼镜平行的方向上的位移；

在所述实景图像中，基于所述位移，确定与所述实景图像的中心点存在相应偏移量的一点，作为所述图像选取框的中心点在所述实景图像中对应的位置。

6.根据权利要求2-4中任一项所述的方法，其特征在于，采用旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像之前，还包括：

根据透镜的视场角以及所述透镜和所述显示屏之间的距离，确定图像选取框的尺寸。

7.根据权利要求6所述的方法，其特征在于，采用旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心，从所述实景图像中选取送屏图像，包括：

若采用所述旋转后的图像选取框，以所述图像选取框的中心点在所述实景图像中对应的位置为取景中心所获取的图像包含所述实景图像的边界以外的区域，则对边界以外的区域进行像素填充以得到送屏图像。

8.根据权利要求7所述的方法，其特征在于，对边界以外的区域进行像素填充以得到送屏图像，包括：

以所述实景图像的边界处的像素填充所述边界以外的区域以得到送屏图像。

9.一种VR眼镜，其特征在于，包括：

用于检测用户头部位姿数据的位姿数据检测器；

所述位姿数据检测器用于响应于获取下一帧待显示图像的指令，确定当前时刻的用户头部位姿数据，所述当前时刻，是接收到获取下一帧待显示图像的指令的时刻；

用于拍摄实景图像的广角摄像头；所述广角摄像头包括第一广角摄像头以及第二广角摄像头；

用于根据所述位姿数据检测器检测到的用户头部位姿数据，从所述广角摄像头拍摄到的保存至存储空间的实景图像中选取送屏图像的处理器；所述送屏图像是所述实景图像对应的部分图像；所述广角摄像头拍摄实景图像时刻，是接收到获取下一帧待显示图像的指令之前的时刻；

用于显示所述送屏图像的显示屏；以及

用于观测所述显示屏上显示的所述送屏图像的透镜；所述透镜包括第一透镜以及第二透镜；

其中，所述广角摄像头、所述显示屏以及所述透镜沿光轴方向依次设置；

所述处理器还用于将所述送屏图像作为所述下一帧待显示图像发送至所述显示屏进行显示，以供用户观测。

10.根据权利要求9所述的VR眼镜，其特征在于，所述显示屏包括：

用于显示从所述第一广角摄像头拍摄到的实景图像中获取的送屏图像的第一显示区以及用于显示从所述第二广角摄像头拍摄到的实景图像中获取的送屏图像的第二显示区；

其中，所述第一显示区与所述第一透镜位置对应；所述第二显示区与所述第二透镜位置对应。

11.根据权利要求9或10所述的VR眼镜，其特征在于，所述第一透镜以及所述第一广角摄像头沿用户左眼平视时的视线方向设置；以及，

所述第二透镜以及所述第二广角摄像头沿用户右眼平视时的视线方向设置。

12.根据权利要求9或10所述的VR眼镜，其特征在于，所述第一广角摄像头与所述第二广角摄像头之间的间距适配于人眼的左眼和右眼之间的间距。

Images