CN108961421A - 虚拟空间的控制方法、控制系统和计算机可读存储介质 - Google Patents

Abstract

本发明提出了一种虚拟空间的控制方法和虚拟空间的控制系统。其中，虚拟空间的控制方法包括：获取用户预设方向的视频数据，视频数据中每帧图像具有时间标识；获取预存的虚拟空间中各个用户的位置信息；根据位置信息，获取虚拟空间中任一用户指定方向上所有其他用户同一时间标识的指定图像；将指定图像预处理后进行合成，获得合成图像，将指定图像的时间标识作为合成图像的时间标识；按照时间标识的时间顺序，将合成图像发送至任一用户的使用端，以使任一用户的使用端在指定方向的显示装置显示合成图像。本发明可以使在不同的地点使用该虚拟空间的用户具有所有用户如同在同一真实空间的感受，提高了用户体验度。

Description

虚拟空间的控制方法、控制系统和计算机可读存储介质

技术领域

本发明涉及远程虚拟空间控制技术领域，具体而言，涉及一种虚拟空 间的控制方法、虚拟空间的控制系统和计算机可读存储介质。

背景技术

当前社会出现了很多在线教育在线讲座的教学方式，这种远程教学的 效果不如真实的上课环境，究其原因，主要是这种在线教学的方式下，教 师或学生都没有一种身在教室的实际体会。又或是需要进行开会的会议人 员，因不是同一地点，无法在同一真实会议室进行会议，就需要使用远程 虚拟会议室，然而目前远程虚拟会议室也无法使参会人员具有如同在同一 真实会议室开会的感受，会议效果大打折扣。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明第一个方面在于提出一种虚拟空间的控制方法。

本发明的第二个方面在于提出一种虚拟空间的控制系统。

本发明的第三个方面在于提出一种计算机可读存储介质。

有鉴于此，根据本发明的一个方面，提出了一种虚拟空间的控制方法， 包括：获取用户预设方向的视频数据，视频数据中每帧图像具有时间标识； 获取预存的虚拟空间中各个用户的位置信息；根据位置信息，获取虚拟空间中 任一用户指定方向上所有其他用户同一时间标识的指定图像；将指定图像预处 理后进行合成，获得合成图像，将指定图像的时间标识作为合成图像的时间标 识；按照时间标识的时间顺序，将合成图像发送至任一用户的使用端，以使任 一用户的使用端在指定方向的显示装置显示合成图像。

本发明提供的虚拟空间的控制方法，首先获取用户使用端预设方向的视 频数据，预设方向是预先设定的方向，比如正前方，正后方、左方、右方 等，在根据各个用户预先选择的虚拟空间的位置信息，获取某个用户指定 方向上所有用户同一时间标识的指定图像，比如，获取虚拟空间上用户A 左边所有用户时间在B时刻的指定图像，指定图像为朝向用户A的图像， 在将获取的所有用户图像进行合成，获取合成图像之后，将合衬图像按照 时间标识顺序发送至该用户使用端指定方向上的显示装置进行显示，即将 合成的视频数据发送至该用户，使得该用户感受所有其他用户如同在同一 真实空间，如同所有用户身处同一真实空间，所有用户就在身边，提高了 虚拟空间的用户体验感。

根据本发明的上述虚拟空间的控制方法，还可以具有以下技术特征：

在上述技术方案中，优选地，位置信息包括：用户与虚拟空间中位置的 绑定信息和虚拟空间中各个用户的距离信息；在获取用户预设方向的视频数据 之前，还包括：获取用户对虚拟空间的座位选择指令；根据座位选择指令为用 户分配对应的座位，并将用户与对应的座位进行绑定，获得并保存绑定信息。

在该技术方案中，在用户使用虚拟空间时，首先进行对虚拟空间的座 位进行选择，使得用户与虚拟座位具有一一对应的对应关系，将该对应关 系进行绑定，就可以针对某一用户进行视频数据合成时，查询到相对应的 绑定座位，以及虚拟教室中座位的位置距离以及位置角度关系，进而根据 虚拟座位进行合成相对虚拟视频，实现用户使用虚拟空间的真实感。

在上述任一技术方案中，优选地，将指定图像预处理后进行合成，获得 合成图像，具体包括：保留指定图像中其他用户及预设装置的图像，获得第一 预处理图像，指定图像为朝向任一用户的图像；根据位置信息获取在虚拟空间 中任一用户与其他用户的距离，按照预设缩小比例将第一预处理图像进行缩小 处理，距离与缩小比例为正相关；将第二预处理图像与虚拟空间在指定方向的 第一预设图像合成，获得合成图像。

在该技术方案中，在将指定图像进行合成时，首先保留指定图像中其 他用户以及预设装置的图像，获取第一预处理图像，比如，虚拟空间是虚 拟教室，就保留学生用户和书桌座椅的图像，保留教室用户以及课桌的图 像；如果虚拟空间是虚拟会议室，就保留会议参与者用户与会议桌的图像， 即预设装置与虚拟空间的类型有关，再获取该任一用户与其他用户的虚拟 教室的位置关系，包括位置距离以及位置角度，根据位置角度明确其他用户的图像为朝向该任一用户的方向，根据位置距离对第一预处理图像进行 缩放，获得第二预处理图像，距离该任一用户较近的其他用户缩小比例小， 距离该任一用户距离较远的其他用户缩小比例大，使得缩放后的图像与真 实视觉效果相同，在进行缩小之后，再将该指定方向上预设的虚拟空间的 墙壁画面合成至第二预处理图像中，如此，就获得该任一用户指定方向上 合成图像，按照时间标识顺序拼接，即为指定方向的合成视频，合成的视 频符合视觉常理，使得任一用户能感受到其他用户如同真实的坐在自己旁 边。

在上述任一技术方案中，优选地，虚拟空间包括：远程教学的虚拟教室、 虚拟会议室、虚拟培训室；当虚拟空间为虚拟教室时，用户包括：学生端的用 户和教师端的用户。

在该技术方案中，虚拟空间的类型可以为虚拟教室、虚拟会议室。虚 拟培训室，当然，本发明的虚拟空间不限于上述类型。本发明适用于多类 型的虚拟空间，使得多方面的虚拟空间使用者均可以具有真实的空间感受。 当虚拟空间为远程教学的虚拟教室时，用户包括：学生端的用户和教师端的 用户。

在上述任一技术方案中，优选地，获取用户预设方向的视频数据，具体 包括：通过学生端第一预设方向的第一图像采集装置获取视频数据；和/或控 制学生端的第二图像采集终端按照预设轨迹运行，当第二图像采集装置运行至 第二预设方向时，采集视频数据；和/或通过教师端第三预设方向的第三图像 采集装置获取视频数据。

在该技术方案中，获取用户预设方向的视频数据，可以通过学生端第 一预设方向的第一图像采集装置进行获取，第一预设方向可以学生端用户 前、后、左、右方向，也可以根据需要其他方向上设置图像采集装置；获 取视频数据还可以通过控制学生端第二图像采集装置按照预设轨迹运行， 在第二预设方向进行采集数据，预设轨迹可以为环绕学生端用户的运动轨 迹，如此可以实现使用较少的图像采集装置获取各个方向的视频数据；还可以通过教师端用户第三预设方向的第三图像采集装置获取视频数据。通 过教师端和学生端多种图像采集方式获取所需视频数据，为虚拟视频数据 合成提供基础。

根据本发明的第二个方面，提出了一种虚拟空间的控制系统，包括：存 储器，用于存储计算机程序；处理器，用于执行计算机程序以：获取用户预设 方向的视频数据，视频数据中每帧图像具有时间标识；获取预存的虚拟空间中 各个用户的位置信息；根据位置信息，获取虚拟空间中任一用户指定方向上所 有其他用户同一时间标识的指定图像；将指定图像预处理后进行合成，获得合 成图像，将指定图像的时间标识作为合成图像的时间标识；按照时间标识的时 间顺序，将合成图像发送至任一用户的使用端，以使任一用户的使用端在指定 方向的显示装置显示合成图像。

本发明提供的虚拟空间的控制系统，存储器存储计算机程序；处理器执 行计算机程序时，首先获取用户使用端预设方向的视频数据，预设方向是预 先设定的方向，比如正前方，正后方、左方、右方等，在根据各个用户预 先选择的虚拟空间的位置信息，获取某个用户指定方向上所有用户同一时 间标识的指定图像，比如，获取虚拟空间上用户A左边所有用户时间在B 时刻的指定图像，指定图像为朝向用户A的图像，在将获取的所有用户图像进行合成，获取合成图像之后，将合衬图像按照时间标识顺序发送至该 用户使用端指定方向上的显示装置进行显示，即将合成的视频数据发送至 该用户，使得该用户感受所有其他用户如同在同一真实空间，如同所有用 户身处同一真实空间，所有用户就在身边，提高了虚拟空间的用户体验感。

根据本发明的上述虚拟空间的控制系统，还可以具有以下技术特征：

在上述技术方案中，优选地，位置信息包括：用户与虚拟空间中位置的 绑定信息和虚拟空间中各个用户的距离信息；处理器还用于执行计算机程序 以：获取用户对虚拟空间的座位选择指令；根据座位选择指令为用户分配对应 的座位，并将用户与对应的座位进行绑定，获得并保存绑定信息。

在该技术方案中，在用户使用虚拟空间时，首先进行对虚拟空间的座 位进行选择，使得用户与虚拟座位具有一一对应的对应关系，将该对应关 系进行绑定，就可以针对某一用户进行视频数据合成时，查询到相对应的 绑定座位，以及虚拟教室中座位的位置距离以及位置角度关系，进而根据 虚拟座位进行合成相对虚拟视频，实现用户使用虚拟空间的真实感。

在上述任一技术方案中，优选地，处理器具体用于执行计算机程序以： 保留指定图像中其他用户及预设装置的图像，获得第一预处理图像，指定图像 为朝向任一用户的图像；根据位置信息获取在虚拟空间中任一用户与其他用户 的距离，按照预设缩小比例将第一预处理图像进行缩小处理，距离与缩小比例 为正相关；将第二预处理图像与虚拟空间在指定方向的第一预设图像合成，获 得合成图像。

在该技术方案中，在将指定图像进行合成时，首先保留指定图像中其 他用户以及预设装置的图像，获取第一预处理图像，比如，虚拟空间是虚 拟教室，就保留学生用户和书桌座椅的图像，保留教室用户以及课桌的图 像；如果虚拟空间是虚拟会议室，就保留会议参与者用户与会议桌的图像， 即预设装置与虚拟空间的类型有关，再获取该任一用户与其他用户的虚拟 教室的位置关系，包括位置距离以及位置角度，根据位置角度明确其他用户的图像为朝向该任一用户的方向，根据位置距离对第一预处理图像进行 缩放，获得第二预处理图像，距离该任一用户较近的其他用户缩小比例小， 距离该任一用户距离较远的其他用户缩小比例大，使得缩放后的图像与真 实视觉效果相同，在进行缩小之后，再将该指定方向上预设的虚拟空间的 墙壁画面合成至第二预处理图像中，如此，就获得该任一用户指定方向上 合成图像，按照时间标识顺序拼接，即为指定方向的合成视频，合成的视 频符合视觉常理，使得任一用户能感受到其他用户如同真实的坐在自己旁 边。

在上述任一技术方案中，优选地，虚拟空间包括：远程教学的虚拟教室、 虚拟会议室、虚拟培训室；当虚拟空间为虚拟教室时，用户包括：学生端的用 户和教师端的用户。

在该技术方案中，虚拟空间的类型可以为虚拟教室、虚拟会议室。虚 拟培训室，当然，本发明的虚拟空间不限于上述类型。本发明适用于多类 型的虚拟空间，使得多方面的虚拟空间使用者均可以具有真实的空间感受。

当虚拟空间为远程教学的虚拟教室时，用户包括：学生端的用户和教师 端的用户。

在上述任一技术方案中，优选地，处理器具体用于执行计算机程序以： 通过学生端第一预设方向的第一图像采集装置获取视频数据；和/或控制学生 端的第二图像采集终端按照预设轨迹运行，当第二图像采集装置运行至第二预 设方向时，采集视频数据；和/或通过教师端第三预设方向的第三图像采集装 置获取视频数据。

在该技术方案中，获取用户预设方向的视频数据，可以通过学生端第 一预设方向的第一图像采集装置进行获取，第一预设方向可以学生端用户 前、后、左、右方向，也可以根据需要其他方向上设置图像采集装置；获 取视频数据还可以通过控制学生端第二图像采集装置按照预设轨迹运行， 在第二预设方向进行采集数据，预设轨迹可以为环绕学生端用户的运动轨 迹，如此可以实现使用较少的图像采集装置获取各个方向的视频数据；还可以通过教师端用户第三预设方向的第三图像采集装置获取视频数据。通 过教师端和学生端多种图像采集方式获取所需视频数据，为虚拟视频数据 合成提供基础。

根据本发明的第三个方面，本发明提供了一种计算机可读存储介质， 其上存储有计算机程序，计算机程序被处理器执行时实现上述任一技术方 案中的虚拟空间的控制方法的步骤。

本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计 算机程序被处理器执行时实现上述任一技术方案中的虚拟空间的控制方法 的步骤，因此具有上述任一技术方案中虚拟空间的控制方法的全部有益效 果，在此不再赘述。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本 发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描 述中将变得明显和容易理解，其中：

图1示出了本发明的一个实施例的虚拟空间的控制方法的流程示意图；

图2示出了本发明的另一个实施例的虚拟空间的控制方法的流程示意 图；

图3示出了本发明的一个具体实施例的虚拟教室的示意图；

图4示出了本发明的一个具体实施例的座位环绕视频采集模式的示意 图；

图5示出了本发明的一个实施例的虚拟空间的控制系统的示意框图；

图6示出了本发明的一个具体实施例的虚拟教室系统的示意图。

其中，图3中的附图标记与部件名称之间的对应关系为：

302黑板/投影屏幕，304教师讲台，306第一学生座位，308第二学生 座位，310第三学生座位，312第四学生座位，314第五学生座位，316第 六学生座位，318第七学生座位，320第八学生座位，322第九学生座位。

图4中的附图标记与部件名称之间的对应关系为：

402第二图像采集装置，404学生座位，406视频显示装置。

图6中的附图标记与部件名称之间的对应关系为：

62控制模块，620数据收集器，622学生视频合成器，624教师视频合 成器，64教师端模块，640教师端摄像头，642黑板/教学投影仪，644教 师端视频数据采集器，646教师端视频显示屏，66学生端模块，660学生 端摄像头，662学生端视频数据采集器，664学生端视频显示屏。

具体实施方式

为了能够更清楚地理解本发明的上述方面、特征和优点，下面结合附 图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不 冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是， 本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明 的保护范围并不限于下面公开的具体实施例的限制。

本发明第一方面的实施例，提出一种虚拟空间的控制方法，图1示出了 本发明的一个实施例的虚拟空间的控制方法的流程示意图：

步骤102，获取用户预设方向的视频数据，视频数据中每帧图像具有时间 标识；

步骤104，获取预存的虚拟空间中各个用户的位置信息；

步骤106，根据位置信息，获取虚拟空间中任一用户指定方向上所有其他 用户同一时间标识的指定图像；

步骤108，将指定图像预处理后进行合成，获得合成图像，将指定图像的 时间标识作为合成图像的时间标识；

步骤110，按照时间标识的顺序，将合成图像发送至任一用户的使用端， 以使任一用户的使用端在指定方向的显示装置显示合成图像。

本发明提供的虚拟空间的控制方法，首先获取用户使用端预设方向的视 频数据，预设方向是预先设定的方向，比如正前方，正后方、左方、右方 等，在根据各个用户预先选择的虚拟空间的位置信息，获取某个用户指定 方向上所有用户同一时间标识的指定图像，比如，获取虚拟空间上用户A 左边所有用户时间在B时刻的指定图像，指定图像为朝向用户A的图像， 在将获取的所有用户图像进行合成，获取合成图像之后，将合衬图像按照 时间标识顺序发送至该用户使用端指定方向上的显示装置进行显示，即将 合成的视频数据发送至该用户，使得该用户感受所有其他用户如同在同一 真实空间，如同所有用户身处同一真实空间，所有用户就在身边，提高了 虚拟空间的用户体验感。

图2示出了本发明的另一个实施例的虚拟空间的控制方法的流程示意 图。其中，该方法包括：

步骤202，获取用户对虚拟空间的座位选择指令；

步骤204，根据座位选择指令为用户分配对应的座位，并将用户与对应的 座位进行绑定，获得并保存绑定信息；

步骤206，获取用户预设方向的视频数据，视频数据中每帧图像具有时间 标识；

步骤208，获取预存的虚拟空间中各个用户的位置信息；

步骤210，根据位置信息，获取虚拟空间中任一用户指定方向上所有其他 用户同一时间标识的指定图像；

步骤212，将指定图像预处理后进行合成，获得合成图像，将指定图像的 时间标识作为合成图像的时间标识；

步骤214，按照时间标识的顺序，将合成图像发送至任一用户的使用端， 以使任一用户的使用端在指定方向的显示装置显示合成图像。

其中，位置信息包括：用户与虚拟空间中位置的绑定信息和虚拟空间中 各个用户的距离信息。

在该实施例中，在用户使用虚拟空间时，首先进行对虚拟空间的座位 进行选择，使得用户与虚拟座位具有一一对应的对应关系，将该对应关系 进行绑定，就可以针对某一用户进行视频数据合成时，查询到相对应的绑 定座位，以及虚拟教室中座位的位置距离以及位置角度关系，进而根据虚 拟座位进行合成相对虚拟视频，实现用户使用虚拟空间的真实感。

在上述任一实施例中，优选地，将指定图像预处理后进行合成，获得合 成图像，具体包括：保留指定图像中其他用户及预设装置的图像，获得第一预 处理图像，指定图像为朝向任一用户的图像；根据位置信息获取在虚拟空间中 任一用户与其他用户的距离，按照预设缩小比例将第一预处理图像进行缩小处 理，距离与缩小比例为正相关；将第二预处理图像与虚拟空间在指定方向的第 一预设图像合成，获得合成图像。

在该实施例中，在将指定图像进行合成时，首先保留指定图像中其他 用户以及预设装置的图像，获取第一预处理图像，比如，虚拟空间是虚拟 教室，就保留学生用户和书桌座椅的图像，保留教室用户以及课桌的图像； 如果虚拟空间是虚拟会议室，就保留会议参与者用户与会议桌的图像，即 预设装置与虚拟空间的类型有关，再获取该任一用户与其他用户的虚拟教 室的位置关系，包括位置距离以及位置角度，根据位置角度明确其他用户的图像为朝向该任一用户的方向，根据位置距离对第一预处理图像进行缩 放，获得第二预处理图像，距离该任一用户较近的其他用户缩小比例小， 距离该任一用户距离较远的其他用户缩小比例大，使得缩放后的图像与真 实视觉效果相同。在进行缩小之后，再将该指定方向上预设的虚拟空间的 墙壁画面合成至第二预处理图像中，如此，就获得该任一用户指定方向上 合成图像，按照时间标识顺序拼接，即为指定方向的合成视频。

在一个具体实施例中，虚拟空间为虚拟教室，在图3所示的一个具体实施 例的虚拟教室中，讲台及学生座位分布如图所示，黑板/投影屏幕302和教师 讲台304在虚拟教室前面，第一学生座位306至第九学生座位322分别在如图 3所示的位置。当预合成第六学生座位316生成座位左侧的第四学生座位312、 第五学生座位314的座位实时视频，先设定视频起始时间戳(时间标识)，再 以教室最左端的墙壁座位视频背景，然后对当前时间戳的第四学生座位312 的座位右侧摄像头所拍摄的视频图片进行裁剪，裁剪后只保留第四学生座位 312的学生和座椅的画面，将此画面置于教室左边墙壁之上，然后对第五学生 座位314的学生画面做相同的处理，将第五学生座位314的学生和座椅的画面 置于第四学生座位312的画面之上。第四学生座位312座位画面和第五学生 座位314画面按照一定的比例缩放大小，第五学生座位314比第四学生座位 312的画面略大，这样符合视觉常理。每个时间戳都做相同的合成处理，顺序 播放即可得到第六学生座位316的左侧的模拟实时视频画面。使得第六学生 座位316的学生能感受到第四学生座位312和第五学生座位314的学生如同真实的坐在自己旁边。

在上述任一实施例中，优选地，虚拟空间包括：远程教学的虚拟教室、 虚拟会议室、虚拟培训室；当虚拟空间为虚拟教室时，用户包括：学生端的用 户和教师端的用户。

在该实施例中，虚拟空间的类型可以为虚拟教室、虚拟会议室。虚拟 培训室，当然，本发明的虚拟空间不限于上述类型。本发明适用于多类型 的虚拟空间，使得多方面的虚拟空间使用者均可以具有真实的空间感受。 当虚拟空间为远程教学的虚拟教室时，用户包括：学生端的用户和教师端的 用户。

在上述任一实施例中，优选地，获取用户预设方向的视频数据，具体包 括：通过学生端第一预设方向的第一图像采集装置获取视频数据；和/或控制 学生端的第二图像采集终端按照预设轨迹运行，当第二图像采集装置运行至第 二预设方向时，采集视频数据；和/或通过教师端第三预设方向的第三图像采 集装置获取视频数据。

在该实施例中，获取用户预设方向的视频数据，可以通过学生端第一 预设方向的第一图像采集装置进行获取，第一预设方向可以学生端用户前、 后、左、右方向，也可以根据需要其他方向上设置图像采集装置；获取视 频数据还可以选取如图4所示的座位环绕视频采集模式：通过控制学生端 第二图像采集装置402按照预设轨迹(图4中环绕学生座位404的圆形) 运行，在第二预设方向(图4中圆形某一定点)进行采集数据，预设轨迹 可以为环绕学生端用户的运动轨迹，如此可以实现使用较少的图像采集装 置获取各个方向的视频数据；还可以通过教师端用户第三预设方向的第三 图像采集装置获取视频数据。通过教师端和学生端多种图像采集方式获取 所需视频数据，为虚拟视频数据合成提供基础，进而实现在学生端视频显 示装置406中显示合成的虚拟视频。

本发明第二方面的实施例，提出一种虚拟空间的控制系统，图5示出了 本发明的一个实施例的虚拟空间的控制系统500的示意框图。如图5所示， 虚拟空间的控制系统500，包括：存储器502，用于存储计算机程序；处理器 504，用于执行计算机程序以：获取用户预设方向的视频数据，视频数据中每 帧图像具有时间标识；获取预存的虚拟空间中各个用户的位置信息；根据位置 信息，获取虚拟空间中任一用户指定方向上所有其他用户同一时间标识的指定 图像；将指定图像预处理后进行合成，获得合成图像，将指定图像的时间标识作为合成图像的时间标识；按照时间标识的时间顺序，将合成图像发送至任一 用户的使用端，以使任一用户的使用端在指定方向的显示装置显示合成图像。

本发明提供的虚拟空间的控制系统500，存储器502存储计算机程序； 处理器504执行计算机程序时，首先获取用户使用端预设方向的视频数据， 预设方向是预先设定的方向，比如正前方，正后方、左方、右方等，在根 据各个用户预先选择的虚拟空间的位置信息，获取某个用户指定方向上所 有用户同一时间标识的指定图像，比如，获取虚拟空间上用户A左边所有 用户时间B时刻的指定图像，指定图像为朝向用户A的图像，在将获取的 所有用户图像进行合成，获取合成图像之后，将合衬图像按照时间标识顺 序发送至该用户使用端指定方向上的显示装置进行显示，即将合成的视频 数据发送至该用户，使得该用户感受所有其他用户如同在同一真实空间， 如同所有用户身处同一真实空间，所有用户就在身边，提高了虚拟空间的 用户体验感。

在上述实施例中，优选地，位置信息包括：用户与虚拟空间中位置的绑 定信息和虚拟空间中各个用户的距离信息；处理器504还用于执行计算机程序 以：获取用户对虚拟空间的座位选择指令；根据座位选择指令为用户分配对应 的座位，并将用户与对应的座位进行绑定，获得并保存绑定信息。

在该实施例中，在用户使用虚拟空间时，首先进行对虚拟空间的座位 进行选择，使得用户与虚拟座位具有一一对应的对应关系，将该对应关系 进行绑定，就可以针对某一用户进行视频数据合成时，查询到相对应的绑 定座位，以及虚拟教室中座位的位置距离以及位置角度关系，进而根据虚 拟座位进行合成相对虚拟视频，实现用户使用虚拟空间的真实感。

在上述任一实施例中，优选地，处理器504具体用于执行计算机程序以： 保留指定图像中其他用户及预设装置的图像，获得第一预处理图像，指定图像 为朝向任一用户的图像；根据位置信息获取在虚拟空间中任一用户与其他用户 的距离，按照预设缩小比例将第一预处理图像进行缩小处理，距离与缩小比例 为正相关；将第二预处理图像与虚拟空间在指定方向的第一预设图像合成，获 得合成图像。

在该实施例中，在将指定图像进行合成时，首先保留指定图像中其他 用户以及预设装置的图像，获取第一预处理图像，比如，虚拟空间是虚拟 教室，就保留学生用户和书桌座椅的图像，保留教室用户以及课桌的图像； 如果虚拟空间是虚拟会议室，就保留会议参与者用户与会议桌的图像，即 预设装置与虚拟空间的类型有关，再获取该任一用户与其他用户的虚拟教 室的位置关系，包括位置距离以及位置角度，根据位置角度明确其他用户的图像为朝向该任一用户的方向，根据位置距离对第一预处理图像进行缩 放，获得第二预处理图像，距离该任一用户较近的其他用户缩小比例小， 距离该任一用户距离较远的其他用户缩小比例大，使得缩放后的图像与真 实视觉效果相同，在进行缩小之后，再将该指定方向上预设的虚拟空间的 墙壁画面合成至第二预处理图像中，如此，就获得该任一用户指定方向上 合成图像，按照时间标识顺序拼接，即为指定方向的合成视频，合成的视 频符合视觉常理，使得任一用户能感受到其他用户如同真实的坐在自己旁 边。

在上述任一实施例中，优选地，虚拟空间包括：远程教学的虚拟教室、 虚拟会议室、虚拟培训室；当虚拟空间为虚拟教室时，用户包括：学生端的用 户和教师端的用户。

在该实施例中，虚拟空间的类型可以为虚拟教室、虚拟会议室。虚拟 培训室，当然，本发明的虚拟空间不限于上述类型。本发明适用于多类型 的虚拟空间，使得多方面的虚拟空间使用者均可以具有真实的空间感受。

当虚拟空间为远程教学的虚拟教室时，用户包括：学生端的用户和教师 端的用户。

在上述任一实施例中，优选地，处理器504具体用于执行计算机程序以： 通过学生端第一预设方向的第一图像采集装置获取视频数据；和/或控制学生 端的第二图像采集终端按照预设轨迹运行，当第二图像采集装置运行至第二预 设方向时，采集视频数据；和/或通过教师端第三预设方向的第三图像采集装 置获取视频数据。

在该实施例中，获取用户预设方向的视频数据，可以通过学生端第一 预设方向的第一图像采集装置进行获取，第一预设方向可以学生端用户前、 后、左、右方向，也可以根据需要其他方向上设置图像采集装置；获取视 频数据还可以通过控制学生端第二图像采集装置按照预设轨迹运行，在第 二预设方向进行采集数据，预设轨迹可以为环绕学生端用户的运动轨迹， 如此可以实现使用较少的图像采集装置获取各个方向的视频数据；还可以通过教师端用户第三预设方向的第三图像采集装置获取视频数据。通过教 师端和学生端多种图像采集方式获取所需视频数据，为虚拟视频数据合成 提供基础。

图6示出了本发明一个具体实施例的虚拟教室系统。如图6所示，虚拟 教室系统包括3个模块：控制模块62、教师端模块64、学生端模块66。

学生端模块66包括以下几个子模块：

学生端摄像头660，如图6所示，典型的设置了8个学生端摄像头660， 分别位于学生座位8个方向，但实际不限于8个，用于实时采集学生的各 个方向上的影像。学生端视频数据采集器662，将学生端不同方向上的学 生端摄像头660拍摄的影像采集起来。该实施例提供两种视频采集方案：

方案1：典型方向视频采集，如附图6学生端模块66中设置了8个 方向的学生端摄像头660，可采集典型的视角方向视频；

方案2：环绕视频采集方案，视频采集点按照环形轨迹拍摄视频，学 生端摄像头660是在环形轨迹上预先设定好的固定点采集，采集的视频也 是每个采集点的视频，这样可以得到座位任意方向上需要的实时视频，这 样便于视频合成时能够选取更加合理的方向上的原始视频数据，合成后得 到更好的视觉效果。

数据收发器(图6中未示出)，此子模块有两个功能：将学生端视频 数据采集器662的视频数据发送至控制模块62；接收控制模块62的合成 视频数据，并提供给学生端视频显示屏664。

学生端视频显示屏664，在学生端的4个方向(典型的是4个方向或8 个方向)放置，用于显示模拟教室的4个方向上的模拟视频。

教师端模块64包括以下几个子模块：

教师端摄像头640，如图6所示，典型的设置了1个，正对于教师讲 课的黑板/教学投影仪642，但实际不限于1个，用于实时采集教师讲课的 影像。

教师端视频数据采集器644，将教师端正面讲课方向上的教师端摄像 头640拍摄的视频数据采集起来。

数据收发器(图6中未示出)，此子模块有两个功能：将教师端视频 数据采集器644的视频数据发送至控制模块62；接收控制模块62的合成 视频数据，并提供给教师端视频显示屏646。

教师端视频显示屏646，在教师端的正面方向(典型的是1个方向或 多个方向)放置，用于显示模拟教室的学生座位所在方向上的模拟视频。

控制模块62包括以下几个子模块：

数据收集器620，用于实时接收学生端和教师端发送过来的视频数据， 并提供给学生视频合成器622和教师视频合成器624。

学生视频合成器622，将数据收集器620收集到的所有学生和教师的 实时视频数据合成为不同座位各个方向上的视频数据。视频合成逻辑如下：

步骤(1)：使用虚拟教室系统时，每个学生上课之前已选择虚拟教室 的座位，并坐在学生端所描述的位置处；教师开始上课前选择虚拟教室的 教师座位，并处于教师端所描述的位置处。

步骤(2)：设定控制模块62已经接收到教师端的视频数据以及每个 学生各个方向上的视频数据，这些视频数据实际上不同角度(方向)上是 一组带有时间戳的图片。

步骤(3)：预设虚拟教室的四面墙壁设定视频背景，这个视频背景是 预先设计好的墙壁窗户，并且可以根据需要切换修改。

步骤(4)：针对学生座位A，生成座位左侧的B、C(B为A左侧座 位，C为B左侧座位)的座位实时视频时，先设定视频起始时间戳，再以 教室最左端的墙壁座位视频背景，然后对当前时间戳的B座位右侧摄像头 所拍摄的视频图片进行裁剪，裁剪后只保留B座位学生和座椅的画面，将 此画面置于教室左边墙壁之上，然后对C座位的学生画面做相同的处理，将C座位的学生和座椅的画面置于B的画面之上。B座位画面和C座位画 面按照一定的比例缩放大小，C应该比B的画面略大，这样看起来更符合 视觉常理。每个时间戳都做相同的合成处理，顺序播放即可得到A座位左 侧的模拟实时视频画面。

步骤(5)：学生每个方向上的视频画面都可以根据步骤(4)处理得 到。

步骤(6)：学生端显示教师的讲解画面可显示投影内容或实际的教师 画面，可根据需要灵活切换。

教师视频合成器624，将数据收集器620收集到的所有学生的实时视 频数据合成为教师正对面方向上的视频数据。

教师端视频数据的合成原理与学生端一样，教师端主要是合成每个学 生的正面(或斜侧面)视频，根据学生座位的不同选取不同角度的视频数 据。

视频发送器(图6中未示出)，用于将视频合成器合成的视频数据分 别发送给学生端数据收发器和教师端数据收发器。

该具体实施例中，将虚拟教室中虚拟位置作为合成视频时方位和角度 的依据；根据虚拟位置合成相对虚拟视频，采用环绕视频采集方案，便于 视频合成时能够选取更加合理的方向上的原始视频数据。

本发明第三方面的实施例，提供了一种计算机可读存储介质，其上存 储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中的虚 拟空间的控制方法的步骤。

本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计 算机程序被处理器执行时实现上述任一实施例中的虚拟空间的控制方法的 步骤，因此具有上述任一实施例中虚拟空间的控制方法的全部有益效果，在 此不再赘述。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具 体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材 料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上 述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具 体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合 适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于 本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精 神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明 的保护范围之内。

Claims (11)

1.一种虚拟空间的控制方法，其特征在于，包括：

获取用户预设方向的视频数据，所述视频数据中每帧图像具有时间标识；

获取预存的所述虚拟空间中各个用户的位置信息；

根据所述位置信息，获取所述虚拟空间中任一用户指定方向上所有其他用户同一所述时间标识的指定图像；

将所述指定图像预处理后进行合成，获得合成图像，将所述指定图像的时间标识作为所述合成图像的时间标识；

按照所述时间标识的时间顺序，将所述合成图像发送至所述任一用户的使用端，以使所述任一用户的使用端在所述指定方向的显示装置显示所述合成图像。

2.根据权利要求1所述的虚拟空间的控制方法，其特征在于，所述位置信息包括：所述用户与所述虚拟空间中位置的绑定信息和所述虚拟空间中各个用户的距离信息；

在所述获取用户预设方向的视频数据之前，还包括：

获取所述用户对所述虚拟空间的座位选择指令；

根据座位选择指令为所述用户分配对应的座位，并将所述用户与所述对应的座位进行绑定，获得并保存所述绑定信息。

3.根据权利要求1所述的虚拟空间的控制方法，其特征在于，所述将所述指定图像预处理后进行合成，获得合成图像，具体包括：

保留所述指定图像中所述其他用户及预设装置的图像，获得第一预处理图像，所述指定图像为朝向所述任一用户的图像；

根据所述位置信息获取在所述虚拟空间中所述任一用户与所述其他用户的距离，按照预设缩小比例将所述第一预处理图像进行缩小处理，所述距离与所述缩小比例为正相关；

将所述第二预处理图像与所述虚拟空间在所述指定方向的第一预设图像合成，获得所述合成图像。

4.根据权利要求1至3中任一项所述的虚拟空间的控制方法，其特征在于，所述虚拟空间包括：远程教学的虚拟教室、虚拟会议室、虚拟培训室；当所述虚拟空间为所述虚拟教室时，所述用户包括：学生端的用户和教师端的用户。

5.根据权利要求4所述的虚拟空间的控制方法，其特征在于，所述获取用户预设方向的视频数据，具体包括：

通过所述学生端第一预设方向的第一图像采集装置获取所述视频数据；和/或

控制所述学生端的第二图像采集终端按照预设轨迹运行，当所述第二图像采集装置运行至第二预设方向时，采集所述视频数据；和/或

通过所述教师端第三预设方向的第三图像采集装置获取所述视频数据。

6.一种虚拟空间的控制系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以：

获取用户预设方向的视频数据，所述视频数据中每帧图像具有时间标识；

获取预存的所述虚拟空间中各个用户的位置信息；

根据所述位置信息，获取所述虚拟空间中任一用户指定方向上所有其他用户同一所述时间标识的指定图像；

将所述指定图像预处理后进行合成，获得合成图像，将所述指定图像的时间标识作为所述合成图像的时间标识；

按照所述时间标识的时间顺序，将所述合成图像发送至所述任一用户的使用端，以使所述任一用户的使用端在所述指定方向的显示装置显示所述合成图像。

7.根据权利要求6所述的虚拟空间的控制系统，其特征在于，所述位置信息包括：所述用户与所述虚拟空间中位置的绑定信息和所述虚拟空间中各个用户的距离信息；

所述处理器还用于执行所述计算机程序以：

获取所述用户对所述虚拟空间的座位选择指令；

根据座位选择指令为所述用户分配对应的座位，并将所述用户与所述对应的座位进行绑定，获得并保存所述绑定信息。

8.根据权利要求6所述的虚拟空间的控制系统，其特征在于，所述处理器具体用于执行所述计算机程序以：

保留所述指定图像中所述其他用户及预设装置的图像，获得第一预处理图像，所述指定图像为朝向所述任一用户的图像；

根据所述位置信息获取在所述虚拟空间中所述任一用户与所述其他用户的距离，按照预设缩小比例将所述第一预处理图像进行缩小处理，所述距离与所述缩小比例为正相关；

将所述第二预处理图像与所述虚拟空间在所述指定方向的第一预设图像合成，获得所述合成图像。

9.根据权利要求6至8中任一项所述的虚拟空间的控制系统，其特征在于，所述虚拟空间包括：远程教学的虚拟教室、虚拟会议室、虚拟培训室；当所述虚拟空间为所述虚拟教室时，所述用户包括：学生端的用户和教师端的用户。

10.根据权利要求9所述的虚拟空间的控制系统，其特征在于，所述处理器具体用于执行所述计算机程序以：

通过所述学生端第一预设方向的第一图像采集装置获取所述视频数据；和/或

控制所述学生端的第二图像采集终端按照预设轨迹运行，当所述第二图像采集装置运行至第二预设方向时，采集所述视频数据；和/或

通过所述教师端第三预设方向的第三图像采集装置获取所述视频数据。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述虚拟空间的控制方法的步骤。