CN114402277A - 内容控制系统、内容控制方法以及内容控制程序 - Google Patents

Abstract

一个实施方式的内容控制系统具备至少一个处理器。至少一个处理器确定目标虚拟对象在表示授课场景的虚拟空间内的运动，参照存储语言表现的规则的存储部，决定与所确定的运动对应的语言表现，输出与所决定的语言表现相对应的表现数据。

Description

内容控制系统、内容控制方法以及内容控制程序

技术领域

本公开的一个方面涉及内容控制系统、内容控制方法和内容控制程序。

背景技术

使用户体验虚拟世界的计算机系统在各个领域中得到应用。例如，在专利文献1中记载了在讲师侧的设备与学生侧的设备之间进行讲解的学习系统。该学习系统具备：包含讲师用软件的讲师侧的设备，所述讲师用软件使用描绘以3维方式描绘的虚拟空间的虚拟现实技术；包含学生用软件的学生侧的设备，所述学生用软件使用虚拟现实技术；以及网络单元，其在讲师侧的设备与学生侧的设备之间收发用于描绘虚拟空间的讲义的信号。

现有技术文献

专利文献

专利文献1：日本特开2009-145883号公报

发明内容

发明所要解决的课题

期望用于将虚拟空间内的事件有效地传达给用户的方法。

用于解决课题的手段

根据本公开的一个方面的内容控制系统包括至少一个处理器。至少一个处理器确定目标虚拟对象在表示授课场景的虚拟空间内的运动，参照存储语言表现的规则的存储部，决定与所确定的运动对应的语言表现，输出与所决定的语言表现相对应的表现数据。

在这样的方面，输出基于与目标虚拟对象的动作相对应的语言表现的表现数据。通过在专利文献1中没有记载的这样的一系列的处理，能够将虚拟空间内的事件有效地传达给终端的用户。

发明效果

根据本公开的一个方面，能够有效地向用户传达虚拟空间内的事件。

附图说明

图1是表示实施方式的内容发布系统(内容控制系统)的应用的一例的图。

图2是表示与实施方式的内容发布系统关联的硬件结构的一例的图。

图3是表示与实施方式的内容发布系统关联的功能结构的一例的图。

图4是表示实施方式的内容发布系统的动作的一例的流程图。

图5是表示虚拟表现对象的一例的图。

图6是表示虚拟表现对象的另一例的图。

图7是表示虚拟表现对象的又一例的图。

具体实施方式

以下，参照附图详细说明本公开中的实施方式。此外，在附图的说明中，对相同或同等的要素标注相同的附图标记，并省略重复的说明。

[系统的概要]

实施方式的内容控制系统是控制向用户发布的内容的计算机系统。内容是指由计算机或计算机系统提供的、人能够识别的信息。表示内容的电子数据被称为内容数据。内容的表现形式没有限定，例如，内容也可以通过图像(例如，照片、影像等)、文档、声音、音乐、或者它们中的任意2个以上的要素的组合来表现。内容的目的以及利用场景没有限定，例如，内容能够以娱乐、新闻、教育、医疗、游戏、聊天、商业交易、演讲、研修、研修等各种目的来利用。内容的控制是指为了向用户提供内容而执行的处理。内容的控制可以包括内容数据的生成、编辑、存储以及发布中的至少一个，也可以包括这些以外的处理。

内容控制系统通过向视听者终端发送内容数据，向视听者提供内容。在一个例子中，该内容由发布者提供。发布者是要向视听者传递信息的人，即内容的发布者。所谓视听者是想要得到该信息的人，即内容的利用者。

在本实施方式中，内容至少使用图像来表现。将表示内容的图像称为“内容图像”。内容图像是指人能够通过视觉来识别某些信息的像。内容图像可以是动态图像(影像)，也可以是静态图像。

内容图像可以放映现实世界，也可以放映虚拟空间。虚拟空间是指由显示在计算机上的图像表现的虚拟的2维或3维的空间。在内容图像包含虚拟空间的情况下，可以说内容图像是表示从在虚拟空间内设定的虚拟照相机看到的风景的图像。虚拟照相机以与观看内容图像的用户的视线对应的方式设定在虚拟空间内。虚拟空间由至少一个虚拟对象来表现。虚拟对象是指在现实世界中实际不存在而仅在计算机系统上表现的物体。

内容图像可以放映作为演员的人，也可以代替演员而放映化身。发布者可以作为演员出现在内容图像上，也可以不是演员。多个视听者中的至少一部分也可以作为演员(参加者)出现在内容图像中。发布者或参加者的化身也可以出现在内容图像上。内容图像可以包括现实世界和虚拟空间或虚拟对象两者。通过使内容图像包含虚拟空间或虚拟对象，视听者能够体验增强现实(Augumented Reality(AR))、虚拟现实(Virtual Reality(VR))或混合现实(Mixed Reality(MR))。

化身是指由计算机表现的用户的分身。化身是虚拟对象的一种。化身不是拍摄到的人本身(即，不是原图像所示的用户本身)，而是使用与原图像独立的图像素材，通过2维或3维的计算机图形(CG)来表现。化身的表现方法没有限定。例如，化身可以使用动画素材来表现，也可以基于实拍图像来表现为接近真品。化身可以由内容发布系统的用户(例如，发布者或视听者)自由选择。

在一个例子中，内容控制系统也可以向视听者发布内容。发布是指经由通信网络或广播网络向用户发送信息的处理。在本公开中，发布是可以包括广播在内的概念。在本公开中，也将具备发布内容的功能的内容控制系统称为内容发布系统。

发布内容的方法没有限定。例如，内容发布系统可以发布实况内容。在该情况下，内容发布系统通过处理从发布者终端提供的实时的影像来生成内容数据，并将该内容数据向视听者终端实时地发送。这可以说是互联网直播的一个方式。或者，内容发布系统也可以发布过去拍摄和生成的影像。内容发布系统也可以用于在实时发布后的给定的期间内能够视听内容的时移。或者，内容发布系统也可以用于能够在任意的时机视听内容的点播发布。

在本公开中，将数据或信息从第一计算机向第二计算机“发送”这样的表述意味着用于使数据或信息最终到达该第二计算机的发送。请注意，该表述是还包括在该发送中由其他计算机或通信装置对数据或信息进行中继的情况在内的意思。

如上所述，内容的目的和使用场景不受限制。在本实施方式中，作为内容的例子示出教育用内容，内容控制系统控制教育用内容数据。教育用内容是指为了向学生进行授课而使用的内容，例如，教师也可以为了向学生进行授课而使用。教师是指教授学业、技艺等的人，学生是指接受该教授的人。教师可以成为发布者。学生是视听者的一例。教师可以是具有教师资格的人，也可以是不具有驾驶资格的人。授课是指教师向学生教授学业、技艺等。对于教师以及学生各自的年龄以及所属不受限定，因此，教育用内容的目的以及利用场景也不受限定。例如，教育用内容可以在保育园、幼儿园、小学、中学、高等学院、大学、大学院、专业学校、预备学校、在线学校等各种学校中使用，也可以在学校以外的场所或场景中使用。与此相关，教育用内容能够以幼儿教育、义务教育、高等教育、生涯学习等各种目的来使用。

[系统的结构]

图1是表示实施方式的内容发布系统(内容控制系统)1的应用的一例的图。在本实施方式中，内容发布系统1具备服务器10。服务器10是生成和发布内容数据的计算机。在一个例子中，服务器10经由通信网络N与至少一个学生终端20、教师终端30、原影像数据库40、词典数据库50连接。图1示出2台学生终端20和1台教师终端30，但各个终端的台数没有任何限定。通信网络N的结构没有限定。例如，通信网络N可以构成为包含因特网，也可以构成为包含内部网。

学生终端20是由学生使用的计算机，是视听者终端(由视听者使用的计算机)的一例。在一个例子中，学生终端20具有访问内容发布系统1并接收以及显示内容数据的功能、和将学生的运动数据发送给内容发布系统1的功能。运动数据是指表示物体的运动的电子数据。学生的运动数据通过学生的身体的特定部位(例如关节)的位置以及角度来表示该身体的运动。运动数据的取得方法没有限定。运动数据也可以通过对由照相机拍摄到的影像进行解析而得到。或者，运动数据也可以通过像背带(body strap)、数据手套、VR控制器(手部控制器)等那样的用于运动捕捉的装置来获得。学生终端20的种类以及结构没有限定。例如，学生终端20也可以是高功能便携电话机(智能手机)、平板终端、可穿戴终端(例如，头戴式显示器(HMD)、智能眼镜等)、膝上型个人计算机、便携电话机等便携终端。或者，学生终端20也可以是台式个人计算机等固定型终端。

教师终端30是由教师使用的计算机，是发布者终端(由发布者使用的计算机)的一例。典型地，教师终端30相对于学生终端20位于远处。在一个例子中，教师终端30具有拍摄影像的功能和访问内容发布系统1并发送表示该影像的电子数据(影像数据)的功能。教师终端30可以具有接收和显示影像或内容的功能。与学生终端20同样地，教师终端30也可以具有将教师的运动数据发送给内容发布系统1的功能。教师终端30的种类以及结构没有限定。例如，教师终端30可以是具有拍摄、收录和发送影像的功能的拍摄系统。或者，教师终端30也可以是高功能便携电话机(智能手机)、平板终端、可穿戴终端(例如，头戴式显示器(HMD)、智能眼镜等)、膝上型个人计算机、便携电话机等便携终端。或者，教师终端30也可以是台式个人计算机等固定型终端。

教室的管理者或者学生操作学生终端20登录到内容发布系统1，由此学生能够视听教育用内容。教师操作教师终端30登录到内容发布系统1，由此能够发布或记录自己的授课。在本实施方式中，以内容发布系统1的用户已经登录为前提。

原影像数据库40是存储原影像数据的非暂时性的存储装置。原影像数据是表示为了生成教育用内容数据而使用的原影像的电子数据，因此，可以说是用于生成教育用内容的素材。原影像可以是实拍影像，也可以包含虚拟空间。与原影像的内容不被限定相对应，原影像数据的数据结构也不被限定。例如，在使用实拍影像的情况下，原影像数据包含由摄像机拍摄到的影像数据。在使用虚拟空间的情况下，原影像数据可以包含规定虚拟空间的空间数据和规定虚拟对象的规格的模型数据，还包含用于规定虚拟空间中的故事的进展的脚本数据。预先通过服务器10、教师终端30或其他计算机等任意的计算机将原影像数据存储在原影像数据库40中。原影像数据库40可以说是存储过去拍摄或生成的原影像(即，不是实时的影像)的库。

词典数据库50是存储词典数据的非暂时性的存储装置。在一例中，词典数据的各记录包含用于确定各个记录的标识符即记录ID、唯一地确定学生(视听者)的标识符即视听者ID、以及由该学生指定的图像(静态图像或动态图像)。

原影像数据库40以及词典数据库50各自的设置场所没有限定。例如，原影像数据库40和词典数据库50中的至少一方可以设置在与内容发布系统1不同的计算机系统内，也可以是内容发布系统1的构成要素。

图2是表示与内容发布系统1关联的硬件结构的一例的图。图2表示作为服务器10发挥功能的服务器计算机100、和作为学生终端20或者教师终端30发挥功能的终端计算机200。

作为一例，服务器计算机100具备处理器101、主存储部102、辅助存储部103以及通信部104作为硬件构成要素。

处理器101是执行操作系统以及应用程序的运算装置。作为处理器的例子，可举出CPU(Central Processing Unit：中央处理单元)及GPU(Graphics Processing Unit：图形处理单元)，但处理器101的种类并不限定于这些。例如，处理器101可以是传感器和专用电路的组合。专用电路可以是FPGA(Field-Programmable Gate Array：现场可编程门阵列)那样的可编程电路，也可以是其他种类的电路。

主存储部102是存储用于实现服务器10的程序、从处理器101输出的运算结果等的装置。主存储部102例如由ROM(Read Only Memory：只读存储器)以及RAM(Random AccessMemory：随机存取存储器)中的至少一个构成。

辅助存储部103一般是能够存储比主存储部102更大量的数据的装置。辅助存储部103例如由硬盘、闪存等非易失性存储介质构成。辅助存储部103存储用于使服务器计算机100作为服务器10发挥功能的服务器程序P1和各种数据。例如，辅助存储部103可以存储与化身等虚拟对象和虚拟空间中的至少一个相关的数据。在本实施方式中，内容控制程序被安装为服务器程序P1。

通信部104是经由通信网络N与其他计算机之间执行数据通信的装置。通信部104例如由网卡或无线通信模块构成。

服务器10的各功能要素通过在处理器101或主存储部102上读入服务器程序P1并使处理器101执行该程序来实现。服务器程序P1包含用于实现服务器10的各功能要素的代码。处理器101按照服务器程序P1使通信部104工作，执行主存储部102或辅助存储部103中的数据的读出和写入。通过这样的处理来实现服务器10的各功能要素。

服务器10可以由一个或多个计算机构成。在使用多个计算机的情况下，这些计算机经由通信网络相互连接，由此在逻辑上构成一个服务器10。

作为一例，终端计算机200具备处理器201、主存储部202、辅助存储部203及通信部204、输入接口205、输出接口206及摄像部207作为硬件构成要素。

处理器201是执行操作系统以及应用程序的运算装置。处理器201例如可以是CPU或GPU，但处理器201的种类不限于此。

主存储部202是存储用于实现学生终端20或者教师终端30的程序、从处理器201输出的运算结果等的装置。主存储部202例如由ROM和RAM中的至少一个构成。

辅助存储部203一般是能够存储比主存储部202更大量的数据的装置。辅助存储部203例如由硬盘、闪存等非易失性存储介质构成。辅助存储部203存储用于使终端计算机200作为学生终端20或者教师终端30发挥功能的客户端程序P2和各种数据。例如，辅助存储部203可以存储与化身等虚拟对象和虚拟空间中的至少一个相关的数据。

通信部204是经由通信网络N与其他计算机之间执行数据通信的装置。通信部204例如由网卡或无线通信模块构成。

输入接口205是基于用户的操作或动作来接收数据的装置。例如，输入接口205由键盘、操作按钮、指示设备、麦克风、传感器以及照相机中的至少一方构成。键盘和操作按钮可以显示在触摸面板上。与输入接口205的类型不受限制对应，输入的数据不受限制。例如，输入接口205可以接收通过键盘、操作按钮或指示设备输入或选择的数据。或者，输入接口205也可以接受由麦克风输入的声音数据。或者，输入接口205也可以接受由照相机拍摄到的图像数据(例如，影像数据或静态图像数据)。

输出接口206是输出由终端计算机200处理后的数据的装置。例如，输出接口206由监视器、触摸面板、HMD以及扬声器中的至少一方构成。监视器、触摸面板、HMD等显示装置将处理后的数据显示在画面上。扬声器输出由处理后的声音数据表示的声音。

摄像部207是拍摄拍摄了现实世界的图像的装置，具体而言是照相机。摄像部207可以拍摄动态图像(视频)或静态图像(照片)。在拍摄动态图像的情况下，摄像部207根据给定的帧率对影像信号进行处理，由此取得按时间序列排列的一系列的帧图像作为动态图像。摄像部207还可以作为输入接口205发挥功能。

学生终端20或者教师终端30的各功能要素通过使处理器201或者主存储部202读入对应的客户端程序P2并使处理器201执行该程序来实现。客户端程序P2包含用于实现学生终端20或者教师终端30的各功能要素的代码。处理器201按照客户端程序P2使通信部204、输入接口205、输出接口206或摄像部207工作，进行主存储部202或辅助存储部203中的数据的读出及写入。通过该处理实现学生终端20或者教师终端30的各功能要素。

服务器程序P1和客户端程序P2中的至少一个也可以在非暂时性地记录于CD-ROM、DVD-ROM、半导体存储器等有形的记录介质中的基础上提供。或者，这些程序中的至少一个也可以作为叠加于载波上的数据信号而经由通信网络来提供。这些程序可以单独提供，也可以一起提供。

图3是表示与内容发布系统1关联的功能结构的一例的图。服务器10具备内容管理部11、动作确定部12、语言表现决定部13、对象设定部14、对象发送部15以及辞典管理部16作为功能要素。

内容管理部11是管理教育用内容的生成以及输出的功能要素，构成为包括运动确定部12、语言表现决定部13、对象设定部14、对象发送部15。运动确定部12是确定虚拟对象在表示授课的场景的虚拟空间内的运动的功能要素。在本实施方式中，该虚拟空间至少显示在学生终端20上。语言表现决定部13是决定与该确定出的运动对应的语言表现的功能要素。语言表现是指通过自然语言客观地表示意思。在一个例子中，决定与动作对应的语言表现是用语言表现该动作或者由该动作引起的事件。对象设定部14是设定与该语言表现对应的虚拟表现对象的功能要素。虚拟表现对象是用于使语言表现可视化的虚拟对象，构成教育用内容数据的至少一部分。虚拟表现对象是与语言表现对应的表现数据的一例。对象发送部15是将该虚拟对象发送给学生终端20的功能要素。该发送是将与语言表现对应的表现数据输出到显示虚拟空间的终端的处理的一例。辞典管理部16是响应于来自学生终端20的请求而管理辞典数据的功能要素。

学生终端20具备运动发送部21、显示控制部22以及辞典控制部23作为功能要素。运动发送部21是将学生的运动数据发送到服务器10的功能要素。显示控制部22是接收和处理教育用内容数据并将教育用内容显示在显示装置上的功能要素。辞典控制部23是执行与辞典数据的保存或检索有关的处理的功能要素。

[系统的动作]

说明内容发布系统1的动作(更具体地说是服务器10的动作)，并且说明本实施方式的内容控制方法(或内容发布方法)。图4是将内容发布系统1的动作的一例表示为处理流程S1的流程图。处理流程S1以内容管理部11已经开始从原影像数据库40读出从学生终端20请求的原影像数据，将该原影像数据作为教育用内容数据提供给该学生终端20为前提。

在步骤S11中，内容管理部11从学生终端20接收学生的运动数据。在学生终端20中，运动发送部21将表示观看原影像的学生的实时的运动的运动数据向服务器10发送，内容管理部11接收该运动数据。运动数据的数据结构不受限制。例如，运动数据既可以表示特定的时间范围中的学生的运动，也可以表示特定的瞬间的学生的姿势。运动数据可以表现学生的身体的任意部分(例如，仅手、全身等)的运动或姿势。

在步骤S12中，运动确定部12根据该运动数据确定虚拟对象的运动。在本公开中，将由运动确定部12确定运动的虚拟对象也称为“目标虚拟对象”。典型地，目标虚拟对象是根据运动数据移动的虚拟对象。例如，在运动数据表示学生的手的运动的情况下，目标虚拟对象可以是虚拟的手。在运动数据表示学生的全身的运动的情况下，目标虚拟对象可以是学生的化身。在一个例子中，运动确定部12基于运动数据所包含的多个关节的3维坐标的变化的历史和相邻的关节的组合(即骨骼)来确定目标虚拟对象的运动。目标虚拟对象的运动表示学生的实时运动。

在步骤S13中，语言表现决定部13基于语言表现规则，决定与所确定的运动对应的语言表现。语言表现规则是用于根据至少一个虚拟对象的运动来推导出语言表现的规则。在一例中，语言表现规则被预先存储在辅助存储部103中。语言表现规则的安装方法没有限定，例如，可以通过对应表等那样的数据来表现，也可以是已学习模型等算法。

“与所确定的运动对应的语言表现”可以表示目标虚拟对象的运动，也可以与基于目标虚拟对象的运动而变化的至少一个关联虚拟对象相关联。关联虚拟对象可以表示任意的物体，例如，可以表示人(化身)、任意的人工物(例如，动产、不动产)、任意的自然物(例如，动物、植物)、或者任意的地形(例如，山、川、地面)。关联虚拟对象的变化没有限定，例如，可以是位置或姿势的变化(即，运动)，也可以是状态的变化(例如，颜色的变化)。“与所确定的运动对应的语言表现”也可以表示目标对象的运动和关联虚拟对象的变化的组合。

在步骤S13中无法决定语言表现的情况下，即，在无法推导出与所确定的运动对应的语言表现的情况下，处理流程S1在该时刻结束，在该情况下，内容管理部11不追加虚拟表现对象而将原影像数据发送给学生终端20。在步骤S13中决定了语言表现的情况下，处理转移到步骤S14。

在步骤S14中，对象设定部14设定与所决定的语言表现对应的虚拟表现对象。只要能够使语言表现可视化，虚拟表现对象的形式就没有限定。例如，对象设定部14也可以直接设定用文字表示语言表现的虚拟表现对象，在该情况下，也可以将装饰、动画效果等任意的视觉效果应用于该文字。或者，对象设定部14也可以不使用文字而设定以图像(静态图像或动态图像)表示语言表现的虚拟表现对象。这可以说是设定代表性的图像的处理，其中所述代表性的图像表示与所确定的虚拟对象的运动相似的场景。

虚拟表现对象的显示时间可以通过任意方针来设定。例如，对象设定部14可以设定给定的限制时间。或者，对象设定部14也可以控制虚拟表现对象，使得显示该虚拟表现对象直到目标虚拟对象的运动和关联虚拟对象的变化中的至少一方结束为止。

在步骤S15中，对象设定部14生成包含所设定的虚拟表现对象的教育用内容数据。在一个例子中，原影像数据表示虚拟空间，在该情况下，对象设定部14将虚拟表现对象配置在该虚拟空间内。“配置(虚拟表现对象等)对象”是指将对象放置在所决定的位置，是包含对象的位置的变更在内的概念。

教育用内容数据的生成方法以及数据结构没有限定。例如，内容管理部11也可以生成包含虚拟空间数据的教育用内容数据，其中该虚拟空间数据表示虚拟空间和包含虚拟表现对象的各个对象的位置、尺寸以及动作(姿势)。或者，内容管理部11也可以通过执行基于所设定的虚拟空间的绘制来生成教育用内容数据。在这种情况下，教育用内容数据表示包含虚拟表现对象的内容图像本身。

在步骤S16中，对象发送部15将包含虚拟表现对象的教育用内容数据发送给学生终端20。在学生终端20中，显示控制部22接收以及处理该教育用内容数据，将教育用内容显示在显示装置上。其结果，在学生终端20上显示的虚拟空间内出现虚拟表现对象。在未由服务器10执行绘制的情况下，显示控制部22通过执行基于教育用内容数据的绘制来显示内容图像。在教育用内容数据表示内容图像本身的情况下，显示控制部22直接显示该内容图像。学生终端20根据内容图像的显示而从扬声器输出声音。

对象发送部15也可以除了向学生终端20发送教育用内容数据之外或者代替向学生终端20发送教育用内容数据，而将该教育用内容数据保存于给定的数据库中。例如，对象发送部15也可以将该教育用内容数据作为原影像数据保存在原影像数据库40中。

在向某一个学生终端20的1次发布中，会执行多次处理流程S1。在这种情况下，在显示教育内容的期间，响应于学生的实时运动，将各种虚拟表现对象按照其运动的时机而进行显示。也可以限于一部分动作数据来执行处理流程S1。例如，内容发布系统1也可以仅限于在与教育用内容中的特定的场景(例如，进行练习问题的场景)对应的时间范围的期间接收的运动数据来执行处理流程S1。

参照图5至图7，对虚拟表现对象的显示的例子进行说明。图5～图7都是表示虚拟表现对象的一例的图。

图5的例子示出包含台301、球302和虚拟手311这3个虚拟对象的虚拟空间中的状况的变化。在该例子中，内容发布系统1通过虚拟表现对象来显示表示球302相对于台301的位置的英语的介词。

虚拟手311是基于学生的手的实际运动而运动的目标虚拟对象。台301和球302可以被处理为关联虚拟对象。当学生操作虚拟手311以将球302放置在台301上时，响应于该操作而显示虚拟表现对象321。该虚拟表现对象321是表示对应于球302放置在台301之“上”的情况而决定的语言表现即介词“on”的文字本身的表现数据。之后，当学生操作虚拟手311而将球302放置在台301的旁边时，响应于该操作而显示虚拟表现对象322。该虚拟表现对象322是表示对应于球302位于台301的“旁边”的情况而决定的语言表现即介词“by”的文字本身的表现数据。可以说虚拟表现对象321、322都与关联虚拟对象关联。

在一个例子中，如图5的例子那样，通过显示与基于学生的动作的目标虚拟对象的运动对应的语言表现，学习者能够理解一般不容易理解的外语词汇的微妙的差异。例如，在球302与方向无关地与台301接触的情况下，也可以显示表示英语单词“ON”的虚拟表现对象。在虚拟手311拿起球302而使该球302位于台301的正上方的情况下，也可以显示英语单词“over”。在虚拟手311使球302位于台301的大致上方的情况下，也可以显示英语单词“above”。这样的语言表现的显示起到在书籍、现实的教室内的授课、教师单方面地教授学生的电视教育节目等那样的以往的教育(例如外语教育)中无法得到的特有的效果。

在图6的示例中，示出了包括与多个学生对应的多个化身的虚拟空间400。在该例子中，内容发布系统1通过虚拟表现对象来显示表示化身的运动的英语单词。

虚拟空间400包括某个学生的化身401和球402。化身401是基于该学生的实际运动而运动的目标虚拟对象。球402可以被处理为关联虚拟对象。当该学生操作化身401以投掷球402时，响应于该操作而显示虚拟表现对象411。该虚拟表现对象411是表示对应于化身401投掷球402而决定的语言表现即动词“throw”的文字本身的表现数据。虚拟表现对象411可以说是表示目标虚拟对象的运动的对象。

虚拟空间400还包括另一个学生的化身421。化身421是基于该学生的实际运动而运动的目标虚拟对象。当该学生跳跃时，化身421也跳跃，并且将作为根据动作而决定的语言表现的动词“jump”的文字本身显示为虚拟表现对象431。虚拟表现对象431也可以说是表示目标虚拟对象的运动的对象。如该虚拟空间400那样，内容发布系统1也可以将与由视听者以外的人的化身的运动引起的语言表现对应的虚拟表现对象显示在该视听者的终端上。

在图7的示例中，示出了包括与某个学生对应的化身的虚拟空间500。在该例子中，内容发布系统1通过虚拟表现对象来显示表示化身的行动的英文。

虚拟空间500包括壁501、学生的化身502、以及该化身502具有的刷子503。化身502是基于该学生的实际运动而运动的目标虚拟对象。可以将壁501和刷子503处理为相关虚拟对象。当该学生操作化身502并用刷子503将壁501涂成红色时，响应于该操作而显示虚拟表现对象511。该虚拟表现对象511是表示作为对应于将壁501涂红这样的行为而决定的语言表现的英文“You are painting a wall in red.”的文字本身的表现数据。虚拟表现对象511可以说是表示目标虚拟对象的运动的对象，也可以说是表示目标虚拟对象的运动与关联虚拟对象的变化的组合的对象。

作为另一例，作为基于脚本的问题句子，先显示“You are painting a wall inred.”这样的英文，从教育用内容中的教师向学生示出了“请您进行该动作”这样的课题。而且，学生必须进行如下动作：在该教育用内容的虚拟空间内持着刷子503，从多种颜色的油漆中选择红色的油漆，将刷子503放在红色的油漆上，涂抹在壁501上。在学生正确地进行了该动作的情况下，内容发布系统1也可以基于该动作，显示表示“正确解答”这样的语言表现的虚拟表现对象。在学生未正确地进行该动作的情况下(例如，接近其他颜色的油漆的情况下)，内容发布系统1也可以基于该动作，显示表示“真的是该颜色？”这样的语言表现的虚拟表现对象作为提示。

在一个例子中，包含图5～图7所示那样的场景的教育用内容是语言的授课的内容。通过将内容发布系统1应用于语言的授课，即使不为了与语言相关的说明而准备辅助资料，也能够使用虚拟表现对象将词汇的区分使用、语法等各种事项传达给学生。学生通过观察该虚拟表现对象，能够直观地理解与语言相关的各种事项。

如上所述，内容的目的和使用场景没有限定，因此，虚拟表现对象具体表示的事项也没有任何限定。虚拟表现对象也可以表示英语以外的任意语言的表述。或者，虚拟表现对象也可以表示语言以外的以学习为目的的事项，例如，也可以表示虚拟的技能讲习中的给定的操作的注意点。虚拟表现对象也可以用于学习以外的目的，例如，也可以用于辅助信息传递或交流。

视听通过处理流程S1提供给学生终端20的教育用内容的学生能够将放映虚拟表现对象的场景的图像登记为词典数据，进而，能够在之后参照该词典数据。在本实施方式中，学生终端20的词典控制部23与服务器10的词典管理部16协作来执行词典数据的登记以及参照(检索)。

学生操作学生终端20，指定包含虚拟表现对象的场景的图像(静态图像或者给定的时间范围的影像)。辞典控制部23响应于该操作，记录所指定的图像，将包含该图像和视听者ID的登记请求发送到服务器10。在服务器10中，词典管理部16接收登记请求。辞典管理部16生成新的记录ID，通过将登记请求中包含的视听者ID以及图像与该记录ID建立关联来生成辞典数据的记录。然后，辞典管理部16将该记录存储在辞典数据库50中。

在之后的任意的时机，学生操作学生终端20来指定词典数据的列表或者词典数据的特定的1个以上的记录。辞典控制部23响应于该操作，将至少包含视听者ID的检索请求发送到服务器10。在服务器10中，词典管理部16从词典数据库50读出与该检索请求对应的至少一个记录，并且将该记录作为检索结果发送到学生终端20。在学生终端20中，词典控制部23将该检索结果显示在显示装置上，由此学生能够再次参照放映虚拟表现对象的场景(例如，图5～图7所示那样的场景)。

如上所述，内容发布系统1可以应用于各种形式的授课。在一个例子中，内容发布系统1能够用于实时远程授课。实时远程授课是指教师实时进行的授课经由教师终端30以及服务器10实时地发布到1个以上的学生终端20的方式。在该情况下，由于1个以上的学生同时视听共同的内容(即共同的虚拟空间)，所以难以让所有的学生同时活动特定的虚拟对象。因此，在这种情况下，考虑由教师或所选择的学生来移动虚拟对象或在虚拟空间中进行动作。

在另一示例中，内容发布系统1可以用于时移远程授课。时移远程授课是指将预先拍摄或生成的教育用内容(即，预先存储于给定的数据库中的教育用内容)根据来自各个学生终端20的请求而发布给该学生终端20的方式。在该情况下，通过将实时的第一学生的动作作为虚拟对象的信息追加或覆盖于教育用内容数据来保存，并保存于给定的数据库中。此外，也通过将与基于该动作的语言表现对应的虚拟表现对象追加或覆盖到该教育用内容数据来保存。之后，在第二学生视听该教育用内容的情况下，该第二学生能够视觉确认第一学生的动作和与其对应的语言表现(虚拟表现对象)。对于第二学生的动作和与基于该动作的语言表现对应的虚拟表现对象，也能够追加或覆盖到教育用内容数据。通过这样的时移远程授课，能够给空间上和时间上都分开的各个学生带来各个学生犹如一起同时接受相同授课那样的模拟印象。

[效果]

如上所述，根据本公开的一个方面的内容控制系统包括至少一个处理器。至少一个处理器确定目标虚拟对象在表示授课场景的虚拟空间中的运动，参考存储语言表现规则的存储部，确定与所确定的运动相对应的语言表现，并且输出与所确定的语言表现相对应的表现数据。

根据本公开的一个方面的内容控制方法由包括至少一个处理器的内容控制系统执行。内容控制方法包括：确定目标虚拟对象在表示授课场景的虚拟空间中的运动；通过参照存储语言表现规则的存储部来确定与所确定的运动相对应的语言表现；以及输出与所确定的语言表现相对应的表现数据。

根据本公开的实施例，提供了一种内容控制程序，所述内容控制程序使计算机执行以下步骤：确定目标虚拟对象在表示授课场景的虚拟空间中的运动；通过参照存储语言表现规则的存储部来确定与所确定的运动相对应的语言表现；以及输出与所确定的语言表现相对应的表现数据。

在这样的方面，输出基于与目标虚拟对象的动作相对应的语言表现的表现数据。通过该表现数据，能够将虚拟空间内的事件有效地传达给终端的用户。

在根据另一个方面的内容控制系统中，至少一个处理器可以从终端接收表示正在观看授课的学生的实时运动的运动数据，基于运动数据来确定目标虚拟对象的运动。通过该处理，能够将与学生的实时的运动对应的事件实时且有效地传达给该学生。

在其他方面所涉及的内容控制系统中，也可以是，至少一个处理器从数据库取得表示过去拍摄或者生成的原影像的原影像数据，使用所取得的原影像数据和表现数据来生成教育用内容数据，并输出所生成的教育用内容数据。由于不是实时的影像而是将现有的影像使用表现数据变换为教育用内容数据，所以能够更有效地利用或者再利用过去的庞大的影像。

在根据另一个方面的内容控制系统中，至少一个处理器可以确定表示目标虚拟对象的运动的语言表现。在这种情况下，可以有效地向用户通知目标虚拟对象的运动。

在根据另一个方面的内容控制系统中，至少一个处理器可以确定与基于目标虚拟对象的运动而改变的相关虚拟对象关联的语言表现。在这种情况下，可以有效地向用户通知关联虚拟对象的变化。

在其他方面的内容控制系统中，也可以是，至少一个处理器决定表示目标虚拟对象的运动和关联虚拟对象的变化的组合的语言表现。在该情况下，能够将基于目标虚拟对象以及关联虚拟对象的组合的事件有效地传达给用户。

在根据另一个方面的内容控制系统中，表现数据可以表示在终端上显示的虚拟表现对象。在该情况下，能够将虚拟空间内的事件视觉地传达给终端的用户。

在其他方面所涉及的内容控制系统中，虚拟表现对象也可以包含文字。通过用文字表现虚拟空间内的事件，能够容易理解地向用户传达该事件。

在根据另一个方面的内容控制系统中，至少一个处理器可以获取包含图像和观看授课的学生的视听者ID的登记请求，其中该图像是包括放映显示在终端上的虚拟表现对象的场景的图像，将包含视听者ID和图像的词典数据存储在词典数据库中，并且响应于来自终端的检索请求，从词典数据库读取与该检索请求对应的词典数据，并且将该词典数据输出到终端。在该情况下，由于能够进行放映虚拟表现对象的场景的保存以及检索，所以用户能够在之后再次回看曾经看过的虚拟表现对象。

[变形例]

以上，基于本公开的实施方式详细地进行了说明。但是，本公开并不限定于上述实施方式。本公开能够在不脱离其主旨的范围内进行各种变形。

在上述实施方式中，运动确定部12基于从学生终端(视听者终端)20提供的运动数据、即表示学生(视听者)的实时运动的运动数据，确定目标虚拟对象的运动。但是，确定目标虚拟对象的运动的方法并不限定于此，与此相关，视听者终端也可以不具备相当于运动发送部21的功能。例如，运动确定部12可以基于从教师终端30提供的运动数据，即，表示教师(发布者)的实时运动的运动数据，确定目标虚拟对象的运动。或者，运动确定部12也可以确定在原影像中放映的目标虚拟对象的运动。例如，运动确定部12也可以通过分析原影像或者参照原影像数据中包含的脚本，来确定预先记录的任意的目标虚拟对象的运动。从原影像中选择的目标虚拟对象可以表示任意的有形物，例如可以是人(化身)、任意的人工物(例如动产、不动产)、任意的自然物(例如动物、植物)、以及任意的地形(例如山、川、地面)中的至少一个。

在上述实施方式中，表现数据表示能够视觉辨认的虚拟表现对象，但表现数据的构造并不限定于此。因此，虚拟表现对象不是必须的。例如，表现数据也可以通过利用声音来表现语言表现的声音数据来实现，在该情况下，学生等视听者能够听取该语言表现。

在上述实施方式中，服务器10具备辞典管理部16，但该功能要素不是必须的。因此，内容控制系统可以不具有与词典数据的保存和参照有关的功能。与此对应，视听者终端也可以不具备相当于词典控制部23的功能。

在上述实施方式中，内容发布系统1使用服务器10构成，但内容控制系统也可以应用于不使用服务器10的用户终端间的直接发布。在该情况下，服务器10的各功能要素可以安装于任意一个用户终端，例如，也可以安装于发布者终端和视听者终端中的任意一方。或者，服务器10的各个功能要素也可以分开安装于多个用户终端，例如也可以分开安装于发布者终端和视听者终端。与此相关，内容控制程序也可以作为客户端程序来实现。内容控制系统可以使用服务器来构成，也可以不使用服务器来构成。通过使学生终端等视听者终端具有服务器10的功能，能够在降低服务器的负荷的同时，将共同的教育用内容提供给多个学生。此外，与学生等发布者相关的信息(例如，表示动作的信息)不被发送到视听者终端的外部，因此能够更可靠地保护视听者信息的秘密。

如上所述，内容控制系统也可以控制教育用内容以外的任意种类的内容。例如，内容控制系统可以控制用于支持用户之间的任意的信息传递或交流的任意内容。

在本公开中，“至少一个处理器执行第一处理，执行第二处理，…执行第n处理”这样的表述或与其对应的表述是包括从第一处理到第n处理为止的n个处理的执行主体(即处理器)在中途改变的情况在内的概念。即，该表述是包括n个处理全部由相同的处理器执行的情况和在n个处理中处理器以任意方针改变的情况这两者的概念。

由至少一个处理器执行的方法的处理过程并不限定于上述实施方式中的例子。例如，可以省略上述步骤(处理)的一部分，也可以以其他顺序执行各步骤。另外，可以组合上述步骤中的任意2个以上的步骤，也可以修改或删除步骤的一部分。或者，也可以在上述的各步骤的基础上执行其他的步骤。

标号说明

1…内容发布系统、10…服务器、11…内容管理部、12…动作确定部、13…语言表现决定部、14…对象设定部、15…对象发送部、16…词典管理部、20…学生终端、21…运动发送部、22…显示控制部、23…词典控制部、30…教师终端、40…原影像数据库、50…词典数据库、321、322、411、431、511…虚拟表现对象、400、500…虚拟空间、P1…服务器程序、P2…客户端程序。

Claims (11)

1.一种内容控制系统，其具备至少一个处理器，

所述至少一个处理器进行如下处理：

确定目标虚拟对象在表示授课场景的虚拟空间内的运动；

参照存储语言表现的规则的存储部，决定与所确定的所述运动对应的所述语言表现；以及

输出与所决定的所述语言表现相对应的表现数据。

2.根据权利要求1所述的内容控制系统，其中，

所述至少一个处理器进行如下处理：

从终端接收表示观看所述授课的学生的实时运动的运动数据；以及

基于所述运动数据确定所述目标虚拟对象的运动。

3.根据权利要求1或2所述的内容控制系统，其中，

所述至少一个处理器进行如下处理：

从数据库取得表示过去拍摄或生成的原影像的原影像数据；

使用所取得的所述原影像数据和所述表现数据来生成教育用内容数据；以及

输出所生成的所述教育用内容数据。

4.根据权利要求1至3中任一项所述的内容控制系统，其中，

所述至少一个处理器决定表示所述目标虚拟对象的运动的所述语言表现。

5.根据权利要求1至4中任一项所述的内容控制系统，其中，

所述至少一个处理器决定与关联虚拟对象相关联的所述语言表现，其中所述关联虚拟对象基于所述目标虚拟对象的运动而改变。

6.根据权利要求5所述的内容控制系统，其中，

所述至少一个处理器决定表示所述目标虚拟对象的运动与所述关联虚拟对象的变化的组合的所述语言表现。

7.根据权利要求1至6中任一项所述的内容控制系统，其中，

所述表现数据表示在终端上显示的虚拟表现对象。

8.根据权利要求7所述的内容控制系统，其中，

所述虚拟表现对象包括文字。

9.根据权利要求7或8所述的内容控制系统，其中，

所述至少一个处理器进行如下处理：

获取包含图像和观看所述授课的学生的视听者ID的登记请求，其中所述图像包含有放映显示在所述终端上的所述虚拟表现对象的场景；

将包含所述视听者ID和所述图像的词典数据存储在词典数据库中；以及

响应于来自所述终端的检索请求，从所述词典数据库中读出与该检索请求对应的所述词典数据，将该词典数据输出到所述终端。

10.一种内容控制方法，所述内容控制方法由具备至少一个处理器的内容控制系统执行，所述内容控制方法包括如下步骤：

确定目标虚拟对象在表示授课场景的虚拟空间内的运动；

参照存储语言表现的规则的存储部，决定与所确定的所述运动对应的所述语言表现；以及

输出与所决定的所述语言表现相对应的表现数据。

11.一种内容控制程序，所述内容控制程序使计算机执行如下步骤：

确定目标虚拟对象在表示授课场景的虚拟空间内的运动；

参照存储语言表现的规则的存储部，决定与所确定的所述运动对应的所述语言表现；以及

输出与所决定的所述语言表现相对应的表现数据。

Images