CN118104227A - 终端、信息处理方法、程序以及记录介质 - Google Patents

Abstract

终端(10)用于参加在配置有参加者的化身的虚拟空间内进行的会议。终端(10)具备：收集部(11)，其收集参加者的语音；控制部(13)，其生成用于控制参加者的化身的控制数据；判定部(14)，其判定参加者的状态；发送部(15)，其发送参加者的语音数据、控制数据及判定结果；接收部(16)，其接收其他参加者的语音数据、控制数据及判定结果；显示控制部(17)，其基于参加者和其他参加者的判定结果来决定会议的显示方式；以及显示部(18)，其再现语音数据，基于控制数据来控制化身，并按照显示方式来显示会议的画面。

Description

终端、信息处理方法、程序以及记录介质

技术领域

本发明涉及终端、信息处理方法、程序以及记录介质。

背景技术

近年来，利用各自的终端的远程会议盛行。在远程会议中，将照相机和麦克风连接到个人计算机，经由网络发送参加者的影像和语音。有时也利用具备内置照相机的智能手机等便携终端。

现有技术文献

专利文献

专利文献1：日本特开2014-225801号公报

发明内容

发明所要解决的课题

在将由照相机拍摄参加者而得到的影像并排显示的以往的远程会议系统中，存在由于多个参加者朝向自己的方向而感到压迫感的课题。另外，认为反映参加者自身的身影而参加会议也成为压力。

通过关闭照相机，代替拍摄到的影像而显示表示参加者的图标，虽然减轻了被看到的压力，但存在来自其他参加者的反应不足，发言者难以感到响应的课题。

专利文献1所记载的会议系统利用虚拟的化身来表现会议参加者。在专利文献1中，基于通过照相机取得的参加者的行动，判定作为表示对会议的积极态度的指标的积极度，将积极度反映给各参加者的化身。在专利文献1中，代替参加者自身的身影而显示化身，因此减轻了被看到的压力。然而，由于针对每个参加者判定积极并且反映在化身上，因此可能产生必须在照相机前采取积极态度的压力。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够减轻远程会议的压力而轻松地参加并能够顺利地进行的会议系统。

用于解决课题的手段

本发明的一个方式的终端，用于参加在配置有参加者的化身的虚拟空间内进行的会议，所述终端具备：收集部，其收集所述参加者的语音；控制部，其生成用于控制所述参加者的化身的控制数据；判定部，其判定所述参加者的状态；发送部，其发送所述参加者的语音数据、控制数据以及判定结果；接收部，其接收其他参加者的语音数据、控制数据以及判定结果；显示控制部，其基于所述参加者和所述其他参加者的判定结果来决定会议的显示方式；以及显示部，其再现所述语音数据，基于所述控制数据来控制所述化身，并按照所述显示方式来显示所述会议的画面。

发明效果

根据本发明，能够提供一种能够减轻远程会议的压力而轻松地参加并能够顺利地进行的会议系统。

附图说明

图1是表示本实施方式的会议系统的整体结构的一例的图。

图2是表示本实施方式的会议系统的终端的结构的一例的功能框图。

图3是表示终端发送数据的处理流程的一例的流程图。

图4是表示终端显示会议画面的处理流程的一例的流程图。

图5是表示会议的显示画面的一例的图。

图6是表示终端显示会议画面的处理流程的一例的流程图。

图7是表示对话中的化身的显示的一例的图。

图8是表示对话中的化身的显示的一例的图。

图9是表示对话中的化身的显示的一例的图。

图10是表示使对话中的化身接近的处理流程的一例的流程图。

图11是表示使对话中的化身接近的情形的一例的图。

图12是表示配置有图标的画面的一例的图。

图13是表示参加者选择了图标时所显示的画面的一例的图。

具体实施方式

[实施例1]

以下，使用附图对本发明的实施方式进行说明。

图1所示的会议系统是参加者使用终端10参加在虚拟空间内召开的远程会议的系统。本会议系统包括经由网络可通信地连接的多个终端10和服务器30。在图1中仅图示了5台终端10，但不限于此，能够参加远程会议的终端10的台数是任意的。

在虚拟空间内配置有与各参加者对应的化身。化身是表示参加远程会议的参加者的计算机图形的角色。参加者使用终端10，用化身参加虚拟空间内的会议。此外，在会议中也包括井户端会议那样的聊天。

终端10通过麦克风收集参加者的语音，通过照相机拍摄参加者，生成用于控制参加者的化身的动作以及姿势的控制数据。终端10发送参加者的语音数据和控制数据。终端10接收其他参加者的语音数据和控制数据，输出语音数据，根据控制数据控制对应的化身，显示渲染虚拟空间后的影像。另外，终端10判定参加者的状态并发送判定结果，并且从其他终端10接收其他参加者的状态的判定结果，基于参加者的判定结果和其他参加者的判定结果来决定会议的显示方式。

在终端10中，可以使用连接了照相机和麦克风的个人计算机，也可以使用具备内置照相机的智能手机等便携终端，还可以使用具备控制器和头戴式显示器(HMD)的虚拟现实(VR)设备。

服务器30从各终端10接收控制数据、语音数据以及判定结果，并向各终端10分发。

参照图2，说明终端10的结构的一例。图2所示的终端10具备收集部11、拍摄部12、控制部13、判定部14、发送部15、接收部16、显示控制部17以及显示部18。终端10所具备的各部也可以由具备运算处理装置、存储装置等的计算机构成，各部的处理通过程序来执行。该程序存储于终端10所具备的存储装置，既能够记录于磁盘、光盘、半导体存储器等记录介质，也能够通过网络提供。

收集部11使用终端10所具备的麦克风或者与终端10连接的麦克风来收集参加者的语音。收集部11也可以接收由其他装置收录的参加者的语音数据。

拍摄部12使用终端10所具备的照相机或与终端10连接的照相机来拍摄参加者。在拍摄的影像中可以显现出参加者的面部，但也可以显现出参加者的全身，还可以存在未显现出参加者的情况。拍摄部12也可以接收由其他装置拍摄到的拍摄图像。

控制部13生成用于控制参加者的化身的控制数据。控制部13也可基于参加者的语音或拍摄图像的至少任一个来生成控制数据。作为简单的例子，控制部13在参加者未说话时以闭上化身的嘴的方式生成控制数据，在参加者说话时以根据发言使化身的嘴动作的方式生成控制数据。控制部13也可以基于拍摄图像的参加者的表情来决定化身的动作。

或者，控制部13也可不反映参加者的状态而生成控制数据。例如，在参加者不观看会议的画面而朝向旁边的情况下或者参加者从照相机的前方消失的情况下，控制部13生成不将参加者的动作忠实地反映于化身而使化身进行点头、朝向说话者等在会议中自然的动作的控制数据。在参加者正在观看画面进行点头的动作的情况等参加者在会议中采取积极的态度的情况下，控制部13也可以生成将参加者的动作反映于化身的控制数据。由此，无论参加者处于何种状态，在会议中参加者的化身都表现出反应，因此说话者能够心情良好地说话。

控制部13也可以使用学习了语音和化身的运动的机器学习模型，将语音输入到机器学习模型来生成化身的控制数据。

在利用VR设备作为终端10的情况下，控制部13基于来自控制器和HMD的输入来生成控制化身的控制数据。参加者的手势、头部的动作等反映于化身。

判定部14根据拍摄图像判定参加者的状态。具体而言，判定部14根据拍摄图像判定参加者是否正在观看会议的画面、是否有参加者。判定部14的判定可以不严格，例如，在参加者利用智能手机作为终端10的情况下，如果在拍摄图像中拍到面部的正面，则判定部14判定为正在观看画面。另外，判定部14也可以根据拍摄图像或语音数据来判定参加者是否正在说话。

发送部15发送语音数据、控制数据以及判定结果。判定结果是表示判定部14判定出的参加者的状态的信息。例如，判定结果包含正在观看画面、未观看画面、位于照相机前、不在照相机前、正在说话等状态。作为判定结果，也可以包含观看画面的时间、不在照相机前的时间、或者说话时间等时间信息。所发送的数据经由服务器30分发给各终端10。

接收部16经由服务器30从其他终端10接收语音数据、控制数据以及判定结果。

显示控制部17统计从判定部14和其他终端10接收到的判定结果，基于统计结果来决定会议的显示方式。显示方式例如包括渲染虚拟空间时的视点、画面的画格分割、对象的配置、化身的动作和姿势、各种效果。以下，列举统计结果和显示方式的例子。

在未观看画面的参加者的比例超过预定的阈值的情况下，显示控制部17为了引起参加者的注意，将渲染虚拟空间时的视点设为显现说话者的特写的视点。此时，显示控制部17可以使说话者的化身进行敲击桌子等较大的动作，也可以提高说话者的语音的音量。在使说话者的化身进行较大的动作的情况下，显示控制部17将说话者的化身的控制数据替换为较大的动作的控制数据。

在未观看画面的参加者的比例超过预定的阈值而没有说话者的情况下，显示控制部17为了促使向下一个话题的转移或者会议的结束，将渲染虚拟空间时的视点设为显现会议的主办者(主持人)的化身的特写的视点。

在参加者的大半观看画面的情况下，显示控制部17也可以将渲染虚拟空间的视点作为俯瞰会议室整体的视点，进行参加者热心聆听的演出。显示控制部17也可以随机地选择某些化身，使化身进行点头的动作。在使化身进行点头动作的情况下，显示控制部17将对象化身的控制数据替换为点头动作的控制数据。

这样，通过统计参加者的状态，并基于统计结果来决定会议的显示方式，能够顺利地进行会议。

显示部18对接收到的语音数据进行再现，并且按照显示控制部17的指示，在虚拟空间内配置包含化身的对象，基于控制数据来控制化身的动作以及姿势，渲染虚拟空间而生成会议的影像。例如，显示部18将构成会议室的地板、墙壁、天花板、桌子等对象配置于虚拟空间内，在预定的位置配置参加者的化身。对象的模型数据和配置位置存储在终端10所具备的存储装置中。构建虚拟空间所需的信息也可以在参加会议时从服务器30或其他装置接收。若显示控制部17的指示包含对象的位置的变更、化身的位置以及姿势的变更，则显示部18按照该指示变更对象的位置、化身的位置以及姿势。如果在显示控制部17的指示中有视点的指定，则显示部18以指定的视点渲染虚拟空间。

显示部18也可以在画面上配置操作按钮，受理来自参加者的操作。例如，若按下操作按钮，则发送使参加者的化身进行与操作按钮对应的动作的控制数据。

此外，也可以由服务器30执行终端10的功能的一部分。例如，服务器30可以具备显示控制部17的功能，对来自各终端10的判定结果进行统计来决定显示方式，并将显示方式向各终端10分发。服务器30也可以具备控制部13、判定部14以及显示控制部17的功能，从各终端10接收拍摄图像以及语音数据，生成各化身的控制数据，判定各参加者的状态，统计判定结果来决定显示方式，将控制数据和显示方式向各终端分发。服务器30也可以具备显示部18的功能，将渲染了虚拟空间的影像向终端10分发。

接下来，参照图3和图4的流程图说明终端10的处理流程。图3及图4所示的处理在各终端10中随时执行。

图3是表示终端10发送数据的处理流程的一例的流程图。

在步骤S11中，收集部11收集参加者的语音，拍摄部12拍摄参加者。

在步骤S12中，控制部13生成用于控制参加者的化身的控制数据。

在步骤S13中，判定部14根据拍摄图像或语音判定参加者的状态。

在步骤S14中，发送部15发送语音数据、控制数据以及判定结果。所发送的数据经由服务器30被分发给各终端10。

图4是表示终端10显示会议画面的处理流程的一例的流程图。

在步骤S21中，接收部16从服务器30接收从其他终端10发送的数据。接收的数据例如是语音数据、控制数据以及判定结果。

在步骤S22中，显示控制部17对接收到的判定结果进行统计。

在步骤S23中，显示控制部17基于统计结果来决定会议的显示方式。

在步骤S24中，显示部18再现语音数据，并且按照控制数据控制化身，按照显示方式显示会议画面。

图5是表示会议的显示画面的一例的图。图5的(a)是显示了说话者的化身的画面的一例。图5的(b)是以俯瞰的视点显示了会议室整体的画面的一例。图5的(c)是对画面进行画格分割并在各画格显示有各参加者的化身的画面的一例。画面的显示方式可以基于终端10对参加者的状态的判定结果进行统计而得到的统计结果来决定，也可以由终端10随机决定。所有的终端10可以以相同的显示方式显示画面，也可以不显示。也就是说，各终端10可以单独地决定显示方式，或者可以将终端10中的任一个决定的显示方式分发到各终端10，使各终端10的显示方式相同。

[实施例2]

在实施例2中，参考参加者的状态的判定结果和过去的分镜来决定会议的显示方式。实施例2的会议系统的整体结构以及终端10的结构基本上与实施例1相同。在实施例2中，判定部14判定参加者是否处于对话中，显示控制部17基于判定结果来确定对话中的参加者，基于过去的分镜来决定对话中的参加者的化身的分镜。在实施例2中，终端10也可以不具备拍摄部12。

参照图6的流程图，对实施例2的终端10显示会议画面的处理进行说明。另外，终端10发送数据的处理与实施例1相同。

在步骤S31中，接收部16从服务器30接收其他终端10发送的数据。

在步骤S32中，显示控制部17基于接收到的判定结果来确定对话中的参加者。例如，在某参加者A的发言结束后，在预定的时间内其他参加者B开始发言的情况下，判定为参加者A、B处于对话中。

在步骤S33中，显示控制部17基于过去的分镜来决定会议的显示方式。对于基于过去的分镜的处理的具体示例进行后述。

在步骤S34中，显示部18再现语音数据，并且按照控制数据控制化身，按照显示方式显示会议的画面。

在此，说明基于过去的分镜的处理的一例。如图7所示，假设过去以参加者A的化身A朝向画面的右侧的分镜显示化身A。显示控制部17存储过去显示对话中的参加者的化身的分镜。在参加者A是对话中的发言者的情况下，显示控制部17与过去的分镜同样地，将显示方式设为化身A朝向画面的右方的分镜。在对话的对象是参加者B的情况下，显示控制部17在显示参加者B的化身B时，如图8所示，以化身A与化身B相对的方式进行化身B朝向画面的左侧的分镜。以后，在参加者B发言时，显示控制部17使化身B朝向画面的左侧。显示控制部17也可以控制化身的姿势。

如果在过去化身A和化身B都是以向右的分镜显示的情况下，例如如图9所示，显示控制部17显示显现出化身A和化身B这两方，化身A朝向右方、化身B朝向左方的画面。之后，在参加者A与参加者B对话时，显示控制部17进行化身A向右、化身B向左的分镜。由此，参加者能够自然地掌握谁与谁正在对话。显示控制部17基于过去的分镜，决定能够自然地掌握对话中的参加者的显示方式。

在参加者的几人进行对话的情况下，显示控制部17也可以确定对话中的化身，并以对话中的化身收纳于一个画面内的方式决定视点。显示控制部17也可以使化身的位置在虚拟空间内移动，以使对话中的化身靠近。或者，显示控制部17也可以将画面分割为多个区域，在各个区域显示对话中的化身。

显示控制部17也可以根据使用终端10的参加者的作用(说话者、主持人等)，使画面的结构与其他参加者不同。例如，对主持人的画面进行画格分割，显示说话者和集中观看画面的参加者。主持人能够观看画面，给予集中观看画面的参加者发言的机会。

[变形例]

接着，说明使对话中的化身接近的处理。

参照图10的流程图，说明使对话中的化身接近的处理的流程。在两人以上的对话中，在对话中的参加者的各终端10中随时执行图10的处理。

在步骤S41中，终端10判定操作终端10的参加者的化身与对话对象的化身是否位于远离的位置。例如，在对话中的化身在虚拟空间内离开预定的距离的情况下，判定为处于远离的位置。或者，也可以在对话中的化身之间存在其他化身的情况下判定为处于远离的位置。在对话中的化身的位置未远离的情况下结束处理。

在对话中的化身的位置远离的情况下，在步骤S42中，终端10基于终端10自身的类别，判定参加者是否能够使化身自由地移动。例如，使用VR设备作为终端10的参加者可以自由地移动化身，但是使用智能手机作为终端10的参加者难以自由地移动化身。能够使化身自由移动的终端10结束处理。也可以比较对话中的参加者的终端10的类别，判定终端10是否难以使化身自由地移动。例如，在将个人计算机用作终端10的参加者与将智能手机用作终端10的参加者正在对话中的情况下，由于在个人计算机上连接有键盘及鼠标，因此移动比智能手机容易，因此可以判定为使用智能手机的参加者的化身难以自由地移动。

在难以使化身自由移动的情况下，在步骤S43中，终端10将操作终端10的参加者的化身的位置移动到对话对象的附近。

在图11的示例中，使用VR设备(以下，称为终端10A)作为终端10的参加者的化身A与使用智能手机(以下，称为终端10B)作为终端10的参加者的化身B正在对话。在该情况下，终端10A在步骤S32中判定为化身A能够自由移动，终端10B在步骤S32中判定为化身B难以自由移动。在步骤S33，终端10B将化身B的位置移动到化身A的附近。当化身B瞬间移动时，终端10B在化身B的移动前的位置和移动后的位置出现扭曲效果(例如，闪耀等)，表现化身B进行了瞬间移动，终端10A使画面瞬间转暗，切换分镜。

接下来，对参加者经由终端10进行的化身的操作进行说明。

如图12所示，终端10也可以在画面100内配置图标110，受理来自参加者的操作。在各图标110中描绘有想要使化身进行的动作的图案。当参加者触摸图标110时，终端10生成并发送与图标110对应的动作的控制数据。控制数据不仅包括化身的动作，还可以包括背景、效果以及视点等。

接收到控制数据的终端10根据控制数据控制对应的化身。当控制数据包括背景、效果和视点时，终端根据控制数据的指示配置背景和效果，设定虚拟空间中的视点。例如，图9是选择了表示有意见的参加者使化身举手的动作的图标时的画面100的例子。在图13的例子中，化身进行举手动作，设定从正面观看该化身的视点，在化身的头上显示“！”的效果。

如以上说明的那样，本实施方式的终端10是用于参加在配置有参加者的化身的虚拟空间内进行的会议的终端，具备：收集参加者的语音的收集部11；生成用于控制参加者的化身的控制数据的控制部13；判定参加者的状态的判定部14；发送参加者的语音数据、控制数据以及判定结果的发送部15；接收其他参加者的语音数据、控制数据以及判定结果的接收部16；基于参加者与其他参加者的判定结果来决定会议的显示方式的显示控制部17；以及再现语音数据，基于控制数据来控制化身，并按照显示方式来显示会议的画面的显示部18。由此，参加者能够用化身参加虚拟空间内的会议，因此能够减轻被看到的压力，通过统计参加者的状态来决定会议的显示方式，能够将会议整体的气氛反映于会议的显示。

符号说明

10终端、

11收集部、

12拍摄部、

13控制部、

14判定部、

15发送部、

16接收部、

17显示控制部、

18显示部、

30服务器。

Claims (8)

1.一种终端，用于参加在配置有参加者的化身的虚拟空间内进行的会议，其特征在于，

所述终端具备：

收集部，其收集所述参加者的语音；

控制部，其生成用于控制所述参加者的化身的控制数据；

判定部，其判定所述参加者的状态；

发送部，其发送所述参加者的语音数据、控制数据以及判定结果；

接收部，其接收其他参加者的语音数据、控制数据以及判定结果；

显示控制部，其基于所述参加者和所述其他参加者的判定结果来决定会议的显示方式；以及

显示部，其再现所述语音数据，基于所述控制数据来控制所述化身，并按照所述显示方式来显示所述会议的画面。

2.根据权利要求1所述的终端，其特征在于，

所述终端具备：拍摄部，其获得拍摄所述参加者而得到的拍摄图像，

所述判定部根据所述拍摄图像来判定所述参加者是否正在观看画面，

所述显示控制部对所述判定结果进行统计，并基于统计结果来决定会议的显示方式。

3.根据权利要求2所述的终端，其特征在于，

所述显示控制部基于所述统计结果，决定在所述虚拟空间内进行渲染的视点或者所述画面的画格分割。

4.根据权利要求1所述的终端，其特征在于，

所述显示控制部预先存储显示出化身的过去的分镜，基于所述判定结果来确定对话中的参加者，基于所述过去的分镜来决定所述对话中的参加者的化身的分镜。

5.根据权利要求1至4中的任一项所述的终端，其特征在于，

在所述参加者正在与其他参加者进行对话的情况下，根据该终端的类别将所述参加者的化身的位置移动到其他参加者的化身的附近。

6.一种信息处理方法，用于参加在配置有参加者的化身的虚拟空间内进行的会议，其特征在于，

计算机进行以下处理：

收集所述参加者的语音；

生成用于控制所述参加者的化身的控制数据；

判定所述参加者的状态；

发送所述参加者的语音数据、控制数据以及判定结果；

接收其他参加者的语音数据、控制数据以及判定结果；

基于所述参加者和所述其他参加者的判定结果来决定会议的显示方式；以及

再现所述语音数据，基于所述控制数据来控制所述化身，并按照所述显示方式来显示所述会议的画面。

7.一种程序，使计算机作为用于参加在配置有参加者的化身的虚拟空间内进行的会议的终端进行动作，其特征在于，

所述程序使计算机执行以下处理：

收集所述参加者的语音；

生成用于控制所述参加者的化身的控制数据；

判定所述参加者的状态；

发送所述参加者的语音数据、控制数据以及判定结果；

接收其他参加者的语音数据、控制数据以及判定结果；以及

基于所述参加者和所述其他参加者的判定结果来决定会议的显示方式。

8.一种记录介质，记录有使计算机作为用于参加在配置有参加者的化身的虚拟空间内进行的会议的终端进行动作的程序，其特征在于，

所述程序使计算机执行以下处理：

收集所述参加者的语音；

生成用于控制所述参加者的化身的控制数据；

判定所述参加者的状态；

发送所述参加者的语音数据、控制数据以及判定结果；

接收其他参加者的语音数据、控制数据以及判定结果；以及

基于所述参加者和所述其他参加者的判定结果来决定会议的显示方式。