CN114175102A - 显示控制装置、显示控制方法以及显示系统 - Google Patents

显示控制装置、显示控制方法以及显示系统 Download PDF

Info

Publication number
CN114175102A
CN114175102A CN202080054631.5A CN202080054631A CN114175102A CN 114175102 A CN114175102 A CN 114175102A CN 202080054631 A CN202080054631 A CN 202080054631A CN 114175102 A CN114175102 A CN 114175102A
Authority
CN
China
Prior art keywords
avatar
user
calculation result
display control
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080054631.5A
Other languages
English (en)
Inventor
岩城进之介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Publication of CN114175102A publication Critical patent/CN114175102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本实施方式的终端(10)是用于显示包含佩戴了头戴式显示器的用户操作的虚拟形象的虚拟空间的显示控制装置，该显示控制装置具备：虚拟形象控制部(11)，其生成与用户的动作对应的虚拟形象的控制数据；运算部(13)，其在虚拟形象与对象发生了碰撞时，计算与该碰撞对应的虚拟形象和对象的物理行为；VR空间管理部(12)，其将运算部(13)的计算结果应用于虚拟空间；以及描绘部(14)，其在应用了计算结果的虚拟形象的姿势与基于用户的操作的虚拟形象的姿势偏离了规定以上时，将与碰撞对应的行为被抑制在预定内的虚拟形象渲染为提供给头戴式显示器的影像。

Description

显示控制装置、显示控制方法以及显示系统
技术领域
本发明涉及显示控制装置、显示控制方法和显示系统。
背景技术
近年来，在虚拟现实(VR)空间内用户能够操作虚拟形象来分发节目、或者经由虚拟形象在用户之间取得交流的服务正在普及。
在视听者投入VR空间的对象与虚拟形象发生碰撞时、或者虚拟形象之间接触时等对象与用户操作的虚拟形象发生碰撞时，如果虚拟形象不与对象的碰撞定时一致地进行反应动作，则视听者无法真实地感受到对象与虚拟形象发生了碰撞。
在非专利文献1中提出了在虚拟形象与对象发生了碰撞时，通过物理引擎自动生成虚拟形象的反应动作的技术。在非专利文献1中，自动地进行与对象的碰撞对应的反应，因此用户不需要于对象的碰撞定时一致地进行动作。另外，在虚拟形象与其他虚拟形象或对象接触的情况下，虚拟形象的手臂也不会穿透对象，因此能够分发更能够感到真实感的影像。
现有技术文献
非专利文献
非专利文献1：杉森健、之外4名、“演技支持！赢得礼物时自由运动的Vtuber虚拟形象(杉森健、外4名、演技サポート！ギフトが当たると勝手に動くVTuberアバター)”、CEDEC2019、一般社団法人计算机娱乐协会(一般社団法人コンピュータエンターテインメント協会)、2019年9月4日
发明内容
发明所要解决的课题
然而，在非专利文献1中，在虚拟形象与对象发生了碰撞时，虚拟形象与操作虚拟形象的用户的意图无关地自动反应，因此存在用户想要的虚拟形象的状态与用户看到的虚拟形象的状态不一致，用户感到违和感的问题。
本发明是鉴于上述情况而完成的，其目的在于，使虚拟形象与对象的碰撞具有真实感，并且使操作虚拟形象的用户难以感到违和感。
用于解决课题的手段
本发明的一个方式的显示控制装置，用于显示包含佩戴了头戴式显示器的用户操作的虚拟形象的虚拟空间，所述显示控制装置具备：虚拟形象控制部，其生成与所述用户的动作对应的所述虚拟形象的控制数据；运算部，其在所述虚拟形象与对象发生了碰撞时，计算与该碰撞对应的所述虚拟形象和所述对象的物理行为；虚拟空间管理部，其将所述运算部的计算结果应用于所述虚拟空间；以及描绘部，其在应用了所述计算结果的所述虚拟形象的姿势与基于所述用户的操作的所述虚拟形象的姿势偏离了规定以上时，将与碰撞对应的行为被抑制在预定内的所述虚拟形象渲染为提供给所述头戴式显示器的影像。
发明效果
根据本发明，能够使虚拟形象与对象的碰撞具有真实感，并且难以使操作虚拟形象的用户感到违和感。
附图说明
图1是表示包含第一实施方式的显示控制终端的显示系统的结构例的图。
图2是表示第一实施方式的显示控制终端的结构例的功能框图。
图3是表示第一实施方式的显示控制终端的处理流程的流程图。
图4是表示未进行碰撞处理时的虚拟形象的一例的图。
图5是表示进行了碰撞处理时的虚拟形象的一例的图。
图6是表示仅对一个虚拟形象进行碰撞处理时的一例的图。
图7是表示仅对另一个虚拟形象进行碰撞处理时的一例的图。
图8是表示不进行碰撞处理时的虚拟形象的一例的图。
图9是表示进行了碰撞处理时的虚拟形象的一例的图。
图10是表示第二实施方式的包含显示控制终端的影像分发系统的结构例的图。
图11是表示第二实施方式的显示控制终端的结构例的功能框图。
图12是表示第二实施方式的显示控制终端的处理流程的流程图。
具体实施方式
[第一实施方式]
以下，使用附图对包含第一实施方式的显示控制终端的显示系统进行说明。
包含第一实施方式的显示控制终端的显示系统是如下系统：用户分别操作虚拟空间内的虚拟形象，经由虚拟形象在虚拟空间内进行聊天，能够在网络上相互取得交流。
图1的显示系统具备经由网络可通信地连接的多个终端10。每个终端10是第一实施方式的显示控制终端。在图1中，仅图示了2台终端10，但也可以是3人以上的用户参加聊天，终端10的台数是任意的。
在各终端10连接有控制器20和头戴式显示器(HMD)30。用户能够通过控制器20操作虚拟形象，能够佩戴HMD30而从虚拟形象的视点观察虚拟空间。HMD30具备麦克风和扬声器。由麦克风收集到的用户的声音被发送到其他用户的终端10。另外，将从其他用户的终端10接收到的其他用户的声音从扬声器输出。
各用户操作的虚拟形象存在于同一虚拟空间内。可以在终端10之间使虚拟空间的数据同步，也可以由任意一个终端10管理虚拟空间的数据。
参照图2，对终端10的结构进行说明。图2示出了每个用户使用的终端10。终端10具备虚拟形象控制部11、VR空间管理部12、运算部13、描绘部14以及通信部15。终端10例如能够使用具备中央运算处理装置(CPU)、存储器、存储装置、通信装置以及输入输出装置的通用的计算机系统。在该计算机系统中，CPU执行加载到存储器上的预定的程序，来实现终端10的各部。该程序可以记录在磁盘、光盘、半导体存储器等计算机可读取的记录介质中，也可以经由网络分发。
虚拟形象控制部11从控制器20等设备接收用户的姿势、位置和操作信息，生成用于控制用户自身的虚拟形象的姿势和运动的控制数据。控制数据是通过运动捕捉用户的运动而得到的运动数据。以下，在区分用户自身操作的虚拟形象和其他用户操作的虚拟形象时，有时也将用户自身的虚拟形象称为“用户虚拟形象”，将其他用户的虚拟形象称为“其他虚拟形象”。
VR空间管理部12管理存在于虚拟空间内的对象的数据。作为对象的数据，包括对象的模型数据和位置数据。虚拟形象是存在于虚拟空间内的对象之一。作为与虚拟形象相关的数据，例如有模型数据和控制数据。各终端10预先取得虚拟空间的数据。例如，各终端10既可以从数据服务器(未图示)取得虚拟空间的数据，也可以从其他终端10取得虚拟空间的数据。
VR空间管理部12将虚拟形象控制部11生成的控制数据应用于用户虚拟形象来更新用户虚拟形象的姿势和位置，并且将从其他用户的终端10接收到的控制数据应用于其他虚拟形象。另外，若在虚拟空间内有运动的对象，则VR空间管理部12根据该运动来更新对象的姿势和位置。虚拟空间的数据在终端10之间被同步地管理，各终端10所管理的虚拟空间成为同一虚拟空间。可以由任何一个终端10管理虚拟空间，或者可以由服务器(未图示)管理虚拟空间。在通过特定的装置管理虚拟空间的情况下，各终端10从该装置取得虚拟空间的数据。
在虚拟空间内对象(包括虚拟形象)之间发生了碰撞时，运算部13计算与碰撞相应的各对象的物理性的行为。运算部13能够利用公知的物理运算引擎。
VR空间管理部12基于计算结果来更新各对象的姿势和位置。针对用户虚拟形象，VR空间管理部12除了管理应用计算结果后的用户虚拟形象的姿势和位置的信息以外，还管理未应用计算结果的状态的用户虚拟形象的姿势和位置的信息。或者，VR空间管理部12可以对应用了改变参数而计算出的计算结果的状态下的用户虚拟形象的姿势和位置的信息进行管理，也可以对改变应用程度而应用了计算结果的状态下的用户虚拟形象的姿势和位置的信息进行管理。
描绘部14以用户虚拟形象的视点对虚拟空间进行渲染，将渲染的影像供给至HMD30。此时，对于用户虚拟形象，描绘部14以将用户虚拟形象的反应动作抑制在预定内的方式替换为另外管理的用户虚拟形象的姿势和位置的信息，对用户虚拟形象进行渲染。预定内是指用户不会感到违和感的程度内。例如，是否在预定范围内，可以基于用户虚拟形象的反应动作的姿势与用户的操作的姿势的偏离程度以及反应动作的长度来决定。
作为在向HMD30供给的影像中将用户虚拟形象的反应动作抑制在预定内的方法，描绘部14对未应用计算结果的状态下的用户虚拟形象进行渲染。
或者，作为描绘部14应用于用户虚拟形象的计算结果，运算部13还可以计算改变了与用户虚拟形象碰撞的对象的重量等参数时的用户虚拟形象的行为，描绘部14对应用了改变参数后的计算结果的用户虚拟形象进行渲染。通过将与用户虚拟形象碰撞的对象作为较轻的对象来处理，能够抑制用户虚拟形象的反应动作，因此用户难以感到违和感。
或者，描绘部14也可以改变应用程度而对应用了计算结果的用户虚拟形象进行渲染。例如，在较重的对象与用户虚拟形象碰撞的情况下，如果应用运算部13的计算结果，则用户虚拟形象出现较大蹒跚。在该情况下，描绘部14在对用户虚拟形象进行渲染时，以使用户虚拟形象的反应动作成为用户不会感到违和感的程度的小的反应动作的方式抑制计算结果的应用程度而将计算结果应用于用户虚拟形象。
在任一情况下，用户以外的他人都看到应用运算部13的通常的计算结果而反应较大的用户虚拟形象。在提供给HMD30的影像中，替换基于运算部13的计算结果的用户虚拟形象的反应动作来进行渲染，因此他人看到的用户虚拟形象的反应动作与用户自身看到或感觉到的用户虚拟形象的反应动作不同。
此外，在用户虚拟形象因对象的碰撞而进行预定以上的反应动作的情况下，也可以不对用户虚拟形象应用计算结果，或者抑制计算结果的应用程度，或者应用改变参数而计算出的计算结果。即，在应用了计算结果的用户虚拟形象的姿势与基于用户的操作的用户虚拟形象的姿势偏离预定以上时，描绘部14可以使应用于用户虚拟形象的计算结果不同。
通信部15在与其他用户的终端10之间收发用户虚拟形象的控制数据和用户的声音数据。更具体而言，通信部15向其他用户的终端10发送虚拟形象控制部11生成的用户虚拟形象的控制数据，并且从其他用户的终端10接收其他虚拟形象的控制数据。另外，通信部15将由HMD30的麦克风收集到的用户的声音数据发送至其他用户的终端10，并且从其他用户的终端10接收其他用户的声音数据。
此外，终端10的任一个也可以不具备运算部13，而从其他终端10接收运算部13的计算结果、应用计算结果后的虚拟空间的数据。例如，在图2的左侧的终端10(以下，称为终端10A)具备运算部13，右侧的终端10(以下，称为终端10B)不具备运算部13的情况下，终端10B从终端10A接收应用计算结果后的虚拟空间的数据。此时，对于终端10B的用户B的用户虚拟形象B，终端10B的描绘部14将应用了计算结果的用户虚拟形象B的姿势和位置替换为未应用计算结果的用户虚拟形象B的姿势和位置，对虚拟空间进行渲染。
只要能够在整个系统中实现上述功能，则执行终端10所具备的各部的处理的装置不限。例如，服务器(未图示)也可以具备VR空间管理部12和运算部13。服务器从各终端10接收虚拟形象的控制数据。VR空间管理部12将控制数据应用于虚拟空间内的虚拟形象，并且运算部13执行碰撞处理，将计算结果应用于虚拟空间。各终端10从服务器接收应用计算结果后的虚拟空间的数据。此时，针对使用该终端10的用户的用户虚拟形象，各终端10的描绘部14将应用了计算结果的用户虚拟形象的姿势和位置替换为未应用计算结果的用户虚拟形象的姿势和位置，对虚拟空间进行渲染。
另外，服务器也可以具备描绘部14。服务器分别从终端10A、10B接收用户的视线信息。描绘部14向终端10A发送渲染了计算结果未适用于用户虚拟形象A的虚拟空间的影像，向终端10B提供渲染了计算结果未适用于用户虚拟形象B的虚拟空间的影像。在该情况下，终端10A、10B只要具有捕获用户A、B的运动的功能以及显示接收到的影像的功能即可。
参照图3的流程图，对终端10的动作进行说明。以下，对不将计算结果应用于用户虚拟形象的情况进行说明，但在抑制计算结果的应用程度、或者应用改变参数而计算出的计算结果的情况下也是同样如此。
在步骤S11中，虚拟形象控制部11从控制器20接收用户的姿势等信息，生成用户虚拟形象的控制数据。通信部15将虚拟形象控制部11生成的控制数据发送给其他终端10。
在步骤S12中，通信部15从其他终端10接收其他虚拟形象的控制数据。
在步骤S13中，VR空间管理部12将控制数据应用于虚拟形象，并且更新移动对象的姿势和位置。
在步骤S14中，运算部13进行对象之间的碰撞处理。例如，运算部13判定是否存在碰撞的对象，对于碰撞的对象，求出碰撞位置、碰撞方向以及重叠的深度等信息，基于对象的质量、速度以及反弹系数等信息，计算与碰撞对应的各对象的行为。
在步骤S15中，VR空间管理部12将运算部13的计算结果反映在虚拟空间中，并且更新对象的姿势和位置。例如，在虚拟形象100A进行敲击虚拟形象100B的头部的动作时，如图4所示，虚拟形象100A的手臂与虚拟形象100B的头部碰撞。若将运算部13的计算结果分别反映于虚拟形象100A、100B，则如图5所示，成为虚拟形象100A的手臂和虚拟形象100B的头部不凹陷(めり込まない)的状态。
此外，VR空间管理部12独立地管理在不应用计算结果的状态下的用户虚拟形象的姿势和位置。例如，分别管理图4的虚拟形象100A的姿势和位置。VR空间管理部12可以通过改变计算结果的应用程度来单独管理所应用的用户虚拟形象的姿势和位置，或者也可以单独管理应用了改变参数而计算出的计算结果的用户虚拟形象的姿势和位置。
在步骤S16中，描绘部14不将计算结果应用于用户虚拟形象而对虚拟空间进行渲染，并将渲染后的影像提供给HMD30。
例如，将计算结果应用于虚拟形象100A时，虚拟形象100A的手臂的位置成为图5所示的位置。然而，由于用户进行了将虚拟形象100A的手臂降低至图4所示的位置的操作，因此用户的操作与虚拟形象100A的姿势不一致，用户会感到违和感。
因此，在本实施方式中，还预先管理未应用计算结果的用户虚拟形象的姿势和位置，描绘部14将应用了计算结果的用户虚拟形象替换为未应用计算结果的用户虚拟形象，对虚拟空间进行渲染。例如，如图6所示，向操作虚拟形象100A的用户提示将虚拟形象100A替换为未应用计算结果的虚拟形象100A(图4的虚拟形象100A)并进行了渲染的影像。在图6中，对虚拟形象100B应用了计算结果。另一方面，如图7所示，向操作虚拟形象100B的用户提示将虚拟形象100B替换为未应用计算结果的虚拟形象100B(图4的虚拟形象100B)并进行了渲染的影像。在图7中，将计算结果应用于虚拟形象100A。另外，向操作虚拟形象100A、100B的用户以外的用户，提示图5所示的、对应用了计算结果的虚拟形象100A、100B进行了渲染的影像。
对虚拟形象与虚拟形象以外的对象的碰撞也同样地进行处理。例如，如图8所示，假设对象110与虚拟形象100发生了碰撞。将运算部13的计算结果分别反映于虚拟形象100和对象110时，如图9所示，成为虚拟形象100的姿势大幅变形的状态。
向操作虚拟形象100的用户提供图8所示的、对未应用计算结果的虚拟形象100进行了渲染的影像。向除此以外的用户提供图9所示的、对应用了计算结果的虚拟形象100进行了渲染的影像。
如以上说明的那样，根据本实施方式，运算部13进行对象的碰撞处理来计算各对象的物理行为，VR空间管理部12将运算部13的计算结果应用于各对象，在描绘部14对向用户佩戴的HMD30供给的影像进行渲染时，针对用户操作的用户虚拟形象，以将用户虚拟形象的反应动作抑制在预定范围内的方式对用户虚拟形象进行渲染。由此，能够对用户以外的他人提示根据与对象的碰撞而进行反应动作的用户虚拟形象，并且能够对用户提示抑制了反应动作的用户虚拟形象，因此不会使用户感到针对用户虚拟形象的运动的违和感，而能够使对象对用户虚拟形象的碰撞具有真实感。
[第二实施方式]
以下，使用附图对第二实施方式的包含显示控制终端的影像分发系统进行说明。
第二实施方式的包含显示控制终端的影像分发系统是分发者操作虚拟空间内的分发者虚拟形象，而将虚拟空间内的影像分发给视听者的系统。视听者不仅能够观看影像，还能够使视听者操作的视听者虚拟形象参加与分发者虚拟形象相同的虚拟空间内。
图10的影像分发系统具备作为第二实施方式的显示控制终端的分发者终端40和分发服务器50。分发者终端40和分发服务器50经由网络可通信地连接。
分发服务器50从分发者终端40接收渲染了虚拟空间的影像，并将接收到的影像分发给视听者终端60。分发服务器50可以进行实时分发接收到的影像的直播影像分发，也可以预先存储所接收到的影像，根据来自视听者终端60的请求分发影像。
视听者终端60是用于视听者观看影像的终端。只要是能够观看所分发的影像的设备，就能够将便携终端、个人计算机等设备用作视听者终端60。视听者终端60也可以接收虚拟空间的数据并渲染虚拟空间。另外，在视听者参加直播影像分发的情况下，视听者终端60连接HMD以及控制器等，利用具有VR功能的设备。例如，利用第一实施方式的终端10作为视听者终端60，在与分发者终端40之间使虚拟空间的数据同步。
参照图11，对分发者终端40的结构进行说明。分发者终端40具备虚拟形象控制部11、VR空间管理部12、运算部13、描绘部14、通信部15、分发影像描绘部16以及分发部17。分发者终端40在第一实施方式的终端10中具备渲染分发用的影像的分发影像描绘部16和分发影像的分发部17。
虚拟形象控制部11从控制器20等设备接收分发者的姿势、位置和操作信息，生成用于控制分发者虚拟形象的姿势和运动的控制数据。
VR空间管理部12管理存在于虚拟空间内的对象的数据。VR空间管理部12将虚拟形象控制部11生成的控制数据应用于分发者虚拟形象来更新分发者虚拟形象的姿势和位置。在视听者参加的情况下，VR空间管理部12将从参加的视听者的视听者终端60接收到的控制数据应用于视听者虚拟形象的模型数据。
在虚拟空间内对象之间发生碰撞时，运算部13计算与碰撞相应的对象的物理性的行为。针对分发者虚拟形象，VR空间管理部12除了管理应用计算结果后的分发者虚拟形象的姿势和位置的信息以外，还管理未应用计算结果的状态下的分发者虚拟形象的姿势和位置的信息。与第一实施方式同样地，VR空间管理部12既可以对应用了改变参数而计算出的计算结果的状态下的分发者虚拟形象的姿势和位置的信息进行管理，也可以对改变应用程度而应用了计算结果的状态下的分发者虚拟形象的姿势和位置的信息进行管理。
描绘部14不将计算结果应用于分发者虚拟形象，而以分发者虚拟形象的视点对虚拟空间进行渲染，并将渲染后的影像提供给HMD30。与第一实施方式同样地，对于分发者虚拟形象，描绘部14以将分发者虚拟形象的反应动作抑制在预定内的方式对分发者虚拟形象进行渲染。
通信部15在与参加的视听者的视听者终端60之间收发虚拟形象的控制数据以及声音数据。另外，通信部15从视听者终端60既可以接收评论(文字信息)，也可以接收礼品、装备(item)等信息。对于从视听者终端60接收到的评论，分发者终端40也可以在虚拟空间内对显示了评论内容的对象进行显示。分发者终端40也可以使从视听者终端60接收到的礼品或装备所对应的对象出现在虚拟空间内。当与这些评论、礼品以及装备对应的对象与分发者虚拟形象碰撞时，分发者虚拟形象进行基于运算部13的计算结果的反应动作。
分发影像描绘部16对将运算部13的计算结果也应用于分发者虚拟形象的虚拟空间进行渲染，生成分发用的影像。分发影像描绘部16既可以以分发者虚拟形象的视点对虚拟空间进行渲染，也可以以配置于虚拟空间的虚拟照相机的视点对虚拟空间进行渲染。还可以在分发用的影像中附加分发者以及参加者的声音数据。
分发部17将分发影像描绘部16渲染的分发用的影像发送至分发服务器50。分发服务器50将接收到的影像分发给各个视听者终端60。
此外，分发服务器50也可以具备分发影像描绘部16以及分发部17。在该情况下，分发服务器50保持虚拟空间的数据，在与分发者终端40之间使虚拟空间的数据同步。分发服务器50渲染虚拟空间并分发给视听者终端60。分发服务器50也可以具备VR空间管理部12和运算部13来管理虚拟空间的数据，分发者终端40从分发服务器50取得虚拟空间的数据。分发者终端40的描绘部14将分发者虚拟形象替换为未应用运算部13的计算结果的分发者虚拟形象来渲染虚拟空间。分发服务器50也可以具备描绘部14而对向分发者的HMD30供给的影像进行渲染。
参照图12的流程图，对分发者终端40的动作进行说明。以下，对未将计算结果应用于分发者虚拟形象的情况进行说明，但在抑制计算结果的应用程度、或者应用改变参数而计算出的计算结果的情况下也是同样如此。
在步骤S21中，虚拟形象控制部11从控制器20接收分发者的姿势等信息，生成分发者虚拟形象的控制数据。在视听者参加的情况下，通信部15将虚拟形象控制部11生成的控制数据发送至参加的视听者的视听者终端60。
在步骤S22中，VR空间管理部12将控制数据应用于虚拟形象，并且更新移动对象的姿势和位置。另外，VR空间管理部12将从参加的视听者的视听者终端60接收到的控制数据应用于视听者虚拟形象。
在步骤S23中，运算部13进行对象之间的碰撞处理。
在步骤S24中，VR空间管理部12将运算部13的计算结果反映于虚拟空间，并且更新对象的姿势和位置。此时，VR空间管理部12分别管理未应用计算结果的状态下的分发者虚拟形象的姿势和位置。
在步骤S25中，分发影像描绘部16对应用了运算部13的计算结果的虚拟空间进行渲染，生成分发影像。例如如图9所示，分发影像描绘部16对将计算结果应用于虚拟形象的虚拟空间进行渲染。
在步骤S26中，分发部17发送分发影像。
在步骤S27中，描绘部14在未将计算结果应用于分发者虚拟形象的情况下对虚拟空间进行渲染，并且将渲染的影像提供给HMD30。例如，如图8所示，描绘部14渲染未将计算结果应用于虚拟形象的虚拟空间。即，描绘部14对将分发者虚拟形象替换为未应用计算结果的虚拟形象的虚拟空间进行渲染。
此外，在未将计算结果应用于分发者虚拟形象的情况下，分发者有可能没有注意到对象与分发者虚拟形象发生了碰撞。因此，分发者终端40还可以具备向分发者通知分发者虚拟形象与对象的碰撞的功能。
例如，分发者终端40在分发者虚拟形象与对象发生了碰撞时，通过声音通知分发者。在分发者虚拟形象与对象发生了碰撞的碰撞瞬间，使分发者和视听者双方能够听到与碰撞相应的声音。在分发者虚拟形象与对象接触的期间，仅使分发者听到通知接触的声音。如图8、9所示，在对象110与虚拟形象100的头部发生了碰撞的情况下，在碰撞的瞬间，使分发者和视听者听到对象110与虚拟形象100发生了碰撞的效果音。之后，在对象110搭在虚拟形象100的头部的状态的期间，仅使分发者持续听到表示对象110与虚拟形象100发生了碰撞的声音。
或者，分发者终端40使分发者看到视听者所看到的影像。分发者终端40使视听者看到的影像显示在虚拟空间内的监视器上。例如，预先在分发者虚拟形象的视线的前方配置监视器。
或者，描绘部14除了将反应动作抑制在预定范围内的用户虚拟形象以外，还对应用了计算结果的用户虚拟形象进行渲染。此时，描绘部14使应用了计算结果的用户虚拟形象为半透明等，改变显示方式来进行描绘。
也可以将通知虚拟形象与对象的碰撞的结构应用于第一实施方式。
如以上说明的那样，根据本实施方式，运算部13进行对象的碰撞处理来计算各对象的物理行为，VR空间管理部12将运算部13的计算结果应用于各对象，在描绘部14对向用户佩戴的HMD30供给的影像进行渲染时，对于分发者操作的分发者虚拟形象，以将分发者虚拟形象的反应动作抑制在预定内的方式对分发者虚拟形象进行渲染。由此，能够对视听者提示根据与对象的碰撞进行反应动作的分发者虚拟形象，并且能够对分发者提示抑制了反应动作的分发者虚拟形象，因此能够使分发者不会感到对分发者虚拟形象的运动的违和感，使对象对分发者虚拟形象的碰撞具有真实感。
符号说明
10…终端；11…虚拟形象控制部；12…VR空间管理部；13…运算部；14…描绘部；15…通信部；16…分发影像描绘部；17…分发部；20…控制器；30…HMD；40…分发者终端；50…分发服务器；60…视听者终端。

Claims (6)

1.一种显示控制装置，其用于显示包含佩戴了头戴式显示器的用户操作的虚拟形象的虚拟空间，其特征在于，所述显示控制装置具备：
虚拟形象控制部，其生成与所述用户的动作对应的所述虚拟形象的控制数据；
运算部，其在所述虚拟形象与对象发生了碰撞时，计算与该碰撞对应的所述虚拟形象和所述对象的物理行为；
虚拟空间管理部，其将所述运算部的计算结果应用于所述虚拟空间；以及
描绘部，其在应用了所述计算结果的所述虚拟形象的姿势与基于所述用户的操作的所述虚拟形象的姿势偏离了规定以上时，将与碰撞对应的行为被抑制在预定内的所述虚拟形象渲染为提供给所述头戴式显示器的影像。
2.根据权利要求1所述的显示控制装置，其特征在于，
所述描绘部未将所述计算结果应用于所述用户操作的虚拟形象、变更应用程度而将所述计算结果应用于所述用户操作的虚拟形象、或者将改变参数而计算出的其他计算结果应用于所述用户操作的虚拟形象，从而对所述虚拟形象的行为被抑制在预定范围内的影像进行渲染。
3.根据权利要求1或2所述的显示控制装置，其特征在于，
所述显示控制装置具备：通知部，其向所述用户通知所述虚拟形象与对象发生了碰撞。
4.根据权利要求1至3中任一项所述的显示控制装置，其特征在于，
所述显示控制装置具备：分发部，其分发对应用了所述运算部的计算结果的所述虚拟空间进行渲染而得到的影像。
5.一种显示控制方法，由用于显示包含佩戴了头戴式显示器的用户操作的虚拟形象的虚拟空间的显示控制装置来执行，其特征在于，所述显示控制方法包括如下步骤：
生成与所述用户的动作对应的所述虚拟形象的控制数据的步骤；
在所述虚拟形象与对象发生了碰撞时，计算与该碰撞对应的所述虚拟形象和所述对象的物理行为的步骤；
将在计算步骤中求出的计算结果应用于所述虚拟空间的步骤；以及
在应用了所述计算结果的所述虚拟形象的姿势与基于所述用户的操作的所述虚拟形象的姿势偏离了规定以上时，将与碰撞对应的行为被抑制在预定内的所述虚拟形象渲染为提供给所述头戴式显示器的影像。
6.一种显示系统，其具备第一用户、第二用户分别使用的第一显示控制装置、第二显示控制装置，经由佩戴了头戴式显示器的所述第一用户、第二用户分别操作的第一虚拟形象、第二虚拟形象而在虚拟空间中取得交流，其特征在于，
所述第一显示控制装置具备：
第一虚拟形象控制部，其生成与第一用户的动作对应的第一虚拟形象的控制数据；以及
第一描绘部，其将虚拟空间渲染为向所述第一用户佩戴的头戴式显示器提供的影像，
所述第二显示控制装置具备：
第二虚拟形象控制部，其生成与第二用户的动作对应的第二虚拟形象的控制数据；
第二描绘部，其将所述虚拟空间渲染为向所述第二用户佩戴的头戴式显示器提供的影像，
至少所述第一显示控制装置和所述第二显示控制装置中的任一方具备运算部，所述运算部在虚拟形象与对象发生了碰撞时，计算与该碰撞对应的所述虚拟形象和所述对象的物理行为，
在所述第一显示控制装置、第二显示控制装置之间，使应用了所述运算部的计算结果的所述虚拟空间同步，
在应用了所述计算结果的所述第一虚拟形象的姿势与基于所述第一用户的操作的所述第一虚拟形象的姿势偏离了规定以上时，所述第一描绘部对与碰撞对应的行为被抑制在预定内的所述第一虚拟形象进行渲染，
在应用了所述计算结果的所述第二虚拟形象的姿势与基于所述第二用户的操作的所述第二虚拟形象的姿势偏离了规定以上时，所述第二描绘部对与碰撞对应的行为被抑制在预定内的所述第二虚拟形象进行渲染。
CN202080054631.5A 2019-10-25 2020-10-12 显示控制装置、显示控制方法以及显示系统 Pending CN114175102A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-194266 2019-10-25
JP2019194266A JP6761888B1 (ja) 2019-10-25 2019-10-25 表示制御装置、表示制御方法、および表示システム
PCT/JP2020/038434 WO2021079766A1 (ja) 2019-10-25 2020-10-12 表示制御装置、表示制御方法、および表示システム

Publications (1)

Publication Number Publication Date
CN114175102A true CN114175102A (zh) 2022-03-11

Family

ID=72614625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054631.5A Pending CN114175102A (zh) 2019-10-25 2020-10-12 显示控制装置、显示控制方法以及显示系统

Country Status (4)

Country Link
US (1) US11790588B2 (zh)
JP (1) JP6761888B1 (zh)
CN (1) CN114175102A (zh)
WO (1) WO2021079766A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6761888B1 (ja) * 2019-10-25 2020-09-30 株式会社バーチャルキャスト 表示制御装置、表示制御方法、および表示システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
JP6719308B2 (ja) * 2016-07-13 2020-07-08 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6646565B2 (ja) * 2016-12-12 2020-02-14 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018175849A (ja) * 2018-02-23 2018-11-15 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6761888B1 (ja) * 2019-10-25 2020-09-30 株式会社バーチャルキャスト 表示制御装置、表示制御方法、および表示システム

Also Published As

Publication number Publication date
JP2021068269A (ja) 2021-04-30
US20220262058A1 (en) 2022-08-18
JP6761888B1 (ja) 2020-09-30
US11790588B2 (en) 2023-10-17
WO2021079766A1 (ja) 2021-04-29

Similar Documents

Publication Publication Date Title
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
EP3491781B1 (en) Private communication by gazing at avatar
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
JP6232423B2 (ja) 情報処理装置、描画装置、方法及びプログラム
WO2019234879A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US11861058B2 (en) Communication device, communication method, and communication program
JP6706473B2 (ja) 情報処理装置、表示制御方法、及び表示制御プログラム
US9324173B2 (en) System and method for enabling multiple-state avatars
JP6807455B2 (ja) 情報処理装置および画像生成方法
US20230219003A1 (en) Advertising display system
JP2022081469A (ja) プログラム、情報処理方法、情報処理装置及びサーバ
CN116964544A (zh) 信息处理装置、信息处理终端、信息处理方法和程序
CN114175102A (zh) 显示控制装置、显示控制方法以及显示系统
JP2020102782A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP7309627B2 (ja) 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム
US20200288202A1 (en) Video display system, information processing apparatus, and video display method
JP2021068427A (ja) 表示制御装置、表示制御方法、および表示システム
JP7323900B1 (ja) プログラム、情報処理方法、及び情報処理装置
CN117899453A (zh) 一种交互方法、装置、电子设备及可读存储介质
JP2024118303A (ja) 情報処理装置、情報処理方法及びプログラム
KR20140103538A (ko) 스크린 샷을 이용한 캐릭터의 설정정보 처리장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination