CN113678111A - 通信装置、通信方法及通信程序 - Google Patents

通信装置、通信方法及通信程序 Download PDF

Info

Publication number
CN113678111A
CN113678111A CN201980094223.XA CN201980094223A CN113678111A CN 113678111 A CN113678111 A CN 113678111A CN 201980094223 A CN201980094223 A CN 201980094223A CN 113678111 A CN113678111 A CN 113678111A
Authority
CN
China
Prior art keywords
avatar
publisher
viewer
response
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980094223.XA
Other languages
English (en)
Inventor
岩城进之介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Publication of CN113678111A publication Critical patent/CN113678111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/12—Rule based animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

检测出观众虚拟形象500A、500E对发布者虚拟形象300的应援，发布者虚拟形象300对应援做出回应时，向应援的观众虚拟形象500A、500E发送回应动作，向未应援的观众虚拟形象500B、500C、500D发送一般动作而非回应动作。在发布者指示的时间点，向应援的观众虚拟形象500A、500E发送的动作与向未应援的观众虚拟形象500B、500C、500D发送的动作不同。向应援的观众虚拟形象500A、500E发送的动作与向未应援的观众虚拟形象500B、500C、500D发送的动作均为事先确定的动作。

Description

通信装置、通信方法及通信程序
技术领域
本发明披露涉及在VR空间内直播的技术。
背景技术
近年来，可以在虚拟现实(VR)空间中形成计算机图形字符(以下称“虚拟形象”)，进行现场直播的服务已十分广泛。
所述服务中，发布者通过配戴头戴显示器(HMD)，双手手持控制器，将发布者自身的动作反映到虚拟形象上，进行直播。
观众不仅可以观看直播，观众也可以配戴HMD参与直播。观众通过使自己的虚拟形象加入发布者的VR空间，与发布者进行通信。
现有技术文献
专利文献
专利文献1：特开2018-7828号公报
专利文献2：特开2018-94326号公报
发明内容
发明致力于解决的课题
为活跃直播的气氛，观众让自己的虚拟形象实施应援，但是，发布者无法对所有的观众做出回应。得不到发布者的回应观众可能会停止应援，并且可能无法期待令人兴奋的直播。
专利文献1中，记载了玩家的虚拟形象作为访问偶像人物直播台的众多粉丝之一，被放置在VR空间内的观众席位上，玩家通过发送视线，对偶像人物进行应援。根据专利文献1中的记载，玩家应援后，对于玩家的粉丝点数等达到了启动条件的玩家，偶像人物对该玩家的虚拟形象单独给予特别粉丝福利。根据专利文献1中的记载，通过玩家之间为获取点数进行竞争的方式，活跃直播台气氛。特别粉丝福利的对象，仅为观众席中的1位玩家，应援未必会得到偶像人物的回应。
本发明以上述内容为依据，目的是使得观众更容易得到发布者的回应。
解决问题的方法
本发明的一个方面的通信装置，其特征为在同一个虚拟空间内的发布者虚拟形象与观众虚拟形象之间进行通信的通信装置，具备应援检测部，用于检测第1观众的虚拟形象对发布者的虚拟形象的应援，以及回应部，用于在所述发布者虚拟形象对应援做出回应时，使对应援了所述发布者虚拟形象的动作的所述第1观众虚拟形象的回应动作、以及对未进行应援的第2观众的虚拟形象的回应动作不同。
发明效果
由本发明披露可知，观众可以比较容易得到发布者的回应。
附图说明
图1表示提供直播服务的系统整体构成示例图。
图2表示说明操作虚拟形象的装置的示例图。
图3表示提供直播服务的各装置的构成的功能模块图。
图4表示发布者开始直播，观众参与节目的处理流程片段示例图。
图5表示观众加入的VR空间的样貌示例图。
图6表示观众应援发布者时，从一般动作替换成回应动作的处理流程片段示例图。
图7表示发布者对观众做出回应的VR空间的样貌示例图。
图8表示提供直播服务的各装置的构成的功能模块图。
图9表示观众终端从一般动作替换成回应动作的处理流程片段示例图。
图10表示观众应援发布者时，从一般动作替换成回应动作的处理流程片段示例图。
图11表示提供直播服务的各装置的构成的功能模块图。
图12表示发布者终端从一般动作替换成回应动作的处理流程片段示例图。
图13表示观众应援发布者时，从一般动作替换成回应动作的处理流程片段示例图。
符号说明
1 服务器 11 传输部 12 回应部
13 应援检测部 14 回应数据存储部 3 发布者终
31 VR功能部 32 回应指示部 33 回应部
34 应援检测部 35 回应数据存储部 5 观众终端
51 VR功能部 52 应援指示部 53 回应部
54 回应数据存储部 100 HMD 101 控制器
具体实施方式
接下来，通过附图对本发明涉及的实施例进行说明。
(第1实施例)
参照图1，对第1实施例中的直播服务整体系统结构示例进行说明。
本实施例所述的直播服务，指发布者在VR空间内化身为虚拟形象，并发布直播节目的直播服务。并且，本直播服务中，观众与发布者一样，可化身为观众虚拟形象在与发送者相同的VR空间内参与节目。通过使用与网络连接的服务器1、发布者终端3以及观众终端5提供直播服务。图1中，观众终端5的数量有5台，但实际上观众终端5的数量更多，观众终端5的数量是任意的。
服务器1通过网络从发布者终端3接收VR空间的直播影像，并将该直播影像传输至观众终端5。具体来说，服务器1从发布者终端3接收发布者虚拟形象的动作数据，并将该动作数据传输至观众终端5。观众终端5，将接收的动作数据反映到发布者虚拟形象上，并渲染VR空间。由观众终端5渲染并显示VR空间时，观众终端5保存渲染VR空间所需的模型数据。例如，观众终端5，可以从服务器1接收VR空间内存在的虚拟形象等模型数据，也可以事先保存模型数据。
观众参与节目时，服务器1从观众终端5接收观众虚拟形象的动作数据，
并将该动作数据传输至发布者终端3及其他观众终端5。发布者终端3及其他观众终端5将接收的动作数据反映到观众虚拟形象上，并渲染VR空间。观众虚拟形象的模型数据，可以在观众参与节目时，从服务器1接收，也可以事先由发布者终端3及观众终端5保存。
参与节目的观众，可以通过观众的虚拟形象应援发布者。发布者的虚拟形象对实施应援的观众的虚拟形象做出回应。
服务器1在传输发布者的虚拟形象对应援做出的回应时，使发布者的虚拟形象对实施了应援的观众的虚拟形象的动作与对未应援的观众的虚拟形象的动作不同。具体来说，服务器1将部分发布者的虚拟形象的动作替换成回应动作的动作数据传输给实施了应援的观众的观众终端5，并将一般的动作数据传输给未应援的观众的观众终端5。也就是说，在发布者的虚拟形象做出回应时，应援的观众及未应援的观众，看到的发布者的虚拟形象的动作是不同的。
发布者终端3为发布者直播用的终端。可以将连接HMD的个人计算机作为发布者终端3使用。
如图2所示，发布者配戴HMD100，双手手持控制器101，控制发布者的虚拟形象。
HMD100检测发布者的头部动作。HMD100将检测到的头部动作反映到发布者的虚拟形象上。发布者转动头部，环视VR空间。HMD100渲染发布者面向的VR空间。HMD100通过使右眼用图像与左眼用图像具有视差，使发布者可以看到三维VR空间。
控制器101，检测发布者的手部动作。控制器101将检测到的手部动作反映到发布者的虚拟形象上。
发布者终端3将检测到的反映到发布者的虚拟形象上的发布者动作数据发送至服务器1。服务器1将动作数据传输至观众终端5。并且，发布者终端3从服务器1接收参与发布者节目的观众虚拟形象的动作数据。
发布者终端3，将接收的动作数据反映到观众的虚拟形象上，并渲染VR空间。
控制器101，配备按钮等操作装置。发布者操作按钮，可以使发布者的虚拟形象做出预先确定的动作。与本实施例相关的操作，例如，指定对观众应援做出回应的时间的操作。当观众的虚拟形象应援发布者的虚拟形象，发布者指定做出回应的时间时，发布者终端3将回应信号发送至服务器1。服务器1根据回应信号，对应援发布者的虚拟形象的观众做出回应，使得对实施了应援的观众虚拟形象的回应动作、与对未应援的观众虚拟形象做出的动作不同。
观众终端5是观众观看直播所用的终端。与发布者终端3相同，可使用与HMD连接的个人计算机作为观众终端5。
观众可以参与发布者的节目。具体来说，观众进行参与节目的操作时，观众可控制的观众虚拟形象出现在发布者虚拟形象所在的VR空间。如图2所示，观众也配戴HMD100，双手手持控制器101以控制观众的虚拟形象。参与节目的观众的视点为VR空间内观众的虚拟形象的视点。也就是说，HMD100通过观众的虚拟形象的视点渲染VR空间。
观众可以通过操作控制器101或类似装置应援发布者。观众应援发布者时，观众终端5将应援信号发送至服务器1。
接下来，将参照图3，对服务器1、发布者终端3以及观众终端5的结构示例进行说明。
图3所示的服务器1，具备传输部11、回应部12、应援检测部13以及回应数据存储部14。
传输部11，发送及接收直播服务所需的数据。具体来说，传输部11，从发布者终端3接收发布者的声音及发布者虚拟形象的动作数据，并将声音及动作数据传输至观众终端5。另外，传输部11从参与节目的观众的观众终端5接收观众虚拟形象的动作数据，并将该动作数据传输至发布者终端3及观众终端5。传输部11也可以接收并传输观众的声音。传输部11也可以接收并传输输入的评论(文字信息)。
回应部12，在规定的时间点，将一般动作替换为回应动作发送至实施了应援的观众的观众终端5。一般动作指HMD100及控制器101检测到的发布者的动作相一致的动作。回应动作，指后述的回应数据存储部14存储的回应动作。回应部12，从回应数据存储部14读取回应动作，将其转换成对实施了应援的观众的虚拟形象做出的个别的回应动作，发送至应援观众的观众终端5。例如，作为发布者的虚拟形象做出的回应示例，发布者的虚拟形象视线(脸部)面向观众的虚拟形象，做出眨眼的动作。观众以观众的虚拟形象的视点渲染VR空间，因此，对于应援，观众可以感觉到发布者的虚拟形象的视线是看着自己的。发布者的虚拟形象看着观众的虚拟形象时，也可以在视线方向显示线束或者桃心等效果。
作为回应的示例，也有其他动作，比如发布者的虚拟形象的身体面向观众的虚拟形象、发布者的虚拟形象靠近观众的虚拟形象等。也可以根据观众的应援量(例如刷礼物的量)改变回应。回应动作从后述的回应数据存储部14存储的动作数据中选择。做出回应动作时，发布者的虚拟形象也可以不面向未应援的观众虚拟形象的方向。
回应部12根据从发布者终端3接收的回应信号，决定发布者的虚拟形象做出回应的时间点。或者，也可以不管回应信号如何，将检测出应援后的规定的时间作为回应时间点。回应部12也可以根据发布者的动作决定回应时间点。例如，发布者的虚拟形象两手上举时作为回应时间点。
发布者也可以发送回应动作。在这种情况下，将从发布者终端3接收的回应动作发送至实施了应援的观众的观众终端5，并将回应动作替换为一般动作发送至未应援的观众的观众终端5。
应援检测部13检测出应援了发布者的观众，并通知回应部12对该观众的虚拟形象做出回应动作。例如，应援检测部13，通过从观众终端5接收应援信号，检测出观众的应援。应援检测部13也可以基于观众的虚拟形象的动作检测出对发布者的应援。例如，当观众虚拟形象向发布者挥手时，应援检测部13检测出了观众应援发布者。或者，应援检测部13，检测出观众的声援时，也可以作为检测出了观众对发布者的应援。
回应数据存储部14存储回应动作数据。回应数据存储部14可以存储多种回应动作。
发布者终端3，具备VR功能部31以及回应指示部32。
VR功能部31具有渲染VR空间的功能、将发布者的动作反映到VR空间内的发布者虚拟形象上的功能等在VR空间内进行直播所需的功能。例如，VR功能部31基于HMD100检测出的发布者的头部动作及控制器101检测出的发布者的手部动作，决定发布者的虚拟形象的动作，并将动作数据发送至服务器1。
回应指示部32接收发布者的回应操作，并将回应信号发送至服务器1。例如，当操作控制器101的按钮时，向服务器1发送回应信号。由服务器1判断对应援的回应时间点时，发布者终端3不需要直接从发布者接受回应操作。
观众终端5具备VR功能部51及应援指示部52。
VR功能部51具有渲染VR空间的功能、将观众的动作反映到VR空间内的观众虚拟形象上的功能等观看在VR空间内的直播所需的功能。
应援指示部52，接收观众的应援操作，将应援信号发送至服务器1。应援指示部52，根据需要，让观众的虚拟形象做出应援动作。
观众的应援，例如，有刷礼物，挥手等行为。观众刷礼物时，由应援指示部52向服务器1发送应援信号。可以将应援操作配置在控制器101的按钮中，当观众操作该按钮时，发送应援信号，同时也可以让观众的虚拟形象做出应援动作。
服务器1、发布者终端3以及观众终端5具备的各部分，由配备演算处理装置、存储装置等的计算机构成，各部分的处理可以通过程序实施。该程序存储在服务器1、发布者终端3以及观众终端5配备的存储装置中，可以储存在磁盘、光盘、半导体内存等存储介质中，也可以通过网络提供。
接下来，参照图4的片段图，对直播的开始以及观众的参与进行说明。
发布者使用发布者终端3开始直播的操作时，发布者终端3，通知服务器1开始直播(步骤S11)。
开始直播时，发布者终端3检测出发布者的操作及动作，将控制发布者虚拟形象的动作数据发送至服务器1(步骤S12)。服务器1将动作数据传输至观看直播的观众终端5A～5C。直播期间，持续从发布者终端3向服务器1发送动作数据，以及从服务器1向观众终端5A～5C传输动作数据。
观众A使用观众终端5A进行参与节目的操作时，观众终端5A通知服务器1参与节目(步骤S13)。
观众A参与节目时，观众终端5A检测出观众的操作及动作，将控制观众虚拟形象的动作数据发送至服务器1(步骤S14)。服务器1将动作数据传输至发布者终端3及其他观众终端5B、5C。参与节目期间，持续从观众终端5A向服务器1发送动作数据，以及从服务器1向发布者终端3及观众终端5B、5C传输动作数据。
以下，与观众A的情况相同，观众B使用观众终端5B进行参与节目的操作时，观众终端5B通知服务器1参与节目(步骤S15)。将控制观众B的虚拟形象的动作数据发送至服务器1(步骤S16)。
观众C使用观众终端5C进行参与节目的操作时，观众终端5C通知服务器1参与节目(步骤S17)。将控制观众C的虚拟形象的动作数据发送至服务器1(步骤S18)。
图5表示观众参与的VR空间的样貌。如该图所示，VR空间内，并非仅有舞台上的发布者的虚拟形象300，舞台下还有参与节目的观众的虚拟形象500A～500E。观众并非仅仅看到发布者虚拟形象300，还可以看到参与节目的观众A～E的虚拟形象500A～500E。
发布者可以将发布者的虚拟形象300的位置作为视点观看VR空间。观众A～E，可以将观众虚拟形象500A～500E各自的位置作为视点观看VR空间。也就是说，发布者终端3，基于发布者的虚拟形象300的面部位置及面部朝向渲染VR空间，观众终端5，基于观众的虚拟形象500A～500E各自的面部位置及面部朝向渲染VR空间。图5所示的场合，观众A～E，分别从不同的位置不同的角度观看发布者的虚拟形象300。
未参与节目的观众的视点，例如，可以是发布者在VR空间内任意位置设定的虚拟照相机的位置。
接下来，参照图6的序列图，对观众应援及发布者回应进行说明。
观众A操作观众终端5A应援发布者时，观众终端5A向服务器1发送应援信号，服务器1通知(步骤S21)发布者终端3观众A做出了应援这一讯息。此时，假设观众B、C未应援。
发布者确认观众A对自己实施了应援的事宜，操作发布者终端3向服务器1发送(步骤S22)回应信号。发布者发送回应信号进行回应操作时，发布者自身无需回应。发布者终端3，根据发布者的动作向服务器1发送(步骤S23)一般动作。此外，服务器1决定回应时间点时，无需进行步骤S22所述的回应信号发送处理。
服务器1，接收到回应信号时，将一般动作替换为回应动作发送至发出应援信号的观众终端5A(步骤S24)，对于未发送应援信号的观众终端5B、5C，则发送一般动作(步骤S25、S26)。存在多个发送应援信号的观众终端5时，分别向发送应援信号的每一个观众终端5发送专用的回应动作。
图7为发布者回应时的VR空间的样貌。该图中，假设观众A,E(观众的虚拟形象500A，500E)实施了应援。
在发布者的虚拟形象300对应援回应的时间点，对于实施了应援的观众的虚拟形象500A,500E，发布者的虚拟形象300分别对观众的虚拟形象500A,500E进行回应。具体来说，服务器1在发布者的虚拟形象300做出回应时，向观众虚拟形象500A的观众终端5A发送观众虚拟形象500A专用的回应动作，向观众虚拟形象500E的观众终端5E发送观众虚拟形象500E专用的回应动作。向观众终端500B,500C,500D的观众终端5B,5C,5D发送通用的一般动作。观众A观看到的VR空间中发布者的虚拟形象，为靠近观众虚拟形象500A的发布者虚拟形象300A的状态。观众E观看到的VR空间中发布者的虚拟形象，为靠近观众虚拟形象500E的发布者虚拟形象300E的状态。观众B,C,D观看到的VR空间中发布者的虚拟形象，为位于舞台中央的发布者虚拟形象300的状态。也就是说，发布者的虚拟形象做出回应时，观众A看到的发布者的虚拟形象300A是专用于观众虚拟形象500A的回应动作，观众E看到的发布者的虚拟形象300E是专用于观众虚拟形象500E的回应动作，观众B,C,D看到的是做出一般动作的发布者虚拟形象300。发布者虚拟形象的回应结束时，向观众终端5A～5E传输通用的发布者虚拟形象的一般动作。
此外，回应动作中，也可以不移动发布者虚拟形象300的位置，将视线面向观众的虚拟形象500A,500E，分别挥手致意等动作。此时，也同样分别向实施了应援的观众虚拟形象500A,500E发送专用的回应动作。
如上所述，发布者的虚拟形象300回应应援时，通过让发布者的虚拟形象300A、300E向实施了应援的观众虚拟形象500A、500E做出专用回应动作，与对未应援的观众虚拟形象500B、500C、500D做出的动作不同，观众A、E分别得到发布者虚拟形象的回应。
(第2实施例)
第2实施例中，由观众终端进行替换处理—将发布者虚拟形象的一般动作替换为回应动作。整体的系统构成与第1实施例相同。
参照图8，对第2实施例中直播所用的服务器1、发布者终端3以及观众终端5的构成示例进行说明。
服务器1配备传输部11。传输部11与第1实施例中的服务器1的传输部11相同，发送及接收直播服务所需的数据。
发布者终端3配备VR功能部31。VR功能部31与第1实施例中的发布者终端3的VR功能部31相同，具有在VR空间内直播所需的功能。
观众终端5，具备VR功能部51、应援指示部52、回应部53以及回应数据存储部54。
VR功能部51与第1实施例中的观众终端5的VR功能部31相同，具有在VR空间内直播所需的功能。并且，VR功能部51，根据回应部53的指示，将从服务器1接收的发布者虚拟形象的一般动作替换为回应动作，渲染VR空间。
应援指示部52，接收观众的应援操作并通知回应部53。应援指示部52根据需要，让观众的虚拟形象做出应援动作。与第1实施方式不同的是，不向服务器1发送应援信号。此外，应援指示部52，与第1实施例相同，也可以将应援信号发送至服务器1。
应援指示部52输入应援操作时，回应部53在规定的时间点，将服务器1传输的发布者虚拟形象的动作替换为回应动作。规定的时间点由回应部53判断确定。例如，规定的时间点可以考虑是发布者的虚拟形象在应援动作结束之时。也可以从服务器1或发布者终端3接收回应信号以确定回应的时间点。
回应数据存储部54，与第1实施例中的服务器1的回应数据存储部14相同，用于存储回应动作的数据。
接下来，参照图9的流程图，对观众终端5的处理过程进行说明。
应援指示部52输入应援操作时，观众虚拟形象在对发布者虚拟形象应援的同时，通知回应部53应援了发布者这一事宜(步骤S31)。也可以将观众实施了应援这一事宜通知发布者。
回应部53，判断确定是否为回应时间点(步骤S32)。
到达回应时间点时，回应部53将服务器1传输的发布者虚拟形象的动作替换为回应数据存储部14存储的回应动作(步骤S33)。
接下来，参照图10的片段图，对观众应援做出的回应进行说明。
观众A在观众终端5A输入应援操作(步骤S41)。
发布者终端3向服务器1发送一般动作(步骤S42)，服务器1将一般动作传输至观众终端5A～5C(步骤S43～S45)。
观众终端5A，在回应时间点时，将服务器1传输的一般动作替换为回应动作(步骤S46)。
如上所述，观众终端5A检测出应援，并且观众终端5A自身将发布者虚拟形象的动作替换为回应动作，观众也可以得到发布者虚拟形象的回应。
(第3实施例)
第3实施例中，由发布者终端将发布者虚拟形象的一般动作替换为回应动作。第3实施例中，发布者终端3，不通过服务器1，直接对观众终端5进行直播。当然，也可以通过服务器1进行直播。此外，在第2实施例中，也可以不通过服务器1进行直播。
参照图11，对第3实施例中直播服务所用的发布者终端3、以及观众终端5的构成示例进行说明。图11中仅1台观众终端5，但是实际上，发布者终端3向多台观众终端5进行直播。
发布者终端3具备VR功能部31、回应指示部32、回应部33、应援检测部34以及回应数据存储部35。
VR功能部31，与第1实施例中的发布者终端3的VR功能部31相同，具有在VR空间内直播所需的功能。
回应指示部32，接收发布者的回应操作，并通知回应部33。
回应部33，根据回应指示部32的指示，将一般动作替换为回应动作，发送至实施了应援的观众终端5。
应援检测部34，检测出应援发布者的观众，并将应援了发布者的观众通知回应部33。
回应数据存储部35，与第1实施例中服务器1的回应数据存储部14相同，存储回应动作的数据。
接下来，参照图12的流程图，对发布者终端3的处理过程进行说明。
应援检测部34检测出观众的应援时，则通知回应部33(步骤S51)，回应部33等待回应指示部32的指示(步骤S52)。
回应指示部32接收回应操作并通知回应部33，回应部33向实施了应援的观众的观众终端5发送回应数据存储部35存储的回应动作(步骤S53)，向未实施应援的观众的观众终端5发送一般动作(步骤S54)。
接下来，参照图13的片段图，对观众应援的回应进行说明。
观众A操作观众终端5A应援发布者时，观众终端5A向发布者终端3发送应援信号(步骤S61)。
发布者确认观众A对自己实施了应援后，向发布者终端3输入回应操作(步骤S62)。
发布者终端3向发送了应援信号的观众终端5A发送回应动作(步骤S63)，向其他观众终端5B、5C发送一般动作(步骤S64、S65)。
虽然上述各实施例为实时传输，但是不仅限于实时传输，过去已经直播的、或者播放准备好的VR空间内的直播节目(也称为“录像回放”)等也适用于各实施例。录像回放中，将包括发布者虚拟形象的动作数据在内的用于渲染VR空间所需的数据提前存储于服务器或其他装置中。服务器根据观众终端的请求，将VR空间内的节目播放所需的数据(例如，发布者的声音及发布者虚拟形象的动作数据等)传输至观众终端。观众终端基于接收的数据渲染VR空间播放节目。录像回放中也可以实施暂时停止、倒回、快进等操作。
虽然已事先存储了用于录像回放的节目数据，但是通过适用各实施例，发布者的虚拟形象可对观众的应援作出回应。如第2实施例所示，在回应动作数据存储于观众终端的情况下，观众终端检测到观众的应援操作时，立即或经过规定的时间后，读取观众终端事先存储的发布者虚拟形象的回应动作数据，并将服务器传输的发布者虚拟形象的动作数据替换为回应动作数据。由此，观众可以看到发布者对观众的应援做出回应的演出。也可以设定禁止替换发布者虚拟形象动作的区间。例如，发布者虚拟形象唱歌期间禁止替换动作，间奏期间作出回应。录像回放中，当观众没有参与节目时，观众未参与节目时，发布者也可以向观众终端渲染VR空间时的虚拟照相机做出回应动作。
录像回放适用于第1实施例及第3实施例时也与上述情况相同，存储了回应动作数据的服务器或发布者终端，检测观众的应援，将发布者虚拟形象的动作替换为回应动作，仅向该观众终端发送。
如上所述，本实施例中，检测出观众虚拟形象对发布者虚拟形象的应援，发布者虚拟形象对应援做出回应时，通过向实施了应援的观众虚拟形象做出回应动作，向未实施应援的观众虚拟形象做出一般动作而非回应动作，可对实施了应援的观众虚拟形象单独做出回应动作，因此，观众可以更加准确的得到发布者的回应。
此外，各实施例中，说明了将包括替换后的数据在内的VR空间的动作数据、外观数据、骨架数据等从服务器1或分发者终端3发送至观众终端5，由接收了数据的观众终端5进行渲染的结构。在通过直播以及录像回放的任一种实施例中，服务器1或发布者终端3都可以渲染VR空间。例如，由服务器1进行动作替换的第1实施例中，也可以由发布者终端3或观众终端5向服务器1发送虚拟照相机的位置以及摄影方向等的信息，服务器1基于虚拟照相机的信息，渲染VR空间生成图像，并向观众终端5发送生成的图像。无论是哪一种构成，检测出应援的观众终端5，可以看到将一般动作替换为回应动作后的渲染图像。同样，第3实施例，也可以由发布者终端3渲染VR空间并发送图像。

Claims (7)

1.一种通信装置，其特征在于：
在同一个虚拟空间内的发布者虚拟形象与观众虚拟形象之间进行通信的通信装置；
检测第1观众的虚拟形象对发布者的虚拟形象的应援的应援检测部；
在所述发布者虚拟形象对应援做出回应时，对应援了所述发布者虚拟形象的动作的所述第1观众虚拟形象做出的动作与对未进行应援的第2观众的虚拟形象做出的动作不同的回应部。
2.如权利要求1所述的通信装置，其特征在于：所述回应部在发布者控制的虚拟形象指示的时间点，使对所述第1观众虚拟形象以及对所述第2观众虚拟形象动作不同。
3.如权利要求1或权利要求2所述的通信装置，其特征在于：所述回应部，对所述第1观众虚拟形象做出的动作及对所述第2观众虚拟形象做出的动作中任一个动作，使用的是该通信装置保存的动作数据。
4.如权利要求1至权利要求3所述的任一通信装置，其特征在于：所述回应部，根据所述第1观众虚拟形象的应援量改变对所述第1观众虚拟形象的动作。
5.一种通信装置，其特征在于：
在同一个虚拟空间内的发布者虚拟形象与观众虚拟形象之间进行通信的通信装置；
传输部，用于从发布者终端接收所述发布者虚拟形象的动作并传输、从观众终端接收所述观众虚拟形象的动作并传输；
应援检测部，用于从所述观众终端接收对所述发布者虚拟形象的应援信号；
以及回应部，在向应援所述发布者虚拟形象的观众发送回应时，使向发送了所述应援信号的观众终端传输的所述发布者虚拟形象的动作与向未发送所述应援信号的观众终端传输的所述发布者虚拟形象的动作不同。
6.一种通信方法，其特征在于：
通过在同一个虚拟空间内的发布者虚拟形象与观众虚拟形象之间进行通信的通信装置进行通信的通信方法；
具有检测第1观众虚拟形象对发布者虚拟形象应援的步骤；
以及当所述发布者虚拟形象对应援做出回应时，对应援了所述发布者虚拟形象动作的所述第1观众虚拟形象的动作、与对未进行应援的第2观众的虚拟形象的动作不同的步骤。
7.一种通信程序，其特征在于，
使作为同一虚拟空间中的发布者虚拟形象和观众虚拟形象之间进行通信的通信装置的各部分的计算机运行的通信程序，
处理第1观众虚拟形象对发布者虚拟形象的应援的检测；
以及当所述发布者虚拟形象对应援做出回应时，对应援了所述发布者虚拟形象动作的所述第1观众虚拟形象的回应动作、与对未进行应援的第2观众的虚拟形象做出的动作进行不同的处理。
CN201980094223.XA 2019-03-29 2019-10-25 通信装置、通信方法及通信程序 Pending CN113678111A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-066719 2019-03-29
JP2019066719A JP6644928B1 (ja) 2019-03-29 2019-03-29 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
PCT/JP2019/041893 WO2020202616A1 (ja) 2019-03-29 2019-10-25 コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム

Publications (1)

Publication Number Publication Date
CN113678111A true CN113678111A (zh) 2021-11-19

Family

ID=69412196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980094223.XA Pending CN113678111A (zh) 2019-03-29 2019-10-25 通信装置、通信方法及通信程序

Country Status (4)

Country Link
US (2) US11500456B2 (zh)
JP (1) JP6644928B1 (zh)
CN (1) CN113678111A (zh)
WO (1) WO2020202616A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6644928B1 (ja) * 2019-03-29 2020-02-12 株式会社ドワンゴ 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
US20200265526A1 (en) * 2019-10-02 2020-08-20 Mark Ogunsusi Method and system for online matchmaking and incentivizing users for real-world activities
JP7398655B2 (ja) * 2020-04-14 2023-12-15 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP7442091B2 (ja) * 2020-04-30 2024-03-04 グリー株式会社 動画配信装置、動画配信方法及び動画配信プログラム
JP7356662B2 (ja) * 2020-05-26 2023-10-05 グリー株式会社 コンピュータプログラム、及び方法
CN117044192A (zh) * 2021-03-24 2023-11-10 雅马哈株式会社 图像生成装置、图像生成方法
WO2023233849A1 (ja) * 2022-06-03 2023-12-07 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324709A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 擬似出張用情報送信方法、擬似出張用情報送信装置、擬似出張用情報送信プログラムおよび擬似出張用情報再生方法、擬似出張用情報再生装置、擬似出張用情報再生プログラム
CN106540450A (zh) * 2016-10-21 2017-03-29 苏州天平先进数字科技有限公司 一种基于虚拟人物的用户互动方法
CN107248185A (zh) * 2017-05-31 2017-10-13 珠海金山网络游戏科技有限公司 一种虚拟仿真偶像实时直播方法及系统
JP2018007828A (ja) * 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント プログラム及び電子機器

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040103146A1 (en) * 2002-11-26 2004-05-27 Seung-Hun Park Method and system for physically exercising with plurality of participants using network
JP5122407B2 (ja) * 2008-09-08 2013-01-16 株式会社タイトー コンテンツ編集サーバ及びコンテンツ編集プログラム
US8812358B2 (en) * 2009-03-19 2014-08-19 Motorola Mobility Llc Method of providing a shared virtual lounge experience
US8392839B2 (en) * 2009-08-27 2013-03-05 International Business Machines Corporation System and method for using partial teleportation or relocation in virtual worlds
US8667402B2 (en) * 2010-03-10 2014-03-04 Onset Vi, L.P. Visualizing communications within a social setting
US20110225519A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Social media platform for simulating a live experience
US20110244954A1 (en) * 2010-03-10 2011-10-06 Oddmobb, Inc. Online social media game
KR20120035529A (ko) * 2010-10-06 2012-04-16 삼성전자주식회사 휴대용 단말기에서 적응적 제스처 인식 장치 및 방법
US20120156652A1 (en) * 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
US20170262877A1 (en) * 2011-11-05 2017-09-14 Neil S. Davey Virtual communication platform
CN104184760B (zh) * 2013-05-22 2018-08-07 阿里巴巴集团控股有限公司 通讯过程中的信息交互方法、客户端及服务器
JP5726987B2 (ja) 2013-11-05 2015-06-03 株式会社 ディー・エヌ・エー コンテンツの配信システム、配信プログラム及び配信方法
EP3192058A4 (en) * 2014-09-08 2018-05-02 Simx LLC Augmented reality simulator for professional and educational training
US10354256B1 (en) * 2014-12-23 2019-07-16 Amazon Technologies, Inc. Avatar based customer service interface with human support agent
EP3268916A4 (en) * 2015-03-11 2018-10-24 Ventana 3D LLC Holographic interactive retail system
US11071919B2 (en) * 2015-06-30 2021-07-27 Amazon Technologies, Inc. Joining games from a spectating system
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10969861B2 (en) * 2017-02-23 2021-04-06 Sony Corporation Image processing device, image processing method, and image system
US10453172B2 (en) * 2017-04-04 2019-10-22 International Business Machines Corporation Sparse-data generative model for pseudo-puppet memory recast
DK179948B1 (en) * 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
JP2018110377A (ja) * 2017-10-31 2018-07-12 株式会社ドワンゴ 配信システム、配信サーバ、端末およびプログラム
JP6454883B1 (ja) * 2018-02-22 2019-01-23 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム
JP6469279B1 (ja) * 2018-04-12 2019-02-13 株式会社バーチャルキャスト コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
JP6745301B2 (ja) * 2018-07-25 2020-08-26 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム
US11103773B2 (en) * 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
US11244381B2 (en) * 2018-08-21 2022-02-08 International Business Machines Corporation Collaborative virtual reality computing system
US11328175B2 (en) * 2018-09-12 2022-05-10 [24]7.ai, Inc. Method and apparatus for facilitating training of agents
US11257496B2 (en) * 2018-09-26 2022-02-22 [24]7.ai, Inc. Method and apparatus for facilitating persona-based agent interactions with online visitors
US10911718B2 (en) * 2018-11-02 2021-02-02 Cisco Technology, Inc. Enhancing meeting participation by an interactive virtual assistant
US10930275B2 (en) * 2018-12-18 2021-02-23 Microsoft Technology Licensing, Llc Natural language input disambiguation for spatialized regions
US10789952B2 (en) * 2018-12-20 2020-09-29 Microsoft Technology Licensing, Llc Voice command execution from auxiliary input
JP7094216B2 (ja) * 2018-12-28 2022-07-01 グリー株式会社 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP6644928B1 (ja) * 2019-03-29 2020-02-12 株式会社ドワンゴ 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
CN116360601A (zh) * 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US20220036433A1 (en) * 2020-07-31 2022-02-03 Confer With Limited Shared Virtual Shopping Basket

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324709A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 擬似出張用情報送信方法、擬似出張用情報送信装置、擬似出張用情報送信プログラムおよび擬似出張用情報再生方法、擬似出張用情報再生装置、擬似出張用情報再生プログラム
JP2018007828A (ja) * 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント プログラム及び電子機器
CN106540450A (zh) * 2016-10-21 2017-03-29 苏州天平先进数字科技有限公司 一种基于虚拟人物的用户互动方法
CN107248185A (zh) * 2017-05-31 2017-10-13 珠海金山网络游戏科技有限公司 一种虚拟仿真偶像实时直播方法及系统

Also Published As

Publication number Publication date
US11861058B2 (en) 2024-01-02
JP6644928B1 (ja) 2020-02-12
JP2020166575A (ja) 2020-10-08
US20230075863A1 (en) 2023-03-09
US20220083126A1 (en) 2022-03-17
US11500456B2 (en) 2022-11-15
WO2020202616A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
CN113678111A (zh) 通信装置、通信方法及通信程序
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP6679747B2 (ja) 仮想現実（ｖｒ）ユーザインタラクティブ性に関連付けられた仮想現実環境の観戦
JP6663505B2 (ja) Ｖｒ環境における観客ビュー視点
JP7057756B2 (ja) 仮想現実（ｖｒ）環境におけるｖｒユーザの観客ビュー追跡
US9818225B2 (en) Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
CN106659932B (zh) 头戴式显示器中的传感刺激管理
KR100443602B1 (ko) 대화형 오락 장치 및 제어 방법
US20170142486A1 (en) Information processing device, display device, information processing method, program, and information processing system
JP2019533226A (ja) 人による追跡装置のオクルージョンの影響を低減するシステム及び方法
US10802787B2 (en) Integrating audience participation content into virtual reality content
JP2019186799A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2015523886A (ja) クラウド型ゲームシステムにおける描画リソースの動的割り当て
KR101839122B1 (ko) 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템 및 다중 접속 가상공간에서 3d 가상현실 영상을 제공하는 방법
JP2023129445A (ja) コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム
CN111447979A (zh) 游戏运行装置及游戏程序
US11468605B2 (en) VR real player capture for in-game interaction view
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
WO2020095368A1 (ja) 情報処理システム、表示方法およびコンピュータプログラム
US11206452B2 (en) Video display system, information processing apparatus, and video display method
CN109005441B (zh) 虚拟完赛场景播放方法、装置、终端及服务器
CN115150555B (zh) 视频录制方法、装置、设备及介质
KR101915065B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 시스템 및 그 시스템의 동작 방법
JP6533022B1 (ja) 端末、サーバおよびプログラム
JP6665273B1 (ja) コンテンツ配信システム、受信装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination