CN117044192A - 图像生成装置、图像生成方法 - Google Patents

Abstract

一种图像生成装置，其在将由表演者演奏的曲子经由通信网络对多个观众的终端装置实时地进行传送的现场直播传送系统中使用，该图像生成装置具有：取得部，其取得与对所述传送进行视听的观众的动作相对应的动作信息；以及图像生成部(104)，其生成使得将在与所述演奏相对应的虚拟空间配置的多个观众的虚拟形象按组区分出的虚拟形象组基于所述动作信息进行动作的图像。

Description

图像生成装置、图像生成方法

技术领域

本发明涉及一种图像生成装置、图像生成方法。

背景技术

存在对摄像到歌唱、演奏的情形的影像进行现场直播(Live)传送的系统(例如，专利文献1)。在该系统中，歌唱者、演奏者等表演者各自在不同的场所进行演奏。在演奏场所分别设置有摄像机。中心对从各摄像机得到的影像进行合成并作为传送影像传送至接收终端。

专利文献1：日本特开2008－131379号公报

发明内容

但是，在实际的现场直播中，表演者一边观察处于观众席的来宾的反应一边进行演奏。因此，在现场直播传送中，也优选一边观察观众的反应一边进行演奏。另外，在观众中还存在想要掌握以何种方式享受正演奏的曲子较好、其他观众的情形的人。因此，期望能够对现场直播传送的观众的反应进行共享。

本发明就是鉴于这种情况而提出的，其目的在于对现场直播传送的观众的反应进行共享。

本发明的一个方式是一种图像生成装置，其在将由表演者演奏的曲子经由通信网络对多个观众的终端装置实时地进行传送的现场直播传送系统中使用，该图像生成装置具有：取得部，其取得与对所述传送进行视听的观众的动作相对应的动作信息；以及图像生成部，其生成使得将在与所述演奏相对应的虚拟空间配置的多个观众的虚拟形象按组区分出的虚拟形象组基于所述动作信息进行动作的图像。

另外，本发明的一个方式是一种图像生成方法，其由在现场直播传送系统中使用的计算机执行，在该现场直播传送系统中将由表演者演奏的曲子经由通信网络对多个观众的终端装置实时地进行传送，在该图像生成方法中，取得与对所述传送进行视听的观众的动作相对应的动作信息，生成使得将在与所述演奏相对应的虚拟空间配置的多个观众的虚拟形象按组区分出的虚拟形象组基于所述动作信息进行动作的图像。

发明的效果

能够对现场直播传送的观众的反应进行共享。

附图说明

图1是表示现场直播传送系统1的结构的概略框图。

图2是表示现场直播传送装置10的结构的概略功能框图。

图3是说明现场直播传送系统1的处理的流程的时序图。

图4是表示在观众的终端装置的显示画面上显示的图像的一个例子的图。

图5是表示在表演者的终端装置的显示画面上显示的图像的一个例子的图。

具体实施方式

以下，参照附图对本发明的一个实施方式涉及的图像生成装置进行说明。

图1是表示使用了本发明的一个实施方式涉及的图像生成装置的现场直播传送系统1的结构的概略框图。

现场直播传送系统1的现场直播传送装置10、设计者终端20、表演者装置组P1、表演者装置组P2、观众装置组A1、观众装置组A2经由网络N而可通信地连接。

现场直播传送装置10将与表演者进行的现场直播演奏相对应的内容实时地传送(现场直播传送)至观众的终端。

现场直播传送装置10在演奏1个乐曲的情况下，即使在表演者汇集于1个部位的现场直播会场进行演奏的情况和针对1个乐曲由各个表演者在不同的现场直播会场对不同的声部进行演奏的情况这样的任意情况下都能够进行现场直播传送。现场直播传送装置10在表演者在不同的现场直播会场分别进行演奏的情况下，对从设置于各现场直播会场的各个表演者装置组得到的演奏数据进行合成，作为现场直播传送数据发送至观众的装置。

现场直播会场如果是如自己家、工作室、现场直播会场等这样能够进行演奏的场所，则可以是任意场所。

表演者装置组P1和表演者装置组P2各自由在现场直播演出的表演者利用。这里，作为例子而说明如下例子，即，针对1个曲子由利用表演者装置组P1的表演者和利用表演者装置组P2的表演者各自在不同的现场直播会场进行演奏。此外，针对1个曲子，可以不在多个现场直播会场进行演奏而是在1个现场直播会场进行演奏。在该情况下，利用1个表演者装置组。这里，对表演者装置组为2个的情况进行说明，但在演奏的场所为3处以上的情况下，也可以在各个演奏场所设置表演者装置组。例如，在如主唱、吉他、贝斯、鼓、键盘等这样演奏声部不同的情况下，能够分别使用不同的演奏装置组而从不同的演奏场所进行演奏。

表演者装置组P1包含终端装置P11、拾音装置P12和摄像机P13。

终端装置P11与拾音装置P12和摄像机P13可通信地连接，并且与网络N可通信地连接。终端装置P11具有鼠标和键盘、或触摸面板等各种输入装置，并且具有显示装置。

终端装置P11例如为计算机。

拾音装置P12对声音进行拾音，将与拾音到的声音相对应的音信号输出至终端装置P11。拾音装置P12只要具有对从乐器输出的演奏音进行拾音的音传感器、将从电子乐器输出的音信号进行输入的输入装置、对表演者的歌唱音进行拾音的传声器之中的任1个功能即可。这里，针对终端装置P11而连接有1个拾音装置P12，但也可以连接有多个拾音装置。例如，在表演者一边歌唱一边对乐器进行演奏的情况下，能够使用作为传声器的拾音装置和对乐器的声音进行拾音的拾音装置。

摄像机P13对利用表演者装置组P1的表演者进行摄像，将摄像数据输出至终端装置P11。摄像数据例如为动画数据。

表演者装置组P2包含终端装置P21、拾音装置P22和摄像机P23。终端装置P21具有与终端装置P11相同的功能，拾音装置P22具有与拾音装置P12相同的功能，摄像机P23具有与摄像机P13相同的功能，因此省略其说明。

设计者终端20由负责与现场直播传送相关的内容的演出的设计者利用。设计者终端20对现场直播传送装置10输入用于使虚拟形象组动作的设定信息。设定信息能够使用会场的设计、与乐曲相对应的虚拟形象(Avatar)的动作模式、将观众席按组区分出的分组的分配等之中的至少1个信息。

观众装置组A1和观众装置组A2分别由对现场直播传送进行视听的观众利用。观众装置组A1和观众装置组A2分别由不同的观众利用。

观众装置组A1包含终端装置A11和运动传感器A12。

终端装置A11具有鼠标和键盘、或触摸面板等各种输入装置，并且具有显示装置。终端装置A11与运动传感器A12可通信地连接，并且与网络N可通信地连接。

终端装置P11例如使用计算机、智能手机、平板等任意装置。

终端装置A11从现场直播传送装置10接收图像信号，将图像信号显示于显示画面。终端装置A11在对图像信号进行显示的情况下，能够使虚拟空间的视听位置与来自观众的操作输入相对应地进行变更。终端装置P11基于图像信号，生成示出了虚拟空间的现场直播会场的虚拟空间的三维信息，生成对表示从被指定的视听位置可看到的现场直播会场的三维信息进行显示的图像信号。终端装置P11将该生成的图像信号显示于显示画面。

运动传感器A12对利用终端装置组A1的观众的动作进行检测，生成与检测到的动作相对应的动作信息并输出至外部。运动传感器A12与终端装置A11可通信地连接，将动作信息输出至终端装置A11。

运动传感器A12对观众进行摄像，基于摄像结果对观众的姿态进行检测，根据检测结果对观众的动作进行检测。所检测的动作例如可以是观众是否站立、是否抬起手臂、是否进行将身体向左右方向摇晃的动作、是否进行将手向左右挥动的动作等之中的至少任1个。在该情况下，运动传感器A12安装于终端装置A11的显示装置附近，预先调整拍摄方向，以使得观众对现场直播传送进行视听的情形落入摄像范围。

运动传感器A12在基于图像对观众的动作进行检测的情况下，能够对观众移动后的身体的部位、动作的方向、动作的速度等进行检测，生成包含上述的动作信息并向终端装置输出。另外，运动传感器A12可以生成表示特定的部位是否已移动的动作信息。在该情况下，运动传感器A12能够通过表示是否已移动的二值的值而表示动作信息。因此，能够通过少的信息量(低维的信息)表示动作信息，能够降低从观众的终端装置向现场直播传送装置10发送动作信息的发送处理涉及的负荷，还能够降低网络N涉及的负荷。

运动传感器A12可以是加速度传感器、陀螺仪传感器等。在该情况下，运动传感器A12安装于观众的身体，或是保持为被观众的手握持。在使用加速度传感器、陀螺仪传感器的情况下，运动传感器A12也可以通过观众是否已移动的二值表示动作信息。

此外，运动传感器A12可以具有与网络N连接的功能。在该情况下，运动传感器A12可以不是经由终端装置A11将动作信息发送至网络N的运动传感器，而是将动作信息不经由终端装置A11而发送至网络N。关于终端装置A11和运动传感器A12由同一观众利用，可以通过在对现场直播传送进行视听时使用相同的登录ID和密码进行登录而识别为同一用户。另外，也可以通过在终端装置A11输入运动传感器A12的个体识别编号而进行用户登录。

观众装置组A2包含终端装置A21和运动传感器A22。终端装置A21具有与终端装置A11相同的功能，运动传感器A22具有与运动传感器A12相同的功能，因此省略其说明。

图2是表示现场直播传送装置10的结构的概略功能框图。

现场直播传送装置10包含通信部101、存储部102、动作判定部130、图像生成部104、音处理部105、同步处理部106、CPU(Central Processing Unit)107和寄送目标信息输出部108。

通信部101与网络N连接，经由网络N与其他装置进行通信。例如，通信部101具有作为取得部的功能，该取得部从观众的终端装置取得与对现场直播传送进行视听的观众的动作相对应的动作信息。

存储部102对各种数据进行存储。

例如，存储部102包含会场数据存储部1021和虚拟形象存储部1022。

会场数据存储部1021对将现场直播会场在虚拟空间中表示的会场数据进行存储。会场数据可以是将现场直播会场在三维空间中表示的三维数据。

虚拟形象存储部1022对表示在虚拟空间的现场直播会场配置的虚拟形象的图像数据进行存储。虚拟形象可以为针对各观众而相同的设计，也可以为针对至少一部分的观众而与观众对应地不同的设计。在虚拟形象使用与观众相对应的设计的情况下，虚拟形象存储部1022对表示每个听者(用户)的虚拟形象的设计的虚拟形象数据进行存储。这里，能够在虚拟空间上的现场直播会场设置的商品卖场中，利用电子货币等而购买虚拟形象的形状、虚拟形象可穿戴的衣服或视频等项目。观众能够在商品卖场中根据喜好而购买虚拟形象的形状、项目，设定于自身的虚拟形象。

存储部102是存储介质例如HDD(Hard Disk Drive)、闪存、EEPROM(ElectricallyErasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、或这些存储介质的任意组合。该存储部102例如可以使用非易失性存储器。

动作判定部103基于从观众的终端装置发送来的动作信息，判定观众进行了何种动作。作为观众的动作，例如可以为观众是否站立、是否抬起手臂、是否进行将身体向左右方向摇晃的动作、是否进行将手向左右挥动的动作等之中的至少任1个。

图像生成部104生成与由表演者进行演奏的曲子相对应的图像信号。图像生成部104包含舞台合成部1041和观众席合成部1042。

舞台合成部1041将摄像到演奏曲子的表演者的摄像数据合成于会场数据表示的虚拟空间的现场直播会场的舞台上的位置。

观众席合成部1042将与观众对应的虚拟形象合成于虚拟空间的现场直播会场的观众席的位置。

图像生成部104生成由舞台合成部1041在虚拟空间的现场直播会场合成了表演者的图像、由观众席合成部1042在虚拟空间的现场直播会场的观众席合成了观众的虚拟形象的图像信号。图像生成部104将所生成的图像信号经由通信部101及网络N而发送至观众的终端装置(例如终端装置A11、终端装置A21)。

图像生成部104的观众席合成部1042生成使在现场直播传送的虚拟空间配置的虚拟形象组基于从动作判定部103得到的动作信息进行动作的图像。虚拟形象组是将多个观众的虚拟形象按组区分出的。

观众席合成部1042在生成使虚拟形象组进行动作的图像的情况下，可以使与观众对应的虚拟形象所属的虚拟形象组基于动作信息进行动作。例如，虚拟空间的现场直播会场的座椅的位置可以作为座椅数据而针对每个观众进行分配。关于该座椅，可以对1个观众分配有独立的座椅，也可以分配有能够收容多个观众的区域。观众席合成部1042如果检测到观众的动作信息，则基于座椅数据而判别该观众所属的座椅。观众席合成部1042对包含所判别出的座椅的位置的观众的分组进行确定。观众席合成部1042使观众的动作信息反映于所确定出的分组的多个虚拟形象的动作。

这里，观众席合成部1042可以基于属于分组的1个观众的动作信息而使该分组整体的虚拟形象进行动作。在该情况下，可以与分组的代表性的观众的动作相对应地使分组整体的虚拟形象进行动作。

另外，观众席合成部1042可以基于属于分组的多个观众的动作信息对属于分组的各观众的动作的倾向进行分析，与分析结果相对应地使属于分组的虚拟形象进行动作。例如，在某个分组中，对在曲子的中途进行了跳跃的动作的观众的数量进行检测，在跳跃的人数为基准值以上(例如一半以上)的情况下，使属于该分组的各虚拟形象进行动作(例如跳跃)。由此，可以针对每个分组而与观众的动作的倾向相对应地使虚拟形象组进行动作。

在本实施方式中，对图像生成部104设置于现场直播传送装置10之中的情况进行说明，但也可以作为与现场直播传送装置10分别独立的装置进行设置，进行现场直播传送装置10的通信。

音处理部105生成与由表演者演奏的曲子相对应的音信号。

图像生成部104包含混频器1051和演奏同步部1052。

混频器1051对从各表演者装置组得到的音信号之中的混频对象的音信号进行合成。例如，输入由表演者装置组P1的表演者演奏的乐器(例如吉他)的音信号、表演者装置组P1的表演者的歌唱语音、由表演者装置组P2的表演者演奏的乐器(例如贝斯)的音信号，生成将由表演者装置组P1的表演者演奏的乐器(例如吉他)的音信号和由表演者装置组P2的表演者演奏的乐器(例如贝斯)的音信号进行了混频的音信号(伴奏声部的音信号)。在该情况下，混频器1051输出表演者装置组P1的表演者的歌唱语音的音信号和伴奏声部的音信号这2个系统的音信号。

演奏同步部1052使从对1个曲子进行演奏的各声部的表演者装置组得到的演奏信号同步。例如，演奏同步部1052使由表演者装置组P1的表演者演奏的歌唱语音的演奏信号、由表演者装置组P1的表演者演奏的乐器的演奏信号和由表演者装置组P2的表演者演奏的乐器的演奏信号同步。

同步处理部106使由图像生成部104生成的图像信号和由音处理部105生成的音信号同步。

CPU 107对现场直播传送装置10内的各部分进行控制。

寄送目标信息输出部108输出基于与特殊虚拟形象对应的观众的个人信息的物品的寄送目标信息。

动作判定部103、图像生成部104、音处理部105、同步处理部106、寄送目标信息输出部108之中的至少1个例如在CPU 107等处理装置中可以通过执行计算机程序而实现，也可以由专用的电子电路实现。

接着，对上述的现场直播传送系统1的动作进行说明。

图3是对现场直播传送系统1的处理的流程进行说明的时序图。

设计者终端20与来自设计者的操作输入相对应地将设定信息发送至现场直播传送装置10(步骤S101)。

现场直播传送装置10接收从设计者终端20发送来的设定信息并存储于存储部102(步骤S102)。

如果现场直播传送开始时刻到来，则现场直播传送装置10基于在存储部102存储的设定信息使现场直播传送开始(步骤S103)。这里，现场直播传送装置10接收从表演者装置组P1和表演者装置组P2分别发送来的图像信号和演奏信号，传送将图像信号合成于虚拟空间的现场直播会场的图像信号和演奏信号。

终端装置A11与来自观众的操作输入相对应地，将现场直播传送的请求与进行对现场直播传送进行视听的电子票的购买手续的购买请求一起发送至现场直播传送装置10(步骤S104)。现场直播传送装置10与该购买请求相对应地，将电子票针对终端装置A11的观众分配虚拟空间的现场直播会场的座椅，许可现场直播传送的视听。这里，电子票的购买可以事先预约进行购买，也可以在对现场直播传送进行视听的阶段进行销售。

现场直播传送装置10与来自终端装置A11的现场直播传送的请求相对应地，使图像信号和演奏信号同步而发送至终端装置A11(步骤S105)。由此，开始针对终端装置A11的现场直播传送。

在开始了演奏之后，如果从终端装置P11发送演奏信号(步骤S106)，从终端装置P12发送演奏信号(步骤S107)，则现场直播传送装置10接收演奏信号。现场直播传送装置10将接收到的演奏信号传送至观众的终端装置。这里，现场直播传送装置10还可以将演奏信号分别向表演者的终端装置传送。表演者的终端装置如果从现场直播传送装置10接收到演奏信号，则向扬声器、耳机等输出演奏信号。由此，演奏信号作为声音而输出至外部。由此，表演者能够一边聆听在其他场所演奏的表演者的演奏音一边进行自身的演奏。

终端装置A21与来自观众的操作输入相对应地，对现场直播传送装置10发送现场直播传送的请求(步骤S108)。

现场直播传送装置10与来自终端装置A21的现场直播传送的请求相对应地，将图像信号和演奏信号发送至终端装置A21(步骤S109)。由此，开始针对终端装置A21的现场直播传送。

表演者有时在曲子的中途，不仅进行演奏，还有可能从传声器对观众讲出(呼喊)“后面的各位，能听到嘛”等。在该情况下，虚拟空间的处于现场直播会场的观众席后方侧的座椅的观众能够通过抬起手臂等身体的动作而做出回应。

如果运动传感器A12检测到观众抬起了手臂，则将与检测结果相对应的动作信息输出至终端装置A11。终端装置A11将从运动传感器A12获得的动作信息与终端装置A11的识别信息一起发送至现场直播传送装置10(步骤S110)。

运动传感器A22如果检测到观众抬起了手臂，则将与检测结果相对应的动作信息输出至终端装置A21。终端装置A21将从运动传感器A22获得的动作信息与终端装置A21的识别信息一起发送至现场直播传送装置10(步骤S111)

现场直播传送装置10的动作判定部130如果从终端装置A11和终端装置A21接收到动作信息，则基于各自的动作信息而判定观众的动作。这里，动作判定部130判定为由各自的动作信息表示的动作为抬起手臂的动作(步骤S112)。

图像生成部104基于动作判定部103的判定结果，将动作信息针对观众席的每个分组进行总计。例如，在观众席整体之中的前排侧(舞台附近的座椅组)作为第1分组、后排侧(处于远离舞台的位置的座椅组)作为第2分组进行分配的情况下，图像生成部104对表示从属于第1分组的观众的终端装置接收到的、表示抬起了手臂的动作信息的数量进行计数，对该计数结果是否为基准值以上进行判定。这里，由于表演者的呼唤是针对后排侧的呼唤，因此被分配于前排侧的座椅的观众几乎不会抬起手臂，因此不超过基准值。在该情况下，图像生成部104针对属于第1分组的虚拟形象不进行抬起手臂动作。这里，即使属于第1分组的观众之中的多人进行了抬起手臂动作，也可以使得虚拟空间的在与现场直播会场的第1分组对应的位置配置的虚拟形象都不抬起手臂。

另一方面，在表演者的呼唤为针对后排侧的呼唤、被分配于后排侧的座椅的观众的大多针对曲子而情绪高涨的情况下，观众各自抬起手臂。在该情况下，进行了属于第2分组的观众抬起了手臂动作的动作信息的数量超过基准值。在该情况下，图像生成部104针对属于第2分组的虚拟形象进行抬起手臂的动作。由此，对将属于第2分组的各个虚拟形象的抬起手臂的图像进行合成(步骤S113)。

如果对图像进行合成，则图像生成部104经由通信部101和网络N向观众的终端装置将表示属于第2分组的虚拟形象各自抬起了手臂的图像信号向观众的终端装置和表演者的终端装置各自进行发送(步骤S114)。由此，在各观众的终端装置(例如，终端装置A11、终端装置A21)的显示画面，显示在前排侧配置的虚拟形象处于各自放下了手臂的状态、且在后排侧配置的虚拟形象各自抬起了手臂的图像。在表演者的终端装置(终端装置A11、终端装置A21)的显示画面中也同样地，显示在前排侧配置的虚拟形象各自处于降下了手臂的状态、且在后排侧配置的虚拟形象各自抬起了手臂的图像。

图4是表示在观众的终端装置的显示画面显示的图像的一个例子的图。

在观众的终端装置显示从观众席侧观察到舞台侧的图像。

在观众的终端装置的显示画面400，在配置于前方的舞台上显示表示表演者正进行演奏的情形的图像410，在比舞台更靠近前侧显示表示观众席的情形的图像420。在观众席，接近舞台的区域(前排侧)的座椅组分配为第1分组421、远离舞台的区域(后排侧)的座椅组分配为第2分组422。

如该图所示，观众之中的位于前排侧的观众能够在画面上确认到前排侧的虚拟形象没有抬起手臂，因此在自己没有抬起手臂的情况下，能够掌握自已做出与其他观众相同的反应这一情况。另外，即使自己抬起了手臂，由于与自身对应的虚拟形象处于没有抬起手臂的状态，因此也能够掌握自己的动作与自己的座椅的周围的人不同这一情况。另外，作为自身的虚拟形象的动作，可以显示为做出与自己的座椅的周围的观众相同的动作。

另外，观众之中的位于后排侧的观众能够在画面上确认到后排侧的虚拟形象抬起手臂，因此在自己抬起了手臂的情况下，能够掌握自已做出与其他观众相同的反应这一情况。另外，即使自己没有抬起手臂，由于与自身对应的虚拟形象显示为抬起手臂的状态，因此也能够掌握自己的动作与自己的座椅的周围的人不同这一情况。另外，作为自身的虚拟形象的动作，可以显示为做出与自己的座椅的周围的观众相同的动作。

图5是表示在表演者的终端装置的显示画面显示的图像的一个例子的图。

在表演者的终端装置，显示从舞台侧观察到观众席侧的图像。即，图像生成部104可以具有生成从观众席侧观察到舞台的情况下的图像信号的功能，但也可以具有生成从舞台侧观察到观众席的情况下的图像信号的功能。

在表演者的终端装置的显示画面500，在近前侧显示表示舞台上的情形的图像510，在比舞台更靠里侧显示表示观众席的情形的图像520。在观众席，接近舞台的区域(前排侧)的座椅组分配为第1分组521，远离舞台的区域(后排侧)的座椅组分配为第2分组522。

表演者能够在画面上确认到前排侧(第1分组)的虚拟形象未抬起手臂、后排侧(第2分组)的虚拟形象抬起手臂的情况，因此能够掌握相对于表演者的呼唤而后排侧的观众反应滞后的情况。

这里，在将后排侧的观众是否抬起了手臂这一情况不是以组为单位而是由各自的虚拟形象分别显示的情况下，对于是否抬起了手臂会产生波动。在该情况下，即使在后排侧的座椅有少量的人抬起了手臂，也未必能够充分地感受到观众对所进行的演奏的反应。在本实施方式中，如果抬起了手臂的后排的观众的数量为基准值以上，则属于后排侧的虚拟形象各自抬起手臂，因此对于观众对进行的演奏的反应，能够感受到响应，能够更享受演奏。另外，由于针对自己的演奏而将观众的反应以组为单位进行表现，因此能够在与观众之间通过曲子而感受到一体感。

特别地，在现场直播传送中，由于不是实际的观众处于眼前的状况下进行演奏，因此表演者难以掌握观众针对自己的演奏的反应。在现场直播传送中，有时基于观众的操作输入而从终端装置发送表示评论的文本数据并显示于表演者的画面。在该情况下，能够通过字符串而表现观众的反应，但在实际的现场直播会场中表演者所感受的来自来宾的反应是欢呼声或身体的动作，因此即使将字符串显示于画面上，作为观众的反应的表现也与实际的现场直播会场不同。因此，表演者难以掌握观众的反应。根据本实施方式，由于与观众的动作相对应地使虚拟形象以组为单位进行动作，因此表演者能够感受到如同在实际的现场直播会场看到来宾的动作。

在以上说明的实施方式中，图像生成部104说明了对与是否抬起了手臂相对应的图像进行显示的情况，但也可以通过其他显示方式对虚拟形象的动作进行显示。

例如，在演奏了节奏缓慢的曲子的情况下，观众有时一边随着节奏而左右摆动身体一边聆听曲子。在该情况下，各运动传感器对身体左右摆动的动作进行检测，作为动作信息而输出。观众的终端装置将该动作信息发送至现场直播传送装置10。

图像生成部104基于该动作信息，生成按组而使虚拟形象左右摆动身体的图像并传送至终端装置。

表演者能够通过观察该图像而掌握观众是否随着节奏而欣赏曲子。另外，以组为单位随着节奏而移动，因此能够感受到现场直播会场的每个区域的一体感。

观众能够通过观察自己所属的座椅的位置的周围的动作而确认到其他观众以何种节奏摇晃身体。由此，自己也能够以与其他观众相匹配的节奏摇晃身体，能够共享曲子的享受方式。

另外，图像生成部104可以提取出与动作相对应的频率，生成虚拟形象组与提取出的频率相对应地移动的图像。在提取出频率的情况下，图像生成部104通过对动作信息进行傅里叶变换，对动作信息所包含的每个频率的信号强度进行计算。而且，图像生成部104与获得的信号强度相对应地，提取出整个频带之中的任意频率。图像生成部104也可以提取出信号强度最高的频率。

在观众进行左右摇晃身体的动作的情况下，也可以根据左右摇晃的周期性动作而提取出频率，与该频率相对应地使虚拟形象组进行左右摇晃的动作。

在使虚拟形象组与频率相对应地进行动作的情况下，可以不是直接重现观众的动作，而是根据观众的动作提取出周期性动作的特征，使虚拟形象组与该特征相对应地进行动作。

另外，图像生成部104可以基于动作信息，对与动作相对应的信号强度进行计算，生成虚拟形象组与计算出的信号强度相对应地移动的图像。在提取出信号强度的情况下，图像生成部104通过对动作信息进行傅里叶变换，对动作信息所包含的每个频率的信号强度进行计算。对以上述方式计算出的每个频率的信号强度之中的、任意的信号强度进行提取。例如，图像生成部104可以对最大的信号强度进行提取。

另外，图像生成部104可以使与观众的动作相对应地进行动作的虚拟形象与虚拟形象组一起进行显示。具体而言，图像生成部104使进行视听的观众自身的虚拟形象与以组为单位进行相同动作的虚拟形象组一起进行显示。在该情况下，图像生成部104针对观众自身的虚拟形象，使其与从观众获得的动作信息相对应地进行动作。由此，在观众的终端装置，与以组为单位移动的虚拟形象组一起显示与自己的动作相匹配地移动的虚拟形象。因此，观众能够通过从在虚拟空间的现场直播会场内配置的多个虚拟形象之中发现与自己的动作相匹配地移动的虚拟形象，从而确定在现场直播会场内自己的虚拟形象是哪个。

另外，可以由图像生成部104生成将以组为单位移动的虚拟形象组和与自己的动作相匹配地移动的虚拟形象一起显示的图像，但也可以在观众的终端装置生成。例如，现场直播传送装置10将以组为单位移动的虚拟形象组的图像传送至观众的终端装置。观众的终端装置基于从现场直播传送装置10传送来的图像信号而在显示画面对图像信号进行显示，并且将与观众对应的虚拟形象相对于该图像信号进行合成而显示。由此，关于与观众自身对应的虚拟形象，可以不在现场直播传送装置10进行合成，而是在观众的终端装置进行合成。由此，能够降低在现场直播传送装置10对图像进行合成的处理的负荷。

另外，图像生成部104也可以基于动作信息，与现场直播传送的曲子所包含的规定的声部到来的定时相对应地进行动作。在实际的现场直播会场对曲子进行演奏的情况下，有时通过在曲子的特定声部到来的定时做出如来宾一起进行跳跃等相同的动作而享受曲子。还存在已知如上述的根据曲子而与特定声部到来的定时相匹配地进行惯例的动作的乐曲。在预先掌握在现场直播传送中演奏如上述的曲子的情况下，将曲子的特定声部的定时和使虚拟形象动作的动作模式相关联地预先存储于存储部102。图像生成部104在开始了该曲子的演奏之后，在基于在特定声部的定时到来时收集的动作信息而判定为进行了规定的动作的观众的人数为基准值以上的情况下，使虚拟形象组按照与曲子的定时相关联的虚拟形象的动作模式进行动作。

这里，能够预先决定在曲子的特定声部到来时与动作信息相对应地使虚拟形象组进行哪种动作。因此，例如设计者能够对如何进行现场直播传送的图像的演出进行研究，根据研究结果而从设计者终端20事先登记于现场直播传送装置10的存储部102。另外，这里，关于动作，可以预先登记有多个模式，设计者考虑到对现场直播传送进行视听的观众针对曲子的热情、会场整体的气氛而从设计者终端20输入进行什么动作。由此，图像生成部104能够按照几个动作模式之中的从设计者终端20指示的动作模式在曲子的特定声部到来的定时进行动作。

另外，在曲子的流派为古典乐的情况下，在实际的演奏会场中，来宾有时在演奏中几乎不移动身体而聆听曲子，在演奏结束之后起立鼓掌。在这种情况下，在演奏结束之前观众进行了起立、鼓掌的动作的情况下，在曲子的中途，虚拟形象会进行起立、鼓掌的动作。在该情况下，表演者有时有想要在演奏中不进行任何动作而享受曲子的想法。在这种情况下，将曲子结束的定时和进行起立鼓掌的动作预先存储于存储部102，图像生成部104在检测到曲子结束时，基于动作信息使虚拟形象组进行动作。由此，表演者在演奏结束之后能够掌握观众的反应。另外，观众即使在曲子快要结束前的阶段进行了起立、鼓掌的动作，也能够针对其他观众、表演者而使得在曲子的中途虚拟形象不移动，与曲子结束的定时相对应地使虚拟形象进行动作。

另外，图像生成部104可以使得进行与现场直播传送的曲子的流派相对应的动作。例如，在演奏的曲子为爵士乐的情况下，在实际的会场，来宾有时会以随着曲子的节奏而摇摆身体的方式享受曲子。另外，在演奏的曲子为古典乐的情况下，有时在曲子的中途几乎不移动身体而聆听，在演奏结束之后进行鼓掌等。另外，在演奏的曲子为流行乐的情况下，有时一边聆听曲子一边进行打拍子或抬起手而左右挥动地享受曲子。如上所述，有时根据曲子的流派而曲子的享受方式不同。

存储部102将曲子的流派与虚拟形象组的动作模式相关联地进行存储。图像生成部104对演奏的曲子的流派进行判定，从存储部102读出与所判定的曲子的流派相对应的动作模式。图像生成部104可以按照读出的动作模式，与获得了动作信息这一情况相对应地使虚拟形象组进行动作。

在现场直播传送中演奏的曲子是事先决定的情况下，存储部102将表示流派的流派信息针对每个现场直播或针对每个曲子进行存储。图像生成部104可以通过读出该流派信息而对演奏的曲子的流派进行判定。

另外，在以上说明的实施方式中，可以与观众获得的动作信息表示的动作相同地使虚拟形象进行动作，但也可以进行不同的动作。例如，存储部102与曲子、声部相对应地预先对虚拟形象的动作模式进行存储。图像生成部104在基于动作信息而动作存在变化的情况、或进行了特定的动作的情况下，从存储部102读出动作模式，使虚拟形象组按照动作模式进行动作。由此，在使虚拟形象跳跃的情况下，即使观众实际上不进行跳跃，也能够通过进行抬起手的、左右移动等简单的动作而使虚拟形象组进行与所检测的动作不同的动作。

另外，通信部101可以取得与表演者装置组P1的表演者的动作相对应的动作信息。例如，在任意的表演者装置组中设置运动传感器。这里，对在表演者装置组P1设置运动传感器的情况进行说明。运动传感器生成与表演者的动作相对应的动作信息，输出至终端装置P11。终端装置P11将运动传感器获得的动作信息发送至现场直播传送装置10。现场直播传送装置10基于从终端装置P11发送来的动作信息而生成图像信号。

例如，在实际的现场直播会场中，有时通过表演者从舞台向观众席侧投掷拨片、投掷毛巾或球而给来宾赠送物品。这种演出在现场直播传送中能够实现，从在现场进行演出的观点来看为优选。

图像生成部104对投送物品的表演者的动作进行检测，与该动作相对应地对虚拟空间的物品的落下位置进行推定。图像生成部104针对所投送的物品的轨道、落下位置，能够基于从表演者获得的动作信息并根据投送方向和投送动作的快慢进行计算而推定。图像生成部104沿获得的轨道对物品的图像进行描绘，传送至观众的各终端装置。由此，在观众的终端装置，能够在显示画面对由表演者将物品投送至观众席、及投送的物品的轨迹进行确认。

而且，在物品落在自身所在的虚拟空间的位置的附近的情况下，观众进行抬起手等接取的动作。与此相对应地，接取的动作由运动传感器进行检测并发送至现场直播传送装置10。

现场直播传送装置10将包含物品的落下地点在内的一定范围所包含的虚拟形象决定为1个分组，基于属于该区域的观众的动作信息，生成使虚拟形象动作的图像，将该图像与虚拟空间的图像合成并进行传送。

由此，能够对与表演者的投送物品的动作相对应的图像进行传送，能够将与投送物品的动作相对应的会场内的反应共享给观众、表演者。图像生成部104与推定出的落下位置相对应地将能够在虚拟空间接取到物品的虚拟形象确定为特殊虚拟形象。例如，图像生成部104将距离落下位置最近的虚拟形象设为特殊虚拟形象。这里，图像生成部104可以从位于一定范围内的虚拟形象且是从进行了接取的动作的虚拟形象之中选择任1个虚拟形象作为特殊虚拟形象。

此外，现场直播传送系统1具有寄送目标信息输出部108。寄送目标信息输出部108可以输出基于与特殊虚拟形象对应的观众的个人信息的物品的寄送目标信息。寄送目标信息例如可以包含观众的住址、姓名。寄送目标信息还可以包含电话号码。存储部102例如可以在用户登录时对个人信息进行存储。经营现场直播传送装置10的经营者从表演者接取物品。而且，经营者基于从现场直播传送装置10输出的个人信息而发送物品。由此，观众能够实际接取到物品，能够感受到额外的惊喜。这里，可以将实际的物品发送给观众，也可以赠予对虚拟形象进行装饰的项目。在赠予项目的情况下，被赠予项目的观众可以在虚拟空间中以在自身的虚拟形象附加了项目的状态进行显示。由此，能够将取得了项目这一情况与其他的用户、表演者共享。

此外，在上述的实施方式中，对由图像生成部104生成虚拟形象组进行动作的图像的情况进行了说明，但也可以由图像生成部104将表示使虚拟形象组进行动作的信息经由通信部101和网络N而发送至表演者的终端装置、观众的终端装置。在该情况下，终端装置可以基于表示使虚拟形象组进行动作的信息，生成使虚拟形象组进行动作的图像并显示于显示画面。由此，能够降低现场直播传送装置10涉及的图像处理的负荷，还能够降低经由网络N向终端装置发送的信息量。由此，即使发送了较少的信息量，也能够将观众的反应显示于显示画面上。

另外，可以将用于实现图1的处理部的功能的程序记录于计算机可读取的记录介质，将在该记录介质记录的程序读入至计算机系统并执行，由此进行施工管理。此外，这里所说的“计算机系统”包含OS、周边设备等硬件。

另外，“计算机系统”在利用WWW系统的情况下还包含网页提供环境(或显示环境)。

另外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD－ROM等可移动介质、内置于计算机系统的硬盘等存储装置。并且，“计算机可读取的记录介质”包含如成为服务器或客户端的计算机系统内部的易失性存储器那样保存一定时间的程序的记录介质。另外，上述程序可以用于实现前述功能的一部分，还可以通过与所有记录于计算机系统的程序的组合而实现前述功能。另外，也可以预先将上述程序存储于规定的服务器，与来自其他装置的请求相对应地经由通信线路对该程序进行传送(下载等)。

以上，参照附图对本发明的实施方式进行了详述，但具体的结构不限定于本实施方式，还包含不脱离本发明的主旨的范围内的设计等。

标号的说明

1···现场直播传送系统、10···现场直播传送装置、20···设计者终端、101···通信部、102···存储部、103···动作判定部、104···图像生成部、105···音处理部、106···同步处理部、107···CPU、108···寄送目标信息输出部、130···动作判定部、1021···会场数据存储部、1022···虚拟形象存储部、1041···舞台合成部、1042···观众席合成部、1051···混频器、1052···演奏同步部。

Claims (11)

1.一种图像生成装置，其在将由表演者演奏的曲子经由通信网络对多个观众的终端装置实时地进行传送的现场直播传送系统中使用，

该图像生成装置具有：

取得部，其取得与对所述传送进行视听的观众的动作相对应的动作信息；以及

图像生成部，其生成使得将在与所述演奏相对应的虚拟空间配置的多个观众的虚拟形象按组区分出的虚拟形象组基于所述动作信息进行动作的图像。

2.根据权利要求1所述的图像生成装置，其中，

所述图像生成部使与所述观众对应的虚拟形象所属的虚拟形象组基于所述动作信息进行动作。

3.根据权利要求1或2所述的图像生成装置，其中，

所述图像生成部基于所述动作信息而提取出与所述动作相对应的频率，生成所述虚拟形象组与提取出的频率相对应地移动的图像。

4.根据权利要求1至3中任一项所述的图像生成装置，其中，

所述图像生成部基于所述动作信息对与所述动作相对应的信号强度进行计算，生成所述虚拟形象组与计算出的信号强度相对应地移动的图像。

5.根据权利要求1至4中任一项所述的图像生成装置，其中，

所述图像生成部将与所述观众的动作相对应地动作的虚拟形象，与所述虚拟形象组一起进行显示。

6.根据权利要求1至5中任一项所述的图像生成装置，其中，

所述图像生成部基于所述动作信息，与所述传送的曲子所包含的规定的声部到来的定时相对应地进行动作。

7.根据权利要求1至6中任一项所述的图像生成装置，其中，

所述图像生成部基于所述动作信息对属于分组的观众之中的进行了动作的观众的数量进行检测，在检测出的数量为基准值以上的情况下，进行所述虚拟形象组的动作。

8.根据权利要求1至7中任一项所述的图像生成装置，其中，

所述图像生成部进行与所述传送的曲子的流派相对应的动作。

9.根据权利要求1至8中任一项所述的图像生成装置，其中，

所述取得部取得与所述表演者投送物品的动作相对应的动作信息，

所述图像生成部基于与投送所述物品的动作相对应的动作信息，对虚拟空间的物品的落下地点进行推定，与推定出的位置相对应地，将能够在所述虚拟空间中接取到所述物品的虚拟形象确定为特殊虚拟形象。

10.根据权利要求9所述的图像生成装置，其中，

还具有寄送目标信息输出部，该寄送目标信息输出部输出基于与所述特殊虚拟形象对应的观众的个人信息的所述物品的寄送目标信息。

11.一种图像生成方法，其由在现场直播传送系统中使用的计算机执行，在该场直播传送系统中将由表演者演奏的曲子经由通信网络对多个观众的终端装置实时地进行传送，

在该图像生成方法中，

取得与对所述传送进行视听的观众的动作相对应的动作信息，

生成使得将在与所述演奏相对应的虚拟空间配置的多个观众的虚拟形象按组区分出的虚拟形象组基于所述动作信息进行动作的图像。