CN116848496A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN116848496A
CN116848496A CN202180091496.6A CN202180091496A CN116848496A CN 116848496 A CN116848496 A CN 116848496A CN 202180091496 A CN202180091496 A CN 202180091496A CN 116848496 A CN116848496 A CN 116848496A
Authority
CN
China
Prior art keywords
participant
sound data
sound
individual
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180091496.6A
Other languages
English (en)
Inventor
小谷梨奈
铃木志朗
剑持千智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116848496A publication Critical patent/CN116848496A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Abstract

[问题]提供一种信息处理装置、信息处理方法和程序，其能够在考虑了传输问题的情况下提供反映参与者的个人特征并且与参与者的响应相对应的音频数据。[解决方案]该信息处理装置设置有控制单元，该控制单元从反映由参与者发出的声音的特性的一组或多组个体伪声音数据中选择与指示所获取的参与者反应的反应信息相对应的个体伪声音数据，并且控制所选择的个体伪声音数据从位于场所的音频输出装置的输出。

Description

信息处理装置、信息处理方法及程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
随着通信技术的最新发展，用于实时地发布诸如音乐会、研讨会和戏剧的事件的视频的所谓的实况发布正被执行。在这样的实况发布中，在相关技术中吸引观众的实况事件的背景和表演者和观众之间的双向通信是挑战。
对于在实况发布事件中来自观众的反应的收集，例如，下面的专利文献1公开了通过实时获取诸如观众的敲击次数之类的定量信息作为反应数据，并且在由观众观看的显示器上显示所获取的定量信息或者从观众佩戴的耳机等输出反映该定量信息的声音，来向观众执行反馈。
现有技术文献
专利文献
专利文献1：JP 2015-125647A
发明内容
本发明要解决的技术问题
这里，为了给表演者提供更真实的具有背景的反馈，可想到例如实时地向表演者发送观看实况发布的观众(以下被称为参与者)的欢呼声音，但是需要高位速率来向表演者发送高质量的声音，并且可能引起传输问题。此外，可以想到使用诸如准备好的笑声、鼓掌声音和欢呼声音的声音效果材料，但是准备好的声音是均匀的并且缺乏环境。
因此，本公开提出了能够反映参与者的个性并且考虑传输问题提供与参与者的反应相对应的音频数据的信息处理装置、信息处理方法和程序。
问题的解决方案
根据本公开，提出了一种信息处理装置，包括：控制单元，被配置为执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示参与者的反应的反应信息相对应的个体伪声音数据，并且将个体伪声音数据从安装在场所中的音频输出装置输出。
根据本公开，提出了一种信息处理装置，包括控制单元，该控制单元被配置为执行：用于将由参与者发出的声音的特征反映在模板的声音数据中以生成个体伪声音数据的处理，以及用于与参与者相关联地存储所生成的个体伪声音数据的处理。
根据本公开，提出了一种信息处理方法，包括：由处理器执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从安装在场所的音频输出装置。
根据本公开，提出了一种程序，使计算机用作：控制单元，该控制单元被配置为执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从安装在场所的音频输出装置输出。
附图说明
图1是示出根据本公开的实施例的实况发布系统的概述的图。
图2是示出根据本实施例的个体伪声音数据的生成和存储的图。
图3是示出根据本实施例的伪声音生成服务器的配置的示例的框图。
图4是示出根据本实施例的用于将所提取的参与者的特征叠加在模板声音数据上的处理的图。
图5是示出根据本实施例的生成个体伪鼓掌声音数据的流程的示例的流程图。
图6是示出根据本实施例的用于在鼓掌声音收集时向参与者发出指令的显示画面的示例的图。
图7是示出本实施例的个体伪欢呼声音数据的生成流程的示例的流程图。
图8是示出根据本实施例的用于向参与者指示欢呼声音收集的显示画面的示例的图。
图9是示出根据本实施例的场所服务器的配置的示例的框图。
图10是示出根据本实施例的用于在场所服务器中输出个体伪声音数据的操作处理的流程的示例的流程图。
图11是示出本实施例的参与者侧的鼓掌操作的图。
图12是示出根据本实施例的个体伪鼓掌声音数据的参数调整的示例的图。
图13是示出本实施例的参与者侧的欢呼声音的动作的图。
图14是示出本实施例的个体伪欢呼声音数据的参数调整的示例的图。
图15是示出本实施例的个体伪喊叫声音数据的参数调整的示例的图。
图16是示出用于执行根据本实施例的欢呼声音的操作的脚控制器的示例的图。
图17是示出本实施例的使用脚控制器时的个体伪欢呼声音数据的参数调整的示例的图。
图18是示出根据本实施例的修改例的场所服务器的配置的示例的框图。
图19是示出根据本实施例的修改例的传递特性HO的图。
图20是示出根据本实施例的修改例的传递特性HI的图。
图21是示出根据本实施例的修改例的输送特性附加处理的流程的示例的流程图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。在本说明书和附图中，具有基本相同的功能配置的部件由相同的参考标号表示，并且将省去其冗余的描述。
此外，假定按照以下顺序给出描述。
1.根据本公开的实施例的实况发布系统的概述
2.个体伪声音数据的生成
2-1.个体伪声音生成服务器50的配置例
2-2.个体伪鼓掌声音数据的生成流程
2-3.个体伪欢呼声音数据的生成流程
2-4.其他
3.个体伪声音数据的输出
3-1.场所服务器20的配置例
3-2.操作处理示例
3-3.个体伪鼓掌声音数据的输出
(3-3-1.鼓掌操作)
(3-3-2.个体伪鼓掌声音数据的参数调整)
3-4.个体伪欢呼声音数据的输出
(3-4-1.欢呼声音的操作)
(3-4-2.个体伪欢呼声音数据的参数调整)
4.修改例
4-1.个体回声伪声音数据的生成
4-2.场所服务器20a的配置例
4-3.添加传递特性的处理
5.补充
<<1.根据本公开的实施例的实况发布系统的概述>>
图1是示出根据本公开的实施例的实况发布系统的概述的图。如图1所示，根据本实施例的实况发布系统包括执行实况发布的场所服务器20(信息处理装置)、以及由观看实况发布的各个参与者使用的参与者终端10(10A至10C、…)。参与者终端10和场所服务器20经由网络70通信地连接以执行数据的发送和接收。此外，在实况场所处，设置根据参与者的反应来输出音频数据的伪声音输出装置30(音频输出装置)和收集场所的音频(表演等)的场所声音获取装置40(音频收集装置)。场所服务器20通信地连接到伪声音输出装置30和场所声音获取装置40以执行数据的发送和接收。
参与者终端10是当参与者观看由场所服务器20发布的实况视频时使用的信息处理装置的示例。参与者可使用参与者终端10在不同于实况场所的地点观看实况发布。例如，参与者终端10可通过智能电话、平板终端、个人计算机(PC)、HMD、可穿戴设备、投影仪等来实现。此外，参与者终端10可由多个装置配置。
根据本实施例的实况发布系统是能够经通过网络70向不同于真实场所的地点的参与者实时传输其中执行音乐会、研讨会、演讲、播放等的真实场所(在本文中也被称为实况场所)的视频和音频并且还向实况场所实时传输参与者的反应的信息处理系统。场所的声音由场所声音获取装置40获取并输出给场所服务器20。场所声音获取装置40的示例可包括收集并适当地处理场所中的声音的音频处理装置。更具体地，使用混合器42(图19和图20)。混合器42是这样的装置，该装置单独地调整从诸如收集表演者的声音或表演的麦克风、电子乐器、各种播放器(例如，CD播放器、唱片播放器、和数字播放器)的音频设备输入的各种声源，混合这些声源并且输出所生成的声源。
进一步，根据本实施例的实况发布系统向实况场所中的表演者实时提供在不同于实况场所的地点进行观看的参与者的反应。这使得可以解决环境的缺乏，这是相关技术中吸引顾客的现场事件的真正乐趣，这是实况发布时的关注点。由此，在本实施例中，可以将实况表演的背景提供给在实况场所中表演的表演者。此外，在本实施例中，在场所服务器20中准备反映参与者的个性的个体伪声音数据，并且执行控制以便根据参与者的反应从安装在场所中的伪声音输出装置30实时地输出个体伪声音数据。这使得可以执行具有更多背景性的反馈而不是均匀的反馈，并且消除诸如比特率的增加或延迟的传输问题。例如，可以以低比特率实现本系统。
这里，根据本实施例的个体伪声音数据是通过以伪方式单独地生成参与者能够产生的声音(诸如鼓掌声音、欢呼声音和喊叫声音)而获得的个体伪声音数据。“欢呼声音”的示例可包括被期望在现场表演期间发出的感叹(例如，“哇！”、“哦！”、“啊！”、“嗯！”、“耶！”等)。“喊叫声音”的示例可以包括表演者的名字、安可的词语和赞扬的词语。在本实施例中，将集中在处理各种声音，尤其是在实况发布中。
在下文中，将顺序地描述在根据本实施例的实况发布系统中执行的个体伪声音数据的产生和个体伪声音数据的输出的控制。
<<2.个体伪声音数据的生成>>
在本实施例中，在实况发布开始之前，预先产生每个参与者的个体伪声音数据并将其存储在场所服务器20中。这里，将参见图2至图8具体描述个体伪声音数据的产生。
图2是示出根据本实施例的个体伪声音数据的生成和存储的图。例如，根据本实施例的个体伪声音数据由个体伪声音生成服务器50生成。个体伪声音生成服务器50是基于从参与者终端10收集的鼓掌声音数据(参与者的真实鼓掌声音)或欢呼声音数据(参与者的语音)生成反映参与者的个性的个体伪声音数据的信息处理装置的示例。参与者的个性是参与者发出的声音的特征。更具体地，个体伪声音生成服务器50将从自参与者终端10获取的真实声音(收集的鼓掌声音数据或欢呼声音数据)提取的特征(例如，频率分析的结果)叠加在准备的模板鼓掌声音数据或模板欢呼声音数据(两者都是音频信号)上，从而生成鼓掌声音或欢呼声音的个体伪声音数据(即，合成声音)。此外，个体伪声音生成服务器50还从参与者终端10获取其指示输出所生成的个体伪声音数据的参与者的操作方法的设置信息(在本文中被称为“操作方法信息”)。个体伪声音生成服务器50将所生成的鼓掌声音和/或欢呼声音的个体伪声音数据以及操作方法信息与参与者的ID相关联地输出到场所服务器20，并且将它们存储在场所服务器20中。
在下文中，将更详细地描述这样的个体伪声音数据的产生。
<2-1.个体伪声音生成服务器50的配置例>
图3是示出根据本实施例的个体伪声音生成服务器50的配置的示例的框图。如图3所示，个体伪声音生成服务器50包括通信单元510、控制单元520和存储单元530。
(通信单元510)
通信单元510可以无线或有线通信地连接到另一装置以执行数据的发送和接收。通信单元510通过例如有线/无线局域网(LAN)、Wi-Fi(注册商标)、蓝牙(注册商标)、移动通信网络(LTE(长期演进)、3G(第三代移动通信系统)、4G(第四代移动通信系统)或5G(第五代移动通信系统))等实现。例如，通信单元510可经由网络70执行去往和来自参与者终端10和场所服务器20的数据的发送和接收。
(控制单元520)
控制单元520用作计算处理装置和控制装置，并根据各种程序控制个体伪声音生成服务器50内的整体操作。控制单元520由诸如中央处理单元(CPU)或微处理器的电子电路实现。此外，控制单元520可包括存储要使用的程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数等的随机存取存储器(RAM)。
根据本实施例的控制单元520还用作真实声音分析单元521、个体伪声音数据生成单元522和存储控制单元523。真实声音分析单元521对经由通信单元510从参与者终端10接收的参与者的被实际收集的鼓掌声音或欢呼声音(参与者实际发出的声音)进行分析。参与者终端10使用麦克风(在下文中被称为麦克风)收集参与者实际拍响时的声音、欢呼声音、喊叫声音等，数字化该声音，并将数字化信号(音频信号)发送到个体伪声音生成服务器50。此外，真实声音分析单元521可执行频率分析作为分析的示例并且提取频率特性作为特征。此外，作为分析的示例，真实声音分析单元521可提取时间特性作为特征。特征提取程序(算法)可以存储在存储单元530中。
个体伪声音数据生成单元522将真实声音分析单元521的分析结果(所提取的特征，例如，频率特性)叠加在所准备的模板的声音数据(鼓掌声音数据或欢呼声音数据)上，并且生成每个参与者的鼓掌声音或欢呼声音的个体伪声音数据。图4是示出根据本实施例的用于将所提取的参与者的特征叠加在模板声音数据上的处理的图。
图4的上部中所示出的示例是在频域中叠加特征的示例。例如，假设当在模板声音数据A(模板的鼓掌声音数据或欢呼声音数据)中存在特征频率f1和f2时，如图4的上部所示，特定参与者的特征(频率特性)是从特征频率f1和f2偏移的f1’和f2’。在这种情况下，个体伪声音数据生成单元522执行将模板声音数据A的f1转换成f1’并且将f2转换成f2’的处理。在图4的上部所示的示例中，由于f1＜f1’和f2＜f2’，使得所生成的(个性化的)个体伪鼓掌声音/欢呼声音数据被听到为高于模板声音数据A的声音。本发明不限于图4的上部中所示的示例，且可采用用于反映模板声音数据A中的某一参与者的特征的任何处理或变换，例如添加新特征频率f3或不仅反映特征频率，而且反映频率的倾斜或作为特征的较大趋势。
图4的下部说明在时域中叠加特征的示例。例如，假设当模板声音数据B(模板的鼓掌声音数据或欢呼声音数据)具有起点t1和终点t2时，如图4的下部所示(考虑时间特性)，特定参与者的特征(频率特性)是从起点t1和终点t2偏移的t1’和t2’。在这种情况下，个体伪声音数据生成单元522执行将模板声音数据B的t1改变为t1’并且将t2改变为t2’的处理。在图4的下部中示出的示例中，由于|t2-t1|>|t2’-t1’|，音高增加，并且生成的(个性化的)个体伪鼓掌声音/欢呼声音数据被听到为高于模板声音数据B的声音。本发明不限于图4的下部中示出的示例，波形信息的包络或者更加全局的趋势可以被反映为特征。在大量真实的鼓掌声音或欢呼声音中，个体鼓掌/欢呼声音的开始时刻不匹配并分散。因此，起始点t1/t1’被设置为与每个参与者的ID相关联的随机值，使得可以产生更自然的鼓掌声音/欢呼声音的伪声音数据。
模板声音数据是为模板预先准备(记录)的鼓掌或欢呼声音的声音数据。可以准备多个模式的模板鼓掌声音数据和模板欢呼声音数据。即使在同一人的鼓掌或欢呼声音的情况下，声音的特征根据鼓掌方法或说话方法不同。例如，单个人的鼓掌方法可在事件期间根据在实况发布中观看的歌曲的旋律、人的兴奋程度等改变。因此，可生成具有不同手形态的多种鼓掌声音模式。此时，当参与者终端10釆集到参与者的鼓掌声音时，增加呈现鼓掌形式说明等指令，按照模式数重复麦克风釆集声音和对釆集声音的分析。
此外，要产生的个体伪声音数据被假定为例如一个鼓掌声音、一个欢呼声音和一个喊叫声音。
存储控制单元523执行控制，使得所生成的个体伪声音数据与参与者ID相关联地存储在场所服务器20中。存储控制单元523还执行控制，使得从参与者终端10获取的操作方法信息与参与者ID和所生成的个体伪声音数据一起存储在场所服务器20中。
上面已经描述了个体伪声音生成服务器50的伪声音数据生成功能。要生成的伪声音数据不限于鼓掌声音或欢呼声音，并且可以包括喊叫声音、脚步声等。此外，“喊声”的示例可以包括表演者的姓名、与表演者或歌曲相关联的特定词、安可(encore)词以及赞美词。
此外，在本实施例中，为模板预先准备(记录)的声音数据通常用于生成其中每个参与者的特性被叠加的个体伪声音数据。当注册并使用由参与者终端10收集的声音时，存在包括除鼓掌或语音之外的声音(噪声)，并且参与者侧的记录环境的质量(麦克风的性能等)不高并且可能发生噪声或声音中断的担忧，因此，优选地将准备的声音数据用于模板(以高质量减少噪声)。本实施例不限于此，也可以在实况发布时，根据参与者的操作，预先存储参与者的语音并输出到场所。
(存储单元530)
存储单元530由存储在控制单元520的处理中使用的程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数等的随机存取存储器(RAM)实现。例如，存储单元530存储模板鼓掌声音数据、模板欢呼声音数据、特征提取程序等。
上面已经描述了根据本实施例的个体伪声音生成服务器50的配置。图3中所示的个体伪声音生成服务器50的配置是示例，并且本公开不限于此。例如，个体伪声音生成服务器50可以是由多个装置配置的系统。此外，个体伪声音生成服务器50的功能(个体伪鼓掌声音数据的生成)可由场所服务器20实现。此外，个体伪声音生成服务器50的功能(个体伪鼓掌声音数据的产生)可由参与者终端10实现。
接下来，将具体描述根据本实施例的个体伪鼓掌声音数据的生成流程和个体伪欢呼声音数据的生成流程。
<2-2.个体伪鼓掌声音数据的生成流程>
图5是示出根据本实施例的个体伪鼓掌声音数据的生成流程的示例的流程图。图5所示的处理在实况发布事件开始之前进行。
如图5所示，首先，参与者使用参与者终端10对本系统提供的服务(实况发布服务)进行登录处理，并且个体伪声音生成服务器50的控制单元520获取参与者ID(参与者的识别信息)(步骤S103)。登录画面可由个体伪声音生成服务器50提供。
接下来，个体伪声音生成服务器50的控制单元520执行控制，使得参与者终端10执行参与者的鼓掌声音(真实声音)的收集(步骤S106)。具体地，个体伪声音生成服务器50在参与者终端10的显示单元上显示采集鼓掌声音的指令，并利用参与者终端10的麦克风采集鼓掌声音。参与者终端10的显示单元可以是诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示装置。此外，参与者终端10的显示单元可以是将图像投影到画面或墙壁上的投影仪。此外，当参与者终端10是佩戴在参与者的头部上的透明头戴式显示器(HMD)时，指令可以以增强现实(AR)显示在设置在参与者前面的透明显示单元上。此外，参与者终端10可通信地连接到各种显示装置并执行用于显示指令的控制。
这里，在图6中示出根据本实施例的向鼓掌声音收集的参与者指示的显示画面的示例。如图6的上部所示，首先，个体伪声音生成服务器50的控制单元520在参与者终端10的显示单元130上显示示出通过参与者终端10的麦克风输入收集了参与者的鼓掌声音的画面132。这里，作为示例，为了更准确地提取鼓掌声音的特征，将执行鼓掌的时间点呈现给参与者。具体地，例如，在画面上每秒依次点亮5个标记，以指示参与者根据灯光尽可能均匀地鼓掌。在这种情况下，鼓掌形式也可以被呈现为图示。参与者根据指令和画面显示的时间点鼓掌五次。此外，为了提高特征提取的检测准确度，执行多次(例如，五次)鼓掌。个体伪声音生成服务器50的真实声音分析单元521可使用根据多个时间点的鼓掌声音中的第二个和后续声音作为分析目标数据，因为参与者不习惯于第一声音且准确度降级。此外，个体伪声音生成服务器50的真实声音分析单元521可对多次鼓掌声音求平均，以获得作为分析目标的数据。
接着，真实声音分析单元521计算在时间点附近收集的鼓掌声音的频率特性，该时间点是每秒点亮标记的时间点(步骤S106和S109)。具体地，例如，真实声音分析单元521参考时间点对拍响声音执行频谱分析，并且从频谱信息中提取频率特性。
接下来，真实声音分析单元521在模板的鼓掌声音数据上叠加频率特性，以执行反映参与者的特性(个性)的个体伪鼓掌声音数据的生成(步骤S115)。特征(频率特性)的叠加如上面参考图4所述。
当正在执行这种分析和生成时，控制单元520可以在显示单元130上显示如图6的中间所示的指示“在分析中”的画面133。
此外，由于假设同一人进行鼓掌的特征不同，因此个体伪声音生成服务器50可多次重复步骤S106到S115中所示的处理，以生成多条个体伪鼓掌声音数据。例如，个体伪声音生成服务器50可以呈现指令、图示等，以根据鼓掌的时间、鼓掌的强度(强或弱)、鼓掌的时刻(快或慢)等使做出的手形不同，获取参与者的鼓掌(真实声音)的多个模式，分析鼓掌，并且生成多条个体伪鼓掌声音数据(individual pseudo clapping sound data)。
随后，当鼓掌声音的分析和个体伪鼓掌声音数据的生成结束时，个体伪声音生成服务器50执行在现场发布事件期间执行的个体伪鼓掌声音数据的操作方法的设置(步骤S118)。例如，如图6的下部所示，个体伪声音生成服务器50显示示出操作方法的说明等的画面134，以提示参与者设置操作方法。
作为操作方法，例如，当在事件期间允许参与者终端10的麦克风输入时，参与者的实际鼓掌时刻等可被用作反应信息(鼓掌输出命令)。此外，不使用麦克风的操作方法的示例可包括在事件期间点击在画面上显示的图标(用鼠标点击或用手指、电子笔等敲击)、操作键盘上的预定键、(由相机检测的)手势、控制器的按钮操作以及摇动控制器(例如，笔灯)的操作。此外，可以使用由附于参与者的手臂等的传感器检测的手臂等的运动。
个体伪声音生成服务器50的存储控制单元523将所生成的一条或多条个体伪鼓掌声音数据以及表示所设置的操作方法的操作方法信息与参与者ID相关联地发送到场所服务器20(步骤S121)。场所服务器20将参与者ID、一条或多条个体伪鼓掌声音数据以及操作方法信息彼此相关联地存储在存储单元中。
<2-3.个体伪欢呼声音数据的生成流程>
接着，参见图7和图8说明各个个体伪欢呼声音数据的生成流程。
图7是示出本实施例所涉及的个体伪欢呼声音数据的生成流程的示例的流程图。如图7所示，首先，个体伪声音生成服务器50的控制单元520获取参与者ID(步骤S143)。如参见图5所述，参与者ID可以从由参与者执行的登录处理中获取，或者在生成个体伪鼓掌声音数据之后执行个体伪欢呼声音数据的生成的情况可以说成是从步骤S103中所示的登录处理连续获取参与者ID的状态。
接下来，个体伪声音生成服务器50的控制单元520执行控制，使得参与者终端10执行参与者的欢呼声音(真实声音)的收集(步骤S146)。具体地，个体伪声音生成服务器50在参与终端10的显示单元上显示用于收集欢呼声音的指令，并且利用参与终端10的麦克风收集欢呼声音。这里，图8示出了根据本实施例的用于在欢呼声音收集中向参与者指示的显示画面的示例。如图8的上部所示，首先，个体伪声音生成服务器50的控制单元520在参与者终端10的显示单元130上显示画面135，该画面135示出通过参与者终端10的麦克风输入收集的参与者的欢呼声音。这里，作为示例，显示指示拨号音声音之后的3秒内的输入的画面。欢呼声音的示例可包括如上所述的不同感叹，但是参与者可选择参与者想要注册的欢呼声音，并且然后说出。例如，参与者可以用与所选择的欢呼声音相同的感叹说出，或者可以用与所选择的欢呼声音不同的感叹说出。可以从参与者的语音中提取声音的特征并且将其反映在所选择的感叹息的模板伪欢呼声音数据中，并且可以生成个体伪欢呼声音数据。可以准备多种欢呼声音的模式，或者可以准备单个模式。
接着，真实声音分析单元521分析所收集的欢呼声音并且提取特征(步骤S149和S152)。具体地，例如，真实声音分析单元521对收集的欢呼声音执行频谱分析，并且从频谱信息中提取频谱包络或共振峰作为特征(频率特性)。
随后，真实声音分析单元521将频率特性反映在所准备的模板的欢呼声音数据中，以生成个体伪欢呼声音数据(步骤S155)。由于参与者的欢呼声音很可能不能在不同于实况场所的气氛的地方(诸如家)被完全再现，所以每个参与者的声音的特征被叠加在准备的模板欢呼声音数据上，从而生成个体伪欢呼声音数据。
当正在执行这种分析和生成时，控制单元520可以在显示单元130上显示如图8的中间所示的指示“在分析中”的画面136。
接下来，个体伪声音生成服务器50可再现生成的个体伪欢呼声音数据，以允许参与者检查个体伪欢呼声音(步骤S158)。例如，如图8的下部所示，个体伪声音生成服务器50在显示单元130上显示提示个体伪欢呼声音数据的确认的画面137。当要再次生成个体伪欢呼声音数据时，可以选择画面137上的“返回”按钮并且可以再次执行欢呼声音的收集。即，重复步骤S146至S158。
此外，当存在该事件中频繁使用的喊叫声音等时，参与者可以添加选项词(步骤S161)。例如，参与者可根据在图8的下部所示的画面137上显示的指导从可被添加的词(喊声)中选择将被添加的词。实况发布者可以提前准备选项词的候选(诸如“安可”的喊叫声音、艺术家的名字、或者在特定歌曲中进行的固定呼叫)。
接着，当添加选项词时(步骤S161/是)，个体伪声音生成服务器50首先执行选项词的注册(步骤S164)。例如，对于选项词的注册，参与者使用参与者终端10来选择要在图8的下部所示的画面137上显示的每个形式中添加的词(例如，呈现为能够以下拉方案在每个形式中选择的词)。
接着，个体伪声音生成服务器50通过使用诸如语料库的特定词典(例如，禁止词列表)整理来确定输入的词是否是不应当伦理表达的词(步骤S167)。这种道德判断处理，也可以在从演奏者预先准备的候补中选择时跳过。参与者也可以自由添加选项词，在这种情况下，例如，可以通过对照表演者预先准备的禁止词列表进行确定。当包括在禁止词列表中的词被输入时，个体伪声音生成服务器50通知参与者该词不能被注册。
接着，当输入可注册的单词时，个体伪声音生成服务器50执行控制，以便收集参与者的喊叫声音(步骤S170)。参与者根据指令说出要添加的单词并将该单词输入到参与者终端10的麦克风。
接着，个体伪声音生成服务器50的真实声音分析单元521对收集的喊叫声音执行频谱分析，并且从频谱信息中提取频谱包络或共振峰作为特征(频率特性)(步骤S176)。
接着，个体伪声音数据生成单元522通过使用所提取的频率特性的音频合成来生成个体伪喊叫声音数据(步骤S179)。对于音频合成，可使用表演者对准备的模板的喊叫声音。此外，在由参与者任意输入的词的情况下，个体伪声音数据生成单元522可以基于输入的词(文本)通过音频合成生成模板的喊叫声音，并且将频率特性叠加在生成的模板的喊叫声音上，以生成个体伪喊叫声音数据。
接下来，个体伪声音生成服务器50可以再现生成的个体伪喊叫声音数据，以允许参与者进行确认(步骤S182)。当参与者输入重做个体伪喊叫声音数据生成的指令时，处理返回到步骤S170，并再次执行声音收集。进一步，当参与者输入进一步添加选项词的指令时，处理返回到步骤S164，重复添加选项词的处理。
在步骤S164至S179所示的处理中，每次注册选项词时，执行声音收集和再次执行分析，但是本实施例不限于此。例如，可以从参与者收集多条样本声音数据，并将所收集的样本数据与输入选项词组合，以生成更通用的个体伪喊叫声音数据。由此，不用每次进行声音收集、声音分析，就能够生成各自的个体伪喊叫声音数据。
随后，当个体伪欢呼声音数据等的生成全部完成时，个体伪声音生成服务器50执行在现场发布事件期间要执行的操作个体伪欢呼声音数据等的方法的设置(步骤S185)。个体伪声音生成服务器50在参与者终端10的显示单元130上显示示出操作方法等的说明的画面，并提示参与者设置操作方法。
作为操作方法，例如，在事件期间点击画面上显示的图标(用鼠标点击或用手指、电子笔等敲击)、操作键盘上的预定键可以用作反应信息(输出欢呼声音的命令等)。例如，当注册诸如欢呼声音或喊叫声音的多条个体伪声音数据时，在实况发布期间在显示单元130上显示相应的图标，并且参与者可以通过操作该图标来选择要输出的欢呼声音或喊叫声音。此外，当鼓掌操作是麦克风输入时，可以同时输入鼓掌声音和欢呼声音，因此，例如，可以通过由脚踩踏而操作的脚控制器来执行欢呼声音的操作。下面将参见图14描述脚控制器。
欢呼声音操作方法不限于上述示例，并且可以通过手动操作的手动控制器的按钮操作、手势(由相机、加速度传感器等检测)等来执行欢呼声音操作。
个体伪声音生成服务器50的存储控制单元523将所生成的一条或多条个体伪欢呼声音数据等以及表示所设置的操作方法的操作方法信息与参与者ID相关联地发送到场所服务器20(步骤S188)。场所服务器20将参与者ID、一条或多条个体伪欢呼声音数据以及操作方法信息彼此相关联地存储在存储单元中。
<2-4.其他>
以上具体地描述了根据本实施例的个体伪声音数据的生成。在本实施例中，作为示例，已经描述了由个体伪声音生成服务器50生成个体伪声音数据的情况，但是本公开不限于此。例如，参与者终端10可执行由真实声音分析单元521执行的真实声音分析处理和由个体伪声音数据生成单元522执行的用于生成个体伪声音数据的处理。此外，参与者终端10执行直到真实声音分析处理(特征提取)的处理，并将分析结果(提取的特征)或操作方法信息与参与者ID一起发送到个体伪声音生成服务器50，并且个体伪声音生成服务器50可基于分析结果执行用于产生个体伪声音数据的处理。当参与者终端10执行真实声音的分析或个体伪声音数据的产生时，个体伪声音生成服务器50将必要的程序或模板声音等适当地发送到参与者终端10。
<<3.个体伪声音数据的输出>>
接下来，将描述实况发布期间的个体伪声音数据的输出。在本系统中，场所服务器20在实况发布过程中实时地向实况场所输出与实况参与者的反应相对应的个体伪声音数据。具体地，场所服务器20执行用于从安装在实况场所中的伪声音输出装置30(扬声器)输出个体伪鼓掌声音数据或个体伪欢呼声音数据的控制。这使得可以将许多参与者的实时反应传递给在实况场所执行实况表演的表演者，从而增加实况表演的背景。
在下文中，将顺序地描述本实施例中执行用于输出个体伪声音数据的控制的场所服务器20的配置和操作处理的示例。
<3-1.场所服务器20的配置例>
图9是示出根据本实施例的场所服务器20的配置的示例的框图。如图9所示，场所服务器20包括通信单元210、控制单元220和存储单元230。
(通信单元210)
通信单元210可通过无线或有线通信地连接到另一装置来执行数据的发送和接收。通信单元210通过例如有线/无线局域网(LAN)等来实现。例如，通信单元210可经由网络70执行与参加终端10的数据发送和接收。此外，通信单元210将个体伪声音数据发送到设置在实况场所的伪声音输出装置30，或者从场所声音获取装置40接收场所的音频信号(从演奏者的声音输入到其中的麦克风或乐器收集的声源)。
(控制单元220)
控制单元220用作计算处理装置和控制装置，并且根据各种程序控制场所服务器20内的整体操作。控制单元220由诸如中央处理单元(CPU)或微处理器的电子电路实现。此外，控制单元220可以包括存储要使用的程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数等的随机存取存储器(RAM)。
此外，根据本实施例的控制单元220用作伪声音生成单元221、伪声音输出控制单元222和场所声音传输控制单元223。
伪声音生成单元221具有生成要从设置在场所中的伪声音输出装置30输出(再现)的伪声音的功能。具体地，伪声音生成单元221根据通过通信单元210从参与者终端10接收的指示参与者的反应的反应信息来选择个体伪声音数据，并基于反应信息对所选择的个体伪声音数据执行参数调整。
这里，“反应信息”的示例可包括关于参与者的鼓掌或欢呼声音的操作(动作)的操作信息。操作信息可以包括例如每单位时间的操作次数、操作时刻、操作量(按压量)、或选择操作信息(所选择的ID等)。此外，操作信息可以包括通过对参与者输入的鼓掌声音的频率分析获得的频谱。另外，操作信息是每单位时间(某一时间段)内的操作信息，可以从参加终端10连续发送。
伪声音生成单元221基于操作信息选择与每单位时间(某一时间段)的操作次数、操作时刻信息等预先相关联的个体伪声音数据。此外，伪声音生成单元221可获取参与者实际执行的鼓掌声音的频谱信息作为操作信息，并选择类似于频谱信息的个体伪声音数据。进一步，在一些情况下，可根据在实况场所播放的歌曲的音调或事件的内控制个体伪声音数据的选择。例如，当歌曲是芭蕾舞歌曲时，还可以执行设置，使得选择轻微鼓掌的个体伪声音数据、其中事件的后半部分的令人兴奋的部分是剧烈的鼓掌的个体伪声音数据等。将参见图11至图17具体描述根据本实施例的参与者执行的鼓掌或欢呼声音操作。
接下来，伪声音生成单元221基于操作信息对所选择的个体伪声音数据执行参数调整。例如，伪声音生成单元221执行与操作次数成比例的音量调整、根据操作时刻的输出时刻的调整等。这使得可以将每个参与者的实时反应作为背景条件的更自然的反馈来提供。
伪声音输出控制单元222执行控制以从伪声音输出装置30输出由伪声音生成单元221选择并经过参数调整的个体伪声音数据。伪声音输出装置30的示例可包括设置在实况场所的每个观众座位处的小扬声器(个体声音输出装置)。例如，当实况场所中的参与者的虚拟位置(在下文中被称为虚拟位置)与参与者ID(可使用观众座位ID)相关联时，伪声音输出控制单元222执行控制以从安装在每一参与者的虚拟位置处的小扬声器输出每一参与者的个体伪声音数据。这使得可以从实况场所中的每个观众座位听到每个参与者的鼓掌声音、欢呼声音等，并且向表演者给出如同观众实际上出现在观众座位中的境况。
可以在所有观众座位中提供小扬声器，或者可以在多个观众座位中提供一个小扬声器。为了对表演者给出更真实的背景，优选的是在所有观众座位(至少在分配给各个观看参与者的地点中的位置)中提供小扬声器，但是本发明并不总是限于此。
场所声音传输控制单元223执行用于将从场所声音获取装置40输出的场所声音(场所声音信号)发送到每个参与者终端10的控制。场所声音获取装置40的示例可以包括设置在实况场所中的每个观众座位处的小麦克风(个体声音收集装置)(在下文中被称为小麦克风)。例如，场所声音传输控制单元223获取由安装在实况场所中与参与者ID相关联的参与者的虚拟位置处的小麦克风收集的场所声音信号，并将场所声音信号发送到参与者的参与者终端10。通过安装在与虚拟位置相对应的观众座位中的小麦克风收集场所声音，使得可以获得包括场所的空间的回声、视角感和方向感的场所声音。这使得有可能向参与者给出背景，如同参与者实际上收听实况场所的观众座位一样。即，在附近能够听到来自附近的观众座位(设置在附近的小扬声器)的声音，并且每个参与者的反应或者现场表演的声音能够与场所中的回声一起被听到。
此外，场所声音传输控制单元223可对场所声音信号执行精细调整(诸如归一化)，然后执行发送。例如，场所声音传输控制单元223执行动态范围调整等。
(存储单元230)
存储单元230由存储在控制单元220的处理中使用的程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数等的随机存取存储器(RAM)实现。例如，存储单元230将个体伪声音数据、操作方法信息、场所中的虚拟位置等与参与者ID相关联地存储。
上面已经描述了根据本实施例的场所服务器20的配置。图9中示出的场所服务器20的配置是示例，并且本公开不限于此。例如，场所服务器20可以由多个装置配置。
<3-2.操作处理示例>
接下来，将参见图10描述根据本实施例的用于输出个体伪声音数据的操作处理。图10是示出根据本实施例的用于在场所服务器20中输出个体伪声音数据的操作处理的流程的示例的流程图。图10所示的处理可在实况发布期间连续地执行。
如图10所示，首先，场所服务器20实时地从参与者终端10获取参与者ID、操作次数、时刻信息等(步骤S203)。操作次数或时刻信息是操作信息的示例。
接着，场所服务器20的伪声音生成单元221根据操作次数或时刻信息从与参与者ID相关联的一个或多个个体伪声音数据中选择一个个体伪声音数据(步骤S206)。
接下来，伪声音生成单元221根据需要对所选择的个体伪声音数据执行参数调整(步骤S209)。例如，伪声音生成单元221执行与操作次数成比例的音量调整，或者根据操作时刻的定时调整(触发、鼓掌声音定时等)。将参照图12和图15至图17描述参数调整的更具体的示例。此外，在一些情况下，表演者可通过根据事件的内容、歌曲的音调、歌曲的流派等乘以预先指定的比例系数α来执行调整。这使得可以使鼓掌或欢呼声音具有个性，并且即使在同一人的情况下，也可以实时地输出根据表演的气氛而改变的鼓掌或欢呼声音。
接下来，伪声音输出控制单元222执行控制以再现来自设置在与参与者ID相关联的虚拟位置处的小型扬声器(伪声音输出装置30的示例)的个体伪声音数据(步骤S212)。在本实施例中，作为示例，假设在场所中的每个观众座位处布置小的扬声器作为伪声音输出装置30。
接着，场所声音传输控制单元223获取由放置在与参与者ID相关联的虚拟位置处的小麦克风收集的场所声音信号(步骤S215)。这里，作为示例，假设在场所中的每个观众座位处布置小麦克风作为场所声音获取装置40。
此外，场所声音传输控制单元223执行场所声音信号的精细调整(归一化等)(步骤S218)，并执行用于将场所声音信号发送到参与者终端10的控制(步骤S221)。
以上具体说明了根据本实施例的用于输出个体伪声音数据的处理的流程。图10中所示的流程图的各个步骤可以被适当地并行处理，或者可以按相反的顺序处理。进一步，可以不处理所有的步骤。例如，步骤S203至S212所示的处理是用于将观众语音(个体伪声音数据)输出到场所的处理，并且在实况发布期间被连续地和重复地处理。此外，与观众语音输出处理并行，在实况发布期间，可连续地重复处理步骤S215至S221中所示的用于向参与者发送场所声音(场所声音信号)的处理。
接下来，将通过具体示例更详细地描述个体伪声音数据的输出。
<3-3.个体伪鼓掌声音数据的输出>
首先，将描述输出作为个体伪声音数据的示例的个体伪鼓掌声音数据的处理。
(3-3-1.鼓掌操作)
图11是示出本实施例的参与者侧的鼓掌操作的图。如图11所示，参与者终端10包括通信单元110、控制单元120、显示单元130、扬声器150和麦克风160。此外，虽然在图11中未示出，参加终端10还包括存储单元或操作输入单元140。参与者终端10具有输出场所服务器20发布的实况视频或音频的功能。
控制单元120用作计算处理装置和控制装置，并根据各种程序控制参与者终端10内的整体操作。控制单元120由诸如中央处理单元(CPU)或微处理器的电子电路实现。此外，控制单元120可包括存储要使用的程序、计算参数等的只读存储器(ROM)和临时存储适当改变的参数等的随机存取存储器(RAM)。
根据本实施例的控制单元120执行用于在显示单元130上显示通信单元110经由网络70从场所服务器20接收的实况视频的控制(或将实况视频投影到墙壁或画面上)，或执行用于从扬声器150输出场所声音信号的控制。
显示单元130可以是诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示装置。此外，参与者终端10的显示单元130可以是将图像投影到画面或墙壁上的投影仪。此外，当参与者终端10是佩戴在参与者的头部上的透明头戴式显示器(HMD)时，实况视频等可以在设置在参与者前面的透明显示单元上在增强现实(AR)中显示。此外，参与者终端10可通信地连接到各种显示装置并执行用于显示实况视频等的控制。在图11所示的示例中，在显示单元130上显示实况视频和图标图像，该图标图像示出在参与者侧输入的麦克风的开/关、或者鼓掌或欢呼声音。例如，当麦克风输入开启时，参与者P可通过实际握住他的手来执行握住操作。控制单元120分析由麦克风160收集的鼓掌声音，并将每单位时间的鼓掌次数或鼓掌时刻作为操作信息(鼓掌操作命令)从通信单元110与参与者ID一起发送到场所服务器20。控制单元120可每单位时间向场所服务器20发送操作信息等。
此外，当麦克风输入关闭时，参与者P可以通过用鼠标点击鼓掌图标图像、用手指等敲击画面或按下键盘上的相应预定键来执行鼓掌操作。在这种情况下，控制单元120与参与者ID一起从通信单元110向场所服务器20发送每单位时间的点击次数、点击定时等作为操作信息(鼓掌操作命令)。操作方法不限于此，参与者P可通过摇晃参与者P用手握住的控制器(其可以是手电筒等)或执行预定手势来执行鼓掌操作。这些操作可以通过各种传感器(加速度传感器、陀螺仪传感器、相机等)来检测。
在显示单元130上显示的鼓掌图标图像可以在接收到鼓掌操作时根据操作时刻闪烁。这使得可以将操作的接收反馈给参与者P。
(3-3-2.个体伪鼓掌声音数据的参数调整)
场所服务器20的伪声音生成单元221根据参与者ID和从参与者终端10发送的操作信息，选择个体伪鼓掌声音数据。例如，伪声音生成单元221选择与每单位时间的操作次数(鼓掌次数、点击操作次数、敲击操作次数等)相关联的个体伪鼓掌声音数据。伪声音生成单元221基于操作信息，对所选择的个体伪鼓掌声音数据执行参数调整。
图12是示出根据本实施例的用于个体伪鼓掌声音数据的参数调整的示例的图。如图12所示，伪声音生成单元221将根据单位时间b1中的操作次数(例如，五次)的第一个体伪鼓掌声音数据调整为与单位时间b1中的操作次数成比例的音量(振幅)，并进一步根据五次操作中的每次的时刻来调整第一个体伪鼓掌声音数据的五次再现中的每次的时刻。随后，伪声音生成单元221根据单位时间b2中的操作次数(例如，6次)将第二个体伪鼓掌声音数据调整为与单位时间b2中的操作次数成比例的音量(振幅)，并且根据六次操作中的每次操作的定时来调整第二个体伪鼓掌声音数据的六次再现中的每次再现的时刻。由此，在每单位时间根据操作信息适当地进行参数调整(音量或定时)，并且进行再现，使得可以再现通过更真实地再现参与者的实际鼓掌而获得的个体伪声音数据。此外，在本系统中，可以根据每单位时间的操作次数等自动选择个体伪鼓掌声音数据。
<3-4.个体伪欢呼用声音数据的输出>
接下来，将描述输出作为个体伪声音数据的示例的个体伪欢呼声音数据的处理。这里，虽然输出个体伪欢呼声音数据的处理将主要描述为代表，但是输出个体伪欢呼声音数据的处理可以类似地执行。
(3-4-1.欢呼声音的操作)
图13是示出本实施例的参与者侧的欢呼声音的动作的图。在图13所示的示例中，包含在参与者终端10中的操作输入单元140的示例可包括键盘141、鼠标142和脚控制器143。
在显示单元130上显示实况视频和图标图像，该图标图像显示在参与者侧输入的麦克风的开/关、或者鼓掌或欢呼声音。可根据欢呼声音的模式显示示出欢呼声音的每个图标图像。这些图标图像例如可以以不同颜色显示。此外，在显示欢呼声音的每个图标图像中，可以显示指示欢呼声音的模式的文本。另外，也可以像欢呼声音的图标图像那样显示用于执行喊叫音的输出操作的图标图像(还显示了指示喊叫音的内容的文本)。
参与者P可以通过用鼠标点击欢呼声音等的图标图像、用手指等敲击画面、或按下键盘上的预定相应键来执行用于选择欢呼声音的操作。在这种情况下，控制单元120与参与者ID一起从通信单元110向场所服务器20发送指示所选择的欢呼声音模式的信息(指示选择操作的信息)、每单位时间的点击次数、点击定时等作为操作信息(用于欢呼声音的操作命令等)。指示选择操作的信息可以是与所选择的欢呼声音的模式相关联的ID(欢呼声音ID)等。可以将欢呼声音ID分配给预先生成的个体伪欢呼声音数据。控制单元120可将由参与者P选择的欢呼声音ID发送到场所服务器20。此外，由于欢呼声音是具有特定时间长度的声音，因此控制单元120可仅记录用于欢呼声音的图标图像被点击的时间(开始时刻)作为操作时刻信息，并将该时间作为触发输出到场所服务器20，从而开始欢呼声音的再现。此外，控制单元120可聚合每单位时间的点击次数并将其结果作为操作的次数发送到场所服务器20。
(3-4-2.个体伪欢呼声音数据的参数调整)
场所服务器20的伪声音生成单元221基于从参与者终端10发送的参与者ID和指示由参与者选择的欢呼声音模式的欢呼声音ID(选择操作信息的示例)，选择个体伪欢呼声音数据。伪声音生成单元221基于操作信息，对所选择的个体伪欢呼声音数据进行参数调整。
图14是示出本实施例的个体伪欢呼声音数据的参数调整的示例的图。如图14所示，伪声音生成单元221例如可以在输入触发时开始再现所选择的个体伪欢呼声音数据，并且在再现欢呼声音的同时与每单位时间的操作次数成比例地调整音量(振幅)。例如，在图14所示的示例中，在输入了触发的时刻，开始再现与所选择的欢呼声音ID相对应的第一个体伪欢呼声音数据，将该第一个体伪欢呼声音数据调整为与单位时间b1的操作次数(例如五次)成比例的音量(振幅)，然后将第一个体伪欢呼声音数据调整为与单位时间b2的操作次数(例如六次)成比例的音量(振幅)。在所选择的模式的声音输出结束之前(或者在某一时间段需要说出单词时，直到输入下一触发或者预定持续时间结束)，对欢呼声音模式的选择保持激活。
此外，当与操作次数成比例地调整音量时，在由具有特定长度的词(或句子)组成的喊声的情况下，应该继续操作以说出词的结束(例如，持续击中喊声的图标图像)。当参与者P的操作时间比喊叫声音的持续时间短时，声音将在途中消失。因此，在从参与者终端10发出触发之后，场所服务器20的伪声音生成单元221将音量的基线设置为大于0的值，直到个体伪喊叫声音数据的持续时间结束，使得可以避免单词在途中消失。图15是示出本实施例的个体伪喊叫声音数据的参数调整的示例的图。如图15所示，例如，即使在输入触发之后再现的喊叫声音的持续时间内，单位时间内包含的操作次数为0，伪声生成单元221也对最小音量进行调整，使得可以避免声音消失。
(脚控制器143)
另外，对欢呼声音、喊叫声音执行操作的方法不限于上述点击图标图像的操作等。例如，当通过向麦克风输入实际的鼓掌来执行鼓掌操作时，难以同时点击用于欢呼声音的图标图像或操作键盘。因此，在本实施例中，用脚操作的脚控制器143可用于欢呼声音操作。
图16是表示用于执行本实施例的欢呼声音的操作的脚控制器143的示例的图。例如如图16所示，在脚控制器143上设有多个开关，这些开关通过用脚按压而进行操作。多个开关例如具有不同的颜色或形状，对应于不同的欢呼声音的模式。另外，在脚控制器143的情况下，操作强度(按压开关的强度)能够代替操作次数而用于伪声音生成单元221的参数调整。
脚控制器143的每个开关可设置有检测按压的传感器。按压的程度可由压力传感器检测，或者开关的高度的变化量可被检测，如图16的下部所示。开关部例如由橡胶状的弹性部件形成，开关部的高度根据按压强度而变化。此外，如图16的上部所示，脚控制器143也可以具有表示各开关的按压程度的显示部(按压力计)。
图17是示出本实施例的使用脚控制器143时的个体伪欢呼声音数据的参数调整的示例的图。在使用脚控制器143的情况下，操作量(按压开关的强度、按压量、开关的高度的变化量)连续地变化。控制单元120采样该变化并将操作量发送到场所服务器20。例如，控制单元120可以以低频率执行采样，以便减少数据量。具体地，例如，如图17的上部所示，可以每个单位时间执行频率采样，并且可以仅发送两个点(开始时间和结束时间)处的强度信息作为操作量信息。
场所服务器20的伪声音生成单元221在每单位时间在两个采样点之间执行插值，并且生成平滑的近似信号，如图17的上部中的虚线所示。如图17的下部所示，伪声音生成单元221根据生成的近似信号调整个体伪欢呼声音数据的音量(振幅)。当触发时间包括在单位时间内时，开始时间由触发时间代替，使得产生音量的包络信号。
此外，在脚控制器143的情况下，当根据操作量调整声音时，必须继续该操作，以便发出需要一定持续时间的喊叫声音直到单词结束。因此，伪声音生成单元221可执行参数调整，使得即使当包括在单位时间内的操作量信息(诸如按压力的信息)是0时，在伪声音的喊叫声音的持续时间内以最小音量继续再现。此外，如图16的上部所示，指示操作时间(喊叫声音的持续时间)的仪表可以安装在对应于脚控制器143的每个开关的位置处。它清楚地表明当仪表点亮时正在发出喊叫声音，使得可以提示参与者有意识地继续操作，直到喊叫声音的持续时间结束。此外，考虑到在实况发布期间难以看到位于脚部的这样的仪表的情况，控制单元120可在显示单元130上显示脚控制器143的控制参数。例如，如图13所示，控制单元120可将表示操作时间(喊叫声音的持续时间)的仪表显示在欢呼声音的图标图像的旁边，以便清楚地指示在仪表点亮时发出喊叫声音。此外，控制单元120可根据按压脚控制器143的开关的强度来改变图标图像的颜色深度等。
<<4.修改例>>
接下来，将参考图18至图21描述根据本实施例的实况发布系统的修改例。
在上述实施例中，已经描述了这样的情况，其中在实况场所中的每个观众座位处布置作为伪声音输出装置30的示例的小扬声器，并且从小扬声器输出相应参与者的个体伪声音数据，使得可以给舞台上的表演者好像观众实际上出现在观众座位中的感觉。然而，还假定代替使用大量小扬声器，从安装在舞台上或舞台周围的表演者的大扬声器(伪声音输出装置的另一示例)输出每个参与者的个体伪声音数据。在这种情况下，将场所的透视感、方向感和回声特性(被统称为传递特性)添加到要输出的每个参与者的个体伪声音数据，使得可以给舞台上的表演者好像声音从场所中的观众座位听到的感觉。
此外，在上述实施例中，作为场所声音获取装置40的示例的小麦克风被用于每个观众座位，即使当不能在该场所中准备大量小麦克风(例如，对于观众座位)时，但是场所服务器20也对从该场所中的混合器(场所声音获取装置40的另一示例)输出的场所声音信号执行预定处理，使得可以给予参与者好像参与者实际上正在观众座位收听的感觉，其中感受到该场所的空间的回声等。混合器是单独地调整从音频装置输入的各种声源的装置，该音频装置诸如收集表演者的语音或表演的麦克风、电子乐器和各种播放器(例如，CD播放器、录音播放器、和数字播放器)，混合声源，并输出生成的声源，并且是收集和适当地处理场所中的声音的音频处理装置的示例。
此外，将对从混合器输出的场所声音信号执行的预定处理是用于添加与关联于参与者的实况场所中的观众座位的虚拟位置(在下文中也被称为虚拟位置)相对应的诸如地点空间的透视感、方向感和回声特性(这些被统称为传递特性)的处理。
此外，准备包括例如场所的空间的回声的个体回声伪声音数据，并且可将根据各个参与者的反应选择的所有个体回声伪声音数据相加，并与场所声音信号一起发送到参与者终端10。个体回声伪声音数据是根据每个参与者的反应选择的回声伪鼓掌声音、回声伪欢呼声音等。这使得参与者可以观看场所中的所有观众(包括参与者本身)的反应，就像观众实际上在观众座位中收听一样。
在下文中，将具体描述根据本实施例的个体回声伪声音数据的使用和用于添加传递特性的处理。
<4-1.个体回声伪声音数据的生成>
在本修改例中，首先，准备在实际实况场所记录的鼓掌等的音频数据，即，回声模板伪声音数据。在实况场所预先录制回声模板伪声音数据(回声模板鼓掌声音数据或回声模板欢呼声音数据)，从而可以获得包括该场所空间回声的音频数据。接下来，在实况发布开始之前，将由参与者发出的声音的特征(例如，频率特性)与准备的回声模板伪声音数据合成，从而产生每个参与者的个体回声伪声音数据。
与个体伪声音数据一样，个体回声伪声音数据可以由个体伪声音生成服务器50生成。与个体回声伪声音数据一样，生成的个体回声伪声音数据可以与参与者ID相关联地存储在场所服务器20的存储单元230中。个体回声伪声音数据可与同一模式的个体伪声音数据相关联。在这种情况下，可将伪声音ID分配给每条伪声音数据，并且可使用相应的伪声音ID进行关联。
用于生成个体回声伪声音数据的处理与个体伪声音数据的生成相同，不同之处在于用于生成的模板的属性不同。个体伪声音生成服务器50将从由参与者输入到麦克风的鼓掌声音或欢呼声音提取的特征与模板伪声音数据和回声模板伪声音数据合成，从而生成个体伪声音数据和个体回声伪声音数据。
模板伪声音数据是在消回声环境中记录的诸如鼓掌或欢呼声音的声音数据，并且回声模板伪声音数据是在实际实况场所预先记录的诸如鼓掌或欢呼声音的声音数据。此外，将被使用的回声模板伪声音数据可以是与实况场所中的参与者的虚拟位置相对应的回声模板伪声音数据(即，通过记录在与该虚拟位置相对应的实际位置执行的鼓掌声音、欢呼声音等而获得的声音)。
<4-2.场所服务器20a的配置例>
图18是示出根据本实施例的修改例的场所服务器20a的配置的示例的框图。如图18所示，场所服务器20a包括通信单元210、控制单元220a和存储单元230。由于参见图9描述的场所服务器20的配置具有相同的附图标记如上所述，因此这里将省略对其的详细描述。
根据本修改例的控制单元220a还用作伪声音生成单元221a、传递特性HO添加单元225、伪声音输出控制单元222a、传递特性HI添加单元226、全参与者回声伪声音合成单元227、以及场所声音传输控制单元223a。
(伪声音生成单元221a)
伪声音生成单元221a根据通信单元210从参与者终端10获取的参与者ID、操作信息等，选择个体伪声音数据。此外，伪声音生成单元221a选择个体回声伪声音数据。例如，伪声音生成单元221a选择与所选择的个体伪声音数据相关联的相同模式的个体回声伪声音数据。如上所述，与个体伪声音数据一样，个体回声伪声音数据可以被预先生成并被存储在存储单元230中。
伪声音生成单元221a对所选择的个体伪声音数据和个体回声伪声音数据中的每一个执行参数调整。参数调整的细节与上述实施例中的相同，其示例可包括与操作次数成比例的音量调整、以及根据操作时刻的输出时刻的调整。
(传递特性HO添加单元225)
传递特性HO添加单元225将预先测量的场所的回声的传递特性HO加到从伪声音生成单元221a输出的个体伪声音数据。传递特性HO是从观众座位到场所的舞台(在表演者存在的地点周围)的传递特性。传递特性HO被添加到个体伪声音数据，使得即使当小场所扬声器不能被设置在该场所中的相应观众座位处时，也可以使表演者感觉好像观众存在于场所的空间中，并且例如，仅一个大扬声器32(伪声音输出装置30的示例)可以被安装在舞台上的表演者前面的脚处。
图19是示出根据本实施例的修改例的传递特性HO的图。如图19所示，在实况场所中提供舞台和观众座位，并且将ID(观众座位ID)分配给每个座位。在图19所示的示例中，示出了实况场所中的参与者A的虚拟位置(virtual position)和参与者B的虚拟位置。
以与虚拟位置相对应的观众座位为起点，表演者附近(例如，由虚线包围的部分)为声音接收点，测量来自各个观众座位(A和B)的传递特性(HO(A)，HO(B))。可以对所有观众座位执行传递特性HO的测量。
此外，可以适当地改变声音接收点。例如，当表演者没有在台上运动时，表演者站立的位置可被设置为声音接收点，并且当表演者运动到一定程度或者当存在多个表演者时，在实况场所中，例如设置在表演者前面的脚处的至少一个大扬声器32(向表演者输出全部参与者的个体伪声音数据的复合音频输出装置)可被设置为声音接收点。
所测量的传递特性HO与观众座位ID相关联地存储在场所服务器20的存储单元230中。传递特性HO添加单元225基于与参与者ID相关联的观众座位ID(虚拟位置)获取对应的传递特性HO。接下来，传递特性HO添加单元225将所获取的传递特性HO加到由伪声音生成单元221a选择的个体伪声音数据。
(伪声音输出控制单元222a)
伪声音输出控制单元222a对全部参与者的通过由传递特性HO添加单元225添加了传递特性HO的个体伪声音数据求和，并执行用于从大扬声器32输出求和结果的控制。
(传递特性HI添加单元226)
传递特性HI添加单元226将来自朝向场所中的观众座位设置的表演者扬声器60(音频输出装置)的传递特性HI加到从混合器42(场所声音获取装置40的示例)输出的场所声音信号，以将从混合器42输入的场所声音信号输出到每个观众座位。在本实施例中，来自实况场所的表演者使用的诸如麦克风或音乐乐器的各种音频设备的声音源被例如混合器42混合，从表演者扬声器60向实况场所的观众座位输出，并被发布给参与者终端10。这里，传递特性HI被添加到将被发送到参与者终端10的场所声音信号，使得可以再现好像参与者在每个观众座位处收听场所的声音的感觉。
传递特性HI可以在实时分配开始之前预先测量。图20是示出根据本实施例的修改例的转印特性HI的图。如图20中所示，实况场所设置有舞台和观众座位，并且每个座位被分配有ID(观众座位ID)。在图20中说明的示例中，说明实况场所中的参与者A的虚拟位置和参与者B的虚拟位置。对于安装在场所中的表演者扬声器，设置在舞台的左侧和右侧的两个扬声器(表演者扬声器60R和表演者扬声器60L)被假定作为示例。对于与虚拟位置相对应的相应观众座位(A和B)，测量来自左表演者扬声器60R和右表演者扬声器60L两者的传递特性(HR I(A)、HL I(A)、HR I(B)和HL I(B))。可以针对所有观众座位测量传递特性HI。
所测量的传递特性HI与观众座位ID相关联地存储在场所服务器20中。传递特性HI添加单元226基于与参与者ID相关联的观众座位ID(虚拟位置)获取对应的传递特性HI。接下来，传递特性HI添加单元226将所获取的传递特性HI加到从混合器42输出的场所声音信号。因而，合成了模拟在场所中的每个观众座位处收听表演等时的声音空间的声音。
(全参与者回声伪声音合成单元227)
全参与者回声伪声音合成单元227具有将从伪声音生成单元221a输出的全部参与者的所有个体回声伪声音数据相加的功能。由于从混合器42输出的场所声音信号仅是连接到混合器42的表演者、运动员等的麦克风或乐器的输出，所以场所声音信号不包括例如所有观众的鼓掌声音或欢呼声音。因此，通过场所声音传输控制单元223a，将各参与者的所有个体回声伪声音数据相加并与场所声音信号一起发送到参与者终端10，使得可以向参与者传递模拟全部参与者的在场所中的回声的反应，即，与场所的声音空间匹配的鼓掌声音、欢呼声音等。这使得参与者有可能观看场所中的所有观众(包括参与者本身)的反应，如同参与者实际上在观众座位中收听一样。
(场所声音传输控制单元223a)
场所声音传输控制单元223a进行用于将从混合器42输出的场所音频(场所声音信号)和由全参与者回声伪声音合成单元227合成的全部参与者的个体回声伪声音数据发送到参与者终端10的控制。
上面已经具体描述了根据本修改例的场所服务器20a的配置。图18中示出的配置是示例，并且本公开不限于此。例如，场所服务器20a可以由多个装置配置。进一步，可以不包括在场所服务器20a中示出的所有配置。
<4-3.添加传递特性的处理>
图21是示出根据本实施例的修改例的输送特性附加处理的流程的示例的流程图。
如图21所示，首先，场所服务器20a实时地从参与者终端10获取参与者ID、操作次数、时刻信息等(步骤S303)。操作次数或时刻信息是操作信息的示例。
接着，场所服务器20的伪声音生成单元221根据操作次数或时刻信息从与参与者ID相关联的一个或多个个体伪声音数据中选择一个个体伪声音数据(步骤S306)。
接着，伪声音生成单元221根据需要对所选择的个体伪声音数据执行参数调整(步骤S309)。
接下来，传递特性HO添加单元225将与关联于参与者ID的实况场所中的虚拟位置(例如，观众座位ID)相对应的传递特性HO添加至个体伪声音数据(步骤S312)。
接下来，伪声音输出控制单元222a执行用于从大扬声器32再现添加了传递特性HO的个体伪声音数据的控制(步骤S315)。如上所述，传递特性HO是从预定观众座位到表演者存在的舞台的传递特性。伪声音输出控制单元222a合成添加了与全部参与者的各个虚拟位置相对应的传递特性HO的个体伪声音数据，并执行用于从大扬声器32的输出(再现)的控制。大扬声器32是朝向舞台上的表演者布置的大扬声器，例如，在实况场所中的表演者前面的脚处，但是添加有考虑参与者的虚拟位置的传递特性HO的个体伪声音数据被输出，使得可以给予舞台上的表演者在场所中的透视感、方向感和回声感，就好像鼓掌或欢呼声音从实况场所中的观众座位传递一样。
随后，场所服务器20a从场所中的混合器42获取场所声音信号(步骤S318)。
接下来，传递特性HI添加单元226将与关联于参与者ID的虚拟位置(观众座位ID)相对应的传递特性HI添加到场所声音信号(步骤S321)。传递特性HI例如是从表演者扬声器60到预定观众座位的传递特性，如上所述。这使得可以考虑参与者的虚拟位置来生成用于再现例如实况场所的空间中的回声的场所声音信号。
接着，场所声音传输控制单元223a精细地调整(标准化等)模拟该场所的回声的场所声音信号(步骤S324)。
另一方面，伪声音生成单元221a根据从参与者终端10接收的操作信息，选择与参与者ID相关联的一条个体回声伪声音数据，并且基于操作信息等执行参数调整(步骤S327)。这种处理可以与步骤S306中所示的处理并行地执行。此外，伪声音生成单元221a可选择与在步骤S306中所示的处理中选择的个体伪声音数据相关联的个体回声伪声音数据(相同模式的伪声音数据)。与步骤S309所示的参数调整类似，伪声音生成单元221a对所选择的个体回声伪声音数据执行与操作次数成比例的音量调整、根据操作时刻的定时调整等。
接着，全参与者回声伪声音合成单元227对全部参与者的(进过参数调整的)个体回声伪声音数据执行合成(步骤S330)。
场所声音传输控制单元223a执行用于将模拟场所的回声的场所声音信号和全部参与者的个体回声伪声音数据发送至参与者终端10的控制(步骤S333)。这使得参与者可以实际观看通过考虑参与者的虚拟位置来再现实况场所的空间的回声而获得的场所声音信号，以及地点中全部观众(包括参与者自身)的反应，好像参与者从观众座位听到一样。
上面已经具体描述了根据本实施例的修改例的输送特性添加处理的流程。图21中示出的流程图的各个步骤可以被适当地并行处理，或者可以按相反的顺序处理。进一步，可以不处理所有的步骤。例如，在步骤S303至S315中示出的处理是用于将观众语音(个体伪声音数据)输出到场所的处理，并且是在实况发布期间被连续地和重复地处理。此外，与观众语音输出处理并行，在实况发布期间，在步骤S327至S330中示出的为参与者准备伪声音的处理和在步骤S318至S333中示出的向参与者发送场所声音(场所声音信号)的处理可以连续地重复处理。
<<5.补充>>
尽管已经参考附图详细地描述了本公开的优选实施例，但是本公开不限于这样的示例。显然，任何熟悉本技术领域的技术人员在本公开内容的技术构思范围内，可想到各种修改例或修改例，当然，应当理解，这些修改例或修改例也属于本公开的技术范围。
例如，可以适当地组合上述实施例和修改例。作为示例，当场所服务器20根据每个参与者的反应从在每个观众座位处提供的小扬声器输出个体伪声音数据时，从混合器42获取的场所声音信号(已添加了传递特性HI)和全部参与者的个体回声伪声音数据可以被发送到参与者终端10。
此外，根据每个参与者的反应的个体伪声音数据可以从朝向舞台上的表演者布置的至少一个大扬声器等输出，而不经过通过场所服务器20添加传递特性HO的处理。
此外，还可创建一个或多个计算机程序，以使结合在如上所述的参与者终端10、场所服务器20或个体伪声音生成服务器50中的诸如CPU、ROM和RAM的硬件用作参与者终端10、场所服务器20或个体伪声音生成服务器50。此外，提供了一种具有存储在其中的一个或多个计算机程序的计算机可读存储介质。
此外，在本说明书中描述的效果仅仅是描述性或说明性的，并且不受限制。即，除了上述效果之外或代替上述效果，根据本公开的技术从本说明书的描述可表现出对本领域技术人员显而易见的其他效果。
本技术还可以具有以下配置。
(1)
一种信息处理装置，包括：控制单元，被配置为执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示所述参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从安装在场所中的音频输出装置输出。
(2)
根据(1)所述的信息处理装置，其中，所述控制单元选择与在不同于所述场所的地点处实时获取的所述参与者的所述反应信息相对应的个体伪声音数据，并且执行控制以从所述音频输出装置到所述场所中的表演者的输出。
(3)
根据(1)或(2)所述的信息处理装置，其中，所述参与者的所述反应信息包括指示所述参与者的操作次数的信息、指示所述参与者的操作时刻的信息、指示操作量的信息以及通过对由所述参与者发出的声音执行频率分析而获得的频谱的信息以及所述参与者的选择操作信息中的至少一项。
(4)
根据(3)所述的信息处理装置，其中，所述一条或多条个体伪声音数据是一条或多条不同的个体伪鼓掌声音数据，并且
所述控制单元基于所述参与者在某一时间段内鼓掌的次数、点击操作的次数、敲击操作的次数以及频谱中的至少一项，从所述一条或多条不同的个体伪鼓掌声音数据中选择对应的个体伪鼓掌声音数据。
(5)
根据(4)所述的信息处理装置，其中，所述参与者的所述反应信息包括指示所述参与者鼓掌的时刻的信息，并且
所述控制单元根据所述鼓掌的时刻来调整所选择的个体伪鼓掌声音数据的输出时刻。
(6)
根据(4)或(5)所述的信息处理装置，其中，所述参与者的所述反应信息包括指示所述参与者鼓掌的次数的信息，并且
所述控制单元根据某一时间段内的鼓掌的次数来调整要输出的个体伪鼓掌声音数据的音量。
(7)
根据(3)所述的信息处理装置，其中，所述一条或多条个体伪声音数据是一条或多条不同的个体伪欢呼声音数据或个体伪喊叫声音数据，并且
控制单元根据参与者的选择操作来选择对应的个体伪欢呼声音数据或个体伪喊叫声音数据。
(8)
根据(7)所述的信息处理装置，其中，控制单元
使用所述参与者的所述选择操作的开始时刻作为触发，开始输出所选择的个体伪欢呼声音数据或个体伪喊叫声音数据，以及
根据所述选择操作的次数或所述选择操作的操作量，执行控制以实时改变所输出的个体伪欢呼声音数据或个体伪喊叫声音数据的音量。
(9)
根据(7)或(8)所述的信息处理装置，其中，所述控制单元执行调整，使得输出至少以最小的音量继续，直到所述个体伪喊叫声音数据的持续时间结束。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其其中，所述控制单元执行控制以从设置在所述场所中的所述参与者的虚拟位置处的个体音频输出装置输出所选择的个体伪声音数据。
(11)
根据(10)所述的信息处理装置，其中，所述控制单元执行控制，以将从设置在所述场所中的所述参与者的所述虚拟位置处的个体声音收集装置获取的场所声音信号发送至由在不同于所述场所的地点处的所述参与者使用的参与者终端。
(12)
根据(1)至(9)中任一项所述的信息处理装置，其中，所述控制单元执行控制，以将从所述场所中的所述参与者的虚拟位置到所述场所中的表演者的传递特性添加到所选择的个体伪声音数据，并且执行从设置在所述场所中的所述表演者周围的复合音频输出装置的输出。
(13)
根据(1)至(9)中任一项所述的信息处理装置，其中，所述控制单元执行控制，以将从音频处理装置获取的场所声音信号发送至由在不同于所述场所的地点处存在的所述参与者使用的参与者终端，所述音频处理装置被配置为收集来自所述场所中的音频设备的声源。
(14)
根据(13)所述的信息处理装置，其中，所述控制单元执行控制，以将从所述音频输出装置到所述场所中的所述参与者的虚拟位置的传递特性添加到从所述音频处理装置获取的所述场所声音信号，并且然后执行到所述参与者终端的传输，所述音频输出装置被配置为朝向所述场所中的观众座位输出所述场所声音信号。
(15)
根据(13)或(14)所述的信息处理装置，其中控制单元
从一条或多条个体回声伪声音数据中选择与指示所述参与者的实时反应的反应信息相对应的个体回声伪声音数据，所述个体回声伪声音数据通过在包括所述场所的回声的回声伪声音数据中反映由所述参与者发出的声音的特性而预先生成，
合成全部参与者的所选择的个体回声伪声音数据，并且
将所合成的全部参与者的个体回声伪声音数据与所述场所声音信号一起发送至所述参与者终端。
(16)
根据(1)至(9)中任一项所述的信息处理装置，其中，控制单元执行控制，以将从音频输出装置到场所中的参与者的虚拟位置的传递特性添加到从音频处理装置获取的场所声音信号，并且然后执行到参与者终端的传输，该音频输出装置被配置为朝向场所中的观众座位输出场所声音信号，该音频处理装置被配置为收集来自场所中的音频设备的声源。
(17)
一种信息处理装置，包括控制单元，该控制单元被配置为执行：
用于在模板的声音数据中反映由参与者发出的声音的特征以生成个体伪声音数据的处理，以及
用于与所述参与者相关联地存储所生成的个体伪声音数据的处理。
(18)
根据(17)所述的信息处理装置，其中，所述控制单元将通过分析由所述参与者发出的声音而获得的频率特性和时间特性中的一者或两者与所述模板的声音数据进行合成，以生成所述个体伪声音数据。
(19)
根据(17)或(18)的信息处理装置，还包括通信单元，
其中，通信单元
接收由所述参与者使用的参与者终端收集并分析的由所述参与者发出的声音的特征，并且
将所生成的个体伪声音数据与所述参与者的识别信息相关联地发送至场所服务器，所述场所服务器被配置为执行控制以将所述个体伪声音数据从安装在场所中的音频输出装置输出。
(20)
一种信息处理方法，包括：
通过处理器执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示所述参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从安装在场所中的音频输出装置输出。
(21)
一种程序，使计算机用作：
控制单元，被配置为执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示所述参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从安装在场所中的音频输出装置输出。
(22)
一种信息处理方法，包括：
由处理器将由参与者发出的声音的特征反映在模板的声音数据中以生成个体伪声音数据，并且
由所述处理器将所生成的个体伪声音数据与所述参与者相关联地存储。
(23)
一种程序，使计算机用作控制单元，该控制单元被配置为执行：
用于在模板的声音数据中反映由参与者发出的声音的特征以生成个体伪声音数据的处理，以及
用于与所述参与者相关联地存储所生成的个体伪声音数据的处理。
(24)
一种系统，包括：由参与者使用的参与者终端、以及控制来自安装在场所中的音频输出装置的输出的服务器，
其中，所述服务器包括：
通信单元，被配置为从所述参与者终端接收指示所述参与者的反应的反应信息；以及
控制单元，被配置为执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与所接收的指示参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从音频输出装置输出。
[附图标记列表]
10 参与者终端
110 通信单元
120 控制单元
130 显示单元
140 操作输入单元
150 扬声器
160 麦克风
20、20a场所服务器
210通信单元
220、220a控制单元
221、221a伪声音生成单元
222、222a伪声音输出控制单元
223、223a场所声音传输控制单元
225传递特性HO添加单元
226传递特性HI添加单元
227全参与者回声伪声音合成单元
230 存储单元
30 伪声音输出装置
40 场所声音获取装置
50 个体伪声音生成服务器
510通信单元
520 控制单元
521实际声音分析单元
522个体伪声音数据生成单元
523存储控制单元
530 存储单元
60 表演者扬声器
70 网络。

Claims (20)

1.一种信息处理装置，包括：
控制单元，被配置为执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示所述参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从安装在场所中的音频输出装置输出。
2.根据权利要求1所述的信息处理装置，其中，所述控制单元选择与在不同于所述场所的地点处实时获取的所述参与者的所述反应信息相对应的个体伪声音数据，并且执行控制以从所述音频输出装置到所述场所中的表演者的输出。
3.根据权利要求1所述的信息处理装置，其中，所述参与者的所述反应信息包括指示所述参与者的操作次数的信息、指示所述参与者的操作时刻的信息、指示操作量的信息以及通过对由所述参与者发出的声音执行频率分析而获得的频谱的信息以及所述参与者的选择操作信息中的至少一项。
4.根据权利要求3所述的信息处理装置，
其中，所述一条或多条个体伪声音数据是一条或多条不同的个体伪鼓掌声音数据，并且
所述控制单元基于所述参与者在某一时间段内鼓掌的次数、点击操作的次数、敲击操作的次数以及频谱中的至少一项，从所述一条或多条不同的个体伪鼓掌声音数据中选择对应的个体伪鼓掌声音数据。
5.根据权利要求4所述的信息处理装置，
其中，所述参与者的所述反应信息包括指示所述参与者鼓掌的时刻的信息，并且
所述控制单元根据所述鼓掌的时刻来调整所选择的个体伪鼓掌声音数据的输出时刻。
6.根据权利要求4所述的信息处理装置，
其中，所述参与者的所述反应信息包括指示所述参与者鼓掌的次数的信息，并且
所述控制单元根据某一时间段内的鼓掌的次数来调整要输出的个体伪鼓掌声音数据的音量。
7.根据权利要求3所述的信息处理装置，
其中，所述一条或多条个体伪声音数据是一条或多条不同的个体伪欢呼声音数据或个体伪喊叫声音数据，并且
所述控制单元根据所述参与者的选择操作来选择对应的个体伪欢呼声音数据或个体伪喊叫声音数据。
8.根据权利要求7所述的信息处理装置，
其中，所述控制单元
使用所述参与者的所述选择操作的开始时刻作为触发，开始输出所选择的个体伪欢呼声音数据或个体伪喊叫声音数据，并且根据所述选择操作的次数或所述选择操作的操作量，执行控制以实时改变所输出的个体伪欢呼声音数据或个体伪喊叫声音数据的音量。
9.根据权利要求7所述的信息处理装置，其中，所述控制单元执行调整，使得输出至少以最小的音量继续，直到所述个体伪喊叫声音数据的持续时间结束。
10.根据权利要求1所述的信息处理装置，其中，所述控制单元执行控制以从设置在所述场所中的所述参与者的虚拟位置处的个体音频输出装置输出所选择的个体伪声音数据。
11.根据权利要求10所述的信息处理装置，其中，所述控制单元执行控制，以将从设置在所述场所中的所述参与者的所述虚拟位置处的个体声音收集装置获取的场所声音信号发送至由在不同于所述场所的地点处的所述参与者使用的参与者终端。
12.根据权利要求1所述的信息处理装置，其中，所述控制单元执行控制，以将从所述场所中的所述参与者的虚拟位置到所述场所中的表演者的传递特性添加到所选择的个体伪声音数据，并且执行从设置在所述场所中的所述表演者周围的复合音频输出装置的输出。
13.根据权利要求1所述的信息处理装置，其中，所述控制单元执行控制，以将从音频处理装置获取的场所声音信号发送至由在不同于所述场所的地点处存在的所述参与者使用的参与者终端，所述音频处理装置被配置为收集来自所述场所中的音频设备的声源。
14.根据权利要求13所述的信息处理装置，其中，所述控制单元执行控制，以将从所述音频输出装置到所述场所中的所述参与者的虚拟位置的传递特性添加到从所述音频处理装置获取的所述场所声音信号，并且然后执行到所述参与者终端的传输，所述音频输出装置被配置为朝向所述场所中的观众座位输出所述场所声音信号。
15.根据权利要求13所述的信息处理装置，其中，所述控制单元
从一条或多条个体回声伪声音数据中选择与指示所述参与者的实时反应的反应信息相对应的个体回声伪声音数据，所述个体回声伪声音数据通过在包括所述场所的回声的回声伪声音数据中反映由所述参与者发出的声音的特性而预先生成，
合成全部参与者的所选择的个体回声伪声音数据，并且
将所合成的全部参与者的个体回声伪声音数据与所述场所声音信号一起发送至所述参与者终端。
16.一种信息处理装置，包括控制单元，所述控制单元被配置为执行：
用于在模板的声音数据中反映由参与者发出的声音的特征以生成个体伪声音数据的处理，以及
用于与所述参与者相关联地存储所生成的个体伪声音数据的处理。
17.根据权利要求16所述的信息处理装置，其中，所述控制单元将通过分析由所述参与者发出的声音而获得的频率特性和时间特性中的一者或两者与所述模板的声音数据进行合成，以生成所述个体伪声音数据。
18.根据权利要求16所述的信息处理装置，还包括：通信单元，
其中，所述通信单元
接收由所述参与者使用的参与者终端收集并分析的由所述参与者发出的声音的特征，并且
将所生成的个体伪声音数据与所述参与者的识别信息相关联地发送至场所服务器，所述场所服务器被配置为执行控制以将所述个体伪声音数据从安装在场所中的音频输出装置输出。
19.一种信息处理方法，包括：
通过处理器执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示所述参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从安装在场所中的音频输出装置输出。
20.一种程序，使计算机用作：
控制单元，被配置为执行控制，以从反映由参与者发出的声音的特征的一条或多条个体伪声音数据中选择与获取的指示所述参与者的反应的反应信息相对应的个体伪声音数据，并且将所选择的个体伪声音数据从安装在场所中的音频输出装置输出。
CN202180091496.6A 2021-01-27 2021-12-07 信息处理装置、信息处理方法及程序 Pending CN116848496A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021010786 2021-01-27
JP2021-010786 2021-01-27
PCT/JP2021/044926 WO2022163137A1 (ja) 2021-01-27 2021-12-07 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN116848496A true CN116848496A (zh) 2023-10-03

Family

ID=82653303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180091496.6A Pending CN116848496A (zh) 2021-01-27 2021-12-07 信息处理装置、信息处理方法及程序

Country Status (5)

Country Link
US (1) US20240089686A1 (zh)
JP (1) JPWO2022163137A1 (zh)
CN (1) CN116848496A (zh)
DE (1) DE112021006957T5 (zh)
WO (1) WO2022163137A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024047816A1 (ja) * 2022-08-31 2024-03-07 日本電信電話株式会社 映像関連音再生方法、映像関連音再生装置及び映像関連音再生プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3991076B2 (ja) * 1997-06-30 2007-10-17 雅信 鯨田 有限個数の座席の遠隔利用のためのシステム及び方法
JP2988920B1 (ja) * 1998-11-04 1999-12-13 株式会社エイ・ティ・アール知能映像通信研究所 実拍手誘導型自動拍手装置
JP2015507855A (ja) * 2011-11-16 2015-03-12 チャンドラサガラン・ムルガン 遠隔エンゲージメントシステム
JP2015097318A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 音声信号処理システム
JP2018028646A (ja) * 2016-08-19 2018-02-22 株式会社コシダカホールディングス 会場別カラオケ

Also Published As

Publication number Publication date
JPWO2022163137A1 (zh) 2022-08-04
DE112021006957T5 (de) 2023-12-21
US20240089686A1 (en) 2024-03-14
WO2022163137A1 (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
US20240153401A1 (en) Facilitating a social network of a group of performers
US9779708B2 (en) Networks of portable electronic devices that collectively generate sound
US9192868B2 (en) Audio animation system
KR100913092B1 (ko) 믹스신호의 인터페이스 표시 방법 및 장치
Luizard et al. Singing in physical and virtual environments: How performers adapt to room acoustical conditions
CN116848496A (zh) 信息处理装置、信息处理方法及程序
Martin et al. Subjective graphical representation of microphone arrays for vertical imaging and three-dimensional capture of acoustic instruments, part I
CN114598917B (zh) 显示设备及音频处理方法
WO2022018786A1 (ja) 音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラム
JP4426159B2 (ja) ミキシング装置
Härmä et al. Personalization of headphone spatialization based on the relative localization error in an auditory gaming interface
Kim et al. Perception of simultaneity and detection of asynchrony between audio and structural vibration in multimodal music reproduction
Martin et al. Immersive Content in Three Dimensional Recording Techniques for Single Instruments in Popular Music
WO2022230052A1 (ja) ライブ配信装置、ライブ配信方法
WO2021210338A1 (ja) 再生制御方法、制御システムおよびプログラム
Alambeigi et al. Auralising the soundscape of Sagrada Família Basilica: a virtual journey through sound
Kob et al. Online-Tool for interactive sound analysis of orchestra instruments
JP2022049333A (ja) 再生制御方法、制御システムおよびプログラム
EQUIPMENT AES 140TH CONVENTION PROGRAM
TWI289293B (en) Key-fixing interface of media center edition (MCE) platform and system thereof
Emulator AES 136th Convention Program
Kuusinen perception of concert hall acoustics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination