CN116438790A - 通信方法及系统 - Google Patents

通信方法及系统 Download PDF

Info

Publication number
CN116438790A
CN116438790A CN202180067545.2A CN202180067545A CN116438790A CN 116438790 A CN116438790 A CN 116438790A CN 202180067545 A CN202180067545 A CN 202180067545A CN 116438790 A CN116438790 A CN 116438790A
Authority
CN
China
Prior art keywords
terminal
event data
sound
data
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180067545.2A
Other languages
English (en)
Inventor
入山达也
鹈饲训史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN116438790A publication Critical patent/CN116438790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/08—Telephonic communication systems specially adapted for combination with other electrical systems specially adapted for optional reception of entertainment or informative matter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Abstract

第1终端将对第1音的发生进行指示的第1事件数据发送至服务器。第2终端将对第2音的发生进行指示的第2事件数据发送至所述服务器。所述服务器将包含所述第1事件数据的数据和包含所述第2事件数据的数据发送至所述第1终端。所述第1终端基于包含所述第1事件数据的数据和包含所述第2事件数据的数据，对所述第1音及所述第2音的发生进行控制。

Description

通信方法及系统
技术领域
本发明涉及彼此分离地存在的多个用户经由服务器进行信息交换的通信方法及系统。
本申请基于2020年10月9日申请的日本特愿2020-171116而要求优先权，在此引入该发明的全部内容。
背景技术
在戏剧、乐曲演奏的鉴赏、演讲的视听、体育观战、卡拉OK等由多个用户享受共通的对象的情形中，鼓掌声等由用户发出的声音是活跃气氛的有效手段。因此，专利文献1公开了将鼓掌声与卡拉OK曲一起记录于记录介质，将鼓掌声与卡拉OK曲一起从记录介质进行播放的技术。
专利文献1：日本特开平9-26796号公报
发明内容
但是，在专利文献1记载的技术中，与卡拉OK曲一起播放的鼓掌声是预先记录的固定的声音，作为活跃气氛的手段尚有欠缺。享受共通的对象的多个用户有可能希望各用户共享实时地发出的鼓掌声。但是，关于戏剧、乐曲演奏、演讲、体育等对象，有时彼此分离存在的多个用户对共通的对象进行鉴赏享受。在这种情况下，各用户彼此分离，因此无法共享彼此的鼓掌声。
本发明就是鉴于上述情况而提出的。本发明的目的的一个例子是提供一种能够使得要发出鼓掌声等声音的多个用户共享彼此的声音的技术手段。
本发明的实施方式涉及的通信方法包含：由第1终端将对第1音的发生进行指示的第1事件数据发送至服务器，由第2终端将对第2音的发生进行指示的第2事件数据发送至所述服务器，由所述服务器将包含所述第1事件数据的数据和包含所述第2事件数据的数据发送至所述第1终端，由所述第1终端基于包含所述第1事件数据的数据和包含所述第2事件数据的数据，对所述第1音及所述第2音的发生进行控制。
本发明的实施方式涉及的系统具有第1终端、第2终端和服务器。所述第1终端将对第1音的发生进行指示的第1事件数据发送至所述服务器。所述第2终端将对第2音的发生进行指示的第2事件数据发送至所述服务器。所述服务器将包含所述第1事件数据的数据和包含所述第2事件数据的数据发送至所述第1终端。所述第1终端基于包含所述第1事件数据的数据和包含所述第2事件数据的数据，对所述第1音及所述第2音的发生进行控制。
附图说明
图1是表示本发明的实施方式涉及的通信系统的结构的模块图。
图2是表示本发明的实施方式终端的结构的模块图。
图3是表示图2所示的终端的显示画面的图。
图4是表示在图2所示的终端中生成的第1事件数据的图。
图5是表示本发明的实施方式涉及的服务器的结构的图。
图6是表示本发明的实施方式涉及的第1终端及第2终端的事件播放部的处理内容的流程图。
图7是表示本发明的实施方式涉及的动作例的时序图。
图8是表示本发明的实施方式涉及的动作例的时序图。
图9是表示本发明的实施方式涉及的动作例的图。
具体实施方式
以下，参照附图，对本发明的实施方式进行说明。
图1是表示作为本发明的实施方式的通信系统1的结构的模块图。如图1所示，通信系统1包含与互联网等网络30连接的第1终端10_1及第2终端10_2和服务器20。
在该通信系统1中，服务器20对第1终端10_1及第2终端10_2，发送戏剧、乐曲演奏、演讲等各种现场直播节目的动画数据(包含音数据)。
第1终端10_1接收来自服务器20的数据而对现场直播节目进行播放。第1终端10_1在该播放中，与来自用户的操作相对应地，生成对鼓掌声的发音进行指示的第1事件数据EV_1并发送至服务器20。相同地，第2终端10_2接收来自服务器20的数据而对现场直播节目进行播放。第2终端10_2在该播放中，与来自用户的操作相对应地，生成对鼓掌声的发音进行指示的第2事件数据EV_2并发送至服务器20。
服务器20生成包含从第1终端10_1接收的第1事件数据EV_1和从第2终端10_2接收的第2事件数据EV_2的第3事件数据EV_3，将该第3事件数据EV_3发送至第1终端10_1及第2终端10_2。
第1终端10_1及第2终端10_2各自按照从服务器20接收的第3事件数据EV_3而对鼓掌声进行发音。如上所述，在通信系统1中，第1终端10_1的用户及第2终端10_2的用户能够对共通的现场直播节目进行视听，并且共享各自指示了发音的鼓掌声。
以上是本实施方式涉及的通信系统1的概略。此外，在图1中，为了防止附图变复杂，仅示出了2台的终端10＿1及10＿2，但从服务器20接受现场直播节目的提供、将对鼓掌声的发音进行指示的事件数据发送至服务器20的终端可以为3台以上。
图2是表示本实施方式的第1终端10＿1的结构例的模块图。此外，图示省略，但第2终端10_2也具有与第1终端10_1相同的结构。第1终端10＿1是具有个人计算机、智能手机等通信功能的计算机。如图2所示，第1终端10＿1具有处理器100、操作部110、显示部120、音输入部130、音输出部140、存储部150和通信部160。
处理器100是对第1终端10_1的各部进行控制的控制中枢。操作部110是接受用于对处理器100进行各种指示的操作的单元，由键盘、鼠标等各种的操作件构成。显示部120是对各种信息进行显示的单元，例如由液晶显示面板构成。在第1终端10＿1为智能手机等终端的情况下，操作部110及显示部120也可以是兼具各个功能的触摸面板。音输入部130是从外界对声音进行拾音而提供给处理器100的单元，由传声器130-1构成。音输出部140是将从处理器100提供的电信号作为声音向外界输出的单元，由扬声器140-1构成。存储部150具有RAM等易失性存储部和ROM、硬件设备等非易失性存储部。易失性存储部通过处理器100而作为工作存储器进行使用。在非易失性存储部存储由处理器100执行的各种程序、由处理器使用的各种控制数据。通信部160是对处理器100和与网络30连接的其他装置之间的通信进行控制的单元。
在本实施方式中，第1终端10＿1在访问服务器20而开始现场直播节目的动画数据的接收的情况下，在开始动画数据的接收之前，从服务器20下载节目播放程序151并储存至存储部150的易失性存储部。处理器100通过执行该节目播放程序151而作为节目播放部101、事件生成部102及事件播放部103起作用。
节目播放部101从服务器20经由通信部160而接收现场直播节目的动画数据，基于动画数据而生成(播放)现场直播节目。进一步详述，节目播放部101将接收到的动画数据表示的图像显示于显示部120，通过音输出部140对动画数据表示的声音进行放音。
事件生成部102在现场直播节目的播送中，与针对操作部110的操作相对应地，生成对鼓掌声的发音进行指示的第1事件数据EV＿1。在本实施方式中，为了接受鼓掌声的发音指示等各种指示，将图3所示的画面显示于显示部120。
在图3中，在节目显示区域121显示由节目播放部101播放的现场直播节目的图像。在显示部120的显示画面中，在节目显示区域121的右侧显示鼓掌按钮122a、122b、122c及122d和第1静音(mute)按钮123a及第2静音按钮123b。
鼓掌按钮122a、122b、122c及122d分别与音波形或发音方式彼此不同的鼓掌声a、b、c及d相关联。例如，鼓掌声a可以是以短的时间间隔多次响起的鼓掌声。鼓掌声b可以是以长的时间间隔少次响起的鼓掌声。用户通过鼠标等指点设备对鼓掌按钮122a～122d的任意者进行指示(选择)，由此能够将所期望的鼓掌声的发音指示提供给事件生成部102。
图4例示出由事件生成部102生成的第1事件数据EV_1。如图4所示，1个第1事件数据EV_1是包含发生时刻数据D1、音种类数据D2和终端识别数据D3的文本数据。第1事件数据EV＿1不包含鼓掌声的音数据。相同地，第2事件数据EV_1及第3事件数据EV_3也不包含鼓掌声的音数据。
发生时刻数据D1是表示发音指示的发生时刻、即选择了鼓掌按钮122a～122d的任意者的时刻的数据。在本实施方式中，发音指示的发生时刻是由服务器20提供的节目推进的时间轴上的时刻、即节目内时刻(以节目的开始时刻作为基准的当前的时刻、表示节目的经过时间的时刻)。
作为用于决定这样的节目内时刻的方法，可以使用各种方式的方法。在某个优选方式中，服务器20在节目的现场直播的开始定时，将表示节目开始的信息发送至第1终端10_1及第2终端10_2。第1终端10_1及第2终端10_2各自通过接收该信息而将各自的节目内时刻初始化。然后，第1终端10_1及第2终端10_2各自按照时间经过而对各自的节目内时刻进行更新。
在其他优选的方式中，服务器20在播放(发送)现场直播节目时，在现场直播节目的动画数据将节目内时刻进行多重化而发送至第1终端10_1及第2终端10_2。第1终端10_1及第2终端10_2各自从当前播放中的节目的动画数据取出节目内时刻的数据，利用于第1事件数据EV＿1的生成。在本实施方式中，通过该方式而决定节目内时刻。事件生成部102在选择了鼓掌按钮122a～122d的任意者时，生成该时间点的表示节目内时刻的发生时刻数据D1。
音种类数据D2是表示指示了发音的鼓掌声的种类的数据。在选择了鼓掌按钮122a的情况下，音种类数据D2成为表示鼓掌声a的数据。在选择了鼓掌按钮122b的情况下，音种类数据D2成为表示鼓掌声b的数据。在选择了鼓掌按钮122c的情况下，音种类数据D2成为表示鼓掌声c的数据。在选择了鼓掌按钮122d的情况下，音种类数据D2成为表示鼓掌声d的数据。
终端识别数据D3是用于对发生了发音的指示的终端进行识别的信息。第1事件数据EV_1是根据针对第1终端10_1的发音指示而生成的，因此该终端识别数据D3成为第1终端10_1的识别信息即ID1。另外，第2事件数据EV_2是根据针对第2终端10_2的发音指示而生成的，因此该终端识别数据D3成为第2终端10_2的识别信息即ID2。
由事件生成部102生成的第1事件数据EV_1经由通信部160而发送至服务器20并且被提供给事件播放部103。
事件播放部103具有按照由事件生成部102生成的第1事件数据EV_1而对鼓掌声进行发音的第1功能、和按照从服务器20经由通信部160而接收的第3事件数据EV_3对鼓掌声进行发音的第2功能。这2个功能是基于在存储部150的易失性存储部设定的第1静音标志MUTE1及第2静音标志MUTE2的状态而控制的。
第1静音标志(取消标志、中止标志)MUTE1是指示事件播放部103将基于第1事件数据EV＿1的鼓掌声的发音进行静音(取消、中止)(MUTE1＝ON)还是不进行静音(MUTE1＝OFF)的标志。在选择了鼓掌按钮122a～122d的任意者、生成了第1事件数据EV＿1时，与第1静音标志MUTE1相对应地，决定是将基于第1事件数据EV＿1鼓掌声的发音进行静音还是不进行静音。
第2静音标志(取消标志、中止标志)MUTE2是指示将基于第3事件数据EV＿3的鼓掌声的发音进行静音(取消、中止)(MUTE2＝ON)、还是不进行静音(MUTE2＝OFF)的标志。在由事件生成部102生成的第1事件数据EV_1被发送至服务器20、第1事件数据EV_1成为第3事件数据EV_3而从服务器20接收到的情况下，与第2静音标志MUTE2相对应地，决定是将基于该第3事件数据EV＿3的鼓掌声的发音进行静音还是不进行静音。
在图3所示的显示部120的显示画面中，第1静音按钮123a在第1静音标志MUTE1为ON时点亮，在为OFF时熄灭。另外，第2静音按钮123b在第2静音标志MUTE2为ON时点亮，在为OFF时熄灭。用户通过指点设备而选择第1静音按钮123a，由此能够对第1静音标志MUTE1的ON/OFF进行切换。另外，用户通过指点设备而选择第2静音按钮123b，由此能够对第2静音标志MUTE2的ON/OFF进行切换。
在事件播放部103中，第1静音标志MUTE1和第1功能之间的关系如下所述。在第1静音标志MUTE1为OFF的情况下，事件播放部103在从事件生成部102接受到第1事件数据EV_1的时间点，生成由该第1事件数据EV_1指定的鼓掌声的音信号，从音输出部140将该音信号作为鼓掌声进行发音。在第1静音标志MUTE1为ON的情况下，事件播放部103即使从事件生成部102接受到第1事件数据EV_1，也不进行由该第1事件数据EV_1指示的鼓掌声的发音。
在事件播放部103中，第2静音标志MUTE2和第2功能之间的关系如下所述。在第2静音标志MUTE2为OFF的情况下，事件播放部103在从服务器20接收到第3事件数据EV_3时，无论该第3事件数据EV_3是否是由第1事件生成部102生成的第1事件数据EV_1，都使音输出部140对由该第3事件数据EV_3指定的鼓掌声进行发音。
在第2静音标志MUTE2为ON的情况下，事件播放部103在从服务器20接收到第3事件数据EV_3时，对该第3事件数据EV_3的终端识别数据D3是否表示第1终端10_1的识别信息ID1、即该第3事件数据EV_3是否是由第1终端10_1生成的第1事件数据EV_1进行判定。而且，事件播放部103在第3事件数据EV_3不属于第1事件数据EV_1的情况下，进行由该第3事件数据EV_3指定的鼓掌声的发音。事件播放部103在第3事件数据EV_3属于第1事件数据EV_1的情况下，不进行由该第3事件数据EV_3指定的鼓掌声的发音。
接着，说明事件播放部103基于第3事件数据EV_3进行鼓掌声的发音的处理的定时控制。事件播放部103基于当前时刻(节目内时刻)和第3事件数据EV_3表示的发音指示的发生时刻，对基于第3事件数据EV_3的鼓掌声的发音的定时进行控制。进一步详述如下。
事件播放部103将从服务器20接收的第3事件数据EV_3蓄积至存储部150，将所蓄积的多个第3事件数据EV_3按照发生时刻数据D1表示的发生时刻顺序进行排序而创建列表。然后，事件播放部103从排序完毕的多个第3事件数据EV_3的列表之中按照发生时刻的顺序取出各第3事件数据EV_3，按照所取出的第3事件数据EV_3使鼓掌声进行发音。关于基于该第3事件数据EV_3的鼓掌声的发音的定时的控制，为了避免说明的重复，在本实施方式的动作说明中明示其详细内容。
图5是表示服务器20的结构的模块图。服务器20具有与第1终端10_1及第2终端10_2相同的处理器200、操作部210、显示部220、音输入部230、音输出部240、存储部250和通信部260。
在存储部250的非易失性存储部存储有节目播送程序251。处理器200通过执行该节目播送程序251而作为节目播送部201、事件合并部202及事件播放部203起作用。
节目播送部201针对请求现场直播节目的播送的接收的第1终端10_1及第2终端10_2，发送上述节目播放程序151，接着发送现场直播节目的动画数据。
事件合并部202对从接收到节目的播送的第1终端10_1及第2终端10_2送来的第1事件数据EV_1及第2事件数据EV_2进行合并，生成第3事件数据EV_3。
事件播放部203是对基于第3事件数据EV_3的鼓掌声的发音进行控制的单元。
在本实施方式中，能够通过操作部210的操作、或来自与网络30连接的终端的指示，将鼓掌声播放模式设定于服务器20、或将已设定的鼓掌声播放模式解除。鼓掌声播放模式是指按照从第1终端10_1及第2终端10_2发送来的第1事件数据EV_1及第2事件数据EV_2由服务器20对鼓掌声进行发音的模式。
在该鼓掌声播放模式已设定于服务器20的状态下，事件播放部203按照第3事件数据EV_3使音输出部240对鼓掌声进行发音。进一步详述，事件播放部203将第3事件数据EV_3蓄积于存储部250，将所蓄积的多个第3事件数据EV_3按照发生时刻数据D1表示的发生时刻顺序进行排序。然后，事件播放部203从排序完毕的第3事件数据EV_3之中，按照发生时刻顺序取出第3事件数据EV3，按照所取出的第3事件数据EV_3对鼓掌声进行发音。进一步详述，音输入部230由多个传声器、具体而言传声器230-1和传声器230-2构成。音输入部230也可以仅由一个传声器、即传声器230-1构成。音输出部240由多个扬声器、具体而言扬声器240-1和扬声器240-2构成。音输出部240也可以仅由一个扬声器、即扬声器240-1构成。作为第1例，对利用一个传声器(传声器230-1)和一个扬声器(扬声器240-1)的情况进行说明。在该情况下，扬声器240-1对各第3事件数据EV＿3的鼓掌声进行发音。传声器230-1对由扬声器240-1发音出的鼓掌声进行拾音，由此音输入部230生成包含鼓掌声的音数据。通信部260将该音数据发送至第1终端10_1及第2终端10_2。第1终端10_1及第2终端10_2基于音数据对鼓掌声进行播放。这里，由扬声器240-1发生鼓掌声，由此发生回声音。由此，音数据包含回声音。因此，第1终端10_1及第2终端10_2能够对自然的鼓掌声进行播放。接着，作为第2例，对利用一个传声器(传声器230-1)和多个扬声器(扬声器240-1及240-2)的情况进行说明。在该情况下，扬声器240-1及扬声器240-1对依照各第3事件数据EV＿3的鼓掌声进行发音。作为其他例子，也可以是，扬声器240-1仅对依照终端识别数据D3表示识别信息ID1的第3事件数据EV_3的鼓掌声进行发音，扬声器＿240-2仅对依照终端识别数据D3表示识别信息ID2的第3事件数据EV＿3的鼓掌声进行发音。传声器230-1对由扬声器240-1发音出的鼓掌声及由扬声器240-2发音出的鼓掌声进行拾音，由此音输入部230生成包含鼓掌声的音数据。通信部260将该音数据发送至第1终端10_1及第2终端10_2。第1终端10_1及第2终端10_2基于音数据对鼓掌声进行播放。这里，由扬声器240-1及240-2发生鼓掌声，由此发生与扬声器240-1及240-2的位置的差异对应的回声。因此，第1终端10_1及第2终端10_2能够对包含这样的回声的鼓掌声进行播放。由此，用户能够共享更自然的鼓掌声。接着，作为第3例，对利用多个传声器(传声器230-1及230-2)和多个扬声器(扬声器240-1及240-2)的情况进行说明。在该情况下，音输入部230生成基于由传声器230-1拾音到的声音的音数据和基于由传声器230-2拾音到的声音的音数据。通信部260向第1终端10＿1发送基于由传声器230-1拾音到的声音的音数据。另外，通信部260向第2终端10＿2发送基于由传声器230-2拾音到的声音的音数据。由此，第1终端10＿1及第2终端10＿2能够与传声器230-1及230-2的位置的差异对应地对各自不同的鼓掌声进行播放。在第1～第3例中，传声器230-1和/或230-2、扬声器240-1和/或240-2也可以设置于存在环境噪声的场所。在该情况下，音数据包含环境噪声。因此，第1终端10_1及第2终端10_2能够将环境噪声与鼓掌声一起进行播放。由此，用户能够共享更自然的鼓掌声。
接着，对本实施方式的动作例进行说明。图6是表示第1终端10_1及第2终端10_2的事件播放部103的处理内容的流程图。事件播放部103在进行节目播放的期间反复执行图6所示的处理。如上所述，事件播放部103将排序完毕的第3事件数据EV_3按照各自的发生时刻顺序从存储部150取出而进行鼓掌声的发音的控制。然后，事件播放部103在正要取出残存于存储部150内的发生时刻最早的第3事件数据EV_3时，对该第3事件数据EV_3的发生时刻数据D1表示的时刻相对于当前的节目内时刻是否处于容许范围TA内进行判断(步骤S1)。在该判断结果为否定的情况下，事件播放部103将该第3事件数据EV_3从列表取出并废弃(步骤S2)。即，事件播放部103不进行基于该第3事件数据EV_3的鼓掌声的发音。
另一方面，在上述判断的结果为肯定的情况下，事件播放部103对是否存在先于正要取出的第3事件数据EV_3而进行了鼓掌声的发音的第3事件数据EV_3进行判断(步骤S3)。在没有在先的第3事件数据EV_3的情况下，事件播放部103立即将该第3事件数据EV_3从列表去除而进行基于该第3事件数据EV_3的鼓掌声的发音(步骤S4)。
在有在先的第3事件数据EV_3的情况下，事件播放部103求出在先的第3事件数据EV_3的发生时刻数据D1表示的发生时刻t1和正要取出的第3事件数据EV_3的发生时刻数据D1表示的发生时刻t2之差的时间t2-t1。并且，事件播放部103将从基于在先的第3事件数据EV_3的鼓掌声的发生时刻t1′向后间隔时间t2-t1的时刻t2′临时设定为基于正要取出的第3事件数据EV_3的鼓掌声的发生时刻(步骤S5)。
接着，事件播放部103对正要取出的第3事件数据EV_3的发生时刻t2相对于临时设定的发生时刻t2′是否处于容许范围TA内进行判断(步骤S6)。即，事件播放部103对正要取出的第3事件数据EV_3的发生时刻t2和临时设定的发生时刻t2′之间的时间差是否处于容许范围TA内进行判断。在该判断结果为肯定的情况下，事件播放部103等待至节目内时刻变为发生时刻t2′为止，在发生时刻t2′将该第3事件数据EV_3从列表取出，进行基于该第3事件数据EV_3的鼓掌声的发音(步骤S7)。
另一方面，在正要取出的第3事件数据EV_3的发生时刻t2相对于临时设定的发生时刻t2′不在容许范围TA内的情况下，事件播放部103将发生时刻t2′提早至使得发生时刻t2相对于发生时刻t2′落入容许范围TA内(步骤S8)。然后，事件播放部103等待至节目内时刻变为该提早的发生时刻t2′为止，在发生时刻t2′将该第3事件数据EV_3从列表取出，进行基于该第3事件数据EV_3的鼓掌声的发音(步骤S9)。
图7及图8是表示本实施方式的动作例的时序图。在该动作例中，从服务器20至第1终端10＿1的传输延迟时间长于从服务器20至第2终端10＿2的传输延迟时间。因此，在第1终端10＿1中，迟于第2终端10_2而开始现场直播节目的播放。此外，在图6及图7中，为了容易进行本实施方式的动作的理解，与第1事件数据EV＿1、第2事件数据EV_2及第3事件数据EV_3各自发生的时间间隔相比，夸张地图示出服务器20和第1终端10_1及第2终端102各自之间的传输延迟。
在图7中，在第2终端10_2，在节目播放开始之后，在发生时刻(节目内时刻)t1发生第2事件数据EV_2，该第2事件数据EV_2经由服务器20而成为第3事件数据EV_3并发送至第1终端10_1。该第3事件数据EV_3的发生时刻数据D1表示发生时刻t1。
在第1终端10_1，该第3事件数据EV_3在经过了发生时刻(节目内时刻)t1的时刻蓄积于存储部150。在该动作例，没有先于该第3事件数据EV_3的第3事件数据EV_3。另外，该第3事件数据EV_3的发生时刻数据D1表示的发生时刻t1相对于当前的发生时刻(节目内时刻)t1′处于容许范围TA内。因此，事件播放部103在第3事件数据EV_3刚向存储部150蓄积之后的发生时刻(节目内时刻)t1′，将该第3事件数据EV_3从存储部150取出，进行基于第3事件数据EV_3的鼓掌声的发音。
然后，在第2终端10_2，在发生时刻(节目内时刻)t2发生第2事件数据EV_2，该第2事件数据EV_2经由服务器20而成为第3事件数据EV_3并发送至第1终端10_1。该第3事件数据EV_3的发生时刻数据D1表示发生时刻t2。
在第1终端10_1，该第3事件数据EV_3在经过了发生时刻(节目内时刻)t2的时刻蓄积于存储部150。这里，基于先于该第3事件数据EV_3的第3事件数据EV_3的鼓掌声的发音在时刻t1′进行。而且，从时刻t1′向后间隔时间t2-t1的时刻t2′被临时设定为发生时刻。在该动作例，第3事件数据EV_3的发生时刻数据D1表示的发生时刻t2相对于已临时设定的发生时刻t2′而处于容许范围TA内。因此，事件播放部103在发生时刻t2’将该第3事件数据EV_3从存储部150取出，进行基于第3事件数据EV_3的鼓掌声的发音。
在图8中，在第1终端10_1，在发生时刻(节目内时刻)t3发生第1事件数据EV_1，该第1事件数据EV_1经由服务器20而成为第3事件数据EV_3并发送至第2终端10_2。该第3事件数据EV_3的发生时刻数据D1表示发生时刻(节目内时刻)t3。另外，在第1终端10_1，在发生时刻(节目内时刻)t3之后的发生时刻(节目内时刻)t4，发生第1事件数据EV_1，该第1事件数据EV_1也成为第3事件数据EV_3并发送至第2终端10_2。该第3事件数据EV_3的发生时刻数据D1表示发生时刻t4。
在第2终端10_2，第3事件数据EV_3在经过了发生时刻(节目内时刻)t3的时刻蓄积至存储部150。针对该第3事件数据EV_3的处理与在图7的例子中第1终端10_1的事件播放部103针对在经过了时刻t1的时刻接收到的第3事件数据EV_3进行的处理相同。
在本动作例中，第2终端10＿2的节目播放开始时刻早于第1终端10_1的节目播放开始时刻。因此，由第2终端10_2接收到的第3事件数据EV_3的发生时刻数据D1表示的发生时刻和由第2终端10_2接收到该第3事件数据EV_3的节目内时刻之间的时间差，大于由第1终端10_1接收到的第3事件数据EV_3的发生时刻数据D1表示的发生时刻和由第1终端10_1接收到该第3事件数据EV_3的节目内时刻之间的时间差。因此，在第2终端10_2中，在进行了基于第3事件数据EV_3的鼓掌声的发生时刻的临时设定的情况下，与第1终端10_1的情况相比，需要进行发生时刻的修正的可能性变高。
在图8中，在第2终端10_2接收到包含表示发生时刻t4的发生时刻数据D1的第3事件数据EV_3时，将从基于在先的第3事件数据EV_3的鼓掌声的发生时刻t3′向后间隔时间t4-t3的时刻t4′被临时设定为基于该第3事件数据EV_3(发生时刻t4)的鼓掌声的发生时刻。但是，在本动作例中，该第3事件数据EV＿3表示的发生时刻t4相对于该临时设定的发生时刻t4′没有处于容许范围TA内。因此，在本动作例中，事件播放部103将发生时刻t4′修正为比通常提早的时刻、即相对于该第3事件数据EV_3表示的发生时刻t4向后间隔容许范围(容许时间)TA的时刻。在该情况下，在满足“t4′-t3′＜t4-t3”的发生时刻t4′，进行基于第3事件数据EV_3的鼓掌声的发音。
如上所述，在本实施方式中，在第2终端10＿2中，与第1终端10_1发出的发音指示大致同步地进行基于该发音指示的鼓掌声的发音。另外，在第1终端10_1中，与第2终端10_2发出的发音指示大致同步地进行基于该发音指示的鼓掌声的发音。因此，第1终端10_1及第2终端10_2的用户能够共享各自指示了发音的鼓掌声。
省略了图示，但在图7及图8中，第1终端10_1发送出的第1事件数据EV_1经由服务器20而成为第3事件数据EV_3并发送至第1终端10_1。另外，第2终端10_2发送出的第2事件数据EV_2经由服务器20而成为第3事件数据EV_3并发送至第2终端10_2。如上所述，针对第1终端10_1及第2终端10_2所接收的第3事件数据EV＿3的处理根据第2静音标志MUTE2的ON/OFF状态而不同。
在第2静音标志MUTE2为OFF的情况下，第1终端10＿1的事件播放部103无论第3事件数据EV_3所包含的终端识别数据D3是否表示第1终端10_1的识别信息ID1，都基于全部的第3事件数据EV_3进行鼓掌声的发音。第2终端10_2也相同。
在第2静音标志MUTE2为ON的情况下，第1终端10＿1的事件播放部103对第3事件数据EV_3所包含的终端识别数据D3是否表示第1终端10_1的识别信息ID1进行判定。第1终端10_1的事件播放部103针对终端识别数据D3表示识别信息ID1的第3事件数据EV_3不进行鼓掌声的发音，仅针对终端识别数据D3不表示识别信息ID1的第3事件数据EV_3进行鼓掌声的发音。
图9是表示该情况的第1终端10_1的动作例的图。在图9中示出由第1终端10_1接收到的第3事件数据EV_3的列表。在第2静音标志MUTE2为ON的情况下，如图9所示，将终端识别数据D3表示识别信息ID1的第3事件数据EV_3从鼓掌声的发音的对象排除。在图9的例子中，“X”是指排除。
如果设想如下的对比例，则容易获知本方式的效果。在对比例中，服务器从多个终端接受鼓掌声的发音指示，对该多个鼓掌声进行混频而发送至多个终端。在该对比例中，多个终端的用户也能够共享按照来自各终端的发音指示而发音的鼓掌声。但是，在对比例中，多个终端各自在与来自用户的发音指示相对应地进行了鼓掌声的发音的情况下，发出2次鼓掌声，即与来自用户的发音指示相对应地发出该鼓掌声，并发出与从服务器发送来的指示相对应的鼓掌声。这样的鼓掌声的发音会给用户带来不适感。
与此相对，在本实施方式中，在第1终端10＿1中，如果将第1静音标志MUTE1设为OFF，将第2静音标志MUTE2设为ON，则在对第1终端10_1发出了发音指示的情况下，基于该发音指示的鼓掌声的发音在该发音指示的时间点仅在第1终端10_1中进行，即使基于该发音指示的第1事件数据EV_1经由服务器20而成为第3事件数据EV_3并返回至第1终端10_1，也不进行基于该第3事件数据EV＿3的鼓掌声的发音。因此，根据本实施方式，能够避免在上述对比例中发生的发出2次鼓掌声这样的情况。
如以上说明的那样，根据本实施方式，第1终端10＿1将对鼓掌声的发音进行指示的第1事件数据EV_1发送至服务器20。第2终端10_2将对鼓掌声的发音进行指示的第2事件数据EV_2发送至服务器20。服务器20将包含第1事件数据EV_1和第2事件数据EV_2的第3事件数据EV_3发送至第1终端10_1。第1终端10_1按照第3事件数据EV_3进行鼓掌声的发音。因此，第1终端10_1的用户能够与第2终端10_2的用户共享鼓掌声。另外，在本实施方式中，从服务器20对第1终端10＿1发送数据量小的第3事件数据EV_3，因此与发送鼓掌声的音数据的情况相比，从服务器20向第1终端10＿1的数据的传输延迟变短。因此，在第1终端10_1中，能够在相对于第2终端10_2的发音指示的发生时刻的延迟小的适当的定时对鼓掌声进行发音。
另外，在上述实施方式中，服务器20对第1终端10_1及第2终端10_2播放(发送)节目。第1事件数据EV_1、第2事件数据EV＿2及第3事件数据EV＿3包含表示节目推进的时间轴的发音指示的发生时刻的发生时刻数据D1。第1终端10_1的事件播放部103基于当前时刻和第3事件数据EV_3的发生时刻数据D1表示的发音指示的发生时刻，对基于第3事件数据EV_3的鼓掌声的发音的定时进行控制。因此，根据本实施方式，第1终端10＿1的事件播放部103能够与第2终端10_2的发音指示的发生大致同步地进行基于该发音指示的鼓掌声的发音。
另外，在本实施方式中，第1终端10＿1的事件播放部103按照针对第1终端10_1的操作，对基于第3事件数据EV_3之中与从第1终端10_1发送来的第1事件数据EV_1对应的事件数据的发音的处理进行控制。具体而言，第1终端10_1的事件播放部103在通过操作部110的操作而将第2静音标志MUTE2设定为ON的情况下，针对第3事件数据EV_3之中与从第1终端10_1发送来的第1事件数据EV_1对应的事件数据，将其从发音的对象排除。因此，根据本实施方式，在第1终端10＿1，能够避免基于相同的发音指示而发出2次鼓掌声的情况。
另外，在本实施方式中，服务器20的事件播放部203在设定了鼓掌声播放模式的情况下，按照由事件合并部202生成的第3事件数据EV_3对鼓掌声进行发音。因此，服务器20的用户能够与第1终端10_1及第2终端10_2的各用户共享鼓掌声。
以上，对本发明的实施方式进行了说明，但本发明的实施方式不限定于此。对本发明的其他实施方式进行说明。
(1)可以在终端设置避免将对于用户而言不优选的鼓掌声在终端中发音的单元。例如，在服务器20将演讲的节目向各终端进行播送的情况下，当有在演讲者正讲话的期间等大多数用户不会发出鼓掌声的定时发出鼓掌声的用户的情况下，使得在终端中不发出该用户的鼓掌声。对此，需要对发出不优选的鼓掌声的用户的终端进行确定的方法。关于该方法，也可以采用如下方式。
＜方式1＞
事件播放部103在显示部120的显示画面对显示与各终端相关联的点(dot)。事件播放部103在按照第3事件数据EV_3进行鼓掌声的发音时，使与由该第3事件数据EV_3的终端识别数据D3确定出的终端相关联的点点亮。用户通过指点设备对在不优选的定时点亮的点进行指示。之后，事件播放部103将包含与所指示的点对应的终端的终端识别数据D3的第3事件数据EV_3从鼓掌声的发音对象排除。
＜方式2＞
事件播放部103将基于第3事件数据EV_3的鼓掌声的发音定时以一定期间进行解析。大多数的鼓掌声在大致相同的时刻密集地发生。另一方面，可能存在在与上述大多数的鼓掌声的发生时刻偏离的时刻发生的少数的鼓掌声(小于规定数量的发音指示)。对这样的少数的鼓掌声的发音指示的发生源即终端进行判定。将包含该终端的终端识别数据D3的第3事件数据EV_3从发鼓掌声的发音对象排除。
(2)在上述实施方式中，说明了服务器20将现场直播节目提供给第1终端10＿1及第2终端10＿2的例子，但不限定于这样的实施方式。作为提供节目的方式，也可以采用与来自终端的请求相对应地提供所录像的节目的方式。
在该方式中，服务器20在对现场直播节目进行录像时，对第3事件数据EV_3进行保存，该第3事件数据EV_3是将从第1终端10_1接收到的第1事件数据EV_1及从第2终端10_2接收到的第2事件数据EV_2合并得到的。而且，服务器20在从终端接收到播放录像的请求的情况下，将从该终端接收的鼓掌声的发音指示的事件数据和所保存的第3事件数据EV_3合并而生成新的第3事件数据EV_3′，并发送至该终端。根据该方式，发出了播放录像的请求的用户能够与对现场直播节目进行了视听的用户共享鼓掌声。
(3)在上述实施方式中，多个用户共享了鼓掌声，但成为共享的对象的声音不限定于鼓掌声。例如，在多个用户对歌舞伎等戏剧进行鉴赏的情况下，也可以共享针对演员的喝彩声。
(4)在第1终端10_1及第2终端10_2各自中，可以针对鼓掌声a、b、c及d这样的声音的每个种类，通过操作部110的操作对音量平衡、定位、音色、时间长度等基于第3事件数据EV_3的发音处理的方式进行控制。
(5)在上述实施方式中，第1终端10_1的事件播放部103将第3事件数据EV_3之中与从第1终端10_1发送来的第1事件数据EV_1对应的事件数据从发音的对象排除。但是，基于与第1事件数据EV_1对应的事件数据的发音的控制的方式不限定于此。例如，也可以是使基于与第1事件数据EV_1对应的事件数据进行发音的鼓掌声的音量降低的方式。
(6)服务器20也可以对第1终端10_1及第2终端10_2发送包含鼓掌声的音数据(音信号)的数据，作为第3事件数据EV＿3。在该情况下，第1终端10_1及第2终端10_2基于鼓掌声的音数据而发生鼓掌声。
工业实用性
本发明可以应用于通信方法。
标号的说明
10_1……第1终端
102……第2终端
20……服务器
30……网络
100、200……处理器
110、210……操作部
120、220……显示部
130、230……音输入部
140、240……音输出部
150、250……存储部
160、260……通信部
151……节目播放程序
101……节目播放部
102……事件生成部
103、203……事件播放部
201……节目播送部
202……事件合并部
121……节目显示区域
122a～122d……鼓掌按钮
123a……第1静音按钮
123b……第2静音按钮

Claims (7)

1.一种通信方法，其包含：
由第1终端将对第1音的发生进行指示的第1事件数据发送至服务器，
由第2终端将对第2音的发生进行指示的第2事件数据发送至所述服务器，
由所述服务器将包含所述第1事件数据的数据和包含所述第2事件数据的数据发送至所述第1终端，
由所述第1终端基于包含所述第1事件数据的数据和包含所述第2事件数据的数据，对所述第1音及所述第2音的发生进行控制。
2.根据权利要求1所述的通信方法，其中，
还包含由所述服务器对所述第1终端及所述第2终端发送节目，
所述第1事件数据包含表示所述节目的经过时间即第1时刻的信息，作为表示发生所述第1音的时刻的信息，所述第2事件数据包含表示所述节目的经过时间即第2时刻的信息，作为表示发生所述第2音的时刻的信息，
对所述第1音及所述第2音的发生进行控制包含：基于在所述第1终端中正播放的所述节目的当前时刻和所述第1时刻及所述第2时刻，对发生所述第1音及所述第2音的定时进行控制。
3.根据权利要求1或2所述的通信方法，其中，
对所述第1音及所述第2音的发生进行控制包含：按照针对所述第1终端的操作对所述第1音的发生进行控制。
4.根据权利要求1至3中任一项所述的通信方法，其中，
将包含所述第1事件数据的数据和包含所述第2事件数据的数据发送至所述第1终端包含：将所述第1音的语音数据和所述第2音的语音数据从所述服务器发送至所述第1终端，
对所述第1音及所述第2音的发生进行控制包含：
基于所述第1音的语音数据而发生所述第1音，
基于所述第2音的语音数据而发生所述第2音。
5.根据权利要求1至4中任一项所述的通信方法，其中，
对所述第1音及所述第2音的发生进行控制包含：按照针对所述第1终端的操作，对所述第1音及所述第2音的发生的方式进行控制。
6.根据权利要求1至5中任一项所述的通信方法，其中，
所述第1事件数据包含表示所述第1音的种类的信息，所述第2事件数据包含表示所述第2音的种类的信息，
对所述第1音及所述第2音的发生进行控制包含：
与所述第1音的种类相对应地，对所述第1音的发生的方式进行控制；以及
与所述第2音的种类相对应地，对所述第2音的发生的方式进行控制。
7.一种系统，其具有第1终端、第2终端和服务器，
在该系统中，
所述第1终端将对第1音的发生进行指示的第1事件数据发送至所述服务器，
所述第2终端将对第2音的发生进行指示的第2事件数据发送至所述服务器，
所述服务器将包含所述第1事件数据的数据和包含所述第2事件数据的数据发送至所述第1终端，
所述第1终端基于包含所述第1事件数据的数据和包含所述第2事件数据的数据，对所述第1音及所述第2音的发生进行控制。
CN202180067545.2A 2020-10-09 2021-10-07 通信方法及系统 Pending CN116438790A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-171116 2020-10-09
JP2020171116 2020-10-09
PCT/JP2021/037184 WO2022075418A1 (ja) 2020-10-09 2021-10-07 通信方法およびシステム

Publications (1)

Publication Number Publication Date
CN116438790A true CN116438790A (zh) 2023-07-14

Family

ID=81126967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180067545.2A Pending CN116438790A (zh) 2020-10-09 2021-10-07 通信方法及系统

Country Status (4)

Country Link
US (1) US20230239520A1 (zh)
JP (2) JP7426006B2 (zh)
CN (1) CN116438790A (zh)
WO (1) WO2022075418A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4968216B2 (ja) * 2008-08-29 2012-07-04 ソニー株式会社 情報提供方法及び情報提供装置、並びに、情報受信方法及び情報受信装置
JP2013150095A (ja) * 2012-01-18 2013-08-01 Digital Sensation Co Ltd コンテンツ配信システムおよびコンテンツ配信方法
JP2015005940A (ja) * 2013-06-24 2015-01-08 クリアタッチ株式会社 コンテンツ再生装置、コメント管理システム、およびコメント管理方法
US9277179B1 (en) 2013-06-27 2016-03-01 Google Inc. Video conferencing system and method
JP6473262B1 (ja) * 2017-11-13 2019-02-20 株式会社ドワンゴ 配信サーバ、配信プログラムおよび端末

Also Published As

Publication number Publication date
JPWO2022075418A1 (zh) 2022-04-14
US20230239520A1 (en) 2023-07-27
JP2024028555A (ja) 2024-03-04
WO2022075418A1 (ja) 2022-04-14
JP7426006B2 (ja) 2024-02-01

Similar Documents

Publication Publication Date Title
CN1637855B (zh) 用于与乐曲数据代码同时产生可视图像的音乐站
KR100920552B1 (ko) 합주 시스템
EP2743917B1 (en) Information system, information reproducing apparatus, information generating method, and storage medium
WO2012053371A1 (ja) アミューズメントシステム
JP4539639B2 (ja) 歌唱・演奏用装置及び歌唱・演奏用システム
JP3750699B2 (ja) 楽音再生装置
CN106875932B (zh) 一种带有声交互功能的数码键盘式乐器及其实现方法
WO2018008434A1 (ja) 演奏上演装置
CN116438790A (zh) 通信方法及系统
CN112119456B (zh) 任意信号插入方法以及任意信号插入系统
US10332496B2 (en) Reference display device, reference display method, and program
JP5109496B2 (ja) データ配信装置、データ配信方法およびプログラム
US10592204B2 (en) User interface device and method, and sound-enabled operation system
WO2021246104A1 (ja) 制御方法および制御システム
US11533537B2 (en) Information processing device and information processing system
JP5397637B2 (ja) カラオケ装置
CN111033461A (zh) 信息提供方法及信息提供装置
JP6876169B1 (ja) カラオケ装置
JP6236807B2 (ja) 歌唱音声評価装置および歌唱音声評価システム
WO2023084933A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7434083B2 (ja) カラオケ装置
JP2010085481A (ja) カラオケ装置
WO2021210338A1 (ja) 再生制御方法、制御システムおよびプログラム
JP4153453B2 (ja) 音楽再生装置
CN116741124A (zh) 音处理系统及该音处理系统的音处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination