CN114205400B - 通信控制方法 - Google Patents

通信控制方法 Download PDF

Info

Publication number
CN114205400B
CN114205400B CN202110956376.XA CN202110956376A CN114205400B CN 114205400 B CN114205400 B CN 114205400B CN 202110956376 A CN202110956376 A CN 202110956376A CN 114205400 B CN114205400 B CN 114205400B
Authority
CN
China
Prior art keywords
communication
terminal
data
stream data
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110956376.XA
Other languages
English (en)
Other versions
CN114205400A (zh
Inventor
矶崎善政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN114205400A publication Critical patent/CN114205400A/zh
Application granted granted Critical
Publication of CN114205400B publication Critical patent/CN114205400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0048—Allocation of pilot signals, i.e. of signals known to the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)
  • Communication Control (AREA)

Abstract

根据多个通信据点间的状况对通信方式进行切换。一个实施方式的通信控制方法包含如下内容：取得通过第1通信方式从第1终端发送来的第1流数据的第1特征量、和通过第1通信方式从第2终端发送来的第2流数据的第2特征量的比较结果，基于比较结果而第1特征量和第2特征量具有第1关系的情况下，将第1切换信号向第1终端以及第2终端发送，该第1切换信号用于将在第1终端和第2终端之间通过第1通信方式发送的通信控制对象的流数据，从基于第1通信方式进行的发送切换为基于与第1通信方式不同的第2通信方式进行的发送。

Description

通信控制方法
技术领域
本发明涉及一种对通信进行控制的技术。
背景技术
开发有如下技术，即，将演奏乐器的多个通信据点经由网络进行连接，由此在分离的场所也能够进行合奏。由于网络连接而产生的通信延迟使合奏变得困难。因此，优选构建减小通信延迟的环境，但无法消除通信延迟。因此，例如专利文献1中公开了在存在通信延迟的前提下用于减小延迟的影响的技术。
专利文献1：日本特开2005－195982号公报
实时地进行多个通信据点间(多个通信终端间)的通信的方法例如包含点对点(Peer to Peer)型通信(以下，称为P2P型通信)以及客户服务器型通信。P2P型通信是各通信据点的通信终端对等地进行连接的方式。客户服务器型通信是各通信据点的通信终端经由服务器进行连接的方式。根据这种通信方式的差别，在P2P型通信，能够减小通信延迟，但通信终端的处理负荷以及通信量容易增大。另一方面，在客户服务器型通信，能够抑制通信终端的负荷以及通信量的增大，但通信延迟变大。这种服务器例如具有SFU(选择性转发单元：Selective Forwarding Unit)以及MCU(多点控制单元：Multipoint Control Unit)这样的功能。
在上述合奏中，需要使通信延迟非常小。因此，进行合奏时的通信方法优选使用P2P型通信。然而，如果通信终端的处理负荷变大，则有可能由于该处理负荷而结果上延迟变大，或给通信终端的其他处理带来影响。另一方面，根据各通信据点的状况，也可以并非一定使用P2P型通信。
发明内容
本发明的目的之一在于，根据多个通信据点间的状况而对通信方式进行切换。
根据本发明的一个实施方式，提供一种通信控制方法，其中，取得通过第1通信方式从第1终端发送来的第1流数据的第1特征量、和通过所述第1通信方式从第2终端发送来的第2流数据的第2特征量的比较结果，基于所述比较结果而所述第1特征量和所述第2特征量具有第1关系的情况下，将第1切换信号向所述第1终端以及所述第2终端发送，该第1切换信号用于将在所述第1终端和所述第2终端之间通过所述第1通信方式发送来的通信控制对象的流数据，从基于所述第1通信方式进行的发送切换为基于与该第1通信方式不同的第2通信方式进行的发送。
发明的效果
根据本发明，能够根据多个通信据点间的状况而对通信方式进行切换。
附图说明
图1是对本发明的一个实施方式的通信系统的结构进行说明的图。
图2是对本发明的一个实施方式的通信控制表进行说明的图。
图3是对本发明的一个实施方式的通信终端的通信切换方法进行说明的流程图。
图4是对本发明的一个实施方式的管理服务器的通信控制方法进行说明的流程图。
图5是对本发明的一个实施方式的合奏状态的检测方法进行说明的图。
图6是对本发明的一个实施方式的合奏状态的检测方法进行说明的图。
图7是对本发明的一个实施方式的通信模式的控制方法进行说明的图。
图8是对通信据点间的数据的流动进行说明的图。
图9是对各数据的同步方法进行说明的图。
图10是对不使动画数据Dv同步时的各数据的同步方法进行说明的图。
图11是对特定模式时的各数据的同步方法进行说明的图。
具体实施方式
以下，参照附图对本发明的一个实施方式的通信系统详细地进行说明。以下所示的实施方式是本发明的实施方式的一例，本发明不是由这些实施方式限定而解释的内容。此外，在本实施方式所参照的附图中，对于相同部分或具有同样的功能的部分标注相同的标号或相似的标号(在数字之后标注了A、B等的标号)，有时省略其重复的说明。
[1.通信系统的结构]
图1是对本发明的一个实施方式的通信系统的结构进行说明的图。通信系统包含与互联网等网络NW连接的通信管理服务器1。通信管理服务器1根据各通信据点的状况而对与网络NW连接的多个通信据点间的通信进行控制。后述的通信管理服务器1的功能可以通过多个服务器协同动作而实现。在本例中，通信据点间的通信使用2个通信方式。2个通信方式是P2P型通信以及客户服务器型通信。在图1，例示出3个通信据点T1、T2、T3，但不受该数量限定。在不区分通信据点T1、T2、T3地进行说明的情况下，简称为通信据点。SFU服务器80是由客户服务器型通信使用、对各通信据点进行中转的服务器。
在各通信据点配置有通信终端20。在通信终端20连接有电子乐器30、拾音装置40、拍摄装置50、放音装置60以及显示装置70。在各通信据点，必须存在通信终端20，但电子乐器30、拾音装置40、拍摄装置50、放音装置60以及显示装置70中的至少一个可以不与通信终端20连接。电子乐器30、拾音装置40、拍摄装置50、放音装置60以及显示装置70中的至少1个和通信终端20也可以构成为一体的装置。
电子乐器30包含：演奏操作件；音源，其根据向演奏操作件的操作而输出音数据Da；以及数据输出部，其输出与该操作相对应的发音控制数据Dc。在本例中，电子乐器30是具有键作为演奏操作件的电子钢琴。音数据Da以及发音控制数据Dc被输出至通信终端20。音数据Da是表示音波形信号的数据，也可以被输出至放音装置60。发音控制数据Dc例如是用于按照MIDI标准等规定的标准对音源进行控制的数据。在该情况下，发音控制数据Dc包含与发音开始定时(timing)相关的信息(音符开：note on)以及与发音结束定时相关的信息(音符关：note off)等对发音内容进行规定的信息。
音源也可以通过发音控制数据Dc的控制而输出音数据Da。电子乐器30可以包含根据从外部输入的发音控制数据Dc而对演奏操作件进行驱动的螺线管等驱动部。在从其他通信据点接收到发音控制数据Dc时，只要向这样的音源或驱动部供给发音控制数据Dc即可。通过对演奏操作件进行驱动而成为与在电子乐器30进行了演奏的亲情况相同的状况，因此生成与发音控制数据Dc相应的音数据Da。
拾音装置40例如具有传声器或音波形信号的输入端子，将输入至传声器的音或输入至输入端子的音波形信号作为音数据Da而输出至通信终端20。
拍摄装置50例如具有照相机，将与由照相机拍摄到的图像相应的动画数据Dv输出至通信终端20。在以下说明中，图像包含静止图像以及动图像这两者。
放音装置60例如具有扬声器，将由从通信终端20供给来的音数据Da所表示的音从扬声器输出。供给至放音装置60的音数据Da是从其他通信据点发送来的音数据Da，也可以包含有在自身的通信据点生成的音数据Da。
显示装置70例如具有液晶显示器，将由从通信终端20供给来的动画数据Dv所表示的图像显示于液晶显示器。向显示装置70供给的动画数据Dv是从其他通信据点发送来的动画数据Dv，也可以包含有在自身的通信据点生成的动画数据Dv。
[2.通信终端的结构]
通信终端20包含控制部21、存储部23、通信部25以及操作部27。控制部21包含CPU、RAM以及ROM等。控制部21通过由CPU执行在存储部23存储的程序，进行按照在程序规定的命令的处理。在本例中，用于进行实现对通信进行切换的方法(通信切换方法)的处理的程序存储于存储部23。通信切换方法包含用于基于来自通信管理服务器1的指示对通信方式进行切换的处理，该通信方式用于进行数据的发送。
通信部25包含通信模块，与网络NW连接而和通信管理服务器1、其他通信据点的通信终端20以及SFU服务器80等外部装置进行各种数据的收发。在通信部25(通信终端20)与通信管理服务器1以外的外部装置之间发送的数据包含发音控制数据Dc、音数据Da以及动画数据Dv，并作为流数据而发送。进行这些数据的发送时的通信方式通过控制部21的控制而设定。如上所述，通信方式在本例中包含P2P型通信以及客户服务器型通信。
操作部27包含鼠标、键盘等操作装置，接受用户针对操作装置的操作，将与该操作相应的信号向控制部21输出。
存储部23包含非易失性存储器等存储装置，对由控制部21执行的程序进行存储。除此之外还对在通信终端20使用的各种数据进行存储。在存储部23存储的数据包含通信控制表。该程序只要能够由计算机执行即可，也可以以储存于磁记录介质、光记录介质、光磁记录介质、半导体存储器等计算机可读取记录介质的状态向通信终端20提供。在该情况下，通信终端20具有对记录介质进行读取的装置即可。另外，该程序也可以通过经由通信部25进行下载而提供。
图2是对本发明的一个实施方式的通信控制表进行说明的图。通信控制表对在多个通信模式各自中用于发音控制数据Dc、音数据Da以及动画数据Dv的发送的通信方式进行规定。多个通信模式包含模式A、B、C、D。通信方式包含客户服务器型通信(SFU)以及P2P型通信(P2P)。
在模式A，全部的数据通过客户服务器型通信(SFU)进行发送。在模式D，全部的数据通过P2P型通信(P2P)进行发送。另一方面，在模式B，发音控制数据Dc通过P2P型通信(P2P)进行发送，音数据Da以及动画数据Dv通过客户服务器型通信(SFU)进行发送。在模式C，发音控制数据Dc以及音数据Da通过P2P型通信(P2P)进行发送，动画数据Dv通过客户服务器型通信(SFU)进行发送。
通信终端20如果从通信管理服务器1被指示通信模式的设定，则控制部21为了决定与该通信模式相对应的各数据的发送的通信方式而参照该通信控制表。这样，控制部21将与所指示的通信模式相对应的通信方式设定于通信部25。对于通过通信管理服务器1进行的通信模式的设定，将后述。
[3.通信切换方法]
接着，对通信终端20的通信切换方法进行说明。如上所述，通信切换方法的各处理由控制部21执行。以下说明的通信切换方法的处理例如通过输入至操作部27的用户的指示而开始。
图3是对本发明的一个实施方式的通信终端的通信切换方法进行说明的流程图。通信终端20与通信管理服务器1连接(步骤S110)。此时，通信终端20指定用于供连接对象的通信据点加入的会话控制室(Session room)。也可以将新的会话控制室创立于通信管理服务器1。加入该会话控制室的多个通信据点的通信终端20是相互进行数据的发送的对象的终端。
通信终端20开始进行将特征量信息、通信负荷信息以及处理负荷信息向通信管理服务器1的发送(步骤S120)。通信终端20在与通信管理服务器1连接的期间，将特征量信息、通信负荷信息以及处理负荷信息每隔规定时间(例如每隔100毫秒)向通信管理服务器1发送。
特征量信息包含作为流数据而发送的发音控制数据Dc以及音数据Da的特征量。在本例中，特征量是表示在发送的时刻是否进行发音的信息。因此，与音数据Da相关的特征量信息通过表示在从该音数据Da得到的音量电平超过规定值的期间进行发音、在除此以外的期间不进行发音的情况，由此示出音数据Da的发音期间。与发音控制数据Dc相关的特征量信息通过表示在该发音控制数据Dc所表示的音符开至音符关的期间进行发音，除此以外的期间不进行发音，由此示出发音控制数据Dc的发音期间。与发音控制数据Dc相关的特征量信息也可以表示在将发音控制数据Dc通过音源变换为音数据Da之后，在从该音数据Da得到的音量电平超过规定值的情况下进行发音。
通信负荷信息是表示通信终端20在发送数据时使用的通信线路的负荷的信息。通信负荷例如通过通信终端20和其他通信终端20的P2P型通信的往返延迟时间(Round TripTime)的测定而得到。通常，与客户服务器型通信相比，P2P型通信所收发的数据量增大，因此通信负荷变大。因此，在通信线路没有富余的情况下，通过P2P型通信也无法实现低延迟。
处理负荷信息是表示通信终端20的处理负荷的信息。处理负荷例如与CPU的负荷相当。通常，与客户服务器型通信相比，P2P型通信所收发的数据量增大，因此由于编码以及解码等而处理负荷变大。因此，在通信终端20的数据处理能力没有富余的情况下，通过P2P型通信也无法实现低延迟。该处理负荷也可以包含由于在通信终端20并行地执行的其他程序引起的处理负荷。
通信终端20如果与通信管理服务器1连接，则从通信管理服务器1接收通信模式的设定指示而对通信模式进行设定(步骤S130)。由通信管理服务器1指定的通信模式是在由通信终端20指定的会话控制室设定的通信模式。在新创立了会话控制室等的情况下，在该会话控制室没有设定通信模式的情况下，由通信管理服务器1指示通信模式A的设定。如果是已经创立的会话控制室，则有时通过后述的通信控制方法而设定其他通信模式(模式B、模式C或模式D)。
通信终端20参照通信控制表，根据所设定的通信模式而进行各数据的发送。接着，通信终端20直至从通信管理服务器1接收到切换信号S(X)为止等待(步骤S140；No)。这里，X表示A、B、C、D的任意者。A、B、C、D分别与模式A、模式B、模式C、模式D相对应。如果接收到切换信号S(X)(步骤S140；Yes)，则通信终端20设定与该切换信号S(X)相应的通信模式X，由此对通信模式进行切换(步骤S150)。而且，通信终端20直至接收到切换信号S(X)为止等待(步骤S140；No)。
通信终端20由通信管理服务器1控制为对发音控制数据Dc、音数据Da以及动画数据Dv各自的发送所使用的通信方式进行变更。
[4.通信管理服务器的结构]
通信管理服务器1包含控制部11、存储部13以及通信部15。控制部11包含CPU、RAM以及ROM等。控制部11通过由CPU执行在存储部13存储的程序，从而进行按照由程序规定的命令的处理。在该程序包含用于进行如下处理的程序，该处理是实现对通信终端20的通信进行控制的方法(通信控制方法)。通信控制方法包含如下处理，该处理用于向通信终端20指示对用于执行数据的发送的通信方式进行切换。对于该处理的详细内容，将后述。通信部15包含通信模块，与网络NW连接，与各通信据点的通信终端20进行各种数据的发送。
存储部13包含硬盘等存储装置，对由控制部11执行的程序进行存储。除此以外还存储在通信管理服务器1使用的各种数据。该程序只要能够由计算机执行即可，也可以以在磁记录介质、光记录介质、光磁记录介质、半导体存储器等计算机可读取记录介质存储的状态向通信管理服务器1提供。在该情况下，通信管理服务器1只要具有对记录介质进行读取的装置即可。另外，该程序也可以通过经由通信部15进行下载而提供。
[5.通信控制方法]
接着，对通信管理服务器1的通信控制方法进行说明。如上所述，通信控制方法的各处理由控制部11执行。对于以下所说明的通信控制方法的处理，例如如果多个通信据点加入至会话控制室则开始进行。此时，演奏模式设定为模式A。因此，各通信据点间的发音控制数据Dc、音数据Da以及动画数据Dv的发送全部设定为客户服务器型通信。
图4是对本发明的一个实施方式的管理服务器的通信控制方法进行说明的流程图。通信管理服务器1对从多个通信据点的通信终端20接收的特征量信息进行比较，直至检测到合奏状态为止等待(步骤S210；No)。
合奏状态是指，在多个通信据点进行演奏的状态。各通信据点的演奏例如是使用电子乐器30的演奏，或是使用原声吉他乐器的演奏。在使用电子乐器30的演奏的情况下，发音控制数据Dc以及音数据Da中的至少一者被供给至通信终端20。在使用原声吉他乐器的演奏的情况下，原声吉他乐器的发音被输入至拾音装置40而将音数据Da供给至通信终端20。
如上所述，从各通信据点的通信终端20发送来的特征量信息包含表示作为流数据而发送的发音控制数据Dc以及音数据Da在各时刻是否进行发音的信息。因此，通过将该特征量信息沿时间轴进行比较，从而能够对在多个通信据点是否同时进行发音进行检测。但是，即使通过特征量信息而检测到存在发音，发音也有可能并不是由演奏引起的发音。本例的合奏状态的检测方法是尽量将不是由演奏引起的发音排除的方法。
图5及图6是对本发明的一个实施方式的合奏状态的检测方法进行说明的图。这些图是基于从通信据点T1、T2、T3各自的通信终端20发送的特征量信息，将各通信据点的发音期间(图中网格部分)沿时刻t示出。特征量在通信据点T1表示发音控制数据Dc的发音，在通信据点T2、T3表示音数据Da的发音。图6与从图5的状况经过少许时间后的状况相对应。
对合奏的检测方法的具体例进行说明。将合奏检测的判定时间点DP(当前时刻)的5秒前至判定时间点DP为止的期间，以1秒为单位进行划分，从而定义5个区间W1～W5。通信管理服务器1判定在各区间(判定期间)是否存在多个通信据点的发音期间。
在实际的合奏中，有时发音期间不重复即不存在同时的发音。因此，即使多个通信据点的发音期间不重复，但只要在1个区间存在发音期间，则将该区间判定为存在合奏音的区间。这里所说的多个通信据点可以与加入会话控制室的全部的通信据点不同，即表示加入会话控制室的通信据点中的至少2个通信据点。通信管理服务器1在判定为在区间W1～W5存在合奏音的情况下，检测到这些通信据点所加入的会话控制室为合奏状态。
从判定时间点DP回溯的时间(区间W1～W5的合计的时间)、划分出的区间的数量、各区间的时间是一例，也可以设定为各种值。区间W1～W5各自的长度可以不同。在该情况下，可以是越远离判定时间点DP的区间则越短，也可以是越靠近判定时间点DP的区间则越短。区间W1～W5也可以不是连续地排列。即，相邻的区间之间在时间上可以分离。
在图5，在区间W1仅在通信据点T1存在发音，因此，判定为在区间W1不存在合奏音。另一方面，判定为在区间W2～W5存在合奏音。如上所述，即使是通信据点T1的发音期间和通信据点T2的发音期间不重复的区间W2，也判定为存在合奏音。在该时间点，判定为在区间W1不存在合奏音，因此没有检测到通信据点T1～T3所加入的会话控制室为合奏状态。
在图6，判定为在区间W1～W5存在合奏音。因此，通信管理服务器1检测到通信据点T1～T3所加入的会话控制室为合奏状态。如果检测到合奏状态，则即使变得不满足上述条件，也直至检测到后述的非合奏状态为止，会话控制室维持为合奏状态。
返回至图4继续进行说明。如果检测到合奏状态(步骤S210；Yes)，则通信管理服务器1向各通信据点的通信终端20发送切换信号S(D)(步骤S230)。如上所述，如果由通信终端20接收到切换信号S(D)，则通信模式从模式A切换至模式D。即，各通信据点间的发音控制数据Dc、音数据Da以及动画数据Dv的发送从全部客户服务器型通信切换为P2P型通信。
通信管理服务器1对从多个通信据点的通信终端20接收的特征量信息进行比较，直至检测到非合奏状态为止，进行通信模式切换处理(步骤S310；No，步骤S400)。非合奏状态是指在全部的通信据点没有进行演奏的状态、或仅在1个通信据点进行演奏的状态。
非合奏状态的检测方法的具体例与合奏状态的检测方法相反。即，在判定为在与判定时间点DP相对应的区间W1～W5都不存在合奏音的情况下，检测为非合奏状态。
如果检测到非合奏状态(步骤S310；Yes)，则通信管理服务器1向各通信据点的通信终端20发送切换信号S(A)(步骤S900)。如上所述，如果由通信终端20接收到切换信号S(A)，则通信模式被设定为模式A。即，各通信据点间的发音控制数据Dc、音数据Da以及动画数据Dv的发送全部被设定为客户服务器型通信。而且，通信管理服务器1直至再次检测到合奏状态为止等待(步骤S210；No)。
通信模式切换处理(步骤S400)是根据负荷值Ld对通信模式进行切换的处理。负荷值Ld是基于从各通信终端20发送的通信负荷信息以及处理负荷信息，由通信管理服务器1计算出的负荷的大小的指标。在本例中，将与多个通信终端20相对应的通信负荷以及处理负荷分别设为0％至100％的范围，将最大值设为负荷值Ld。
图7是对本发明的一个实施方式的通信模式的控制方法进行说明的图。图7示出在通信模式切换处理，通信模式根据负荷值Ld而切换时的条件。
例如，在通信模式为模式D时，如果负荷值Ld大于阈值TC1，则通信管理服务器1以将通信模式切换为模式C的方式向各通信终端20发送切换信号S(C)。在通信模式为模式C时，如果负荷值Ld大于阈值TB1，则通信管理服务器1以将通信模式切换为模式B的方式向各通信终端20发送切换信号S(B)。另一方面，在通信模式为模式C时，如果负荷值Ld小于阈值TC21，则通信管理服务器1以将通信模式切换为模式D的方式向各通信终端20发送切换信号S(D)。
这里，TC1＞TC2。通过以上述方式设定，从而即使在Ld变得大于TC1而通信模式刚切换为模式C之后Ld变得小于TC1，也不立即切换为模式D。其他阈值的关系也同样地，是TB1＞TB2、TA1＞TA2。模式A的负荷小于模式B的负荷、模式B的负荷小于模式C的负荷、模式C的负荷小于模式D的负荷。因此，TA1、TB1以及TC1也可以设定为相同的阈值。TA2＝TB2＝TC2也可以设定为相同的阈值。
这样，在通信模式切换处理(步骤S400)，如果负荷值Ld变大，则通信管理服务器1将通信模式变更为与当前的模式相比负荷减小的模式，如果负荷值Ld变小，则通信管理服务器1将通信模式变更为与当前的模式相比通信延迟变小的模式。直至检测到上述非合奏状态为止，继续该通信模式切换处理。
[6.数据的收发例]
接着，说明通过如上述的通信控制方法以及通信切换方法，应用于各通信据点间的发音控制数据Dc、音数据Da以及动画数据Dv的发送的通信方法的一例。
图8是对通信据点间的数据的流动进行说明的图。在各网点没有进行演奏的情况下，维持通信模式设定为模式A的状态。在该情况下，发音控制数据Dc、音数据Da以及动画数据Dv的全部经由SFU服务器80而在通信据点间进行收发(图8中虚线所示的路径)。即，针对全部的数据，应用客户服务器型通信。在该状况下，即使通信延迟变大，但由于没有进行合奏，因此也没有发生特别的问题，因此优先减小通信负荷以及处理负荷。
设想在通信据点T1进行了演奏的情况。在该状态，通信模式保持模式A不变。这里在进一步在通信模式T2进行了演奏的情况下，检测到合奏状态。由此，通信模式切换为模式D。因此，发音控制数据Dc、音数据Da以及动画数据Dv的全部成为P2P型通信，在通信据点间直接进行收发(在图8由实线表示的路径)。
然后，在负荷值Ld增大的情况下，通信模式切换为模式C。这样，发音控制数据Dc以及音数据Da维持基于P2P型通信进行的发送，仅动画数据Dv切换为经由SFU服务器80的发送。如果负荷值Ld变化，则按照该变化对通信模式进行切换，对各个数据的通信方式进行切换。
作为减小通信延迟的数据，动画数据Dv的优先顺位最低，发音控制数据Dc的优先顺位最高。即使动画数据Dv延迟，但是只要音的延迟小，则进行合奏不会有大的障碍。因此，在通信模式从模式D切换为模式C的阶段，动画数据Dv的发送被切换为客户服务器型通信。发音控制数据Dc由于数据量少，因此即使维持P2P型通信也不易变为使负荷增大的要因。因此，在模式A以外的通信模式，发音控制数据Dc的发送使用P2P型通信。
如果通信据点T1、T2中的至少一者中断演奏，则检测到非合奏状态。由此，通信模式切换为模式A，发音控制数据Dc、音数据Da以及动画数据Dv的全部成为P2P型通信，在通信据点间直接进行发送。
[7.各数据间的同步]
接着，说明在接收到发音控制数据Dc、音数据Da以及动画数据Dv的通信据点，将从放音装置60输出的音和由显示装置70显示的影像同步的方法。这里所说的同步表示将数据发送侧的数据的各部的时间上的关系在数据接收侧也进行维持。以下说明是设想数据发送侧为通信据点T1、数据接收侧为通信据点T2的情况。
图9是对各数据的同步方法进行说明的图。在图9，时刻tp表示从通信据点T1发送了各数据的特定的部分的定时，时刻te表示在通信据点T2将接收到的数据同步而输出的定时。
时间dc是与发音控制数据Dc的通信延迟相当的时间。因此，通信据点T2在从时刻tp经过了时间dc之后接收到发音控制数据Dc。时间da是与音数据Da的通信延迟相当的时间。因此，通信据点T2在从时刻tp经过了时间da之后接收到音数据Da。时间dv是与动画数据Dv的通信延迟相当的时间。因此，通信据点T2在从时刻tp经过了时间dv之后接收动画数据Dv。
在本例中，为了使通信延迟最大的动画数据Dv同步，时刻te与动画数据Dv的接收时刻相对应。因此，在通信据点T2，通信终端20在从接收到发音控制数据Dc起经过时间htc(＝时间dv－时间dc)之后，将该发音控制数据Dc供给至电子乐器30。发音控制数据Dc直至经过时间htc为止在通信终端20缓存。电子乐器30通过音源将发音控制数据Dc变换为音数据Da而向放音装置60供给。这样，与发音控制数据Dc相应的音从放音装置60输出。
在通信据点T2，通信终端20在从接收到音数据Da起经过时间hta(＝时间dv－时间da)之后，将该音数据Da供给至放音装置60。音数据Da直至经过时间hta为止在通信终端20缓存。由此，与音数据Da相应的音从放音装置60输出。在通信据点T2，通信终端20如果接收到动画数据Dv，则将该动画数据Dv供给至显示装置70。由此，与动画数据Dv相应的图像在显示装置70显示。这样，与发音控制数据Dc相应的音、与音数据Da相应的音以及与动画数据Dv相应的图像得到同步。
时间htc以及时间hta可以使用在各通信据点的关系(在图9的例子，与通信据点T1至通信据点T2的关系)通过公知技术而预先取得的时间，也可以通过对各个数据赋予与发送时刻相对应的时间戳而从依次取得的时间戳的时间的偏差取得。
也可以通过与上述不同的方法取得时间htc以及时间hta。例如，在通信据点T1，对由演奏者进行的特定的动作进行拍摄，并且与该特定的动作同时地对特定的音进行录音。在通信据点T2接收以上述方式得到的音数据Da以及动画数据Dv，也可以基于该特定的动作和特定的音之间的偏差而取得时间hta。在通信据点T1，通过电子乐器30的演奏而得到发音控制数据Dc和音数据Da。也可以在通信据点T2接收该发音控制数据Dc和音数据Da，基于发音控制数据Dc所包含的音符开与音数据Da的发音开始定时之间的偏差(与图10所述的时间htx相当)、和时间hta而取得时间htc。
在动画数据Dv大幅地延迟的情况下，特别是在通信模式为模式C的情况下等，也可以将动画数据Dv设为同步的对象外。
图10是对不使动画数据Dv同步时的各数据的同步方法进行说明的图。与图9所示的例子不同，通信据点T2在与时刻te相比之后接收在时刻tp发送来的动画数据Dv。在本例中，使同步对象的数据中的通信延迟最大的音数据Da同步，因此时刻te与音数据Da的接收时刻相对应。因此，在通信据点T2，通信终端20在从接收到发音控制数据Dc起经过时间htx(＝时间da－时间dc)之后，将该发音控制数据Dc供给至电子乐器30。电子乐器30通过音源将发音控制数据Dc变换为音数据Da而供给至放音装置60。由此，与发音控制数据Dc相应的音从放音装置60输出。
在通信据点T2，通信终端20如果接收到音数据Da，则将该音数据Da供给至放音装置60。由此，与音数据Da相应的音从放音装置60输出。以上述方式，与发音控制数据Dc相应的音以及与音数据Da相应的音得到同步。另一方面，动画数据Dv与上述数据不同步。
接着，设想通信据点T2的电子乐器30具有驱动部，该驱动部基于发音控制数据Dc对演奏操作件进行驱动的情况。在该情况下，需要从向电子乐器30供给发音控制数据Dc起至对演奏操作件进行驱动为止的驱动时间。也可以考虑到该驱动时间而将各数据同步。在这样的同步中，设定为特定模式。
图11是对特定模式时的各数据的同步方法进行说明的图。图11所示的时间dm与从供给发音控制数据Dc起至对演奏操作件进行驱动为止所需的驱动时间相对应。时间dm可以作为电子乐器30的驱动部的特性而预先设定，也可以事先测定。
在本例中，通过发音控制数据Dc而由电子乐器30输出音数据Da为止的时间最大。因此，时刻te与从根据发音控制数据Dc而演奏操作件被驱动的电子乐器30输出音数据Da的定时相对应。因此，在通信据点T2，通信终端20在从接收到音数据Da起经过时间hty(＝时间dc+时间dm－时间da)之后，将该音数据Da供给至放音装置60。由此，与音数据Da相应的音从放音装置60输出。
在通信据点T2，通信终端20在从接收到动画数据Dv起经过时间htv(＝时间dc+时间dm－时间dv)之后，将该动画数据Dv供给至显示装置70。这样，与动画数据Dv相应的图像在显示装置70显示。以上述方式，与发音控制数据Dc相应的音、与音数据Da相应的音以及与动画数据Dv相应的图像得到同步。
在通过发音控制数据Dc而由电子乐器30输出音数据Da为止的时间最大的情况、即时间dm大的情况下，也可以根据时间da以及时间dv而不通过P2P型通信进行音数据Da以及动画数据Dv的发送。例如，在即使音数据Da以及动画数据Dv通过客户服务器型通信从通信据点T1发送，但在与时刻te相比之前在通信据点T2被接收的情况下，也不需要将音数据Da以及动画数据Dv的发送通过P2P型通信进行。因此，在该情况下，即使通信模式为模式C、D，也可以设定为模式B。
如以上所述，在一个实施方式的通信系统，能够根据多个通信据点间的状况而对通信方式进行切换。因此，也可以将通信控制为，在多个通信据点的演奏为合奏状态时应用减小通信延迟的通信方式，在为非合奏状态时应用减小通信负荷以及处理负荷的通信方式。在通信负荷或处理负荷变大的情况下，也可以针对数据的每个种类而对通信方式进行控制。
＜变形例＞
以上，对本发明的一个实施方式进行了说明，但本发明的一个实施方式也可能如下所述变形为各种形式。另外，上述实施方式以及以下所说明的变形例也可以分别相互组合地应用。
(1)通信管理服务器1也可以具有SFU服务器80的功能。在该情况下，通信管理服务器1也可以取代特征量信息而使用通过客户服务器型通信发送来的数据对合奏状态进行检测。
(2)从通信管理服务器1向通信终端20发送的切换信号是用于对演奏模式进行切换的信号，但也可以是取代对切换后的演奏模式进行指定而对各数据的通信方式进行指定的信号。在该情况下，可以是对需要变更通信方式的数据进行指定的形式。如果这样，则通信终端20也可以不具有通信控制表。
(3)建立将各通信据点间连接的P2P型通信的定时可以是根据通信模式而需要P2P型通信的定时，也可以是开始合奏状态的检测之前的定时。在没有要通过P2P型通信发送的数据时，也可以解除P2P型通信的建立。
(4)在切换了通信方式的情况下，通信终端20也可以直至通过切换后的通信方式接收到数据为止，将在通过切换前的通信方式接收之后在通信终端20缓存的数据输出至电子乐器30、放音装置60以及显示装置70。
(5)在实施方式，通信据点T1和通信据点T2进行合奏，由此检测到会话控制室为合奏状态，对于没有成为检测时的比较对象的通信据点T3，也可以执行与所设定的通信模式不同的处理。例如，从通信据点T3发送的数据不需要减小通信延迟，因此也可以使用客户服务器型通信。
(6)通信模式可以仅设为模式A、D。在该情况下，不需要根据通信负荷以及处理负荷对通信模式进行切换的处理。
(7)动画数据Dv可以在全部的通信模式通过客户服务器型通信进行发送而从通信方式的控制对象的流数据排除。
(8)通信终端20在通信负荷以及处理负荷超过规定的值的情况下，也可以执行降低上述负荷这样的处理。通信终端20例如可以通过减小动画尺寸的处理、降低动画分辨率的处理、降低动画帧频的处理、降低音的采样频率的处理、增加压缩率的处理以及削减音频通道的处理(将立体声设于单声道的处理)，降低负荷。这些处理预先设定有调整范围。在以上述方式进行降低负荷的处理的情况下，直至无法进行调整范围内的调整为止，上述负荷值Ld不会增大。
(9)合奏状态也可以通过对动画数据Dv进行比较而进行检测。在该情况下，特征量信息包含与动画数据Dv相关的特征量。该特征量例如可以是表示作为对动画数据Dv所示的图像进行了解析的结果而乐器是否包含于图像的信息，也可以是表示动着的人是否包含于图像的信息。合奏状态也可以取代实施方式的发音期间而通过使用乐器包含于图像的期间或动着的人包含于图像的期间进行检测。如上所述，只要根据各通信据点的状况对通信据点间的通信方式进行控制，则对于各通信据点的状况的检测能够应用各种方法。
在该情况下，也可以如上述变形例(7)将动画数据Dv从通信方式的控制对象的流数据排除。如上所述，如合奏状态的检测那样用于对各通信据点的状况进行检测的流数据、和成为通信方法的控制对象的流数据也可以不一致。
合奏状态也可以通过并用对本变形例涉及的与图像相关的特征量进行比较的方法、和对实施方式涉及的与音相关的特征量进行比较的方法而检测。在并用的情况下，可以在满足任一者的条件的情况下检测为合奏状态，也可以在满足两者的条件的情况下检测为合奏状态。
(10)在进行了基于电子乐器30的演奏的情况下，也可以将从电子乐器30输出的发音控制数据Dc以及音数据Da中的任一者从通信终端20发送。例如，在通信据点T1进行了基于电子乐器30的演奏的情况下，在通信据点T2、T3具有能够将发音控制数据Dc变换为音数据Da的功能的情况(例如，具有电子乐器30的情况)下，通信据点T1的通信终端20不发送由电子乐器30生成的音数据Da。另一方面，在通信据点T2、T3不具有能够将发音控制数据Dc变换为音数据Da的功能的情况下，通信据点T1的通信终端20不发送由电子乐器30生成的发音控制数据Dc。是否具有能够将发音控制数据Dc变换为音数据Da的功能的信息也可以从各通信据点预先发送至通信管理服务器1。通过以上述方式设定，不会将不需要的流数据从各通信据点发送。
(11)合奏状态基于多个通信据点的发音期间的关系而进行了检测，但也可以不是发音期间而是基于音的相关性进行检测。在该情况下，只要判定多个通信据点的音在区间W1～W5的各区间是否具有规定的相关关系即可。特征量可以是为了取得相关关系所需的信息，也可以是与音关联的信息。例如，作为与音关联的信息的特征量可以是基于音的强弱计算出的BPM(Beats Per Minute)。在该情况下，在各通信据点的BPM在区间W1～W5成为10％以下的误差的情况下，检测到合奏状态即可。
在设想相同内容的演奏在多个通信据点进行这样的状况的情况下，也可以对从多个通信据点发送来的音数据Da的音波形信号进行比较，取得音波形信号的一致度作为相关关系。因此，作为与音关联的信息的特征量为音波形信号。考虑通信延迟而将两者的信号的时间上的相对位置在规定范围进行变更而计算出音波形信号的一致程度，将一致程度最大时的值采用为一致度。在该一致度大于规定值的情况下，检测到合奏状态即可。
作为考虑通信延迟的方法的其他例子，通信管理服务器1也可以取得从各通信据点接收到音数据Da时的通信延迟时间，基于上述通信延迟时间而将来自通信据点的音数据Da的时间上的位置调整于从通信据点发送来的定时。以上述方式，对与各通信据点相对应的音数据Da的时间上的位置进行调整，由此能够从以在通信管理服务器1接收到的时刻为基准的音数据Da变换为以从通信据点发送来的时刻为基准的音数据Da。
也可以通过使用以上述方式变换后的音数据Da对音波形信号进行比较，而计算出音波形信号的一致度。由此，能够减小通信延迟时间的影响。根据所取得的通信延迟时间的精度，也可以并用上述方法，针对基于变换后的音数据Da的两者的信号将时间上的位置在规定范围进行变更而计算出音波形信号的一致程度。
除此以外，关于作为与音关联的信息的特征量，例如可以使用音高、音量、音色、奏法、和弦等音乐的分析要素。合奏状态不限定于对相同种类的要素进行比较而检测的情况，有时还对不同种类的要素进行比较而检测的情况。例如，也可以对和弦和音高进行比较，将为与和弦的构成音调和性高的音高这样的情况作为合奏状态的检测的条件。
例如，在能够同时对和音等多个音进行发音的乐器(例如，钢琴等键盘乐器、吉他等弦乐器)，使用和弦作为特征量。另一方面，在成为以单音的发音的乐器(例如，小提琴等弦乐器、萨克斯以及小号等管乐器)，使用音高作为特征量。也可以通过对和弦与音高进行比较而检测双方乐器的合奏状态。在不是乐器而是人声时，也可以作为合奏状态的检测的比较对象而使用。如果是一人的声音，则与成为以单音的发音的乐器相当，如果是多人的声音，则与能够同时对多个音进行发音的乐器相当。
在使用音高的情况下，例如，也可以使用与时间经过相伴的音高的变化、即乐句对合奏状态进行检测。此时，也可以在进行比较的2个乐句，以相同的音高的比例为规定比例以上作为条件对合奏状态进行检测。
(12)发送各数据的通信方式不限定于从P2P型通信和客户服务器型通信的任意者选择的情况，只要是通信延迟不同的通信方式的组合，也可以从各种组合选择。
(13)合奏状态的检测不限定于在通信管理服务器1进行的情况，也可以在任意的通信据点的通信终端20进行。在该情况下，通信终端20基于从其他通信据点发送的数据的比较对合奏状态进行检测。通信终端20在作为比较的结果而检测到合奏状态的情况下，只要将针对通信管理服务器1检测到了合奏状态这样的结果发送至通信管理服务器1即可。
以上是与变形例相关的说明。
根据本发明的一个实施方式，提供一种通信控制方法，其中，取得通过第1通信方式从第1终端发送来的第1流数据的第1特征量、和通过所述第1通信方式从第2终端发送来的第2流数据的第2特征量的比较结果，基于所述比较结果而所述第1特征量和所述第2特征量具有第1关系的情况下，将第1切换信号向所述第1终端以及所述第2终端发送，该第1切换信号用于将在所述第1终端和所述第2终端之间通过所述第1通信方式发送来的通信控制对象的流数据，从基于所述第1通信方式进行的发送切换为基于与该第1通信方式不同的第2通信方式进行的发送。并且还可以以如下方式构成。
在所述通信控制方法，所述第1特征量和所述第2特征量包含对发音期间进行规定的信息，所述第1关系包含有在所述第1特征量规定的第1发音期间和在所述第2特征量规定的第2发音期间在规定数量的判定期间的各判定期间存在的情况，所述通信控制对象的流数据包含所述第1流数据以及所述第2流数据。
在所述通信控制方法，所述第1特征量和所述第2特征量包含与音关联的信息，所述第1关系包含所述第1特征量和所述第2特征量具有规定的相关关系的情况，所述通信控制对象的流数据包含所述第1流数据以及所述第2流数据。
在所述通信控制方法，与所述音关联的信息是音波形信号，所述第1关系包含将与所述第1特征量相对应的音波形信号和与所述第2特征量相对应的音波形信号的时间上的相对位置在规定范围进行变更而得到的音的一致程度大于规定值的情况。
在所述通信控制方法，与所述音关联的信息是音波形信号，所述第1关系包含根据与基于相对于所述第1终端的通信延迟时间而调整了时间上的位置后的所述第1特征量相对应的音波形信号、和与基于相对于所述第2终端的通信延迟时间而调整了时间上的位置后的所述第2特征量相对应的音波形信号得到的一致程度大于规定值的情况。
在所述通信控制方法，所述第2通信方式的通信延迟小于所述第1通信方式的通信延迟。
在所述通信控制方法，在所述第1通信方式，所述第1终端和所述第2终端经由服务器而相互进行通信，在所述第2通信方式，所述第1终端和所述第2终端通过P2P而相互进行通信。
在所述通信控制方法，从所述第1终端向所述第2终端通过所述第1通信方式还发送包含音波形信号数据的第3流数据，所述第1流数据包含发音控制数据，所述通信控制对象的流数据包含所述第1流数据，在所述第1特征量和所述第2特征量具有第1关系的情况下，所述第3流数据也通过所述第1通信方式进行发送。
在所述通信控制方法，从所述第1终端向所述第2终端通过所述第1通信方式还发送包含音波形信号数据的第3流数据，所述第1流数据包含发音控制数据，所述通信控制对象的流数据包含所述第1流数据以及所述第3流数据，如果所述第1终端或所述第1终端的通信负荷满足规定的条件，则将第2切换信号向所述第1终端发送，该第2切换信号用于将所述第3流数据从基于所述第2通信方式进行的发送切换为基于所述第1通信方式进行的发送。
在所述通信控制方法，从所述第1终端向所述第2终端通过所述第1通信方式还发送包含音波形信号数据的第3流数据，所述第1流数据包含发音控制数据，所述通信控制对象的流数据包含所述第1流数据以及所述第3流数据，如果所述第1终端或所述第2终端的处理负荷满足规定的条件，则将第2切换信号向所述第1终端发送，该第2切换信号用于将所述第3流数据，从基于所述第2通信方式进行的发送切换为基于所述第1通信方式进行的发送。
在所述通信控制方法，在基于所述比较结果而所述第1特征量和所述第2特征量具有第1关系之后，在所述第1特征量和所述第2特征量具有第2关系的情况下，将基于所述第2通信方式进行的通信建立解除，将第2切换信号向所述第1终端以及所述第2终端发送，该第2切换信号用于将所述通信控制对象的流数据，从基于所述第2通信方式进行的发送切换为基于所述第1通信方式进行的发送。
在所述通信控制方法，在所述第1特征量和所述第2特征量具有第1关系的情况下，将所述通信控制对象的流数据通过所述第2通信方式还向第3终端发送。
标号的说明
1…通信管理服务器，11…控制部，13…存储部，15…通信部，20…通信终端，21…控制部，23…存储部，25…通信部，27…操作部，30…电子乐器，40…拾音装置，50…拍摄装置，60…放音装置，70…显示装置，80…SFU服务器

Claims (12)

1.一种通信控制方法，其中，
取得通过第1通信方式从第1终端发送来的第1流数据的第1特征量、和通过所述第1通信方式从第2终端发送来的第2流数据的第2特征量的比较结果，
在基于所述比较结果而所述第1特征量和所述第2特征量具有第1关系的情况下，将第1切换信号向所述第1终端以及所述第2终端发送，该第1切换信号用于将在所述第1终端和所述第2终端之间通过所述第1通信方式发送来的通信控制对象的流数据，从基于所述第1通信方式进行的发送切换为基于与该第1通信方式不同的第2通信方式进行的发送。
2.根据权利要求1所述的通信控制方法，其中，
所述第1特征量和所述第2特征量包含对发音期间进行规定的信息，
所述第1关系包含有在所述第1特征量规定的第1发音期间和在所述第2特征量规定的第2发音期间在规定数量的判定期间的各判定期间存在的情况，
所述通信控制对象的流数据包含所述第1流数据以及所述第2流数据。
3.根据权利要求1所述的通信控制方法，其中，
所述第1特征量和所述第2特征量包含与音关联的信息，
所述第1关系包含所述第1特征量和所述第2特征量具有规定的相关关系的情况，
所述通信控制对象的流数据包含所述第1流数据以及所述第2流数据。
4.根据权利要求3所述的通信控制方法，其中，
与所述音关联的信息是音波形信号，
所述第1关系包含将与所述第1特征量相对应的音波形信号和与所述第2特征量相对应的音波形信号的时间上的相对位置在规定范围进行变更而得到的音的一致程度大于规定值的情况。
5.根据权利要求3或4所述的通信控制方法，其中，
与所述音关联的信息是音波形信号，
所述第1关系包含根据与基于来自所述第1终端的通信延迟时间而调整了时间上的位置后的所述第1特征量相对应的音波形信号、和与基于来自所述第2终端的通信延迟时间而调整了时间上的位置后的所述第2特征量相对应的音波形信号得到的一致程度大于规定值的情况。
6.根据权利要求1至5中任一项所述的通信控制方法，其中，
所述第2通信方式的通信延迟小于所述第1通信方式的通信延迟。
7.根据权利要求1至5中任一项所述的通信控制方法，其中，
在所述第1通信方式，所述第1终端和所述第2终端经由服务器而相互进行通信，
在所述第2通信方式，所述第1终端和所述第2终端通过P2P而相互进行通信。
8.根据权利要求1至7中任一项所述的通信控制方法，其中，
从所述第1终端向所述第2终端通过所述第1通信方式还发送包含音波形信号数据的第3流数据，
所述第1流数据包含发音控制数据，
所述通信控制对象的流数据包含所述第1流数据，
在所述第1特征量和所述第2特征量具有第1关系的情况下，所述第3流数据也通过所述第1通信方式进行发送。
9.根据权利要求1至7中任一项所述的通信控制方法，其中，
从所述第1终端向所述第2终端通过所述第1通信方式还发送包含音波形信号数据的第3流数据，
所述第1流数据包含发音控制数据，
所述通信控制对象的流数据包含所述第1流数据以及所述第3流数据，
如果所述第1终端或所述第1终端的通信负荷满足规定的条件，则将第2切换信号向所述第1终端发送，该第2切换信号用于将所述第3流数据从基于所述第2通信方式进行的发送切换为基于所述第1通信方式进行的发送。
10.根据权利要求1至7中任一项所述的通信控制方法，其中，
从所述第1终端向所述第2终端通过所述第1通信方式还发送包含音波形信号数据的第3流数据，
所述第1流数据包含发音控制数据，
所述通信控制对象的流数据包含所述第1流数据以及所述第3流数据，
如果所述第1终端或所述第2终端的处理负荷满足规定的条件，则将第2切换信号向所述第1终端发送，该第2切换信号用于将所述第3流数据从基于所述第2通信方式进行的发送切换为基于所述第1通信方式进行的发送。
11.根据权利要求1至10中任一项所述的通信控制方法，其中，
在基于所述比较结果而所述第1特征量和所述第2特征量具有第1关系之后，在所述第1特征量和所述第2特征量具有第2关系的情况下，将基于所述第2通信方式进行的通信建立解除，将第2切换信号向所述第1终端以及所述第2终端发送，该第2切换信号用于将所述通信控制对象的流数据，从基于所述第2通信方式进行的发送切换为基于所述第1通信方式进行的发送。
12.根据权利要求1至11中任一项所述的通信控制方法，其中，
在所述第1特征量和所述第2特征量具有第1关系的情况下，将所述通信控制对象的流数据通过所述第2通信方式还向第3终端发送。
CN202110956376.XA 2020-09-01 2021-08-19 通信控制方法 Active CN114205400B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020146821A JP2022041553A (ja) 2020-09-01 2020-09-01 通信制御方法
JP2020-146821 2020-09-01

Publications (2)

Publication Number Publication Date
CN114205400A CN114205400A (zh) 2022-03-18
CN114205400B true CN114205400B (zh) 2023-09-01

Family

ID=80355912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110956376.XA Active CN114205400B (zh) 2020-09-01 2021-08-19 通信控制方法

Country Status (3)

Country Link
US (1) US11588888B2 (zh)
JP (1) JP2022041553A (zh)
CN (1) CN114205400B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022041553A (ja) * 2020-09-01 2022-03-11 ヤマハ株式会社 通信制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284796A (ja) * 2005-03-31 2006-10-19 Yamaha Corp 楽音信号送信端末および楽音信号受信端末
CN101055261A (zh) * 2006-02-07 2007-10-17 合肥工大双发信息系统技术有限公司 金属液综合性能在线智能检测系统
CN101064543A (zh) * 2006-04-27 2007-10-31 索尼株式会社 无线通信系统、无线通信装置及无线通信方法
CN101321180A (zh) * 2007-06-07 2008-12-10 株式会社日立制作所 传感器网络系统和传感器节点
CN103004152A (zh) * 2011-06-09 2013-03-27 松下电器产业株式会社 通信终端、通信控制方法以及程序

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6646195B1 (en) * 2000-04-12 2003-11-11 Microsoft Corporation Kernel-mode audio processing modules
US6653545B2 (en) * 2002-03-01 2003-11-25 Ejamming, Inc. Method and apparatus for remote real time collaborative music performance
JP4001091B2 (ja) * 2003-09-11 2007-10-31 ヤマハ株式会社 演奏システム及び楽音映像再生装置
JP4259329B2 (ja) 2004-01-08 2009-04-30 ヤマハ株式会社 演奏装置および合奏システム
US7297858B2 (en) * 2004-11-30 2007-11-20 Andreas Paepcke MIDIWan: a system to enable geographically remote musicians to collaborate
US7511215B2 (en) * 2005-06-15 2009-03-31 At&T Intellectual Property L.L.P. VoIP music conferencing system
US7518051B2 (en) * 2005-08-19 2009-04-14 William Gibbens Redmann Method and apparatus for remote real time collaborative music performance and recording thereof
US7853342B2 (en) * 2005-10-11 2010-12-14 Ejamming, Inc. Method and apparatus for remote real time collaborative acoustic performance and recording thereof
US7593354B2 (en) * 2006-03-22 2009-09-22 Musigy Usa, Inc. Method and system for low latency high quality music conferencing
WO2008002295A1 (en) * 2006-06-27 2008-01-03 Thomson Licensing Performance aware peer-to-peer video-on-demand
KR101207050B1 (ko) * 2006-06-27 2012-11-30 톰슨 라이센싱 성능 인식 피어-투-피어 주문형 콘텐츠 서비스를 위한 대화식 재생 장치에 대한 지원
KR101289506B1 (ko) * 2006-06-27 2013-07-24 톰슨 라이센싱 성능 인식 피어 투 피어 주문형 비디오의 허가 제어
US7996550B2 (en) * 2006-11-30 2011-08-09 Red Hat, Inc. Peer-to-peer download with quality of service fallback
WO2008121650A1 (en) * 2007-03-30 2008-10-09 William Henderson Audio signal processing system for live music performance
US8301790B2 (en) * 2007-05-30 2012-10-30 Randy Morrison Synchronization of audio and video signals from remote sources over the internet
US8078729B2 (en) * 2007-08-21 2011-12-13 Ntt Docomo, Inc. Media streaming with online caching and peer-to-peer forwarding
US8918541B2 (en) * 2008-02-22 2014-12-23 Randy Morrison Synchronization of audio and video signals from remote sources over the internet
US20090234967A1 (en) * 2008-03-17 2009-09-17 Nokia Corporation Method, system, and apparatus for transferring P2P file distribution tasks between devices
US8983829B2 (en) * 2010-04-12 2015-03-17 Smule, Inc. Coordinating and mixing vocals captured from geographically distributed performers
US8447875B2 (en) * 2010-03-10 2013-05-21 Thomson Licensing Unified cache and peer-to-peer method and apparatus for streaming media in wireless mesh networks
JP2011253462A (ja) * 2010-06-03 2011-12-15 Sony Corp コンテンツ推薦システム、コンテンツ推薦装置、およびコンテンツ推薦方法
US20120050456A1 (en) * 2010-08-27 2012-03-01 Cisco Technology, Inc. System and method for producing a performance via video conferencing in a network environment
US9866731B2 (en) * 2011-04-12 2018-01-09 Smule, Inc. Coordinating and mixing audiovisual content captured from geographically distributed performers
US9236039B2 (en) * 2013-03-04 2016-01-12 Empire Technology Development Llc Virtual instrument playing scheme
US20150254340A1 (en) * 2014-03-10 2015-09-10 JamKazam, Inc. Capability Scoring Server And Related Methods For Interactive Music Systems
CN105100954B (zh) * 2014-05-07 2018-05-29 朱达欣 一种基于互联网通信及流媒体直播的交互应答系统及方法
US20160140950A1 (en) * 2014-11-14 2016-05-19 The Board Of Trustees Of The Leland Stanford Junior University Method and System for Real-Time Synthesis of an Acoustic Environment
US20160197669A1 (en) * 2014-12-11 2016-07-07 Tesla Wireless Company LLC Communication method and system that uses low latency/low data bandwidth and high latency/high data bandwidth pathways
JP2016178419A (ja) * 2015-03-19 2016-10-06 株式会社リコー 通信制御装置、通信システム、通信制御方法およびプログラム
CN108040497B (zh) * 2015-06-03 2022-03-04 思妙公司 用于自动产生协调的视听作品的方法和系统
US10437552B2 (en) * 2016-03-31 2019-10-08 Qualcomm Incorporated Systems and methods for handling silence in audio streams
US9949027B2 (en) * 2016-03-31 2018-04-17 Qualcomm Incorporated Systems and methods for handling silence in audio streams
US10627782B2 (en) * 2017-01-06 2020-04-21 The Trustees Of Princeton University Global time server for high accuracy musical tempo and event synchronization
US10567788B2 (en) * 2017-04-21 2020-02-18 Zenimax Media Inc. Systems and methods for game-generated motion vectors
CA3061180A1 (en) * 2017-05-15 2018-11-22 MIXHalo Corp. Systems and methods for providing real-time audio and data
US10951890B1 (en) * 2017-05-16 2021-03-16 Parsec Cloud, Inc. Low-latency, peer-to-peer streaming video
GB2566008B (en) * 2017-08-23 2020-04-22 Falmouth Univ Collaborative session over a network
US10944669B1 (en) * 2018-02-09 2021-03-09 GoTenna, Inc. System and method for efficient network-wide broadcast in a multi-hop wireless network using packet echos
KR102513297B1 (ko) * 2018-02-09 2023-03-24 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US10929092B1 (en) * 2019-01-28 2021-02-23 Collabra LLC Music network for collaborative sequential musical production
US11321931B2 (en) * 2020-03-31 2022-05-03 Home Box Office, Inc. Creating cloud-hosted, streamed augmented reality experiences with low perceived latency
US11196808B2 (en) * 2020-05-06 2021-12-07 Seth Weinberger Technique for generating group performances by multiple, remotely located performers
US11323496B2 (en) * 2020-05-06 2022-05-03 Seth Weinberger Technique for generating group performances by multiple, remotely located performers
US11616589B2 (en) * 2020-06-25 2023-03-28 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music near live with no latency
US11546393B2 (en) * 2020-07-10 2023-01-03 Mark Goldstein Synchronized performances for remotely located performers
JP2022041553A (ja) * 2020-09-01 2022-03-11 ヤマハ株式会社 通信制御方法
US11329363B1 (en) * 2020-11-09 2022-05-10 Parsec Technologies, Inc. Emergency portable hot spot with antennas built into cover
US11579834B2 (en) * 2020-12-12 2023-02-14 Elite Audio Records Digital audio workstation interface for streaming audiovisual data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284796A (ja) * 2005-03-31 2006-10-19 Yamaha Corp 楽音信号送信端末および楽音信号受信端末
CN101055261A (zh) * 2006-02-07 2007-10-17 合肥工大双发信息系统技术有限公司 金属液综合性能在线智能检测系统
CN101064543A (zh) * 2006-04-27 2007-10-31 索尼株式会社 无线通信系统、无线通信装置及无线通信方法
CN101321180A (zh) * 2007-06-07 2008-12-10 株式会社日立制作所 传感器网络系统和传感器节点
CN103004152A (zh) * 2011-06-09 2013-03-27 松下电器产业株式会社 通信终端、通信控制方法以及程序

Also Published As

Publication number Publication date
US20220070254A1 (en) 2022-03-03
US11588888B2 (en) 2023-02-21
JP2022041553A (ja) 2022-03-11
CN114205400A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
US8383925B2 (en) Sound collector, sound signal transmitter and music performance system for remote players
US10366684B2 (en) Information providing method and information providing device
KR100569774B1 (ko) 좋은 앙상블로 음악을 재생하기 위한 동기 재생 시스템,및 앙상블을 위한 레코더 및 플레이어
US20030045274A1 (en) Mobile communication terminal, sensor unit, musical tone generating system, musical tone generating apparatus, musical tone information providing method, and program
JP4934180B2 (ja) 撥弦楽器演奏評価装置
US20210335332A1 (en) Video processing device and video processing method
CN114120942A (zh) 无时延地近乎现场演奏和录制现场互联网音乐的方法和系统
RU2673599C2 (ru) Способ передачи информации музыкального исполнения и система передачи информации музыкального исполнения
CN114205400B (zh) 通信控制方法
EP1580728A1 (en) Apparatus and method for processing bell sound.
JP4204941B2 (ja) カラオケ装置
JPH11259081A (ja) 歌唱採点表示カラオケ装置
JP2006284796A (ja) 楽音信号送信端末および楽音信号受信端末
JP4214917B2 (ja) 演奏システム
JP6838357B2 (ja) 音響解析方法および音響解析装置
JP2001060089A (ja) カラオケ装置
CN110875029A (zh) 一种拾音器及拾音方法
JP3915517B2 (ja) マルチメディアシステム、再生装置及び再生記録装置
JP4159961B2 (ja) カラオケ装置
WO2022168375A1 (ja) 通信方法、通信システムおよび通信装置
JP4192798B2 (ja) 通信端末
JP2004326133A (ja) 声域告知機能付きカラオケ装置
US20230005460A1 (en) Signal processing apparatus, signal processing method, program, signal processing system, and encoding apparatus
JP2010152287A (ja) 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム
US20230042477A1 (en) Reproduction control method, control system, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant