CN110460800A - 远程排演系统和排演方法 - Google Patents

远程排演系统和排演方法 Download PDF

Info

Publication number
CN110460800A
CN110460800A CN201910802206.9A CN201910802206A CN110460800A CN 110460800 A CN110460800 A CN 110460800A CN 201910802206 A CN201910802206 A CN 201910802206A CN 110460800 A CN110460800 A CN 110460800A
Authority
CN
China
Prior art keywords
signal
audio
sub
rehearsing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910802206.9A
Other languages
English (en)
Other versions
CN110460800B (zh
Inventor
沈平
唐镇宇
张建雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mooer Audio Co ltd
Original Assignee
Changsha Echo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Echo Technology Co Ltd filed Critical Changsha Echo Technology Co Ltd
Priority to CN201910802206.9A priority Critical patent/CN110460800B/zh
Publication of CN110460800A publication Critical patent/CN110460800A/zh
Application granted granted Critical
Publication of CN110460800B publication Critical patent/CN110460800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开一种远程排演系统和排演方法，所述远程排演系统包括云端服务器，以及与云端服务器相连的多个客户端，所述客户端通过网络与云端服务器相连，每个客户端均包括数据库单元、播放单元、分信号单元和总信号单元，所述数据库单元分别与播放单元、分信号单元和总信号单元相连，所述分信号单元与所有总信号单元相连，所述分信号单元能够采集音频和/或视频信号，所述总信号单元具有将各客户端演奏音乐整合为合奏音频和/或合奏视频的功能，当网络时延小于20ms时，采用本发明提供的远程排演系统可实现多人同步远程排演，为多人排演活动提供极大便利。

Description

远程排演系统和排演方法
技术领域
本发明属于远程互动技术领域，尤其涉及一种远程排演系统和排演方法。
背景技术
多人演奏排练或表演是一种团体协作分工的演艺活动，通常情况下，需要同时集齐所有排演者，进行面对面排练或表演。由于受到时间、地点等诸多限制，很难同时集齐所有排演者，尤其对于需要进行多次长期排练的演奏活动，造成进行多人反复排练困难。此外，在多人演奏排练过程中，存在演奏水平参差不齐的情况，如果每次都进行全员面对面排练，会占用演奏较优者的大量时间。因此，急需提供一种远程同步排演系统。
远程排演系统与现有技术中的远程视频或音频通讯具有一定的相似性，如申请号为201810068985.X的专利公开一种可远程通讯的视频系统和视频方法，包括一个管理平台和至少两套视讯设备，每套视讯设备包括智能终端以及分别与其连接的摄像头和智能电视，智能终端通过网络连接管理平台，用于将摄像头采集的视频信号和音频信号传输给管理平台，还用于通过智能电视显示来自管理平台的信号。利用此系统，通过某种传输介质实现“实时、可视、交互”的多媒体通讯，它可以通过现有的各种电气通讯传输媒体，将人物的静态和动态图像、语音、文字、图片等多种信息分送到各个用户的终端设备上，使得在地理上分散的用户可以共聚一处，通过图形、声音等多种方式交流信息。但远程排演系统由于需要考虑多人配合因素，因此要求更高，需要保证所有客户端的高度同步进行，对网络传输速度的依赖性较大，一旦出现卡顿或延迟，就会导致节拍错误，严重影响排演效果，甚至难以继续排演下去。目前，尚未出现能实现多人远程无障碍排演的系统或方法。
因此，本发明在现有的远程音频或视频通讯系统基础上，对其进行改进和优化，提供一种适用于远程排演的系统，为远程排演提供可靠途径。
发明内容
针对上述现有技术存在的缺陷，本发明目的在于提供一种远程排演系统，包括云端服务器，以及与云端服务器相连的多个客户端，所述客户端通过网络与云端服务器相连，所述客户端之间能够通过云端服务器实现远程音频或视频通讯，所述客户端还具有将各客户端演奏音乐整合为合奏音频的功能，当网络时延小于20ms时，采用本发明提供的远程排演系统可实现多人同步远程排演。
为实现上述目的，本发明采用以下技术方案实现：
一种远程排演系统，其特征在于，包括云端服务器，以及与云端服务器相连的多个客户端，所述客户端通过网络与云端服务器相连，每个客户端均包括数据库单元、播放单元、分信号单元和总信号单元，所述数据库单元分别与播放单元、分信号单元和总信号单元相连，所述分信号单元通过云端服务器分别与所有客户端总信号单元相连，所述分信号单元能够采集音频和/或视频信号。
进一步的，所述分信号单元用于采集分信号，并将分信号通过云端服务器发送至所有客户端的总信号单元，总信号单元用于将各分信号转换为总信号。
进一步的，所述分信号和总信号还同步存储至数据库单元。
进一步的，所述分信号为分信号单元采集的音频分信号和/或视频分信号，总信号为总信号单元整合的音频总信号和/或视频总信号。
进一步的，所述分信号单元通过音视频采集设备将采集的音频和/或视频分信号转换为数字化的音频和/或视频分信号；所述总信号单元通过总信号处理模块将数字化的音频和/或视频分信号转换为原始音频和/或视频分信号，并生成合奏音频和/或合奏视频，合奏音频和/或合奏视频可通过播放单元同步播放。
进一步的，所述客户端还包括一个与数据库单元相连的模拟优化单元，所述模拟优化单元用于生成标准合奏音频和/或标准分音频，并储存至数据库单元。
进一步的，所述客户端可通过将移动终端设备作为媒介实现远程排演。
进一步的，所述网络为无线网络或有线网络。
进一步的，所述无线网络包括4G网络、5G网络、WIFI和ZigBee网络，所述网络时延＜20ms。
进一步的，所述模拟优化单元可根据排演规则或根据排演者的排演音频生成标准合奏音频和/或标准分音频。
进一步的，所述分信号单元还包括分信号处理模块，用于对分信号进行处理生成演奏分音频。
进一步的，所述分信号单元还包括分信号评价模块，用于对演奏分音频进行评价。
进一步的，所述总信号单元还包括总信号评价模块，用于对合奏总音频进行评价。
一种远程排演方法，其特征在于，采用以上所述的一种远程排演系统，包括以下步骤：
S1.参与排演者打开各自客户端，客户端通过网络与云端服务器相连，排演者开始同步排演；
S2.分信号单元采集各排演者演奏的音频和/或视频分信号，并转换为数字化的音频和/或视频分信号，然后通过云端服务器传送至其他各参与排演者的客户端总信号单元；
S3.各客户端的总信号单元接收到数字化的音频和/或视频分信号后，通过总信号处理模块处理同步生成实时合奏音频和/或合奏视频，并通过播放单元实时播放；
S4.排演完成后，总信号处理模块根据实时合奏音频和/或合奏视频，生成完整的合奏总音频和/或合奏总视频，并存储至数据库模块。
一种远程排演方法，其特征在于，采用以上所述的一种远程排演系统，包括以下步骤：
S1.参与排演者打开各自客户端，客户端通过网络与云端服务器相连，排演者设置多人排演规则，并输入至数据库单元；
S2.模拟优化单元根据数据库单元的排演规则生成标准合奏音频和标准分音频，并存储至数据库单元；
S3.参与排演者按排演规则开始排演，排演过程中，分信号单元同步采集各排演者演奏的音频和/或视频分信号，并转换为数字化的音频和/或视频分信号，然后通过云端服务器传送至其他各参与排演者的客户端总信号单元；
S4.各客户端的总信号单元接收到数字化的音频和/或视频分信号后，通过总信号处理模块处理同步生成实时合奏音频和/或合奏视频，并通过播放单元实时播放；
S5.排演完成后，分信号处理模块对音频和/或视频分信号进行处理生成完整的分音频和/或分视频，然后分信号评价模块根据标准分音频对完整的分音频进行评价，并将完整的分音频和/或分视频及相应的评价结果通过移动终端设备显示；
S6.排演完成后，总信号处理模块根据实时合奏音频和/或合奏视频生成完整的合奏总音频和/或合奏总视频，并存储至数据库模块，总信号评价模块根据标准合奏音频对合奏总音频进行评价，并将合奏总音频和/或合奏总视频及相应的总评价结果通过移动终端设备显示。
进一步的，在步骤S1中，所述参与排演者可为总排演者中的部分排演者。
进一步的，采用以上所述的远程排演方法，通过任一客户端的播放单元实时播放，可实现远程同步排演直播。
有益效果
与现有技术相比，本发明提供的一种远程排演系统具有如下有益效果：
(1)本发明通过云端服务器，以及与云端服务器通过网络相连的多个客户端实现远程排演，所述客户端之间能够通过云端服务器实现远程音频和/或视频通讯，所述客户端具有将各客户端演奏音乐整合为合奏音频的功能，当网络时延小于20ms时，采用本发明提供的远程排演系统可实现多人同步远程排演。
(2)本发明通过分信号采集、处理和评价与总信号接收、处理和评价联用，不仅能对各排演者排演演奏效果作出评价，还能对总排演演奏效果作出评价，通过排演演奏后的整合处理，避免在线演奏过程中网络卡顿导致的演奏节奏不一致问题。
(3)本发明不仅适用于所有参与排演者的集体排演，还适用于单人练习排演、部分排演者参与的排演，解决了传统排演中难以同时集齐所有排演者的难题，为演奏排演提供了有效途径。
(4)使用本发明提供的远程排演系统，还可实现远程同步排演直播。
附图说明
图1为实施例1提供的远程排演系统结构示意图；
图2为分信号单元和总信号单元连接示意图；
图3为实施例2提供的远程排演系统结构示意图；
图4为分信号单元和总信号单元工作流程图；
图5为远程排演总流程图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
实施例1
如图1和图2所示，实施例1提供一种远程排演系统，包括云端服务器，以及与云端服务器相连的多个客户端，所述客户端通过网络与云端服务器相连，其中：每个客户端均包括数据库单元、播放单元、分信号单元和总信号单元，所述数据库单元分别与播放单元、分信号单元和总信号单元相连，所述分信号单元与所有总信号单元相连，所述分信号单元能够采集音频和/或视频信号。
所述分信号单元用于采集分信号，并将分信号通过云端服务器发送至所有总信号单元，总信号单元将各分信号转换为总信号；所述分信号和总信号还同步存储至数据库单元。
所述分信号为分信号单元采集的音频分信号和/或视频分信号，总信号为总信号单元整合的音频总信号和/或视频总信号。
所述分信号单元通过音视频采集设备将采集的音频和/或视频分信号转换为数字化的音频和/或视频分信号；所述总信号单元通过总信号处理模块将数字化的音频和/或视频分信号转换为原始音频和/或视频分信号，并生成合奏音频和/或合奏视频，合奏音频和/或合奏视频可通过播放单元同步播放。
进一步的，所述音频分信号通过拾音器或话筒采集，所述视频分信号通过摄像头采集。
所述客户端通过将移动终端设备作为媒介实现远程排演，如手机、平板电脑、笔记本电脑等。
所述网络为无线网络或有线网络，所述无线网络包括4G网络、5G网络、WIFI和ZigBee网络，所述网络时延＜20ms。
进一步的，所述网络时延包括发送时延、传播时延、处理时延和排队时延，对排演者而言，以当前客户端排演者产生信号时刻为起始时间，以远程客户端排演者接收到信号的时刻为终止时间，两个时刻之差即为网络时延，期间会经历当前客户端采集信号、处理信号、发送信号、远程客户端接收信号、处理信号、和信号显示。
实施例2
如图3所示为实施例2提供的远程排演系统，与实施例1相比，不同之处在于，所述客户端还包括模拟优化单元，所述模拟优化单元用于生成标准合奏音频和/或标准分音频，并储存至数据库单元。
所述模拟优化单元可根据排演规则或根据排演者的排演音频生成标准合奏音频和/或标准分音频。
实施例3
实施例3提供的远程排演系统，与实施例2相比，不同之处在于，所述分信号单元还包括分信号评价模块，用于对演奏分音频进行评价，所述评价方法为通过对比演奏音乐的分音频与标准分音频的节拍、音准、音阶和音色，判断演奏音乐的错误数量和错误位置，并给出评价结果。
进一步的，所述总信号单元还包括信号评价模块，用于对合奏音频进行评价，所述评价方法为通过对比演奏音乐的总音频与标准合奏音频的节拍、音准、音阶和音色，判断合奏音乐的错误数量和错误位置，并给出总评价结果。
实施例4
一种远程排演方法，采用实施例1所述的一种远程排演系统进行远程排演，假设排演者总人数为n(n为正整数)，分别记为U1，U2，U3，…，Un，全员参与远程排演的步骤如下：
S1.参与排演者U1，U2，U3，…，Un打开各自客户端W1，W2，W3，…，Wn，客户端通过网络与云端服务器相连，排演者开始同步排演；
S2.分信号单元采集各排演者演奏的音频和/或视频分信号，并转换为数字化的音频和/或视频分信号，然后通过云端服务器传送至其他各参与排演者的客户端总信号单元；
S3.各客户端的总信号单元接收到数字化的音频和/或视频分信号后，通过总信号处理模块处理同步生成实时合奏音频和/或合奏视频，并通过播放单元实时播放；
S4.排演完成后，总信号处理模块根据实时合奏音频和/或合奏视频，生成完整的合奏总音频和/或合奏总视频，并存储至数据库模块。
其中，排演者可通过播放单元播放合奏总音频或播放合奏总音频和合奏视频，判断排演效果并自行找出错误之处，再进行改进排演。
在步骤S2中，对于演奏过程的t时刻，所述客户端Wk采集的音频分信号记为Vk(b,i,g,y,t)，其中，b,i,g,y分别为t时刻数字化的节拍分信号、音准分信号、音阶分信号和音色分信号；所述视频分信号记为Sk(v,t)，其中，v为t时刻数字化的视频分信号，其中，k为1到n中任一个正整数。
在步骤S3中，总信号处理模块根据整个排演时刻的时间序列V1，V2，V3，…，Vn，生成合奏总音频，还可根据整个排演时刻的时间序列S1，S2，S3，…，Sn，生成合奏总视频。
实施例5
一种远程排演方法，采用实施例2所述的一种远程排演系统进行远程排演，假设排演者总人数为n，全员参与远程排演的步骤如下：
S1.参与排演者U1，U2，U3，…，Un打开各自客户端W1，W2，W3，…，Wn，客户端通过网络与云端服务器相连，排演者设置多人排演规则，并输入至数据库单元；其中排演规则记为r(U1，U2，U3，…，Un，t)，表示t时刻参与排演者U1，U2，U3，…，Un的排演任务；
S2.模拟优化单元根据数据库单元的排演规则生成标准合奏音频和/或标准分音频，并存储至数据库单元；
所述标准合奏音频记为M0(b0,i0,g0,y0,t)，其中，b0,i0,g0,y0分别为t时刻数字化的标准节拍总信号、标准音准总信号、标准音阶总信号和标准音色总信号；所述标准分音频为当前用户负责的排演任务的分音频，记为M0k(b0k,i0k,g0k,y0k,t)，其中，b0k,i0k,g0k,y0k分别表示t时刻排演者Uk的数字化的标准节拍分信号、标准音准分信号、标准音阶分信号和标准音色分信号；
S3.参与排演者按排演规则开始排演，排演过程中，分信号单元同步采集各排演者演奏的音频和/或视频分信号，并转换为数字化的音频和/或视频分信号，然后通过云端服务器传送至其他各参与排演者的客户端总信号单元；
S4.各客户端的总信号单元接收到数字化的音频和/或视频分信号后，通过总信号处理模块处理同步生成实时合奏音频和/或合奏视频，并通过播放单元实时播放；
S5.排演完成后，总信号处理模块根据实时合奏音频和/或合奏视频生成完整的合奏总音频和/或合奏总视频，并存储至数据库模块，排演者通过与标准合奏音频进行对比，判断排演效果。
在步骤S5中，总音频的生成方法与实施例4相同。
实施例6
如图4至图5所示，一种远程排演方法，采用实施例3所述的一种远程排演系统进行远程排演，假设排演者总人数为n，全员参与远程排演的步骤如下：
S1.参与排演者U1，U2，U3，…，Un打开各自客户端W1，W2，W3，…，Wn，客户端通过网络与云端服务器相连，排演者根据排演规则进行首次排演；
S2.模拟优化单元根据排演者的排演音频生成标准合奏音频和标准分音频，并存储至数据库单元；所述标准合奏音频和标准分音频的生成方法与实施例5相同；
S3.参与排演者按排演规则开始排演，排演过程中，分信号单元同步采集各排演者演奏的音频和/或视频分信号，并转换为数字化的音频和/或视频分信号，然后通过云端服务器传送至其他各参与排演者的客户端总信号单元；
S4.各客户端的总信号单元接收到数字化的音频和/或视频分信号后，通过总信号处理模块处理同步生成实时合奏音频和/或合奏视频，并通过播放单元实时播放；
S5.排演完成后，分信号处理模块对音频和/或视频分信号进行处理生成完整的分音频和/或分视频，然后分信号评价模块根据标准分音频对完整的分音频进行评价，并将完整的分音频和/或分视频及相应的评价结果通过移动终端设备显示；
其中，所述评价方法为通过对比演奏音乐的分音频与标准分音频的节拍、音准、音阶和音色，判断演奏音乐的错误数量和错误位置，并给出评价结果；
S6.排演完成后，总信号处理模块根据实时合奏音频和/或合奏视频生成完整的合奏总音频和/或合奏总视频，并存储至数据库模块，总信号评价模块根据标准合奏音频对合奏总音频进行评价，并将合奏总音频和/或合奏总视频及相应的总评价结果通过移动终端设备显示。
所述评价方法为通过对比演奏音乐的总音频与标准合奏音频的节拍、音准、音阶和音色，判断合奏音乐的错误数量和错误位置，并给出总评价结果。
步骤S3中，对于演奏过程的t时刻，所述客户端Wk采集的音频分信号记为Vk(b,i,g,y,t)，其中，b,i,g,y分别为t时刻数字化的节拍分信号、音准分信号、音阶分信号和音色分信号；所述视频分信号记为Sk(v,t)，其中，v为t时刻数字化的视频分信号，其中，k为1到n中任一个正整数。分信号处理模块根据整个排演时刻的时间序列Vk和Sk生成分音频Mk。
步骤S4中，合奏总音频生成方法与实施例4相同。
通过任一客户端的播放单元实时播放，可实现远程同步排演直播。
实施例7
一种远程排演方法，采用实施例3所述的一种远程排演系统进行远程排演，假设排演者总人数为n，当前参与排演人数为m，m＜n，远程排演步骤如下：
S1.参与排演者U1，U2，U3，…，Um打开各自客户端W1，W2，W3，…，Wm，客户端通过网络与云端服务器相连，排演者设置多人排演规则，并输入至数据库单元；其中排演规则按全员排演规则记为r(U1，U2，U3，…，Un，t)，表示t时刻参与排演者U1，U2，U3，…，Um的排演任务；
S2.模拟优化单元根据数据库单元的排演规则生成标准合奏音频和标准分音频，并存储至数据库单元；
S3.参与排演者按排演规则开始排演，排演过程中，分信号单元同步采集各排演者演奏的音频和/或视频分信号，并转换为数字化的音频和/或视频分信号，然后通过云端服务器传送至其他各参与排演者的客户端总信号单元；
S4.各客户端的总信号单元接收到数字化的音频和/或视频分信号后，总信号处理模块根据t时刻排演者U1，U2，U3，…，Um产生的音频分信号及t时刻未参与排演者的标准分音频进行整合处理，同步生成实时合奏音频；总信号处理模块根据t时刻排演者U1，U2，U3，…，Um产生的视频分信号，同步生成实时合奏视频，并通过播放单元实时播放；
S5.排演完成后，分信号处理模块对音频和/或视频分信号进行处理生成完整的分音频和/或分视频，然后分信号评价模块根据标准分音频对完整的分音频进行评价，并将完整的分音频和/或分视频及相应的评价结果通过移动终端设备显示；
其中，所述评价方法为通过对比演奏音乐的分音频与标准分音频的节拍、音准、音阶和音色，判断演奏音乐的错误数量和错误位置，并给出评价结果；
S6.排演完成后，总信号处理模块根据实时合奏音频和/或合奏视频生成完整的合奏总音频和/或合奏总视频，并存储至数据库模块，总信号评价模块根据标准合奏音频对合奏总音频进行评价，并将合奏总音频和/或合奏总视频及相应的总评价结果通过移动终端设备显示。
其中，步骤S6中，合奏总音频生成方法为，总信号处理模块根据整个排演时刻的时间序列V1，V2，V3，…，Vm，及标准分音频M0m+1，M0m+2，…，M0n，生成合奏音频。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (17)

1.一种远程排演系统，其特征在于，包括云端服务器，以及与云端服务器相连的多个客户端，所述客户端通过网络与云端服务器相连，每个客户端均包括数据库单元、播放单元、分信号单元和总信号单元，所述数据库单元分别与播放单元、分信号单元和总信号单元相连，所述分信号单元通过云端服务器分别与所有客户端总信号单元相连，所述分信号单元能够采集音频和/或视频信号。
2.根据权利要求1所述的一种远程排演系统，其特征在于，所述分信号单元用于采集分信号，并将分信号通过云端服务器发送至所有客户端的总信号单元，总信号单元用于将各分信号转换为总信号。
3.根据权利要求2所述的一种远程排演系统，其特征在于，所述分信号和总信号还同步存储至数据库单元。
4.根据权利要求3所述的一种远程排演系统，其特征在于，所述分信号为分信号单元采集的音频分信号和/或视频分信号，总信号为总信号单元整合的音频总信号和/或视频总信号。
5.根据权利要求4所述的一种远程排演系统，其特征在于，所述分信号单元通过音视频采集设备将采集的音频和/或视频分信号转换为数字化的音频和/或视频分信号；所述总信号单元通过总信号处理模块将数字化的音频和/或视频分信号转换为原始音频和/或视频分信号，并生成合奏音频和/或合奏视频，合奏音频和/或合奏视频可通过播放单元同步播放。
6.根据权利要求1至5任一项所述的一种远程排演系统，其特征在于，所述客户端还包括一个与数据库单元相连的模拟优化单元，所述模拟优化单元用于生成标准合奏音频和/或标准分音频，并储存至数据库单元。
7.根据权利要求6所述的一种远程排演系统，其特征在于，所述客户端可通过将移动终端设备作为媒介实现远程排演。
8.根据权利要求6所述的一种远程排演系统，其特征在于，所述网络为无线网络或有线网络。
9.根据权利要求8所述的一种远程排演系统，其特征在于，所述无线网络包括4G网络、5G网络、WIFI和ZigBee网络，所述网络时延＜20ms。
10.根据权利要求6所述的一种远程排演系统，其特征在于，所述模拟优化单元可根据排演规则或根据排演者的排演音频生成标准合奏音频和/或标准分音频。
11.根据权利要求6所述的一种远程排演系统，其特征在于，所述分信号单元还包括分信号处理模块，用于对分信号进行处理生成演奏分音频。
12.根据权利要求11所述的一种远程排演系统，其特征在于，所述分信号单元还包括分信号评价模块，用于对演奏分音频进行评价。
13.根据权利要求12所述的一种远程排演系统，其特征在于，所述总信号单元还包括总信号评价模块，用于对合奏总音频进行评价。
14.一种远程排演方法，其特征在于，采用权利要求1至13任一项所述的一种远程排演系统，包括以下步骤：
S1.参与排演者打开各自客户端，客户端通过网络与云端服务器相连，排演者开始同步排演；
S2.分信号单元采集各排演者演奏的音频和/或视频分信号，并转换为数字化的音频和/或视频分信号，然后通过云端服务器传送至其他各参与排演者的客户端总信号单元；
S3.各客户端的总信号单元接收到数字化的音频和/或视频分信号后，通过总信号处理模块处理同步生成实时合奏音频和/或合奏视频，并通过播放单元实时播放；
S4.排演完成后，总信号处理模块根据实时合奏音频和/或合奏视频，生成完整的合奏总音频和/或合奏总视频，并存储至数据库模块。
15.一种远程排演方法，其特征在于，采用权利要求13所述的一种远程排演系统，包括以下步骤：
S1.参与排演者打开各自客户端，客户端通过网络与云端服务器相连，排演者设置多人排演规则，并输入至数据库单元；
S2.模拟优化单元根据数据库单元的排演规则生成标准合奏音频和标准分音频，并存储至数据库单元；
S3.参与排演者按排演规则开始排演，排演过程中，分信号单元同步采集各排演者演奏的音频和/或视频分信号，并转换为数字化的音频和/或视频分信号，然后通过云端服务器传送至其他各参与排演者的客户端总信号单元；
S4.各客户端的总信号单元接收到数字化的音频和/或视频分信号后，通过总信号处理模块处理同步生成实时合奏音频和/或合奏视频，并通过播放单元实时播放；
S5.排演完成后，分信号处理模块对音频和/或视频分信号进行处理生成完整的分音频和/或分视频，然后分信号评价模块根据标准分音频对完整的分音频进行评价，并将完整的分音频和/或分视频及相应的评价结果通过移动终端设备显示；
S6.排演完成后，总信号处理模块根据实时合奏音频和/或合奏视频生成完整的合奏总音频和/或合奏总视频，并存储至数据库模块，总信号评价模块根据标准合奏音频对合奏总音频进行评价，并将合奏总音频和/或合奏总视频及相应的总评价结果通过移动终端设备显示。
16.根据权利要求14或15所述的一种远程排演方法，其特征在于，在步骤S1中，所述参与排演者可为总排演者中的部分排演者。
17.根据权利要求14或15所述的一种远程排演方法，其特征在于，通过任一客户端的播放单元实时播放，可实现远程同步排演直播。
CN201910802206.9A 2019-08-28 2019-08-28 远程排演系统和排演方法 Active CN110460800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910802206.9A CN110460800B (zh) 2019-08-28 2019-08-28 远程排演系统和排演方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910802206.9A CN110460800B (zh) 2019-08-28 2019-08-28 远程排演系统和排演方法

Publications (2)

Publication Number Publication Date
CN110460800A true CN110460800A (zh) 2019-11-15
CN110460800B CN110460800B (zh) 2021-02-23

Family

ID=68489589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802206.9A Active CN110460800B (zh) 2019-08-28 2019-08-28 远程排演系统和排演方法

Country Status (1)

Country Link
CN (1) CN110460800B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225942A (zh) * 2021-11-05 2022-10-21 同济大学 一种异地排练厅排练系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733249A (zh) * 2011-08-08 2014-04-16 I<sup>3</sup>研究所股份有限公司 信息系统、信息再现装置、信息生成方法及记录介质
CN103782337A (zh) * 2011-06-27 2014-05-07 第一原理公司 用于乐队录像和录音的系统
CN105847887A (zh) * 2015-02-04 2016-08-10 林孟贤 网络协同演奏系统
CN205541911U (zh) * 2016-04-14 2016-08-31 安徽克洛斯威智能乐器科技有限公司 一种可评分的互联网智能钢琴系统
CN109478400A (zh) * 2016-07-22 2019-03-15 杜比实验室特许公司 现场音乐表演的多媒体内容的基于网络的处理及分布
CN109817192A (zh) * 2019-01-21 2019-05-28 深圳蜜蜂云科技有限公司 一种智能陪练方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103782337A (zh) * 2011-06-27 2014-05-07 第一原理公司 用于乐队录像和录音的系统
CN103733249A (zh) * 2011-08-08 2014-04-16 I<sup>3</sup>研究所股份有限公司 信息系统、信息再现装置、信息生成方法及记录介质
CN105847887A (zh) * 2015-02-04 2016-08-10 林孟贤 网络协同演奏系统
CN205541911U (zh) * 2016-04-14 2016-08-31 安徽克洛斯威智能乐器科技有限公司 一种可评分的互联网智能钢琴系统
CN109478400A (zh) * 2016-07-22 2019-03-15 杜比实验室特许公司 现场音乐表演的多媒体内容的基于网络的处理及分布
CN109817192A (zh) * 2019-01-21 2019-05-28 深圳蜜蜂云科技有限公司 一种智能陪练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225942A (zh) * 2021-11-05 2022-10-21 同济大学 一种异地排练厅排练系统
CN115225942B (zh) * 2021-11-05 2023-05-12 同济大学 一种异地排练厅排练系统

Also Published As

Publication number Publication date
CN110460800B (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN110213609B (zh) 在网络教育直播中进行连麦直播的方法、装置及存储介质
CN103426336B (zh) 高校教学资源数字化系统及使用方法
CN102005142B (zh) 一种用于教学的信息交互方法
CN107360440B (zh) 基于直播流中引入游戏进程的深度交互系统及交互方法
CN111372282B (zh) 基于5g技术的智慧校园系统
CN108520661A (zh) 一种基于云平台的在线教育培训系统
CN202496030U (zh) 一种基于电视机的教学系统
CN102752667A (zh) 一种多流流媒体直播互动系统及直播互动方法
CN108322474B (zh) 基于共享桌面的虚拟现实系统、相关装置及方法
CN106792013A (zh) 一种用于电视节目声音互动的方法、电视
CN106355967A (zh) 一种基于app移动终端的自我强制学习系统及学习方法
CN102760207A (zh) 在线视频演歌网络互动回应系统
CN109769132A (zh) 一种基于帧同步的多路远程直播视频解说方法
CN110460800A (zh) 远程排演系统和排演方法
CN101521006A (zh) 一种数字电视接收终端进行卡拉ok的方法、系统及终端
CN206402344U (zh) 一种基于3d场景网络视频会议系统
CN210466804U (zh) 一种远程互动教育系统
CN108269437A (zh) 一种基于增强现实的民族音乐学习装置
CN202551219U (zh) 远程三维虚拟仿真合成系统
CN107135407B (zh) 一种钢琴视频教学中的同步方法及系统
CN103944888B (zh) 一种资源共享的方法、装置及系统
CN109348164A (zh) 一种电视电话会议自助保障控制系统
CN111770300B (zh) 一种会议信息处理的方法及虚拟现实头戴设备
CN108305514A (zh) 一种一对一教学系统及教学方法
CN101083734A (zh) 归类化节目选择装置与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220608

Address after: 518000 Room 501, 201, 601, building B, Jinghang electronics factory, 71 District, Xingdong community, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN MOOER AUDIO Co.,Ltd.

Address before: 410006 room 912, building F2, luguyuyuan, 27 Wenxuan Road, New Development Zone, Changsha City, Hunan Province

Patentee before: Changsha echo Technology Co.,Ltd.