CN109413476A - 一种音视频与钢琴动作同步直播方法及系统 - Google Patents

一种音视频与钢琴动作同步直播方法及系统 Download PDF

Info

Publication number
CN109413476A
CN109413476A CN201811210905.6A CN201811210905A CN109413476A CN 109413476 A CN109413476 A CN 109413476A CN 201811210905 A CN201811210905 A CN 201811210905A CN 109413476 A CN109413476 A CN 109413476A
Authority
CN
China
Prior art keywords
piano
audio
module
receiving end
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811210905.6A
Other languages
English (en)
Inventor
郭立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan karod Piano Co.,Ltd.
Original Assignee
Hunan Joy And Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Joy And Cloud Network Technology Co Ltd filed Critical Hunan Joy And Cloud Network Technology Co Ltd
Priority to CN201811210905.6A priority Critical patent/CN109413476A/zh
Publication of CN109413476A publication Critical patent/CN109413476A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G10F1/02—Pianofortes with keyboard
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了及一种音视频与钢琴动作同步直播方法及系统，公开的方法包括：步骤10：推送端的钢琴采集钢琴动作以midi消息的形式发送给推送端的移动终端；步骤20：推送端的移动终端采集推送端的钢琴演奏时的音视频信息；步骤30：推送端的移动终端将midi消息和音视频信息编码形成流媒体数据后推送给直播服务器；步骤40：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将其解码为音视频信息和midi消息；步骤50：接收端的移动终端播放音视频信息，并将midi消息发送给接收端的钢琴；步骤60：接收端的钢琴接收到midi消息，对接收端的钢琴进行控制演奏乐曲。使通过互联网观看直播用户处的钢琴与音乐会现场的钢琴进行同步演奏，以提升用户的体验感。

Description

一种音视频与钢琴动作同步直播方法及系统
技术领域
本发明涉及到自动演奏乐器领域，尤其涉及一种音视频与钢琴动作同步直播方法及系统。
背景技术
随着现场直播网络技术的发展，用户通过网络可进行在线观看直播的音乐会。目前一般是在音乐会现场采集视音频信息，并将音视频信息传输给其他用户，使其他用户可在别处播放该采集的音视频信息，以达到直播的目的。
目前安装有自动演奏系统的钢琴能够实现根据指令自动弹奏本地钢琴，而不需要人演奏，是通过自动演奏系统来驱动本地钢琴琴键进行自动演奏。自动演奏系统储存有预先录制好的数字数据，这些数据是用来控制钢琴琴键及踏板弹下和复位的运动，包括弹下的速度和其它的一些信息。为了让这个系统演奏的更加丰富多彩，会播放音视频录音，使音视频和钢琴同步演奏。
但是通过互联网的用户仅通过音视频信息观看演出很难有具有身临其境的感觉，因此如何使通过互联网观看直播的用户处的钢琴与音乐会现场的钢琴进行同步演奏，同时保证在钢琴自动演奏时钢琴动作与音视频信息的同步，以提升用户的体验感成为本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种音视频与钢琴动作同步直播方法及系统，使通过互联网观看直播的用户处的钢琴与音乐会现场的钢琴进行同步演奏，同时保证在钢琴自动演奏时钢琴动作与音视频信息的同步，以提升用户的体验感。
本发明提供一种音视频与钢琴动作同步直播方法，所述方法包括以下步骤：
步骤10：推送端的钢琴采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端的移动终端；
步骤20：推送端的移动终端采集推送端的钢琴演奏时的音视频信息；
步骤30：推送端的移动终端将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器；
步骤40：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为音视频信息和midi消息；
步骤50：接收端的移动终端播放解码后的音视频信息，并将解码后的midi消息发送给接收端的钢琴；
步骤60：接收端的钢琴接收到midi消息，对接收端的钢琴进行控制演奏乐曲。
优选地，所述步骤S10具体为推送端的钢琴采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端的移动终端。
优选地，所述步骤S20中推送端的移动终端采集推送端的钢琴演奏时的音视频信息，所述音视频信息具体为包含时间戳的音频流和视频流。
优选地，所述步骤S40具体为：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为包含时间戳的音频流、视频流和midi消息。
优选地，所述步骤S50具体为：
步骤S51：接收端的移动终端获取音频流、视频流和midi消息的时间戳；
步骤S52：计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长；
步骤S53：根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端的钢琴的时间；
步骤S54：接收端的移动终端播放解码后的音视频流，并将解码后的midi消息发送给接收端的钢琴。
本发明的又一个方面，还提供一种音视频与钢琴动作同步直播系统，包括：推送端钢琴直播模块、推送端移动终端直播模块、接收端钢琴直播模块、接收端移动终端直播模块及直播服务器，其中推送端移动终端直播模块上设置有推送端音视频采集模块、推送端数据处理模块和推送端移动终端数据收发模块，推送端钢琴直播模块上设置有推送端钢琴动作采集模块和推送端钢琴数据收发模块，接收端移动终端直播模块上设置有接收端数据处理模块、接收端音视频播放模块和接收端移动终端数据收发模块，接收端钢琴直播模块上设置有接收端钢琴控制指令执行模块和接收端钢琴数据收发模块，其中：
所述推送端钢琴动作采集模块，用于采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块；
所述推送端钢琴数据收发模块，用于将midi消息发送给推送端移动终端数据收发模块；
所述推送端移动终端数据收发模块，用于将接收到midi消息发送给推送端数据处理模块，以及将流媒体数据发送给直播服务器；
所述推送端音视频采集模块，用于采集钢琴演奏时的音视频信息，并发送给推送端数据处理模块；
所述推送端数据处理模块，用于将接收到的midi消息和音视频信息编码形成流媒体数据后发送给推送端移动终端数据收发模块；
所述直播服务器，用于接收推送端推送的流媒体数据，并转发给接收端；
所述接收端移动终端数据收发模块，用于接收直播服务器转发的流媒体数据，并发送给接收端数据处理模块，以及将解码后的midi消息发送给接收端钢琴数据收发模块；
所述接收端数据处理模块，用于将流媒体数据解码为音视频信息和midi消息，并将解码后的音视频信息发送给接收端音视频播放模块，解码后的midi消息发送给接收端移动终端数据收发模块；
所述接收端音视频播放模块，用于播放解码后的音视频信息；
所述接收端钢琴数据收发模块，用于将接收的解码后的midi消息发送给接收端钢琴控制指令执行模块；
所述接收端钢琴控制指令执行模块，用于接收到解码后的midi消息，对接收端的钢琴进行控制演奏乐曲。
优选地，所述推送端钢琴动作采集模块中采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块。
优选地，所述推送端钢琴数据收发模块中采集推送端的钢琴演奏时的音视频信息，所述音视频信息具体为包含时间戳的音频流和视频流。
优选地，所述接收端数据处理模块包括接收端数据解码模块，接收端数据计算模块，其中：
所述接收端数据解码模块，用于将流媒体数据解码为包含时间戳的音频流、视频流和midi消息，并将解码后的音视频信息发送给接收端音视频播放模块，解码后的midi消息发送给接收端移动终端数据收发模块；
所述接收端数据计算模块，用于计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长；根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端钢琴数据收发模块的时间。
优选地，同一台钢琴上可设置有推送端钢琴直播模块和接收端钢琴直播模块，同一台移动终端上可设置有推送端移动终端直播模块和接收端移动终端直播模块。
本发明提供的音视频与钢琴动作同步直播方法及系统，使通过互联网观看直播的用户处的钢琴与音乐会现场的钢琴进行同步演奏，同时保证在钢琴自动演奏时钢琴动作与音视频信息的同步，以提升用户的体验感。
附图说明
图1为第一种实施方式提供的音视频与钢琴动作同步直播方法的流程图；
图2为第二种实施方式提供的音视频与钢琴动作同步直播方法的流程图；
图3为本发明提供的一种音视频与钢琴动作同步直播系统的结构示意图；
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
参见图1，图1为第一种实施方式提供的音视频与钢琴动作同步直播方法的流程图。
本发明提供一种音视频与钢琴动作同步直播方法，所述方法包括以下步骤：
步骤10：推送端的钢琴采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端的移动终端；
步骤20：推送端的移动终端采集推送端的钢琴演奏时的音视频信息；
步骤30：推送端的移动终端将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器；
步骤40：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为音视频信息和midi消息；
步骤50：接收端的移动终端播放解码后的音视频信息，并将解码后的midi消息发送给接收端的钢琴；
步骤60：接收端的钢琴接收到midi消息，对接收端的钢琴进行控制演奏乐曲。
推送端的钢琴采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端的移动终端。与此同时推送端的移动终端采集推送端的钢琴演奏时的音视频信息。推送端的移动终端将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器。直播服务器将流媒体数据转发给需要观看直播的接收端的移动终端，接收端的移动终端将流媒体数据解码为音视频信息和midi消息。接收端的移动终端播放解码后的音视频信息，并将解码后的midi消息发送给接收端的钢琴。接收端的钢琴接收到midi消息，按照midi消息对接收端的钢琴进行控制演奏乐曲。达到音视频信息和钢琴动作的同步，以实现同步演奏的目的。
使通过互联网观看直播的用户处的钢琴与音乐会现场的钢琴进行同步演奏，同时保证在钢琴自动演奏时钢琴动作与音视频信息的同步，以提升用户的体验感。
推送端的钢琴与推送端的移动终端之间的连接通道可以为有线或者无线方式连接，其中，无线方式可以为wifi，蓝牙等，移动终端可以为手机、pad等。推送端的移动终端上安装有应用程序客户端，用户通过应用程序客户端发送直播同步的指令。推送端的钢琴接收到直播同步的指令后，采集钢琴动作后发送给推送端的移动终端；与此同时，推送端的移动终端采集送端的钢琴演奏时的音视频信息，推送端的移动终端将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器。
接收端的钢琴与接收端的移动终端之间的连接通道可以为有线或者无线方式连接，其中，无线方式可以为wifi，蓝牙等，移动终端可以为手机、pad等。接收端的移动终端上安装有应用程序客户端，用户通过应用程序客户端发送直播同步的请求给直播服务器。直播服务器将流媒体数据转发给发送直播同步的请求的接收端的移动终端，接收端的移动终端将流媒体数据解码为音视频信息和midi消息。接收端的移动终端通过应用程序客户端播放解码后的音视频信息，并将解码后的midi消息发送给接收端的钢琴。接收端的钢琴接收到midi消息，按照midi消息对接收端的钢琴进行控制演奏乐曲。通过应用程序客户端，推送端发送直播指令即开通网络直播，接收端发送直播同步的请求进入观看直播状态。
参见图2，图2为第二种实施方式提供的音视频与钢琴动作同步直播方法的流程图。
为了进一步提高音视频信息和钢琴动作的同步性，本发明还提供一种音视频与钢琴动作同步直播方法，所述方法包括以下步骤：
步骤10：推送端的钢琴采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端的移动终端；
步骤20：推送端的移动终端采集推送端的钢琴演奏时的音视频信息，所述音视频信息具体为包含时间戳的音频流和视频流；
步骤30：推送端的移动终端将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器；
步骤40：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为包含时间戳的音频流、视频流和midi消息；
步骤S51：接收端的移动终端获取音频流、视频流和midi消息的时间戳；
步骤S52：计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长；
步骤S53：根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端的钢琴的时间；
步骤S54：接收端的移动终端播放解码后的音视频流，并将解码后的midi消息发送给接收端的钢琴；
步骤60：接收端的钢琴接收到midi消息，对接收端的钢琴进行控制演奏乐曲。
推送端的钢琴采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端的移动终端。与此同时推送端的移动终端采集推送端的钢琴演奏时的音视频信息，所述音视频信息具体为包含时间戳的音频流和视频流。推送端的移动终端将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器。直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为包含时间戳的音频流、视频流和midi消息。接收端的移动终端获取音频流、视频流和midi消息的时间戳。接收端的移动终端计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长。根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端的钢琴的时间。接收端的移动终端播放解码后的音视频流，并将解码后的midi消息发送给接收端的钢琴。接收端的钢琴接收到midi消息，按照midi消息对接收端的钢琴进行控制演奏乐曲。考虑到音频流、视频流、midi消息的时间差，进行缓冲后播放保证音视频信息播放和钢琴动作的演奏的同步性。
优选地，音频流、视频流、midi消息的时间差也考虑到midi消息发送到接收端钢琴，接收端钢琴按照midi消息对接收端钢琴进行控制演奏之间的时间差。
参见图3，图3为本发明提供的一种音视频与钢琴动作同步直播系统的结构示意图。
本发明的又一个方面，还提供一种音视频与钢琴动作同步直播系统，包括：推送端钢琴直播模块100、推送端移动终端直播模块200、接收端钢琴直播模块300、接收端移动终端直播模块400及直播服务器500，其中推送端移动终端直播模块200上设置有推送端音视频采集模块210、推送端数据处理模块230和推送端移动终端数据收发模块220，推送端钢琴直播模块100上设置有推送端钢琴动作采集模块110和推送端钢琴数据收发模块120，接收端移动终端直播模块400上设置有接收端数据处理模块430、接收端音视频播放模块440和接收端移动终端数据收发模块420，接收端钢琴直播模块上设置有接收端钢琴控制指令执行模块330和接收端钢琴数据收发模块320，其中：
所述推送端钢琴动作采集模块110，用于采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块120；
所述推送端钢琴数据收发模块120，用于将midi消息发送给推送端移动终端数据收发模块220；
所述推送端移动终端数据收发模块220，用于将接收到midi消息发送给推送端数据处理模块230，以及将流媒体数据发送给直播服务器500；
所述推送端音视频采集模块210，用于采集钢琴演奏时的音视频信息，并发送给推送端数据处理模块230；
所述推送端数据处理模块230，用于将接收到的midi消息和音视频信息编码形成流媒体数据后发送给推送端移动终端数据收发模块220；
所述直播服务器500，用于接收推送端移动终端数据收发模块220推送的流媒体数据，并转发给接收端移动终端数据收发模块420；
所述接收端移动终端数据收发模块420，用于接收直播服务器500转发的流媒体数据，并发送给接收端数据处理模块430，以及将解码后的midi消息发送给接收端钢琴数据收发模块320；
所述接收端数据处理模块430，用于将流媒体数据解码为音视频信息和midi消息，并将解码后的音视频信息发送给接收端音视频播放模块440，解码后的midi消息发送给接收端移动终端数据收发模块420；
所述接收端音视频播放模块440，用于播放解码后的音视频信息；
所述接收端钢琴数据收发模块320，用于将接收的解码后的midi消息发送给接收端钢琴控制指令执行模块330；
所述接收端钢琴控制指令执行模块330，用于接收到解码后的midi消息，对接收端的钢琴进行控制演奏乐曲。
推送端钢琴动作采集模块110采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块120。推送端钢琴数据收发模块120将midi消息发送给推送端移动终端数据收发模块220，推送端移动终端数据收发模块220将接收到midi消息发送给推送端数据处理模块230。与此同时推送端音视频采集模块210，用于采集钢琴演奏时的音视频信息，也发送给推送端数据处理模块230。推送端数据处理模块230将接收到的midi消息和音视频信息编码形成流媒体数据后发送给推送端移动终端数据收发模块220，推送端移动终端数据收发模块220将流媒体数据发送给直播服务器500。直播服务器500，接收推送端移动终端数据收发模块220推送的流媒体数据，并转发给接收端移动终端数据收发模块420。接收端移动终端数据收发模块420，接收直播服务器500转发的流媒体数据，并发送给接收端数据处理模块430。接收端数据处理模块430，将流媒体数据解码为音视频信息和midi消息，并将解码后的音视频信息发送给接收端音视频播放模块440，解码后的midi消息发送给接收端移动终端数据收发模块420。接收端移动终端数据收发模块420将解码后的midi消息发送给接收端钢琴数据收发模块320接收端钢琴数据收发模块320，将接收的解码后的midi消息发送给接收端钢琴控制指令执行模块330。接收端钢琴控制指令执行模块330，接收到解码后的midi消息，对接收端的钢琴进行控制演奏乐曲。达到音视频信息和钢琴动作的同步，以实现同步演奏的目的。
使通过互联网观看直播的用户处的钢琴与音乐会现场的钢琴进行同步演奏，同时保证在钢琴自动演奏时钢琴动作与音视频信息的同步，以提升用户的体验感。
推送端钢琴数据收发模块120与推送端移动终端数据收发模块220之间的连接通道可以为有线或者无线方式连接，其中，无线方式可以为wifi，蓝牙等，移动终端可以为手机、pad等。推送端移动终端直播模块200可以为应用程序客户端，用户通过应用程序客户端发送直播同步的指令。推送端钢琴直播模块100接收到直播同步的指令后，采集钢琴动作后发送给推送端的推送端移动终端直播模块200；与此同时，推送端移动终端直播模块200采集送端的钢琴演奏时的音视频信息，推送端移动终端直播模块200将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器500。
接收端钢琴数据收发模块320与接收端移动终端数据收发模块420之间的连接通道可以为有线或者无线方式连接，其中，无线方式可以为wifi，蓝牙等，移动终端可以为手机、pad等。接收端移动终端直播模块400可以为应用程序客户端，用户通过应用程序客户端发送直播同步的请求给直播服务器500。直播服务器500将流媒体数据转发给发送直播同步的请求的接收端移动终端直播模块400，接收端移动终端直播模块400将流媒体数据解码为音视频信息和midi消息。通过应用程序客户端播放解码后的音视频信息，并将解码后的midi消息发送给接收端钢琴直播模块300。接收端钢琴直播模块300接收到midi消息，按照midi消息对接收端的钢琴进行控制演奏乐曲。通过应用程序客户端，推送端发送直播指令即开通网络直播，接收端发送直播同步的请求进入观看直播状态。
为了进一步提高音视频信息和钢琴动作的同步性，在更进一步的方案中，所述推送端钢琴动作采集模块110中采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块。所述推送端钢琴数据收发模块120中采集推送端的钢琴演奏时的音视频信息，所述音视频信息具体为包含时间戳的音频流和视频流。所述接收端数据处理模块430包括接收端数据解码模块431，接收端数据计算模块432，其中：
所述接收端数据解码模块431，用于将流媒体数据解码为包含时间戳的音频流、视频流和midi消息，并将解码后的音视频信息发送给接收端音视频播放模块440，解码后的midi消息发送给接收端移动终端数据收发模块420；
所述接收端数据计算模块432，用于计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长；根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端钢琴数据收发模块320的时间。
直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为包含时间戳的音频流、视频流和midi消息。接收端的移动终端获取音频流、视频流和midi消息的时间戳。接收端的移动终端计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长。根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端的钢琴的时间。接收端的移动终端播放解码后的音视频流，并将解码后的midi消息发送给接收端的钢琴。接收端的钢琴接收到midi消息，按照midi消息对接收端的钢琴进行控制演奏乐曲。考虑到音频流、视频流、midi消息的时间差，进行缓冲后播放保证音视频信息播放和钢琴动作的演奏的同步性。
推送端钢琴动作采集模块110采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块120。推送端钢琴数据收发模块120将midi消息发送给推送端移动终端数据收发模块220，推送端移动终端数据收发模块220将接收到midi消息发送给推送端数据处理模块230。与此同时推送端音视频采集模块210，用于采集钢琴演奏时的音视频信息，也发送给推送端数据处理模块230的，所述音视频信息具体为包含时间戳的音频流和视频流。推送端数据处理模块230将接收到的midi消息和音视频信息编码形成流媒体数据后发送给推送端移动终端数据收发模块220，推送端移动终端数据收发模块220将流媒体数据发送给直播服务器500。直播服务器500，接收推送端移动终端数据收发模块220推送的流媒体数据，并转发给接收端移动终端数据收发模块420。接收端移动终端数据收发模块420，接收直播服务器500转发的流媒体数据，并发送给接收端数据处理模块430的接收端数据解码模块431。接收端数据解码模块431将流媒体数据解码为包含时间戳的音频流、视频流和midi消息，并将解码后的音视频信息发送给接收端音视频播放模块440，解码后的midi消息发送给接收端移动终端数据收发模块420。接收端数据计算模块432，计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长；根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息通过接收端移动终端数据收发模块420发送给接收端钢琴数据收发模块320的时间。接收端移动终端数据收发模块420将解码后的midi消息发送给接收端钢琴数据收发模块320接收端钢琴数据收发模块320，将接收的解码后的midi消息发送给接收端钢琴控制指令执行模块330。接收端钢琴控制指令执行模块330，接收到解码后的midi消息，对接收端的钢琴进行控制演奏乐曲。达到音视频信息和钢琴动作的同步，以实现同步演奏的目的。
在更进一步的方案中，音频流、视频流、midi消息的时间差也考虑到midi消息发送到接收端钢琴数据收发模块32，接收端钢琴控制指令执行模块330琴按照midi消息对接收端钢琴进行控制演奏之间的时间差。
优选地，同一台钢琴上可设置有推送端钢琴直播模块100和接收端钢琴直播模块300，同一台移动终端上可设置有推送端移动终端直播模块200和接收端移动终端直播模块400。
以上对本发明所提供的及一种音视频与钢琴动作同步直播方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种音视频与钢琴动作同步直播方法，其特征在于，所述方法包括以下步骤：
步骤10：推送端的钢琴采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端的移动终端；
步骤20：推送端的移动终端采集推送端的钢琴演奏时的音视频信息；
步骤30：推送端的移动终端将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器；
步骤40：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为音视频信息和midi消息；
步骤50：接收端的移动终端播放解码后的音视频信息，并将解码后的midi消息发送给接收端的钢琴；
步骤60：接收端的钢琴接收到midi消息，对接收端的钢琴进行控制演奏乐曲。
2.根据权利要求1所述的音视频与钢琴动作同步直播方法，其特征在于，所述步骤S10具体为推送端的钢琴采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端的移动终端。
3.根据权利要求2所述的音视频与钢琴动作同步直播方法，其特征在于，所述步骤S20中推送端的移动终端采集推送端的钢琴演奏时的音视频信息，所述音视频信息具体为包含时间戳的音频流和视频流。
4.根据权利要求3所述的音视频与钢琴动作同步直播方法，其特征在于，所述步骤S40具体为：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为包含时间戳的音频流、视频流和midi消息。
5.根据权利要求4所述的音视频与钢琴动作同步直播方法，其特征在于，所述步骤S50具体为：
步骤S51：接收端的移动终端获取音频流、视频流和midi消息的时间戳；
步骤S52：计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长；
步骤S53：根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端的钢琴的时间；
步骤S54：接收端的移动终端播放解码后的音视频流，并将解码后的midi消息发送给接收端的钢琴。
6.一种音视频与钢琴动作同步直播系统，其特征在于，包括：推送端钢琴直播模块、推送端移动终端直播模块、接收端钢琴直播模块、接收端移动终端直播模块及直播服务器，其中推送端移动终端直播模块上设置有推送端音视频采集模块、推送端数据处理模块和推送端移动终端数据收发模块，推送端钢琴直播模块上设置有推送端钢琴动作采集模块和推送端钢琴数据收发模块，接收端移动终端直播模块上设置有接收端数据处理模块、接收端音视频播放模块和接收端移动终端数据收发模块，接收端钢琴直播模块上设置有接收端钢琴控制指令执行模块和接收端钢琴数据收发模块，其中：
所述推送端钢琴动作采集模块，用于采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块；
所述推送端钢琴数据收发模块，用于将midi消息发送给推送端移动终端数据收发模块；
所述推送端移动终端数据收发模块，用于将接收到midi消息发送给推送端数据处理模块，以及将流媒体数据发送给直播服务器；
所述推送端音视频采集模块，用于采集钢琴演奏时的音视频信息，并发送给推送端数据处理模块；
所述推送端数据处理模块，用于将接收到的midi消息和音视频信息编码形成流媒体数据后发送给推送端移动终端数据收发模块；
所述直播服务器，用于接收推送端推送的流媒体数据，并转发给接收端；
所述接收端移动终端数据收发模块，用于接收直播服务器转发的流媒体数据，并发送给接收端数据处理模块，以及将解码后的midi消息发送给接收端钢琴数据收发模块；
所述接收端数据处理模块，用于将流媒体数据解码为音视频信息和midi消息，并将解码后的音视频信息发送给接收端音视频播放模块，解码后的midi消息发送给接收端移动终端数据收发模块；
所述接收端音视频播放模块，用于播放解码后的音视频信息；
所述接收端钢琴数据收发模块，用于将接收的解码后的midi消息发送给接收端钢琴控制指令执行模块；
所述接收端钢琴控制指令执行模块，用于接收到解码后的midi消息，对接收端的钢琴进行控制演奏乐曲。
7.根据权利要求6所述的音视频与钢琴动作同步直播系统，其特征在于，所述推送端钢琴动作采集模块中采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块。
8.根据权利要求7所述的音视频与钢琴动作同步直播系统，其特征在于，所述推送端钢琴数据收发模块中采集推送端的钢琴演奏时的音视频信息，所述音视频信息具体为包含时间戳的音频流和视频流。
9.根据权利要求8所述的音视频与钢琴动作同步直播系统，其特征在于，所述接收端数据处理模块包括接收端数据解码模块，接收端数据计算模块，其中：
所述接收端数据解码模块，用于将流媒体数据解码为包含时间戳的音频流、视频流和midi消息，并将解码后的音视频信息发送给接收端音视频播放模块，解码后的midi消息发送给接收端移动终端数据收发模块；
所述接收端数据计算模块，用于计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长；根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端钢琴数据收发模块的时间。
10.根据权利要求1至9任一项所述的音视频与钢琴动作同步直播系统，其特征在于，同一台钢琴上可设置有推送端钢琴直播模块和接收端钢琴直播模块，同一台移动终端上可设置有推送端移动终端直播模块和接收端移动终端直播模块。
CN201811210905.6A 2018-10-17 2018-10-17 一种音视频与钢琴动作同步直播方法及系统 Pending CN109413476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811210905.6A CN109413476A (zh) 2018-10-17 2018-10-17 一种音视频与钢琴动作同步直播方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811210905.6A CN109413476A (zh) 2018-10-17 2018-10-17 一种音视频与钢琴动作同步直播方法及系统

Publications (1)

Publication Number Publication Date
CN109413476A true CN109413476A (zh) 2019-03-01

Family

ID=65468458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811210905.6A Pending CN109413476A (zh) 2018-10-17 2018-10-17 一种音视频与钢琴动作同步直播方法及系统

Country Status (1)

Country Link
CN (1) CN109413476A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110392276A (zh) * 2019-07-29 2019-10-29 湖南卡罗德音乐集团有限公司 一种基于rtmp协议同步传输midi的直播录播方法
CN113438224A (zh) * 2021-06-23 2021-09-24 广州智会云科技发展有限公司 一种多人共同参与线上会展的方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069310A (en) * 1998-03-11 2000-05-30 Prc Inc. Method of controlling remote equipment over the internet and a method of subscribing to a subscription service for controlling remote equipment over the internet
CN1554014A (zh) * 2001-07-10 2004-12-08 娱乐技术有限公司 利用同步信息重放midi的方法和装置
CN1591563A (zh) * 2003-09-02 2005-03-09 李玉光 无线网络乐器及一种控制乐器自动演奏的方法
US20130233152A1 (en) * 2010-04-23 2013-09-12 Apple Inc. Musical Instruction and Assessment Systems
CN103403794A (zh) * 2011-01-07 2013-11-20 雅马哈株式会社 自动演奏装置
CN106601218A (zh) * 2016-12-22 2017-04-26 湖南乐和云服网络科技有限公司 一种音视频与钢琴动作同步装置及方法
CN106648083A (zh) * 2016-12-09 2017-05-10 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN106782459A (zh) * 2016-12-22 2017-05-31 湖南乐和云服网络科技有限公司 基于移动终端应用程序的钢琴自动演奏控制系统及方法
CN107770135A (zh) * 2016-08-19 2018-03-06 范子文 电子乐器的音乐直播方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069310A (en) * 1998-03-11 2000-05-30 Prc Inc. Method of controlling remote equipment over the internet and a method of subscribing to a subscription service for controlling remote equipment over the internet
CN1554014A (zh) * 2001-07-10 2004-12-08 娱乐技术有限公司 利用同步信息重放midi的方法和装置
CN1591563A (zh) * 2003-09-02 2005-03-09 李玉光 无线网络乐器及一种控制乐器自动演奏的方法
US20130233152A1 (en) * 2010-04-23 2013-09-12 Apple Inc. Musical Instruction and Assessment Systems
CN103403794A (zh) * 2011-01-07 2013-11-20 雅马哈株式会社 自动演奏装置
CN107770135A (zh) * 2016-08-19 2018-03-06 范子文 电子乐器的音乐直播方法和装置
CN106648083A (zh) * 2016-12-09 2017-05-10 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN106601218A (zh) * 2016-12-22 2017-04-26 湖南乐和云服网络科技有限公司 一种音视频与钢琴动作同步装置及方法
CN106782459A (zh) * 2016-12-22 2017-05-31 湖南乐和云服网络科技有限公司 基于移动终端应用程序的钢琴自动演奏控制系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110392276A (zh) * 2019-07-29 2019-10-29 湖南卡罗德音乐集团有限公司 一种基于rtmp协议同步传输midi的直播录播方法
CN110392276B (zh) * 2019-07-29 2021-06-22 湖南卡罗德音乐集团有限公司 一种基于rtmp协议同步传输midi的直播录播方法
CN113438224A (zh) * 2021-06-23 2021-09-24 广州智会云科技发展有限公司 一种多人共同参与线上会展的方法及系统

Similar Documents

Publication Publication Date Title
CN110692252B (zh) 具有用于广域广播的延迟管理的视听协作方法
CN106993239B (zh) 直播过程中的信息显示方法
CN100452874C (zh) 播放流媒体字幕的方法及其流媒体播放器
CN1497876B (zh) 用于发送和接收多媒体广播的设备和方法
JP5733321B2 (ja) 自動演奏装置
KR100837720B1 (ko) 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법
US20080288990A1 (en) Interactive Broadcasting System
JP5729393B2 (ja) 演奏システム
CN101262611B (zh) 一种流媒体播放器
CN108111872B (zh) 一种音频直播系统
CN101473645A (zh) 使用预设音频场景的基于对象的三维音频服务系统
CN110856009B (zh) 网络k歌系统、网络k歌的音视频播放方法及相关设备
US20170105039A1 (en) System and method of synchronizing a video signal and an audio stream in a cellular smartphone
CN103024454A (zh) 在广播电视节目中向受众传送互动入口信息的方法及系统
CN109413476A (zh) 一种音视频与钢琴动作同步直播方法及系统
JP2008216889A (ja) 電子音楽装置、電子音楽装置システム、及びそれらに用いるプログラム
CN101218819A (zh) 数字多媒体广播中同步数据服务和视频服务的方法和装置
CN106792117A (zh) 手机直播横屏开播的方法、装置和系统
US20230188770A1 (en) Interactive broadcasting method and system
CN106303754A (zh) 一种音频数据播放方法及装置
JP2004094683A (ja) サーバ、通信方法及び観客端末
JP6733990B2 (ja) 解説音声再生装置、解説音声生成装置及び解説音声再生プログラム
JP6291119B1 (ja) 配信用データ作成装置、広告データ作成装置及びデータ作成システム
JP2014127213A (ja) 同期再生制御装置及び同期再生制御方法
JP2019041366A (ja) 配信用データ作成装置、広告データ作成装置及びデータ作成システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220126

Address after: 410000 Building 2, Houhu business center, CSCEC smart Industrial Park, No. 50, Jinjiang Road, Yuelu street, Yuelu District, Changsha City, Hunan Province

Applicant after: Hunan karod Piano Co.,Ltd.

Address before: 41001c5052, unit C, building 1, green food city, Agricultural Expo Center, Zhongyi 1st Road, Yuhua District, Changsha City, Hunan Province

Applicant before: HUNAN LEHE YUNFU NETWORK TECHNOLOGY CO.,LTD.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301