CN108766408A - 一种电子乐器合奏系统和方法 - Google Patents

一种电子乐器合奏系统和方法 Download PDF

Info

Publication number
CN108766408A
CN108766408A CN201810510485.7A CN201810510485A CN108766408A CN 108766408 A CN108766408 A CN 108766408A CN 201810510485 A CN201810510485 A CN 201810510485A CN 108766408 A CN108766408 A CN 108766408A
Authority
CN
China
Prior art keywords
musical instrument
controller
video
target
instrumental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810510485.7A
Other languages
English (en)
Inventor
冯山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Music-Cat Musical Instrument Technology Co Ltd
Original Assignee
Guangzhou Music-Cat Musical Instrument Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Music-Cat Musical Instrument Technology Co Ltd filed Critical Guangzhou Music-Cat Musical Instrument Technology Co Ltd
Priority to CN201810510485.7A priority Critical patent/CN108766408A/zh
Publication of CN108766408A publication Critical patent/CN108766408A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种电子乐器合奏系统，包括乐器；第一控制器，所述第一控制器与乐器相连，用于接收合奏区域内乐器动作发生的时间、位置以及力度；显示屏，所述显示屏与第一控制器相连，用于显示乐器的弹奏落点信息以及目标音乐的字幕显示信息；音响，所述音响与第一控制器相连，用于播放乐器发出的声音；灯光系统，所述灯光系统与第一控制器相连，用于根据乐器的落点频率以及目标音乐的音量大小展示灯光效果。本发明还公开了一种电子乐器合奏方法。本发明将各乐器融合在一起，通过第一控制器实现控制，契合度高，合奏效果好。

Description

一种电子乐器合奏系统和方法
技术领域
本发明涉及电子乐器技术领域，具体为一种电子乐器合奏系统和方法。
背景技术
现有的琴房或者练歌房、KTV等场所一般为娱乐或练习所用，其不能很好的实现各种乐器的互动，原因在于乐器的兼容性太差，每个乐器都有自己的系统，通过其系统实现弹奏落点等的指示和控制，在合奏时很难在时间和节奏上完全契合。即使能实现，也是在合奏过程中，而对合奏的效果并不能获知，趣味性不高。有些场所可能会增加摄像头以对整个过程进行录像，这种方式虽然在一定程度上可能事后对其进行查看，但是这种全景式不能很好的获知精彩部分内容，无法获得分享的喜悦感。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种电子乐器合奏系统，其将各乐器融合在一起，通过第一控制器实现控制，契合度高，合奏效果好。
本发明的目的之二在于提供一种电子乐器合奏方法，其将各乐器融合在一起，通过第一控制器实现控制，契合度高，合奏效果好。
为实现上述目的之一，本发明提供如下技术方案：
一种电子乐器合奏系统，包括：
乐器；
第一控制器，所述第一控制器与乐器相连，用于接收合奏区域内乐器动作发生的时间、位置以及力度；
显示屏，所述显示屏与第一控制器相连，用于显示乐器的弹奏落点信息以及目标音乐的字幕显示信息；
音响，所述音响与第一控制器相连，用于播放乐器发出的声音；
灯光系统，所述灯光系统与第一控制器相连，用于根据乐器的落点频率以及目标音乐的音量大小展示灯光效果。
进一步地，所述电子乐器合奏系统还包括卡拉OK麦克风，所述卡拉OK麦克风与第一控制器相连，所述第一控制器接收演唱者通过卡拉OK麦克风演唱目标音乐的音频信号并通过音响播放。
进一步地，所述电子乐器合奏系统还包括视频制作系统，所述视频制作系统包括第二控制器、摄像头以及拾音器，所述拾音器与第一控制器相连，所述摄像头与第二控制器相连，所述第一控制器和第二控制器相连；
所述摄像头用于实时采集合奏区域内人脸图像和乐器图像；所述拾音器用于实时拾取合奏区域内的环境音频；所述第二控制器用于接收所述人脸图像、乐器图像以及环境音频，并按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频、以及将与所述目标视频时间上对应的环境音频增加到目标视频中，形成最终的录制视频。
进一步地，所述电子乐器合奏系统还包括服务器，所述服务器用于接收和存储由第二控制器完成的最终的录制视频。
为实现上述目的之二，本发明提供如下技术方案：
一种电子乐器合奏方法，其应用于目的之一所述的电子乐器合奏系统中，包括以下步骤：
第一控制器根据选取的目标音乐分析得到目标音乐对应的各乐器的乐器轨道以及字幕轨道；
根据所述乐器轨道生成各乐器的弹奏落点，根据所述乐器的落点频率以及目标音乐的音量大小生成灯光效果轨道，根据所述字幕轨道生成目标音乐对应的字幕信息；
在目标音乐启动后，通过第一控制器接收合奏区域内乐器动作发生的时间、位置以及力度，通过显示屏显示乐器的弹奏落点信息以及目标音乐的字幕显示信息；通过音响播放乐器发出的声音，通过灯光系统展示灯光效果。
进一步地，在目标音乐启动后，通过卡拉OK麦克风采集的演唱者演唱目标音乐的音频信号并通过音响播放。
进一步地，还包括：在目标音乐启动后，通过摄像头实时采集合奏区域内人脸图像、乐器图像以及通过拾音器拾取合奏区域内的环境音频；第二控制器按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频；第二控制器将与所述目标视频时间上对应的环境音频增加到目标视频中，形成最终的录制视频。
进一步地，所述第二控制器按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频，包括：
第二控制器按照精彩程度对所述人脸图像以及乐器图像进行剪切，形成多个视频分镜，视频分镜以目标音乐的播放时间顺序进行逐个剪切，每个视频分镜中包括一个或多个所述人脸图像或/和乐器图像；
第二控制器将多个视频分镜按照目标音乐的播放时间顺序合成目标视频，目标视频的总时间与目标音乐的播放时间相同；
所述精彩程度包括以下的一种或多种：乐器弹奏落点密集的片段、弹奏落点正确率高的片段、目标音乐高潮部分的片段以及人脸动作频率高的片段。
进一步地，每个视频分镜对应一个目标音乐的播放时间段，且任意两个视频分镜对应的播放时间段之间不重叠；当一个视频分镜中包括多个人脸图像或/和乐器图像时，进行分屏显示或画中画显示。
进一步地，还包括：在目标音乐播放终止后，第一控制器根据乐器的实际动作和弹奏落点对比在显示屏显示各乐器动作的正确率。
与现有技术相比，本发明电子乐器合奏系统和方法，其有益效果在于：
1、通过第一控制器对各乐器的落点进行设置，并记录各乐器在弹奏过程中的落点时间、位置和力度，从而契合度高，合奏效果好。
2、通过对合奏区域内的各个人脸图像、乐器图像进行分别采集，并拾取整个区域内的环境音频信号，从而第二控制器根据精彩程度对人脸图像和乐器图像进行裁剪合成目标视频，并将环境音频按照目标视频时间对应叠加在目标视频中，形成录制视频，该视频集成有整个演奏过程的各个精彩瞬间，增加了合奏的趣味性，同时还便于演奏者进行观看和分享。
附图说明
图1为本发明电子乐器合奏系统的结构图；
图2为本发明合奏区域的一种实施结构图之一；
图3为本发明合奏区域的一种实施结构图之二。
图4为电子乐器合奏的视频录制方法的流程图；
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
请参照图1所示，一种电子乐器合奏系统，包括：乐器、第一控制器、显示屏、音响、灯光系统、卡拉OK麦克风、视频制作系统以及服务器，其中乐器通过数据线与第一控制器相连，第一控制器接收合奏区域内乐器动作发生的时间、位置以及力度；乐器为电子琴、电子鼓或弓弦乐器，当然还可以包括其他乐器，显示屏采用电视屏幕，通过HDMI数据线与第一控制器相连，用于显示乐器的弹奏落点信息以及目标音乐的字幕显示信息；音响通过音频线与第一控制器相连，用于播放乐器和卡拉OK麦克风发出的声音；灯光系统通过数据线与第一控制器相连，用于根据乐器的落点频率以及目标音乐的音量大小展示灯光效果；卡拉OK麦克风通过音频线与第一控制器相连，第一控制器接收演唱者通过卡拉OK麦克风演唱目标音乐的音频信号并通过音响播放。
视频制作系统包括第二控制器、摄像头以及拾音器，所述拾音器通过音频线与第一控制器相连，所述摄像头通过数据线与第二控制器相连，所述第一控制器和第二控制器相连；所述摄像头用于实时采集合奏区域内人脸图像和乐器图像；所述拾音器用于实时拾取合奏区域内的环境音频；所述第二控制器用于接收所述人脸图像、乐器图像以及环境音频，并按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频、以及将与所述目标视频时间上对应的环境音频增加到目标视频中，形成最终的录制视频。
摄像头设置成多个，每个人脸图像和乐器图像分别进行采集。如图2所示的一个合奏区域涉及人脸图像采集摄像头的结构图。合奏区域内设置有电子琴311、电子鼓312以及演唱麦克风313，这里设定电子琴311、电子鼓312以及演唱麦克风313均有相应人员进行操作。对人脸图像进行采集的摄像头有三个(分别称为第一摄像头310、第二摄像头320、第三摄像头330)，优选设置有显示屏的上方并朝向各个位置的座位位置，当然，采集角度可以有更大的广度。其中，第一摄像头310用于采集合奏区域内电子琴311的演奏者的人脸图像，第二摄像头320用于采集合奏区域内电子鼓312的演奏者的人脸图像，第三摄像头330用于采集合奏区域内演唱者的人脸图像。如图3所示的一个合奏区域涉及乐器图像采集摄像头的结构图，对乐器图像进行采集的摄像头有二个(分别称为第四摄像头340、第五摄像头350)，其中，第四摄像头340用于采集合奏区域内电子琴311的乐器图像，优选安装于合奏区域内电子琴311上方的固定件(例如天花板)，第五摄像头350用于采集合奏区域内电子鼓312的乐器图像，优选安装于合奏区域内电子鼓312上方的固定件(例如天花板)。
拾音器主要用于实时拾取合奏区域内的环境音频，包括各乐器发出的声音信号以及演唱者卡拉OK麦克风发出的声音信号(或者由相应的音响发出的声音信号)，拾音器主要由收音麦克风组成，内部还设置有信号处理电路，用于对收音麦克风拾取的声音信号进行滤波、降噪等处理。
服务器与第一控制器或第二控制器通过无线网络(例如WIFI或4G等)相连，用于接收和存储由第二控制器完成的最终的录制视频。
其工作过程为：
第一控制器根据选取的目标音乐分析得到目标音乐对应的各乐器的乐器轨道以及字幕轨道；根据所述乐器轨道生成各乐器的弹奏落点，根据所述乐器的落点频率以及目标音乐的音量大小生成灯光效果轨道，根据所述字幕轨道生成目标音乐对应的字幕信息；在目标音乐启动后，通过第一控制器接收合奏区域内乐器动作发生的时间、位置以及力度，通过显示屏显示乐器的弹奏落点信息以及目标音乐的字幕显示信息；通过音响播放乐器发出的声音，通过灯光系统展示灯光效果，通过卡拉OK麦克风采集的演唱者演唱目标音乐的音频信号并通过音响播放。
以电子琴和电子鼓的合奏为例，第一控制器同时处理有六个时间轴，分别为标准时间轴、伴奏播放时间轴、字幕显示时间轴、电子鼓落点时间轴、电子琴落点时间轴和灯光效果时间轴。其中：
标准时间轴在目标音乐启动后计算时间，在目标音乐终止后停止计算时间，即标准时间轴与目标音乐同步，目标音乐的启动和终止为标准时间的两个端点。伴奏播放时间轴与标准时间轴同步，用于播放伴奏音乐。字幕显示时间轴可以比标准时间轴快30秒，预先准备荧幕上要显示的字幕信息。电子鼓落点时间轴可以比标准时间轴快3秒，预先准备电子鼓落点从LED指示板(为电子鼓自带落点指示机构，其具体结构可以参考申请人在前申请的申请号为201420112807.X的指导打鼓奏乐的装置，或者申请号为201410091175.8的电子乐器合奏系统、电子乐器弹奏指导装置)落下，落到底部时赶上伴奏播放时间，显示屏显示的电子鼓落点信息可以包括一个电子鼓的模型以及指示装置，指示装置可以类似于节奏大师等游戏的指示方式。电子琴落点时间轴可以比标准时间轴快2秒，预先准备电子琴落点从LED指示板(为电子琴自带落点指示机构，其具体结构可以参考申请人在前申请的申请号为201410091175.8的电子乐器合奏系统、电子乐器弹奏指导装置)落下，落到底部时赶上伴奏播放时间。灯光效果时间轴可以比标准时间轴快5秒，按照电子琴和电子鼓的落点频率和MIDI音量大小预先分析接下来应该出现的灯光效果。
在目标音乐启动后，通过摄像头实时采集合奏区域内人脸图像、乐器图像以及通过拾音器拾取合奏区域内的环境音频；第二控制器按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频；第二控制器将与所述目标视频时间上对应的环境音频增加到目标视频中，自动形成最终的录制视频；请参照图4所示，具体包括以下步骤：
110、通过摄像头实时采集合奏区域内人脸图像、乐器图像以及通过拾音器拾取合奏区域内的环境音频。
合奏区域即合奏发生场所，可以是琴房、练歌房、KTV等，可以是多个人参与，如果只有一个人演奏，也可以对其进行视频录制。人脸图像和乐器图像的采集设备可以是摄像头或摄像机，这里的人脸图像是参与合奏人员的人脸图像，不包括观看人员，人脸图像可以是包含有人脸的整个参与合奏人员的身体图像，也可以是合奏人员的局部图像(例如上半身)。同样地，乐器图像是被弹奏的乐器，如果闲置，则不参与图像采集。对人脸图像和乐器图像要分别进行采集，即每个采集设备只针对一个合奏人员或乐器，这样最终获得的人脸图像和乐器图像是多个，下述剪切是对该多个人脸图像和乐器图像进行分别剪切，然后再合成。
合奏区域内的环境音频主要是乐器发出的声音，如果在合奏区域内有演唱，则也包括演唱声音，同样地，也会对演唱者的人脸图像进行采集。
具体的，实时采集合奏区域内人脸图像、乐器图像以及拾取合奏区域内的环境音频，包括以下步骤：
A、第一控制器根据选取的目标音乐分析得到目标音乐对应的各乐器的乐器轨道。
合奏者选取目标音乐，即要合奏的音乐，该音乐优选为MIDI格式，之所以采用MIDI格式，以方便获取目标音乐的音乐轨道(对应标准时间轴)，进而在音乐轨道的基础上得到各乐器对应的乐器轨道，如果涉及演唱，这里还生成字幕轨道。合奏的乐器可以是任何人来操作，因为分析得到的乐器轨道可以生成各个乐器的弹奏落点，操作者只需要根据弹奏落点去在相应的键或鼓或弦上操作即可，对于初学者同样适用。
合奏的乐器可以是电子琴、电子鼓或弓弦乐器，当然还可以包括其他乐器，对弹奏落点的指示可以通过LED灯来完成。此部分具体的实现方式可以参照申请人在前申请的方案(例如申请号为201410312842.0的弓弦乐器弹奏指导装置及其控制方法，申请号为201410091175.8的电子乐器合奏系统、电子乐器弹奏指导装置，申请号为201120249007.9的乐器弹奏指导装置，申请号为201420112807.X的指导打鼓奏乐的装置等)，同样地，对于如何对目标音乐分析获得乐器轨道在此前方案中也有涉及，这里只是借用这些指导装置来实现乐器的无基础弹奏。视频录制过程是自动完成的，一般在合奏完成后几分钟内即可生成最终的录制视频。
B、第一控制器根据所述乐器轨道生成各乐器的弹奏落点。
当乐器轨道确定后，则根据乐器轨道生成各个乐器的弹奏落点也就是控制指示装置在合适的时间进行相应的指示也就易于实现了，此部分内容同样可以在上述申请人在前申请中提及，这里不再赘述。
C、在音乐启动后，采集合奏区域内乐器演奏人员的人脸图像、乐器弹奏落点图像以及合奏区域内的环境音频图像。
目标音乐启动后，各个指示装置即开始对各乐器的弹奏落点进行指示，即演奏开始，在音乐播放的整个过程中，实时采集合奏区域内乐器演奏人员的人脸图像、乐器弹奏落点图像以及合奏区域内的环境音频图像。
采集的人脸图像、乐器弹奏落点图像(事实上是采集的整个乐器上的弹奏区域内的图像)与标准时间轴相对应，以便于后期剪切。
120、第二控制器按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频。
按照精彩程度对所述人脸图像以及乐器图像进行剪切，形成多个视频分镜，每个视频分镜大约5-20s，为连续的图像组成的视频信号。视频分镜以目标音乐的播放时间顺序进行逐个剪切，每个视频分镜对应一个目标音乐的播放时间段，且任意两个视频分镜对应的播放时间段之间不重叠。
将多个视频分镜按照目标音乐的播放时间顺序合成目标视频，合成方式可以采用现有的剪切合成软件实现。目标视频的总时间与目标音乐的播放时间相同。即根据目标音乐的音乐轨道在各个人脸图像和乐器图像中选取精彩程度较高的图像，这些精彩程度较高的图像所组成的目标视频填充整个目标音乐的播放时间。换句话来说，目标视频在时间上是连续的，是与目标音乐的播放对应起来的。
每个视频分镜中包括一个或多个所述人脸图像或/和乐器图像。因为在目标音乐播放的某个或多个时间节点上可能存在多个精彩程度较高的图像画面，特别是目标音乐的高潮部分，如果仅仅剪切进去其中一个采集设备采集的图像，则会对合奏者造成较大的遗憾，因此，在精彩的部分可以多个图像并存，这种情况下，优选采用分屏方式或画中画方式完成。如果某个视频分镜中出现多个人脸图像或/和乐器图像，则该多个人脸图像或/和乐器图像中的其中一个或多个人脸图像或/和乐器图像与相邻的视频分镜可以有时间重叠，但是优选该多个人脸图像或/和乐器图像的至少存在一个不与其他视频分镜内的图像在时间上有重叠。
所谓的精彩程度，主要是乐器弹奏落点密集的片段、弹奏落点正确率高的片段、目标音乐高潮部分的片段以及人脸动作频率高的片段。即将符合乐器弹奏落点密集的片段、弹奏落点正确率高的片段、目标音乐高潮部分的片段以及人脸动作频率高的片段中的一个或多个按照音乐轨道剪切出来，得到多个视频分镜，然后把该多个视频分镜进行合成。乐器弹奏落点密集的片段是根据乐器的弹奏落点分析得到，弹奏落点准确率是将弹奏时实际落点时间与乐器轨道上弹奏落点对应的时间进行比对，获得的比例数据，可以参照申请人在前申请的申请号为201610772256.3(钢琴学习指导系统)的内容，弹奏落点正确率高的片段可以根据需要(例如将弹奏落点正确率超过90％的片段定义为弹奏落点正确率高的片段)进行设置，或者比对后选取多个乐器中准确率相对较高的片段，正确率也可以通过显示屏进行显示。目标音乐高潮部分的片段根据音乐轨道来实现，人脸动作频率高的片段根据采集设备的采集数据来实现，可以是合奏者(有演唱者时，也包括演唱者)人脸动作频率高相对较高的片段。
130、第二控制器将与所述目标视频时间上对应的环境音频增加到目标视频中，形成最终的录制视频。将最终的录制视频发送到服务器进行存储，用户可以登录该服务器进行视频调取或查看。
以目标音乐的播放为基础，将目标视频的播放时间轴和环境音频的播放时间轴与目标音乐的播放时间轴对应一致，这样，一方面保证了目标视频、环境音频和目标音乐的同步，另一方面，减少了环境音频叠加到目标视频上难度。
将所述与环境音频增加到目标视频中，形成最终的录制视频，另外，在最终的录制视频中还可以增加字幕信息，字幕信息同样以目标音乐的播放同步。
上述整个过程均以目标音乐的音乐轨道为基础，通过剪切对应时间上的精彩图像，然后在匹配相应的音频信息和字幕信息，构成最终的录制视频，整个过程全自动实现，便于合奏者观看和分享，提高趣味性。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种电子乐器合奏系统，其特征在于包括：
乐器；
第一控制器，所述第一控制器与乐器相连，用于接收合奏区域内乐器动作发生的时间、位置以及力度；
显示屏，所述显示屏与第一控制器相连，用于显示乐器的弹奏落点信息以及目标音乐的字幕显示信息；
音响，所述音响与第一控制器相连，用于播放乐器发出的声音；
灯光系统，所述灯光系统与第一控制器相连，用于根据乐器的落点频率以及目标音乐的音量大小展示灯光效果。
2.根据权利要求1所述的电子乐器合奏系统，其特征在于：所述电子乐器合奏系统还包括卡拉OK麦克风，所述卡拉OK麦克风与第一控制器相连，所述第一控制器接收演唱者通过卡拉OK麦克风演唱目标音乐的音频信号并通过音响播放。
3.根据权利要求2所述的电子乐器合奏系统，其特征在于：所述电子乐器合奏系统还包括视频制作系统，所述视频制作系统包括第二控制器、摄像头以及拾音器，所述拾音器与第一控制器相连，所述摄像头与第二控制器相连，所述第一控制器和第二控制器相连；
所述摄像头用于实时采集合奏区域内人脸图像和乐器图像；所述拾音器用于实时拾取合奏区域内的环境音频；所述第二控制器用于接收所述人脸图像、乐器图像以及环境音频，并按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频、以及将与所述目标视频时间上对应的环境音频增加到目标视频中，形成最终的录制视频。
4.根据权利要求3所述的电子乐器合奏系统，其特征在于：所述电子乐器合奏系统还包括服务器，所述服务器用于接收和存储由第二控制器完成的最终的录制视频。
5.一种电子乐器合奏方法，其特征在于，其应用于权利要求1-4任一项所述的电子乐器合奏系统中，包括以下步骤：
第一控制器根据选取的目标音乐分析得到目标音乐对应的各乐器的乐器轨道以及字幕轨道；
根据所述乐器轨道生成各乐器的弹奏落点，根据所述乐器的落点频率以及目标音乐的音量大小生成灯光效果轨道，根据所述字幕轨道生成目标音乐对应的字幕信息；
在目标音乐启动后，通过第一控制器接收合奏区域内乐器动作发生的时间、位置以及力度，通过显示屏显示乐器的弹奏落点信息以及目标音乐的字幕显示信息；通过音响播放乐器发出的声音，通过灯光系统展示灯光效果。
6.根据权利要求5所述的电子乐器合奏方法，其特征在于，还包括：在目标音乐启动后，通过卡拉OK麦克风采集的演唱者演唱目标音乐的音频信号并通过音响播放。
7.根据权利要求5所述的电子乐器合奏方法，其特征在于，还包括：在目标音乐启动后，通过摄像头实时采集合奏区域内人脸图像、乐器图像以及通过拾音器拾取合奏区域内的环境音频；第二控制器按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频；第二控制器将与所述目标视频时间上对应的环境音频增加到目标视频中，形成最终的录制视频。
8.根据权利要求7所述的电子乐器合奏方法，其特征在于，所述第二控制器按照精彩程度对所述人脸图像以及乐器图像进行剪切并合成目标视频，包括：
第二控制器按照精彩程度对所述人脸图像以及乐器图像进行剪切，形成多个视频分镜，视频分镜以目标音乐的播放时间顺序进行逐个剪切，每个视频分镜中包括一个或多个所述人脸图像或/和乐器图像；
第二控制器将多个视频分镜按照目标音乐的播放时间顺序合成目标视频，目标视频的总时间与目标音乐的播放时间相同；
所述精彩程度包括以下的一种或多种：乐器弹奏落点密集的片段、弹奏落点正确率高的片段、目标音乐高潮部分的片段以及人脸动作频率高的片段。
9.根据权利要求8所述的电子乐器合奏方法，其特征在于，每个视频分镜对应一个目标音乐的播放时间段，且任意两个视频分镜对应的播放时间段之间不重叠；当一个视频分镜中包括多个人脸图像或/和乐器图像时，进行分屏显示或画中画显示。
10.根据权利要求5所述的电子乐器合奏方法，其特征在于，还包括：在目标音乐播放终止后，第一控制器根据乐器的实际动作和弹奏落点对比在显示屏显示各乐器动作的正确率。
CN201810510485.7A 2018-05-24 2018-05-24 一种电子乐器合奏系统和方法 Pending CN108766408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810510485.7A CN108766408A (zh) 2018-05-24 2018-05-24 一种电子乐器合奏系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810510485.7A CN108766408A (zh) 2018-05-24 2018-05-24 一种电子乐器合奏系统和方法

Publications (1)

Publication Number Publication Date
CN108766408A true CN108766408A (zh) 2018-11-06

Family

ID=64005976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810510485.7A Pending CN108766408A (zh) 2018-05-24 2018-05-24 一种电子乐器合奏系统和方法

Country Status (1)

Country Link
CN (1) CN108766408A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070849A (zh) * 2019-03-22 2019-07-30 福建星网视易信息系统有限公司 音频演奏方法及计算机可读存储介质
CN110164242A (zh) * 2019-06-04 2019-08-23 平顶山学院 一种声乐演唱模拟训练平台
CN110517654A (zh) * 2019-07-19 2019-11-29 森兰信息科技（上海）有限公司 基于钢琴的乐器合奏方法、系统、介质及装置
CN110559657A (zh) * 2019-08-22 2019-12-13 腾讯科技（深圳）有限公司 一种网络游戏控制方法、装置和存储介质
CN111001169A (zh) * 2019-12-26 2020-04-14 平顶山学院 一种声乐演唱训练装置
CN111028618A (zh) * 2019-12-27 2020-04-17 郑州工程技术学院 一种声乐演唱模拟训练平台
CN115461809A (zh) * 2020-09-04 2022-12-09 罗兰株式会社 信息处理装置以及信息处理方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990405A (en) * 1998-07-08 1999-11-23 Gibson Guitar Corp. System and method for generating and controlling a simulated musical concert experience
CN1379898A (zh) * 1999-09-16 2002-11-13 汉索尔索弗特有限公司 基于一个数字音乐文件演奏乐器的方法和装置
CN1652203A (zh) * 2004-02-06 2005-08-10 李志扬 乐器演奏提示器
JP2007193273A (ja) * 2006-01-23 2007-08-02 Daiichikosho Co Ltd 演奏ガイド機能付きカラオケシステム
CN200990707Y (zh) * 2006-10-27 2007-12-12 朱湘宁 组合声控娱乐灯光系统
CN103440137A (zh) * 2013-09-06 2013-12-11 叶鼎 一种同步显示演奏乐器位置的数字音频播放方法及其系统
CN103839539A (zh) * 2014-03-12 2014-06-04 冯山 电子乐器合奏系统、电子乐器弹奏指导装置
CN104091589A (zh) * 2014-07-01 2014-10-08 冯山 弓弦乐器弹奏指导装置及其控制方法
CN104754372A (zh) * 2014-02-26 2015-07-01 苏州乐聚一堂电子科技有限公司 同步节拍特效系统及同步节拍特效处理方法
CN105190741A (zh) * 2013-05-08 2015-12-23 雅马哈株式会社 音乐合奏管理方法及音乐合奏管理装置
CN106128435A (zh) * 2016-06-27 2016-11-16 江苏沃格瑞特乐器制造有限公司 乐器合奏面板及乐器合奏装置
CN106205281A (zh) * 2016-08-30 2016-12-07 广州音乐猫乐器科技有限公司 钢琴学习指导系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990405A (en) * 1998-07-08 1999-11-23 Gibson Guitar Corp. System and method for generating and controlling a simulated musical concert experience
CN1379898A (zh) * 1999-09-16 2002-11-13 汉索尔索弗特有限公司 基于一个数字音乐文件演奏乐器的方法和装置
CN1652203A (zh) * 2004-02-06 2005-08-10 李志扬 乐器演奏提示器
JP2007193273A (ja) * 2006-01-23 2007-08-02 Daiichikosho Co Ltd 演奏ガイド機能付きカラオケシステム
CN200990707Y (zh) * 2006-10-27 2007-12-12 朱湘宁 组合声控娱乐灯光系统
CN105190741A (zh) * 2013-05-08 2015-12-23 雅马哈株式会社 音乐合奏管理方法及音乐合奏管理装置
CN103440137A (zh) * 2013-09-06 2013-12-11 叶鼎 一种同步显示演奏乐器位置的数字音频播放方法及其系统
CN104754372A (zh) * 2014-02-26 2015-07-01 苏州乐聚一堂电子科技有限公司 同步节拍特效系统及同步节拍特效处理方法
CN103839539A (zh) * 2014-03-12 2014-06-04 冯山 电子乐器合奏系统、电子乐器弹奏指导装置
CN104091589A (zh) * 2014-07-01 2014-10-08 冯山 弓弦乐器弹奏指导装置及其控制方法
CN106128435A (zh) * 2016-06-27 2016-11-16 江苏沃格瑞特乐器制造有限公司 乐器合奏面板及乐器合奏装置
CN106205281A (zh) * 2016-08-30 2016-12-07 广州音乐猫乐器科技有限公司 钢琴学习指导系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070849A (zh) * 2019-03-22 2019-07-30 福建星网视易信息系统有限公司 音频演奏方法及计算机可读存储介质
CN110164242A (zh) * 2019-06-04 2019-08-23 平顶山学院 一种声乐演唱模拟训练平台
CN110517654A (zh) * 2019-07-19 2019-11-29 森兰信息科技（上海）有限公司 基于钢琴的乐器合奏方法、系统、介质及装置
CN110559657A (zh) * 2019-08-22 2019-12-13 腾讯科技（深圳）有限公司 一种网络游戏控制方法、装置和存储介质
CN110559657B (zh) * 2019-08-22 2023-11-03 腾讯科技（深圳）有限公司 一种网络游戏控制方法、装置和存储介质
CN111001169A (zh) * 2019-12-26 2020-04-14 平顶山学院 一种声乐演唱训练装置
CN111028618A (zh) * 2019-12-27 2020-04-17 郑州工程技术学院 一种声乐演唱模拟训练平台
CN111028618B (zh) * 2019-12-27 2022-03-25 郑州工程技术学院 一种声乐演唱模拟训练平台
CN115461809A (zh) * 2020-09-04 2022-12-09 罗兰株式会社 信息处理装置以及信息处理方法
US11922913B2 (en) 2020-09-04 2024-03-05 Roland Corporation Information processing device, information processing method, and non-transitory computer readable recording medium

Similar Documents

Publication Publication Date Title
CN108766408A (zh) 一种电子乐器合奏系统和方法
US9467673B2 (en) Method, system, and computer-readable memory for rhythm visualization
JP4755672B2 (ja) コンテンツ編集装置、方法及びプログラム
CN108810436A (zh) 一种基于全自动乐器合奏的视频录制方法和系统
CN108597484A (zh) 一种多模式唱歌系统
CN111726686B (zh) 基于电视的虚拟卡拉ok系统及方法
JP2008089849A (ja) リモート演奏システム
JP2017005371A (ja) 共演映像演出装置および共演映像演出システム
JP5459331B2 (ja) 投稿再生装置及びプログラム
CN110164242B (zh) 一种声乐演唱模拟训练平台
JP5454802B2 (ja) カラオケ装置
JP2006217183A (ja) マルチメディアデータを生成するためのデータ処理装置およびプログラム
JP5256682B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2014123085A (ja) カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム
JP5803956B2 (ja) カラオケシステム及びカラオケ装置
JP5780258B2 (ja) 携帯端末装置、携帯端末用プログラム、サーバ、及び画像閲覧システム
JP2014235301A (ja) ジェスチャーによるコマンド入力識別システム
JP4586787B2 (ja) 生演奏カラオケシステム
JP2005321443A (ja) 発音学習支援方法、学習者端末及び処理プログラム並びに該プログラムを記録した記録媒体
Chander et al. Violinists Employ More Expressive Gesture and Timing Around Global Musical Resolutions: A Motion Capture Study
JP4631126B2 (ja) 映像音声データ伝送システム
JP5687961B2 (ja) 同期再生装置及び同期再生方法
Essid et al. A multimodal dance corpus for research into real-time interaction between humans in online virtual environments
JP7026412B1 (ja) 楽曲制作装置、端末装置、楽曲制作方法、プログラム、および記録媒体
JP2008244888A (ja) 通信装置、通信方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination