CN105786162A - 一种用于进行虚拟演奏指挥的方法和装置 - Google Patents

一种用于进行虚拟演奏指挥的方法和装置 Download PDF

Info

Publication number
CN105786162A
CN105786162A CN201410777907.9A CN201410777907A CN105786162A CN 105786162 A CN105786162 A CN 105786162A CN 201410777907 A CN201410777907 A CN 201410777907A CN 105786162 A CN105786162 A CN 105786162A
Authority
CN
China
Prior art keywords
information
performance
commander
played
audio frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410777907.9A
Other languages
English (en)
Inventor
杨帆
左轶
边海华
王煜坚
盖永明
金珊
蒋兆辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Shanghai Bell Co Ltd
Original Assignee
Alcatel Lucent Shanghai Bell Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent Shanghai Bell Co Ltd filed Critical Alcatel Lucent Shanghai Bell Co Ltd
Priority to CN201410777907.9A priority Critical patent/CN105786162A/zh
Publication of CN105786162A publication Critical patent/CN105786162A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

本发明的目的是提供一种用于进行虚拟演奏指挥的方法和装置。根据本发明的方法包括以下步骤:获取与指挥者的指挥行为对应的传感信息;基于获得的所述传感信息,确定与所述传感信息对应的指挥指示信息;基于所述指挥指示信息对一个或多个待播放音频进行调整,以播放调整后的所述一个或多个待播放音频,其中,一待播放音频由一种乐器演奏。

Description

一种用于进行虚拟演奏指挥的方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种用于进行虚拟演奏指挥的方法和装置。
背景技术
对于交响乐、歌剧等音乐演出活动,乐团的演奏彩排是非常重要的。为了达到较好的排练效果,演奏彩排一般需要乐团的全体成员出席,因此演奏彩排的花费较高,因此乐团的指挥者以及其他乐团成员无法经常性的进行整体的演奏彩排。虽然,指挥者可通过与钢琴进行彩排、观看彩排录像等其他方式来练习演奏指挥,但通过这些方式,很难达到乐团成员整体进行彩排的效果。
发明内容
本发明的目的是提供一种用于进行虚拟演奏指挥的方法和装置。
根据本发明的一个方面,提供了一种用于进行虚拟演奏指挥的方法,其中,所述方法包括以下步骤:
a获取与指挥者的指挥行为对应的传感信息;
b基于获得的所述传感信息,确定与所述传感信息对应的指挥指示信息;
c基于所述指挥指示信息对一个或多个待播放音频进行调整,以播放调整后的所述一个或多个待播放音频,其中,一待播放音频由一种乐器演奏。
根据本发明的一个方面,还提供了一种用于进行虚拟演奏指挥的虚拟演奏装置,其中,所述方法包括:
获取装置,用于获取与指挥者的指挥行为对应的传感信息;
指示确定装置,用于基于获得的所述传感信息,确定与所述传感信息对应的指挥指示信息;
调整装置,用于基于所述指挥指示信息对一个或多个待播放音频进行调整,以播放调整后的所述一个或多个待播放音频,其中,一待播放音频由一种乐器演奏。
与现有技术相比,本发明具有以下优点:通过识别指挥者进行指挥的手势或动作,得到对应的演奏节拍或演奏音量等信息,从而播放与其手势或动作相对应的一种或多种乐器的音频,使得指挥者能够通过虚拟演奏指挥的方式进行演奏指挥,为指挥者练习演奏指挥或进行乐团演奏彩排提供了便利,并且花费较低;并且,基于本发明的方案,普通用户也可体验作为指挥者来进行演奏指挥的过程。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1示意出了根据本发明的一种用于进行虚拟演奏的方法流程图;
图2示意出了根据本发明的一种用于进行虚拟演奏的虚拟演奏装置的结构示意图;
图3示意出了根据本发明的一个示例性的指挥者手部或指挥棒的移动轨迹和角度信息与演奏节拍信息的对应关系;
图4示意出了根据本发明的一个示例性的彩排场所的布局示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1示意出了根据本发明的一种用于进行虚拟演奏的方法流程图。根据本发明的方法包括步骤S1、步骤S2和步骤S3。
其中,根据本发明的方法通过包含于计算机设备中的模拟演奏装置来实现。所述计算机设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述计算机设备包括网络设备和/或用户设备。
优选地,所述模拟演奏装置包含于用户设备中。其中,所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板、或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、PDA、游戏机、或IPTV等。
优选地,所述用户设备可接收摄像头采集的图像信息或视频信息。
优选地,所述用户设备可接收诸如重力传感器、加速传感器等传感设备采集的传感信息。
需要说明的是,所述用户设备以及传感设备仅为举例,其他现有的或今后可能出现的用户设备以及传感设备如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。
参照图1,在步骤S1中,虚拟演奏装置获取与指挥者的指挥行为对应的传感信息。
其中,所述指挥行为包括但不限于任何可供指挥者进行演奏指挥的姿势、手势或动作等。
其中,所述传感信息包括基于摄像头或传感设备所采集的信息而确定的、用于指示指挥者的指挥行为的信息。
其中,所述传感信息包括但不限于以下至少任一种信息:
1)指挥者手部或指挥棒的移动轨迹信息;该移动轨迹信息可包括指挥者手部或指挥棒的移动方向及移动距离等信息。例如,指挥棒先向下直线移动,再向上直线移动。又例如,指挥棒的移动轨迹的长短等。
2)指挥者手部或指挥棒的角度信息;例如,手部或指挥棒相对于诸如舞台平面等预定位置的角度信息等。
3)指挥者手部或指挥棒的移动速度信息;例如,平均移动速度、角速度、加速度等速度信息。
4)指挥者头部的动作信息;例如抬头、点头、转头等动作。
5)指挥者的面部表情信息;该面部表情信息包括各种可用于确定演奏节拍或演奏强弱,或者表演情绪等的面部表情。
其中,虚拟演奏装置获取与指挥者的指挥行为对应的传感信息的方式包括但不限于以下任一种:
1)直接根据传感设备采集的信息来获取与指挥者的指挥行为对应的传感信息。
例如,接收包含于指挥棒的重力传感器采集的重力传感信息,并基于该重力传感信息确定指挥棒的移动轨迹和倾斜角度,作为与指挥者的指挥行为对应的传感信息。
2)通过对摄像头采集的视频信息或图像信息执行识别操作来获取与指挥者的指挥行为对应的传感信息。
例如,接收摄像头采集的视频信息,基于预定的识别模型对所接收的视频信息进行识别,得到符合右手模型的对象,并获取该对象的移动轨迹信息和角度信息,作为与指挥者的指挥行为对应的传感信息。
根据本发明的第一示例,虚拟演奏装置在步骤S1中基于接收的、指挥棒中的传感器采集的信息,得到与指挥者的指挥行为对应的传感信息:指挥棒的移动轨迹信息和平均移动速度信息。
接着,在步骤S2中,虚拟演奏装置基于获得的所述传感信息,确定与所述传感信息对应的指挥指示信息。
其中,所述指挥指示信息包括但不限于以下至少任一种:
1)演奏节拍信息;该演奏节拍信息包括诸如四二拍、四三拍和四四拍等节拍类型信息。
例如,参照图3,图3示意出了分别与四二拍(2/4)、四三拍(3/4)和四四拍(4/4)对应的指挥者手部或指挥棒的移动轨迹和角度信息。
2)演奏强弱信息;该演奏强弱信息包括各种可用于指示演奏强弱的程度的信息,例如,乐曲中常见的极强、极弱、强、弱、中等强度、中等弱度等。
3)演奏缓急信息;演奏缓急信息包括个用于指示乐曲演奏快慢的信息,例如演奏速度信息。
继续对前述第一示例进行说明,虚拟演奏装置根据预存储的各个节拍与各个移动轨迹的对应关系,得到与接收的指挥棒的轨迹信息对应的节拍种类为四二拍。并且,虚拟演奏装置基于接收的移动速度信息得到相应的演奏速度信息:120拍每分钟(BeatsPerMinute,BPM)。并且,虚拟演奏装置基于接收的指挥棒的移动轨迹信息所指示的动作幅度信息,以及预存储的各个强弱信息与动作幅度信息的对应关系,得到对应的强弱信息“极强”,从而一共得到以下指挥指示信息:节拍信息“四三拍”、演奏速度信息“120BPM”以及演奏强弱信息“极强”。
在步骤S3中,基于所述指挥指示信息对一个或多个待播放音频进行调整,以播放调整后的所述一个或多个待播放音频。
其中,一待播放音频由一种乐器演奏,优选地,一待播放音频由一个或多个同种乐器所演奏。
具体地,虚拟演奏装置基于所述指挥指示信息对一个或多个待播放音频进行调整。接着,虚拟演奏装置将调整后的所述一个或多个待播放音频进行混音处理以获得的混音音频。接着,虚拟演奏装置播放所述混音音频。
继续对前述第一示例进行说明,虚拟演奏装置基于指挥指示信息:节拍信息“四三拍”、演奏速度信息“120BPM”以及演奏强弱信息“极强”来调整播放的3个分别由大提琴、小提琴以及小号所演奏的音频,使得调整后的该3个待播放音频的速度和音量分别对应于120BPM和演奏强弱信息“极强”。接着,虚拟演奏装置将调整后的该3个待播放音频进行混音处理以获得的混音音频。接着,虚拟演奏装置播放所述混音音频。
根据本发明的一个优选实施方案,用于演奏的演出场所根据不同种类的乐器的位置被分为至少一个演奏区域,所述方法在步骤S3之前还包括步骤S4(图未示)和S5(图未示)。
在步骤S4中,虚拟演奏装置确定与所述指挥指示信息对应的一个或多个演奏区域。
具体地,虚拟演奏装置基于与指挥者对应的、相对于所述演出场所的位置传感信息,确定与所述指挥指示信息对应的一个或多个演奏区域。
其中,所述位置信息包括以下至少任一项:
i)指挥者的身体部位相对于演出场所的空间位置信息;其中,所述身体部位包括指挥者的左右手、头部等可通过传感器或摄像头来获取空间位置信息的部位。
其中,所述演出场所可以是真实的场所,也可以为呈现于显示屏上的虚拟场所。
ii)指挥棒相对于演出场所的空间位置信息。例如,指挥者的指挥棒相对于演出场所的高度和角度信息。
优选地,所述空间位置信息还可包括指挥者手部或指挥棒的移动轨迹信息。
优选地,当所述演出场所包括呈现于显示屏上的虚拟场所时,虚拟演奏装置基于指挥者相对于所述显示屏的操作信息,确定与所述指挥指示信息对应的一个或多个演奏区域。
其中,所述操作信息包括各种可供所述指挥者在显示屏中确定一个或多个演奏区域的操作。例如,指挥者对于触屏显示屏中一个或多个演奏区域的点触操作。又例如,指挥者通过手势来选择显示屏中某一演奏区域的选择操作。
接着,在步骤S5中,虚拟演奏装置根据所述一个或多个演奏区域所对应的乐器的种类,确定与所述演奏区域对应的一个或多个待播放音频。
根据本发明的第二示例,图4示意出了一个示例性的彩排场所的布局示意图,参照图4,该彩排场所是一个真实的演出场所,其包括指挥者(conductor)所在的区域,以及对应于以下乐器的演奏区域:打击乐器(Percussion)、定音鼓(Timpani)、小号(Trumpets)、长号(Trombones)、大号(Tuba)、竖琴(Harp)、钢琴(Piano)、圆号(FrenchHorns)、低音提琴(DoubleBasses)、第一小提琴(FirstViolins)、第二小提琴(SecondViolins)、单簧管(Clarinets)、长笛(Flutes)、低音管(Bassoons)、双簧管(Oboes)、中提琴(Violas)、大提琴(Violincellos)。指挥者在该彩排场所中进行指挥,虚拟演奏装置在S2中基于在步骤S1中获取的与其指挥行为对应的传感信息,得到以下指挥指示信息:节拍信息“四二拍”、演奏速度信息“80BPM”以及演奏强弱信息“中等强度”。虚拟演奏装置接着在步骤S4中基于与指挥者对应的、相对于所述演出场所的位置传感信息:右手的空间位置信息,确定与所述指挥指示信息对应的4个演奏区域包括:第一小提琴区域、打击乐器区域、圆号区域和低音提琴区域。接着,虚拟演奏装置根据第一小提琴区域和钢琴区域所对应的乐器,从存储的对应于多个演奏区域的待播放音频(Track)中选择与该4个演奏区域对应的、分别由小提琴、打击乐器、圆号和低音提琴演奏的4个待播放音频,并接着在步骤S3中基于得到的指挥指示信息对该4个待播放音频进行调整,以播放调整后的该4个待播放音频。
根据本发明的方法,通过识别指挥者进行指挥的手势或动作,得到对应的演奏节拍或演奏音量等信息,从而播放与其手势或动作相对应的一种或多种乐器的音频,使得指挥者能够通过虚拟演奏指挥的方式进行彩排,提升了彩排效果且花费较低;并且,基于本发明的方法,普通用户也可体验作为指挥者来进行演奏指挥的过程。
图2示意出了根据本发明的一种用于进行虚拟演奏的虚拟演奏装置的结构示意图。根据本发明的虚拟演奏装置包括:获取装置1、指示确定装置2和调整装置3。
获取装置1获取与指挥者的指挥行为对应的传感信息。
其中,所述指挥行为包括但不限于任何可供指挥者进行演奏指挥的姿势、手势或动作等。
其中,所述传感信息包括基于摄像头或传感设备所采集的信息而确定的、用于指示指挥者的指挥行为的信息。
其中,所述传感信息包括但不限于以下至少任一种信息:
1)指挥者手部或指挥棒的移动轨迹信息;该移动轨迹信息可包括指挥者手部或指挥棒的移动方向及移动距离等信息。例如,指挥棒先向下直线移动,再向上直线移动。又例如,指挥棒的移动轨迹的长短等。
2)指挥者手部或指挥棒的角度信息;例如,手部或指挥棒相对于诸如舞台平面等预定位置的角度信息等。
3)指挥者手部或指挥棒的移动速度信息;例如,平均移动速度、角速度、加速度等速度信息。
4)指挥者头部的动作信息;例如抬头、点头、转头等动作。
5)指挥者的面部表情信息;该面部表情信息包括各种可用于确定演奏节拍或演奏强弱,或者表演情绪等的面部表情。
其中,获取装置1获取与指挥者的指挥行为对应的传感信息的方式包括但不限于以下任一种:
1)直接根据传感设备采集的信息来获取与指挥者的指挥行为对应的传感信息。
例如,接收包含于指挥棒的重力传感器采集的重力传感信息,并基于该重力传感信息确定指挥棒的移动轨迹和倾斜角度,作为与指挥者的指挥行为对应的传感信息。
2)通过对摄像头采集的视频信息或图像信息执行识别操作来获取与指挥者的指挥行为对应的传感信息。
例如,接收摄像头采集的视频信息,基于预定的识别模型对所接收的视频信息进行识别,得到符合右手模型的对象,并获取该对象的移动轨迹信息和角度信息,作为与指挥者的指挥行为对应的传感信息。
根据本发明的第一示例,获取装置1基于接收的、指挥棒中的传感器采集的信息,得到与指挥者的指挥行为对应的传感信息:指挥棒的移动轨迹信息和平均移动速度信息。
接着,指示确定装置2基于获得的所述传感信息,确定与所述传感信息对应的指挥指示信息。
其中,所述指挥指示信息包括但不限于以下至少任一种:
1)演奏节拍信息;该演奏节拍信息包括诸如四二拍、四三拍和四四拍等节拍类型信息。
例如,参照图3,图3示意出了分别与四二拍(2/4)、四三拍(3/4)和四四拍(4/4)对应的指挥者手部或指挥棒的移动轨迹和角度信息。
2)演奏强弱信息;该演奏强弱信息包括各种可用于指示演奏强弱的程度的信息,例如,乐曲中常见的极强、极弱、强、弱、中等强度、中等弱度等。
3)演奏缓急信息;演奏缓急信息包括个用于指示乐曲演奏快慢的信息,例如演奏速度信息。
继续对前述第一示例进行说明,指示确定装置2根据预存储的各个节拍与各个移动轨迹的对应关系,得到与接收的指挥棒的轨迹信息对应的节拍种类为四二拍。并且,指示确定装置2基于接收的移动速度信息得到相应的演奏速度信息:120拍每分钟(BeatsPerMinute,BPM)。并且,指示确定装置2基于接收的指挥棒的移动轨迹信息所指示的动作幅度信息,以及预存储的各个强弱信息与动作幅度信息的对应关系,得到对应的强弱信息“极强”,从而一共得到以下指挥指示信息:节拍信息“四三拍”、演奏速度信息“120BPM”以及演奏强弱信息“极强”。
调整装置3基于所述指挥指示信息对一个或多个待播放音频进行调整,以播放调整后的所述一个或多个待播放音频。
其中,一待播放音频由一种乐器演奏,优选地,一待播放音频由一个或多个同种乐器所演奏。
其中,所述调整装置3进一步包括音频调整装置(图未示)、混音装置(图未示)和播放装置(图未示)。
具体地,音频调整装置基于所述指挥指示信息对一个或多个待播放音频进行调整。接着,混音装置将调整后的所述一个或多个待播放音频进行混音处理以获得的混音音频。接着,播放装置播放所述混音音频。
继续对前述第一示例进行说明,音频调整装置置基于指挥指示信息:节拍信息“四三拍”、演奏速度信息“120BPM”以及演奏强弱信息“极强”来调整待播放的3个分别由大提琴、小提琴以及小号所演奏的音频,使得调整后的该3个待播放音频的速度和音量分别对应于120BPM和演奏强弱信息“极强”。接着,混音装置将调整后的该3个待播放音频进行混音处理以获得的混音音频。接着,播放装置播放所述混音音频。
根据本发明的一个优选实施方案,用于演奏的演出场所根据不同种类的乐器的位置被分为至少一个演奏区域,所述虚拟演奏装置还包括区域确定装置(图未示)和音频确定装置(图未示)。
区域确定装置确定与所述指挥指示信息对应的一个或多个演奏区域。
具体地,区域确定装置基于与指挥者对应的、相对于所述演出场所的位置传感信息,确定与所述指挥指示信息对应的一个或多个演奏区域。
其中,所述位置信息包括以下至少任一项:
i)指挥者的身体部位相对于演出场所的空间位置信息;其中,所述身体部位包括指挥者的左右手、头部等可通过传感器或摄像头来获取空间位置信息的部位。
其中,所述演出场所可以是真实的场所,也可以为呈现于显示屏上的虚拟场所。
ii)指挥棒相对于演出场所的空间位置信息。例如,指挥者的指挥棒相对于演出场所的高度和角度信息。
优选地,所述空间位置信息还可包括指挥者手部或指挥棒的移动轨迹信息。
优选地,当所述演出场所包括呈现于显示屏上的虚拟场所时,区域确定装置基于指挥者相对于所述显示屏的操作信息,确定与所述指挥指示信息对应的一个或多个演奏区域。
其中,所述操作信息包括各种可供所述指挥者在显示屏中确定一个或多个演奏区域的操作。例如,指挥者对于触屏显示屏中一个或多个演奏区域的点触操作。又例如,指挥者通过手势来选择显示屏中某一演奏区域的选择操作。
接着,音频确定装置根据所述一个或多个演奏区域所对应的乐器的种类,确定与所述演奏区域对应的一个或多个待播放音频。
根据本发明的第二示例,图4示意出了一个示例性的彩排场所的布局示意图,参照图4,该彩排场所是一个真实的演出场所,其包括指挥者(conductor)所在的区域,以及对应于以下乐器的演奏区域:打击乐器(Percussion)、定音鼓(Timpani)、小号(Trumpets)、长号(Trombones)、大号(Tuba)、竖琴(Harp)、钢琴(Piano)、圆号(FrenchHorns)、低音提琴(DoubleBasses)、第一小提琴(FirstViolins)、第二小提琴(SecondViolins)、单簧管(Clarinets)、长笛(Flutes)、低音管(Bassoons)、双簧管(Oboes)、中提琴(Violas)、大提琴(Violincellos)。指挥者在该彩排场所中进行指挥,指示确定装置2基于获取装置1获取的与其指挥行为对应的传感信息,得到以下指挥指示信息:节拍信息“四二拍”、演奏速度信息“80BPM”以及演奏强弱信息“中等强度”。区域确定装置基于与指挥者对应的、相对于所述演出场所的位置传感信息:右手的空间位置信息,确定与所述指挥指示信息对应的4个演奏区域包括:第一小提琴区域、打击乐器区域、圆号区域和低音提琴区域。接着,音频确定装置根据第一小提琴区域和钢琴区域所对应的乐器,从存储的对应于多个演奏区域的待播放音频(Track)中选择与该4个演奏区域对应的、分别由小提琴、打击乐器、圆号和低音提琴演奏的4个待播放音频,接着调整装置3基于得到的指挥指示信息对该4个待播放音频进行调整,以播放调整后的该4个待播放音频。
根据本发明的方案,通过识别指挥者进行指挥的手势或动作,得到对应的演奏节拍或演奏音量等信息,从而播放与其手势或动作相对应的一种或多种乐器的音频,使得指挥者能够通过虚拟演奏指挥的方式进行演奏指挥,为指挥者练习演奏指挥或进行乐团演奏彩排提供了便利,并且花费较低;并且,基于本发明的方案,普通用户也可体验作为指挥者来进行演奏指挥的过程。
本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个功能或步骤的电路。
另外,本发明的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本发明的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (14)

1.一种用于进行虚拟演奏指挥的方法,其中,所述方法包括以下步骤:
a获取与指挥者的指挥行为对应的传感信息;
b基于获得的所述传感信息,确定与所述传感信息对应的指挥指示信息;
c基于所述指挥指示信息对一个或多个待播放音频进行调整,以播放调整后的所述一个或多个待播放音频,其中,一待播放音频由一种乐器演奏。
2.根据权利要求1所述的方法,其中,用于演奏的演出场所根据不同种类的乐器的位置被分为至少一个演奏区域,所述方法在步骤c之前还包括以下步骤:
m确定与所述指挥指示信息对应的一个或多个演奏区域;
n根据所述一个或多个演奏区域所对应的乐器的种类,确定与所述演奏区域对应的一个或多个待播放音频。
3.根据权利要求2所述的方法,其中,所述步骤m进一步包括以下步骤:
-基于与指挥者对应的、相对于所述演出场所的位置传感信息,确定与所述指挥指示信息对应的一个或多个演奏区域。
4.根据权利要求3所述的方法,其中,所述位置传感信息包括以下至少任一项:
-指挥者的身体部位相对于演出场所的空间位置信息;
-指挥棒相对于演出场所的空间位置信息。
5.根据权利要求2所述的方法,其中,所述演出场所包括呈现于显示屏上的虚拟场所,其中,所述步骤m进一步包括以下步骤:
-基于指挥者相对于所述显示屏的操作信息,确定与所述指挥指示信息对应的一个或多个演奏区域。
6.根据权利要求1至5中任一项所述的方法,其中,所述步骤c进一步包括以下步骤:
-基于所述指挥指示信息对一个或多个待播放音频进行调整;
-将调整后的所述一个或多个待播放音频进行混音处理以获得的混音音频;
-播放所述混音音频。
7.根据权利要求1至6中任一项所述的方法,其中,所述指挥指示信息包括以下至少任一种:
-演奏节拍信息;
-演奏强弱信息;
-演奏缓急信息。
8.一种用于进行虚拟演奏指挥的虚拟演奏装置,其中,所述方法包括:
获取装置,用于获取与指挥者的指挥行为对应的传感信息;
指示确定装置,用于基于获得的所述传感信息,确定与所述传感信息对应的指挥指示信息;
调整装置,用于基于所述指挥指示信息对一个或多个待播放音频进行调整,以播放调整后的所述一个或多个待播放音频,其中,一待播放音频由一种乐器演奏。
9.根据权利要求8所述的虚拟演奏装置,其中,用于演奏的演出场所根据不同种类的乐器的位置被分为至少一个演奏区域,所述虚拟演奏装置还包括:
区域确定装置,确定与所述指挥指示信息对应的一个或多个演奏区域;
音频确定装置,用于根据所述一个或多个演奏区域所对应的乐器的种类,确定与所述演奏区域对应的一个或多个待播放音频。
10.根据权利要求9所述的虚拟演奏装置,其中,所述区域确定装置进一步用于:
-基于与指挥者对应的、相对于所述演出场所的位置传感信息,确定与所述指挥指示信息对应的一个或多个演奏区域。
11.根据权利要求10所述的方法,其中,所述位置传感信息包括以下至少任一项:
-指挥者的身体部位相对于演出场所的空间位置信息;
-指挥棒相对于演出场所的空间位置信息。
12.根据权利要求9所述的虚拟演奏装置,其中,所述演出场所包括呈现于显示屏上的虚拟场所,其中,所述区域确定装置进一步用于:
-基于指挥者相对于所述显示屏的操作信息,确定与所述指挥指示信息对应的一个或多个演奏区域。
13.根据权利要求8至12中任一项所述的虚拟演奏装置,其中,所述调整装置进一步包括:
音频调整装置,用于基于所述指挥指示信息对一个或多个待播放音频进行调整;
混音装置,用于将调整后的所述一个或多个待播放音频进行混音处理以获得的混音音频;
播放装置,用于播放所述混音音频。
14.根据权利要求8至13中任一项所述的虚拟演奏装置,其中,所述指挥指示信息包括以下至少任一种:
-演奏节拍信息;
-演奏强弱信息;
-演奏缓急信息。
CN201410777907.9A 2014-12-15 2014-12-15 一种用于进行虚拟演奏指挥的方法和装置 Pending CN105786162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410777907.9A CN105786162A (zh) 2014-12-15 2014-12-15 一种用于进行虚拟演奏指挥的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410777907.9A CN105786162A (zh) 2014-12-15 2014-12-15 一种用于进行虚拟演奏指挥的方法和装置

Publications (1)

Publication Number Publication Date
CN105786162A true CN105786162A (zh) 2016-07-20

Family

ID=56373982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410777907.9A Pending CN105786162A (zh) 2014-12-15 2014-12-15 一种用于进行虚拟演奏指挥的方法和装置

Country Status (1)

Country Link
CN (1) CN105786162A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248407A (zh) * 2017-06-30 2017-10-13 武汉理工大学 一种手势音乐演奏器
CN107464548A (zh) * 2017-08-03 2017-12-12 京东方科技集团股份有限公司 非接触式音乐传感装置及音乐演奏方法
CN108829253A (zh) * 2018-06-19 2018-11-16 北京科技大学 一种模拟音乐指挥播放方法及装置
CN108877754A (zh) * 2018-05-14 2018-11-23 码路(海南)人工智能有限公司 人工智能音乐简奏系统及实现方法
CN109767670A (zh) * 2019-03-15 2019-05-17 河南理工大学 一种vr的音乐指挥训练系统
CN111198613A (zh) * 2020-01-20 2020-05-26 江南大学 一种利用生物电流的音乐控制装置及控制方法
CN115048025A (zh) * 2022-06-14 2022-09-13 陕西理工大学 人机交互的传统弓拉弦鸣乐器演奏方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504832A (zh) * 2009-03-24 2009-08-12 北京理工大学 基于手部动作感应的虚拟演奏系统
CN202121661U (zh) * 2011-01-28 2012-01-18 德信互动科技(北京)有限公司 音乐指挥系统和音乐终端
CN103295564A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 演奏装置以及演奏装置的控制方法
CN103885663A (zh) * 2014-03-14 2014-06-25 深圳市东方拓宇科技有限公司 一种生成和播放音乐的方法及其对应终端
US20140298975A1 (en) * 2013-04-04 2014-10-09 Kevin Clark Puppetmaster Hands-Free Controlled Music System

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504832A (zh) * 2009-03-24 2009-08-12 北京理工大学 基于手部动作感应的虚拟演奏系统
CN202121661U (zh) * 2011-01-28 2012-01-18 德信互动科技(北京)有限公司 音乐指挥系统和音乐终端
CN103295564A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 演奏装置以及演奏装置的控制方法
US20140298975A1 (en) * 2013-04-04 2014-10-09 Kevin Clark Puppetmaster Hands-Free Controlled Music System
CN103885663A (zh) * 2014-03-14 2014-06-25 深圳市东方拓宇科技有限公司 一种生成和播放音乐的方法及其对应终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248407A (zh) * 2017-06-30 2017-10-13 武汉理工大学 一种手势音乐演奏器
CN107464548A (zh) * 2017-08-03 2017-12-12 京东方科技集团股份有限公司 非接触式音乐传感装置及音乐演奏方法
CN108877754A (zh) * 2018-05-14 2018-11-23 码路(海南)人工智能有限公司 人工智能音乐简奏系统及实现方法
CN108829253A (zh) * 2018-06-19 2018-11-16 北京科技大学 一种模拟音乐指挥播放方法及装置
CN109767670A (zh) * 2019-03-15 2019-05-17 河南理工大学 一种vr的音乐指挥训练系统
CN111198613A (zh) * 2020-01-20 2020-05-26 江南大学 一种利用生物电流的音乐控制装置及控制方法
CN115048025A (zh) * 2022-06-14 2022-09-13 陕西理工大学 人机交互的传统弓拉弦鸣乐器演奏方法、装置及设备

Similar Documents

Publication Publication Date Title
CN105786162A (zh) 一种用于进行虚拟演奏指挥的方法和装置
US9224378B2 (en) Systems and methods thereof for determining a virtual momentum based on user input
US6388183B1 (en) Virtual musical instruments with user selectable and controllable mapping of position input to sound output
EP2760014B1 (en) Interactive score curve for adjusting audio parameters of a user's recording.
US20120062718A1 (en) Device and method for interpreting musical gestures
CN103885663A (zh) 一种生成和播放音乐的方法及其对应终端
JP2007172702A (ja) コンテンツ選択方法及びコンテンツ選択装置
JP2012118299A (ja) 演奏装置および電子楽器
WO2009007512A1 (en) A gesture-controlled music synthesis system
JP2012194524A (ja) 演奏装置および電子楽器
Marshall et al. Gesture control of sound spatialization for live musical performance
US7504572B2 (en) Sound generating method
Zlatintsi et al. A web-based real-time kinect application for gestural interaction with virtual musical instruments
JP6411412B2 (ja) プログラム、ゲーム装置及びゲーム進行方法
US9573049B2 (en) Strum pad
CN112019910A (zh) 一种乐器演奏方法、装置、电视及存储介质
Overholt Advancements in violin-related human-computer interaction
JP4192936B2 (ja) 自動演奏装置
WO2014174621A1 (ja) 記録媒体、ゲーム装置及びゲーム進行方法
US8294015B2 (en) Method and system for utilizing a gaming instrument controller
JP2008165098A (ja) 電子楽器
JP2018105956A (ja) 楽音データ処理方法及び楽音データ処理装置
JP2007109169A (ja) 音楽再生装置
JP2016194629A (ja) 撥弦楽器演奏評価装置、楽曲演奏装置及び撥弦楽器演奏評価プログラム
JP6291913B2 (ja) 楽曲生成システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201206 ningqiao Road, Pudong New Area China (Shanghai) free trade test area, Pudong New Area, Shanghai

Applicant after: Shanghai NOKIA Baer Limited by Share Ltd

Address before: 201206 Pudong New Area Jinqiao Ning Road, Shanghai, No. 388

Applicant before: Shanghai Alcatel-Lucent Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720