CN108877754A - 人工智能音乐简奏系统及实现方法 - Google Patents

人工智能音乐简奏系统及实现方法 Download PDF

Info

Publication number
CN108877754A
CN108877754A CN201810799594.5A CN201810799594A CN108877754A CN 108877754 A CN108877754 A CN 108877754A CN 201810799594 A CN201810799594 A CN 201810799594A CN 108877754 A CN108877754 A CN 108877754A
Authority
CN
China
Prior art keywords
letter
music
played
module
action command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810799594.5A
Other languages
English (en)
Inventor
陈明发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Yard One Road (hainan) Artificial Intelligence Co Ltd
Original Assignee
One Yard One Road (hainan) Artificial Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Yard One Road (hainan) Artificial Intelligence Co Ltd filed Critical One Yard One Road (hainan) Artificial Intelligence Co Ltd
Publication of CN108877754A publication Critical patent/CN108877754A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/32Constructional details
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines

Abstract

本发明公开了一种人工智能音乐简奏系统及实现方法,包括音乐存储模块,以及与音乐存储模块电连接的音乐运行模块,还包括简奏动作指令采集模块,以及与简奏动作指令采集模块依次电连接的简奏动作指令信号处理模块和音乐运行模块;简奏动作指令采集模块采集简奏动作所表达的指令,触发简奏动作指令信号,并输入简奏动作指令信号处理模块进行处理,并依据检测处理结果生成相应的调控信号后命令音乐运行模块播放音乐。本发明通过采集人体的简奏动作指令信号,并通过简奏动作指令信号处理模块对其简奏动作指令信号计算处理,实现了人指挥机器进行音乐演奏的艺术感受,达到了操作简单、普及率高、体验性强的娱乐效果。

Description

人工智能音乐简奏系统及实现方法
技术领域
本发明涉及智能电子乐器技术领域,更具体的说是涉及一种人工智能音乐简奏系统及实现方法。
背景技术
《声乐艺术心理学》研究显示:演奏乐器是一种比欣赏音乐更爽、更开心、更高级的艺术享受。从心理学上讲,演奏乐器满足了人的主动共鸣之艺术享受。大科学家爱因斯坦,每天都要欣赏音乐一小时、再演奏乐器一小时。可见,仅仅被动欣赏音乐是不过瘾的,很多人只有主动演奏乐器才够过瘾。
演奏乐器是一种高超技艺,苦练多年才能基本掌握,所以,演奏乐器只能是音乐家们玩得起的高级享受,人民群众(普通大众)难以掌握、难以享受其美妙。
听歌时,许多人总忍不住跟着哼唱、跟着节奏踮脚、跟着节奏拍腿。听抒情音乐时,许多人总喜欢闭上眼睛、轻轻地晃动头部、自我陶醉地默唱。这是一种渴望参与演奏的心理共鸣反应,心理共鸣是被动共鸣。人们常常把器乐演奏水平很高的人称为演奏家,把演奏水平很高、通过演奏愉悦自我的人称为音乐玩家。在演奏过程中,演奏家和音乐玩家都产生了身心共鸣反应,身心共鸣是主动共鸣。这种主动共鸣的身心协同反应是一种高级音乐艺术享受,普通大众可望不可及。
随着科技的发展,主动共鸣需求得到了极大的满足。20世纪六十年代末期,盒式录音机问世以后,左(L)右(R)立体声磁带可录制两个音源,一路是伴奏音乐,一路是人声歌唱,人们可以用这种磁带学习流行歌曲的演唱。当人们学会唱这首歌以后,人们就会关掉人声这路通道,而通过话筒亲自演唱这首歌曲。这种娱乐活动称作卡拉OK亦称KTV。卡拉OK原意是无人伴奏乐队,其中“卡拉”在日语中是“空/无”的意思,“OK”是英文交响乐的缩写。卡拉OK最早是起源于日本,是日本对世界的三大发明(方便面烘干法/随身听/卡拉OK)之一。这种伴奏方式,给歌唱爱好者们带来了极大的方便和愉悦,是一种新的休闲娱乐方式,极大地满足了普通大众的主动共鸣需求。20世纪七十年代,录像机、激光影碟机出现以后,用图像画面来解释歌曲的意境,形成了“耳朵听觉+眼睛视觉”等两种感觉并举的综合艺术系统,并且有字幕的提示(利用歌词镶边、变色的方法)。正所谓科技改变生活,那个名为井上大佑的日本伴奏乐手1972年发明了卡拉OK机之后,卡拉OK风潮就席卷了整个亚洲,催生了万亿元人民币的卡拉OK产业——主动共鸣之艺术享受产业。
卡拉OK产业何以如此的盛行,究其《声乐艺术心理学》原因:卡拉OK极大地满足了人民群众(普通大众)演唱欣赏音乐艺术的需求——主动共鸣之艺术享受。
音乐指挥(者),指的是各类管弦乐队、合唱队等集体性的音乐表演时,站在乐队/合唱队前面手拿指挥棒、并结合肢体语言指示乐队如何演奏/演唱的人。指挥者右手持指挥棒(合唱指挥一般不用指挥棒只用手势)掌握速度和节拍,左手主要表示强弱等乐曲表情。身体的动作,也是指挥的一个方面。音乐指挥(者)指导整个乐队的音乐演奏,使得多个声部的演奏能够成为一个整体,可谓一个乐队的灵魂人物。乐队和合唱队均离不开指挥, 指挥的任务主要是控制演奏的节拍和速度及强弱,是通过“打拍子”来指挥演奏者/演唱者、演奏/演唱出统一而又明确的节拍和速度及强弱。虽然大多数指挥家都有各自独特的指挥手势,但万变不离其宗,他们都遵循了以下的基本原则:㈠每一小节的第一拍(即强拍)向下打拍;㈡每一小节的最后一拍向上击拍;㈢在次强拍上改变击拍方向(向左或向右)。
有一位国际著名指挥家曾经说过“指挥棒也是一种乐器”。
综上所述,KTV产业已经广泛的进入人们的生活当中,人们通过亲自演唱歌曲,获得了音乐艺术享受。具体来讲,现行KTV属于人配合机器进行演唱的一种艺术感受。
随着人们生活水平的不断提高,人们已经不仅仅满足于演唱歌曲这种简单的艺术娱乐形式,而更渴望能够亲自演奏各种乐器,甚至是指挥乐队进行演奏,然而想要达到一种乐器的熟练演奏是需要苦练多年的高超技艺,想要指挥乐队演奏更是需要有扎实的音乐功底,这都不是普通大众能够轻而易举达到的艺术感受。再者,对许多五音不全的普通大众而言,卡拉OK仍然是一件渴望而不可及的高大上的艺术活动,难以获得其音乐艺术享受。五音不全者唱歌时,不搭调、常走音,把握不住do、re、mi、fa、sol、la、si等七个唱名,唱歌变成了绝无优美旋律可言的念歌或喊歌。在卡拉OK歌厅里,许多人都有过遭受此类折磨的体验,人们形容这种毫无艺术天分者为五音不全。
随着人工智能技术的不断发展,已经为人们的生活提供了很多的便捷,但是目前,通过人工智能技术来降低音乐娱乐难度,使普通大众能够简单地进行音乐演奏和音乐指挥的娱乐项目,还处于空白阶段。
因此,如何提供一种普通大众能够简单地进行娱乐的、人工智能音乐简奏系统及其实现方法,就是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了人工智能音乐简奏系统及实现方法,通过采集人体的简奏动作信号,利用人工智能技术简化音乐演奏难度,使普通人易学易会,易于获得演奏音乐的主动共鸣艺术享受。
为了实现上述目的,本发明采用如下技术方案。
一种人工智能音乐简奏系统,包括音乐存储模块(2),以及与所述音乐存储模块(2)电连接的音乐运行模块(3),所述音乐存储模块(2)用于存储音乐数据,所述音乐运行模块(3)用于播放音乐,所述音乐运行模块(3)包括音乐播放模块(31)、或电连接的音乐播放模块(31)和音乐输出模块(32);其特征在于:还包括简奏动作指令采集模块(4),以及与所述简奏动作指令采集模块(4)依次电连接的简奏动作指令信号处理模块(5)和所述音乐运行模块(3);
其中,所述简奏动作指令采集模块(4)用于实时采集演奏者的简奏动作所表达的指令,触发简奏动作指令信号;
所述简奏动作指令信号处理模块(5)用于对所述简奏动作指令信号进行检测处理,包括检测简奏动作指令信号的触发时间、依据所述触发时间的不同生成不同的调控信号;
所述调控信号用于实时调控所述音乐运行模块(3),以使所播放的音乐实时受控于演奏者的简奏动作;所述调控信号包括下列一种或多种:加快/放慢信号、停止/继续信号、音量加大/减小信号、警示/干扰信号。
本发明通过采集人体的简奏动作信号,经过所述简奏动作指令信号处理模块计算处理后,实现实时调控音乐播放、以及音乐播放过程中的实时信号干预,达到操作简单、普及率高、体验性强的娱乐效果。
优选的,在上述人工智能音乐简奏系统中,所述加快信号用于将音乐节拍和播放速度加快,所述放慢信号用于将音乐节拍和播放速度放慢;所述停止信号用于将音乐停止播放,所述继续信号用于将音乐继续播放;所述音量加大信号用于将音乐音量加大,所述音量减小信号用于将音乐音量减小,所述减小音量包括减小至静音状态;所述警示信号用于发出正常播出音乐以外的各种警示信号,所述干扰信号用于发出正常播出音乐以外的各种干扰信号。
优选的,在上述人工智能音乐简奏系统中,所述简奏动作指令信号处理模块用于使正在播放的音乐被所述调控信号实时调控,具体包括以下两种作用:
①具有音乐调控作用:音乐加快、放慢、停止、继续、音量加大、音量减小,使播放的音乐具有与真人乐队演奏相同的节奏变化,例如起拍收拍、有快有慢、有强有弱中的一种,使音乐播放具有此起彼伏、情绪分明的听觉效果;
②具有音乐干扰作用:当所述简奏动作指令信号处理模块对所述简奏动作指令信号检测处理后显示时间误差在允许的范围之内时,所述简奏动作指令信号处理模块不对正在播放的音乐实施干扰;反之,实时实施干扰,以及时反馈演奏者的水平高低。
优选的,在上述人工智能音乐简奏系统中,所述简奏动作指令信号处理模块包括简奏动作指令信号检测模块,以及与所述简奏动作指令信号检测模块电连接的演奏难度档位选定模块;所述简奏动作指令信号检测模块用于检测简奏动作指令信号的触发时间;所述演奏难度档位选定模块用于将触发时间应达到的标准进行分档,以方便演奏者按档位选用不同的演奏难度。例如:分档为A、B、C、D等四档,A档触发时间应达到的标准为±0.25秒、B档触发时间应达到的标准为±0.5秒、C档触发时间应达到的标准为±1秒、D档触发时间应达到的标准为±1.5秒。演奏者可以通过自身的演奏水平和熟练程度选择不同的演奏难度档位进行演奏,例如某一时段音乐应播放的标准时段为第135-137秒,其对应所述简奏动作触发时间应达到的标准为第136±1秒,如果演奏者在第135-137秒期间完成简奏动作,则为合格;若选择触发时间应达到的标准为±0.25秒,则演奏者需要在136±0.25秒内完成所述简奏动作,难度较高;若选择触发时间应达到的标准为±0.5秒,则演奏者需要在136±0.5秒内完成所述简奏动作,难度适中;若选择触发时间应达到的标准±1.5秒,则演奏者需要在136±1.5秒内完成所述简奏动作,难度较低。通过设定档位的高低,可调节演奏难易程度,以满足不同熟练程度的用户需求。
优选的,在上述人工智能音乐简奏系统中,还包括与所述音乐播放模块电连接的显示模块,所述显示模块包括提示模块或/和视频屏幕;其中,所述提示模块用于显示音乐播放进度、以及所述简奏动作指令信号检测模块的监测结果;所述视频屏幕用于播放与音乐相应的视频,通过显示模块对进度的实时提醒和对演奏场景的现场播放,提示演奏者跟上节奏,及时完成相应简奏动作,增强临场体验感。
优选的,在上述人工智能音乐简奏系统中,所述简奏动作包括但不限于手势动作、挥动指挥棒的动作、打拍动作、摇动动作、舞蹈动作、武术动作、健身动作、哼唱动作、朗读动作、假奏动作、假唱动作、敲打动作、踏脚动作、按键触发动作、滑动动作等动作中的一种或多种;
其中,所述简奏动作泛指各种能够触发电信号和无线信号的手势和动作,包括但不限于现行音乐指挥手势、按下琴键的动作、打拍子、拍打信号开关、踩踏信号开关、假唱动作等能够触发电信号和无线信号并能够传达指令的动作中的一种或多种;
所述假唱动作泛指没有发出声音的歌唱动作,包括但不限于对口型、轻声歌唱、哼歌等没有直接发出声音的歌唱动作中的一种或多种,增强所述简奏动作的多样性。
优选的,将一首音乐划分为n个时段,每一时段音乐y关联至少一个简奏动作p,其中,每一时段音乐y的播放时长t的取值范围在0.25秒-15秒之间。这样一来,一首音乐就被划分成了n个时段(即音乐分段),每一时段音乐y关联一个简奏动作p,每一时段音乐y的播放时长t为15秒以内的任意值,可以是15秒、或10秒、或5秒、或3秒、或2秒、或1秒、或0.5秒,所述音乐运行模块获取所述简奏动作触发的指令信号,并播放与所述简奏动作p关联的那一时段音乐y,以此达到人不演奏即不播放,人若演奏就会播放(或曰演奏)的现象,通过连续不断的连贯标准的简奏动作达到流畅的音乐播放。
优选的,将每一首音乐划分为n个时段,每一时段音乐y关联至少一个简奏动作p,并将每一时段音乐y所关联的简奏动作p全部编排出来,编辑成简奏动作乐谱(例如:n1y1p1/n2y2p2/ n3y3p3/…nnynpn),以便人们照谱练习。换言之,一首音乐具有现行乐谱,也可以具有本发明新编的简奏动作乐谱,相比而言,采用本发明按照简奏动作乐谱演奏音乐、要比采用传统乐器按照现行乐谱演奏音乐更简易。
优选的,在上述人工智能音乐简奏系统中,所述音乐运行模块的播放过程至少包括以下内容之一:
①所述简奏动作指令信号处理模块(5)每收到一个所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放与所述简奏动作相关联的那一时段音乐;
②所述简奏动作指令信号处理模块(5)每收到歌词中的一个字/词关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放所述字/词所关联的那一时段音乐;
③所述简奏动作指令信号处理模块(5)每收到一个节拍关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放所述节拍所关联的那一时段音乐;
④所述简奏动作指令信号处理模块(5)每收到一个节拍关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放节拍所关联的那一时段的鼓点;
⑤当下一个简奏动作指令信号到达时,所述音乐运行模块(3)迅速结束播放上一个简奏动作指令信号所对应的那一时段音乐,并开始播放下一个简奏动作指令信号所对应的那一时段音乐;
⑥当下一个简奏动作指令信号未到达时,所述音乐运行模块(3)继续播放上一个简奏动作指令信号所对应的那一时段音乐的余音,以等待下一时段音乐的播出。
在音乐播放中,时间被分成均等的基本单位,每个单位叫做一拍,一拍可以为二分音符、四分音符、或八分音符,当音乐的规定速度为每分钟60拍时,每拍占用的时间是一秒,半拍是二分之一秒;当规定速度为每分钟120拍时,每拍的时间是半秒,半拍就是四分之一秒,优选设定每一时段音乐的播放时长等于一拍。
优选的,在上述人工智能音乐简奏系统中,所述简奏动作指令采集模块具体包括:指挥(手势)动作轨迹摄像识别模块、简奏动作轨迹感应识别模块、按键信息输入模块、开关信息输入模块、摇动传感信息采集输入模块、敲击声音信息采集输入模块和健身器材运动信息输入模块中的一种或多种,扩大所述简奏动作的采集形式,增加娱乐方式的多样性。
优选的,在上述人工智能音乐简奏系统中,所述指挥手势动作轨迹摄像识别模块为一种利用摄像头采集动作指令的摄像装置,通过所述摄像头直接捕捉所述指挥(手势)动作,简单快捷。
优选的,在上述人工智能音乐简奏系统中,所述指挥(手势)动作轨迹摄像识别模块还包括与所述摄像装置配用的发光指环、发光指套、发光手套、发光指挥棒中的一种或多种,更有利与所述摄像头通过光线采集所述指挥(手势)动作。
优选的,在上述人工智能音乐简奏系统中,所述简奏动作轨迹感应识别模块为一种无线指挥棒,所述无线指挥棒内部设置有加速度传感器、或三轴陀螺仪、或所述加速度传感器和所述三轴陀螺仪的结合,可以通过手势动作感应所述简奏动作。
优选的,在上述人工智能音乐简奏系统中,所述按键信息输入模块、所述开关信息输入模块、所述摇动传感信息采集输入模块、所述敲击声音信息采集输入模块和所述健身器材运动信息输入模块均用于触发简奏动作指令信号并传递至所述简奏动作指令信号处理模块,扩大简奏动作信号的输入形式,增强娱乐方式的多样性。
优选的,在上述人工智能音乐简奏系统中,所述干扰信号为与正在播放的音乐的旋律无关的声音信号,或影响音乐播放品质的其它信号,包括但不限于以下信号类型:与正在播放的音乐无关的音频信号、语言信号、杂音信号或敲击信号,多种不同的所述干扰信号,既增强了形式上的多样性,又增强了娱乐效果。
优选的,在上述人工智能音乐简奏系统中,将音乐存储模块、音乐运行模块、简奏动作指令采集模块、简奏动作指令信号处理模块等模块全部集成到智能手机里;利用智能手机及其摄像头作为简奏动作指令采集模块、或利用智能手机及其内置加速度传感器/三轴陀螺仪作为简奏动作指令采集模块、或利用(通过Wi-Fi或蓝牙功能与智能手机联通的)无线指挥棒等硬件作为简奏动作指令采集模块的配套部件。开发一款相应的APP软件便可实现简奏功能。
本发明还提供了(一种)人工智能音乐简奏系统的实现方法,其特征在于,包括以下具体步骤:
ⅰ、通过简奏动作指令采集模块(4)实时采集简奏动作所表达的指令,触发简奏动作指令信号;
ⅱ、将简奏动作指令信号输入简奏动作指令信号处理模块(5)进行检测处理,并依据(所述简奏动作指令信号的)触发时间的不同(例如太早、早、正好、晚、太晚等)生成不同的调控信号;
ⅲ、通过调控信号实时调控所述音乐运行模块(3),以使所播放的音乐实时受控于演奏者的简奏动作;具体调控措施包括对正在播放的音乐发出下列一种或多种调控信号:加快/放慢信号、停止/继续信号、音量加大/减小信号、警示/干扰信号。
本发明通过实时采集人体的简奏动作信号,经过简奏动作指令信号处理模块计算处理后,实现实时调控所播放的音乐、以及播放过程中的信号干预,达到操作简单、普及率高、体验性强的娱乐效果。
优选的,在上述人工智能音乐简奏系统的实现方法中,在步骤ⅱ中:触发时间的不同可分为不同的时间触发等级:按照与标准时间的误差值来划分为:太早/太晚>早/晚>正好,其中:正好等于零,早等于晚,太早等于太晚,
优选的,在上述人工智能音乐简奏系统的实现方法中,加快信号用于将音乐节拍和播放速度加快,放慢信号用于将音乐节拍和播放速度放慢;停止信号用于将音乐停止播放,继续信号用于将音乐继续播放;音量加大信号用于将音乐加大音量,音量减小信号用于将音乐减小音量,减小音量包括减小至静音状态;警示信号用于发出正常播出音乐以外的各种警示信号,干扰信号用于发出正常播出音乐以外的各种干扰信号。
优选的,在上述人工智能音乐简奏系统的实现方法中,在步骤ⅰ中:简奏动作指令采集模块具体包括:指挥(手势)动作轨迹摄像识别模块、简奏动作轨迹感应识别模块、按键信息输入模块、开关信息输入模块、摇动传感信息采集输入模块、敲击声音信息采集输入模块和健身器材运动信息输入模块等模块中的一种或多种,扩大简奏动作的采集形式,增加娱乐方式的多样性。
优选的,在上述人工智能音乐简奏系统的实现方法中,指挥(手势)动作轨迹摄像识别模块通过摄像头采集简奏动作指令信号,通过摄像头直接捕捉所述指挥(手势)动作,简单快捷。
优选的,在上述人工智能音乐简奏系统的实现方法中,简奏动作轨迹感应识别模块通过无线指挥棒传递感应简奏动作指令信号,无线指挥棒内部设置有加速度传感器、或三轴陀螺仪、或加速度传感器与三轴陀螺仪的结合。
优选的,在上述人工智能音乐简奏系统的实现方法中,按键信息输入模块、开关信息输入模块、摇动传感信息采集输入模块、敲击声音信息采集输入模块、健身器材运动信息输入模块均用于采集简奏动作指令信号并传递至简奏动作指令信号处理模块,扩大简奏动作信号的输入形式,增强娱乐方式的多样性。
优选的,在上述人工智能音乐简奏系统的实现方法中,简奏动作指令信号处理模块包括简奏动作指令信号检测模块,以及与简奏动作指令信号检测模块电连接的演奏难度档位选定模块;所述简奏动作指令信号检测模块用于检测简奏动作指令信号的触发时间;所述演奏难度档位选定模块用于将触发时间应达到的标准进行分档,以方便演奏者按档位选用不同的演奏难度。
优选的,若简奏动作触发时间、未超过演奏者选用档位应达到的标准,则简奏动作指令信号处理模块(5)命令音乐运行模块(3)正常播放音乐;若简奏动作触发时间、超过演奏者选用档位应达到的标准,则简奏动作指令信号处理模块(5)调控音乐运行模块(3)对所播放音乐进行相应干预。
优选的,将一首音乐划分为n个时段(最好每一节拍划分为一个时段),每一时段音乐y关联一个所述简奏动作p,每一时段音乐y的播放时长t的取值范围在0.25秒-15秒之间。这样一来,一首音乐就被划分成了n个时段(即音乐分段),每一时段音乐y关联一个简奏动作p,每一时段音乐y的播放时长为15秒以内的任意值,可以是15秒、或10秒、或5秒、或3秒、或2秒、或1秒、或0.25秒,简奏动作指令信号处理模块获取简奏动作指令信号,并播放与简奏动作关联的那一时段音乐y,以此达到人不演奏即不播放,人若演奏就会播放(或曰演奏)的现象,通过连续不断的连贯标准的简奏动作达到流畅的音乐播放。
优选的,将一首音乐划分为n个时段,每一时段音乐y关联至少一个简奏动作p,并将每一时段音乐y所关联的简奏动作p全部编排出来,编辑成简奏动作乐谱,以便人们照谱练习。换言之,一首音乐具有现行乐谱,也可以具有本发明新编的简奏动作乐谱,相比而言,采用本发明按照简奏动作乐谱演奏音乐、要比采用传统乐器按照现行乐谱演奏音乐更简易。
优选的,在上述人工智能音乐简奏系统的实现方法中,在步骤ⅲ中音乐运行模块的播放程序至少包括下列之一:
①所述简奏动作指令信号处理模块(5)每收到一个所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放与所述简奏动作相关联的那一时段音乐;
②所述简奏动作指令信号处理模块(5)每收到歌词中的一个字/词关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放所述字/词所关联的那一时段音乐;
③所述简奏动作指令信号处理模块(5)每收到一个节拍关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放所述节拍所关联的那一时段音乐;
④所述简奏动作指令信号处理模块(5)每收到一个节拍关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放节拍所关联的那一时段的鼓点;
⑤当下一个简奏动作指令信号到达时,所述音乐运行模块(3)迅速结束播放上一个简奏动作指令信号所对应的那一时段音乐,并开始播放下一个简奏动作指令信号所对应的那一时段音乐;
⑥当下一个简奏动作指令信号未到达时,所述音乐运行模块(3)继续播放上一个简奏动作指令信号所对应的那一时段音乐的余音,以等待下一时段音乐的播出。。
通过上述播放过程设定,增加所述简奏动作指令采集模块对所述简奏动作的采集范围,并进一步限定了难易程度,增强了用户的体验感。
优选的,在上述人工智能音乐简奏系统的实现方法中,还包括与音乐运行模块电连接的显示模块,显示模块包括提示模块和视频屏幕;其中,提示模块用于显示音乐播放进度、以及简奏动作指令信号检测模块的监测结果;视频屏幕用于播放与音乐相应的视频,通过显示模块对进度的实时提醒和对演奏场景的现场播放,提示演奏者跟上节奏,及时完成相应简奏动作,增强临场体验感。
优选的,在上述人工智能音乐简奏系统的实现方法中,所述简奏动作包括但不限于手势动作、挥动指挥棒的动作、打拍动作、摇动动作、舞蹈动作、武术动作、健身动作、哼唱动作、朗读动作、假奏动作、假唱动作、敲打动作、踏脚动作、按下动作、滑动动作、身体动作中的一种或多种,增强简奏动作的多样性。
本发明所述音乐(也称乐曲)是指由旋律、节奏、歌曲、乐器音响等声音所构成的一种艺术。音乐分为声乐和器乐两大类型,随着科技的发展,音乐已经和视频画面密切结合了,因此,本发明所述的音乐既包括视频中的音乐,还包括人们演唱的歌曲。
本发明所述的“简奏动作”泛指各种能够触发电信号的手势或动作,例如:现行音乐指挥手势、按下琴键的动作、打拍子、拍打信号开关、踩踏信号开关、假唱动作等能够触发电信号并能够传达指令的动作。广义来讲,现行音乐指挥手势、按下琴键的动作、打拍子、拍打信号开关、踩踏信号开关、假唱动作等动作都是一种泛意的演奏动作。
本发明所述假唱动作泛指没有播出声音的歌唱动作,例如:对口型、轻声歌唱、哼歌等没有直接播出声音的歌唱动作,俗称假唱动作。
本发明所述的“加快/放慢”“停止/继续”等词句中的斜杠“/”,表明其“/”前后是“或”的关系,特此解释。
本发明所述的“音乐播放模块播放音乐”包括用音乐播放器播放预先录制的音乐作品,也包括程序自动演奏的乐曲。
本发明所述的“音乐播放模块”泛指能够播出音乐声音(包括歌曲)的播放器,包括视频播放器等软/硬件。本发明所述的“音乐存储模块”泛指能够提供音乐数据的在线或离线存储单元,例如云端音乐数据存储单元。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了人工智能音乐简奏系统及实现方法,具有以下有益效果:
其一、通过采集人体的简奏动作信号,利用人工智能技术简化音乐演奏难度,使普通人易学易会,易于获得演奏音乐的主动共鸣艺术享受。
其二、指挥者可根据自己的指挥水平、选择不同的演奏难度档位进行指挥娱乐,易学易用。使得本来很难掌握的、只有指挥家才能掌握的指挥专业技巧,能够被普通人简单地学会与运用,操作简单、普及率高。
其三、拓宽简奏动作的范围和动作信号采集的方式,将音乐与体育、舞蹈、武术等领域结合,实现了音乐与体育、音乐与舞蹈、音乐与武术的完美统一,娱乐多样性强。换言之,本发明还开创性地将各种健身动作、舞蹈动作、武术动作等体育动作当作音乐简奏动作,并与音乐建立一定的关联对应关系,从而将一段段音乐与一个个身体动作绑定,开创了体育动作演奏音乐的新型艺术形式,也开创了舞蹈动作演奏音乐的新型艺术形式。尤其值得一提的是:从此枯燥无味的健身运动将可以转变成演奏音乐的趣味艺术活动。开创性地将体育健身与音乐艺术进行了有机结合,既实现了体育与音乐的完美统一,也实现了舞蹈与音乐的完美统一。注:现行音乐与体操之间,充其量音乐是体操的背景音乐,二者并没有有机地结合在一起。
其四、采用人工智能系统的图像识别、信号采集、信号处理和指令执行技术,智能化程度高,操作更简单。
其五、通过将正在播放的音乐划分为若干时段,每输入一个动作,即播放与该动作相关联的一时段音乐,简化了演奏动作,普及率高。
其六、通过设置演奏难度档位和时间难度档位,降低音乐演奏难度,即使在演奏过程中出现错误,也能通过对难度档位的不同设定实现演奏音乐的完整流畅,容错率高。
其七、开创新行业新领域:本发明能够代替人工乐队听命于用户的指挥进行演奏。换言之,本发明提供了一种可听命于用户指挥的机器人乐队,该机器人乐队可满足广大人民群众想当一名音乐指挥家的愿望。曾经的卡拉OK为用户提供了无人伴奏乐队,创造了乐队为用户伴奏的场景,满足了用户歌唱的表演愿望,但那是人配合乐队的娱乐活动。现今的本发明为用户提供了无人演奏乐队,创造了乐队为用户演奏的场景,满足了用户指挥乐队的表演愿望,这是乐队配合人的娱乐活动。
那个名为井上大佑的日本伴奏乐手1972年发明了“无人伴奏乐队(俗称卡拉OK机)”之后,卡拉OK风潮就席卷了整个亚洲,催生了每年万亿美元的卡拉OK产业——心理共鸣之艺术享受产业。据统计,卡拉OK行业仅2017年在中国就产生了800多亿元人民币GDP的消费市场。以此类推,本发明中的人指挥“非人电子乐队(也即所述机器人)”的娱乐方式(本发明权将其且命名为“卡拉指挥”或“卡拉AI”),也一样会席卷整个世界,催生每年万亿美元GDP的新型产业——主动共鸣之艺术享受产业。进一步而言,本发明形成了“耳朵听觉+眼睛视觉+身体动作”等三种体验并举的综合艺术体验系统,拓宽了主动共鸣的艺术领域。
其八、开创了广大人民群众(普通大众)指挥“非人电子乐队(也即本发明所述音乐指挥系统)”的先河;满足了广大人民群众(尤其是五音不全者)当“指挥家”等体验音乐艺术的美好向往。相比而言,“一种音乐指挥及音乐治疗系统(CN105963844A)”是属于音乐治疗技术领域的医疗设备,其仅仅是在利用特制的指挥棒、智能化地选配播放适合治疗病人的一些乐曲节目和歌曲节目,并没有对正在播放的同一首乐曲进行实时调控(指挥),并没有像指挥家指挥真人乐队那样指挥其系统加快、放慢、暂停、加大音量、减小音量、不指挥不演奏、一指挥就演奏。进一步分析可知,其系统的设计目的是采用音乐疗法给病人治病、不是让病人去进行艺术享受和娱乐,其系统的实现手段是用特制的“音乐指挥棒和脉搏传感器”自动感知病人的动作和“脉搏”等诊疗信息、再依据这些诊疗信息“从音乐数据库筛选出适合患者身体相协调的音乐和声道频率,使患者身临其境,达到更好的治疗效果”。进一步而言,其系统中用到的“指挥”二字的含义是自动遥控挑选乐曲节目,它不同于本发明所述的指挥和演奏。
其九、开创人工智能技术新的应用领域:采用人工智能技术采集识别简奏动作所表达的指令,是人工智能识别(简奏动作运动轨迹)图像技术新的应用领域,可促进我国人工智能行业的技术发展与商业应用。
其十、拓宽了演奏动作范围:本发明所述“简奏动作”是一种新型演奏动作。例如各种健身动作、舞蹈动作、娱乐动作、武术动作、键盘敲键动作、哑语动作、假唱动作、朗诵声音、哼唱声音等动作,均可当作演奏本发明这一新型乐器的演奏动作。进一步而言,本发明拓宽了演奏动作范围,将传统的吹拉弹唱等局限动作演奏方式,扩展成了手舞足蹈、敲敲打打、弹弹跳跳、甩甩手、踢踢腿等无限动作演奏方式。
其十一、简化了演奏动作:现行乐曲的演奏方法是演奏者将乐曲的全部音符、按乐谱规定的时间顺序、十分精确的一个个敲击(或其它等同动作)出来,从而使乐器震动发声以形成乐曲,其演奏动作特点是每一个音符敲击一下。而本发明的演奏方法是将正在播放的乐曲预先划分成许多段的小段音乐,由演奏者按乐曲的时序、大致准确的一段段地按照敲击动作指令播放出来,其演奏动作特点是每一时段音乐敲击一下。以邓丽君演唱佚名词曲的《路边的野花不要采》为例(参见图13中的乐谱),采用现行钢琴演奏它,至少需要十分精确的在规定的瞬间规定的琴键上,敲击186下琴键,而采用本发明演奏,若选择触发时间应达到的标准±1.5秒,则演奏者需要在±1.5秒内完成所述简奏动作p,难度较低,且只需在同一个按键上按照简奏动作乐谱(如图14)敲击75下(例如图14中每个p符号敲击一下),就可演奏出顺畅的《路边的野花不要采》乐曲。二者相比,现行演奏十分困难、本发明演奏非常容易。
换个角度看,所述《路边的野花不要采》钢琴曲的乐谱,本质上是186个敲击琴键的动作代码。这些动作代码以乐谱符号的形式记载了对每个动作的位置要求、时序要求、力度要求。本发明认为现行敲击琴键的演奏动作太难太专业,只有演奏家/音乐玩家等专业人士才能敲得好。因此,本发明才提出了把敲击琴键的高难演奏动作简化成各种简单简奏动作的设想,并通过容错设计、动作简化设计、播放与演奏相结合设计等技术创新,使得不太标准不太规范的一般简奏动作也能演奏出完美的音乐了。
其十二、开创了容错演奏的先河:一首完整的乐曲,使用现行乐器进行演奏,要求演奏动作100%准确,哪怕是只有一键按错了,听众也能发现,乐曲就不完美了。以邓丽君演唱佚名词曲的《路边的野花不要采》为例,采用现行钢琴演奏它,需要十分精确的在规定的瞬间规定的琴键上敲击186下琴键,哪怕是只有3-5个键按错了(即1%-3%的错误),听众也能发现,乐曲就不完美了。使用本发明进行演奏,演奏难度选定D档时,哪怕有40%的键触发时间不准,所演奏出的乐曲也一样完美。换言之,本发明就有很高的容错率,开创了容错演奏的先河。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种人工智能音乐简奏系统连接结构示意图。
图2附图为本发明提供的一种人工智能音乐简奏系统的工作流程图。
图3附图为本发明提供的一种简奏动作指令采集模块的子模块架构图。
图4附图为本发明提供的一种简奏动作指令采集模块的摄像头的结构示意图。
图5附图为本发明提供的一种简奏动作指令采集模块的发光指挥棒的结构示意图。
图6附图为本发明提供的一种简奏动作指令采集模块的发光手套的结构示意图。
图7附图为本发明提供的一种简奏动作指令采集模块的打拍按键的结构示意图。
图8附图为本发明提供的一种简奏动作指令采集模块的简易钢琴键盘的结构示意图。
图9附图为本发明提供的一种简奏动作指令采集模块的脚踏键盘的结构示意图。
图10附图为本发明提供的一种简奏动作指令采集模块的打鼓按键的结构示意图。
图11附图为本发明提供的一种简奏动作指令采集模块的动感单车和传感器的结构示意图。
图12附图为本发明提供的一种简奏动作指令采集模块的沙锤和传感器的结构示意图。
图13附图为歌曲《路边的野花不要采》的乐谱。
图14为图13中加入了触发动作p的简奏动作乐谱。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下、所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,本发明实施例公开了一种人工智能音乐简奏系统,包括音乐存储模块2,以及与音乐存储模块2电连接的音乐运行模块3,音乐存储模块2用于存储音乐数据,音乐运行模块3用于播放音乐,音乐运行模块3包括音乐播放模块31、或电连接的音乐播放模块31和音乐输出模块32;其特征在于:还包括简奏动作指令采集模块4,以及与简奏动作指令采集模块4依次电连接的简奏动作指令信号处理模块5和音乐运行模块3;
其中,简奏动作指令采集模块4用于实时采集演奏者的简奏动作所表达的指令,触发简奏动作指令信号;
其中,简奏动作指令信号处理模块5用于对简奏动作指令信号进行检测处理,包括检测简奏动作指令信号的触发时间、依据所述触发时间的不同生成不同的调控信号;
其中,调控信号用于实时调控音乐运行模块3,以使所播放的音乐实时受控于演奏者的简奏动作;调控信号包括下列信号中的一种或多种:加快/放慢信号、停止/继续信号、音量加大/减小信号、警示/干扰信号。
为了进一步优化上述技术方案,简奏动作指令信号处理模块5包括简奏动作指令信号检测模块51,以及与简奏动作指令信号检测模块51电连接的演奏难度档位选定模块52;简奏动作指令信号检测模块51用于检测简奏动作指令信号的触发时间、依据所述触发时间的不同生成不同的调控信号。
为了进一步优化上述技术方案,还包括与音乐播放模块31电连接的显示模块,显示模块包括提示模块和视频屏幕;其中,提示模块用于显示音乐播放进度、以及简奏动作指令信号检测模块51的监测结果;视频屏幕用于播放与音乐相应的视频。
为了进一步优化上述技术方案,简奏动作包括但不限于手势动作、挥动指挥棒的动作、打拍动作、摇动动作、舞蹈动作、武术动作、健身动作、哼唱动作、朗读动作、假奏动作、假唱动作、敲打动作、踏脚动作、按下动作、滑动动作、身体动作中的一种或多种。
为了进一步优化上述技术方案,音乐运行模块3的播放过程至少包括以下内容之一:
①将一首音乐划分为若干时段,在演奏难度档位值允许的时间内,简奏动作指令信号处理模块5每接收一个简奏动作指令信号后,传递至音乐运行模块3并相应播放与简奏动作相关联的那一时段音乐;
②当简奏动作指令采集模块4每采集到一个合格的简奏动作指令信号时,简奏动作指令信号处理模块5默许音乐运行模块3播放与简奏动作相关联的那一时段那一时段音乐;
③当简奏动作指令采集模块4每采集到歌词中的一个字/词所关联的简奏动作指令信号时,简奏动作指令信号处理模块5默许音乐运行模块3播放字/词所关联的那一时段音乐;
④当简奏动作指令采集模块4每采集到一个节拍所关联的简奏动作指令信号时,简奏动作指令信号处理模块5默许音乐运行模块3播放节拍所关联的那一时段音乐;
为了进一步优化上述技术方案,将一首音乐划分为n个时段,每一时段音乐关联至少一个简奏动作p,其中,每一时段音乐的播放时长t的取值范围在0.5秒-15秒之间。
参见图3,简奏动作指令采集模块4具体包括:简奏动作轨迹摄像识别模块41、简奏动作轨迹感应识别模块42、按键信息输入模块43、开关信息输入模块44、摇动传感信息采集输入模块45、敲击声音信息采集输入模块46和健身器材运动信息输入模块47等中的一种或多种。
为了进一步优化上述技术方案,简奏动作轨迹摄像识别模块41为一种利用摄像头采集动作指令的摄像装置。
为了进一步优化上述技术方案,简奏动作轨迹摄像识别模块41还包括与摄像装置配用的发光指环、发光指套、发光手套、发光指挥棒中的一种或多种。
为了进一步优化上述技术方案,简奏动作轨迹感应识别模块42为一种无线指挥棒,无线指挥棒内部设置有加速度传感器、或三轴陀螺仪、或加速度传感器、或三轴陀螺仪。
为了进一步优化上述技术方案,按键信息输入模块43、开关信息输入模块44、摇动传感信息采集输入模块45、敲击声音信息采集输入模块46和健身器材运动信息输入模块47均用于与人接触,触发信号并传递至简奏动作指令信号处理模块5。
为了进一步优化上述技术方案,干扰信号为与正在播放的音乐的旋律无关的声音信号,或影响音乐播放品质的其它信号,包括但不限于以下信号类型:与正在播放的音乐无关的音频信号、语言信号、杂音信号或敲击信号。
参见图2,本发明实施例公开了一种人工智能音乐简奏系统的实现方法,其特征在于,包括以下具体步骤:
ⅰ、通过简奏动作指令采集模块4采集简奏动作所表达的指令,触发简奏动作指令信号;
ⅱ、将简奏动作指令信号输入简奏动作指令信号处理模块5进行检测处理,包括检测简奏动作指令信号的触发时间、依据所述触发时间的不同生成不同的调控信号;
ⅲ、通过调控信号实时调控音乐运行模块3,以使所播放的音乐实时受控于演奏者的简奏动作;具体调控措施包括对正在播放的音乐发出下列一种或多种调控信号:加快/放慢信号、停止/继续信号、音量加大/减小信号、警示/干扰信号。
为了进一步优化上述技术方案,在步骤ⅰ中:简奏动作指令采集模块4具体包括:简奏动作轨迹摄像识别模块41、简奏动作轨迹感应识别模块42、按键信息输入模块43、开关信息输入模块44、摇动传感信息采集输入模块45、敲击声音信息采集输入模块46、健身器材运动信息输入模块47等其中的一种或多种。
为了进一步优化上述技术方案,简奏动作轨迹摄像识别模块41通过摄像头采集简奏动作指令信号。
为了进一步优化上述技术方案,简奏动作轨迹感应识别模块42通过无线指挥棒传递感应简奏动作指令信号,无线指挥棒内部设置有加速度传感器、或三轴陀螺仪、或加速度传感器和三轴陀螺仪的结合。
为了进一步优化上述技术方案,按键信息输入模块43、开关信息输入模块44、摇动传感信息采集输入模块45、敲击声音信息采集输入模块46、健身器材运动信息输入模块47通过与人接触,触发信号并传递至简奏动作指令信号处理模块5。
为了进一步优化上述技术方案,在步骤ⅱ中:简奏动作指令信号处理模块5包括简奏动作指令信号检测模块51,以及与简奏动作指令信号检测模块51电连接的演奏难度档位选定模块52;简奏动作指令信号检测模块51用于检测简奏动作指令信号触发时间、依据所述触发时间的不同生成不同的调控信号;所述演奏难度档位选定模块52用于将触发时间应达到的标准进行分档,以方便演奏者按档位选用不同的演奏难度。例如:分档为A、B、C、D等四档,A档触发时间应达到的标准为±秒、B档触发时间应达到的标准为±0.5秒、C档触发时间应达到的标准为±1秒、D档触发时间应达到的标准为±1.5秒。演奏者可以通过自身的演奏水平和熟练程度选择不同的演奏难度档位进行演奏,例如某一时段音乐应播放的标准时段为第135-137秒,其对应所述简奏动作触发时间应达到的标准为第136±1秒,如果演奏者在第135-137秒期间完成简奏动作,则为合格;若选择触发时间应达到的标准为136±0.25秒,则演奏者需要在136±0.25秒内完成所述简奏动作,难度较高;若选择触发时间应达到的标准为136±0.5秒,则演奏者需要在136±0.5秒内完成所述简奏动作,难度适中;若选择触发时间应达到的标准136±1.5秒,则演奏者需要在136±1.5秒内完成所述简奏动作,难度较低。通过设定档位的高低,可调节演奏难易程度,以满足不同熟练程度的用户需求。。
为了进一步优化上述技术方案,在步骤ⅲ中:若识别处理结果合格,则简奏动作指令信号处理模块5命令音乐运行模块3播放音乐;若识别处理结果不合格,则简奏动作指令信号处理模块5命令音乐运行模块3干预所播放的音乐。
为了进一步优化上述技术方案,将一首音乐划分为n个时段(最好每一节拍划分为一个时段),每一时段音乐y关联至少一个简奏动作p,每一时段音乐y的播放时长t的取值范围在0.5秒-15秒之间,并将每一时段音乐y所关联的简奏动作按照时间顺序全部编排成简奏动作乐谱,例如:np/np/np/···np
为了进一步优化上述技术方案,在步骤ⅲ中音乐运行模块3的播放程序至少包括下列之一:
当简奏动作指令采集模块4每采集到一个合格的简奏动作指令信号时,简奏动作指令信号处理模块5默许播放与简奏动作相关联的那一时段音乐。
当简奏动作指令采集模块4每采集到歌词中的一个字/词所关联的简奏动作时,简奏动作指令信号处理模块5默许播放该字/词所关联的那一时段音乐。
当简奏动作指令采集模块4每采集到一个节拍所关联的简奏动作时,简奏动作指令信号处理模块5默许播放该节拍所关联的那一时段音乐。
当下一个简奏动作指令信号到达时,迅速结束播放上一个简奏动作指令信号对应的一时段音乐,并开始播放下一个简奏动作指令信号所对应的那一时段音乐。
当下一个简奏动作指令信号未到达时,继续播放上一个简奏动作指令信号对应的一时段音乐的余音,等待下一时段音乐的播出。
为了进一步优化上述技术方案,还包括与音乐运行模块3电连接的显示模块,显示模块包括提示模块和视频屏幕;其中,提示模块用于显示音乐播放进度、以及简奏动作指令信号检测模块51的监测结果;视频屏幕用于播放与音乐相应的视频。
实施例一:
参见图1,音乐存储模块2、音乐播放模块31和音乐输出模块32依次电连接;简奏动作指令采集模块4、简奏动作指令信号检测模块51、演奏难度档位选定模块52与音乐播放模块31依次电连接。
音乐存储模块2用于存储在线音乐数据或云端音乐数据,包括但不限于硬盘、光盘、或U盘,音乐播放模块31为音乐播放器,音乐输出模块32为功放器和扬声器,音乐播放模块31通过读取音乐存储模块2的音乐数据,并通过音乐输出模块32扩音播放。
音乐播放模块31将一首音乐划分为若干时段,即为音乐分段,每一时段音乐关联一个简奏动作,每一时段音乐的播放时长为15秒以内的任意值,可以是15秒、或10秒、或5秒、或3秒、或2秒、或1秒、或0.5秒。
参见图4至图6,简奏动作指令采集模块4为简奏动作轨迹摄像识别模块41,用于采集简奏动作指令信息,包括摄像头、或智能手机摄像头,还包括与摄像头相匹配的红外发光指挥棒、发光手套、红外发光指环,摄像头可以采集人体的简奏动作,或红外发光指挥棒、发光手套、红外发光指环的运动轨迹,每个简奏动作或运动轨迹相对应每一时段音乐,完成该动作或指挥轨迹,音乐播放模块31即播放与其相应的一时段音乐。
当简奏动作在时间难度值范围内输入时,简奏动作指令信号处理模块5即默许音乐播放模块31播放与其关联的一时段音乐,若简奏动作不再难度值范围内,简奏动作指令信号处理模块5发出加快/放慢信号、停止/继续信号、音量加大/减小信号、警示/干扰信号中的一种或多种至音乐播放模块31,影响音乐播放效果。
实施例二:
将实施例一中的简奏动作指令采集模块4替换为简奏动作轨迹感应识别模块42,简奏动作轨迹感应识别模块42可以为带有加速度传感器、或三轴陀螺仪的指挥棒,通过将感应信号输入音乐播放模块31,进行音乐的播放。
实施例三:
将实施例一中简奏动作指令采集模块4替换为按键信息输入模块43、开关信息输入模块44、摇动传感信息采集输入模块45、敲击声音信息采集输入模块46和健身器材运动信息输入模块47中的一种或多种:
其中,参加图7至图9,按键信息输入模块43为一种与简奏动作指令信号处理模块电连接的拍打按键、钢琴键盘和脚踏键盘;
开关信息输入模块44为一种与简奏动作指令信号处理模块电连接的开关按钮;
摇动传感信息采集输入模块45为一种与简奏动作指令信号处理模块无线连接的手机摇动感应系统;
参见图10和图12,敲击声音信息采集输入模块46为一种与简奏动作指令信号处理模块电连接的打鼓按键和沙锤;
参见图11,健身器材运动信息输入模块47为一种与简奏动作指令信号处理模块5电连接的动感单车或其他运动器材。
通过将采集到的简奏动作指令信号输入音乐播放模块31,进行音乐的播放。
实施例四:
参见图1和图8,将音乐存储模块2、音乐运行模块3、简奏动作指令采集模块4、简奏动作指令信号处理模块5设置于电子琴产品上,即实现一种具有难度档位设定、可以允许错误率的电子琴产品,即使在弹奏过程中出现弹奏错误的现象,只要触发时间一直保持在演奏难度选定的档位范围以内,即能保证弹奏音乐的完整流畅。
实施例五:
参见图1,将音乐存储模块2、音乐运行模块3、简奏动作指令采集模块4、简奏动作指令信号处理模块5设置于架子鼓上,即实现一种具有难度档位设定、可以允许错误率的架子鼓产品,即使在敲击过程中出现敲击错误的现象,只要触发时间一直保持在演奏难度选定的档位范围以内,即能保证敲击音乐的完整流畅。
实施例六:
参见图1、图2,将音乐存储模块2、音乐运行模块3、简奏动作指令采集模块4、简奏动作指令信号处理模块5等功能集成到智能手机里,利用现行手机智能的相机镜头作为简奏动作指令采集模块4的摄像头,开发一款相应的APP也可实现简奏功能。
可取的是,设计一款蓝牙无线指挥棒,内部设置加速度传感器、或三轴陀螺仪、或所述加速度传感器和所述三轴陀螺仪的结合,用之作为简奏动作指令采集模块4的一部分,以将所感应到的简奏动作指令信号发送到智能手机上。
当然,还可以利用智能手机自带的陀螺仪传感器作为简奏动作指令采集模块4的一部分,直接采集简奏动作指令信号。
实施例七:
以邓丽君演唱佚名词曲的《路边的野花不要采》为例(参见图13中的现行乐谱),采用现行钢琴演奏它,至少需要十分精确的在规定的瞬间规定的琴键上,熟练地敲击186下琴键。
如图14所示,采用本发明演奏,可事先将整首乐曲拆封成94个时段音乐y,每一时段对应一个敲击动作p,当演奏者每敲击一个动作p时,例如拍打图7中的按键时,就会触发一个简奏动作指令信号,经简奏动作指令信号处理模块5检测处理后,就会发出相应调控信号指令音乐运行模块3播放对应的那个时段音乐y,如此往复,可演奏完整首乐曲。
若演奏难度选择D档,即触发时间应达到的标准为±1.5秒,则演奏者需要在规定的瞬间±1.5秒内完成所述简奏动作p即可,难度就非常低。且只需在同一个按键(例如图7中的按键)上按照简奏动作乐谱(如图14)敲击75下(例如图14中每个p符号敲击一下),就可演奏出顺畅的《路边的野花不要采》钢琴曲。
二者相比,采用现行钢琴演奏十分困难、采用本发明系统演奏就非常容易。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (21)

1.人工智能音乐简奏系统,包括音乐存储模块(2),以及与所述音乐存储模块(2)电连接的音乐运行模块(3),所述音乐存储模块(2)用于存储音乐数据,所述音乐运行模块(3)用于播放音乐,所述音乐运行模块(3)包括音乐播放模块(31)、或电连接的音乐播放模块(31)和音乐输出模块(32);其特征在于:还包括简奏动作指令采集模块(4),以及与所述简奏动作指令采集模块(4)依次电连接的简奏动作指令信号处理模块(5)和所述音乐运行模块(3);
其中,所述简奏动作指令采集模块(4)用于实时采集演奏者的简奏动作所表达的指令,触发简奏动作指令信号;
所述简奏动作指令信号处理模块(5)用于对所述简奏动作指令信号进行检测处理,包括检测简奏动作指令信号的触发时间、依据所述触发时间的不同生成不同的调控信号;
所述调控信号用于实时调控所述音乐运行模块(3),以使所播放的音乐实时受控于演奏者的简奏动作;所述调控信号包括下列一种或多种:加快/放慢信号、停止/继续信号、音量加大/减小信号、警示/干扰信号。
2.根据权利要求1所述的人工智能音乐简奏系统,其特征在于:所述简奏动作指令信号处理模块(5)包括简奏动作指令信号检测模块(51),以及与所述简奏动作指令信号检测模块(51)电连接的演奏难度档位选定模块(52);所述简奏动作指令信号检测模块(51)用于检测简奏动作指令信号的触发时间;所述演奏难度档位选定模块(52)用于将触发时间应达到的标准进行分档,以方便演奏者按档位选用不同的演奏难度。
3.根据权利要求2所述的人工智能音乐简奏系统,其特征在于:还包括与所述音乐播放模块(31)电连接的显示模块,所述显示模块包括提示模块或/和视频屏幕;其中,所述提示模块用于显示音乐播放进度、以及所述简奏动作指令信号检测模块(51)的检测结果;所述视频屏幕用于播放与音乐相应的视频。
4.根据权利要求1或2或3所述的人工智能音乐简奏系统,其特征在于:所述简奏动作包括但不限于音乐指挥动作、挥动指挥棒的动作、打拍动作、摇动动作、舞蹈动作、武术动作、健身动作、哼唱动作、朗读动作、假奏动作、假唱动作、敲打动作、踏脚动作、按键触发动作、滑动动作的一种或多种的结合。
5.根据权利要求4所述的人工智能音乐简奏系统,其特征在于:将一首音乐划分为n个时段,每一时段音乐y关联至少一个简奏动作p,其中,每一时段音乐y的播放时长t的取值范围在0.25秒-15秒之间。
6.根据权利要求5所述的人工智能音乐简奏系统,其特征在于:所述音乐运行模块(3)的播放过程至少包括以下之一:
①所述简奏动作指令信号处理模块(5)每接收一个所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放与所述简奏动作相关联的那一时段音乐;
②所述简奏动作指令信号处理模块(5)每接收到歌词中的一个字/词关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放所述字/词所关联的那一时段音乐;
③所述简奏动作指令信号处理模块(5)每接收到一个节拍关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放所述节拍所关联的那一时段音乐;
④所述简奏动作指令信号处理模块(5)每接收到一个节拍关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放节拍所关联的那一时段的鼓点;
⑤当下一个简奏动作指令信号到达时,所述音乐运行模块(3)迅速结束播放上一个简奏动作指令信号所对应的那一时段音乐,并开始播放下一个简奏动作指令信号所对应的那一时段音乐;
⑥当下一个简奏动作指令信号未到达时,所述音乐运行模块(3)继续播放上一个简奏动作指令信号所对应的那一时段音乐的余音,以等待下一时段音乐的播出。
7.根据权利要求1或2或3所述的一种人工智能音乐简奏系统,其特征在于,所述简奏动作指令采集模块(4)具体包括下列一种或多种:指挥动作轨迹摄像识别模块(41)、简奏动作轨迹感应识别模块(42)、按键信息输入模块(43)、开关信息输入模块(44)、摇动传感信息采集输入模块(45)、敲击声音信息采集输入模块(46)、健身器材运动信息输入模块(47)。
8.根据权利要求7所述的人工智能音乐简奏系统,其特征在于包括以下之一:
①所述指挥动作轨迹摄像识别模块(41)还包括与所述摄像装置配用的发光指环、发光指套、发光手套、发光指挥棒中的一种或多种;
②所述简奏动作轨迹感应识别模块(42)为一种无线指挥棒,所述无线指挥棒内部设置有加速度传感器、或三轴陀螺仪、或所述加速度传感器和所述三轴陀螺仪的结合;
③所述按键信息输入模块(43)、所述开关信息输入模块(44)、所述摇动传感信息采集输入模块(45)、所述敲击声音信息采集输入模块(46)和所述健身器材运动信息输入模块(47)均用于触发简奏动作指令信号并传递至所述简奏动作指令信号处理模块(5)。
9.根据权利要求1或2或3所述的人工智能音乐简奏系统,其特征在于:所述干扰信号为与正在播放的音乐的旋律无关的声音信号,或影响音乐播放品质的其它信号,包括但不限于以下信号类型:与正在播放的音乐无关的音频信号、语言信号、杂音信号或敲击信号。
10.根据权利要求5所述的人工智能音乐简奏系统,其特征在于:将一首音乐划分为n个时段,每一时段音乐y关联至少一个简奏动作p,并将每一时段音乐y所关联的简奏动作按照时间顺序全部编排成简奏动作乐谱。
11.根据权利要求2或5所述的人工智能音乐简奏系统,其特征在于:将音乐存储模块(2)、音乐运行模块(3)、简奏动作指令采集模块(4)和简奏动作指令信号处理模块(5)集成到智能手机里;利用智能手机及其摄像头作为简奏动作指令采集模块(4)、或利用智能手机及其内置加速度传感器/三轴陀螺仪作为简奏动作指令采集模块(4)、或利用无线指挥棒作为简奏动作指令采集模块(4)的配套部件。
12.人工智能音乐简奏系统的实现方法,其特征在于,包括以下具体步骤:
ⅰ、通过简奏动作指令采集模块(4)实时采集简奏动作所表达的指令,触发简奏动作指令信号;
ⅱ、将简奏动作指令信号输入简奏动作指令信号处理模块(5)进行检测处理,并依据触发时间的不同生成不同的调控信号;
ⅲ、通过调控信号实时调控所述音乐运行模块(3),以使所播放的音乐实时受控于演奏者的简奏动作;具体调控措施包括对正在播放的音乐发出下列一种或多种调控信号:加快/放慢信号、停止/继续信号、音量加大/减小信号、警示/干扰信号。
13.根据权利要求12所述的人工智能音乐简奏系统的实现方法,其特征在于在步骤ⅰ中,简奏动作指令采集模块(4)具体包括下列一种或多种:指挥动作轨迹摄像识别模块(41)、简奏动作轨迹感应识别模块(42)、按键信息输入模块(43)、开关信息输入模块(44)、摇动传感信息采集输入模块(45)、敲击声音信息采集输入模块(46)、健身器材运动信息输入模块(47)。
14.根据权利要求13所述的人工智能音乐简奏系统的实现方法,其特征在于:所述简奏动作轨迹感应识别模块(42)通过无线指挥棒传递感应简奏动作指令信号,无线指挥棒内部设置有加速度传感器、或三轴陀螺仪、或加速度传感器与三轴陀螺仪的结合。
15.根据权利要求13所述的人工智能音乐简奏系统的实现方法,其特征在于:按键信息输入模块(43)、开关信息输入模块(44)、摇动传感信息采集输入模块(45)、敲击声音信息采集输入模块(46)、健身器材运动信息输入模块(47)均用于触发简奏动作指令信号并传递至简奏动作指令信号处理模块(5)。
16.根据权利要求12所述的人工智能音乐简奏系统的实现方法,其特征在于:简奏动作指令信号处理模块(5)包括简奏动作指令信号检测模块(51),以及与简奏动作指令信号检测模块(51)电连接的演奏难度档位选定模块(52);所述简奏动作指令信号检测模块(51)用于检测简奏动作指令信号的触发时间;所述演奏难度档位选定模块(52)用于将触发时间应达到的标准进行分档,以方便演奏者按档位选用不同的演奏难度。
17.根据权利要求16所述的人工智能音乐简奏系统的实现方法,其特征在于:若简奏动作触发时间、未超过演奏者选用档位应达到的标准,则简奏动作指令信号处理模块(5)命令音乐运行模块(3)正常播放音乐;若简奏动作触发时间、超过演奏者选用档位应达到的标准,则简奏动作指令信号处理模块(5)调控音乐运行模块(3)对所播放音乐进行相应干预。
18.根据权利要求12所述的人工智能音乐简奏系统的实现方法,其特征在于:将一首音乐划分为n个时段,每一时段音乐y关联至少一个简奏动作p,每一时段音乐y的播放时长t的取值范围在0.25秒-15秒之间。
19.根据权利要求12或18所述的人工智能音乐简奏系统的实现方法,其特征在于在步骤ⅲ中,音乐运行模块(3)的播放过程至少包括下列之一:
①所述简奏动作指令信号处理模块(5)每收到一个所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放与所述简奏动作相关联的那一时段音乐;
②所述简奏动作指令信号处理模块(5)每收到歌词中的一个字/词关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放所述字/词所关联的那一时段音乐;
③所述简奏动作指令信号处理模块(5)每收到一个节拍关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放所述节拍所关联的那一时段音乐;
④所述简奏动作指令信号处理模块(5)每收到一个节拍关联的所述简奏动作指令信号时,便调控所述音乐运行模块(3)播放节拍所关联的那一时段的鼓点;
⑤当下一个简奏动作指令信号到达时,所述音乐运行模块(3)迅速结束播放上一个简奏动作指令信号所对应的那一时段音乐,并开始播放下一个简奏动作指令信号所对应的那一时段音乐;
⑥当下一个简奏动作指令信号未到达时,所述音乐运行模块(3)继续播放上一个简奏动作指令信号所对应的那一时段音乐的余音,以等待下一时段音乐的播出。
20.根据权利要求12或18所述的人工智能音乐简奏系统的实现方法,其特征在于:还包括与音乐运行模块(3)电连接的显示模块,显示模块包括提示模块或/和视频屏幕;其中,提示模块用于显示音乐播放进度、以及简奏动作指令信号检测模块(51)的检测结果;视频屏幕用于播放与音乐相应的视频。
21.根据权利要求18所述的人工智能音乐简奏系统的实现方法,其特征在于:将一首音乐划分为n个时段,每一时段音乐y关联至少一个简奏动作p,并将每一时段音乐y所关联的简奏动作p全部编排出来,编辑成简奏动作乐谱。
CN201810799594.5A 2018-05-14 2018-07-19 人工智能音乐简奏系统及实现方法 Pending CN108877754A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
CN2018104547241 2018-05-14
CN201810454724 2018-05-14
CN201810480182 2018-05-18
CN2018104801825 2018-05-18
CN2018105186927 2018-05-25
CN201810518692 2018-05-25
CN2018107862996 2018-07-17
CN201810786299 2018-07-17

Publications (1)

Publication Number Publication Date
CN108877754A true CN108877754A (zh) 2018-11-23

Family

ID=64303539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810799594.5A Pending CN108877754A (zh) 2018-05-14 2018-07-19 人工智能音乐简奏系统及实现方法

Country Status (1)

Country Link
CN (1) CN108877754A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767670A (zh) * 2019-03-15 2019-05-17 河南理工大学 一种vr的音乐指挥训练系统
CN114527869A (zh) * 2021-12-30 2022-05-24 中国航空工业集团公司沈阳飞机设计研究所 一种自主转运手势引导识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1215619A (zh) * 1997-09-17 1999-05-05 科乐美股份有限公司 带音乐功能的游戏机及其演奏操作指令系统和存储装置
JP2001215963A (ja) * 2000-02-02 2001-08-10 Global A Entertainment Inc 音楽演奏装置、音楽演奏ゲーム装置及び記録媒体
JP2002207483A (ja) * 2001-01-12 2002-07-26 Yamaha Corp 演奏テンポ制御装置および記憶媒体
JP2009247503A (ja) * 2008-04-03 2009-10-29 Namco Bandai Games Inc プログラム、情報記憶媒体、及びゲームシステム
CN202034025U (zh) * 2011-01-28 2011-11-09 德信互动科技(北京)有限公司 架子鼓指挥系统和音乐终端
CN202121661U (zh) * 2011-01-28 2012-01-18 德信互动科技(北京)有限公司 音乐指挥系统和音乐终端
CN202446826U (zh) * 2011-12-21 2012-09-26 汕头市锦兴塑胶有限公司 一种玩具音乐台
CN105786162A (zh) * 2014-12-15 2016-07-20 上海贝尔股份有限公司 一种用于进行虚拟演奏指挥的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1215619A (zh) * 1997-09-17 1999-05-05 科乐美股份有限公司 带音乐功能的游戏机及其演奏操作指令系统和存储装置
JP2001215963A (ja) * 2000-02-02 2001-08-10 Global A Entertainment Inc 音楽演奏装置、音楽演奏ゲーム装置及び記録媒体
JP2002207483A (ja) * 2001-01-12 2002-07-26 Yamaha Corp 演奏テンポ制御装置および記憶媒体
JP2009247503A (ja) * 2008-04-03 2009-10-29 Namco Bandai Games Inc プログラム、情報記憶媒体、及びゲームシステム
CN202034025U (zh) * 2011-01-28 2011-11-09 德信互动科技(北京)有限公司 架子鼓指挥系统和音乐终端
CN202121661U (zh) * 2011-01-28 2012-01-18 德信互动科技(北京)有限公司 音乐指挥系统和音乐终端
CN202446826U (zh) * 2011-12-21 2012-09-26 汕头市锦兴塑胶有限公司 一种玩具音乐台
CN105786162A (zh) * 2014-12-15 2016-07-20 上海贝尔股份有限公司 一种用于进行虚拟演奏指挥的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767670A (zh) * 2019-03-15 2019-05-17 河南理工大学 一种vr的音乐指挥训练系统
CN114527869A (zh) * 2021-12-30 2022-05-24 中国航空工业集团公司沈阳飞机设计研究所 一种自主转运手势引导识别方法及装置

Similar Documents

Publication Publication Date Title
JP4307193B2 (ja) プログラム、情報記憶媒体、及びゲームシステム
US6541692B2 (en) Dynamically adjustable network enabled method for playing along with music
US7893337B2 (en) System and method for learning music in a computer game
US7164076B2 (en) System and method for synchronizing a live musical performance with a reference performance
US20050255914A1 (en) In-game interface with performance feedback
US20080250914A1 (en) System, method and software for detecting signals generated by one or more sensors and translating those signals into auditory, visual or kinesthetic expression
WO2009007512A1 (en) A gesture-controlled music synthesis system
JP4496993B2 (ja) 楽音制御装置
CN108877754A (zh) 人工智能音乐简奏系统及实现方法
JP2006259471A (ja) 歌唱練習システムおよび歌唱練習システム用プログラム
JP4622682B2 (ja) 電子楽器
Harrison Actor-musicianship
JP2001350474A (ja) 時系列データの読出制御装置、演奏制御装置および映像再生制御装置
Soto-Morettini Popular singing: A practical guide to: Pop, jazz, blues, rock, country and gospel
JP2006031041A (ja) フレーズごとに出力される採点データに基づいて採点画像を逐次変化させるカラオケ装置
JP3727566B2 (ja) 複数種類の音楽要素の各採点データを合成した複数種類の得点を出力するカラオケ装置
JP2006251376A (ja) 楽音制御装置
JP2008207001A (ja) 音楽ゲーム装置及び方法並びに記憶媒体
TW201336565A (zh) 應用於伴唱之節奏遊戲系統及其裝置
JP4605295B2 (ja) カラオケ装置
KR20090085005A (ko) 자동음정 기타
Mahinka The Musicality of Salsa Dancers: An Ethnographic Study
Simpson-Litke Flipped, broken, and paused clave: Dancing through metric ambiguities in salsa music
Délécraz Scoring the Original Soundtrack of an Escape Room: Electronic Dance Music Influences in Nobody–Vis et ressens
Weinberg Local Performance Networks: musical interdependency through gestures and controllers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123