CN105976801A - 基于用户实时动作输入的纯音乐自动生成方法 - Google Patents

基于用户实时动作输入的纯音乐自动生成方法 Download PDF

Info

Publication number
CN105976801A
CN105976801A CN201610253688.3A CN201610253688A CN105976801A CN 105976801 A CN105976801 A CN 105976801A CN 201610253688 A CN201610253688 A CN 201610253688A CN 105976801 A CN105976801 A CN 105976801A
Authority
CN
China
Prior art keywords
user
music
riff
real
generation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610253688.3A
Other languages
English (en)
Inventor
汤影
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tuya Technology Co Ltd
Original Assignee
Chengdu Tuya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tuya Technology Co Ltd filed Critical Chengdu Tuya Technology Co Ltd
Priority to CN201610253688.3A priority Critical patent/CN105976801A/zh
Publication of CN105976801A publication Critical patent/CN105976801A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/141—Riff, i.e. improvisation, e.g. repeated motif or phrase, automatically added to a piece, e.g. in real time

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种基于用户实时动作输入的纯音乐自动生成方法，包括以下步骤：S1.检测用户在移动终端上的操作；S2.根据用户在移动终端上的操作从素材库中筛选出备选Riff；S3.向备选Riff加入效果器；S4.输出纯音乐。本发明通过检测用户在移动终端上的操作，根据操作类型和频率选取相应的Riff，然后将Riff合成完成的纯音乐进行输出，通过机器学习等技术的帮助，使得普通大众能够参与到音乐制作、交互这种专业活动中创造属于自己的音乐，在此过程中用户只需摇动移动终端或在移动终端上划屏，即可自动生成相应的纯音乐。

Description

基于用户实时动作输入的纯音乐自动生成方法
技术领域
本发明涉及音乐制作技术领域，特别是涉及一种基于用户实时动作输入的纯音乐自动生成方法。
背景技术
回顾音乐的发展史，音乐的创作和交互方式从未发生过大的变化。在人类文明高度发展的今天，传统上音乐首先被专业人士创作出来，进而以磁带、CD、电台或互联网音频流等形式进入大众耳朵。现场演出会可能发生的部分即兴改编，或类似于“音乐背后的创作故事”等对话交流，音乐从被创作出来，直至在大众中传播之整个过程几乎不存在任何变化。同时，音乐本身和听众之间的交互也仅停留于“你写我听”的层面。由于听众类型、情绪、喜好等外在因素和音乐本身之间缺少感应传输媒介，音乐也无法随外界输入变化而变化。
近年来，在机器学习技术以及音频算法等前沿科技的驱动下，出现了PC端的音乐工作站及各类插件 (如Cubase，Protool，Ablton Live等)。Ablton Live的最新版本已支持音频文件的变速不变调以及分片操作。由于音频工作站专注于录音，缩混及后期制作，其使用局限于录音师、编曲、作曲等专业人士，其距离普通大众还很遥远。另外，音频工作站只负责提供“使用工具”，而无法胜任“创作工具”的角色。作为一种传递“人的想法”的媒介，音频工作站在人的指挥下，把人的想法落实到音乐上，把已经存在的demo加工成高品质歌曲(前提是编曲人员需要有完整的编曲思路，而音频工作站本身无法提供这种思路)。层出不穷的高质量插件(提供混响均衡等特殊音频处理)在效果上已经接近于硬件，这使得音频工作站的能力如虎添翼，然而迄今为止所有的音频工作站都无法实现“音乐自动生成”或交“互式音乐生成”。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于用户实时动作输入的纯音乐自动生成方法，通过检测用户对移动终端的操作，自动生成纯音乐。
本发明的目的是通过以下技术方案来实现的：基于用户实时动作输入的纯音乐自动生成方法，包括以下步骤：
S1.检测用户在移动终端上的操作；
S2.根据用户在移动终端上的操作从素材库中筛选出备选Riff；
S3.向备选Riff加入效果器；
S4.输出纯音乐。
所述步骤S1中用户在移动终端上的操作的类型包括用户摇动移动终端和用户在移动终端上进行划屏。
所述步骤S2中根据用户在移动终端上的操作筛选出备选Riff的方式为：根据用户在移动终端上的操作的方向、频率和力度从素材库中选出Riff。
所述步骤S2之前还包括建立素材库，并标注素材库中Riff的属性的步骤。
所述步骤S3中效果器包括混响效果器、镶边效果器、延迟效果器和回声效果器。
所述步骤S4之后还包括将说唱音乐分享到社交媒体的步骤。
本发明的有益效果是：本发明通过检测用户在移动终端上的操作，根据操作类型和频率选取相应的Riff，然后将Riff合成完成的纯音乐进行输出，通过机器学习等技术的帮助，使得普通大众能够参与到音乐制作、交互这种专业活动中创造属于自己的音乐，在此过程中用户只需摇动移动终端或在移动终端上划屏，即可自动生成相应的纯音乐。
附图说明
图1为本发明基于用户实时动作输入的纯音乐自动生成方法的流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，基于用户实时动作输入的纯音乐自动生成方法，包括以下步骤：
S1.检测用户在移动终端上的操作；
所述步骤S1中用户在移动终端上的操作的类型包括用户摇动移动终端和用户在移动终端上进行划屏。所述移动终端为手机，即检测用户在上下左右等方向上摇动手机的动作和摇动手机的频率，或是检测用户在上下左右等方向上划手机屏和划手机屏的频率。
所述移动终端内部设有方向传感器、加速度传感器、地磁传感器、压力传感器，以及温度传感器。
S2.根据用户在移动终端上的操作从素材库中筛选出备选Riff（即粗筛）。根据步骤S1中检测到的操作实时控制（或离线修改）音乐的速度、节奏、调性选择等音乐在整体上的组成要素，也用于控制音乐如何实时发展等在局部方面的特性(诸如副歌的开始和结束，高潮的启停，重复，持续时长，特殊效果器的实时启停等)。
在筛选备选Riff的过程中，根据用户摇动手机的方向、摇动手机、摇动手机的力度等的频率进行备选Riff的筛选，或是根据用户划屏的方向、划屏的频率、划屏的力度等进行备选Riff的筛选。即用户的操作的不同特征对应音乐不同的组成要素，例如，用户摇动手机的速度对应音乐的速度、用户摇动手机的力度对应音乐的节奏、用户摇动手机的方向对应音乐的调性，用户划屏的方向对应音乐的调性、用户划屏的频率对应音乐的速度、用户划屏的力度对应音乐的节奏。而Riff的属性中包括了该Riff的节奏、速度和调性。
所述步骤S2中根据用户在移动终端上的操作筛选出备选Riff的方式为：根据用户在移动终端上的操作的方向、频率和力度从素材库中选出Riff。
所述步骤S2之前还包括建立素材库，并标注素材库中Riff的属性的步骤。对Riff的属性进行标注的方式包括半监督学习方式和人工标注方式，本实施例中以半监督学习方式为主，结合人工标注，为海量Riff素材添加标签，即进行标注（如鼓、吉他、贝司等Riff的速度、长度、根音、节奏型，以及情绪类型等）。素材库中存储有大量Riff，Riff包括Loop（如鼓、吉他、贝斯、弦乐、特殊音效等音频片段）和VST（包括midi文件和虚拟乐器采样），多个不同的Riff按音乐发挥在那的时间先后顺序排列构成一轨的Riff集，若干轨的Riff集（比如常见的鼓轨Riff集，吉他轨Riff集，贝斯轨Riff集，弦乐轨Riff集，特殊音效轨Riff集等）构成一首完整歌曲的音乐部分。
所述Riff的属性包括该Riff属于何种乐器，是什么拍子、速度、时长、最大时间拉伸/压缩比，以及Riff的风格(摇滚、民谣)、情绪(舒缓的、急躁的)，或最适合出现于哪个乐段(引子部分、高潮部分、副歌部分)。
S3.对备选Riff，在一定的约束下，分别随机加入适度的效果器（效果器以插件形式存在，单独制作），以实现说唱在整体上的悦耳性和多样性。
所述步骤S3之前还包括创建效果器的步骤。
所述步骤S3中效果器包括混响效果器、镶边效果器、延迟效果器和回声效果器。
S4.输出纯音乐。将备选Riff进行排序组合，生成纯音乐并输出。
所述步骤S4之后还包括将说唱音乐分享到社交媒体的步骤。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.基于用户实时动作输入的纯音乐自动生成方法，其特征在于：包括以下步骤：
S1.检测用户在移动终端上的操作；
S2.根据用户在移动终端上的操作从素材库中筛选出备选Riff；
S3.向备选Riff加入效果器；
S4.输出纯音乐。
2.根据权利要求1所述的基于用户实时动作输入的纯音乐自动生成方法，其特征在于：所述步骤S1中用户在移动终端上的操作的类型包括用户摇动移动终端和用户在移动终端上进行划屏。
3.根据权利要求1所述的基于用户实时动作输入的纯音乐自动生成方法，其特征在于：所述步骤S2中根据用户在移动终端上的操作筛选出备选Riff的方式为：根据用户在移动终端上的操作的方向、频率和力度从素材库中选出Riff。
4.根据权利要求1所述的基于用户实时动作输入的纯音乐自动生成方法，其特征在于：所述步骤S2之前还包括建立素材库，并标注素材库中Riff的属性的步骤。
5.根据权利要求1所述的基于用户实时动作输入的纯音乐自动生成方法，其特征在于：所述步骤S3中效果器包括混响效果器、镶边效果器、延迟效果器和回声效果器。
6.根据权利要求1所述的基于用户实时动作输入的纯音乐自动生成方法，其特征在于：所述步骤S4之后还包括将说唱音乐分享到社交媒体的步骤。
CN201610253688.3A 2016-04-22 2016-04-22 基于用户实时动作输入的纯音乐自动生成方法 Pending CN105976801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610253688.3A CN105976801A (zh) 2016-04-22 2016-04-22 基于用户实时动作输入的纯音乐自动生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610253688.3A CN105976801A (zh) 2016-04-22 2016-04-22 基于用户实时动作输入的纯音乐自动生成方法

Publications (1)

Publication Number Publication Date
CN105976801A true CN105976801A (zh) 2016-09-28

Family

ID=56993085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610253688.3A Pending CN105976801A (zh) 2016-04-22 2016-04-22 基于用户实时动作输入的纯音乐自动生成方法

Country Status (1)

Country Link
CN (1) CN105976801A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415643A (zh) * 2020-04-26 2020-07-14 Oppo广东移动通信有限公司 通知音创作方法、装置、终端设备和存储介质
CN112435644A (zh) * 2020-10-30 2021-03-02 天津亚克互动科技有限公司 音频信号输出方法及装置、存储介质、计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1244094A (zh) * 1998-07-30 2000-02-09 财团法人资讯工业策进会 三度空间音效处理系统与方法
CN103885663A (zh) * 2014-03-14 2014-06-25 深圳市东方拓宇科技有限公司 一种生成和播放音乐的方法及其对应终端
CN105374343A (zh) * 2015-10-13 2016-03-02 许昌义 万能音乐效果器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1244094A (zh) * 1998-07-30 2000-02-09 财团法人资讯工业策进会 三度空间音效处理系统与方法
CN103885663A (zh) * 2014-03-14 2014-06-25 深圳市东方拓宇科技有限公司 一种生成和播放音乐的方法及其对应终端
CN105374343A (zh) * 2015-10-13 2016-03-02 许昌义 万能音乐效果器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415643A (zh) * 2020-04-26 2020-07-14 Oppo广东移动通信有限公司 通知音创作方法、装置、终端设备和存储介质
CN112435644A (zh) * 2020-10-30 2021-03-02 天津亚克互动科技有限公司 音频信号输出方法及装置、存储介质、计算机设备
CN112435644B (zh) * 2020-10-30 2022-08-05 天津亚克互动科技有限公司 音频信号输出方法及装置、存储介质、计算机设备

Similar Documents

Publication Publication Date Title
Bell Dawn of the DAW: The studio as musical instrument
Friberg pDM: an expressive sequencer with real-time control of the KTH music-performance rules
Wallach The poetics of electrosonic presence: recorded music and the materiality of sound
CN107274876A (zh) 一种听音绘谱仪
Booth et al. More than Bollywood: Studies in Indian popular music
JP2008139426A (ja) 評価用データのデータ構造、カラオケ装置及び記録媒体
Leydon Forbidden Planet
CN105931625A (zh) 基于文字输入的说唱音乐自动生成方法
Richardson Televised Live Performance, Looping Technology and the ‘Nu Folk': KT Tunstall on Later… with Jools Holland
CN105976801A (zh) 基于用户实时动作输入的纯音乐自动生成方法
Shit Moments in the valuation of sound: The early history of synthesizers
Brown et al. Voicing the Cinema: Film Music and the Integrated Soundtrack
CN105976802A (zh) 基于机器学习技术的音乐自动生成系统
US9176610B1 (en) Audiovisual sampling for percussion-type instrument with crowd-sourced content sourcing and distribution
Avarese Post sound design: the art and craft of audio post production for the moving image
Filimowicz Foundations in Sound Design for Linear Media: A Multidisciplinary Approach
Einbond Subtractive Synthesis: noise and digital (un) creativity
Jones The power of a production myth: PJ Harvey, Steve Albini, and gendered notions of recording fidelity
JP2011154289A (ja) 聴衆に唱和をうながす気分を楽しむカラオケ装置
CN105931624A (zh) 基于语音输入的说唱音乐自动生成方法
Furduj Virtual orchestration: a film composer's creative practice
JP2011154290A (ja) 部分的に一人二重唱になる楽曲の歌唱を支援するカラオケ装置
Délécraz Scoring the Original Soundtrack of an Escape Room: Electronic Dance Music Influences in Nobody–Vis et ressens
JP4033146B2 (ja) カラオケ装置
Williams Mixing with Mozart: Aesthetics and Tradition in Helmut Lachenmann's Accanto

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928